【大型网站技术实践】初级篇:搭建MySQL主从复制经典架构

一、业务发展驱动数据发展

随着网站业务的不断发展,用户量的不断增加,数据量成倍地增长,数据库的访问量也呈线性地增长。特别是在用户访问高峰期间,并发访问量突然增 大,数据库的负载压力也会增大,如果架构方案不够健壮,那么数据库服务器很有可能在高并发访问负载压力下宕机,造成数据访问服务的失效,从而导致网站的业 务中断,给公司和用户造成双重损失。那么,有木有一种方案能够解决此问题,使得数据库不再因为负载压力过高而成为网站的瓶颈呢?答案肯定是有的。[......]

阅读全文

前谷歌员工推出类Spanner数据库项目

斯宾塞·金博尔(Spencer Kimball)在离开谷歌之后,突然觉得不便,因为手头缺少了很多曾在公司内部使用的定制软件。于是,他携手其他谷歌离职者,决心打造自己的版本。现在,他们决心公开自己的工作成果,帮助有志者创办下一个谷歌或Facebook。[......]

阅读全文

优化SQL SELECT语句性能的6个简单技巧

SELECT语句的性能调优有时是一个非常耗时的任务,在我看来它遵循帕累托原则。20%的努力很可能会给你带来80%的性能提升,而为了获得另外20%的性能提升你可能需要花费80%的时间。除非你在金星工作,那里的每一天都等于地球上的243天,否则交付期限很有可能使你没有足够的时间来调优SQL查询。[......]

阅读全文

安装完MySQL后必须调整的 10 项配置

当我们被人雇来监测MySQL性能时,人们希望我们能够检视一下MySQL配置然后给出一些提高建议。许多人在事后都非常惊讶,因为我们建议他们仅仅改动几个设置,即使是这里有好几百个配置项。这篇文章的目的在于给你一份非常重要的配置项清单。 [......]

阅读全文

徐汉彬:亿级Web系统搭建——单机到分布式集群

摘要:随着数据暴增,单服务器开始疲于应对海量用户的访问。自本期《问底》,徐汉彬将带大家开启异地跨集群分布式系统打造,本次关注的重点则是架构从单机到分布式集群的转变。
Web系统的缓存机制的建立和优化[......]

阅读全文

mysql中间件研究(Atlas,cobar,TDDL)

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover 等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧。[......]

阅读全文

如何挑选合适的大数据或Hadoop平台?

IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了Hadoop。然而,当你已经决定要使用Hadoop来处理大数据时,首先碰到的问题就是如何开始以及选择哪一种产品。本文讨论了不同的选择,并推荐了每种选择的适用场合。 [......]

阅读全文

淘宝内部分享:怎么跳出MySQL的10个大坑

【编者按】淘宝自从2010开始规模使用MySQL,替换了之前商品、交易、用户等原基于IOE方案的核心数据库,目前已部署数千台规模。同时和 Oracle, Percona, Mariadb等上游厂商有良好合作,共向上游提交20多个Patch。目前淘宝核心系统研发部数据库组,根据淘宝的业务需求,改进数据库和提升性能,提 供高性能、可扩展的、稳定可靠的数据库(存储)解决方案。 目前有以下几个方向:单机,提升单机数据库的性能,增加我们所需特性;集群,提供性能扩展,可靠性,可能涉及分布式事务处理;IO存储体系,跟踪IO设备 变化潮流, 研究软硬件结合,输出高性能存储解决方案。本文是来自淘宝内部数据库内容分享。[......]

阅读全文

实例讲解 SQL 注入攻击

一位客户让我们针对只有他们企业员工和顾客能使用的企业内网进行渗透测试。这是安全评估的一个部分,所以尽管我们之前没有使用过SQL注入来渗透网络,但对其概念也相当熟悉了。最后我们在这项任务中大获成功,现在来回顾一下这个过程的每一步,将它记录为一个案例。[......]

阅读全文

bcp

BCP的常见意思有三个,第一个是SYBASE公司提供专门用于数据库表一级数据备份的工具。 第二个是BasicCallProcessing,即基本呼叫处理。呼叫处理是指呼叫操作或连接,并包括呼叫建立和撤消,呼叫传送,增加或减少呼叫终端(多方电话会议),呼叫转发等。媒体处理是指通使用的PC机和重要的应用业务增长时,这种网络同步特征便显示出它的重要性。第三个是Business Continuity Plan,即业务持续性计划的缩写。[......]

阅读全文