上图先。
如果还不了解Semi-sync可以阅读(Manual | 概述)
当事务返回客户端成功后,则日志一定在至少两台主机上存在。
MySQL在加载并开启Semi-sync插件后,每一个事务需等待备库接收日志后才返回给客户端。如果做的是小事务,两台主机的延迟又较小,则Semi-sync可以实现在性能很小损失的情况下的零数据丢失。
完成单条事务增加了额外的等待延迟,延迟的大小取决于网络的好坏。
Semi-sync不是分布式事务,主库会在自己完成事务后,等待备库接收事务日志。
从09年12月份MySQL5.5的第一个Release,再到去年12月的第一个GA,MySQL5.5平均一月一个小版本号的速度在默默更新。该版本最重要的特性目前仍是Semi-sync Replication,之前做了一个概述,这里将继续介绍如何安装、配置Semi-sync,后续还将继续介绍其性能和一些基本的代码实现。
Semi-sync最早是由Google实现的一个补丁,代码主要由Mark Callaghan、Wei Li(@Google)等人贡献。Google原本是将需求提给Hekki的,但是后来等不及就自己实现了……。(现在Mark Callaghan已跳到Facebook,除了Google,他曾经还在Informix、Oracle工作过)
在5.5之后由MySQL Replication Team按照Plugin的方式将代码移植过来,并将Semi-sync独立成MySQL的一个插件,主要代码移植者是Zhenxing He(参考)。
在两台主机上安装好MySQL5.5,编译好的插件在目录CMAKE_INSTALL_PREFIX/lib/plugin下(默认是/usr/local/mysql/lib/plugin)。例如这里编译是指定CMAKE_INSTALL_PREFIX为/home/mysql/mysql,则有:
在主库初次启动时,执行如下语句加载semisync_master插件:
备库上则加载semisync_slave插件:
之前写过一篇Linux下编译安装MySQL,但是在5.5版本之后MySQL自动化建构工具从GUN Autotools换成了跨平台的Cmake系统,编译和配置和原来有些不同,这里做一个简单的小结。
Cmake是跨平台的工具,如果之前就尝试过在Windows上编译MySQL的同学,就应该还记得CMake。
我的环境是不自带CMake(环境:RHEL5.4,YUM仓库里面没有CMake),所以需要自己安装。安装过程简单、顺利,没有遇到任何依赖问题……:)
其中”ccmake . -D……”也可直接使用”cmake .”,这样会进入一个简单文本GUI界面进行MySQL编译参数配置;
另外,原来的AutoTools和现在CMake配置参数的变化,在MySQL Forge的Autotools to CMake Transition Guide中可以查阅详细的对比说明。
(more…)
偶尔我们需要这样做。
在一台主机上如果复制多个主库,可以很简单:在备库主机上启动多个MySQL实例(mysqld_muilt),每个实例使用一个端口,复制多台主库就可以了。但是如果希望复制过来的数据都在同一个实例中,事情就复杂了。
需求:多个主库都复制到一个备库,复制过来的数据都在一个实例中,这样实现对应用层的透明。目前,MySQL本身不提供这样的功能(考虑过,但一直未实现)。
1.1 开源社区也有很多方案和想法,例如Tungsten replicator:可以支持异构数据复制,JAVA实现,数据量较大时,性能较差,而且MySQL版本更新较快,而该软件支持较慢;
1.2 再如P.Linux的尝试:通过拉取多个主库上的Binlog在单个备库上应用的方式,对MySQL没有入侵,实现也较为简单。
1.3 High Performance MySQL还可以通过多级复制的方式实现:例如有主库DB1、DB2,都需要复制到S1上,则先配置D2复制D1的全部数据,然后再从S1上复制D2的全部数据就可以了。整理需要注意D2上的log-slave-update需要打开,为了减少D2的压力,DB上复制过来的表可以全部使用Blackhole引擎。
1.4 另外,还有一些欠成熟的Patch实现。
Federated引擎可以在本地数据库中创建一个远端数据表的“软链接”。这样,访问远端数据表就如同访问本地数据表。(这里远端可以是不同主机上的不同实例)
例如,主库DB1,DB2,都需要复制到S1上,这里DB1,DB2,S1分别在主机H1,H2,H3上。首先,在主机H3(S1所在的主机)上其另外起两个MySQL实例S2、S3,分别复制主库DB1和DB2,然后在实例S1上建立多个Federated表关联S2、S3中的数据表(相当于在S1中建立到S2、S3的软连接)。
这时应用,连接到S1,就可以同时透明的访问到DB1、DB2中的实时数据表了。
4.1 上面描述的方法,也可以直接在S1上建立到DB1、DB2各个表的软连接,但是为了最大程度的减少对主库的影响,最好如上多配一层备库。
4.2 最简单的可以直接在备库上配置多个实例,让应用连接多个实例就好了,无需上面这么复制的配置。
参考文献:
1. MySQL Manual: The FEDERATED Storage Engine
2. Post of MySQL Forums : Multiple masters to single slave
3. 通过tungsten replicator实现mysql多主一从的备份架构
4. Is it possible to do N-master => 1-slave replication with MySQL
·
工作中,经常需要在web页面中把SQL(MySQL)展示给开发人员,如果SQL不格式话,例如:
上面的SQL,咋一眼,很难看出SQL的目的是什么。而格式化的输出可以让SQL更易读懂,如:
上周末做了一个简单的PHP SQL Format工具,可以实现上述功能,这里简单的介绍如何使用PHP SQL Format(也可以参考这里)。
有如下文件:
将这些文件都放入web目录下的sqlparserlib目录下。
<link rel="stylesheet" type="text/css" href="sqlparserlib/sqlsyntax.css" /> <?php define('PARSER_LIB_ROOT', "/opt/www/sqlparserlib/"); require_once PARSER_LIB_ROOT.'sqlparser.lib.php'; function SQLFormatPHP($sql){ return PMA_SQP_formatHtml(PMA_SQP_parse($sql)); } $sql = "SELECT FROM (select from dual)"; echo SQLFormatPHP($sql); ?>
只要把上面php代码中的$sql改成你的输入SQL就OK了。
* 上面的代码中,路径一定要注意,在你的代码中也必须引用正确的路径
* 上面的sqlsyntax.css定义了很多CSS,注意不要与你的CSS冲突了
* 上面require_once很多函数,注意不要与你的函数冲突了
这里使用的代码包sqlparser.lib.php来自phpMyAdmin,稍微做了一些改动,让这块代码能够独立使用。
看了Stackoverflow上很多朋友也有类似问题,所以就花了几个小时的尝试,把phpMyAdmin里面SQL Parser相关的代码独立出来,lib中有很多的代码都应该是无用的,我并没有做精简,所以你最求效率的话,可能需要自己再优化一下。
刚刚完成在idata-forum的主题分享,介绍了一下最近一年在MySQL方面的尝试,包括性能调优,代码优化方面的内容。
不再紧张了。