27. pt-table-checksum
27.1 pt-table-checksum 作用 主要用来检查主从数据是否一致，原理即在主库执行把表每行的列通过concat函数进行拼接，然后对拼接的值进行hash，并把该动作通过binlog传递到从库，从而在从库上也执行相关操作(pt-table-checksum会自动设置所在会话的binlog_format=statment)。默认主库上每对一个表完成checksum操作后，会等待所有从库对该表完成checksum，然后比对主从库上该表checksum值是否一致来判断数据是否一致。 pt-table-checksum的使用有如下限制：1) pt-table_checksum需要主库的binlog_format=statement，在开始工作前，它会自动设置会话的binlog_format=statement，但是如果你的环境是级联架构，中间主库的binlog_format不会被修改(因为参数修改不会记录到binlog)，所以这种情况下，你可能就无法检查中间主库和它的从库的数据是否一致。pt-table-checksum在进行checksum前会先检查所有mysql服务的binlog_format(可以通过—no-check-binlog-format)2) pt-table-checksum默认主库要检查的表在从库都存在，并且同主库表有相同的表结构。如果要检查的表在从库不存在，或者表结构同主库不一致，那么对该表的checksum会破坏从库复制线程。##关于pt-table-checksum的详细说明，请参考我的博客： 27.2 常用参数 常用参数请参考：pt-table-checksum 中文使用说明http://blog.csdn.net/shaochenshuo/article/details/5309822427.3 使用示例 27.3.1 检查所有表的主从数据一致性问题 1) 主从库都使用默认(3306)端口grant all privileges on*.* to 'checksum'@'172.172.178.75' identified by 'root';首先在主库(172.172.178.75)创建检查用户##如果只有主库有这样的用户，而从库没有，报错如下(这样检查结果diff都为0)：Cannot connect to P=3306,h=172.172.178.76,p=...,u=checksumCannot connect to P=3306,h=172.172.178.77,p=...,u=checksum Replica shao76 has binlog_format MIXED which could cause pt-table-checksum to break replication. Please read "Replicas using row-basedreplication" in the LIMITATIONS section of the tool's documentation. If you understand the risks, specify--no-check-binlog-format to disable this check.Replica shao77 ………..##我的主从库(一主两从)binlog_format都是mixed，所以这里报两个从库的binlog_format不为statement，可能会导致级联的从库复制出错。(因为pt-table-checksum会自动把设置会话的binlog_format=statement，所以76和77的复制不会因为checksum而出问题)##因为我这里没有级联从库，所以可以直接指定--no-check-binlog-format来忽略该检查: pt-table-checksum --set-vars innodb_lock_wait_timeout=120 -uchecksum -proot -h172.172.178.75 -P3306--no-check-binlog-format --quiet TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE11-18T09:40:29 0 1 3 1 0 0.284 test1.test_concat##指定--quiet时只输出errors，warnings和主从数据存在不一致的相关信息(在表非常多时该选项很有用)
2) 使用非默认端口(dsn指定从库)如果主库使用非默认端口，--recursion-method默认值为hosts，这时如果从库没有配置report_host参数(注意该参数缺点)，则pt-table-checksum无法自动检测到从库。 如果主库使用的是默认端口，那么--recursion-method默认值为processlist，这时pt-table-checksum只能连上端口为3306的从库，无法连接非默认端口的从库 所以如果如果主库或者从库使用了非默认端口，建议通过dsn指定从库信息
在主库创建dsn表，并插入从库信息CREATE TABLE percona.`dsns` (`id` int(11) NOT NULL AUTO_INCREMENT,`parent_id` int(11) DEFAULT NULL,`dsn` varchar(255) NOT NULL,PRIMARY KEY (`id`));insert into percona.dsns select 1,1,'h=172.172.178.76,u=checksum,p=root,P=3306';insert into percona.dsns select 2,2,'h=172.172.178.77,u=checksum,p=root,P=3307'; pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=h=127.0.0.1,D=percona,t=dsns --set-varsinnodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --quiet TS ERRORS DIFFS ROWS CHUNKS SKIPPED TIME TABLE11-18T10:47:25 0 1 3 1 0 0.340 test1.test_concat##上面的结果中我们只看到某些表主从数据不一致，但是确无法判断到底哪个从库和主库数据不一致。我们可以在pt-table-checksum后，再次指定--replicate-check-only来执行pt-table-checksum，显示具体信息，例如：pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--replicate-check-onlyDifferences on shao76TABLE CHUNK CNT_DIFF CRC_DIFF CHUNK_INDEXLOWER_BOUNDARY UPPER_BOUNDARYtest1.test_concat 1 0 1
27.3.2 只检查指定的数据库，或者表1) 只检查指定数据库下所有表
pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1,test5 --quiet
2) 只检查指定表
pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables=test_concat --quiet或者--tables=database.tablept-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--tables=test1.test_concat –quiet或者--tables-regex正则匹配指定表pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables-regex=test_*
27.3.3 检查时忽略指定的数据库，或者表
--ignore-databases,--ignore-databases-regex,--ignore-tables,--ignore-tables-regex1) 忽略指定数据库pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --ignore-databases=test5,mysql --quiet##percona数据库默认被忽略 2) 忽略指定表pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --ignore-tables-regex=test_*##注意只能忽略所有库下的test_*表，没法指定只忽略某个库下test_*表，而对其他库下的test_*表进行检查
27.3.4 只检查指定表的某些列
pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --databases=test1 --tables=test_concat --columns=id,name –quiet
27.3.5 检查时忽略某些列
pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns --set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --databases=test1 --ignore-columns=id --quiet
相关链接：pt-table-sync 中文使用说明http://blog.csdn.net/shaochenshuo/article/details/53285439pt-table-checksum 中文使用说明http://blog.csdn.net/shaochenshuo/article/details/53098224pt-table-sync 使用方法http://blog.csdn.net/shaochenshuo/article/details/56009234--------------------- 作者：database_shaofei 原文：https://blog.csdn.net/shaochenshuo/article/details/56009092