香港云主机最佳企业级服务商!

ADSL拨号VPS包含了中国大陆(联通,移动,电信,)

中国香港,国外拨号VPS。

当前位置:云主机 > MYSQL >

电信ADSL拨号VPS
联通ADSL拨号VPS
移动ADSL拨号VPS

MySQL主从延迟现象及原理分析详解


时间:2020-11-03 13:38 作者:admin


一、现象

凌晨对线上一张表添加索引,表数据量太大(1亿+数据,数据量50G以上),造成主从延迟几个小时,各个依赖从库的系统无法查询数据,最终影响业务。

现在就梳理下主从延迟的原理。

二、原理

根据 mysql/' target='_blank'>mysql 官方文档 MySQL Replication Implementation Details 中的描述,MySQL 主从复制依赖于三个线程:master一个线程(Binlog dump thread),slave两个线程(I/O threadSQL thread)。主从复制流程如下图:

master 服务器和 slave 服务器连接时,创建Binlog dump thread以发送bin log数据:

一个Binlog dump thread对应一个 slave 服务器; Binlog dump threadbin log获取数据时会加锁,获取到数据后,立即释放锁。

当 slave 服务器收到 START_SLAVE 命令时,会创建I/O threadSQL thread

I/O thread以拉的方式,从 master 读取事件,并存储到 slave 服务器的relay log中; SQL threadrelay log中读取事件并执行; slave可以按照自己的节奏读取和更新数据,也可以随意操作复制进程(启动和停止)。

注: START_SLAVE命令成功启动线程后,如果后面I/O threadSQL thread因为某些原因停止,则不会有任何的警告,业务方无法感知。可以通过查看 slave 的 error 日志,或者通过 SHOW SLAVE STATUS 查看 slave 上的线程状态。

通过 SHOW PROCESSLIST 可查看线程状态:

Binlog dump thread:

mysql> SHOW PROCESSLIST\G*************************** 1. row ***************************  Id: 2 User: root Host: localhost:32931  db: NULLCommand: Binlog Dump Time: 94 State: Has sent all binlog to slave; waiting for binlog to   be updated Info: NULL

I/O thread 和 SQL thread:

mysql> SHOW PROCESSLIST\G*************************** 1. row ***************************  Id: 10 User: system user Host:  db: NULLCommand: Connect Time: 11 State: Waiting for master to send event Info: NULL *************************** 2. row ***************************  Id: 11 User: system user Host:  db: NULLCommand: Connect Time: 11 State: Has read all relay log; waiting for the slave I/O   thread to update it Info: NULL

三、分析

根据上面的原理,由于slave是单线程(I/O thread)读取数据,单线程(SQL thread)更新数据,而master是多线程写入,那么只要master写入的频率大于slave读取更新的频率,就有可能出现主从延迟的情况,如:

    master写入tps较高,大于slave更新速度; slave执行某些语句耗时较长,如持有锁等; master执行某些DDL语句时,执行的时间较长,在slave也执行相同的时间;

此处创建了索引,咨询 DBA,产生的bin log文件有100多G,数据量太大,导致从库I/O thread一直读取DDL操作产生的bin log事件,而影响到正常的业务DML事件的更新,从而表现为主从同步延迟。

四、解决方案

从主从延迟的原因来看,解决方案可以从以下几个方向入手:

    业务选型,对于无法忍受从库延迟的架构,可选择分布式架构等,避开从库延迟问题 执行时间,对大表进行线上DDL操作尽量选择凌晨等业务量较小的时候 硬件配置,升级从库硬件配置,如SSD 减少请求,增加缓存层,减少读请求落库

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

(责任编辑:admin)






帮助中心
会员注册
找回密码
新闻中心
快捷通道
域名登录面板
虚机登录面板
云主机登录面板
关于我们
关于我们
联系我们
联系方式

售前咨询:17830004266(重庆移动)

企业QQ:383546523

《中华人民共和国工业和信息化部》 编号:ICP备00012341号

Copyright © 2002 -2018 香港云主机 版权所有
声明:香港云主机品牌标志、品牌吉祥物均已注册商标,版权所有,窃用必究

云官方微信

在线客服

  • 企业QQ: 点击这里给我发消息
  • 技术支持:383546523

  • 公司总台电话:17830004266(重庆移动)
  • 售前咨询热线:17830004266(重庆移动)