有一个MySQL集群数据库每天7:10分，19:10分，负载会突起，有时会还会因此导致主从切换。  ####排查思路： * 确认业务是否存在定时任务 确认没有相应时间的计划任务 * QPS请求情况 qps无明显变化，qps较少，其中两个写突起时间对应不上（20：20，18：20）  * 慢查询  慢查询主要是如上三个慢查询，请求频次不算高，但每次扫的数据量较多，没有用到索引。 * 数据库机器 系统盘在这段时间内写流量突增，iops达到瓶颈  系统负载被打满，导致主从切换的原因应该是由于这个导致的。但是什么原因导致系统盘写入及iops这么高？ * 内存不足 机器内存不足时，会导致系统磁盘io突增，之前有这方面的案例,升级内存后解决了，但具体原因暂时没有弄明白。 * 其它原因 排查方法： 部署iotop监控io使用情况，确认下是什么原因导致io写入增大 iotop -d 5 -b -t >>iotop.log #写到数据盘，不要写到系统盘  19:10:01 10822 be/6 root 6.03 M/s 40.26 M/s 0.00 % 92.98 % rpm -qa mcstrans 这个命令会有40MB/s的数据写入磁盘，特别是iops能达到6.8k，系统盘最大iops限制，能确认就是它导致的了。 排查rpm -qa mcstrans命令来源： * 计划任务 所有计划任务配置确认无操作 * 监控 检查所有监控配置及脚本，无此操作 * 安全组件ossec 通过mcstrans找到此守护进程提供类别标签信息，客户端进程请求信息，由于此服务不常使用，请将其删除以减少系统上运行的潜在易受攻击代码的数量。安全上是要求禁用掉。 通过这个描述大概可以确认有可能是安全扫描产生的，联系安全员，确认。从ossec源码及配置和配置中，确认是有此操作： cat /var/ossec/ruleset/sca/cis_rhel7_linux.yml  ossec每12小时扫描一次，与监控曲线性能波动是一致的。 vim /var/ossec/etc/ossec.conf <sca> <enabled>yes</enabled> <scan_on_start>yes</scan_on_start> <interval>12h</interval> <skip_nfs>yes</skip_nfs> </sca> * 阿里云底层 联系阿里云工程师确认及排查，无此操作 ####确认问题 最终确认为ossec运行了rpm -qa mcstrans，那为什么运行这个命令会导致IOPS被打满呢？  正常命令执行耗时只要0.5秒以内，但这里花了33秒，主要耗时都在了写磁盘上了。  通过vmstat可以看到，机器内存基本用完，用了比较多的swap，在命令执行期间，bi,bo突增。这里可以确认rpm -qa执行期间，导致磁盘大量读写。那么rpm -qa还会写磁盘吗？通过如下命令可以看到，是有读写的： ll -rth /var/lib/rpm -rw-r--r-- 1 root root 1.3M 6月 10 15:35 __db.003 -rw-r--r-- 1 root root 96K 6月 10 15:35 __db.002 -rw-r--r-- 1 root root 344K 6月 10 15:35 __db.001 每次执行rpm -qa时，rpmdb都会更新，所以大概确定是写rpmdb导致的写。 为什么rpm -qa会产生这么大的写呢？其它正常的机器并没有这个问题，我这里猜想是由于机器内存不足，涉及到的写磁盘操作，无法先cache住，需要强制刷盘，导致大量直接操作io。（有时候在做yum 操作时，如果机器异常重启了，可能会导致rpmdb库异常，需要重建，原因就是部分数据还没有刷到磁盘，也就是__db.00x文件里。） 这个之前aws也遇到一样问题，内存不足时会引起系统io被打满，从而导致系统hang住。目前还没有得到合理解释，很奇怪！！！！（内存不够了会发生各种未知问题，也很难定位具体的，能确认是内存不足导致的也差不多了） ####解决： * 临时：停掉ossec服务 * 长久：扩容机器内存 目前配置是8core 16G，要扩容到多少呢？目前mysql虚拟内存占用31.2G，物理内存占用13.5G，swap占用15G  可以扩容至8core 32G。 ####后续： 内存升级重启后，rpm -qa 正常，vmstat监控bi,bo在执行命令期间无波动。