暗无天日

=============>DarkSun的个人博客

SAN存储光纤不稳定导致系统服务缓慢

症状

某系统突然出现提供服务缓慢的症状,通过查看日志发现系统在读写message queue时耗时 似乎 非常严重。

原因分析

最开始真的以为是进程间读写message queue的速度变慢了,但是一直找不到变慢的原因。系统资源监控也没有任何问题。

直到随手敲了一个 errpt 命令才发现系统报了许多硬件临时故障。SAN存储光纤一直不稳定导致 写日志这个动作本身耗时特别严重 ,而我们在读写message queue前恰恰需要先记录日志。 这就导致从日志记录的读写时间来看似乎是读写message queue耗时严重。