那天剛開電腦就收到監(jiān)控報(bào)警

大清早咖啡都沒喝上，企業(yè)微信突然哐哐彈警報(bào)，生產(chǎn)庫(kù)CPU飆到95%！后臺(tái)用戶投訴卡成PPT。我抓起工牌就往機(jī)房跑，手都是抖的——這要是崩了今晚別想睡覺。

摸出祖?zhèn)鞯陌藗€(gè)排查土法子

路上腦子里把當(dāng)年師父教的"三板斧"過了一遍。到工位先把監(jiān)控圖甩到第二屏：

• 打開系統(tǒng)監(jiān)控工具看實(shí)時(shí)流量
• SSH連服務(wù)器輸top命令
• mysqladmin status懟了三遍

第一步：看誰(shuí)在吃服務(wù)器

top命令回車瞬間，好家伙！mysqld進(jìn)程把16核CPU啃得就剩半個(gè)核喘氣。內(nèi)存倒是還富余，立馬排除內(nèi)存問題。

第二步：查數(shù)據(jù)庫(kù)連接池

mysql里敲show processlist，屏幕刷出兩百多條查詢！有七八個(gè)ｓｅｌｅｃｔ憋了五分鐘沒動(dòng)靜。趕緊記下這些卡住的SQL的ID，順手把來源IP也抄本子上。

第三步：揪出慢查詢兇手

開啟慢查詢?nèi)罩静攀昼?，文件已?jīng)漲了50MB。用grep篩耗時(shí)超過3秒的語(yǔ)句，好么！有個(gè)統(tǒng)計(jì)報(bào)表的查詢掃了六百萬(wàn)行數(shù)據(jù)，全表掃描的紅字刺得我眼疼。

第四步：檢查鎖爭(zhēng)奪戰(zhàn)

輸show engine innodb status拉到鎖等待那節(jié)，果然有三張表被鎖成麻花。最狠的ｕｐｄａｔｅ語(yǔ)句把用戶訂單表鎖了整整兩百秒，后面排隊(duì)線程都堵到姥姥家了。

第五步：驗(yàn)證硬件沒拖后腿

怕冤枉服務(wù)器，又查了硬盤IO：iostat -x 1顯示寫速度只有30MB/s，機(jī)械盤嘎吱響得像拖拉機(jī)。不過根據(jù)負(fù)載特征，這回明顯是SQL的問題。

第六步：索引救火行動(dòng)

把慢查詢里的timestamp字段和user_id字段建聯(lián)合索引。敲完alter table add index手心全是汗，生怕生產(chǎn)庫(kù)當(dāng)場(chǎng)罷工。結(jié)果三分鐘就完事了，比預(yù)想快。

第七步：分批放行擁堵查詢

找出堵得最狠的連接ID，用kill query分批干掉二十幾個(gè)長(zhǎng)查詢。監(jiān)控圖上的CPU曲線像過山車一樣咣當(dāng)?shù)舻?0%，后臺(tái)立馬有人喊"通了通了！"

補(bǔ)個(gè)定時(shí)炸彈排查

順手查了慢日志歷史記錄，發(fā)現(xiàn)這個(gè)報(bào)表查詢天天跑。之前數(shù)據(jù)量小勉強(qiáng)能忍，最近用戶暴增就炸了。趕緊給業(yè)務(wù)方打電話："兄弟你這報(bào)表得重寫！"

關(guān)機(jī)前瞟了眼監(jiān)控，CPU穩(wěn)在25%上下波動(dòng)。把咖啡渣倒進(jìn)垃圾桶才發(fā)覺，自己從進(jìn)門到現(xiàn)在連外套都沒脫。所以說，數(shù)據(jù)庫(kù)這玩意兒就跟老房子似的，別看平時(shí)安靜，暴雨天準(zhǔn)給你找點(diǎn)活兒干。