昨天搗鼓模型死活訓(xùn)練不卡在87%準(zhǔn)確率死活上不去。氣得我差點(diǎn)把鍵盤砸了。后來想起來可能是優(yōu)化器沒選對，干脆把常用的四種全拉出來遛遛，結(jié)果真給我試出花樣來了。

一、死馬當(dāng)活馬醫(yī)

本來用著SGD（就最基礎(chǔ)那個(gè)），訓(xùn)練曲線跟過山車似的。上午十點(diǎn)叼著包子開始跑，到吃午飯才收斂一半。急得我猛灌兩杯咖啡，對著屏幕念叨：“祖宗你倒是動(dòng)一動(dòng)！”結(jié)果這貨在92%準(zhǔn)確率卡了三小時(shí)，活像驢拉磨——光轉(zhuǎn)圈不前進(jìn)。

• 怒換SGD加強(qiáng)版：給學(xué)習(xí)率加了0.9的動(dòng)量參數(shù)
• 現(xiàn)場翻車：前30輪跑得嗖嗖快，后面突然抽風(fēng)亂跳
• 搶救措施：把學(xué)習(xí)率從0.01調(diào)到0.001才穩(wěn)下來

二、隔壁老王的黑科技

下午改試Adagrad，聽說能自動(dòng)調(diào)學(xué)習(xí)率。剛開始美滋滋——前50輪跟坐火箭似的，準(zhǔn)確率蹭蹭漲。正翹著二郎腿刷手機(jī)，突然聽見風(fēng)扇狂轉(zhuǎn)，抬頭一看GPU占用飆到98%！這貨吃到第100輪開始擺爛，學(xué)習(xí)率自己縮到0.0000001，更新權(quán)重比蝸牛爬還慢。

趕緊掐了訓(xùn)練查日志，發(fā)現(xiàn)分母項(xiàng)平方和漲得太猛。氣得拍大腿：“早該想到這貨記性太老賬本越記越厚！”

三、意外撿到寶

抱著試試看的心態(tài)啟動(dòng)RMSProp。好家伙，剛跑20輪就沖過之前卡死的92%門檻。盯著實(shí)時(shí)loss曲線我直撓頭：這咋跟心電圖似的規(guī)律波動(dòng)？仔細(xì)一看說明書才明白，原來這貨會(huì)定期清空記憶！

• 神操作：給梯度平方加了個(gè)衰減率0.9
• 肉眼可見：波動(dòng)幅度小了一半
• 意外收獲：學(xué)習(xí)率維持0.01也能穩(wěn)步前進(jìn)

四、終極大殺器登場

晚上九點(diǎn)祭出Adam。原本打算跑個(gè)把鐘頭就回家，結(jié)果泡面剛吃完就聽“叮”的一聲——150輪訓(xùn)練完了！抓過鼠標(biāo)看測試結(jié)果：96.3%！比白天最高紀(jì)錄猛躥4個(gè)百分點(diǎn)。盯著曲線我傻樂了半小時(shí)，這走勢跟坐電梯下樓似的，平平穩(wěn)穩(wěn)滑到底。

拆開黑盒子發(fā)現(xiàn)玄機(jī)：既要?jiǎng)恿考铀?/strong>（記著梯度方向），又要滑動(dòng)平均（控制步長）。相當(dāng)于給模型裝了智能油門，上坡給油下坡剎車。