前陣子我在訓(xùn)練自己搞的神經(jīng)網(wǎng)絡(luò)，想讓它學(xué)會(huì)識(shí)別圖片里的貓貓狗狗。結(jié)果訓(xùn)練了一整天，模型就是學(xué)不會(huì)，動(dòng)不動(dòng)就卡在錯(cuò)誤率高得要死的地方，弄得我頭大。聽(tīng)說(shuō)Adam優(yōu)化器火得很，據(jù)說(shuō)能自動(dòng)調(diào)學(xué)習(xí)率，我就決定試試看。沒(méi)成想一用上去，訓(xùn)練速度是快了，但精度反而掉得更厲害，貓狗分不清，簡(jiǎn)直是坑爹玩意兒。這事兒讓我火大了，非得把它摸透不可。

開(kāi)始搗鼓Adam的基本用法

我先裝了TensorFlow框架，然后寫(xiě)了點(diǎn)簡(jiǎn)單代碼把Adam塞進(jìn)模型里。跑起來(lái)一看，損失值忽高忽低，像過(guò)山車(chē)一樣，根本穩(wěn)不住。我就去翻了翻文檔，發(fā)現(xiàn)Adam原來(lái)是個(gè)自動(dòng)調(diào)參的工具，但文檔寫(xiě)得云里霧里的，全是專(zhuān)業(yè)詞兒，搞得我頭暈。干脆我自己動(dòng)手瞎試，運(yùn)行幾次訓(xùn)練，才慢慢搞懂了Adam的原理：它不是瞎調(diào)整，而是靠幾個(gè)參數(shù)來(lái)控制步子和節(jié)奏的。

• 學(xué)習(xí)率learning rate：這個(gè)控制模型每次進(jìn)步的大小，高了會(huì)跳太快出錯(cuò)，低了就磨磨蹭蹭學(xué)不成。
• beta1和beta2：這兩個(gè)控制Adam記記仇的東西，beta1管短期記憶，beta2管長(zhǎng)期記憶。
• epsilon：一個(gè)小數(shù)值，防止除零錯(cuò)誤的，千萬(wàn)別太小。

調(diào)試關(guān)鍵參數(shù)的血淚過(guò)程

一開(kāi)始我懶得調(diào)整，直接用默認(rèn)設(shè)置跑模型。結(jié)果慘不忍睹，精度卡在50%左右轉(zhuǎn)悠，和瞎猜差不多。這哪兒行，我急了，就開(kāi)始瞎搗鼓。先把learning rate調(diào)高到0.01，模型直接炸了，損失值飆升上天，內(nèi)存爆滿(mǎn)電腦卡死。只好重啟重來(lái)，降到0.001試試看，這又太低了，訓(xùn)練一整天沒(méi)動(dòng)靜。試了幾十遍，總算找到個(gè)平衡點(diǎn)：0.0005最合適，步幅適中不容易跑偏。

接著對(duì)付beta1和beta2。默認(rèn)beta1是0.9，beta2是0.999，我好奇地調(diào)到beta1=0.8，結(jié)果模型記憶太短視，老忘東西精度更差。改成beta1=0.95和beta2=0.999后，稍微好點(diǎn)但沒(méi)大變化。我就反復(fù)跑測(cè)試，發(fā)現(xiàn)beta2降到0.99就明顯穩(wěn)多了，損失曲線變平順了些。

• epsilon：我試過(guò)設(shè)1e-7，太小了訓(xùn)練就崩；弄大點(diǎn)到1e-4又沒(méi)效果，定位在1e-8正

整個(gè)過(guò)程折騰了整整一周，白天試晚上調(diào)，記錄了一大堆實(shí)驗(yàn)結(jié)果。電腦風(fēng)扇嗡嗡響得跟火車(chē)似的，我也沒(méi)少吃泡面。

搞定后的實(shí)現(xiàn)效果和心得

調(diào)完后一跑模型，效果立竿見(jiàn)影：精度蹭蹭升到90%以上，訓(xùn)練時(shí)間短了一半。我總結(jié)出來(lái)一套傻瓜設(shè)置：learning rate設(shè)0.0005，beta1保持0.9別動(dòng)，beta2弄成0.99，epsilon固定1e-8，這樣基本不會(huì)翻車(chē)了。不過(guò)關(guān)鍵還是要根據(jù)自己模型大小慢慢試，別學(xué)我瞎折騰。這玩意兒說(shuō)白了，Adam就是個(gè)好用工具，但參數(shù)不調(diào)好就是坑人。我現(xiàn)在是搞透了，以后用起來(lái)就賊順手了。