前陣子折騰神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，被優(yōu)化器這玩意兒折騰得夠嗆。一開始啥也不懂，就跟著網(wǎng)上教程無腦用Adam，結(jié)果訓(xùn)練效果時好時壞，跟抽獎似的。氣得我拍桌子罵娘，這才下決心把主流的優(yōu)化器全拎出來挨個測試。

從最原始的SGD開始試水

擼起袖子先把最基本的隨機梯度下降（SGD）拖出來跑。這玩意兒原理簡單粗暴：盯著當前坡度直接往下滾。代碼寫起來也省事，三行搞定?？膳芷饋聿虐l(fā)現(xiàn)問題——訓(xùn)練速度慢得像老牛拉破車，數(shù)據(jù)稍微復(fù)雜點就在坑坑洼洼的地方卡住不動彈。更邪門的是，學(xué)習率調(diào)小了挪不動步，調(diào)大了又像醉漢走直線到處亂竄。

給SGD裝上發(fā)動機

受不了SGD的龜速，試了Momentum（動量法）。這招好比給老牛車裝了臺發(fā)動機——不僅考慮當前坡度，還攢著之前的下沖勁兒。跑起來果然順滑不少，遇到小土坑能直接沖過去。但是！這貨慣性太大也壞事：眼瞅著快到底了，它哐當一聲沖過頭，又在對面坡來回蹦跶，loss曲線抖得跟心電圖似的。

自適應(yīng)學(xué)習率的誘惑

聽說Adagrad能自動調(diào)學(xué)習率，立馬嘗鮮。這哥們兒挺有意思：參數(shù)更新頻繁的，就給小步子走；更新少的，就邁大步子。頭幾百步效果驚艷，可訓(xùn)練久了突然便秘——學(xué)習率縮水到近乎為零，參數(shù)直接躺平擺爛。查文檔才明白，它把歷史梯度平方全攢著，越攢分母越大，徹底走不動道兒。

縫縫補補的改進款

接著試了Adagrad的改良版RMSProp。這回聰明多了：只記最近一段路的坡度平方，舊的慢慢忘掉。拿個衰減系數(shù)控制記憶長度，總算解決半途罷工的問題。不過新坑又來了：遇到坡度陡變的地形時，步子還是容易邁劈叉，有幾次差點把模型帶溝里。

傳說中的萬能藥Adam

請出網(wǎng)紅Adam——把Momentum的慣性機制和RMSProp的自適應(yīng)學(xué)習率焊在一起。剛跑起來時簡直感動哭：收斂快又穩(wěn)，學(xué)習率都不用咋調(diào)?？傻任覔Q了更難的數(shù)據(jù)集就露餡了：訓(xùn)練后期突然在局部最低點鬼打墻，測試集精度死活上不去。翻論文才知道，它攢的動量會跟自適應(yīng)學(xué)習率打架，特別在復(fù)雜地形里容易翻車。

血淚總結(jié)出來的經(jīng)驗

吭哧吭哧測了半個月，得出幾條樸實

• SGD：適合簡單任務(wù)，速度慢但最穩(wěn)當，記得開學(xué)習率衰減
• Momentum：給SGD加氮氣加速，小心別沖過頭
• Adagrad：稀疏數(shù)據(jù)好幫手，長期訓(xùn)練會嗝屁
• RMSProp：Adagrad的修修補補版，陡坡地形要當心
• Adam：新手快樂器，開局猛如虎，后期可能變瞎驢

現(xiàn)在我的策略是：先用Adam快速熱身，等loss降不動了，立刻切SGD精細調(diào)優(yōu)。上周拿這個套路訓(xùn)貓狗分類模型，比純Adam漲了3個點精度。工具嘛別管黑貓白貓，能抓老鼠就是好貓！