昨天搗鼓yolov8訓(xùn)練模型，被優(yōu)化器搞得頭大。一開(kāi)始直接套用默認(rèn)設(shè)置，訓(xùn)練速度慢得跟老牛拉車(chē)似的，顯卡嗡嗡叫了半天進(jìn)度條才挪一丁點(diǎn)，氣得我直拍鍵盤(pán)。

翻文檔查參數(shù)

實(shí)在受不了這龜速，硬著頭皮去翻官方文檔。發(fā)現(xiàn)優(yōu)化器選項(xiàng)里藏著Adam、SGD這些玩意兒，參數(shù)密密麻麻看得眼暈。記得以前搞別的模型時(shí)SGD挺耐造，抱著試試看的心態(tài)切到SGD，順手把學(xué)習(xí)率從0.001改成0.01。

翻車(chē)現(xiàn)場(chǎng)實(shí)錄

好家伙，剛跑兩輪就出幺蛾子！損失值像過(guò)山車(chē)一樣上躥下跳，驗(yàn)證集精度原地踏步。趕緊暫停訓(xùn)練查日志，原來(lái)動(dòng)量參數(shù)設(shè)了0.9太激進(jìn)，模型步子邁太大扯著蛋了。

• 把動(dòng)量從0.9調(diào)到0.8
• 學(xué)習(xí)率降到0.005
• 加了個(gè)權(quán)重衰減0.0005

重新開(kāi)跑時(shí)手心都在冒汗，盯著屏幕生怕又崩了。結(jié)果損失曲線慢慢穩(wěn)住，epoch時(shí)間比之前縮短了三分之一，顯卡風(fēng)扇聲都變小了！

意外收獲

最驚喜的是調(diào)整完訓(xùn)練輪數(shù)減半，最終精度反超默認(rèn)參數(shù)結(jié)果，測(cè)試集漲了兩個(gè)點(diǎn)。后來(lái)不死心又切回Adam對(duì)比，發(fā)現(xiàn)相同輪數(shù)下SGD收斂更穩(wěn)，訓(xùn)練時(shí)間省了近40%，顯卡嗷嗷叫的時(shí)長(zhǎng)少了一半。

折騰完最大感受：優(yōu)化器參數(shù)真不是拍腦袋設(shè)的，同樣的模型換套參數(shù)，速度穩(wěn)定性天差地別。下次搞訓(xùn)練得先拿小批量數(shù)據(jù)試錯(cuò)，不然白燒電費(fèi)還干等，血虧！