哎呦我去，昨天折騰到半夜才搞完這個(gè)SGD優(yōu)化器的測(cè)試，結(jié)果差點(diǎn)把我顯示器砸了。事情是這樣的，之前用Adam那些花里胡哨的優(yōu)化器做貓狗圖片分類，準(zhǔn)確率死活卡在88%上不去，我就琢磨著試試?yán)瞎哦璖GD，不是說(shuō)大道至簡(jiǎn)嘛

準(zhǔn)備階段：翻箱倒柜找數(shù)據(jù)

先把吃灰的CIFAR-10數(shù)據(jù)集翻出來(lái)，這玩意兒10個(gè)類別，6萬(wàn)張小圖片，尺寸賊小只有32x32像素，連貓臉都糊得像馬賽克。我直接撕了3萬(wàn)張給模型當(dāng)練習(xí)題，留了2萬(wàn)張當(dāng)測(cè)試卷——怕它過(guò)擬合嘛

• 第一步：架鍋燒油 用PyTorch搭了個(gè)ResNet18，就那種帶短路連接的經(jīng)典款，省得模型自己把自己繞暈。
• 第二步：開(kāi)火下料 初始化參數(shù)全用默認(rèn)值，連權(quán)重初始化都懶得改，主打一個(gè)糙快猛。

最關(guān)鍵的來(lái)了：SGD參數(shù)配置

• 學(xué)習(xí)率設(shè)成0.1的時(shí)候，模型跟喝高似的，準(zhǔn)確率在50%原地蹦迪
• 調(diào)到0.01才勉強(qiáng)能看，但訓(xùn)練曲線抖得像地震波
• 一狠心加了動(dòng)量0.9，模型終于不抽風(fēng)了

修煉過(guò)程：跟學(xué)習(xí)率斗智斗勇

盯著屏幕熬到第三輪訓(xùn)練，發(fā)現(xiàn)驗(yàn)證集準(zhǔn)確率開(kāi)始跳水。氣得我把鍵盤(pán)都摔出裂縫了——這明擺著是學(xué)習(xí)率太大燒糊鍋了！趕緊掏出學(xué)習(xí)率衰減大法：

每跑完30輪就把學(xué)習(xí)率砍一半，跟賣(mài)菜打折似的。還試了熱身策略：前5輪讓學(xué)習(xí)率從0.01慢慢爬到0.1，給模型來(lái)個(gè)緩沖期。好家伙，這么整完測(cè)試準(zhǔn)確率噌噌漲到79%，比最開(kāi)始強(qiáng)多了。

神操作：批量大小玄學(xué)

本來(lái)每次給電腦喂100張圖（batch_size=100），突發(fā)奇想改成32。結(jié)果GPU風(fēng)扇突然狂轉(zhuǎn)，跑完發(fā)現(xiàn)驗(yàn)證誤差降了3個(gè)百分點(diǎn)！又試了64和128，128的效果居然和32差不多，果斷選128——省電。

決戰(zhàn)時(shí)刻

憋著尿跑了120輪，眼睜睜看著測(cè)試準(zhǔn)確率定格在82.3%。雖然比Adam那個(gè)88%還差一截，但我算過(guò)賬了：訓(xùn)練時(shí)間整整省了40分鐘！顯卡溫度都低了七八度。

臨走前手賤試了個(gè)騷操作：把動(dòng)量調(diào)到0.99又加了權(quán)重衰減。第二天睡醒發(fā)現(xiàn)84.7%的數(shù)字在顯示器上閃，差點(diǎn)從椅子上摔下來(lái)——原來(lái)之前參數(shù)沒(méi)調(diào)透！可惜公司要斷網(wǎng)了，不然還能再摳0.5%出來(lái)...