為什么我開始折騰PyTorch優(yōu)化器

那天，我正搞一個(gè)深度學(xué)習(xí)小項(xiàng)目，想訓(xùn)練個(gè)貓狗分類的模型，結(jié)果從頭開始就碰壁了。用的是PyTorch，本來以為很簡單，結(jié)果訓(xùn)練了半天，損失函數(shù)紋絲不動(dòng)，就跟坐過山車似的。我折騰了好幾天，換了各種優(yōu)化器，SGD、Adam全上，還是不見起色。郁悶得直撓頭，查遍了網(wǎng)上資料，發(fā)現(xiàn)好多人都遇到類似問題。于是我就決定好好梳理一下優(yōu)化器的那些鬼坑，免得再浪費(fèi)生命。

遇到第一個(gè)大坑：學(xué)習(xí)率設(shè)多少合適

我先找了個(gè)最簡單的SGD優(yōu)化器試試，設(shè)定0.001的學(xué)習(xí)率，訓(xùn)練循環(huán)跑起來沒十分鐘，損失就開始亂跳，一會(huì)兒上天一會(huì)兒入地。我心想這不對(duì)，于是調(diào)成0.01，結(jié)果損失直接飆升到天際，模型徹底炸了。換到Adam優(yōu)化器，學(xué)習(xí)率設(shè)了0.001，還是老樣子。折騰一晚上，試了一堆數(shù)字：0.0001、0.01、0.001、0.1，發(fā)現(xiàn)0.001勉強(qiáng)穩(wěn)定些，但速度慢得像蝸牛爬。趕緊翻書，結(jié)合我的數(shù)據(jù)規(guī)模，我才懂了個(gè)道理：學(xué)習(xí)率太小，模型磨蹭；太大，模型飛了。靠手動(dòng)一點(diǎn)點(diǎn)試，真夠費(fèi)勁的。

第二個(gè)頭疼問題：SGD和Adam選哪個(gè)

我換了批復(fù)雜點(diǎn)的數(shù)據(jù)，想對(duì)比看看哪個(gè)優(yōu)化器更好用。一開始用SGD，加了點(diǎn)動(dòng)量參數(shù)，訓(xùn)練快了些，但有時(shí)損失就卡在那兒不動(dòng)，跟死機(jī)似的。換成Adam，效果好點(diǎn)，損失降得順暢，但它參數(shù)多，容易帶歪模型，精度反而不穩(wěn)。我連續(xù)換了十來個(gè)例子，發(fā)現(xiàn)：

• SGD適合簡單任務(wù)，收斂慢點(diǎn)但靠譜
• Adam在數(shù)據(jù)雜碎時(shí)快得很，可經(jīng)常overshoot

總結(jié)出：新手直接Adam起步，別瞎想太多。

調(diào)試權(quán)重衰減的糟心經(jīng)歷

優(yōu)化器里有那個(gè)權(quán)重衰減參數(shù)，默認(rèn)是0，我尋思著加點(diǎn)兒能防止模型過擬合。結(jié)果一頓操作加進(jìn)去，loss突然就開始飄了，模型咋調(diào)都不收斂。我跟它較勁兩小時(shí)，才發(fā)現(xiàn)衰減值設(shè)得太大，模型被壓得喘不過氣。趕緊調(diào)小到0.0001，才慢慢恢復(fù)正常。這教訓(xùn)太深刻：參數(shù)不是隨便設(shè)的，得配合數(shù)據(jù)大小一點(diǎn)點(diǎn)試。

搞定常見問題后的全攻略心得

搞完這些坑，我把經(jīng)驗(yàn)都總結(jié)成了個(gè)小抄。比如，學(xué)習(xí)率先從0.001試起，太慢或太快再微調(diào)；優(yōu)化器選Adam省事，穩(wěn)點(diǎn)用SGD；權(quán)重衰減別過0.001，否則模型崩給你看。折騰了這一通，項(xiàng)目總算跑順了，損失從亂跳變成了穩(wěn)穩(wěn)下降，模型精度也上去了。這玩意兒看著簡單，一踩坑就是大坑，下次上手我就直接拿這攻略走起，省得浪費(fèi)大把時(shí)間。