今兒必須嘮嘮優(yōu)化器那些坑！上周差點把顯卡燒了才換來的血淚教訓，你們可別再踩雷。

第一招：先查學習率這個戲精

前天訓個圖像模型，loss死活不下去，波動得跟心電圖似的。我愣是對著數(shù)據(jù)增強參數(shù)調(diào)了倆小時，發(fā)現(xiàn)學習率開了0.1——這數(shù)值夠讓模型在峽谷里蹦極的！趕緊切成0.001，loss立馬乖乖往下溜。順手翻出三月前的實驗記錄，好家伙，同類型任務里明晃晃寫著："學習率超0.01直接炸"。我當場拍大腿，這行字當初還是我自己標的！

第二招：別信默認參數(shù)的邪

昨天幫同事看文本模型，驗證集精度卡在78%死活不動。我說你把Adam換成SGD試試，他白眼翻上天："默認配置能有問題？"結(jié)果晚上十點收到他消息，點開就是滿屏的鬼哭狼嚎。原來他代碼里藏著個momentum=0.99（實際0.9就夠），梯度更新跟喝了假酒似的左右橫跳。改完參數(shù)重新跑，三小時漲到83%。現(xiàn)在他工位上貼著便簽條："所有參數(shù)手！動！過！"

第三招：硬件綁架參數(shù)要人命

上個月用新到的4090顯卡，想著顯存大就猛開batch_size到256。訓練速度倒是飛快，結(jié)果測試時發(fā)現(xiàn)模型學歪了——梯度累計得太多反而錯過最優(yōu)解。查文檔才醒悟過來：batch_size翻倍，學習率也得跟著調(diào)！后來老老實實：

• 從batch_size=32開始試
• 每次翻倍就加點學習率
• 卡在128最穩(wěn)當

今天清理實驗記錄時還翻出張皺巴巴的草稿紙，上面畫著顯卡型號和batch_size對照表，這玩意兒比調(diào)參指南實用十倍。

現(xiàn)在每跑新模型前，我都逼自己干三件事： 翻歷史記錄 -> 手調(diào)關鍵參數(shù) -> 鎖死實驗配置。省下來的電費都夠買三杯奶茶了！調(diào)參不是玄學是手藝，別等炸了實驗才拍大腿。