開頭被坑慘了

上禮拜趕項目，用PyTorch搞個特別怪的模型，默認優(yōu)化器Adam喂進去，訓練曲線抖得跟心電圖似的。試了SGD、RMSprop，全趴窩。老板天天問進度，頭皮發(fā)麻。

硬著頭皮自己造輪子

翻官方文檔看到能自定義優(yōu)化器，搓著手開搞。第一版直接照貓畫虎：

class MyOptimizer(*):
def __init__(self, params, lr=0.01):
defaults = dict(lr=lr)
super().__init__(params, defaults)

寫完美滋滋點運行，直接報錯“必須實現(xiàn)step方法”，才想起來沒寫核心邏輯。

半夜改到三點

抄了SGD源碼改第二版，step函數(shù)里吭哧吭哧寫循環(huán)：

for group in *_groups:
for p in group['params']:
if * is None:
continue
grad = *
*_(grad, alpha=-group['lr'])

這回能跑了，但訓練損失死活不降。盯著屏幕懷疑人生，咖啡續(xù)到第三杯才發(fā)現(xiàn)grad忘了取負號。改完終于看到損失開始動，凌晨三點對著屏幕嗷一嗓子。

坑里刨出金疙瘩

跑通后開始折騰優(yōu)化點：

• 加動量：從0.5試到0.99，發(fā)現(xiàn)0.9時模型突然開竅
• 防梯度爆炸：手寫了個*_(-1,1)，比用*.clip_grad_value省事
• 分段學習率：在step里塞if epoch>10: group['lr']=0.9，比LambdaLR更暴力

測試時發(fā)現(xiàn)GPU利用率直接飚到98%（原來舊版optimizer有冗余操作），內(nèi)存還省了200MB。

血淚總結(jié)

整理出三條保命經(jīng)驗：

1. 抄官方代碼時拿放大鏡看數(shù)學符號，我那個負號差點送走項目
2. 在step里做條件判斷比另寫調(diào)度器快至少1/3
3. 復雜運算（比如我自創(chuàng)的梯度裁剪）直接懟tensor上，別用for循環(huán)

現(xiàn)在這優(yōu)化器已經(jīng)在三個項目里跑了，每次看到訓練曲線平穩(wěn)下滑，都想給凌晨三點的自己鞠個躬。自己動手改輪子真的值！