Pytorch優化器入門：SGD、Adam等優化算法實戰

### 優化器：深度學習的“導航系統” 優化器是深度學習中更新模型參數、最小化損失函數的核心工具，類似爬山時的導航系統，幫助模型從“高損失”山頂走向“低損失”山谷。其核心任務是通過調整參數，提升模型在訓練數據上的表現。 不同優化器針對不同場景設計：基礎SGD（隨機梯度下降）簡單但收斂慢，需手動調參；SGD+Momentum加入“慣性”，加速收斂；Adam結合動量與自適應學習率，默認參數效果優異，是大多數任務的首選；AdamW在Adam基礎上加入權重衰減（L2正則化），有效防止過擬合。 PyTorch的`torch.optim`模塊提供多種優化器：SGD適用於簡單模型，SGD+Momentum加速波動模型（如RNN），Adam適配多數任務（CNN、Transformer等），AdamW適合小數據或複雜模型。 實戰中，對比線性迴歸任務可見：Adam收斂更快、損失更平穩，參數更接近真實值（如`y=2x+3`）；SGD易震盪。建議初學者優先用Adam，若需控制