《Improving Deep Neural Networks》的理論知識點

### 深度學習實踐與優化 - 數據集拆分比例通常爲98%訓練、1%驗證和1%測試。增加數據量或正則化可提高模型性能。驗證和測試集應來自同一分佈。調整正則化參數有助於減少過擬合。 - 優化算法方面，小批量梯度下降比全批處理更快；理想的小批量大小介於1到m之間；指數加權平均用於跟蹤數據變化；學習率衰減技術如0.95^tα₀和1/√t α₀有效。Adam結合了RMSProp優點與動量。 ### 超