《深度學習》學習筆記三——數值計算

這篇文章主要探討了在深度學習和優化領域中的一些關鍵概念，包括梯度、偏導數、約束優化以及KKT方法。下面是對這些內容的整理與總結： ### 1. 梯度與偏導數 - **一元函數**：對於一個單一變量的一元函數$f(x)$，駐點（極值點）可以通過求解其導數$df/dx=0$來找到。 - **多元函數**： - **偏導數**：對於具有多個輸入的函數$z=f(x,y)$，可以分別對每個輸入求偏導