分類 《深度學習》學習筆記三——數值計算 2018-01-15 192 閱讀 深度學習 花書 深度學習 數值計算 這篇文章主要探討了在深度學習和優化領域中的一些關鍵概念，包括梯度、偏導數、約束優化以及KKT方法。下面是對這些內容的整理與總結： ### 1. 梯度與偏導數 - **一元函數**：對於一個單一變量的一元函數$f(x)$，駐點（極值點）可以通過求解其導數$df/dx=0$來找到。 - **多元函數**： - **偏導數**：對於具有多個輸入的函數$z=f(x,y)$，可以分別對每個輸入求偏導 閱讀全文 《深度學習》學習筆記二——概率論 2018-01-14 183 閱讀 深度學習 花書 深度學習 概率論 這段文檔涵蓋了概率論和機器學習中的許多重要概念，包括隨機變量的分佈、常用函數以及相關係數等。以下是對部分關鍵內容的總結： ### 1. 隨機變量與概率分佈 - **Bernoulli 分佈**：單個二值隨機變量的分佈。 - **Multinoulli 分佈（範疇分佈）**：在具有$k$個不同狀態的單個離散隨機變量上的分佈。 - **高斯分佈（正態分佈）**： \[ {\cal N}(x 閱讀全文 《深度學習》學習筆記一——線性代數 2018-01-13 233 閱讀 深度學習 花書 深度學習 線性代數 這段筆記涵蓋了機器學習中涉及的多種重要概念，特別是與線性代數相關的內容。以下是對筆記內容的一些總結和補充： ### 線性代數基礎 1. **矩陣和向量**：介紹了矩陣（由多個行和列組成的數組）和向量（本質上是單列或單行的矩陣）。強調了它們在機器學習中的重要性。 2. **線性組合與生成子空間**： - 線性組合：表示爲 $\sum_i x_i{\bf A}_{:,i}$。 - 生 閱讀全文