一个热爱编程的技术博主
这篇文章主要探讨了在深度学习和优化领域中的一些关键概念，包括梯度、偏导数、约束优化以及KKT方法。下面是对这些内容的整理与总结： ### 1. 梯度与偏导数 - **一元函数**：对于一个单一变量的一元函数$f(x)$，驻点（极值点）可以通过求解其导数$df/dx=0$来找到。 - **多元函数**： - **偏导数**：对于具有多个输入的函数$z=f(x,y)$，可以分别对每个输入求偏导
这段文档涵盖了概率论和机器学习中的许多重要概念，包括随机变量的分布、常用函数以及相关系数等。以下是对部分关键内容的总结： ### 1. 随机变量与概率分布 - **Bernoulli 分布**：单个二值随机变量的分布。 - **Multinoulli 分布（范畴分布）**：在具有$k$个不同状态的单个离散随机变量上的分布。 - **高斯分布（正态分布）**： \[ {\cal N}(x
这段笔记涵盖了机器学习中涉及的多种重要概念，特别是与线性代数相关的内容。以下是对笔记内容的一些总结和补充： ### 线性代数基础 1. **矩阵和向量**：介绍了矩阵（由多个行和列组成的数组）和向量（本质上是单列或单行的矩阵）。强调了它们在机器学习中的重要性。 2. **线性组合与生成子空间**： - 线性组合：表示为 $\sum_i x_i{\bf A}_{:,i}$。 - 生
