动手学深度学习之矩阵计算

标量的导数

导数是切线的斜率

亚导数

• 将导数拓展到不可微的函数

梯度

• 将导数拓展到向量。

分子布局符号：

• 向量/矩阵在分子，形状不变。

• 在分母，则转置/维度颠倒。

求导	标量 $x$	向量 $\mathbf{x}$
标量 $y$	标量 $\frac{\partial y}{\partial x}$	行向量 $\frac{\partial y}{\partial \mathbf{x}}$
向量 $\mathbf{y}$	列向量 $\frac{\partial \mathbf{y}}{\partial x}$	矩阵 $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$

理解：

• 梯度是一个向量，其方向是函数增长最快的方向，其大小是函数增长最快的速率

• 是等高线的法向量