学习时间：2024.07.18

参考文档

矩阵求导——本质篇（知乎）

矩阵求导——基础篇（知乎）

矩阵求导——进阶篇（知乎）

矩阵求导有分子布局和分母布局两种形式。一般采用分母布局。

  • 对一个向量求偏导时，使用分母布局得到的形式称为梯度向量形式。（向量是列向量形式）

    ∇xf(x)  =  ∂f(x)∂x=[∂f∂x1,∂f∂x2,...,∂f∂xn]T\nabla _xf\left( \boldsymbol{x} \right) \,\,=\,\,\frac{\partial f\left( \boldsymbol{x} \right)}{\partial \boldsymbol{x}}=\left[ \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2},..., \frac{\partial f}{\partial x_n} \right] ^T

分子布局和分母布局的结果是互为转置的关系。

  • 复合函数的微分

    {d  fdX=dYTdXd  fdYd  fdX=d  fdYTdYdXT\begin{cases} \frac{d\,\,f}{d\boldsymbol{X}}=\frac{d\boldsymbol{Y}^T}{d\boldsymbol{X}}\frac{d\,\,f}{d\boldsymbol{Y}}\\ \frac{d\,\,f}{d\boldsymbol{X}}=\frac{d\,\,f}{d\boldsymbol{Y}^T}\frac{d\boldsymbol{Y}}{d\boldsymbol{X}^T}\\ \end{cases}