神经网络中隐层的导数计算

本文主要分析神经网络中隐层导数的计算，其主要部分是一个矩阵乘法与向量加法的表达式（这里需要求导的变量是矩阵$A$和向量$b$）：

$$y=Ax+b$$

首先对等式两边进行微分：

$$dy=d(Ax)+db=d(A)x+db$$

再对等式两边向量化：

$$vec(dy)=vec(d(A)x)+vec(db)$$

化简可得：

$$dy=(x^T\otimes I)vec(dA)+db$$

这里用到了公式：

$$vec(AXB)=(B^T\otimes A)vec(X)$$

其中$vec(X)$表示将矩阵按列转换成向量，且当$x$为列向量时，$x=vec(x)$

又假设存在损失函数：$l=f(y)$，其中$l$为标量，则有：

$$dl=\frac{\partial l}{\partial y^T}dy$$

令$\frac{\partial l}{\partial y^T}=\delta^T$，得到：

$$\begin{aligned} dl&=\delta^T((x^T\otimes I)vec(dA)+db) \\ &=((x\otimes I)\delta)^Tvec(dA)+\delta^Tdb \\ &=vec(\delta x^T)^Tvec(dA)+\delta^Tdb \\ &=tr((\delta x^T)^TdA)+tr(\delta^T db) \end{aligned}$$

根据微分与梯度对应关系可知：

$$\frac{\partial l}{\partial A^T}=(\delta x^T)^T,\quad\frac{\partial l}{\partial b^T}=\delta^T$$

最终结果：

$$\frac{\partial l}{\partial A}=\delta x^T,\quad\frac{\partial l}{\partial b}=\delta$$

参考资料

• 矩阵求导术（上）https://zhuanlan.zhihu.com/p/24709748
• 矩阵求导术（下）https://zhuanlan.zhihu.com/p/24863977