神经网络中softmax与交叉熵合并后的导数计算

本文主要分析神经网络中将softmax层和交叉熵损失函数合并后导数的计算，过程上会简单许多：

$$l=-y^Tlog(a),\quad a=softmax(x)=\frac{exp(x)}{\vec{1}^Texp(x)} \\ l=-y^Tlog(\frac{exp(x)}{\vec{1}^Texp(x)})$$

首先，该表达式可以化简为：

$$\begin{aligned} l&=-y^T(log(exp(x))-log(\vec{1}^Texp(x))\vec{1}) \\ &=log(\vec{1}^Texp(x))y^T\vec{1}-y^Tx \\ &=log(\vec{1}^Texp(x))-y^Tx \end{aligned}$$

等式两边求微分可得：

$$\begin{aligned} dl&=\frac{1}{\vec{1}^Texp(x)}\vec{1}^Td(exp(x))-y^Tdx \\ &=\frac{1}{\vec{1}^Texp(x)}\vec{1}^T(exp(x)\circ dx)-y^Tdx \\ &=\frac{exp(x)^T}{\vec{1}^Texp(x)}dx-y^Tdx \\ &=(a^T-y^T)dx \\ &=(a-y)^Tdx \end{aligned}$$

与之前结果相同：

$$\frac{\partial l}{\partial x}=a-y$$

参考资料

• 矩阵求导术（上）https://zhuanlan.zhihu.com/p/24709748
• 矩阵求导术（下）https://zhuanlan.zhihu.com/p/24863977