神经网络中的交叉熵的导数计算

本文主要分析神经网络中交叉熵导数的计算，其表达式为：

$$l=-y^Tlog(x),\quad x\in \mathbb{R}^n,y\in\{0,1\}^n,\vec{1}^Ty=y^T\vec{1}=1$$

等式两边同时微分可得：

$$\begin{aligned} dl&=-y^Td(log(x)) \\ &=-y^Tdiag(x)^{-1}dx \end{aligned}$$

这里用到了公式：

$$d(log(x))=x^{\circ -1}\circ dx=diag(x^{\circ -1})dx=diag(x)^{-1}dx$$

与之前softmax的结果进行合并：

$$l=-y^Tlog(a),\quad a=softmax(x)=\frac{exp(x)}{\vec{1}^Texp(x)}$$

求微分可得：

$$\begin{aligned} dl&=-y^Tdiag(a)^{-1}da \\ &=-y^Tdiag(a)^{-1}(diag(a)-aa^T)dx \\ &=-y^T(I-diag(a)^{-1}aa^T)dx \\ &=-y^T(I-\vec{1}a^T)dx \\ &=(y^T\vec{1}a^T-y^T)dx \\ &=(a^T-y^T)dx \\ &=(a-y)^Tdx \end{aligned}$$

根据微分与梯度对应关系可知：

$$\frac{\partial l}{\partial x^T}=(a-y)^T$$

最终结果：

$$\frac{\partial l}{\partial x}=a-y$$

参考资料

• 矩阵求导术（上）https://zhuanlan.zhihu.com/p/24709748
• 矩阵求导术（下）https://zhuanlan.zhihu.com/p/24863977