神经网络中softmax的导数计算

本文主要分析神经网络中softmax层导数的计算，其表达式为：

$$y=softmax(x)=\frac{exp(x)}{\vec{1}^Texp(x)},\quad x\in \mathbb{R}^n$$

等式两边求微分，得（注意公式中$\vec{1}^Texp(x)$是一个标量）：

$$\begin{aligned} dy&=d(\frac{exp(x)}{\vec{1}^Texp(x)}) \\ &=d(\frac{1}{\vec{1}^Texp(x)})exp(x)+\frac{1}{\vec{1}^Texp(x)}d(exp(x)) \\ &=(-\frac{\vec{1}^Td(exp(x))}{(\vec{1}^Texp(x))^2})exp(x)+\frac{1}{\vec{1}^Texp(x)}(exp(x)\circ dx) \\ &=(-\frac{\vec{1}^T(exp(x)\circ dx)}{(\vec{1}^Texp(x))^2})exp(x)+\frac{exp(x)}{\vec{1}^Texp(x)}\circ dx \\ &=y\circ dx-\frac{exp(x)^Tdx}{(\vec{1}^Texp(x))^2}exp(x) \\ &=y\circ dx-\frac{exp(x)exp(x)^T}{(\vec{1}^Texp(x))^2}dx \\ &=diag(y)dx-yy^Tdx \\ &=(diag(y)-yy^T)dx \end{aligned}$$

这里用到了公式：

$$d(exp(x))=exp(x)\circ dx,\quad x\in \mathbb{R}^n \\ ~\\ \vec{1}^T(x\circ y)=x^T(\vec{1}\circ y)=x^Ty,\quad x,y,\vec{1}\in \mathbb{R}^n \\ ~\\ x\circ y = diag(x)y,\quad x,y \in \mathbb{R}^n$$

根据微分与梯度对应关系可知：

$$\frac{\partial y}{\partial x^T}=diag(y)-yy^T$$

最终结果：

$$\frac{\partial y}{\partial x}=diag(y)-yy^T$$

参考资料

• 矩阵求导术（上）https://zhuanlan.zhihu.com/p/24709748
• 矩阵求导术（下）https://zhuanlan.zhihu.com/p/24863977