题主没有对符号作必要的说明,先按我的理解对符号进行定义
z是softmaxwithloss层的输入,f(z)是softmax的输出,即
y是输入样本z对应的类别,y=0,1,...,N
对于z,其损失函数定义为
展开上式:
对上式求导,有
梯度下降方向即为