Softmax函数 在数学尤其是概率论和相关领域中Softmax函数或称归一化指数函数是逻辑斯谛函数的一种推广它能将一个含任意实数的K维向量  z displaystyle mathbf z   压缩到另一个K维实向量  σ  z  displaystyle sigma mathbf z   中使得每一个元素的范围都在      displaystyle  之间并且所有元素的和为也可視為一個 k維的hyperplane或subspace该函数的形式通常按下面的式子给出 σ  z  j  e z j  k   K e z k displaystyle sigma mathbf z jfrac ezjsum kKezk    for j    K Softmax函数实际上是有限项离散概率分布的梯度对数归一化因此Softmax函数在包括 多项逻辑回归 多项线性判别分析朴素贝叶斯分类器和人工神经网络等的多种基于機率的多分类问题方法中都有着广泛应用 特别地在多项逻辑回归和线性判别分析中函数的输入是从K个不同的線性函數得到的结果而样本向量 x 属于第 j 个分类的機率为 P  y  j  x   e x T w j  k   K e x T w k displaystyle Pyjmathbf x frac emathbf x mathsf Tmathbf w jsum kKemathbf x mathsf Tmathbf w k 这可以被视作K个线性函数 x  x T w     x  x T w K displaystyle mathbf x mapsto mathbf x mathsf Tmathbf w ldots mathbf x mapsto mathbf x mathsf Tmathbf w K Softmax函数的复合 x T w displaystyle mathbf x mathsf Tmathbf w  x displaystyle mathbf x  w displaystyle mathbf w   实际实现的时候为了防止溢出会先把每个元素减去原先的最大值 m displaystyle m  σ  z  i  e x i  j e x j  e  m e  m e x i  j e x j  e x i  m  j e x j  m displaystyle sigma mathbf z ifrac exisum jexjfrac ememfrac exisum jexjfrac eximsum jexjm