Softmax函數

在數學 ， 尤其是概率論和相關領域中 ， Softmax函數 ， 或稱歸一化指數函數: 198 ， 是邏輯函數的一種推廣 。 它能將一個含任意實數的K維向量 “ 壓縮 ” 到另一個K維實向量 中 ， 使得每一個元素的範圍都在之間 ， 並且所有元素的和爲1 ( 也可視爲一個 ( k - 1 ) 維的hyperplane或subspace ) 。 該函數的形式通常按下面的式子給出 ： for j = 1, …, K. Softmax函數實際上是有限項離散概率分佈的梯度對數歸一化 。 因此 ， Softmax函數在包括 多項邏輯迴歸: 206 – 209 ， 多項線性判別分析 ， 樸素貝葉斯分類器和人工神經網絡等的多種基於機率的多分類問題方法中都有着廣泛應用 。 特別地 ， 在多項邏輯迴歸和線性判別分析中 ， 函數的輸入是從K個不同的線性函數得到的結果 ， 而樣本向量 x 屬於第 j 個分類的機率爲 ： 這可以被視作K個線性函數Softmax函數的複合  。