分類問題之損失函數

在機器學習和最佳化領域中 ， 分類問題之損失函數可以用來表達預測不準確之程度 ， 其中分類問題主要是用來判斷所偵測到的物件屬於什麼類別 。 將一個向量空間做爲所有的輸入值 ， 而向量空間做爲所有的輸出值 。 我們希望能夠找到最佳的公式將映射到 。 然而 ， 由於信息不完整 、 雜訊 、 計算過程中的非確定性模塊等因素 ， 有可能會有相同的輸入值映射到不同的輸出值 。 因此 ， 這個學習過程的目的就是要最小化預期風險 （ 更詳細的介紹參見統計學習理論 ） ， 預期風險之定義爲 ： 其中即損失函數 ， 而爲機率密度函數 。 而實作上概率分佈通常是未知的 ， 因此我們使用由數據樣本空間中取出的個獨立且同分布 （ i.i.d. ） 的樣本點 作爲訓練集 ， 將樣本空間所得到的經驗風險做爲預期風險的替代 ， 其定義爲 ： 基於分類問題的二元性 ， 可定義0 - 1函數做爲匹配值之基準 。 因此損失函數爲 ： 其中爲步階函數 。 然而損失函數並不是凸函數或平滑函數 ， 是一種NP - hard的問題 ， 因此做爲替代 ， 需要使用可以追蹤的機器學習演算法 （ 透過凸損失函數 ） 。