分類問題之損失函數 在機器學習和最佳化領域中分類問題之損失函數可以用來表達預測不準確之程度其中分類問題主要是用來判斷所偵測到的物件屬於什麼類別將一個向量空間 X displaystyle X 做為所有的輸入值而向量空間 Y        displaystyle Y 做為所有的輸出值我们希望能夠找到最佳的公式 f  X  ℜ displaystyle fXrightarrow Re  將 x  displaystyle vec x 映射到 y displaystyle y 然而由于信息不完整雜訊计算過程中的非确定性模块等因素有可能會有相同的輸入值 x  displaystyle vec x 映射到不同的輸出值 y displaystyle y 因此這個學習過程的目的就是要最小化預期風險更详细的介绍参见统计学习理论預期風險之定義為 I  f    X  Y V  f  x   y   p  x   y  d x  d y displaystyle Iftextstyle int Xtimes Ydisplaystyle Vfvec xypvec xydvec xdy 其中 V  f  x   y   displaystyle Vfvec xy 即損失函數而 p  x   y  displaystyle pvec xy 為機率密度函數而實作上概率分布 p  x   y  displaystyle pvec xy 通常是未知的因此我们使用由数据样本空间中取出的 n displaystyle n 個獨立且同分布iid的樣本點 S    x    y         x n   y n   displaystyle Svec xyvec xnyn 作为训练集將樣本空間所得到的经验風險做為預期風險的替代其定義為 I S  f    n  i   n V  f  x i   y i   displaystyle ISffrac nsum inVfvec xiyi 基於分類問題的二元性可定義函數做為匹配值之基準因此損失函數為 V  f  x   y    H   y f  x    displaystyle Vfvec xyHyfvec x 其中 H displaystyle H 為步階函數然而損失函數並不是凸函數或平滑函數是一種NPhard的問題因此做為替代需要使用可以追蹤的機器學習演算法透過凸損失函數