各种代理损失函数的曲线。蓝色为0–1指示函数，绿色为平方损失函数，紫色为铰链损失函数，黄色为逻辑损失函数。注意所有代理损失函数对*y*=*f*(*x*= 0) 均给出1的惩罚。
在機器學習和最佳化領域中，分類問題之**損失函數**可以用來表達預測不準確之程度，其中分類問題主要是用來判斷所偵測到的物件屬於什麼類別。將一個向量空間X做為所有的輸入值，而向量空間{\displaystyle Y=\{-1,1\}}做為所有的輸出值。我们希望能夠找到最佳的公式{\displaystyle f:X\rightarrow \Re }將\vec{x}映射到y。然而，由于信息不完整、雜訊、计算過程中的非确定性模块等因素，有可能會有相同的輸入值\vec{x}映射到不同的輸出值y。因此，這個學習過程的目的就是要最小化預期風險（更详细的介绍参见统计学习理论），預期風險之定義為：

{\displaystyle I[f]=\textstyle \int \_{X\times Y}^{}\displaystyle V(f({\vec {x}},y))p({\vec {x}},y)d{\vec {x}}dy}
其中{\displaystyle V(f({\vec {x}},y))}即損失函數，而{\displaystyle p({\vec {x}},y)}為機率密度函數。而實作上概率分布{\displaystyle p({\vec {x}},y)}通常是未知的，因此我们使用由数据样本空间中取出的n個獨立且同分布（i.i.d.）的樣本點

{\displaystyle S=\{({\vec {x\_{1}}},y\_{1}),...({\vec {x\_{n}}},y\_{n})\}}作为训练集，將樣本空間所得到的经验風險做為預期風險的替代，其定義為：
{\displaystyle I\_{S}[f]={\frac {1}{n}}\sum \_{i=1}^{n}V(f({\vec {x\_{i}}},y\_{i}))}
基於分類問題的二元性，可定義0-1函數做為匹配值之基準。因此損失函數為：

{\displaystyle V(f({\vec {x}},y))=H(-yf({\vec {x}}))}
其中H為步階函數。然而損失函數並不是凸函數或平滑函數，是一種NP-hard的問題，因此做為替代，需要使用可以追蹤的機器學習演算法（透過凸損失函數）。

分類問題之界線
-------

使用貝式定理，可以基於問題的二元性最佳化映射公式f^\*為：

{\displaystyle f^{\*}({\vec {x}})={\begin{cases}1,&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1,&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}
當{\displaystyle p(1\mid {\vec {x}})\neq p(-1\mid {\vec {x}})}

簡化分類問題預期風險
----------

{\displaystyle {\begin{alignedat}{4}I[f(x)]&=\int \_{X\times Y}^{}V(f({\vec {x}},y))p({\vec {x}},y)d{\vec {x}}dy\\&=\int \_{X}^{}\int \_{Y}^{}V(f({\vec {x}},y))p({\vec {x}},y)p({\vec {x}})dyd{\vec {x}}\\&=\int \_{X}^{}[V(-f({\vec {x}})p(1\mid x)+V(f({\vec {x}})p(-1\mid x)]p({\vec {x}})d{\vec {x}}\\&=\int \_{X}^{}[V(-f({\vec {x}})p(1\mid x)+V(f({\vec {x}})(1-p(1\mid x))]p({\vec {x}})d{\vec {x}}\end{alignedat}}}

平方損失
----

{\displaystyle V(f({\vec {x}},y))=(1-yf({\vec {x}}))^{2}}
平方損失凸且平滑，但容易過度懲罰錯誤預測，導致收斂速度比邏輯損失和鏈結損失慢。它的優點為有助於簡化交叉驗證之正則化（regularization）。

最小化預期風險之映射函數為：

{\displaystyle f\_{Square}^{\*}=2p(1\mid x)-1}

鏈結損失
----

{\displaystyle V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=|1-yf({\vec {x}})|\_{+}}
鏈結損失公式等同於支持向量機（SVM）的損失公式。鏈結損失凸但不平滑（在{\displaystyle yf({\vec {x}}))=1}不可微分），因此不適用於梯度下降法和隨機梯度下降法，但適用次梯度下降法。
最小化預期風險之映射函數為：

{\displaystyle f\_{Square}^{\*}=2p(1\mid x)-1}

廣義平滑鏈結損失
--------

{\displaystyle f\_{\alpha }^{\*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}&{\text{if }}z<0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}}}
其中{\displaystyle z=yf({\vec {x}})}

邏輯損失
----

{\displaystyle V(f({\vec {x}}),y)={\frac {1}{\ln 2}}\ln(1+e^{-yf({\vec {x}})})}
適用於梯度下降法，但不會對錯誤預測做懲罰。
最小化預期風險之映射函數為：

{\displaystyle f\_{\text{Logistic}}^{\*}=\ln \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}

交叉熵損失
-----

{\displaystyle V(f({\vec {x}}),t)=-t\ln(f({\vec {x}}))-(1-t)\ln(1-f({\vec {x}}))}
其中{\displaystyle t=(1+y)/2} so that {\displaystyle t\in \{0,1\}}
屬於凸函數，適用於隨機梯度下降法。

指數損失
----

{\displaystyle V(f({\vec {x}}),y)=e^{-\beta yf({\vec {x}})}}

参考资料
----

1. ↑  Shen, Yi,  (PDF), University of Pennsylvania, 2005  [6 December 2014], （原始内容存档 (PDF)于2019-06-14）
2. ↑  Rosasco, Lorenzo; Poggio, Tomaso, MIT-9.520 Lectures Notes, Manuscript, 2014

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 

| * 
* 论
* 编
可微分计算 |
| --- |
|  |
| 概论 | 
* 可微分编程
* 神经图灵机（英语：）
* 可微分神经计算机（英语：）
* 自動微分
* 神经形态工程（英语：）
* 模式识别

 |  |
|  |
| 概念 | 
* 梯度下降
* 电缆理论（英语：）
* 聚类分析
* 迴歸分析
	+
* 对抗机器学习（英语：）
* 运算学习理论（英语：）
* 注意力机制
* 卷积
* 損失函數
* 反向传播算法
* + Softmax
	+ S型函数
	+ 线性整流函数
* 正则化
* 

 |
|  |
| 编程语言 | 
* Python
* Julia

 |
|  |
| 应用 | 
* 机器学习
* 人工神经网络
	+ 深度学习
* 科学计算
* 人工智能
* 深伪技术
* 语言模型
	+ 大型语言模型

 |
|  |
| 硬件 | 
* TPU
* VPU
* 憶阻器
* SpiNNaker（英语：）

 |
|  |
| 软件库 | 
* TensorFlow
* PyTorch
* Keras
* Theano
* JAX（英语：）

 |
|  |
| 实现 | 

|  |  |
| --- | --- |
| 视觉 | 
* AlexNet
* 人體圖像合成
* 手寫
* OCR
* 系统
* DALL-E
* Stable\_Diffusion

 |
|  |
| 音频 | 
* WaveNet
* 语音合成
* 

 |
|  |
| 自然语言 | 
* Word2vec
* Transformer
* BERT
* LaMDA
* NMT
* 辩论者项目（英语：）
* 沃森
* GPT-1
* GPT-2
* GPT-3
* GPT-4
* GPT-J（英语：）
* ChatGPT
* 文心一言

 |
|  |
| 决策 | 
* AlphaGo
* Q学习
* SARSA
* OpenAI Five（英语：）
* 自動駕駛汽車
* MuZero

 |
|  |
| 科学计算 | 
* AlphaFold
* AlphaTensor

 |

 |
|  |
| 人物 | 
* 艾力克斯·格雷夫斯
* 伊恩·古德费洛
* 约书亚·本希奥
* 杰弗里·辛顿
* 杨立昆
* 吴恩达
* 杰米斯·哈萨比斯
* 大衛·席爾瓦
* 李飛飛

 |
|  |
| 机构 | 
* Anthropic
* DeepMind
* EleutherAI（英语：）
* Google Brain
* Meta AI（英语：）
* Mila（英语：）
* MIT CSAIL
* OpenAI

 |
|  |
| 
* 主题 主题
	+ 计算机编程
	+ 技术
* 分类 分类
	+ 人工神经网络
	+ 机器学习

 |

 |