*t* = 1 时变量 y（水平方向）的铰链损失（蓝色，垂直方向）与0/1损失（垂直方向；绿色为 *y* < 0 ，即分类错误）。注意铰接损失在 abs(*y*) < 1 时也会给出惩罚，对应于支持向量机中间隔的概念。
在機器學習中，**鉸鏈損失**是一個用於訓練分類器的損失函數。鉸鏈損失被用於「最大間格分類」，因此非常適合用於支持向量機 (SVM)。
对于一个预期输出 {\displaystyle t={\pm }1}，分类结果 y 的鉸鏈損失定義為

{\displaystyle \ell (y)=\max(0,1-t\cdot y)}
特別注意：以上式子的y應該使用分類器的「原始輸出」，而非預測標籤。例如，在線性支持向量機當中，{\displaystyle y=\mathbf {w} \cdot \mathbf {x} +b}，其中 {\displaystyle (\mathbf {w} ,b)} 是超平面参数，\mathbf {x} 是輸入資料點。

當t和y同號（意即分類器的輸出y是正確的分類），且 {\displaystyle |y|\geq 1}时，鉸鏈損失 {\displaystyle \ell (y)=0}。但是，當它們異號（意即分類器的輸出y是错误的分類）時，{\displaystyle \ell (y)} 隨 y 線性增長。套用相似的想法，如果 {\displaystyle |y|<1}，即使 t 和 y 同號（意即分類器的分類正確，但是間隔不足），此時仍然會有損失。

扩展
--

二元支持向量机经常通过一对多（winner-takes-all strategy，WTA SVM）或一对一（max-wins voting，MWV SVM）策略来扩展为多元分类，
铰接损失也可以做出类似的扩展，已有数个不同的多元分类铰接损失的变体被提出。 例如，Crammer 和 Singer 
将一个多元线性分类的铰链损失定义为

{\displaystyle \ell (y)=\max(0,1+\max \_{y\neq t}\mathbf {w} \_{y}\mathbf {x} -\mathbf {w} \_{t}\mathbf {x} )}
其中 t 为目的标签， {\displaystyle \mathbf {w} \_{t}} 和 {\displaystyle \mathbf {w} \_{y}} 该模型的参数。

Weston 和 Watkins 提出了一个类似的定义，但使用求和代替了最大值：

{\displaystyle \ell (y)=\sum \_{y\neq t}\max(0,1+\mathbf {w} \_{y}\mathbf {x} -\mathbf {w} \_{t}\mathbf {x} )}
在结构预测中，铰接损失可以进一步扩展到结构化输出空间。支持间隔调整的结构化支持向量机 可以使用如下所示的铰链损失变体，其中 **w** 表示SVM的参数， **y** 为SVM的预测结果，φ 为联合特征函数，Δ 为汉明损失:

{\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max \_{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}}

优化算法
----

铰链损失是一种凸函数，因此许多机器学习中常用的凸优化器均可用于优化铰链损失。 它不是可微函数，但拥有一个关于线性 SVM 模型参数 **w** 的次导数

{\displaystyle {\frac {\partial \ell }{\partial w\_{i}}}={\begin{cases}-t\cdot x\_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}}
其评分函数为 {\displaystyle y=\mathbf {w} \cdot \mathbf {x} }

三个铰链损失的变体 *z* = *ty*："普通变体"（蓝色），平方变体（绿色），以及 Rennie 和 Srebro 提出的分段平滑变体（红色）。
然而，由于铰接损失在 {\displaystyle ty=1}处不可导， Zhang 建议在优化时可使用平滑的变体建议， 如Rennie 和 Srebro 提出的分段平滑

{\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty\leq 1,\\0&{\text{if}}~~1\leq ty\end{cases}}}
或平方平滑。

{\displaystyle \ell \_{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma \\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}
Modified Huber loss L是{\displaystyle \gamma =2}时损失函数的特例，此时 {\displaystyle L(t,y)=4\ell \_{2}(y)}中。

参考文献
----

1. ↑  Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A.  (PDF). Neural Computation. 2004, **16** (5): 1063–1076  [2019-06-04]. PMID 15070510. doi:10.1162/089976604773135104. （原始内容存档 (PDF)于2020-01-11）.
2. ↑  Duan, K. B.; Keerthi, S. S.  (PDF).. LNCS **3541**. 2005: 278–285  [2019-06-04]. ISBN 978-3-540-26306-7. doi:10.1007/11494683\_28. （原始内容存档 (PDF)于2017-08-08）.
3. 1 2  Doğan, Ürün; Glasmachers, Tobias; Igel, Christian.  (PDF). Journal of Machine Learning Research. 2016, **17**: 1–32  [2019-06-04]. （原始内容存档 (PDF)于2018-05-05）.
4. ↑  Crammer, Koby; Singer, Yoram.  (PDF). Journal of Machine Learning Research. 2001, **2**: 265–292  [2019-06-04]. （原始内容存档 (PDF)于2015-08-29）.
5. ↑  Moore, Robert C.; DeNero, John.  (PDF).. 2011  [2019-06-04]. （原始内容存档 (PDF)于2017-08-28）.
6. ↑  Weston, Jason; Watkins, Chris.  (PDF).. 1999  [2019-06-04]. （原始内容存档 (PDF)于2018-05-05）.
7. ↑  Zhang, Tong.  (PDF). ICML. 2004  [2019-06-04]. （原始内容存档 (PDF)于2019-06-04）.
8. ↑  Rennie, Jason D. M.; Srebro, Nathan.  (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling. 2005  [2019-06-04]. （原始内容存档 (PDF)于2015-11-06）.