サポートベクターマシン
学習データが線形分離可能であるとき、なるべくその距離が大きくなるように、2つのクラスのデータを分離するような、2つの平行な超平面を選択することができる。2つの超平面の間はマージン、2つの超平面の中間に位置する超平面は最大マージン超平面と呼ばれる。
正規化ないし標準化されたデータセットでは、これらの超平面は次の式で表される。
w T x − b = 1 {\displaystyle {\boldsymbol {w}}^{T}{\boldsymbol {x}}-b=1} (この境界以上の点は、全てラベル1)
と
w T x − b = − 1 {\displaystyle {\boldsymbol {w}}^{T}{\boldsymbol {x}}-b=-1} (この境界以下の点は、全てラベル−1)
この2つの超平面の間の距離は、幾何学的には、点と平面の距離(英語版)の公式を用いて、 2 / ‖ w ‖ {\displaystyle 2/\|{\boldsymbol {w}}\|} となる。だから、超平面の間の距離を最大化するためには、 ‖ w ‖ {\displaystyle \|{\boldsymbol {w}}\|} を最小化したい。
点がマージンに入らず、正しい側にいるための制約条件は、全ての i {\displaystyle i} に対し、以下の式が成立することである。