マージン分類器
与えられたサンプルを 2 つのクラスに分類する反復ブースティングアルゴリズムに対するマージンは以下のように定義できる。分類器にはサンプル要素とそれに対するラベルの組 (x, y), (x ∈ X, y ∈ Y) が与えられる。X はサンプル空間であり、Y は x に対するラベル y の集合を表し、Y = {−1, +1} である。反復ブースティングは各反復 j で、実際の値を予言する可能な分類器 hj ∈ C を選択する。ブースティングによって選択されたこの提案は実数 αj ∈ R で重み付けされる。サンプル要素 x に対するマージンは結局、次のように定義される。
y ∑ j = 1 t α j h j ( x ) ∑ | α j | . {\displaystyle {\frac {y\sum _{j=1}^{t}\alpha _{j}h_{j}(x)}{\sum |\alpha _{j}|}}.}
この定義によって、マージンはサンプル要素に与えられたラベルが正しい場合に正値をとり、ラベルが誤っている場合には負値をとることになる。
ブースティングに対するマージンの定義の仕方は上述の方法が唯一ということはなく、他にも拡張や改変が考えられる。従って問題設定に応じて有効な定義が用いられる。