線形分類器
より複雑な f としては、ある項目があるクラスに属する確率を与えるものなどがある。
二項分類問題は、高次元の入力空間を超平面で分割する操作として視覚化できる。その超平面の一方の側にある点は分類において "yes" とされた点であり、もう一方の側にある点は "no" とされた点である。
線形分類器は、特に x → {\displaystyle {\vec {x}}} が疎であるとき最も高速な分類器であるため、分類の速度が重要な場合に使われることが多い。ただし、決定木の方が速い場合もある。また、線形分類器は x → {\displaystyle {\vec {x}}} の次元が大きいときにうまく機能する。例えば、文書分類において x → {\displaystyle {\vec {x}}} の各要素は文書における個々の単語の出現回数などになる。そのような場合、線形分類器は正則化されているべきである。