決定境界
ニューラルネットワークやパーセプトロンにおけるバックプロパゲーションの場合、ネットワークで学習できる決定境界の種類はネットワークの持つ隠れ層の値によって決まる。 ニューラルネットワークにおいて隠れ層を持たないとき、決定境界は線形問題に対してのみ学習を行うことができる。ニューラルネットワークにおいて隠れ層が1層であるとき、決定境界は普遍性定理(英語版)によって、R 上でコンパクトで連続な超平面について学習を行うことができる。したがって、ニューラルネットワークでは任意の決定境界を求めることが可能である。
特に、サポートベクターマシンでは特徴空間で2つのクラスに分離する超平面をマージン(英語版)が最大化されるように求める。線形分離可能な問題でない場合、カーネル法を用いて次元数を増やすことで、線形分離可能な問題として解くことができる。したがって、サポートベクターマシンでは一般的に決定境界が低次元空間上で超曲面となる場合は、高次元の空間上で超平面として分類を行う。
サポートベクターマシンで決定境界と各点ごとのマージンが最大となるように決定境界を学習し、ニューラルネットワークでは誤差が最小化されるように決定境界が学習がなされる。