質問: なぜSVMモデルは、分離する超平面だけでなく、サポートベクトルを保存するのですか? SVMのすべての説明では、データを最適に分離する超平面を訓練がどのように見つけるのかが示されています。おそらく推論のために、飛行機のどの面にポイントがあるかをチェックするだけです。 しかし、「SVMの短所」はすべて、 [1 、 2 ]は、SVMモデルが大きくて遅いため、ほとんどのデータがサポートベクターとして保存されるため悲しいです。 なぜSVMは超平面を分離する(係数)だけではなく、データのいずれかを保存するのだろうか? (とにかく、両方のクラスのポイントが超平面の両側に散在している場合、ソフトマージンのケースでは "サポートベクトル"は何ですか?)
回答: 超平面は、サポートベクトルの線形結合です。ソフトマージンの場合、たるみの量は限られています。すべての入力はサポートベクトルになることはありません。非線形の場合、分離する*超曲面*は**無限次元**空間に埋め込まれて格納できなくなる可能性があります。 ウィキペディアの記事から借用すると、法線ベクトル$ w $は $$ w = \ sum_i c_i y_i \ phi(x_i)$$ where $\phi$ is the feature embedding function, and $c_i$ is a Lagrangian dual variable that is zero for points on the correct side of the margin. Instead, test points are classified through a kernel function $k(x_i,x_j) = \left< \phi(x_i), \phi(x_j) \right>$ like so: $$x \to \mathrm{sgn}(\left + b) \equiv \mathrm{sgn} \left( b+\sum_i c_i y_i k(x_i, x)\right)$$ $ w $を明示的に計算することを避けたことに注目してください。