次元削減
特徴選択とは、入力変数(特徴量、属性と呼ばれることもある)から有用な部分集合を見つけようとする手法のことである。フィルタ(英: filter strategy、例としては決定木の情報利得(英語版)等。)法、ラッパー法(英: wrapper strategy、例としては精度を最大化するような探索等。)、埋め込み法(英: embedded strategy、モデル学習の過程で予測に対する誤差を基に特徴を追加、あるいは除去するような方法)等、大きく3つの戦略に分けられる。
回帰や分類といったデータ解析においては、元の空間よりも次元を削減した空間で行う方がより精度が高まるとされている。