予測分析
分類木と回帰木(CART)は、ノンパラメトリックな決定木学習手法であり、従属変数がカテゴリ型か数値型かに応じて、それぞれ分類木と回帰木のどちらかを生成する。
決定木は、モデリングデータセット内の変数に基づくルールの集合によって形成される。
変数の値に基づくルールは、従属変数に基づいて観測値を区別するための最良の分割を得るために選択される。
ルールが選択されてノードが2つに分割されると、同じ処理が各「子」ノードに適用される(つまり、再帰的な手続きである)。
分割は、CARTがこれ以上のゲイン(利得)を得られないと判断した場合や、あらかじめ設定された停止ルールが満たされた場合に停止する。(あるいは、可能な限りデータを分割してから、後から木を剪定(英語版)するという方法もある)。
木の各枝は末端ノードで終わる。各観測値は1つの端末ノードに該当し、各末端ノードは一連の規則によって一意に定義される。
予測分析のための非常に一般的な手法は、ランダムフォレストである。