ランダムフォレスト
学習を行いたい観測データから、ブートストラップ法によるランダムサンプリングにより B 組のサブサンプルを生成する
各サブサンプルをトレーニングデータとし、B 本の決定木を作成する
指定したノード数 n m i n {\displaystyle n_{\mathrm {min} }} に達するまで、以下の方法でノードを作成する トレーニングデータの説明変数のうち、m 個をランダムに選択する 選ばれた説明変数のうち、トレーニングデータを最も良く分類するものとそのときの閾値を用いて、ノードのスプリット関数を決定する
要点は、ランダムサンプリングされたトレーニングデータとランダムに選択された説明変数を用いることにより、相関の低い決定木群を作成すること。
パラメータの推奨値
n m i n {\displaystyle n_{\mathrm {min} }} : 分類の場合は1、回帰の場合は5
m: 説明変数の総数をpとすると、分類の場合は p {\displaystyle {\sqrt {p}}} 、回帰の場合は p/3