日本経済研究センター

データサイエンス

リサーチブリーフ＜付録＞用語の解説
ランダム・フォレスト (Random Forest)
複数の決定木を組み合わせて予測するアンサンブル学習手法であるバギングを、それぞれの木同士の類似性を抑えることで予測の分散が小さくなるよう改良した方法。
決定木モデルは、比較的単純で理解しやすい予測アルゴリズムだが、訓練データに左右されやすい（分散が大きくなりやすい）という弱点を持つ。バギング (Bagging)はその弱点を克服するための方法で、訓練データからブートストラップ法で複数のデータを生成し、それぞれのデータから決定木を推定、それらの結果を平均する（または多数決をとる）ことで予測するというアンサンブル学習の一つである。複数の決定木の予測を平均することで、モデルの分散を抑え、訓練の外のデータでの予測精度を改善する。
ランダム・フォレストは、バギングにさらに工夫を加えたもので、木の分岐ごとに使える変数候補をあえてランダムに制約する。そうすることで、どの木でも同じ重要な変数を使ってしまい、似たような木ばかりになるのを避け、多様な木のアンサンブルによってさらに分散を抑えることで、予測パフォーマンスを改善する方法である。
図 ランダム・フォレストの概念図モデル1

データ1
（m行）
データ（n行）

ブートストラップ（復元抽出）※各分岐で使える変数候補をランダムに入れ替える

モデル2

データ2
（m行）

予測

モデルB

データB
（m行）

集約
（平均や多数決）

http://www.jcer.or.jp/-1-

日本経済研究センター

データサイエンス

リサーチブリーフ

勾配ブースティング決定木（Gradient Boosting Decision Tree）
決定木の予測残差を次の決定木で説明するのを繰り返すブースティングと呼ばれるアンサン
ブル学習手法の一つ。
まず小さな決定木モデルを推定し、そこから得られる予測と実績との残差を計算する。次にその残差を予測する決定木モデルを推定し、そのモデルに縮小パラメータを乗じて、元の決定木モデルに加える。これを何度も繰り返すのがブースティングと呼ばれる学習手法である。それぞれの決定木を単純に加えていくのではなく、縮小パラメータを乗じて加えることで、訓練データへの過剰適合 (overfit) を避ける。バギングはそれぞれの決定木がブートストラップ抽出された別々のデータから独立して推定されるのに対し、ブースティングでは前の決定木の残差を予測する決定木を順次加えていく点で異なる。
勾配ブースティングは、ブースティングで小さい決定木を加えていく学習アルゴリズムを、予測誤差を表す損失関数を勾配降下法（gradient descent）によって最小化する問題として一般化したものである。
図
データ

残差残差

ブースティング決定木の概念図
決定木

更新されたモデル

倍して縮小して加える

決定木

決定木

更新されたモデル更新されたモデル

http://www.jcer.or.jp/-2-

日本経済研究センター

データサイエンス

リサーチブリーフ

AUC (Area Under the Curve)
分類モデルの精度を評価する指標の一つ。0 から 1 までの値をとり、値が大きいほど優れた分類モデルであることを意味する。
例えば病気か病気でないかを予測するモデルは、他の変数をもとに、それぞれの対象者がどれだけ病気でありそうか、そのもっともらしさを算出する。そのもっともらしさから、それぞれを陽性と分類するか、陰性と分類するかは、どれほどもっともらしいときに陽性に分類する
かの閾値（しきいち）によって変わってくる。同じモデルでも閾値を高く設定すると陽性に分類しにくく、逆に低く設定すると陽性に分類しやすくなる。
ID

実績

予測確率

1

Yes

0.462

No

0.113

No

0.034

Yes

0.655No0.48:
1000

No0.35

閾値ごとに混同行列が書ける
予測確率が何％以上のときに「Yes」に分類するか。
その閾値を変化させると、感度と特異度が変化する。その組み合わせをプロットしたのがROC 曲線。

実績
病気

病気でない

予

陽性

<TP>

16<FP>

16測

陰性

<FN>

18<TN> 950

感度 ＝TP／(TP + FN)
特異度＝TN／(FP + TN)

閾値を高くする（陽性に分類しにくくする）ほど、病気でない人を正しく陰性と分類する比率である「特異度」が高くなる一方で、病気の人を正しく陽性と分類する比率である「感度」が低くなる、感度と特異度のトレードオフの関係がある。閾値を動かして、そのモデルから得られる全ての感度と特異度の組み合わせをプロットした曲線は、ROC (Receiver OperatingCharacteristic) 曲線と呼ばれる。横軸に(1－特異度)、縦軸に感度をとり、(0,0)と(1,1)
を通る右肩上がりの曲線となる。(0,0)は、常に陰性に分類する場合で、(1,1)は常に陽性に分類する場合に相当する。左上の点(0,1)が、感度=1 かつ特異度=1 の完璧な予測を意味する。
この ROC 曲線と X 軸に囲まれた部分の面積を一般に AUC (Area Under the Curve)と呼ぶ。AUC は 0 から 1 までの値をとり、ROC 曲線の下の面積＝AUC値が大きいほど優れた分類モデルといえ(Area under the curve)る。

http://www.jcer.or.jp/-3-

日本経済研究センター

データサイエンス

リサーチブリーフ

LASSO (Least Absolute Shrinkage and Selection Operator)
線形モデルの推定方法の一つで、最小 2 乗法（OLS）に比べ、係数の大きさを縮小して 0 に近づけるとともに、説明変数が多数ある場合にその一部を自動的に選択することで、モデルの分散を小さくする方法。
線形モデルを推定するとき、説明変数の数が多いと、OLS では訓練データに対して過学習しやすく、訓練に使われなかった外のデータに対する予測の精度が低くなってしまう。そこで係数の大きさに対する罰則項を設けることで、モデルの分散を小さくし、モデルの予測精度を高める方法の一つが LASSO である。
以下の線形モデルを推定するとき、𝑦𝑦𝑖𝑖 = 𝛽𝛽0 + 𝛽𝛽1 𝑥𝑥𝑖𝑖1 + ⋯ + 𝛽𝛽𝑝𝑝 𝑥𝑥𝑖𝑖𝑖𝑖 + 𝜖𝜖𝑖𝑖 , 𝑖𝑖 = 1, … , 𝑛𝑛

一般的な OLS では、残差 2 乗和𝑛𝑛2

��𝑦𝑦𝑖𝑖 − 𝛽𝛽0 − 𝛽𝛽1 𝑥𝑥𝑖𝑖1 − ⋯ − 𝛽𝛽𝑝𝑝 𝑥𝑥𝑖𝑖𝑖𝑖 �𝑖𝑖=1を最小化する係数 β を求める。それに対して LASSO では、この残差 2 乗和に係数の大きさに対する罰則項を加え、以下の値を最小化する。
𝑛𝑛2𝑝𝑝��𝑦𝑦𝑖𝑖 − 𝛽𝛽0 − 𝛽𝛽1 𝑥𝑥𝑖𝑖1 − ⋯ − 𝛽𝛽𝑝𝑝 𝑥𝑥𝑖𝑖𝑖𝑖 � + λ ��𝛽𝛽𝑗𝑗 �
𝑖𝑖=1𝑗𝑗=1λは正則化パラメータと呼ばれ、0 以上の値をとる。λが大きいほど、係数βの大きさに対するペナルティーが大きくなるため、一般に係数は 0 に近づき、さらに係数が 0 になる変数が多くなる（左図）。一部の変数の係数が 0 になることは、その変数がモデルから落とされることを意味するため、LASSO は変数選択の方法としても捉えられる。λの値は、チューニングによって、モデルの精度を高くする値をデータから決定する。
正則化パラメータを動かしたときの係数の値

訓練データとテストデータの誤差
テスト（または検証）データの誤差λを大きくするほど、係数は 0 に近づく傾向。0 になる変数も増える。

変数が多いほど（λが小さいほど）、訓練データの誤差は小さくなるが、テストデータの誤差は一定のλ以下では悪化する。

訓練データの誤差（資料）図は James, G., D. Witten, T. Hastie & R. Tibshirani (2021) An Introduction to Statistical Learning withApplications in R, Second Edition より一部編集して作成。

http://www.jcer.or.jp/-4-

日本経済研究センター

データサイエンス

リサーチブリーフ

逆確率重みづけ (Inverse Probability Weighting)
施策の効果を測る際、施策の割り当てに偏りがある場合に、データに重みづけを行うことで、バイアスの無い平均効果を推定する方法。
例えばある施策（処置）の効果の大きさを測りたいとき、処置を受けるかどうかがランダムに割り当てられていれば、処置を受けた人と受けなかった人の成果指標（例えば所得や健康など）を比較することで効果を測ることができる。しかし処置を受けるかどうかがランダムに割り当てられておらず、処置を受けた層と受けなかった層に偏りがある場合もある。例えば成果指標が元々低そうな人の方が、処置を受けるケースが多いといったことがある。その場合、処置を受けたグループと受けなかったグループの指標を単純に比べてしまうと、効果の大きさを見誤ってしまう。そこで、割り当ての偏りによりデータに現れる確率の低い標本を大きく重みづけることで、偏りなく効果を測ろうとするのが、逆確率重みづけ (Inverse ProbabilityWeighting)の方法である。
具体的には、まず処置を受けるか受けないかを被説明変数とする二値モデル（例えばロジスティック回帰モデルなど）を、処置の有無と成果指標の双方に影響しうる要因を説明変数として推定する。そうして得られた処置を受ける／受けない確率の推定値を傾向スコアと呼ぶ。

次に、成果指標を処置の有無ダミーで回帰するのだが、その際に、先の傾向スコアの逆数で標本を重みづけて回帰する。そうして得られるのが、（割り当ての偏りを除いた）処置の平均効果である。

http://www.jcer.or.jp/-5-