Explainable AIを活用した
機械学習モデルと離散選択モデルの比較
Comparison of machine learning model and discrete choicemodel using explainable AI
2022.9.25
東京理科大学Tokyo University of Science Planning Lab

背景 Background

交通行動予測手法 Trafic behavior prediction method
離散選択モデル DCM

NN

予
測精度

• 解釈性が高く施策評価手法として有効• 「解釈性」「理論性」が重要視される分析手法• 精度や処理速度などの記述性能が求められる場面での適用が困難

DCM

解釈性

• Highly interpretable and effective as a policy evaluation method.
• An analysis method that emphasizes “Interpretability”, “theory”.
• Difficult to apply in situations where technical performance such as accuracy and processing speed is required.

機械学習 Machine learning• 記述性能は高いが解釈性が乏しい• 感度や予測根拠を示す解釈指標(Explainable AI: XAI)の発達
ØPI,PD,CPD,ICEなど• ブラックボックスに対しても解釈が可能• High technical performance but poor interpretability.
• Development of interpretive index (XAI) that shows sensitivity and predictive basis. →ex) PI, PD, CPD, ICE…

• Interpretation is also possible for black boxes.

機械学習と離散選択モデルの比較
Comparison of machine learning model and discrete choice model2

手段選択モデル(NN) Mode choice model

Feature value

𝑃!"#$%
𝑃'()
𝑃&#"

特徴量••

中間層は4層
ユニット数は順に
100,100,50,10
4 middle layersThe number of units
is 100, 100, 50, 10 inorder••𝑃'$,.
𝑃&-&+.
𝑃*#+,

的中率 0.752
Accuracy 0.752

入力層→H20東京PTデータ(特徴量)

出力層 →選択確率

Input layer→H20 Tokyo PT Data(Feature Value)

Output layer →Choice probability••

性別, 年齢, トリップ回数，トリップ順序，出発ゾーン，到着ゾーン，移動目的，出発時間，到着時間，滞在時間，各移動時間•

鉄道, バス, 自動車,二輪車, バイク，徒歩•

Train, Bus, Automobile, motorcycle, bike, walkSex, Age, Number of trips, Trip order, Departurezone, Arrival zone, Purpose of trip, Departuretime, Arrival time, Stay time, Each trip time

しかし，単純にNNで予測しただけでは解釈性に乏しい
ØXAIを用いることにより解釈性を与える
Poor interpretability by simply predicting with NN → Giving interpretability by using XAI

3

Explainable AI(XAI)①Permutation Importance(PI)Øモデルにおける特徴量重要度を計算する指標
Calculating the feature importance in models.
Øモデルの精度を高める上で重要な特徴量を判断する
Feature data is important to increase accuracy of models.

②Partial Dependence(PD)

特徴量
重要度

予測値

特徴量X

Ø特徴量がモデルの予測値にどのように影響を与えるのか
特徴量と予測値の平均的な関係を計算する
Calculating the relationship between each feature and output.
Ø特徴量と予測値が比例か反比例か，線形か非線形かを判断
We can see whether the relationship is in proportion or in inverse proportion.
We can also see whether linear or nonlinear.
4Permutation Importance(PI)• NNの交通手段選択モデルにPIを適用

Apply PI to mode choice modelØ特徴量の重要度を計算 Calculating the feature importance in models.

Gtime: 到着時刻
Arrival time
Stime: 出発時刻
Departure time
Dzone: 到着ゾーン
destination zone
Ozone: 出発ゾーン
origin zone

• どの特徴量を優先的に入れるかを判断できる
We can judge which features should be put in models preferentially.
• 離散選択モデルでも変数の選択に用いることが可能
We can also set variables of DCM by looking at the bar graph.

5

Partial Dependence(PD)• PDを適用し，特徴量と予測値の関係性を分析
Calculate the relationship between features and predictions with PDØ移動時間(横軸)と選択確率(縦軸)の関係
horizontal axis is travel time. vertical axis is probability
Train

BusCarBikeCycle

Walk• 非線形であるため，政策評価が難しい
Non-linear, making policy evaluation difficult

6

手段選択モデル(NN) Mode choice model
スキップコネクション(線形)𝑃!"#$%

Skip connection (linear)𝑤!
𝑤'𝑤&𝑤'𝑤&

各移動時間
travel time𝑃'()
𝑃&#"
𝑃'$,.

𝑤*

特徴量
feature𝑃&-&+.
𝑃*#+,

入力層
inputlayer

••

出力層

→H20東京PTデータ(特徴量)outputlayer

H20 Tokyo PT data (features)

𝑉!" = 𝑉!"#$% + 𝑉!"$$
的中率 0.557
Accuracy 0.557
𝑤!"#$% = −2.63
𝑤'() = −0.321
𝑤&#" = −0.782
𝑤'$,. = −0.678
𝑤&-&+. = −0.327
𝑤*#+, = −0.125→選択確率
Choice probability

性別, 年齢, トリップ回数，トリップ順序，出発ゾーン，到着ゾーン，移動目的，出発時間，到着時間，滞在時間• 鉄道, バス, 自動車,二輪車, バイク，徒歩

Sex, age, trip number, trip order, Departurezone, Origin zone, purpose of trip, Departuretime, Origin time, stay time

• これらの選択確率••

train, bus, car, bicycle, bike, walk

These choice probabilities

7

Partial Dependence(PD): NN+DCM• PDを適用し，特徴量と予測値の関係性を分析
Calculate the relationship between features and predictions with PD
Ø移動時間(横軸)と選択確率(縦軸)の関係
horizontal axis is travel time. vertical axis is probability
Train

BusCarBikeCycle

Walk• 選択確率が変曲点を持たない Selection probability has no inflection point

8

Partial Dependence(PD): NN+DCM• PDを適用し，特徴量と予測値の関係性を分析
Calculate the relationship between features and predictions with PD
Ø移動時間(横軸)と選択確率(縦軸)の関係
horizontal axis is travel time. vertical axis is probability
Train

BusCar

BikeCycle

Walk• PDの欠点：存在しないデータに対して計算が不安定になる
Disadvantage of PD: Calculations are unstable for non-existent data9Permutation Importance(PI)• 【DCM+NN】と【DCM】で特徴量重要度を比較
Compare the PI of DCM+NN model and DCM
ØDCMの重要度は，変数の有無による差を元に算出

Importance of DCM is calculated based on the difference with and without variables

・計算できる特徴量を反映
・移動時間に関しては同様の重要度を算出
・Reflects features that can be

個人属性は重要度が低い
Personal attributes are lessimportant.

computed・Calculate the same importancewith respect to travel time10

13/13

離散選択モデルと機械学習の比較
DCM

解釈性
Explainability

記述性能Accuracy•

変数パラメータ•

Value of Parameters•

NNDCM+NN•

特徴量重要度•

特徴量重要度•feature importance•feature importance

弾力性•

特徴量の感度分析(非線形)•

特徴量の感度分析(線形)•Elasticity•

Sensitivity analysis offeatures(non-linear)•

Sensitivity analysis offeatures(linear)

•

感度分析

•

Sensitivity analysis•

グループの異質性•

グループの異質性•Group heterogeneity•

Group heterogeneity

•

高精度

•

高精度

•

high precision•high precision•

処理速度が速い•

処理速度が速い•

processing speed : fast•

processing speed : fast•

的中率 0.752•

的中率 0.557•

accuracy 0.752•

accuracy 0.557•

損失関数の最小化•

損失関数の最小化•

処理速度が遅い•

processing speed : slow•

的中率 0.624•

accuracy 0.624

理論性•

効用理論に基づくルール•

Minimize loss function•

Minimize loss function

theoreticality•

Rules based on utility theory•

再現性は高い•再現性は高い•High reproducibility•

High reproducibility

11まとめ Summaryまとめ• 離散選択モデルと機械学習の「使い分け」と「併用」
The " proper use" and "user" of DCM and machine learning

使い分け proper use• 交通政策の決定など理論性が必要な場合は離散選択モデル
Use DCM when theoreticality is required, such as in transportation policy decisions• ABMの計算など記述性能が求められる場面においては機械学習
Use machine learning when descriptive performance is required, such as ABM

併用 Using both• 理論的（離散選択モデル）に導かれた結果と精度が高いモデル（NN）から得られた結果の2つを用いる• Using two results, one from the DCM and the other from the Neural Network• 理論と精度の両面から行動分析を行うことでより正確に評価できる• More accurate policy evaluation is possible by analyzing behavior in terms of boththeory and precision

12

予備スライドPermutation Importance(PI)• DCM+NNの交通手段選択モデルにPIを適用
Ø特徴量の重要度を計算• どの特徴量を優先的に入れるかを判断できる• 離散選択モデルでも変数の選択に用いることが可能

7

Conditional Partial Dependence(CPD)• CPDを適用し，グループごとに特徴量と予測値の関係性を分析
Ø移動時間(横軸)と選択確率(縦軸)の関係（非線形）TrainBikeCarBusCycle

Walk10Conditional Partial Dependence(CPD)• CPDを適用し，グループごとに特徴量と予測値の関係性を分析
Ø移動時間(横軸)と選択確率(縦軸)の関係（線形）
Car
Train
Bus

Bike

Cycle

Walk

10

Individual Conditional Expectation(ICE)• 個人ごとの特徴量と予測値の関係性を分析
Ø移動時間(横軸)と選択確率(縦軸)の関係
Car

Train

Bike

BusCycle

Walk

10Shapley Additive exPlanations(SHAP)• まとめ
Summary_plot

Ø目的変数に対する変数の寄与度を可視化したもの

PIと似ているが「何を持って重要な特徴量とするか」の定義の部分が異なっている
PI
モデルの性能低下に基づく重要度
SHAP
目的変数にどれだけ影響を与えるか••

選択肢全体で見てもPIと同じような変数の重要度が大きい
選択肢によって重要度の順序は異なっている

11

Shapley Additive exPlanations(SHAP)• まとめ
Summary_plotに特徴量の値を反映させたもの
Ø目的変数に対する変数の寄与度を可視化したもの「鉄道」における特徴量重要度• 特徴量の値が大きければ赤く特徴量の値が小さければ青くなる• 上位の特徴量ほど重要度は大きい• 移動時間の場合移動時間が大きければSHAP値も大きくなる鉄道を選択する確率が大きくなる

12

Shapley Additive exPlanations(SHAP)• まとめ
Waterfall_plotとDependence_plot

Waterfall_plot【どのような経緯で選択確率を算出したか】• ある個人の鉄道に対する選択確率推移• 効用関数のパラメータと同様の解釈をすることが可能• 離散選択モデルではデータ全体のパラメータであったが，SHAPでは個人のパラメータを見ることが可能

Dependence_plot【特徴量とSHAP値の関係性】• 鉄道における移動時間とSHAP値の関係• カラーバーにさらに特徴量を指定可能• ある値までは線形的だがそれ以降はばらつきが見られる• 車の費用が大きく移動時間が大きいと鉄道を選択しやすくなる13

Explainable AI (XAI)の比較
マクロな解釈手法

ミクロな解釈手法「弱い」使い方
比較的安全

PI

SHAP

PD

SHAP

CPD

SHAP

SHAPに関しては••インスタンスごとのミクロな手法
適度な粒度で集計・可視化を行うことでPI・PDのようにマクロな手法として利用可能

モデルのデバック•事前知識と整合的か，想定外の挙動はないか

モデルの振る舞いを解釈• モデルは特徴量Aを重視している• 特徴量が大きくなると予測値が大きくなる→あくまでモデルの一側面であり間違った解釈をする可能性

因果関係の探索「強い」使い方注意が必要• モデルの振る舞いを因果関係として解釈→厳密な因果推論の手法を合わせて使用するべき

6

Permutation Importance(PI)Permutation Importance による特徴量の重要度

まとめ
Øモデルにおける特徴量重要度を計算する指標

Øある特徴量をシャッフルし予測精度が悪化する → 重要な特徴量
ランダムにシャッフル
Person

年齢

性別

移動時間

Person

年齢

性別

移動時間

124M

15124M30215F30215F20330M35330M

15446F

20446F35

Ø各変数に対して同様の処理を行うことで計算可能Øランダム化された特徴量で予測したモデルの誤差が大きくなればその変数はモデルにおいて重要である
Ø損失関数の差分が特徴量重要度となる

Øモデルの精度を高めるための重要度であり因果的な解釈は不適切
Ø重要度が高い変数に対してより深い分析を行うことが重要
17

Partial Dependence(PD)まとめ

それぞれの特徴量がモデルの予測値にどのように影響を与えるのか
Ø特徴量と予測値の平均的な関係を計算する
Ø特徴量が大きくなったときモデルの予測値は大きくなるのかその関係は非線形なのかについて判断が可能
Ø他の特徴量を固定しある特徴量だけを動かし感度を分析する
𝑿𝟎

𝑿𝟏𝑿𝟐

予測

125𝑓(1,2,5)172𝑓(1,7,2)

1

34𝑓(1,3,4)

𝑿𝟎

𝑿𝟏𝑿𝟐𝑿𝟎𝑿𝟏𝑿𝟐

予測125225𝑓(2,2,5)

2

72

2

72𝑓(2,7,2)

3

34

2

3

4𝑓(2,3,4)

𝑿𝟎

𝑿𝟏𝑿𝟐

予測

3

25𝑓(3,2,5)3

7

2𝑓(3,7,2)

3

3

4𝑓(3,3,4)

予測結果を平均1
𝑓 1,2,5 + 𝑓 1,7,2 + 𝑓(1,3,4)
3

1𝑓 2,2,5 + 𝑓 2,7,2 + 𝑓(2,3,4)
3

1𝑓 3,2,5 + 𝑓 3,7,2 + 𝑓(3,3,4)
318

Shapley Additive exPlanations(SHAP)• 協力ゲーム理論においてのShapley Valueを機械学習に反映• Shapley Value: 利益配分の基準として用いられる指標• 複数のプレイヤーが協力して得た利益を各プレイヤーの貢献度に応じて配分する際に用いられる
参加者

報酬

特徴量予測値変化

A

6𝑿𝟎1.0B

4𝑿𝟏0.7

C2𝑿𝟐0.3A,B

20

𝑿𝟎 , 𝑿𝟏

2.5A,C

15

𝑿𝟎 , 𝑿𝟐

1.5B,C10

𝑿𝟐 , 𝑿𝟑

1.0A,B,C

24

𝑿𝟎 , 𝑿𝟏 , 𝑿𝟐

3.0

機械学習モデルの各特徴量に置き換え

機械学習

協力ゲーム理論
𝜙$ (𝑣) =.
%⊆'∖ $𝑆 ! 𝑛− 𝑆 −1 !
(𝑣 𝑆⋃ 𝑖𝑛!

−𝑣 𝑆 )

𝜙$ =.
%⊆'∖ $𝑆 ! 𝑛− 𝑆 −1 !
(𝑓) 𝑆⋃ 𝑖𝑛!

− 𝑓) 𝑆 )19

離散選択モデルと機械学習の比較

特徴量の重要度
記述性能

解釈性

データセット

理論性

13/13

離散選択モデル

機械学習

・選択肢が多くなると悪化
・処理速度が遅い

・精度が高い・計算速度が速い

・全体のパラメータしか得られない・マクロでもミクロでも可・個人ごとのパラメータがわかる

・手間がかかる・実選択肢以外も考える必要性

・実選択肢のみのデータセットで十分・効用による合理的なルール

・損失関数の最小化・精度が高いため再現性は高い

20

Shapley Additive exPlanations(SHAP)• モデルがなぜそのような予測値を出したのかを説明する手法• マクロとミクロの両方の視点からの解釈が可能

SHAP
Output = 0.4

Output = 0.4

Age = 23

Age = 23+0.4

Gender = F
Weight = 60

Gender = F

ModelExplanations
AI+0.3Weight = 60+0.1

Height = 165

Height = 165+0.122