Comparison of machine learning model and discrete choice model using explainable AI 2022.9.25
町官(建武モデルDCM
信多歌平書 Machine learning
学習と離散選択モデルの比較
交通行動予測手法 Trafic behavior prediction method釋釈性が高く施策評価手法として有効「理論性」が重要視される分析手法•精度や処理速度などの記述性能が求められる場面での適用が困難•  Highly interpretable and effective as a policy evaluation method. •  An analysis method that emphasizes “Interpretability”, “theory”. •  Difficult to apply in situations where technical performance such as accuracy and processing speed is required. ・記述性能は高いが解釈性が乏しい・感度や予測根拠を示す解釈指標(Explainable Al: XAI)の発達▷PI,PD,CPD,ICEなど・ブラックボックスに対しても解釈が可能•  High technical performance but poor interpretability. •  Development of interpretive index (XAI) that shows sensitivity and predictive basis. →ex) PI, PD, CPD, ICE... •  Interpretation is also possible for black boxes. Comparison of machine learning model and discrete choice mode 2
入力層
→H20東京PTデータ(特徴量)
→H20 Tokyo PT Data(Feature Value) Input layer .性別,年齢,トリップ回数, トリップ順序,出発ゾーン,到着ゾーン,移動目的,出発時間，到着時間，滞在時間，各移動時間. Sex, Age, Number of trips, Trip order, Departure zone, Arrival zone, Purpose of trip, Departure time, Arrival time, Stay time, Each trip time Ptrain中間層は4層Pbusユニット数は順に100,100,50,10 4 middle layers Pcar . . Pbike Pcycle The number of units is 100, 100, 50, 10 in order的中率0.752 Accuracy 0.752 Pwalk思力力層→選択確率Output layer    →Choice probability鉄道,バス,自動車,二輪車,バイク,徒歩Train, Bus, Automobile, motorcycle, bike, walkしかし，単純にNNで予測しただけでは解釈性に乏しい▷XAIを用いることにより解釈性を与えるPoor interpretability by simply predicting with NN → Giving interpretability by using XAI 3
①Permutation Importance(PI)
▷モデルにおける特徴量重要度を計算する指標Calculating the feature importance in models. ▷モデルの精度を高める上で重要な特徴量を判断するFeature data is important to increase accuracy of models.
②Partial Dependence(PD)
▷特徴量がモデルの予測値にどのように影響を与えるのか特徴量と予測値の平均的な関係を計算するCalculating the relationship between each feature and output. ▷特徴量と予測値が比例か反比例か,線形か非線形かを判断We can see whether the relationship is in proportion or in inverse proportion. We can also see whether linear or nonlinear.
• NNの交通手段選択モデルにPIを適用   Apply PI to mode choice model ▷特徴量の重要度を計算Calculating the feature importance in models. Gtime:到着時刻Arrival time Stime:出発時刻Departure time Dzone:到着ゾーンdestination zone Ozone:出発ゾーンorigin zone Weight •どの特徴量を優先的に入れるかを判断できるWe can judge which features should be put in models preferentially.散選択モデルでも変数の選択に用いることが可能e can also set variables of DCM by looking at t he bar graph. 5
• PDを適用し，特徴量と予測値の関係性を分析Calculate the relationship between features and predictions with PD移動時間(横軸)と選択確率(縦軸)の関係horizontal axis is travel time. vertical axis is probability •非線形であるため, 政策評価が難しいNon-linear, making policy evaluation difficult
Vij = VMNL的中率0.557 Accuracy 0.557 Wtrain = −2.63 Wbus = −0.321 Wcar = −0.782 Wbike = −0.678 Wcycle = −0.327 Wwalk = −0.125入力層input layer →H20東京PTデータ(特徴量) H20 Tokyo PT data (features) →選択確率Choice probability output layer鉄道,バス,自動車,に輪車,バイク,徒歩train, bus, car, bicycle, bike, walk性別,年齢,トリップ回数, トリップ順序,出発ゾーン,到着ゾーン,移動目的,出発時間,到着時間,滞在時間Sex, age, trip number, trip order, Departure zone, Origin zone, purpose of trip, Departure time, Origin time, stay timeこれらの選択確率These choice probabilities •世力層
• PDを適用し，特徴量と予測値の関係性を分析Calculate the relationship between features and predictions with PD移動時間(橫軸)と選択確率(縦軸)の関係horizontal axis is travel time. vertical axis is probability選択確率が変曲点を持たないSelection probability has no inflection point 8
• PDを適用し，特徴量と予測値の関係性を分析Calculate the relationship between features and predictions with PD - >移動時間(横軸)と選択確率(縦軸)の関係horizontal axis is travel time. vertical axis is probability PD DCM • PDの欠点：存在しないデータに対して計算が不安定になるDisadvantage of PD: Calculations are unstable for non-existent data
9

• 【DCM+NN】と【DCM】で特徴量重要度を比較Compare the PI of DCM+NN model and DCM >DCMの重要度は，変数の有無による差を元に算出be 10
DCM NN DCM+NN
. Value of Parameters解釈性
Elasticity Explainability
特徴企量重要度feature importance
高精度high precision
processing speed : fast
損失関数の最小化Minimize loss function再現性は高いHigh reproducibility特徴量重要度feature importance特徴量の感度分析(線形) Sensitivity analysis of features(linear)
高精度high precision
処理速度が速い
損失関数の最小化Minimize loss function
処理速度が遅いprocessing speed : slow
事件theoreticality効用理論に基づくルールRules based on utility theory . 11
•離散選択モデルと機械学習の「使い分け」と「併用」
The " proper use" and "user" of DCM and machine learning
使い分け proper use
•交通政策の決定など理論性が必要な場合は離散選択モデルUse DCM when theoreticality is required, such as in transportation policy decisions ・ABMの計算など記述性能が求められる場面においては機械学習Use machine learning when descriptive performance is required, such as ABM
併用 Using both

精度が高いモデル（NN）から得られた結果の2つを用いる•  Using two results, one from the DCM and the other from the Neural Network ・理論と精度の両面から行動分析を行うことでより正確に評価できる• More accurate policy evaluation is possible by analyzing behavior in terms of both theory and precision
予備スライド
• DCM+NNの交通手段選択モデルにPIを適用▷特徴量の重要度を計算・どの特徴量を優先的に入れるかを判断できる•離散選択モデルでも変数の選択に用いることが可能7
• CPDを適用し，グループごとに特徴量と予測値の関係性を分析移動時間(横軸)と選択確率(縦軸)の関係（非線形） 10 8888
• CPDを適用し，グループごとに特徴量と予測値の関係性を分析>移動時間(横軸)と選択確率(縦軸)の関係（線形)
•個人ごとの特徴量と予測値の関係性を分析▷移動時間(横軸)と選択確率(縦軸)の関係10

• Summary   plot
>目的変数に対する変数の寄与度を可視化したものPIと似ているが「何を持って重要な特徴量とするか」の定義の部分が異なっているPlモデルの性能低下に基づく重要度SHAP目的変数にどれだけ影響を与えるか. .選択肢全体で見てもPIと同じような変数の重要度が大きい選択肢によって重要度の順序は異なっている
• Summary_plotに特徴量の値を反映させたもの>目的変数に対する変数の寄与度を可視化したもの「鉄道」における特徴量重要度特徴量の値が大きければ赤く.特徴量の値が小さければ青くなる上位の特徴量ほど重要度は大きいHigh > high and移動時間の場合移動時間が大きければSHAP値も大きくなる鉄道を選択する確率が大きくなる

Waterfall  plot
【どのような経緯で選択確率を算出したか】ある個人の鉄道に対する選択確率推移.効用関数のパラメータと同様の.解釈をすることが可能離散選択モデルではデータ全体の.パラメータであったが，SHAPでは個人のパラメータを見ることが可能
【特徴量とSHAP値の関係性】
。 . .鉄道における移動時間とSHAP値の関係カラーバーにさらに特徴量を指定可能ある値までは線形的だがそれ以降はばらつきが見られる.車の費用が大きく移動時間が大きいと鉄道を選択しやすくなる
マクロな解釈手法
SHAPに関しては
インスタンスごとのミクロな手法. .適度な粒度で集計・可視化を行うことでPI・PDのようにマクロな手法として利用可能ミクロなSHAP解釈手法「弱い」使い方比較的安全
モデルのデバック
事前知識と整合的か，想定外の挙動はないか•
モデルの振る舞いを解釈
●モデルは特徴量Aを重視している●特徴量が大きくなると予測値が大きくなる→あくまでモデルの一側面であり間違った解釈をする可能性因果関係の探索モデルの振る舞いを因果関係として解釈. →厳密な因果推論の手法を合わせて使用するべき「強い」使い方注意が必要
Permutation Importanceによる特徴量の重要度▷モデルにおける特徴量重要度を計算する指標>ある特徴量をシャッフルし予測精度が悪化する→重要な特徴量
▷各変数に対して同様の処理を行うことで計算可能▷ランダム化された特徴量で予測したモデルの誤差が大きくなればその変数はモデルにおいて重要である▷損失関数の差分が特徴量重要度となる>モデルの精度を高めるための重要度であり因果的な解釈は不適切>重要度が高い変数に対してより深い分析を行うことが重要17
それぞれの特徴量がモデルの予測値にどのように影響を与えるのか>特徴量と予測値の平均的な関係を計算する>特徴量が大きくなったときモデルの予測値は大きくなるのかその関係は非線形なのかについて判断が可能>他の特徴量を固定しある特徴量だけを動かし感度を分析する子測結果を平均={f(1,2,5) + f(1,7,2) + f(1,3,4)}
3 4
= {f (2,2,5) + f (2,7,2) + f (2,3,4)} = {f (3,2,5) + f (3,7,2) + f (3,3,4)}
18

•協力ゲーム理論においてのShapley Valueを機械学習に反映• Shapley Value:利益配分の基準として用いられる指標•複数のプレイヤーが協力して得た利益を各プレイヤーの貢献度に応じて配分する際に用いられる
|S|! (n − |S| − 1)!
 SEN\{i} |S|! (n − |S| − 1)!

19

離散選択モデル機械学習記述性能・選択肢が多くなると悪化・処理速度が遅い・精度が高い・計算速度が速い解釈性・全体のパラメータしか得られない・マクロでもミクロでも可・個人ごとのパラメータがわかるデータセット・手間がかかる・実選択肢以外も考える必要性・実選択肢のみのデータセットで十分理論性・効用による合理的なルール・損失関数の最小化・精度が高いため再現性は高い
•モデルがなぜそのような予測値を出したのかを説明する手法・マクロとミクロの両方の視点からの解釈が可能