1

パラメータ推定の基礎と学習
早稲田大学

佐々木邦明

2

最尤推定

3

行動モデルの推定と最尤推定• 有限個のパラメータで記述される確率密度関数の推定• パラメータベクトルθの下で，モデルfによる標本の生起確率を尤度とする

sm=bz

•

𝐿 𝜽

• (対数)尤度関数が最大になるθ を最尤推定値とする
•𝜃

θ

4

最尤推定法
• 点推定量を求める一般的な方法

nLn  | x  =  f xi |  i =1• 右上の式をθの関数とみなしたものが尤度関数• 尤度関数を最大化する θの値を最尤推定量とするのが最尤推定法

平均値の推定を例にするとデータ(x:3,5,4)が得られたとき，平均をいくつとするのがよいか?

⇒平均がいくつの分布だったらデータ(x:3,5,4)がもっとも得られやすいか?

5

ロジットモデルの最尤推定選ばれた選択肢の選択確率••∑

βは未知数，ｘは観測値•

データ(y:車, 車, 鉄道, 鉄道, 鉄道, 車, 鉄道,・・)が得られたとき，βをいくつとすると，再現性が高いのか?

⇒ βがいくつだったらデータ(y)が得られやすいのか?
βを色々と変えてみて一番Lが高くなるβを探す6

最大化アルゴリズムの考え方
周りがあまり見えない中で，近傍の情報から頂点を目指す• 対数尤度関数の段階的な最大化• 初期値を与える• 初期値周りで勾配(1次微分）等を用いて次の推定値の方向を決める• 初期値付近で１次微分，２次微分を用いて適切に次の点を決めて推定値を得る• 収束基準(一次微分ベクトル)で判定し，収束していない場合は，現在の値から次の推定値に移る

Ln  | x 

ˆML
2
 ST



1

7

代表的な繰り返し計算法
尤度関数を最大化

尤度関数の一階微分＝０を解く
g()• Newton-Raphson法• テイラー展開の１次近似を利用して進める• 準Newton法（BFGS，L-BFGS法）• ヘッセ行列を，パラメータの差分と一階微分の差分を用いて逐次近似する．
• L-BFGSはヘッセ行列の更新式を展開して，初期値と差分の関数和で表す．

 n 1 =  n  H 1 g1
2


1

0

H:尤度関数の二階微分 ヘッセ行列
g: 尤度関数の一階微分

8パラメータ推定がうまくいかない• 収束するとはθn+1とθnが同じになる• g が0になる• 収束しない

H-1ヘッセ行列の逆行列が早々に死亡
変数が完全相関
変数が効用関数に影響しないモデル
関数の近似状況
初期値の問題モデルに誤り
意思決定者間で異なるが，選択肢間では異ならない変数
選択肢間では異なるが，意思決定者間で異ならない変数• 無限に繰り返す• θ2が計算不能

gg(())

11• 局所最適解• 見かけ上の最大化002

9最尤推定法におけるモデル選択• 真の確率密度関数を近似するものが含まれる必要がある•⇒フレキシブルなモデルを選ぶ• 最尤推定は自由度の高さ前提•⇒自由度が低すぎるモデルは不適切𝜎⋮𝜎⋯ 𝜎⋱⋮⋯ 𝜎• 平均対数尤度の比較（KL情報量）• 例えば，共分散行列を考える• (非)制約モデル（A対称行列，B対角行列，C対角行列で分散同一）を考えるとCはBに含まれ，BはAに含まれるので，平均対数尤度L*は必ず• L*(A)≧L*(B)≧L*(C)になる．
AIC = −

log 𝑓 𝑥 , 𝜃+𝑡

10EM-アルゴリズム

11E-Mアルゴリズムの適用事例• 混合モデル••,• 媒介変数を用いて尤度関数を表現できる．
• ただし簡単に最大化できない

媒介変数

∑

12

混合モデルの推定技法• EM法• 不完全データの最適化法• 混合モデルは不完全データからの学習法• 適当な初期値を定める𝐿 𝜽• 初期値に応じて媒介変数を求める（E）• 求めた媒介変数から解を計算する（M）• 対数尤度関数は減少せず，局所最適解に収束する
𝜃

𝜃

𝜃

13

EMアルゴリズムとK-Means法• クラスターへの帰属は未知数• クラスターの中心をランダムに設定• 上記で決まったクラスターを用いてクラスター中心を再計算• 新しいクラスター中心からクラスターの帰属を割り付けなおす• ２つのプロセスを繰り返してクラスター中心までの距離の最適化→ Learning
ハイパーパラメータ• モデル推定• 仮定→

14

学習（LEARNING）

パラメータ推定と学習• 機械学習における学習• 判断の根拠となるための統計的なモデルを作る過程• 統計的機械学習• 機械学習の目的は「予測」• ある移動手段がどの程度選ばれそうか• ある個人が車を購入しそうか• フィッティング• 仮説に基づく制約をモデルとせず，予測精度が上がるようにモデルを自由に作る• ハイパーパラメータ16

モデルのパラメータ推定と学習• 1990年代後半～2000年代• 行動モデル界における派閥争い• 事実発見派• 予測主義派〇大学△先生△大学〇先生• 行動モデル:条件Sの時，（効用最大化した結果として）行動Aが選ばれる• 行動計量モデル• 選択結果とその時の条件データをもとに，要素のインパクトを，仮定した行動原理にしたがったモデルのパラメータとして求める• 行動と機械学習• 多項ロジットモデルでの分析では，IIA の問題がうるさく言われる• SoftMax関数（ロジット関数）を用いた機械学習による分析でIIA の話はない• 機械学習は，人間が行動に関して知識を得る(Fact Findings)というよりも予測(Forecasting）

17

機械学習と交通行動分析• 機械学習の利点• 行動原理の仮定が不要• 非線形関係をモデル化して予測精度向上• ノイズの多いデータを扱うことが可能• カテゴリデータ，順序変数なども効率的に扱い計算時間も短い• 外れ値に対して頑健Koushik, Manoj & Nezamuddin (2020)

18

各手法と課題• NN• 三層NNでおおむね近似できる(Cybenko,1989)• 離散・連続・カテゴリーデータを柔軟に扱えて，多重共線性を気にしなくていい（Henshcer and Ton, 2000）• たいていの場合，予測性能がMNLよりも優れている（Hussain et al., 2017，Assi et al. 2018）• 時間・空間的移転性は弱い（Henshcerand Ton, 2000, Mozolin et al., 2000, Tanget al., 2018)• 過剰適合が主な原因• SVM• NNと比較して，高速でオーバーフィッティングも少ない．
• モード選択，GPSデータマイニング，ライフスタイル分類に適用• データの量によっては過剰適合する(Allahviranloo & Recker, 2003)• 基本バイナリ分類機なのでマルチクラスの問題には適用が難しい

19Cont.
• DT（デシジョンツリー）• ALBATROSSで使用実績あり• 意思決定のプロセスではないが，意思決定に関与する変数の理解に使うことが可能（Beckman & Goulias, 2008, Hafezi etal., 2017)• DTとMNLの比較で一致する（Yamamotoet al.，2002)• DTは頑健性が弱く，データの変化に対して木の構造が変わってしまう可能性あがある（Witten et al., 2011)• EL (Ensemble Learners)• 実質的にRandom Forestのこと• 頑健性が高く，ノイズの影響が小さい• アンサンブルの木を増やしても過剰適合しない• GPSからのデータ抽出に使われる• モード検出，目的予測，トリップ構成• アンサンブルなだけに，モデルの解釈性が劣る．変数の重要度を計算したものもあるが，意思決定プロセスが不明確機械学習では変数の効果が不明確• Connection weightを用いた手段選択モデルのパラメータの感度分析 Golshani et. al(2018)• 結論• 行動に関しての知識が限定される
場合，予測精度が重要視される場合には優れる