早稲田大学佐々木邦明1最光推定2
•有限個のパラメータで記述される確率密度関数の推定・パラメータベクトルβ，モデル　f　による標本の生起確率を亢度とする・L(β) = Πｳ=1 f (γi|β) • (対数)尤度関数が最大になるθを最尤推定値とする•  B最尤推定法•点推定量を求める一般的な方法•右上の式をθの関数とみなしたものが尤度関数•尤度関数を最大化するθの値を最尤推定量とするのが最尤推定法n
平均値の推定を例にするとデータ(x：3,5,4)が得られたとき,平均をいくつとするのがよいか？ →平均がいくつの分布だったらデータ(x：3,5,4)がもっとも得られやすいか？
• L(μβ) = Π i =1 f (Υ i |μβ) \    exp(μβχί) • f (yi|µß) = Π j =1 (∑ j =1 exp(µßxij) j • Vij = µβxij = µβ1 + µβ1x1i + µβ2x2i … + µβκxкi選ばれた選択肢の選択確率Yij =1: if j=選択, yij = 0:それ以外βは未知数， xは観測値選択結果(У i  ： y 1 =車, y 2 =車, y 3 =鉄道, y 4 =鉄道, y 5 =鉄道, y 6 =車, ・・)が得られたとき，μβをいくつとすると，データへの適合がよいのか？ ⇒μβがいくつだったらデータ(γ)が得られやすいのか？ μβを色々と変えてみて一番Lが高くなるμβを探す
周りがあまり見えない中で，近傍の情報から頂点を目指す•対数尤度関数の段階的な最大化・初期値を与える・初期値周りで勾配(1次微分)等を用いて次の推定値の方向を決める・初期値付近で1次微分， 2次微分を用いて適切に次の点を決めて推定値を得る・収束基準(一次微分ベクトル)で判定し,収束していない場合は，現在の値から次の推定値に移るLn(Plx)
尤度関数を最大化 尤度関数の一階微分＝０を解く• Newton-Raphson法・テイラー展開の1次近似を利用して進める
・準Newton法（BFGS，L-BFGS法）
・ヘッセ行列を，パラメータの差分と一階微分の差分を用いて逐次近似する. ・ L-BFGSはヘッセ行列の更新式を展開して，初期値と差分の関数和で表す. H:尤度関数の二階微分ヘッセ行列g:尤度関数の一階微分7
•収束するとはβ n+1とβ nが同じになる・g'が0になる•収束しない・無限に繰り返す• β,が計算不能•局所最適解・見かけ上の最大化H 1ヘッセ行列の逆行列が早々に死亡変数が完全相関変数が効用関数に影響しないモデル関数の近似状況初期値の問題モデルに誤り意思決定者間で異なるが，選択肢間では異ならない変数選択肢間では異なるが，意思決定者間で異ならない変数
•真の確率密度関数を近似するものが含まれる必要がある⇒フレキシブルなモデルを選ぶ. •最尤推定は自由度の高さ前提⇒自由度が低すぎるモデルは不適切（過適合） ● ・平均対数尤度の比較（KL情報量） ・例：共分散行列を考える・(非)制約モデル（A対称行列，B対角行列，C対角行列で分散同一）を考えるとCはBに含まれ，BはAに含まれるので，平均対数尤度L*は必ず・L*(A)≥L*(B)≥L*(C)になる。 AIC
シミュレーションによる推定

手順
1.誤差項の密度関数から選択肢の数の次元の(準)乱数を発生させる2.この乱数を誤差の値として，各代替案の効用値を計算（積分）する3.代替案iの効用値とその他の代替案の効用との値を比較し，それらの大小関係を1-0の変数Gで記述する. 4. 1～3のステップを繰り返す.その反復回数をRとする. 5.シミュレーションされた確率はとなり，この値は不偏推定量である． P = 1 ∑ G ∪比率を確率に菅之換えるこれを尤度として最大になるようにパラメータをアップデートする
ロ準乱数の例としてHalton数列がある．その計算方法は素数pに対してS t+1 = {s t ,s t +1/p t ,s t +2/p t …,s t +(p −1)/p t }例えばp=3ならば，初期値0として1 /3, 2/3, 1/9, 4/9, 7/9, 2/9, 5/9, 8/9・・・ •多次元化・数列の異なる素数pを決めて，それぞれに応じて数列を作り多次元化する． •正規分布化•数列を制約つきの乱数発生と同様の変換をして正規分布化
・シミュレーション尤度最大化（MSL) •シミュレーションによって計算された確率を尤度として，最大化を行う． •特性•サンプル数と乱数発生回数に依存する. •乱数発生回数が十分大きいと一致性や漸近的有効性を持ち解析積分と一緒の特性を持つ. •乱数発生回数がサンプル数に対して小さく固定されると一致性もない. EM-アルゴリズム
•混合モデル• ƒ(xi|θ) = ∑ i=1 wiØ(μ,σ²)  L(θ) = Π i=1 f(xi|θ) W1, … Wm ≥ 0 • ÔML = argmaxlog L(θ)     subject to Π m = 1 ・媒介変数を用いて尤度関数を表現できる．ｗι ＝ Σι =1 exp(γιι) •ただし簡単に最大化できない
• EM法・不完全データの最適化法・混合モデルは不完全データからの学習法•適当な初期値を定める•初期値に応じて媒介変数を求める（E）  ↩ ・求めた媒介変数から解を計算する（M） → •対数尤度関数は減少せず，局所最適解に収束する学習（LEARNING）
•機械学習における学習•判断の根拠となるための統計的なモデルを作る過程•統計的機械学習•機械学習の主な目的は「予測」 •ある移動手段がどの程度選ばれそうか•ある個人が車を購入しそうか•フィッティング•仮説に基づく制約をモデルとせず,予測精度が上がるようにモデルを自由に作る•ハイパーパラメータ
•機械学習の利点•行動原理の仮定が不要•非線形関係をモデル化して予測精度向上・ノイズの多いデータを扱うことが可能•カテゴリデータ，順序変数なども効率的に扱い計算時間も短い•外れ値に対して頑健Koushik, Manoj & Nezamuddin (2020)

• NN
・三層NNでおおむね近似できる(Cybenko, 1989) ・離散・連続・カテゴリーデータを柔軟に扱えて，多重共線性を気にしなくていい(Henshcer and Ton, 2000) ・たいていの場合，予測性能がMNLよりも優れている（Hussain et al., 2017, Assi et al. 2018) ・時間・空間的移転性は弱い（Henshcer and Ton, 2000, Mozolin et al., 2000, Tang et al., 2018) ・過剰適合が主な原因
• SVM
・NNと比較して，高速でオーバーフィッティングも少ない. ・モード選択，GPSデータマイニング，ライフスタイル分類に適用・データの量によっては過剰適合する(Allahviranloo & Recker, 2003) ・基本バイナリ分類機なのでマルチクラスの問題には適用が難しい

・デシジョンツリー
・ALBATROSSで使用実績あり・意思決定のプロセスではないが，意思決定に関与する変数の理解に使うことが可能（Beckman & Goulias, 2008, Hafezi et al., 2017) • DTとMNLの比較で一致する（Yamamoto et al.,  2002) ・DTは頑健性が弱く，データの変化に対して木の構造が変わってしまう可能性あがある（Witten et al., 2011)
• EL (Ensemble Learners)
・頑健性が高く，ノイズの影響が小さい・アンサンブルの木を増やしても過剰適合しない・GPSからのデータ抽出・モード検出，目的予測，トリップ構成・アンサンブルなだけに，モデルの解釈性が劣る。変数の重要度を計算したものもあるが，意思決定プロセスが不明確
•ランダムフォレストを用いたアクティブトラベルの選択問題Fig. 6.2. Relative importance of independent variables and a summary of local • SHAPバリュー • Shapley値（のようなもの）を各要素について推定•判別に大きな影響をもたらす変数とその割合を示す•右図では，アクティブトラベルの選択に最も大きな影響を持つ要因は自動車保有explanations (Male) Fig. 6.3. Relative importance of independent variables and a summary of local
explanations (Female)
(Yang et. al, 2022) travel time時系列・ビッグデータと推定
• Gelman,  A. (2005) “N is never large” ・サンプル数が大きい場合，というものは存在しない．もしNが小さすぎて十分な推定値を得ることができないならば，データをもっと増やす(もしくはもっと多くの仮定を用いる)必要がある．しかし，Nが十分に大きいならば，データを分割してもっと多くの情報を得ることができる. ・Nが十分であることはない．もし「十分」だとしたら，もっと多くのデータを必要とする次の問題に取り組んでいるはずだ. ・ビッグデータを利用して予測分析する問題は，比較的単純なアルゴリズムが使われる.もっと難しい問題は，スモールデータの場合である．(C. Davidson, 2009) Trace of dist Density of dist
• MCMC法•前の状態に基づいて（Markov Chain）新しいパラメータをランダムにサンプリング(Monte Carlo)する•最尤推定と違う・最尤推定⇒最適化＝どっかで止まる・MCMC⇒分布を再現＝いつまでも動く•乱数を使った単純操作の繰り返しで事後確率の大きいところを探しながらサンプルを生成する•カーネルの比較p(X|θ’)p(θ’)    p(X) p(X|θ)p(θ) p(X) Trace of aged Density of aged Trace of wom Density of wom Trace of (Intercept).1 Density of (Intercept).1
·行動モデルを推定し，そのパラメータを用いて，変数の変化による選択の変化を見る. •政策：変数の変化・例えば:所要時間を短縮，駐車場の料金を割り引く等，政策に対応した変数が必要•政策評価・数え上げ法：個人の選択確率を予測して，積み上げる  S(j) = " ∑ i =1 Pi(j) ・最大効用の選択肢を力ウント・確率の平均値を求める
•行動モデルを推定し，そのパラメータを用いて，変数の変化による選択の変化を見る. •回遊行動の分析・マイクロシミュレーションを用いることで，複雑なモデルの組み合わせを政策評価可能・シミュレーションなので，複数回実施して平均的な評価を行う