都市経済学ワークショップ@京都⼤学
2024年3⽉15⽇ 16:30-18:00

ネットワーク上の⾏動モデルとその推定

⼤⼭ 雄⼰
芝浦⼯業⼤学 ⼟⽊⼯学科 准教授
Activity Landscape Design Lab.
oyama@shibaura-it.ac.jp

⼤⼭雄⼰ 博⼠ (⼯学)

交通⾏動 =「⼈の時空間的な移動」の理論・分析⼿法開発を研究

芝浦⼯業⼤学 ⼟⽊⼯学科 准教授
2012

東京⼤学⼯学部都市⼯学科 卒業(ランドスケープデザイン)2017

東京⼤学⼤学院都市⼯学専攻 学位取得
(ネットワーク⾏動学)

2017-19

ポスドク@EPFL, Transport and Mobility Lab.
(Discrete choice model / Network design)

2019-20

特任助教@東⼤⻄成総研(物流需要マネジメント)

2020-

芝浦⼯業⼤学 ⼟⽊⼯学科
都市環境設計研究室を主宰▲ 道後温泉⾶⿃乃湯 中庭広場・街路基本設計 (2017.12竣⼯)▲複数都市でのビジョン策定業務・コンペ等▲付知地域デザインミュージアム 広場設計 (2022.10竣⼯)

1

“⼈間中⼼”の都市空間再設計(例)• 街路空間再編 (e.g. Superblock; Google Sidewalk labs)• 駐⾞場広場化 (e.g. Parklet; みんなの広場)

Current (car-oriented)

Human-centered design(City of the Future, by Valerio, P.)(Ada Colau via Gergely Karácsony)(Ajuntament Barcelona)2

空間選択のシークエンスとしての回遊⾏動
移動の中で出会う空間・⾵景に反応

活動パターン = 時間軸上での空間(状態)選択のシークエンス

3

様々なネットワーク⾏動表現
Network path choice models can describe various types of behavior based on
the definition of states.
Network

Application

State

Reference

General transportation
network

Road, bicycle, walking

Link

Fosgerau+ (2013)
Zimmerman+ (2017)

Multi-modaltransportation network

MaaS, tourism(Link, Mode)De Freitas+ (2019)
Tabuchi & Fukuda (2020)

Time-space network

Transit, timedependent road NW(Link, Time)De Moraes Ramos+ (2020)
Akamatsu+ (2023)

Activity network

Daily schedule, tripchain(Place, Time,
Type, Stay/move)

Zimmerman et al. (2018)
Oyama & Hato (2016)

Integrated choice of route, activity places and durations by activity path modeling (Oyama & Hato, 2016) 5

本⽇の内容1. 交通分野における経路選択モデルの⽅法論的発展
2. マルコフ型経路選択モデルの推定問題とその解決
3. 局所的認知効⽤を考慮したモデリング6

本⽇の内容1. 交通分野における経路選択モデルの⽅法論的発展
2. マルコフ型経路選択モデルの推定問題とその解決
3. 局所的認知効⽤を考慮したモデリング7

経路選択⾏動モデル• ネットワーク上である出発地から到着地まで (OD) を結ぶ経路のうち，
旅⾏者がどの経路を選択するかをモ
デル化• 交通分野においては，OD交通量のネットワークへの割当 (=交通量配分) モデルとして道路需要推計の基礎をなしている• 政策上の主要な関⼼• 交通混雑の時空間分布予測• 時間価値や移動時間以外の要因 (政策変数) とのトレードオフ(Willingness-to-travel) の推計，それに基づく弾⼒性・政策効果評価• ⇒ 主に離散選択モデルを⽤いた個
⼈の⾏動分析とその集計化による需要予測が⾏われる

Isenschmid et al. (2022)8経路選択⾏動モデル• 意思決定者 (旅⾏者)• トリップOD• 個⼈属性: 移動⽬的，時間価値など• 情報の獲得: 事前 (静的) or 逐次 (動的)• 選択肢集合 Cod• 各経路選択肢の属性: 距離，時間，右左折回数，路線特性，沿道環境 etc• 意思決定ルール• 最⼩費⽤基準 or ランダム効⽤理論 or
摂動効⽤理論 etc• 選択タイミング: 事前 or 逐次Isenschmid et al. (2022)9経路選択モデルのモデリング上の関⼼• (1) 経路選択肢効⽤の相関• 重複率の⾼い経路同⼠で⾮観測の効⽤に相関がある• (2) 経路選択肢集合の定義• ネットワーク規模に応じて候補経路数が爆発的に増加• (3) 混雑のモデル化• 旅⾏者間の相互作⽤(⾏動の外部性)を明⽰的に考慮する必要がある
O
O

D

O

O

O

…
D

D
D

D

O
相関⾼い

D

k=10でも1025程度の規模
10経路選択肢間の相関• 基本的なモデルとして多項ロジットモデル (MNL) を想定
c

O

D

ø
ø

c-ø

c, φ, βに依らず等確率として予測⇒特にφが⼩さい場合，重複経路の確率を過⼤推計• 主に2種類のアプローチが提案

1. ペナルティ項の導⼊による修正MNLモデル
2. GEV (Generalized Extreme Value) アプローチ (McFadden, 1978)

11

修正MNLモデル (Ben-Akiva & Bierlaire, 1999)• 重複に伴う “Path Size” ペナルティ項を確定項に導⼊
where• 重複0のときにPSは最⼤値1をとる• 重複⻑さが⻑く，そこで多くの経路と重複するほどPSが⼩さく
なる = 効⽤が割り引かれる
Bierlaire (2009)

Path 1OøøcPath 2Dc-øPath 3Ben-Akiva, M., & Bierlaire, M. (1999). Discrete choice methods and their applications to short term travel decisions.

12

GEVモデル (McFadden, 1978)• 誤差相関構造を明⽰的にモデル化• 経路選択モデルにおいては，Vovsha & Bekhor (1998) の Cross-Nested(Link-Nested) Logit モデルが代表的• ネストm = 同⼀リンクの利⽤• 各リンクへの帰属度合αを重複率により表現

Path 1O

Link aLink bLink cPath 2

D

Link aLink bLink cLink dLink dPath 3

Path 1

Path 2Path 3

Vovsha & Bekhor (1998) Link-nested logit model of route choice: overcoming route overlapping problem. Transportation research record.

13経路選択肢集合の特定• 確率的選択モデルにおいては，選択確率 (合計1) を割り当てるための経路集合の定義が必要• ネットワーク規模に応じて元となる候補集合が膨⼤になり，適切に定義することは困難• 経路選択肢集合⾃体の観測も不可能• アプローチ: 明⽰的 or ⾮明⽰的 な経路選択肢の列挙/⽣成
O
O

D
D

O

D
D

14

明⽰的な経路選択肢の列挙
決定論的経路集合の⽣成法• k番⽬最短経路探索 (Eppstein, 1998)• ラベリング法 (Ben-Akiva et al., 1984)• 分枝限定法 (Hoogendoorn-Lanser, 2005)• 幅優先探索 (Rieser-Schussler et al., 2013)
確率論的経路集合の⽣成法• 経路サンプリング法 (Fresinger et al., 2009;
Flotterod and Bierlaire, 2013)• 選択肢の認知確率をモデル化 (Cascetta
and Papola, 2001)• 深層学習 (VAE) を⽤いた⽅法 (Yao andBekhor, 2022)

Frejinger and Bierlaire (2007)15明⽰的な経路選択肢の列挙
K-Shortest Paths with Limited Overlaps (Chondrogiannis et al., 2020)

Breadth-first search on link elimination (Rieser-Schussler et al., 2013)
最⼩費⽤経路をベースにその⼀部を取り除き，代替経路を⽣成．コストの定義によりアルゴリズムを
カスタマイズ可能．

Chondrogiannis et al. (2020). Finding k-shortest paths with limited overlap. The VLDB Journal, 29(5)Rieser-Schüssler et al. (2013) Route choice sets for very high- resolution data. Transportmetrica A: Transport Science.

16明⽰的な経路選択肢の列挙 | 確率的アプローチ
Sampling of alternatives (Frejinger et al., 2009): 経路iが実際に選ばれた(観測された)ときの集合Cnのサンプリング確率

Biased Random Walk による経路サンプリング•

Step 1: 下流リンクの重みを計算•

Step 2: リンク選択確率•

Step 3: oからdに到達するまで繰り返す

Frejinger, Bierlaire & Ben-Akiva (2009) Sampling of alternatives for route choice modeling. Transportation Research Part B, 43(10), 984-994.

17明⽰的な経路選択肢の列挙 | 確率的アプローチ
Sampling of alternatives (Frejinger et al., 2009)

1. R回の経路サンプリングを実施 (重複あり)
2. サンプリングされた経路 + 観測経路により集合 Cnを形成: 経路jがサンプリングされた回数

経路iが観測された条件のもとでは

選択肢サンプリング (経路列挙) に対するUnbiasedな経路選択確率:

Frejinger, Bierlaire & Ben-Akiva (2009) Sampling of alternatives for route choice modeling. Transportation Research Part B, 43(10), 984-994.

18明⽰的な経路選択肢の列挙 | 確率的アプローチ
Implicit Availability Perception (Cascetta et al., 2002)「選択肢の認知確率」としてモデル化し導⼊: 経路iの属性変数

Variational autoencoder approach (Yao and Bekhor, 2022)

Cascetta et al (2002) A model of route perception in urban road networks. Transp. Res. B.

19

Yao & Bekhor (2022) A variational autoencoder approach for choice set generation and implicit perception of alternatives in choice modeling. Transp. Res. B.

経路列挙の問題• 真の経路集合を知る (観測する) ことは不可能• 推定の際に「観測された経路」は必ず経路選択肢集合に⼊れる必要がある
2つのInconsistency• 推定結果が選択肢集合に依存• 推定に⽤いる経路集合と予測に⽤いる経路集合の不⼀致

Distance negatively affects choice

Distance positively affects choice20

Link-based approach前提:• ネットワーク (グラフ)• 経路 = リンクの系列
Idea: 経路の選択を系列的なリンク選択として分解

a3
a1
o

a6
d

a4
a2

a7
a5

各選択の選択肢集合はネットワーク
構造から明⽰的に与えられる

21

Link-based approach
動的計画法 (DP) に基づく再帰的定式化:• リンク選択に関する瞬時効⽤• 各リンクから⽬的地までの価値 (最適値) 関数
最短 (最⼩費⽤) 経路問題

Instantaneous utility

Value function of state
a3

a1
o

a6
d

a4
a2

a7
a5

22

Link-based approach
ランダム効⽤最⼤化モデル (Dynamic discrete choice model)
where※静的NW上の経路選択では，リンク選択が確定的に次の状態を決定

Instantaneous utility

Value function of state
a3

a1
o

a6
d

a4
a2

a7
a5

23

Link-based approach“Recursive” logit (RL) モデル (Akamatsu, 1996; Fosgerau et al., 2013)
誤差項εにiidガンベル分布を仮定し，線形⽅程式形へ帰着:

選択確率は全経路を選択肢集合とする経路選択モデルと等価になる

Akamatsu, T. (1996). Cyclic flows, Markov process and stochastic traffic assignment. Transportation Research Part B.
Fosgerau et al. (2013) A link based network route choice model with unrestricted choice set. Transportation Research Part B.

24

余談: Markov decision process (MDP)
Modeling sequential decision-making of an agent under uncertainty

MDP is defined as

t-1

•
•
•
•

: State space: Action space: Dynamics (state transition): Reward function

t

T
...

Agent
RewardActionState

Environment
Dynamics
25余談: Markov decision process (MDP)
Agent’s behavior
Decide policy (action probability) to maximize expected sum of rewards

Recursive formulation:

Different reward specifications lead to different MDP models (Mai & Jaillet, 2020)- Regularized MDP- Entropy regularized MDP(Maximum causal entropy)- Dynamic discrete choice model
Mai, T., & Jaillet, P. (2020). A relation analysis of Markov decision process frameworks. arXiv preprint arXiv:2008.07820.

26余談: Dynamic discrete choice model (Rust, 1987)
Connection of MDP with a choice model••••State s : situation for the choice (e.g., attributes of alternatives/agents)
Action a : choice among alternatives
Reward r : utility that agent gains from choice
Policy π : choice probability

Under (additive) random utility theory:
with
Systematic & error components

Value function (with known dynamics) is thenRust, J. (1987). Optimal replacement of GMC bus engines: An empirical model of Harold Zurcher. Econometrica: 999-1033.

27

余談: MDP in (static) networks
Network route choice MDP models• Often define link (node) as state so that action always and directly leads
to the same next state (deterministic dynamics)• Have destinations where agents terminate their actions (episodic MDP)
Dynamic discrete choice model (same as previous):

Recursive logit (route choice) model (Fosgerau et al., 2013):(i.i.d. Gumbel)(action choice probability)*Equivalent to Maximum Causal Entropy MDP (Ziebart et al., 2008; Zierbart, 2010)28

Fosgerau, M., Frejinger, E., & Karlstrom, A. (2013). A link based network route choice model with unrestricted choice set. Transp. Res. Part B 56: 70-80.

Link-based approach
RL モデルNested RL モデル (Mai et al., 2015)

Mai, T., Fosgerau, M., & Frejinger, E. (2015). A nested recursive logit model for route choice analysis. Transportation Research Part B.

29

Nested RL モデル (Mai et al., 2015)

Mai, T., Fosgerau, M., & Frejinger, E. (2015). A nested recursive logit model for route choice analysis. Transportation Research Part B.

30

Link-based approach
Network-GEV モデル (Oyama et al., 2022)
交通ネットワークそのものを相関を表すGEVネットワークとしてみなす

価値関数:

選択確率:

Oyama, Hara, Akamatsu (2022). Markovian traffic equilibrium assignment based on network generalized extreme value model. Transp. Res. B.

31

⽐較
Path-based approach• 重複を明⽰的に扱うことができる• 「経路」ならではのNon link-additiveな属性を明⽰的に考慮できる• アドホックな定義に依存しInconsistencyの問題が⽣じる• 確率的な⽅法では計算負荷が⼤きい（シミュレーションが必要）
Link-based approach• Consistentな推定・予測• DP理論 (MDP) に⽴脚し，情報科学的アプローチとも関連• ネットワーク構造や効⽤サイズに依存した数値計算問題• Link-additiveな属性しか扱うことができない

32

摂動効⽤ (Perturbed Utility) モデルとしての表現
最短 (最⼩費⽤) 経路選択問題
旅⾏者が旅⾏費⽤を最⼩化するように通過リンクxを決定する
s.t.

最⼩”摂動”費⽤経路選択問題 (Fosgerau et al., 2022)
旅⾏者が摂動旅⾏費⽤を最⼩化するように流率xを選択する
s.t.

※摂動関数Fがエントロピー関数のとき，ロジットモデルに⼀致
最適性条件

Fosgerau et al. (2022) A perturbed utility route choice model. Transportation Research Part C: Emerging Technologies.

33

交通量配分モデル• 交通分野において経路選択モデルは，OD交通量のネットワークへの割当 (=交通量配分) モデルとして道路需要推計の基礎をなしている• 交通量配分モデルにおける渋滞 = 交通量の増加に伴う所要時間遅れ• リンクパフォーマンス関数 c = t(x) により表現
所要時間 tPolynomial

Linear

⾃由流所要
時間 t0

交通量 x

リンク容量κ

34

交通量配分モデル• リンクパフォーマンス関数の(⼀般的な)仮定• 交通量に対して狭義の単調増加関数• ヤコビ⾏列が対称⾏列(※⾮対称な相互作⽤が存在する場合，⼀般に等価最適化問題が存在しない)• 確率的交通量配分モデルの等価最適化問題は，OD交通量qodを所与とした摂動
費⽤最⼩流問題として以下のように与えられる:※このとき x はリンク交通量として求められる
s.t.

Network-GEV型の交通量配分モデル (Oyama et al., 2022)

Oyama, Hara, Akamatsu (2022). Markovian traffic equilibrium assignment based on network generalized extreme value model. Transp. Res. B.

35

交通量配分モデルの解法• 等価最適化問題の解析を通じて解の存在・⼀意性等の性質が証明可能• 効率的な⾮線形最適化アルゴリズムが導出できる• 降下⽅向が反復mにおける所要時間t(x(m))を所与としたNetwork loadingにより与えられる• Primal アルゴリズム (未知変数: リンク交通量x)• Method of Successive Average (Sheffi and Powell, 1982)• ステップサイズを1/mとして与える• Frank-Walfe / Partial Linearization methods (Chen and Alfa, 1991;
Patriksson, 1993)• 等価最適化問題に基づくステップサイズの最適化• Dual アルゴリズム (未知変数: リンクコストc)• Accelerated Gradient Descent (AGD) (Oyama et al., 2022)• Quasi-Newton AGD (Fosgerau et al., 2023)• 双対問題が制約なし最適化 & 解空間が⼩さくなることに着⽬した効率的アルゴリズムの開発

36

交通量配分モデルの解法

Oyama et al. (2022)

Oyama et al. (2022)

Fosgerau et al. (2023)

37

本⽇の内容1. 交通分野における経路選択モデルの⽅法論的発展
2. マルコフ型経路選択モデルの推定問題とその解決
3. 局所的認知効⽤を考慮したモデリング

Yuki Oyama (2023) Capturing positive network attributes during the estimation of recursive logit
models: A prism-based approach. Transportation Research Part C: Emerging Technologies 147: 104014

39

再起的構造を持つモデルの推定
Nested Fixed Point (NFXP) algorithm (Rust, 1987)
Outer algorithm
maximizes the likelihood function over the parameter spacee.g.

Inner algorithm
solves the value functions for each parameter value
or(until convergence)

Inner algorithm は推定過程で探索される全てのパラメータ候補に対して解を持つ必要がある
40

再起的構造を持つモデルの推定The value functions are the solution of a fixed point problem:
whereis the Bellman operator

1. Hawkins-Simon / spectral radius condition
is invertible when the maximum absolute of
eigenvalues ofis strictly less than one
2. Utility condition (Mai and Frejinger, 2022)
is a contraction mapping if:
where

41

再起的構造を持つモデルの推定
Feasible region

True parameter
value

Infeasible region

does not have a fixed
point solution
Outeralgorithm

42

再起的構造を持つモデルの推定
1.

2.

仮に真のパラメータ（や初期値）に対して価値関数が求解可能だとしても，探索されるパラメータ全てがそうである
保証はない（1つでも計算可能条件を満たさなければ推定は失敗）
また，真のパラメータ（未知）も計算可能条件を満たすとは限らない
E.g., if there exist state pairs with positive utilities

Then the following condition clearly does NOT hold:43

再起的構造を持つモデルの推定
これまで：計算条件を満たすための（アドホックな）効⽤関数の操作
負の効果をもつと期待される属性のみを導⼊ (e.g., 旅⾏時間，右左折)固定ペナルティ項の導⼊
初期パラメータ値を⼗分⼤きな負の値に設定

•
•
•

↓
1.

リンクベース経路選択モデル（RL）の応⽤可能性を⼤きく制限（正の効果を持ちうる属性・政策変数が評価できない）
2. これらの操作が安定的な推定を可能にする理論的保証はない

44

再起的構造を持つモデルの推定
価値関数の計算不能問題:
Expectation of ALL path utilities
connecting state k to destination dPower series as implicit calculation
process of the path utilitiesex.) Unrealistic cycles that explosively gain utilities+++

プリズム制約の導⼊により，⾏動論的に整合した形で効率的に⾮現実的な経路を制限し，数値計算問題を解消
45

プリズム制約を導⼊した時間構造化ネットワーク
State = (Choice-stage, Node/Link)

4 from o
1 to d1.

Define a state-extended network based on choice-stage

2.

Introduce the choice-stage constraint T, and evaluate state existence
conditions
based on the minimum number of steps from oand to d3.

States connection condition:

4.

The reduced set of states forms into a prism.
46

Prism-constrained RL model
Choice-stage別に価値関数*ex)を再定義する:• 各状態（から⽬的地までに利⽤可能な全ての経路）の評価関数• 上位のChoice-stageでは，⽬的地に効率的に向かう⾏動の選択確率が⾼くなる

47

Prism-constrained RL model
T回の後ろ向き帰納法により求解が可能→ 効率的かつ，パラメータ値や効⽤サイズによらず常に価値関数が（唯⼀に）求められる*As long as T is finite,

is theoretically upper bounded by a real vector because, for finite t,48

Prism-constrained RL model
Choice probability

×
outside of prism

within prism49Maximum likelihood estimation
Translation of path observations
Original:
Translated:
Stay at destination after the arrival(*Set T so that)

Likelihood function

50

数値実験
検証
1. 正の効果をもつ属性が存在するときに，Prism-RLモデルが実際に推定可能であり，RLモデルの真のパラメータを再現できるか？
2. 初期値に対してどの程度影響を受けるか？

実験条件

•

Sioux Falls ネットワーク（交通配分のベンチマークとしてよく⽤いられる）
真のパラメータを知っている状態で，（元の）RLモデルのシミュレー
ションにより経路データを⽣成 (24 OD x 1000 samples)
同じデータを⽤いて，RLモデル・Prism-RLモデルの両⽅を推定•

Prism-RLモデルの設定•••

⽬的地ごとに状態ネットワークを定める•

T = 15 (*did not affect the results)
51

数値実験

52

数値実験 | 推定結果
β*RL(-2.5, 2.0)

N/A(-2.5, 1.5)

Prism-RL(-2.493**, 2.002**)
3.36s / LL=-4919.0(-2.505**, 1.509**)(-2.505**, 1.509**)

0.99s / LL=-5420.5

2.87s / LL=-5420.5(-1.5, 1.5)

N/A(-1.5, 1.0)

N/A(-1.511**, 1.522**)
2.99s / LL=-7778.3(-1.492**, 0.994**)
2.64s / LL=-8366.9* All true params are feasible solution to the RL model; estimation started with (-1, -1)•

Prism-RL model reproduced the true values with high accuracy
even for the cases where RL model failed•

In the case where RL was successfully estimated, the estimation
results of both models were consistent53

数値実験 | 推定におけるパラメータの探索過程
RL

Prism-RL
RL
Infeasible
region•RL model depends on starting point and often diverge during theestimation•

Prism-RL model converges to the true value regardless of starting
point (*update to infeasible region was not observed)54数値実験 | 推定におけるパラメータの探索過程
Prism-RL•

Stably converged to the true parameter even when starting point is
outside the RL feasible region•

No prior information on the true value is needed (you can set an
initial point as you like)55

実データへの適⽤•

横浜・関内駅を中⼼とした1マイル四⽅• 724 Nodes, 2398 Links, 8434 Link pairs•

プローブパーソン（PP）調査（H30 PT）によるGPSデータ••

410 observed paths of 159 pedestrians, 164 destinations
Diverge walking paths including large detours
Kannai sta.
St. w. green
CrosswalkLongitude56

実データへの適⽤ | Choice-stage constraint T の定義•

Define T for each d based on
observed detour rate:•••: Set of observed paths for d: min. steps b/w observed OD pair
: observed no. of steps of n•

75 percentile value (=1.34) to include
diverse paths in the path set•

All observations satisfy the prism
constraint57

実データへの適⽤ | 効⽤関数の設定• Compare two different utility specifications:(a)(b)• Length: length of link (m/10)• Crosswalk: 1 if the link is a crosswalk and 0 otherwise• Green: On-street green presence (1/0; interacted with link length)

検証：
1. 街路の緑化率は歩⾏者の経路選択効⽤に対して正の影響をもつのではないか？ Prism-RLモデルによりその効果が特定可能か？
2. 正の属性を考慮したとき， RL/Prism-RLの推定結果はどう異なるだろうか？
58

実データへの適⽤ | 推定結果

• 負の属性のみを導⼊したモデル(a)では両モデルで推定結果を得た• Length, Crosswalk are both negative → Pedestrians do not like paths withlong distance and crosswalks• Prism-RL model fits better (details later)• モデル(b)では，Prism-RLモデルのみが推定結果を得ることができ，緑地の存在が与える正の効果を捉えることができた• RL model failed with all the tested starting points• Adding the attribute improved goodness-of-fit (with 99% significance)59実データへの適⽤ | NRLモデルの推定結果• Prism-based approach also suited the NRL model as well
• Same signs as RL models; Prism-NRL fits better than NRL• Captured correlation: scale (variance) decreases on links close to destination• NRL could be estimated for spec. (b) but depended on starting point• Prism-NRL was successfully estimated with all initial points tested• Prism-based approach can also be viewed as a good approximation toprovide a nice starting point for original RL models
60実データへの適⽤ | クロス・ヴァリデーション

Prism-RL/NRL
RL/NRL#1: RL (a)#2: NRL (a)#3: NRL (b)#4: Prism-RL (a)#5: Prism-NRL (a)#6: Prism-RL (b)#7: Prism-NRL (b)• Compare model performance of out-of-sample prediction• 10 sets of randomly split estimation and validation samples (8:2)• Prism-RL model shows a higher prediction performance for all samples• Universal set (RL/NRL) vs Prism-based path set (Prism-RL/NRL)• Inclusion of positive attribute & nesting also improved the performance61

実データへの適⽤ | Impact of T (Prism-RL results)
Test different detour rates γ in
Small

Path set
size
Large

*Corresponds to RL
when T goes to infinity• The signs and scales of the estimates remained unchanged• The ratio of negative parameters systematically increased as γ grew
• Prism-RL model adjusted the parameter to keep little probability of
detour/cyclic paths• Model fits better with smaller γ values (i.e., tighter constraints)• Due to the exclusion of behaviorally unrealistic paths• Trade-off with out-of-sample prediction (choice set consistency)
62余談: Reward inference as inverse problem
Forward decision-making problem: Reinforcement Learning (RL)
Find optimal policy

given reward functions

Inverse estimation problem: Inverse Reinforcement Learning (IRL)
Recover reward functions

from expert demonstrations

Maximum likelihood:(Observed sequence of state-action pairs)
63余談: Inverse Reinforcement Learning (IRL)
Recursive logit model / Maximum Entropy IRL• Assuming deterministic dynamics• Linear-in-parameter reward functions, i.e.,

where

Solution algorithm (e.g., NXFP method; also see my previous year’s lecture slides):• Outer loop: Parameter update by non-linear optimization algorithm••

Econometrics – newton-type methods
Machine learning – gradient descent methods• Inner loop: Compute value function for each updated parameter••

Recursive logit – solving the system of linear equation
MaxEnt IRL / nonlinear recursive models – value iteration
64余談: Adversarial Inverse Reinforcement Learning (AIRL)
Partition function Z for IRL is intractable (cannot be computed) when
• State-action spaces are large or continuous• Environment dynamics are stochastic and unknown
MaxEnt IRL

Adversarial IRL (Fu+2018)
Sampling

Reward inference(Maximum likelihood)

Generator

Discriminator(Policy learning)(Reward inference)

Policy learning (RL)

Train

Train

Train

Fu, J., Luo, K., & Levine, S. (2018). Learning robust rewards with adversarial inverse reinforcement learning. arXiv preprint arXiv:1710.11248.

65余談: Adversarial Inverse Reinforcement Learning (AIRL)
Route choice application by Zhao and Liang (2023)

Zhao and Liang (2023) A deep inverse reinforcement learning approach to route choice modeling with context-dependent rewards. TRC: 104079.

66余談: Adversarial Inverse Reinforcement Learning (AIRL)
Route choice application by Zhao and Liang (2023)← Predictability

Interpretability by SHAP →67

本⽇の内容1. 交通分野における経路選択モデルの⽅法論的発展
2. マルコフ型経路選択モデルの推定問題とその解決
3. 局所的認知効⽤を考慮したモデリング

Oyama, Y. (2024) Global path preference and local response: A reward decomposition approach for
network path choice analysis in the presence of visually perceived attributes. Transportation
Research Part A: Policy and Practice 181: 103998

68経路選択における局所的な反応
移動の中で新たに獲得した情報を⽤いて⼈はどう⾏動を変化させるか？

Disrupted network with local unavailability

Visual attractiveness along a path

• (1) Local response to environment• Change route to an available alternative / walk on visually nice street• (2) Global path preference• Still want to arrive at destination as fast as possible / want to continue
walking along a roofed path to destination

RQ: どの属性がどの程度⼤域的・局所的なメカニズムに影響を与えるか？
69

The Idea:
Decomposition of Markov reward function
Global utility
Perceived from any state in the network

Local utility
Perceived only when a traveler is in state k(Treated as zero in other states)

Function of globally perceived attributes
Function of locally perceived attributes

72

Reward decomposition approach

Global value function
The expected and accumulated rewards toward destination d andrepresents global path preferences of traveler
where
⼤域的認知効⽤のみを価値関数に導⼊:
In recursive form:: scale of73

Global-local path choice model
エージェントの効⽤最⼤化⾏動:
1. Global value function: Represent global path preferences
2. Local utility: Affect path choice and leads to locally optimal behavior ineach state, resulting in the adaptation of path choice to local conditionsof the environment

選択確率:

対数尤度関数:

Needs only revealed path observations (link sequences)!
74

数値計算例（モデル）
Path 1

Path 2Path 3

9%

24%

67%

67%

9%

Case 1: General path choice

Case 2&3: Unexpected event<With information>

24%

Shift before departure<Without information>

55%

24%

21%

Local optimal: using globally slow routes

Flexibly capture different route choice based on utility specifications
75

実データへの適⽤•

横浜・関内駅を中⼼とした1マイル四⽅• 724 Nodes, 2398 Links, 8434 Link pairs•

プローブパーソン（PP）調査（H30 PT）によるGPSデータ••

410 observed paths of 159 pedestrians, 164 destinations
Diverge walking paths including large detours
Kannai sta.
St. w. green
Crosswalk

Visual streetscape features extraction by
Semantic Segmentation• Green View Index (GVI) : Average pixel
ratio of “vegetation” from Google Street
View images
Longitude76実データへの適⽤ | クロス・ヴァリデーション
仮説:

GVIのような視覚的な街路の質に対して歩⾏者は局所的に認知・反応し，経路選択⾏動を変化させているのではないか

Compare three specifications:
(a)
(b)
(c)

: Link length (m): GVI (ratio): Crosswalk dummy: Sidewalk width (m): Uturn dummy(fixed effect)77

実データへの適⽤ | 推定結果
Global model

Global-local model

Global-local model• 歩⾏者は⼤域的な選好として，距離が短く，交差点を渡る回数が少なく，歩道幅員の広い経路を選んでいる．GVIは歩⾏⾏動に正の影響を持つ．
• モデルbは im-sample/out-of-sample 両⽅に対してモデルaよりも⾼い適合度を⽰しており，歩⾏者は（どちらかといえば）GVIを局所的に認知し，経路選択⾏動を変化させていると⾔える• これはモデルcの結果からも⽀持される
78

実データへの適⽤ | シミュレーション結果
Scenario 1 (Base)

Scenario 2

Scenario 3

Destination

GVI (pts)
0.8

L

0.6

A

R

C

0.4
Additional
Intervention(GVI + 0.4 pts)

Intervention(GVI + 0.4 pts)

OriginB

A•

通りAのみに対す
る緑地量増加施策
は，モデルbでは効果がない•

通りBと合わせて導⼊することで効果を発揮•→ 政策変数が局所的に認知されているとき，普段歩かれる通りから直接視認できる街路に対して政策を⾏う
ことで効果を発揮・上昇できる

0.2
0Model a - S1

Model a - S2

Model a - S3

(Global model)

2%
3%
90%

91%

2%
3%
87%

7%
7%

Model b - S1

87%

2%
3%
84%

11%
10%

Model b - S2

83%
15%
13%

Model b - S3

(Global-Local model)

Flow rate
1.0
0.8
0.6

2%
4%
88%

88%
9%
8%

2%
3%
88%

88%
9%
8%

2%
4%
80%

76%
21%
16%

0.4
0.2
0

80

Global-local path choice model•

アドホックなルールを必要としないシンプルなモデリング•

変数単位で⼤域的・局所的効⽤に対する異なる影響を分析可能•

実際に観測された経路のみで推定（実証分析）が可能

81

おわりに
• 主に交通分野におけるネットワーク⾏動モデルの発展や，発表者の近年の取り組みについて紹介• ネットワークの定義しだいで様々な展開・応⽤が可能な “Network
Behavioral Science”• 交通（Random Utility Route Choice; Traffic Assignment)• 経済（Perturbed Utility Theory; Potential Game Theory)• 情報（Inverse Reinforcement Learning; Randomized Shortest Paths)• 今後の展開• 実証的関⼼：モデルの空間/時間/主体的移転性• 技術的関⼼：多様なデータの観測誤差・⽋損への対応（観測モデル）と予測モデルへの統合• ⽅法論的関⼼：Non link-additiveな属性の取り込みなど

ご清聴ありがとうございました
82