Bayesian flexible modeling of trip
durations
Hugh Chipman, Edward George, Jason Lemp, and Robert McCulloch

Transportation Research Part B
Volume 44, Issue 5 , Pages 686-698 , June 20102010/05/31（月）論文ゼミ#2M1 戸叶洋道

BARTモデルBART(Bayesian Additive Regression Trees)は，従属変数を，回帰木の和として表現したモデル
 回帰木は，ツリーの構造

T

ターミナルノードの値

M  {1 ,,  B }分岐の条件

x  ( x1 ,, x p )で構成

g ( x; T , M )regression tree (回帰木)回帰木は，一番最初にルートノードがあり，そこから子供ノードが枝分かれし，一番下のターミナルノードへと細分化される構造をとる．各ターミ
ナルノードにμの値が格納されている．
図は，ターミナルノードが３つの例． M  {0.1,0.8,0.3}
あるノードがターミナルノードでない確率は，  (1  d )  
d=00.95

α=0.95,β=2とすると（dはノードの深さ）
それぞれのノードに子供がいる確率は・・・
d=10.24

枝分かれの変数xとその値もランダムに決まる

d=20.11

回帰木の事前確率  0.95,   2

x1 , x2 は，0.0~2.0まで0.1刻みの値をとる

この木は， ( x1 , x2 )  (1.0,0.5)のとき，1  0.1を返す．

A sum of trees modelY  g ( x;T1, M1 )  g ( x;T2 , M 2 )    g ( x;Tm , M m )   ,f ( x)  g ( x;T1, M1 )  g ( x;T2 , M 2 )    g ( x;Tm , M m )i,b は，  ~ N (0, 2 ) に従うものとする．

は．

2~  / 2 に従うものとする．

ˆ : （σのオーバーエスティメート）を定める．実用的には，標本標準偏差を用いる．右の図では2.0

 : 自由度（degrees of freedom）を3~10の範囲で定める．
q : 分布がシグマハット以下である確率(puantile)
デフォルト( , q)  (3,0.9)

 ~ N (0, 2 )A sum of trees model
decision ruleY  i g ( x; Ti , M i )  
 ~ N (0, 2 )

 ~ N (0,  2 ) 2 ~  / 2

MCMC algorithm
 yという観測値が与えられた時の，事後分布を導く
p((T1 , M1 ),, (Tm , M m ), | y)
 基本的には，ギブスサンプラー
 まずTとMをひとつずつサンプリングし，(T1 , M 1 ) | T1 , M 1 , , y(T2 , M 2 ) | T2  , M 2  , , y
(Tm , M m ) | Tm  , M m  , , y 次にσをサンプリングする

 | T1 ,Tm , M 1 ,M m , y これを繰り返す

MCMC algorithm
 M，σは事前分布に標準正規分布を持つ⇒通常のベイズ更新を繰り返す
 Tは木の構造⇒どうやって更新？
 GROW• ターミナルノードを増やす(0.25)
 PRUNE• ターミナルノードを減らす(0.25)
 CHANGE• 分岐条件を変更(0.4)
 SWAP• 親子の分岐条件を交換(0.1)

 Tは事前分布を持たないので，ギブスサンプラーでは出来ない ⇒メトロポリスヘイスティングス
 Chipman(1998)によれば，更新の選択確率は常に１

なぜ sum of？
 Chipmanは，1998年に単回帰木のモデルを提案している
 木が一つだと柔軟性に乏しく，すぐにある値に収束してしまう
が，それが真の値かどうかはわからない．
 ある「good tree」を見つけて何度も再スタートを繰り返さなければならない

Fitting trip duration data with BART
データは，テキサス州の車によるトリップ

各トリップの変数(17個)
世帯属性
世帯人数

dur
従属変数 y ffd

収入
子供の数

etc…

トリップメーカーの変数
年齢
職業etc…

トリップの変数
日時トリップタイプ
出発時間
自由流れトリップ距離
自由流れトリップ時間
トリップ時間

etc…

トリップ時間は5分単位で丸められて報告されていることが多いので注意！

BART results, all variables
 BARTモデル結果
 図は，σのMCMCの結果のプロット
 burn-inは300で，総繰り返し数2300

 計算時間226秒(2.93GHz,Core 2 Duo)
 σの平均値は0.5
 ｙとBARTのR二乗値は48％
 xに関する変換は必要ない(sum of tree が自動的に柔軟に形を変える)

 通常の線形回帰モデル結果
 σの推定値は0.58(図の赤線)
 R二乗値は28％
 ｘに関して変換が必要

結果の解釈• 各繰り返しで得られる f ( x)は，真の f (x) の事後分布からのサンプルとして考えることが出来る．
*f( x)の平均値は， f (x) の平均値と推定することが•出来る．
*f• BARTを予測デバイスと考えるならば， ( x) の平均値に各 x を代入してあげれば y を予測することが出来る．
• 実際にどのような関数になっているか（どの変数が被説明変数に対してどのように寄与しているか）はわからない．
*

結果の解釈• Chipmanは，変数選択法を提案• 分岐に利用されている回数が多い変数ほど，被説明変数に対する寄与が大きいと考える．
– 今回の場合，– free flow destance(19%)– trip type(4%)– departure time(3.4%)– が分岐で多く利用された．

結果の解釈 重要だと思われる変数をの組み合わせをいくつか抽出して，比較する．
ワークトリップはソーシャルトリップよりも長い20時よりも17時の方が基本的に長い時間となっている⇒出発
時間がtrip durationに大きな影響を与えている
ソーシャルトリップは他のトリップよりも不確実性が高い

w,r,s,o=work.retail,social,otherTransforming independent variables 線形回帰モデルを，変数変換で改善
 free flow distanceを対数変換
 R二乗値28⇒40%
 σの推定値0.58⇒0.53

 departure timeの変換(popuri et al(2008)による)2T2T)), g 2 (T )  exp(cos())
24244T4T
g 3 (T )  exp(sin()), g 4 (T )  exp(cos())
24
24
g1 (T )  exp(sin(g (T )  i , j i , j gi (T ) j

 R二乗値40⇒41%
 σの推定値0.53⇒0.52

 ちなみに，今回のBARTモデルは，R二乗値48%，σの平均0.5

まとめ• sum of trees ＋ MCMC によって，柔軟に，そして自動的に説明変数の関数が変化していくモデル．
• 線形な回帰モデルと違い，変数の変換を自動的にやってくれるため，予測のモデルとしては非常に有用．
• しかし， Chipmanもその解釈に奮闘中である
ように，yとxの関係がブラックボックスの中にある感じは否めない．