第 66 回土木計画学研究発表会・講演集

高速道路合流部における自動運転車両の戦略的制御
篠原
1学生会員

祐吾 1・塩見立命館大学大学院

康博 2・花房比佐友 3

理工学研究科（〒525-8577滋賀県草津市野路東１丁目1-1）

E-mail: ce0005kp@ed.ritsumei.ac.jp
2正会員

立命館大学

理工学部（〒525-8577滋賀県草津市野路東１丁目1-1）
E-mail: shiomi@fc.ritsumei.ac.jp

3正会員

株式会社アイ・トランスポート・ラボ（〒101-0052東京都千代田区神田小川町3-10 新駿河台ビル9階）
E-mail: hanabusa@i-transportlab.jp

高速道路ネットワークの拡充にともない，高速道路合流部での渋滞の多発が予想される．一般のドライバーが運転する場合には，自車の安全な合流のみを主眼に置かれるが，自動運転車両の場合，安全性や快適性が担保されている限りでは多様な合流行動を適用することができる．その場合，交通流の全体最適に資する合流挙動を戦略的に行うことも可能であろう．そこで，本研究では自動運転車両を想定し，強化学習による合流挙動のモデル化を行う．この際，4 つ報酬設定（安全性，快適性，効率性，全体効率性）を提案し，その設定による車両挙動，および周辺車両への影響の差異を分析した．その結果，安全性制御では，合流時に本線を走る後方車両が減速する挙動，快適性制御では，徐々に加速しながら合流する挙動，効率性制御と全体効率性制御では，合流車線で十分に加速した後に合流するなど，多様な合流挙動が表現されることが明らかとなった．

Key Words: merging behavior, reinforcement learning, autonomous vehicles, rewards

1. はじめに走行速度の低下に繋がり，渋滞が発生する場合がある．
一方，自動運転車両の場合，安全性や快適性が担保さ2017年以降，首都圏近郊のネットワーク整備に伴い交れていれば，様々な合流行動を適用することが期待で通量が増加し，渋滞損失時間は増加傾向にある．2020年

きる．その場合，合流挙動によって交通流の全体最適以降は新型コロナウイルス感染症の影響等により大き化させ，戦略的に渋滞を解消することも可能であるとく減少したが ，今後新型コロナウイルスの収束に伴い考えられる．

1)

再び渋滞損失時間が増加することも予想される．特に高速道路合流部での合流挙動の制御に関する研究は合流部では，交通渋滞が発生しやすい．

多く存在する．その中でも，先見的なルールを必要と近年自動運転の開発が進んでおり，今後自動運転車しない強化学習を用いた研究に着目する．その一例と両が普及し始めると，手動運転つまり一般のドライバ

して，西崎 2)は高速道路合流部での長大車両を考慮したーが運転している車両の中に少ない台数の自動運転車

強化学習による運転挙動モデルの開発した．その上で，両が存在することとなる．このような交通状況で，自高速道路合流部のシミュレーションを行い，その妥当動運転車両がいかにして適切な挙動をとるのかが課題

性の証を行うとともに，シミュレーション環境を決定となると考えられる．一般のドライバーが運転する場する変数を変化させることで，どの変数が合流挙動に合，合流部において，自車の安全にのみ主眼を置いた

影響を与えるのか分析した．しかし，このモデルは長運転挙動をとると考えられる．この際，合流車線での大車両が安全に合流するためのモデルで，車両に乗車加速が不十分であると，前述のように後方車両が減速している人の快適性や周辺車両への影響などは考慮さを余儀なくされ，この減速が後方車両に伝播し本線のれておらず，多様な合流戦略を検討したものではない．
1

第 66 回土木計画学研究発表会・講演集

そこで，本研究では，自動運転車両を想定し，特定の値を戦略的に改善するための強化学習による合流挙𝑃𝐼𝐶𝑈𝐷 =動のモデル化を行う．強化学習において，エージェン

𝑉12𝑉22+ 𝑆0 − (𝑉2 ∆𝑡 +)−2𝑎−2𝑎(2)トは行動を選択することで環境から報酬を得るため，報酬設定によって学習後の挙動が変化する．そのため：前方車両の減速開始時の速度(m/s)：前方車両の減速開始時の後続車両の速度(m/s)
𝑆0：前方車両の減速時の車間距離(m)∆𝑡：前方車両ブレーキ開始から後方車両ブレーキ開始までの時間，反応遅れ時間(s)𝑎：減速時の加速度(m/s2)（-3.3m/s2 と仮定）
PICUD が 0 以下の値を示す状況は，前方車両が突然急𝑉1𝑉2

本研究では，異なる報酬設定に基づいて学習された車両制御モデルを用いたシミュレーションを行い，合流車両の挙動，周辺車両への影響の差異を分析する．

2. 強化学習の概要

減速することにより，おなじく後方車両が急減速しても衝突を回避することができない可能性を示唆する．
なお，合流車両の前方または後方に車両がいない場合，
図-1

強化学習の概略図

PICUD＝999とする．反応遅れ時間は，鈴木ら 4)による設定をもとに 1.0 秒と設定する．これは，制動停止時の空(1) 強化学習の概要

走距離算定において，反応動作に要するブレーキ反応設定された交通量・道路設定に対する最適な合流車時間が 1.0 秒と与えられるためである．

両の制御を戦略的に行うために，強化学習による手法

高速道路における合流や車線変更の際に前後車両とを用いる．強化学習の概略図を図-1 に示す．シミュレの衝突の危険性を評価する際，指標として車間距離やーションによって設定された道路状況下で，得られたTTC (Time To Collision)4)が用いられることが多い．車間距

交通状況に対して，速度や車線変更などの行動を起こ

離は前後の車両の距離を表すものだが，仮に同じ車間す．その際に出力された値をもとに報酬を与える．

距離でも車両の速度が違うと安全性が変化するという点で，前後車両の距離のみが考慮される車間距離より(2) 報酬設定
本研究では，合流車両の最適挙動の探索方法として，シミュレーションを繰り返し実行し，合流車両の行動も前後車両の距離と速度が考慮される PICUD の方が優れているといえる．また，TTC とは，例えばある車両が先行車に追従走行している時に，仮に現在の速度・進に対して報酬を与え，総報酬が最大となったものを最行方向を 2 台の車両が保った場合，追従車が先行車に追適挙動とする．報酬に関しては，重視する項目を「安全性」，「快適性」，「効率性」，「全体効率性」の 4突するまでに要する時間で衝突の程度を評価する指標である．ところが TTC では先行車の速度が相対的に速種類に分けてシミュレーションを行う．

い場合は有限な評価値としては算出できず，安定的に安全性に関しては，周辺車両との衝突安全性に関する報酬（報酬 1）と合流車線長の制約に関する報酬（報

安全性を評価することが難しい．先行車の相対速度が多少高くても両者の距離が小さければ，先行車が急減

酬 2）の和によって与える．
報酬 1（R1）については，宇野ら 3)によって考案され速した時に衝突する危険性が考えられる．これらのような点から PICUD は，高速道路における衝突危険性評

た PICUD（Possibility Index for Collision with Urgent Deceleration,(2)）が負の値をとる時に，式(1)として負の報酬を与価の際に優れていると言える．
報酬 2（R2）については，合流開始地点によって設定える．

を行い，合流開始地点が合流車線開始地点に近いほど0𝑅1 = {𝑃𝐼𝐶𝑈𝐷/𝑎𝑖𝑓 𝑃𝐼𝐶𝑈𝐷 ≥ 0𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

高い報酬を与える（式(3)）．

(1)

ただし，𝑎は任意の調整パラメータを表し，ここでは𝑆1

𝑎＝10とする．PICUD は，前方車両が仮に急減速を行うとした時に，後続車が反応遅れ後に急減速して，両者𝑏が停止した時の相対的な位置を表す指標である（式(2)）．

2𝑅2 = 𝑆1 /𝑏(3)：合流地点と合流車線終了地点までの距離(m)：パラメータ（ここでは 10 とする）

第 66 回土木計画学研究発表会・講演集

快適性に関しては，報酬 3（式(4)）によって与えら𝑑𝑣𝑣 𝛿𝑠∗= 𝑎・𝑚𝑖𝑛 {1 − ( ) , 1 − ( )2 }𝑑𝑡𝑣𝑑𝑠𝑣∆𝑣𝑠 ∗ = 𝑠0 + 𝑣𝑇 +2√𝑎𝑏

れ，加速度とジャークを説明変数とする快適性の関数5）（王ら ）を参考に設定を行った．ただし，ジャークは単位時間当たりの加速度の変化を表す．毎秒出力さ(7)(8)

れた合流車両の加速度とジャークの値を関数に代入す
𝑣𝑠𝑠∗∆𝑣

ることで報酬を得る．
報酬 3= 𝛼𝑥1 + 𝛽𝑥2 + 𝛾𝑥3 + 𝛿𝑥4(4)𝑥1：加速度の正の因子(m/s2)𝑥2：加速度の負の因子(m/s2)
𝑥3：ジャークの正の因子(m/s3)
𝑥4：ジャークの負の因子(m/s3)
α=-1.5，β=5.5，γ=-2.0，δ=3.0𝑠0𝑣𝑑𝑇𝑎𝑏𝛿

効率性報酬に関しては，報酬 4（式(5)）によって与えられ，合流車両の旅行時間が短くなるほど，高い報酬：走行速度(m/s)：車間距離(m)：希望車間距離(m)：相対速度（前方車両への接近速度）(m/s)：最小車間距離(m)：希望速度(m/s)：安全車間時間(s)：最大加速度(m/s2)：希望加速度(m/s2)：加速項のべき乗数(=4)

を与える．
報酬 4＝(60 − 𝑇𝑎 )/𝑐Ta(5)：合流車両の旅行時間(s)c=4

全体効率性に関しては，報酬 5（式(6)）によって与えられ，平均旅行時間が短くなるほど，高い報酬を与える．
報酬 5＝(60 − 𝑇𝑏 )/𝑑Tb(6)：平均旅行時間(s)d=10

3. 学習環境図-2 車線変更ロジックのフロー

強化学習を行うにあたっては，ミクロ交通流シミュ

また車線変更ロジックに関しては，車線変更モデルにレーターの MicroAVENUE を用いてシミュレーションをよって走行する. 以下に車線変更モデルの詳細について行う．以下，シミュレーションモデルの概要とその設記す．車線変更ロジックのフローについては，図-2 に定について述べる．

示す．

・車線変更モデル(1) MicroAVENUE の概要①車線変更必要判定

MicroAVENUE は，1 台 1 台の車両挙動を模擬し，自動車線変更は，まず状況によらず車線変更が必要かど車交通流を再現するマイクロモデルで，Micro AVENUEうかを判定する．具体的には次の A~C の条件のいずれの車両モデルは前方車両の車間や速度を基に自車の加速度を決定する追従走行モデル（IDM＋6)，式(7)と式(8)）
によって車両が移動する仕組みであり，10msec単位の加かが満たされれば，車線変更が必要と判断して，目的の車線に割り込む．
A）下流で現在の車線が絞られており，そこまでの残余減速挙動を表現する．

距離が閾値未満である．
B）交通規則等で車線変更が必要である．
②車線変更希望判定
車線変更が必要ない場合は，車線変更を希望するかどうかの判定を行う．具体的には，次のD~Fのいずれか
3

第 66 回土木計画学研究発表会・講演集が満たされれば，隣接車線への車線変更を希望する．

車両に希望速度と車線変更の指示を出し，制御するこD）現在車線前方の滞留末尾車両までの残余距離が隣接とができる．本研究では，車両情報更新機を利用し，車線よりも一定以上短い．

合流車両が合流車線を走行中，毎秒希望速度（0km/h～E）現在の走行速度が，本来の希望速度よりも一定以上80km/h）と車線変更（合流もしくは車線維持）の指示を低下している．

与える．

F）希望速度で走行しており，かつ前方車間距離が閾値b)以上空いている．（左の走行車線への復帰）

比較方法
前述の通り，最適挙動を制御あり，人の運転挙動を③車線変更希望受託判定

制御なしと見なし比較を行う．制御ありの場合，車両車線変更を希望する場合は，あらかじめ車線毎にあ情報更新機能によって制御するため，最適挙動をとる

たえられた受託確率に基づいて，確率的に車線変更す自動運転車両と見なすことができる．制御なしの場合，るかどうかを決める．受託確率は，右車線への変更の追従モデルによって走行し，車線変更モデルに従い車場合と，左車線への変更の場合で値を変えて設定でき線変更を行う．

る．
④車線変更可能判定

4. シミュレーション結果

車線変更希望が受託された場合，次の条件 A～C 全てが満たされれば，車線変更するために追従関係を更新する．

シミュレーション結果から制御なしの場合と，それA）隣接車線前方車との速度差が閾値以上である．

ぞれの報酬設定で制御した場合を比較し，合流車両のB）隣接車線の干渉範囲に車両が存在しない．

挙動と合流車両が周辺車両へ及ぼす影響の分析を行う．

C）隣接車線の前方・後方 TTC がいずれかも閾値以上ま

図-4は合流車両の前方・後方車両とのPICUDの推移を表たは負値である．

したものである．これより合流車両の周辺車両との衝⑤追従関係の更新

突の危険性がわかる，図-5 は，合流車両の合流開始地点

車線変更時の追従関係の更新は，それまで自車線のを表したものである．これより合流車両が安全な地点

前方車に追従していたものを，車線変更先の隣接車線で合流を行っているかがわかる．また，合流車線から前方車に追従するように変更する．同時に，自車の斜走行車線への合流の様子が見られない場合は，合流車め後ろの車両に対して，それまで前方車に追従してい両は合流車線終了地点で合流していることを表す．図-6

たところを，自車に追従するよう変更する．

は合流車両の速度推移を表す．これより，合流車両の快適性の推移わかる．図-7~11 はタイムスペース図を表(2) シミュレーション設定

す．これより，制御ごとの周辺車両への影響がわかる．

データ計測時間は 300 秒，本線の制限速度は 80km/h，また，表-1 は合流開始時間を表し，合流車両が出発して合流車線の制限速度は 50km/h に設定した．また，本線から合流を開始するまでの時間を表す．表-2 は，到着し車両の台数は 150台,本線へ合流する車両の台数は 1台とたすべての車両の平均旅行時間を表す．

し，制御対象は合流車両とする．道路設定については

i. 安全性制御

図-3 に示す．

制御なしの場合と比較し，合流の位置は 30m ほど手前で合流を行っている．また，後方車両とのPICUD値は合流後1秒間のみ負の値をとり，安全であるといえる．一方で，周辺車両への影響に着目
すると，合流時に本線を走る後方車両が減速する挙動が見られた．
ii. 快適性制御

図-3 シミュレーション設定a)

制御なしの場合と比較し，減速や急な減速がなく，より快適であるといえる．しかし，後方車両との最適挙動の探索方法

PICUD値は合流後7秒間負の値をとり，安全とは言シミュレーション毎に合流車両の速度と車線変更をえない．一方で，周辺車両への影響に着目すると，ランダムに制御し，合流の一連の挙動に報酬を与え，後方車両がやや減速しているが，周辺車両に大き総報酬が最大になったものを最適挙動とする．その際な影響はない．

車両情報更新機能によって制御を行う．車両情報更新機能とは，特定の車両のパラメータを更新する機能で，4iii. 効率性制御
制御なしの場合と比較し，合流前に十分な加速を第 66 回土木計画学研究発表会・講演集

行い，合流車両の旅行時間が4秒短縮されており，効率が良いといえる．しかし，後方車両とのPICUD 値が合流後 5 秒間負の値をとり，合流車線終了地点で合流を行っており，安全とは言えない．一方で，周辺車両への影響に着目すると，後方車両がやや減速しているが，周辺車両に大きな影響はない．
iv. 全体効率性

図-7 TS 図（制御なし）

制御なしの場合と比較し，合流前に十分な加速を行う．また，前方車両との PICUD 値が合流後 9 秒間負の値をとり，合流車線終了地点で合流を行っており，安全とは言えない．一方で，周辺車両への影響に着目すると，周辺車両は速度変化を行ってなく，周辺車両への影響は見られない．

図-8 TS 図（安全性制御）
制御なし
安全性
快適性
効率性
全体効率性
▲：前方車両図-9 TS 図（快適性制御）●：後方車両図-4 PICUD 推移
合流車
線

制御なし
安全性
快適性
効率性

走行車
線

図-10

全体効率性

TS 図（効率性制御）

図-5 合流位置推移

制御なし

図-11 TS 図（全体効率性）

安全性
快適性

表-1 合流開始時間

効率性

制御なし 安全性 快適性 効率性 全体効率性

全体効率性

時刻(s)

1612131616

表-2 平均旅行時間
制御なし 安全性

図-6 速度推移

平均旅行時間（s）

516.4116.42

快適性 効率性 全体効率性
15.39

15.36

15.3

第 66 回土木計画学研究発表会・講演集

酬を合成するなど，多様な報酬と合流車両の挙動や周

5. まとめと今後の課題辺車両への影響との関係性を明らかとしたい．

本研究では，4 つ報酬設定を提案し，その報酬設定に謝辞： 本研究はJSPS科研費19H02268，および20KK0334

よる合流車両制御でシミュレーションを行い，合流車の助成を受けたものです．

両の挙動，合流による周辺車両への影響の差異を分析した．安全性制御に関しては，制御なしの場合と比べて，合流位置は手前，前後車両との PICUD は高い値を参考文献
1)とったが，合流前に後方車両が減速する挙動が見られ，

NEXCO 東日本,，高速道路の渋滞対策，https://www.enexco.co.jp/activity/safety/detail_07.html，閲覧日 2022 年 9 月 26

渋滞を引き起こす可能性が示唆された．快適性制御に日関しては，制御なしの場合と比べて，減速や急な減速は見られないが，後方車両との PICUD が低い値をとっ2)た．効率性制御に関しては，制御なしの場合と比べて，旅行時間が短縮されたが，後方車両との PICUD が低い3)

西崎省吾：長大車両を考慮した強化学習による高速道路の合流挙動モデルの開発，東京海洋大学修士論文 2021
宇野伸宏，飯田恭敬，安原真史，菅沼真澄：一般道織込
み部における客観的コンフリクト分析と速度調整モデル

値をとった．全体効率性に関しては，制御なしの場合の構築，土木計画学研究・論文集，vol.20，no.4，pp.989-と比べて，平均旅行時間が短縮され，車両の合流によ

996，2003

る周辺車両への影響は見られないが，前方車両とのPICUDが低い値をとった．この結果から本研究でのシミ

4)ュレーション設定において，4 つの報酬設定によって合流車両の制御を行った場合，それぞれの報酬設定で合5)流車両の安全性，快適性，効率性の改善，平均旅行時間の短縮を行うことができた．

6)

今後は，今回提案した報酬設定のもとで，様々な交

鈴木弘司，松村悠貴，都市高速道路合流部の錯綜事象における衝突危険性評価に関する研究，土木学会
論文集 D3（土木計画学），Vol.71,No51（土木計画学研究・論文集 32 巻），I_493-I_502，2015
王鋒，佐川貢一，猪岡光，自動車の加減速と乗り心地の関係に関する研究，人間工学，Vol．36，Ｎo．
４，191-200，2000
Hayward, J.C., Near-miss determination through use of a scale of danger，Highway Research Record，No.384，pp.24-34，1972

通状況に対応できる合流挙動モデルの構築を行う．また，今回は 4 つの報酬設定ごとに制御を行ったが，各報

STRATEGIC CONTROL FOR AUTONOMAOUS CAR ON FREEWAY MERGINGSECTIONS
Yugo SHINOHARA, Yasuhiro SHIOMI and Hisatomo HANABUSA

6