情報処理学会研究報告
IPSJ SIG Technical Report

走行経路情報を用いた車エージェントの運転行動学習の改善

米元聡 1

松尾祐輝 1

武田颯馬 1

概要：現在，実用化されつつある公道での自動運転では，LiDAR やカメラから得られる実世界の計測情報と，リアルタイムに与えられる前提のウェイポイントと呼ばれる走行経路の情報を用いて，その走行経路との乖離がないよう運転行動を学習させることが多い．本研究では，走行経路の情報を行動学習には利用するが、観測情報として利用できない状況を想定した運転行動学習を走行シミュレーションにて実現した．具体的には，観測情報にフロントカメラ画像を用いる車エージェントを用いて，走行シミュレータ上の道路を指示した走行経路に沿って走行するよう深層強化学習により運転行動を学習させた．また，観測画像をもとに進路を推定する手法についても検討した．
キーワード：自動運転シミュレーション，深層強化学習，ウェイポイントナビゲーション

Simulation of Autonomous Driving Using Waypoints
SATOSHI YONEMOTO†1

YUKI MATSUO†1

SOMA TAKEDA†1

Abstract: This paper presents a simulation of autonomous driving method based on deep reinforcement learning. We use only thefront camera images as observation and discretized steering as actions for learning. In the learning process, the rendered routes thatcan be generated by using waypoints are introduced to drive stably. We also use the CNN-based methods to estimate the vehicle
routing from the observed image. In several experiments, we show the learning results using waypoints and the estimation resultsof the vehicle routing.
Keywords: Self-Driving Simulation, Deep Reinforcement Learning and Waypoint Navigation

1. はじめにされている[1][2]．例えば，CARLA[1]では，天候や街並みなどをリアリスティックに表現した道路シーンの生成が可

現在，自動運転技術の実用化が進み，自動運転車が公道能であり，公道を走る自動運転車の学習を想定した本格的を走れるレベルに近づきつつある．また，大量の走行デーなシミュレータとなっている．また，このシミュレータでタの収集，リアルタイムで高精度な計測が可能な機器の導生成できる走行経路情報を利用し，既知のルートについて入，マップデータの高精度化・整備などにより，多くの企走行を評価する環境も整っている．

業，自治体が自動運転の技術の開発に取り組めるようにな

自動運転のために，マップデータの 1 つであるウェイポってきている．自動運転を実現するためには，車周辺で計イント(Waypoint)情報を利用してリアルタイムに走行経路測した実世界情報と受信したマップデータなどを即座に統を 推 定 し ， 行 動 学 習 に 利 用 す る こ と も 検 討 さ れ てい る

合し，ルートに従って安全に走行させることが課題となる．

[3][4][5]．ウェイポイント情報とは，走行すべき経路上の位一方，シミュレーション環境を用いた運転行動学習の技置や走行速度などのデータのことであり，実機車両の車両術にも期待が高まっている．自動運転技術は，人工知能(AI)モデルが既知で観測情報として利用可能であれば，車の軌技術の進展とともに発展してきている．特に，観測情報を道をその走行経路に当てはめる推定問題となる．しかし，もとに行動を決定する強化学習によるアプローチが盛んに

車両の種類ごとにモデルの構築が必要なことや，常時ウェ研究されている．その中でも深層強化学習は，ゲーム画面イポイント情報が得られると想定できない場合もあるため，をもとにゲームを攻略する AI への適用から始まり，カメウェイポイント情報が事前に収集できる学習時だけ利用すラ画像をもとに運転行動を学習する自動運転の研究にも応るアプローチも必要と考える．A.Amini らの研究[3]では，用されている．例えば，「End-to-End Learning」というアプルートが未知の周辺マップ画像と観測画像を DNN に入力

ローチでは，道路画像を入力，車の行動を出力とする形でとして与え学習することで，進路の GMM モデルを用いた学習を行うため，陽に特徴抽出を必要とせず，畳み込みニ確率的方法で進路を推定している．また，ルートが既知のューラルネットワークの学習のみで行動学習が完結する．

場合は，進路を決定論的方法により求めることができるよ

自動運転に利用可能な走行シミュレータが数多く提案
1 九州産業大学
Kyusyu Sangyo Univ.

ⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
なお，実装には Stable Baselines の PPO を利用する[11]．

うになっている．

2.4 車エージェントの定義

2. 深層強化学習を用いた運転行動の学習
2.1 走行シミュレータ

基本となる車エージェントを以下のように定義する．
(1) 行動車エージェントは，直進・左右回転の 3 種類のステアリン

本研究では，運転行動学習の問題に焦点を当てるため，グ操作を行う．一定の速度になるまで加速し，その後定速できるだけ簡素化した走行シミュレータの開発を目指してで走行する．急カーブを想定する場合は，ブレーキ操作もいる．本研究では，道路を 2 本の曲線対による走行レーン追加する必要あるが，今回は操作の対象としないものとすのみで表現する．図 1 に走行シミュレータで作成した道路

る．

コースの例を示す．この例のように，道路は連結した曲線(2) 観測セグメントであり，曲線セグメントにベジェ曲線セグメン

車エージェントのフロントカメラから見たレーン画像を観トを用いている[6][7]．曲線セグメントを自由に連結し，制測画像として与える．画像サイズは最小で 64×64 とした．

御点のパラメータを自由に変動させることで，様々な道路(3) 報酬コースを表現できる．また，複数の道路を重ねることで，基本的に走行できれば報酬rとして+1 を与える．車中心が分岐（T 字路，十字路など）も表現可能である．走行レーレーンからはみ出すか障害物に当たると-1 を与える．

ンを示す白線をフロントカメラから観測すると，観測画像(4) エピソード終了条件

は二値のエッジ画像となる（解像度は自由に変更できる）．

車エージェントが走行レーンを横切るか，障害物に当たった場合にエピソード終了もしくは目標のステップ数（走行距離）達成でもエピソード終了となる．
以上より，本研究で定義する車エージェントの行動空間は 3 つの離散値で，観測空間は最小サイズで 64×64×3 となる．
2.5 フロントカメラ画像の生成
走行シミュレータにおいて，車エージェントのフロントカメラから 3 次元レーン曲線の投影像を得る方法について述べる．コース上の 3 次元のレーンを投影することにより，Figure 1

図 1 道路コースの例

車エージェントから見た道路の投影像を生成することがで

An example of 3D road course.

きる．車エージェントの観測画像にこの投影像を用いる．

2.2 車両モデル

ワールド座標系を車両中心（地面が高さ 0）に設定し，カ車エージェントの仕様について述べる．車両モデルの制

メラ座標系を車エージェントの前方付近に設定する．カメ

御にはキネマティックモデルを利用する[6][7]．行動学習時

ラ座標系のパラメータであるピッチ角は 30°に設定する．

は，左右にハンドルを切るか，直進するかの 3 種類のステ

レーン上の 3 次元の点から，ワールド座標からカメラ座標アリング操作のみ行えるものとする．アクセルにより加速への変換，ビューポイント変換を経て，観測画像上の点をした後は，一定の速度で運転する．ブレーキ制御の行動の求めることができる．また，シミュレーション用に，車視際には，減速によるブレーキ操作を行うことができるが，点の鳥瞰画像（車両上方から見た画像）も生成することが本稿では扱わないものとする．以降説明する実験では，車可能である．の全長 45，車幅 20 とし，地面から 20 の高さで車の中心付近にフロントカメラを設置した．
2.3 PPO
深層強化学習は，強化学習に深層学習を組み合わせた手

3. ウェイポイント情報の利用
3.1 ウェイポイント情報とは法であり，もともとゲーム画面をもとに AI コントローラ

公道で実現する自動運転車の技術には，目的地までのルがよりスコアを稼ぐ行動を学習していくというゲーム AIートを記したマップ情報が用いられる．その 1 つであるウの問題のために提案された方法[8]で，2 人ゲーム[9]，ロボェイポイント情報は，目的地までの走行経路の情報であり，ットの制御，自動車，船の自動運転などに応用されている．

車周辺の進路や目先の道路情報を知ることができる．利用

DQN 法[8]が有名であるが，その後，改良が進み，様々な手にあたっては，実際の車両位置と照合する必要があり，周法が提案されている．中でも，方策勾配法にもとづく辺のウェイポイントをもとにした経路推定が行われる．ウ

PPO(Proximal Policy Optimization)[10]がよく利用されるよェイポイント情報をリアルタイムに観測情報として利用でうになっている．本研究も運転行動学習に PPO を利用する．

きれば，制御の問題として解くことで経路に沿った走行をⓒ2023 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report実現できるが，本研究では，ウェイポイント情報を観測情あれば 1 とすることも可能である．

報として想定せず，フロントカメラ画像のみを観測情報とする．一般に，ウェイポイント情報は，通過すべき地点の系列であり，ウェイポイントの 1 点は通過すべき位置，走行速度などから構成される．本研究では，ウェイポイント情報を 2 次元位置の系列とみなし，速度は利用しないものとする．
3.2 ウェイポイント画像の生成
ウェイポイント情報をもとに本走行シミュレータ上に

図 3 走行経路上にある確率の計算走行経路を生成し，コースマップ上の領域として表現する．

Figure 3 Probability calculation for the route occupancy.

図 2 に，このウェイポイント情報をコースマップ上に重ねた例を示す．マゼンタ色の部分が生成した走行経路である．
また，車エージェントから見た走行経路を図中央に示す．
図中央左が観測画像，図中央右がウェイポイントの車エージェント視点の鳥瞰画像である．本研究ではこれを「ウェ4. CNN を用いた進路の学習
4.1 ウェイポイント画像の解析
本シミュレータでは，ウェイポイント情報を表す走行経路を曲線で表現する．上述したとおり，ウェイポイント画イポイント画像」と呼ぶこととする．

像とは，ウェイポイント情報である走行地点の系列をつないだ曲線群を道路上へ描画し，それを車エージェント視点の鳥瞰画像へ変換することにより取得できる画像のことである．図 4 に，車エージェントの観測画像とウェイポイント画像の例をいくつか示す．この図の例では，上段の観測画像の場合，分岐で右に走行する必要があることを示している．同様に中段は直進，下段は左にカーブを意味する．

図 2 ウェイポイント情報と走行経路
Figure 2 Waypoints and the routing.
3.3 ウェイポイント画像の生成
ウェイポイント画像をコースマップ上に重ねることで，現在の車エージェントがその走行経路上にあるかについておよそ知ることができる．すなわち，走行経路の領域内に位置すれば，向きは多少異なっても正しい経路に従ってい図 4 観測画像とウェイポイント画像の例ると判断できる．シミュレーションによる学習時は，ウェ

Figure 4 Observed images and waypoint images.

イポイント情報が既知の道路コースを用意できるため，ウェイポイント情報を運転行動の修正に積極的に利用するこ

ウェイポイント情報が利用可能な場合，行動学習時に正確な進路を意味するウェイポイント画像を安定に得ることとができる．
次に，ウェイポイント画像を報酬計算に利用する方法にができる．進路を示す曲線または直線は，車エージェントついて述べる．ウェイポイント情報を利用する運転行動学

視点の鳥瞰画像の中央付近に位置する．ウェイポイント情習の場合は，以下の式(1)に示す報酬𝑟に変更する．

報が不確かなルートの走行では，観測画像のみから進路を𝑟𝑟1

1r1

𝑟... (1)予測する必要がある．学習により，進路を想起することができればよいが，非常に難しい問題である．そこで本研究

この報酬𝑟は，単に走行可能であれば𝑟1のみ与えられ，走行

では，進路を「left」， 「straight」， 「right」の 3 種類の方1となる報酬を意向に絞り，予測することを検討した．今後，「この先，左に味する．図 3 にウェイポイント画像から走行経路上にある急カーブ」のように推定する進路の精度を上げることも可

確率𝑟 を求める方法を示す．なお，車中心が走行経路上に能と考える．なお，右方向，左方向といった「進路」を画経路上にある確率𝑟 が 1 に近ければ𝑟ⓒ2023 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report
像より推定することは，観測画像からその時刻における行動を決定することに直結するものではない．
次に，ウェイポイント画像の解析の手順を図 5 に示す．
進路のラベルを 𝑆, 𝐿, 𝑅 とする．このラベルが，対応する観測画像の教師データとなる．最終的には，ウェイポイント画像上の進路を曲線または直線として表現する．ウェイポ
イント画像を解析し，図のように𝑥座標ごとに走行経路上の画素の平均座標を求め，その左右への偏りを判定するこ

図6とでおよその判定が可能である．今回の実装ではこの判定

Figure 6方法を用いている．以降で説明予定の，学習に用いるウェ

分類精度・誤差の推移
Accuracy and loss .

4.3 推定した進路の利用

イポイント画像（走行経路）は，安定に走行している状況推定した進路が精度のよいものであれば進路を逆投影で収集したものであるため，画像のほぼ中央の曲線またはすることにより，走行経路の推定情報として活用できる．

直線として出現する．

A.Amini らの研究[3]では，ルートが未知の周辺マップ画像と観測画像を入力として与えることで，3 種類の進路についての確率的な判定が可能となっている．本研究では，およその方向しか求めていないが，ウェイポイント情報のない状況下で進路を判断する場合に利用可能である．

5. 実験結果
5.1 概要図 5 進路の判定
Figure 5

The predictive routing.

4.2 CNN による学習本研究では，車エージェントの実装に強化学習向けのエージェント開発のフレームワークである OpenAI Gym[12]を 利 用 し た ． こ の 車 エ ー ジ ェ ン ト を 含 む 環 境 に Stable

観測画像と対応するウェイポイント画像をもとに進路

Baselines の PPO を組み込んだ．また，走行シミュレータの学習を行う．学習結果をウェイポイント情報の与えられ（道路コース生成，フロントカメラから見た 3 次元レーンない場合の進路として利用することを想定する．本研究で曲線の投影像の生成）については独自に開発したものを用

は，64×64 のウェイポイント画像および 64×64 の観測画

いた[6][7]．

像の一部（64×32 の画像）を学習データに用いる．このよ5.2 運転行動の学習

うに観測画像から車前方の半分の高さの画像を切り出してまず，生成した道路コースについて行動学習した結果に用いる．この切り出した 64×32 の観測画像 𝑛枚および教師ついて述べる．観測画像には，レーン画像の解析結果を用

データとなる進路のラベル 𝑡 , … , 𝑡 , 𝑡 ∈ 𝑆, 𝐿, 𝑅 をもとにいることも可能であるが[13][14][15]，今回は投影像をその学習する．繰り返しになるが，進路のラベルは，上述したまま観測画像として用いている．学習には図 2 に示す短い

ウェイポイント画像の解析により事前に求めておく．

道路コースを用いる．ただし，走行の難易度を上げるため，実験には，ウェイポイント情報である走行経路を既知と道路コースの道幅を広めに設定している．これにより，学した道路コースを走行させ取得した 1,715 枚を用いた．観習した走行にふらつきが発生することが予想される．また，測画像は学習時に 32×32 にリサイズし，正規化する．進路分岐点を含んでいることから，車エージェントにとって難のラベルは，対応するウェイポイント画像を解析し求める．

しい判断が必要と予想する．図 7 に 20 万ステップ学習し

CNN の実装には Tensorflow， Keras ライブラリを用い，計た結果を示す[16]．横軸はエピソード数，縦軸は そのとき算時に GPU を用いた．エポック数は 50 とした．利用したの報酬である．グラフは，(a)ウェイポイント情報を利用す

CNN のモデルは，画像分類に用いられる一般的なものを用る場合(WP)，(b)利用しない場合(NO-WP)の結果を示していいた．具体的には，畳み込み層×2，MAX プーリング層×る．不安定な報酬の推移になっているものの，ともに 2 万１，畳み込み層×2，MAX プーリング層×１，全結合層×回程度で目標ステップ数（コース 1 周半）に達していた．

2 を連結する構成とした．図 6 に学習時の分類精度・誤差(a)の場合は，報酬関数が 1.0 以下となるため，予想通り平の推移を示す．学習データに対しては，分類精度(accuracy)均報酬は下がった．また、(b)の場合は，15 万回程度で報酬は 98.95%，誤差(loss)は 0.013 であった．

は安定したが，これは，(b)の報酬が「長時間走行可能か」のみを評価しているため，走行レーン内を大きくふらついていても達成できる．一方，(a)の場合については，走行経路上を完全に走行するまで学習回数を要し，平均報酬の推ⓒ2023 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report
移が安定しないことも確認できた．そこで，テスト走行に定すること，3)分岐点において，確実に指定した方向を通おいて，(a)(b)の場合についてそれぞれ走行経路上にあるか過するよう学習できることを確認できた．

を目標ステップ数の間，計測し確認した．それぞれ 90.8%，また，CNN を用いて進路を学習する手法についても検討

25.7%であった．このことから「走行経路を安定に走行する」

した．観測画像とウェイポイント画像を用いて，進路のラという目的は，(a)の場合のみ，達成できていることを確認

ベル 3 種類について学習し，観測画像をもとに進路を推定できた．また，(a)の場合のみ，設定した分岐点で指定したできるようになった．

方向に間違えることなく走行できることも確認した．

今後の課題は，1)直角に曲がるレーンや，交差点，ラウンドアバウトなど，より複雑な道路コースに対する学習実験と評価，2)，レーンチェンジへの適用， 3)推定した進路にもとづく行動の予測，4)より精度の高い進路の推定などである．

参考文献

図7
Figure 7

エピソード報酬の推移

Transition of the episode rewards .

5.3 CNN を用いた進路の学習
図 2 のコースについて，ウェイポイント上の進行方向に正確に走行させることで獲得した未学習データすなわち観測画像およびウェイポイント画像をもとに，推定精度の検証を行った．実験にはウェイポイント 129 点を用いた．進行方向の連続する 2 点からその方向を求め，車エージェン
トの向きとした．学習時と同様に，ウェイポイント画像から対応するラベルを解析により求め，真値とした（目視で正確なラベルであることも確認した）．学習した CNN で進路を判定したところ，分類精度は 90.7%であった．この結果より，進路が正確に求められたことがわかる．学習に用いていない，運転に失敗したシーンの観測画像に対する評価は今後検討する．
図 4 上段の分岐の例のように，左右どちらの進路を割り当てるかは，学習時の与え方に依存する．本手法は，過去（学習データ）から進路を学ぶ手法であるが，この例のように，そもそも AI 自身で判断できない場合は進路について明確な指示が必要である．

6. おわりに[1] Dosovitskiy, Alexey, et al. CARLA: An open urban driving
simulator. In: Conference on robot learning, PMLR, pp.1-16, 2017.
[2] Shah, Shital, et al. Airsim: High-fidelity visual and physicalsimulation for autonomous vehicles, In: Field and service robotics.
Springer, Cham, pp.621-635, 2018.
[3] A. Amini, et al. Variational end-to-end navigation and localization,
International Conference on Robotics and Automation(ICRA).
IEEE, 2019.
[4] J. Xu, and Tao Wu. End-to-end autonomous driving based onimage plane waypoint prediction, International Symposium on
Control Engineering and Robotics (ISCER). IEEE, 2022.
[5] J. Xu, et al. Trajectory Prediction for Autonomous Driving with
Topometric Map, International Conference on Robotics andAutomation (ICRA). IEEE, 2022.
[6] 米元聡, 國武佑哉, 道路俯瞰画像を用いた車エージェントの運転行動学習, 火の国シンポジウム, 2020 年.
[7] 米元聡, 菅河凌太, 深層強化学習を用いた運転行動学習のための走行シミュレータの検討, 火の国シンポジウム, 2021 年.
[8] V. Mnih, et al. Playing atari with deep reinforcement learning, 2013,arXiv:1312.5602.
[9] D. Silver, et al. Mastering the game of Go with deep neuralnetworks and tree search, 2016, nature, 529(7587), 484.
[10] Schulman, John, et al. Proximal policy optimization algorithms,
2017, arXiv:1707.06347.
[11] Stable Baselines, https://github.com/hill-a/stable-baselines[12] 米元聡, 鶴山侑生, 新田龍一, 深層強化学習を用いた自動駐車のシミュレーション, 火の国シンポジウム, 2022 年.
[13] Luca Venturi ,Krishtof Korda, Hands-On Vision and Behavior for
Self-Driving Cars, Packt Press, 2020.
[14] Udacity Self-Driving Car Nanodegree Project, Finding lane lines,
https://in.udacity.com/nanodegree .
[15] OpenAI https://github.com/openai/baselines.
[16] Tensorboard https://www.tensorflow.org/tensorboard.

本稿では，深層強化学習を用いた運転行動学習について述べた．深層強化学習アルゴリズムの 1 つである PPO を用い，ステアリング操作の行動を学習させた．観測情報は走行シミュレータを用いて生成されるフロントカメラ画像のみとした．ウェイポイント情報が利用可能な場合は，その走行経路上にあるかどうかについて評価する報酬を設定した．実験の結果，ウェイポイント情報を利用する場合は，
1)走行経路を完全に通過できるようになるまで学習に時間を要すること，2)走行経路に沿って学習するため走行が安ⓒ2023 Information Processing Society of Japan5