情報処理学会論文誌

運転中の危険予測器とその学習のための CG データセット
松本 健吾 1

渡邉 祐大 1

岡部 誠 1

受付日 2021 年 10 月 14 日，採録日 2021 年 10 月 14 日

概要：世の中で起こる交通事故の 62%が運転者の不注意に起因している。そこで我々は車載カメラの映像から素早く自動的に危険な状況を予測する手法を提案し、運転者への注意喚起や自動ブレーキを作動させることで交通事故を削減したい。既存手法にも危険予測手法は存在するが、それらは車載カメラの映像から人や車などの物体認識を行い、それら検出された物体の位置や速度を解析することで危険を予測する。
しかしこのような危険予測手法は遅すぎる。例えば人や車が急に飛び出してきたとき、それらの全貌が画面に映るまで物体認識はできないが、それでは運転者への注意喚起や自動ブレーキの作動が遅れる可能性がある。そこで我々は物体認識などを経由せず、車載カメラの映像から直接安全か危険かを予測する危険予測器を作りたい。学習用データセットにはビデオゲーム“Grand Theft Auto V”を用い、ゲームの中で飛び出しなどの危険行為をする歩行者をプログラミングすることで、安全にかつ大量に事故映像を生成する。これらを学習して得た危険予測器をビデオゲームの映像と車載カメラの映像で精度評価する。
キーワード：危険予測器、深層学習、運転支援

1. はじめに喚起や自動ブレーキの作動が遅れる可能性がある。そこで我々は車載カメラの映像から直接安全か危険かを予測する

世の中の交通事故のほとんどが運転者の不注意によって危険予測器を作りたい。この危険予測器は、数フレームの短起こっている。例えば、平成 30 年中に起こった交通事故 43

い動画を入力とし、それが安全か危険かを判断する。その判万件のうち、運転者の不注意によるものが 27 万件であり、断基準は、物体認識などに依存せず、たとえまだ画面に映りこれは全体の 62％に上る[1]。27 万件の事故原因の内訳は、きっておらず認識できない物体だとしても、それが異常な信号を正しく認識しなかったり人や自転車や自動車など自動きをしていることなどを解析し、危険を予測する。

分以外の存在に気づかなかったという「安全不確認」が 13この危険予測器の実現には、学習のためのデータとして万件、周囲の景色やカーナビやスマートフォンの画面に気危険な映像、即ち実際の交通事故の映像が大量に必要であを取られてしまったという「脇見運転」が 6 万件、事故になる。しかし、実際の交通事故が記録された車載カメラの映像りそうな相手にもかかわらず注視しなかったという「動静を集めるのは難しく、また、実際に撮影するのも危険である。

不注意」が 4.5 万件、疲労等で運転者の集中力が落ちていた

この問題を解決するために我々はコンピュータグラフィッという「漫然運転」が 3.5 万件である。このように運転者はクス（CG）でなら安全に事故動画を大量生成できると考え様々な原因で注意を怠って事故を起こす。そこで我々は車た。我々は“Grand Theft Auto V”（GTAV）というビデオゲー

載カメラの映像から事故が起こりそうな危険な状況を自動ムに着目した。GTAV は人々が歩き、自転車や自動車やトラ的に予測できる人工知能を開発し、運転者に注意を促したック等が走る都会や住宅街を自由に自動車で移動することり自動ブレーキを作動させたりするようなシステムを開発ができるゲームである。ゲーム映像は写実的であり、実際のすることで交通事故を削減したい。

自動車に搭載された車載カメラの映像にも近い。さらに、既存手法にも危険予測手法は存在するが、それらは車載

GTAV の販売元は非営利的な目的でのゲーム映像の使用[3]カメラの映像から人や車などの物体認識に行い、それら検や、シングルプレイでのゲームの改造を許可[4]している。

出された物体の位置や速度を解析することで危険を予測す

そこで我々は道路に飛び出してくる歩行者をプログラミンる[2]。しかしこのような危険予測手法は遅すぎる。例えば

グによって再現し、交通事故の映像を安全に大量に作成し人や車が急に飛び出してきたとき、それらの全貌が画面にた。作成したデータセットを用いて危険予測器を学習し、車映るまで物体認識はできないが、それでは運転者への注意

載カメラで撮影された映像で危険予測ができるか検証した。

1 静岡大学大学院総合科学技術研究科工学専攻
数理システム工学コースⓒ2021 Information Processing Society of Japan1

情報処理学会論文誌

2. 提案手法
2.1 GTAV を用いたデータセットの作成
GTAV ではプレイヤーが車に乗って街を走ると、プレイヤーの目線から見た運転中の風景が描かれる。提案手法ではに、9 層から成る全結合のニューラルネットワークを通して最終的に 3 次元の出力を得る。16 フレームの入力動画に対しては、その動画の 8 フレーム目につけられたラベルを出力するように学習を行った。

この風景を録画してデータセットを作成する。しかし、このプレイヤー目線の風景にはハンドルやスピードメーターなど車内のインテリアが映っている。そこでこれらを消去するために、プレイヤー及びプレイヤーの運転する車を透過させた。また、プレイヤーの視点は実際の車載カメラの視点よりも低く後方に位置しているため、プレイヤーの視点を車載カメラと同等な位置に調整した。また、データセットの収集を自動的に効率よく行うため、ゲーム内の街を自動運

図 1

転で走行できる機能を使用した。
プレイヤーが車の自動運転を開始すると、右前方にいる歩行者がプレイヤーの車と衝突するように道路を横断してくる。全ての歩行者ではなく、プレイヤーの車と上手く衝突できる歩行者のみがこのような危険行動をとる。上手く衝突できるかどうかは、車の速度と歩行者の速度、及び、車と歩行者の位置関係から計算できる。走らせる命令を出してから走り始めるまでの時間が歩行者の種類やその時の状況によって異なるため、衝突せずに車の前方や後方を走り抜ける場合もある。このようなプログラムを実行して交通事故を再現する。
危険予測器は上記の手法で録画された動画を入力したとき、画面に映っている状況が安全か危険かを判断したい。そこで学習のために、動画の各フレームに安全か危険かのラベルを付けておく必要がある。我々は歩行者が走り出すタイミングで画面に“Dangerous”という文字列を表示する。
この文字列はその後 22 フレームの間表示され続ける。また、プレイヤーの車の前に衝突した場合には画面に“Collision”という文字列を表示する。この文字列は歩行者が車の前からいなくなるまで表示され続ける。
“Dangerous”はいずれ事故が起こる危険な状況を表し、“Collision”は事故が起こる直前もしくは衝突が起こってしまった危険な状況を表す。
録画終了後、動画をフレーム単位で読み込んで文字列を確認することで、“Collision”が表示されていれば 2、“Collision”がなく“Dangerous”のみが表示されていれば 1、どちらも表示されていなければ 0 のラベルをフレーム毎につけた。

3. 実験結果
GTAV を用いて 13140 フレームの動画を録画した。この動画において、安全なフレームと危険なフレームの比率はおよそ 12:1 であった。このデータセットを用いて、危険予測器を学習し、現実の車載カメラの映像で危険を予測できるかを確認した。現実の車載カメラの映像として用いたのはYouTube にあったドライブレコーダーの映像である。運転者の左にはスーパーがあり、右にはそのスーパーの駐車場がある。すると突然、左のスーパーの出入口から子どもが車の前に飛び出してきて、右の駐車場に向かって走り抜けてゆく。危険予測器が出力した結果によると、出入口付近のごみ箱にごみを捨てている人が映っている間や、子どもが飛び出してきて走り抜けるまでのフレームで危険と判断された。
このことから GTAV のデータセットは CG による映像だが、その学習によって得られた危険予測器が、現実の映像における危険予測にも適用できることが分かった。現状では入力に 16 フレームを用いているが、今後はより少ない入力フレーム数でも安全か危険かを正しく判断できるよう、データセットや学習方法の実験を重ねていきたい。

参考文献
[1]

[2]

2.2 危険予測器の作成
危険予測器のモデルを図 1 に示す。入力動画は元々1920×1080 ピクセルの解像度であったが、まず、256×256 ピク[3]セルに縮小した。更にその中央の 224×224 ピクセルを入力動画として用いる。
“Collision”や“Dangerous”などの文字列は元々の動画の画面端に表示したので、入力動画には含まれない。入力動画から 16 フレームを抽出し、学習済みのI3D[5]に入力すると 1024 次元の特徴ベクトルが得られ、次ⓒ2021 Information Processing Society of Japan

危険予測器のモデル

[4]

[5]

交通事故の原因ランキング｜安全不確認、脇見運転、一時不停止|弁護士法人泉総合法律事務所
https://izumi-jiko.jp/column/jiko-bengoshi/cause-ranking
Yuki Mori, Hiroshi Fukui, Tsubasa Hirakawa, Jo Nishiyama,
Takayoshi Yamashita, and Hironobu Fujiyoshi, “Attention
Neural Baby Talk: Captioning of Risk Factors while Driving,”
IEEE Intelligent Transportation Systems Conference (ITSC),
October 2019, Pages 4317–4322.
Policy on posting copyrighted Rockstar Games material Rockstar Games Customer Support
https://support.rockstargames.com/articles/200153756/Policyon-posting-copyrighted-Rockstar-Games-material
PC Single-Player Mods - Rockstar Games Customer Support
https://support.rockstargames.com/articles/115009494848/PCSingle-Player-Mods
I3D (RGB + Flow) - Video Features Documentation
https://iashin.ai/video_features/models/i3d/2