四国地区

教育システム情報学会 2021年度学生研究発表会

ドライブシミュレータ画面の領域分割を用いた視線学習支援
Learning driving with improving gaze through area division methods
山田健斗*1, 松浦健二*1, 竹内寛典*1, 柏原昭博*2, 山崎健一*3, 栗田弦太*3
Taketo Yamada*1, Kenji Matsuura*1, Hironori Takeuchi*1,
Akihiro Kashihara*2, Kenichi Yamasaki*3, Genta Kurita*3*1 徳島大学*1Tokushima University*2 電気通信大学*2The University of Electro-Communications*3 三菱プレシジョン株式会社*3Mitsubishi Precision Co., Ltd.
*1Email: c611801241@tokushima-u.ac.jp
あらまし：本研究では，自動車運転手が注視すべき領域に気付かせるために，ドライブシミュレータの映像を見る運転手の視点を捉え, U-Net と格子領域分割を組合せた分析を行い，フィードバックをすることで学習支援を行う．
キーワード：運転シミュレータ，視線計測，領域分割

1. はじめに
自動車事故原因の多くは，運転手側の安全義務違反によって引き起こされている．2001 年の交通事故
総合分析センターの報告によれば，事故を起こした側がミスをしたとの認識を持つ場合がほとんどであり，中でも認知段階でのミスが最も多いという結果がある(1)．以後も様々なデータが公開されているが，例えば，四輪車同士の右折対直進の事故においては，操作上の誤り(21.1%)に対し，不注意・不確認・判断誤りの占める割合(78.3%)が高いとする報告もなされている(2)．
自動車や自動二輪車の運転は，運動スキル学習における古典的な概念と同様で，外界・環境面の認知，認識に基づく正しい判断（運転行動選択），判断による実際の行動（自動車や二輪車の操作）というプロセスが適用可能である(3)．行動結果は，外在的・内在的に再度認知され，運転中繰り返される．
この過程において，実際の自動車運転を前提とした学習ではなく，VR によるドライブシミュレータ(DS)を用いた研究を行う．利用する DS は，文献(4)において用いたものと同じものであるが，適用する運転シナリオに応じて，コースやイベントを変化させることができる．文献(4)ではそれを応用し，シナリオを変化させる際には，意図的に事故の疑似体験を誘発し，事故防止意識を高揚させることをねらった研究である．この研究においても，事故やそこに至るまでの運転状況の映像が，人間の視覚的な入力として重要な役割を担っている．
本研究では，運転時の視点を捉え，その分析と学習支援を行うこととする．ただし，アクセル，ブレーキやハンドル操作のような直接的な運転対象の操作を伴わず，簡単化のためまず外界認知に関わる視線情報のみを用いた研究を行う．例えば，熟練者の視点とどのように異なるか，行動変容が観測された215際に，視点がどのように変化したかを捉えることが可能である．

2. 画面領域分割による分析

2.1 視点位置座標による軌跡の分析
運転中に画面内のどこを見ているかを捉える際，多くのツールでは，(x, y)座標に基づき，その時系列データとして処理している．例えば，文献(5)はその一種であるが，系列データ間を DTW(Dynamic TimeWarping, 動的時間伸縮法)(6) に基づき類似性を評価するアプローチをとっている．この場合，背景となる映像内の対象物が何であれ，系列データのみに着目すれば良いという利点はあるが，周辺視等を考慮した一般的な視野角（左右合わせて 40 度など）等が十分考慮されない場合もある．
実際には観測誤差なども含めた議論が必要であり，計算機の処理上の事情もあるが，人間側の視覚処理も考えねばならない．具体的には，画面解像度に応じた最小単位での(x, y)座標での認知を人間が正確に行っているわけではない．むしろ，対象となる領域やオブジェクトを面の一部として捉える方が自然な場合がある．そこで，本研究では，画面を領域分割する手法を提案する．
2.2 視点位置座標に含まれる領域の分析
本研究では，熟練者から事前取得したモデル視点と比較し，危険対象領域の認知能力を視線誘導によって向上させることを目的とする学習支援を目指す．
このとき，視線データから危険識別の程度を推定し，危険注意を促すシステムの開発が求められる．
ここで，画面全体に対し，面を何等かの同種性に基づき，部分的な領域に分けることで，視点座標が得られれば，どの領域に視座があるかを判別することができるようになる．ただし，その領域の占有面積や位置がどの程度の粒度・正確さであれば，視点と符合すると見なせるかには注意を要する．本研究四国地区

教育システム情報学会 2021年度学生研究発表会

で用いる DS は VR 技術を用いているため，そこに描画されるオブジェクトの二次元座標はオブジェク
トそのものの位置と描画カメラの関係から計算することも可能である．しかし，本研究では，将来的に実映像や実運転への適用も考慮し，独自に設計するものである．

評価する際に，学習者の視点または熟練者の視点の位置を基準に，相手側の視点までの縦横斜めのセルの移動距離に着目し，表 1 のような評価点を加味することとする．ここで，N は格子分割数，L は基準からの到達コストである．例えば，図 1 の左上を基準に，右下が U-Net では同じ領域であった場合，0 であるが，隣接セルの場合は，0.5 になる．

3. 画面領域分割の設計・実装・評価関数

3.1 U-Net
U-Net は，Ronneberger ら(7)によって開発された画像セグメンテーションを行う CNN アーキテクチャである．ネットワークは，収縮パスと拡張パスで構成されており，U 字型のアーキテクチャになっていることから U-Net と呼ばれている．収縮パスでは畳み込みにより特徴マップ化していく．拡張パスでは逆に特徴マップを画像に復元していく．U-Net では，収縮パスと拡張パスの同じ階層がスキップ接続という機構で連結されることにより，入力画像の各画素の位置関係を失わないのが特徴となっている．
本研究での U-Net の学習においては Stephan R.
ら(8)によって作成された GTA5 データセットを用いる．これらの画像はオープンワールドのビデオゲー
ム GrandTheft Auto 5 を使用してレンダリングされており，すべて仮想都市の通りの車の視点からのものになっている．
3.2 格子領域分割

図 1 U-Net と格子領域の組合せイメージ本研究では，U-Net を用いた領域分割で運転熟練者のモデル視点データと学習者の視点データを DSの映像のフレームごとに比較し，領域分割した領域の一致度で危険識別の評価を行うものである．しかし，運転熟練者と学習者の視点座標の領域が同じでも座標上はかなり離れた場所を見ている場合がある．
U-Net による領域分割を，画面全体に適用した場合，
図 1 の格子線を除いた状態となる．この場合，例えば，道路は左端から右端までの広範な領域に跨っており，U-Net のみの領域分割では，極端な左や右にある視点を同一視してしまう問題がある．そこで，
U-Net での領域分割に加え，画像を N×N に格子状に分割し（本実験では 3×3），視線方向の細分化を行う．この処理により，問題となるパターンを抑えることができ，精度の高い評価を可能とする．
3.3 視点評価
前節までの U-Net と格子領域分割を組合せて視線216

表 1 視点評価時の加算点
格子領域分割
一致
一致
不一致
不一致

U-Net 領域分割
一致
不一致
一致
不一致

加算点
10.75
1-(L/(N-1))
04. 学習者へのフィードバック
本研究では，学習者の視点情報取得後，学習者自身の視点座標と，事前取得した運転熟練者の視点座標を同時に描画する．DS の映像と共に 2 つの円領域で描画することで学習支援を行う．その際，前節の加算点に応じて，色にグラデーションをつけて描画することで視覚的にどこが異なっていたか分かりやすくしている．

5.

おわりに

本研究では，自動車運転手が注視すべき領域に気付かせるために，ドライブシミュレータを用いて，運転時の視線を捉え，分析を行い，視線の学習をする支援環境の機能設計を行った．今後の課題として，
視点評価時の，格子領域が一致，U-Net 領域不一致の場合の加算点を一様に 0.75 とするのではなく，面積比等により関数化することが挙げられる．また音声などの視覚以外の知覚の導入も考慮したい．
参考文献(1) 交 通 事 故 総 合 分 析 セ ン タ ー ： “ITARDAINFORMATION”, No.33 (2001)(2) 交 通 事 故 総 合 分 析 セ ン タ ー ： “ITARDAINFORMATION”, No.136 (2020)(3) 平岡敏洋: “ドライバに安全運転を促す運転支援システム”, 計測と制御，
第 51 巻第 8 号，pp.742—747 (2012).
(4) 齊藤玲，柏原昭博，内藤弘望，松浦健二，戸井健夫，
栗田弦太：”交通事故の疑似体験を適応的に引き起こすための運転シミュレーションのデザイン”，教育システム情報学会第 45 回全国大会，pp.263-264 (2020).
(5) 内藤弘望，松浦健二，柏原昭博，齊藤玲，戸井健夫，
栗田弦太：”視線誘導を導入した自動車運転時の気づき支援環境”，教育システム情報学会 2020 年度第 4 回研究会，pp.21--26 (2020).
(6) Stana, S. and Philip, C.: “Toward accurate dynamic time
warping in linear time and space”, Intelligent Data Analysis,
vol. 11, no. 5, pp. 561-580 (2007).
(7) Ronneberger, O., Fischer, P. and Brox, T.: “U-Net:
Convolutional Networks for Biomedical Image
Segmentation”, Navab. N. et al. (Eds.) MICCAI Part III,
LNCS 9351, pp.234—241 (2015).
(8) Richter, S.R., Vineet, V., Roth, S., Koltun, V.：“Playing for
Data: Ground Truth from Computer Games”, LNCS 9906,
pp.102—118 (2016)