人にやさしい遠隔操縦付き自動運転の開発(AIT Project on Human-friendly Autonomous Vehicle with Remote-control: HAVRec)［研究代表者］道木加絵（工学部電気学科）［共同研究者］中條直也（情報科学部情報科学科）
塚田敏彦（情報科学部情報科学科）
松河剛司（情報科学部情報科学科）
矢野良和（工学部電気学科）
中井孝幸（工学部建築学科）
内藤克浩（情報科学部情報科学科）
研究成果の概要
2018 年度までの成果を基に応募した研究課題が知の拠点あいち重点研究プロジェクト（III 期）に採択された。
（研究課題：ヒトに優しい遠隔運転要素技術の開発とシステム化〜完全自動運転実現への架け橋として〜、研究リー
ダー：塚田敏彦教授、研究期間：2019 年 4 月〜2022 年 3 月）。HAVRec の研究活動の一つとして本プロジェクトに取り組むこととなったため、共同研究者として 2019 年度から内藤克浩准教授が参加している。
HAVRec として複数の研究テーマに取り組むが、2020 年度は「自動運転車両周辺の環境認識」、「自動駐車支援」、「遠隔操縦支援」関連の研究テーマで国外・国内学術講演会における研究発表を 7 件行った。上記以外に、「遠隔操縦用コクピットの改良」、「複数カメラ画像からの 360 度映像生成」、「5G を利用した遠隔操縦システム」に関する研究にも取り組んだ。「遠隔操縦用コクピット」の開発に関する研究テーマで、1 件の特許出願を現在検討中である。
HAVRec における対外活動の 1 つとして、夏のオープンキャンパス、テクノフェア 2020 に出展した。夏のオープ
ンキャンパスでは豊田市から借用・自動運転車両へ改造したコムスに加え、あいち重点研究プロジェクトで開発した自動運転車両と、研究内容を紹介したポスター・動画の展示を行った。また、ロボット博瀬戸蔵 2021 では、自動運転車両の展示に加えて遠隔操縦の難しさを理解してもらうため「ロボットの遠隔操縦体験」を実施した。ロボット博
瀬戸蔵 2021 では、参加学生も遠隔操縦体験の運営と参加した子供たちへのデモ対応に当たった。毎週の研究打ち合わせと対外活動を通して、HAVRec 参加学生は複数分野に跨る研究活動やプレゼンテーション能力、コミュニケーションスキル、企画運営能力等を高めることができた。

研究分野：ロボティクス、知的情報処理、知的制御
キーワード：遠隔操縦付き自動運転車、操縦支援、X Reality(XR)、情報提示、環境認識、自動運転、遠隔操縦

1．研究開始当初の背景

運転を目的とし、その開発は順調であった。しかし、一般労働人口の減少により物流における運送・配送手段、都車両を含む高速道路、大都市の市街地、一般市街地と自動心や過疎地における高齢者の移動手段として日本では自運転車両の走行環境の拡大や制限緩和が進むにつれ、動運転車両の実現が急務である。世界的にも自動運転車両

Level5 の自動運転実現に向けた課題が複雑かつ困難であ実現に対する要望は高く、自動運転に関する様々な要素技ることが明らかとなりつつある。一方で、様々な環境にお術研究が全世界的に行われてきている。最初は一般車両をける自動運転に対する需要は著しく高く、その実現・導入除いた高速道路のように非常に限定された環境での自動は急務である。

2．研究の目的
本研究では、まずは Level4 の自動運転実現が重要かつ急務と捉え、これまで遠隔操縦付き自動運転車両に取り組んできた。本研究では、「ラスト 100 ヤードの走破」を合言葉にした一般的な交通ルールが順守されない状況が発生しやすい私有地や未整備道路、また自動運転車両が自律走行不可能な状況下等において遠隔地の操縦者が車両の運Fig.1 視線情報を用いた AR 映像生成手法転操作を行う事を想定する。遠隔地にいる操縦者が安全かつ的確に自動運転車両を運転するには、車両周囲の状況を操縦者に十分かつ適切に提示する必要がある。また、自動運転車両が自律走行不能な状況を減らすには、自律走行不能時の操縦者の操作を自動運転車両が蓄積して自身の状況判断・車両制御に反映することが望まれる。更に、自動運転車両が一般社会で受け入れられるためには「搭乗者」

Fig. 2 歩行者の飛び出しを想定した被験者実験結果「遠隔操縦者」「周囲の一般車両のドライバや歩行者」にやさしい自動運転車両が必要不可欠と考える。そこで本研
究では、「（搭乗者・遠隔操縦者・一般ドライバや歩行者すべての）人にやさしい」遠隔操縦付き自動運転の開発に向けた要素技術の確立を目的とする。

3．研究の方法
遠隔操縦付き自動運転車両の実現には、「自動運転システム」および「遠隔操縦システム」に関連した多岐に亘る要素技術が必要である。そこで、本研究ではプロジェクト全体の方針・方向性を全教員で議論・決定しつつ、各自の専門を基盤とした「自動運転システム」および「遠隔操縦システム」に関連する研究テーマを設定する。また、本プ
ロジェクトでは研究活動に参加する大学院生・学部学生に

Fig.3 評価用路面環境と路面環境識別結果

対する教育活動の一環として、大学院生・学部学生による対外広報活動にも取り組む。

る（Fig.1）。このように視線情報に基づき AR 映像を提示することで、HMD の視野角制限によるハザード認知の遅れ

4．研究成果(1) 遠隔操縦における拡張現実（AR）的映像提示
遠隔操縦者の負担軽減を目的とし、HMD（Head MountedDisplay）と全天球映像を用いた遠隔操縦システムの実現を目指す。HMD は人間とその視野角が狭く、事故要因となる環境や事象（ハザード）の認知が遅れることが予想される。そこで、本研究では HMD に搭載された視線計測センサ情報を用い、HMD の視野外にハザードが検出された場合、ハザードに視線を誘導するよう AR オブジェクトを配置すの抑制を実現する。シミュレータを用いて被験者による歩行者飛び出し認知実験を行ったところ、Fig.2 に示すように AR 映像を提示した場合の方が飛び出してくる歩行者を早く認知でき、結果としてブレーキ開始時の車両―歩行者間距離が確保でき、衝突までの余剰時間も大きくなる結果となった。
(2) 未整備道路における自動運転のための路面環境識別
本研究では, 車両が不安定になる路面でも自動運転を可能にするため路面環境識別手法を提案する.手始めとして Fig.3(a)(b)に示す舗装路面と砂利路面の識別を実現

5．本研究に関する発表(1) 鈴木建哉、" 視線データに基づく AR 映像を用いた遠隔運転支援システム主観的調査による評価" , 2020 年
度電気学会東海支部若手セミナー「環境対応型次世代パワーエレクトロニクス技術」SICE 中部支部「電機計測制御技術ワーキングセミナー」合同大学院生発表会、オンライン開催、No.6, 2020
Fig.4 2 台の魚眼カメラによる撮影システム(2) 鈴木建哉, 道木加絵, 舟洞佑記, 道木慎二, 鳥井昭宏,元谷卓、" 視線情報に基づく拡張現実感映像による遠隔運転支援システム〜運転特性に与える影響~"、計測自動制御学会システム・情報部門学術講演会 2020、 GS1-4-4,2020 年(3) 鈴木建哉, 道木加絵, 舟洞佑記, 道木慎二, 鳥井昭宏,
元谷卓：" 視線情報に基づく拡張現実感映像による遠隔運転支援システム〜反応時間に着目した検証〜"、第 21Fig.5 合成前の画像（左：前方カメラ、右：右側カメラ）

回 計測自動制御学会システムインテグレーション部門講演会論文集 3G2-05、大阪大学（オンライン）、2020 年(4) Kazumasa Kamitani and Naoya Chujo, “Examination ofEnvironment Recognition Method for Autonomous Driving on
Undeveloped Road”, Proceedings of International Workshop on
Informatics 2020, pp.153-169, Obana Japan ( on-line) 2020
(5)Kae Doki, Kenya Suzuki, Yuki Funabora, Shinji Doki,Akihiro Torii, and Suguru Mototani , "AR video presentation

Fig.6 得られた合成画像（270 度視野画像）

using 3D LiDAR information for operator support, in mobile
robot teleoperation, Proceedings of IEEE 19th Worldする。提案手法では LiDAR から得られた点群データの反射

Symposium on Applied Machine Intelligence and Informatics

強度を用いてこの 2 つを識別する。また、自動運転の走行

2021, pp.59-64, Herl’any, Slovakia (on-line)に支障の出るポットホールやバンプは、LiDAR の高さ情報

htps://doi.org/10.1109/SAMI50585.2021.9378687), 2021 年を用いて識別する。Fig.3(c)(d)の識別結果より、舗装路(6) Kae Doki, Kenya Suzuki, Yuki Funabora, Shinji Doki,

面と砂利路面が LiDAR 情報で識別できることが確認されAkihiro Torii and Suguru Mototani, "Application ofた。

Augmented Reality based on Sensing Data to Teleoperation(3) 複数カメラ画像からの 360 度映像生成

System for Operator Support", Proceedings of IEEE 2021 22th

(DOI:

本研究では、車両近辺の死角がない 360 度映像の生成とInternational Conference on Industrial Technology, (DOI:

VR 機器での使用を目的とし、4 台の魚眼カメラから全周映

https://doi.org/10.1109/ICIT46573.2021.9453619), Valencia,像を提供するカメラシステムを提案する。これを実現する

Spain ( on-line) , 2021 年

ため、魚眼レンズ歪みの補正手法と魚眼カメラ間の位置関(7) 上谷一将、中條直也、” 未整備道路における自動運係推定手法も同時に提案する。手始めとして Fig.4 に 2 台転のための路面環境識別の検討”、情報処理学会第 83 回の魚眼カメラ撮影システムを構築した。このシステムを使全国大会、5T-07、大阪大学豊中キャンパス（オンラインって撮影した画像（Fig.5）を提案手法により合成した結開催）、2021 年

果、位置ずれや物体の重複がない画像が得られた（Fig.6）。