人にやさしい遠隔操縦付き自動運転の開発(AIT Project on Human-friendly Autonomous Vehicle with Remote-control: HAVRec)［研究代表者］道木加絵（工学部電気学科）［共同研究者］中條直也（情報科学部情報科学科）
塚田敏彦（情報科学部情報科学科）
松河剛司（情報科学部情報科学科）
矢野良和（工学部電気学科）
中井孝幸（工学部建築学科）
内藤克浩（情報科学部情報科学科）
研究成果の概要
2021 年度は HAVRec が参加するあいち重点プロジェクト（研究課題：ヒトに優しい遠隔運転要素技術の開発とシステム化～完全自動運転実現への架け橋として～、研究リーダー：塚田敏彦教授、研究期間：2019 年 4 月～2022 年3 月）の最終年度であり、年度末のプロジェクト成果報告に向けた実証実験準備や研究成果の取り纏め・成果発表を行った。その一環として京都で開催された国際会議 GCCE2021(2021 IEEE 10th Global Conference on ConsumerElectronics)にてオーガナイズドセッションを提案し、採択されて成果発表を行った。他にも HAVRec として取り組んだ研究テーマについても対外発表を行い、国外・国内学術講演会における研究発表を合計 9 件行った。
HAVRec における対外活動の 1 つとして、夏のオープンキャンパスに出展した。夏のオープンキャンパスでは豊田市から借用・改造したコムス、あいち重点研究プロジェクトで開発した自動運転車両、研究内容紹介のポスター・動画の展示を行った。また、11 月に開催された「親子で学ぼう SDGs キッズパーク×未来つなぐプロジェクト」では、SDGs に関連する HAVRec の貢献内容の紹介や、子供向けの遠隔運転体験コーナの設置・運営を学生中心で行った。
あいち重点プロジェクトへの参加、毎週の研究打ち合わせと対外活動を通して、HAVRec 参加学生は企業における研究・開発活動を経験し、複数分野に跨る研究活動やプレゼンテーション能力、コミュニケーションスキル、企画運営能力等を高めることができた。

研究分野：ロボティクス、知的情報処理、知的制御
キーワード：遠隔操縦付き自動運転車、操縦支援、X Reality(XR)、情報提示、環境認識、自動運転、遠隔操縦

1．研究開始当初の背景
労働人口の減少により物流における運送・配送手段、都Level5 の自動運転実現に向けた課題が複雑かつ困難であることが明らかとなりつつある。

心や過疎地における高齢者の移動手段として日本では自2．研究の目的動運転車両の実現が急務である。世界的にも自動運転車両

本研究では、Level4 に当たる遠隔操縦付き自動運転車両実現に対する要望は高く、自動運転に関する様々な要素技に着目し、「ラスト 100 ヤードの走破」を合言葉に一般的術研究が全世界的に行われてきている。最初は一般車両をな交通ルールが順守されない状況が発生しやすい私有地除いた高速道路のように非常に限定された環境での自動や未整備道路、自動運転車両が自律走行不可能な状況下等運転を目的とし、その開発は順調であった。しかし、一般で遠隔地の操縦者が車両の運転操作を行う事を想定する。

車両を含む高速道路、大都市の市街地、一般市街地と自動まず、自動運転車両が一般社会で受容されるには「搭乗者」

運転車両の走行環境の拡大や制限緩和が進むにつれ、「遠隔操縦者」「周囲の一般車両のドライバや歩行者」にやさしい自動運転車両が必要不可欠と考える。次に、遠隔地の操縦者が安全かつ的確に自動運転車両を運転するには、十分かつ適切な車両周辺状況提示やシステム側からの支援が必要である。更に、自動運転車両が自律走行不能な状況を減らすには、自動運転性能の更なる改善、操縦者の状況判断や車両制御の自動運転システムへの反映等が望まれる。そこで本研究では、「（搭乗者・遠隔操縦者・一般ドライバや歩行者すべての）人にやさしい」遠隔操縦付き自動運転開発に向けた様々な要素技術に取り組む。
Fig.2 NASA-TLX による作業負荷評価結果
3．研究の方法
遠隔操縦付き自動運転車両の実現には、「自動運転システム」および「遠隔操縦システム」に関連した多岐に亘る要素技術が必要である。そこで、プロジェクト全体の方針・方向性を全教員で議論・決定しつつ、各自の専門を基盤とした「自動運転システム」および「遠隔操縦システム」に関連する研究テーマを設定する。
Fig.3 シミュレーションシナリオ
4．研究成果(1) センサ情報に基づく拡張現実（AR）映像提示を導入した遠隔操縦システム
遠隔操縦者の負担軽減を目的とし、これまで HMD（Head Mounted Display）と全天球映像を用いた遠隔操縦システムを提案した。そして、膨大なデータサイズを持つ全天球映像による通信遅延の悪影響低減を目的とし、センサ情報に基づく AR 映像提示を提案した。従来は周囲物体の実際の位置を示す AR オブジェクトが単一色だ

Fig.4 運航の遅延時間のシミュレーション結果ったため、情報の煩雑さや状況把握の困難さが被験者実験で指摘されていた。そこで、Fig.1 に示すように、最大速度移動を仮定した時の周囲物体に対する衝突回避距離を元に、一般社会で多く用いられている 3 色の警告色（赤：危険、黄：注意、青：安全）で周囲物体の危険度を表すこととした。被験者による移動ロボットの遠隔操縦実験において NASA-TLX を用いた作業負荷評価を行った
結果、3 色の警告色を用いた場合が最も作業負荷が低いスコアが得られたことから、提案手法による作業負荷低減が実現可能であることが示された。
(2) 遠隔操縦付き自動運転の効率的な人的リソース割り当ての検討
本研究では, 多数の自動運転車を遠隔監視し、必要に応じて遠隔操縦サービスを提供するシステムを想定する。この遠隔監視・操縦者を人的リソースと定義し、最適数や効率的な割り当て方法を検討・提案する。本研究では Fig.3

Fig.1 警告色を導入した AR 映像例に示す愛知工業大学－八草間を運航するバスを午前 8 時

傍物体を除いた背景の合成画像と切り出した近傍物体を示す。近傍物体が空間上に投影するように VR 映像を合成した。Fig.7 に VR 映像として閲覧した際の表示映像を示す。背景映像の中に近傍物体が適切な距離感で表示される様子が確認できた。遠隔操作者へ移動体周辺の空間把握がしやすい映像情報の提供を実現した。
Fig.5 合成された背景画像（赤枠が 360 度の範囲）
5．本研究に関する発表(1) 道木加絵、鈴木建哉、舟洞佑記、道木慎二、鳥井昭
宏、元谷卓、" 視線情報に基づく拡張現実による遠隔運転支援－有効視野の周辺領域への AR 情報提示－" , ロボ
ティクス・メカトロニクス講演会 2021 in Osaka 講演論文
Fig.6 近傍物体を除いた背景(左)と近傍物体(右)集 2P1-L06、オンライン開催、2021(2) 伊藤大援、中條直也、”遠隔操縦付き自動運転の効率的な人的リソース割り当ての検討”、情報処理学会第 84
回全国大会講演論文集、4X-08、愛媛大学城北キャンパス（ハイブリッド開催）、2022(3) 福井皐河, 安達 友哉, 矢野良和, "遠隔運転のための複眼カメラ校正法の提案", 第２７回画像センシングシンポ

Fig.7 VR 機器で見える背景中の近傍物体の様子

ジウム,、IS1-14、オンライン、2021(4) Kae Doki, Kenya Suzuki, Yoshikazu Yano, Yuki

から午前 9 時まで遠隔操縦付き自動運転とするシミュレ

Funabora, Shinji Doki, “AR Image Presentation Basedーションシナリオを作成した。この環境で、人的リソース

on Sensor Data for Operator Support in Remote Carと運航遅延時間、道路環境整備と運航遅延時間、シャトル

Driving: - Aiming for Remote Car Driving-, Proc. of

バス増便と輸送量の関係を評価した。Fig.4 に人的リソー

2021 IEEE 10th Global Conference on Consumer

スと運航遅延時間のシミュレーション結果を示す。結果よElectronics, (DOI: 10.1109/GCCE53005.2021.9622070),

り、遠隔操縦付き自動運転における人的リソースとそれにKyoto Japan, 2021伴う運航遅延時間の見積もりが可能となることを示した。

(5) Kota Higashimoto, Hiroki Fukushima, Kazumasa Kamitani,Naoya Chujo, “Identification of Road Surface Condition on(3) 複数カメラ画像からの 360 度映像生成

Undeveloped Roads :- Aiming for Remote Car Driving”, Proc.

本研究では遠隔操作者への映像情報の提示を目的に、安価of 2021 IEEE 10th Global Conference on Consumer

な民生品の魚眼カメラを用いて死角がない車両近辺 360

Electronics,( DOI:10.1109/GCCE53005.2021.9621967),

度視野の映像を生成する。各カメラのレンズ歪みをそれぞKyoto Japan, 2021

れ補正し、4 台の映像をその位置関係をもとに合成する。

(5) Yoshikazu Yano, Kouga Fukui, "Validation of Calibration

Fig.5 は得られた映像を合成した全周囲画像となる。カメ

Method for Fish-Eye Lens Using Equiangular Markers:~

ラの配置に合わせて適切な位置合わせが行えた。画像の重Aiming for Remote Car Driving", 2021 IEEE 10th GCCE,

ね合わせ部分に近傍物体があると 2 重に投影される。その(DOI: 10.1109/GCCE53005.2021.9622000), Kyoto Japan,

対象は遠隔運転で特に注目すべき対象のため、適切に認知2021できるよう映像生成を試みた。各カメラ映像から近傍物体（他 3 件）を検出し、背景合成にて近傍物体を除去した。Fig.6 に近