情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-47
2020/3/9

Shared Perception:自動システムの安定化のための認識補助インタフェース
栗林 篤1,a)

竹内 栄二朗1,b)

石黒 祥生2,c)

武田 一哉2,d)

概要：航空機制御や自動運転など, 自動化システムの実用化において, 人と機械の協調制御の実現法が重要である. 従来の協調制御では, 人が機械の制御状態を監視し, 危険な動作を行った際は即座に制御に介入する必要がある. この方法では, 機械が異常な制御を行った後に, 人が異常を認識し介入動作を行うため, 時間の余裕が少なく, 安全な介入動作が困難である. そこで著者らの先行研究では, 従来の制御介入に対し, 制御に必要な認知情報に介入する認識補助インタフェースを提案した. 人が機械の認知に介入することで, 介入動作への時間的余裕が生まれるため, 従来の制御介入における問題点が解決できる. 先行研究では自動運転を題材にし, 既存の自動運転システムに認識補助インタフェースを実装し, 小型移動体を用いて実証実験を行うことで, 自動運転の認識システムに人が介入することで, 安全かつ快適な自動運転を実現することができることを示した. 本研究では先行研究に対し, より高速で多様な実環境下に近い走行環境下で検証を行うために, シミュレータの走行環境を開発する. シミュレータ環境を用いることで, 実際の車両速度での検証や, 現状の自動運転システムだけでは走行困難な状況下で認識補助インタフェースの有用性を評価することができる.

1. はじめに航空機制御や自動運転など高度自動化システムにおける制御の安定化のための人と機械の協調制御が, 自動化システムの実用化に非常に重要である. 本研究で述べる安定化とは, 安全かつ人にとって不自然の無い動作を行うことである. 高度自動化によってヒューマンエラーが減少し, 制御の安全性が高まる一方, 人と機械のミスマッチによって,新たな課題や事故が発生する場合がある [1]. 例えば, 人と機械の意思疎通が不十分であったために, 人が自動システムの安全性を過信し, 本来行うべきシステムの監視を怠り事故につながった例が存在する [2].
従来の協調制御では, 人が機械の制御状態を監視し, 危険な動作を行った際は即座に制御に介入する必要がある (図1 上). この方法では, 機械が異常な制御を行った後に, 人が図 1

上図が従来の自動システムでの, 制御介入による人との協調制御. 下図が認識補助インタフェースで実現する, 認知介入による人との協調制御. 認知情報を人と共有し, 認知段階に介入することで, 介入における時間の余裕が生まれる.

異常を認識し介入動作を行うため, 時間の余裕が少なく, 安全な介入動作が困難である. また, 自動システムの高度化

従来の制御介入に対し, 著者らの研究 [4] では, 機械の認に伴い, 人が自動システムの安全性を過信し監視を怠る現識状態を人と共有し, 認識に人が介入するインタフェース象が問題となっている [3].

を提案した (図 1 下). 自動システムは, 認知・判断・制御の 3 段階で構成されており, 認知段階で得られた情報を元12a)b)c)d)

名古屋大学 情報学研究科
名古屋大学 未来社会創造機構
kuribayashi.atsushi@g.sp.m.is.nagoya-u.ac.jp
et akeuchi@i.nagoya − u.ac.jp
ishiy@acm.org
kazuya.takeda@nagoya-u.ac.jp© 2020 Information Processing Society of Japanに動作を決定するまでの間には時間差が存在する. そこで,人が機械の制御ではなく, 制御に必要な認知情報に介入することで, 介入動作への時間的余裕が生まれる. 更に, 自動システムを保守的に設計し, 人が制御の安全性を補助する

963

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-47
2020/3/9

ために介入するのではなく, 人にとって快適な制御を補助するために介入することで, 過信による重大な事故を防ぐことができる.
本論文では, 人が機械の認識に介入することを可能とするインタフェースを認識補助インタフェースと呼ぶ. 著者
らの先行研究 [4] では自動運転を題材にし, 既存の自動運転システムに認識補助インタフェースを実装し実環境下で検証実験を行った. 検証実験より, 自動運転システムによる歩行者の意図認識に対し, 人が介入することで, 安全かつ不自然に減速・停止することのない快適な自動運転を実現することができることを示した. しかし検証では, 小型移動体を用いて実験を行ったため, より高速で多様な実環境下に

図 2シミュレータ, 認識補助システム, 既存の自動運転システムを組み合わせたシステムの全体図. 自動運転システムは認識・判近い走行環境下で検証を行うことができなかった. 本研究

断・制御の３つのシステムで構成されている. 自動運転の認識

ではこの課題を, シミュレータの走行環境を構築すること

システムはシミュレータからの情報を入力とし, 制御システムで解決する. シミュレータ環境を用いることで, 実際の車両からの情報をシミュレータへ出力する. 認識補助システムは認速度での検証や, 現状の自動運転システムだけでは走行困識システムで得られた情報を入力とし, 判断システムへ情報を難な状況下で認識補助インタフェースの有用性を評価する

出力することで自動運転システムへ統合する.

ことができる.
本論文では, 実環境で得られるセンサ情報と同様の情報大きな課題である. 自律制御に注意を向けていないドライを出力するシミュレータ環境の構築と, 自動運転システムバーに, より安全かつ短い時間で制御を引き継ぐ試みも行と認識補助インタフェースの統合について述べる.

われており,[7] では, 音や視覚的情報などを用いて, 前もっ

2. 関連研究2.1 路肩の歩行者に対する意図推定に対する認識補助イ
ンタフェース
現状の障害物検出では, 適合率と再現率のトレードオフてドライバーに制御の引き継ぎを知らせるだけでなく, 現在の車両の制御状態をドライバーに提示するインタフェー
スを用いることで, 引き継ぎ要求から引き継ぐまでの時間を短縮するとともに, 引き継いだ後の運転の安全性も向上させることができることを示した.

が存在し [5], 実環境下での走行に向けた最適なパラメータ

これらの研究では, 自動運転が継続できない状況においを設計することが非常に困難であるため, 搭乗者が車両制て, ドライバーがいかに安全に車両制御に介入するかに焦御を監視し, 制御に介入し危険を回避することでトレード点を当てている. 既存の車両を改造した, ステアリングとブオフを解消している. 認識補助インタフェースを自動運転

レーキの付いた現状の自動運転車両においては自然なアプシステムに実装し, 実環境下で検証を行った研究 [4] では,ローチである. これに対し本研究では, ドライバーは車両制

車両経路脇の歩行者が車両経路を横断する可能性に対し,御に介入するのでは無く, 周辺環境の認識システムに介入

認識補助インタフェースを用いることで安全かつ歩行者のすることで車両の自律制御を補助することに焦点をあてて手前で不用意に停止することのないスムーズな自動運転がいる.

可能であることを示した.
本研究では, 認識補助インタフェースの適用範囲を, 歩行3. 認識補助インタフェース

者が車両経路を横断するリスクのみでなく, 実環境下に存自動運転システムと認識補助インタフェースのシステム在しうるより多くのリスクにまで広げる. 更に, 既存の自構成を図 2 に示す. 認識補助インタフェースについて, 人動運転システムでは走行が困難な, より複雑な運転状況下が車両経路脇にいる状況を例にした動作図 (図 3) に従ってで, 認識補助インタフェースの有用性を評価する.

説明する.

2.2 自動運転における Human-in-the-Loop

した障害物の位置情報や進行方向, 検出の尤度, ラベルなど

図 2 において, 自動運転の認識システムの出力には, 検出
レベル 3 の自動運転では, 緊急時にドライバーが車両制御を引き継がなければならない. またレベル 4 では，自動が出力される. これらの情報を自動運転の判断システムへ出力するのではなく, 認識補助システムが受け取る.

運転は限られた区間でのみ使用可能であり，それ以外の例えば, 図 3a のように認識システムは路肩の歩行者の検区間ではドライバーに運転制御を引き継がなければなら出位置と, 将来の経路予測を行う. 認識システムが, 路肩のない [6]．特に緊急時は, ドライバーが即座に制御を引き継歩行者が車両経路を横断するだろうと判断した場合は, 図げる状態ではない場合にも, 安全に制御を引き継ぐことが3b のように車両は歩行者の手前で停止する.

© 2020 Information Processing Society of Japan964

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-47
2020/3/9

図 3 自動運転における認識介入の流れ.1. 認識補助インタフェース
は自動運転システムが検出した障害物や不確実なリスクを受

図 4

本研究で用いる走行環境. 予め定義したシナリオに従って, 歩け取る.2. ユーザディスプレイを用いて搭乗者に提示すること行者や車両を指定したタイミングで配置し, 制御することで,で, 認識システムと人とのインタラクションを行う.3. 人が提走行環境を実現する.

示された障害物やリスクが誤りであると判断した場合は, それらの情報を操作する.4. 人の介入操作を認識補助インタフェー
スが反映し, 結果を自動運転システムへ出力することで認識システムへの人の介入を実現する.

やリスク情報に対してのみ, 人の介入を要求することで, 既存の自動運転システムからの安全性の低下を防ぐことができる.

しかし, 路肩の歩行者には車道を横断する意思が無かった場合, 車両は歩行者の手前で不用意に停止してしまう. このように, 認識システムに間違いがあった場合, 考慮すべきでない障害物やリスクに対してまで回避動作を行うなど,3.1 自動運転システム
本研究で用いる自動運転システムは,ROS[8] と, それをもとに構築された Autoware[9] である.

運転の快適性が損なわれる可能性がある. 自動運転システ

Autoware で実現される自動運転システムは認知・判断・ムだけでこれらの情報の取捨選択を行うことは非常に困難

制御の３つのシステムで構成される. 認識システムでは, 地なため, これらの情報をユーザインタフェースへ出力し, 人図上における車両の位置や, センサ情報から周辺の障害物をと情報の共有を行う.(図 3c) ユーザインタフェースでは, 共認識する. 本研究ではこれらの情報はシミュレータから得ら有した検出情報やリスク情報を, 人が操作可能な状態にし,れる情報を用いる. 判断システムでは, 認識システムで得ら人が自動運転システムの認識状態への介入を促す. 人が介れた情報から回避経路や速度を計算し, 予め設定された走行入した場合は, 操作情報に従い検出情報やリスク情報を更経路に沿うように新たな経路情報を生成する. 本研究では,新する.

実環境下での自動運転試験の実績がある OpenPlanner[10]更新した情報を自動運転の判断システムへ出力することを用いて経路計画を行う. 制御システムは,Autoware からで, 認識システムの間違いを人が訂正し, 訂正された正し生成される速度・角速度の情報に従って, 車両のアクセル・い情報を元に自動運転システムは経路を決定することがでステアリング制御を行う.

きる. 図 3d では, 搭乗者に路肩の歩行者が車両経路を横断するかどうかを判断させた上で, 安全に歩行者の脇を通過する.

4. シミュレータ環境の構築
本研究で用いるシミュレータ環境は,CARLA[11] を用い認識システムにリスクの取りこぼしがあった際に, 人がる. CARLA は実環境下での走行条件を模したオープン介入動作を行わなければ大きな事故に至る可能性がある.

ソースの運転シミュレータである. CARLA から出力されそこで, 人が安全な自動運転のために介入するのではなく,る情報は, 自車両の速度, カメラ映像,LiDAR センサ,GNSS認識システムを保守的に設計し, 運転の快適性を補助する位置情報など, 既存の自動運転システムで必要とされるセために介入することで, 介入動作を行わない場合も車両のンサ情報がある. 従って,CARLA を実車両を含めた様々な安全を確保することができる.

プラットフォームへシームレスに切り替えることが可能でまた, 人が誤って障害物を経路上から除去してしまう問題に対しては, 認識システムにとって確信度の低い障害物© 2020 Information Processing Society of Japanある. 更に,CARLA からは環境下に存在する障害物の位置情報など, センサ情報だけでは得られない情報がある.

965

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-47
2020/3/9

図 6 CARLA 内で認識補助インタフェースを用いる際の, ユーザインタフェースの映像. 自車両の経路や, 認識した障害物情報, 不確実なリスクを可視化し, 自動運転システムの認識を人と共有している. 人が表示された障害物情報等をタッチ操作で動かすことで, 認識への介入を行う.

によって走行評価を行う.

図 5

本研究で用いる実験環境. 正面のディスプレイはシミュレータ

5. デモンストレーションの説明

環境を被験者に提示するための車両の前方映像, 左右のディスデモンストレーションでは会場に上記と同様の実験環境

プレイは車両側方映像を映し出す. 手前のタッチディスプレイを設置する. 来場者は座席に座り, シミュレータ環境下にを認識介入時の被験者とのインタラクションに用いる. 被験者の足元に設置するブレーキ・アクセルペダルで, 認識介入との比較として制御介入時に車両の速度制御を行う.

構築したシナリオ内で走行する自動運転車両に対して, ブレーキ・アクセルペダルも用いて制御介入を行った後, 同様のシナリオで認識補助インタフェースを用いた認識介入

本研究では,CARLA 環境下で Autoware による自律走行を体験する.

を実現するため,GNSS 情報を用いて車両の現在位置を測定

6. まとめする. 周辺の障害物情報はセンサ情報から計算するのではなく,CARLA から得られる位置情報を用いる.

本研究では，現状の自動運転システムの問題点を挙げ，走行環境は CARLA から提供されている既存のアセット

その解決方法として自動運転システムの認識の段階で搭を使用して構築する. 実際の走行環境を図 6 に示す. 環境下乗者が介入する認識補助インタフェースを提案し，既存のでは建物を設置する他, 信号, 歩行者, 自転車, バイク, 自動自動運転システムに実装した. 既存研究では, 歩行者が車車の振る舞いを個別に制御することができる.

両経路を横断する不確実なリスクに対し, 認識補助インタ

図 6 に,CARLA から得られる障害物情報を用いて認識補フェースを用いることで安全かつ自然な走行を行うことが助インタフェースを実装した際の, インタラクション用ディできると示された. 本研究では, 認識の対象を広げ, 既存のスプレイに表示する映像を示す. 認識補助インタフェース

自動運転システムでは走行が困難な環境下で認識補助イン

では得られた障害物情報に対して, 障害物が車両の到達時タフェースを検証するため, シミュレータ環境を構築し, 実間内に動き得る範囲を不確実なリスクとして自動運転シス

験検証を行う.

テムに認識させることで, 保守的な運転を行わせると共に,ディスプレイにも表示して人と認識情報の共有を行う.

デモンストレーションでは, 使用を予定している実験環境を用意し, 被験者に制御移入と認識介入を行わせる.

実験環境を図 5 に示す. 被験者にシミュレータ環境の情報提示を行うための, 自車両の前方・側方映像用ディスプ

参考文献

レイを設置し, その手前に認識介入時に被験者と自動運転[1]システムのインタラクションを行うタッチディスプレイを[2]設置する. 足元には認識介入との比較として制御介入を行う際のアクセル・ブレーキペダルを設置する.
シミュレータ内の障害物を制御することで走行シナリオを定義し, 自車両と障害物の衝突回数と, コースの走破時間© 2020 Information Processing Society of Japan[3]

稲垣敏之, “自動運転における人と機械の協調,” IATSS
Review, vol. 40, no. 2, p. 49, 2015.
S. Levin and J. C. Wong, “Self-driving uber kills arizona woman in first fatal crash involving pedestrian,”
The Guardian, 2018.
伊藤誠, “負荷軽減のための運転支援システムに対する過信をもたらす要因の探究,” 計測自動制御学会論文集,
vol. 45, no. 11, pp. 555–561, 2009.

966情報処理学会 インタラクション 2020
IPSJ Interaction 2020

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

3B-47
2020/3/9

A. C. Atsushi Kuribayashi, Eijiro Takeuchi andK. Takeda, “Recognition assistance interface for autonomous vehicles,” in Proceedings of the 5th International Symposium on Future Active Safety Technology
toward Zero Accidents (FAST-zero ’19), 2018.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi,“You only look once: Unified, real-time object detection,” in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779–788, 2016.
S. O.-R. A. V. S. Committee et al., “Taxonomy and definitions for terms related to on-road motor vehicle automated driving systems,” SAE International, 2014.
C. Olaverri-Monreal, S. Kumar, and A. Dı̀az-Àlvarez,“Automated driving: Interactive automation control system to enhance situational awareness in conditional automation,” in 2018 IEEE Intelligent Vehicles Symposium (IV), pp. 1698–1703, IEEE, 2018.
M. Quigley, K. Conley, B. Gerkey, J. Faust, T. Foote,
J. Leibs, R. Wheeler, and A. Y. Ng, “Ros: an opensource robot operating system,” in ICRA workshop on
open source software, vol. 3, p. 5, Kobe, Japan, 2009.
S. Kato, E. Takeuchi, Y. Ishiguro, Y. Ninomiya,K. Takeda, and T. Hamada, “An open approach to autonomous vehicles,” IEEE Micro, vol. 35, no. 6, pp. 60–68, 2015.
H. Darweesh, E. Takeuchi, K. Takeda, Y. Ninomiya,
A. Sujiwo, L. Y. Morales, N. Akai, T. Tomizawa, ,and S. Kato, “Open source integrated planner for autonomous navigation in highly dynamic environments,”
Journal of Robotics and Mechatronics, vol. 29, no. 4,pp. 668–684, 2017.
A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, andV. Koltun, “CARLA: An open urban driving simulator,”in Proceedings of the 1st Annual Conference on RobotLearning, pp. 1–16, 2017.

© 2020 Information Processing Society of Japan967