招待講演

人と自動走行システムが織りなす光と影の交錯模様－課題解決へ向けたデザインの視点－
筑波大学副学長・理事稲垣敏之－1－交通安全環境研究所講演会
国際連合大学 ウ・タント国際会議場
２０１５年７月３日

人と自動走行システムが織り成す
光と影の交錯模様ー 課題解決へ向けたデザインの視点 ー
国立大学法人筑波大学

稲垣 敏之
inagaki.toshiyuki.gb@u.tsukuba.ac.jp
http://www.css.risk.tsukuba.ac.jp

航空機における自動化の進展
1900年代初頭は、操縦の困難さをパイロットの練度で克服• パイロットの負担が大• ヒューマンエラーが入り込む余地
解決策のひとつは、人が担当している機能の自動化

操縦操作の自動化だけでなく、飛行管理（機体重量や気象条件に合った離陸速度・上昇速度・巡航高度・降下開始点等の決定）も自動化• 長距離路線を担当しているパイロットの年間飛行時間が800-900 時間とすると、そのパイロットが自ら操縦を担当しているのは、3時間程度（稲垣 2012）－3－今、航空機はどこまで自動化されているか• 自動化できていないのは離陸フェーズだけ

自動化の進展は安全性の向上に貢献
離陸100万回あたりの全損事故件数(1959-2014) を見ると・・・

1950年代： 40便以上
2000年代： 1便未満

(Boeing 2014)－4－監視制御
(b)
(a)

計画教示

監視学習

介入

(c)

人間機械系における人の位置づけの変化‒ 操作者から管理者へ‒ 「予期し得なかった状況」への対処 （設計の補完）

高信頼な複雑システムの監視制御は過酷なタスク‒ 稀事象の発生に備えての監視は単調で退屈‒ 異常事態に陥った場合には、不十分な時間と情報のもとで誤りない決定と対応が求められる（稲垣 2012）

高い知能と自律性を備えた機械がもたらす光と影• 賢い機械

状況認識の喪失
機械への過信と不信の交錯
オートメーションサプライズ– 状況センシング– 状況理解– 何をなすべきかを決定し，実行

状況認識の３つのレベル
レベル１： 何かが起こっていることに気づく
レベル２： その原因を特定できるレベル３： これからの事態の推移が予測できる（稲垣 2012）－5－

１．多機能インタフェースによるエラーの誘発
TRK

ALT
TRK

LVL / CH

FPA

FPA

100

AP11000

UP

AP2DN
A/THR

LOC

ALT

TRK
HDG

APPR

EXPED

LVL / CH

V/S

V/S

100

AP11000

UP

AP2DN

LOC

A/THR

APPR

EXPED

HDG-V/S / TRK-FPA
モード切替
プッシュボタン(稲垣 2012)

２．人と機械の「意図の対立」
異なる意図のもとで制御された水平安定版と昇降舵

水平安定板
コンピュータの意図＝上昇（水平安定板を前傾）

昇降舵
パイロットの意図＝降下（昇降舵を後傾）

たがいに妨害(稲垣 2012)－6－

３．自動化システムへの過信と不信の交錯： GPWS
Terrain,Terrain

Whoop, Whoop,
Pull up!

過信不信

GPWS 非装備

警報なし

CFIT
警報の遅れ，乗員の不適切な対応(Controlled Flight
Into Terrain)
事故

４．自動化システムによる「異常の隠蔽」
強力な制御能力を持ちながらも寡黙な自動化システム

万事順調

自動化システム

情報バリア

制御対象
（異常）
コマンド

(稲垣 2012)－7－

５．高機能システムのわかりにくさ•

複数の自動化システム間で多様な相互作用•

それぞれの自動化システム自体が複雑な動的システム•

自動化システム動作状況の情報フィードバックが欠落

何が起きているのだ？

AをやるならBも必要だな

情報バリア
制御対象

タスク A + B

オートメーション
サプライズ

タスク B++

タスクAを指令(稲垣 2012)

高度自動化における「人の周辺化」(Billings 1997)－8－

グラスコクピット機におけるヒューマンファクター課題
1.

自動化システムの機能や論理が分かりにくい（状況認識の喪失、オートメーションサプライズ、教育訓練の長時間化）

2.

自動化システムの作動状態が分かりにくい（状況認識やモード認識の喪失、等： 不十分なHMI設計も一因）

3.

自動化システムの使用により、本来低いワークロードがさらに低減（退屈、危機感の喪失）

4.

自動化システムの使用により、本来高いワークロードがさらに増大（無理な決定や行動、及びそれに伴うヒューマンエラーの誘発）

5.

自動化システムを使うべきであるのに、使おうとしない（不信、規則違反）

6.

自動化システムを使ってはいけないときに、使おうとする（過信、過度の依存、規則違反）

7.

自動化システムを使用し続ける間に技量の低下が起こる？
（アップセットリカバリ能力の低下・欠如？）

自動化はパイロットの技量を低下させる？
• スキポールで、トルコ航空 1951 便が墜落 （2009.02）• ブラジル沖大西洋上で、エールフランス 447 便が墜落 （2009.06）• サンフランシスコで、アシアナ航空 214 便が着陸失敗 （2013.07）－9－

人間中心の自動化： 航空分野
人間は運航安全に最終責任を負う．
したがって： 人間は指揮権を持たねばならない．
そのためには：（１） 人間は決定に直接関与していなければならない．
（２） 人間には情報が適正に提供されなければならない．
（３） 自動化システムの様子を人間がモニタできるようになっていなければならない．
（４） 自動化システムも人間をモニタできるようになっていなければならない．
（５） 自動化システムの行動は人間にとって予測可能なものでなければならない．
（６） 人間と自動化システムはたがいに相手の意図を知ることができなければならない．
(Billings 1997)

権限と責任： 道路交通に関するウィーン協定
第8条（運転者）
１ あらゆる走行中の車両か連結車両には、運転者がいなければならない。
５ 運転者は、いついかなるときも、車両を制御できなければならない。
第13条（速度と車両間の距離）
１ 車両の運転者は、正当な注意義務を適正に行使でき、いかなる操作であっても、必要なものはいつでも実行できるよう、つねに車両を制御できていなければならない。

－10－

自動運転における「ドライバー」の位置づけは・・・

Photo: Google

・・・・・「タクシーの乗客」のように、何をしていてもよいのか？
システムを監視する責任を負っているのか？
いざというときには自動運転への介入が求められるのか？
運転免許は必要か？
従来の運転免許でよいのか？

情報処理過程で生じるさまざまな失敗

知覚• 見落としや聞き落とし• 能力の限界のため見えない、聞こえない• 実体のないものが見える、聞こえる

認知判断

操作

• 情報の意味が理解できない（知識ベースミステイク）• 不適切な行為を選択（知識• 意図しない行為による置換（スリップ）• 過去の経験を誤用（ルールベースミステイク)

ベースミステイク、ルールベースミステイク）• 不適切な不作
為（リスクの過小評価）• 手順の一部の欠落や失念（ラプス）• 行為実行不能（能力の限界）（稲垣 2012）－11－

人の情報処理を支援する
知覚

状況理解

行為選択

行為実行注意喚起（注意すべきものを教示）

警報提示（特定の行為の実行を指示）

制御介入（行為の欠落や遅れ検出時）（例）
見えにくいものを見えやすいように（可視化）

高度な技術を駆使したドライバへの運転支援が想定・期待したとおりの効果をもたらしてほしい・・・
その鍵を握るのが HMI のデザイン
Human-Machine InterfaceHuman-Machine Interaction（稲垣 2012）

人と機械の共生に必要な２種類の HMI（１） Human Machine Interface
人が機械を知る
機械への信頼の適正化 （過信・不信の防止）– 機械と状況認識を共有できる手がかり– 機械の判断の根拠が分かる手がかり– 機械の意図が分かる手がかり– 機械の能力限界を知る手がかり– 機械の作動状態が分かる手がかり（Inagaki 2006, 2008; 稲垣 2012)－12－人と機械の共生に必要な２種類の HMI（２） Human-Machine Interaction– 人と機械の役割分担の動的な側面– 人と機械が権限と責任をどのように共有し、どのようなときに権限を一方から他方へ委譲するか– 機械がその判断をしてもよいか、人でなければならないか
機械が人を知る
人の心身状態や環境条件に応じて人への支援形態を変える（Inagaki 2003; 稲垣 2012)

自動運転レベル
レベル1（特定機能の自動化）
車両に搭載されているひとつ又は複数のシステムは、たがいに独立に動作し、それぞれが車両制御に必要な機能のひとつ又は複数を担当。
安全運行の責任はドライバーが負う。

レベル2（複合機能の自動化）
車両に搭載されている複数のシステムは、たがいに協調しながら車両制御に必要な複数の機能を担当。安全運行の責任はドライバーが負う。

レベル3（半自動運転）
特定の交通環境下において、システムが車両制御と周辺監視を担当。
ドライバーには周辺監視の義務はない。システム機能限界の場合は、システムの要請に基づき、ドライバーが車両制御を担当。

レベル4（完全自動運転）
目的地までの全行程において、システムが車両制御と周辺監視を担当。
（NHTSA 2013）－13－

レベル１の自動運転車両に搭載されているひとつ又は複数のシステムはたがいに独立に動作し、それぞれが車両制御に必要な機能のひとつ又は複数を担当。安全運行の責任はドライバが負う。
・・・ 現在の運転支援システム

ACC ： 縦方向制御
ドライバ： LKA を使いつつ横方向制御

レベル２の自動運転
車両に搭載されている複数のシステムは、たがいに協調しながら車両制御に必要な複数の機能を担当。安全運行の責任はドライバが負う。
・・・ 近未来の高度運転支援システムシステム： ACC、LCS、ESC 等を駆使しながら車両を制御
ドライバ： システムを監視。
必要に応じて制御に介入システムの動作原理や能力限界の理解が必要－14－

レベル２の自動運転は、航空機の自動化と同等

パイロットは安全運行の責任を負い、周辺監視とシステム監視の役割を担うシステムの機能や動作原理などに関する教育、使用法に関する定期的訓練を受ける

監視制御が導入されるようになった背景• 技術の進歩につれて機械の故障が少なくなる– 人のエラーが目立つ– 人を自動化システムで代替し、信頼性・効率を高めたい• システムにおける人の重要性が増大– 「予期し得なかった状況」への対処 （設計の補完）– 管理者としての能力が求められる排除しようとした人間に、頼らざるを得ない自動化の皮肉(Bainbridge 1987)－15－

人にも機械にも、その能力には限界がある
機械に見えるもの

機械には見えないもの

人に見えるもの①②

人には見えないもの③④（稲垣 2012）①

人が見ているもの

機械が見ているもの

BACC はA車を追従しているはずだから、まもなく減速するだろう

ACC は、なぜ今加速するのだ？

A
オートメーション
サプライズ

実は、ACC が見ているのは B車－16－（Inagaki 2010; 稲垣 2012)①

人が見ているもの

機械が見ているもの

両者で「ものの考え方」が違うと、オートメーション・サプライズ

制動で衝突回避しよう

操舵で衝突回避しよう（Inagaki 2010; 稲垣 2012)②

機械の能力限界が分からないと・・・

割込もうとしている車がいるぞ。
ACC はそろそろ減速するかな。

ACC はなぜ減速しないのだ？

オートメーション
サプライズ

実は、ACC には
Why does ACC
割込み車はaccelerate now?
見えない（Inagaki 2010; 稲垣 2012)
－17－

②

システムは作動しているものと思っていたが・・・
高速域 ACCなら先行車ロストでも制御継続• 作動状態（オン／オフ）を誤解• 作動モードを誤解（モードコンフュージョン）
低速域ACCなら先行車ロスト時に制御解除③

提供された情報は真？ それとも偽？
ー 「見えないもの」に対する支援の難しさ ‐右から車が来ます！

（Inagaki 2010; 稲垣 2012)
－18－

③

どの車に「気をつけよ」と言っている？
ー 支援情報の対象は分かるか ー

今、眼の前を通り過ぎていく車？
それとも・・・

ケース１③（Inagaki 2010; 稲垣 2012)

どの車に「気をつけよ」と言っている？
ー 支援情報の対象は分かるか ー

今、眼の前を通り過ぎていく車？
それとも・・・

ケース２（Inagaki 2010; 稲垣 2012)
－19－

③

支援情報の真偽を自分で確かめるすべがない
ー ふつうは支援を信じるだろうが・・・ ‐情報が出てからしばらく経つが、なかなか来ないな

ケース３

③

（Inagaki 2010; 稲垣 2012)

支援情報の真偽を自分で確かめるすべがないー 誤報を経験したことがあると ‐前回は誤報だった。
ひょっとして今回も・・・
発進しよう！

ケース４（Inagaki 2010; 稲垣 2012)
－20－

③

警報の根拠を提示したことによる成功事例
ー Enhanced GPWS ー(Bresley & Egilsrud 1997; 稲垣 2012)

レベル３の自動運転
特定の交通環境下において、システムが車両制御と周辺監視を担当。ドライバには周辺監視の義務はない。システム機能限界の場合は、システムの要請に基づき、ドライバが車両を制御。

運転しておらず、監視もしていない

運転していないが、監視はしている－21－

レベル３の自動運転
特定の交通環境下において、システムが車両制御と周辺監視を担当。ドライバには周辺監視の義務はない。システム機能限界の場合は、システムの要請に基づき、ドライバが車両を制御。
10秒後に自動モードを解除します。
制御を引き継いでください

制御権をシステムから人へ円滑・安全に移したいのだが・・・

権限委譲(1) 誰から誰への権限委譲？
時刻 １

人が担当
人が担当

機械が担当
機械が担当

人から機械へ人から機械への権限委譲

時刻 ２

機械から人への権限委譲

機械から人へ時刻 ３(2) 権限委譲を決定・実行するのは誰？
-人- 機械
要注意（Inagaki 2003; Inagaki & Sheridan 2012; 稲垣 2012)－22－人の判断による権限委譲（例） 離陸時は人間が操縦。
機体が安定すると、コンピュータに操縦を委任。
必要に応じてオートパイロットを解除して、人が操縦。
（例） ACC で走行中、割込みの気配を示す車に気づく。いったん ACC を解除し、割込み車との間隔を適切にした後、再び ACC をエンゲージ。

機械の判断に基づく権限委譲
AEBS

ATS-P

列車
速度

パターンの速度を越えると自動的にブレーキ動作

地上装置
いずれの例も｢いずれの例も｢人間中心の自動化」の枠を超えている－23－

機械の判断による権限委譲のデザインには要注意（例）人の状態やワークロード、あるいは人の作業成績をモニタし、それらが適切なものでないとき、人と機械の役割分担を変更しばらく前からステアリングがほとんど動いていないな・・・・・・・・・・

ACC と LKS を使用して走行（Inagaki 2003; 稲垣 2012)

エールフランス447便（A330-200）墜落
高高度を飛行中に対気速度に矛盾が生じ、オートパイロット解除。
その後のパイロットの操作が不適切であったため異常姿勢に陥り、墜落。

－24－

自動化レベル (LOA)(Sheridan 1992; Inagaki et at. 1998)

航空機衝突防止システム TCAS

Climb, Climb

TCAS

回避アドバイザリ
(RA)
(4)

脅威機

コンピュ‐タは可能な選択肢のうちからひとつを選び，それを人間に提示．それを実行するか否かは人間が決定．

－25－

Auto descent in cabin pressure emergency
Should the aircraft’s monitoring system
detect and unsafe cabin pressure, itwould warn the crew via the PFD andbegin a countdown.
If the crew did not act to cancel thewarning or take positive control of theaircraft, the A350 would perform aside-step maneuvre …
The aircraft would also be put into a
rapid descent …
(Flight International, 18-24 Aug 2009)(6)

コンピュ‐タはひとつの案を人間に提示．
人間が一定時間以内に実行中止を指令しない限り，
コンピュ‐タはその案を実行．

車線逸脱防止システム
クルマが車線を逸脱しそうになると，警報と表示でドライバーに知らせ，それと同時にステアリングを修正するトルクを発生する(6.5)

コンピュ‐タはひとつの案を人間に提示すると同時に，その案を実行．

－26－

衝突被害軽減ブレーキ
ドライバーが対応しないときは自動的にブレーキをかけて衝突速度を低減

第１段の動作 ・・・ 弱いブレーキと音による警報(6)

コンピュ‐タはひとつの案を人間に提示．人間が一定時間以内に実行中止を指令しない限り，コンピュ‐タはその案を実行．

第２段の動作 ・・・ 強いブレーキとシートベルトの巻上げ(6.5)

コンピュ‐タはひとつの案を人間に提示すると同時に，その案を実行．

Thrust Asymmetry Compensation - TAC③②①① 第2エンジン（右主翼側）故障② 左右エンジンの推力不均衡により機首が右に振れようとする③ TACが方向舵を制御して機首を左に向ける力を作り出して②の力を打消し，機首の振れを抑制③(7)

コンピュ‐タがすべてを行い，何を実行したか人間に報告．

－27－

レベル３の自動運転における制御の引き継ぎの実現
特定の交通環境下において、システムが車両制御と周辺監視を担当。ドライバには周辺監視の義務はない。システム機能限界の場合は、システムの要請に基づき、ドライバーが車両を制御。
10秒後に自動モードを解除します。
制御を引き継いでください

制御権をシステムから人へ円滑・安全に移したい

レベル３の自動運転中にシステムの機能限界発生
1. 「10秒後にシステム機能限界の発生が予測されます」と注意喚起
2. 「10秒後にシステム機能限界の発生が予測されます。今、自動モードを解除してよろしいですか？」と提案
3. 「10秒後にシステム機能限界の発生が予測されます。その時点で自動モードを解除します」と宣言
運転しておらず、監視もしていない

4. 「自動モードを解除しました」と事後報告
5. 自動モードを解除しても何も知らせない－28－

各メッセージに対応する自動化レベル
1. 「10秒後にシステム機能限界の発生が予測されます」と注意喚起（LOA=4）
2. 「10秒後にシステム機能限界の発生が予測されます。今、自動モードを解除してよろしいですか？」と提案（LOA=5）
3. 「10秒後にシステム機能限界の発生が予測されます。その時点で自動モードを解除します」と宣言（LOA=6）
4. 「自動モードを解除しました」と事後報告（LOA=7）
運転していないし監視もしていない

5. 自動モードを解除しても何も知らせない（LOA=9）

レベル４の自動運転
目的地までの全行程において、システムが車両制御と周辺監視を担当。
・ 有人運転ではあるが、「ドライバ」が乗らない車（ロボットタクシー）・ ウィーン協定（ジュネーブ協定）に整合するか？
・ 管制機能を仮定しなくても実現できるのか？

－29－

状況に応じてさまざまなレベルの自動運転を使い分けられるクルマを作るなら•現在の自動運転のレベルを明確に表示する HMI が必須－ 「レベル３の自動運転と思っていたのに、レベル２の自動運転だったなんて・・・」などというモードコンフュージョンが起こらないように•

自動運転のレベルは、どのように表示する？
－ 「レベル２」、「レベル３」などとする？
－ 「Partial automation」、「Conditional automation」？
－ ドライバーが、自動運転のレベルの定義を正しく理解し、記憶しているという状況は期待できないが・・・

監視制御を楽しいものに変える HMI は作れるか？
••

つぎのような手がかりを与える HMI があったなら・・・–

機械と状況認識を共有できる手がかり–

機械の判断の根拠が分かる手がかり–

機械の意図が分かる手がかり–

機械の能力限界を知る手がかり–

機械の作動状態が分かる手がかり

ドライブを続ける中で、機械のことが自然に分かるようになる・・・–

不適切な信頼（不信／過信）の低減–

不適切な依存（過度の依存）の低減–

モード認識喪失やオートメーションサプライズの低減－30－参考文献
稲垣 (2012). 人と機械の共生のデザイン, 森北出版.
Bainbridge, L. (1983). Ironies of automation, Automatica, 19(3), 775-779.
Billings, C. E. (1997). Aviation Automation – The Search for a Human-CenteredAutomation. Lawrence Erlbaum Associates.
Boeing (2014). Statistical Summary of Commercial Jet Airplane Accidents –Worldwide Operations 1959-2013.
FAA (1995). Controlled Flight Into Terrain Education and Training Aid.
Helmer, T., et al. (2012). Highly-automated driving – State of the art and futurechallenges, Proc. International Task Force on Vehicle-Highway Automation, 21
October 2012.
Inagaki, T. (2003). Adaptive automation: Sharing and trading of control. In E.
Hollnagel (Ed.), Handbook of Cognitive Task Design, Chapter 8 (pp. 147-169),
Lawrence Erlbaum Associates.
Inagaki, T. (2006). Design of human-machine interactions in light of domaindependence of human-centered automation, Cognition Technology & Work, 8(3),161-167.

Inagaki, T. et al. (1998). Trust self-confidence and authority in humanmachine systems. Proc. IFAC Man-Machine Systems, 431-436.

参考文献 （続き）
Inagaki, T. et al. (2007). Support by warning or by action: Which isappropriate under mismatches between driver intent and trafficconditions?. IEICE Trans. Fundamentals, E90-A(11), pp. 264-272.
Inagaki, T. et al. (2008). Driver support functions under resource-limited
situations. J. Mechanical Systems for Transportation and Logistics, 1(2),213-222.
Inagaki, T. & Sheridan, T. (2012). Authority and responsibility in humanmachine systems: Probability theoretic validation of machine-initiatedtrading of authority. Cognition Technology & Work, 14(1), 29-37.
NHTSA (2013). Preliminary Statement of Policy Concerning AutomatedVehicles.
Parasuraman, R. et al. (2000). A model for types and levels of humaninteraction with automation. IEEE Trans. Systems, Man, and Cybernetics,
30(3), 286-297.
Sheridan, T.B. (1992). Telerobotics, automation, and human supervisory
control. MIT Press.

－31－