ＪＲ東日本技術企業の会
２０１７年度定時総会・講演会
２０１７年４月１１日

システムの自動化における人間の役割
筑波大学副学長・理事
稲垣 敏之
inagaki.toshiyuki.gb@u.tsukuba.ac.jp
http://www.css.risk.tsukuba.ac.jp

航空機における自動化の進展
1900年代初頭は、操縦の困難さをパイロットの練度で克服• パイロットの負担が大• ヒューマンエラーが入り込む余地
解決策のひとつは、人が担当している機能の自動化

操縦操作の自動化だけでなく、飛行管理（機体重量や気象条件に合った離陸速度・上昇速度・巡航高度・降下開始点等の決定）も自動化• 長距離路線を担当しているパイロットの年間飛行時間が800-900 時間とすると、そのパイロットが自ら操縦を担当しているのは、3時間程度・・・ 自動化できていないのは離陸フェーズだけ（稲垣 2012）

高い知能と自律性を備えた機械がもたらす光と影（１）離陸100万回あたりの全損事故件数

1950年代： 40便以上
2000年代： 1便未満

(Boeing 2016)

高い知能と自律性を備えた機械がもたらす光と影（２）• 賢い機械
– 状況センシング– 状況理解– 何をなすべきかを決定し，実行

状況認識の喪失
機械への過信と不信の交錯
オートメーションサプライズ

状況認識の３つのレベル
レベル１： 何かが起こっていることに気づく
レベル２： その原因を特定できる
レベル３： これからの事態の推移が予測できる（稲垣 2012）

グラスコクピット機におけるヒューマンファクター課題
1. 自動化システムの機能や論理が分かりにくい（状況認識の喪失、オートメーションサプライズ、教育訓練の長時間化）
2. 自動化システムの作動状態が分かりにくい（状況認識やモード認識の喪失、等： 不十分なHMI設計も一因）
3. 自動化システムの使用により、本来低いワークロードがさらに低減（退屈、危機感の喪失）
4. 自動化システムの使用により、本来高いワークロードがさらに増大（無理な決定や行動、及びそれに伴うヒューマンエラーの誘発）
5.

自動化システムを使うべきであるのに、使おうとしない（不信、規則違反）

6.

自動化システムを使ってはいけないときに、使おうとする（過信、過度の依存、規則違反）

7.

自動化システムを使用し続ける間に技量の低下が起こる？
（アップセットリカバリ能力の低下・欠如？）

自動化はパイロットの技量を低下させる？
• スキポールで、トルコ航空 1951 便が墜落 （2009.02）• ブラジル沖大西洋上で、エールフランス 447 便が墜落 （2009.06）• サンフランシスコで、アシアナ航空 214 便が着陸失敗 （2013.07）

エールフランス447便（A330-200）墜落 （2009.06）
高高度を飛行中に対気速度に矛盾が生じ、オートパイロット解除。
その後のパイロットの操作が不適切であったため異常姿勢に陥り、墜落。

(BEA 2011)エールフランス447便墜落： 問題提起
【訓練のありかたとシミュレータの改良】• 低高度での失速に対する訓練は行われていたが、高高度での訓練は行われていなかった• 制御則がノーマルモードの場合の訓練は行われていたが、オルタネートモード（不適切操作に対するプロテクション機能なし）のもとでの訓練は行われていなかった• 訓練は既知のシナリオのもとで行われていただけであり、精神的な動揺や反射的な操縦がどのような弊害をもたらすかは体験させていなかった【もっと手動操縦の機会を】• 高高度でのマニュアルフライト訓練は行われていなかった

自動化は状況認識を難しくする？
 人と制御対象の間に多種多様の自動化システムが介在
 自動化システムの制御論理が複雑
 様々なシステム間で相互作用(Billings 1997)

機械への過信はリスクを過小評価させる？

なぜオートパイロットがこんなことをするのか私にはわからない。
でも、オートパイロットはわかったうえでやっているはずだよね。

（FAA 1995)

ひとくちに「自動運転」といっても、その形態は多種多様

Photo: BMW

Photo: Volvo

Photo: Zoox

自動運転レベル (Levels of Driving Automation)
ドライバーは動的運転タスクの一部を担当 （走行環境監視はドライバーの役目）

1

DriverAssistance

システムは縦方向制御／横方向制御のいずれか一方を担当。
ドライバーは動的運転タスクの残余分すべてを担当。

2

Partial DrivingAutomation

システムは縦方向制御と横方向制御の両方を担当。
ドライバーは動的運転タスクの残余分すべてを担当。

システムは動的運転タスクのすべてを担当

Conditional
Driving
Automation

システムは動的運転タスクのすべてを担当。ユーザーに運転交代を求めたいときは、時間余裕をもってユーザーに要請。
ユーザーは、システムの要請に適切に対応すること。

4

High Driving
Automation

システムは動的運転タスクのすべてを担当。システム／車両の故障や想定作動環境からの逸脱等が発生しても、システムはユーザーの手助けを求めることなく適切に対応。

5

Full Driving
Automation

あらゆる道路条件、走行環境条件下で、システムは動的運転タスクのすべてを担当。

3(SAE 2016)

レベル２の自動運転 (Partial Driving Automation)
システム： 縦方向制御と横方向制御の両方を担当。
ドライバー： 走行環境監視を含め、動的運転タスク残余分を担当。
【監視制御 （supervisory control）】
 人が何をなすべきかを決め、システムに指示 システムは、人の指示に沿って制御を実行
 人は、システムによる制御が適切かどうかを継続的に監視。
場合に応じて適時に介入
Photo: BMW

システムの動作原理、能力限界、サブシステム間の相互干渉等に関する正確な理解が必要

Human-Machine Interface(HMI) のデザインが鍵になる

システムのしくみや動作原理を知らないと・・・ LCS (Lane Centering System) が交差点で車線を見失い、対向車線へはみ出し
 ＬＣＳがレーンマーカーを追跡することを知っておれば、リスクに気づいたはずシステムの能力限界が把握できないと・・・
過信
割込んでくる車がいるぞ。

オートメーション
サプライズ

ACC はそろそろ減速するはずだが・・・

不信

実は、ACC には割込み車は見えないなぜ減速しない?!

（Inagaki 2010; 稲垣 2012)レベル２の自動運転は航空機の自動化と同等

パイロットは安全運航の責を負い、システム状態と飛行環境を監視定期的なシステム機能・原理等の教育、使用法の訓練を受ける
クルマの自動運転のための教育・訓練や免許制度は？

レベル３の自動運転 (Conditional Driving Automation)
システム： 走行環境の監視を含め、すべての動的運転タスクを担当。ユーザーに運転交代を求めたいときは、時間余裕をもってユーザーに要請。
ユーザー： システムの要請に適切に対応すること。
 ユーザーは結果予見、結果回避の義務から解放されているのか？
 過失責任を問われることもあるのか？
 システムの要請に適切に対応するよう人に求めるのは妥当か？
Photo: Volvo 「いつでも運転交代要請に対応できるように」と言われていて仕事に集中／リラックスできる？
 何のための自動化？

運転主体の交代： 権限委譲（trading of authority）（１）誰から誰への権限委譲？
（２）権限委譲の要否と実行タイミングを決定・実行するのは誰？
機械に割当てられたタスク
時刻１

人に割当てられたタスク

縦方向制御

横方向制御
機械から人への権限委譲

時刻２人から機械への権限委譲

時刻３

縦方向制御

縦方向制御

横方向制御

横方向制御

（Inagaki 2003; Inagaki & Sheridan 2012; 稲垣 2012)

機械の判断による、機械から人への権限委譲
ユーザー： 運転操作は行わず、走行環境の監視もしていない。
システムがユーザーに運転交代を求めたとき、瞬時に状況を見極め、制御を引継がねばならない。
10秒後に自動走行モードを解除します。
運転を交代してください

120 km/h なら 333 m
60 km/h なら 167 m

システムから人へ権限を円滑・安全に移行させたい自動化レベル (Levels of Automation: LOA)

(Sheridan 1992; Inagaki et at. 1998)

機械から人への権限委譲を行いたいときのメッセージは？
基本形：「10秒以内に運転を交代してください」

代替案 ・・・ 自動化レベル（LOA）を参考に考案
LOA=5「運転を交代してください。運転が引継がれたことが確認でき次第、自動走行モードを解除します」

LOA=6「10秒以内に運転を交代してください。交代できない／交代したくない場合は拒否権を発動してください」

LOA=6.5 「直ちに運転を交代してください。今、まさに自動走行モードを解除しようとしているところです」
LOA=7「直ちに運転を交代してください。
今、自動走行モードを解除したところです」

リスクを最小にする運転交代要請メッセージ「運転を交代してください。運転が引継がれたことが確認でき次第、自動走行モードを解除します」 （LOA=5）10秒経過後も、ユーザーが運転していることを確認できないシステムは「権限委譲は不可能」と判断し、自身の機能範囲内で車両停止へ向けて制御を実行
上記形態は、「レベル３の自動運転」の範疇の外
レベル３の自動運転は目標とすべきでないのでは？
(Inagaki 2017)レベル４の自動運転 (High Driving Automation)
システム： すべての動的運転タスクを担当。システム／車両の故障や想定作動環境からの逸脱等が発生しても、ユーザーの手助けを求めることなく適切に対応。
 「システムだけで対応できる」ことは、「ユーザーに関与させない」ことを意味する？
 何が起こっているか、システムはそれにどのように対応しようとしているか等はユーザーに知らせるべきか、知らせる必要はないか？
Photo: Volvoレベル５の自動運転 (Full Driving Automation)
システム： あらゆる道路条件、走行環境条件下において、動的運転タスクのすべてを担当。
有人運転ではあるが、いわゆる「ドライバー」が乗らない車 車外の「ドライバー」が操縦
 車載 AI が「ドライバー」として操縦

ウィーン条約（ジュネーブ条約）との関係をどのように整理？
車両の運転者は、正当な注意義務を適正に行使でき、いかなる操作であっても必要なものはいつでも実行できるよう、車両を常に制御できていなければならない
Photo: Google

何のための自動運転？ 誰のための自動運転？

Photo: BMW

Photo: Volvo

Photo: Zoox

 誰を対象とするかに応じて適切な自動運転のレベル選定
 自動運転レベルが高いものが「レベルが高い」のではない
 監視制御は、楽な仕事ではない 高機能なシステムの動作原理や能力限界を知らないと、システムを正しく監視することはできない
 権限の的確な引継ぎには、瞬時の状況判断力が不可欠
 ドライバーの役割と責任を社会やドライバーが認識すべし情報処理過程で生じるさまざまな失敗

知覚認知判断操作• 見落としや聞き落とし• 能力の限界のため見えない、聞こえない• 実体のないものが見える、聞こえる• 情報の意味が理解できない（知識ベースミステイク）• 過去の経験を誤用（ルール• 不適切な行為を選択（知識• 意図しない行為による置換（スリップ）• 手順の一部の欠落や失念（ラプス）• 行為実行不能（能力の限界）ベースミステイク)

ベースミステイク、ルールベースミステイク）• 不適切な不作
為（リスクの過小評価）（稲垣 2012）

人はリスクを正しく認知できるとは限らない (1)人はリスクを正しく認知できるとは限らない (2)対象について豊富な専門知識を持っている人であっても，リスクを的確に認知できるとは限らない
ベテランは、ベテランなりのエラーを犯す「豊富な経験」や「永年の安全実績」が安全を損なうこともある
落とし穴のひとつが 「過信」

（CFIT Education and Training Aid)

リスクへの対処は難しい
 リスクは、本来、潜在的－対処しなくても、不都合がすぐに顕在化するわけではない－どこに、どのようなリスクがあるのか、ないのか知覚しにくい ただし、リスクを見つけることができれば、それを制御する方法も見つけることができる
日常に潜むリスクをいかにして見つけるか 事故やインシデントから学ぶ ヒヤリハット事例から学ぶ

事故やインシデントから学ぶ（例） ストラスブールでのA320墜落（1992年）
1988年以来、同種のインシデントが発生していたのだが・・・
・ ガトウィック空港 （GPWSで気づく）
・ デュッセルドルフ空港 （GPWSで気づく）
・ サンディエゴ空港 （クルーが気づく）
・ ナンテ空港 （クルーが気づく）

コンピュータに入力された降下率 3,300 ft/minでの降下パイロットが意図した
降下角 3.3 度での降下5,000ft（降下率に換算すると，約 800ft/min）

2,620 ft

ラ・ブロス山空港

ヒヤリハット事例から学ぶ
犠牲や損害が生じたものからしか学べないのは悲しい【ヒヤリハット事例の共有】
 「実は私も同じような経験が・・・」 「もし同じことが自分に起こったら、どうするだろう？」・ メンタルシミュレーション
・ シミュレータを用いた検討【注意】 ヒヤリハット事例収集では、匿名性の確保・保証が重要（懲罰はもとより、報奨の対象ともすべきでない）

「問題意識の共有」 から 「問題解決」 へ 個人レベルで問題に気づく

考えてみる

報告・問いかけ グループで問題を共有

考えてみる

報告・問いかけ 組織全体で問題を共有

構成員だけでなく、必要に応じて社会へ情報フィードバック

問題解決