自動車技術会シンポジウム「ヒューマトロ二クス」資料 pp. 19-24
2005 年 12 月 21 日

人間機械共生系：システム設計の視点と課題＊稲垣敏之1）

Human-Machine Symbiotic Systems: Design Viewpoints and Challenges
Toshiyuki Inagaki
Key Words: Driver Behavior, Preventive Safety, Human-Machine Interface / Function Allocation, Adaptive Automation,Authority and Responsibility, Levels of Automation, Automation Surprises, Trust and Reliance, Situation Awareness ⑬

１. はじめにできる機能はすべて自動化し，それ以外のものを人間に割当て

近年の機械は，状況を認知・解析し，今何をなすべきかを決る方式，（３）システム開発コストを最小化できるように人と機め，さらにそれを実行に移すことができるだけの能力を備えて械に機能を割当てる方式，の３通りに分類できる．いずれも「誰いる．このような高い知能と自律性を持つ機械が，さまざまなが，何をするのか」を決めるものであり，ひとたび定めた配分

交通移動体の安全性，効率性，快適性に貢献してきたことは論は未来永劫変更されることはないことから，静的機能配分とよを待たない．しかし同時に，これらの知能機械（自動化システ

ばれる．

ム）と人の間には，当初予期しなかったような不整合が発生しこのうち，（２）または（３）では，人の特性を考慮することていることも事実である．早くから高度自動化を指向してきたなく機能配分が定められることから，人は自分に割当てられた航空分野では，（１）多機能インタフェースによるエラーの誘発，役割を快く感じなかったり，割当てられた機能すべてを正確に（２）人と機械の意図の対立，（３）自動化システムへの不信と認識・記憶しておくことが困難になったりすることがある．こ過信の交錯，（４）自動化システムによる「異常の隠蔽」，（５）

れが，人と機械の役割分担がもたらす「わかりにくさ」のひと

2)

高機能システムの「わかりにくさ」などが知られている ．ただし，これらは航空機に限った問題ではなく，先進技術の導入が急速に進展しつつある自動車にもあてはまる．

つの形態である．
また，（１）にも欠点がある．個々には人が優れているタスクであっても，そのようなタスクを複数個同時に担当しなければまた，航空機では「事故原因の 70～80％はヒューマンエラー」

ならない状況では必ずしも人の優位性が保証できないこと，タといわれるものの，人の特性を十二分に考慮しなかったデザイ

スク担当が長時間に及ぶときは，様々な要因によって作業の質ンに真の問題があったのではないかと思われるケースも少なくや効率が低下し得ることなどである．

ない．徹底的な教育・訓練を受ける航空機のパイロットでさえこのことは，単に「誰が，何をするのか」を決めるのではな

上述の問題から完全には逃れられないことを考えると，十分なく，「誰が，何を，いつするのか」を定める必要があるとする動教育や訓練を仮定することができない非職業ドライバを対象と的機能配分の考え方の重要性を示している．動的機能配分では，する自動車のデザインが解決すべき課題の難しさは，ある意味人または機械のいずれかが行っていたタスクを適当な時点で他で航空機の比ではない．

方に譲り渡すことが行われる．これを権限委譲という3) ．これか

本稿では，ドライバ（人）とクルマ（機械）が｢自然｣な形でらのヒューマンマシンシステム設計で求められているのは静的協調（共生）できるシステムを実現するうえでデザインに求め機能配分ではなく動的機能配分であることは論を待たない．特られる視点と課題について，事例を取り上げながら述べる．に，人の作業負担や効率の動的変化あるいは外界状況変化の中での人の能力限界などを考慮に入れて機能配分を動的に変化さ

２. 人と機械の役割分担がもたらす「わかりにくさ」

せる適応的機能配分（アダプティブ・オートメーション）3), 7) が人と機械の間での役割分担を定めることを「機能配分」とよ重要であり，すでにいくつかの例が世に送り出されている．た3)

ヒューマンマシンシステム設計における重要な課題のひとぶ ．

だし，「いつ，誰から誰へ当該タスクの権限を移すか」を定めるつである．古典的な機能配分の代表は，（１）対象となる機能ごのが機械である場合には，「なぜこのようなときに，このようなとに人間と機械の能力を比較し，優れた能力を持つほうに当該ことが起きるのか」といった類の不都合が生じ得る．これも，機能を割当てる方式（Fitts MABA-MABA list），（２）自動化

人と機械の役割分担がもたらす「わかりにくさ」である．動的――――――――――――――――――――――――――――

あるいは適応的機能配分に起因する「わかりにくさ」をいかに*2005 年 12 月 21 日自動車技術会シンポジウムにおいて発表．

解消・軽減・抑制することができるかが，人と知能機械の共生

1）筑波大学大学院システム情報工学研究科リスク工学専攻を実現するうえでの鍵を握っている．

（305-8573 つくば市天王台 1-1-1） inagaki@risk.tsukuba.ac.jp

３．オートメーション・サプライズ
人の意図や指示とはまったく独立に知能機械が自らの意思に沿って行動しているように見えることがある．
「なぜ今，機械がそのようなことをしているのか」人が理解できずに戸惑うことを総称してオートメーション・サプライズ（automation surprises）という2) ．これは，機械が「状況を認知・解析し，今何をなすべきかを決め，さらにそれを実行に移すことができる能力」を備えたことによる望ましくない副産物である． オートメーショ
ン・サプライズの形態は多様であり，その背後要因もさまざまである．高度自動化システムを搭載した自動車において発生し得るオートメーション・サプライズの例を以下に示す．
3.1 モードの誤認

Fig. 1 モードの認識
3.2 状況認識の食い違い

ACC (Adaptive Cruise Control) システムに対しては，例え「状況認識」（situation awareness）は日常用語としても使用さば「50 km/h 以上」のように定義された高速度域において，ドラれていることばであるが，つぎの３つのレベルを識別しておく

イバの設定した速度を維持あるいは前方の他車両に指定されたと，議論の精密化をはかることができる6) ．

時間距離を確保した追従することを目的とした高速域 ACC と，

レベル１： 何かが起こっていることに気づくこと

例えば「45 km/h 以下」のように定義された低速度域において先レベル２： その原因を同定できること

行車を追従する低速域 ACC を区別することがある．

レベル３： これからの事態の推移が予測できること

いままで高速域 ACC を搭載した車を使用してきたドライバ

さらに，状況認識を議論する際には，対象を明確に規定してが，あらたに低速域 ACC を導入したとしよう．このドライバにおく必要がある．
「システムに生じた異常に気づかなかった」ととっては，これら２つのシステムは，「同じような支援」を提供いうタイプの状況認識喪失であるのか，「システム異常には気づするようにみえる可能性があるものの，実際にはいくつかの点いたが，システムが置かれた環境状態との関連付けを誤った」

で相違がある．低速域 ACC は，設定速度での走行を目的とするというタイプの状況認識喪失であるのかによって，状況認識をものではなく，低速で走行する先行車への追従を実現するシス改善するための方策・工夫は大きく異なるからである．何に対テムであるため，先行車が存在するときに限って作動させるこする状況認識を論じるのかを考える際に，人／ライブウェアとができる．一方，高速域 ACC は先行車が存在しなくても作動（Ｌ）と，それを取り囲むソフトウェア（Ｓ），ハードウェア（Ｈ），可能である．また，低速域 ACC において，「先行車が検出でき環境（Ｅ），他者（Ｌ）との相互関連を表現するSHELモデルがなくなったときにはシステムによる制御を解除する」方式を採参考になるが，高度自動化の進んだシステムにおける人間と機用すると，「先行車が検出できなくなってもシステムによる制御械の共生を論じる際には，ほとんど人間と同等な認知・判断能が継続され，ドライバが事前に設定していた速度まで加速する」

力を持ち，時には人に命令されなくとも行動に移す自律性を持

高速域 ACC と好対照をなす．

つコンピュータ（Ｃ）とS, H, E, Lとの相互作用を明示的に組入高速域ACCと低速域ACCを，「ACCが持つ２つのモード」と1), 3)みなすことが可能である

れた C-SHELモデル8) （Fig. 2）が有用である．

．一般に，複数のモードを持つシステムを使用する際，ユーザーが「作動中である」と思っているHモードと，実際に作動しているモードが相違していることが起こり得る．例えば，高速域と低速域の２つのモード間を行った
り来たりするような走行状況を続けているうちに，｢今，いずれのモードで走行しているのか｣の認識が明確でないと，先行車が車線変更を行った後に別の車が自車前方に現れ，それが減速しSLたときに「ドライバが自らブレーキをかけなければならない」のか，「何もしなくてもシステムがブレーキをかけてくれる」のかの判断が的確に行われないこともあり得る（Fig.1）．
「モード・コンフュージョン」（mode confusion）と称せられる現象は，グL

ラス・コクピット航空機が今もって直面している深刻な問題のひとつである．

Fig. 2 C-SHEL モデルE

自動車の運転をはじめとして，状況が認識できれば，何をなステムが判断した場合は，視覚的あるいは聴覚的に警報を発すすべきかが容易に決まる例は多い．
「状況 → 行動」型の標準手る．それでもドライバが警報に適切に反応しない場合には，シ順を定めることができるのはそのためである．さて，ヒューマ

ステムがステアリングにトルクを与え，車線逸脱を防止する機

ンマシンシステムでは，人と機械は独自のセンシング機能をも能を持つ．とに状況を把握しようとするが，必ずしも両者の状況認識は一

さて，車線逸脱防止支援システムを搭載した車両に乗ってみると，このシステムがどれほどの能力を持っているのか実感し致するとは限らない．
Fig. 3（左）に示したケース１を考えてみよう．高速域 ACCを使用して先行車へ追従走行を続けるうちに，先行車が渋滞の末尾に近づいてきたという設定である．このとき，前方の渋滞てみたくなるのは人情のなせる業であろう．しかし，走行中に遭遇する場面は，似ているようであっても実際には異なるのが常である．あるとき，システムがステアリング・トルクを発生して車線逸脱を阻止する場面を経験したとする．次に，類似のに気がついたドライバは，自車の ACC がやがて減速操作を開始

場面が近づいてきたとき，先刻と同じようにシステムがステアするものと期待するであろう．しかし，そのとき比較的強いカリング・トルクを発生してくれるものと期待しても，実は，トーブに差し掛かっており，追従対象が，今までの対象であった

ルクが生ぜず，あわや車線を逸脱しようとするのに気づいて，先行車から，外側のレーンを走行中の車両に切替ったとしよう．

あわててステアリング操作を行なわなければならないことを経

しかも，外側のレーンがまだ渋滞には至っていないならば，ド験することがある．
「なぜ，ここでは対応してくれないのか」とライバの期待に反して，ACC は減速しないであろう．状況によいう「不作為」に対する驚きも，オートメーション・サプライっては，加速することもあり得る．

ズのひとつである．

Fig. 3（右）のケース２ は，自車の右横から割込んでくる気配を見せる車に気がついたドライバは，「割込み車は ACC にも見えているであろうから，ほどなく減速してくれるはずだ」と期待しているものの，割込み車は ACC のセンサ検知範囲内にまだ入っておらず，ACC は前方の先行車の加速に対応すべく，自らも加速を開始しようとしている状況を描いたものである．
上のいずれも，現実に起こっている状況を人はAと認識し，４． 信頼・不信・過信システムのユーザーである人は，程度の差はあるものの，システムに対するメンタルモデルを形成する．自らの置かれた状況に対する理解・把握と，システムに対するメンタルモデルをもとにして，そのシステムがその場面でなすべき行動を予測する．しかし，オートメーション・サプライズに代表されるように，システムの行動がその人の予想を裏切るものであると，人ACCはＡ*と認識するというように，状況認識が食い違っているはシステムへの信頼を失う．信頼の喪失にとどまらず，結果的ケースである．人は「Ａ→Ｂ」の規則に当てはめ，ACCが行動にはヒューマンマシンシステムの安全も損なわれることがある．

Ｂをとるものと予想（期待）するものの，ACCは「Ａ*→Ｂ*」

Lee & Moray 10) は，人がシステムに対して「信頼」（trust）をの規則にしたがって行動Ｂ*をとる．ここで，人は，「なぜ，今，抱くためには，Table 1 に示す４つの要件を満足す必要があるとこのようなところで加速するのか」と驚くことになる7) ．

した．すなわち，４つの要件のうちに満足されないものがあれ

ケース １

ケース 2

ば，そのシステムへの信頼は磐石なものとはいえない．前節に述べたオートメーション・サプライズは，Table 1 に示す（２）－（４）のいずれかが満足されていないものである．
Table 1 信頼の４つの次元-------------------------------------------------------------------------------------（１）基礎： 自然界を支配する法則や社会の秩序に合致していること（２）能力： 終始一貫して安定的かつ望ましい行動や性能が期待できること（３）方法： 行動を実現するための方法，アルゴリズム，

Fig. 3 状況認識の食い違い

ルールが理解できること（４）目的： 上記の背後にある意図，動機が納得できること

3.3 複雑な制御ロジック----------------------------------------------------------------------------------------

機械に付与された知能は，深い知識を持たないユーザーには到底理解できないほどの複雑なものとなっていることがある．
車線逸脱防止支援システムを例にとって考えてみよう．このシステムは，ドライバの不注意等による走行車線からの逸脱を防止することを目的とするものである．逸脱の可能性があるとシ

Table 1 の要件が客観的には満足されているにも関わらず，「満足されていない」と誤った判断をする場合を「不信」（distrust）と称する．一方，客観的には満足されていないはずの要件に対して「満足されているはずだ」との判断を下す場合を「過信」生じる．一般に，人の行動は，認知（認識），判断，操作の繰り（over-trust）と称する．いずれも，「不適切な信頼」（mistrust）返しであるが，最も基本となるのが認知である．すなわち，認の例である．オートメーション・サプライズの発生には，C-SHEL

知が正しくなければ，それに引き続く判断や操作は正しくありモデルの構成要素に対する過信と不信が交錯していることを読ようがない．しかし Fig. 4 にあるように，状況に潜在するリスクみ取ることは難しくないであろう．

を正しく認知（認識）することはそれほど容易ではない．

なお，
「依存」
（reliance）という用語は，ときに「システムに依存するようなことがあってはならない」というように否定的な意味合いで用いられることがあるが，この用法は必ずしも正しくない．
「信頼に値するものに対する依存」は当然の行為あるいは判断であり，ワークロード軽減の観点からも正当なものである．あってはならないものは，「信頼に値しないものに対する依存」である．
「信頼」に対して適否を区別したように，「依存」に対しても適否を区別することが肝要である．
５．人が機械を理解しやすくするには人を支援するためのシステムが，その能力以上に信頼されても，能力を不当に低く評価されても，オートメーション・サプ
ライズをはじめとする「人と技術システムとの間のミスマッチ」から逃れることができない．人と知能機械の関係を自然なもの

Fig. 4 自動車運転における認知・判断・操作にするには，その機械が人にとって「わかりやすい」ものである必要がある．そのためには，ヒューマン・インタフェース設計に対して，下記の配慮（１）－（４）が必要となる3) ．それら
は，「状況が認識できれば，必要な行為の選択は容易い」とする
Naturalistic Decision Making (NDM) の立場からも，さらに「人間中心の自動化」5) の立場からも重要な要請である．
（１）機械がなぜそのように判断したのか，その根拠が分かる

ただし，認知が基本であるからとはいえ，ドライバの心の中を見ることはできず，認知の適否を直接的に知ることもできない．そこで，ドライバの挙動を観測し，行動データベースとの照合を行うことによってドライバの意図を推測し，さらに，機械が理解した「状況」との照合から，ドライバの状況認識の適否を推測する，といった方式が採られることになる（Fig. 5）．

ような情報を提示する．
（２）機械が今何をしようとしているのか，意図理解の手がかりとなる情報を提示する．
（３）人と機械の状況認識共有を助けるような情報を提示する．
（４）機械への過信を防ぐために，機械の能力限界を知る手が状況

意図形成

ドライバー

認知

判断

操作

かりとなる情報を提示する．
６．機械が人を知る必要性
知能機械をはじめとする人工物は人が作り出したものである．
しかし，そこでいう「人」が必ずしも「ユーザー」とは限らな「認知」の推測

観測「意図」の推測いことから，「人が理解しやすい機械」にすることの必要性を論

状況の中での意図の適正さを評価じてきた．ここからは，ユーザーである人を機械も知っておく→ 「正常」からの逸脱を検出必要があることについて考察する．
自動車事故のなかには，「ドライバが走行環境や自身の状態をFig.5 状況と意図の理解によるリスクの回避

的確に把握し，それに応じた運転をしておれば防げたであろう」とされる事故が少なくない．すなわち，「安全不確認」，「動静不そのようなアプローチにより，ドライバが潜在的危険状態に注意」，「わき見運転」，「漫然運転」等，状況認識の誤り，不適陥ることを防止する，あるいは仮に潜在的危険状態に陥ったと切な意図，疲労等に起因する事故を未然に防止することができしても早期にそれを検出し，安全な運転行動への復帰を促すしれば，理論上は事故件数は半減させることが可能である．

くみを開発しようとする試みのひとつが，文部科学省科学技術

ドライバは，状況を認知・予測しながら，それに見合う意図振興調整費による重要課題解決型研究「状況・意図理解によるを形成して運転行動を行っているが，状況，意図，行動の間にリスクの発見と回避」プロジェクト（研究代表者：稲垣敏之，不整合が生じると潜在的危険性が高まり，事故に至る可能性が研究期間：平成 16 年度～18 年度，研究費総額：5 億 9500 万円）

である（Fig. 6）．そこでは，状況・意図に応じた予防安全型自動車運転支援の実現を目指し，平時における運転者の状況認識支援と負荷調整，緊急時のリスクを低減する適応的機能配分を行
うための技術，すなわち，（１）高リスク心的状態の実時間検出技術，（２）状況認識の強化技術，（３）緊急時の安全制御技術の開発，などが課題となる．
（１）では，ドライバの姿勢，手足位置や動き，視線方向等のセンシングデータから，高リスク心的状態を実時間で検出する技術の開発が主眼となる．また，（２）では，警戒心等についてドライバの「通常レベルからの逸脱」が疑われるときの状況認識改善を促進させるための情報提示技術が課題である．ただし，ひとつ注意が必要である．いくつか

Table 2 Scales of levels of automation
The computer offers no assistance, human must do it all.
The computer offers a complete set of action alternatives, andnarrows the selection down to a few, orsuggests one, andexecutes that suggestion if the human approves, orallows the human a restricted time to veto before
automatic execution, or
6.5
executes automatically after telling the human what it isgoing to do, or
7.
executes automatically, then necessarily informs humans, or8.
informs him after execution only if he asks, or9.
informs him after execution if it, the computer, decides to.
10. The computer decides everything and acts autonomously,
ignoring the human.
1.
2.
3.
4.
5.
6.のセンシングデータをもとに，機械は「ドライバが眠気を感じている可能性が高い」と判定したとする．早期発見・早期対応の考え方に基づくなら，そのことはドライバに即刻伝えなければならない．しかし，ドライバがまったく眠気を自覚していないようなときに，「あなたは眠いのではないか」とのメッセージを機械から受けたとき，ドライバはどのように感じるだろうか．
にわかには納得しにくい情報を与えられたとき，人はその情報「最終決定権を持つのは，どのような場合に人であり，どのような場面では機械であるのか」を検討することは，「自動化レベルをいかに設定するか」という問題と等価である．最適な自動化レベルの選定には，３つのアプローチがある9) ．すなわち，（１）数理モデルを用いた理論的解析に基づく選定，（２）認知工学的実験による選定，（３）ヒューマンマシンシステムのコンピュータ・シミュレーションによる選定である．それぞれの方を信用するとは限らず，そのような情報を提供する機械にも信法には得失があり，対象や用途に応じて使い分けることが必要頼を置かないことがあり得る．

である．詳しくは，文献9) を参照されたい．

では，どのようにすればよいのだろうか．ひとつの方法は，さらなる確証が得られるまで，あるいは人がある程度自覚でき参考文献るようになるまで，上述のメッセージは提示せず，その間の安

1) 伊藤他: 高速域 ACC と低速域 ACC が混在するシステムにお全は機械が担保するというものであろう．緊急事態の発生時にけるモード認識，自動車技術会 2004 年秋季大会．

はいつでも機械が対処できるように権限委譲の準備は整えてお2) 稲垣: ヒューマン・マシン・システム- 高信頼性が損う安全きながらも，緊急事態に至らないままドライバの状態が改善さ性. システム／制御／情報, 41(10), 403-409, 1997.

れたなら，「結局，機械は表に顔を出さない」ようなシステム設3) 稲垣他: ２つのモードを持つ ACC システムへのドライバの計である．これは，適応的機能配分の一種である．適応的機能

モード認識，自動車技術会 2003 年秋季大会．

配分は（３）にも必要な技術となる．すなわち，ドライバの警

4) 稲垣: 人間と機械の機能分担, 自技会「人と技術の協調によ

戒心レベルの改善が不十分な中で事故に至る可能性の高い事象るアクティブセイフティ」シンポジウム，2004.

が生起したときは，直ちに権限委譲を行うことにより，事故回

5) Billings, C. E.: Aviation Automation – The Search for a

避あるいは事故被害の最小化を図るものとなる．

Human-Centered Approach. LEA, 1997.
6) Endsley, M.: Towards a Theory of Situation Awareness in Dynamic

７．人と機械が状況に応じた協力ができるように「人間中心の自動化」では，「最終決定権は人に与えておくべきである」5) との主張がなされるのがふつうであるが，前節までにみたように，人の認知（あるいはそれに引き続く判断，操作）はつねに正しいという保証はない．
「このままでは事故に至る」
ことが認識できていても，それを回避するための操作が実行できない事例が少なくないことも知られている．すなわち，人と機械が共生するヒューマンマシンシステムを実現するには，「「最終決定権を持つのは人か，機械か」という対立構造に立脚したシステム設計からの脱却が求められる．
人と機械の協調形態を探る上で，自動化レベル（level ofautomation）の概念を有効に利用することが可能である．Sheridan
による 10 段階のレベル11) に，筆者らの提案による「自動化レベル 6.5」を加えたものをTable 2 に示す．

Systems. Human Factors, 37(1), 32-64, 1995.
7) Inagaki, T.: Adaptive automation: Sharing and trading of control.
Handbook of Cognitive Task Design,Chapter 8, 147-169, LEA, 2003.
8) Inagaki, T.: New challenges on vehicle automation: Human trust inand reliance on adaptive cruise control systems. Proc. IEA 2003(CD-ROM), 4 pages, 2003.
9) Inagaki, T.: Design of human-machine interactions in light ofdomain-dependence of human-centered automation; Cognition
Techology & Work (in press).
10) Lee, J. & Moray, N.: Trust, control strategies and allocation offunction in human machine systems; Ergonomics, 35(10), 1243-1270,
1992.
11) Sheridan, T. B.: Telerobotics, Automation, and Human Supervisory
Control. MIT Press, 1992.

走行環境と行動データに基づく運転行動モデル

カメラ画像に基づく走行環境
理解と運転者の表情追跡

発話音声による心身状態
実時間センシング技術

確率・統計的手法による
状況・意図理解ブレーキをかけます！

発話音声

ハンドル・ペダル操作
視覚行動

外界センサ

操作具センサ

運転操作
行動

動的環境理解のための視覚補強技術

疲労、緊張
ぼんやり
ドライバ
状態

この まま
では衝突だ

カメラ
画像

適応的機能配分による安全制御

運転者
状態センサ

警報呈示

状況における意図理解

警報は出たが何も見えない．
誤報だろう

運転リスクを最小化する人間機械協調

通常からの逸脱判定

車間距離

走行環境
理解

運転行動モデル

道路構造

運転行動蓄積高齢者の身体・認知特性に適した支援

Fig.6

地 図 DB

走行環境における運 転リスクの推 定

緊急度と運転者の状況認識に応じた警報生成

動的環境と人の状態・意図に応じた支援により自動車の安心・安全を確保する予防安全型技術の実現