協調的パートナーを目指すインタフェースエージェント
モデルの構築Development of a Cooperative Interface Agent based on
Team Cognitive Model
菅野 太郎 准教授

東京大学大学院工学系研究科

Taro KANNO, Associate Professor, Grad. School of Eng. The University of Tokyo
要旨：コンピュータ技術の発達に伴い便利な機械やソフトウェアが巷にあふれ，人間がこのような機械やソフトウェアを使う機会は益々増えている．これらの機械やソフトウェアの使い易さや安全性を確保するために，様々な人間−機械インタフェース研究がこれまでなされてきた．しかし従来の人と機械のインタフェースは機械を道具として捉えており，共通の目標を達成するための協調的なパートナーと捉える視点が欠如している．本研究では機械を協調的パートナーと捉え，従来の知覚・認知や行動意図を推論，推定に基づいた恩着せヘルプ型アプローチからさらに一歩踏み込み，パートナーに必要とされる資質である，“状況の相互認識”，“意図の相互共有”の機能を持たせ，“自分の役割を見出し、阿吽の呼吸で人間を支援”できる機械の開発を目指すパートナー型インタフェース・モデルに関する研究を行う．
Abstract: Along with the introduction of advanced computer and software technology, we can find many usefultools and computer software anywhere in our daily life. Much effort has been put on making a machine more
intelligent to enhance its usability and safety, but it still lacks the viewpoint of partnership from which we see sucha machine as a partner working on common tasks. In order to realize more sophisticated human-machine interaction,
it is necessary for a machine to become a true partner who can participate in cooperative activity, not by looking theuser’s behavior over his/her shoulder and imposing a self-righteous help on the user, but by proactively finding its
role in their tasks and giving a nice help for the human partner. I believe the key requirement for such cooperationis that a machine possess a model for cooperative activity and can understand the human-machine cooperation(machine-in-the-loop cooperation). In this research, I will intend to construct a “partner interface” model thatenables machines to share mutual awareness, team intention, and mutual belief in their tasks and the taskenvironment in order to establish a true partnership between human and machine.
1. 研究目的
発電所の中央制御室や航空機のコクピット，航空管制，危機対応の現場など，高度な情報処理や判断を要求されるタスク環境では，タスクの複雑さや情報量の増加に伴い人間のタスク処理における認知的側面を支援するシステム・ツールの必要性が益々高まってきている．これまでにも
Associate Systems や Cognitive Systems, Joint
Cognitive Systems, Augmented Cognition など様々なシステムコンセプトが提案され研究が続けられてきている．
また日本では特に，擬人化エージェントを利用したユーザインタフェースやロボット，ペットロボットの研究が盛んに行われており，人間社会をより豊かにする実用的，日常的なヒューマンエージェントインタラクション（HAI）の実現に期待が寄せられている．
人と機械（エージェント）の協調性，親和性を高めるための一有力候補は人間‐人間に見られるインタラクションの方法を HAI 設計に応用することであろう．
この方向性を目指すべく，ユーザー状態（意図やプラン，心的状態等）の理解に基づいた支援や機能設計に関する研究が数多くなされている．しかしながら多くの研究において期待するほどのinteractivity は得られていない．これらの研究に共通する問題の一つは，協調的インタラクションの概念が不十分，欠如しており，ユーザーの理解とそれに基づく機能設計に終始している点にある（エージェントが協調の外に置かれている：
out-of-the-loop）．実際の人間−人間協調には相手の理解だけでなく，相手の自分に対する理解や，我々-1-

の理解，それらを共有する過程，それに基づく行為の織り交ぜが存在し（in-the-loop），HAI においてもこの”We-ness”を生成するプロセスを積極的に扱わねばならない．
本研究では，人間における協調の深淵メカニズ
ムを，個人の認知プロセスと相互信念の観点から捉え，チーム協調における認知プロセスモデル（三層モデル）を提案し，人間−機械協調のモデルへの拡張を目指す．
2. 研究経過
人間−人間における協調作業の観察，観察デー
タの分析から，相互信念を用いて人間におけるチーム認知モデルを作成した．さらにチーム構成員間での認知プロセスの共有・修正方法を実験における観察，インタビューからから抽出した．また，これらのモデルを人間−機械系に適応するための拡張を行い．パートナーエージェントモデルのフレームワークを構築した．具体的内容を以下に示す．
2.1. 個人の認知プロセスモデル
個人の認知プロセス（情報入力，状況認識，判断，行動等）のモデルに関しては，既存研究より，航空分野における代表的な認知モデルであるEndsley の状況アウェアネスモデル（SA:SituationAwareness Model）を採用し，協調モデルの礎とした．SA はある時間や空間における環境要素の知覚（レベル１）、その意味の解釈（レベル２）、それらに関する近未来の予測（レベル３）から構成される．このモデルは時間的拡がりを持つ認知プロセスの特性もレベル３の SA（Projection）を定義することでうまく考慮している．SA モデルでは，人間は環境やインタフェースから得た情報を用いてSA を獲得し，それを基にパターンマッチングやプランニングを行い行動候補を決定するものとして理解される．

する信念，に対する信念 」といった他者間で再帰的に定義される信念のことである．協調のメカニズムをこのような自身の心的状態と信念の再帰的構造によって説明することで，現実世界の人間同士における共有やインタラクションの概念をうまく捉えることができる．
これらの構成要素と構造を統合することによって，チーム認知モデルを完成させた．
2.3. 協調実験によるインタラクション戦略の抽出
協調実験によって，モデルの基本構造の妥当性の検証と，チーム構成員間で前述のチーム認知の心的構成要素がどのように共有されるか，インタラクションの過程を観察した．実験では，ビデオによる振舞い，音声の記録，画面映像のキャプチ
ャ，実験後のインタビュ，アンケートを行い．上述のプロセスの解析を行った．本研究では，協調プロセスプラントのシミュレータ（DURESS）の二人組による操作における協調（実験＋解析），航空管制業務における管制官チームのインタラクシ
ョンの解析（別研究におけるデータの解析），フライトシミュレータを用いた二人組による操作（実験＋解析）のデータを用いた．例えば，プロセスプラントの実験では，被験者は互いに隣に位置し，それぞれの画面（提示内容は共通）を見ながらマウスを用いて共通のプラントシミュレータを操作する．セッション中には様々な外乱（機器故障や目標値変化）が発生し，それに協力して対処することが課せられている．実験の設定とデータ例を
図１，表 1 に示す．

2.2. チーム認知モデル
チーム認知モデルの構築にあたっては，まず，１）チーム認知における心的構成要素モデルと，２）構造モデル，に分けて考えた．
前者については，2.1 で示した個人の認知モデルにおける心的要素（SA, スキーマ，目標，プラン，意図など）を用いた．後者の構造については，発達心理学における心の理論や，哲学におけるwe-intention 理論に基づき，相互信念を用いた三層構造を採用した．相互信念とは，「相手の自分に対図１ 実験設定-2-No.
12A/B
A
B

345A
B
A

6789101112B
ABAB
AB

13A14B

表1 発話例1(DURESS)
発話（説明)
目標値が変わってる（気付き）
目標値が変わって（理由が分からない）
ＡとＢ両方とも（解釈を教える）
あー（理由理解）
温度．50℃と 70℃だから，そっち側やろうかまず，それを．
．さげる（プラン）
えーと，ヒーターを下げる？
ヒーターを下げるね
はい（了承）
あれ，これ，ヒーターだめ
ヒータがこわれてる？
ヒータもこわれてる
えーと，流量増やして，．バルブ．えー，そうすると，じゃや，流量．．
．
こっちやっとくよ？（異なる問題に対処）
はい途中省略
15161718A
B
A
B

19A

20

B

70℃のほう，こっちさげとくね
流量，バルブ．．？
こっちも減ら．．
うーんと？ポンプ．．（A の操作に気付く）
あ，こっちやったらそっちもあれなのか，あ．終わったよ（side effect に気付く）
あー，むずかしいな．これ（SA 喪失）

セッション終了
21B

22A

23

B

24

A

25
26

BA2728BA

ポンプ自体をあげればよかったのかな？
ポンプ自体を上げる？（理解できない）
結構，今これ全開 100 にしてても，流量が 105 にしかなんなかったんですけどそうそう，だから，こっち上げなきゃいけなかったんだね（齟齬理解）
そうです．ポンプをお互い上げればそっか，オレがここ減らすのがいけないんだね．おれ，こっち側を減らそうとしたんだ．温度あげるために（自分の意図を説明）
はいはい(齟齬理解)
それが失敗だね2.4. 人間−機械系への拡張
人間のチーム認知モデルの人間―機械への拡張を試みた．人間−人間における協調認知モデルの各層をそれぞれ，１）システムそのもの（プロセスや状態），２）人間の認知に対する理解（ユーザーモデル），３）人間のシステムに対する Agencyへの理解，とすることで拡張可能であることを提案した．またチーム認知モデルの拡張するために，機械に必要とされる能力の整理をおこない，さらに，各層に必要な入力情報のうち人間や機械が活用できるものの分類を行った．
3. 研究成果
本助成期間中に得た主な研究成果は以下の通りである．
3.1. チーム認知モデル構築したチーム認知モデルの概念図を図 2 に示す．各層がそれぞれ，個人の認知プロセス，相手の認知プロセスに対する信念，相手の自分の認知プロセスに対する信念に対する信念を表している．
各矢印は認知モデルにおける心的要素がどのように獲得，共有されるかを表している．実験より，以下の 4 つの方法を確認した．
１）
コミュニケーション：各自の心的要素を発話によって交換する
２）
推論：相手の認知プロセスや信念を推論
３）
補完，思い込み：コミュニケーションや推論による自認知プロセスの補完，自認知プロセスによる相手に対する信念の補完（思い込み）
４）
整合性評価：各層の比較による齟齬検出
さらに，インタラクションのきっかけとして以下の 4 つの方策が存在することを確認した．
１）
自認知プロセスを補うため
２）推論を補うため
３）
各層のギャップを修正するため
４）
相手の推論を補うため
3.2. パートナーエジェントモデル
チーム認知モデルの人間―機械系への拡張を以下のように提案した．
・ 一層目：システムそのものに相当する．
・ 二層目：ユーザーの認知プロセスへの理解のためのモデル（いわゆるユーザーモデル），各種センサーや，ユーザーの入力操作といった情報を元に推論が可能．
・ 三層目：ユーザーのシステムの有するエージェ
ンシーの理解に対するモデル（システムの振舞いのインタラクションとしてのモデル），各種センサーやユーザー振舞いを反応として捉えることによって(mutual responsiveness)推論を行う．
-3-Agent A
cognition

Environment
InterfaceBehavior(Xb)

PEaE
PEaI
PEaB

beliefSchemaCa

Goal
Setting
Planning

PRa

SchemaBaGoalSetting
Ba
Planning

BaPEb

belief

BaCb

BaPRb

Ka

Xa

Xb

IXa

XaG
XaOb
XaInt

XbG
XbOb
XbInt

SchemaIXbl Setting
BaBb

BaBbCaBaBbPRa

Goal
Setting
Planning

PRb

Cb

Kb

Environment
InterfaceBehavior(Xa)

PEbE
PEbI
PEbB

Schema BbGoal

Setting
Bb
Planning

BaKb

BaIXb

BbIXa

Schema BaBbGoa

Planning

BaBbPEa

Agent B

BbPRa

BbCa

Schema BbBaGoa

Ba
BbKa

l Setting
BbBa
Planning

BaBbIXa

BbBaIXb

BbBaPRb

BbBaCb

BbKa

BbPEa

Bb
BaKb

BbBaPEb

図２ チーム協調における認知プロセスとその共有

これらの各層・層間の推論，比較によって，インタラクション計画や，インタラクションの理解，インタラクションの修正が可能となることが期待できる．
表２に示すような，利用可能な情報の非対称性を考慮しながら各層を実装することによって，チーム認知モデルの拡張が可能であると期待できる．

が必要である．特に，今回扱った認知プロセスのみならず，疲労やワークロード，COCOM(ContextualControl Model)に示される制御モードといった心的状態に関する共有メカニズムや，人間が信念形成のために用いている相手に対する暗黙の期待を解明し，協調的エージェントの設計に応用することが必要であろう．

表２ 利用可能情報の分類
最上層
第2層
人 間 の み 利 用 繊細な五感
発話情報
可/人間が得意 熟 練 に 基 づ く 視線
感覚
表情
雰囲気，等
エ ー ジ ェ ン ト 非表示情報
各種センサーのみ利用可/エ 加工情報
情報
ー ジ ェ ン ト が 高度な計算
各種神経生理得意指標，等両方利用可
表示情報（イン シ ス テ ム を 介タフェース等） した操作センサー可能な行動，等

5. 発表論文リスト
1.

2.

3.

Kanno T. and Furuta K., 2006, Sharing Awareness,Intention, and Belief, Proc. Int. Conf. Augmented
Cognition/50th Annual Meeting of HumanFactors and Ergonomics Society, 230-235.
菅野，古田，2006，チーム協調モデルに基づ
く HA インタラクション戦略，HAI シンポジ
ウム 2006，2A-2.
IDEA 研究会，2007，「共有のためのインタラクション」（講演）

4. 今後の課題と発展
チーム認知モデルにおける４つのインタラクシ
ョンの方法と，４つの協調のためのインタラクシ
ョン戦略は，人間−エージェント間の自然なインタラクションを実現する上での指標となりうることが期待できる．様々なコンテキストにおいて，これらの方法，戦略の実装，実装のための要素技術の開発が必要とされる．
また，人間の高度な協調を可能にしている，インタラクションの深淵メカニズムのさらなる解明
4