197

システム/制御/情報，Vol. 47, No. 4, pp. 197–202, 2003||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||「『多様化するヒューマンインタフェースと高次インタラクション』特集号」解説

ユーザ–システム間の適応のためのヒューマンコンピュータインタラクションのデザイン
山田誠二 † ・角所考‡||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||

1.

はじめに

HumanSystem

計算機やロボット，エージェントを含む情報システムと人間とのインタラクション HCI (Human ComputerInteraction) では，ユーザからの指示の理解，それに基LSE

づくタスクの実現，ユーザへの結果の提示などのシステ
IES

ム側の処理に対して，ユーザがシステムに期待する処理が，ユーザ個人の主観，選好，経験に依存する場合が多ISE

い．例えば，計算機のユーザインタフェースとしてアイコンの直接操作とコマンド入力のいずれが使いやすいか
Environment

は，ユーザの計算機への熟練度等によって異なる．この(a) 自律的タスクことから，システム側の処理の内容を，HCI の過程を通じて，ユーザの主観に合ったものに適応させることが望HumanSystem

LHELSE

ましく，そのための様々な適応インタフェースが研究されている．
一方，人間は高度な適応能力を有し，対象に不可避的に適応する傾向があるため，HCI においても，意識するしないに関わらず，ユーザはシステムに適応するというIHE現象が起きる．ユーザは，携帯電話や計算機を使っていIES
ISE

IEHるうちに，メニュー階層のどこにどのコマンドあるのかを自然に学習するようになるし，擬人化エージェントを用いたインタフェースでは，相手があたかも人間である

Environment

ように，エージェントのモデルを構成し，そのモデルに(b) 対話的タスク基づいてエージェントの挙動や表情を理解しようとする．
第1図

本論文では，このような HCI におけるユーザ・システ
ム間の適応過程を望ましい結果に導くために，どのようなインタラクションを設計すべきかという観点から，適ステム，環境，それぞれの間でのインタラクションを構応過程を分類・モデル化すると共に，その観点から興味成要素としてモデル化できる．以下では，システム，人深い関連研究をいくつか紹介しながら，研究の現状と課間，環境間での情報伝達過程を，たとえそれが一方向で題について議論する．

2.

あっても，広くインタラクション と呼ぶ．
システムには，適応するか否かとは関係なく，本来達タスクとインタラクション成すべきタスクが存在する．タスクは，コンピュータ内HCI と適応過程との関係には様々なものが考えられるで閉じた計算，自律ロボットの行動のように，本来シスが，本節で述べるように，それらはいずれも，人間，シ∗

自律的タスク，対話的タスクにおけるインタラクション

テムが人間とのインタラクションを必要とせずに単独で達成できる自律的タスクと，ユーザの問題解決支援や人National Institute of Informatics;
2-1-2 Hitotsubashi, Chiyoda, Tokyo 101-8430, JAPAN†
京都大学 学術情報メディアセンター Kyoto University;
Nihonmatsu-cho, Yoshida, Sakyo-ku, Kyoto 606-8501,
JAPANKey Words : User interface, adaptation, human-computerinteraction.
国立情報学研究所

間同士のコミュニケーション支援などのように，人間とのインタラクションがタスク達成の前提となる対話的タスクとに大別できる．

2.1

自律的タスク

自律的タスクの典型的な例は，WWW での情報収集

–1–

198

システム/制御/情報 第 47 巻 第 4 号

システム，自律エージェント，自律ロボットなどである．

(2003)

Human

SystemISH

これらのシステムのタスクは，人間の助けを借りずにシステム自身が環境の情報を獲得し，行動を決定・実行しIHSていくことにより遂行される．

LSE

自律的タスクでは，システムは，自身の身体や外界などの環境をセンサで観測する一方，その環境に対して物IES理的，論理的操作といった行為を加える．このときのシISE

ステムと環境の関係は，第 1 図 (a) のようになる．シス
テムを S ，タスクの実行対象となる身体や外界を広義の環境とみなして E とすると，システムが環境から得る観Environment

測結果と，環境に加える行為は，E から S ，S から E へ(a) 自律的タスクのインタラクションとして，それぞれ IES ，ISE で表現

Humanできる．さらに，このような自律タスクとして，システSystem

ISH

ムがユーザの期待する処理を実現できるように，何らかIHSの学習アルゴリズムによって環境に適応する場合，その適応過程を LSE とする．

2.2

LSE

LHE

対話的タスクIHE

対話的タスクでは，システムと人間との情報伝達を基IES
ISE

IEHにタスクが遂行される．例えば，人間による設計作業や人間同士のコミュニケーションを支援するシステムなどがこの対話的タスクを扱うシステムの典型例である．

Environment

システムと人間が相手に情報を伝達するには，データ(b) 対話的タスク

出力やアイコン，テキスト，文字，音声，表情，ジェス
第2図

チャといった何らかの表現メディアを用いて，情報を一旦人間が知覚できる表現に外化することが必要であり，人間とシステムとの情報伝達は，両者がそれぞれ，情報なアプローチの１つとして，人間とシステム間に新たに適応のためのインタラクションを導入し，これを利用しをこのような表現メディアを用いて外化する一方，そのて LSE ，LHE を実現する方法が考えられる．このよう外化結果を観測，解釈することで実現される．

な，人間とシステムの適応を促進するために新たに導入

このときの外化された表現メディアを一種の環境とみされたインタラクションにおける，人間からシステム，なして E に含めると，人間 H あるいはシステム S が表システムから人間への情報の流れをそれぞれ IHS ，ISH

現メディアを用いて情報を表現・獲得する過程も，それぞれ E と H ，S との間のインタラクション IEH ，IHE ，IES ，ISE で表すことができ，第 1 図 (b) のような関係となる．ここで，LHE ，LSE はそれぞれ，このようなタで表すと，自律的タスク，対話的タスクそれぞれにおける人間，システム，環境の関係は，第 2 図のように表現できる．
この適応のためのインタラクションの導入によってスクを実現する際の人間の環境への適応と，システムのLSE ，LHE をどの程度効果的，効率的に実現できるか環境への適応を表わす．
以上のように，環境の役割を広義に捉えることにより，システムによるタスク実行のためのインタラクションは，自律的タスク，対話的タスクを問わず，環境，人間，システムとの間の 4 つのインタラクション IEH ，IES ，IHE ，ISE を要素としてモデル化できる．

3.

適応のための HCI 設計

は，IHS ，ISH でどのような情報がやりとりされるかによって決まる．なお，より厳密には，IHS ，ISH も，やはり何らかの環境を介して実現される必要があり，適応のためのインタラクション IHE ，IEH ，ISE ，IES と，その実現の際のユーザとシステムによる環境への適応

LSE ，LHE から構成されることになる．したがって，も適応のためのインタラクション

しこれが繰り返されれば，適応のためのインタラクションがカスケードに積層し，例えば第 2 図 (b) は，第 3 図

自律タスク，対話的タスク双方において，システムにのようになる．図ではこの段数を右肩の添字で示していおける環境への適応 LSE の実現を目指す研究では，従1111
る．しかし，本論文のように，IHE，IEH，ISE，IES

来，システムが環境とのインタラクション ISE , IES のみを通じて自律的に適応することが目標とされてきたが，そのような自律的適応の実現は容易ではない．

によって L0SE ，L0HE の促進を目指す場合には，むしろ，L1SE ，L1HE が不要で，かつユーザとシステムのコミュニケーションにおいてやり取りされる情報に対する解釈のこれらの問題を解決するためのもっとも有効かつ現実

111
1違いがない，つまり IHE=IES，ISE=IEH
である状況–2–199

山田・角所：
Human
1IEH

1IHE

がジョイスティックで直接教示することにより，一般にSystem

1LHE

1LSE

0LHE

0LSE

は非常に効率の悪い進化ロボティクスによる学習の高速
1
IES

1ISE化を実現している [5]．ロボットは，教師の教示をクラシファイアとして取り込み，学習に役立てる．この場合のロボットのタスクは，障害物回避を含む自律移動であり，第 2 図 (a) の構成要素は，それぞれ以下のようになる．

0IHE

0IES

0IEH

0ISE

• E ：ロボットのワークスペース．
• IES ：ロボットのセンサによる情報の獲得．
• ISE ：ロボットのアクチュエータによる行為．
• LSE ：クラシファイアシステムによるロボット（シEnvironment

第3図IHS と ISH の環境ステム）の環境への適応．

この研究において，適応のための HCI 設計の対象としを実現すべきであるため，以下では，これを簡略化したて考慮されているのは，IHS ，ISH の両方であるが，片第 2 図の構成を元に論を展開していく．

上らは，IHS をジョイスティックによるロボットの直接また，IHS ，ISH によって LSE ，LHE を促進できたと操作として固定し，残る ISH について，以下に示すようしても，その際の人間の負担が大きすぎる場合には，そな 2 つの設計方法について，その LSE への効果を実験的のようなインタラクションは LSE ，LHE を実現できるに比較している．

メリットに見合わないものとなることから，IHS ，ISH

• 学習者の視点：ロボットの得るセンサ情報と同じものを人間の教師も見て (ISH =IES )，環境の情報をの導入にあたっては，この点も併せて考慮に入れる必要がある．

獲得し，教示を行う．ロボットのセンサ情報を表示

以上から，システムのタスク実行における人間，シスするインタフェース (第 4 図) を通して教示がなさ

テムの適応を実現するには，機械学習としての学習・適れる．

応アルゴリズム自体の議論もさることながら，それを実• 教師の視点：人間は鳥瞰的に環境を見て，環境の情報を獲得する．第 5 図のような環境全体を見渡せる現するためのインタラクション IHS ，ISH をいかに設計するかがより重要な研究課題となる．我々は，このよう視点から教示がなされる．

な IHS ，ISH の設計問題を，適応のための HCI 設計と比較実験の結果，学習者の視点による教示の方が，ク呼ぶ．

ラシファイアシステムの学習効率がよかった．これは，適応のための HCI 設計のクラスは，タスクが 2. の自学習者の視点の方が教師の視点よりもロボットの環境認

律的タスク，対話的タスクのいずれであるかにより分類識能力とのギャップが少なく，そのためより適切なクラされる．また，タスクに対して IHS ，ISH を設計する際シファイアが学習でき，結果としてロボットの適応 LSEに，それらによって LHE ，LSE のいずれを促進するかの効率がよくなったと考えられる．一方，人間にとっての違いがある．次節では，このような分類に基づき，適は，教師の視点の方が，自然に環境を認識できるために応のためのインタラクション設計について，重要と考え認知的負荷が少ないが，学習者の視点に対しても，多少られる研究例を示しつつ議論する．の負荷はかかるものの，人間はそれに対し十分に早く適4.

応している．

自律的タスクにおける適応の促進

片上らの研究は，この人間の特性を上手く利用して，自律的タスクにおける適応のためのインタラクション

換言すると，人間の高度な適応能力に頼って，エージェの枠組みは，第 2 図 (a) のようになる．ここでの適応のントの適応 LSE の効率化をはかるためのインタラクショための HCI 設計の目的は，LSE の促進である．

ンを設計した一例となっている．このように，対話的シこれに関する代表的な従来研究としては，ロボットにステムである以上は，ユーザに過度の認知的負荷を与え物体操作タスク等のための行動モデルを獲得させるためない範囲であれば，人間の適応能力を最大限有効に利用に，人間の実演による教示を利用しようという試みがあすることが重要である．

る [3][8]．これらの研究は，人間の実演に基づくロボッ

対話的タスクにおける適応の促進

ト側の学習手法自体を議論するものであるが，さらに，5.

人間とロボット間のインタラクションの設計指針にまで対話的タスクにおける適応のための HCI 設計は，前踏み込んだ研究として，対話的進化ロボティクスにおけ述の第 2 図 (b) のように表現される．これに関する研究

る教示の視点の効果について議論した片上らの研究があは，人間，システムのどちらの適応に焦点を当てているる [5]．

かによって，いくつかの種類に分けることができる．

この研究では，クラシファイアシステムにより行動学習を行う移動ロボットに対し，次に取るべき行為を人間–3–

200

システム/制御/情報 第 47 巻 第 4 号

第6図
第4図

(2003)

ユーザ表情とエージェント表情の対応関係

ロボットと同じ視点：ISH =IES

このとき，適応のための HCI 設計の対象として，IHS ，ISH の両方が考慮されるべきであるが，これまでの多くのソフトウエアエージェントの研究では，IHS を使わず，主に人間がシステムのアドバイスを受け入れるように適
応 LHE できるには，ISH としてどのような情報を与えればいいかの議論がされてきた．このために有効な ISHの 1 つがエージェントの擬人化であり，人間に近い外見，ジェスチャ，感情的表情などを ISH として導入することにより，エージェントをあたかも自我をもつ人間のように感じさせ，人間との間に信頼関係を築こうとする試みがなされている [1]．

5.2
第5図

システムの適応の支援

上のように，人間の適応のためにシステムの擬人化を教師の視点考える場合，そのようなシステムをさらに人間に適応さ5.1

せるための HCI 設計に関する研究例として，ユーザの人間の適応の促進

対話的タスクにおける人間の適応 LHE のための HCI

実表情を擬人化エージェントの合成表情で置換する処理設計の例として，擬人化エージェント（life-like agent）

を，ユーザとのインタラクションを通じてユーザの要求がある．擬人化エージェントは，MicroSoft Agent にに適応させるという近藤らの試みがある [7]．これは以下代表されるように，ユーザのソフトウエア操作や Webのようなタスクとなり，擬人化エージェントを介したコショッピングでのデータ入力を支援する目的で数多く開

ミュニケーションや CG キャラクタの表情生成などの際に必要となるため，この中の IES ，ISE を実現する手法

発されている [4]．

が表情認識の分野で多数提案されている．なお，このタ

これらのシステム（エージェント）の多くは，環境へスクでは，IEH は必要ない．の適応能力 LSE を持たない．システム，人間，環境間の• E ：ユーザ，エージェントそれぞれの顔．
• IHE ：ユーザによる表情の表出．
• IES ：ユーザの顔の観測による表情特徴の抽出．
• ISE ：エージェントの表情の合成と表出．
近藤らは，このような IES ，ISE に加え，さらにユーザインタラクション IEH , IHE ，IES ，ISE ，は，支援対象となるソフトウエアによって決まる．Web のオンラインショッピングの情報入力をユーザに支援するソフトウエ
アエージェントの場合，各要素は以下のようになる．

• E ：オンラインショッピングの Web サイト．
• IEH：Web ページ自体からの情報獲得と ISE によりの表情とエージェントの表情の対応関係をユーザの要求• IHE ：ユーザによる商品名，個数，支払い方法等の基づく事例ベース学習によって実現している（第 6 図）．に適応させるための LSE を，以下のような ISH ，IHS に提供される情報の獲得．

• ISH ：合成されたエージェントの表情のフィード

情報の入力．

• IES ：IHE により提供される情報とユーザプロファバック．

ドバイス（次に入力すべき情報の指示，バルーンヘ• IHS ：GUI によるエージェントの表情の修正．
擬人化されたシステムにおける LSE の実現のために，本来のタスクとは別の IHS ，ISH を導入している他の研ルプなど）の提示．

究例として，ペットロボットや自律型キャラクタによるイルなどの付加情報の獲得．

• ISE ：システムからユーザへの情報入力に関するア

–4–

201

山田・角所：

 !"#$% &('*)+,.

• E：相手の表情を表現する表現メディア（相手の顔）．
• IEH ：エージェントの表情の観測．
• IHE ：人間の表情の表出．
• LHE ：人間によるエージェントのマインドマッピン

    

第7図

グの学習．

• IES ：人間の表情の観測．
• ISE ：エージェントの表情の表出．
• LSE ：エージェントによる人間のマインドマッピン

マインドマッピングの相互適応と相互読心ゲーム

グの学習．

この研究では，2 つの適応 LSE ，LHE の両方を促進させるための HCI 設計として，相互読心ゲームという，お互いが相手の表情からマインドを当て合う一種の協調ゲームを設計している．第 8 図に，そのゲームにおいて人間がエージェントのマインドを当る場合のインタフェースのスナップショットを示す．このようなシステ
ムにより，システムと人間の適応がスムーズに実現されることを調べる実験が行われている [10]．
人間同士の相互適応を試みた研究例としては，テレビゲームのスキル学習における人間の教師と学習者の相互適応の研究 [6] などがあるが，人間とシステムの相互適応を促進するためのインタラクション設計に関する研究は少なく，今後の研究の進展が期待される分野である．

6.

まとめ

本稿では，HCI において人間とシステムの適応を促進
第8図

相互読心ゲーム（人間が相手のマインドを当る番）するためのインタラクション設計について議論した．人間はインタラクションの対象に適応する性質を持ってい物語の実演タスクにおいて，ユーザが適切な演技を，体る一方，システムにおいても適応機能は重要である．しに位置センサを装着して実演することによって教示し，かし，このような適応を独立かつ自律的に実現することその動作を子供のリハビリテーションに利用する試み [9]は一般に困難であることから，人間，システムの適応をや，ユーザがシーン中の物体を直接操作したり，個々の促進するための新たなインタラクション−適応のためのキャラクタに行動内容を言葉で指示できるようにする試インタラクション−の導入を提案した．また，自律的タ

み [2] 等がある．

スク，対話的タスクという 2 種類のタスクの分類に基づいて，それぞれのタスクにおける適応のためのインタラ

5.3システムと人間の相互適応の支援
ここまで紹介した研究は，適応のための HCI 設計におクションの具体的な研究例を挙げ，それぞれにおけるインタラクションのバリエーションやその利用法の紹介をいて，システム側あるいは人間側の一方の適応を考慮し通じて，適応のためのインタラクション設計の問題に関ているが，相互に適応する場合を扱っていない．これに対して，人間とシステムの相互適応を試みたものとして，する研究の現状と課題を述べた．

謝

山田らの研究 [10] がある．この研究では，擬人化エー辞

ジェントシステムと人間が対話的タスクを扱う場合に必要な自然なコミュニケーションを実現するには，お互い日頃本稿の内容に関連する研究の議論に参加頂いていが相手の表情からマインドと呼ばれる内部状態（“忙しる I∆EA(Interaction DEsign for Adaptation) 研究会い”，“暇である” など）を推定できるように相互適応すのメンバに感謝します．

る必要があるというマインドマッピングの相互適応問題

参 考 文 献（第 7 図）を提案している．この相互適応において，システムはカメラで人間の表情を観測し，それを事例として人間のマインドマッピングの学習を行う一方，人間は自由にエージェントのマインドマッピングの学習を行う．
この相互適応を構成する要素は以下のようになる．

–5–[1] E. André, T. Rist, and J. Müller. Webpersona: A
life-like presentation agent for the world-wide web.
Knowledge-Based Systems, Vol. 11, No. 1, pp. 25–36,
1998.
[2] M. Cavazza, F. Charles, and S. J. Mead. Interacting202

システム/制御/情報 第 47 巻 第 4 号(2003)

Technologies, pp. 50–55, 2000.
[10] S. Yamada and T. Yamaguchi. Mutual learning ofmind reading between a human and a life-like agent.
In The Fifth Pacific Rim International Workshop on
Multi-Agents, pp. 138–150, 2002.

with virtual characters in interactive storytelling. InProc. of First International Joint Conference on Autonomous Agents and Multi-Agent Systems, pp. 318–325, 2002.
[3] K. Ikeuchi and T. Suehiro. Towards an assembly planfrom observation part i: Task recognition with polyhedral objects. IEEE Trans. on Robotics and Automation, Vol. 10, pp. 368–385, 1994.
[4] 石塚満. マルチモーダル擬人化エージェントシステム. シ
ステム/制御/情報, Vol. 44, No. 3, pp. 128–135, 2000.
[5] D. Katagami and S. Yamada. Interactive evolutionary roboticsnfrom different viewpoints of observation. In Proceedings of the 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems,
pp. 1108–1113, 2002.
[6] T. Komatsu, K. Suzuki, K. Ueda, K. Hiraki, andN. Oka. Mutual adaptive meaning acquisition byparalanguage information: Experimental analysis ofcommunication establishing process. In The Proceedings of the 24th Annual Meeting of the Cognitive Science Society, pp. 548–553, 2002.
[7] 近藤崇, 角所考, 美濃導彦. 対話的に獲得される事例に基づく行為者指向の顔メディア変換. システム制御情報学会論文誌, Vol. 14, pp. 308–315, 2000.
[8] Y. Kuniyoshi, M. Inaba, and H. Inoue. Learning
by watching: Extracting reusable task knowledge
from visual observation of human performance. IEEETrans. on Robotics and Automation, Vol. 10, pp. 799–822, 1994.
[9] C. Plaisant, A. Druin, C. Lathan, K. Dakehane,
K. Edwards, J. Vice, and J. Montemayor. A storytelling robot for pediatric rehabilitation. In Proc.
of 4th International ACM Conference on Assistive

著 者 略 歴やまだ山 田せい

じ誠 二 (非会員)1960 年 10 月 11 日生．1984 年大阪大学
基礎工学部卒業．1989 年同大学院博士課
程修了．博士（工学）．同年大阪大学基礎工学部助手．1991 年同大学産業科学研究所講師．1996 年東京工業大学大学院総合理工学研究科助教授．2002 年国立情報学研究所教授，現在にいたる．工学博士．人工知能，特に，知的 Web，ヒューマンエージェントインタラクションに興味をもつ．情報処理学会，日本ロボット学会，電子情報通信学会，AAAI, IEEE, ACM 各会員．
かく しょこう角 所

考 (正会員)1964 年 6 月 3 日生．1988 年名大・工・電気卒，1993 年阪大大学院工学研究科通信工学専攻博士課程了．1992〜1994 日本学術振興会特別研究員，1993〜1994 スタン
フォード大ロボティクス研究所客員研究員，1994 年阪大産業科学研究所助手，1997 年

京大総合情報メディアセンター助教授，2002 年同学術情報メディアセンター助教授．博士（工学）．視覚メディアを介した人間−計算機間のコミュニケーションの実現に関する研究に従事．IEEE，ACM，電子情報通信学会，情報処理学会，人工知能学会，システム制御情報学会各会員．

–6–