\GazeToTalk":

メタコミュニケーション能力を持つ非言語メッセージ利用インタフェース○知野 哲朗

福井 和広

山口 修

鈴木 薫

田中 克己

fchino,fki,osamu,suzuki,tanakag@krl.toshiba.co.jp(株) 東芝 関西研究所〒 658-0015 兵庫県神戸市東灘区本山南町 8-6-26

本稿では、視線検出技術、音声認識技術、および擬人化エージェント CG技術によって、ユーザとシステムとの間の自然なインタラクションを可能とす
る \GazeToTalk"システムを提案する。本システムでは、まず、視覚情報処理によって擬人化エージェントへのユーザの注視を検出し、ユーザの音声入力意図を認識する。このユーザからの注視に対して、フィードバックとして、擬人化エージェントの顔表情およびジェスチャを提示することで、ユーザとシステムの間でのアイコンタクトを実現した。さらに、このアイコンタクトの成立状態に応じて音声入力を制御し、ユーザが入力を意図した音声だけに適切に反応し、周囲雑音や入力を意図しない音声による誤動作を起こさないインタフェースを実現した。また、システムの試用実験によって、非言語メッセージをその社会的機能に着目して活用することが、 HI のユーザビリティ向上への有益はアプローチであることを確認した。

\GazeToTalk":
A Non-verbal Interface System with Speech Recognition,
Gaze Detection, and Agent CG Output.

Tetsuro CHINO

Kazuhiro FUKUIKaoru SUZUKI

Osamu YAMAGUCHI

Katsumi TANAKA

Toshiba Kansai Research Laboratories
8-6-26 Motoyama-Minami-Cho Higashinada-Ku
Kobe, 658-0015, JAPANIn this paper, we propose a new human interface system named\Gaze-ToTalk"that is implemented by vision based gaze detection, acoustic
speech recognition, and animated human-like agent CG with facial expressions and gestures. A natural interaction by vioce and non-verbal messages
without use's consious operation in real environment is realized.

1

1

はじめに達状態の通知、確認、あるいは問い返しなど、通信路の確立、維持、解除などが実現されてい[Bolt80] など、 80 年代初頭頃から開始されたると考えられる。こういったメタコミュニケー

マルチモーダルインタフェース研究は、近年のションは、対話能力の中で大きくかつ本質的な音声・画像情報の認識・生成技術の進展と、 PostGUI としての期待の高まりにより活発化し、部分を占めるものであり、そこでは非言語メッセージ [Vargas87]2 が重要な役割を担ってい今までにも数多くの試作システムが開発されてる。ところが、従来のインタフェースでは、例いる [Maybury93]。しかし、その多くは、主にえばユーザとシステムとのインタラクションのマルチモーダル入力された参照表現の照応解決

開始、中断、あるいは終了などは、 a priori と[Kobsa86, Koons93] や、その生成 [Wahlster91]され、メタコミュニケーションに関してまで考などを課題とし、マルチモーダル入力の統合あ慮されたものはほとんど無かった3 。

るいは生成に関心を置くものであって、ユーザ

本研究では、このメタコミュニケーション能との自然なインタラクションの実現には至って力の欠如こそが、現在のヒューマンインタフェーいない。

スの重大な問題点であるとの立場を取る。そしまた、 Post-GUI 実現へのもう一つの有力なて、ユーザとのインタラクションに於いて、非アプローチとして、 [Apple87] などに端を発す言語メッセージを積極的に活用することにより、る擬人化エージェント技術を挙げることが出来HI にメタコミュニケーション能力を与えることる。これは、 (1) 表現力が高く、 (2) より自然でで、自然でより使いやすいインタフェースの実あり、 (3) アプリケーションも広い、といった現を目指すものである。

特徴を持つ [Wahlster97]。そのため、ユーザとの自然なインタラクションの実現に大きく寄与

3

し、また、マルチモーダリティを HI に導入する意義を与えるものでもある。

\GazeToTalk"システム
従来の音声インタフェースの大きな問題点のこれまでも擬人化インタフェース技術を用い一つに、「誰に向かって話されているのかが分た様々なシステム [竹林 94] [神尾 94] [鈴木 96]からない」ことが挙げられる。そのため、シス[知野 97,河野 98] を開発し、研究を進めてきテムへの入力を意図していない発声 (e:g: ユー

た。本研究は、この流れに沿ったものであり、ザの隣にいる人に対する発声, 一人言) や、ある非言語メッセージの活用によって、次節で説明

いは周囲雑音などによって誤動作が発生してしするメタコミュニケーション能力を実現した新まっていた。これはメタコミュニケーション能しいインタフェースを提案する。

力の欠如の一つであると言える。
他方、音声入力の受け付け可否を、従来の Push-

2

To-Talk 方式4 の様に、例えばボタンやマウス操

メタコミュニケーション作などによってユーザに制御させる様にすると、メタコミュニケーションとは、「コミュニケー (1) 非接触、 (2)hand-busy 時にも使用可などとションを成立させるためのコミュニケーション」

2 コミュニケーションに於いて授受されるメッセージの内を意味する [黒川 94]1 。人間同士の対話では、あで文字として書き表せないものの総称。アクセント、イントネーションといった韻律から、表情、身振り、姿勢、さらにいづちや、うなずき、視線一致などによって、会話の開始や発話交替、あるいは話者聴者といっ年齢や、服装までもが含まれる。
3 音声認識技術の問題点を、 HI への応用を含んで広く検た役割の認識がなされたり、あるいは情報の伝討した [嵯峨山 94] においても、この観点の指摘はなされてい1 メタコミュニケーションには、ゲームのルール説明や機ない。
4 ボタン等を押すなどユーザの身体的な操作によって音声器の操作方法の説明などを指す場合もある [Yvonne89]。

入力を可能とする方式。

2

いった、音声メディアの本来の利点をスポイル得られる情報に基づいて各モジュールを制御し、してしまうことになる。

エージェント CG 表示モジュールは、エージェ

そこで、本研究では、画像処理による視線検ントの表情および身振りを動画像として生成出技術と、エージェント CG 技術5 を用い、 (1)し、ディスプレイを通じてユーザに提示する。

画面上の擬人化エージェントに対するユーザの続いて、各モジュールの概要を説明する。

注視を検知し、 (2) エージェントの表情によってユーザへフィードバックを返すことで、 (3)3.1

ユーザとシステムとのアイコンタクトを実現し、このアイコンタクトによって (4) 音声入力の受

視線検出モジュール本視線検出モジュールは、リアルタイムでユー付可否を制御する \GazeToTalk"システムをザ注視位置の検出を行なう。ここでは、カメラ開発した。図 1は、本システムの内部構成を示しから逐次得られる動画像に対する画像処理 [福井 97]ており、また図 2は、本システムの使用の様子とを拡張した処理が行なわれ、 (1) 画像からの顔画面例を表している。

領域の抽出および位置トラッキングによるユーザ検出と、 (2) 目鼻等の部品領域候補の同定および目周辺のパターン情報の照合による注視位置の判定を行なっっている。本モジュールでの認識処理はソフトウェアのみによって実現されており、ディスプレイ面 9 分割の分解能での高速 (Indy R5000 180MHz 使用で 5 回 /sec) な視線検出を実現している。
さらに本モジュールは、画面特定領域への注

図 1: \GazeToTalk"システムの内部構成視の他、ユーザの到来 / 離脱の検出や、ユーザの視線が画面上のエージェント以外の不特定領域内を推移している状態である " 非注視状態 "の検出なども行なう。

この非注視状態は、ユーザが本システムを使用中ではあるが、例えば画面上の他のアプリケーションを操作中であって音声入力を意図していない状態であることを検(a)出するために利用している。

(b)

図 2: システム使用の様子 (a) と画面例 (b)3.2

音声認識モジュール

図 2(a) に於いて、ディスプレイ前下部に設置

今回のシステムでは、音声入力の受け付けのされているのがカメラであり、ここから得られ可否の制御に注目しているため、音声認識モジューる動画像情報が視線検出モジュールに渡される。 ルには、 PC 上で動作するオーソドックスな不またユーザの装着しているマイクからの音声信 特定話者対応の音声認識 [金沢 96] を用いた。認号は、音声認識モジュールへと渡され認識処理

識対象語彙は、あらかじめ用意した語彙セットされる。制御モジュールは、各モジュールからの中から、その時点でアクティブなアプリケー

HI の窓口として擬人化されたキャラクターを CG で生ションに対応して随時自動的に設定され、音声5コマンドとして認識できるようにしている。

成し利用する技術を、こう呼ぶこととする。

3

3.3

エージェント CG 表示モジュール

3.4

制御モジュール

制御モジュールの指示に基づき、男女 2 体の本システムのようなマルチモーダルシステム

エージェントの身振りを伴う多彩な表情をアニの制御では、 (1) 複数の経路から非同期に入力メーションで提示する (現在, 男女各 15 種類)。

がなされ、 (2) 複数の制御対象を同時に制御す

図 3,4にその画面イメージの抜粋を示した。

る必要がある。また、今回注目している非言語メッセージの特徴の一つとしては、意図を瞬時に伝達可能であることを挙げることが出来る。
そのため、 (3) レスポンス (タイミング) がシス

NORMAL

HAPPY

PARDON

SORRY

テム全体のクリティカルな要因の一つとなる。

BOW

以上の要件から、本システムの制御モジュール

図 3: 女性エージェントの画面イメージ (抜粋)の基盤として、新たにタイムアウト付きの FSM(Finite State Machine) を開発した。
3.4.1

NORMAL

HAPPY

PARDON

SORRY

タイムアウト付き FSM

タイムアウト付き FSM は、ステートの集合、BOW

通常アークの集合、およびタイムアウトアーク

図 4: 男性エージェントの画面イメージ (抜粋)の集合から構成される。ステートおよび通常アー
クに関しては、従来の FSM と同様である。各タ

本モジュールは、 OpenGL を用いて実装されイムアウトアークにはタイムアウト時間と出力ており、 PC 上で 3D Graphics をリアルタイ記号が情報として付与されている。また、各ス

ム生成している6 。また、エージェントの表示位テートは高々 1 つのタイムアウトアークの始点置、サイズおよび表示状態も制御モジュールかとなり得る。

ら制御可能としている。
ここでは、ユーザに対して、非言語メッセー
ジとしての \ 表情 " が提示されるが、そのタイミング (レスポンス) はシステム全体の効果および使用感に重大な影響を与える。しかし、本モジュールが実行される計算機の負荷状態の変動は避けることが出来ない。そこで本システム
では、エージェント CG の制御命令の時間的粒度を、各時点における計算機の負荷状態に応じて随時制御するこによって、常時安定した表情

図 5: タイムアウト付き FSM の例の提示を可能としている。また、本機構はエージェントモジュール単独での、専用高速 GWS

タイムアウトアークの機能の概要は以下の通等パフォーマンスの異なる機械でのクロスプラッ

St を始点とするタイムアウ
ニング等を可能し、システムの開発効率向上に トアーク At が存在し、 FSM が、 St に推移した時点から他の状態に遷移することなく At のタも寄与した。
イムアウト時間が経過した場合に、 At の出力記
6 PC(PentiumPRO 200MHz,Windows-NT) で 8fps、アクセラレータボード追加で 24fps の速度のアニメーション 号を出力し、 At の終点のステートに推移する様りである。ある状態トフォーム開発や表情提示タイミングのチュー構成した。

を提示可能。

4

3.4.2

制御フロー

ユーザが画面の他領域へ視線を移すなどして非抽出が検出されると、 Se へ推移し、音声認識

タイムアウト付き FSM の各アークの入力記が停止され、エージェントが視線を逸す表情が号に、ユーザ注視 / 非注視検出、ユーザ到来 /提示され、さらに t5 後通常状態 (Sa ) へ復帰す離脱検出など、本システムが検知可能な事象をる。

割り振り、出力記号に、音声認識開始 / 停止、

なお、現時点の試作システムの制御フローの視線検出要求、あるいはうなづき表情提示など、全体の規模は、図 7に示した通りである。

各モジュールへの制御信号のリストを付与することによって、本システムの制御フローを表現し、これに基づいて制御モジュールが動作するよう構成した。
図 6は、制御フロー (抜粋) の概要を表している。システムは、通常右端のステート Sa にあり、ここを始終点とするループ状のタイムアウトアークにより t1 毎に注視検出要求を行なう。

図 7: 制御フロー全体概要

ここで、ユーザのエージェントへの注視を検出すると、 Sb への遷移が発生し、音声認識が開始されるとともに、ユーザに対するフィードバッ

本制御フローに基づく処理によって、例えばクとして、 \ 眉間の閃き "[黒川 94] と呼ばれる

視線検出モジュールへの視線検出要求は、図 6お表情が提示される。

よび図 7の濃い色で示されたステートに於いてのみ出力される。また音声認識処理も、音声受付けが必要な極限られた数のステートにある間だけ起動されるため、各認識処理の負荷は必要最小限に押えられている。

4考察

4.1

検討

従来のシステムでは、視線検出技術は、例えばユーザの注意対象領域の推定に使われる程度

図 6: 制御フロー (抜粋)であった。また、擬人化エージェントも、喜びや悲しみといった感情の表現、あるいは指し示

その後、周辺雑音レベルに基づく音声検出パ

しジェスチャなど、実際にはシンボリックな意

ラメータの設定が行なわれた後、タイムアウト

味の明示的表現手段と一つとして使われることにより、 Sc への遷移が起こり、耳に手をかざしが多かった。会話における非言語メッセージのたエージェントの身振りによって、音声受け付役割 (社会的機能) について言及している研究とけ状態であることが伝えられる。その後、ユー

しては、 [Cassell98] を挙げることが出来る。しザのエージェントへの注視が検出される度に、かし、そこでの論議は、計算機上でシミュレー

Sc -Sd 間のループによって、ユーザへうなづきトされたソフトウェアエージェント同士の会話の表情が提示され、通信路が維持されているこに限定されており、実際の非言語メッセージをとがユーザにフィードバックされる。その後、認識する能力を持つものではなく、かつ実時間5動作も不可能であって、人間とのインタラクショ4.2

知見ンを行なうことが出来るものではない。
本システムの試用によって以下の知見を得た。

これに対し、本研究では、実働するヒューマ

まず、本システムでは、ユーザが他の人物とンインタフェースシステムに於いて、視線、表(音声で) 対話している途中であっても、自然に情、および身振りといった非言語メッセージを、システムへの音声入力を行なうことが出来た。

ユーザとの通信路の確立、維持などといったメつまり、ユーザが、例えば他の人物へことばでタコミュニケーションに利用している。つまり、説明を行なうなど、システムへの入力以外の意

非言語メッセージの社会的な機能に着目した利図で音声を使っている状態で、本システムへの用を行なっていることが、本研究の一つの特徴

音声入力が必要になった時に、説明相手であるである。

人物の顔からエージェント

非言語メッセージの社会的機能は、通常人間CG へ視線を移すことで、特別な切替え操作無しで、音声コマンド同士の会話では、無意識的に利用され効果を発入力によるアプリケーション操作を行なうこと揮している。そのため、これを適切にインタフェーが出来た。また、本システムでは、ユーザが他スに組み込むことは有益であるだけでなく、その人物と音声で相談しながらワードプロセッサのシステムを利用するユーザにとって、認知的を利用した キーボード入力
ソフト
コスト増加をほとんど生せず、かつ学習不要でによる 文書作成を行なっている状態で、ユーザあるという利点を持つ。
がエージェントを注視し音声コマンドを発声す
さらに、擬人化インタフェースに対しては、ることで、作業を中断することなく、表示形式の主張する以下の性質がよりの変更などを行なうことが出来た。
強くなり、この性質への対応能力の欠如は、そこれらは、従来の音声インタフェースでは不のままそのインタフェースの重大な欠点となる。
可能であったことであるが、実際の使用状況で(MS Word))([Reeves&Nass96]

ユーザはシステムに対して社会的ルールはよく起こり得る状況であると考えられるたを無意識的、自動的に適応し、かつシスめ、本システムの有用性を表すものであると考テムが社会的であることを期待する。

えられる。

[Reeves&Nass96]

また、オフィスなど、断続的な周囲雑音のあつまり、擬人化エージェントを用いた

HI の らって、エージェントを注視することで、余分る状況下では、ユーザが雑音の少ない時を見計

社会的能力は、むしろ必須の要件である。そしな操作無しで適切に音声入力を行なうことが出て、本システムは、その社会性の一部を実現し来た。また、ユーザがシステムに対して音声入たものであると言える。

力を行なっている間に、例えば他の人物がユー実現上の観点からは、本システムは、視線検出、音声認識、およびザに近付いてきたり、あるいは話しかけるなど3D-CG 生成と言った処 してきた場合にも、ユーザがその人物の方向を理負荷の高いモジュールを複数利用して実現し向くだけで、自動的に音声入力の受付が停止さているが、図 および図 に示したように必要最れ、その人物との対話のための発話によるシス小限の状況だけで各モジュールを動作させていテムの誤動作を回避することが出来た。さらに、るため、全体の処理負荷を小さく押えることにその人物との会話が終了した時点で、ユーザが成功している。

エージェントの方向を向き直すことで、特別な

6

7

なお、本技術の応用先としては、駅務端末や、エンタテイメント/ 金融 操作なしでシステム音声入力を再開すること/ エデュテイメント ができたなど、本システムの有用性が確認され領域などが想定できる。

た。

6

4.3

5

主張おわりに著者らが重要であると考えているのは、「相本稿では、試作した \GazeToTalk"システ

手に喋りかける時は相手に視線を向け、受け手ムについて報告した。また、その試用によって、がその意図を受け入れる場合には表情によって自然で使いやすい HI 実現という目標に対し、フィードバックを返すこと」が、人間同士の対非言語メッセージを活用し、メタコミュニケー話の場合と同じであって、社会的コンセンサスション能力を適切に実装していくことが、有望のとれたルールに沿った、「非言語メッセージなアプローチであることを確認した。

によるメタコミュニケーション能力を実現して今後、メタコミュニケーション機能の解明をいる」といえる点である。

図るとともに、活用する非言語メッセージの拡大によって、本研究を進める。

つまり、本研究の主張は、以下の通りまとめることができる。

参考文献(無意識の行動による) 非言語メッセー[Bolt80]

ジを、メタコミュニケーションという

R.A.Bolt, "Put-That-There": Voiceand Gesture at the Graph-

観点から、状況に応じて的確に解釈 /利用することで、自然で、円滑で、かics Interface, Computer Graph-

つユーザの負担増加を起こさない新しics,14(3), pp.262-270, 1980.

いインタフェースを実現出来る。

[Kobsa86]

Kobsa,A., Combining DeicticGestures and Natural Language

今後、この方針に基づく新しい HI の実現を目

for Referent Identi caiton, ACL,指す。

Proc.of COLING86, pp.356-361,

1986.
4.4

課題

[Apple87]

Apple, The Knowledge Navigator, (Concept Video), 1987.

まず、本システムの試用によって明らかとなった現状システム固有の問題点としては、「行な[Vargas87]

う作業の種類によっては、画面上の作業領域とバーカス,非言語コミュニケー

ション, 新潮選書, 1987.

エージェント CG の表示領域の空間的配置に起[Yvonne89]

因してインタラクションに不自然さが発生し得

W.Yvonne, 植草訳, Cognitive As-ること」などを、挙げることが出来る。試用か

pects of Computer Supported

ら判明するこういった問題点については、今後

Tasks, (人とコンピュータのサさらなる検討を行なう予定である。

イコロジー), John Wiley&Sons

本システムの一般的課題としては、 (1) 各認

Ltd.,(BNN), 1989,(1991).

識モジュールのロバスト化、 (2) ダウンサイジ[Wahlster91] W.Wahlster, Designing Illust-ングなどが挙げられる。また、視線に反応する

lated Texts: How Language Pro-

擬人化エージェントは、システムへの親しみやduction is In uenced by Graph-

すさをもたらし、計算機システム利用へのバリ

ics Generation, Proc. of EACL'91,

アを軽減する効果が期待される。そして、本シ

1991.

ステムを動作を見た一般者の反応からもそれが[Koons93]推察されたが、こういった HI の効果の (3) 定量Koons, D.B., Sparrell, C.J.,
Rhorisson, K.R., Integrating si-的評価も大きな課題として挙げられる。

7

multaneous input from speech,gaze, and hand gestures, In
Maybury, M.T. (ed), Intelligent[長尾 96]
Multimedia Interfaces, pp.267276, 1993.

Rachel の試作 (1)-, IPSJ-SIGHI, 69-1, 1996.
ス,
作る, 認知科学モノグラフ (2), 共立出版, 1996.
長尾 インタラクティブな環境を[Maybury93] Maybury, M.T., Intelligent Mul- [Wahlster97] W.Wahlster, E.Andre, Intellitimedia Interfaces, The AAAIgent Multimedia Interface Agents,
Press/MIT-Press, 1993.
IJCAI-97, Tutorial, (SP1), 1997.
[神尾 94][黒川 94], マルチモーダル対 [知野 97]
話システム MultiksDial, 信学論,Vol.J77-D-II, No.8, pp.1429-1437,
1994.
神尾,et:al:,,[福井 97]ス オーム社 ヒューマンコミュニ
ケーション工学シリーズ[嵯峨山 94][竹林 94], 1994.

, なぜ音声認識は使われないか・どうすれば使われるか?,IPSJ-SIG-SLP,94-SLP-1-4, 1994. [河野 98],
TOSUBRGII, { ユーザ中心のマルチモーダ
竹林 音声自由対話システム[鈴木 96], 山口, 福井, 田中, 倉立,松田, 人に近いインタフェースを目指して - 擬人化インタフェー,,CG 出

力を持つマルチモーダル対話試作,, IPSJ-SIG-SLP, 1997.
,

福井 山口 形状抽出とパターン照,信学論 D-II, Vol.J80-D-II, No.8,
pp.2170-2177, 1997.

, 屋野, 池田, 知野, 鈴
木, 金沢, ATMS ベースのマルチ河野モーダル入力統合方式を用いたイ, 1998.3(採録

ム 人工知能学会誌[Reeves&Nass96] B.Reeves, C.Nass, The Me- [Cassell98]
dia Equation - How People
Treat Computers, Television,and New Media Like Real People and Places, Cambridge Univ.
Press, 1996.
, 雑音免疫学習を用いたサブワード HMM に基づく 雑
音環境下での音声認識, 日本音響学会平成 8 年度春季研究発表会講演論文集,2-5-13, pp.83-84, 1996.

入力、およびエージェント,予).

{, 信学論, Vol.J77-D-II, No.8,
pp.1411-1428, 1994.

,,ンタフェースエージェントシステ

ルインタフェースの実現に向けて

金沢,合の組合せによる顔特徴点抽出

嵯峨山[金沢 96],

音声入出力、 タッチジェスチャシステム

黒川 ノンバーバルインタフェー,,

知野 河野 屋野 池田 鈴木 金沢

et:al:鈴木8

Jastine Cassell,, AnimatedConversation: Rule-based Generation of Facial Expression,
Gesture & Spoken Intonation
for Multile Conversational Agents,
in Reading in Agents, 1998.
et:al: