「インタラクション，99」 平成11年3月

自律的行動決定モデルに基づくインタラクティブキャラクタ
牛田博英 平山裕司 中嶋宏
オムロン株式会社新事業開発センタ
1．はじめに2本のマイクから入力される音声の位相差とマイク間の距離をもとに音源の座標値を計算する。

筆者らは人間と機械の新しいコミュニケーション形態として，音声や身振りなど人間にとって自然なインタフェー
スを利用し，楽しみや親しみなど精神的価値をもたらすコ

2）音声認識ミュニケーションを目指し研究を行っている。このようなコミュニケーションを実現するために，人間の心の働きを模擬する心のモデルを機械に持たせることを提案し，心理学理論に基づく自律的行動決定モデルを開発中である【11。
筆者らは，本モデルを感情を価値判断に用いる心のメカニいる。本認識エンジンでは，あらかじめ登録した文章を認
3）顔画像検出【5】ズムと，反射と熟考のプロセスを処理する意識のメカニズ

顔の特徴点の相互の位置関係を表現したグラフを照合する

米国Nuance社【4】が開発した音声認識エンジンを用いて識することができる。

ユーザの顔方向にステラの顔や視線を向けるためにCCDカメラから取り込んだ画像中からユーザの顔を検出する。

ムという2つのアプローチによって開発していることかことで顔を検出する。

ら，MaCモデル（MindandConsciousnessmodel）と呼んで

4）顔画像識別【5】いる【2】。これまで，触覚センサを中心とした入力機能を備ユーザを顔画像で識別するために前記の顔画像検出からえる仮想生物やペットロボットにMaCモデルを適用して得るグラフ形状の類似度を計算して顔画像を識別する。識別された顔画像には顔識別番号が割り当てられる。

きた［1］【2】【3】。本稿では，音声で対話できるようにMaCモデルを発展させ，さらに身振り認識や顔識別などの機能を付加して，ユーザとインタラクションするキャラクタを試作した例について報告する。

5）身振り認識【6］ユーザの意図を理解するために，時系列の画像に対して連続DPに基づくスポッティング認識を用いて8種類の身振りを認識できるようにした。

2．インタラクティブキャラクタの概要
インタラクティブキャラクタは，図1に示すように3次6）振動認識加速度センサを内蔵した指揮棒を用いて，演奏に対するユーザの指揮の振りの速さと強さを計算する。

元CGで表現された人の姿をしたキャラクタで，名前をステラと呼ぶ。ステラの目的は，ユーザの好きな音楽ジャンルの曲をユーザの指揮に合わせて演奏することであり，ス

3．2．出力機能
1）3次元CG

テラはユーザ回答に応じてユーザへの質問を変更すること

3次元CGを利用して，表情や身振りによる感情表現，音声出力と同期した口の動き，ユーザや物音に対する視線やにより，この目的を達成する方向に自律的に村話を進める。また，対話状況に応じて感情を表出することで自分の持つ価値観をユーザに伝える。ユーザの好きな音楽ジャン

顔の向きの追従動作，および楽器演奏の表現を行うことがル名を対話により獲得すると，そのジャンルの曲をMIDI

2）音声出力できる。

データを利用して演奏を開始する。演奏曲のテンポと強さをユーザの指揮に合わせて制御でき，3次元CGでステラ録音した音声ファイルを複数用意しておき，後述するMaCモデルの行動選択部で選択した音声を再生する。にキーボードを演奏させることにより，ユーザと協調して演奏しているように表現することができる。このように本

3）音楽演奏振動認識から得られる指揮の特徴をもとに，演奏する音楽のテンポと音の強さを制御する。複数の曲がMIDIデータとして保存され，対話から得られるユーザの好みとキャキャラクタでは音声など自然なインタフェースを利用すると共に，感情表出や音楽演奏を用いるコミュニケーションにより楽しみや親しみの提供を試みる。

ラクタの気分に応じた曲が選択される。
4．MaCモデル

3．キャラクタの入出力機能

MaCモデルの構成を図2に示す。図2において，楕円は3．1．入力機能

記憶モジュールを表し，長方形はタスク処理モジュールを

1）音源方向検出【3】表す。モジュール間の夫印はデータの流れる方向を示す。

キャラクタが表示されるディスプレイの左右に設置した

以下，MaCモデルの主な機能について述べる。なお，前節で説明した入力機能はMaCモデルの感覚器と認識部に，出力機能はMaCモデルの行動生成部に含まれる。
4．1．意図理解

理解部の機能は2つある。1つは，音声と身振りを入力するユーザを顔画像識別で得られる顔識別番号のユーザとみなす機能であり後述の学習で利用する。もう1つは，音声または身振りの認識結果，および音声や身振りが入力され阜直前のステラの発話をもとに，ユーザの意図を理解す区＝ キャラクタの画像例る機能である。例えば，「音楽演奏の指揮をしたいです（左から中立，喜び，困惑の各感情表現を示す）か？」というステラの質問に対して，ユーザが「はい」とAnlnteractiveCharacterbasedonanAutonomousBehaviorModel＝ 音声で答えるか，首を縦に振ると，理解部は「ユーザは指揮をしたい」と解釈して状況記述に書き込む。

HirohideUshida，YujiHirayama，HiroshiNakqjima，
NewBusinessDevelopmentDivisionHQ，OMRONCo叩Oration．

4．2．感情生成
感情生成部はステラの感情，気分，および評価型態度【7】〒617−8510長岡京市下海印寺
Phone：075−953−3880，Fax：075−952−0411を生成する。

†ushida，hirayama，nak）＠zoo．ncl．omroTl．CO．jp

ー51−

1つは，音源方向検知機能から得られる音源座標値を用いてCG合成されるステラの顔を音源方向に向けること，もう1つは，顔画像検出機能から得られるユーザの顔の位置座標を用いてステラの顔や視線をユーザの顔方向に向けることである。これら反射動作は，ステラが外界の物音やユーザに注意を払っていることを表現し，ユーザがステラを擬人化することを促進する。
5．対話例
以下にユーザ（U）とステラ（S）の村話の一例を示す。
S：「こんにちは，初めてお会いする方ですか？」
U：「いいえ」S：「それじゃあ，顔を思い出すからこっちを見てね」（顔画像識別により得る番号からユーザ情報を検索する）
S：「ネコとポップスが好きな人ね」
ユーザ／外界

U：「はい」

図2 MaCモデルの構成

S：「また来てくれて嬉しいわ」（喜びの表情と声）
S：「ご機嫌いかがですか？」

感情は状況の評価結果から直接生じる短期的な内部状態である。状況記述に書き込まれた理解部の結果をもとに目標が達成されたかを評価し，その評価結果に応じて感情がU：（無言）S：「大きな声で答えてくださいね」（困惑の表情）
S：「指揮したいですか？」

生成される。例えば，目標が達成されると喜び，紛糾すると悲しみや怒りの感情が起こる。その他に，困惑と驚きのU：（首を横に振る）
S：「指揮してくれないの？」（困惑の表情）

感情も生成する。感情は表情や音声によりユーザヘ提示さU：「します」れるほか，価値判断機構として目標設定に影響する。
気分は感情から生じる長期的な内部状態であり上機嫌，不機嫌，落胆の3種類を設けた。気分は感情と相互に影響

S：「良かった。ポップスの曲を演奏するから指揮してね」
U：（指揮棒を振る）

S：（ユーザの指揮に合わせて曲を演奏する）する。例えば，喜びと上機嫌，悲しみと落胆は，それぞれ上記の例において，初対面のユーザでない場合，顔画像識別によりユーザの顔識別番号を獲得し，ユーザ情報を検索してネコとポップスを好きなユーザであることを確認する。ユーザが確認を肯定すると再会を喜ぶ。喜ぶ理由は，以前の村話でユーザがネコとポップスを好きと答えたことで，ステラがユーザを好きになったからである。次に社交的対話として機嫌を質問する。ユーザから回答がないため困惑するが，機嫌を知ることの重要度が小さいため同じ質問を繰り返さない。最終目的である音楽演奏の指揮をしたいかという質問にユーザが首を横に振ると，身振り認識を用いてユーザ意図を否定と解釈し，ステラは「指揮してくれないの？」と質問する。演奏は重要度が大きい目標なので，ユーザが一度否定してもステラはもうー皮質間して目標の達成を試み，ユーザが同意すると以前の対話でポップス好きと知っているのでポップスの曲の演奏を開始する。

相互に促進し，喜びと落胆，悲しみと上機嫌は相互に抑制する。また気分は演奏曲の選曲に影響する。
評価型態度として，ユーザがステラの目標達成に貢献すると，そのユーザを好きになり，ユーザが目標を紛糾させると嫌いになるように設定した。評価型態度は行動に現れ，例えば好きなユーザには親しい言葉で話しかける。評

価型態度は顔識別番号と租にして長期記憶に保存される。
4．3．目標設定
MaCモデルが扱う目標には生得的目標と経験的目標がある。本研究では生得的目標をステラの願望として，ユーザは音楽好きなこと，ユーザはポップス好きなこと，ユーザはネコ好きなこと，音楽演奏することなどを与えた。これらの達成や紛糾に応じてステラが感情表出することにより，ステラの持つ願望をユーザに伝えることができる。
経験的目標は目標設定部で状況に応じて目標項目リストから選ばれる。ステラでは最終目的である音楽演奏を達成するために，必要なユーザ情報を得るための目標がユーザとの村話に応じて選ばれる。例えば，ユーザが音楽好きだ

6．おわりに筆者らが開発している自律的行動決定モデルに基づき音声対話などを行うインタラクティブキャラクタの試作について報告した。今後，過去の村話履歴を利用して行動決定する機能などを追加し本モデルを発展させていく。と答えると，演奏曲のジャンルを決めるために，「ユーザの好きな音楽ジャンルを知る」という目標を設定するのに対して，ユーザが音楽嫌いと答えると「ユーザが指揮したいかを知る」という目標を設定し，ユーザが指揮したいと参考文献

答えると「指揮したい音楽ジャンルを知る」という目標を【1］H．Ushida，YHirayama，H．Nakqiima， EmotionModelfbrLift−1ike
AgentandItsEvaluationM，Proc・OfAAAト98，PP・62−69，1998・設定する。それぞれの目標には予め異なる重要度を設計者が与えることができ，重要度により対話戦略を変更できる。行動計画部では設定した目標，理解結果，および感情【2】牛田，平山，中嶋，田島，斎藤， 心のモデルに基づくインタラ
クティブエージェント ，第4回知能情報メディアシンポジウ
ム予稿集，1998．
【3】大角，工藤，斎藤，田島， 感情を持ったインタテクティプ・ペッ
トロボットM，OMRONTECHNICS，Vbl．38，No．4，PP．428−432，
1998．に応じた音声ファイルがステラの発話として選択される。
4．4．学習顔画像識別機能から得る顔識別番号と，対話から得る【4］http：〟www．nuance．com／

ユーザ情報を結びつけて長期記憶に記憶する。例えば，【5］E，Elagin，J．Stefftns，H．Neven， AutomaticPoseEstimationSystem
forHumanFacesbasedonBunchGraphMatchingTヒclm0logy ，Proc，ユーザは音楽やネコを好きか，ユーザの好きな音楽ジャンルは何か，などのユーザ情報を記憶し，同じ顔識別番号を持つユーザと再会した場合に，これらユーザ情報を用いた質問により同じユーザであることを確認する。
4．5．反射動作

oftheInternationalConferenceonAutomaticFaceandGesture
RecognltlOn 98，pp．136−141，1998・【6】西村，向井，野崎，岡， 低解像度特徴を用いた複数人物によるジェスチャの単一動画像からのスポッティング認識 ，信学論，
D−1I，Vol．J80−D−Ⅰ王，No．6，pP．1563−1570，1997．
【7］戸田正直， 感情 ，東京大学出版，1992．

反射生成部の機能として2種類の反射動作を実現した。

−52−