(57)【要約】【課題】  仮想空間上でアバターを使用して、文字によるコミュニケーションを行う場合に、聞き手側のアバターの表情を変化させる。【解決手段】  話し手側のユーザごとに、単語と該単語に対応する感情値を話し手感情辞書１４０に登録し、聞き手側のユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書１４１に登録する。また、感情値と該感情値に対応する表情画像の情報を聞き手表情辞書１３１に登録し、表情画像を聞き手表情画像ＤＢ１３２に登録する。そして、話し手が送信した入力文を形態素解析し、話し手感情辞書１４０及び聞き手感情辞書１４１を参照し、入力文に対する話し手の感情値と聞き手の感情値を求め、これらの感情値を基に聞き手表情辞書１３１および聞き手表情画像ＤＢ１３２を参照して表情画像を取得し、聞き手のアバターの画像を変化させる。【選択図】  図２
2005276103.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザ端末に通信接続され、２つのユーザ端末間における文字及びアバターを使用したコミュニケーションの場を提供する聞き手感情推定装置であって、
文字情報を送信する話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手段と、
文字情報を受信する聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書に登録する手段と、
感情値と該感情値に対応するアバターの表情画像に関する情報を聞き手表情辞書に登録する手段と、
前記話し手側のユーザ端末から送信された入力文を単語列に分解する形態素解析手段と、
前記形態素解析手段により得られた単語列の各単語を基に、前記話し手感情辞書を参照して話し手の感情値を求め、また、前記聞き手の感情辞書を参照して聞き手の感情値を求め、これら話し手の感情値と聞き手の感情値を基に、前記入力文に対する聞き手用感情値を求める聞き手感情推定手段と、
前記聞き手感情推定手段により求めた聞き手用感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、聞き手のアバターの画像を生成して出力するアバター画像生成手段と
を備えることを特徴とする聞き手感情推定装置。
【請求項２】
前記話し手となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手段と、
感情値と該感情値に対応するアバターの表情画像に関する情報を話し手表情辞書に登録する手段と、
前記ユーザ端末から送信された入力文を単語列に分解する形態素解析手段と、
前記形態素解析手段により得られた単語列の各単語を基に、前記話し手感情辞書を参照して、入力文に対する話し手の感情値を求める話し手感情推定手段と、
前記話し手感情推定手段により求めた話し手の感情値を基に、前記話し手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、前記話し手のアバターの画像を生成して出力する話し手アバター画像生成手段と
を備えることを特徴とする請求項１に記載の聞き手感情推定装置。
【請求項３】
前記聞き手感情推定手段により聞き手用感情値を求める場合に、前記話し手感情辞書を参照して得られた話し手感情値と、前記聞き手感情辞書を参照して得られた聞き手感情値に対して重み付けをおこなう手段と、
前記重み付けが行われた話し手の感情値と聞き手の感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、前記聞き手のアバターの画像を生成して出力するアバター画像生成手段と
を備えることを特徴とする請求項１または請求項２に記載の聞き手感情推定装置。
【請求項４】
複数のユーザ端末に通信接続され、２つのユーザ端末間における文字及びアバターを使用したコミュニケーションの場を提供する聞き手感情推定装置における聞き手感情推定方法であって、
文字情報を送信する話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手順と、
文字情報を受信する聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書に登録する手順と、
感情値と該感情値に対応するアバターの表情画像に関する情報を聞き手表情辞書に登録する手順と、
前記話し手側のユーザ端末から送信された入力文を単語列に分解する形態素解析手順と、
前記形態素解析手順により得られた単語列の各単語を基に、前記話し手感情辞書を参照して話し手の感情値を求め、また、前記聞き手の感情辞書を参照して聞き手の感情値を求め、これら話し手の感情値と聞き手の感情値を基に、前記入力文に対する聞き手用感情値を求める聞き手感情推定手順と、
前記聞き手感情推定手順により求めた聞き手用感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、聞き手のアバターの画像を生成して出力するアバター画像生成手順と
を含むことを特徴とする聞き手感情推定方法。
【請求項５】
複数のユーザ端末に通信接続され、２つのユーザ端末間における文字及びアバターを使用したコミュニケーションの場を提供する聞き手感情推定装置内のコンピュータに、
文字情報を送信する話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手順と、
文字情報を受信する聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書に登録する手順と、
感情値と該感情値に対応するアバターの表情画像に関する情報を聞き手表情辞書に登録する手順と、
前記話し手側のユーザ端末から送信された入力文を単語列に分解する形態素解析手順と、
前記形態素解析手順により得られた単語列の各単語を基に、前記話し手感情辞書を参照して話し手の感情値を求め、また、前記聞き手の感情辞書を参照して聞き手の感情値を求め、これら話し手の感情値と聞き手の感情値を基に、前記入力文に対する聞き手用感情値を求める聞き手感情推定手順と、
前記聞き手感情推定手順により求めた聞き手用感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、聞き手のアバターの画像を生成して出力するアバター画像生成手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間上でアバターを使用して、文字によるコミュニケーションを行う場合に、聞き手の感情を推定して、聞き手側のアバターの表情または表現を変化させることができる、聞き手感情推定装置、聞き手感情推定方法、及びプログラムに関するものである。
【背景技術】
【０００２】
仮想空間でアバター（自分の分身として画面上に登場するキャラクター）を使って、ユーザがチャット（コンピュータ同士でリアルタイムに文字による会話を行う機能）を行うシステムが提案されている。このようなシステムでは、チャット文によるコミュニケーションの他、チャット文とアバター（話し手のアバター）の表情を変えることによるコミュニケーションができる。
【０００３】
これは、例えば、チャットシステムのユーザは、自分のアバターの表情を笑顔にした状態で、チャット文「面白いね。」を発言する、ということである。チャット文を発言するときに用いる表情は、チャットシステムのユーザが手動で変える方法のほか、チャットシステムがチャット文から感情を推定し、その感情に合わせて自動的に話し手の表情を変える方法もある。
【０００４】
このチャット文から感情を推定する方法として、先行技術の発明が開示されているが、この先行技術による感情を抽出する方法は、チャットの話し手の感情を抽出するものであり、話し手の感情に合わせて、聞き手の表情を自動的に変えるものではない（例えば、特許文献１参照）。
【０００５】
また、聞き手の表情を変える方法としては、ユーザ（話し手）の感情を推定し、推定した感情に応じた応答プランを作り、ユーザへの応答を作るという発明が開示されている。しかしながら、チャットシステムにこの方法を使った場合、ユーザによって異なる応答ができない点や、人間がするような、聞き手の感情によって変化する応答ができない点に問題がある（例えば、特許文献２参照）。
【０００６】
人間は、聞き手の感情に応じて、話し手に対する聞き手の応答が変わる。例えば、気分が良いときは笑顔で答えるが、落ち込んでいるときは沈んだ表情で答える。従来技術のチャットシステムなどにおいては、聞き手のアバターの表情または表現形態を、聞き手の感情に応じて適切に変化させることはできなかった。
【特許文献１】特開昭６３−１８４５８号公報
【特許文献２】特開平９−８１６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、仮想空間上でアバターを使用して、文字によるコミュニケーションを行う場合に、聞き手の感情を推定して、聞き手側のアバターの表情（体形や動作などの表現形態の場合もある）を変化させることができる、聞き手感情推定装置、聞き手感情推定方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は上記課題を解決するためになされたものであり、本発明の聞き手感情推定装置は、複数のユーザ端末に通信接続され、２つのユーザ端末間における文字及びアバターを使用したコミュニケーションの場を提供する聞き手感情推定装置であって、文字情報を送信する話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手段と、文字情報を受信する聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書に登録する手段と、感情値と該感情値に対応するアバターの表情画像に関する情報を聞き手表情辞書に登録する手段と、前記話し手側のユーザ端末から送信された入力文を単語列に分解する形態素解析手段と、前記形態素解析手段により得られた単語列の各単語を基に、前記話し手感情辞書を参照して話し手の感情値を求め、また、前記聞き手の感情辞書を参照して聞き手の感情値を求め、これら話し手の感情値と聞き手の感情値を基に、前記入力文に対する聞き手用感情値を求める聞き手感情推定手段と、前記聞き手感情推定手段により求めた聞き手用感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、聞き手のアバターの画像を生成して出力するアバター画像生成手段とを備えることを特徴とする。
このような構成であれば、仮想空間上（例えば、チャットなど）でユーザが文字情報とでアバターを使用して１対１のコミュニケーションを行う場合に、話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録し、聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書の感情に登録し、感情値と該感情値に関連付けられた表情画像の情報を聞き手表情辞書に登録しておく。そして、話し手が送信した入力文を形態素解析し、入力文中の単語を基に、話し手感情辞書および聞き手感情辞書を参照して、入力文に対する話し手の感情値と聞き手の感情値を求める。それから、入力文に対する話し手の感情値と聞き手の感情値を基に、聞き手表情辞書から表情画像を取得し、この表情画像により、聞き手のアバターの画像を変化させてユーザ端末に表示させる。
これにより、話し手の感情辞書と聞き手の感情辞書を使い、コミュニケーションを行うユーザに応じて、聞き手のアバターの表情（体形や動作などの表現形態の場合もある）を変えることができる。また、例えば、同じチャット文に対しても、話し手と聞き手に応じて、アバターの表情を変えることができ、チャット会話応答をより豊かにできる。
【０００９】
また、本発明の聞き手感情推定装置は、前記話し手となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手段と、感情値と該感情値に対応するアバターの表情画像に関する情報を話し手表情辞書に登録する手段と、前記ユーザ端末から送信された入力文を単語列に分解する形態素解析手段と、前記形態素解析手段により得られた単語列の各単語を基に、前記話し手感情辞書を参照して、入力文に対する話し手の感情値を求める話し手感情推定手段と、前記話し手感情推定手段により求めた話し手の感情値を基に、前記話し手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、前記話し手のアバターの画像を生成して出力する話し手アバター画像生成手段とを備えることを特徴とする。
このような構成であれば、話し手となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録し、感情値と該感情値に対応する表情画像の情報とを話し手の表情辞書に登録する。そして、話し手が送信した入力文を形態素解析し、入力文中の単語を基に、話し手感情辞書を参照して、入力文に対する話し手の感情値を求める。それから、入力文に対する話し手の感情値を基に、話し手の表情画像を取得し、この表情画像により、話し手のアバターの画像を変化させてユーザ端末に表示させる。
これにより、聞き手のアバターの画像を変化させることに加えて、話し手のアバターの画像を変化させることができる。また、例えば、同じチャット文に対しても、話し手と聞き手に応じて、アバターの表情を変えることができ、チャット会話応答をより豊かにできる。
【００１０】
また、本発明の聞き手感情推定装置は、前記聞き手感情推定手段により聞き手用感情値を求める場合に、前記話し手感情辞書を参照して得られた話し手感情値と、前記聞き手感情辞書を参照して得られた聞き手感情値に対して重み付けをおこなう手段と、前記重み付けが行われた話し手の感情値と聞き手の感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、前記聞き手のアバターの画像を生成して出力するアバター画像生成手段とを備えることを特徴とする。
このような構成であれば、話し手感情辞書を基に得られた感情値と、聞き手感情辞書を基に得られた感情値に対して重み付けを行い、それぞれ重み付けが行われた話し手の感情値と聞き手の感情値を基に、アバターの表情画像を取得する。
これにより、聞き手のアバター画像に対して、話し手の感情または聞き手の感情のいずれかをより強く反映させるようにできる。例えば、チャット回数が増加するほど、話し手の感情をより強く反映させるようにできる（話し手の感情をより理解することを表す）。
【００１１】
また、本発明の聞き手感情推定方法は、複数のユーザ端末に通信接続され、２つのユーザ端末間における文字及びアバターを使用したコミュニケーションの場を提供する聞き手感情推定装置における聞き手感情推定方法であって、文字情報を送信する話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手順と、文字情報を受信する聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書に登録する手順と、感情値と該感情値に対応するアバターの表情画像に関する情報を聞き手表情辞書に登録する手順と、前記話し手側のユーザ端末から送信された入力文を単語列に分解する形態素解析手順と、前記形態素解析手順により得られた単語列の各単語を基に、前記話し手感情辞書を参照して話し手の感情値を求め、また、前記聞き手の感情辞書を参照して聞き手の感情値を求め、これら話し手の感情値と聞き手の感情値を基に、前記入力文に対する聞き手用感情値を求める聞き手感情推定手順と、前記聞き手感情推定手順により求めた聞き手用感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、聞き手のアバターの画像を生成して出力するアバター画像生成手順とを含むことを特徴とする。
このような手順であれば、仮想空間上（例えば、チャットなど）でユーザが文字情報とでアバターを使用して１対１のコミュニケーションを行う場合に、話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録し、聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書の感情に登録し、感情値と該感情値に関連付けられた表情画像の情報を聞き手表情辞書に登録しておく。そして、話し手が送信した入力文を形態素解析し、入力文中の単語を基に、話し手感情辞書および聞き手感情辞書を参照して、入力文に対する話し手の感情値と聞き手の感情値を求める。それから、入力文に対する話し手の感情値と聞き手の感情値を基に、聞き手表情辞書から表情画像を取得し、この表情画像により、聞き手のアバターの画像を変化させてユーザ端末に表示させる。
これにより、話し手の感情辞書と聞き手の感情辞書を使い、コミュニケーションを行うユーザに応じて、聞き手のアバターの表情（体形や動作などの表現形態の場合もある）を変えることができる。また、例えば、同じチャット文に対しても、話し手と聞き手に応じて、アバターの表情を変えることができ、チャット会話応答をより豊かにできる。
【００１２】
また、本発明のコンピュータプログラムは、複数のユーザ端末に通信接続され、２つのユーザ端末間における文字及びアバターを使用したコミュニケーションの場を提供する聞き手感情推定装置内のコンピュータに、文字情報を送信する話し手側となるユーザごとに、単語と該単語に対応する感情値を話し手感情辞書に登録する手順と、文字情報を受信する聞き手側となるユーザごとに、単語と該単語に対応する感情値を聞き手感情辞書に登録する手順と、感情値と該感情値に対応するアバターの表情画像に関する情報を聞き手表情辞書に登録する手順と、前記話し手側のユーザ端末から送信された入力文を単語列に分解する形態素解析手順と、前記形態素解析手順により得られた単語列の各単語を基に、前記話し手感情辞書を参照して話し手の感情値を求め、また、前記聞き手の感情辞書を参照して聞き手の感情値を求め、これら話し手の感情値と聞き手の感情値を基に、前記入力文に対する聞き手用感情値を求める聞き手感情推定手順と、前記聞き手感情推定手順により求めた聞き手用感情値を基に、前記聞き手表情辞書を参照して表情画像を取得し、該取得した表情画像を用いて、聞き手のアバターの画像を生成して出力するアバター画像生成手順とを実行させるためのプログラムである。
【発明を実施するための最良の形態】
【００１３】
次に本発明を実施するための最良の形態について図面を参照して説明する。
【００１４】
（本発明の聞き手感情推定装置の概要の説明）
最初に、本発明の聞き手感情推定装置の概要について、仮想空間でアバターを使ったチャットシステムに本発明を適用した例について説明する。
【００１５】
図１は、本発明によるチャットシステムの概略構成を示す図である。チャットシステムのサーバ１００には、ＷＷＷサーバ１０１が設けられ、通信ネットワーク１を介して、ユーザ端末１１、１２、１３と通信接続される。また、チャットシステムのサーバ１００には、ＷＷＷサーバ１０１とともに、本発明によるチャットシステムを実現するための仮想空間チャットＣＧＩプログラム部１１０が備えられている。また、仮想空間チャットＣＧＩプログラム部１１０にはユーザごとに異なる感情辞書類が用意されている。
【００１６】
チャットシステムのユーザは、ユーザ端末１１、１２、１３により、ＷＷＷブラウザ２０を使いチャット画面２１上でチャットする。
【００１７】
チャットは、ユーザが１対１で行う。ユーザはチャットシステムのサーバ１００にＷＷＷサーバ１０１を通してログインした後に、ユーザ選択画面（図示せず）により、チャットしたい相手ユーザを選び、チャット開始申し込みをする。この申し込みが相手ユーザに受け入れられると、両ユーザ端末のＷＷＷブラウザ２０に、図３に示すようなチャット画面２１が表示され、ユーザがチャットを開始する。
【００１８】
チャット画面２１には、ユーザが予め選択した、アバター２２、２３が表示される。なお、このアバターには、マンガ風のキャラクターが使用できるほか、人間だけでなく動物やロボットなどを選択でき、髪型や服装、装飾品などを選んでオリジナルのキャラクターを作成できるようにすることもできる。
【００１９】
両ユーザは、チャット画面２１の下部にあるテキスト入力エリア（文入力エリア）２４に、チャット文を入力し、「送信」ボタン２５を押す。両ユーザは、基本的に、交代でチャット文入力・送信を繰り返しながら、チャットする。両ユーザのうちどちらかがチャット画面下に配置された「終了」ボタン２６を押すと、１回のチャットが終了する。ユーザは、別のユーザか同じユーザと再びチャットしたい場合は、ユーザ選択画面（図示せず）により、再びチャットしたい相手ユーザを選び、チャット開始を申し込む。
【００２０】
図５は、１回のチャットの開始から終了までの処理手順を示すフローチャートである。チャットシステムでは、チャットが開始され（ステップＳ１０１）、ユーザ端末から話し手のチャット文が送信（入力）されると（ステップＳ１０２）、チャット文を送信（入力）したユーザがどちらのユーザ（1対１のユーザの内の話し手がどちらのユーザ）であるかを判定した後、送信側ユーザを話し手、受信側ユーザを聞き手として特定する（ステップＳ１０３）。
【００２１】
次に、ユーザ（話し手）が入力したチャット文の内容に応じ、話し手のアバターの表情を変え（ステップＳ１０４）、そして聞き手のアバターの表情を変える（ステップＳ１０５）。例えば、図３および図４に示すように、アバター２２、２３の表情が変化する。そして、どちらかのユーザが「終了」ボタン２６を押すまで（ステップＳ１０６）、チャット文入力、チャット文送信とユーザ判定、話し手アバターの表情変化、及び聞き手アバター表情変化の処理が繰り返される。
【００２２】
なお、本発明の聞き手感情推定装置では、話し手のチャット文を基に聞き手の感情を推定して、聞き手のアバターの表情を変えることを主たる目的としており、話し手のアバターの表情を変える処理（ステップＳ１０４）は選択的なものであり、使用してもよいし、使用しなくてもよい。
【００２３】
また、話し手のチャット文を基に聞き手のアバターの表情を変える処理（ステップＳ１０５）については、後で詳細に説明し、話し手のアバターの表情を変える処理（ステップＳ１０４）についても、後で補足して説明する。
【００２４】
（本発明の聞き手感情推定装置の具体例の説明）
次に、本発明の聞き手の感情推定装置の具体例について、チャットシステムにおいてアバターの表情を変える場合を例に取り詳細に説明する。
なお、図６は、感情ベクトル空間の例を示す図であり、図６に示すように、本実施の形態例では、単語が表す感情を喜怒軸、哀楽軸、好嫌軸を持つ３次元のベクトル空間で表現している。
【００２５】
図２は、仮想空間チャットＣＧＩプログラム部の構成例を示すブロック図である。仮想空間チャットＣＧＩプログラム部１１０は、図１に示すチャットシステムのサーバ１００内に設けられ、ＷＷＷサーバ１０１と協働して、本発明によるチャットシステムを実現するための機能部である。なお、この仮想空間チャットＣＧＩプログラム部１１０内の各処理部はソフトウェアプログラムで構成されている。
【００２６】
仮想空間チャットＣＧＩプログラム部１１０内の制御部１１１は、ＣＧＩ（Common Gateway Interface）を通した入出力処理およびチャットシステムの全体を統括制御する。また、制御部１１１は、ＷＷＷサーバ１０１を介してユーザ端末１１、１２、１３から送信されるチャット文を受け取り、受信したチャット文を形態素解析部（形態素解析手段）に送る。形態素解析部１１３は、形態素解析辞書１５０を使い、チャット文を単語列に分解する。
【００２７】
聞き手感情推定部（聞き手感情推定手段）１１２は、形態素解析部１１３で求めた単語列を基に、ユーザごとに設けられた聞き手感情辞書１４１と話し手感情辞書１４０を使い、聞き手用感情ベクトル値を求める（詳細については後述する）。
【００２８】
アバター画像生成部（アバター画像生成手段）１３０は、聞き手感情推定部１１２で求めた聞き手用感情ベクトル値を使い、聞き手表情辞書１３１から表情ファイル名を取得し、聞き手表情画像データベース（聞き手表情画像ＤＢ）１３２から目的の画像ファイルデータを得た後に、聞き手アバターの表情を変えて表示する。
【００２９】
話し手感情辞書１４０は、ユーザごとに設けられる辞書であり、図１０（ａ）に示すように、ユーザごとに、単語と感情ベクトル値（感情値）を登録した辞書である。この例では、単語「いや」に対して、感情ベクトル値（0.0,0.0,-0.9)が登録され、単語「むかつく」に対して、感情ベクトル値（-0.9,0.0,-0.1)が登録されている。
【００３０】
聞き手感情辞書１４１は、ユーザごとに設けられる辞書であり、図１０（ｂ）に示すように、ユーザごとに、単語と感情ベクトル値（感情値）を登録した辞書である。この例では、単語「いや」に対して、感情ベクトル値（0.0,0.0,-0.6）が登録され、単語「むかつく」に対して、感情ベクトル値（-0.7,0.0,0.0）が登録されている。
なお、本実施形態においては、話し手感情辞書１４０と聞き手感情辞書１４１とが別々の辞書に構成されているように記載しているが、これに限らず、同一の感情辞書として構成されていても良い。
【００３１】
聞き手表情辞書１３１は、表情番号と、感情ベクトル値（感情値）と、該感情ベクトル値に対応する表情画像のファイル名が登録されている。この聞き手表情辞書１３１は、ユーザごとに設けてもよいし、予めシステムに登録したアバターに応じてシステム側で用意してもよい。図１０（ｃ）に例を示す。この例では、感情ベクトル値（0.9,0.0,0.0)に対して、表情ファイル名「良かったね.jpg」が登録されており、感情ベクトル値（-0.8,0.0,-0.8)に対して、表情ファイル名「起こるなよ.jpg」が登録されている例を示している。
【００３２】
聞き手表情画像ＤＢ１３２は、表情画像のファイル名に対応する表情画像を登録するデータベースである。図１１に示す表情画像が、ファイル名「起こるなよ.jpg」として登録されており、図１２に示す表情画像が、ファイル名「良かったね.jpg」として登録されている。
【００３３】
以上説明した仮想空間チャットＣＧＩプログラム部１１０の構成の基で、例えば、ユーザがチャット文として「ほんといやだ。むかつく。」と入力し、チャット文を送信した場合の処理の例について、図１０（ｄ）を参照して説明する。
【００３４】
仮想空間チャットＣＧＩプログラム部１１０では、ユーザ端末から入力されたチャット文を受信すると、チャット文は形態素解析部１１３に送られ、形態素解析部１１３は、形態素解析辞書１５０を参照して、チャット文を単語列「ほんと／いや／だ／。／むかつく／。」に分解する。聞き手感情推定部１１２は、聞き手感情辞書１４１と話し手感情辞書１４０を使い、聞き手用感情ベクトル値を求める。
【００３５】
図１０（ｄ）に示す例では、単語「いや」に対する話し手感情ベクトル値が（0.0,0.0,-0.9)であり、聞き手用感情ベクトル値が（0.0,0.0,-0.6)であるので、平均ベクトル値が（0.0,0.0,-0.75)となり、出力感情ベクトル値（聞き手用感情ベクトル値）が（0.0,0.0,-0.75)となる。
【００３６】
次に、単語「むかつく」に対する話し手感情ベクトル値が（-0.9,0.0,-0.1)であり、聞き手用感情ベクトル値が（-0.7,0.0,0.0)であるので、平均ベクトル値が（-0.8,0.0,-0.05)となり、この平均ベクトル値（-0.8,0.0,-0.05)が前回までの出力感情ベクトル値（0.0,0.0,-0.75)に加算され（-0.8,0.0,-0.8)となる。
【００３７】
アバター画像生成部１３０は、聞き手感情推定部１１２で求めた聞き手用感情ベクトル値（-0.8,0.0,-0.8)を使い、聞き手表情辞書１３１（図１０（ｃ））から表情ファイル名「怒るなよ．Jpg」を取得し、聞き手用表情画像ＤＢ１３２から目的の画像ファイルデータを得た後に、聞き手アバターの表情を変える。例えば、図３に示すアバター２２の表情が、図４に示すアバター２２の表情に変化する。
【００３８】
また、図７は、聞き手感情推定部１１２における聞き手用感情ベクトル値を求める手順をフローチャートで示したものである。以下、図７を参照して、その手順について説明する。
【００３９】
最初に、形態素解析部１１３により、チャット文を形態素解析し、単語列に分解する（ステップＳ２０１）。また、変数「出力感情ベクトル」を初期化（数値０を代入）する（ステップＳ２０２）。
【００４０】
次に、単語列先頭の単語を着目単語とし（ステップＳ２０３）、単語列に含まれる単語ごとの処理を開始する（ステップＳ２０４）。
【００４１】
着目単語について、話し手感情辞書１４０から、着目単語に対する話し手の感情ベクトル値を得る（ステップＳ２０５）。また、聞き手感情辞書１４１から、着目単語に対する聞き手の感情ベクトル値を得る（ステップＳ２０５）。
【００４２】
話し手の感情ベクトル値と聞き手の感情ベクトル値の平均値を求め、前回までの出力感情ベクトル値を加算して、新たな出力感情ベクトル値とする（ステップＳ２０６）。そして、単語列における次の単語を着目単語とする（ステップＳ２０７）。
【００４３】
そして、単語列に含まれるすべての単語を処理したかを判断し（ステップＳ２０４）、単語列に含まれるすべての単語を処理した場合には、処理を終了する。これにより、出力感情ベクトル値（聞き手用感情ベクトル値）が求まる。
なお、聞き手感情辞書１４０と話し手感情辞書１４１が同一の感情辞書として構成されている場合には、上記着目単語についての感情ベクトル値を１つの感情辞書からそれぞれ得て、全ての感情ベクトル値の平均を出力感情ベクトル値とするようにしてもよい。
【００４４】
なお、図７に示す処理手順においては、聞き手感情推定部１１２は、話し手と聞き手の感情ベクトル値の平均を求めている。これは、話し手の感情を推定するときに聞き手の感情を影響させるための１つの方法にすぎず、他にも方法がある。例えば、以下の式で示すような、重み付き平均を使う方法が考えられる。
【００４５】
重み付き平均＝話し手の感情ベクトル値×ｗ＋話し手の感情ベクトル値×（１−ｗ）
【００４６】
ｗ＝（ｔａｎ−１（ｘ−５）＋（π／２））／π
ここで、ｘ：チャット回数
【００４７】
上記のようにすれば、特定の話し手とチャットすればするほど、重み付き平均はその話し手の感情に近づく。
図１３は、上述した式を用いた場合の、チャット回数による重み係数の変化の様子を示す図であり、チャット回数（ｘ）を横軸に、重み係数（ｗ）を縦軸にとり、その変化の様子を示したものである。図１３に示すように、チャット回数が増加するほど、重み係数（ｗ）は１に近づき、これは話し手の感情をよく理解して聞き手ユーザのアバターの表情が変わることを表す。なお、重み付けの方法はこれに限らず、他にも重み付け方法はさまざま考えられる。
【００４８】
また、図８は、聞き手のアバターの表情を変える処理の手順をフローチャートで示したものである。以下、図８を参照して、その処理手順について説明する。
【００４９】
最初に、図７に示す手順により、聞き手用感情ベクトル値を求める(ステップＳ３０１)。
次に、聞き手表情辞書１３１から聞き手用感情ベクトル値に対する表情ファイル名を得る（ステップＳ３０２）。それから、聞き手表情画像ＤＢ１３２から目的の表情ファイル名（または表情番号）を得、聞き手ユーザのアバターの表情を変える（ステップＳ３０３）。
【００５０】
なお、図９は、図８における「聞き手表情辞書１３１から聞き手用感情ベクトル値に対する表情ファイル名を得る処理（ステップＳ３０２）」について、その手順を示したものである。
【００５１】
図９において、聞き手表情辞書１３１（図１０（ｃ）参照）が記憶している表情番号の感情ベクトル値を1つ読み取り（ステップＳ３１１）、当該読み取った感情ベクトル値と、図７に示す処理手順で求めた聞き手用感情ベクトル値との距離を算出する（ステップＳ３１２）。
【００５２】
そして、算出した距離と記憶している最小距離とを比較し（ステップＳ３１３）、算出した距離が予め記憶している最小距離よりも小さければ、予め記憶している最小距離と表情画像の情報（表情番号）を更新する（ステップＳ３１４）。
【００５３】
また、聞き手表情辞書１３１に記録されている全ての表情番号の画像について処理を行なったか否かを確認し（ステップＳ３１５）、全ての表情画像の感情ベクトル値と聞き手用感情ベクトル値との距離を順次算出して、最小距離と、その最小距離の計算に用いた感情ベクトル値を持つ表情番号の表情ファイル名を求める（ステップＳ３１５、Ｓ３１６）。
【００５４】
これにより、聞き手用感情ベクトル値に最も近い距離にある感情ベクトル値を持つ表情画像を、聞き手表情画像ＤＢ１３２から抽出することができる。
【００５５】
（話し手の表情を変える処理についての補足説明）
本発明の聞き手感情推定装置では、チャットなどでコミュニケーションを行う場合に、話し手が送信したチャット文を基に、聞き手側の感情を推定して、聞き手のアバターの表情などを変化させることを主たる目的としているが、現実のチャットシステムなどにおいては、話し手側のアバターの表情も変化させること実際的である。ここでは、話し手側の感情を推定して、話し手側のアバターの表情を変化させる例について説明する。
【００５６】
図１４は、話し手側のアバターの表情を変える仮想空間チャットＣＧＩプログラム部の構成例を示す図であり、図１４に示す仮想空間チャットＣＧＩプログラム部１１０ａは、図２に示す仮想空間チャットＣＧＩプログラム部１１０に、話し手感情推定部１６１、話し手感情辞書１６２、話し手アバター画像生成部１７０、話し手表情辞書１７１、話し手表情画像データベース（話し手表情画像ＤＢ）１７２を追加したものである。
【００５７】
話し手感情辞書１６２は、単語と該単語に対する感情ベクトル値との対応関係を記録した辞書であり、図１０（ａ）に示した話し手感情辞書１４０と同様のものである。なお、この話し手感情辞書１６２は、ユーザごとに設ける。また、話し手感情辞書１４０と共用してもよい。
【００５８】
話し手表情辞書１７１は、感情ベクトル値と、該感情ベクトル値に対応する表情画像のファイル名が登録されており、図１０（ｃ）に示した聞き手表情辞書１３１と同様のものである。なお、この話し手表情辞書１７１は、ユーザごとに設けることもでき、ユーザに共通のものとすることもできる。
【００５９】
話し手表情画像ＤＢ１７２は、表情画像のファイル名に対応する表情画像を登録したデータベースであり、聞き手表情画像ＤＢ１３２と同様のものであり、図１１に示す表情画像が、ファイル名「起こるなよ.jpg」として登録されており、図１２に示す表情画像が、ファイル名「良かったね.jpg」として登録されている。なお、この話し手表情画像ＤＢ１７２は、ユーザごとに設けることもでき、ユーザに共通のものとすることもできる。
【００６０】
図１５は、話し手側のアバターの表情を変化させる処理の手順を示すフローチャートであり、話し手感情推定部（話し手感情推定手段）１６１および話し手アバター画像生成部（話し手アバター画像生成手段）１７０における、アバターの表情を変化させる処理の流れについて示したものである。以下、図１５を参照して、その処理手順について説明する。
【００６１】
まず、最初に、形態素解析部１１３により、形態素解析辞書１５０を使用して、チャット文を形態素解析し、単語列に分解する（ステップＳ４０１）。また、変数「出力感情ベクトル」を初期化（０を代入）する（ステップＳ４０２）。
【００６２】
次に、単語列先頭の単語を着目単語とし（ステップＳ４０３）、単語列に含まれる単語ごとの処理を開始する（ステップＳ４０４）。
【００６３】
着目単語について、話し手感情辞書１６２から、着目単語に対する感情ベクトル値を得る（ステップＳ４０５）。感情ベクトル値を取得した場合には、出力感情ベクトル値に加算する（ステップＳ４０６、Ｓ４０７）。そして、単語列における次の単語を着目単語とする（ステップＳ４０８）。
【００６４】
そして、単語列に含まれるすべての単語を処理したかを判断し（ステップＳ４０４）、単語列に含まれるすべての単語を処理した場合には、ステップＳ４０９に移行する。
【００６５】
ステップＳ４０９において、話し手表情辞書１７１が記憶している表情番号の感情ベクトル値を１つ読み取り（ステップＳ４０９）、当該読み取った感情ベクトル値と出力感情ベクトル値との距離を算出する（ステップＳ４１０）。
【００６６】
そして、算出した距離と記憶している最小距離とを比較し（ステップＳ４１１）、算出した距離が予め記憶している最小距離よりも小さければ、予め記憶している最小距離と表情画像の情報（表情番号）を更新する（ステップＳ４１２）。
【００６７】
また、話し手表情辞書１７１に記録されている全ての表情番号の画像について処理を行なったか否かを確認し（ステップＳ４１３）、全ての表情画像の感情ベクトル値と出力感情ベクトル値との距離を順次算出して、最小距離と、その最小距離の計算に用いた感情ベクトル値を持つ表情番号の画像を求める表情とし、話し手アバター画像生成部１７０により、話し手のアバターの表情を変える（ステップＳ４１４）。
【００６８】
以上、説明した処理手順により話し手の入力したチャット文に対して、その感情を推定して、話し手のアバターの表情を適切に変化させることができる。
【００６９】
以上、本発明の聞き手感情推定装置の実施の形態として、チャットシステムにおけるアバターの表情を変える例について説明したが、本発明においては、アバターの表情に限らず、アバターの表現形態（姿勢や体形などの静止画または動画）を変化させるようにしてもよい。
【００７０】
また、本発明はチャットシステムに限らず、オンラインＲＰＧ（ロールプレイゲーム）におけるチャットの際のキャラクターの表情変化や、メールエージェントにおける応答の際のキャラクターの表情変化や、ＷＷＷサーバ上の仮想ルームをレンタル提供するマイルームにおけるペットなどの表情変化などに使用することができる。
【００７１】
また、チャットシステムのサーバ１００は内部にコンピュータシステムを有している。そして、上述した仮想空間チャットＣＧＩプログラム部１１０に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
【００７２】
すなわち、仮想空間チャットＣＧＩプログラム部１１０における、各処理は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工、演算処理を実行することにより、実現されるものである。
【００７３】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７４】
以上、本発明の実施の形態について説明したが、聞き手感情推定装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【００７５】
本発明は、仮想空間でアバター（avatar）を使って、ユーザが会話を行う場合に、聞き手の感情を推定して、聞き手側のアバターの表情または表現を変化させることができる効果を奏するので、本発明は、聞き手感情推定装置、聞き手感情推定方法、及びプログラムなどに有用である。
【図面の簡単な説明】
【００７６】
【図１】本発明によるチャットシステムの概略構成を示す図。
【図２】本発明による仮想空間チャットＣＧＩプログラム部の構成例を示す図。
【図３】チャット画面（チャット開始時）の例を示す図。
【図４】チャット画面（聞き手表情を変える）の例を示す図。
【図５】チャットの開始から終了までの処理手順を示すフローチャート。
【図６】感情ベクトル空間の例を示す図。
【図７】聞き手用感情ベクトル値の取得処理の手順を示すフローチャート。
【図８】聞き手のアバターの表情を変える処理の手順を示すフローチャート。
【図９】聞き手表情辞書から表情ファイル名を得る手順を示すフローチャート。
【図１０】各辞書の例を示す図。
【図１１】アバターの表情画像の例を示す図その１。
【図１２】アバターの表情画像の例を示す図その２。
【図１３】チャット回数による重み係数の変化を示す図。
【図１４】話し手アバターの表情を変えるＣＧＩプログラム部の構成例を示す図。
【図１５】話し手のアバターの表情を変化させる処理手順を示すフローチャート。
【符号の説明】
【００７７】
１  通信ネットワーク、  １１、１２、１３  ユーザ端末、  ２０  ＷＷＷブラウザ
２１  チャット画面、  ２２、２３  アバター、  ２４  テキスト入力エリア
２５  送信ボタン、  ２６  終了ボタン、  １００  チャットシステムのサーバ
１０１  ＷＷＷサーバ、  １１０、１１０ａ  仮想空間チャットＣＧＩプログラム部
１１１  制御部、  １１２  聞き手感情推定部、  １１３  形態素解析部
１３０  アバター画像生成部、  １３１  聞き手表情辞書
１３２  聞き手表情画像ＤＢ、  １４０  話し手感情辞書、  １４１  聞き手感情辞書
１５０  形態素解析辞書、  １６１  話し手感情推定部、  １６２  話し手感情辞書
１７０  話し手アバター画像生成部、  １７１  話し手表情辞書
１７２  話し手表情画像ＤＢ
【図１】
2005276103.tif 000003
【図２】
2005276103.tif 000004
【図３】
2005276103.tif 000005
【図４】
2005276103.tif 000006
【図５】
2005276103.tif 000007
【図６】
2005276103.tif 000008
【図７】
2005276103.tif 000009
【図８】
2005276103.tif 000010
【図９】
2005276103.tif 000011
【図１０】
2005276103.tif 000012
【図１１】
2005276103.tif 000013
【図１２】
2005276103.tif 000014
【図１３】
2005276103.tif 000015
【図１４】
2005276103.tif 000016
【図１５】
2005276103.tif 000017