(57)【特許請求の範囲】
【請求項１】
映画のデータを再生する情報処理装置であって、
前記映画のシーン毎に、該シーンを見る人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持している記憶保持手段と、
前記映画のデータを再生する再生手段と、
前記映画のデータを見ているときのユーザの画像を撮像する撮像手段と、
前記画像から得られる前記ユーザの特徴量に基づいて、前記映画のシーンを見ているときの前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定手段と、
前記ユーザが前記シーンを見ているときに前記推定手段により推定される感情が、該シーンに関連付けて前記記憶保持手段に記憶保持されている感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記推定手段は、前記特徴量を多層型ニューラルネットワークにおける入力層のニューロン群に入力し、出力層のニューロン群からの出力を前記ユーザの感情を示す情報として得ることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記修正手段は、前記シーンを見ているときの前記ユーザの画像から得られる前記特徴量を前記入力層のニューロン群に入力した場合に、該シーンに関連付けて前記記憶保持手段に記憶保持されている感情情報が出力されるように、ニューロン間の重み係数を修正することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記修正手段は、前記重み係数の修正を、バックプロパゲーションによって修正することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記推定手段は、感情毎に予め求めた前記特徴量の許容範囲を参照し、前記ユーザの画像から得られる前記特徴量を許容範囲に含む感情を推定結果として出力することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
更に、前記ユーザの音声情報を収集する収集手段を備え、
前記推定手段は前記画像から得られる特徴量、及び前記音声情報から得られる特徴量に基づいて、前記シーンを見ているときの前記ユーザの感情を、予め設定された認識モデルを用いて推定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
ゲームを再生する情報処理装置であって、
前記ゲームの各進展具合を示す情報毎に、該進展具合において前記ゲームをしている人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持している記憶保持手段と、
前記ゲームを行っているときのユーザの画像を撮像する撮像手段と、
前記ユーザが行っているゲームの進展具合を監視する監視手段と、
前記画像から得られる前記ユーザの特徴量に基づいて、前記ゲームの各進展具合における前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定手段と、
前記ゲームの各進展具合について前記推定手段により推定される感情が、前記記憶保持手段に該進展具合を示す情報に関連付けられて保持された感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正手段と
を備えることを特徴とする情報処理装置。
【請求項８】
映画のデータを再生する情報処理装置が行う情報処理方法であって、
前記情報処理装置が有する記憶保持手段が、前記映画のシーン毎に、該シーンを見る人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持部に記憶保持する記憶保持工程と、
前記情報処理装置が有する再生手段が、前記映画のデータを再生する再生工程と、
前記情報処理装置が有する撮像手段が、前記映画のデータを見ているときのユーザの画像を撮像する撮像工程と、
前記情報処理装置が有する推定手段が、前記画像から得られる前記ユーザの特徴量に基づいて、前記映画のシーンを見ているときの前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定工程と、
前記情報処理装置が有する修正手段が、前記ユーザが前記シーンを見ているときに前記推定工程により推定される感情が、該シーンに関連付けて前記記憶保持部に記憶保持されている感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正工程と
を備えることを特徴とする情報処理方法。
【請求項９】
ゲームを再生する情報処理装置が行う情報処理方法であって、
前記情報処理装置が有する記憶保持手段が、前記ゲームの各進展具合を示す情報毎に、該進展具合において前記ゲームをしている人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持部に記憶保持する記憶保持工程と、
前記情報処理装置が有する撮像手段が、前記ゲームを行っているときのユーザの画像を撮像する撮像工程と、
前記情報処理装置が有する監視手段が、前記ユーザが行っているゲームの進展具合を監視する監視工程と、
前記情報処理装置が有する推定手段が、前記画像から得られる前記ユーザの特徴量に基づいて、前記ゲームの各進展具合における前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定工程と、
前記情報処理装置が有する修正手段が、前記ゲームの各進展具合について前記推定工程により推定される感情が、前記記憶保持部に該進展具合を示す情報に関連付けられて保持された感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正工程と
を備えることを特徴とする情報処理方法。
【請求項１０】
コンピュータを請求項１乃至７の何れか１項に記載の情報処理装置が有する各手段として機能させる為のコンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを格納した、コンピュータ読みとり可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの表情や動作等といった反応を検出し、その検出した反応からユーザの感情を認識する為の技術に関するものである。
【背景技術】
【０００２】
近年、機械と人間とのインターフェースとして、人間の意志や感情を認識し、人間とのコミュニケーションを行う人工エージェントの研究が進んでいる。また、様々なペットロボットが登場し、使用者の行動や感情等を認識し、その認識結果によりペットロボットの行動を変化させるものもあり、このようなペットロボットは一種の人工エージェントと言える。このような人工エージェントにおいては、カメラやマイクを用いて、人物の状態を検出し、検出した状態に基づいて人物の喜怒哀楽等といった感情を認識することが必要とされている。
【０００３】
例えば、CCDカメラ等で撮影された画像から顔の表情を検出する装置が従来から開示されている（例えば特許文献１を参照）。これは、入力画像に対してウェーブレット変換を行い、各周波数領域での平均電力と無表情の時の平均電力との差分から、表情を検出するものである。
【０００４】
また、音声と画像の両方を用いて、被写体の顔の表情と感情を検出する技術が従来から開示されている（例えば非特許文献１を参照）。
【０００５】
さらに、顔の変位に応じた特徴ベクトルと、表情の各カテゴリごとに用意したベクトル量子化を行うためのコードブックとを使用し、ベクトル量子化後のシンボル列に基づいてカテゴリを決定する技術が従来から開示されている（例えば特許文献２を参照）。
【０００６】
さらにまた、笑顔画像に対して、眼や口や眉の位置やサイズ等の変動から、その笑顔を、快の笑顔・不快の笑顔・社交的な笑顔に分類する検討を行なう技術も開示されている（例えば非特許文献２を参照）。
【特許文献１】特開平８―２４９４４７号公報
【特許文献２】特許第２８３９８５５号
【非特許文献１】「Lawrence S.Chen,Thomas S.Huang, Tsutomu Miyasato, Ryohei Nakatsu : “Multimodal Human Emotion/Expression Recognition”, Proceedings of the Second International Conference on Automatic Face and Gesture Recognition pp366-371(1998)」
【非特許文献２】「片岡、岩口、佐冶：“目と口の動きの追跡による笑顔の分類”、情報処理学会研究報告、2001-HI-95、pp109-116(2001)」
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記説明したように、カメラやマイクを用いて人物の状態（反応）を検出し、さらに検出した状態（反応）に基づいて人物の喜怒哀楽等といった感情を認識する研究が進められている。しかし、検出した状態（反応）と感情とを正確に対応させるのは容易ではない。
【０００８】
例えば、反応の一つとして表情を考えれば、表情の豊かな人もいれば、そうでない人もいる。つまり、同じ感情を持った人が全員同じ表情をするわけではない。逆に言うと、同じ表情をした人たちが、同じ感情を持っているとは限らない。そのため、表情といった人物の状態（反応）と感情との対応は、個人毎に設定する必要がある。上記従来例においては、ユーザ個々人の個人差に関しては言及がない。
【０００９】
本発明は以上の問題に鑑みてなされたものであり、表情に代表される人物の状態（反応）と感情との対応を、個人毎に簡便に設定する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。
【００１１】
すなわち、映画のデータを再生する情報処理装置であって、
前記映画のシーン毎に、該シーンを見る人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持している記憶保持手段と、
前記映画のデータを再生する再生手段と、
前記映画のデータを見ているときのユーザの画像を撮像する撮像手段と、
前記画像から得られる前記ユーザの特徴量に基づいて、前記映画のシーンを見ているときの前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定手段と、
前記ユーザが前記シーンを見ているときに前記推定手段により推定される感情が、該シーンに関連付けて前記記憶保持手段に記憶保持されている感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正手段と
を備えることを特徴とする。
【００１２】
本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。
【００１３】
すなわち、ゲームを再生する情報処理装置であって、
前記ゲームの各進展具合を示す情報毎に、該進展具合において前記ゲームをしている人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持している記憶保持手段と、
前記ゲームを行っているときのユーザの画像を撮像する撮像手段と、
前記ユーザが行っているゲームの進展具合を監視する監視手段と、
前記画像から得られる前記ユーザの特徴量に基づいて、前記ゲームの各進展具合における前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定手段と、
前記ゲームの各進展具合について前記推定手段により推定される感情が、前記記憶保持手段に該進展具合を示す情報に関連付けられて保持された感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正手段と
を備えることを特徴とする。
【００１４】
本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。
【００１５】
すなわち、映画のデータを再生する情報処理装置が行う情報処理方法であって、
前記情報処理装置が有する記憶保持手段が、前記映画のシーン毎に、該シーンを見る人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持部に記憶保持する記憶保持工程と、
前記情報処理装置が有する再生手段が、前記映画のデータを再生する再生工程と、
前記情報処理装置が有する撮像手段が、前記映画のデータを見ているときのユーザの画像を撮像する撮像工程と、
前記情報処理装置が有する推定手段が、前記画像から得られる前記ユーザの特徴量に基づいて、前記映画のシーンを見ているときの前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定工程と、
前記情報処理装置が有する修正手段が、前記ユーザが前記シーンを見ているときに前記推定工程により推定される感情が、該シーンに関連付けて前記記憶保持部に記憶保持されている感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正工程と
を備えることを特徴とする。
【００１６】
本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。
【００１７】
すなわち、ゲームを再生する情報処理装置が行う情報処理方法であって、
前記情報処理装置が有する記憶保持手段が、前記ゲームの各進展具合を示す情報毎に、該進展具合において前記ゲームをしている人が持つと思われる感情を示す感情情報を予め関連付けて記憶保持部に記憶保持する記憶保持工程と、
前記情報処理装置が有する撮像手段が、前記ゲームを行っているときのユーザの画像を撮像する撮像工程と、
前記情報処理装置が有する監視手段が、前記ユーザが行っているゲームの進展具合を監視する監視工程と、
前記情報処理装置が有する推定手段が、前記画像から得られる前記ユーザの特徴量に基づいて、前記ゲームの各進展具合における前記ユーザの感情を、予め設定された認識モデルを用いて推定する推定工程と、
前記情報処理装置が有する修正手段が、前記ゲームの各進展具合について前記推定工程により推定される感情が、前記記憶保持部に該進展具合を示す情報に関連付けられて保持された感情情報が示す感情として推定されるように、前記認識モデルのパラメータを修正する修正工程と
を備えることを特徴とする。
【発明の効果】
【００１８】
本発明の構成により、表情に代表される人物の状態（反応）と感情との対応を、個人毎に簡便に設定することができる。
【発明を実施するための最良の形態】
【００１９】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２０】
［第１の実施形態］
図１は、本実施形態に係る情報処理システムの機能構成を示す図である。
【００２１】
同図において１００はユーザで、以下では、このユーザの表情と感情との対応関係を設定する処理について説明する。本実施形態に係るシステムは、カメラ、１０１、マイク１０２、制御部１０３、反応計測部１０４、感情認識部１０５、刺激データ提示部１０６、感情データ保持部１０７、感情モデル修正部１０８、感情モデル１０９により構成されている。
【００２２】
以下、システムを構成する各部について簡単に説明する。
【００２３】
カメラ１０１はユーザの様子を動画像として撮像するものである。マイク１０２は、ユーザの音声を収集するものである。カメラ１０１、マイク１０２により得られた画像情報、音声情報は、後段の反応計測部１０４に出力される。
【００２４】
制御部１０３は、同図に示したシステムを構成する各部を制御するものである。反応計測部１０４は、カメラ１０１から得られた画像情報、もしくはマイク１０２から得られた音声情報を用いて、ユーザ１００の反応を計測する。この反応とは例えば、ユーザ１００の顔における眼や口等の位置や大きさ、また声の大きさ等といったものである。
【００２５】
感情認識部１０５は、反応計測部１０４が計測したユーザ１００の反応を示す情報、及び感情モデル１０９を用いて、ユーザ１００の感情を認識する。この認識方法については後述する。
【００２６】
刺激データ提示部１０６は、刺激データに従った画像や音声をユーザ１００に提示（再生）するものである。刺激データには、この刺激データに従った画像や音声を一般のユーザに提示した場合に、一般のユーザが抱くとおぼしき感情を示すデータ（情報）が関連付けられている。この刺激データについては詳しくは後述する。感情データ保持部１０７は、上記刺激データ、及びこの刺激データに関連付けられている感情を示すデータを保持する。
【００２７】
感情モデル修正部１０８は、刺激データ提示部１０６によってユーザ１００に刺激データを提示した場合に、感情認識部１０５が認識した感情が、提示した刺激データに関連付けらた感情として認識されるように、感情モデル１０９のパラメータを修正するものである。感情モデル１０９は、反応計測部１０４からの情報を入力とし、この入力に基づいて、ユーザ１００の感情を認識する為のモデルである。
【００２８】
図７は、本実施形態に係るシステムのハードウェア構成を示す図である。本実施形態では、カメラ１０１、マイク１０２をＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などのコンピュータに接続し、一連の上記認識処理、感情モデル１０９のパラメータ修正処理をこのコンピュータにおいて行うとする。
【００２９】
７０１はＣＰＵで、ＲＡＭ７０２やＲＯＭ７０３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、Ｉ／Ｆ７０７を介してカメラ１０１から入力される各フレームのデータ、マイク１０２から入力されるアナログ信号を受ける処理をも行う。また、後述する一連の認識処理、感情モデル１０９のパラメータ修正処理をも行う。ＣＰＵ７０１は、図１では制御部１０３として機能するものである。
【００３０】
７０２はＲＡＭで、外部記憶装置７０６に保存されており、ＣＰＵ７０１の制御によりロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ７０１が各種の処理を行うために使用するワークエリアも備える。また、Ｉ／Ｆ７０７を介してカメラ１０１、マイク１０２から入力される画像情報、音声情報を一時的に記憶するためのエリアを備える。
【００３１】
７０３はＲＯＭで、コンピュータを起動するためのプログラムやデータなどを格納する。
【００３２】
７０４は操作部で、キーボードやマウスなどにより構成されており、各種の指示をＣＰＵ７０１に入力することができる。
【００３３】
７０５は表示部で、ＣＲＴや液晶画面などにより構成されており、画像や文字などを表示することができる。また、表示部７０５は音声出力も可能である。表示部７０５は、図１では刺激データ提示部１０６として機能するものである。
【００３４】
７０６は外部記憶装置で、ハードディスク装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）やＣＰＵ７０１に後述する一連の処理を実行させるためのプログラムやデータを保存させておくことができる。本実施形態では、反応計測部１０４、感情認識部１０５、感情モデル１０９、感情モデル修正部１０８は全てプログラムやデータなどにより構成され、外部記憶装置７０６に保存されており、ＣＰＵ７０１の制御に従ってＲＡＭ７０２にロードされるものであるとする。また、外部記憶装置７０６は、図１では、感情データ保持部１０７として機能するものである。
【００３５】
７０７はＩ／Ｆで、カメラ１０１やマイク１０２を接続することができ、このＩ／Ｆ７０７を介してカメラ１０１から入力される各フレームのデータ、マイク１０２から入力されるアナログ信号を受けることができる。なお、Ｉ／Ｆ７０７には、カメラ１０１やマイク１０２からのアナログ信号をディジタルデータに変換するためのＡ／Ｄ変換器が内蔵されているものとする。
【００３６】
７０８は上述の各部を繋ぐバスである。
【００３７】
以下では、このコンピュータが行う感情認識処理、及びユーザ１００の感情を認識するための感情モデル１０９のパラメータの修正処理について、これらの処理のフローチャートを示す図３を参照して詳細に説明する。
【００３８】
ここで、本実施形態では、表示部７０５によってユーザ１００に提示するものを映画とする。すなわち、上記刺激データは、映画のデータとする。従って刺激データは、映画の各フレームの画像データ、及び音声データにより構成される。また、刺激データには、映画の各シーン毎に、そのシーンを見ている人が（一般に）抱くとおぼしき感情を示す情報が関連付けられている。
【００３９】
このように刺激データとして映画を使用することに対してはいくつかの長所がある。一つは、多数の人が同じ体験をすることが出来るので、平均的な反応と個人の特異な反応との比較がしやすい。つまり、日常生活の中での経験に基づいて個人ごとの設定を行おうとすると、状況がまったく同じであることはまれであるので比較がしにくいが、映画を使用することで、そのような問題を回避できる。
【００４０】
また、一般的に映画は多くのシーンがあり映画を一通り見ると、基本的な感情全てに対する反応が得られる。さらに、ユーザが同じ感情を持つ複数のシーンがあるので、ある特異なシーンのみで感情モデルが作成されるのではなく、ユーザが同じ感情をもつ複数のシーンに対する平均的な反応を使用して、感情モデルを作成するため、精度の高い感情モデルが作成できる。
【００４１】
図２は、各シーン毎に感情を示すデータを関連付けた感情データシートの構成例を示す図である。例えば映画開始から１０分２１秒目のフレームから１２分２０秒目のフレームまでのシーンを見た場合、多くの人は「怒り」の感情を抱くというように統計が取れているので、同図に示す如く、１０分２１秒目のフレームから１２分２０秒目のフレームまでのシーンには、「怒り」の感情を示すデータが関連付けられている。これは他のシーンについても同様である。
【００４２】
このような感情データシートのデータは予め作成され、外部記憶装置７０６に保存されており、必要に応じてＲＡＭ７０２にロードされる。
【００４３】
そしてＣＰＵ７０１は外部記憶装置７０６に保存されている映画のデータ、各シーンに関連付けられている感情を示すデータ、上記感情データシートのデータをＲＡＭ７０２にロードし、映画のデータを再生して表示部７０５に映画の各フレームの画像情報、音声情報を出力（再生）する（ステップＳ３０１）。
【００４４】
ユーザ１００はこの提示された映画の画像を見、提示された音声情報を聞くのであるが、このときのユーザの様子（反応）はカメラ１０１、マイク１０２により収集される。カメラ１０１はユーザ１００の動画像を撮像しており、撮像した各フレームの画像のデータはＩ／Ｆ７０７を介して順次ＲＡＭ７０２に出力される。同様にマイク１０２はユーザ１００から発せられる音声を収集しており、収集した音声信号はＩ／Ｆ７０７を介してＲＡＭ７０２に出力される。
【００４５】
ＣＰＵ７０１は、カメラ１０１、マイク１０２からＲＡＭ７０２に出力された画像情報、音声情報を用いて、映画を見ているユーザ１００の反応を計測する（ステップＳ３０２）。反応の計測とは上述の通り、ユーザ１００の顔の眼・口・鼻といった顔を構成する部品の画像上における位置や大きさ、またそれらの変化、その他にも手や足の画像上における位置やその位置の変化、またユーザ１００の発する音声の大きさ等といった特徴量が、後述する感情モデル１０９への入力に使用されるパラメータ計測値として計測される。なお、このような特徴量の内容については特に限定するものではないし、またその計測、算出方法については周知のものであるので、これ以上の説明は省略する。
【００４６】
そしてＣＰＵ７０１は、得られた計測値に基づいてユーザ１００の感情を認識（推定）する（ステップＳ３０３）。すなわち、ステップＳ３０１で提示したシーンを見、聞いているユーザ１００の感情を認識する。この認識のために、感情モデル１０９を用いる。感情モデル１０９は、プログラムやデータの形態で外部記憶装置７０６からＲＡＭ７０２にロードされており、ＣＰＵ７０１がこれを用いることで、以下説明する認識処理を行うことができる。
【００４７】
感情モデル１０９としては例えば周知のニューラルネットワークを用いることができる。図４は、周知の階層型ニューラルネットワークの構成例を示す図である。同図に示す如く、階層型ニューラルネットワークは、入力層、中間層、出力層の３層構造でもって構成されるもので、入力層に入力された情報は中間層でもって処理され、その処理結果は出力層でもって更に処理されて、出力層を構成する各ニューロンから出力される。
【００４８】
入力層を構成するニューロンの数は、ステップＳ３０２で求めた特徴量の数だけ用意される。従って入力層を構成する各ニューロンには、ステップＳ３０２で求めたそれぞれの特徴量（ユーザ１００の顔の眼・口・鼻といった顔を構成する部品の位置や大きさ、またそれらの変化、その他にも手や足の位置やその位置の変化、またユーザ１００の発する音声の大きさ等）が入力される。
【００４９】
一方、出力層を構成する各ニューロンは、それぞれが異なる感情を示す為のもので、入力層を構成する各ニューロンに、ステップＳ３０２で求めたそれぞれの特徴量を入力すると、出力層を構成するニューロンの何れか１つが発火する。従って、発火したニューロンに割り当てられた感情が、認識結果とする。例えば出力層を構成するニューロンの数を７つとすると、各ニューロンに“幸福”“怒り”“悲しみ”“嫌悪”“驚き”“恐れ”“感情なし”の何れか１つを重複なしに割り当てる。そして例えば”驚き”を割り当てられたニューロンのみが発火した場合には、認識結果は”驚き”となる。なお、感情の種類はこれに限定するものではないし、これに伴って出力層を構成するニューロンの数もこれに限定するものではない。
【００５０】
なお、周知の通り、各層間のニューロン間の重み係数はすでに設定されているのであるが、この重み係数は、平均的な人の反応データのパラメータ計測値が入力されたときに、平均的な人の感情を出力するように初期設定されている。この初期設定は、多数の人に同じ刺激データを提示し、その時の反応データのパラメータ計測値を入力層への入力信号とし、そしてそのときの平均的な感情を教師信号として学習することにより、行われる。
【００５１】
これにより、様々な人の反応データをニューラルネットワークに入力しても、出力層からは、おおよその人が抱くであろう感情を示すニューロンのみが発火するようになる。
【００５２】
しかし、人によっては、例えば怒っている場合の顔の特徴量をニューラルネットワークに入力しても、悲しみの感情を割り当てられたニューロンが発火してしまうことがある。これは、この人の表情が平均的な表情ではない場合等に生ずる。
【００５３】
従って以下で詳しく説明するが、感情モデル１０９としてニューラルネットワークを用いる場合には、あるシーンを見たユーザ１００の反応データをニューラルネットワークに入力した場合の出力層におけるニューロンの発火パターンが、このシーンに関連付けられている感情を示す出力層におけるニューロンの発火パターンに一致するように、ニューロン間の重み係数を修正する必要がある。
【００５４】
一方、感情モデル１０９としてニューラルネットワーク以外のモデルを用いた場合について説明する。ニューラルネットワーク以外のモデルとして、ステップＳ３０２で計測されるユーザ１００の反応データのパラメータ計測値の存在範囲を、各感情毎に規定している感情モデルを使用する。
【００５５】
図５は、このようなモデルが規定する各反応パラメータの範囲の例を示す図である。同図に示した感情モデルシート５０１には、前述した“幸福”・・・といった各感情ごとに、眼や口等、及びそれらを構成するさらに小さな部位の位置やその変化といった反応データのパラメータ計測値の存在範囲が記述されている。例えば、“幸福”という感情は、眼に関しては、目の中心位置と目尻の位置関係が規定されている。原点を画像の左上にとり、眼の垂直方向の長さをEv、眼の中心位置をEx,Ey、とすると、目尻の垂直方向の位置Eeyは、
Eey≧Ey＋a×Ev  且つ  Eey＜Ey＋b×Ev    （ａ＝０．１，ｂ＝１．０）
という条件式に従っている。つまり、この式から、“幸福”という感情をしめす時には目尻が下がっているということがわかる。
【００５６】
逆にいうと、ユーザ１００の反応データにおいて、眼の中心位置及び目尻の位置というパラメータ計測値がこの式を満足したときに、ユーザ１００が“幸福”という状態である可能性があるということである。そして、この感情モデル１０９を用いて、この他にも、眼・口等の構成部品それぞれに対して求められたパラメータ計測値が、それぞれの位置関係を示す式を満足しているかどうかを調べ、満足した式が最も多い感情をユーザ１００の感情として認識する。
【００５７】
このように各感情時の顔の構成部品の位置や変化、また手や足の動作や声の大きさ等の存在範囲を規定することで、モデルシート上で各感情を表現することができる。なお、上記式におけるパラメータ（係数）（ａ，ｂ）の値は、平均的な人の反応データのパラメータ計測値が入力されたときに、平均的な人の感情を出力するように初期設定されている。当然、他の関係式におけるパラメータについても同様に初期設定されている。
【００５８】
これにより、様々な人の反応データを図５に示すようなモデルシートに記述された各条件式に当てはめてみても、おおよその人が抱くであろう感情に該当する各条件式を満たすようになる。
【００５９】
しかし、人によっては、例えば怒っている場合の顔の特徴量を各条件式に代入してみても、悲しみの感情に該当する条件式を満たすようになることがある。これは、この人の表情が平均的な表情ではない場合等に生ずる。
【００６０】
従って以下で詳しく説明するが、感情モデル１０９として感情毎に設けた条件式群を用いる場合には、あるシーンを見たユーザ１００の反応データを感情毎に設けた条件式群に代入した場合に、このシーンに関連付けられている感情に対して設けた条件式群を最も満たすように、各条件式群におけるパラメータを修正する必要がある。
【００６１】
以上のようにして、感情モデル１０９に何れのモデルを用いたとしても、本実施形態では、あるシーンを見ているユーザ１００の反応データに基づいて、ユーザ１００の感情がこのシーンに関連付けられている感情として認識されるように、感情モデル１０９のパラメータを修正する必要がある。
【００６２】
従ってステップＳ３０４では、感情モデル１０９のパラメータの修正処理を行う。
【００６３】
先ず、感情モデル１０９としてニューラルネットワークを用いた場合のステップＳ３０４における処理について説明する。
【００６４】
図８は、感情モデル１０９としてニューラルネットワークを用いた場合のステップＳ３０４における処理を説明する図である。ここでは出力層を構成するニューロンの数を３とするが、これに限定するものではない。
【００６５】
同図において出力層を構成するニューロン８０１，８０２，８０３にはそれぞれ「怒り」、「悲しみ」、「幸福」の感情を割り当てているものとする。従ってニューロン８０１のみが発火する場合（「１  ０  ０」の出力パターンが出力層から出力された場合）、ニューラルネットワークは認識結果として「怒り」を出力したことになる。一方、ニューロン８０２のみが発火する場合（「０  １  ０」の出力パターンが出力層から出力された場合）、ニューラルネットワークは認識結果として「悲しみ」を出力したことになる。一方、ニューロン８０３のみが発火する場合（「０  ０  １」の出力パターンが出力層から出力された場合）、ニューラルネットワークは認識結果として「幸福」を出力したことになる。
【００６６】
ここで、あるシーンを見ているユーザ１００の反応データが入力層に入力され、出力層から「０．１  ０．２  ０．９」の出力パターンが出力され、更にこのシーンには「幸福」を示す情報が関連付けられているとする。
【００６７】
この場合、このシーンを見て一般的にはユーザ１００は「幸福」な感情を抱くと予想されるので、ユーザ１００の感情の認識結果として「幸福」を示すパターン「０  ０  １」が出力層から出力されることが好ましい。ところが、これとは異なる「０．１  ０．２  ０．９」の出力パターンが出力されたということは、これはすなわち、重み係数を修正し、ニューラルネットワークが上記反応データを入力した場合には所望の出力パターン（「０  ０  １」）を出力するようにする必要があるということである。
【００６８】
従ってこのような場合には、上記反応データを入力層に入力することで出力層から出力される出力パターンと、教師信号としての上記所望の出力パターンとの差（誤差）を求め、この差に基づいて周知のバックプロパゲーション処理を行うことで、各層間のニューロン間の重み係数を修正する（学習処理）。このような処理を複数回繰り返して重み係数を修正することで、幸福なシーンを見ているユーザ１００の反応データをニューラルネットワークに入力すると、「０  ０  １」の出力パターンが出力層から出力される、すなわち、「幸福」の感情として認識されることになる。
【００６９】
また、これは他のシーン（他の感情を抱かせるシーン）をユーザ１００に見せ、そのときのユーザ１００の感情を認識するために用いる重み係数の修正処理を行う場合についても同じである。なお、本実施形態では、１つのシーン（図２に示した各シーン）について上記誤差が所定値となるまで行ってから次にシーンに処理を移行しても良いし、各シーンについて１回ずつ順次行うようにしても良い。また、上記学習処理のアルゴリズムについては様々なものが適用可能であり、特に限定するものではない。また、学習処理の終了基準についても特に限定するものではない。
【００７０】
次に、感情モデル１０９がパラメータ計測値の存在範囲を各感情毎に規定している感情モデルの場合のステップＳ３０４における処理について説明する。
【００７１】
例えばユーザ１００が「幸福」を示す情報が関連付けられたシーンを見ている場合、このときのユーザ１００の反応データの存在範囲が、「幸福」の感情に該当する条件式を満たすように、条件式に含まれているパラメータを修正する。例えば幸福という感情として認識するための目に関する上記条件式
Eey≧Ey＋a×Ev  且つ  Eey＜Ey＋b×Ev
の場合、「幸福」を示す情報が関連付けられたシーンを見ているユーザ１００の反応データに含まれる眼の垂直方向の長さEv、眼の中心位置Ex,Eyをこの式に代入し、この式を満たすように係数ａ、ｂを修正する。
【００７２】
なお、本実施形態では、１つのシーン（図２に示した各シーン）について条件式のパラメータ修正処理を行ってから次にシーンに処理を移行しても良いし、各シーンについて１回ずつ順次行うようにしても良い。
【００７３】
以上の処理を映画の終了時まで行う（ステップＳ３０５）。
【００７４】
以上説明した処理を行うことにより、各シーンに関連付けられた感情をユーザ１００が抱いた場合に、どのような表情、手足の動き、声の大きさであるのかを感情モデル１０９に含まれるパラメータを修正することにより、学習することができ、その結果、学習後の感情モデル１０９は、ユーザ１００の感情を、ユーザ１００固有の視覚的な情報、聴覚的な情報でもって認識することができるモデルとなる。
【００７５】
このようにユーザ個人毎の感情モデルを作成し、その個人ごとの感情モデルに基づいて、ユーザの反応に対して感情を認識することにより、正確にユーザの感情を認識することが出来る。つまり、一般的に同じ感情を抱いていても個人の反応（表情等）は異なるが、同じ刺激に対する各個人の反応を学習したため、個人の反応の差異に影響を受けない感情認識が可能になる。
【００７６】
また、刺激データに映画を使用することで、前述のように、精度の高い感情モデルが作成できるため、精度の高い感情認識が可能になる。
【００７７】
また本実施形態では、感情モデル１０９のパラメータの初期値は、平均的な人の反応データのパラメータ計測値が入力されたときに、平均的な人の感情を出力するように初期設定されているので、初期値を全て０と設定するよりも、容易に個人ごとの感情モデルが作成できる。
【００７８】
また、各シーンごとに感情を認識するのではなく、ユーザ１００の表情が変化したり、ユーザ１００の動作が変化したとき等、ユーザ１００の反応データのパラメータ計測値に変化が起こった時のみに、感情を認識するようにしてもよい。このようにすることで、反応の乏しい人に対して感情モデルを作成する時に、無反応の時の誤差を減少させることが出来る。
【００７９】
なお、本実施形態では、ユーザ１００の画像情報と音声情報の両方を収集して感情を認識するようにしていたが、ユーザによっては如何なる感情を抱いても声を出さない場合もある。その場合には、画像情報のみを用いて感情を認識するようにしても良い。その場合には、マイク１０２は必要はないし、感情モデル１０９には、上記画像情報のみを入力することになる。
【００８０】
［第２の実施形態］
第１の実施形態では刺激データとして映画のデータとしたが、本実施形態ではテレビゲームのプログラム、及びデータとする。
【００８１】
つまり、ゲームを再生し、ゲームの進展具合と、その進展具合に対して人が抱く感情とに関して関連付けられた感情データを用意する。そして、ゲームの進展具合に対する感情データと、その進展具合に対するユーザの反応とから、そのユーザの感情モデルを第１の実施形態と同様にして作成する。
【００８２】
ここでいうゲームの進展具合とは、ある場面をクリアするのにどれくらい時間がかかっているか、またはある時間内にどれだけの敵を倒したか、またはある時間内に自分のキャラクタが敵に連続して負けたか等である。なお、本実施形態では、感情データ保持部１０７には、ゲームの進展具合とその時の感情とを関連付けた感情データを保持している。
【００８３】
図６は、本実施形態における感情データシートの構成例を示している。
【００８４】
感情データシート６０１では、前述のようなゲームの進展具合と感情とを関連付けている。この関連付けは、多数の人にゲームをやってもらい、そのときのゲームの進展具合に応じた感情をまとめた平均的な感情データから作成される。
【００８５】
よってＣＰＵ７０１は、同図に示した各進展具合についてユーザ１００のプレイを監視（クリア時間は？ある時間内にどの程度の数の敵を倒したか？等を監視）し、同図の感情データシートにおいて該当する進展具合を特定する。特定した各進展具合には感情が関連付けられているので、それぞれの進展具合に関連付けられた感情のうち、最も多いものを認識結果として出力する。すなわち、ここで認識したのは、「この進展具合なら、ユーザ１００はこのような感情を抱くであろう」感情（推定感情）である。
【００８６】
一方で、第１の実施形態と同様にして、カメラ１０１、マイク１０２からの画像情報、音声情報に基づいて感情モデル１０９によりユーザ１００の感情を認識する。そして、認識した感情と上記推定感情（第１の実施形態では教師信号に該当）とを参照し、第１の実施形態と同様にして感情モデル１０９のパラメータを修正する。
【００８７】
以上の説明からもわかるとおり、第１の実施形態では、各シーン毎に感情を示す情報が予め関連付けられて感情データシートの形態で記憶保持されていたので、各シーン毎に認識されるべき感情はこの感情データシートを参照することにより得られたのであるが、本実施形態では、刺激データとしてゲームのプログラム、データを用いたことにより、感情データシートの構成、及びこの感情データシートを用いたユーザ１００の感情を認識する方法は異なる。
【００８８】
すなわち、ＣＰＵ７０１は常にユーザ１００のゲームの進展具合を監視し、所定の時間毎に感情データシートのどの進展具合に該当するのかを判断する。そして該当する進展具合に関連付けられた感情のうち、最も多いものを認識結果とする。これにより、ＣＰＵ７０１は、「この進展具合なら、ユーザ１００はこのような感情を抱くであろう」と判断して、感情を認識することができる。
【００８９】
このように、現在のユーザ１００の感情がどのようなものであるかを得るために映画の代わりにテレビゲームを用いることで、感情データシートの構成、及びこの感情データシートを用いたユーザ１００の感情を認識する方法が異なる以外は、本実施形態は第１の実施形態と同じである。
【００９０】
このように刺激データとしてテレビゲームを使用すると以下のような長所がある。すなわち、多数の人がゲームの進展に沿って、ほぼ同じ体験をすることが出来るので、平均的な反応と個人の特異な反応との比較がしやすい。さらに、同じ感情を持つ状態がいくつかあるので、ある特異な状態のみで感情モデルが作成されるのではなく、同じ感情をもつ複数の状態に対する平均的な反応を使用して感情モデルを作成するため、精度の高い感情モデルが作成できる。
【００９１】
また、テレビゲームはインタラクティブ性があり、ユーザが映画よりも更に主体的に取り組むので、声を出したりして、ユーザの反応も強くなり、喜怒哀楽の感情が出やすい。そのため、ユーザの反応データのパラメータ計測が行いやすい。しかし、感情モデルの作成及び修正時には、入力されるユーザの反応データのパラメータ計測値に対して出力される感情の強さは最大のレベルとする必要がある。つまり、ゲームを実行中の反応データのパラメータ計測値のレベルより低い値を入力した時に、出力される感情のレベルが通常レベルになるようにする必要がある。
【００９２】
なお、本実施形態では、ユーザ１００の画像情報と音声情報の両方を収集して感情を認識するようにしていたが、ユーザによっては如何なる感情を抱いても声を出さない場合もある。その場合には、画像情報のみを用いて感情を認識するようにしても良い。その場合には、マイク１０２は必要はないし、感情モデル１０９には、上記画像情報のみを入力することになる。
【００９３】
なお、ユーザ１００の反応データを得る形態は上記実施形態以外にも考えられる。例えば、第１の実施形態ではシーンを見ているユーザ１００の画像情報、音声情報を反応データとして収集したが、シーンを見ているユーザの脈拍数を計測し、計測した脈拍数が単位時間あたりどの程度の脈拍数であるかによって、感情を推定するようにしても良い。例えば興奮時には単位時間あたりの脈拍数は多くなる等、脈拍数は感情の部分情報になりうるので、この脈拍数を反応データとして用いることも可能である。また、反応データとして以上説明したものを適宜組み合わせて用いるようにしても良い。
【００９４】
［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９８】
【図１】本発明の第１の実施形態に係る情報処理システムの機能構成を示す図である。
【図２】各シーン毎に感情を示すデータを関連付けた感情データシートの構成例を示す図である。
【図３】本発明の第１の実施形態に係るコンピュータが行う感情認識処理、及びユーザ１００の感情を認識するための感情モデル１０９のパラメータの修正処理のフローチャートである。
【図４】周知の階層型ニューラルネットワークの構成例を示す図である。
【図５】ステップＳ３０２で計測されるユーザ１００の反応データのパラメータ計測値の存在範囲を、各感情毎に規定している感情モデルが規定する各反応パラメータの範囲の例を示す図である。
【図６】本発明の第２の実施形態における感情データシートの構成例を示している。
【図７】本発明の第１の実施形態に係るシステムのハードウェア構成を示す図である。
【図８】感情モデル１０９としてニューラルネットワークを用いた場合のステップＳ３０４における処理を説明する図である。
【図１】
0004641389.tif 000002
【図２】
0004641389.tif 000003
【図３】
0004641389.tif 000004
【図４】
0004641389.tif 000005
【図５】
0004641389.tif 000006
【図６】
0004641389.tif 000007
【図７】
0004641389.tif 000008
【図８】
0004641389.tif 000009