(57)【要約】【課題】  ユーザの感情をより精度良く認識できるようにする。【解決手段】  メタ情報抽出部３４は、ユーザが視聴しているコンテンツのメタ情報、例えば、コンテンツが属するジャンルの情報を抽出する。感情予測部３５は、メタ情報から、ユーザの感情を予測する。ユーザが視聴しているコンテンツから、ユーザがどのような感情を抱くかが予測される。その予測結果は、感情認識部３６に供給される。感情認識部３６には、ユーザ情報取得部１３から、ユーザの表情、ジェスチャー、声といった情報が供給される。それらの供給された情報から特徴量が抽出され、ユーザの感情が予測される。感情認識部３６は、感情予測部３５からの予測結果と、ユーザ情報取得部１３からの情報から予測された予測結果から、ユーザの感情を認識する。本発明は、ユーザに情報を推薦する装置に適用することができる。【選択図】      図１
2007041988.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツに関するメタ情報を取得する取得手段と、
前記取得手段により取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測手段と、
前記予測手段による予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識手段と
を備える情報処理装置。
【請求項２】
前記認識手段は、前記予測手段による予測結果に基づいて、前記ユーザの感情に重み付けする
請求項１に記載の情報処理装置。
【請求項３】
前記ユーザが発した音を集音し、集音された前記音から特徴量を抽出する音特徴量抽出手段をさらに備え、
前記認識手段は、前記音特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とする
請求項１に記載の情報処理装置。
【請求項４】
前記ユーザの画像を撮像し、撮像された前記画像から前記特徴量を抽出する画像特徴量抽出手段をさらに備え、
前記認識手段は、前記画像特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とする
請求項１に記載の情報処理装置。
【請求項５】
前記取得手段により取得される前記メタ情報は、前記コンテンツに関するテキスト情報である
請求項１に記載の情報処理装置。
【請求項６】
前記取得手段は、コンテンツにオーディ情報が含まれる場合、前記オーディオ情報から特徴量を抽出し、抽出された前記特徴量を前記メタ情報とする
請求項１に記載の情報処理装置。
【請求項７】
前記取得手段は、コンテンツに音声情報が含まれる場合、前記音声情報に基づく音声を音声認識し、音声認識の結果から抽出されたテキストを前記メタ情報とする
請求項１に記載の情報処理装置。
【請求項８】
前記取得手段は、コンテンツに映像情報が含まれる場合、前記映像情報に基づく映像に出演している出演者に関する情報を前記メタ情報とする
請求項１に記載の情報処理装置。
【請求項９】
前記取得手段は、コンテンツに時間情報が付随している場合、前記時間情報に基づき、前記コンテンツの進行に伴い、メタ情報を抽出する
請求項１に記載の情報処理装置。
【請求項１０】
前記予測手段は、前記ユーザの感情を予測するためのテーブルを保持し、
前記認識手段による認識結果は、前記予測手段に供給され、前記予測手段は供給された認識結果により保持しているテーブルを更新する
請求項１に記載の情報処理装置。
【請求項１１】
コンテンツに関するメタ情報を取得する取得ステップと、
前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、
前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップと
を含む情報処理方法。
【請求項１２】
コンテンツに関するメタ情報を取得する取得ステップと、
前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、
前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、並びにプログラムに関し、特に、コンテンツに付随する情報とユーザの表情などの情報を用いて、ユーザの感情を認識するようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
人間（ユーザ）の声の調子や顔の表情から、そのユーザの感情を認識（推測）することが提案されている。（例えば、特許文献１、非特許文献１参照）
【特許文献１】特開平１０−２２８２９５号公報
【非特許文献１】松本，他著「ロボットでの利用を目的とした顔画像情報と音声情報の統合による感情認識」、第２２回日本ロボット学会学術講演会
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ユーザの感情を認識する従来の方式は、マイクロホンを利用してユーザの声を取得し、その声の調子などを判断してユーザの感情を認識したり、カメラを利用してユーザの顔を撮像し、その撮像された顔の表情を判断してユーザの感情を認識したりしていた。
【０００４】
しかしながら、このようなマイクロホンやカメラから取得される音声信号や画像信号からユーザの感情を認識する場合、誤認識してしまう可能性が高く（精度が低く）、より高精度にユーザの感情を認識する（より的確にユーザの感情を推測する）ことが望まれている。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、より精度良く、ユーザの感情を認識（推測）することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の情報処理装置は、コンテンツに関するメタ情報を取得する取得手段と、前記取得手段により取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測手段と、前記予測手段による予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識手段とを備える。
【０００７】
前記認識手段は、前記予測手段による予測結果に基づいて、前記ユーザの感情に重み付けするようにすることができる。
【０００８】
前記ユーザが発した音を集音し、集音された前記音から特徴量を抽出する音特徴量抽出手段をさらに備え、前記認識手段は、前記音特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とするようにすることができる。
【０００９】
前記ユーザの画像を撮像し、撮像された前記画像から前記特徴量を抽出する画像特徴量抽出手段をさらに備え、前記認識手段は、前記画像特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とするようにすることができる。
【００１０】
前記取得手段により取得される前記メタ情報は、前記コンテンツに関するテキスト情報であるようにすることができる。
【００１１】
前記取得手段は、コンテンツにオーディ情報が含まれる場合、前記オーディオ情報から特徴量を抽出し、抽出された前記特徴量を前記メタ情報とするようにすることができる。
【００１２】
前記取得手段は、コンテンツに音声情報が含まれる場合、前記音声情報に基づく音声を音声認識し、音声認識の結果から抽出されたテキストを前記メタ情報とするようにすることができる。
【００１３】
前記取得手段は、コンテンツに映像情報が含まれる場合、前記映像情報に基づく映像に出演している出演者に関する情報を前記メタ情報とするようにすることができる。
【００１４】
前記取得手段は、コンテンツに時間情報が付随している場合、前記時間情報に基づき、前記コンテンツの進行に伴い、メタ情報を抽出するようにすることができる。
【００１５】
前記予測手段は、前記ユーザの感情を予測するためのテーブルを保持し、前記認識手段による認識結果は、前記予測手段に供給され、前記予測手段は供給された認識結果により保持しているテーブルを更新するようにすることができる。
【００１６】
本発明の一側面の情報処理方法は、コンテンツに関するメタ情報を取得する取得ステップと、前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップとを含む。
【００１７】
本発明の一側面のプログラムは、コンテンツに関するメタ情報を取得する取得ステップと、前記取得ステップの処理で取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測ステップと、前記予測ステップの処理での予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識ステップとを含む処理をコンピュータに実行させる。
【００１８】
本発明の一側面においては、ユーザが視聴しているコンテンツから推測されるユーザの感情と、コンテンツを視聴しているユーザからの情報が用いられ、ユーザの感情が認識される。
【発明の効果】
【００１９】
以上のように、本発明の一側面によれば、ユーザの感情を認識することができる。
【００２０】
また、本発明の一側面によれば、ユーザが視聴しているコンテンツの情報と、ユーザ自身の仕草などからの情報とから、ユーザの感情を認識することができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
本発明の一側面の情報処理装置は、コンテンツに関するメタ情報を取得する取得手段（例えば、図１のメタ情報抽出部３４）と、前記取得手段により取得された前記メタ情報から、前記コンテンツを閲覧しているユーザの感情を予測する予測手段（例えば、図１の感情予測部３５）と、前記予測手段による予測結果と、前記ユーザからの情報を用いて、前記ユーザの感情を認識する認識手段（例えば、図１の感情認識部３６）とを備える。
【００２３】
前記ユーザが発した音を集音し、集音された前記音から特徴量を抽出する音特徴量抽出手段（例えば、図２の音響特徴抽出部６９）をさらに備える。
【００２４】
前記ユーザの画像を撮像し、撮像された前記画像から前記特徴量を抽出する画像特徴量抽出手段（例えば、図２の画像特徴抽出部６７）をさらに備える。
【００２５】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２６】
［システムの構成例］
図１は、本発明を適用したシステムの一実施の形態の構成を示す図である。図１に示したシステムは、ユーザの感情を認識（推測）するシステムである。図１に示したシステムは、ユーザ自体から取得される情報（声の調子や顔の表情など）の他に、ユーザが閲覧（視聴、聴取）しているコンテンツの情報も取得し、ユーザの感情を認識する。認識されたユーザの感情は、例えば、ユーザに対して推薦する情報を選択するときの情報として利用することができる。
【００２７】
図１に示したシステムは、ユーザに対してコンテンツを供給するコンテンツ再生部１１、ユーザの感情を認識する感情認識装置１２、および、ユーザからの情報を取得し、感情認識装置１２に供給するユーザ情報取得部１３から構成されている。
【００２８】
コンテンツ再生部１１は、感情認識装置１２からコンテンツ（コンテンツデータ）が供給される。コンテンツ再生部１１は、ＰＣ（Personal Computer）２１、テレビジョン受像機２２、音声再生装置２３から構成される。なお、ここでは、コンテンツ再生部１１は、このような装置から構成されるとして説明を続けるが、これらの装置に限定されるのではなく、他の装置が追加されても良い。
【００２９】
ここでは、ＰＣ２１は、ゲームなどのコンテンツを再生する装置であり、テレビジョン受像機２２は、テレビジョン放送の番組やＤＶＤ(Digital Versatile Disc)が再生されることにより得られるコンテンツを再生する装置であり、音声再生装置２３は、ラジオ放送の番組やＣＤ（Compact Disc）が再生されることにより得られるコンテンツを再生する装置であるとして説明を続ける。また、これらの装置が、再生するコンテンツのデータは、感情認識装置１２から供給される。
【００３０】
感情認識装置１２は、コンテンツ取得部３１、コンテンツ蓄積部３２、コンテンツ供給部３３、メタ情報抽出部３４、感情予測部３５、感情認識部３６から構成されている。コンテンツ取得部３１は、テレビジョン放送、ラジオ放送、ネットワークなどを通じて、映像、音楽、ゲームなどのコンテンツを取得する。ネットワークに、ＤＶＤプレーヤやＣＤプレーヤなどの装置が接続されていれば、それらの装置で再生されるコンテンツも取得できるように構成されている。
【００３１】
コンテンツ取得部３１は、コンテンツを取得する際、ＥＰＧ（Electronic Program Guide）やクローズドキャプション情報、レビュー文などの取得可能な付随情報も同時に取得する。コンテンツ蓄積部３２は、コンテンツ取得部３１で取得されたコンテンツやそのコンテンツに付随する情報を蓄積する。
【００３２】
コンテンツ供給部３３は、コンテンツ取得部３１で取得されたコンテンツ、またはコンテンツ蓄積部３２に蓄積されているコンテンツを、コンテンツ再生部１１を構成するＰＣ２１、テレビジョン受像機２２、または、音声再生装置２３などの装置のうち、コンテンツに適した装置に対して、コンテンツを供給し、ユーザが視聴できるようにする。
【００３３】
メタ情報抽出部３４は、コンテンツ取得部３１で取得されたコンテンツ、またはコンテンツ蓄積部３２が保持しているコンテンツに関するメタ情報を抽出する。メタ情報としては、例えば、コンテンツがテレビジョン放送の番組であれば、その番組が属するジャンル、あらすじ、レビュー文といった番組に付随するテキスト情報などを解析して得られるキーワードなどである。また、メタ情報としては、コンテンツが音楽であれば、歌詞やレビュー文などが解析されることにより取得されるキーワードや、曲が音響的に解析されることにより取得される、テンポや明るい曲、暗い曲といった情報などである。
【００３４】
感情予測部３５は、コンテンツ供給部３３でコンテンツ再生部１１に供給しているコンテンツに関連し、メタ情報抽出部３４で抽出されたメタ情報を利用して、ユーザの感情を予測する。この感情予測部３５は、図３と図４を参照して後述するように表形式または確率形式で保持する情報に基づいて予測処理を行う。感情認識部３６は、ユーザ情報取得部１３により取得されるユーザの表情、ジェスチャー、音声などからユーザの感情を認識する。
【００３５】
ユーザ情報取得部１３は、カメラ４１とマイクロホン４２から構成されている。カメラ４１は、ユーザの顔の表情や全体を撮影し、そのデータを、感情認識部３６に供給するように構成される。カメラ４１から感情認識部３６に供給される情報は、静止画像のデータであっても良いし、動画像のデータであっても良い。マイクロホン４２は、ユーザから発せられる音（例えば、声や拍手による音）を集音し、そのデータを、感情認識部３６に供給する。
【００３６】
なお、ここでは、図１に示したように、感情認識装置１２に、コンテンツ再生部１１にコンテンツデータを供給される部分を設けるとして説明を続けるが、感情認識装置１２に、コンテンツデータを供給するための部分を設けない構成としても良い。例えば、コンテンツ取得部３１、コンテンツ蓄積部３２、コンテンツ供給部３３、およびメタ情報抽出部３４は、感情認識装置１２に含まれず、他の装置（独立した装置）として設けるようにしても良い。
【００３７】
コンテンツデータを供給するための部分（ここでは、コンテンツ処理部と称する）を、感情認識装置１２と別に設けた場合、コンテンツ処理部から、コンテンツデータやメタ情報が、感情認識装置１２に供給される構成とされればよい。また、コンテンツ処理部は、例えば、コンテンツデータを処理できるＤＶＤプレーヤなどに組み込まれる構成としても良い。
【００３８】
図２は、感情認識部３６の詳細な構成例を示す図である。感情認識部３６は、感情予測情報取得部６１、感情認識用モデル選択部６２、感情認識用モデル保持部６３、マッチング部６４、感情情報出力部６５、画像データ取得部６６、画像特徴抽出部６７、音声データ取得部６８、および、音響特徴抽出部６９から構成される。
【００３９】
感情予測情報取得部６１は、感情予測部３５（図１）からの予測情報（予測結果）を取得する。感情予測情報取得部６１により取得された予測情報は、感情認識用モデル選択部６２に供給される。感情認識用モデル選択部６２は、感情予測部３５からの予測情報（予測されたユーザの感情）に基づき、該当する感情認識用モデルを感情認識用モデル保持部６３から選択し、マッチング部６４に供給する。
【００４０】
マッチング部６４は、画像特徴抽出部６７と音響特徴抽出部６９から、それぞれ供給される特徴量と、感情認識用モデル選択部６２から供給される感情認識用モデルとの間のマッチングを行い、各モデルに対するスコアを計算する。マッチング部６４に供給される特徴量は、画像特徴抽出部６７と音響特徴抽出部６９からそれぞれ供給されるが、画像特徴抽出部６７と音響特徴抽出部６９には、画像データ取得部６６と音声データ取得部６８から、それぞれデータが供給される。
【００４１】
すなわち、画像データ取得部６６は、カメラ４１（図１）から供給される画像データを取得し、その取得された画像データを、画像特徴抽出部６７に供給する。画像特徴抽出部６７は、供給された画像データから、ユーザの感情を認識するのに必要な特徴量を抽出し、マッチング部６４に供給する。
【００４２】
また、音声データ取得部６８は、マイクロホン４２（図１）から供給される音声データを取得し、その取得された音声データを、音響特徴抽出部６９に供給する。音響特徴抽出部６９は、供給された音声データから、ユーザの感情を認識するのに必要な特徴量を抽出し、マッチング部６４に供給する。
【００４３】
マッチング部６４は、上記したように、画像特徴抽出部６７と音響特徴抽出部６９から、それぞれ供給される特徴量と、感情認識用モデル選択部６２から供給された感情認識用モデルとの間のマッチングを行い、各モデルに対するスコアを計算する。
【００４４】
このように、マッチング部６４は、カメラ４１やマイクロホン４２から取得されるデータから判断されるユーザの感情と、ユーザが視聴しているコンテンツから取得されるメタ情報を用いて（基づいて）、マッチングの処理を行う（ユーザの感情を認識する）ことで、より詳細にマッチングを行うことが可能となる。
【００４５】
マッチング部６４により計算されたスコアは、感情情報出力部６５に供給される。感情出力部６５は、感情予測部３５（図１）によって予測された感情に基づき、マッチング部６４で計算されたスコアに対して補正をかけ、最終的な感情認識結果（感情情報）を出力する。
【００４６】
感情情報出力部６５から出力される感情情報は、例えば、ユーザに番組を推薦するときなど、ユーザの嗜好情報の１つとして用いられる。また、ネットワークなどを介して情報検索などが行なわれるときに、ユーザが求めている情報を、より的確に提供できるようにするための情報として用いられるようにすることも可能である。
【００４７】
感情情報出力部６５から出力される感情情報は、感情予測部３５にフィードバックされるような構成としても良い。フィードバックされる構成とすることによって、感情予測部３５を、感情認識装置１２のユーザに適応させ、感情認識の精度を高めることができる。すなわち、このときのメタ情報の状況と、実際に認識された感情に基づいて、確率テーブルの更新が行われるようにしても良い。
【００４８】
感情認識用モデル選択部６２による感情認識用モデルの選択と、感情情報出力部６５によるマッチングスコアの補正はそれぞれ独立に行うことができ、いずれか一方のみでも、両方を併用することも可能である。
【００４９】
ここで、感情予測部３５に保持される感情に関するデータについて、図３と図４を参照して説明する。図３および図４に示した感情に関するデータは、コンテンツがテレビジョン放送の番組である場合を例に挙げている。感情予測部３５に保持されるデータは、図３に示したように、ジャンル情報と予測される感情を表形式に示したテーブル８１か、あるいは図４に示したように、ジャンル情報と感情を関連付けた確率形式で示したテーブル８２である。
【００５０】
図３に示した表形式は、番組のジャンル情報と、番組のジャンル情報から出現が予測されるユーザ感情がリストアップされた予測感情が関連付けられたテーブル８１である。例えば、図３に示したテーブル８１には、ジャンル情報として、“バラエティ”、“スポーツ”、“恋愛ドラマ”、“ホラー映画”というジャンルが設けられている。そして、ジャンル情報毎に、予測されるユーザの感情（予測感情）がリストアップされ関連付けられている。
【００５１】
例えば、“バラエティ”というジャンル情報には、予測感情として、“幸福”、“笑い声”、“拍手”、“驚き”、“怒り”、“嫌悪”という感情が、リストアップされ、関連付けられている。他のジャンル情報に関しても、図３に示すように、それぞれ、予測感情が関連付けられている。
【００５２】
このようなテーブル８１が、感情予測部３５に保持される場合、感情予測部３５からは、ユーザにより視聴されているコンテンツに対応する予測感情の情報（テーブル８１の一部分の情報）が出力される（感情認識部３６に供給される）。
【００５３】
図４に示した確率形式は、番組のジャンル情報と、番組のジャンル情報から出現が予測されるユーザ感情がリストアップされた予測感情が関連付けら、さらに、各予測感情の出現する可能性（確率値）が関連付けられたテーブル８２である。例えば、図４に示したテーブル８２には、図３に示したテーブル８１と同様に、ジャンル情報として、“バラエティ”、“スポーツ”、“恋愛ドラマ”、“ホラー映画”というジャンルが設けられている。
【００５４】
そして、ジャンル情報毎に、予測されるユーザの感情（予測感情）が関連付けられている。例えば、“バラエティ”というジャンル情報には、予測感情として、“驚き”、“恐怖”、“嫌悪”、“怒り”、“幸福”、“悲しみ”、“笑い声”、“拍手”、“泣き声”、“叫び声”という感情が関連付けられている。これらの関連付けられている予測感情毎に、所定のジャンルで所定の予測感情が発生する確率値が関連付けられている。
【００５５】
例えば、“バラエティ”というジャンル情報の“驚き”という予測感情には、“０．１”という確率値が関連付けられている。他の予測感情や、他のジャンル情報の予測感情も、図４に示すように、それぞれ確率値が関連付けられている。
【００５６】
このように、図４に示したような確率形式のテーブル８２においては、番組のジャンル情報がＪの時、ユーザ感情（Ｅ）が出現する確率Ｐ（Ｅ｜Ｊ）が、表形式で保持される。
【００５７】
このようなテーブル８２が、感情予測部３５に保持される場合、感情予測部３５からは、ユーザにより視聴されているコンテンツに対応する予測感情と確率値に関する情報（テーブル８２の一部分の情報）が出力される（感情認識部３６に供給される）。
【００５８】
［感情認識装置の動作について］
次に、図５のフローチャートを参照し、感情認識装置１２の動作について説明する。ステップＳ１１において、ユーザが視聴しているコンテンツが取得される。取得されるコンテンツは、コンテンツ供給部３３（図１）が、コンテンツ再生部１１に供給しているコンテンツであり、コンテンツ取得部３１により取得されたコンテンツまたはコンテンツ蓄積部３２に蓄積されていたコンテンツである。
【００５９】
ステップＳ１２において、取得されたコンテンツのメタ情報が取得される。メタ情報抽出部３４は、コンテンツ供給部３３により供給されているコンテンツのメタ情報を抽出し、感情予測部３５に供給する。メタ情報は、上記したように、コンテンツがテレビジョン放送の番組であれば、その番組が属するジャンル、あらすじ、レビュー文といった番組に付随するテキスト情報であり、それらの情報を解析して得られるキーワードなどである。
【００６０】
また、ユーザが視聴しているコンテンツに音声が含まれる場合、音声認識装置（不図示、感情予測部３５に音声を認識（解析）する装置が備えられる構成とする）によって、コンテンツ中の発話内容からキーワードがメタ情報として抽出されるようにしても良い（発話内容を音声認識し、テキストに変換し、そのテキストからメタ情報を抽出するようにしても良い）。このようにした場合、感情予測部３５は、音声から抽出されるキーワードとそのキーワードに対応した感情が関連付けられた表形式（図３に示したテーブル８１）、あるいは確率形式（図４に示したテーブル８２）のテーブルも保持する。
【００６１】
また、ユーザが視聴（聴取）しているコンテンツが音楽である場合、その曲の音響的な特徴量がメタ情報として抽出されるようにしても良い。このようにした場合、感情予測部３５は、曲から特徴量を抽出できる装置を備える構成とされる。このようにした場合、感情予測部３５は、曲から抽出される特徴量から判断される曲の印象、例えば、明るい、暗いといった印象（分類）と、予想されるユーザの感情が関連付けられた表形式、あるいは確率形式のテーブルも保持する。
【００６２】
さらに、ユーザが視聴しているコンテンツが映像情報を含む場合、コンテンツの出演者の情報をメタ情報として利用することができる。出演者をメタ情報として利用する場合、例えば、コンテンツの映像情報から、出演者の顔を認識する技術を用いて出演者を特定することにより、出演者の情報をメタ情報として抽出することが可能である。出演者を特定する処理を行うとき、例えば、コンテンツの映像情報から、顔と認識される画像を抽出し、その抽出された画像と、出演者を特定するための画像（例えば、コンテンツ蓄積部３２に、出演者の画像データを蓄積しておき、その画像データに基づく画像）とのマッチングを取ることにより、出演者が特定される。
【００６３】
番組のＥＰＧなどから、どの出演者がどの時間帯に出演しているかという情報を取得することも可能である。出演者を特定するとき、ＥＰＧから取得される情報により、その時間帯に出演している出演者を絞り込み、絞り込まれた出演者の画像と、コンテンツの映像情報から取得される顔の画像とをマッチングするようにすれば、マッチングにかかる時間（出演者を特定するのにかかる時間）を短くすることが可能となるとともに、マッチング精度を高めることも可能となる。
【００６４】
ＥＰＧなどの情報を利用することにより、感情予測部３５の予測を、時間に応じて動的に変化させることも可能となる。ＥＰＧは、コンテンツに付随する情報であり、放送時間、番組、番組の出演者などが関連付けられている情報である。
【００６５】
よって、番組のＥＰＧを用いることにより、上記したように出演者を特定する際の処理に利用したり、時間経過とともに、感情予測部３５の予測を動的に変化させるようにしたりするようなことも可能となる。感情予測部３５の予測を動的に変化させるには、メタ情報抽出部３４で抽出されるメタ情報を動的に変化させることにより行うことが可能である。
【００６６】
このようにすることで、より精細に感情の予測を行うことが可能である。例えば、テレビジョン放送の番組中で、お笑い芸人の出演している部分では、笑いや幸福の予測値を高くすることといった処理を行うことが可能となる。
【００６７】
このようなメタ情報から１つだけ用いて予測を行うことも可能であるし、複数組み合わせて用いて予測を行うことも可能である。また、メタ情報として、さまざまな情報を用いることで、より精密にユーザの感情を予測することにより、予測精度を高めることが可能である。
【００６８】
上記したように、コンテンツの進行に合わせて、表形式のテーブル８１や確率形式のテーブル８２が動的に更新されるようにし、予測精度を向上させるようにしても良い。
【００６９】
ここでは、コンテンツはテレビジョン放送の番組であり、メタ情報としてジャンル情報が抽出されるとして説明を続ける。
【００７０】
ステップＳＳ１２において、メタ情報が抽出（取得）されると、感情予測部３５は、ステップＳ１３において、ユーザの感情を予測する。感情予測部３５は、上述した図３に示したテーブル８１または図４に示したテーブル８２を保持している。そのテーブル８１またはテーブル８２を参照し、供給されたメタ情報（この場合、ジャンル情報）に対応する情報を、テーブル８１またはテーブル８２から抽出する。抽出された情報は、予測感情として、感情認識部３６（図１）に供給される。
【００７１】
ステップＳ１４において、予測感情に基づき、感情認識用モデルが選択される。感情認識用モデルは、“怒り”、“幸福”、“悲しみ”といった直接的にユーザの感情を表すモデルであっても良いし、“笑い声”、“拍手”といった間接的にユーザの感情を表すモデル（ユーザが所定の感情のときに起こす動作などを表すモデル）であっても良い。感情認識用モデルは、既存のHidden Markov Model（HMM）やSupport Vector Machine（SVM）などの機械学習に基づくモデルを利用することができる。
【００７２】
また、ＨＭＭを利用し、顔の表情、例えば、“怒り”、“嫌悪”、“恐れ”、“悲しみ”、“幸福”、“驚き”といった表情の認識を行うことも可能である。本実施の形態においては、ＨＭＭの方式だけでユーザの感情を認識するのではなく、より精度良くユーザの感情を認識するために、ユーザが視聴しているコンテンツの情報（メタ情報）も用いるようにしている。
【００７３】
ステップＳ１４において、感情認識用モデル選択部６２により選択された感情認識用モデルは、マッチング部６４に供給される。ステップＳ１５において、マッチング部６４は、ユーザからの情報を取得する。ユーザからの情報は、画像特徴抽出部６７から供給されるユーザの顔の表情やジェスチャーといった情報（特徴量）と、音響特徴抽出部６９から供給されるユーザの声や拍手といった情報（特徴量）である。すなわち、ユーザ自身の表情や仕草からユーザの感情を認識するための情報である。
【００７４】
ステップＳ１６において、マッチング部６４は、画像特徴抽出部６７と音響特徴抽出部６９からそれぞれ供給された特徴量と、感情認識用モデル選択部６２から提供された感情認識用モデルとの間のマッチングを行う。このマッチングにより、感情認識用モデル毎にスコアが計算される。すなわち、ユーザが視聴しているコンテンツから認識された感情認識用モデルと、コンテンツを視聴しているユーザの実際の仕草から判断（認識）されるユーザの感情とのマッチング（スコア計算）が行われる。
【００７５】
マッチングの処理が行われる際、感情予測部３５で予測された情報に基づき、マッチングの際のスコアに重み付けを行うようにしても良い。重み付けを行うことにより、より精細にマッチングを行う（ユーザの感情を認識する）ことが可能となる。
【００７６】
マッチングの方式（ユーザの感情の認識の方式）としては、例えば、ベイズ決定則に基づく認識方式を適用することができる。ベイズ決定則に基づく認識方式の場合、センサーからの観測信号入力（画像特徴抽出部６７と音響特徴抽出部６９からの特徴量）をｘとし、その時の感情をｅとすると、事後確率ｐ（ｅ｜ｘ）を最大化する感情ｅを認識結果とすることにより行われる。
【００７７】
この事後確率は、ベイズの定理により以下のように記述できる
ｐ（ｅ｜ｘ）＝ｐ（ｘ｜ｅ）・ｐ（ｅ）／ｐ（ｘ）
ここでｐ（ｅ）は、感情ｅの事前確率を表すが、これに感情予測部３５で求められた確率（すなわち、コンテンツのメタ情報から判断されるユーザの感情）を利用することによって、認識精度を高めることができる。
【００７８】
ステップＳ１７において、感情出力部６５は、感情予測部３５によって予測された感情に基づき、マッチング部６４で計算されたスコアに対して補正をかけ、最終的な感情認識結果を出力する。
【００７９】
感情出力部６５から出力される感情認識結果を、感情予測部３５にフィードバックすることによって、感情予測部３５をユーザに適応させ、精度を高めることができる。すなわちこのときのメタ情報の状況と、実際に認識された感情に基づいて、テーブル（テーブル８１やテーブル８２）の更新が行なわれるようにしても良い。また、ユーザが何らかの情報を、ネットワークを介して取得するとき（検索するとき）、感情認識結果が、ユーザの嗜好を表す情報の１つとして用いられ、ユーザに適した情報が取得されるようにしても良い。
【００８０】
なお、感情認識用モデル選択部６２による感情認識用モデルの選択と、感情出力部６５によるマッチング部６４によるマッチングのスコアの補正は、それぞれ独立に行うことができ、いずれか一方のみでも、両方を併用することも可能である。
【００８１】
なお、本実施の形態においては、上述したようにメタ情報の抽出を、コンテンツの再生と同時に行うようにしたが、コンテンツ蓄積部３２に蓄積されているコンテンツに対しては、事前にメタ情報を抽出しておき、そのメタ情報も蓄積されるようにしても良い。このようにすることで、コンテンツの再生時の処理負担を軽減するが可能となる。
【００８２】
このように、ユーザが視聴しているコンテンツに関するメタ情報を利用して、ユーザの感情を認識することで、より正確にユーザの感情を認識することが可能となる。視聴されているコンテンツに対する個人の嗜好情報を抽出するという点からも、メタ情報に記載されている情報に関連した感情が精度よく抽出できる。
【００８３】
本発明を適用することで、視聴されているコンテンツに対するユーザの評価をより正確にフィードバックすることができ、ユーザのコンテンツに対する嗜好情報を精緻化することが可能となる。
【００８４】
［記録媒体について］
図６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。
【００８５】
CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。
【００８６】
入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００８７】
また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。
【００８８】
入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
【００８９】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【００９０】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明を適用したシステムの一実施の形態の構成を示す図である。
【図２】感情認識部の詳細な構成例を示す図である。
【図３】感情予測部が保持する予測用データの例である。
【図４】感情予測部が保持する予測用データの例である。
【図５】感情認識装置の動作を説明するフローチャートである。
【図６】記録媒体について説明するための図である。
【符号の説明】
【００９４】
１１  コンテンツ再生部，  １２  感情認識装置，  １３  ユーザ情報取得部，  ２１  ＰＣ，  ２２  テレビジョン受像機，  ２３  音声再生装置，  ３１  コンテンツ取得部，  ３２  コンテンツ蓄積部，  ３３  コンテンツ供給部，  ３４  メタ情報抽出部，  ３５  感情予測部，  ３６  感情認識部，  ６１  感情予測情報取得部，  ６２  感情認識用モデル選択部，  ６３  感情認識用モデル保持部，  ６４  マッチング部，  ６５  感情情報出力部，  ６６  画像データ取得部，  ６７  画像特徴抽出部，  ６８  音声データ取得部，  ６９  音響特徴抽出部
【図１】
2007041988.tif 000003
【図２】
2007041988.tif 000004
【図３】
2007041988.tif 000005
【図４】
2007041988.tif 000006
【図５】
2007041988.tif 000007
【図６】
2007041988.tif 000008
【手続補正書】
【提出日】平成18年8月23日(2006.8.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記ユーザの画像を撮像し、撮像された前記画像から特徴量を抽出する画像特徴量抽出手段をさらに備え、
前記認識手段は、前記画像特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とする
請求項１に記載の情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前記ユーザの画像を撮像し、撮像された前記画像から特徴量を抽出する画像特徴量抽出手段をさらに備え、前記認識手段は、前記画像特徴量抽出手段により抽出された前記特徴量を、前記ユーザからの情報とするようにすることができる。