(57)【要約】【課題】ユーザの負担を増やすことなくユーザの感情をより正確に推定できるようにする。【解決手段】  学習部１０３は、学習処理中に刺激情報が提示された場合、ユーザにより意図的に入力されたユーザ指令情報、センサ部から供給されるユーザの状態を示す特徴ベクトル、および、ユーザの指令内容と興味度とが関連づけられている感情マップに基づいて、特徴ベクトルとユーザの興味度の関係を示す感情判別モデルを学習する。推定部１０４は、学習処理終了後、特徴ベクトルおよび感情判別モデルに基づいて、刺激情報に対するユーザの感情を推定する。本発明はユーザにコンテンツを推薦する推薦システムに適用することができる。【選択図】図２
2007034664.tif 000002
【特許請求の範囲】
【請求項１】
感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得する特徴量取得手段と、
前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報を取得する入力情報取得手段と、
前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データと、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習する学習手段と、
第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する推定手段と
を含む感情推定装置。
【請求項２】
前記入力情報は、前記第１の刺激を前記ユーザに与える機器への処理の指令を示す情報である
請求項１に記載の感情推定装置。
【請求項３】
前記感情データには、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの興味の程度を示す情報および前記入力情報が予め関連づけられて設定されている
請求項１に記載の感情推定装置。
【請求項４】
前記ユーザの状態の特徴量を検出し、前記特徴量データを出力する検出手段を
さらに含む請求項１に記載の感情推定装置。
【請求項５】
前記ユーザに与えられる前記刺激は、前記ユーザに提示される情報である
請求項１に記載の感情推定装置。
【請求項６】
推定された前記ユーザの感情に基づいて、前記ユーザに推薦する情報の提示を制御する情報提示制御手段を
さらに含む請求項５に記載の感情推定装置。
【請求項７】
感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、
前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報を取得し、
前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データと、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し、
第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する
ステップを含む感情推定方法。
【請求項８】
感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、
前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報を取得し、
前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データと、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し、
第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する
ステップをコンピュータに実行させるプログラム。
【請求項９】
感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得する特徴量取得手段と、
第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データと、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習する学習手段と、
第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する推定手段と
を含む感情推定装置。
【請求項１０】
前記感情データには、前記第１の刺激に対する前記ユーザの興味の程度を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている
請求項９に記載の感情推定装置。
【請求項１１】
前記ユーザの状態の特徴量を検出し、前記特徴量データを出力する検出手段を
さらに含む請求項９に記載の感情推定装置。
【請求項１２】
前記ユーザに与えられる前記第１の刺激または第２の刺激は、前記ユーザに提示される情報である
請求項９に記載の感情推定装置。
【請求項１３】
推定された前記ユーザの感情に基づいて、前記ユーザに推薦する情報の提示を制御する情報提示制御手段を
さらに含む請求項１２に記載の感情推定装置。
【請求項１４】
感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、
第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データと、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し、
第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する
ステップを含む感情推定方法。
【請求項１５】
感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、
第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データと、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し、
第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する
ステップをコンピュータに実行させるプログラム。
【請求項１６】
請求項８または１５に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定装置および方法、記録媒体、および、プログラムに関し、特に、ユーザの感情をより正確に推定できるようにした情報処理システム、感情推定装置および方法、記録媒体、および、プログラムに関する。
【背景技術】
【０００２】
近年、ユーザの興味や関心の度合いを推定し、推定結果に基づいてユーザが興味や関心を持ちそうなコンテンツや商品などを推薦するシステム（以下、推薦システムと称する）が普及してきている。
【０００３】
推薦システムで一般的に用いられるユーザの興味や関心の度合いを推定する手法として、対象への興味や関心の有無をユーザに直接問い合わせ、それに対するユーザの回答などを利用する手法、すなわち、明示的フィードバック（Explicit Feedback）を利用する手法、および、対象を提示した場合にユーザによってなされる機器の操作などを利用する手法、すなわち、暗黙的フィードバック（Implicit Feedback）を利用する手法がある。
【０００４】
明示的フィードバックを利用したシステムの一つに、予め準備されているシナリオに基づいてユーザと対話を行い、ユーザが発話した内容に基づいて、ユーザの興味や関心の度合いを推定する対話システムがある。
【０００５】
また、暗黙的フィードバックを利用したシステムの一つに、ユーザの生体情報を検出し、生体情報に基づいてユーザの感情状態を解析し、ユーザの感情状態に基づいて、ユーザに適したコンテンツを推奨するシステムが提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開２００３−９２７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、明示的フィードバックを利用する手法では、システムの問い合わせに対して、ユーザは明示的な反応を示さなければならず、ユーザに負担をかけてしまう。例えば、対話システムでは、システムの問い合わせに対して、ユーザは明瞭でシステムが認識可能な声で回答しなければならない。仮に、興味がなくてユーザが生返事を続けた場合、システム側がユーザの反応を認識できず、しつこく対話を続けてしまうことがある。
【０００８】
また、暗黙的フィードバックを利用する手法では、例えば、ユーザが機器を何も操作しなければ、ユーザの興味や関心を推定することができない。また、ユーザに提示する対象を映像コンテンツとした場合、ユーザが映像コンテンツを実際に視聴しているか否かが分からないため、誤った学習をしてしまう場合がある。
【０００９】
また、特許文献１に記載の発明では、全てのユーザに対して共通のモデルを用い、かつ、予め作り込まれたルールに基づいて、感情状態が解析され、生体情報などの個人差に対応することについては考慮されていない。また、特許文献１に記載の発明では、ユーザの興味や関心の度合いを推定することは提案されていない。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ユーザの負担を増やすことなく、ユーザの感情をより正確に推定できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面の感情推定装置は、感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得する特徴量取得手段と、前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報を取得する入力情報取得手段と、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データと、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習する学習手段と、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する推定手段とを含む。
【００１２】
前記入力情報は、前記第１の刺激を前記ユーザに与える機器への処理の指令を示す情報であるようにすることができる。
【００１３】
前記感情データには、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの興味の程度を示す情報および前記入力情報が予め関連づけられて設定されているようにすることができる。
【００１４】
前記ユーザの状態の特徴量を検出し、前記特徴量データを出力する検出手段をさらに設けるようにすることができる。
【００１５】
前記ユーザに与えられる前記刺激は、前記ユーザに提示される情報であるようにすることができる。
【００１６】
推定された前記ユーザの感情に基づいて、前記ユーザに推薦する情報の提示を制御する情報提示制御手段をさらに設けるようにすることができる。
【００１７】
本発明の第１の側面の感情推定方法またはプログラムは、感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報を取得し、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データと、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定するステップを含む。
【００１８】
本発明の第２の側面の感情推定装置は、感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得する特徴量取得手段と、第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データと、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習する学習手段と、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する推定手段とを含む。
【００１９】
前記感情データには、前記第１の刺激に対する前記ユーザの興味の程度を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されているようにすることができる。
【００２０】
前記ユーザの状態の特徴量を検出し、前記特徴量データを出力する検出手段をさらに設けるようにすることができる。
【００２１】
前記ユーザに与えられる前記第１の刺激または第２の刺激は、前記ユーザに提示される情報であるようにすることができる。
【００２２】
推定された前記ユーザの感情に基づいて、前記ユーザに推薦する情報の提示を制御する情報提示制御手段をさらに設けるようにすることができる。
【００２３】
本発明の第２の側面の感情推定方法またはプログラムは、感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データと、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定するステップを含む。
【００２４】
本発明の第１の側面においては、感情の表出により変化するユーザの状態の特徴量を示す特徴量データが取得され、前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報が取得され、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データと、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルが学習され、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情が推定される。
【００２５】
本発明の第２の側面においては、感情の表出により変化するユーザの状態の特徴量を示す特徴量データが取得され、第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データと、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルが学習され、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情が推定される
【発明の効果】
【００２６】
以上のように、本発明の第１の側面または第２の側面によれば、ユーザの感情を推定することができる。また、本発明の第１の側面または第２の側面によれば、ユーザの負担を増やすことなく、ユーザの感情をより正確に推定することができる。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２９】
本発明の第１の側面の感情推定装置（例えば、図１のコンテンツ推薦制御部１３）は、感情の表出により変化するユーザの状態の特徴量を示す特徴量データ（例えば、特徴ベクトル）を取得する特徴量取得手段（例えば、図２の特徴量取得部１０２）と、前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報（例えば、ユーザ指令情報）を取得する入力情報取得手段（例えば、図２の入力情報取得部１０１）と、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データ（例えば、図３または図４の感情マップ）と、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデル（例えば、図５の感情判別モデル）を学習する学習手段（例えば、学習部１０３）と、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する推定手段（例えば、推定部１０４）とを含む。
【００３０】
本発明の第１の側面の感情推定装置においては、前記感情データには、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの興味の程度を示す情報（例えば、興味度）および前記入力情報が予め関連づけられて設定されているようにすることができる。
【００３１】
本発明の第１の側面の感情推定装置は、前記ユーザの状態の特徴量を検出し、前記特徴量データを出力する検出手段（例えば、図１のセンサ部４１）をさらに含むようにすることができる。
【００３２】
本発明の第１の側面の感情推定装置は、推定された前記ユーザの感情に基づいて、前記ユーザに推薦する情報の提示を制御する情報提示制御手段（例えば、図１の推薦処理制御部４３）をさらに含むようにすることができる。
【００３３】
本発明の第１の側面の感情推定方法またはプログラムは、感情の表出により変化するユーザの状態の特徴量を示す特徴量データ（例えば、特徴ベクトル）を取得し（例えば、図８のステップＳ４１）、前記ユーザに刺激が与えられた場合、前記ユーザにより意図的に入力される入力情報（例えば、ユーザ指令情報）を取得し（例えば、図８のステップＳ４２）、前記ユーザにより入力される前記入力情報により予測される前記刺激に対する前記ユーザの感情を示す情報および前記入力情報が予め関連づけられて設定されている感情データ（例えば、図３または図４の感情マップ）と、前記ユーザに前記刺激である第１の刺激が与られた場合、前記ユーザが前記入力情報を入力したときに取得される前記特徴量データ（例えば、図５の感情判別モデル）とに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデルを学習し（例えば、図８のステップＳ４３、Ｓ４４、および、図９のステップＳ６１）、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する（例えば、図１０のステップＳ１０２乃至Ｓ１０５）を含む。
【００３４】
本発明の第２の側面の感情推定装置（例えば、図１のコンテンツ推薦制御部１３）は、感情の表出により変化するユーザの状態の特徴量を示す特徴量データ（例えば、特徴ベクトル）を取得する特徴量取得手段（例えば、図２の特徴量取得部１０２）と、第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データ（例えば、図１１の感情マップ）と、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデル（例えば、図５の感情判別モデル）を学習する学習手段（例えば、学習部１０３）と、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する推定手段例えば、推定部１０４）とを含む。
【００３５】
本発明の第２の側面の感情推定装置においては、前記感情データには、前記第１の刺激に対する前記刺激に対する前記ユーザの興味の程度を示す情報（例えば、興味度）および前記第１の刺激を示す情報が予め関連づけられて設定されているようにすることができる。
【００３６】
本発明の第２の側面の感情推定装置は、前記ユーザの状態の特徴量を検出し、前記特徴量データを出力する検出手段（例えば、図１のセンサ部４１）をさらに含むようにすることができる。
【００３７】
本発明の第２の側面の感情推定装置は、推定された前記ユーザの感情に基づいて、前記ユーザに推薦する情報の提示を制御する情報提示制御手段（例えば、図１の推薦処理制御部４３）をさらに含むようにすることができる。
【００３８】
本発明の第２の側面の感情推定方法またはプログラムは、感情の表出により変化するユーザの状態の特徴量を示す特徴量データ（例えば、特徴ベクトル）を取得し（例えば、図８のステップＳ４２）、第１の刺激に対する前記ユーザの感情を示す情報および前記第１の刺激を示す情報が予め関連づけられて設定されている感情データ（例えば、図１１の感情マップ）と、前記ユーザに前記第１の刺激が与えられた場合に取得される前記特徴量データとに基づいて、前記特徴量データと前記ユーザの感情との関係を示すモデル（例えば、図５の感情判別モデル）を学習し（例えば、図１３のステップＳ２２３、Ｓ２２４、および、図９のステップＳ６１）、第２の刺激を与えた場合に取得される前記特徴量データ、および、前記モデルに基づいて、前記第２の刺激を与えた場合の前記ユーザの感情を推定する（例えば、図１０のステップＳ１０２乃至Ｓ１０５）ステップを含む。
【００３９】
以下、図を参照して、本発明の実施の形態について説明する。
【００４０】
図１は、本発明を適用したコンテンツ推薦システム１の一実施の形態を示すブロック図である。
【００４１】
コンテンツ推薦システム１は、コンテンツ提示制御部１１、リモートコントローラ１２、出力部１４、および、コンテンツ推薦制御部１３を含むように構成される。
【００４２】
コンテンツ提示制御部１１は、リモートコントローラ１２を操作することによりユーザにより入力された処理の指令、または、コンテンツ推薦制御部１３からの指令などに基づいて、ユーザへのコンテンツの提示を制御する。
【００４３】
なお、コンテンツとは、本明細書においては、例えば、一般的にコンテンツと称されている、テレビジョン放送番組、映画、写真、楽曲等（動画像、静止画像、若しくは音声、または、それらの組み合わせ等）のことである。
【００４４】
コンテンツ提示制御部１１は、コンテンツ受信部２１、コンテンツ蓄積部２３、メタ情報受信部２２、メタ情報蓄積部２４、メタ情報抽出部２５、コンテンツ再生部２６、コンテンツ情報提示部２７、および、ユーザ入力取得部２８を含むように構成される。
【００４５】
コンテンツ受信部２１は、例えば、図示せぬインターネットなどのネットワークコンテンツ提示制御部１１に接続されているサーバ、または、コンテンツ提示制御部１１に接続されている図示せぬ外部の情報処理装置などから、映像コンテンツ、音声コンテンツなどのコンテンツを受信する。コンテンツ受信部２１は、受信したコンテンツをコンテンツ蓄積部２３に蓄積させる。また、コンテンツ受信部２１は、受信したコンテンツに、そのコンテンツに関連する情報であるメタ情報が含まれる場合、そのメタ情報をメタ情報受信部２２に供給する。
【００４６】
メタ情報受信部２２は、コンテンツ受信部２１が受信したコンテンツに対応するメタ情報を、例えば、図示せぬインターネットなどのネットワークを介してコンテンツ提示制御部１１に接続されているサーバ、または、コンテンツ提示制御部１１に接続されている図示せぬ外部の情報処理装置などから受信する。メタ情報受信部２２は、受信したメタ情報、または、コンテンツ受信部２１から取得したメタ情報をメタ情報蓄積部２４に蓄積させる。
【００４７】
コンテンツ蓄積部２３およびメタ情報蓄積部２４は、例えば、ハードディスクなどの記録媒体により構成される。なお、コンテンツ蓄積部２３およびメタ情報蓄積部２４を、一つの記録媒体により構成するようにしてもいいし、それぞれ異なる記録媒体により構成するようにしてもよい。
【００４８】
メタ情報抽出部２５は、コンテンツ再生部２６またはコンテンツ情報提示部２７から要求されたメタ情報をメタ情報蓄積部２４から読み出し、読み出したメタ情報をコンテンツ再生部２６またはコンテンツ情報提示部２７に供給する。
【００４９】
コンテンツ再生部２６は、リモートコントローラ１２を操作することによりユーザにより入力された処理の指令、または、推薦処理制御部４３からの指令などに基づいて、コンテンツ蓄積部２３に蓄積されているコンテンツを読み出し、読み出したコンテンツを再生する。コンテンツ再生部２６は、コンテンツを再生することにより得られた画像データまたは音声データを出力部１４に供給する。また、コンテンツ情報提示部２７は、必要に応じて、メタ情報抽出部２５から供給されたメタ情報を感情推定部４２に供給する。
【００５０】
コンテンツ情報提示部２７は、リモートコントローラ１２を操作することによりユーザにより入力された処理の指令などに基づいて、メタ情報抽出部２５を介して、メタ情報蓄積部２４に蓄積されているコンテンツのメタ情報を読み出し、読み出したメタ情報に基づいて、ユーザにコンテンツを推薦するための推薦情報を提示するための画像データまたは音声データを生成する。コンテンツ情報提示部２７は、生成した画像データまたは音声データを出力部１４に供給する。また、コンテンツ情報提示部２７は、推薦情報を提示したことを通知する情報をコンテンツ再生部２６に供給する。さらに、コンテンツ情報提示部２７は、必要に応じて、推薦情報の元となるメタ情報を感情推定部４２に供給する。
【００５１】
ユーザ入力取得部２８は、リモートコントローラ１２を操作することによりユーザにより意図的に入力され、コンテンツ提示制御部１１への処理の指令を示す情報（以下、ユーザ指令情報と称する）を、リモートコントローラ１２から取得する。ユーザ入力取得部２８は、必要に応じて、感情推定部４２、コンテンツ再生部２６、または、コンテンツ情報提示部２７にユーザ指令情報を供給する。
【００５２】
コンテンツ推薦制御部１３は、図６乃至図１０を参照して後述するように、ユーザに与えられている刺激（例えば、出力部１４に提示されているコンテンツまたは推薦情報など）に対するユーザの感情を推定する。コンテンツ推薦制御部１３は、推定結果に基づいて、コンテンツ再生部２６を制御して、ユーザに推薦する情報であるコンテンツの提示、または、コンテンツの再生もしくは停止などを制御する。コンテンツ推薦制御部１３は、センサ部４１、感情推定部４２、および、推薦処理制御部４３を含むように構成される。
【００５３】
なお、以下、ユーザの感情を推定するための刺激となる出力部１４に提示されるコンテンツまたは推薦情報を、適宜、刺激情報とも称する。また、以下の説明では、主に刺激情報に対するユーザの興味の程度を示す興味度を推定する場合の例について説明する。
【００５４】
センサ部４１は、感情の表出により変化するユーザの特徴量を検出する。センサ部４１は、検出した特徴量により構成される特徴ベクトルを含む表出情報を感情推定部４２に供給する。センサ部４１は、画像特徴抽出部５１および音声特徴抽出部５２を含むように構成される。
【００５５】
画像特徴抽出部５１は、例えば、CCD（Charge Coupled Device）カメラ、CMOS（Complementary Metal Oxide Semiconductor）カメラなどを含み、ユーザを撮像し、撮像した画像に基づく画像データを生成する。画像特徴抽出部５１は、感情の表出により変化するユーザの状態の特徴量を画像データから抽出（検出）する。画像特徴抽出部５１により抽出される特徴量には、例えば、表情、顔の向き、顔の各部の位置、動きまたは形状、視線の位置、顔色、姿勢、身振り、体の各部の位置や動きなどが含まれる。
【００５６】
音声特徴抽出部５２は、例えば、マイクロホンなどを含み、ユーザから発せられる音声に基づく音声データを生成する。音声特徴抽出部５２は、感情の表出により変化するユーザの状態の特徴量を音声データから抽出（検出）する。音声特徴抽出部５２により抽出される特徴量には、例えば、ユーザが発した声の音韻、音質、韻律などが含まれる。
【００５７】
表出ベクトルに含まれる特徴ベクトルは、画像特徴抽出部５１および音声特徴抽出部５２により抽出（検出）される特徴量により構成される。なお、センサ部４１に、例えば、発汗量、体温、血圧、心拍数など、画像データまたは音声データ以外のデータから抽出されるユーザの状態の特徴量を検出するセンサを設けるようにして、それらのセンサにより検出された特徴量を特徴ベクトルの構成要素（変量）に加えるようにしてもよい。
【００５８】
感情推定部４２は、図６乃至図１３を参照して後述するように、出力部１４に提示されている刺激情報に対するユーザの感情を推定する。感情推定部４２は、推定した結果を示すデータを推薦処理制御部４３に供給する。
【００５９】
推薦処理制御部４３は、図１０を参照して後述するように、ユーザの感情に基づいて、コンテンツ再生部２６を制御して、ユーザに推薦する情報であるコンテンツの提示、または、コンテンツの再生もしくは停止などを制御する。
【００６０】
出力部１４は、例えば、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成され、コンテンツ再生部２６またはコンテンツ情報提示部２７から供給される画像データに基づく画像を表示したり、コンテンツ再生部２６またはコンテンツ情報提示部２７から供給される音声データに基づく音声を出力する。
【００６１】
図２は、図１の感情推定部４２の詳細を示すブロック図である。感情推定部４２は、入力情報取得部１０１、特徴量取得部１０２、学習部１０３、推定部１０４、感情マップ蓄積部１０５、表出−感情データ蓄積部１０６、および、感情判別モデル蓄積部１０７を含むように構成される。
【００６２】
入力情報取得部１０１は、ユーザ入力取得部２８からユーザ指令情報を取得する。また、入力情報取得部１０１は、コンテンツ再生部２６またはコンテンツ情報提示部２７からコンテンツのメタ情報を取得する。入力情報取得部１０１は、取得したユーザ指令情報、または、メタ情報を感情検出部１１１に供給する。
【００６３】
特徴量取得部１０２は、センサ部４１から表出情報を取得する。特徴量取得部１０２は、表出情報に含まれる特徴ベクトルを示す情報をデータ収集部１１２またはマッチング部１２１に供給する。
【００６４】
学習部１０３は、図６乃至図９または図１１乃至図１３を参照して後述するように、感情の表出により変化するユーザの状態を示す特徴ベクトルとユーザの感情との関係を示し、ユーザの感情を判別するために用いられる感情判別モデルを学習する。学習部１０３は、感情検出部１１１、データ収集部１１２、および、感情判別モデル学習部１１３を含むように構成される。
【００６５】
感情検出部１１１は、図８または図１３を参照して後述するように、感情マップ蓄積部１０５に蓄積されている感情マップ、および、ユーザ指令情報またはメタ情報に基づいて、ユーザに提示されている刺激情報に対するユーザの感情を検出する。感情検出部１１１は、検出した感情を通知する情報をデータ収集部１１２に供給する。
【００６６】
図３は、感情マップの例を示す図である。図３の感情マップには、ユーザにより入力されるユーザ指令情報により示される指令内容により予測される刺激情報に対するユーザの興味度を示す情報と、指令内容とが予め関連づけられて設定されている。すなわち、図３の感情マップには、ユーザに刺激情報が提示された場合に、刺激情報をユーザに提示する（与える）コンテンツ提示制御部１１に、ユーザが意図的に入力する情報であるユーザ指令情報の指令内容により予測される、刺激情報に対するユーザの興味度が設定されている。
【００６７】
例えば、図３の感情マップでは、ユーザがコンテンツの再生を指令した場合、そのコンテンツに対して興味が高いと予測されるため、興味度は＋１に設定されている。また、ユーザがコンテンツの再生の早送りを指令した場合、再生中のコンテンツに対する興味が薄いと予測されるため、興味度は−１に設定されている。さらに、ユーザがコンテンツの再生途中に再生の停止を指令したり、再生のスキップを指令した場合、再生中のコンテンツに対する興味がさらに薄いと予測されるため、興味度は−２に設定されている。
【００６８】
図４は、感情マップの他の例を示す図である。図３に示される感情マップでは、指令内容が単発のものに限られていたのに対し、図４に示される感情マップでは、指令内容が複数の指令を時系列に並べたものとされている。
【００６９】
例えば、図４の感情マップでは、ユーザがコンテンツの再生を指令した後、３０秒以内にコンテンツの再生のスキップを指令した場合、再生した部分に対する興味が薄いと予測されるため、興味度は−１に設定されている。また、ユーザがコンテンツの再生を指令した後、３０秒以内にコンテンツの再生のスキップを２回繰り返して指令した場合、再生した部分に対する興味がさらに薄いと予測されるため、興味度は−３に設定されている。さらに、ユーザがコンテンツの再生を指令した後、そのまま終了まで再生した場合、そのコンテンツに対する興味が高いと予測されるため、興味度は＋１に設定されている。また、ユーザがコンテンツの再生のスキップを指令した後、スキップした先のコンテンツの再生を指令し、３０秒以上経過した場合、スキップした先のコンテンツに対する興味が高いと予測されるため、興味度は＋２に設定されている。
【００７０】
なお、図３または図４に示される感情マップは、例えば、予め行われる他の学習処理になどにより生成される。また、興味度以外の感情（例えば、喜怒哀楽、または、個々の感情の程度など）を示す情報を感情マップに設定するようにしてもよい。また、指令内容以外の、刺激情報が提示された場合にユーザにより意図的に入力される情報（例えば、問いかけに対するユーザの応答内容を示す情報など）を感情マップに設定するようにしてもよい。
【００７１】
データ収集部１１２は、特徴量取得部１０２から供給される特徴ベクトルを示す情報を表出−感情データ蓄積部１０６に一時的に記憶させる。データ収集部１１２は、ユーザの感情を示すデータを感情検出部１１１から取得した場合、直前の所定の時間（例えば、３０秒）（以下、判別時間と称する）内に取得し、表出−感情データ蓄積部１０６に蓄積されている特徴ベクトルを時系列に並べたデータ（以下、特徴ベクトル群と称する）と、通知された感情とを関連づけた表出−感情データを生成する。すなわち、表出−感情データは、ユーザに与えられた刺激情報に対するユーザの感情と、そのときのユーザの状態を示す特徴ベクトル群とを関連づけたデータである。なお、図３または図４の感情マップを用いる場合、表出−感情デ−タは、特徴ベクトル群とユーザの興味度が関連づけられたデータとなる。データ収集部１１２は、生成した表出−感情データを表出−感情データ蓄積部１０６に蓄積させる。また、データ収集部１１２は、表出−感情データの蓄積量が所定の閾値を超えた場合、そのことを通知する情報を感情判別モデル学習部１１３に供給する。
【００７２】
感情判別モデル学習部１１３は、図９を参照して後述するように、表出−感情データ蓄積部１０６に蓄積されている表出−感情データを分析することにより、感情判別モデルを学習する。感情判別モデル学習部１１３は、学習した感情判別モデルを示すデータを感情判別モデル蓄積部１０７に蓄積させる。また、感情判別モデル学習部１１３は、特徴ベクトルを主成分ベクトルに変換するための変換ベクトルを示すデータをマッチング部１２１に供給する。
【００７３】
図５は、図３または図４の感情マップを用いた場合に学習される感情判別モデルの例を示す図である。図５の感情判別モデルには、主成分ベクトル群と推定興味度とが関連づけられて設定されている。主成分ベクトルは、表出−感情データの特徴ベクトル群に含まれる特徴ベクトルの各変量を、主成分分析により主成分に変換したベクトル（以下、主成分ベクトルと称する）により構成されるベクトル群であり、推定興味度は、表出−感情データにおいて変換前の特徴ベクトル群に対応づけられていた興味度に基づいて設定される情報である。すなわち、図５感情判別モデルは、ユーザの状態を示す特徴量とユーザの感情（興味度）を示すモデルである。
【００７４】
なお、興味度以外の感情を示す情報が感情マップに設定されている場合、感情判別モデルの推定興味度の代わりに、それらの感情に基づく情報が設定される。
【００７５】
推定部１０４は、図１０を参照して後述するように、ユーザに提示されている刺激情報に対するユーザの感情を推定する。推定部１０４は、推定した結果を通知する情報を推薦処理制御部４３に供給する。推定部１０４は、マッチング部１２１および感情出力部１２２を含むように構成される。
【００７６】
マッチング部１２１は、図１０を参照して後述するように、特徴量取得部１０２から供給される特徴ベクトルを主成分ベクトルに変換する。マッチング部１２１は、判別時間内の主成分ベクトルを時系列に並べた主成分ベクトル群と一致するベクトル群を感情判別モデルの中から検索する。マッチング部１２１は、主成分ベクトルと一致するベクトル群を検出した場合、そのベクトル群に対応するユーザの感情（図５の例の場合、推定興味度）を通知する情報を感情出力部１２２に供給する。
【００７７】
感情出力部１２２は、必要に応じて、マッチング部１２１により推定されたユーザの感情を通知する情報を推薦処理制御部４３に供給する。
【００７８】
感情マップ蓄積部１０５、表出−感情データ蓄積部１０６、および、感情判別モデル蓄積部１０７は、例えば、ハードディスクなどの記録媒体により構成される。なお、感情マップ蓄積部１０５、表出−感情データ蓄積部１０６、および、感情判別モデル蓄積部１０７を、一つの記録媒体により構成するようにしてもいいし、それぞれ異なる記録媒体により構成するようにしてもよい。
【００７９】
次に、図６乃至図１３を参照して、コンテンツ推薦システム１の処理を説明する。なお、上述したように、以下の説明では、ユーザの興味度を推定する場合の例について説明する。
【００８０】
まず、図６のフローチャートを参照して、コンテンツ推薦システム１により実行される学習処理を説明する。
【００８１】
ステップＳ１において、感情推定部４２は、表出−感情データ蓄積処理を実行する。表出−感情データ蓄積処理の詳細は、図７を参照して後述するが、この処理により、表出−感情データが蓄積される。
【００８２】
ステップＳ２において、データ収集部１１２は、表出−感情データの蓄積量が閾値を超えたか否かを判定する。表出−感情データの蓄積量が閾値を超えていないと判定された場合、処理はステップＳ１に戻り、ステップＳ２において、表出−感情データの蓄積量が閾値を超えたと判定されるまで、ステップＳ１およびＳ２の処理が繰り返し実行される。すなわち、表出−感情データが閾値を超えるまで蓄積される。
【００８３】
ステップＳ２において、表出−感情データの蓄積量が閾値を超えたと判定された場合、処理はステップＳ３に進む。
【００８４】
ステップＳ３において、感情判別モデル学習部１１３は、感情判別モデル学習処理を実行する。感情判別モデル学習処理の詳細は、図９を参照して後述するが、この処理により、表出−感情データに基づいて、感情判別モデルが学習される。
【００８５】
ステップＳ４において、感情推定部４２は、図１０を参照して後述するコンテンツ自動再生制御処理を開始して、学習処理は終了する。
【００８６】
次に、図７を参照して、図６のステップＳ１の表出−感情データ蓄積処理の詳細を説明する。
【００８７】
ステップＳ２１において、コンテンツ情報提示部２７は、ユーザに推薦情報を提示する。具体的には、コンテンツ情報提示部２７は、メタ情報抽出部２５を介して、メタ情報蓄積部２４から、ユーザに推薦するコンテンツのメタ情報を読み出す。コンテンツ情報提示部２７は、読み出したメタ情報に基づいて、ユーザに推薦するコンテンツに関する情報、すなわち、推薦情報を提示するための画像データおよび音声データを生成する。コンテンツ情報提示部２７は、生成した画像データおよび音声データを出力部１４に供給する。出力部１４は、画像データに基づく画像を表示し、音声データに基づく音声を出力する。すなわち、刺激情報としてのコンテンツの推薦情報がユーザに提示される。
【００８８】
ユーザに提示される推薦情報は、例えば、推薦するコンテンツのタイトル、ジャンル、概要、出演者、制作日時、再生時間などを含む。また、推薦するコンテンツは、例えば、メタ情報蓄積部２４にメタ情報が蓄積されているコンテンツの中からランダムに選択するようにしてもよいし、先に学習されているユーザの嗜好情報に基づいて、ユーザの嗜好に適したコンテンツを選択するようにしてもよい。
【００８９】
ステップＳ２２において、データ収集部１１２は、表出−感情データ追加処理を実行する。表出−感情データ追加処理の詳細は、図４を参照して後述するが、この処理により、新たな表出−感情データが蓄積される。
【００９０】
次に、図８を参照して、図７のステップＳ２２の表出−感情データ追加処理の詳細を説明する。
【００９１】
ステップＳ４１において、データ収集部１１２は、特徴ベクトルの蓄積を開始する。具体的には、特徴量取得部１０２は、画像特徴抽出部５１により抽出されたユーザの特徴量、および、音声特徴抽出部５２により抽出されたユーザの特徴量により構成される特徴ベクトルを含む表出情報をセンサ部４１から取得する。特徴量取得部１０２は、取得した表出情報に含まれる特徴量ベクトルを示すデータをデータ収集部１１２に供給する。データ収集部１１２は、取得した特徴ベクトルを示すデータの表出−感情データ蓄積部１０６への蓄積を開始する。
【００９２】
ステップＳ４２において、ユーザ入力取得部２８は、ユーザにより処理の指令が入力されたか否かを判定する。ユーザ入力取得部２８は、ユーザがリモートコントローラ１２を操作して入力した処理の指令を示すユーザ指令情報をリモートコントローラ１２から取得した場合、ユーザにより処理の指令が入力されたと判定し、処理はステップＳ４３に進む。
【００９３】
ステップＳ４３において、感情検出部１１１は、ユーザの感情を検出する。具体的には、ユーザ入力取得部２８は、コンテンツ再生部２６、コンテンツ情報提示部２７、および、感情検出部１１１にユーザ指令情報を供給する。コンテンツ再生部２６、または、コンテンツ情報提示部２７は、ユーザ指令情報に示される指令内容に基づいて、所定の処理を開始する。例えば、推薦情報により推薦されているコンテンツの再生がユーザにより指令された場合、コンテンツ再生部２６は、再生が指令されたコンテンツをコンテンツ蓄積部２３から読み出す。コンテンツ再生部２６は、読み出したコンテンツを再生することにより得られた画像データおよび音声データを出力部１４に供給する。出力部１４は、画像データに基づく画像、すなわち、ユーザに推薦されたコンテンツの画像を表示し、音声データに基づく音声、すなわち、ユーザに推薦されたコンテンツの音声を出力する。
【００９４】
感情検出部１１１は、感情マップ蓄積部１０５に蓄積されている感情マップの中から、ユーザ指令情報に示される指令内容に対応する興味度を検出する。このとき検出される興味度は、ユーザに提示されている刺激情報、すなわち、推薦情報またはコンテンツに対するユーザの興味度を示している。感情検出部１１１は、検出した興味度を通知する情報をデータ収集部１１２に供給する。
【００９５】
ステップＳ４４において、データ収集部１１２は、表出−感情データを蓄積する。具体的には、データ収集部１１２は、表出−感情データ蓄積部１０６に蓄積されている特徴ベクトルのうち、直前の判別時間内に蓄積された特徴ベクトルを時系列に並べた特徴ベクトル群と、通知された興味度とを関連づけた表出−感情データを生成する。すなわち、このとき生成される表出−感情データは、刺激情報に対するユーザの状態を示す特徴ベクトル群と、刺激情報に対するユーザの興味度を関連づけたデータである。データ収集部１１２は、生成した表出−感情データをメタ情報蓄積部２４に蓄積させる。
【００９６】
その後、処理はステップＳ４２に戻る。
【００９７】
ステップＳ４２において、ユーザにより処理の指令が入力されていないと判定された場合、処理はステップＳ４５に進む。
【００９８】
ステップＳ４５において、コンテンツ再生部２６は、コンテンツの再生が終了したか否かを判定する。コンテンツ再生部２６は、推薦情報が提示されてから所定の時間が経過していない場合、コンテンツが再生中の場合、または、コンテンツの再生が停止されてから所定の時間が経過していない場合、コンテンツの再生が終了していないと判定し、処理はステップＳ４２に戻る。
【００９９】
その後、ステップＳ４５において、コンテンツの再生が終了したと判定されるまで、ステップＳ４２乃至Ｓ４５の処理が繰り返し実行され、ユーザが処理の指令を入力する度に、表出−感情データが蓄積される。
【０１００】
ステップＳ４５において、コンテンツ再生部２６は、推薦情報が提示されてから所定の時間が経過してもコンテンツの再生が行われない場合、または、コンテンツの再生が停止されてから所定の時間が経過した場合、コンテンツの再生が終了したと判定し、処理はステップＳ４６に進む。
【０１０１】
ステップＳ４６において、データ収集部１１２は、表出−感情データ蓄積部１０６への特徴ベクトルの蓄積を停止し、表出−感情データ追加処理は終了する。
【０１０２】
次に、図９のフローチャートを参照して、図６のステップＳ３の感情判別モデル学習処理の詳細を説明する。
【０１０３】
ステップＳ６１において、感情判別モデル学習部１１３は、表出−感情データに基づいて、感情判別モデルを学習し、感情判別モデル学習処理は終了する。具体的には、データ収集部１１２は、表出−感情データの蓄積量が閾値を超えたことを通知する情報を感情判別モデル学習部１１３に供給する。
【０１０４】
感情判別モデル学習部１１３は、表出−感情データ蓄積部１０６に蓄積されている表出−感情データを読み出す。感情判別モデル学習部１１３は、表出−感情データに含まれる特徴ベクトルを主成分分析することにより、特徴ベクトルの主成分を求める。感情判別モデル学習部１１３は、表出−感情データに含まれる各特徴ベクトルについて、各特徴ベクトルの各変量を主成分に変換した主成分ベクトルを算出する。また、感情判別モデル学習部１１３は、表出−感情データの興味度を推定興味度に変換する。推定興味度は、例えば、興味度が所定の閾値（例えば、０）以上である場合、興味ありに設定され、閾値未満である場合、興味なしに設定される。
【０１０５】
感情判別モデル学習部１１３は、各表出−感情データの特徴ベクトル群と興味度の組み合わせを、主成分ベクトル群と推定興味度の組み合わせに変換したデータにより構成される感情判別モデル（図５）を生成する。なお、このとき、互いに距離が近い主成分ベクトル群を一つのベクトル群に統合したり、他の主成分ベクトル群から孤立している（所定の閾値より距離が離れている）主成分ベクトル群を削除するようにしてもよい。
【０１０６】
感情判別モデル学習部１１３は、感情判別モデルを示すデータを感情判別モデル蓄積部１０７に蓄積させる。また、感情判別モデル学習部１１３は、特徴ベクトルを主成分ベクトルに変換するための変換ベクトルを示すデータをマッチング部１２１に供給する。
【０１０７】
次に、図１０のフローチャートを参照して、図６の学習処理に引き続いて行われるコンテンツ自動再生制御処理を説明する。
【０１０８】
ステップＳ１０１において、図４のステップＳ２１の処理と同様に、ユーザに推薦情報が提示される。
【０１０９】
ステップＳ１０２において、マッチング部１２１は、特徴量ベクトルを取得する。具体的には、マッチング部１２１は、センサ部４１から供給される表出情報に含まれる特徴量ベクトルを示すデータを特徴量取得部１０２から取得する。
【０１１０】
ステップＳ１０３において、マッチング部１２１は、マッチング処理を行う。具体的には、マッチング部１２１は、ユーザに推薦情報が提示されてから判別時間内の特徴ベクトルを主成分ベクトルに変換し、変換した主成分ベクトルを時系列に並べた主成分ベクトル群（以下、入力主成分ベクトル群と称する）を生成する。マッチング部１２１は、感情判別モデル蓄積部１０７に蓄積されている感情判別モデルを示すデータを読み出す。マッチング部１２１は、感情判別モデルに含まれる各主成分ベクトル群について、入力主成分ベクトル群との相関をそれぞれ求める。例えば、マッチング部１２１は、感情判別モデルに含まれる主成分ベクトル群と入力主成分ベクトル群とについて、先頭の主成分ベクトルから順番に対応する主成分ベクトル間の相関係数を算出し、算出した相関係数の和を求める。
【０１１１】
ステップＳ１０４において、マッチング部１２１は、一致する主成分ベクトル群があるか否かを判定する。具体的には、マッチング部１２１は、ステップＳ１０３において算出した入力主成分ベクトル群に対する感情判別モデルに含まれる各主成分ベクトル群の相関係数の和のうちの最大値が所定の閾値を超える場合、入力主成分ベクトル群と一致する主成分ベクトル群が感情判別モデルにあると判定し、処理はステップＳ１０５に進む。なお、感情判別モデルに含まれる主成分ベクトル群のうち、入力主成分ベクトル群との相関計数の和が最大となる主成分ベクトル群は、ステップＳ１０１において提示された推薦情報に対するユーザの状態と最も近い状態を示す主成分ベクトル群である。
【０１１２】
ステップＳ１０５において、マッチング部１２１は、推薦したコンテンツにユーザが興味を持っているか否かを判定する。具体的には、マッチング部１２１は、入力主成分ベクトル群との相関計数の和が最大となる主成分ベクトル群に対応する推定興味度が興味ありに設定されている場合、推薦したコンテンツにユーザが興味を持っていると判定し、処理はステップＳ１０６に進む。
【０１１３】
ステップＳ１０６において、推薦処理制御部４３は、コンテンツを自動再生させる。具体的には、マッチング部１２１は、推薦したコンテンツにユーザが興味を持っていることを示す情報を、感情出力部１２２を介して推薦処理制御部４３に供給する。推薦処理制御部４３は、推薦したコンテンツの再生を指令する情報をコンテンツ再生部２６に供給する。コンテンツ再生部２６は、再生が指令されたコンテンツをコンテンツ蓄積部２３から読み出す。コンテンツ再生部２６は、読み出したコンテンツを再生することにより得られた画像データおよび音声データを出力部１４に供給する。出力部１４は、画像データに基づく画像、すなわち、ユーザに推薦したコンテンツの画像を表示し、音声データに基づく音声、すなわち、ユーザに推薦したコンテンツの音声を出力する。
【０１１４】
ステップＳ１０５において、入力主成分ベクトル群との相関計数の和が最大となる主成分ベクトル群に対応する推定興味度が興味なしに設定されている場合、推薦したコンテンツにユーザが興味を持っていないと判定され、ステップＳ１０６の処理はスキップされ、コンテンツの自動再生は行われずに、処理はステップＳ１０７に進む。
【０１１５】
ステップＳ１０４において、一致する主成分ベクトル群がないと判定された場合、すなわち、現在のユーザの状態を示す主成分ベクトル群と一致する主成分ベクトル群が感情判別モデルになく、推薦したコンテンツに対するユーザの興味度を推定できない場合、ステップＳ１０５およびＳ１０６の処理はスキップされ、処理はステップＳ１０７に進む。
【０１１６】
ステップＳ１０７において、図８を参照して上述した表出−感情データ追加処理が実行され、コンテンツ自動再生制御処理は終了する。これにより、学習処理が終了し、コンテンツ自動再生制御処理が開始された後も、ユーザにコンテンツが推薦される度に、表出−感情データが蓄積される。そして、蓄積された表出−感情データに基づいて、新たに学習処理を実行することにより、感情推定部４２が推定するユーザの興味度の信頼度をより高いものにすることができる。
【０１１７】
以上のようにして、学習期間中に刺激情報を提示したときに検出されるユーザの状態に基づいて学習された感情判別モデルを用いて、ユーザの興味度を推定することにより、刺激情報に対する各個人の反応の違いに応じて、より正確にユーザの興味度を推定することができる。また、感情判別モデルの学習をするにあたり、ユーザは特別な対応をする必要がないため、ユーザの負担は増加しない。また、ユーザが興味を持っていると判定された場合、推薦されたコンテンツが自動的に再生されるため、ユーザの利便性が向上する。
【０１１８】
なお、以上の説明では、処理の指令を入力したときのユーザの状態を検出することにより、ユーザの状態と興味度との関係を学習する例を示したが、ユーザに与える刺激の内容に対するユーザの状態を検出することにより、ユーザの状態と興味度との関係を学習するようにすることも可能である。なお、以下、ユーザに与える刺激の内容に対するユーザの状態を検出することによるユーザの状態と興味度との関係の学習を、刺激対応学習と称する。
【０１１９】
図１１乃至図１３を参照して、刺激対応学習をする場合のコンテンツ推薦システム１の処理を説明する。
【０１２０】
図１１は、刺激対応学習をする場合に用いられる感情マップの例を示している。図１１の感情マップには、ユーザに与えられる刺激に対するユーザの興味度を示す情報および刺激の内容を示す情報が予め関連づけられて設定されている。感情マップに設定される刺激内容には、タレントの名前、楽曲名、番組名、ジャンル名（例えば、スポーツ、ニュースなど）など、ユーザに与える刺激の特徴を示すデータが含まれる。例えば、図１１の感情マップでは、タレントＡに対してユーザの興味が非常に高いため、興味度は＋３に設定されている。また、楽曲Ｂに対してユーザの興味が高いため、興味度は＋１に設定されている。さらに、番組Ｃに対してユーザの興味がかなり高いため、興味度は＋２に設定されている。また、ジャンルＤに対してユーザの興味がかなり低いため、興味度は−２に設定されている。
【０１２１】
なお、図１１に示される感情マップは、例えば、予め行われる他の学習処理、または、ユーザに対するアンケートなどにより生成される。
【０１２２】
次に、図１２および図１３のフローチャートを参照して、刺激対応学習をする場合に、コンテンツ推薦システム１により実行される処理を説明する。
【０１２３】
刺激対応学習をする場合の学習処理は、図６を参照して説明した学習処理と同様なので、その説明は省略する。
【０１２４】
次に、図１２を参照して、刺激対応学習する場合の図６のステップＳ１の表出−感情データ蓄積処理を説明する。
【０１２５】
ステップＳ２０１において、図７のステップＳ２１の処理と同様に、ユーザに推薦情報が提示される。なお、このとき、コンテンツ情報提示部２７は、推薦情報の元となるメタ情報を、入力情報取得部１０１を介して感情検出部１１１に供給する。
【０１２６】
ステップＳ２０２において、データ収集部１１２は、表出−感情データ追加処理を実行する。表出−感情データ追加処理の詳細は、図１３を参照して後述するが、この処理により、新たな表出−感情データが蓄積される。
【０１２７】
次に、図１３を参照して、図１２のステップＳ２０２の表出−感情データ追加処理の詳細を説明する。
【０１２８】
なお、表出−感情データ追加処理の実行中に、ユーザがリモートコントローラ１２を操作して処理の指令を入力し、リモートコントローラ１２から、ユーザ入力取得部２８を介して、コンテンツ再生部２６またはコンテンツ情報提示部２７に、ユーザ指令情報が供給された場合、コンテンツ再生部２６またはコンテンツ情報提示部２７は、ユーザ指令情報に示される指令内容に基づいて、所定の処理を開始する。
【０１２９】
例えば、推薦情報により推薦されているコンテンツの再生がユーザにより指令された場合、コンテンツ再生部２６は、再生が指令されたコンテンツをコンテンツ蓄積部２３から読み出す。コンテンツ再生部２６は、読み出したコンテンツを再生することにより得られた画像データおよび音声データを出力部１４に供給する。出力部１４は、画像データに基づく画像、すなわち、ユーザに推薦されたコンテンツの画像を表示し、音声データに基づく音声、すなわち、ユーザに推薦されたコンテンツの音声を出力する。また、コンテンツ再生部２６は、メタ情報抽出部２５を介して、再生するコンテンツのメタ情報をメタ情報蓄積部２４から読み出す。コンテンツ再生部２６は、コンテンツの再生中、再生している場面に対応するメタ情報を、入力情報取得部１０１を介して感情検出部１１１に適宜供給する。
【０１３０】
ステップＳ２２１において、図８のステップＳ４１の処理と同様に、特徴ベクトルの蓄積が開始される。
【０１３１】
ステップＳ２２２において、感情検出部１１１は、ユーザに所定の刺激が与えられたか否かを判定する。具体的には、ユーザに推薦情報が提示されている場合、感情検出部１１１は、コンテンツ情報提示部２７から供給されたメタ情報の中に、感情マップに定義されている刺激内容が含まれているか否かを判定する。メタ情報の中に感情マップに定義されている刺激内容が含まれている場合、感情検出部１１１は、ユーザに所定の刺激が与えられたと判定し、処理はステップＳ２２３に進む。
【０１３２】
また、コンテンツを再生中の場合、感情検出部１１１は、コンテンツ再生部２６から供給された、現在再生しているコンテンツの場面に対応するメタ情報の中に、感情マップに定義されている刺激内容が含まれているか否かを判定する。メタ情報の中に感情マップに定義されている刺激内容が含まれている場合、ユーザに所定の刺激が与えられたと判定し、処理はステップＳ２２３に進む。
【０１３３】
ステップＳ２２３において、感情検出部１１１は、ユーザの感情を検出する。具体的には、感情検出部１１１は、ステップＳ２２２において、感情マップに定義されていると判定された刺激内容に対応する興味度を、感情マップの中から検出する。感情検出部１１１は、検出した興味度を通知する情報をデータ収集部１１２に供給する。このとき検出される興味度は、ユーザに提示されている刺激情報、すなわち、推薦情報またはコンテンツに対するユーザの興味度を示している。
【０１３４】
ステップＳ２２４において、図８のステップＳ４３の処理と同様に、表出−感情データが蓄積される。
【０１３５】
その後、処理はステップＳ２２２に戻る。
【０１３６】
ステップＳ２２２において、ユーザに推薦情報が提示されている場合、コンテンツ情報提示部２７から供給されたメタ情報の中に、感情マップに定義されている刺激内容が含まれていないとき、感情検出部１１１は、ユーザに所定の刺激が与えられていないと判定し、処理はステップＳ２２５に進む。また、コンテンツを再生中の場合、コンテンツ再生部２６から供給されたメタ情報の中に感情マップに定義されている刺激内容が含まれていないとき、感情検出部１１１は、ユーザに所定の刺激が与えられていないと判定し、処理はステップＳ２２５に進む。
【０１３７】
ステップＳ２２５において、上述した図８のステップＳ４５の処理と同様に、コンテンツの再生が終了したか否かが判定される。コンテンツの再生が終了していないと判定された場合、処理はステップＳ２２２に戻る。
【０１３８】
その後、ステップＳ２２５において、コンテンツの再生が終了したと判定されるまで、ステップＳ２２２乃至Ｓ２２５の処理が繰り返し実行され、感情マップに定義されている刺激内容を含むコンテンツの場面がユーザに提示される度に、表出−感情データが蓄積される。
【０１３９】
ステップＳ２２５において、コンテンツの再生が終了したと判定された場合、処理はステップＳ２２６に進む。
【０１４０】
ステップＳ２２６において、上述した図１３のステップＳ４６の処理と同様に、特徴ベクトルの蓄積が終了され、表出−感情データ追加処理は終了する。
【０１４１】
刺激対応学習をする場合の図６のステップＳ３の感情判別モデル学習処理は、図９を参照して説明した感情判別モデル学習処理と同様なので、その説明は省略する。すなわち、図１１に示される感情マップに基づく表出−感情デ−タに基づいて、図５に示される感情判別モデルが学習される。
【０１４２】
このようにして、図６乃至図１０を参照して上述した処理と同様に、感情判別モデルを学習することができる。また、学習された感情判別モデルを用いることにより、感情マップに定義されていない刺激内容に対するユーザの興味度も正確に推定することができる。
【０１４３】
以上のように、感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、ユーザに刺激が与えられた場合、ユーザにより意図的に入力される入力情報を取得し、ユーザにより入力される入力情報により予測される刺激に対するユーザの感情を示す情報および入力情報が予め関連づけられて設定されている感情データと、ユーザに刺激である第１の刺激が与られた場合、ユーザが入力情報を入力したときに取得される特徴量データとに基づいて、特徴量データとユーザの感情との関係を示すモデルを学習し、第２の刺激を与えた場合に取得される特徴量データ、および、モデルに基づいて、第２の刺激を与えた場合のユーザの感情を推定する場合には、ユーザの感情を推定することができる。また、ユーザの負担を増やすことなく、ユーザの感情をより正確に推定することができる。
【０１４４】
また、感情の表出により変化するユーザの状態の特徴量を示す特徴量データを取得し、第１の刺激に対するユーザの感情を示す情報および第１の刺激を示す情報が予め関連づけられて設定されている感情データと、ユーザに第１の刺激が与えられた場合に取得される特徴量データとに基づいて、特徴量データとユーザの感情との関係を示すモデルを学習し、第２の刺激を与えた場合に取得される特徴量データ、および、モデルに基づいて、第２の刺激を与えた場合のユーザの感情を推定する場合には、ユーザの感情を推定することができる。また、ユーザの負担を増やすことなく、ユーザの感情をより正確に推定することができる。
【０１４５】
なお、以上の説明では、推定されたユーザの興味度を用いて、コンテンツを自動再生する例について説明したが、その他の処理を自動化することも可能である。例えば、コンテンツの再生中に、ユーザの興味度が低いと推定された場合、コンテンツの再生を自動的に停止するようにしてもよい。また、例えば、テレビジョン放送の番組を視聴中に、ユーザの興味度が低いと推定された場合、裏番組に自動的に切替えたり、HDD（ハードディスク）やDVD（Digital Versatile Disc）などの記録媒体に記録されているコンテンツの再生に自動的に切替えるようにしてもよい。さらに、コンテンツがテキスト情報の場合、ユーザの興味度が高いと推定された場合、さらに詳細な情報をユーザに提示するようにしてもよい。これらにより、ユーザの利便性が向上する。
【０１４６】
また、例えば、ペット用のロボットなどに用いられる会話システムに本発明を適用して、ユーザの興味度に応じて、会話を継続したり、停止したり、話題を変更したりするようにしてもよい。これにより、ユーザを飽きさせずに楽しませることができる。
【０１４７】
さらに、表出−感情データに設定する興味度を、感情マップ以外の情報を用いて設定するようにしてもよい。例えば、推薦するコンテンツが音楽である場合、再生している音楽のリズムやビートを音楽特徴解析により解析するとともに、ユーザの体の一部の揺れを検出するようにして、音楽のリズムまたはビートとユーザの体の一部の揺れとの同調度を求める。そして、音楽のリズムまたはビートとユーザの体の一部の揺れとが同調している場合、そのときのユーザの興味度をより高く（例えば、＋５に）設定するようにすることが可能である。
【０１４８】
また、図５の感情判別モデルの推定興味度を興味あり、興味なしの２値ではなく、興味度をそのまま用いるようにしたり、推定興味度の取りうる離散値の数を増やしたり、または、推定興味度を連続量にしたりして、ユーザの興味度をより詳細に推定できるようにしてもよい。
【０１４９】
さらに、以上の説明では、興味度を推定する例について説明したが、興味度以外の感情（例えば、喜怒哀楽、または、個々の感情の程度など）を推定するようにしてもよい。この場合、例えば、図３、図４、または図１１に示される感情マップに、興味度以外の感情を設定することにより実現することができる。また、興味度を用いた場合と同様に、各種の推薦処理や自動処理などに推定されたユーザの感情を利用することができる。
【０１５０】
また、以上の説明では、リモートコントローラ１２を操作して、処理の指令を入力する例について説明したが、処理の指令を入力する方法は、特定の方法に限定されるものではない。例えば、音声入力やジェスチャーなどにより処理の指令を入力するようにしたり、コンテンツ提示制御部１１に設けられている図示せぬボタン、スイッチなどを操作して処理の指令を入力するようにすることも可能である。
【０１５１】
さらに、処理の指令以外の、ユーザが刺激情報に対して意図的に入力する情報を用いて、感情判別モデルを学習するようにすることもできる。例えば、ユーザに現在の感情を問いかけて、それに対する回答、および、回答したときに得られる特徴ベクトルに基づいて、感情判別モデルを学習することができる。
【０１５２】
また、図５に示される感情判別モデルの代わりに、例えば、検出されたユーザの特徴量と興味度の関係を線形または非線型の関数により表し、関数計算によりユーザの興味度を算出するようにしてもよい。
【０１５３】
さらに、コンテンツの再生中に検出される興味度を加算していくことにより、コンテンツ単位の興味度を求めることができる。求めたコンテンツ単位の興味度は、コンテンツのメタ情報などと関連づけるなどして、コンテンツ単位のユーザの嗜好の学習に利用するようにすることもできる。
【０１５４】
また、以上の説明では、ユーザに与える刺激として、コンテンツの推薦情報またはコンテンツを提示する例について説明したが、例えば、各種の商品、飲食店のメニュー、各種のパンフレットなどコンテンツ以外の刺激を与えるようにしてもよい。例えば、コンテンツ以外の刺激を与えた場合のユーザの状態、および、ユーザにより意図的に入力される入力情報を取得し、予め準備されている感情マップを用いて、感情判別モデルを学習することができる。
【０１５５】
なお、本発明は、上述したコンテンツなどの情報をユーザに推薦するシステム以外にも、ユーザの感情を用いて処理を制御する装置、例えば、ユーザの感情に反応するペット型ロボット、ユーザの感情を利用してストーリー等を切替えるゲーム機器またはソフトウエアなどに適用することができる。
【０１５６】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５７】
図１４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。
【０１５８】
CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。
【０１５９】
入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１６０】
また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。
【０１６１】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。
【０１６２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１６３】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６５】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６６】
【図１】本発明を適用したコンテンツ推薦システムの一実施の形態を示すブロック図である。
【図２】図１の感情推定部の構成の一実施の形態を示すブロック図である。
【図３】感情マップの例を示す図である。
【図４】感情マップの他の例を示す図である。
【図５】感情判別モデルの例を示す図である。
【図６】図１のコンテンツ推薦システムにより実行される学習処理を説明するためのフローチャートである。
【図７】図６のステップＳ１の表出−感情データ蓄積処理の詳細を説明するためのフローチャートである。
【図８】図６のステップＳ２２の表出−感情データ追加処理の詳細を説明するためのフローチャートである。
【図９】図６のステップＳ３の感情判別モデル学習処理の詳細を説明するためのフローチャートである。
【図１０】図１のコンテンツ推薦システムにより実行されるコンテンツ自動再生制御処理を説明するためのフローチャートである。
【図１１】感情マップのさらに他の例を示す図である。
【図１２】図６のステップＳ１の表出−感情データ蓄積処理の他の例の詳細を説明するためのフローチャートである。
【図１３】図１２のステップＳ２０２の表出−感情データ追加処理の詳細を説明するためのフローチャートである。
【図１４】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１６７】
１  コンテンツ推薦システム，  １１  リモートコントローラ，  １２  コンテンツ提示制御部，  １３  コンテンツ推薦制御部，  １４  出力部，  ２５  メタ情報抽出部，  ２６  コンテンツ再生部，  ２７  コンテンツ情報提示部，  ２８  ユーザ入力取得部，  ４１  センサ部，  ４２  感情推定部，  ４３  推薦処理制御部，  １０１  入力情報取得部，  １０２  特徴量取得部，  １０３  学習部，  １０４  推定部，  １１１  感情検出部，  １１２  データ収集部，  １１３  感情判別モデル学習部，  １２１  マッチング部，  １２２  感情出力部，  ９０１  CPU，  ９０２  ROM，  ９０３  RAM，  ９０８  記録部，  ９１０  ドライブ，  ９１１  リムーバブルメディア
【図１】
2007034664.tif 000003
【図２】
2007034664.tif 000004
【図３】
2007034664.tif 000005
【図４】
2007034664.tif 000006
【図５】
2007034664.tif 000007
【図６】
2007034664.tif 000008
【図７】
2007034664.tif 000009
【図８】
2007034664.tif 000010
【図９】
2007034664.tif 000011
【図１０】
2007034664.tif 000012
【図１１】
2007034664.tif 000013
【図１２】
2007034664.tif 000014
【図１３】
2007034664.tif 000015
【図１４】
2007034664.tif 000016