(57)【要約】【課題】被験者に意識させずに、コンテンツを視聴している被験者の反応を評価するための情報を、より精度よく取得することができるコンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラムを提供する。【解決手段】コンテンツを表示する表示部と、表示部に表示されたコンテンツを閲覧している被験者を撮影し、該撮影した被験者の撮影画像を出力する撮影部と、撮影画像に基づいて被験者の生体情報を検出する検出部と、検出部によって検出された生体情報のデータと、生体情報を検出したときに被験者が閲覧していたコンテンツ、またはコンテンツを示すデータとを対応付けて記録する記録部と、を備える。【選択図】図１
2014006639.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを表示する表示部と、
前記表示部に表示された前記コンテンツを閲覧している被験者を撮影し、該撮影した前記被験者の撮影画像を出力する撮影部と、
前記撮影画像に基づいて前記被験者の生体情報を検出する検出部と、
前記検出部によって検出された生体情報のデータと、前記生体情報を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータとを対応付けて記録する記録部と、
を備えることを特徴とするコンテンツ評価データ生成システム。
【請求項２】
前記検出部は、
前記撮影画像に基づいて、前記被験者の心拍を検出する領域を限定し、該限定された領域の前記撮影画像から前記被験者の心拍を、前記生体情報として検出する、
ことを特徴とする請求項１に記載のコンテンツ評価データ生成システム。
【請求項３】
前記撮影画像に基づいて前記被験者の状態を検出する状態検出部、
をさらに備え、
前記検出部は、
前記状態検出部によって検出された前記被験者の状態に基づいて、前記心拍を検出する領域を限定する、
ことを特徴とする請求項２に記載のコンテンツ評価データ生成システム。
【請求項４】
前記コンテンツを前記被験者が閲覧しているときの前記表示部の表示の状態を取得する状態取得部、
をさらに備え、
前記検出部は、
前記状態取得部が取得した前記表示部の表示の変化に基づいて前記撮影画像を補正し、該補正された撮影画像に基づいて前記被験者の心拍を検出する、
ことを特徴とする請求項２または請求項３に記載のコンテンツ評価データ生成システム。
【請求項５】
前記検出部は、
前記撮影画像に現れた前記表示部の表示の変化を抑制するように、前記撮影画像を補正する
ことを特徴とする請求項４に記載のコンテンツ評価データ生成システム。
【請求項６】
前記検出部が、前記被験者の心拍を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータに基づいて、前記検出部が検出した前記被験者の心拍の有効性を評価する評価部、
をさらに備える、
ことを特徴とする請求項２から請求項５のいずれか１の項に記載のコンテンツ評価データ生成システム。
【請求項７】
前記記録部は、
前記評価部が前記被験者の心拍の有効性を評価した結果を表す情報を、前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータと対応付けて記録する、
ことを特徴とする請求項６に記載のコンテンツ評価データ生成システム。
【請求項８】
前記検出部は、
前記被験者の心拍を検出する領域を、前記被験者の顔の領域に限定する、
ことを特徴とする請求項２から請求項７のいずれか１の項に記載のコンテンツ評価データ生成システム。
【請求項９】
前記状態検出部は、
前記被験者の状態として、前記被験者の顔の向きを検出する、
ことを特徴とする請求項３から請求項８のいずれか１の項に記載のコンテンツ評価データ生成システム。
【請求項１０】
表示部にコンテンツを表示させる表示ステップと、
撮影部に前記表示部に表示された前記コンテンツを閲覧している被験者を撮影させ、該撮影させた前記被験者の撮影画像を出力させる撮影ステップと、
検出部に前記撮影画像に基づいて前記被験者の生体情報を検出させる検出ステップと、
記憶部に前記検出部によって検出された生体情報のデータと、前記生体情報を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータとを対応付けて記録させる記録ステップと、
を含むことを特徴とするコンテンツ評価データ生成方法。
【請求項１１】
表示部にコンテンツを表示させる表示ステップと、
撮影部に前記表示部に表示された前記コンテンツを閲覧している被験者を撮影させ、該撮影させた前記被験者の撮影画像を出力させる撮影ステップと、
検出部に前記撮影画像に基づいて前記被験者の生体情報を検出させる検出ステップと、
記憶部に前記検出部によって検出された生体情報のデータと、前記生体情報を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータとを対応付けて記録させる記録ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アンケートに対する被験者の回答や、コンテンツに対する被験者の応答を評価し補正するための情報を取得するコンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラムに関し、より詳細には、アンケートに答えている被験者の状況、またはコンテンツを視聴している被験者の状況をカメラで撮影し、映像に基づいて測定した被験者の生理反応の測定結果と被験者の状況とを関連づけた、被験者による回答や応答を補正するための情報を取得する技術に関する。
【背景技術】
【０００２】
近年、インターネットに接続されているパソコン、ＴＶ、またはタブレットを利用したオンラインアンケート調査や、コンテンツ視聴における効果の測定が広く普及している。このような調査や効果の測定は、インターネットに接続される機器の増加に伴って、ますます多用されていくものと考えられる。
【０００３】
従来、アンケート調査、テスト問題、またはゲームなどにおける対話型システムでは、マウスなどのポインティングデバイスやキーボードなどの入力デバイスを用いて被験者が入力したデータを、被験者の応答データとして取得していた。しかし、被験者が、提示されたアンケートやコンテンツの内容に関心を持たずに安易に入力したデータが取得した応答データに含まれていると、提示したアンケートやコンテンツに対する被験者の応答を集計した全体の結果の信頼性を下げてしまうことになる。
【０００４】
このため、取得した応答データから、安易に入力したデータを選別することが必要となるが、被験者が入力したデータを選別する手段はなく、被験者が安易に入力したデータと信用できるデータとを選別すること、すなわち、有効な応答データのみを抽出することは非常に困難である。仮に、応答データを選別したとしても、選別した応答データが有効なデータであるか否かの最終的な判断は、心理学の専門家などによる精細な評価が必要である。
【０００５】
また、従来から、有効な応答データのみを抽出した評価を行うために、被験者にセンサやマーカなどを装着し、被験者の生理反応を測定する方法が用いられている。しかし、この方法の場合、測定する環境の雰囲気や被験者の状況が通常と異なるため、緊張感などの特定の意識を被験者に抱かせてしまう。このため、逆に取得した応答データの信頼性が損なわれたり、被験者に測定への参加を拒否されたりするおそれがある。これでは、通常の被験者の状況を反映した応答データを取得しているとは言い難い。
【０００６】
このような問題を解決するための技術として、例えば、特許文献１のように、コンテンツに対する被験者の応答を測定する際に、応答データと連動して被験者の眼球運動を測定して解析する技術が開示されている。特許文献１で開示された技術を用いることによって、通常の被験者の状況を反映したコンテンツ視聴の評価を行うことができ、被験者の応答データの有効性を判定することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４８７４３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１で開示された技術では、被験者の眼球運動を有効に測定するために、カメラによって被験者の眼球の映像を正確に捉えることが必要である。また、近年では、テレビやパソコンなど、生活のなかで同時に複数のコンテンツを視聴することが一般的になってきている。このため、被験者が複数のコンテンツを視聴している場合には、被験者の眼球運動を測定することが難しくなり、コンテンツ視聴の評価における有効な応答データを精度よく取得することができない。このことにより、提示したコンテンツに対する視聴評価や解析も困難になってしまう。従って、特許文献１で開示された技術を用いることができる実用範囲は、非常に狭い範囲に限定されてしまうことになる。
【０００９】
本発明は、上記の課題認識に基づいてなされたものであり、被験者に意識させずに、コンテンツを視聴（閲覧）している被験者の反応を評価するための情報を、より精度よく取得することができるコンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明のコンテンツ評価データ生成システムは、コンテンツを表示する表示部と、前記表示部に表示された前記コンテンツを閲覧している被験者を撮影し、該撮影した前記被験者の撮影画像を出力する撮影部と、前記撮影画像に基づいて前記被験者の生体情報を検出する検出部と、前記検出部によって検出された生体情報のデータと、前記生体情報を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータとを対応付けて記録する記録部と、を備えることを特徴とする。
【００１１】
また、本発明のコンテンツ評価データ生成方法は、表示部にコンテンツを表示させる表示ステップと、撮影部に前記表示部に表示された前記コンテンツを閲覧している被験者を撮影させ、該撮影させた前記被験者の撮影画像を出力させる撮影ステップと、検出部に前記撮影画像に基づいて前記被験者の生体情報を検出させる検出ステップと、記憶部に前記検出部によって検出された生体情報のデータと、前記生体情報を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータとを対応付けて記録させる記録ステップと、を含むことを特徴とする。
【００１２】
また、本発明のプログラムは、表示部にコンテンツを表示させる表示ステップと、撮影部に前記表示部に表示された前記コンテンツを閲覧している被験者を撮影させ、該撮影させた前記被験者の撮影画像を出力させる撮影ステップと、検出部に前記撮影画像に基づいて前記被験者の生体情報を検出させる検出ステップと、記憶部に前記検出部によって検出された生体情報のデータと、前記生体情報を検出したときに前記被験者が閲覧していた前記コンテンツ、または前記コンテンツを示すデータとを対応付けて記録させる記録ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、被験者に意識させずに、コンテンツを視聴（閲覧）している被験者の反応を評価するための情報を、より精度よく取得することができるコンテンツ評価データ生成システム、コンテンツ評価データ生成方法、およびプログラムを提供することができるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。
【図２】本第１の実施形態のコンテンツ評価データ生成システムに備えた心拍検出部における心拍検出処理の処理手順を示したフローチャートである。
【図３】本発明の第２の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。
【図４】本発明の第３の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。
【図５】本発明の第４の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。
【図６】本発明の第５の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。
【図７】本発明の第５の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。図１には、本発明のコンテンツ評価データ生成システムにおける基本的な構成の一例を示している。図１に示したコンテンツ評価データ生成システム１は、撮影部１０と、表示部２０と、心拍検出部３０と、記録部４０とから構成されるシステムである。なお、図１には、コンテンツ評価データ生成システム１における被験者Ｈも併せて示しているが、被験者Ｈは、本第１の実施形態のコンテンツ評価データ生成システム１を構成する要素ではない。
【００１６】
表示部２０は、コンテンツを表示する、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示装置を備え、記録部４０に記録されたコンテンツを表示することによって、コンテンツを被験者Ｈに提示する。表示部２０は、不図示の制御部によってコンテンツ表示を開始するタイミングが制御される。表示部２０は、制御部によってコンテンツ表示の開始が指示されると、表示するコンテンツのデータを記録部４０から読み出して表示する。
【００１７】
撮影部１０は、被写体の光学像を光電変換する固体撮像素子を備え、被写体の動画を撮影する。撮影部１０は、不図示の制御部によって動画撮影を開始するタイミングが制御される。撮影部１０は、制御部によって動画撮影の開始が指示されると、表示部２０に表示されたコンテンツを視聴（閲覧）している被験者Ｈの顔の領域の動画像（例えば、３０フレーム／秒の画像）を撮影し、撮影した被験者Ｈの撮影画像であるそれぞれのフレームの画像データ（ＲＡＷデータ）を、撮影した動画のフレーム毎に心拍検出部３０に出力する。
【００１８】
心拍検出部３０は、撮影部１０から入力されたＲＡＷデータに対して、被験者Ｈの心拍を検出するための画像処理（以下、「心拍検出処理」という）を行う。心拍検出部３０は、不図示の制御部によって心拍検出処理を開始するタイミングが制御される。心拍検出部３０は、制御部によって心拍検出処理の開始が指示されると、撮影部１０から入力されたＲＡＷデータを用いて心拍検出処理を行い、被験者Ｈの心拍を一定間隔毎に検出する。なお、心拍検出部３０における心拍検出処理に関する詳細な説明は、後述する。
【００１９】
また、心拍検出部３０は、心拍検出処理が開始すると、表示部２０にコンテンツを表示しているタイミングと同期して、コンテンツのデータを記録部４０から読み出す。そして、心拍検出部３０は、読み出したコンテンツのデータに、検出した被験者Ｈの心拍の情報（以下、「生体情報」ともいう）を関連付けた応答データを、記録部４０に出力し記録させる。
【００２０】
例えば、表示部２０に、映画やドラマなどの動画コンテンツを表示している場合には、動画コンテンツにおけるそれぞれのフレームの動画データに同期したタイミングで、動画データに含まれるタグ情報の空き領域などに、フレーム毎に検出した被験者Ｈの生体情報を追加する。そして、被験者Ｈの生体情報を順次追加した動画コンテンツを、応答データとして記録部４０に記録させる。これにより、動画コンテンツを視聴しているときの被験者Ｈの心拍の変化を、動画コンテンツに対応付けて評価することができる。例えば、動画コンテンツの提供者が動画コンテンツの視聴率を集計する際に、それぞれの被験者が視聴した応答データから、それぞれのフレームのタグ情報に追加された心拍の情報を時間順に順次抽出することによって、それぞれの被験者の心拍の変化を評価することができる。このことにより、動画コンテンツを再生しているだけではなく、実際に動画コンテンツを視聴していると考えられる有効な応答データを集計することができる。
【００２１】
また、例えば、表示部２０に、アンケートなどの設問コンテンツを表示している場合には、被験者Ｈがアンケートの設問に回答したタイミング、すなわち、マウスなどのポインティングデバイスやキーボードなどの入力デバイスを用いて被験者Ｈが回答のデータを入力したタイミングで、設問番号と回答のデータとを記録した応答データに、検出した被験者Ｈの生体情報を追加して記録部４０に記録させる。これにより、設問コンテンツのそれぞれの設問に対して被験者Ｈが回答しているときの被験者Ｈの心拍の状態や変化を、設問コンテンツに対する応答データに対応付けて評価することができる。例えば、アンケートの実施者がアンケートの回答を集計する際に、それぞれの被験者が回答した応答データに追加された心拍の情報を設問毎に抽出することによって、それぞれの被験者が各設問に回答する際の心拍の状態や、設問の進行に伴う心拍の変化を評価することができる。このことにより、設問の内容に関心を持たずに安易に入力した回答ではなく、設問の内容に関心を持って入力した回答であると考えられる有効な応答データを集計することができる。
【００２２】
記録部４０は、表示部２０に表示するためのコンテンツのデータを記録する。また、記録部４０は、心拍検出部３０によって被験者Ｈの生体情報が関連付けられた応答データを記録する。
【００２３】
このような構成によって、コンテンツ評価データ生成システム１では、表示部２０にコンテンツを表示しているタイミングに同期した被験者Ｈの生体情報を、応答データに記録する。これにより、コンテンツ評価データ生成システム１では、被験者Ｈの反応を評価するために有効な応答データを取得することができる。
【００２４】
次に、コンテンツ評価データ生成システム１に備えた心拍検出部３０による心拍検出処理について説明する。心拍検出部３０による心拍検出処理では、撮影部１０が撮影した動画像における被験者Ｈの位置合わせの処理、すなわち、ブレ補正処理と、ブレ補正した後の動画像に基づいた被験者Ｈの心拍数の算出処理とを並行して行う。図２は、本第１の実施形態のコンテンツ評価データ生成システム１に備えた心拍検出部３０における心拍検出処理の処理手順を示したフローチャートである。
【００２５】
心拍検出部３０は、制御部からの指示に応じて心拍検出処理を開始すると、まず、ブレ補正処理を開始する。ブレ補正処理では、ステップＳ１において、心拍検出部３０は、撮影部１０から入力されたＲＡＷデータに対して画像処理を行い、動画像に含まれる被験者Ｈのブレを検出するためのブレ検出対象画像を作成する。ステップＳ１におけるブレ検出対象画像の作成では、フレームのＲＡＷデータからビットマップデータを作成する。なお、心拍検出部３０は、撮影部１０からＲＡＷデータが入力される毎、すなわち、撮影部１０が撮影した動画のそれぞれのフレームの画像毎に、ブレ検出対象画像を作成する。
【００２６】
続いて、ステップＳ２において、心拍検出部３０は、作成した１つ目のフレームのブレ検出対象画像を基準とし、以降のフレームのブレ検出対象画像との間における被験者Ｈの位置の差から、被験者Ｈのブレを検出する。より具体的には、１つ目のフレームのブレ検出対象画像とｎ（ｎ＝２以上の自然数）個目のフレームのブレ検出対象画像とに基づいて、撮影部１０が撮影した動画のフレームが、１つ目のフレームからｎ個目のフレームに変わったときのブレ量を検出する。なお、心拍検出部３０によるブレ検出の処理方法は、例えば、デジタルビデオカメラなどにおいて一般的に用いられている、公知のブレ検出の技術を用いて行うことができるため、詳細な説明は省略する。
【００２７】
続いて、ステップＳ３において、心拍検出部３０は、ステップＳ２において検出したブレ量に基づいて、撮影部１０から入力されたそれぞれのフレームのＲＡＷデータに含まれる各画素のデータの位置合わせを行って、ブレを補正する。例えば、ＲＡＷデータに含まれるＲ、Ｇ、およびＢの各色成分の画素のブレを、逆アフィン変換によって補正する。なお、心拍検出部３０によるブレ補正の処理方法は、例えば、デジタルビデオカメラなどにおいて一般的に用いられている、公知のブレ補正の技術を用いて行うことができるため、詳細な説明は省略する。
【００２８】
ここまでの処理が、ブレ補正処理である。以降、心拍検出部３０は、ステップＳ１〜ステップＳ３までのブレ補正処理を、撮影部１０からそれぞれのフレームのＲＡＷデータが入力される毎に、順次繰り返す。
【００２９】
そして、心拍検出部３０は、１つ目のフレームのＲＡＷデータに対するブレ補正処理が完了すると、続いて、心拍数の算出処理を開始する。心拍数の算出処理では、ステップＳ４において、心拍検出部３０は、ＲＡＷデータデータから解析を行う領域（解析領域）ＲＯＩを設定（限定）する。ここでは、被験者Ｈの顔の領域を解析領域ＲＯＩに設定する。そして、心拍検出部３０は、ブレ補正された１つ目のフレームのＲＡＷデータに含まれる各画素のデータに基づいて、解析領域ＲＯＩ、すなわち、被験者Ｈの顔領域の輝度信号を抽出する。ステップＳ４における輝度信号の抽出では、ＲＡＷデータの解析領域ＲＯＩ内に含まれるＲ、Ｇ、およびＢのそれぞれの色成分毎に、輝度信号の平均値を求める。
【００３０】
これにより、撮影部１０が撮影した動画のフレーム数分の長さの輝度信号の平均値を、それぞれの色成分毎に抽出することができる。ここで、解析領域ＲＯＩにおけるＲ、Ｇ、およびＢのそれぞれの色成分毎の輝度信号の平均値を時間順に示すと、ｘ１（ｔ）、ｘ２（ｔ）、およびｘ３（ｔ）とする。なお、ｔは撮影部１０が撮影した動画のフレーム番号である。
【００３１】
続いて、ステップＳ５において、心拍検出部３０は、ステップＳ４において抽出したＲ、Ｇ、およびＢのそれぞれの色成分毎の輝度信号の平均値を、正規化する。このとき、心拍検出部３０は、Ｒ、Ｇ、およびＢの輝度信号の平均値が０で分散が１となるな、正式化した後の輝度信号ｘ’ｉ（ｔ）を、下式（１）を用いて正規化する。
【００３２】
【数１】
2014006639.tif 000003
【００３３】
上式（１）において、ｉはそれぞれの色成分Ｒ、Ｇ、およびＢを表し、１がＲ、２がＧ、３がＢを表す。従って、ｘｉ（ｔ）は各フレームのそれぞれの色成分毎の輝度信号の平均値を表す。また、μｉは輝度信号の平均値ｘｉ（ｔ）の全てのフレームの平均値を表し、σｉは輝度信号の平均値ｘｉ（ｔ）の全てのフレームの標準偏差を表す。
【００３４】
続いて、ステップＳ６において、心拍検出部３０は、独立成分分析法を用いて、ステップＳ５において正式化した後のＲ、Ｇ、およびＢの各輝度信号を、それぞれ独立成分に分解する。このとき、心拍検出部３０は、輝度信号ｘ’１（ｔ）、ｘ’２（ｔ）、およびｘ’３（ｔ）を、３つの独立成分ｓ１（ｔ）、ｓ２（ｔ）、およびｓ３（ｔ）に分解する。
【００３５】
ステップＳ６における独立成分分析では、心拍検出部３０は、まず、下式（２）となる仮説を立てる。
【００３６】
【数２】
2014006639.tif 000004
【００３７】
上式（２）において、Ａは３×３のマトリクスを表し、Ａのそれぞれの要素は、ａｉｊ（ｉ＝１，２，３  ｊ＝１，２，３）である。また、ｘ’（ｔ）は全ての色成分の輝度信号を、ｓ（ｔ）は全ての色成分の独立成分を、それぞれ表し、下式（３）で表される。
【００３８】
【数３】
2014006639.tif 000005
【００３９】
しかし、上式（２）がそのまま成り立つマトリクスＡは存在しない。そこで、心拍検出部３０は、独立成分ｓ（ｔ）の評価値に近い評価値をｓ’（ｔ）とし、マトリクスＡの逆行列に近いマトリクスＷを、独立成分分析法によって算出する。
【００４０】
【数４】
2014006639.tif 000006
【００４１】
続いて、ステップＳ７において、心拍検出部３０は、ステップＳ６において算出した評価値ｓ’（ｔ）を、それぞれの色成分毎に高速フーリエ変換する。このとき、心拍検出部３０は、Ｒ、Ｇ、およびＢのそれぞれの色成分毎の評価値ｓ’１（ｔ）、ｓ’２（ｔ）、およびｓ’３（ｔ）に対して高速フーリエ変換を行い、それぞれの色成分毎の周波数領域表現Ｆ（Ｓ１）、Ｆ（Ｓ２）、およびＦ（Ｓ３）を算出する。
【００４２】
続いて、ステップＳ８において、心拍検出部３０は、ステップＳ７において算出した周波数領域表現ＦにおけるパワースペクトルＰを求める。このとき、心拍検出部３０は、Ｒ、Ｇ、およびＢのそれぞれの色成分毎の周波数領域表現Ｆ（Ｓ１）、Ｆ（Ｓ２）、およびＦ（Ｓ３）におけるパワースペクトルＰ（Ｓ１）、Ｐ（Ｓ２）、およびＰ（Ｓ３）をそれぞれ求める。
【００４３】
続いて、ステップＳ９において、心拍検出部３０は、ステップＳ８において求めたパワースペクトルＰから、心拍の特徴がよく現れているパワースペクトルＰを選択する。例えば、パワースペクトルＰ（Ｓ２）を選択する。
【００４４】
続いて、ステップＳ１０において、心拍検出部３０は、ステップＳ９において選択したパワースペクトルＰから心拍を表す周波数を抽出し、さらに、抽出した周波数に基づいて、心拍数を算出する。例えば、撮影部１０の撮影フレームレートが６０フレーム／秒の場合において、パワースペクトが０．７５〜４の間の心拍周波数を抽出した場合には、４５ｂｐｍ〜２４０ｂｐｍの間の値を心拍数として算出する。
【００４５】
ここまでの処理が、心拍数の算出処理である。以降、心拍検出部３０は、ステップＳ４〜ステップＳ１０までの心拍数の算出処理を、撮影部１０から入力されたフレームのＲＡＷデータに対するブレ補正処理が完了する毎に、順次繰り返す。
【００４６】
このように、コンテンツ評価データ生成システム１では、心拍検出部３０が、撮影部１０から入力されたフレームのＲＡＷデータ毎に心拍検出処理を行って、被験者Ｈの心拍数をフレーム毎に検出する。これにより、コンテンツ評価データ生成システム１では、被験者Ｈに意識させることなく、コンテンツを視聴しているときの被験者Ｈの心拍数を検出することができる。このとき、コンテンツ評価データ生成システム１では、従来の技術のように、被験者Ｈの眼球の映像を正確に捉える必要がなく、すなわち、被験者Ｈがほぼ正面を向いている必要がなく、被験者Ｈの顔の領域を撮影部１０が撮影することができれば、被験者Ｈがいずれの方向を向いている場合でも、被験者Ｈの心拍数を精度よく検出することができる。
【００４７】
また、コンテンツ評価データ生成システム１では、心拍検出部３０が、検出した被験者Ｈの心拍数を生体情報として表示部２０がコンテンツに関連付けた応答データを、コンテンツを表示しているタイミングに同期させて記録部４０に記録させる。これにより、コンテンツ評価データ生成システム１では、被験者Ｈの反応を評価するための情報を含めた応答データを記録することができ、記録した応答データを集計すると、被験者Ｈの反応を反映したデータを集計することができる。
【００４８】
なお、コンテンツ評価データ生成システム１において撮影部１０は、被験者Ｈを撮影したそれぞれのフレームのＲＡＷデータを心拍検出部３０に出力する場合について説明した。しかし、例えば、撮影部１０が何らかのガンマ補正を施した画像データを心拍検出部３０に出力する場合もある。この場合には、図２に示したステップＳ４において、解析領域ＲＯＩを設定する前に、心拍検出部３０が画像データに対して逆ガンマの補正を施すことによって、以降の心拍数の算出処理を、同様に行うことができる。
【００４９】
また、コンテンツ評価データ生成システム１では、記録部４０に記録されたコンテンツのデータ、すなわち、同じデータを、表示部２０と心拍検出部３０とがそれぞれ読み出す場合について説明した。しかし、心拍検出部３０に読み出されるコンテンツのデータは、表示部２０に読み出されるコンテンツのデータと同じデータに限定されるものではなく、表示部２０にコンテンツを表示しているタイミングを、心拍検出部３０が認識することができるデータであれば、いかなるデータであってもよい。すなわち、心拍検出部３０に読み出されるコンテンツのデータは、表示部２０にコンテンツを表示しているタイミングと、心拍検出部３０が被験者Ｈの心拍数を検出したタイミングとを同期させるためのデータであればよい。例えば、表示部２０に動画コンテンツを表示する場合には、表示部２０に表示している動画コンテンツの経過時間（表示時間）を、心拍検出部３０が認識することができる時間のデータのみであってもよい。また、例えば、表示部２０に設問コンテンツを表示する場合には、表示部２０に表示している設問コンテンツの設問を、心拍検出部３０が認識することができる設問番号のデータのみであってもよい。
【００５０】
＜第２の実施形態＞
次に、第２の実施形態のコンテンツ評価データ生成システムについて説明する。図３は、本第２の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。図３に示したコンテンツ評価データ生成システム２は、撮影部１０と、表示部２０と、心拍検出部３０と、記録部４０とから構成されるシステムである。なお、図３には、コンテンツ評価データ生成システム２における被験者Ｈも併せて示しているが、被験者Ｈは、本第２の実施形態のコンテンツ評価データ生成システム２を構成する要素ではない。
【００５１】
本第２の実施形態のコンテンツ評価データ生成システム２の構成要素は、第１の実施形態のコンテンツ評価データ生成システム１の構成要素と同様の構成要素である。ただし、本第２の実施形態のコンテンツ評価データ生成システム２においては、図３に示したように、記録部４０が、データ記録部４１と、コンテンツ記憶部４２と、コンテンツサーバ１００とからなり、コンテンツ記憶部４２とコンテンツサーバ１００とがインターネット２００を介して接続されている構成になっている。従って、以下の説明においては、第１の実施形態のコンテンツ評価データ生成システム１と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素について説明する。なお、以下の説明においては、コンテンツが動画コンテンツである場合を例として説明する。
【００５２】
コンテンツサーバ１００は、ネットＴＶ用コンテンツ、スマートフォン用コンテンツ、ＰＣ用コンテンツ、ネットゲーム用コンテンツなど、様々なコンテンツが収められているサーバであり、インターネット２００を介して要求されたコンテンツを提供する。コンテンツ評価データ生成システム２においては、コンテンツサーバ１００に、表示部２０に表示する動画コンテンツにおけるそれぞれのフレームの動画データと、表示部２０に表示している動画データの経過時間（表示時間）を心拍検出部３０が認識するための時間のデータ（以下、「時間データ」という）とが収められている。そして、コンテンツサーバ１００は、動画コンテンツのデータの読み出し要求に応じて、動画データおよび時間データを、コンテンツ記憶部４２に出力する。
【００５３】
コンテンツ記憶部４２は、不図示の制御部による制御に応じて、インターネット２００を介してコンテンツサーバ１００から取得したコンテンツのデータを、一時的に記憶する。コンテンツ評価データ生成システム２においては、コンテンツ記憶部４２は、動画データと時間データとを、それぞれコンテンツサーバ１００から取得して一時記憶する。そして、コンテンツ記憶部４２は、表示部２０から動画コンテンツのデータが読み出されると、一時記憶している動画データを出力する。また、コンテンツ記憶部４２は、心拍検出部３０から動画コンテンツのデータが読み出されると、一時記憶している時間データを出力する。
【００５４】
データ記録部４１は、心拍検出部３０によって、被験者Ｈの生体情報が関連付けられた時間データを、応答データとして記録する。
【００５５】
このような構成によって、コンテンツ評価データ生成システム２は、コンテンツサーバ１００が被験者Ｈと離れた場所に配置されている場合でも、インターネット２００を介して提供された動画コンテンツの動画データを表示部２０に表示することができる。そして、コンテンツ評価データ生成システム２は、表示部２０に動画データを表示しているタイミングを表す時間データに、被験者Ｈの生体情報を関連付けた応答データを記録する、すなわち、表示部２０に動画データを表示しているタイミングに同期した被験者Ｈの心拍数を生体情報として応答データに記録することによって、被験者Ｈの反応を評価するために有効な応答データを取得することができる。
【００５６】
このように、コンテンツ評価データ生成システム２でも、第１の実施形態のコンテンツ評価データ生成システム１と同様に、心拍検出部３０が心拍検出処理を行って検出した被験者Ｈの心拍数を、コンテンツを表示しているタイミングに同期させて記録部４０（データ記録部４１）に記録させる。これにより、コンテンツ評価データ生成システム２でも、被験者Ｈの反応を評価するために有効な応答データを取得することができる。
【００５７】
なお、コンテンツ評価データ生成システム２においては、インターネット２００を介してコンテンツサーバ１００から取得した動画データと時間データとをコンテンツ記憶部４２に一時記憶し、コンテンツ記憶部４２から表示部２０および心拍検出部３０に動画データまたは時間データを出力する場合について説明した。しかし、表示部２０および心拍検出部３０に動画データまたは時間データを出力する方法は、上述した例に限定されるものではない。例えば、表示部２０が、動画データをコンテンツサーバ１００からインターネット２００を介して直接取得する構成であってもよい。この場合、コンテンツ記憶部４２は、インターネット２００を介してコンテンツサーバ１００から取得した時間データのみを一時的に記憶して、心拍検出部３０に出力する構成になる。
【００５８】
また、コンテンツ評価データ生成システム２においては、心拍検出部３０が、被験者Ｈの心拍数が関連付けられた時間データを、応答データとしてデータ記録部４１に記録する場合について説明した。しかし、被験者Ｈの心拍数が関連付けられた応答データをデータ記録部４１に記録する方法は、上述した例に限定されるものではない。例えば、心拍検出部３０が、検出した被験者Ｈの心拍数のみをデータ記録部４１に出力する構成であってもよい。この場合、コンテンツ記憶部４２は、一時記憶している時間データをデータ記録部４１に出力し、データ記録部４１は、不図示の制御部による制御に応じて、心拍検出部３０から入力された被験者Ｈの心拍数と、コンテンツ記憶部４２から入力された時間データとを関連付けて、応答データとして記録する構成になる。
【００５９】
また、コンテンツ評価データ生成システム２では、時間データに検出した被験者Ｈの心拍数を関連付けた応答データを記録部４０（データ記録部４１）に記録する場合について説明した。しかし、記録部４０に記録する応答データに関連付けるデータは、被験者Ｈの心拍数のみに限定されるものではなく、被験者Ｈの反応を評価するために有効な情報であれば、いかなる情報であってもよい。例えば、表示部２０に表示するコンテンツに対して事前に評価を行い、評価結果から想定される被験者の反応を表した心拍数の指標を予めコンテンツに記録しておき、この指標と検出した被験者Ｈの心拍数と比較することによって、応答データに関連付けられている被験者Ｈの心拍の情報の有効性を評価した結果を応答データに関連付けて記録してもよい。
【００６０】
＜第３の実施形態＞
次に、第３の実施形態のコンテンツ評価データ生成システムについて説明する。図４は、本第３の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。図４には、検出した生体情報の有効性を評価した結果を応答データに関連付けて記録するコンテンツ評価データ生成システムにおける基本的な構成の一例を示している。図４に示したコンテンツ評価データ生成システム３は、撮影部１０と、表示部２０と、心拍検出部３０と、記録部４０と、評価部５０とから構成されるシステムである。なお、図４には、コンテンツ評価データ生成システム３における被験者Ｈも併せて示しているが、被験者Ｈは、本第３の実施形態のコンテンツ評価データ生成システム３を構成する要素ではない。
【００６１】
本第３の実施形態のコンテンツ評価データ生成システム３は、第１の実施形態のコンテンツ評価データ生成システム１に、評価部５０が追加された構成である。その他の構成要素は、第１の実施形態のコンテンツ評価データ生成システム１の構成要素と同様である。従って、以下の説明においては、第１の実施形態のコンテンツ評価データ生成システム１と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素および動作について説明する。なお、以下の説明においては、コンテンツが設問コンテンツである場合を例として説明する。
【００６２】
表示部２０は、不図示の制御部による制御に応じて設問コンテンツの表示を開始すると、設問コンテンツの設問のデータ（以下、「設問データ」）を、１問ずつ記録部４０から読み出して、順次表示する。
【００６３】
撮影部１０は、不図示の制御部による制御に応じて、表示部２０に表示された設問コンテンツの設問に回答する回答者である被験者Ｈの顔の領域の動画像を撮影し、撮影した被験者Ｈのそれぞれのフレームの画像データ（ＲＡＷデータ）を、心拍検出部３０に順次出力する。
【００６４】
心拍検出部３０は、不図示の制御部による制御に応じて心拍検出処理を開始すると、表示部２０に表示している設問データの設問番号を認識するためのデータ（以下、「設問番号データ」）を、記録部４０から読み出す。そして、心拍検出部３０は、被験者Ｈが不図示のマウスなどのポインティングデバイスやキーボードなどの入力デバイスを用いて設問に対する回答のデータを入力したタイミングで検出した被験者Ｈの心拍数を、読み出した設問番号データに関連付けて、評価部５０に出力する。
【００６５】
記録部４０は、設問データおよび設問番号データが記録されている。また、記録部４０には、設問コンテンツの提供者がそれぞれの設問毎に事前に想定した被験者の心拍数が、指標データとして記録されている。
【００６６】
評価部５０は、不図示の制御部による制御に応じて、心拍検出部３０が検出した被験者Ｈの心拍数の有効性を評価する。評価部５０による有効性の評価は、心拍検出部３０から入力された被験者Ｈの心拍数が関連付けられた設問番号データと、記録部４０から読み出した指標データとを比較することによって行われる。そして、評価部５０は、心拍検出部３０から入力された設問番号データに、有効性を評価した結果を反映した新たな設問番号データを、応答データとして、記録部４０に出力し記録させる。
【００６７】
より具体的には、指標データには、設問コンテンツの提供者によって予め設定された、被験者が設問に回答する際に想定される心拍数の値が含まれている。評価部５０は、心拍検出部３０から入力された設問番号データに含まれるそれぞれの設問を回答したときの心拍数の値と、指標データに含まれる対応する設問において想定される心拍数の値とを比較する。そして、評価部５０は、設問番号データに含まれる心拍数の値と、指標データに含まれる心拍数の値との差が、予め定めた範囲内であるときに、この設問に関して検出した被験者Ｈの心拍数が有効であると判定する。逆に、それぞれの心拍数の値の差が予め定めた範囲外であるとき、この設問に関して検出した被験者Ｈの心拍数が無効であると判定する。その後、評価部５０は、心拍数が有効であるか否かを表す情報、つまり、検出した被験者Ｈの心拍の情報の有効性を評価した結果を、被験者Ｈの心拍数が関連付けられた設問番号データに追加し、応答データとして記録部４０に出力する。なお、評価部５０は、有効性の評価結果として、例えば、関連付けられている心拍数が有効であるか否かを表すフラグを、設問毎に追加する。
【００６８】
記録部４０は、評価部５０によって被験者Ｈの心拍の情報の有効性を評価した結果が追加された応答データを記録する。
【００６９】
このような構成によって、コンテンツ評価データ生成システム３では、第１の実施形態のコンテンツ評価データ生成システム１、および第２の実施形態のコンテンツ評価データ生成システム２と同様に、表示部２０に表示しているコンテンツに対応した被験者Ｈの心拍数を検出する。そして、コンテンツ評価データ生成システム３では、表示部２０に表示しているコンテンツに対して予め想定された指標に基づいて、検出した被験者Ｈの心拍数の有効性を評価し、その評価結果を応答データに記録する。これにより、コンテンツ評価データ生成システム３では、被験者Ｈの反応を評価するための応答データを補正して、さらに有効な応答データを取得することができる。このことにより、例えば、アンケートの実施者がアンケートの回答を集計する際に、被験者Ｈが入力したそれぞれの設問に対する回答の内、設問の内容に関心を持って入力した回答であると考えられる有効な応答データのみを集計することができる。
【００７０】
なお、コンテンツ評価データ生成システム３においては、検出した生体情報の有効性を評価する評価部５０を追加した構成のコンテンツ評価データ生成システムにおける基本的な構成について説明したが、評価部５０は、様々な構成のコンテンツ評価データ生成システムにおいて、同様に検出した生体情報の有効性を評価することができる。
【００７１】
＜第４の実施形態＞
次に、第４の実施形態のコンテンツ評価データ生成システムについて説明する。図５は、本第４の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。図５に示したコンテンツ評価データ生成システム４は、撮影部１０と、表示部２０と、心拍検出部３０と、記録部４０と、評価部５０とから構成されるシステムである。なお、図５には、コンテンツ評価データ生成システム４における被験者Ｈも併せて示しているが、被験者Ｈは、本第４の実施形態のコンテンツ評価データ生成システム４を構成する要素ではない。
【００７２】
本第４の実施形態のコンテンツ評価データ生成システム４の構成要素は、第３の実施形態のコンテンツ評価データ生成システム３の構成要素と同様の構成要素である。また、本第４の実施形態のコンテンツ評価データ生成システム４においては、図３に示した第２の実施形態のコンテンツ評価データ生成システム２と同様に、記録部４０が、データ記録部４１と、コンテンツ記憶部４２と、コンテンツサーバ１００とからなり、コンテンツ記憶部４２とコンテンツサーバ１００とがインターネット２００を介して接続されている構成になっている。従って、以下の説明においては、第３の実施形態のコンテンツ評価データ生成システム３、および第２の実施形態のコンテンツ評価データ生成システム２と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素および動作について説明する。なお、以下の説明においては、コンテンツが動画コンテンツである場合を例として説明する。
【００７３】
コンテンツサーバ１００には、動画データと時間データとに加えて、指標データが記録されている。この指標データは、動画コンテンツの提供者が動画データのシーンに対する被験者の反応を事前に評価し、その評価結果に基づいて想定した被験者の心拍数が、動画データの経過時間（表示時間）に対応して記録されたデータである。コンテンツサーバ１００は、動画コンテンツのデータの読み出し要求に応じて、動画データ、時間データ、および指標データを、インターネット２００を介してコンテンツ記憶部４２に出力する。
【００７４】
コンテンツ記憶部４２は、不図示の制御部による制御に応じて、動画データ、時間データ、および指標データのそれぞれを、インターネット２００を介してコンテンツサーバ１００から取得して一時記憶する。そして、コンテンツ記憶部４２は、表示部２０からの動画コンテンツの読み出しに応じて、一時記憶している動画データを出力し、心拍検出部３０からの動画コンテンツの読み出しに応じて、一時記憶している時間データを心拍検出部３０に、指標データをデータ記録部４１に、それぞれ出力する。
【００７５】
心拍検出部３０は、不図示の制御部による制御に応じて心拍検出処理を開始すると、表示部２０に表示している動画データに同期したタイミングで検出した被験者Ｈの心拍数を、コンテンツ記憶部４２から読み出した時間データに関連付けて、データ記録部４１に出力し記録させる。
【００７６】
データ記録部４１は、心拍検出部３０によって、被験者Ｈの心拍の情報が関連付けられた時間データを記録する。また、データ記録部４１は、コンテンツ記憶部４２から出力された指標データを記録する。
【００７７】
評価部５０は、不図示の制御部による制御に応じて、データ記録部４１に記憶されている心拍検出部３０によって被験者Ｈの心拍数が関連付けられた時間データと、指標データとを比較することによって心拍検出部３０が検出した被験者Ｈの心拍数の有効性を評価する。そして、評価部５０は、データ記録部４１から読み出したら時間データに、有効性を評価した結果を反映した新たな時間データを、応答データとして再びデータ記録部４１に出力し記録させる。
【００７８】
なお、評価部５０における被験者Ｈの心拍数の有効性の評価方法は、第３の実施形態のコンテンツ評価データ生成システム３における評価部５０における被験者Ｈの心拍数の有効性の評価方法と同様に考えることができるため、詳細な説明は省略する。
【００７９】
データ記録部４１は、評価部５０によって被験者Ｈの心拍の情報の有効性を評価した結果が追加された応答データを記録する。
【００８０】
このような構成によって、コンテンツ評価データ生成システム４では、第３の実施形態のコンテンツ評価データ生成システム３と同様に、表示部２０に表示しているコンテンツに対応して検出した被験者Ｈの心拍数と、その心拍数の有効性を評価した評価結果とを応答データに記録する。これにより、コンテンツ評価データ生成システム４でも、第３の実施形態のコンテンツ評価データ生成システム３と同様に、被験者Ｈの反応を評価するための応答データを補正して、さらに有効な応答データを取得することができる。このことにより、例えば、動画コンテンツの提供者が動画コンテンツの視聴率を集計する際に、それぞれの被験者の心拍の変化において、実際に動画コンテンツを視聴していると考えられる有効な期間の応答データのみを集計することができる。より具体的には、例えば、動画コンテンツが刺激的なコンテンツである期間は、指標データの心拍数が高い値になっているが、応答データに関連付けられている被験者の心拍の変化が全くなかったり、変化の割合が少なかったりする場合には、被験者が動画コンテンツを再生しているだけで視聴していないと判断することができる。なお、この判断をする場合には、対象の期間において指標データの心拍数が最も高い値になっている期間から、予め定めた期間内で被験者の心拍の変化のズレを考慮して判断することが望ましい。そして、この期間の評価を視聴率の集計に含めないようにすることによって、より正確な視聴率の集計結果を得ることができる。
【００８１】
なお、コンテンツ評価データ生成システム４においては、第２の実施形態のコンテンツ評価データ生成システム２と同様に、インターネット２００を介してコンテンツサーバ１００から取得した動画データと、時間データと、指標データとをコンテンツ記憶部４２に一時記憶し、コンテンツ記憶部４２から表示部２０、心拍検出部３０、およびデータ記録部４１に動画データ、時間データ、または指標データを出力する場合について説明した。しかし、第２の実施形態のコンテンツ評価データ生成システム２と同様に、表示部２０、心拍検出部３０、およびデータ記録部４１にそれぞれのデータを出力する方法は、上述した例に限定されるものではない。例えば、第２の実施形態のコンテンツ評価データ生成システム２と同様に、表示部２０が、動画データをコンテンツサーバ１００からインターネット２００を介して直接取得する構成であってもよい。
【００８２】
また、コンテンツ評価データ生成システム４においては、被験者Ｈの心拍数を関連付けた時間データと、指標データとをデータ記録部４１に記録し、評価部５０が、データ記録部４１に記録されている時間データと指標データとに基づいて被験者Ｈの心拍数の有効性を評価する場合について説明した。しかし、評価部５０が被験者Ｈの心拍数の有効性を評価するためのそれぞれのデータを取得する方法は、上述した例に限定されるものではない。例えば、心拍検出部３０が被験者Ｈの心拍数を関連付けた時間データを直接評価部５０に出力し、さらに、評価部５０が指標データをコンテンツサーバ１００からインターネット２００を介して直接取得して、被験者Ｈの心拍数の有効性を評価する構成であってもよい。また、例えば、評価部５０が、インターネット２００を介して直接、コンテンツサーバ１００などに応答データを出力する構成であってもよい。
【００８３】
＜第５の実施形態＞
次に、第５の実施形態のコンテンツ評価データ生成システムについて説明する。図６は、本第５の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。図６に示したコンテンツ評価データ生成システム５は、撮影部１０と、表示部２０と、心拍検出部３０と、記録部４０と、被験者状態検出部６０とから構成されるシステムである。また、本第５の実施形態のコンテンツ評価データ生成システム５においては、図３に示した第２の実施形態のコンテンツ評価データ生成システム２と同様に、記録部４０が、データ記録部４１と、コンテンツ記憶部４２と、コンテンツサーバ１００とからなり、コンテンツ記憶部４２とコンテンツサーバ１００とがインターネット２００を介して接続されている構成になっている。なお、図６には、コンテンツ評価データ生成システム５における被験者Ｈも併せて示しているが、被験者Ｈは、本第５の実施形態のコンテンツ評価データ生成システム５を構成する要素ではない。
【００８４】
本第５の実施形態のコンテンツ評価データ生成システム５は、図３に示した第２の実施形態のコンテンツ評価データ生成システム２に、被験者状態検出部６０が追加された構成である。その他の構成要素は、第２の実施形態のコンテンツ評価データ生成システム２の構成要素と同様である。従って、以下の説明においては、第２の実施形態のコンテンツ評価データ生成システム２と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素および動作について説明する。
【００８５】
被験者状態検出部６０は、撮影部１０から出力されたＲＡＷデータに対して画像処理を行い、動画像に含まれる被験者Ｈの顔の向きを検出する。そして、被験者状態検出部６０は、検出した被験者Ｈの顔の向きの情報を、心拍検出部３０に出力する。なお、被験者状態検出部６０による被験者Ｈの顔の向きの検出方法は、例えば、デジタルスチルカメラやデジタルビデオカメラなどにおいて一般的に用いられている、公知の顔検出の技術を用いて行うことができるため、詳細な説明は省略する。
【００８６】
心拍検出部３０は、被験者状態検出部６０から入力された被験者Ｈの顔の向きの情報に応じて、心拍検出処理を行う際に解析を行うＲＡＷデータデータの領域を変更する。より具体的には、心拍検出部３０は、図２に示した心拍検出処理のフローチャートのステップＳ４において解析領域ＲＯＩを設定する際に、被験者状態検出部６０から入力された被験者Ｈの顔の向きの情報に基づいて設定する。例えば、被験者状態検出部６０から入力された被験者Ｈの顔の向きの情報が、撮影部１０に対して正面を向いていることを表している場合には、被験者Ｈの顔の領域内の「額」を含む部分を解析領域ＲＯＩとする。また、例えば、被験者状態検出部６０から入力された被験者Ｈの顔の向きの情報が、撮影部１０に対して横方向を向いている、すなわち、撮影部１０が撮影した被験者Ｈの顔が側面であることを表している場合には、被験者Ｈの顔の領域内の「こめかみ」を含む部分を解析領域ＲＯＩとする。
【００８７】
このような構成によって、コンテンツ評価データ生成システム５では、被験者Ｈが表示部２０に表示しているコンテンツを視聴しているときの顔の向きを考慮して、被験者Ｈの心拍数を算出する。これにより、コンテンツ評価データ生成システム５では、より高い精度で被験者Ｈの心拍の情報を検出、すなわち、心拍数を算出することができる。つまり、コンテンツ評価データ生成システム５では、撮影部１０が撮影したＲＡＷデータに被験者Ｈの顔の領域が含まれていれば、従来の技術において被験者Ｈの眼球の映像を正確に捉えるために、被験者Ｈがほぼ正面を向いている必要がなく、被験者Ｈがいずれの方向を向いている場合でも、被験者Ｈの心拍数を精度よく検出することができる。
【００８８】
なお、コンテンツ評価データ生成システム５においては、被験者状態検出部６０が検出した被験者Ｈの顔の向きの情報を心拍検出部３０に出力し、心拍検出部３０が解析領域ＲＯＩを設定する場合について説明した。しかし、解析領域ＲＯＩを設定する方法は、上述した例に限定されるものではない。例えば、被験者状態検出部６０が、検出した被験者Ｈの顔の向きに基づいて解析領域ＲＯＩを決定し、決定した解析領域ＲＯＩを心拍検出部３０に設定する構成であってもよい。この場合、心拍検出部３０は、設定された解析領域ＲＯＩで心拍検出処理を行うことになる。
【００８９】
＜第６の実施形態＞
次に、第６の実施形態のコンテンツ評価データ生成システムについて説明する。図７は、本第６の実施形態におけるコンテンツ評価データ生成システムの概略構成の一例を示したブロック図である。図７に示したコンテンツ評価データ生成システム６は、撮影部１０と、表示部２０と、心拍検出部３０と、記録部４０と、照明状態取得部７０とから構成されるシステムである。また、本第６の実施形態のコンテンツ評価データ生成システム６においては、図３に示した第２の実施形態のコンテンツ評価データ生成システム２と同様に、記録部４０が、データ記録部４１と、コンテンツ記憶部４２と、コンテンツサーバ１００とからなり、コンテンツ記憶部４２とコンテンツサーバ１００とがインターネット２００を介して接続されている構成になっている。なお、図７には、コンテンツ評価データ生成システム６における被験者Ｈも併せて示しているが、被験者Ｈは、本第６の実施形態のコンテンツ評価データ生成システム６を構成する要素ではない。
【００９０】
本第６の実施形態のコンテンツ評価データ生成システム６は、図３に示した第２の実施形態のコンテンツ評価データ生成システム２に、照明状態取得部７０が追加された構成である。その他の構成要素は、第２の実施形態のコンテンツ評価データ生成システム２の構成要素と同様である。従って、以下の説明においては、第２の実施形態のコンテンツ評価データ生成システム２と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素および動作について説明する。
【００９１】
照明状態取得部７０は、被験者Ｈがコンテンツを視聴している環境の明るさと、表示部２０に表示するコンテンツの明るさや色を検出する。そして、照明状態取得部７０は、検出した環境の明るさの情報およびコンテンツの明るさや色の情報を、心拍検出部３０に出力する。より具体的には、照明状態取得部７０は、不図示の制御部による制御に応じて、被験者Ｈがコンテンツを視聴する環境の明るさを逐次検出する。また、照明状態取得部７０は、不図示の制御部による制御に応じて、表示部２０に表示するコンテンツのデータを、インターネット２００を介してコンテンツサーバ１００から取得し、現在の環境（明るさ）でコンテンツを視聴した際に、被験者Ｈの顔に反射する表示部２０に表示されたコンテンツの明るさや色、または明るさや色の変化を逐次検出する。そして、照明状態取得部７０は、検出したコンテンツの明るさや色の情報と、環境の明るさの情報とを、心拍検出部３０に逐次出力する。
【００９２】
心拍検出部３０は、照明状態取得部７０から入力されたコンテンツの明るさや色の情報と環境の明るさの情報とに応じて、撮影部１０から入力されたそれぞれのフレームのＲＡＷデータを補正する。より具体的には、心拍検出部３０は、コンテンツの明るさや色を抑制（低減）するように、それぞれのフレームのＲＡＷデータを逐次補正する。これにより、例えば、夜など、コンテンツを視聴している周辺の照明環境が暗い場合に、被験者Ｈの顔に当たる照明が表示部２０に表示しているコンテンツの明るさや色の変化によって大きく影響された、心拍検出処理の妨げとなるＲＡＷデータ内の各画素の成分を、事前に抑制することができる。そして、心拍検出部３０は、補正した後のＲＡＷデータに基づいて心拍検出処理を行う。
【００９３】
このような構成によって、コンテンツ評価データ生成システム６では、被験者Ｈが表示部２０に表示しているコンテンツを視聴しているときに顔に反射しているコンテンツの明るさや色を抑制した状態で、被験者Ｈの心拍数を算出する。これにより、コンテンツ評価データ生成システム６では、より高い精度で被験者Ｈの心拍の情報を検出、すなわち、心拍数を算出することができる。
【００９４】
なお、コンテンツ評価データ生成システム６においては、照明状態取得部７０が、表示部２０に表示するコンテンツのデータ、すなわち、同じデータから、コンテンツの明るさや色を検出する場合について説明した。しかし、照明状態取得部７０がコンテンツの明るさや色を検出するデータは、表示部２０に表示するコンテンツのデータと同じデータに限定されるものではなく、表示部２０にコンテンツを表示するコンテンツの明るさや色を認識することができるデータであれば、いかなるデータであってもよい。例えば、表示部２０に表示するコンテンツのデータとは別に準備されたコンテンツの明るさや色を表すデータであってもよい。
【００９５】
また、コンテンツ評価データ生成システム６においては、照明状態取得部７０が、表示部２０に表示するコンテンツのデータを、インターネット２００を介してコンテンツサーバ１００から直接取得する場合について説明した。しかし、照明状態取得部７０がコンテンツのデータを取得する方法は、上述した例に限定されるものではない。例えば、コンテンツ記憶部４２に一時記憶しているコンテンツのデータを、照明状態取得部７０が読み出す構成であってもよい。
【００９６】
上記に述べたとおり、本発明を実施するための形態によれば、心拍検出部３０が、撮影部１０から入力されたフレーム毎のＲＡＷデータに基づいて、表示部２０にコンテンツを表示しているタイミングに同期した被験者Ｈの生体情報（心拍の情報：心拍数）を検出する。そして、検出した生体情報を、コンテンツに関連付けて応答データに記録する。これにより、本発明を実施するための形態では、コンテンツを視聴している被験者Ｈの反応を評価するために有効な応答データを、被験者Ｈに意識させずに、より精度よく取得することができる。そして、応答データに関連付けられている被験者Ｈの生体情報（心拍の情報：心拍数）の変化を評価することによって、被験者Ｈの反応をより正確に評価することができる。また、本発明を実施するための形態では、生体情報（心拍の情報：心拍数）を検出する際に、従来の技術のような被験者Ｈの顔の向きに関する制約がなく、コンテンツ評価データ生成システムを用いることができる実用範囲が広い。
【００９７】
なお、本実施形態においては、それぞれのコンテンツのデータ（実施形態においては、動画コンテンツにおける動画データや、設問コンテンツにおける設問データ）と、それに付随するデータ（実施形態においては、動画コンテンツにおける時間データや、設問コンテンツにおける設問番号データや、指標データ）がそれぞれ別のデータである場合について説明した。しかし、それぞれのデータの形式は、本発明を実施するための形態に限定されるものではなく、コンテンツのデータに付随するデータを含んだ形式であってもよい。
【００９８】
また、本実施形態においては、撮影部１０、表示部２０、および心拍検出部３０と、記録部４０の全てまたは一部とが、被験者Ｈがコンテンツを視聴している位置に配置された場合について説明した。しかし、コンテンツ評価データ生成システム内の各構成要素の配置は、本発明を実施するための形態に限定されるものではない。例えば、撮影部１０、表示部２０、および心拍検出部３０のみが被験者Ｈがコンテンツを視聴している位置に配置され、記録部４０の全てが異なる位置に配置されて、インターネット２００を介して接続される構成であってもよい。また、例えば、撮影部１０および表示部２０以外の全ての構成要素が、インターネット２００を介して接続される別の位置に配置される構成であってもよい。
【００９９】
また、本実施形態においては、評価部５０、被験者状態検出部６０、または照明状態取得部７０のいずれか１つの構成要素をコンテンツ評価データ生成システムに備えた構成について説明した。コンテンツ評価データ生成システム内に備える構成要素は、本発明を実施するための形態に限定されるものではない。例えば、評価部５０、被験者状態検出部６０、および照明状態取得部７０のいずれか１つの構成要素、または全ての構成要素をコンテンツ評価データ生成システムに備えた構成にすることもできる。
【０１００】
また、本実施形態においては、心拍検出部３０がハードウェアで構成されているように説明したが、心拍検出部３０の機能を実現する手段は、本発明を実施するための形態に限定されるものではない。例えば、心拍検出部３０の機能を、コンピュータプログラムなどによってソフトウェア的に実現することもできる。この場合、心拍検出部３０は、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子で実現することが考えられる。
【０１０１】
その際には、心拍検出部３０やコンテンツ評価データ生成システムによる処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体（記録デバイス）に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、心拍検出部３０やコンテンツ評価データ生成システムに係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１０３】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１０４】
１，２，３，４，５，６・・・コンテンツ評価データ生成システム
１０・・・撮影部
２０・・・表示部
３０・・・心拍検出部（検出部）
４０・・・記録部
４１・・・データ記録部（記録部）
４２・・・コンテンツ記憶部（記録部）
５０・・・評価部
６０・・・被験者状態検出部（状態検出部）
７０・・・照明状態取得部（状態取得部）
１００・・・コンテンツサーバ（記録部）
２００・・・インターネット
【図１】
2014006639.tif 000007
【図２】
2014006639.tif 000008
【図３】
2014006639.tif 000009
【図４】
2014006639.tif 000010
【図５】
2014006639.tif 000011
【図６】
2014006639.tif 000012
【図７】
2014006639.tif 000013