(57)【要約】【課題】時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を見易く表示する。【解決手段】コンテンツ表示装置１００では、センサデータ受信部１０１がセンサ装置３００からセンサデータを受信し、集中度推定部１０２がセンサデータから集中度を推定し、コンテンツ受信部１０３がコンテンツ配信装置２００からコンテンツを受信し、コンテンツ解析部１０５がコンテンツを解析してシーン分割を行う。そして、ハイライト情報生成部１０６がシーン分割だけでなく集中度も考慮したハイライト情報を生成し、代表サムネイル画像生成部１０７がハイライト情報に基づき集中度が最高のシーンについて代表サムネイル画像を生成し、スライダバー生成部１０８がハイライト情報に基づき集中度の変化を表す色相の変化等を重畳したスライダバーを生成し、結果表示部１０９が代表サムネイル画像及びスライダバーを表示する。【選択図】図１
2016111379.tif 000002
【特許請求の範囲】
【請求項１】
時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を示す第１の変化情報を取得する第１の変化情報取得手段と、
前記第１の変化情報に基づいて、前記心理状態の変化を表現する色相の変化を示す第２の変化情報を取得する第２の変化情報取得手段と、
前記第２の変化情報に基づいて、前記映像における時間の経過と、当該時間の経過に応じた前記色相の変化とを表す表示要素を生成する表示要素生成手段と、
前記表示要素を表示する表示手段と
を備えたことを特徴とする表示装置。
【請求項２】
前記第１の変化情報取得手段は、前記第１の変化情報として、前記ユーザの前記映像に対する集中度の変化を示す集中度情報を取得することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示要素生成手段は、前記表示要素として、一の方向に沿って前記時間の経過と前記色相の変化とを表す棒状の表示要素を生成することを特徴とする請求項１に記載の表示装置。
【請求項４】
前記映像の内容により当該映像が分割される時点を示す第１の時点情報を取得する第１の時点情報取得手段と、
前記第１の変化情報に基づいて、前記心理状態により前記映像が分割される時点を示す第２の時点情報を取得する第２の時点情報取得手段と
を更に備え、
前記表示要素生成手段は、前記映像の内容により当該映像が分割される時点と、前記心理状態により当該映像が分割される時点とを更に表す前記表示要素を生成することを特徴とする請求項１に記載の表示装置。
【請求項５】
前記第１の変化情報を表す第１の波形を生成する第１の波形生成手段と、
前記第１の時点情報を表す波形であって、当該第１の時点情報により示される時点において前記映像の当該時点の前後の内容の変化量に応じた大きさの凹部を有する波形である第２の波形を生成する第２の波形生成手段と、
前記第１の波形と前記第２の波形とを重ね合わせることにより、第３の波形を生成する第３の波形生成手段と
を更に備え、
前記第２の時点情報取得手段は、前記第２の時点情報として、前記第３の波形のレベルが所定の基準を超える時間の開始時点及び終了時点を示す情報を取得することを特徴とする請求項４に記載の表示装置。
【請求項６】
前記第１の変化情報に基づいて、前記映像の前記心理状態が所定の基準を超えた時間における部分を含む部分映像を抽出する抽出手段を更に備えたことを特徴とする請求項１に記載の表示装置。
【請求項７】
前記抽出手段は、前記映像の前記心理状態が前記所定の基準以下である各時点における部分を、当該各時点における当該心理状態のレベルに応じた密度で更に含む前記部分映像を抽出することを特徴とする請求項６に記載の表示装置。
【請求項８】
時間の経過に応じて変化する映像を表示する表示装置と、
前記表示装置に表示された前記映像を閲覧するユーザを観測する観測装置と
を備え、
前記表示装置は、
前記観測装置による前記ユーザの観測結果に基づいて、当該ユーザの心理状態の変化を示す第１の変化情報を取得する第１の変化情報取得手段と、
前記第１の変化情報に基づいて、前記心理状態の変化を表現する色相の変化を示す第２の変化情報を取得する第２の変化情報取得手段と、
前記第２の変化情報に基づいて、前記映像における時間の経過と、当該時間の経過に応じた前記色相の変化とを表す表示要素を生成する表示要素生成手段と、
前記表示要素を表示する表示手段と
を備えたことを特徴とする表示システム。
【請求項９】
時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を示す第１の変化情報を取得するステップと、
前記第１の変化情報に基づいて、前記心理状態の変化を表現する色相の変化を示す第２の変化情報を取得するステップと、
前記第２の変化情報に基づいて、前記映像における時間の経過と、当該時間の経過に応じた前記色相の変化とを表す表示要素を生成するステップと、
前記表示要素を表示するステップと
を含むことを特徴とする表示方法。
【請求項１０】
コンピュータに、
時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を示す第１の変化情報を取得する機能と、
前記第１の変化情報に基づいて、前記心理状態の変化を表現する色相の変化を示す第２の変化情報を取得する機能と、
前記第２の変化情報に基づいて、前記映像における時間の経過と、当該時間の経過に応じた前記色相の変化とを表す表示要素を生成する機能と、
前記表示要素を表示する機能と
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間の経過に応じて変化する映像に関する情報を表示する表示装置、表示システム、表示方法及びプログラムに関する。
【背景技術】
【０００２】
映像に関するユーザの精神状態を時間軸上に表す技術は知られている（例えば、特許文献１、２参照）。
【０００３】
特許文献１には、時間軸を有してよい笑みマーカトラック上に、細い線で微量の笑みが検出されていることを表し、太く黒い線でしばらく続く大きな笑みが検出されていることを表す技術が記載されている。
【０００４】
特許文献２には、異なるユーザがディープタグを付けた同じ映画を水平バーで表し、映画の部分がディープタグに現れた回数をプロットして人気量をヒストグラムとし、異なる人気度を表すのに異なる色を使う色グラフを生成する技術が記載されている。
【０００５】
また、スライダーバーにビジュアルパラメータとしてディスプレイユニット上の色を与える技術も知られている（例えば、特許文献３参照）。
【０００６】
特許文献３には、例えば、フットボールの試合において、スライダーバーの平均の色を、フットボールの試合に関連した部分についてグリーンとし、中断に関連した部分について別な色とする技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２０１４−５０４４６０号公報
【特許文献２】米国特許出願公開第２０１２／０２２７０６５号明細書
【特許文献３】特表２００４−５０８７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１、２の技術は、ある時点のユーザの心理状態を表示するに過ぎず、ユーザの心理状態の変化を見易く表示することはできないという問題点を有していた。例えば、特許文献１の技術では、ある時点で微妙な笑みが検出されており、別の時点でしばらく続く大きな笑みが検出されていることは分かるものの、微妙な笑みから大きな笑みへとどのように変化していったのかは分からなかった。
【０００９】
また、特許文献３の技術も、スライダーバーの色を映像に関する色としているが、映像に関するユーザの心理状態の変化を表す色としているわけではないので、ユーザの心理状態の変化を見易く表示することはできないという問題点を有していた。
【００１０】
本発明の目的は、時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を見易く表示することにある。
【課題を解決するための手段】
【００１１】
かかる目的のもと、本発明は、時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を示す第１の変化情報を取得する第１の変化情報取得手段と、第１の変化情報に基づいて、心理状態の変化を表現する色相の変化を示す第２の変化情報を取得する第２の変化情報取得手段と、第２の変化情報に基づいて、映像における時間の経過と、時間の経過に応じた色相の変化とを表す表示要素を生成する表示要素生成手段と、表示要素を表示する表示手段とを備えた表示装置を提供する。
【００１２】
ここで、第１の変化情報取得手段は、第１の変化情報として、ユーザの映像に対する集中度の変化を示す集中度情報を取得する、ものであってよい。
【００１３】
また、表示要素生成手段は、表示要素として、一の方向に沿って時間の経過と色相の変化とを表す棒状の表示要素を生成する、ものであってよい。
【００１４】
更に、表示装置は、映像の内容により映像が分割される時点を示す第１の時点情報を取得する第１の時点情報取得手段と、第１の変化情報に基づいて、心理状態により映像が分割される時点を示す第２の時点情報を取得する第２の時点情報取得手段とを更に備え、表示要素生成手段は、映像の内容により映像が分割される時点と、心理状態により映像が分割される時点とを更に表す表示要素を生成する、ものであってよい。その場合、表示装置は、第１の変化情報を表す第１の波形を生成する第１の波形生成手段と、第１の時点情報を表す波形であって、第１の時点情報により示される時点において映像の時点の前後の内容の変化量に応じた大きさの凹部を有する波形である第２の波形を生成する第２の波形生成手段と、第１の波形と第２の波形とを重ね合わせることにより、第３の波形を生成する第３の波形生成手段とを更に備え、第２の時点情報取得手段は、第２の時点情報として、第３の波形のレベルが所定の基準を超える時間の開始時点及び終了時点を示す情報を取得する、ものであってよい。
【００１５】
更にまた、表示装置は、第１の変化情報に基づいて、映像の心理状態が所定の基準を超えた時間における部分を含む部分映像を抽出する抽出手段を更に備えたものであってよい。その場合、抽出手段は、映像の心理状態が所定の基準以下である各時点における部分を、各時点における心理状態のレベルに応じた密度で更に含む部分映像を抽出する、ものであってよい。
【００１６】
また、本発明は、時間の経過に応じて変化する映像を表示する表示装置と、表示装置に表示された映像を閲覧するユーザを観測する観測装置とを備え、表示装置は、観測装置によるユーザの観測結果に基づいて、ユーザの心理状態の変化を示す第１の変化情報を取得する第１の変化情報取得手段と、第１の変化情報に基づいて、心理状態の変化を表現する色相の変化を示す第２の変化情報を取得する第２の変化情報取得手段と、第２の変化情報に基づいて、映像における時間の経過と、時間の経過に応じた色相の変化とを表す表示要素を生成する表示要素生成手段と、表示要素を表示する表示手段とを備えた表示システムも提供する。
【００１７】
更に、本発明は、時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を示す第１の変化情報を取得するステップと、第１の変化情報に基づいて、心理状態の変化を表現する色相の変化を示す第２の変化情報を取得するステップと、第２の変化情報に基づいて、映像における時間の経過と、時間の経過に応じた色相の変化とを表す表示要素を生成するステップと、表示要素を表示するステップとを含む表示方法も提供する。
【００１８】
更にまた、本発明は、コンピュータに、時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を示す第１の変化情報を取得する機能と、第１の変化情報に基づいて、心理状態の変化を表現する色相の変化を示す第２の変化情報を取得する機能と、第２の変化情報に基づいて、映像における時間の経過と、時間の経過に応じた色相の変化とを表す表示要素を生成する機能と、表示要素を表示する機能とを実現させるためのプログラムも提供する。
【発明の効果】
【００１９】
本発明によれば、時間の経過に応じて変化する映像を閲覧したユーザの心理状態の変化を見易く表示することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態におけるハイライト情報表示システムの機能構成例を示したブロック図である。
【図２】本発明の第１の実施の形態におけるコンテンツ表示装置が表示する内容の例を示した図である。
【図３】コンテンツ表示装置が表示する内容の例のうち色相の変化を示す色相情報を生成するための手順を示した図である。
【図４】色相情報を生成するための手順を実現する際のハイライト情報生成部等の動作例を示したフローチャートである。
【図５】コンテンツ表示装置が表示する内容の例のうちハイライトシーンへの分割を示すハイライトシーン分割情報を生成するための手順を示した図である。
【図６】ハイライトシーン分割情報を生成するための手順を実現する際のハイライト情報生成部等の動作例を示したフローチャートである。
【図７】本発明の第２の実施の形態におけるハイライト映像生成システムの機能構成例を示したブロック図である。
【図８】本発明の第２の実施の形態におけるハイライト映像を生成するための手順を示した図である。
【図９】ハイライト映像を生成するための手順を実現する際のハイライト情報生成部等の動作例を示したフローチャートである。
【図１０】本発明の第１及び第２の実施の形態におけるコンテンツ表示装置のハードウェア構成例を示した図である。
【発明を実施するための形態】
【００２１】
［第１の実施の形態］
第１の実施の形態は、ハイライトシーンに関する情報（以下、「ハイライト情報」という）をスライダバー上に表示するものである。
【００２２】
（ハイライト情報表示システムの機能構成）
図１は、第１の実施の形態におけるハイライト情報表示システムの機能構成例を示したブロック図である。図示するように、このハイライトシーン情報表示システムは、コンテンツ表示装置１００と、コンテンツ配信装置２００と、センサ装置３００とを含む。
【００２３】
コンテンツ表示装置１００は、例えば、テレビジョン受像機、携帯電話、ＰＣ、タブレット端末等であり、コンテンツ配信装置２００が送信するコンテンツを受信して表示する装置である。また、コンテンツ表示装置１００は、無線又は有線により接続されたセンサ装置３００からセンサデータを受け取ることもできる。本実施の形態では、表示装置の一例として、コンテンツ表示装置１００を設けている。そして、このコンテンツ表示装置１００は、センサデータ受信部１０１と、集中度推定部１０２と、コンテンツ受信部１０３と、コンテンツ表示部１０４と、コンテンツ解析部１０５と、ハイライト情報生成部１０６とを含む。また、代表サムネイル画像生成部１０７と、スライダバー生成部１０８と、結果表示部１０９と、コンテンツ評価結果生成部１１０と、コンテンツ評価結果送信部１１１とを含む。
【００２４】
コンテンツ配信装置２００は、テレビ番組、ラジオ番組等を配信するサービス会社により運営され、コンテンツを配信する装置である。ここで、コンテンツには、例えば、テレビ番組等の映像コンテンツ、ラジオ番組等の音声コンテンツがある。或いは、映像コンテンツ又は音声コンテンツに関する説明を行う文書コンテンツをコンテンツに含めてもよい。また、コンテンツの配信は、例えば、地上波、インターネットにより行われる。このコンテンツ配信装置２００は、コンテンツ送信部２０１と、コンテンツ評価結果受信部２０２とを含む。
【００２５】
センサ装置３００は、例えば、カメラ、マイクロホン、スマートホン、ウェアラブル端末、タブレット端末、ＰＣ等であり、コンテンツ表示装置１００に表示されたコンテンツを視聴するユーザを観測し、その観測結果であるセンサデータを出力する装置である。本実施の形態では、観測装置の一例として、センサ装置３００を設けている。そして、このセンサ装置３００は、センサデータ送信部３０１を含む。
【００２６】
まず、コンテンツ表示装置１００の構成要素について説明する。
【００２７】
センサデータ受信部１０１は、センサ装置３００のセンサデータ送信部３０１からセンサデータを受信する。
【００２８】
集中度推定部１０２は、センサデータ受信部１０１が受信したセンサデータを用いて、コンテンツ表示部１０４に表示されたコンテンツを視聴しているユーザの集中度を推定する。この集中度の推定は、センサデータから集中度を推定するための推定モデルを用いて行えばよい。例えば、推定モデルでは、カメラの画像データを処理して得られる「目の開き」、「顔の向き」、「体の姿勢」等の値が集中度にどの程度の影響を及ぼすかを確率で定義しておく。そして、カメラの画像データから「目の開き」、「顔の向き」、「体の姿勢」等の値が得られると、推定モデルで定義された確率に従って集中度を推定する。そして、センサ装置３００がユーザを観測した時にコンテンツ表示部１０４に表示されていたコンテンツにおける時間軸上の位置と、その時の観測結果であるセンサデータから推定された集中度とを対応付けた集中度情報を保持しておく。尚、以下では、集中度が高いシーンをハイライトシーンとするという考えの下、集中度情報を保持するものとして説明を行うが、例えば、喜び度、悲しみ度、驚き度が高いシーンをハイライトシーンとするという考えの下、このような集中度以外の心理状態の変化を示す情報を取得するものとしてもよい。本実施の形態では、ユーザの心理状態の変化を示す第１の変化情報の一例として、集中度情報を用いており、第１の変化情報を取得する第１の変化情報取得手段の一例として、集中度推定部１０２を設けている。
【００２９】
コンテンツ受信部１０３は、コンテンツ配信装置２００のコンテンツ送信部２０１からコンテンツを受信する。ここで、コンテンツ受信部１０３は、コンテンツが地上波で配信される場合はチューナーに相当し、コンテンツがインターネットで配信される場合はネットワークアダプタ又は携帯端末に相当する。
【００３０】
コンテンツ表示部１０４は、コンテンツ受信部１０３がコンテンツ配信装置２００から受信したコンテンツを表示する。
【００３１】
コンテンツ解析部１０５は、コンテンツ表示部１０４が表示したコンテンツを解析する。そして、第１の動作では、コンテンツの時間的な長さを示す時間情報を生成し、これを保持しておく。また、第２の動作では、ＣＭ、チャプター等のコンテンツの内容によるシーン分割を示すシーン分割情報を生成し、これを保持しておく。ここで、シーン分割情報とは、例えば、コンテンツにおける時間軸上の区間とシーンの名称とを対応付けた情報である。本実施の形態では、映像の内容により映像が分割される時点を示す第１の時点情報の一例として、シーン分割情報を用いており、第１の時点情報を取得する第１の時点情報取得手段の一例として、コンテンツ解析部１０５を設けている。
【００３２】
ハイライト情報生成部１０６は、集中度推定部１０２が集中度情報を保持し、コンテンツ解析部１０５が時間情報又はシーン分割情報を保持した状態で、そのコンテンツの再生が要求された場合に動作する。その際、第１の動作では、集中度推定部１０２が保持する集中度情報と、コンテンツ解析部１０５が保持する時間情報とを用いて、ユーザの集中度の変化を表現する色相の変化を示す色相情報をハイライト情報として生成する。また、第２の動作では、集中度推定部１０２が保持する集中度情報と、コンテンツ解析部１０５が保持するシーン分割情報とを用いて、ユーザの集中度によるハイライトシーンへの分割を含むシーン分割を示すハイライトシーン分割情報をハイライト情報として生成する。本実施の形態では、色相の変化を示す第２の変化情報の一例として、色相情報を用いており、第２の変化情報を取得する第２の変化情報取得手段の一例として、ハイライト情報生成部１０６を設けている。また、心理状態により映像が分割される時点を示す第２の時点情報の一例として、ハイライトシーン分割情報を用いており、第２の時点情報を取得する第２の時点情報取得手段の一例として、ハイライト情報生成部１０６を設けている。
【００３３】
代表サムネイル画像生成部１０７は、ハイライト情報生成部１０６が生成したハイライト情報に基づいて、コンテンツを代表する代表サムネイル画像を生成する。
【００３４】
スライダバー生成部１０８は、ハイライト情報生成部１０６が生成したハイライト情報に基づいて、スライダバーを生成する。尚、以下では、コンテンツにおける時間軸上の位置を表す直線上の位置に対応付けてハイライト情報を表すという考えの下、棒状の表示要素の一例であるスライダバーを生成するものとして説明を行うが、例えば、コンテンツにおける時間軸上の位置を表す円の中心角度に対応付けてハイライト情報を表すという考えの下、円形の表示要素を生成するものとしてもよい。本実施の形態では、表示要素の一例として、スライダバーを用いており、表示要素を生成する表示要素生成手段の一例として、スライダバー生成部１０８を設けている。
【００３５】
結果表示部１０９は、スライダバー生成部１０８が生成したスライダバーを表示する。また、代表サムネイル画像生成部１０７が生成したサムネイル画像を表示することもある。本実施の形態では、表示要素を表示する表示手段の一例として、結果表示部１０９を設けている。
【００３６】
コンテンツ評価結果生成部１１０は、集中度推定部１０２が保持する集中度情報と、コンテンツ表示部１０４が表示しているコンテンツとを統合し、ユーザごとのコンテンツの評価結果を生成する。
【００３７】
コンテンツ評価結果送信部１１１は、コンテンツ評価結果生成部１１０が生成したコンテンツの評価結果を、コンテンツ配信装置２００のコンテンツ評価結果受信部２０２に送信する。
【００３８】
次に、コンテンツ配信装置２００の構成要素について説明する。
【００３９】
コンテンツ送信部２０１は、コンテンツ表示装置１００のコンテンツ受信部１０３にコンテンツを配信する。
【００４０】
コンテンツ評価結果受信部２０２は、コンテンツ表示装置１００のコンテンツ評価結果送信部１１１からコンテンツの評価結果を受信する。このコンテンツの評価結果は、マーケティングのための情報として活用される。
【００４１】
次いで、センサ装置３００の構成要素について説明する。
【００４２】
センサデータ送信部３０１は、ユーザを観測した結果であるセンサデータを、コンテンツ表示装置１００のセンサデータ受信部１０１に送信する。
【００４３】
尚、図１のハイライト情報表示システムでは、センサ装置３００がセンサデータを出力し、コンテンツ表示装置１００はこのセンサデータから集中度情報を生成して用いるようにしたが、この限りではない。センサ装置３００の代わりにユーザ解析装置を設け、このユーザ解析装置がセンサデータから集中度情報を生成して出力し、コンテンツ表示装置１００はこの集中度情報をそのまま用いるようにしてもよい。
【００４４】
（ハイライト情報表示システムの動作）
コンテンツをその内容に基づいてシーンに分割し、タイムラインと呼ばれる時間軸を示すスライダバー上に、シーンの切れ目を表示することはよく行われている。また、コンテンツの内容を想起できるようにコンテンツを代表する代表サムネイル画像を併せて表示することもよく行われている。
【００４５】
しかしながら、コンテンツをその内容のみに基づいてシーンに分割し、各シーンに対して「本編１」、「本編２」等の一般的な見出しを表示したとしても、ユーザが見たいシーンかどうかを想起することは難しい。従って、タイムラインは、主な用途が目的のシーンへのジャンプであるにも関わらず、その役割が十分に果たされていないという問題点がある。また、コンテンツの先頭フレームを代表サムネイル画像に用いることは多いが、先頭フレームがＣＭ等であるために代表サムネイル画像がコンテンツの内容を想起させるものでなくなることが多いという問題点もある。
【００４６】
そこで、本実施の形態では、このような問題点を解決するために、コンテンツ表示装置１００が、ハイライト情報を用いてタイムライン及び代表サムネイル画像を表示するようにした。
【００４７】
図２は、コンテンツ表示装置１００が表示する内容の例を示した図である。
【００４８】
コンテンツ表示装置１００は、タイムライン表示領域１６１にタイムラインを表示している。センサ装置３００からのセンサデータを解析することにより、ユーザのコンテンツへの集中度が取得されたとする。或いは、ユーザのコンテンツへの集中度が取得されていない場合は、別のユーザの集中度の集計結果を取得してもよい。そして、コンテンツ表示装置１００は、集中度が高ければ高いほどシーンの重要度が高いとみなし、重要度の高いシーンをハイライトシーンとしてシーンの切れ目を追加する。図では、「ハイライト１」、「ハイライト２」がハイライトシーンに相当する。加えて、コンテンツ表示装置１００は、重要度の変化をタイムライン上に色相の変化で表示することにより、重要なシーンの変遷を視覚的に表現する。例えば、重要度が高いシーンを表す赤から、重要度が低いシーンを表す青へと、グラデーション表示を行う。但し、図では、赤を濃いハッチングで、青を淡いハッチングで示している。
【００４９】
また、コンテンツ表示装置１００は、代表サムネイル表示領域１６２に代表サムネイル画像を表示している。その際、集中度が最も高いシーンを表す代表サムネイル画像を表示することにより、ユーザがコンテンツの内容を想起できるようにする。
【００５０】
このように、本実施の形態では、コンテンツの内容に基づくシーン分割以外に、ユーザ自身又は他のユーザの集中度に基づくシーン分割も行われている。従って、タイムライン上に設けられた現在位置を表すつまみ１６３を用いて目的のシーンへジャンプし、映像表示領域１６４に目的のシーンを表示させることが容易になる。また、現在の放送番組の編集では、ＣＭ前の放送内容をＣＭ後に繰り返す手法が用いられることも多く、放送番組が冗長になりがちである。本実施の形態では、ＣＭ後の色相が芳しくない場合は冗長な内容が含まれていることが予想されるので、ユーザにとって効果的な映像のスキップが可能となる。これは、単純なＣＭカットでは実現できないことであり、どのシーンがユーザにとって不要であるかを視覚的に表示する本実施の形態でのみ実現できることである。更に、コンテンツ解析により不要シーンを一律に削除する手法は、ユーザにとって不要でないシーンまで削除してしまったり、コンテンツ製作者側の利益に反する行為となったりする場合もあるため、実現が難しい。本実施の形態では、不要と思われるシーンを色で表現するだけでありシーンを削除するわけではないため、これらの問題は発生しない。
【００５１】
図３（ａ）〜（ｃ）は、図２に示した表示内容のうち色相の変化を示す色相情報を生成するための手順を示した図である。
【００５２】
（ａ）に、集中度情報を表す波形を示す。この波形は、集中度の計測値をつなげることにより生成されたものであり、ハイライト情報生成部１０６が集中度推定部１０２から取得する。この波形は時系列データであり、ノイズ等の影響もあるために集中度の変動が大きくなり、色相情報に変換した場合に色変化が大きくなる。そこで、ハイライト情報生成部１０６は、集中度の変動が小さくなるように集中度情報に平滑化フィルタをかける。（ｂ）に、平滑化された集中度情報である平滑化集中度情報を表す波形を示す。
【００５３】
その後、ハイライト情報生成部１０６は、この平滑化集中度情報を色相情報に変換する。（ｃ）に、色相情報を実際の色を表す濃淡の変化によって示す。ここでは、赤を濃いハッチングで、青を淡いハッチングで表している。即ち、集中度が高い場合に赤となり、集中度が低い場合に青となり、赤と青との間はグラデーションになるように色変換を行っている。
【００５４】
次に、図３（ａ）〜（ｃ）に示した手順を実現する際のコンテンツ表示装置１００の動作について説明する。尚、ここでは、代表サムネイル画像を生成する際の動作も含めて説明する。
【００５５】
まず、コンテンツ表示装置１００では、センサデータ受信部１０１が、センサ装置３００のセンサデータ送信部３０１からセンサデータを受信する。これにより、集中度推定部１０２が、ユーザのコンテンツへの集中度を推定する。そして、集中度に対して、この集中度の元となるセンサデータが得られたときにコンテンツ表示部１０４に表示されていたコンテンツにおける時間軸上の位置を対応付けた集中度情報を保持しておく。尚、コンテンツ表示部１０４がコンテンツを最初から最後まで表示すると、集中度推定部１０２は、コンテンツの全体に関する集中度情報を保持することになる。
【００５６】
また、コンテンツ表示装置１００では、コンテンツ受信部１０３が、コンテンツ配信装置２００のコンテンツ送信部２０１からコンテンツを受信し、図示しない記憶領域に記憶する。これにより、コンテンツ表示部１０４が、この記憶領域に記憶されたコンテンツを表示する。また、コンテンツ解析部１０５が、コンテンツを解析することにより、その再生に要する時間を示す時間情報を生成し、これを保持しておく。
【００５７】
このように、集中度推定部１０２がコンテンツの全体に関する集中度情報を保持し、コンテンツ解析部１０５が時間情報を保持した後に、このコンテンツの表示が再び要求されると、ハイライト情報生成部１０６、代表サムネイル画像生成部１０７、スライダバー生成部１０８及び結果表示部１０９が動作する。図４は、このときのこれらの処理部の動作例を示したフローチャートである。
【００５８】
図示するように、まず、ハイライト情報生成部１０６が、集中度推定部１０２が保持する集中度情報と、コンテンツ解析部１０５が保持する時間情報とを受け取る（ステップ１２１）。そして、集中度情報に対して平滑化処理を行うことにより、平滑化集中度情報を生成する（ステップ１２２）。尚、ステップ１２２で生成した平滑化集中度情報及びステップ１２１で受け取った時間情報は、代表サムネイル画像生成部１０７及びスライダバー生成部１０８に出力される。
【００５９】
これにより、代表サムネイル画像生成部１０７は、ハイライト情報生成部１０６から受け取った平滑化集中度情報に基づいて最も集中度が高い時点を求める（ステップ１２３）。そして、その時点のシーンに基づいて代表サムネイル画像を生成する（ステップ１２４）。具体的には、上記記憶領域からコンテンツを読み出し、このコンテンツを構成する画像のうちステップ１２３で求めた時点の画像から代表サムネイル画像を生成すればよい。
【００６０】
また、スライダバー生成部１０８は、ハイライト情報生成部１０６から受け取った平滑化集中度情報における時間の経過に伴う集中度の変化を色相の変化に変換する（ステップ１２５）。この色相の変化への変換は、例えば、次のように行えばよい。即ち、最高の集中度に対する色相を赤とし、最低の集中度に対する色相を青とする。また、中間の集中度については、最高の集中度から最低の集中度へ向けて低下した度合いに応じて、色相環で赤から橙、黄、緑を経て青へ向けて回転するときの角度を求め、その角度だけ回転したときの色相を採用する。そして、ハイライト情報生成部１０６から受け取った時間情報が示す長さを有し、ステップ１２５で得られた色相の変化が重畳されたスライダバーを生成する（ステップ１２６）。
【００６１】
その後、結果表示部１０９は、ステップ１２４で生成された代表サムネイル画像と、ステップ１２６で生成されたスライダバーとを表示する（ステップ１２７）。
【００６２】
一方、コンテンツ表示装置１００では、コンテンツ評価結果生成部１１０が、この代表サムネイル画像及びスライダバーの表示とは非同期に、集中度推定部１０２から取得した集中度情報に基づいて、コンテンツの評価結果を生成する。そして、コンテンツ評価結果送信部１１１が、このコンテンツの評価結果を、コンテンツ配信装置２００のコンテンツ評価結果受信部２０２に送信する。
【００６３】
図５（ａ）〜（ｆ）は、図２に示した表示内容のうちハイライトシーンへの分割を示すハイライトシーン分割情報を生成するための手順を示した図である。
【００６４】
（ａ）に、集中度情報を表す波形を示す。この波形は、集中度の計測値をつなげることにより生成されたものであり、ハイライト情報生成部１０６が集中度推定部１０２から取得する。集中度情報が得られたとき、ハイライト情報生成部１０６は、図３（ｂ）と同様に、ノイズ等の影響が小さくなるように平滑化フィルタをかける。（ｂ）に、平滑化された集中度情報である平滑化集中度情報を表す波形を示す。尚、この波形は、第１の変化情報を表す第１の波形の一例であり、ハイライト情報生成部１０６は、第１の波形を生成する第１の波形生成手段の一例でもある。
【００６５】
また、ハイライト情報生成部１０６は、コンテンツ解析部１０５から、コンテンツの内容に由来したシーン分割情報を取得している。（ｃ）に、このシーン分割情報を示す。このシーン分割情報では、各シーンに関して、「ＣＭ」、「本編１」等の内容を示唆するタグが付加されている。そこで、ハイライト情報生成部１０６は、タグのペアに対して、一方のタグが示唆する内容から他方のタグが示唆する内容への変化量に応じて予め点数を付けておく。そして、シーンの切り替わりにおいて、切り替わり前のシーンに付加されたタグと切り替わり後のシーンに付加されたタグとからなるタグのペアに対して付けられた点数に応じたカットを有するカットフィルタを作成する。（ｄ）に、このようなカットフィルタを示す。尚、このカットフィルタは、第１の時点情報を表す第２の波形の一例であり、ハイライト情報生成部１０６は、第２の波形を生成する第２の波形生成手段の一例でもある。このカットフィルタは、最小値を０とし、最大値をαとするようなペナルティ値からなるフィルタである。シーンの切り替わりにおいて、シーンの内容の変化量が大きいほどペナルティの値も大きくなっている。例えば、「ＯＰ（オープニング）」から「本編１」への切り替わりは変化量が大きいので、ペナルティ値も大きくなっている。これに対し、「本編１」から「本編２」への切り替わりは変化量が小さいので、ペナルティ値も小さくなっている。
【００６６】
その後、ハイライト情報生成部１０６は、（ｂ）に示した平滑化集中度情報を表す波形と、（ｄ）に示したカットフィルタとを合成する。（ｅ）に、平滑化集中度情報を表す波形とカットフィルタとを合成することにより得られたカットフィルタ適用集中度情報の波形を示す。尚、このカットフィルタ適用集中度情報の波形は、第３の波形の一例であり、ハイライト情報生成部１０６は、第３の波形を生成する第３の波形生成手段の一例でもある。ハイライト情報生成部１０６は、この波形の値が予め定義した閾値を超える区間をハイライトシーンとして新たに切り出す。（ｅ）では、この区間の開始点及び終了点をシーン分割点として太線の丸で示している。また、この波形の値が閾値以下の区間においては、波形の値がマイナスになる箇所もシーン分割点とみなす。（ｅ）では、この区間内で波形の値が極小値となる点をシーン分割点として細線の丸で示している。（ｆ）に、これらのシーン分割点によるハイライトシーン分割情報を示す。ハイライト情報生成部１０６は、このようにして分割された区間について、ハイライトシーン分割情報を参照しながら、タグ付けをしていく。この例では、「本編１」と「本編２」の間の本来のシーン分割点が消滅しており、代わりに「ハイライト１」が挿入されている。もし、「本編１」と「本編２」の間に「ＣＭ」がある等、カットフィルタの影響が強く出る状況であれば、「ハイライト１」は「本編１」側と「本編２」側とに分割されることになる。尚、「ハイライト２」とこれに続く「ＣＭ」との間に示すように、波形の値が閾値を超える区間の開始点又は終了点と、波形の値がマイナスの極小値になる点とが近接する場合は、これらの点を結合して１つのシーン分割点とすることもある。
【００６７】
このように、コンテンツのシーン分割情報を集中度情報の波形のカットフィルタとして用いることにより、コンテンツとユーザの両方の情報を考慮したシーン分割が可能となる。
【００６８】
尚、この例では、カットフィルタ適用集中度情報を集中度が高いほど値が大きくなるものとし、集中度が閾値を超える区間をハイライトシーンとして切り出すことを前提として、カットフィルタは、シーンの切り替わりにおいてシーンの内容の変化量に応じた大きさの凹部を有するものとした。しかしながら、カットフィルタ適用集中度情報を集中度が高いほど値が小さくなるものとし、集中度が閾値以下の区間をハイライトシーンとして切り出すことを前提として、カットフィルタは、シーンの切り替わりにおいてシーンの内容の変化量に応じた大きさの凸部を有するものとしてもよい。
【００６９】
次に、図５（ａ）〜（ｆ）に示した手順を実現する際のコンテンツ表示装置１００の動作について説明する。
【００７０】
まず、コンテンツ表示装置１００では、センサデータ受信部１０１が、センサ装置３００のセンサデータ送信部３０１からセンサデータを受信する。これにより、集中度推定部１０２が、ユーザのコンテンツへの集中度を推定する。そして、集中度に対して、この集中度の元となるセンサデータが得られたときにコンテンツ表示部１０４に表示されていたコンテンツにおける時間軸上の位置を対応付けた集中度情報を保持しておく。尚、コンテンツ表示部１０４がコンテンツを最初から最後まで表示すると、集中度推定部１０２は、コンテンツの全体に関する集中度情報を保持することになる。
【００７１】
また、コンテンツ表示装置１００では、コンテンツ受信部１０３が、コンテンツ配信装置２００のコンテンツ送信部２０１からコンテンツを受信し、図示しない記憶領域に記憶する。これにより、コンテンツ表示部１０４が、この記憶領域に記憶されたコンテンツを表示する。また、コンテンツ解析部１０５が、コンテンツを解析することにより、コンテンツにおける時間軸上の区間とシーンの名称とを対応付けたシーン分割情報を生成し、これを保持しておく。
【００７２】
このように、集中度推定部１０２がコンテンツの全体に関する集中度情報を保持し、コンテンツ解析部１０５がシーン分割情報を保持した後に、このコンテンツの表示が再び要求されると、ハイライト情報生成部１０６、スライダバー生成部１０８及び結果表示部１０９が動作する。図６は、このときのこれらの処理部の動作例を示したフローチャートである。尚、この図６に示した動作例において、代表サムネイル画像生成部１０７は動作しない。
【００７３】
図示するように、まず、ハイライト情報生成部１０６が、集中度推定部１０２が保持する集中度情報と、コンテンツ解析部１０５が保持するシーン分割情報とを受け取る（ステップ１４１）。そして、集中度情報に対して平滑化処理を行うことにより、平滑化集中度情報を生成する（ステップ１４２）。また、シーン分割情報に基づいて、カットフィルタを生成する（ステップ１４３）。その後、ハイライト情報生成部１０６は、集中度情報にカットフィルタを適用することにより、カットフィルタ適用集中度情報を生成する（ステップ１４４）。そして、カットフィルタ適用集中度情報において、集中度が閾値を超える区間の開始点及び終了点と、集中度がマイナスとなる区間の極小値をとる点とを示すハイライトシーン分割情報を生成する（ステップ１４５）。尚、このハイライトシーン分割情報は、スライダバー生成部１０８に出力される。
【００７４】
これにより、スライダバー生成部１０８は、ハイライト情報生成部１０６から受け取ったハイライトシーン分割情報に基づくシーン分割が重畳されたスライダバーを生成する（ステップ１４６）。
【００７５】
その後、結果表示部１０９は、ステップ１４６で生成されたスライダバーを表示する（ステップ１４７）。
【００７６】
一方、コンテンツ表示装置１００では、コンテンツ評価結果生成部１１０が、このスライダバーの表示とは非同期に、集中度推定部１０２から取得した集中度情報に基づいて、コンテンツの評価結果を生成する。そして、コンテンツ評価結果送信部１１１が、このコンテンツの評価結果を、コンテンツ配信装置２００のコンテンツ評価結果受信部２０２に送信する。
【００７７】
過去に視聴したことがある映像を再度視聴する場合、シーンの頭出しやスキップ等を行うために、サムネイル画像やスライダバーを使用する。しかしながら、通常のサムネイル画像やスライダバーでは、どのシーンが重要であるかの指標がないため、目的のシーンを探すことが困難である。これに対し、本実施の形態は、シーンスキップのためのサムネイル画像やスライダバーに重要度指標を視覚的に反映することで、ユーザが見たいシーンを見つけることを容易にしている。
【００７８】
［第２の実施の形態］
第２の実施の形態は、ハイライトシーンの映像（以下、「ハイライト映像」という）を生成するものである。
【００７９】
（ハイライト映像生成システムの機能構成）
図７は、第２の実施の形態におけるハイライト映像生成システムの機能構成例を示したブロック図である。図示するように、このハイライト映像生成システムは、コンテンツ表示装置４００と、コンテンツ配信装置５００と、ユーザ解析装置６００とを含む。
【００８０】
コンテンツ表示装置４００は、例えば、テレビジョン受像機、携帯電話、ＰＣ、タブレット端末等であり、コンテンツ配信装置５００が送信するコンテンツを受信して表示する装置である。また、コンテンツ表示装置４００は、ユーザ解析装置６００からインターネット等を介して他のユーザの集中度情報を受け取ることもできる。本実施の形態では、表示装置の一例として、コンテンツ表示装置４００を設けている。このコンテンツ表示装置４００は、集中度情報受信部４０１と、コンテンツ受信部４０３と、コンテンツ解析部４０５と、ハイライト情報生成部４０６とを含む。また、ハイライト映像生成部４０７と、結果表示部４０９と、コンテンツ評価結果生成部４１０と、コンテンツ評価結果送信部４１１とを含む。
【００８１】
コンテンツ配信装置５００は、テレビ番組、ラジオ番組等を配信するサービス会社により運営され、コンテンツを配信する装置である。ここで、コンテンツには、例えば、テレビ番組等の映像コンテンツ、ラジオ番組等の音声コンテンツがある。或いは、映像コンテンツ又は音声コンテンツに関する説明を行う文書コンテンツをコンテンツに含めてもよい。また、コンテンツの配信は、例えば、地上波、インターネットにより行われる。このコンテンツ配信装置５００は、コンテンツ送信部５０１と、コンテンツ評価結果受信部５０２とを含む。
【００８２】
ユーザ解析装置６００は、あるコンテンツに対する複数のユーザの集中度を集計する装置である。ここで、あるコンテンツに対するあるユーザの集中度は、センサ装置からのセンサデータに基づいて、図１に示した集中度推定部１０２と同様の手法により推定すればよい。そして、センサ装置がユーザを観測した時に表示されていたコンテンツにおける時間軸上の位置と、その時の観測結果であるセンサデータから推定された集中度とを対応付けて集中度情報とする。このユーザ解析装置６００は、集中度情報集計部６０１と、集中度情報送信部６０２とを含む。
【００８３】
まず、コンテンツ表示装置４００の構成要素について説明する。
【００８４】
集中度情報受信部４０１は、ユーザ解析装置６００の集中度情報送信部６０２から集中度情報を受信し、保持しておく。本実施の形態では、ユーザの心理状態の変化を示す第１の変化情報の一例として、集中度情報を用いており、第１の変化情報を取得する第１の変化情報取得手段の一例として、集中度情報受信部４０１を設けている。
【００８５】
コンテンツ受信部４０３は、コンテンツ配信装置５００のコンテンツ送信部５０１からコンテンツを受信する。ここで、コンテンツ受信部４０３は、コンテンツが地上波で配信される場合はチューナーに相当し、コンテンツがインターネットで配信される場合はネットワークアダプタ又は携帯端末に相当する。
【００８６】
コンテンツ解析部４０５は、コンテンツ受信部４０３が受信したコンテンツを解析する。そして、ＣＭ、チャプター等のコンテンツの内容によるシーン分割を示すシーン分割情報を生成し、これを保持しておく。ここで、シーン分割情報とは、例えば、コンテンツにおける時間軸上の区間とシーンの名称とを対応付けた情報である。
【００８７】
ハイライト情報生成部４０６は、集中度情報受信部４０１が集中度情報を保持し、コンテンツ解析部４０５がシーン分割情報を保持した状態で、そのコンテンツの再生が要求された場合に動作する。その際、集中度情報受信部４０１が保持する集中度情報と、コンテンツ解析部４０５が保持するシーン分割情報とを用いて、ユーザの集中度によるハイライトシーンへの分割を含むシーン分割を示す情報をハイライト情報として生成する。
【００８８】
ハイライト映像生成部４０７は、ハイライト情報生成部４０６が生成したハイライト情報に基づいて、ハイライト映像を生成する。本実施の形態では、映像の心理状態が所定の基準を超えた時間における部分を含む部分映像の一例として、ハイライト映像を用いており、部分映像を抽出する抽出手段の一例として、ハイライト映像生成部４０７を設けている。
【００８９】
結果表示部４０９は、ハイライト映像生成部４０７が生成したハイライト映像を表示する。
【００９０】
コンテンツ評価結果生成部４１０は、集中度情報受信部４０１が受信した集中度情報と、コンテンツ受信部４０３が受信したコンテンツとを統合し、ユーザごとのコンテンツの評価結果を生成する。
【００９１】
コンテンツ評価結果送信部４１１は、コンテンツ評価結果生成部４１０が生成したコンテンツの評価結果を、コンテンツ配信装置５００のコンテンツ評価結果受信部５０２に送信する。
【００９２】
次に、コンテンツ配信装置５００の構成要素についてであるが、これらは、図１に示したコンテンツ配信装置２００と同じなので、説明を省略する。
【００９３】
次いで、ユーザ解析装置６００の構成要素について説明する。
【００９４】
集中度情報集計部６０１は、あるコンテンツに対する複数のユーザの集中度を集計し、集中度情報を生成する。
【００９５】
集中度情報送信部６０２は、集中度情報集計部６０１が生成した集中度情報を、コンテンツ表示装置４００の集中度情報受信部４０１に送信する。
【００９６】
尚、図７のハイライト映像生成システムでは、ユーザ解析装置６００がセンサデータから集中度情報を生成して出力し、コンテンツ表示装置４００はこの集中度情報をそのまま用いるようにしたが、この限りではない。ユーザ解析装置６００の代わりにセンサ装置を設け、このセンサ装置がセンサデータを出力し、コンテンツ表示装置４００はこのセンサデータから集中度情報を生成して用いるようにしてもよい。
【００９７】
（ハイライト映像生成システムの動作）
本実施の形態では、集中度情報と、コンテンツ解析によるシーン分割情報とに基づいて、ハイライト映像を生成する。
【００９８】
図８（ａ）〜（ｅ）は、ハイライト映像を生成するための手順を示した図である。
【００９９】
まず、図５（ａ）〜（ｆ）を参照して説明したようにして、カットフィルタ適用集中度情報を生成する。（ａ）に、図５（ｆ）のハイライトシーン分割情報を参考のために示し、（ｂ）に、図５（ｅ）のカットフィルタ適用集中度情報の波形を示す。
【０１００】
本実施の形態では、ハイライトシーンが明らかであるため、単純にそのハイライトシーンをつなぐことにより、ハイライト映像を作成する。但し、ハイライト映像では、映像が突然ジャンプするために、前後の内容を把握することが困難になる場合が多い。そこで、本実施の形態では、ハイライトシーンをつなぐ際に、ハイライトシーン以外の映像も少し使用して、シームレスに映像をつなぐアプローチを行う。
【０１０１】
即ち、まず、（ａ）のカットフィルタ適用集中度情報の波形から、明らかに不要なシーンを除去する。ここで、明らかに不要なシーンとは、この波形のうちマイナスのシーン分割点に挟まれた区域である。（ｃ）に、残ったシーンをつなげることにより生成される波形を示す。
【０１０２】
次に、ハイライト映像に含めるフレームを決定する。（ｄ）に、このフレームの決定方法について示す。このとき、ハイライトシーンは、予め定義した閾値を超える区間を抽出する処理により明らかである。そこで、ハイライト映像を生成する際、（ｄ）に太い破線で囲んで示すように、ハイライトシーンのフレームは全て使用する。一方、残りのフレームとしては、（ｄ）に細線の丸で示すように、重要度の高さに応じてサンプリングしたフレームを使用する。即ち、重要度が高いシーンでは使用するフレームを多くし、重要度が低いシーンでは使用するフレームを少なくする。
【０１０３】
これにより、「ハイライト１」の再生が終了した後に、「本編２」、「本編３」が徐々に速度を速めながら再生され、「ハイライト２」の再生が開始する前になると徐々に通常の再生速度に戻るような効果が得られる。このようにして、ハイライト映像を視聴する場合に、ハイライトシーンの間も重要度に応じて自然なフレームスキップを実現できる。（ｅ）に、ハイライト映像とする区間を示す。「ハイライト１」及び「ハイライト２」を（ｄ）の太い破線で囲んだ区間よりも左右に広げて示しているのは、上記の効果を表現したものである。
【０１０４】
次に、図８（ａ）〜（ｅ）に示した手順を実現する際のコンテンツ表示装置４００の動作について説明する。
【０１０５】
まず、コンテンツ表示装置４００では、集中度情報受信部４０１が、ユーザ解析装置６００の集中度情報送信部６０２から集中度情報を受信し、これを保持しておく。
【０１０６】
また、コンテンツ表示装置４００では、コンテンツ受信部４０３が、コンテンツ配信装置５００のコンテンツ送信部５０１からコンテンツを受信し、図示しない記憶領域に記憶する。これにより、コンテンツ解析部４０５が、この記憶領域に記憶されたコンテンツを解析することにより、コンテンツにおける時間軸上の区間とシーンの名称とを対応付けたシーン分割情報を生成し、これを保持しておく。
【０１０７】
このように、集中度情報受信部４０１がコンテンツの全体に関する集中度情報を保持し、コンテンツ解析部４０５がシーン分割情報を保持した後に、このコンテンツの表示が再び要求されると、ハイライト情報生成部４０６、ハイライト映像生成部４０７及び結果表示部４０９が動作する。図９は、このときのこれらの処理部の動作例を示したフローチャートである。
【０１０８】
図示するように、まず、ハイライト情報生成部４０６が、集中度情報受信部４０１が保持する集中度情報と、コンテンツ解析部４０５が保持するシーン分割情報とを受け取る（ステップ４２１）。そして、集中度情報に対して平滑化処理を行うことにより、平滑化集中度情報を生成する（ステップ４２２）。また、シーン分割情報に基づいて、カットフィルタを生成する（ステップ４２３）。その後、ハイライト情報生成部４０６は、集中度情報にカットフィルタを適用することにより、カットフィルタ適用集中度情報を生成する（ステップ４２４）。尚、このカットフィルタ適用集中度情報は、ハイライト映像生成部４０７に出力される。
【０１０９】
これにより、ハイライト映像生成部４０７は、ハイライト情報生成部４０６から受け取ったカットフィルタ適用集中度情報から、マイナスのシーン分割点に挟まれた区間を不要な区間として除去する（ステップ４２５）。そして、この区間を除去した後のカットフィルタ適用集中度情報に基づいて、ハイライトシーン内のフレームは全て含み、ハイライトシーン外のフレームは重要度の応じて含むハイライト映像を生成する（ステップ４２６）。
【０１１０】
その後、結果表示部４０９は、ステップ４２６で生成されたハイライト映像を再生する（ステップ４２７）。
【０１１１】
一方、コンテンツ表示装置４００では、コンテンツ評価結果生成部４１０が、このハイライト映像の再生とは非同期に、集中度情報受信部４０１から取得した集中度情報に基づいて、コンテンツの評価結果を生成する。そして、コンテンツ評価結果送信部４１１が、このコンテンツの評価結果を、コンテンツ配信装置５００のコンテンツ評価結果受信部５０２に送信する。
【０１１２】
過去に視聴したことがある映像を再度視聴する場合、ハイライト映像を使用することもある。しかしながら、通常のハイライト映像は、コンテンツの内容によって切り出されたものであるため、必ずしもユーザにとって重要な部分が切り出されたものになるとは限らない。これに対し、本実施の形態は、ハイライト映像の生成に重要度指標を反映することで、ユーザが見たいシーンをハイライト映像として見ることを容易にしている。
【０１１３】
［本実施の形態の効果］
本実施の形態では、視聴した映像ストリームについて、ユーザごとに計測された集中度を利用して、ハイライト情報の表示やハイライト映像の生成を行うようにした。既存のハイライト情報の表示やハイライト映像の生成は、コンテンツの内容だけで決まる画一的なものであるため、これによってユーザの欲するシーンを見つけることは難しい。これに比べて、本実施の形態では、ユーザが最も印象に残ったシーンを基準にハイライト情報の表示やハイライト映像の生成を行うため、ユーザの欲するシーンが見つけ易くなる。特に、ハイライト情報の表示は、映像を視聴する際の使用頻度が高いサムネイル画像やスライダバーに適用することができるので、その利便性を大きく向上させる。また、可視化のために必要となる計算量も少ないため、様々な種類の表示装置で活用することができる。
【０１１４】
［本実施の形態を実現するコンピュータのハードウェア構成］
図１０は、本実施の形態を実現するコンピュータ９０のハードウェア構成例を示した図である。図示するように、このコンテンツ表示装置１００，４００は、演算手段であるＣＰＵ９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各処理部を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶し、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶し、これらの一方又は両方が上述した各記憶部を実現する。更に、コンテンツ表示装置１００，４００は、外部との通信を行うためのネットワークＩ／Ｆ９４と、情報を表示するためのデバイスであるディスプレイ９５と、情報を入力するためのデバイスであるキーボード／マウス９６とを備える。
【符号の説明】
【０１１５】
１００，４００…コンテンツ表示装置、１０１…センサデータ受信部、１０２…集中度推定部、１０３，４０３…コンテンツ受信部、１０４…コンテンツ表示部、１０５，４０５…コンテンツ解析部、１０６，４０６…ハイライト情報生成部、１０７…代表サムネイル画像生成部、１０８…スライダバー生成部、１０９，４０９…結果表示部、１１０，４１０…コンテンツ評価結果生成部、１１１，４１１…コンテンツ評価結果送信部、２００，５００…コンテンツ配信装置、２０１，５０１…コンテンツ送信部、２０２，５０２…コンテンツ評価結果受信部、３００…センサ装置、３０１…センサデータ送信部、４０１…集中度情報受信部、４０７…ハイライト映像生成部、６００…ユーザ解析装置、６０１…集中度情報集計部、６０２…集中度情報送信部
【図１】
2016111379.tif 000003
【図２】
2016111379.tif 000004
【図３】
2016111379.tif 000005
【図４】
2016111379.tif 000006
【図５】
2016111379.tif 000007
【図６】
2016111379.tif 000008
【図７】
2016111379.tif 000009
【図８】
2016111379.tif 000010
【図９】
2016111379.tif 000011
【図１０】
2016111379.tif 000012