(57)【要約】【課題】適切なサムネイルを提供する情報処理装置を提供すること。【解決手段】映像の視聴履歴を予め記憶する視聴履歴記憶部１２２と、入力された映像から、映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出部１０２と、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成部１０５と、ハイライトシーンから映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成部１０６と、視聴履歴記憶部１２２に記憶された視聴履歴に基づいて、ハイライト映像が視聴済みか否かを判定する視聴判定部１０８と、ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像としてプレビュー映像を選択する映像選択部１１０と、選択したサムネイル映像を表示する表示制御部１０９とを備えた。【選択図】        図１
2007336283.tif 000002
【特許請求の範囲】
【請求項１】
映像の視聴履歴を予め記憶する履歴記憶手段と、
入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手段と、
検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手段と、
前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成手段と、
前記履歴記憶手段に記憶された前記視聴履歴に基づいて、前記ハイライト映像が視聴済みか否かを判定する視聴判定手段と、
前記視聴判定手段が前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として前記プレビュー映像を選択する選択手段と、
前記選択手段が選択したサムネイル映像を表示する表示制御手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記ハイライトシーン検出手段は、前記映像とともに入力された音声の大きさ、高さの少なくとも１つを含む音声の属性に基づいて前記ハイライトシーンを検出すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ハイライトシーン検出手段は、前記映像に含まれるテロップ、前記映像とともに入力されたメタデータの少なくとも１つを含む文字情報に基づいて前記ハイライトシーンを検出すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項４】
入力された映像から、前記重要情報を含む映像の部分である特定シーンを検出する特定シーン検出手段をさらに備え、
前記プレビュー映像生成手段は、前記ハイライトシーンから前記特定シーン検出手段が検出した前記特定シーンを削除した前記制限ハイライトシーンを生成し、生成した前記制限ハイライトシーンを含む前記プレビュー映像を生成すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記特定シーン検出手段は、前記映像に含まれるテロップ、前記映像とともに入力されたメタデータの少なくとも１つを含む文字情報と前記重要情報とを照合し、前記重要情報と一致する前記文字情報を含むシーンを前記特定シーンとして検出すること、
を特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記特定シーン検出手段は、前記映像とともに入力された音声を音声認識し、音声認識結果である文字情報と前記重要情報とを照合し、前記重要情報と一致する前記文字情報を含むシーンを前記特定シーンとして検出すること、
を特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記ハイライトシーンに含まれる画像のそれぞれについて、前記重要情報を含む領域である特定領域を検出する特定領域検出手段をさらに備え、
前記プレビュー映像生成手段は、前記特定領域検出手段が検出した前記特定領域を削除した画像を含む前記制限ハイライトシーンを生成し、生成した前記制限ハイライトシーンを含む前記プレビュー映像を生成すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記選択手段は、前記視聴判定手段が前記ハイライト映像を視聴済みであると判定した場合に、サムネイル映像として前記ハイライト映像を選択すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記ハイライトシーン検出手段は、入力された映像から、複数の前記ハイライトシーンを検出し、
前記ハイライト映像生成手段は、検出した複数の前記ハイライトシーンを含むハイライト映像を生成し、
前記視聴判定手段は、前記ハイライト映像に含まれる複数の前記ハイライトシーンのそれぞれについて視聴済みか否かを判定し、
前記選択手段は、複数の前記ハイライトシーンの少なくとも１つが視聴済みであると判定した場合に、サムネイル映像として前記ハイライト映像を選択すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記ハイライトシーン検出手段は、入力された映像から、複数の前記ハイライトシーンを検出し、
前記ハイライト映像生成手段は、検出した複数の前記ハイライトシーンを含む前記ハイライト映像を生成し、
前記視聴判定手段は、前記ハイライト映像に含まれる複数の前記ハイライトシーンのそれぞれについて視聴済みか否かを判定し、
前記選択手段は、複数の前記ハイライトシーンのうち視聴済みの前記ハイライトシーンを含む前記ハイライト映像のみを結合した映像を生成し、生成した映像をサムネイル映像として選択すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記ハイライトシーン検出手段は、入力された映像から、複数の前記ハイライトシーンを検出し、
前記ハイライト映像生成手段は、検出した複数の前記ハイライトシーンを含む前記ハイライト映像を生成し、
前記視聴判定手段は、前記ハイライト映像に含まれる複数の前記ハイライトシーンのそれぞれについて視聴済みか否かを判定し、
前記選択手段は、複数の前記ハイライトシーンのうち視聴済みの前記ハイライトシーンを含む前記ハイライト映像と前記プレビュー映像とを結合した映像を生成し、生成した映像をサムネイル映像として選択すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項１２】
入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手段と、
検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手段と、
前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成手段と、
を備えたことを特徴とする情報処理装置。
【請求項１３】
映像を特徴づける映像の部分であるハイライトシーンを含むハイライト映像と、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像とを記憶する映像記憶手段と、
前記映像の視聴履歴を予め記憶する履歴記憶手段と、
前記履歴記憶手段に記憶された前記視聴履歴に基づいて、前記ハイライト映像が視聴済みか否かを判定する視聴判定手段と、
前記視聴判定手段が前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として前記プレビュー映像を選択する選択手段と、
前記選択手段が選択したサムネイル映像を表示する表示制御手段と、
を備えたことを特徴とする情報処理装置。
【請求項１４】
映像を特徴づける映像の部分であるハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を記憶する映像記憶手段と、
前記映像の再生を制御する再生制御手段と、
前記再生制御手段が再生した前記映像から、前記ハイライトシーンを検出するハイライトシーン検出手段と、
検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手段と、
ハイライト映像が生成されていない場合に、サムネイル映像として前記プレビュー映像を選択する選択手段と、
前記選択手段が選択したサムネイル映像を表示する表示制御手段と、
を備えたことを特徴とする情報処理装置。
【請求項１５】
ハイライトシーン検出手段により、入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出ステップと、
ハイライト映像生成手段により、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成ステップと、
プレビュー映像生成手段により、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成ステップと、
視聴判定手段により、履歴記憶手段に予め記憶された視聴履歴に基づいて、前記ハイライト映像が視聴済みか否かを判定する視聴判定ステップと、
選択手段により、前記視聴判定ステップが前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として前記プレビュー映像を選択する選択ステップと、
表示制御手段により、前記選択ステップが選択したサムネイル映像を表示する表示制御ステップと、
を備えたことを特徴とする情報処理方法。
【請求項１６】
ハイライトシーン検出手段により、入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出ステップと、
ハイライト映像生成手段により、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成ステップと、
プレビュー映像生成手段により、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成ステップと、
を備えたことを特徴とする情報処理方法。
【請求項１７】
視聴判定手段により、履歴記憶手段に予め記憶された視聴履歴に基づいて、映像を特徴づける映像の部分であるハイライトシーンを含むハイライト映像が視聴済みか否かを判定する視聴判定ステップと、
選択手段により、前記視聴判定ステップが前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として、映像記憶手段に予め記憶され、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を選択する選択ステップと、
表示制御手段により、前記選択ステップが選択したサムネイル映像を表示する表示制御ステップと、
を備えたことを特徴とする情報処理方法。
【請求項１８】
再生制御手段により、映像の再生を制御する再生制御ステップと、
ハイライトシーン検出手段により、前記再生制御ステップが再生した前記映像から、映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出ステップと、
ハイライト映像生成手段により、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成ステップと、
選択手段により、ハイライト映像が生成されていない場合に、サムネイル映像として、映像記憶手段に予め記憶され、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を選択する選択ステップと、
表示制御手段により、前記選択ステップが選択したサムネイル映像を表示する表示制御ステップと、
を備えたことを特徴とする情報処理方法。
【請求項１９】
入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手順と、
検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手順と、
前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成手順と、
履歴記憶手段に予め記憶された視聴履歴に基づいて、前記ハイライト映像が視聴済みか否かを判定する視聴判定手順と、
前記視聴判定手順が前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として前記プレビュー映像を選択する選択手順と、
前記選択手順が選択したサムネイル映像を表示する表示制御手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項２０】
入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手順と、
検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手順と、
前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項２１】
履歴記憶手段に予め記憶された視聴履歴に基づいて、映像を特徴づける映像の部分であるハイライトシーンを含むハイライト映像が視聴済みか否かを判定する視聴判定手順と、
前記視聴判定手順が前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として、映像記憶手段に予め記憶され、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を選択する選択手順と、
前記選択手順が選択したサムネイル映像を表示する表示制御手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項２２】
映像の再生を制御する再生制御手順と、
前記再生制御手順が再生した前記映像から、映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手順と、
検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手順と、
ハイライト映像が生成されていない場合に、サムネイル映像として、映像記憶手段に予め記憶され、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を選択する選択手順と、
前記選択手順が選択したサムネイル映像を表示する表示制御手順と、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像のサムネイル画像を提供する情報処理装置、情報処理方法および情報処理プログラムに関するものである。
【背景技術】
【０００２】
近年、音声や映像を記録する機器の主流は、従来のアナログ方式の磁気テープから、デジタル方式の磁気ディスクや半導体メモリ等に移っている。特に大容量のハードディスクを使用した映像記録再生機器では、記録可能な容量が飛躍的に拡大している。このような機器を使用すれば、放送や通信によって提供される多数の番組の映像やユーザが自ら撮影した多数の映像を保存しておき、ユーザが自由に選択して視聴することができる。
【０００３】
保存されている映像の管理に関しては、番組等の単位であるタイトル（プログラム）でファイル化した上で、名称その他の情報を付与しておき、一覧の際にタイトルの代表画像（サムネイル）と名称等を並べて表示する方法などが存在する。また、一番組（タイトル）をチャプタ（セグメント）と呼ばれる単位に分割し、チャプタ単位で再生や編集を行うこともできる。すなわち、チャプタ単位でチャプタ名を付与すること、チャプタのサムネイルを一覧表示して、一覧から好みの場面を含むチャプタを選択して再生すること、および、選択したチャプタを並べたプレイリスト等を作成することなどが可能となる。これらの管理方法を規定するものとして、ＤＶＤ（Digital Versatile Disc）のＶＲ（VideoRecording）モードが存在する。
【０００４】
また、映像の管理に関する通信プロトコルとして、ＵＰｎＰ（Universal Plug and Play）のＣｏｎｔｅｎｔ  Ｄｉｒｅｃｔｏｒｙが存在し、このプロトコルを含む機器の相互接続の仕様としてＤＬＮＡ（Digital Living Network Alliance）ガイドラインが存在する。
【０００５】
さらに、番組（タイトル）数が多い場合には、番組ジャンル等の条件で絞り込んで一覧表示することや、番組名等の順に並べ替えて表示することができる。また、番組（タイトル）をフォルダに分類して管理し、フォルダ内の番組（タイトル）を一覧表示することもできる。例えば、連続ドラマ番組を毎回（毎週）自動録画し、自動録画したドラマだけを特定のフォルダに入れることも可能である。
【０００６】
これらタイトル（プログラム）やチャプタ（セグメント）の一覧表示の際に使用するサムネイルは、先頭フレームまたは先頭から一定時間のフレームから抽出した縮小静止画イメージを採用するのが一般的である。
【０００７】
また、動画をサムネイルとして使用する技術も提案されている。例えば、特許文献１では、最長シーンを選択し、選択した最長シーンからサムネイル画像となるサムネイル群を選択してサムネイルを生成する技術が提案されている。
【０００８】
【特許文献１】特開２００１−２９８７１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の方法では、シーンの長さという時間的な属性に基づいてサムネイルを選択するため、ユーザが映像の内容を的確に把握できるサムネイルが選択されない場合があるという問題があった。
【００１０】
また、特許文献１の方法では、例えばスポーツ番組における得点シーンのように、映像の重要部分を含むシーンであり、視聴前の一覧表示の段階で視聴すると映像の視聴価値を損なうおそれのあるシーンを含むサムネイルが選択される場合があるという問題があった。
【００１１】
本発明は、上記に鑑みてなされたものであって、映像を視聴するユーザに対して適切なサムネイルを提供することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明は、映像の視聴履歴を予め記憶する履歴記憶手段と、入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手段と、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手段と、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成手段と、前記履歴記憶手段に記憶された前記視聴履歴に基づいて、前記ハイライト映像が視聴済みか否かを判定する視聴判定手段と、前記視聴判定手段が前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として前記プレビュー映像を選択する選択手段と、前記選択手段が選択したサムネイル映像を表示する表示制御手段と、を備えたことを特徴とする。
【００１３】
また、本発明は、入力された映像から、前記映像を特徴づける映像の部分であるハイライトシーンを検出するハイライトシーン検出手段と、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手段と、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を生成するプレビュー映像生成手段と、を備えたことを特徴とする。
【００１４】
また、本発明は、映像を特徴づける映像の部分であるハイライトシーンを含むハイライト映像と、前記ハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像とを記憶する映像記憶手段と、前記映像の視聴履歴を予め記憶する履歴記憶手段と、前記履歴記憶手段に記憶された前記視聴履歴に基づいて、前記ハイライト映像が視聴済みか否かを判定する視聴判定手段と、前記視聴判定手段が前記ハイライト映像を視聴済みでないと判定した場合に、サムネイル映像として前記プレビュー映像を選択する選択手段と、前記選択手段が選択したサムネイル映像を表示する表示制御手段と、を備えたことを特徴とする。
【００１５】
また、本発明は、映像を特徴づける映像の部分であるハイライトシーンから前記映像の内容に関する重要情報を含む部分を削除した制限ハイライトシーンを含むプレビュー映像を記憶する映像記憶手段と、前記映像の再生を制御する再生制御手段と、前記再生制御手段が再生した前記映像から、前記ハイライトシーンを検出するハイライトシーン検出手段と、検出したハイライトシーンを含むハイライト映像を生成するハイライト映像生成手段と、ハイライト映像が生成されていない場合に、サムネイル映像として前記プレビュー映像を選択する選択手段と、前記選択手段が選択したサムネイル映像を表示する表示制御手段と、を備えたことを特徴とする。
【００１６】
また、本発明は、上記装置を実行することができる情報処理方法および情報処理プログラムである。
【発明の効果】
【００１７】
本発明によれば、映像を特定しやすくなるように選択されたハイライト映像と、映像の視聴の意義を損なわないように選択されたプレビュー映像とを生成することができる。これにより、視聴済みか否かなどに応じてハイライト映像またはプレビュー映像をサムネイルとして選択することが可能となるため、映像を視聴するユーザに対して適切なサムネイルを提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１８】
以下に添付図面を参照して、この発明にかかる情報処理装置、情報処理方法および情報処理プログラムの最良な実施の形態を詳細に説明する。
【００１９】
（第１の実施の形態）
第１の実施の形態にかかる情報処理装置は、取得した映像情報から検出したハイライトシーンを含むハイライト映像だけでなく、映像情報の重要部分を除いた部分であるプレビュー映像を生成し、視聴済みか否かを表す視聴履歴を参照して、未視聴の場合にプレビュー映像をサムネイルとしてユーザに提示し、視聴済みの場合にハイライトシーンを含むハイライト映像をサムネイルとしてユーザに提示するものである。
【００２０】
このように、第１の実施の形態では、映像情報を記憶手段に記録し、記録した映像情報を再生可能な映像録画再生装置として実現した例について説明する。
【００２１】
なお、ハイライトシーンとは、映像を特徴づける映像の部分をいう。また、ハイライト映像とは、ハイライトシーンを含む映像をいい、複数のハイライトシーンを結合した映像、ハイライトシーンに対して縮小拡大などの画像処理を加えた映像などが該当する。
【００２２】
また、プレビュー映像とは、ハイライトシーンから、映像の重要部分に関する予め定められた重要情報を含む部分または領域を削除した部分（以下、制限ハイライトシーンという。）を含む映像をいう。
【００２３】
なお、以下では、映像の重要部分に関する予め定められた重要情報を含む部分を特定シーンといい、映像の重要部分に関する予め定められた重要情報を含む領域を特定領域という。
【００２４】
図１は、第１の実施の形態にかかる映像録画再生装置１００の構成を示すブロック図である。同図に示すように、映像録画再生装置１００は、映像取得部１０１と、ハイライトシーン検出部１０２と、特定シーン検出部１０３と、特定領域検出部１０４と、ハイライト映像生成部１０５と、プレビュー映像生成部１０６と、再生制御部１０７と、視聴判定部１０８と、表示制御部１０９と、映像選択部１１０と、映像情報記憶部１２１と、視聴履歴記憶部１２２と、ハイライト映像記憶部１２３と、プレビュー映像記憶部１２４と、を備えている。
【００２５】
映像情報記憶部１２１は、視聴する映像に関する映像関連情報を記憶する記憶媒体である。図２は、映像情報記憶部１２１に記憶される映像関連情報のデータ構造の一例を示す説明図である。同図に示すように、映像情報記憶部１２１は、映像情報を一意に識別する映像ＩＤと、映像情報のタイトルと、映像情報のデータそのものとを対応づけた映像関連情報を格納している。なお、映像情報とともに入力された音声、メタデータなどの関連情報は、映像情報とともに映像情報記憶部１２１に記憶される。
【００２６】
視聴履歴記憶部１２２は、再生制御部１０７によって制御された再生の履歴を視聴履歴として記憶する記憶媒体である。図３は、視聴履歴記憶部１２２に記憶される視聴履歴のデータ構造の一例を示す説明図である。
【００２７】
同図に示すように、視聴履歴記憶部１２２は、映像ＩＤと、時刻と、フレーム番号と、視聴フラグとを対応づけた視聴履歴を格納している。視聴フラグは、未視聴の場合に０が設定されており、視聴した場合に再生制御部１０７により１が設定される。
【００２８】
なお、フレームとは、映像を構成する単位となる静止画像をいう。例えば、１秒間に３０フレームの画像を連続的に表示することで動画像の表示が実現される。フレーム番号とは、例えば３０フレームの中の何フレーム目かを表す番号をいう。ここでは、時刻の単位より細かい位置や区間を表すものとしてフレーム番号を使用しているが、例えば、フレーム番号の代わりにミリ秒単位の時刻等によって細かい位置や区間を表すように構成してもよい。
【００２９】
なお、簡単な方法として、映像情報が単に再生された場合またはある一定時間以上再生された場合等に映像情報全体に対する視聴フラグを１に設定し、視聴フラグが１に設定された映像情報に含まれるシーンはすべて視聴済みであると判定するように構成してもよい。また、利用者１名ごとに異なるリモコンを用いる等により、利用者を識別して視聴履歴を管理し、視聴判定するように構成してもよい。
【００３０】
また、視聴履歴は、対象映像情報についての限定再生や視聴時の課金の制御、視聴済みを削除する処理などを制御する削除制御、視聴調査や集計、視聴傾向に基づく番組推薦処理などに利用することもできる。
【００３１】
ハイライト映像記憶部１２３は、後述するハイライト映像生成部１０５が生成したハイライト映像を格納する記憶媒体である。図４は、ハイライト映像記憶部１２３に記憶されるハイライト映像のデータ構造の一例を示す説明図である。
【００３２】
同図に示すように、ハイライト映像記憶部１２３は、映像ＩＤと、ハイライト映像のデータそのものとを対応づけて格納している。また、同図では、生成したハイライト映像のデータそのものを記憶する例について説明したが、映像中の時刻、フレーム番号の範囲などの区間の情報によりハイライト映像を記憶するように構成してもよい。また、１つの映像ＩＤに対して、ハイライト映像に含まれる複数のハイライトシーンの区間の情報や、複数のハイライト映像のデータを記憶するように構成してもよい。
【００３３】
プレビュー映像記憶部１２４は、後述するプレビュー映像生成部１０６が生成したプレビュー映像を格納する記憶媒体である。図５は、プレビュー映像記憶部１２４に記憶されるプレビュー映像のデータ構造の一例を示す説明図である。
【００３４】
同図に示すように、プレビュー映像記憶部１２４は、映像ＩＤと、プレビュー映像のデータそのものとを対応づけて格納している。ハイライト映像記憶部１２３と同様に、プレビュー映像記憶部１２４は、映像中の区間の情報によりプレビュー映像を記憶するように構成してもよい。また、１つの映像ＩＤに対して、プレビュー映像に含まれる複数の制限ハイライトシーンの区間の情報を記憶するように構成してもよい。
【００３５】
なお、映像情報記憶部１２１、ハイライト映像記憶部１２３、およびプレビュー映像記憶部１２４は、ＨＤＤ（Hard Disk Drive）、半導体メモリ、フラッシュメモリ、ＤＶＤ等のあらゆる記憶媒体を用いることができる。また、各記憶部は、取り外し可能であっても固定式であってもよい。さらに、ネットワーク経由で読み書きを行うＮＡＳ（Network Attached Storage）やＤＬＮＡ（Digital Living Network Alliance）ガイドラインに準拠した機器等で構成してもよい。
【００３６】
映像取得部１０１は、デジタル放送等を受信する受信チューナー（図示せず）、その他のデジタル映像機器（図示せず）から入力されるデジタルの映像情報を取得するものである。また、映像取得部１０１は、アナログ放送等を受信する放送受信チューナー（図示せず）、その他のアナログ映像機器（図示せず）から入力されるアナログ映像信号を取得し、デジタルの映像情報に変換するように構成してもよい。
【００３７】
映像取得部１０１は、取得したデジタルの映像情報を映像情報記憶部１２１に記録するとともに、ハイライトシーンおよび特定シーンの検出のため、映像情報をハイライトシーン検出部１０２および特定シーン検出部１０３に送信する。
【００３８】
なお、映像取得部１０１は、事前に映像情報記憶部１２１に記憶された映像情報を取得し、取得した映像情報をハイライトシーン検出部１０２および特定シーン検出部１０３に送信するように構成してもよい。
【００３９】
ハイライトシーン検出部１０２は、取得された映像情報からハイライトシーンを検出するものである。なお、ハイライトシーン検出部１０２は、当該区間の開始時刻、開始時刻における開始フレーム番号、当該区間の終了時刻、終了時刻における終了フレーム番号を特定することにより、ハイライトシーンを検出する。
【００４０】
具体的には、ハイライトシーン検出部１０２は、取得された映像情報の各部分についてハイライトとなる度合いを表す評価値を求め、評価値が予め定められた閾値を超えるシーンをハイライトシーンとして検出する。
【００４１】
例えば、ハイライトシーン検出部１０２は、スポーツにおける歓声や拍手の大きさに基づいてハイライトとなる度合いを求める場合、映像とともに入力された、映像に対応する音声の大きさ（音声レベル）を評価値とすることができる。なお、ハイライトシーンを検出するための評価値は音声レベルに限られるものではなく、音声の高さ（ピッチ）を含む音声の属性に関する評価値を用いるように構成してもよい。また、音声の周波数スペクトルを分析して、予め作成された歓声のスペクトルパターンと照合し、類似度を評価値とするように構成してもよい。
【００４２】
また、ハイライトシーン検出部１０２は、映像情報を画像解析することによってハイライトシーンを検出するように構成してもよい。例えば、ＭＰＥＧの動きベクトル等を参照して動作量を評価値とし、評価値が大きいシーンをハイライトシーンとして検出する方法、予め定められた動作と照合して類似する度合いを評価値とし、類似する動作が存在するシーンをハイライトシーンとして検出する方法を用いることができる。
【００４３】
また、ハイライトシーン検出部１０２は、所定の大きさの所定のテロップが表示される時間間隔を評価値とし、評価値が大きいシーンをハイライトシーンとして検出してもよい。
【００４４】
また、ハイライトシーン検出部１０２は、映像に含まれる文字を文字認識技術により認識し、予め定められた文字列と照合して類似する度合いを評価値としてハイライトシーンを検出してもよい。例えば、「ゴール」などのスポーツの得点シーンを表す文字列と照合し、一致または類似する文字列が存在するシーンをハイライトシーンとすることができる。
【００４５】
また、ハイライトシーン検出部１０２は、映像とともに入力され、映像に関連付けられたメタデータを参照してハイライトシーンを検出するように構成してもよい。例えば、「シュート」などのスポーツのハイライトとなるイベントの情報を抽出し、その前後のシーンをハイライトシーンとすることができる。
【００４６】
また、ハイライトシーン検出部１０２は、映像に含まれるシーン相互間の照合または特殊効果やテロップ等の検出や照合によりリプレイ映像であることを検出し、検出したリプレイ映像を含むシーンをハイライトシーンとして検出するように構成してもよい。また、ハイライトシーン検出部１０２は、リプレイ映像が繰り返される回数を評価値とし、評価値が大きいシーンをハイライトシーンとして検出するように構成してもよい。
【００４７】
特定シーン検出部１０３は、取得された映像情報から、映像の重要部分に関する予め定められた重要情報を含む映像の部分である特定シーンを検出するものである。具体的には、特定シーン検出部１０３は、映像に含まれるテロップ、映像とともに入力されたクローズドキャプション、メタデータなどの文字情報を、予め定められた重要部分を表す文字列と照合することにより特定シーンを検出する。例えば、スポーツやゲームにおける得点シーン、攻守が交替するシーン、順位が交替するシーン、試合終了のシーンまたは関連シーンを重要情報として扱い、これらを特定シーンとして検出する。また、得点や順位の情報、時刻や、野球におけるイニング、テニスにおけるセット等の試合進行状況を重要情報として扱い、これらの情報が映像中に表示されているシーンを特定シーンとして検出する。
【００４８】
また、特定シーン検出部１０３は、映像とともに入力された音声を音声認識し、音声認識結果である文字情報を、予め定められた重要部分を表す文字列と照合することにより特定シーンを検出するように構成してもよい。また、当該文字列を与えて音声認識し、映像とともに入力された音声と照合することにより特定シーンを検出するように構成してもよい。また、予め定められた時刻以降を特定シーンとして検出するように構成してもよい。例えば、試合終了の時刻が含まれる時刻を予め定め、当該時刻以降を特定シーンとして検出するように構成することができる。
【００４９】
また、特定シーン検出部１０３は、ハイライトシーン検出部１０２と同様に、映像とともに入力された音声の属性に関する評価値を用いるように構成してもよい。この場合は、例えば、音声レベルの変化や音声レベルの持続時間などのようにハイライトシーンの検出と異なる評価値により特定シーンを検出する。例えば、歓声の急激な立下がりが存在するシーン以降を特定シーンとして検出することができる。また、例えば、歓声のピークの持続時間が所定の閾値を超えた場合、持続した区間を特定シーンとして検出することができる。
【００５０】
また、特定シーン検出部１０３は、音声多重モードなどを考慮したＣＭ区間判定に基づいて、ＣＭが始まる前の一定時間を特定シーンとして検出するように構成してもよい。また、映像において繰り返し現れる典型的な構図、例えば野球における投球シーンを判定し、ＣＭ直前の投球シーン以降を特定シーンとして検出するように構成してもよい。また、映像とともに入力されたメタデータや番組連動データ放送における打者の情報に基づいて、ＣＭ直前の打者のシーン全体を特定シーンとして検出するように構成してもよい。また、投球シーンの時間間隔が所定の閾値を超えた場合に、その直前の投球シーン以降またはその直前の打者のシーン全体を特定シーンとして検出するように構成してもよい。
【００５１】
なお、特定シーン検出部１０３は、取得された映像情報全体からではなく、ハイライトシーン検出部１０２が検出したハイライトシーンから、映像の重要部分に関する予め定められた重要情報を含む映像の部分である特定シーンを検出するように構成してもよい。
【００５２】
特定領域検出部１０４は、取得された映像情報に含まれる各画像から、映像の重要部分に関する予め定められた重要情報を含む領域である特定領域を検出するものである。具体的には、特定領域検出部１０４は、時刻、経過時間、得点経過等の重要な情報を含むテロップの表示されている領域などを特定領域として検出する。特定領域検出部１０４は、予め定められた画像との照合により映像から動的に特定領域を検出するように構成してもよいし、予め画面の上方・下方等の固定領域を特定領域として検出するように構成してもよい。また、テロップ検出により、長時間または繰り返し同一の箇所にテロップが表示されている領域を特定領域として検出するように構成してもよい。
【００５３】
なお、特定領域検出部１０４は、取得された映像情報全体からではなく、ハイライトシーン検出部１０２が検出したハイライトシーンから、映像の重要部分に関する予め定められた重要情報を含む領域である特定領域を検出するように構成してもよい。
【００５４】
ハイライト映像生成部１０５は、ハイライトシーン検出部１０２が検出したハイライトシーンを参照し、ハイライトシーンを含むハイライト映像を生成するものである。具体的には、ハイライト映像生成部１０５は、検出されたハイライトシーンを時系列順に結合してハイライト映像を生成する。
【００５５】
なお、ハイライトシーンの結合順序は時系列順に限られず、評価値を考慮し、例えば評価値の大きい順に結合するように構成してもよい。また、ハイライト映像は動画像に限られるものではなく、静止画像や、任意の静止画像を抽出して結合した静止画像を含むスライドショー形式の画像をハイライト映像としてもよい。また、ハイライト映像には、音声を対応づけずに出力するように構成してもよい。さらに、ハイライト映像生成部１０５は、映像情報の縮小処理を実行し、縮小した静止画像、または縮小した動画像をハイライト映像とするように構成してもよい。
【００５６】
プレビュー映像生成部１０６は、ハイライトシーンから特定シーン検出部１０３が検出した特定シーンを削除したシーンである制限ハイライトシーンを生成するものである。また、プレビュー映像生成部１０６は、生成した制限ハイライトシーンから、特定領域検出部１０４が検出した特定領域を削除し、特定領域を削除した制限ハイライトシーンを含むプレビュー映像を生成するものである。
【００５７】
具体的には、プレビュー映像生成部１０６は、特定領域を削除した制限ハイライトシーンを時系列順に結合してプレビュー映像を生成する。なお、制限ハイライトシーンの結合順序は時系列順に限られず、評価値を考慮し、例えば評価値の大きい順に結合するように構成してもよい。
【００５８】
特定領域を削除する際、プレビュー映像生成部１０６は、単色パターン、無意味パターン、または無関係の画像で特定領域を置き換える。また、プレビュー映像生成部１０６は特定領域にモザイク、ぼかし等の画像処理を施して、視覚的に内容の識別を困難に加工し、特定領域の削除と同等の効果にするように構成してもよい。さらに、プレビュー映像生成部１０６は、特定領域を含まない範囲を切り出し、元の画像の大きさに拡大したプレビュー映像を生成してもよい。
【００５９】
プレビュー映像生成部１０６は、ハイライト映像生成部１０５と同様に、映像情報の縮小処理を実行し、縮小した静止画像、または縮小した動画像をプレビュー映像とするように構成してもよい。
【００６０】
プレビュー映像に音響情報を対応づける場合には、プレビュー映像生成部１０６は、人間の発話した音声を対応づける音声から除外する処理を行う。アナウンサ等の発話した音声のように、重要な情報が多数含まれる可能性が高い音声を除外するためである。例えば、プレビュー映像生成部１０６は、ステレオ信号におけるセンター音をキャンセルする等の信号処理を行った音声を利用することができる。
【００６１】
また、プレビュー映像生成部１０６は、対応づける音声から人の声が存在する区間を検出し、検出した区間の音声を消去するように構成してもよい。プレビュー映像生成部１０６は、人の声が存在する区間を検出する際には、声帯音源が声道で共鳴して生じる調波構造を検出する方法など、従来から用いられているあらゆる方法を適用することができる。
【００６２】
また、プレビュー映像生成部１０６は、人の声が存在しない音声チャンネル（例えば副音声）のみを対応づけるように構成してもよいし、本来の音声を削除して無関係の音声で置き換えるように構成してもよい。プレビュー映像に音響情報を対応づけないように構成してもよい。
【００６３】
上記説明では、プレビュー映像生成部１０６は、ハイライトシーンから特定シーンおよび特定領域を共に削除して制限ハイライトシーンを生成していたが、特定シーンまたは特定領域のいずれか一方のみを削除するように構成してもよい。この場合は、映像録画再生装置１００に、特定シーン検出部１０３または特定領域検出部１０４のいずれか一方のみを備えるように構成してもよい。
【００６４】
また、プレビュー映像生成部１０６は、特定シーンまたは特定領域のいずれも利用せずに、映像情報の時間に関する条件でプレビュー映像を生成するように構成してもよい。
【００６５】
この場合、プレビュー映像生成部１０６は、取得された映像情報の先頭から所定時間長の区間を選択し、プレビュー映像情報として作成する。音声多重情報等を利用してＣＭと本編を分割できる場合は、本編先頭からの映像をプレビュー映像としてもよい。また、それに代えて本編先頭付近に相当する可能性の高い時刻（例えば先頭から３０秒、先頭から４分等）からの映像をプレビュー映像としてもよい。これらの時間条件では、映像に重要部分が含まれる可能性が低いためである。また、区間の終端を決めずに、ユーザが映像情報を選択して再生、編集、削除、その他の処理を行うまで連続してプレビュー映像を再生するように構成してもよい。
【００６６】
このような場合であっても、ハイライトシーンから重要部分を削除したものと同等のプレビュー映像を生成することができるため、ハイライト映像と、映像の視聴の意義を損なわないように選択されたプレビュー映像とを生成することが可能となる。
【００６７】
再生制御部１０７は、ユーザの操作等に応じて、映像情報記憶部１２１に記録された映像情報を読み出して再生する処理の制御を行うものである。再生制御部１０７が再生を制御することにより、表示装置（図示せず）に再生された映像が表示される。なお、再生制御部１０７は、従来から用いられている一般的な方法により映像情報の復号等の処理や映像信号の出力処理を行う。
【００６８】
再生制御部１０７は、映像を再生した場合、視聴履歴記憶部１２２の対応する映像情報の視聴フラグを１に更新する。なお、再生制御部１０７は、ハイライト映像情報に含まれるハイライト区間（複数区間からなる場合はそれぞれ）のフレーム情報を参照して、ハイライト映像に関連する再生区間のみを視聴履歴として記録するように構成してもよい。
【００６９】
また、再生制御部１０７は、単に再生したか否かで視聴有無を判定するのではなく、ユーザの視聴行動を検証し、再生時に視聴が検証された場合に視聴履歴として記録するように構成してもよい。例えば、撮像装置（図示せず）により表示された映像を視聴している人物や顔を撮影し、顔の検出または顔の表情の認識などにより、視聴の有無を検証することができる。また、視聴中にユーザがリモコン等により所定の操作を行った場合に視聴したと判定する方法を適用してもよい。
【００７０】
視聴判定部１０８は、視聴履歴記憶部１２２において記録された視聴履歴を参照して、ハイライト映像情報に含まれるハイライト区間が視聴されたか否かを判定するものである。具体的には、視聴判定部１０８は、ハイライト区間に対応した時刻およびフレーム番号の視聴フラグを取得し、視聴フラグが１の場合に視聴されたと判定する。
【００７１】
なお、再生された区間の時刻情報により視聴履歴記憶部１２２に視聴履歴が記録されている場合は、ハイライト区間の時刻情報と視聴履歴の時刻情報とを照合し、ハイライト区間に対応する時刻情報が視聴履歴記憶部１２２に記憶されている場合に、視聴されたと判定する。
【００７２】
表示制御部１０９は、再生、編集、削除、その他の操作の対象とする映像情報を選択するためのユーザからの操作に応じて、映像情報記憶部１２１に記録されている中から一覧表示対象とする映像情報を選択して表示するものである。また、表示制御部１０９は、後述する映像選択部１１０により選択された代表映像（サムネイル）の情報を取得し、表示するためのサムネイルを作成する。また、作成したサムネイルを適宜配置した一覧表示画面を表示装置に表示する。
【００７３】
なお、表示制御部１０９は、ハイライト映像またはプレビュー映像に、予め定められた第３の映像を結合して表示するように構成してもよい。第３の映像は、ハイライト映像やプレビュー映像とは別に、例えばオープニングやタイトル画面が含まれるように抽出した映像である。第３の映像の情報を予め記憶媒体（図示せず）に記録するように構成してもよい。
【００７４】
また、表示制御部１０９は、ハイライト映像またはプレビュー映像から静止画像を抽出し、第３の映像から抽出した静止画と組み合わせて、表示するためのサムネイルを作成するように構成してもよい。
【００７５】
映像選択部１１０は、表示制御部１０９において選択された映像情報について、視聴判定部１０８の判定に従って、判定結果が未視聴の場合にはプレビュー映像を、視聴済みの場合にはハイライト映像をそれぞれ選択するものである。
【００７６】
映像選択部１１０は、ハイライト映像が複数区間からなる場合、視聴済みのハイライト映像区間をすべて結合してサムネイルとして選択する。なお、映像選択部１１０は、複数の区間の少なくとも１つが視聴済みであると判定した場合に、ハイライト映像の全区間をサムネイルとして選択するように構成してもよい。また、映像選択部１１０は、複数の区間のうち視聴済みの区間のみを結合することにより、未視聴の区間を含まないハイライト映像を生成し、生成した映像をサムネイルとして選択するように構成してもよい。また、映像選択部１１０は、複数の区間のうち視聴済みの区間とプレビュー映像とを結合した映像を生成し、生成した映像をサムネイルとして選択するように構成してもよい。
【００７７】
さらに、映像選択部１１０は、例えば、最後の区間、最後に視聴した区間、最長の区間などのように、時刻情報に基づいて予め定められた方法で選択した区間をハイライト映像とするように構成してもよい。また、時刻情報や評価値などを総合した尺度である優先度を基準とし、より盛り上がったハイライトシーンなどのように優先度が高いシーンを優先して１または複数の区間を選択するように構成してもよい。
【００７８】
また、映像選択部１１０は、ユーザが指示したサムネイルの情報を選択するようにしてもよい。すなわち、一覧表示前にユーザに対してハイライト映像またはプレビュー映像のいずれを表示するか指定させ、ユーザの指定に応じてハイライト映像またはプレビュー映像を選択するように構成することができる。また、このようなユーザの指定が入力されない場合に上記判定に従って選択するように構成してもよい。
【００７９】
次に、このように構成された第１の実施の形態にかかる映像録画再生装置１００による映像生成処理について説明する。図６は、第１の実施の形態における映像生成処理の全体の流れを示すフローチャートである。
【００８０】
まず、映像取得部１０１が入力された映像情報を取得する（ステップＳ６０１）。次に、ハイライトシーン検出部１０２が、映像情報からハイライトシーンを検出する（ステップＳ６０２）。具体的には、ハイライトシーン検出部１０２は、映像情報に対応づけられた音声の大きさ（音声レベル）などの音声の属性、所定の文字列（「ゴール」など）との照合結果などを評価値とし、評価値が所定の閾値より大きいシーンをハイライトシーンとして検出する。
【００８１】
次に、ハイライト映像生成部１０５は、ハイライトシーン検出部１０２が検出したハイライトシーンを含むハイライト映像を生成する（ステップＳ６０３）。続いて、ハイライト映像生成部１０５は、生成したハイライト映像をハイライト映像記憶部１２３に保存する（ステップＳ６０４）。
【００８２】
このように、本実施の形態にかかる映像録画再生装置１００によれば、音声の属性などを評価値として映像を特徴づけるハイライトシーンを検出し、検出したハイライトシーンを含むことにより映像を特定しやすくなるように選択されたハイライト映像を生成することができる。
【００８３】
次に、特定シーン検出部１０３は、映像情報から特定シーンを検出する（ステップＳ６０５）。具体的には、特定シーン検出部１０３は、映像に含まれるテロップ、映像とともに入力されたメタデータなどの文字情報と所定の文字列との照合、または、映像とともに入力された音声を音声認識した結果である文字情報と所定の文字列との照合などを行い、一致または類似する文字列を含むシーンを特定シーンとして検出する。
【００８４】
次に、特定領域検出部１０４は、映像情報から特定領域を検出する（ステップＳ６０６）。具体的には、特定領域検出部１０４は、具体的には、特定領域検出部１０４は、時刻、経過時間、得点経過等が表示されている領域、または画面上部の固定領域などを特定領域として検出する。
【００８５】
次に、プレビュー映像生成部１０６は、ハイライトシーンから特定シーンを削除したシーンである制限ハイライトシーンを生成する（ステップＳ６０７）。続いて、プレビュー映像生成部１０６は、制限ハイライトシーンから特定領域を削除し、制限ハイライトシーンを含むプレビュー映像を生成する（ステップＳ６０８）。
【００８６】
次に、プレビュー映像生成部１０６は、生成したプレビュー映像をプレビュー映像記憶部１２４に保存し（ステップＳ６０９）、映像生成処理を終了する。
【００８７】
このように、本実施の形態にかかる映像録画再生装置１００によれば、映像を特定しやすくなるように選択されたハイライト映像だけでなく、ハイライト映像から重要部分を含むシーンを削除した映像であるプレビュー映像を生成することができる。
【００８８】
これにより、映像視聴前には、対象となる映像の視聴の意義を損なわないように選択された重要情報を想起させるプロモーション映像をプレビュー映像として提示することが可能となる。また、映像視聴後には、印象的なイベントを中心として対象となる映像を特定しやすくするように選択されたハイライト映像によって、視聴または削除等の操作の対象となる映像を提示可能となる。
【００８９】
次に、このように構成された第１の実施の形態にかかる映像録画再生装置１００による映像情報表示処理について説明する。図７は、第１の実施の形態における映像情報表示処理の全体の流れを示すフローチャートである。
【００９０】
まず、表示制御部１０９が、ユーザによる映像情報の一覧表示の要求を受付ける（ステップＳ７０１）。次に、視聴判定部１０８が、各映像情報について、ハイライト映像の視聴有無を判定する（ステップＳ７０２）。
【００９１】
次に、映像選択部１１０が、各映像情報について、ハイライト映像が視聴済みか否かを判断し（ステップＳ７０３）、視聴済みの場合は（ステップＳ７０３：ＹＥＳ）、サムネイルとしてハイライト映像を選択する（ステップＳ７０４）。
【００９２】
視聴済みでない場合は（ステップＳ７０３：ＮＯ）、映像選択部１１０は、サムネイルとしてプレビュー映像を選択する（ステップＳ７０５）。
【００９３】
次に、表示制御部１０９は、選択されたサムネイルを、映像情報のサムネイルを一覧表示する一覧表示画面（図示せず）に表示する（ステップＳ７０６）。次に、表示制御部１０９は、すべての映像情報を処理したか否かを判断し（ステップＳ７０７）、すべての映像情報を処理していない場合は（ステップＳ７０７：ＮＯ）、次に映像情報に対して処理を繰り返す（ステップＳ７０３）。
【００９４】
すべての映像情報を処理した場合は（ステップＳ７０７：ＹＥＳ）、映像情報表示処理を終了する。
【００９５】
次に、本実施の形態にかかる映像録画再生装置１００による映像生成処理の具体例について説明する。図８は、ハイライトシーン検出処理の例を示す模式図である。
【００９６】
同図に示す映像情報は、サッカーの試合をおさめた２時間の映像情報であり、上段は歓声の大きさ（音声レベル）を評価値としてグラフに表したものである。縦軸は評価値の大きさ、横軸は映像情報中の時刻を表しており、左端が映像の開始（時刻０：００：００．００）、右端が映像の終了（時刻２：００：００．００）を表している。
【００９７】
同図では、歓声の大きさが閾値を超えた部分として、計３箇所の盛り上がり部分が示されている。左から、「チャンス…シュート！…ゴールならず」に対応する盛り上がり部分１、「ゴール！」に対応する盛り上がり部分２、「試合終了」に対応する盛り上がり部分３とする。なお、各箇所に対応して表示された吹き出しの文は、場面を説明するためのものであり、必ずしも実況アナウンサ等の音声を表しているものではない。
【００９８】
ハイライトシーン検出部１０２は、盛り上がり部分１に対応したハイライトシーン８０１と、盛り上がり部分２に対応したハイライトシーン８０２と、盛り上がり部分３に対応したハイライトシーン８０３と、を検出する。
【００９９】
図９は、特定シーンおよび特定領域が検出されたシーンの例を示す模式図である。図８と同様に横軸は映像情報中の時刻を表している。特定シーン検出部１０３は、例えば、歓声の急激な立下りや歓声のピークの持続を判定して重要イベントを抽出するとともに、重要イベント後のシーンを特定シーンとして検出する。同図では、重要イベント後の盛り上がり部分９２１、９２２、９２３を検出した例が示されている。
【０１００】
なお、同図では、ハイライトシーンから特定シーンを除いた制限ハイライトシーンを、重要イベント前の盛り上がり部分９０１、９０２、９０３として表している。
【０１０１】
また、同図では、特定領域検出部１０４が、得点テロップが表示されている特定領域を、得点テロップ表示９１１、９１２、９１３として時間帯とともに検出している例が示されている。
【０１０２】
具体的には、盛り上がり部分１は、歓声の急激な立下りにより「重要イベント後」とそれ以前の「重要イベント前」に分けられている。「重要イベント前」には得点テロップの表示されている時間帯が存在する。
【０１０３】
また、盛り上がり部分２は、歓声のピークが持続することにより「重要イベント後」とそれ以前の「重要イベント前」に分けられている。「重要イベント前」には得点テロップが表示されている時間帯が存在する。
【０１０４】
そして、盛り上がり部分３は、歓声の急激な立下りにより「重要イベント後」とそれ以前の「重要イベント前」に分けられている。盛り上がり部分３では、「重要イベント前」の全区間に得点テロップや試合時間等が表示されている。
【０１０５】
図１０は、生成されるプレビュー映像の一例を示す模式図である。同図では、制限ハイライトシーンから、得点テロップが表示されていないシーンをさらに検出してプレビュー映像として生成する例が示されている。
【０１０６】
例えば、重要イベント前の盛り上がり部分９０１、９０２から、それぞれ得点テロップが表示されている区間を表す得点テロップ表示９１１、９１２を除いた区間であるシーン１００１、１００２がプレビュー映像を構成するシーンとして検出されている。なお、重要イベント前の盛り上がり部分９０３は、全区間が得点テロップ表示９１３と重複しているため、プレビュー映像用のシーンは検出されない。
【０１０７】
図１１は、生成されるプレビュー映像の別の一例を示す模式図である。同図では、制限ハイライトシーンから、得点テロップが表示されている領域を切り取ったシーン１１０１、１１０２、１１０３をプレビュー映像として生成する例が示されている。
【０１０８】
図１２は、生成されるプレビュー映像のさらに別の一例を示す模式図である。同図では、制限ハイライトシーンのうち、得点テロップが表示されている領域にぼかし処理を加えたシーン１２０１、１２０２、１２０３をプレビュー映像として生成する例が示されている。
【０１０９】
図１３〜図１６は、プレビュー映像の表示例を示した説明図である。図１３は、検出された得点テロップ等を含まない矩形領域１３０１を切り出して拡大表示するプレビュー映像の例を表している。
【０１１０】
図１４は、検出された得点テロップ等を含まない矩形領域１４０１を切り出し、周囲を無意味画像１４０２で埋めて表示するプレビュー映像の例を表している。
【０１１１】
図１５は、検出された得点テロップ等が識別できないように、検出された特定領域１５０１にぼかし処理を行って表示するプレビュー映像の例を表している。
【０１１２】
図１６は、検出された得点テロップ等が識別できないように、検出された得点テロップ等を含まない矩形領域１６０１以外の領域１６０２にぼかし処理を行って表示するプレビュー映像の例を表している。
【０１１３】
このように、第１の実施の形態にかかる情報処理装置では、取得した映像情報から抽出したハイライトシーンを含むハイライト映像だけでなく、映像情報の重要部分を除いた部分であるプレビュー映像を生成し、記憶手段に記憶することができる。
【０１１４】
また、第１の実施の形態にかかる情報処理装置では、視聴履歴を参照し、未視聴の場合にプレビュー映像をサムネイルとしてユーザに提示し、視聴済みの場合にハイライトシーンを含むハイライト映像をサムネイルとしてユーザに提示することができる。
【０１１５】
このため、未視聴の映像に対して視聴価値を損なうことなく、視聴済みの場合に映像を特定しやすいサムネイルを提示することができるため、映像を視聴するユーザに対して適切なサムネイルを提供することが可能となる。
【０１１６】
また、第１の実施の形態では、視聴履歴を参照することにより、視聴したか否かの判定をコンテンツごとに適切に行うことが可能となる。すなわち、視聴済みか否かを、ハイライト映像部分の再生によって判断することが可能となり、また、判定基準がコンテンツごとに設定可能である。さらに、視聴済みか否かの情報は、判定以外の用途にも利用可能であるため、機器を経済的に構成することができる。
【０１１７】
（第２の実施の形態）
第２の実施の形態にかかる情報処理装置は、取得した映像からハイライトシーンを含むハイライト映像だけでなく、映像の重要部分を除いた部分であるプレビュー映像を生成し、記憶手段に記憶するものである。
【０１１８】
すなわち、第２の実施の形態では、第１の実施の形態にかかる映像録画再生装置の機能うち、映像情報の録画機能のみを有する映像録画装置として実現した例について説明する。
【０１１９】
図１７は、第２の実施の形態にかかる映像録画装置１７００の構成を示すブロック図である。同図に示すように、映像録画装置１７００は、映像取得部１０１と、ハイライトシーン検出部１０２と、特定シーン検出部１０３と、特定領域検出部１０４と、ハイライト映像生成部１０５と、プレビュー映像生成部１０６と、映像情報記憶部１２１と、ハイライト映像記憶部１２３と、プレビュー映像記憶部１２４と、を備えている。
【０１２０】
各構成の機能は、第１の実施の形態にかかる映像録画再生装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。また、第２の実施の形態にかかる映像生成処理の全体の流れは、第１の実施の形態の映像生成処理のフローチャートを表す図６と同様であるので、ここでの説明は省略する。
【０１２１】
すなわち、第２の実施の形態にかかる映像録画装置１７００は、第１の実施の形態にかかる映像録画再生装置１００のうち、ハイライト映像およびプレビュー映像を生成する処理である映像生成処理を実行する構成を備えた映像録画装置である。
【０１２２】
従って、第２の実施の形態にかかる情報処理装置では、取得した映像情報から抽出したハイライトシーンを含むハイライト映像だけでなく、映像情報の重要部分を除いた部分であるプレビュー映像を生成し、記憶手段に記憶することができる。このため、記憶した映像を利用することにより、未視聴の映像に対して視聴価値を損なうことなく、視聴済みの場合に映像を特定しやすいサムネイルを提示することができるため、映像を視聴するユーザに対して適切なサムネイルを提供することが可能となる。
【０１２３】
（第３の実施の形態）
第３の実施の形態にかかる情報処理装置は、視聴済みか否かを表す視聴履歴を参照して、未視聴の場合に映像情報の重要部分を除いた部分であるプレビュー映像をサムネイルとしてユーザに提示し、視聴済みの場合にハイライトシーンを含むハイライト映像をサムネイルとしてユーザに提示するものである。
【０１２４】
すなわち、第３の実施の形態では、第１の実施の形態にかかる映像録画再生装置の機能うち、映像情報の再生機能のみを有する映像再生装置として実現した例について説明する。
【０１２５】
図１８は、第３の実施の形態にかかる映像再生装置１８００の構成を示すブロック図である。同図に示すように、映像再生装置１８００は、映像情報記憶部１２１と、視聴履歴記憶部１２２と、ハイライト映像記憶部１２３と、プレビュー映像記憶部１２４と、再生制御部１０７と、視聴判定部１０８と、表示制御部１０９と、映像選択部１１０と、を備えている。
【０１２６】
各構成の機能は、第１の実施の形態にかかる映像録画再生装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。また、第３の実施の形態にかかる映像情報表示処理の全体の流れは、第１の実施の形態の映像情報表示処理のフローチャートを表す図７と同様であるので、ここでの説明は省略する。
【０１２７】
すなわち、第３の実施の形態にかかる映像再生装置１８００は、第１の実施の形態にかかる映像録画再生装置１００のうち、視聴履歴を参照してハイライト映像またはプレビュー映像を選択して表示する処理である映像情報表示処理を実行する構成を備えた映像再生装置である。
【０１２８】
なお、本実施の形態では、ハイライト映像記憶部１２３およびプレビュー映像記憶部１２４には、それぞれハイライト映像およびプレビュー映像がそれぞれ事前に記憶されている。すなわち、例えば、映像情報、ハイライト映像、およびプレビュー映像などの各種情報を記録し、要求に応じて情報を提供する機能を備えた外部のサービス装置から、ネットワークを介して各種情報を取得し、映像情報記憶部１２１、ハイライト映像記憶部１２３、プレビュー映像記憶部１２４に予め記憶することを前提としている。
【０１２９】
このように、第３の実施の形態にかかる情報処理装置では、視聴履歴を参照し、未視聴の場合にプレビュー映像をサムネイルとしてユーザに提示し、視聴済みの場合にハイライトシーンを含むハイライト映像をサムネイルとしてユーザに提示することができる。このため、視聴状況に応じて適切なサムネイルをユーザに提供することが可能となる。
【０１３０】
（第４の実施の形態）
第１の実施の形態および第３の実施の形態では、視聴の有無に関わらずハイライト映像とプレビュー映像とを生成し、これらの映像の生成とは独立して記憶部に記憶された視聴履歴を参照して、視聴状況に応じたサムネイルを提示していた。
【０１３１】
これに対し、第４の実施の形態にかかる情報処理装置は、ユーザが映像を視聴した際にハイライト映像を生成し、視聴履歴を参照することなく、ハイライト映像の生成有無によって視聴済みか否かを判定するものである。
【０１３２】
図１９は、第４の実施の形態にかかる映像録画再生装置１９００の構成を示すブロック図である。同図に示すように、映像録画再生装置１９００は、映像取得部１０１と、ハイライトシーン検出部１９０２と、特定シーン検出部１０３と、特定領域検出部１０４と、ハイライト映像生成部１０５と、プレビュー映像生成部１０６と、再生制御部１９０７と、表示制御部１０９と、映像選択部１９１０と、映像情報記憶部１２１と、ハイライト映像記憶部１２３と、プレビュー映像記憶部１２４と、を備えている。
【０１３３】
第４の実施の形態は、視聴判定部１０８と視聴履歴記憶部１２２とを削除したこと、および、ハイライトシーン検出部１９０２と再生制御部１９０７と映像選択部１９１０の機能が第１の実施の形態と異なっている。その他の構成は、第１の実施の形態にかかる映像録画再生装置１００を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【０１３４】
ハイライトシーン検出部１９０２は、再生制御部１９０７によって再生された映像情報から、映像を特徴づける映像の部分であるハイライトシーンを検出するものである。ハイライトシーンの検出方法は、第１の実施の形態のハイライトシーン検出部１０２と同様である。
【０１３５】
再生制御部１９０７は、第１の実施の形態の再生制御部１０７と同様に、ユーザの操作等に応じて、映像情報記憶部１２１に記録された映像情報を読み出して再生する処理の制御を行うものである。しかし、第４の実施の形態の再生制御部１９０７は、第１の実施の形態の再生制御部１０７と異なり、映像を再生した場合であっても視聴履歴を記憶部に記憶する処理を実行しない。代わりに、再生した映像情報をハイライトシーン検出部１９０２に送信する。
【０１３６】
映像選択部１９１０は、表示制御部１０９において選択された映像情報について、ハイライト映像記憶部１２３にハイライト映像が記憶されているか否かを判定し、ハイライト映像が記憶されていない場合にはプレビュー映像を、記憶されている場合にはハイライト映像をそれぞれ選択するものである。
【０１３７】
次に、このように構成された第４の実施の形態にかかる映像録画再生装置１９００による映像生成処理について説明する。第４の実施の形態では、映像生成処理が、ハイライト映像を生成するハイライト映像生成処理、および、プレビュー映像を生成するプレビュー映像生成処理に分割される。
【０１３８】
図２０は、第４の実施の形態におけるハイライト映像生成処理の全体の流れを示すフローチャートである。
【０１３９】
まず、再生制御部１９０７が、ユーザから再生が要求された映像情報を再生する（ステップＳ２００１）。ステップＳ２００２からステップＳ２００４までは、第１の実施の形態における映像生成処理を表す図６のステップＳ６０２からステップＳ６０４までと同様の処理なので、その説明を省略する。
【０１４０】
すなわち、第１の実施の形態では映像取得部１０１が映像情報を取得した際にハイライト映像を生成していたのに対し、第４の実施の形態では、再生制御部１９０７によって映像情報が再生された際にハイライト映像を生成する点が、第１の実施の形態と異なっている。
【０１４１】
図２１は、第４の実施の形態におけるプレビュー映像生成処理の全体の流れを示すフローチャートである。
【０１４２】
まず、映像取得部１０１が入力された映像情報を取得する（ステップＳ２１０１）。この後のプレビュー映像生成処理自体は、第１の実施の形態と同様である。すなわち、ステップＳ２１０２からステップＳ２１０６までは、第１の実施の形態における映像生成処理を表す図６のステップＳ６０５からステップＳ６０９までと同様の処理なので、その説明を省略する。
【０１４３】
次に、このように構成された第４の実施の形態にかかる映像録画再生装置１９００による映像情報表示処理について説明する。図２２は、第４の実施の形態における映像情報表示処理の全体の流れを示すフローチャートである。
【０１４４】
まず、表示制御部１０９が、ユーザによる映像情報の一覧表示の要求を受付ける（ステップＳ２２０１）。
【０１４５】
次に、映像選択部１９１０が、各映像情報について、ハイライト映像がハイライト映像記憶部１２３に存在するか否かを判断し（ステップＳ２２０２）、存在する場合は（ステップＳ２２０２：ＹＥＳ）、サムネイルとしてハイライト映像を選択する（ステップＳ２２０３）。
【０１４６】
ハイライト映像がハイライト映像記憶部１２３に存在しない場合は（ステップＳ２２０２：ＮＯ）、映像選択部１９１０は、サムネイルとしてプレビュー映像を選択する（ステップＳ２２０４）。
【０１４７】
ステップＳ２２０５からステップＳ２２０６までは、第２の実施の形態における映像情報表示処理を表す図７のステップＳ７０６からステップＳ７０７までと同様の処理なので、その説明を省略する。
【０１４８】
このように、第４の実施の形態にかかる情報処理装置では、ユーザが映像を視聴した際にハイライト映像を生成し、ハイライト映像の生成有無によって視聴済みか否かを判定し、未視聴の場合にプレビュー映像をユーザに提示し、視聴済みの場合にハイライトシーンを含むハイライト映像をユーザに提示することができる。このため、視聴状況に応じて適切なサムネイルをユーザに提示することが可能となる。
【０１４９】
なお、第１〜第４の実施の形態にかかる情報処理装置は、映像情報をＨＤＤ、ＤＶＤなどに録画し再生を行うＨＤＤレコーダー、ＤＶＤレコーダーなどの、映像情報の録画機能または再生機能を有する装置に適用することができる。また、ＨＤＤとディスプレイ装置などを備えた通常のコンピュータに適用することができる。
【０１５０】
図２３は、第１〜第４の実施の形態にかかる情報処理装置のハードウェア構成を示す説明図である。
【０１５１】
第１〜第４の実施の形態にかかる情報処理装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【０１５２】
第１〜第４の実施の形態にかかる情報処理装置で実行される情報処理プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【０１５３】
第１〜第４の実施の形態にかかる情報処理装置で実行される情報処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１５４】
さらに、第１〜第４の実施の形態にかかる情報処理装置で実行される情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第４の実施の形態にかかる情報処理装置で実行される情報処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１５５】
第１〜第４の実施の形態にかかる情報処理装置で実行される情報処理プログラムは、上述した各部（映像取得部、ハイライトシーン検出部、特定シーン検出部、特定領域検出部、ハイライト映像生成部、プレビュー映像生成部、再生制御部、視聴判定部、表示制御部、映像選択部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２から情報処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【０１５６】
以上のように、本発明にかかる情報処理装置、情報処理方法および情報処理プログラムは、映像情報の一覧表示に用いるサムネイル画像を生成してユーザに提示する映像情報処理装置に適している。
【図面の簡単な説明】
【０１５７】
【図１】第１の実施の形態にかかる映像録画再生装置の構成を示すブロック図である。
【図２】映像情報記憶部に記憶される映像情報のデータ構造の一例を示す説明図である。
【図３】視聴履歴記憶部に記憶される視聴履歴のデータ構造の一例を示す説明図である。
【図４】ハイライト映像記憶部に記憶されるハイライト映像のデータ構造の一例を示す説明図である。
【図５】プレビュー映像記憶部に記憶されるプレビュー映像のデータ構造の一例を示す説明図である。
【図６】第１の実施の形態における映像生成処理の全体の流れを示すフローチャートである。
【図７】第１の実施の形態における映像情報表示処理の全体の流れを示すフローチャートである。
【図８】ハイライトシーン検出処理の例を示す模式図である。
【図９】特定シーンおよび特定領域が検出されたシーンの例を示す模式図である。
【図１０】生成されるプレビュー映像の一例を示す模式図である。
【図１１】生成されるプレビュー映像の別の一例を示す模式図である。
【図１２】生成されるプレビュー映像のさらに別の一例を示す模式図である。
【図１３】プレビュー映像の表示例を示した説明図である。
【図１４】プレビュー映像の表示例を示した説明図である。
【図１５】プレビュー映像の表示例を示した説明図である。
【図１６】プレビュー映像の表示例を示した説明図である。
【図１７】第２の実施の形態にかかる映像録画装置の構成を示すブロック図である。
【図１８】第３の実施の形態にかかる映像再生装置の構成を示すブロック図である。
【図１９】第４の実施の形態にかかる映像録画再生装置の構成を示すブロック図である。
【図２０】第４の実施の形態におけるハイライト映像生成処理の全体の流れを示すフローチャートである。
【図２１】第４の実施の形態におけるプレビュー映像生成処理の全体の流れを示すフローチャートである。
【図２２】第４の実施の形態における映像情報表示処理の全体の流れを示すフローチャートである。
【図２３】第１〜第４の実施の形態にかかる情報処理装置のハードウェア構成を示す説明図である。
【符号の説明】
【０１５８】
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５４  通信Ｉ／Ｆ
６１  バス
１００  映像録画再生装置
１０１  映像取得部
１０２  ハイライトシーン検出部
１０３  特定シーン検出部
１０４  特定領域検出部
１０５  ハイライト映像生成部
１０６  プレビュー映像生成部
１０７  再生制御部
１０８  視聴判定部
１０９  表示制御部
１１０  映像選択部
１２１  映像情報記憶部
１２２  視聴履歴記憶部
１２３  ハイライト映像記憶部
１２４  プレビュー映像記憶部
８０１、８０２、８０３  ハイライトシーン
９０１、９０２、９０３  盛り上がり部分
９１１、９１２，９１３  得点テロップ表示
９２１、９２２，９２３  盛り上がり部分
１００１、１００２  シーン
１１０１、１１０２、１１０３  シーン
１２０１、１２０２、１２０３  シーン
１３０１  矩形領域
１４０１  矩形領域
１４０２  無意味画像
１５０１  特定領域
１６０１  矩形領域
１６０２  領域
１７００  映像録画装置
１８００  映像再生装置
１９００  映像録画再生装置
１９０２  ハイライトシーン検出部
１９０７  再生制御部
１９１０  映像選択部
【図１】
2007336283.tif 000003
【図２】
2007336283.tif 000004
【図３】
2007336283.tif 000005
【図４】
2007336283.tif 000006
【図５】
2007336283.tif 000007
【図６】
2007336283.tif 000008
【図７】
2007336283.tif 000009
【図８】
2007336283.tif 000010
【図９】
2007336283.tif 000011
【図１０】
2007336283.tif 000012
【図１１】
2007336283.tif 000013
【図１２】
2007336283.tif 000014
【図１３】
2007336283.tif 000015
【図１４】
2007336283.tif 000016
【図１５】
2007336283.tif 000017
【図１６】
2007336283.tif 000018
【図１７】
2007336283.tif 000019
【図１８】
2007336283.tif 000020
【図１９】
2007336283.tif 000021
【図２０】
2007336283.tif 000022
【図２１】
2007336283.tif 000023
【図２２】
2007336283.tif 000024
【図２３】
2007336283.tif 000025