(57)【要約】【課題】映像データから効率的にダイジェストを再生可能な映像再生装置、映像再生方法及び映像再生プログラムを提供する。【解決手段】特徴量算出部２１は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する。重要度算出部２２は、映像データ、映像データの属性を示す属性情報を含む映像情報から、フレームの重要度を算出する。ダイジェスト区間決定部２３は、重要度算出部２２が算出した重要度が最も高い第１のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第１のフレームと、第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、第２のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定する。【選択図】図１
2012161019.tif 000002
【特許請求の範囲】
【請求項１】
映像データを構成する複数のフレームから、前記フレームの特徴を示す特徴量を算出する特徴量算出部と、
前記映像データ、前記映像データの属性を示す属性情報を含む映像情報から、前記フレームの重要度を算出する重要度算出部と、
前記重要度算出部が算出した重要度が最も高い第１のフレームを含むように、前記映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第１のフレームと、前記第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、前記第２のフレームを含む区間を、新たな前記ダイジェスト区間に決定するか否かを判定するダイジェスト区間決定部と、
前記ダイジェスト区間を再生する再生処理部と
を備えることを特徴とする映像再生装置。
【請求項２】
前記ダイジェスト区間決定部は、
前記特徴量算出部が算出した特徴量から、前記第１のフレームと前記第２のフレームとの類似度を算出し、前記属性情報から、前記第１のフレームと前記第２のフレームとの撮影日時の時間差を算出し、前記類似度と前記時間差とから、前記第１のフレームと前記第２のフレームとの前記相関度を算出することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
映像データを構成する複数のフレームから、前記フレームの特徴を示す特徴量を算出する特徴量算出ステップと、
前記映像データ、前記映像データの属性を示す属性情報を含む映像情報から、前記フレームの重要度を算出する重要度算出ステップと、
前記重要度が最も高い第１のフレームを含むように、前記映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第１のフレームと、前記第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、前記第２のフレームを含む区間を、新たな前記ダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップと、
前記ダイジェスト区間を再生するステップと
を含むことを特徴とする映像再生方法。
【請求項４】
前記ダイジェスト区間決定ステップにおいて、
前記特徴量から、前記第１のフレームと前記第２のフレームとの類似度を算出し、前記属性情報から、前記第１のフレームと前記第２のフレームとの撮影日時の時間差を算出し、前記類似度と前記時間差とから、前記第１のフレームと前記第２のフレームとの前記相関度を算出することを特徴とする請求項３に記載の映像再生方法。
【請求項５】
映像データを構成する複数のフレームから、前記フレームの特徴を示す特徴量を算出する特徴量算出ステップと、
前記映像データ、前記映像データの属性を示す属性情報を含む映像情報から、前記フレームの重要度を算出する重要度算出ステップと、
前記重要度が最も高い第１のフレームを含むように、前記映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、前記第１のフレームと、前記第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、前記第２のフレームを含む区間を、新たな前記ダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップと、
前記ダイジェスト区間を再生するステップと
を含む処理をコンピュータに実行させることを特徴とする映像再生プログラム。
【請求項６】
前記ダイジェスト区間決定ステップにおいて、
前記特徴量から、前記第１のフレームと前記第２のフレームとの類似度を算出し、前記属性情報から、前記第１のフレームと前記第２のフレームとの撮影日時の時間差を算出し、前記類似度と前記時間差とから、前記第１のフレームと前記第２のフレームとの前記相関度を算出することを特徴とする請求項５に記載の映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの要約映像を再生する映像再生装置、映像再生方法及び映像再生プログラムに関する。
【背景技術】
【０００２】
映像データをすべて再生することなく、映像データの内容の概略を簡単に把握するために、映像データ中の特定の区間を映像データのダイジェスト（要約映像）として再生する技術が提案されている。映像データからダイジェストとして再生される区間を決定する方法として、撮影時に記録される撮影装置への入力操作や、カメラワーク等の撮影装置の挙動に関する情報、また、撮影された映像の符号情報から得られる動きベクトルの情報等から、映像データのフレーム、所定の区間について、それらフレーム、区間がどの程度ダイジェストとして重要かを示す重要度を算出し、その重要度に基づいて、ダイジェスト区間を決定する方法が知られている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３２３０８５８号公報
【特許文献２】特許４０３９８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のダイジェスト区間決定方法では、重要度の算出に用いる要素を連続的に有する映像データにおいて、必然的に重要度が高い区間が連続的に発生し、それらの区間のみがダイジェスト区間として決定されてしまう。
【０００５】
一方で、個人が撮影装置を用いて映像を撮影するような場合、映像データは、子供の成長記録や旅先での風景等、様々な種類の映像が混在する映像データとなることが考えられる。この場合、例えば引用文献２に記載された発明のように、顔領域を検出することにより、顔領域が存在する区間から重要度を算出して再生区間を決定する方法では、子供の成長記録は、検出された顔領域から重要度が算出されダイジェスト区間として選択されるが、旅先での風景からは、顔領域が検出されず相対的に重要度が低くなりダイジェスト区間として選択されないことになる。
【０００６】
これら従来技術では、個人が撮影した映像のように、様々な種類の映像が混在した中から、映像の概略を把握するために効率的な区間を選択して、要約映像として再生することが困難であった。
【０００７】
本発明は、映像データから効率的にダイジェストを再生可能な映像再生装置、映像再生方法及び映像再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の態様は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する特徴量算出部（２１）と、映像データ、映像データの属性を示す属性情報を含む映像情報（３１）から、フレームの重要度を算出する重要度算出部（２２）と、重要度算出部（２２）が算出した重要度が最も高い第１のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、第１のフレームと、第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、第２のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定するダイジェスト区間決定部（２３）と、ダイジェスト区間を再生する再生処理部（２４）とを備える映像再生装置であることを要旨とする。
【０００９】
本発明の第２の態様は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する特徴量算出ステップ（Ｓ３）と、映像データ、映像データの属性を示す属性情報を含む映像情報から、フレームの重要度を算出する重要度算出ステップ（Ｓ４）と、重要度が最も高い第１のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、第１のフレームと、第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、第２のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップ（Ｓ５）と、ダイジェスト区間を再生するステップ（Ｓ６）とを含む映像再生方法であることを要旨とする。
【００１０】
本発明の第３の態様は、映像データを構成する複数のフレームから、フレームの特徴を示す特徴量を算出する特徴量算出ステップ（Ｓ３）と、映像データ、映像データの属性を示す属性情報を含む映像情報から、フレームの重要度を算出する重要度算出ステップ（Ｓ４）と、重要度が最も高い第１のフレームを含むように、映像データのダイジェストとして再生される区間であるダイジェスト区間を決定し、第１のフレームと、第１のフレームの次に重要度が高い第２のフレームとの関係性を示す相関度に基づいて、第２のフレームを含む区間を、新たなダイジェスト区間に決定するか否かを判定するダイジェスト区間決定ステップ（Ｓ５）と、ダイジェスト区間を再生するステップ（Ｓ６）とを含む処理を実行させる映像再生プログラムであることを要旨とする。
【発明の効果】
【００１１】
本発明によれば、映像データから、映像の概略を把握するのに効率的な区間をダイジェストとして再生できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る映像再生装置の基本的な構成を説明する模式的なブロック図である。
【図２】本発明の実施の形態に係る映像再生方法を説明するフローチャートである。
【図３】図３（ａ）は、本発明の実施の形態に係る映像再生装置に用いる映像情報の一例として、映像情報のディレクトリ構造を説明する図である。図３（ｂ）は、映像情報の他の例として、映像データファイルのデータ構造を説明する図である。
【図４】図４（ａ）は、本発明の実施の形態に係る映像再生装置の特徴量算出部が行う処理を説明するために、映像データのフレームを図示した一例である。図４（ｂ）は、図４（ａ）に示すフレームの領域ｄ１における輝度のヒストグラムを図示した一例である。
【図５】本発明の実施の形態に係る映像再生装置に用いる重要度算出ポリシーを説明する図である。
【図６】本発明の実施の形態に係る映像再生方法のうち、ダイジェスト区間決定部が行う処理を説明するフローチャートである。
【図７】図７（ａ）は、本発明の実施の形態に係る映像再生装置のダイジェスト区間決定部が行う処理を説明するために、映像データのフレームの重要度を図示した一例である。図７（ｂ）は、図７（ａ）本発明の実施の形態に係る映像再生装置に用いる重要度リストの一例である。図７（ｃ）は、図７（ｂ）に示す重要度リストの他の例である。
【図８】本発明の実施の形態に係る映像再生装置のダイジェスト区間決定部が行う処理を説明するために、映像データにおけるダイジェスト区間を図示した一例である。
【発明を実施するための形態】
【００１３】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法、及びこれらの装置に用いられるプログラムを例示するものであって、本発明の技術的思想は、下記の実施の形態に例示した装置や方法、及びこれらの装置に用いられるプログラムに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
【００１４】
本発明の実施の形態に係る映像再生装置１は、図１に示すように、映像再生装置１が行う種々の演算を処理する処理部２と、プログラムファイル、映像ファイル等の種々のデータを格納する記憶部３と、処理部２の信号の入出力を制御する入出力制御部４と、ユーザの操作に応じて出力する信号を、入出力制御部４を介して処理部２に入力する操作入力部５と、種々の映像等を表示する表示装置６とを備える。映像再生装置１は、ノイマン型コンピュータのハードウェア構成をなすことが可能である。
【００１５】
記憶部３は、映像の実データである映像データ、及び映像データの種々の属性を示す属性情報を含む映像情報３１を記憶する。また、記憶部３は、映像再生装置１が行う処理に必要な一連のプログラムを格納する他、処理に必要な一時記憶域等に用いることができる。
【００１６】
記憶部３は、ハードディスク（ＨＤ）等の磁気ディスク、磁気テープ、光ディスク、光磁気ディスク等の不揮発性の記憶媒体と、記憶媒体に応じた磁気ヘッドや光ピックアップ等、記憶媒体に情報を入出力するための情報入出力部とから構成される。記憶部３は、その他、ＲＡＭディスク、ＩＣカード、フラッシュメモリカード、ＵＳＢフラッシュメモリ、フラッシュディスク（ＳＳＤ）、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであっても良い。
【００１７】
操作入力部５は、映像データの再生開始、再生停止、早送り、巻き戻し等、映像再生装置１の基本的な操作が可能なボタンや、コンピュータ等で使用されるキーボード、マウス、数字キー、上下左右方向を指定する入力操作が可能な十字キー等、映像再生装置１の使用者が映像再生装置１の動作を指示するための入力装置から構成される。
【００１８】
表示装置６は、映像再生装置１が再生する映像データを表示する種々のディスプレイで構成される。また、操作入力部５及び表示装置６は、入力装置とディスプレイとを応用した構成として、タッチパネルやライトペン等を採用しても良い。また、表示装置６は、映像再生装置１の外部に設けられ、映像再生装置１と接続される構成に限るものでなく、映像再生装置１の内部に設けられるようにしても良い。
【００１９】
処理部２は、特徴量算出部２１と、重要度算出部２２と、ダイジェスト区間決定部２３と、再生処理部２４とを論理構造として有する。処理部２は、その他、映像再生装置１が行う処理に必要な情報を一時記憶する一時記憶部（図示省略）を備える。
【００２０】
映像再生装置１は、映像再生装置１の電源投入や、操作入力部５からの動作開始を指示する入力により、図２のフローチャートに示すように、記憶部３に記憶される映像データのダイジェストを再生する、映像再生装置１の処理を開始する。
【００２１】
図２のフローチャートに示すステップＳ１において、処理部２は、使用者の入力操作に応じた操作入力部５から、ダイジェストの全体の時間となるダイジェスト時間を入力する。ダイジェスト時間は、数字キーやタッチパネル等の操作入力部５から、０〜９までの任意の整数を指定されることにより、処理部２に入力される。また、表示装置６に予め設定された複数のダイジェスト時間を表示し、操作入力部５からの入力により、１つのダイジェスト時間が選択されるようにしても良い。ダイジェスト時間は、必ずしもダイジェストの再生の開始毎に入力される必要はなく、前回のダイジェスト再生時に設定され、記憶部３に記憶されたダイジェスト時間を使用したり、予め記憶部３に記憶されたダイジェスト時間を使用したり、記憶部３に記憶された映像情報３１の総再生時間に基づいて自動的にダイジェスト時間が入力されるようにしても良い。
【００２２】
ステップＳ２において、処理部２は、記憶部３から映像情報３１に含まれる映像データと属性情報とを読み出す。
【００２３】
例えば、図３（ａ）に示すように、映像情報３１の映像データは、記憶部３のルートディレクトリ内の映像データディレクトリ内に、映像データファイル（０００１．ｍｐｇ、０００２．ｍｐｇ、０００３．ｍｐｇ、…）として格納されている。映像情報３１の属性情報は、記憶部３のルートディレクトリ内の属性情報ディレクトリ内に、属性情報ファイル（０００１．ｄａｔ、０００２．ｄａｔ、０００３．ｄａｔ、…）として格納されている。映像データファイルと属性情報ファイルは、同じ４桁の数字を含むファイル名を付けて記憶されることで、０００１．ｍｐｇと０００１．ｄａｔのように、互いに対応するファイルが判別できるようになっている。すなわち、映像データファイル０００１．ｍｐｇの種々の属性を示す属性情報は、属性情報ファイル０００１．ｄａｔとして記憶部３に記憶される。
【００２４】
また、ファイル名が対応しない場合であっても、例えば、ルートディレクトリに格納された管理ファイルに、映像データファイルと属性情報ファイルとの対応関係を記憶することにより、処理部２が、映像データファイルに対応する属性情報ファイルを判別するようにしても良い。
【００２５】
また、図３（ｂ）に示すように、映像データファイルの、符号化された映像データとは異なるヘッダ部に、その後に続く符号化された映像データの属性情報が格納されるようにしても良い。
【００２６】
映像情報３１の属性情報は、撮影装置による映像撮影時の環境や条件を示す撮影条件情報と、撮影装置による映像撮影時の、撮影装置の挙動、撮影装置に対する入力操作、撮影される映像の内容等、映像撮影時に発生した事象に関する撮影事象情報とを含む。
【００２７】
撮影条件情報は、例えば、映像の撮影開始時刻、撮影終了時刻等の撮影日時情報、全地球測位システム（ＧＰＳ）等の測位システムにより取得される映像撮影時の撮影装置の位置を示す撮影位置情報等である。
【００２８】
撮影事象情報は、例えば、撮影装置の加速度、角速度、傾き等の物理量を検出する、加速度センサや、ジャイロセンサ等からなる物理量検出器から取得される物理量情報と、撮影装置に対するズーム操作等の入力操作に関する撮影操作情報とを含むカメラワークに関する情報である。撮影事象情報は、その他、映像データを構成する静止画であるフレームを画像解析することにより検出される顔や、基準となるフレームからの動きベクトルや、色相、明度、彩度等、フレーム中の色や、映像データと対応して記録された音声に関する情報等を採用可能である。
【００２９】
例えば、撮影日時情報のような映像の撮影時に常に取得できる情報は、図３（ｂ）に示すように、映像データファイルのヘッダ部に記録されるようにすると良い。撮影事象情報のような、映像撮影時、符号化された映像データを記録しながら刻々と変化する情報は、図３（ａ）に示すように映像データファイルとは別の属性情報ファイルとして記録されるようにすると良い。
【００３０】
ステップＳ３において、特徴量算出部２１は、記憶部３から映像情報３１を読み出し、映像情報３１に含まれる映像データから特徴量を算出する。
【００３１】
特徴量は、映像データの各フレーム、又は例えば１秒間など一定間隔のフレーム毎で映像データから求められる。特徴量はその他、例えば、明るさ、色、顔等の特定の被写体の有無など、撮影対象によって変化する、映像データの特徴を示す値を採用可能である。
【００３２】
特徴量算出部２１は、例えば、図４（ａ）に示すように、フレームを縦に２分割、横に２分割、計４分割された４つの領域毎に、各画素の輝度Ｙと色差Ｃｂ、Ｃｒの値からヒストグラムを作成し、作成したヒストグラムを特徴量として用いることができる。特徴量算出部２１は、例えば横６４０×縦４８０の画素のフレームの、それぞれ横３２０×縦２４０の４つの領域ｄ１，ｄ２，ｄ３，ｄ４について、それぞれ輝度Ｙ、色差Ｃｂ、色差Ｃｒの計１２のヒストグラムを作成する。
【００３３】
特徴量算出部２１が作成するヒストグラムは、例えば、図４（ｂ）に示すように、領域ｄ１の輝度Ｙについて、横軸に階調を８とした輝度Ｙの階級、横軸に各階級の度数を表示する。各階級の度数は、図４（ｂ）に示すように、階級Ｋ（Ｋ：０〜３１の整数）の度数を、ＮＹ１（Ｋ）とし、同様に、領域ｄ２，ｄ３，ｄ４の階級Ｋの度数をそれぞれＮＹ２（Ｋ），ＮＹ３（Ｋ），ＮＹ４（Ｋ）のように表示する。
【００３４】
また、色差Ｃｂ、色差Ｃｒのヒストグラムについても、輝度Ｙのヒストグラムと同様に、領域ｄ１の色差Ｃｂのヒストグラムにおいて、階級Ｋの度数をＮＣｂ１（Ｋ）、領域ｄ１の色差Ｃｒのヒストグラムにおいて、階級Ｋの度数をＮＣｒ１（Ｋ）のように表す。
【００３５】
ステップＳ４において、重要度算出部２２は、特徴量算出部２１により特徴量を算出された各フレームについて、予め設定された重要度算出ポリシーを用いて、映像情報３１の属性情報に基づいてダイジェストにおける重要度を算出する。
【００３６】
重要度算出ポリシーは、例えば図５に示すように、重要度算出ポリシーの各項目に設定された各属性情報に対する重要度を表すテーブルである。重要度算出ポリシーは、どのような傾向の区間をダイジェストに採用するかの方針を示すので、重要度算出ポリシーが表示装置６に表示されることによって、映像再生装置１の使用者は、どのような区間がダイジェストとして再生されるかを知ることができる。重要度算出ポリシーは、予め処理部２または記憶部３に記憶された複数の重要度算出ポリシーの中から、表示装置６に表示された重要度算出ポリシーを参照し、操作入力部５から任意の重要度算出ポリシーを選択するようにしても良い。
【００３７】
重要度算出ポリシーは、例えば図５に示すように、「人の顔が映っていて、パンやチルト操作が行われていない固定して撮影された区間」、「動きの激しい区間」等の項目が設定されている。重要度算出ポリシーは、「人の顔が映っていて、パンやチルト操作が行われていない固定して撮影された区間」の項目について、フレームから「顔」が検出された場合には重要度を「＋２」加算する、映像撮影時に「パン」、「チルト」のいずれの操作が行われていた場合には、重要度を「−１」加算する、等のように、各項目に対応した各属性情報に対する重要度の増減が設定されている。特徴量算出部２１は、重要度算出ポリシーに従い、各フレームにおける各属性情報の重要度の総和、または各属性情報の重要度に基づいて算出される値を、各フレームの重要度として算出する。
【００３８】
フレームに表示される顔に関する情報は、映像撮影時、撮影装置が備える人の顔を検出する顔検出器によって検出され、撮影日時と共に属性情報として記録されることができる。パン、チルト等のカメラワークに関する情報は、フレームに表示される顔に関する情報と同様に、映像撮影時、撮影装置が備える物理量検出器によって検出され、撮影日時と共に属性情報として記録されることがきる。重要度算出部２２は、記憶部３に記憶される映像情報３１の属性情報を読み出し、属性情報に含まれる撮影日時情報に基づいて、どのフレームで顔が検出されたのか、パン、チルト操作が行われたか等の情報を得ることができる。
【００３９】
図５に例示した重要度算出ポリシーは、簡略化のため、映像データの属性情報を、「顔」、「パン」、「チルト」等の有無としたが、重要度算出ポリシーに設定される属性情報は、映像データの再生時間の長さや、撮影位置や、フレームの色に関する情報や、音声情報等、他の様々な属性情報を利用しても良い。
【００４０】
例えば、重要度算出部２２が重要度の算出に用いる属性情報は、フレーム中に検出される顔の大きさ、位置、種類等を用いることができる。すなわち、重要度算出部２２は、フレームにおける顔の大きさが大きいほど重要度が高くなるようにしたり、顔の位置がフレームの中央に近いほど重要度が高くなるように、フレーム中央を最大値として周辺ほど低くなる値を、顔の位置に応じた重要度としたりできる。その他、重要度算出部２２は、顔認識技術を用いて、フレームにおける認識可能な特定の人物（種類）の顔の有無に応じて、重要度を算出するようにしても良い。
【００４１】
また、重要度算出部２２が用いる属性情報は、撮影操作情報であるパン、チルト操作の速度（角速度）や移動量などを採用することにより、重要度算出ポリシーに沿って、より精度良く重要度の算出を行うことができる。
【００４２】
ステップＳ５において、ダイジェスト区間決定部２３は、特徴量算出部２１が算出した特徴量と、重要度算出部２２が算出した各フレームの重要度とに基づいて、映像情報３１の映像データの、ダイジェストとして再生される区間であるダイジェスト区間の決定を行う。
【００４３】
ステップＳ６において、再生処理部２４は、記憶部３に記憶される映像情報３１から映像データを読み出して復号化し、ダイジェスト区間決定部２３が決定したダイジェスト区間を、撮影日時順に表示装置６に表示してダイジェストを再生する。
【００４４】
なお、図１に示す処理部２の特徴量算出部２１、重要度算出部２２、ダイジェスト区間決定部２３、再生処理部２４等は、それぞれ論理構造としての表示であり、それぞれ別個のハードウェアである演算処理装置により構成されて構わない。
【００４５】
（ダイジェスト区間決定部２３の処理の内容）
図６のフローチャートを用いて、図２のフローチャートに示す処理の内容のうち、ステップＳ５に示すダイジェスト区間決定部２３の処理の詳細な内容を説明する。
【００４６】
先ず、ステップＳ５０１において、ダイジェスト区間決定部２３は、重要度算出部２２が算出した重要度を用いて、重要度リストを作成する。重要度リストは、重要度算出部２２により重要度を算出されたフレームが、重要度の高いフレームから降順で並べられたリストである。重要度リストの作成は、映像データ中の先頭フレームの時刻ｔ＝０として、重要度算出部２２により重要度を算出された各フレームについて、時刻ｔ＝０から再生時間順に処理される。
【００４７】
ダイジェスト区間決定部２３は、例えば、図７（a）に示すように、映像データの再生時間順の、重要度を算出された各フレームｆ（０），ｆ（１），ｆ（２），…，ｆ（Ｌ），…，ｆ（ｍ）（ｍ：正の整数）について、図７（ｃ）に示す重要度リストを作成する。Ｌは、重要度を算出された各フレームの、映像データの再生時間順のフレーム番号であり、開始を０としている。ダイジェスト区間決定部２３が作成する重要度リストは、図７（ｃ）に示すように、重要度に基づいて降順に並び替えられた各重要度を有するフレームのフレーム番号Ｌと、各フレームが撮影された日時を表す撮影日時等とが記録される。図７（ｃ）に示すｉ（ｉ＝０，１，２，…）は、最も重要度の高いフレームを重要度番号ｉ＝０とし、重要度の降順で並べられたフレームの順番を示すフレーム番号である。その他、重要度リストは、記憶部３の映像情報３１として映像データが複数記憶されている場合、各映像データを識別するためのファイル名等の情報も併せて記録される。ダイジェスト区間決定部２３は、図７（ｂ）に示すように、各フレームを重要度の高い方から降順で並び替えた後、重要度リストを作成するようにしても良い。
【００４８】
ステップＳ５０２において、ダイジェスト区間決定部２３は、図２に示すフローチャートのステップＳ２において入力されたダイジェスト時間を、ダイジェスト時間ＳＥＴ＿ＴＩＭＥに設定する。本発明の実施の形態において、入力されたダイジェスト時間を１８０秒とし、ＳＥＴ＿ＴＩＭＥ＝１８０として説明する。また、ダイジェスト区間決定部２３は、既に決定したダイジェスト区間の総再生時間Ｄ＿ＴＩＭＥとして、Ｄ＿ＴＩＭＥ＝０を設定し、重要度番号ｉ＝０を設定する。
【００４９】
ステップＳ５０３において、ダイジェスト区間決定部２３は、ダイジェスト時間ＳＥＴ＿ＴＩＭＥと、既に決定されたダイジェスト区間の総再生時間Ｄ＿ＴＩＭＥとの比較を行う。ｉ＝０の場合、未だダイジェスト区間が決定されていないため、Ｄ＿ＴＩＭＥ≦ＳＥＴ＿ＴＩＭＥとなる。Ｄ＿ＴＩＭＥ≦ＳＥＴ＿ＴＩＭＥとならない場合、すなわち、既に決定されたダイジェスト区間の総再生時間Ｄ＿ＴＩＭＥが、ダイジェスト時間ＳＥＴ＿ＴＩＭＥ以上となる場合は、ダイジェスト区間決定部２３による処理を終了し、ステップＳ６に進む。
【００５０】
ステップＳ５０３の処理においてＤ＿ＴＩＭＥ≦ＳＥＴ＿ＴＩＭＥとなる場合、ダイジェスト区間決定部２３は、ステップＳ５０４において、作成した重要度リストから、最も重要度が高い重要度番号ｉのフレームを含む所定の区間をダイジェスト区間として決定する。例えば図８に示すように、重要度番号ｉ、フレーム番号Ｌのフレームｆ（Ｌ）ｉが、映像データの再生開始から４０秒の位置のフレームであった場合、ステップＳ５０４において、ダイジェスト区間決定部２３は、フレームｆ（Ｌ）ｉの前後５秒間、すなわち、再生時間３５秒〜４５秒の１０秒間の区間をダイジェスト区間Ａとすることができる。本実施形態では、ダイジェスト区間決定部２３に予め、フレームｆ（Ｌ）ｉを中心とした前後所定の時間の区間をダイジェスト区間とすると設定したが、これに限るものではなく、例えば、フレームｆ（Ｌ）ｉを含み、特定の特徴量が所定の閾値以上の区間をダイジェスト区間としても良い。
【００５１】
ステップＳ５０５において、ダイジェスト区間決定部２３は、適宜、重要度リストを更新する。例えば、ダイジェスト区間決定部２３は、ステップＳ５０４において決定したダイジェスト区間Ａに含まれるフレームｆ（Ｌ）ｉを、重要度リストから削除する。
【００５２】
このようにダイジェスト区間Ａに含まれるフレームｆ（Ｌ）ｉ以外のフレームを、重要度リストから削除することにより、ステップＳ５０４のダイジェスト区間の決定において、既に決定されたダイジェスト区間と重複する区間を、新たなダイジェスト区間として決定してしまうことを防ぐことができる。
【００５３】
ステップＳ５０６において、ダイジェスト区間決定部２３は、「既に決定されたダイジェスト区間の総再生時間Ｄ＿ＴＩＭＥ」に、ステップＳ５０４において決定したダイジェスト区間の再生時間１０秒を加算する。したがってＤ＿ＴＩＭＥ＝１０となる。また、ステップＳ５０６において、次のステップＳ５０７における初期化処理としてｎ＝１とする。ｎは、重要度番号ｉに加算する値である。
【００５４】
なお、ステップＳ５０５において、既に決定されたダイジェスト区間と重複する区間を、新たなダイジェスト区間として決定することを認める場合は、ステップＳ５０５を省略し、ステップＳ５０６において、新たなダイジェスト区間の、既に決定されたダイジェスト区間と重複しない区間の再生時間を、「既に決定されたダイジェスト区間の総再生時間Ｄ＿ＴＩＭＥ」に加算すれば良い。
【００５５】
ステップＳ５０７において、ダイジェスト区間決定部２３は、重要度番号ｉのフレームと、重要度リストにあるフレームの内、重要度番号ｉのフレームの次に重要度が高い重要度番号ｉ＋ｎのフレームとの類似度Ｓを求める。類似度Ｓは、特徴量算出部２１が求めた重要度番号ｉのフレームの、４つの領域ｄ１，ｄ２，ｄ３，ｄ４それぞれの、輝度Ｙ、色差Ｃｂ、色差Ｃｒのヒストグラムと、重要度番号ｉ＋ｎのフレームの、４つの領域ｄ１，ｄ２，ｄ３，ｄ４それぞれの、輝度Ｙ、色差Ｃｂ、色差Ｃｒのヒストグラムとから求める。類似度Ｓは、式（１）によって求められる。
【数１】
2012161019.tif 000003
【００５６】
ｊは、特徴量算出部２１がヒストグラムの作成に際して、フレームを分割した数を示す。類似度Ｓは、重要度番号ｉ，ｉ＋ｎの２つのフレームの、輝度Ｙ、色差Ｃｂ、色差Ｃｒの３種のヒストグラムについて、各階級Ｋの度数の差の２乗和によって求められる。重要度番号ｉ，ｉ＋ｎの２つのフレームの特徴量が似た傾向にある場合、ヒストグラムの各階級Ｋでの度数の差が小さくなり、その総和である類似度Ｓは小さくなる。一方で特徴量が異なる傾向の場合、ヒストグラムの各階級の度数の差が大きくなり、類似度Ｓは大きくなる。
【００５７】
ステップＳ５０８において、ダイジェスト区間決定部２３は、重要度番号ｉ，ｉ＋ｎの２つのフレームの類似度Ｓと、撮影日時情報から算出される重要度番号ｉ，ｉ＋ｎの２つのフレームの撮影日時の時間差Ｄから、式（２）を用いて、重要度番号ｉのフレームと、重要度番号ｉ＋ｎのフレームの相関度Ｒを求め、相関度Ｒと、予め設定された閾値Ｔｈとの比較を行う。
【００５８】
Ｒ＝１／（Ｓ＋Ｄ）                                 …（２）
相関度Ｒは、重要度番号ｉ，ｉ＋ｎの２つのフレームの関係性の高さを示す値であり、同内容を撮影した映像である可能性が高いほど、大きい値になる。相関度Ｒは、重要度番号ｉ，ｉ＋ｎの２つのフレームの特徴量が異なるほど、ヒストグラムの各階級での度数の差が大きくなり、類似度Ｓが大きくなるため、小さくなる。また、相関度Ｒは、重要度番号ｉ，ｉ＋ｎの２つのフレームが撮影された日時の時間差Ｄが大きいほど、小さくなる。
【００５９】
このように相関度Ｒを求めることで、例えば、重要度番号ｉ，ｉ＋ｎの２つのフレームについて、２つのフレームがまったく同じ特徴量を持つ場合、類似度Ｓ＝０となり、２つのフレームの撮影日時の時間差Ｄが５秒の場合、相関度Ｒ＝０．２となり、時間差Ｄが１０秒の場合、相関度Ｒ＝０．１となる。すなわち、相関度Ｒは、重要度番号ｉ，ｉ＋ｎの２つのフレームについて、完全に同じ内容のフレームであっても、異なる時間に撮影された場合、撮影時間の時間差Ｄが大きいほど、小さな値となり、異なる内容である可能性が高いことを反映している。
【００６０】
ダイジェスト区間決定部２３は、相関度Ｒと、予め設定された閾値Ｔｈとを比較し、相関度Ｒが閾値Ｔｈより小さい（Ｒ＜Ｔｈ）となる場合、ステップＳ５０９に進む。Ｒ＜Ｔｈとなる場合、重要度番号ｉ＋ｎのフレームは、既に決定された重要度番号ｉのフレームと異なる対象を撮影された、異なる内容である可能性が高く、映像データの内容把握のため、ダイジェストとしての再生が必要な区間に含まれると判断できる。
【００６１】
ステップＳ５０９において、ダイジェスト区間決定部２３は、ｉをｎ加算し、ステップＳ５０３に戻る。
【００６２】
一方、ダイジェスト区間決定部２３は、ステップＳ５０８における相関度Ｒと閾値Ｔｈとの比較において、相関度Ｒが閾値Ｔｈより大きい（Ｒ＜Ｔｈ）とならない場合、ステップＳ５１０に進む。Ｒ＜Ｔｈとならない場合、重要度番号ｉ＋ｎのフレームは、既に決定された重要度番号ｉのフレームと同内容または同じ対象を撮影した可能性が高く、映像データの内容把握のため、ダイジェストとしての再生が不要な区間に含まれると判断できる。
【００６３】
ステップＳ５１０において、ダイジェスト区間決定部２３は、ｎを１加算し、ステップＳ５１１に進む。
【００６４】
ステップＳ５１１において、ダイジェスト区間決定部２３は、重要度番号ｉ＋ｎのフレームが重要度リストにあるか否かを判定する。重要度番号ｉ＋ｎのフレームが重要度リストにある場合、ステップＳ５０７に戻る。重要度番号ｉ＋ｎのフレームが重要度リストにない場合、ステップＳ６に進み、ダイジェスト区間決定部２３による処理を終了する。
【００６５】
本発明の実施の形態に係る映像再生装置１によれば、ダイジェストとして再生されるダイジェスト区間の決定に際し、単に、映像データの属性情報から得られる重要度が高い区間から順にダイジェスト区間とするのではなく、映像データの属性情報から、既に決定されたダイジェスト区間との相関度を算出し、相関度に基づいて、既に決定されたダイジェスト区間と異なる内容が撮影されている可能性が高い区間を、新たなダイジェスト区間として決定することができる。
【００６６】
本発明の実施の形態に係る映像再生装置１によれば、映像再生装置１の使用者が、映像データのダイジェストにおいて、重複した内容を何度も視聴することを防止でき、映像再生装置１の使用者が、短い時間で映像データの内容の概略を把握することができるように、効率的にダイジェストを再生できる。
【００６７】
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【００６８】
１…映像再生装置
２…処理部
３…記憶部
４…入出力制御部
５…操作入力部
６…表示装置
２１…特徴量算出部
２２…重要度算出部
２３…ダイジェスト区間決定部
２４…再生処理部
３１…映像情報
【図１】
2012161019.tif 000004
【図２】
2012161019.tif 000005
【図３】
2012161019.tif 000006
【図４】
2012161019.tif 000007
【図５】
2012161019.tif 000008
【図６】
2012161019.tif 000009
【図７】
2012161019.tif 000010
【図８】
2012161019.tif 000011