(57)【要約】【課題】動画像の構成を容易に把握できる構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供する。【解決手段】動画像ＭＰ中の複数の画像から、複数の画像を代表する最適表示数Ｎｏｐｔの代表画像Ｉを選択し、最適表示数Ｎｏｐｔの代表画像Ｉを最適縮小率Ｒｒｏｐｔで縮小し、動画像ＭＰ中での代表画像Ｉの出現順序に従って並べた構成画像ＣＩを生成することを含み、代表画像Ｉは、予め定められた範囲の表示領域Ａｄに対する構成画像ＣＩの表示占有率Ｒｏを最大化するように調整された最適表示数Ｎｏｐｔの画像として選択される。【選択図】図１
2012060239.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の複数の画像から、前記複数の画像を代表する所定数の代表画像を選択する代表画像選択部と、
前記所定数の代表画像を一定率で縮小し、前記動画像中での前記代表画像の出現順序に従って並べた構成画像を生成する構成画像生成部と
を備え、
前記代表画像は、予め定められた範囲の表示領域に対する前記構成画像の表示占有率を最大化するように調整された前記所定数の画像として選択される、動画像処理装置。
【請求項２】
前記複数の画像を各々に連続する画像からなる所定数の画像グループに区分する画像区分部をさらに備え、
前記代表画像選択部は、前記各画像グループ中の画像を代表する代表画像を選択し、
前記構成画像生成部は、前記所定数の画像グループの前記代表画像を一定率で縮小し、前記動画像中での前記画像グループの出現順序に従って並べた前記構成画像を生成し、
前記複数の画像は、予め定められた範囲の表示領域に対する前記構成画像の表示占有率を最大化するように調整された前記所定数の画像グループに区分される、請求項１に記載の動画像処理装置。
【請求項３】
前記複数のカットを含む前記動画像から前記カット間の遷移を検出するカット遷移検出部と、
前記複数のカットから前記所定数の代表カットを選択する代表カット選択部とをさらに備え、
前記代表画像選択部は、前記各代表カット中の画像を代表する代表画像を選択し、
前記構成画像生成部は、前記所定数の代表カットの前記代表画像を一定率で縮小し、前記動画像中での前記代表カットの出現順序に従って並べた前記構成画像を生成し、
前記代表カットは、予め定められた範囲の表示領域に対する前記構成画像の表示占有率を最大化するように調整された前記所定数のカットとして選択される、請求項１に記載の動画像処理装置。
【請求項４】
前記構成画像生成部は、前記動画像中での前記代表画像の出現順序に基づき、前記所定数の代表画像を行列状に並べた前記構成画像を生成する、請求項１に記載の動画像処理装置。
【請求項５】
前記構成画像生成部は、前記動画像中での前記画像グループの出現順序に基づき、前記所定数の画像グループの前記代表画像を行列状に並べた前記構成画像を生成する、請求項２に記載の動画像処理装置。
【請求項６】
前記構成画像生成部は、前記動画像中での前記代表カットの出現順序に基づき、前記所定数の代表カットの前記代表画像を行列状に並べた前記構成画像を生成する、請求項３に記載の動画像処理装置。
【請求項７】
前記代表画像選択部は、前記複数の画像についての特徴量の代表値と前記各画像の特徴量との変動値に基づき前記代表画像を選択する、請求項１に記載の動画像処理装置。
【請求項８】
前記代表カット選択部は、前記複数のカットについての特徴量の代表値と前記各カットの特徴量との変動値に基づき前記代表カットを選択する、請求項３に記載の動画像処理装置。
【請求項９】
動画像中の複数の画像から、前記複数の画像を代表する所定数の代表画像を選択し、
前記所定数の代表画像を一定率で縮小し、前記動画像中での前記代表画像の出現順序に従って並べた構成画像を生成すること
を含み、
前記代表画像は、予め定められた範囲の表示領域に対する前記構成画像の表示占有率を最大化するように調整された前記所定数の画像として選択される、動画像処理方法。
【請求項１０】
動画像中の複数の画像から、前記複数の画像を代表する所定数の代表画像を選択し、
前記所定数の代表画像を一定率で縮小し、前記動画像中での前記代表画像の出現順序に従って並べた構成画像を生成すること
を含み、
前記代表画像は、予め定められた範囲の表示領域に対する前記構成画像の表示占有率を最大化するように調整された前記所定数の画像として選択される、動画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
映像（または動画像）は、多くの画像から構成されている。従来、動画像の構成を把握するために、動画像中の画像のサムネイルを時系列順に並べて、動画像の構成を示す構成画像として表示することが知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、サムネイルの表示数が多くなると、構成画像が表示される表示領域に対して構成画像が大きくなってしまう場合がある。そして、動画像の構成の一覧性を確保するために、構成画像を一度に表示しようとすると、サムネイルを高い率で縮小して表示することになり、代表画像の視認性が低下してしまう場合がある。また、構成画像の視認性を確保するために構成画像を部分的に表示しようとすると、構成画像を分割して表示することになり、動画像の構成の一覧性が低下してしまう場合がある。よって、いずれの場合も、ユーザは、構成画像を通じて動画像の構成を容易に把握することができなくなる。
【０００４】
そこで、本発明は、動画像の構成を容易に把握できる構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００５】
本発明のある観点によれば、動画像中の複数の画像から、複数の画像を代表する所定数の代表画像を選択する代表画像選択部と、所定数の代表画像を一定率で縮小し、動画像中での代表画像の出現順序に従って並べた構成画像を生成する構成画像生成部とを備え、代表画像は、予め定められた範囲の表示領域に対する構成画像の表示占有率を最大化するように調整された所定数の画像として選択される、動画像処理装置が提供される。
【０００６】
上記動画像処理装置は、複数の画像を各々に連続する画像からなる所定数の画像グループに区分する画像区分部をさらに備え、代表画像選択部は、各画像グループ中の画像を代表する代表画像を選択し、構成画像生成部は、所定数の画像グループの代表画像を一定率で縮小し、動画像中での画像グループの出現順序に従って並べた構成画像を生成し、複数の画像は、予め定められた範囲の表示領域に対する構成画像の表示占有率を最大化するように調整された所定数の画像グループに区分されてもよい。
【０００７】
上記動画像処理装置は、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、複数のカットから所定数の代表カットを選択する代表カット選択部とをさらに備え、代表画像選択部は、各代表カット中の画像を代表する代表画像を選択し、構成画像生成部は、所定数の代表カットの代表画像を一定率で縮小し、動画像中での代表カットの出現順序に従って並べた構成画像を生成し、代表カットは、予め定められた範囲の表示領域に対する構成画像の表示占有率を最大化するように調整された所定数のカットとして選択されてもよい。
【０００８】
上記構成画像生成部は、動画像中での代表画像の出現順序に基づき、所定数の代表画像を行列状に並べた構成画像を生成してもよい。
【０００９】
上記構成画像生成部は、動画像中での画像グループの出現順序に基づき、所定数の画像グループの代表画像を行列状に並べた構成画像を生成してもよい。
【００１０】
上記構成画像生成部は、動画像中での代表カットの出現順序に基づき、所定数の代表カットの代表画像を行列状に並べた構成画像を生成してもよい。
【００１１】
上記代表画像選択部は、複数の画像についての特徴量の代表値と各画像の特徴量との変動値に基づき代表画像を選択してもよい。
【００１２】
上記代表カット選択部は、複数のカットについての特徴量の代表値と各カットの特徴量との変動値に基づき代表カットを選択してもよい。
【００１３】
本発明の別の観点によれば、動画像中の複数の画像から、複数の画像を代表する所定数の代表画像を選択し、所定数の代表画像を一定率で縮小し、動画像中での代表画像の出現順序に従って並べた構成画像を生成することを含み、代表画像は、予め定められた範囲の表示領域に対する構成画像の表示占有率を最大化するように調整された所定数の画像として選択される、動画像処理方法が提供される。
【００１４】
また、本発明の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【００１５】
以上説明したように本発明によれば、動画像の構成を容易に把握できる構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る動画像処理方法の手順を示すフロー図である。
【図２】第１の実施形態に係る動画像処理装置の構成を示すブロック図である。
【図３】動画像処理装置の全体的な動作手順を示すフロー図である。
【図４】構成画像の表示の最適化手順を示すフロー図である。
【図５】構成画像の表示の最適化手順の一例を示す図である。
【図６】動画像の構成例を示す図である。
【図７】構成画像の第１の生成例を示す図である。
【図８】構成画像の第２の生成例を示す図である。
【図９】構成画像の第３の生成例を示す図である。
【図１０】第２の実施形態に係る動画像処理装置の構成を示すブロック図である。
【図１１】動画像処理装置の全体的な動作手順を示すフロー図である。
【図１２】動画像の構成例を示す図である。
【図１３】構成画像の生成例を示す図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
［１．動画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る動画像処理方法の概要について説明する。図１には、本発明の実施形態に係る動画像処理方法の手順が示されている。
【００１９】
図１に示すように、本発明の実施形態に係る動画像処理方法では、まず、動画像ＭＰ中の複数の画像から、複数の画像を代表する所定数Ｎｏｐｔの代表画像Ｉが選択される（ステップＳ１）。つぎに、所定数Ｎｏｐｔの代表画像Ｉを一定率で縮小し、動画像ＭＰ中での代表画像Ｉの出現順序に従って並べた構成画像ＣＩが生成される（ステップＳ３）。ここで、ステップＳ１の処理では、代表画像Ｉは、予め定められた範囲の表示領域Ａｄに対する構成画像ＣＩの表示占有率Ｒｏを最大化するように調整された所定数Ｎｏｐｔの画像として選択される。
【００２０】
これにより、構成画像ＣＩの表示占有率Ｒｏを最大化するように選択された所定数Ｎｏｐｔの代表画像Ｉを用いることで、動画像ＭＰの構成の一覧性および構成画像ＣＩの視認性を確保可能な構成画像ＣＩを生成することができる。よって、ユーザは、このように生成された構成画像ＣＩを通じて動画像ＭＰの構成を容易に把握することができる。
【００２１】
＜第１の実施形態＞
つぎに、図２から図９を参照して、本発明の第１の実施形態について説明する。
【００２２】
［２−１．動画像処理装置１の構成］
まず、図２を参照して、第１の実施形態に係る動画像処理装置１の構成について説明する。図２に示すように、第１の実施形態に係る動画像処理装置１は、データ取得部１１、表示最適化部１３、画像区分部１５、代表画像選択部１７、構成画像生成部１９、構成画像出力部２１、およびデータ記憶部２３を含んで構成される。
【００２３】
データ取得部１１は、動画像データＭＰ等を取得し、表示最適化部１３および代表画像選択部１７に供給する。動画像データＭＰは、一般にフレーム形式の画像データであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２３から取得されてもよく、外部装置（不図示）から取得されてもよい。
【００２４】
表示最適化部１３は、詳細は後述するが、構成画像ＣＩの表示条件（表示範囲、表示サイズ等）に応じて、構成画像ＣＩとして表示される代表画像Ｉの表示を最適化し、最適化結果を画像区分部１５に供給する。具体的には、動画像ＭＰの構成の一覧性とともに構成画像ＣＩの視認性を確保するために、構成画像ＣＩに含まれる代表画像Ｉの表示数が最適表示数Ｎｏｐｔに最適化される。
【００２５】
画像区分部１５は、詳細は後述するが、表示の最適化結果に基づき、複数の画像を各々に連続する画像からなる最適表示数Ｎｏｐｔの画像グループＧｐに区分し、区分結果を代表画像選択部１７に供給する。画像は、フレーム数等、グループ化に適切な指標に基づき最適表示数Ｎｏｐｔの画像グループＧｐに区分される。また、画像は、必要に応じて動画像データＭＰに基づき最適表示数Ｎｏｐｔの画像グループＧｐに区分されてもよく、この場合、図２では不図示であるが、データ取得部１１から画像区分部１５に動画像データＭＰが供給される。
【００２６】
代表画像選択部１７は、動画像データＭＰおよび画像の区分結果に基づき、各画像グループＧｐ中の画像を代表する代表画像Ｉを選択し、選択結果を構成画像生成部１９に供給する。代表画像Ｉは、画像のフレーム番号、画像に付随する音声の音量、画像の輝度・色、画像間の相関、画像中での被写体の動き、画像処理・画像検出の結果またはこれらの組合せ等、代表画像Ｉの選択に適切な指標に基づき選択される。
【００２７】
構成画像生成部１９は、動画像データＭＰおよび代表画像Ｉの選択結果に基づき、動画像ＭＰの構成を示す構成画像ＣＩを生成し、構成画像出力部２１に供給する。構成画像ＣＩは、最適表示数Ｎｏｐｔの代表画像Ｉを一定率で縮小し、動画像ＭＰ中での代表画像Ｉの出現順序（タイムコード順、フレーム番号順）に従って並べた画像として生成される。
【００２８】
構成画像出力部２１は、構成画像ＣＩの生成結果を出力する。構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
【００２９】
データ記憶部２３は、動画像データＭＰ、動画像データＭＰに付属するデータ、動画像処理に用いられるデータ等を記憶している。データ記憶部２３には、構成画像生成部１９により生成された構成画像ＣＩが記憶されてもよい。なお、図２では、データ記憶部２３と他の構成要素との接続関係の表示が一部省略されている。
【００３０】
なお、以下では、最適表示数Ｎｏｐｔの画像グループＧｐから代表画像Ｉを選択する場合について主に説明する。しかし、複数の画像から最適表示数Ｎｏｐｔの代表画像Ｉを直接選択してもよく、この場合、画像区分部１５を省略することができる。この場合、代表画像選択部１７は、動画像データＭＰおよび表示の最適化結果に基づき、複数の画像を代表する最適表示数Ｎｏｐｔの代表画像Ｉを選択し、構成画像出力部２１に供給する。構成画像ＣＩは、最適表示数Ｎｏｐｔの画像グループＧｐの代表画像Ｉを後述する最適縮小率Ｒｒｏｐｔで縮小し、動画像ＭＰ中での代表画像Ｉの出現順序に従って並べた画像として生成される。
【００３１】
ここで、上記機能構成において、データ取得部１１、表示最適化部１３、画像区分部１５、代表画像選択部１７、構成画像生成部１９、構成画像出力部２１は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２３は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。
【００３２】
［２−２．動画像処理装置１の動作］
つぎに、図３から図９を参照して、第１の実施形態に係る動画像処理装置１の動作について説明する。
【００３３】
図３には、動画像処理装置１の全体的な動作手順が示されている。図３に示すように、データ取得部１１では、表示領域Ａｄのサイズ、動画像ＭＰ中の画像のサイズ等の設定情報が取得され（ステップＳ１１）、表示最適化部１３に供給される。表示領域Ａｄのサイズは、構成画像ＣＩの出力先に応じて設定されている（もちろん、印刷サイズでもよい。）。画像のサイズ等は、動画像データＭＰ等の一部として設定されている。表示最適化部１３では、設定情報に基づき構成画像ＣＩの表示が最適化される（ステップＳ１３）。表示の最適化では、表示領域Ａｄに対する構成画像ＣＩの表示占有率Ｒｏを最大化するように、代表画像Ｉの最適表示数Ｎｏｐｔが決定される。
【００３４】
図４には、構成画像ＣＩの表示の最適化手順が示されている。ここで、表示領域Ａｄは、第１方向の表示幅（画素数）Ｘ、第２方向の表示高（画素数）Ｙ、表示領域ＡｄサイズＡ（＝Ｘ×Ｙ）、アスペクト比ＲＡ＝Ｘ／Ｙであるとする。また、代表画像Ｉは、第１方向の原寸幅（画素数）ｘ、第２方向の原寸高（画素数）ｙ、原寸サイズａ（＝ｘ×ｙ）、アスペクト比Ｒａ＝ｘ／ｙであるとする。
【００３５】
図４に示すように、まず、処理カウンタｉが初期化され（ｉ＝１）、代表画像Ｉの表示数Ｎｉが初期化され（Ｎ１＝１）、代表画像Ｉの縮小率Ｒｒｉが初期化される（Ｒｒ１＝１．０）（ステップＳ３１）。つぎに、代表画像Ｉを縮小率Ｒｒ１で表示する場合の表示占有率Ｒｏ１（＝ａ×Ｒｒ１×Ｎ１／Ａ）が算出される（ステップＳ３３）。表示占有率Ｒｏ１は、後続処理のために一時的に記憶される。
【００３６】
つぎに、処理カウンタｉが１インクリメントされ（ｉ＝ｉ＋１）、表示数Ｎｉが１インクリメントされる（Ｎｉ＝Ｎｉ−１＋１）（ステップＳ３５）。
【００３７】
つぎに、表示数Ｎｉで代表画像Ｉを表示する場合の代表画像Ｉの縮小率Ｒｒｉが最高縮小率Ｒｒｍａｘ以上であるかが判定される（ステップＳ３７）。代表画像Ｉの縮小率Ｒｒｉは、表示領域Ａｄに対して表示数Ｎｉの代表画像Ｉを重複せずに並べて表示可能な最大の値として算出される。最高縮小率Ｒｒｍａｘは、縮小後の代表画像Ｉの視認性が確保できる縮小率（Ｒｒｍａｘ＝０．５等）として予め設定されている。
【００３８】
ステップＳ３７の判定結果が肯定的であれば、表示数Ｎｉで代表画像Ｉを表示する場合の表示占有率Ｒｏｉが算出される（ステップＳ３９）。表示占有率Ｒｏｉは、代表画像Ｉの原寸サイズａに縮小率Ｒｒｉおよび表示数Ｎｉを乗じた値を、表示領域ＡｄサイズＡで除して算出される（Ｒｏｉ＝ａ×Ｒｒｉ×Ｎｉ／Ａ）。表示占有率Ｒｏｉは、後続処理のために一時的に記憶される。
【００３９】
つぎに、表示占有率Ｒｏｉが表示数Ｎｉ−１の表示占有率Ｒｏｉ−１よりも小さいかが判定される（ステップＳ４１）。そして、判定結果が肯定的であれば、最適表示数Ｎｏｐｔに表示数Ｎｉ−１が代入され、最適縮小率Ｒｒｏｐｔに縮小率Ｒｒｉ−１が代入され（ステップＳ４３）、表示の最適化が終了する。つまり、表示数Ｎｉ−１で代表画像Ｉを表示する場合に構成画像ＣＩの表示が最適化される。一方、判定結果が否定的であれば、処理がステップＳ３５に復帰する。
【００４０】
一方、ステップＳ３７の判定結果が否定的であれば、最適表示数Ｎｏｐｔに表示数Ｎ１が代入され、最適縮小率Ｒｒｏｐｔに縮小率Ｒｒ１が代入され（ステップＳ４５）、表示の最適化が終了する。つまり、表示数Ｎ１＝１で代表画像Ｉを表示する場合に構成画像ＣＩの表示が最適化される。
【００４１】
図５には、構成画像ＣＩの表示の最適化手順の一例が示されている。なお、図５では、表示領域Ａｄが代表画像Ｉに対して縦長である（表示領域Ａｄのアスペクト比ＲＡ＜代表画像Ｉのアスペクト比Ｒａ）場合を想定する。
【００４２】
状態１では、表示領域Ａｄと代表画像Ｉの間にｘ＜Ｘ＜ｘ×２、ｙ＜Ｙ＜ｙ×２の関係があり、原寸サイズａで２以上の代表画像Ｉを表示することができない。状態１では、表示数Ｎ１＝１の代表画像Ｉを表示する場合の表示占有率Ｒｏ１が算出される。
【００４３】
状態２では、表示高Ｙ一杯に２の代表画像Ｉを並べる場合の縮小率Ｒｒ２（＝（Ｙ／ｙ／２）／ｙ、Ｒｒ２＜Ｒｒ１）で、Ｎ２＝２の代表画像Ｉが最大表示される。状態２では、表示数Ｎ２＝２の代表画像Ｉを表示する場合の表示占有率Ｒｏ２が算出される。ここで、表示占有率Ｒｏ１＜表示占有率Ｒｏ２となることで、最適化が継続される。
【００４４】
状態３では、表示幅Ｘ一杯に２の代表画像Ｉを並べる場合の縮小率Ｒｒ３（＝（Ｘ／ｘ／２）／ｘ、Ｒｒ３＜Ｒｒ２）で、Ｎ３＝３の代表画像Ｉが最大表示される。状態３では、表示数Ｎ３＝３の代表画像Ｉを表示する場合の表示占有率Ｒｏ３が算出される。ここで、表示占有率Ｒｏ２＜表示占有率Ｒｏ３となることで、最適化が継続される。
【００４５】
状態４では、状態３と同じ縮小率Ｒｒ４（＝Ｒｒ３）で、Ｎ４＝４の代表画像Ｉが最大表示される。状態４では、表示数Ｎ４＝４の代表画像Ｉを表示する場合の表示占有率Ｒｏ４が算出される。ここで、表示占有率Ｒｏ３＜表示占有率Ｒｏ４となることで、最適化が継続される。
【００４６】
状態５では、表示高Ｙ一杯に３の代表画像Ｉを並べる場合の縮小率Ｒｒ５（＝（Ｙ／ｙ／３）／ｙ、Ｒｒ５＜Ｒｒ４）で、Ｎ５＝５の代表画像Ｉが最大表示される。状態５では、表示数Ｎ５＝５の代表画像Ｉを表示する場合の表示占有率Ｒｏ５が算出される。ここで、表示占有率Ｒｏ５＜表示占有率Ｒｏ４となることで、最適化が終了する。そして、最適表示数Ｎｏｐｔ＝Ｎ４＝４となり、最適縮小率Ｒｒｏｐｔ＝Ｒｒ４となる。
【００４７】
表示の最適化が終了すると、図３に示すように、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１５）、画像区分部１５に供給される。画像区分部１５では、表示の最適化結果に基づき、動画像ＭＰ中の画像が最適表示数Ｎｏｐｔの画像グループＧｐに区分され（ステップＳ１７）、区分結果が代表画像選択部１７に供給される。
【００４８】
代表画像選択部１７では、動画像データＭＰおよび画像の区分結果に基づき、各画像グループＧｐの代表画像Ｉが選択され（ステップＳ１９）、選択結果が構成画像生成部１９に供給される。構成画像生成部１９では、動画像データＭＰおよび代表画像Ｉの選択結果に基づき、構成画像ＣＩが生成される（ステップＳ２１）。構成画像ＣＩは、最適表示数Ｎｏｐｔの画像グループＧｐの代表画像Ｉを最適縮小率Ｒｒｏｐｔで縮小し、画像グループＧｐの出現順序に従って並べた画像として生成される。
【００４９】
なお、画像区分の処理は、省略されてもよい。この場合、代表画像選択部１７では、データ取得部１１から動画像データＭＰが供給され、動画像ＭＰ中の画像から最適表示数Ｎｏｐｔの代表画像Ｉが選択される。
【００５０】
図６には、動画像ＭＰの構成例が示されている。図６に示す例では、動画像ＭＰが１２フレームの画像Ｐ１〜Ｐ１２からなる。なお、画像Ｐ１〜Ｐ１２は、例えば、１２００フレームの画像から１００フレーム間隔で間引かれた画像等、多数のフレームから抽出された画像でもよい。
【００５１】
図７には、構成画像ＣＩの第１の生成例が示されている。図７に示す例では、まず、画像Ｐ１〜Ｐ１２が最適表示数Ｎｏｐｔ＝４の画像グループＧｐ１〜Ｇｐ４に区分されている。ここで、画像Ｐ１〜Ｐ１２は、画像グループＧｐ１（画像Ｐ１〜Ｐ３）、画像グループＧｐ２（画像Ｐ４〜Ｐ６）、画像グループＧｐ３（画像Ｐ７〜Ｐ９）、画像グループＧｐ４（画像Ｐ１０〜Ｐ１２）に区分されている。つまり、動画像ＭＰは、動画像ＭＰ中の画像数および最適表示数Ｎｏｐｔに基づき、各画像グループＧｐ１〜Ｇｐ４の画像数が均等となるように区分されている。
【００５２】
つぎに、各画像グループＧｐ１〜Ｇｐ４の代表画像Ｉが選択されている。ここで、各画像グループＧｐ１〜Ｇｐ４の代表画像Ｉ１〜Ｉ４は、画像Ｐ２、Ｐ５、Ｐ８、Ｐ１１、つまり、各画像グループＧｐの中央フレームに相当する画像として選択されている。この場合、代表画像Ｉ１〜Ｉ４は、動画像ＭＰ中での各画像のフレーム番号および最適表示数Ｎｏｐｔに基づき、各画像グループＧｐ１〜Ｇｐ４の中央フレームとして選択されている。なお、代表画像Ｉは、中央フレームに相当する画像に代えて、最初フレーム、最後フレーム等として選択されてもよい。
【００５３】
そして、選択された代表画像Ｉ１〜Ｉ４からなる構成画像ＣＩが生成されている。ここで、構成画像ＣＩは、代表画像Ｉ１〜Ｉ４を最適縮小率Ｒｒｏｐｔで縮小し、画像グループＧｐ１〜Ｇｐ４の出現順序に従って２×２行列状に並べた画像として生成されている。なお、構成画像ＣＩの配列は、表示領域Ａｄのサイズに応じて、２×２行列に代えて、１×４行列、４×１行列等と変更されてもよい。
【００５４】
図８には、構成画像ＣＩの第２の生成例が示されている。図８に示す例では、図７に示した場合と同様に、１２フレームの画像Ｐ１〜Ｐ１２が画像グループＧｐ１（画像Ｐ１〜Ｐ３）、画像グループＧｐ２（画像Ｐ４〜Ｐ６）、画像グループＧｐ３（画像Ｐ７〜Ｐ９）、画像グループＧｐ４（画像Ｐ１０〜Ｐ１２）に区分されている。
【００５５】
また、画像Ｐ１〜Ｐ１２については、動画像データＭＰの音声処理に基づき、各フレームに付随する音声の音量が算出され、さらに１２フレームの平均音量が算出されている。図８には、画像Ｐ１〜Ｐ１２とともに、各フレームに付随する音声の音量および平均音量が示されている。
【００５６】
つぎに、各画像グループＧｐ１〜Ｇｐ４の代表画像Ｉ１〜Ｉ４が選択されている。ここで、各画像グループＧｐ１〜Ｇｐ４の代表画像Ｉ１〜Ｉ４は、各画像グループＧｐ１〜Ｇｐ４に含まれるフレームのうち、平均音量との差（絶対値）が最大となるフレームに相当する画像として選択されている。なお、代表画像Ｉ１〜Ｉ４は、平均音量との差（絶対値）が最大となる画像に代えて、最小となる画像、平均的な画像、平均的な画像と最大または最小となる画像の組合せ等として選択されてもよい。
【００５７】
例えば、図８に示す例では、画像グループＧｐ１では、音量０の画像Ｐ１が選択され、画像グループＧｐ２では、平均音量を下回る音量の画像Ｐ４が選択され、画像グループＧｐ３では、平均音量を上回る音量の画像Ｐ８が選択され、画像グループＧｐ４では、平均音量を大きく上回る音量の画像Ｐ１２が選択されている。
【００５８】
そして、選択された代表画像Ｉ１〜Ｉ４からなる構成画像ＣＩが生成されている。ここで、構成画像ＣＩは、代表画像Ｉ１〜Ｉ４を最適縮小率Ｒｒｏｐｔで縮小し、画像グループＧｐ１〜Ｇｐ４の出現順序に従って２×２行列状に並べた画像として生成されている。
【００５９】
図９には、構成画像ＣＩの第３の生成例が示されている。図９に示す例では、図７および図８に示した場合と異なり、画像区分の処理が省略されている。
【００６０】
図９に示す例では、１２フレームの画像Ｐ１〜Ｐ１２について、動画像データＭＰの画像処理に基づき、各画像の画面輝度を正規化して表すヒストグラムが算出され、さらに１２フレームの平均ヒストグラムが算出される。ヒストグラムでは、画像に含まれる画素の輝度を所定の輝度間隔で区分した場合における区分毎の頻度が表されている。図９には、画像Ｐ１〜Ｐ１２とともに、各画像の正規化ヒストグラムおよび平均ヒストグラムが示されている。
【００６１】
つぎに、動画像データＭＰ中の画像から最適表示数Ｎｏｐｔ＝４の代表画像Ｉ１〜Ｉ４が選択されている。ここで、代表画像Ｉ１〜Ｉ４は、平均ヒストグラムとの差（絶対値）が上位４位となる画像として選択されている。なお、代表画像Ｉ１〜Ｉ４は、平均ヒストグラムとの差が上位４位となる画像に代えて、下位４位となる画像、平均的な画像、平均的な画像と最大または最小となる画像の組合せ等として選択されてもよい。例えば、図９に示す例では、平均ヒストグラムとの差が上位４位となる画像Ｐ１、Ｐ４、Ｐ８、Ｐ１２が選択されている。
【００６２】
そして、選択された代表画像Ｉ１〜Ｉ４からなる構成画像ＣＩが生成されている。ここで、構成画像ＣＩは、代表画像Ｉ１〜Ｉ４を最適縮小率Ｒｒｏｐｔで縮小し、代表画像Ｉ１〜Ｉ４の出現順序に従って２×２行列状に並べた画像として生成されている。
【００６３】
［２−３．まとめ］
第1の実施形態によれば、構成画像ＣＩの表示占有率Ｒｏを最大化するように選択された最適表示数Ｎｏｐｔの画像グループＧｐの代表画像Ｉを用いることで、動画像ＭＰの構成の一覧性および構成画像ＣＩの視認性を確保可能な構成画像ＣＩを生成することができる。特に、動画像ＭＰ中の複数の画像を最適表示数Ｎｏｐｔの画像グループＧｐに区分し、各画像グループＧｐから代表画像Ｉを選択することで、動画像ＭＰの時間的コンテクストにおいて偏りのない代表画像Ｉを用いた構成画像ＣＩを生成することができる。
【００６４】
＜第２の実施形態＞
つぎに、図１０から図１３を参照して、本発明の第２の実施形態について説明する。なお、以下では、第１の実施形態と重複する説明は省略する。
【００６５】
［３−１．動画像処理装置２の構成］
まず、図１０を参照して、第２の実施形態に係る動画像処理装置２の構成について説明する。図１０に示すように、第２の実施形態に係る動画像処理装置２は、データ取得部１１、表示最適化部１３、画像区分部１５、代表画像選択部１７、構成画像生成部１９、構成画像出力部２１、およびデータ記憶部２３の他に、カット遷移検出部２５および代表カット選択部２７を含んで構成される。
【００６６】
カット遷移検出部２５は、データ取得部１１から供給される動画像データＭＰに基づき、複数のカットを含む動画像ＭＰ中のカット遷移を検出し、検出結果を代表カット選択部２７に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、画像に付随する音声の音量・音調・旋律、画像の輝度・色、画像間の相関、画像中での被写体の動き、画像処理・画像検出の結果またはこれらの組合せ等を用いることができる。なお、カット遷移の検出時に求められた特徴量は、データ記憶部２３等に格納され、他の処理に利用されてもよい。
【００６７】
代表カット選択部２７は、カット遷移の検出結果および動画像データＭＰに基づき、複数のカットから最適表示数Ｎｏｐｔの代表カットを選択し、選択結果を代表画像選択部１７に供給する。代表カットとは、動画像ＭＰ中の複数のカットを代表するカットを意味する。代表カットは、カット中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき選択される。特徴量は、カット中の特定位置の画像の特徴量として求められてもよく、カット中の複数の画像の特徴量の平均値として求められてもよい。なお、代表カットの選択時に求められた特徴量は、データ記憶部２３等に格納され、他の処理に利用されてもよい。
【００６８】
ここで、上記機能構成において、カット遷移検出部２５および代表カット選択部２７は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。
【００６９】
［３−２．動画像処理装置２の動作］
つぎに、図１１から図１３を参照して、第２の実施形態に係る動画像処理装置２の動作について説明する。
【００７０】
図１１には、動画像処理装置２の全体的な動作手順が示されている。まず、第１の実施形態と同様に、データ取得部１１では、設定情報が取得され（ステップＳ１１）、表示最適化部１３では、構成画像ＣＩの表示が最適化され（ステップＳ１３）、最適化結果がカット遷移検出部２５に供給される。
【００７１】
表示の最適化が終了すると、図１１に示すように、データ取得部１１では、複数のカットを含む動画像データＭＰが取得され（ステップＳ５１）、カット遷移検出部２５に供給される。カット遷移検出部２５では、動画像データＭＰからカット間の遷移が検出され（ステップＳ５３）、検出結果が代表カット選択部２７に供給される。なお、ステップＳ５１、Ｓ５３の処理は、ステップＳ１１、Ｓ１３の処理の前に行われてもよい。代表カット選択部２７では、複数のカットから最適表示数Ｎｏｐｔの代表カットが選択され（ステップＳ５５）、選択結果が代表画像選択部１７に供給される。
【００７２】
代表画像選択部１７では、動画像データＭＰおよび代表カットの選択結果に基づき、各代表カットの代表画像Ｉが選択され（ステップＳ５７）、選択結果が構成画像生成部１９に供給される。なお、代表画像Ｉは、第１の実施形態の場合と同様に選択される。構成画像生成部１９では、動画像データＭＰおよび代表画像Ｉの選択結果に基づき、構成画像ＣＩが生成される（ステップＳ５９）。構成画像ＣＩは、最適表示数Ｎｏｐｔの代表カットの代表画像Ｉを最適縮小率Ｒｒｏｐｔで縮小し、代表カットの出現順序に従って並べた画像として生成される。
【００７３】
図１２には、動画像ＭＰの構成例が示されている。図１２に示す例では、動画像ＭＰが６カットの画像Ｃ１〜Ｃ６からなる。なお、各カットＣ１〜Ｃ６は、任意フレーム数の画像から構成されている。
【００７４】
図１３には、構成画像ＣＩの生成例が示されている。図１３に示す例では、画像Ｃ１〜Ｃ６について、動画像データＭＰの画像処理に基づき、各カットＣ１〜Ｃ６の最初のフレームの画像（最初画像）Ｐ１〜Ｐ６の画面輝度を正規化して表すヒストグラムが算出され、さらに６カットの平均ヒストグラムが算出される。ヒストグラムでは、最初画像Ｐ１〜Ｐ６に含まれる画素の輝度を所定の輝度間隔で区分した場合における区分毎の頻度が表されている。図１３には、最初画像Ｐ１〜Ｐ６とともに、各最初画像Ｐ１〜Ｐ６の正規化ヒストグラムおよび平均ヒストグラムが示されている。
【００７５】
つぎに、カットＣ１〜Ｃ６から最適表示数Ｎｏｐｔ＝４の代表カットＣ１、Ｃ３、Ｃ５、Ｃ６が選択されている。ここで、代表カットは、最初画像Ｐ１〜Ｐ６の平均ヒストグラムとの差（絶対値）が上位４位となるカットとして選択されている。なお、代表カットは、平均ヒストグラムとの差が上位４位となるカットに代えて、下位４位となるカット、平均的なカット、平均的なカットと最大または最小となるカットの組合せ等として選択されてもよい。例えば、図１３に示す例では、平均ヒストグラムとの差が上位４位となるカットＣ１、Ｃ３、Ｃ５、Ｃ６が選択されている。
【００７６】
そして、選択された代表カットＣ１、Ｃ３、Ｃ５、Ｃ６から代表画像Ｉ１、Ｉ２、Ｉ３、Ｉ４が各々に選択され、代表画像Ｉ１〜Ｉ４からなる構成画像ＣＩが生成されている。なお、代表カットの代表画像Ｉは、代表カットの最初画像Ｐと同一の画像でもよく、最初画像Ｐとは異なる画像でもよい。ここで、構成画像ＣＩは、代表カットＣ１、Ｃ３、Ｃ５、Ｃ６の代表画像Ｉ１〜Ｉ４を最適縮小率Ｒｒｏｐｔで縮小し、代表カットＣ１、Ｃ３、Ｃ５、Ｃ６の出現順序に従って２×２行列状に並べた画像として生成されている。
【００７７】
［３−３．まとめ］
第２の実施形態によれば、構成画像ＣＩの表示占有率Ｒｏを最大化するように選択された最適表示数Ｎｏｐｔの代表カットの代表画像Ｉを用いることで、複数のカットを含む動画像ＭＰの構成の一覧性および構成画像ＣＩの視認性を確保可能な構成画像ＣＩを生成することができる。特に、動画像ＭＰ中の複数のカットから最適表示数Ｎｏｐｔの代表カットを選択することで、動画像ＭＰのカット構成において偏りのない代表画像Ｉを用いた構成画像ＣＩを生成することができる。
【００７８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７９】
例えば、上記実施形態では、構成画像ＣＩが最適表示数Ｎｏｐｔ＝４の代表画像Ｉを２×２行列に並べた画像として説明されている。しかし、構成画像ＣＩは、その表示条件に応じて、異なる最適表示数Ｎｏｐｔで生成されてもよく、また最適表示数Ｎｏｐｔが同一の場合でも、異なる行列で代表画像Ｉを並べた画像として生成されてもよい。
【符号の説明】
【００８０】
１、２    動画像処理装置
１１    データ取得部
１３    表示最適化部
１５    画像区分部
１７    代表画像選択部
１９    構成画像生成部
２１    構成画像出力部
２３    データ記憶部
２５    カット遷移検出部
２７    代表カット選択部
ＭＰ    動画像（データ）
Ｉ    代表画像
Ｎｏｐｔ    最適表示数
Ｒｒｏｐｔ    最適縮小率
ＣＩ    構成画像
Ａｄ    表示領域
Ｒｏ    表示占有率
Ｇｐ    画像グループ
Ｃ    カット
【図１】
2012060239.tif 000003
【図２】
2012060239.tif 000004
【図３】
2012060239.tif 000005
【図４】
2012060239.tif 000006
【図５】
2012060239.tif 000007
【図６】
2012060239.tif 000008
【図７】
2012060239.tif 000009
【図８】
2012060239.tif 000010
【図９】
2012060239.tif 000011
【図１０】
2012060239.tif 000012
【図１１】
2012060239.tif 000013
【図１２】
2012060239.tif 000014
【図１３】
2012060239.tif 000015