(57)【要約】  大量・多数の静止画像や動画像を、手間をかけずに短時間で確認・観賞するために、動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部（１０２）と、シーン情報に基づいて、ダイジェスト動画像を生成するダイジェスト動画像生成部（１０３）とを備える映像編集装置（１００）であって、ダイジェスト動画像生成部（１０３）は、ダイジェスト動画像を生成する際に各シーンを使用するか否か、複数のシーンを同一フレーム内に配置するか否か、および複数シーンを同一フレーム内に配置する際のシーンの空間的配置パターンを決定する。
2015125815.tif 000002
【特許請求の範囲】
【請求項１】
動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部と、
前記シーン情報に基づいて、前記画像データ群のダイジェスト動画像を生成するダイジェスト動画像生成部とを備える映像編集装置であって、
前記ダイジェスト動画像生成部は、前記シーン情報に基づいて、ダイジェスト動画像を生成する際に各シーンを使用するか否か、複数のシーンを同一フレーム内に配置するか否か、および複数シーンを同一フレーム内に配置する際のシーンの空間的配置パターンを決定することを特徴とする、映像編集装置。
【請求項２】
前記ダイジェスト動画像生成部は、時間的に近接する複数シーンのシーン情報を比較し、比較結果に基づいてシーンの種別である主シーンと副シーンを決定し、さらに、時間的に近接するシーン同士のシーンの種別の関係に基づいて、前記複数シーンの空間的配置パターンとして、少なくとも、
２つ以上の主シーン同士を同一フレーム内に配置する「並列配置」パターン、
主シーンと副シーンを、主シーンを画面中央領域に配置し、副シーンを主シーンの領域周辺に位置するように配置する「中央配置」パターン、
主シーンをフレーム全体に表示し、その一部の領域に副シーンが重畳されるように配置する「子画面配置」パターン、のいずれかから選択して決定することを特徴とする、請求項１に記載の映像編集装置。
【請求項３】
前記ダイジェスト動画像生成部は、主シーンを画面中央領域に配置し、副シーンを主シーンの領域周辺に位置するように配置する「中央配置」パターンを選択した際に、副シーンに空間フィルタを適用して、画像の精鋭度もしくは色調に関して主シーンの領域と差をつけることを特徴とする、請求項２に記載の映像編集装置。
【請求項４】
前記ダイジェスト動画像生成部はさらに、ダイジェスト動画像の生成対象である画像データ群の単位で、ダイジェスト動画像の生成回数をカウントし、生成回数に応じて複数シーンを配置する際の配置パターンを変化させることを特徴とする、請求項１から３の何れか１項に記載の映像編集装置。
【請求項５】
前記シーン情報生成部は、シーン単位で、画像フレーム内における特徴領域の数を示す情報である「領域数」と、前記特徴領域のうち面積が最大である領域の大きさを示す情報である「最大領域サイズ」と、前記特徴領域のうち面積が最大である領域の画像内の位置を示す情報である「最大領域位置」とを、前記シーン情報の一部として生成し、
前記ダイジェスト動画像生成部は、複数のシーンを同一フレーム内に配置する際に、前記シーン情報で示される各情報に基づいて、主シーンとして切り出す画像領域や、副シーンに空間フィルタを適用する際のフィルタの強度を可変させることを特徴とする、請求項１から４の何れか１項に記載の映像編集装置。
【請求項６】
前記映像編集装置は、ダイジェスト動画像を出力する出力デバイスの特性を含む出力条件に基づいてダイジェスト動画像の生成方針を決定し、決定した生成方針を前記ダイジェスト動画像生成部へ通知する出力制御部をさらに備え、
前記ダイジェスト動画像生成部は、前記生成方針および前記シーン情報に基づいて、ダイジェスト動画像を生成することを特徴とする、請求項１から５の何れか１項に記載の映像編集装置。
【請求項７】
前記映像編集装置は、画像データが有する撮影時の条件を示すメタデータに基づいて、画像データをイベント単位に分類する画像データ分類部と、
イベント単位に分類された画像データから、メタデータが所定の条件に従う画像データで構成される画像データ群をダイジェスト動画像の生成対象として選択するイベント選択部とをさらに備え、
前記ダイジェスト動画像生成部は、前記イベント選択部によって選択された画像データ群を入力としてダイジェスト動画像を生成することを特徴とする、請求項１から６の何れか１項に記載の映像編集装置。
【請求項８】
画像データ群に基づいて、ダイジェスト動画像の再生時間候補を導出する再生時間候補導出部と、
前記再生時間候補をユーザに提示し、ユーザイベントに基づいて指定時間を設定する再生時間候補表示部と、
動画像を含む画像データ群を、１つ以上のシーンに分割するシーン情報生成部と、
前記シーンに基づいて、画像クリップを生成し、前記画像クリップを時間的に結合することでダイジェスト動画像を生成するダイジェスト動画像生成部と
を備える映像編集装置であって、
前記ダイジェスト動画像生成部は、
前記ダイジェスト動画像の再生時間が前記指定時間となるような調整を実施すること
を特徴とする、映像編集装置。
【請求項９】
前記ダイジェスト動画像生成部は、
前記指定時間が短くなるにつれて、動きの少ない前記画像クリップの再生時間を短くすること
を特徴とする、請求項８に記載の映像編集装置。
【請求項１０】
前記ダイジェスト動画像生成部は、
前記画像クリップのフレームを間引くことで再生時間を短くすること
を特徴とする、請求項９に記載の映像編集装置。
【請求項１１】
前記ダイジェスト動画像生成部は、
前記指定時間が長くなるにつれて、動きの少ない前記画像クリップの再生時間を長くすること
を特徴とする、請求項８に記載の映像編集装置。
【請求項１２】
前記ダイジェスト動画像生成部は、
前記画像クリップのフレームを補間することで再生時間を長くすること
を特徴とする、請求項１１に記載の映像編集装置。
【請求項１３】
前記ダイジェスト動画像生成部は、
前記シーンを単独で使用する単独シーンか複数のシーンを組み合わせて使う複数シーンの何れかに分類し、
前記指定時間が短くなるにつれて、前記ダイジェスト動画像を構成する前記複数シーンの割合が大きくなること
を特徴とする、請求項８に記載の映像編集装置。
【請求項１４】
動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部と、
ダイジェスト動画像の生成方針を決定し、決定した生成方針をダイジェスト動画像生成部へ通知する出力制御部と、
前記シーン情報および前記生成方針に基づいて、複数シーンを画面内に空間的に配置したシーン（以下、組合せシーンとする）を含む、前記画像データ群のダイジェスト動画像を生成するダイジェスト動画像生成部と、
映像および操作用の情報を表示する映像表示部と、
前記ダイジェスト動画像を再生して前記映像表示部に出力するダイジェスト動画像編集制御部と、
外部からの操作入力を検出する操作部とを備える映像編集装置であって、
前記操作部により検出された操作入力により前記ダイジェスト動画像の構成を変更することを特徴とする映像編集装置。
【請求項１５】
前記映像編集装置は、前記操作入力により指定されたシーンもしくは組み合わせシーンを構成する一部のシーンを前記ダイジェスト動画像から削除することを特徴とする、請求項１４に記載の映像編集装置。
【請求項１６】
前記映像編集装置は、前記操作入力により指定された組合せシーンの空間的配置パターンを変更することを特徴とする、請求項１４に記載の映像編集装置。
【請求項１７】
前記映像編集装置は、前記操作入力により指定された領域に対し、動画像にフィルタをかけることを特徴とする、請求項１４に記載の映像編集装置。
【請求項１８】
前記映像編集装置は、前記操作入力により、新たに撮影した画像データを前記ダイジェスト動画像に追加することを特徴とする、請求項１４に記載の映像編集装置。
【請求項１９】
前記映像編集装置は、前記操作入力により指定された組合せシーンから、前記組合せシーンを構成するいずれかのシーンを、単独のシーンとして前記ダイジェスト動画像において前記組合せシーンの時間的に前または後に挿入することを特徴とする、請求項１４に記載の映像編集装置。
【請求項２０】
前記映像編集装置は、前記ダイジェスト動画像の再生時における操作入力により、前記ダイジェスト動画像の生成に用いた画像および、前記画像の空間的および時間的な配置を示す情報を用いて、前記ダイジェスト動画像の内容を変更することを特徴とする、請求項１４から１９の何れか１項に記載の映像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像や静止画像などの映像情報を自動的に編集する映像編集装置に関する。
【背景技術】
【０００２】
デジタルカメラやスマートフォン等、静止画像や動画像などの撮影機能を有する映像機器の普及と、メモリカード等の記録メディアの大容量化を背景に、気軽に映像情報を撮りためることができるようになっている。このような映像機器のユーザが撮りためた映像情報の活用手段の一つとして、ダイジェスト動画像の生成がある。ダイジェスト動画像は、多数あるいは長時間の動画像を入力とし、その全てを観賞する代わりに要約的にあるいは部分的に観賞できるように再構成した、比較的短時間の動画像である。【０００３】
特許文献１には、ダイジェスト動画像と静止画像を同時にまた連続的に表示する画像表示装置を開示している。特許文献１では、映画フィルムのコマ状に配置された領域に、連続的に配置された静止画像もしくは動画像を割り当て、複数の画像を同時に観賞することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国公開特許公報「特開２０１０−２５８７６８号公報（公開日：２０１０年１１月１１日）」
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のダイジェスト動画像生成およびその表示装置には以下のような問題点がある。なおこれ以降、当明細書にて「画像」と記述する場合、特に注記がなければそれは静止画像および動画像のいずれかまたは両方を意味する。「画像ファイル」、「画像データ」も同様である。【０００６】
特許文献１において、表示したい静止画像や動画像は、一旦画面上にサムネイル画像を表示し、表示された画像の中から選ぶ必要がある。撮影された画像の数が少なければそれで特に問題はないが、大量・多数の画像が撮りためられて整理されていないような場合は、ユーザは膨大なサムネイル画像の中から一つ一つ画像を選択する必要が生じる。画像の数が多くなればなるほど、その選択作業に必要な手間や労力は増してゆき、ユーザの負担となる。また、静止画像が対象であればサムネイル画像から内容の把握は容易であるが、動画像が対象だとサムネイル画像からは内容の把握がしにくい場合もある。そのような場合には、ユーザが手間をかけて選んだわりに適切な画像を選択できない、といった不満につながる。【０００７】
また、特許文献１では、表示装置上に固定的に配置された表示領域に静止画もしくは動画を分離して表示するため、表示が単調であり、飽きやすいという課題が有る。また、スマートフォンや小型のタブレットＰＣなど、画面の小さな表示装置では、表示領域が狭いために分離して表示した各画像が見にくい、という課題がある。【０００８】
本発明は上記の点に鑑みてなされたものであり、画像の内容を確認または観賞しようとすると長時間かかったり、操作の手間がかかるような大量・多数の静止画像や動画像を、手間をかけずに短時間で確認・観賞することができる、映像編集装置または方法を提供する。
【課題を解決するための手段】
【０００９】
前述の課題を解決するために、本発明による映像編集装置は、動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部と、前記シーン情報に基づいて、前記画像データのダイジェスト動画像を生成するダイジェスト動画像生成部とを備える映像編集装置であって、前記ダイジェスト動画像生成部は、前記シーン情報に基づいて、ダイジェスト動画像を生成する際に各シーンを使用するか否か、複数のシーンを同一フレーム内に配置するか否か、および複数シーンを同一フレーム内に配置する際のシーンの空間的配置パターンを決定することを特徴としている。【００１０】
また、前述の課題を解決するために、本発明による映像編集装置は、画像データ群に基づいて、ダイジェスト動画像の再生時間候補を導出する再生時間候補導出部と、前記再生時間候補をユーザに提示し、ユーザイベントに基づいて指定時間を設定する再生時間候補表示部と、動画像を含む画像データ群を、１つ以上のシーンに分割するシーン情報生成部と、前記シーンに基づいて、画像クリップを生成し、前記画像クリップを時間的に結合することでダイジェスト動画像を生成するダイジェスト動画像生成部とを備える映像編集装置であって、前記ダイジェスト動画像生成部は、前記ダイジェスト動画像の再生時間が前記指定時間となるような調整を実施することを特徴としている。【００１１】
また、前述の課題を解決するために、本発明による映像編集装置は、動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部と、ダイジェスト動画像の生成方針を決定し、決定した生成方針を前記ダイジェスト動画像生成部へ通知する出力制御部と、前記シーン情報および前記生成方針に基づいて、複数シーンを画面内に空間的に配置したシーン（以下、組合せシーンとする）を含む、前記画像データ群のダイジェスト動画像を生成するダイジェスト動画像生成部と、映像および操作用の情報を表示する映像表示部と、前記ダイジェスト動画像を再生して前記映像表示部に出力するダイジェスト動画像編集制御部と、外部からの操作入力を検出する操作部とを備える映像編集装置であって、前記操作部により検出された操作入力により前記ダイジェスト動画像の構成を変更することを特徴としている。
【発明の効果】
【００１２】
本発明によれば、大量・多数の静止画像や動画像を、手間をかけずに短時間で確認・観賞することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る映像編集装置の内部構成を示す概略図である。
【図２】本発明によるシーン情報の一例を示す図である。
【図３】本発明によるダイジェスト動画像の生成過程を示す概念図である。
【図４】本発明によるシーン情報とシーンの種類の一例を示す図である。
【図５】本発明によるダイジェスト動画像の表示例を示す図である。
【図６】本発明によるダイジェスト動画像の別の表示例を示す図である。
【図７】ダイジェスト動画像生成部の内部構成を示す概略図である。
【図８】本発明の第３の実施例に係る映像編集装置およびダイジェスト動画像生成部の内部構成を示す概略図である。
【図９】本発明の第３の実施例における人物情報の概念図である。
【図１０】本発明の第３の実施例におけるシーン情報の一例を示す図である。
【図１１】本発明の第３の実施例におけるシーン配置の例を示す図である。
【図１２】本発明の第３の実施例におけるシーン配置の別の例を示す図である。
【図１３】本発明の第３の実施例におけるシーン配置の別の例を示す図である。
【図１４】本発明の第３の実施例におけるシーン情報とフィルタ強度の関係の例を示す図である。
【図１５】本発明における画像データ群の分類の例を示す図である。
【図１６】本発明において編集対象の画像データ群を選択する際の表示画面の一例を示す図である。
【図１７】本発明の第４の実施例に係る映像編集装置およびダイジェスト動画像生成部の内部構成を示す概略図である。
【図１８】本発明の第４の実施例に係る映像編集装置が生成するタイトル画面と画像クリップの例を示す図である。
【図１９】本発明によるランドスケープ画面用のシーン配置の例を示す図である。
【図２０】本発明によるポートレート画面用のシーン配置の例を示す図である。
【図２１】本発明によるランドスケープ画面用のシーン配置に使用する画像領域の決定過程を示す図である。
【図２２】本発明によるポートレート画面用のシーン配置に使用する画像領域の決定過程を示す図である。
【図２３】本発明の第５の実施例に係る映像編集装置の内部構成を示す概略図である。
【図２４】本発明の第５の実施例に係るダイジェスト動画像の再生時間を指定するユーザインターフェースの一例を示す図である。
【図２５】本発明の第５の実施例によるダイジェスト動画像の生成過程を示す概念図である。
【図２６】本発明の第５の実施例によるダイジェスト動画像の再生時間と指定時間の説明をするための概念図である。
【図２７】本発明の第５の実施例に係るダイジェスト動画像生成部の内部構成を示す概略図である。
【図２８】画像クリップの再生時間を短くする処理を説明するための概念図である。
【図２９】画像クリップの再生時間を長くする処理を説明するための概念図である。
【図３０】本発明の第６の実施例に係るダイジェスト動画像生成部の内部構成を示す概略図である。
【図３１】本発明の第７の実施例に係る映像編集装置の内部構成を示す概略図である。
【図３２】本発明の第７の実施例に係るダイジェスト動画像編集の処理を示すフロー図である。
【図３３】本発明の第７の実施例によるダイジェスト動画像の編集操作例を示す図である。
【図３４】本発明の第８の実施例によるダイジェスト動画像の別の編集操作例を示す図である。
【図３５】本発明の第８の実施例によるダイジェスト動画像のシーン削除操作の前後におけるダイジェスト動画像の変化例を示す図である。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
【００１５】
図１は、本発明に係る第１の実施形態である映像編集装置の構成を示す概略図である。映像編集装置１００は、画像データ分類部１０１、シーン情報生成部１０２、ダイジェスト動画像生成部１０３、イベント選択部１０４、および出力制御部１０５を含んで構成される。映像編集装置１００はさらに、図示は省略するが、画像データを格納するデータ記録部や、画像を表示する映像表示部を内部に備えてもよいし、それらと同様の機能を備えるデータ記録装置や映像表示装置を、外部に接続可能な構成であってもよい。
【００１６】
画像データ分類部１０１は、画像データを分類する。画像データは、動画像を記録したデータであって、動画像の再生時間、撮影もしくは作成された日時を示す日時情報、撮影・作成された際の場所（位置）を示す位置情報、撮影もしくは作成したユーザまたは機器を示す作成者情報などのメタデータを含む電子データである。各画像データは、図示しない記録メディアに格納された電子ファイルであってもよく、あるいは、撮影装置から入力された画像・音声信号を含むデジタルデータであってもよい。また、画像データに静止画像を含んでいても構わない。
【００１７】
画像データ分類部１０１は、画像データに含まれるメタデータに基づいて、各画像を所定の条件に合致する一つ以上の画像データ群に分類する。例えば、同一の年月日に撮影された画像データを、一つの画像データ群として分類する。さらに、撮影した際の位置情報も参照し、撮影日時が同一の年月日であって、かつ位置情報が所定の範囲内である複数の画像データを、一つの画像データ群として分類してもよいし、撮影日時が異なっても撮影時の位置情報が所定の範囲内である複数の画像データを、一つの画像データ群として分類してもよい。また、例えば、位置情報が所定の範囲内であって作成者情報が同一である複数の画像データを、一つの画像データ群として分類してもよい。
【００１８】
図１５に、画像データ分類部１０１によって分類される画像データ群の例を示す。データ記録部３０内に、画像データ１１、１２、１３、…１ｎ、２１、２２、２３、…２ｎ等が格納されているものとする。画像データ群１０は、画像データ１１、１２、１３、…１ｎを含んで構成され、画像データ群２０は、画像データ２１、２２、２３、…２ｎを含んで構成される。画像データ１１、１２、１３、…１ｎは、各画像データに含まれるメタデータ１１ａ、１２ａ、１３ａ…のうち、日時情報が「２０１４年０１月０１日」、位置情報が「自宅周辺」である点が共通である。画像データ群１０は、このような、日時情報（撮影日）および位置情報が同一である画像データ１１、１２、１３…を一つの画像データ群として分類した例である。画像データ２１、２２、２３、…２ｎは、各画像データに含まれるメタデータ２１ａ、２２ａ、２３ａ…のうち、日時情報は２０１４年０１月０２日から２０１４年０１月０５日の範囲で異なるが、位置情報が「ハワイ島」である点が共通である。画像データ群２０は、このような、日時情報（撮影日）は異なるが、位置情報が所定範囲内である画像データ２１、２２、２３…を一つの画像データ群として分類した例である。画像データ分類部１０１は、このように分類した画像データ群を示す情報として、画像データ群識別情報１０Ａ、２０Ａを生成する。画像データ群識別情報１０Ａ、２０Ａは、画像データ群を識別するために、画像データ群の名称と、その画像データ群に含まれる画像データを示す情報を含んで構成される。図１５の例では、画像データ分類部１０１は、画像データ群１０の名称として「２０１４年０１月０１日  自宅周辺」という文字列を与える。また、画像データ群２０の名称として、「２０１４年０１月０２日〜０５日  ハワイ島」という文字列を与える。また、図では省略したが、画像データ群識別情報１０Ａ、２０Ａを構成する情報として、画像データ群に含まれる各画像データの名称（図中で、/data/DSC_1001.mov等のファイル名）の他に、撮影日時も含むように画像データ群識別情報を構成してもよい。
【００１９】
図１に戻って、シーン情報生成部１０２は、画像データを分析して、画像信号や音声信号で特徴づけられる１つ以上のシーンに分類し、シーン単位の特徴を示す情報であるシーン情報を生成する。シーン情報は、例えば、画像内の時間方向の変化を示す動き情報、画像内に現れる人物の領域の数や大きさを示す人物情報、または音声信号内の発話区間の有無や長さを示す会話情報などを含んで構成される。シーン情報生成部１０２および生成されるシーン情報の詳細については後述する。
【００２０】
ダイジェスト動画像生成部１０３は、画像データ分類部１０１によって分類された画像データ群の単位で、シーン情報生成部１０２によって生成されたシーン情報を読み込み、画像データの撮影・作成の時系列に沿って、ダイジェスト動画像を生成する。画像データ群が複数ある場合は、後述するイベント選択部１０４が選択した画像データ群を対象として、ダイジェスト動画像を生成する。また、ダイジェスト動画像生成部１０３は、ダイジェスト動画像を生成する際に、後述する出力制御部１０５から通知される生成方針に従って、ダイジェスト動画像を生成する。映像編集装置１００は、生成したダイジェスト動画像を、映像編集装置１００に内蔵された映像表示部または外部接続された映像表示装置へ出力するか、内蔵されたデータ記録部または外部接続されたデータ記録装置へ出力する。ダイジェスト動画像生成部１０３の動作の詳細については後述する。
【００２１】
（イベント選択部）
イベント選択部１０４は、画像データ分類部１０１で分類された画像データ群の内、どの画像データ群を編集対象とするかを決定する。例えば、ダイジェスト動画像の自動編集を行う編集日を基準にして、前日に撮影された画像データ群、すなわち撮影日時が編集日の前日である画像データ群を編集対象に決定する。また、編集日ではなく、ユーザが指定する指定日時を基準として、撮影日時がその指定日時の前後の画像データ群を編集対象に決定しても良い。イベント選択部１０４が編集対象と決定する画像データ群は、日時情報だけでなく、位置情報や作成者情報に基づいてもよい。例えば、ユーザが指定する位置情報またはその位置を含む所定範囲内の位置情報を有する画像データを含む画像データ群を、編集対象に決定してもよい。あるいは、所定範囲内の位置情報を有する画像データを含む画像データ群が、異なる作成者別に複数ある中で、特定の作成者情報を有する画像データ群のみを編集対象に決定してもよいし、逆に、特定の作成者情報を有する画像データ群を除外した画像データ群を、編集対象に決定してもよい。イベント選択部１０４が編集対象として決定する画像データ群は、１つとは限らず、２つ以上でもよい。なお、イベント選択部１０４が、編集対象とする画像データ群を決定するタイミングとして、一日の切り替わりをトリガにしてもよい。例えば、午前０時を過ぎた時点で、その前日に撮影された画像データ群を編集対象と決定してもよい。また、イベント選択部１０４が、編集対象とする画像データ群を決定する方法の別の例として、ユーザの選択に従って決定してもよい。例えば、イベント選択部１０４は、画像データ分類部１０１によって分類された一つ以上の画像データ群を示す情報を、図示しない表示部に表示する。画像データ群を示す情報は、例えば、画像データ群の撮影日や作成者を表す文字列でもよいし、画像データ群に含まれる撮影位置情報の範囲を示した地図画像上のアイコンやサムネイル画像でもよい。ユーザは表示された情報の中から、ダイジェスト動画像の編集対象としたい画像データ群を指定する。イベント選択部１０４は、ユーザが指定した画像データ群を、編集対象の画像データ群とするように決定する。イベント選択部１０４は、決定した画像データ群を示す情報（選択情報）を、ダイジェスト動画像生成部１０３へ通知する。
【００２２】
図１６に、編集対象とする画像データ群をユーザが選択して決定する際の、イベント選択部１０４による表示画面の一例を示す。イベント選択部１０４は、図１５で示したような、画像データ分類部１０１によって分類された画像データ群１０、２０、…を示す画像データ群識別情報１０Ａ、２０Ａ、…から、画像データ群の名称を抽出し、それら名称４１、４２、４３、…を含む選択用表示画面４０を出力する。ユーザは、映像編集装置１００に接続または内蔵された操作手段（例えばタッチパネル、マウス、キーボード等）を介して、編集対象としたい画像データ群の名称（４１、４２、４３…等のいずれか）を指定する。イベント選択部１０４は、ユーザが指定した画像データ群の名称（図１６の例では「２０１４年０１月０２日〜０５日  ハワイ島」）もしくは、その名称に対応する画像データ群識別情報（１０Ａ、２０Ａ等）を、画像データ群を示す選択情報として、ダイジェスト動画像生成部１０３へ通知する。
【００２３】
（出力制御部）
出力制御部１０５は、ダイジェスト動画像生成部１０３が生成するダイジェスト動画像の出力先と生成の方針を決定する。出力制御部１０５は、図示しない映像表示装置の表示画素数や音声出力仕様などを示す能力情報を入力し、能力情報に基づいてダイジェスト動画像の生成方針を決定する。出力先の映像表示装置が複数ある場合、例えば、本実施例の映像編集装置が、ダイジェスト動画像を表示可能な映像表示部を内蔵し、かつ、外部に別の映像表示装置が接続されている場合は、内蔵の映像表示部、外部接続の映像表示装置それぞれに対する、ダイジェスト動画像の生成方針を決定する。また、内蔵か外部出力かに関わらず、生成するダイジェスト動画像を映像として表示するか、データとして符号化して記録メディアに保存するか、あるいは通信メディアを介して外部に出力するか、も決定する。出力制御部１０５は、決定した生成方針をダイジェスト動画像生成部１０３へ通知する。
【００２４】
出力制御部１０５における処理内容の詳細を以下に述べる。出力制御部１０５は、図示しない入力手段によって与えられるダイジェスト動画像の生成方針を構成する情報に基づいて、ダイジェスト動画像の生成方針を決定する。ダイジェスト動画像の生成方針は、出力先情報、出力画像仕様、出力音声仕様、シーン選択基準、複数シーン同時配置を示す情報を含んで構成される、一種のパラメータセットである。以下、出力制御部１０５における、ダイジェスト動画像の生成方針を決定する過程を、上記パラメータごとに説明する。
【００２５】
出力制御部１０５は、出力先の映像表示デバイスが、映像編集装置１００に内蔵された映像表示部であるか、外部に接続された映像表示装置であるかを示す情報を、出力先情報として決定する。出力先が内蔵であるか外部接続であるかは、映像編集装置１００の外部に表示装置が接続されているかどうかを電気的に検知して判定するか、図示しない入力手段によってユーザが指定する。出力制御部１０５は、映像編集装置１００に映像表示部が内蔵されていて、かつ外部に映像表示装置が接続されている場合には、両方を出力先とするように出力先情報を決定してもよい。
【００２６】
出力制御部１０５は、出力先の映像表示デバイスすなわち、映像編集装置に内蔵された映像表示部もしくは外部に接続された映像表示装置の表示画素数などの画像表示仕様を示す情報を、映像表示装置の内部もしくは外部から受け取り、出力画像仕様を決定する。出力画像仕様は、少なくとも出力水平画素数および出力垂直画素数を含んで構成され、基本的には、出力先の映像表示デバイスの水平方向・垂直方向それぞれの表示画素数をそのまま出力水平画素数および出力垂直画素数にそれぞれ設定する。ただし、出力先の映像表示デバイスが、画像をウィンドウ表示するなど、表示デバイスの全画面に画像を表示しないことが判明している場合は、出力先の映像表示デバイスの表示画素数よりも小さな値を、出力水平画素数および出力垂直画素数にそれぞれ設定してもよい。
【００２７】
出力制御部１０５は、出力先の音声出力デバイスすなわち、映像編集装置に内蔵された音声出力部もしくは外部に接続された映像表示装置の音声出力部の音声再生能力を示す情報を、映像表示装置の内部もしくは外部から受け取り、出力音声仕様を決定する。出力音声仕様は、少なくとも出力音声チャネル数を含み、音声出力がステレオに対応していれば出力音声チャネル数＝２、音声出力がステレオに対応していなければ出力音声チャネル数＝１、音声出力機能自体がない場合は出力音声チャネル数＝０を、それぞれ設定する。出力音声仕様は、出力音声チャネル以外にも、サンプリング周波数、量子化ビット数などを含んでいてもよく、いずれの情報も、出力先の音声再生デバイスの音声再生能力で示される情報を設定する。例えば、サンプリング周波数は、３２ｋＨｚ、４４．１ｋＨｚ、４８ｋＨｚ、９６ｋＨｚなどの例があり、量子化ビット数は、８ビット、１６ビット、２４ビットなどの例がある。
【００２８】
出力制御部１０５は、図示しない入力手段によって、ダイジェスト動画像生成に関するユーザの好みを示す情報を受け取り、「人物主体」、「風景主体」などのシーン選択基準を決定する。ユーザの好みを示す情報は、「人物」、「風景」などの言語情報でもよいし、例えば傾向の異なるサムネイル画像の中から選択して得られるような、画像自体を示す情報でもよい。ユーザの好みを示す情報は、単に「人物主体」や「風景主体」だけではなく、顔認識や形状認識に基づく「特定の人物」や「動物」、「花」など主要な被写体を示す情報や、画素値の分布分析に基づく「海辺」、「森林」などの風景の種類を示す情報など、画像の傾向をより詳細に指定する情報でもよい。なお、ユーザの好みを示す情報が特に指定されない場合、出力制御部１０５は、標準のシーン選択基準として「人物主体」を設定してもよい。
【００２９】
出力制御部１０５は、出力先の映像表示デバイスに応じて、複数シーンを同一画像フレーム内に同時に配置することを許容するか否かを示す情報を、「複数シーン同時配置」として設定する。例えば、出力先として映像編集装置に内蔵された映像表示部が有効な場合、複数シーン同時配置を「否」に設定し、出力先として外部に接続された映像表示装置が有効な場合、複数シーン同時配置を「可」に設定する。この判断基準は、映像編集装置に内蔵される表示デバイスは小型であるため（例えば、映像編集装置がスマートフォンである場合）、外部接続する場合は大型の表示デバイスに接続する、という前提によるものである。なお、出力先の表示デバイスの大きさがあらかじめ判明している場合や、表示デバイスの大きさを算出できる情報（例えば、画素密度を示す情報：ｄｐｉ）が得られている場合は、表示デバイスの大きさを算出し、所定の閾値より大きい場合には複数シーン同時配置を「可」に設定し、そうでない場合には複数シーン同時配置を「否」に設定する。
【００３０】
（シーン情報生成部）
次に、シーン情報生成部１０２および生成されるシーン情報の詳細について述べる。図２は、シーン情報生成部が生成するシーン情報の一例である。図２に示したシーン情報２００は、シーンに関する情報を行単位で記述したものであり、各行２０１、２０２、２０３、…の記述がそれぞれ一つのシーンに対応するように構成される。各行２０１、２０２、２０３…で記述される情報は、左から順に、画像ファイル名、撮影年月日、撮影時刻、シーン先頭フレーム番号、シーン終端フレーム番号、人物情報、動き情報、会話情報を示している。画像ファイル名は、各シーンを含む静止画像または動画像のデータの格納場所を示す文字列である。撮影年月日および撮影時刻は、基本的には、各シーンが含まれる画像ファイルが記録された時点の年月日および時刻を示す文字列である。シーン先頭フレーム番号およびシーン終端フレーム番号は、対応する画像ファイルにおける当該シーンの時間範囲（シーン長）を示す情報である。例えばシーン先頭フレーム番号が０、シーン終端フレーム番号が１４９の場合、対応する画像ファイルが３０ｆｐｓの動画像データであれば、ファイル先頭から５秒間のシーンであることを示している。そして、人物情報、動き情報、会話情報は、当該シーンの画像信号・音声信号の特徴を示す情報である。次に、各シーンの画像信号・音声信号の特徴を示す情報である、人物情報、動き情報、会話情報について説明する。
【００３１】
人物情報とは、シーンについて人物の有無を含む情報である。さらに、人数、個人名、姿勢、人物領域のサイズ、複数の人物の分布パターンを示す情報が含まれていてもよい。動き情報は、シーンについて動きの有無や種類を示す情報である。個々のオブジェクトの動きを示していてもよいし、領域毎の動きを示していてもよい。会話情報は、シーンについて音量や音声の種類（無音、人の声、音楽など）を示す情報である。さらに、話者を特定する情報や音楽の種類などの、音源の情報が含まれていてもよい。図２においては、前記３種類の情報は、既定の種類に対応するインデクスの数字として表されている。
【００３２】
人物情報に関しては、例えば、「人物なし（０）」、「主要人物（１）」、「その他人物（２）」の３種類の値をとり得る。人物なし（０）は、そのシーン全体にわたって、人物の姿が全くもしくはほとんど写っていないことを意味する。また、主要人物（１）は、シーン内に人物が１〜２名写っており、かつその領域が所定のサイズより大きいことを意味する。例えば、撮影者が意図を持って特定の人物を撮影したようなシーンが相当する。また、その他人物（２）は、シーン内に人物が写っているが、その数が多いか、もしくは写っている領域が所定のサイズよりも小さいことを意味する。例えば、特定の人物を含む集合写真的なシーンや、誰とは分からなくても人々の動きの様子が分かるように撮影したシーンなどが相当する。
【００３３】
動き情報に関しては、例えば、「動きなし（０）」、「動き一部（１）」、「動き全体（２）」の３種類の値をとり得る。動きなし（０）は、そのシーン全体にわたって、画像としての変化がほとんどないことを意味する。また、動き一部（１）は、そのシーン内で、画像領域の一部に動きがあることを意味する。例えば、固定したカメラの前で人物が踊っているようなシーンが相当する。また、動き全体（２）は、そのシーン内で、画像領域全体にわたる動きがあることを意味する。例えば、カメラ自体を水平に動かしながら撮影したようなシーンが相当する。
【００３４】
会話情報に関しては、例えば、「音なし（０）」、「会話あり（１）」、「その他音声（２）」の３種類の値をとり得る。音なし（０）は、そのシーン全体にわたって、著しく音信号のレベルが低いなど、利用できる音信号が記録されていないことを意味する。また、会話あり（１）は、シーン内で人の会話を含む音声が記録されていることを意味する。また、その他音声（２）は、会話ではないが所定レベル以上の音信号が継続して記録されていることを意味する。例えば、音楽が流れているようなシーンが相当する。
【００３５】
シーン情報生成部１０２は、上記のようなシーン情報を、画像データ内の画像信号や音声信号を解析することによって決定し、生成する。その際、例えば１秒間の長さの単位で画像信号および音声信号を解析し、画像信号・音声信号の特徴を示す前記３種類の情報に変化がない場合には、一つの連続するシーンとしてシーン情報を生成する。一方、前記３種類の情報の内、いずれかに変化が生じた場合は、その変わり目をシーンの切れ目とし、一つの動画データを複数のシーンに分割して、それぞれのシーン情報を生成する。
【００３６】
さらに、シーン情報生成部１０２は、シーン情報生成の過程で、ダイジェスト動画像に含めるには不向きなシーンを除外するようにシーン情報を生成してもよい。例えば、画像信号の解析の過程で、急激な画像全体の動きがある状態やフォーカスがあっていない状態等、画像を見たとしても何を写したものか分からない可能性の高いシーンに関して、シーン情報生成部１０２はシーン情報自体を生成しない。もしくは、シーン情報生成部１０２は当該シーンに対して、ダイジェスト動画像に含めるには適さないことを示すダイジェスト不適のフラグを生成する。これにより、例えばデジタルカメラやスマートフォン等で動画像を撮り始める際に、大きな手ぶれやフォーカスずれが生じた場合等、ダイジェスト動画像に含めるには有益でないシーンを排除することができる。
【００３７】
シーン情報２００において、２０９と２１１は、静止画像であるシーンに対応するシーン情報である。静止画像では、時間の要素がないため、シーンの時間範囲を示す情報である、シーン先頭フレーム番号およびシーン終端フレーム番号は存在しない。また、画像上の動きも音声もないため、動き情報も会話情報も存在しない。これらの存在しない情報に関しては、図２においては、記号＊で表している。一方、人物情報については、シーン情報生成部１０２が、静止画像の画像信号から解析し、動画像と同様に「人物なし（０）」、「主要人物（１）」、「その他人物（２）」のいずれかの情報を与える。
【００３８】
ここで、シーン情報に含まれる情報の内、シーン先頭フレーム番号およびシーン終端フレーム番号と、撮影時刻の関係について説明する。画像ファイルの撮影時刻は通常、画像をファイルとして記録する時刻、すなわち撮影完了時の時刻が記録される。シーン情報生成部１０２が、ある画像ファイルのシーン情報を生成する過程で、画像ファイルを複数のシーンに分割しない場合は、画像ファイルの撮影時刻がそのまま対応するシーンの撮影時刻に相当する。しかし、シーン情報生成部１０２が、一つの画像ファイルを複数シーンに分割した場合には、各シーンの撮影時刻に相当する時刻は、元の画像ファイルの撮影時刻が示す時刻とは一致しないことがある。従って、シーン情報生成部１０２は、一つの画像ファイルを複数シーンに分割した場合には、その画像ファイルに関して記録されている撮影時刻ShootTime、動画像のフレームレートfr_rate、フレーム数FALLと、分割した各シーンのシーン終端フレーム番号Sendとの関係から、各シーンの終端時刻に相当する時刻EndTime（EndTime=ShootTime-(FALL-Send)/fr_rate）を算出して、それをシーンごとの撮影時刻として、シーン情報を生成する。そのようにしておくことで、後でシーン情報を参照する際に、画像ファイル名やフレーム番号は参照せず、撮影年月日および撮影時刻のみを比較することで、各シーンの時間的な前後関係を特定することが可能になる。なお、シーン情報生成部１０２は、各シーンの画像信号または音声信号の解析の過程で各シーンの時間的な長さを取得し、取得したシーン長とそのシーンが含まれる画像データの撮影時刻との比較に基づいて、適切な撮影年月日や撮影時刻が記録されるように調整する。例えば、画像ファイルとしての撮影年月日が２０１４年１月１日、撮影時刻が午前０：０１：００と記録されていても、その画像ファイルの動画像全体の長さが数分間にわたるような場合、その画像ファイルの先頭部分をシーンとして抜き出した場合は、抜き出したシーンの実際の撮影年月日は、画像ファイルの撮影年月日とは異なる２０１３年１２月３１日であり、撮影時刻は例えば２３：５９：００などとなる。このようにして、シーン単位で適切な撮影日時を算出してシーン情報として記録することにより、前述のイベント選択部１０４によって決定される編集対象の画像データ群に含まれるシーンが、適切に選択される。
【００３９】
なお、シーン情報として生成されるシーン先頭フレーム番号およびシーン終端フレーム番号は、画像ファイル内の時間的な位置を特定する別の情報で置き換えてもよい。例えば、シーン先頭フレーム番号およびシーン終端フレーム番号の代わりに、各シーンのシーン開始時刻を示す文字列と、シーン長に対応する時間情報（＝シーン開始時刻からの経過時間）を示す文字列を生成してもよい。あるいは、シーン先頭フレーム番号およびシーン終端フレーム番号の代わりに、シーン先頭を示す画像ファイル内経過時間およびシーン終端を示す画像ファイル内経過時間を、シーン情報として生成してもよい。画像ファイル内経過時間は、例えば画像ファイルの先頭を基準とした秒単位やミリ秒単位もしくは秒単位＋フレーム番号で表す。これら、シーンの時間的な位置を特定する情報は、前述のように文字列で表してもよいし、数値（例えば既定の日時や時刻を基準とした時の経過時間を表す数値）で表してもよい。また、動画像のフレームレートを表す情報を含んでもよい。
【００４０】
図２のシーン情報２００において、人物情報、動き情報、会話情報に関しては、数値で表す例を示したが、各情報の特徴を意味する文字列で表してもよい。例えば、人物情報に関して、「人物なし（０）」を意味する“ＮＯ＿ＨＵＭＡＮ”、「主要人物（１）」を意味する“ＨＥＲＯ”、「その他人物（２）」を意味する“ＯＴＨＥＲＳ”などの文字列で表す。動き情報や会話情報も同様に文字列で表してもよい。
【００４１】
図２のシーン情報２００では、シーン情報、人物情報、動き情報、会話情報を数値（既定の種類に対応するインデクス）で示す例を示した。このように数値インデクスで表す以外にも、既定の種類に対応する文字列で格納してもよいし、単一の数値または文字列ではなく、パラメータ（人数、動きベクトル、周波数毎の音量など）の集合として格納してもよい。さらには、データは可読性のあるテキストデータである必要はなく、バイナリデータでもよい。
【００４２】
（ダイジェスト動画像生成部）
次に、ダイジェスト動画像生成部１０３における処理内容の詳細を述べる。図３は、本実施例の映像編集装置によるダイジェスト動画像の生成過程を示す概念図である。図示の通り、ダイジェスト動画像生成部１０３は、画像データ群３０１のうち、選択された画像データ群３０２を対象として、対応するシーン情報３０３を読み込み、あらかじめ決定されたダイジェスト動画像生成方針３０５に従ってダイジェスト動画像を生成する。ダイジェスト動画像生成の対象となる画像データ群３０２は、例えば、ある一日に撮影された全画像データである。この画像データ群は、前述の通り、画像データ分類部１０１とイベント選択部１０４によって決定される。この場合、イベント選択部１０４は、対象の画像データ群を示す選択情報３０４として、「撮影年月日＝○○年△△月□□日」を意味するパラメータをダイジェスト動画像生成部１０３に通知する。ダイジェスト動画像生成部１０３は、シーン情報生成部１０２によって生成されたシーン情報を先頭から参照し、前記選択情報に該当するシーンのシーン情報を読み込む。次にダイジェスト動画像生成部１０３は、読み込んだシーン情報を撮影年月日と撮影時刻の早い順番で参照し、単独で使用するシーンと、他のシーンと組み合わせて使うシーンなど、シーンの種類を決定する。そしてダイジェスト動画像生成部１０３は、決定したシーンの種類に基づいて、各シーンを空間的に配置した画像データである画像クリップ３０６ａ、３０６ｂ、３０６ｃ、…を生成すると共に、複数の画像クリップを時間的に結合してダイジェスト動画像３０７を生成する。図３において、Ｓ０１、Ｓ０２、Ｓ０３等の表記はそれぞれシーンを表している。また、画像クリップ３０６ａ内の表記「Ｓ０１＋Ｓ０２」は、画像クリップ３０６ａはシーンＳ０１とシーンＳ０２の両方が空間的に配置された画像クリップであることを表す。画像クリップ３０６ａ、３０６ｂ、３０６ｃ等は、少なくとも一つのシーンを含み、適度な（例えば１秒間以上の）長さを有する静止画または動画像である。
【００４３】
図７に、本実施形態におけるダイジェスト動画像生成部１０３の内部構成を示す。ダイジェスト動画像生成部１０３は、対象画像抽出部１０３１、シーン種類決定部１０３２、シーン空間配置部１０３３、シーン時間配置部１０３４、ダイジェスト化制御部１０３５を含んで構成される。
【００４４】
対象画像抽出部１０３１は、イベント選択部１０４から通知される対象の画像データ群を示す選択情報を参照して、ダイジェスト動画像を生成する際の入力画像を抽出する。抽出した画像データを示す情報を、シーン種類決定部１０３２およびシーン空間配置部１０３３へ通知する。シーン種類決定部１０３２は、シーン情報生成部１０２で生成されたシーン情報を参照し、対象画像抽出部１０３１で抽出された画像データを示す情報に対応するシーンのシーン情報を読み込み、シーンの種類を決定する。
【００４５】
図４に、シーン情報と、シーン種類決定部１０３２が決定するシーンの種類の関係の一例を示す。図４は、図２と同様にシーン情報の例を示し、シーン情報４００に含まれる各行４０１、４０２、４０３…が、それぞれ一つのシーンに対応するシーン情報を記述したものである。これ以降、図４に関する説明においては、記述の簡単化のため、各シーン情報４０１、４０２、４０３…は、それぞれシーンそのものを意味するものとしても記述する。
【００４６】
シーン種類決定部１０３２は、シーン情報４００を参照して、撮影時刻の順に連続する２つのシーンの撮影時刻を比較し、両者の撮影時刻の差ΔＴが所定の閾値（シーン近接判定閾値ＴＨｔ）以内であるか超えるか、すなわち時間的に近接するか否かによって、各シーンを、単独で使用する「単独シーン」か、組み合わせて使用する「組み合わせシーン」に決定する。シーン近接判定閾値ＴＨｔは、例えば５分間（＝３００秒）とする。シーン４０１と４０２の撮影時刻の差ΔＴは、ΔＴ＝１分４１秒＝１０１秒＜ＴＨｔであるので、シーン４０１とシーン４０２は「組み合わせシーン」に決定する。同様に、シーン４０３とシーン４０４は、時間的に近接するため「組み合わせシーン」に決定し、シーン４０５とシーン４０６も、時間的に近接するため「組み合わせシーン」に決定する（図４では、点線で囲んだシーン情報のセットが組み合わせシーンを示す）。シーン種類決定部１０３２は、組み合わせシーンに決めた各シーンに関して、さらに次のように主シーンか副シーンに決定する。シーン種類決定部１０３２は、各シーンのシーン情報に含まれる人物情報、動き情報、会話情報を参照し、主要なシーンであると判定したら主シーンに、主要ではないシーンであると判定したら副シーンに、各シーンを分類する。例えば、図４の例では、シーン４０１とシーン４０２は、どちらも人物情報が「主要人物（１）」であるので、両方とも主要なシーンであると判定して主シーンに分類する。シーン４０３は人物情報が「主要人物（１）」であるので、主要なシーンであると判定して主シーンに分類する。シーン４０４は人物情報が「その他人物（２）」であるので、主要なシーンではないと判定して副シーンに分類する。シーン４０５とシーン４０６は、人物情報がそれぞれ「その他人物（２）」、「人物なし（０）」であり、相対的にシーン４０５がシーン４０６に比べて重要度が高く主要なシーンであると判定して、シーン４０５を主シーンに、シーン４０６を副シーンに分類する。
【００４７】
なお、シーン４０５とシーン４０６の例は、いずれのシーンも人物情報が「主要人物」以外であるため、両方とも主要なシーンではないと判定してもよい。その場合、より重要度の低いシーン（上記の例ではシーン４０６）をダイジェストに使用しない、と決定してもよい。そのように決定することによって、時間的に近接した複数の主要でないシーンの一部をダイジェスト動画像に使用しないようにすることができ、生成するダイジェスト動画像の冗長度を軽減することができる。
【００４８】
次に、シーン空間配置部１０３３は、各シーンの空間的な配置を決定し、シーンを空間的に配置した画像クリップを生成する。図５に、シーン空間配置部１０３３によるシーン配置の例を示す。シーン空間配置部１０３３は、前述のようにシーン種類決定部１０３２が決定したシーンの種類および組み合わせシーン同士のシーン情報の関係に基づいて、各シーンの空間的な配置（レイアウト）を決定する。例えば、図４の例で示したシーン４０１とシーン４０２は、両方とも主シーンであるので、互いに同等のサイズで並列に表示する配置である「並列配置」に決定する（図５（ａ））。この時、シーン４０１、４０２はいずれも人物情報が「主要人物（１）」であるため、各シーンの中央領域に人物が写っている可能性が高い。そこで、各シーンの中央領域を切り出して、それぞれ領域５０１、５０２に配置する。
【００４９】
次の例として、シーン４０３とシーン４０４は、それぞれ主シーンと副シーンであるので、主シーンが注目されるように、副シーンを画像フレーム全体に表示しながら、画面中央部分の領域５０３に主シーンの中央領域を重畳表示する配置である「中央配置」に決定する（図５（ｂ））。主シーンの中央領域を重畳表示する理由は、主シーンであるシーン４０３の人物情報が「主要人物（１）」だからである。人物情報が「主要人物（１）」であるシーンは、画像フレーム内において比較的サイズの大きい１〜２名の人物が写っていることを意味する。そのようなシーンは撮影者が意図して特定の人物を撮影した可能性が高く、従って、人物の写っている領域は画像フレームの中央部分である可能性が高い。そこで、人物の写っている領域が注目されるように、主シーン内で人物が写っている可能性の高い中央領域を切り出して、画面中央部分の領域５０３に配置する。なお、図５（ｂ）において、主シーンの中央領域の代わりに、主シーンの画像フレーム全体を縮小して領域５０３に表示してもよい。また、「中央配置」の別の例として、図５（ｄ）に示すような配置を選択してもよい。図５（ｄ）の配置は、副シーンは図５（ｂ）と同様に画像フレーム全体に表示し、主シーンに関しては、その中央領域を図５（ｂ）よりも大きく切り出して領域５０７に配置したものである。図５（ｄ）の配置は、図５（ｂ）と比較すると、副シーンの表示面積が小さくなる。シーン空間配置部１０３３は、例えば副シーンの動き情報が「動き全体（２）」であるような場合に、この配置を選択する。動きの大きなシーンを主シーンの背景領域５０４に表示することで、画像全体として躍動感が演出されると共に、図５（ｂ）と比較すると背景領域５０４の面積が小さいため、観察者が注目する主シーンの領域５０７の観賞を妨げない画像レイアウトで表示することができる。
【００５０】
もう一つの例として、図４に示したシーン４０５とシーン４０６は、それぞれ主シーンと副シーンである点はシーン４０３とシーン４０４の関係と同じであるが、主シーンであるシーン４０５の人物情報が「その他人物（２）」であるため、シーン４０５においては画像の中央領域など特定の領域が重要な意味を持つ可能性は低い。そこで、主シーンを画像フレーム全体に配置しながら、副シーンを縮小した画像を子画面領域５０６として主シーン上に重畳する配置である「子画面配置」に決定する（図５（ｃ））。この時、子画面領域５０６のサイズは、前述の中央配置における主シーンの領域（５０３、５０７）に比べて小さくなるように決定する。その理由は、注目させたいシーンは基本的に主シーンであり、副シーンは特別目立たせないようにするためである。例えば、中央配置である図５（ｂ）における主シーンを配置している領域５０３の大きさは、画像フレーム全体の１／４程度（図５（ｄ）の領域５０７は、水平方向の画素数が画像フレーム全体の水平方向の画素数の１／２程度）に、子画面配置における副シーンを配置している領域５０６の大きさは画像フレーム全体の１／９程度にし、その大きさに合わせて元の画像から切り出し、もしくは元の画像を縮小する。このようにシーンを配置する領域の大きさに差をつけることで、注目させたい領域またはシーンを目立たせることができる。
【００５１】
なお、図５（ｃ）に示した「子画面配置」の別の例を図５（ｅ）に示す。図５（ｅ）の例は、領域５０５に主シーンを配置するのは図５（ｃ）と同様であるが、副シーンを配置する領域５０８を、図５（ｃ）の領域５０６とは異なる空間的な位置に変えたものである。図５（ｃ）、図５（ｅ）の子画面配置は、いずれも主シーンへの注目を妨げないような領域に副シーンを配置することを特徴としている。図５（ｃ）の配置ではなく図５（ｅ）の配置に決定する場合の例としては、シーン情報生成部１０２におけるシーン解析の過程で、主シーンを配置している領域５０５上の領域５０６に、人物または人物の一部が写っていることが判明したような場合である。そのような場合には、副シーンを重畳する領域を領域５０６ではなく領域５０８に変えることで、主シーンを配置している領域５０５上の人物領域を副シーンで隠してしまわないようにする。このようにシーンの配置を変えることにより、主シーンに写っている主要な画像領域への注目を妨げないようにすることができる。
【００５２】
さらに、一部のシーンに空間フィルタを適用し、主シーンと副シーンの違いを強調した画像にしてもよい。例えば図５（ｂ）、（ｄ）の領域５０４に平滑化フィルタを施すことによって画像の鮮鋭度を落とすと、主シーンを表示した中央領域と副シーンを表示した周辺領域との違いが一目で分かるようになり、注目すべき領域がより明確になる。このような空間フィルタを適用するか否かは、例えば、主シーンと副シーンの画像の類似性に基づいて決定する。例えば、シーン空間配置部１０３３は、主シーンと副シーンの類似性が高い場合には、副シーンに平滑化フィルタを施し、類似性が低い場合には、副シーンに平滑化フィルタを施さない。例えば、図５（ｂ）、（ｄ）のような中央配置において、主シーンの領域５０３または５０７と副シーンの領域５０４それぞれの画像内の画素値の色成分ごとの平均値を比較し、平均値の差分が所定値より小さい場合、すなわち領域５０３、５０７と領域５０４の間で画素値の類似度が高い場合に、領域５０４に空間フィルタを施すと決定する。これによって、空間フィルタを施さない場合と比較して、領域５０３や５０７すなわち主シーンに注目しやすくなり、全体として見やすい画像にすることができる。なお、空間フィルタは平滑化フィルタに限らず、領域ごとの色調を変える色変換フィルタでもよい。例えば、シーン空間配置部１０３３は副シーンをグレイスケールやいわゆるセピア調に変換しても良い。領域５０４の画像を色変換によってグレイスケールやいわゆるセピア調にすると、主シーンである領域５０３、５０７を目立ちやすくすることができる。あるいは、シーン空間配置部１０３３は、空間フィルタを施すのではなく、領域５０４の画像の時間方向の変化をゼロにする、すなわち静止画にすることで、主シーンである領域５０３、５０７との違いを強調してもよい。
【００５３】
なお、一つの画面上に配置するシーンは２つより多くてもよい。図５（ｆ）に、３つのシーンを配置する例を示す。図５（ｆ）に示した例は、時間的に近接した３つのシーンの人物情報がいずれも「主要人物（１）」である場合の配置例である。この場合、シーン空間配置部１０３３は、３つのシーンが互いに組み合わせシーンであると決定するとともに、すべて主シーンに決定する。３つが主シーンであるため、互いに同等のサイズになるように、各シーンの中央領域を切り出して、領域５０９、５１０、５１１に並列に配置する。複数のシーンを同一画像クリップ内に配置する際に、シーンの時間的な長さが同一でない場合には、同一画像クリップ内に配置するシーン間で最も時間の短いシーンに合わせるように、他のシーンの一部を切り捨てて調整する。
【００５４】
シーン空間配置部１０３３は、以上のような方法で生成した画像クリップを、シーン時間配置部１０３４へ出力する。
【００５５】
シーン時間配置部１０３４は、前述のようにシーンを空間的に配置した画像クリップ同士を、さらに時間方向に結合する。図３において、画像クリップ３０６ａ、３０６ｂ、３０６ｃ…はそれぞれ、単独シーンのみで構成される画像クリップ、もしくは組み合わせシーンを配置した画像クリップに相当する。シーン時間配置部１０３４は、各画像クリップに対応するシーンの撮影時刻の前後関係に従って、複数の画像クリップを結合する。組み合わせシーンから構成される画像クリップ、すなわち一つの画像クリップが複数のシーンを含む場合、その画像クリップの撮影時刻は、その画像クリップに含まれる複数シーンの中で撮影時刻が最も遅いシーンのシーン情報である撮影時刻情報とみなす。
【００５６】
上記で説明した組み合わせシーンは、互いに撮影時刻の差が相対的に小さい、すなわち、イベント全体の長さに比べて、撮影時刻が近接しているシーンである。撮影時刻が近接しているシーンは、同一または互いに類似の場面を撮影したものである可能性が高い。ダイジェスト動画像の生成において、類似性の高いシーンを時間的に連続するように結合すると、生成されるダイジェスト動画像は、似たようなシーンが続いて冗長になり、観賞する際に飽きやすくなる。そこで、類似性の高いシーンを空間的に並列に並べたり、同一フレームの一部に含めたりすることで、撮影された多数の画像を有効に活用すると共に、表示レイアウトを多様化させることができる。これにより、飽きにくいダイジェスト動画像を生成することができ、ユーザの満足度を高めることができる。
【００５７】
ここで、ダイジェスト動画像を生成する際の、音声トラックの扱いについて説明する。ダイジェスト動画像を生成する際の音声トラックは、ダイジェスト動画像に使用する各シーンに対応する画像データに含まれる音声トラックをそのまま利用する。その際、使用するシーンが単独シーンの場合は、そのシーンの音声トラックをそのまま利用するが、組み合わせシーンの場合、音声トラックは複数あるため、次に述べる方法で使用する音声トラックを決定する。組み合わせシーンの配置が「並列配置」以外の場合、すなわち「中央配置」や「子画面配置」の場合、ダイジェスト動画像の音声トラックとして、主シーンの音声トラックを利用する。組み合わせシーンの配置が「並列配置」の場合、配置したシーンの位置関係に合わせて、各シーンの音声トラックをダイジェスト動画像の音声トラックの左チャネルと右チャネルに割り振るように利用する。このようにすることで、画像として注目するシーンと聞こえる音声とが一致し、違和感なくダイジェスト動画像を観賞することができる。
【００５８】
（ダイジェスト動画像生成方法の切り替え）
続いて、映像編集装置１００がダイジェスト動画像を生成する際の、生成方法の切り替えについて説明する。ダイジェスト化制御部１０３５は、出力制御部１０５が決定した、ダイジェスト動画像の生成方針に従って、ダイジェスト動画像の生成方法（生成アルゴリズム）を変化させる。具体的には、あるシーンをダイジェストに含めるかどうか、主シーンと副シーンの判定基準、複数シーンの空間的な配置の有無と配置パターン、画像符号化品質、音声符号化品質などを切り替えて、ダイジェスト動画像を生成する。ダイジェスト動画像の生成方法の変化について、以下に詳しく説明する。
【００５９】
ダイジェスト動画像生成部１０３において、シーン種類決定部１０３２は、ダイジェスト動画像の生成対象である画像データ群に含まれる各シーンが主要なシーンであるかどうかを決定する。この時シーン種類決定部１０３２は、ダイジェスト動画像の生成方針に含まれるシーン選択基準に基づいて上記決定を行っても良い。例えば、前述の説明は、シーン選択基準が「人物主体」であることを示す場合に用い、シーン選択基準がこれと異なる場合は、ダイジェスト化制御部１０３５が、主要なシーンを判定する際の基準を変え、判定基準を示す情報をシーン種類決定部１０３２へ通知し、シーン種類決定部１０３２がその情報に従ってシーンの種類を決定する。例えば「風景主体」の場合は、人物の姿や会話を捉えたシーン以外のシーン、すなわち自然など景色が主体のシーンを主要なシーンとして判定する。例えば、時間的に近接する組み合わせシーンの中では、人物情報が「人物なし」であるか、あるいは会話情報が「会話あり」以外であるようなシーンを主シーンに分類し、それ以外の組み合わせシーンを副シーンに分類する。また、時間的に近接するシーンのない単独シーンに関しては、人物情報が「人物なし」のシーンのみ選択し、それ以外のシーン、すなわち人物が写っているシーンは、単独シーンとしてはダイジェスト動画像に使用しないようにシーンを選択する。このような構成により、指定された特徴に合うシーンを優先的に選択し、ユーザの好みを反映したダイジェスト動画像を生成することを可能にする。
【００６０】
ダイジェスト化制御部１０３５は、ダイジェスト動画像の生成方針に含まれる複数シーン同時配置に基づいて、複数のシーンが時間的に近接する場合に、同一の画像フレーム内に配置するか否かを切り替えても良い。ダイジェスト化制御部１０３５は、複数のシーンを同一の画像フレーム内に配置するか否かを決定し、シーン種類決定部１０３２およびシーン空間配置部１０３３へ通知する。ダイジェスト化制御部１０３５が通知する複数シーン同時配置が「可」の場合は、シーン空間配置部１０３３は前述の説明の通り、時間的に近接する複数のシーンを組み合わせシーンとして扱い、同一の画像フレーム内に配置するようにダイジェスト動画像を生成する。逆に、複数シーン同時配置が「否」の場合、シーン空間配置部１０３３は、各シーンを単独シーンとして扱い、同一画像フレーム内に配置しないようにダイジェスト動画像を生成する。出力制御部１０５に関して既に説明した通り、出力先の表示デバイスの画面が小さい場合には、出力制御部１０５は複数シーン同時配置を「否」とするため、例えば、シーンが縮小されるような子画面配置のレイアウトが選択されることを回避し、生成されるダイジェストの見やすさを損なわないようにすることができる。
【００６１】
ダイジェスト化制御部１０３５は、ダイジェスト動画像の生成方針に含まれる出力先情報に基づいて、画像や音声を符号化するか否かを決定する。符号化しない場合は、生成したダイジェスト動画像をそのまま表示・再生するように、内蔵の映像表示部や外部接続の映像表示装置へ出力する。符号化する場合は、ダイジェスト動画を生成する際に、所定の符号化方式に従って画像や音声を符号化し、符号化データとしてダイジェスト動画像を出力する。符号化する際の符号化方式は例えば、画像はＭＰＥＧ−２、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などの方式に従い、音声はＭＰＥＧ−１、ＡＡＣ−ＬＣ、ＨＥ−ＡＡＣなどの方式に従う。ダイジェスト化制御部１０３５は、符号化する際の基本符号化方式として最も性能の高い方法、例えば、画像はＨＥＶＣ／Ｈ．２６５、音声はＨＥ−ＡＡＣを使用することにしておき、後述する出力画像仕様および出力音声仕様に基づいて、実際に使用する符号化方式および符号化品質を決定する。符号化方式および符号化品質については後述する。
【００６２】
ダイジェスト化制御部１０３５は、ダイジェスト動画像の生成方針に含まれる出力画像仕様に基づいて、生成するダイジェスト動画像の画像符号化品質および複数シーンの配置パターンを決定する。出力画像仕様は、少なくとも出力先の映像表示デバイスの表示画素数を示す情報を含んで構成される。表示画素数は、水平方向の画素数と垂直方向の画素数から構成され、結果として表示デバイスの画面アスペクト比も判明する。ダイジェスト化制御部１０３５は、編集対象である入力画像の画素数および画面アスペクト比が、出力先の表示画素数および画面アスペクト比と一致する場合は、入力画像の画素数をそのまま維持するようにダイジェスト動画像を生成する。入力画像の画素数および画面アスペクト比が、出力先の表示画素数および画面アスペクト比と一致しない場合は、出力先の表示画素数を超えない範囲で、入力画像の画素数を維持または活かすように、シーンの配置を決定してダイジェスト動画像を生成する。入力画像の画素数および画面アスペクト比が、出力先の表示画素数および画面アスペクト比と一致しない場合の、シーンの配置に関しては後述する。前述の出力先情報に基づいて、ダイジェスト動画像を符号化してファイルとして記録・伝送する場合、ダイジェスト化制御部１０３５は、出力先の表示画素数に基づいて画像の符号化レートを決定する。例えば、画素数を示す複数の情報と、対応する符号化レートを示す情報テーブルを用意しておき、ダイジェスト化制御部１０３５は、出力先の表示画素数に対応する符号化レートを、前記情報テーブルを参照して決定する。また、出力画像仕様として、画素数以外に出力先の画像再生能力が得られる場合、ダイジェスト化制御部１０３５は、画像再生能力に応じて、ダイジェスト動画像を符号化する際の符号化方式を決定する。例えば、外部に接続された映像表示装置が対応する画像符号化方式がＭＰＥＧ−２とＡＶＣ／Ｈ．２６４である場合、ダイジェスト化制御部１０３５は、より符号化性能の高いＨＥＶＣ／Ｈ．２６５を選択する代わりに、出力画像仕様で示される画像再生能力に合わせて、ＡＶＣ／Ｈ．２６４を符号化方式として選択し、ダイジェスト動画像の符号化を行う。
【００６３】
ダイジェスト化制御部１０３５は、ダイジェスト動画像の生成方針に含まれる出力音声仕様に基づいて、生成するダイジェスト動画像の音声符号化品質および音声トラックの構成を決定する。出力音声仕様は、少なくとも出力先の音声出力デバイスすなわち、映像編集装置１００に内蔵された音声出力部もしくは外部に接続された映像表示装置の音声出力部の音声再生能力を示す情報である、出力音声チャネル数、サンプリング周波数、量子化ビット数などを含んで構成される。ダイジェスト化制御部１０３５は、出力音声仕様の出力音声チャネル数に応じて、ダイジェスト動画像に含めるシーンの音声トラックの使用有無やチャネルの振り分けを決定する。また、出力音声仕様のサンプリング周波数、量子化ビット数に応じて、音声のリサンプリングやビット数変換を行う。また、前述の出力先情報に基づいて、ダイジェスト動画像を符号化してファイルとして記録・伝送する場合で、出力音声仕様として、出力先の音声出力デバイスが対応する符号化方式を示す情報が得られる場合、ダイジェスト化制御部１０３５は、その情報に基づいて音声の符号化方式を決定する。例えば、外部に接続された映像表示装置が対応する音声符号化方式がＭＰＥＧ−１、ＡＡＣ−ＬＣのみである場合、ダイジェスト化制御部１０３５は、より符号化性能の高いＨＥ−ＡＡＣを選択する代わりにＡＡＣ−ＬＣを符号化方式として選択して、ダイジェスト動画像の音声トラックの符号化を行う。
【００６４】
ここで、入力画像の画素数および画面アスペクト比が、前述の出力画像仕様で示される出力先の表示画素数および画面アスペクト比と一致しない場合の、シーン配置の例を説明する。図６に、入力画像の画面アスペクト比が横長であり、出力先の画面アスペクト比が縦長である時の、ダイジェスト動画像生成部１０３が決定する複数シーンの配置例を示す。図６（ａ）は、図５（ａ）の「並列配置」の例と同様に、時間的に近接する２つのシーンが両方とも主シーンである例で、互いに同等のサイズで並列に表示する配置である。その際、元の画像は、領域６０２と領域６０２’を含む横長のサイズの画像と、領域６０３と領域６０３’を含む横長のサイズの画像であるため、表示領域６０１の画面アスペクト比に合わせて、各シーンの中央の領域（６０２、６０３）を切り出してそれぞれ配置する。図６（ｂ）は、図５（ｂ）の「中央配置」の例と同様に、副シーンを画像フレーム（表示領域）全体６０１に配置しながら、画面中央部分の領域６０４に主シーンの中央領域を重畳するように配置する例である。主シーンの中央領域の代わりに、主シーンの画像フレーム全体を縮小して領域６０４に表示してもよい。また、「中央配置」の別の例として、図６（ｄ）に示すような配置を選択してもよい。図６（ｄ）の配置は、副シーンは図６（ｂ）と同様に画像フレーム全体６０１に表示し、主シーンに関しては、その中央領域を図６（ｂ）よりも大きく切り出して領域６０８に配置したものである。図中の６０８’は、領域６０８を切り出したことによって捨てられる元の画像の一部の領域である。図６（ｃ）は、図５（ｃ）の「子画面配置」と同様に、副シーンを縮小した画像を子画面領域６０６として配置する例である。ただし、この場合は入力画像が横長であるため、主シーンの全体を表示するように領域６０４に配置して、画面上に空いた領域の一部に副シーンを配置する。この時、子画面領域６０６のサイズは、主シーンの領域６０４に比べると小さくなるように決定することで、注目させたいシーンである主シーンとの区別がつくようにする。例えば、主シーンの領域６０４は、水平方向のサイズが画像フレーム全体６０１の水平方向のサイズと同一になるように決定し、副シーンの領域６０６は、水平方向のサイズが画像フレーム全体６０１の水平方向のサイズの２／３程度になるように決定する。
【００６５】
さらに、一部のシーンに空間フィルタを適用し、主シーンと副シーンの違いを強調した画像にしてもよい。例えば図６（ｂ）、（ｄ）の領域６０５に平滑化フィルタを施すことによって画像の鮮鋭度を落とすと、主シーンを表示した中央領域と副シーンを表示した周辺領域との違いが一目で分かるようになり、注目すべき領域がより明確になる。なお、図６（ｃ）における領域６０７には、空間フィルタを適用した主シーンもしくは副シーンを表示してもよい。領域６０７を含めて画像フレーム全体６０１に画像を表示することによって、表示される画像のサイズを図６（ｃ）以外の配置パターンの画像と同一にするため、領域６０７に画像を表示しない場合と比べて、画像を観賞する際の空間的な広がり感が得られると共に、時間方向に結合される可能性のある他の配置の画像クリップと、連続して観賞する際に生じ得る違和感を回避することができる。
【００６６】
なお、一つの画面上に配置するシーンは２つより多くてもよい。図６（ｅ）に、３つのシーンを配置する例を示す。図６（ｅ）に示した例は、図５（ｆ）と同様に、時間的に近接した３つの主シーンの配置例である。各シーンは、その中央領域を含むように、それぞれ領域６０９、６１０、６１１に並列に配置される。
【００６７】
ここで、画面アスペクト比が縦長である場合の、単独シーンの表示レイアウトについて説明する。単独シーンを配置する場合は、例えば図６（ｂ）の配置において、領域６０４に単独シーンを配置し、領域６０５にも単独シーンを配置するようにする。その際、領域６０５には、上記で説明したような平滑化フィルタを施すことによって画像の鮮鋭度を落とす。このような構成により、図６（ｃ）に関する前述の説明と同様に、画像を観賞する際の空間的な広がり感が得られると共に、表示される画像のサイズが、時間方向に結合される他の配置の画像クリップと同じになるため、連続して観賞する際に生じ得る違和感を回避することができる。
【００６８】
なお、上記の空間フィルタは平滑化フィルタに限らず、領域ごとの色調を変える色変換フィルタでもよい。例えば、領域６０５、６０７の画像を色変換によってグレイスケールやいわゆるセピア調にすると、主シーンである領域６０４、６０８を目立ちやすくすることができる。あるいは、空間フィルタではなく、領域６０５、６０７の画像の時間方向の変化をゼロにする、すなわち静止画にすることで、主シーンである領域６０４、６０８との違いを強調してもよい。
【００６９】
以上、図６を参照して、画面アスペクト比が横長の画像を、画面アスペクト比が縦長の画面に配置する例を説明したが、逆に、画面アスペクト比が縦長の画像を、画面アスペクト比が横長の画面に配置する場合も、同様の考え方で、シーンを配置する領域のサイズや位置、各シーンから切り出す領域、および空間フィルタの適用有無を決定することができる。
【００７０】
図１９に、画面アスペクト比が縦長の画像（以降、「ポートレート画像」と記す）を、画面アスペクト比が横長の画面（以降、「ランドスケープ画面」と記す）に配置する場合の、シーン空間配置部１０３３によるシーン配置の例を示す。図１９（ａ）は、図５（ａ）と同様、ランドスケープ画面用の「並列配置」の例である。図１９（ａ）において配置される画像は、領域１９０２と領域１９０２’を含むポートレート画像である主シーンＡと、領域１９０３と領域１９０３’を含むポートレート画像である主シーンＢである。シーン空間配置部１０３３は、主シーンＡと主シーンＢそれぞれの中央領域を切り出して、表示領域１９０１内で並列に表示されるように、それぞれ領域１９０２、１９０３に配置する。領域１９０２’と領域１９０３’はそれぞれ、主シーンＡおよび主シーンＢの内、表示されない領域である。
【００７１】
図１９（ｂ）は、図５（ｂ）と同様、ランドスケープ画面用の「中央配置」の例である。図１９（ｂ）において配置される画像は、領域１９０４に対応するポートレート画像である主シーンＡと、領域１９０５と領域１９０５’を含むポートレート画像である副シーンＢである。シーン空間配置部１０３３は、副シーンＢの中央部分を、表示領域１９０１全体に対応する領域１９０５に表示されるように配置し、主シーンＡを、表示領域１９０１の中央部に位置する領域１９０４に配置する。副シーンＢの内、領域１９０５’は表示されない領域である。
【００７２】
図１９（ｄ）は、ランドスケープ画面用の「中央配置」の別の例であり、図５（ｂ）に対する図５（ｄ）と同様に、主シーンＡを、図１９（ｂ）と比較して大きく配置し、その分、副シーンＢの表示面積が小さくなる配置である。シーン空間配置部１０３３は、副シーンＢの中央部分を、表示領域１９０１全体に対応する領域１９０５に表示されるように配置し、主シーンＡの中央部分を、表示領域１９０１の中央部に位置する領域１９０６に配置する。主シーンＡの内、領域１９０６’は表示されない領域である。また、副シーンＢの内、領域１９０５’は表示されない領域である。
【００７３】
図１９（ｃ）は、図５（ｃ）と同様、ランドスケープ画面用の「子画面配置」の例である。図１９（ｃ）において配置される画像は、領域１９０６と領域１９０６’を含むポートレート画像である主シーンＡと、領域１９０７に対応するポートレート画像である副シーンＢである。シーン空間配置部１０３３は、主シーンＡの中央部分を、表示領域１９０１の中央部に位置する領域１９０６に配置し、副シーンＢを縮小した上で主シーンの領域１９０６に隣接する領域１９０７に配置する。主シーンＡの内、領域１９０６’は表示されない領域である。シーン空間配置部１０３３はまた、領域１９０６、１９０７の背景として、領域１９０８に、主シーンＡの中央部分または副シーンＢの中央部分を表示するように配置してもよい。
【００７４】
図１９（ｅ）は、図５（ｆ）と同様、ランドスケープ画面用に３つのシーンを配置する例である。図１９（ｅ）において配置される画像は、領域１９０９を含むポートレート画像である主シーンＡ、領域１９１０を含むポートレート画像である主シーンＢおよび、領域１９１１を含むポートレート画像である主シーンＣである。シーン空間配置部１０３３は、主シーンＡ、主シーンＢおよび主シーンＣそれぞれの中央領域を切り出して、表示領域１９０１内で水平方向に並列に表示されるように、それぞれ領域１９０９、１９１０、１９１１に配置する。
【００７５】
次に、画面アスペクト比が縦長の画像（ポートレート画像）を、画面アスペクト比が同じく縦長の画面（以降、「ポートレート画面」と記す）に配置する表示レイアウトについて説明する。図２０に、ポートレート画像をポートレート画面に配置する場合の、シーン空間配置部１０３３によるシーン配置の例を示す。図２０（ａ）は、２つのシーンを縦方向に並べて配置する、ポートレート画面用の「並列配置」の例である。図２０（ａ）において配置される画像は、領域２００２を含むポートレート画像である主シーンＡと、領域２００３を含むポートレート画像である主シーンＢである。シーン空間配置部１０３３は、主シーンＡと主シーンＢそれぞれの中央領域を切り出して、ポートレート画面に対応する表示領域２００１内で垂直方向に並列に表示されるように、それぞれ領域２００２、２００３に配置する。なお、図２０においては、画像領域の切り出しに伴って表示されない領域については図示を省略し、別途、図２１、２２を参照して説明する。
【００７６】
図２０（ｂ）は、副シーンを表示領域全体に背景として配置し、主シーンを中央部分に重畳させて配置する、ポートレート画面用の「中央配置」の例である。図２０（ｂ）において配置される画像は、領域２００４を含むポートレート画像である主シーンＡと、領域２００５を含むポートレート画像である副シーンＢである。シーン空間配置部１０３３は、副シーンＢを表示領域２００１全体に対応する領域２００５に配置し、主シーンＡの中央領域を切り出して、表示領域２００１の垂直方向における中央部の領域２００４に配置する。
【００７７】
図２０（ｃ）は、主シーンＡを表示領域全体に対応する領域に配置し、副シーンＢを子画面領域として主シーン上に重畳させて配置する、ポートレート画面用の「子画面配置」の例である。図２０（ｃ）において配置される画像は、領域２００６に対応するポートレート画像である主シーンＡと、領域２００７に対応するポートレート画像である副シーンＢである。シーン空間配置部１０３３は、主シーンＡを表示領域２００１全体に対応する領域２００６に配置し、副シーンＢを表示領域２００１全体の面積の４分の１より小さいサイズの領域２００７に収まるように配置する。領域２００７のサイズは、例えば表示領域２００１全体の面積の１／９程度とする。
【００７８】
図２０（ｄ）は、ポートレート画面用に３つのシーンを垂直方向に並べて配置する例である。図２０（ｄ）において配置される画像は、領域２００８を含むポートレート画像である主シーンＡ、領域２００９を含むポートレート画像である主シーンＢおよび、領域２０１０を含むポートレート画像である主シーンＣである。シーン空間配置部１０３３は、主シーンＡ、主シーンＢおよび主シーンＣそれぞれの中央領域を切り出して、表示領域２００１内で垂直方向に並列に表示されるように、それぞれ領域２００８、２００９、２０１０に配置する。
【００７９】
以上、図１９および図２０で説明したものは、出力先の映像表示デバイスの画面アスペクト比が横長（ランドスケープ画面）あるいは縦長（ポートレート画面）いずれであっても、出力する主シーンおよび副シーンがいずれも縦長の画面アスペクト比の画像（ポートレート画像）である場合の、シーン配置の例である。同様に、図５および図６で説明したものは、出力する主シーンおよび副シーンがいずれも横長の画面アスペクト比の画像（以降、「ランドスケープ画像」と記す）である場合の、シーン配置の例である。しかし、同じ画面上に配置する主シーン及び副シーンは、必ずしも同じ画面アスペクト比の画像であるとは限らない。そこで次に、主シーンと副シーンで異なる画面アスペクト比の画像が混在する場合に、各画像から表示用に出力する画像領域を決定する方法について、図２１および図２２を用いて説明する。
【００８０】
シーン空間配置部１０３３において、複数シーンの配置を、「並列配置」、「中央配置」、「子画面配置」等に決定する際、出力先の映像表示デバイスの表示領域のサイズと画面アスペクト比および、配置しようとする各シーンの画像サイズとアスペクト比に基づいて、各シーンの画像中で表示する領域を決定する。この時、配置のパターンに応じて各シーンの画像を最も有効に利用できるように、各画像のスケーリング（拡大／縮小）やクロッピング（切り取り）などの画像処理を施す。これら画像処理の過程を、図２１および図２２を用いて説明する。
【００８１】
図２１に、ランドスケープ画面に画像を出力する際の、シーン空間配置部１０３３における画像のスケーリングとクロッピングの処理例を示す。ランドスケープ画面に画像を出力するケースに関しては、図５および図１９にシーン配置の例を示したが、図２１では、元画像２１０１〜２１０４から、表示用に抽出する領域２１０１’〜２１０４’をどのように決定するかの例を説明する。図中、斜線部分は各元画像から抽出される表示用の領域であることを示す。また、ＨｏおよびＶｏは、それぞれ出力先の表示領域の水平方向のサイズ（画素数）と垂直方向のサイズ（画素数）を意味し、ＨおよびＶは、スケーリングやクロッピングの処理を行う前の、元画像の水平方向のサイズ（画素数）と垂直方向のサイズ（画素数）をそれぞれ意味する。
【００８２】
図２１（ａ）は、ランドスケープ画像２１０１を、図５（ａ）に示したようなランドスケープ画面用の「並列配置」の主シーンとして使用する際の、表示用領域２１０１’の決め方の例である。シーン空間配置部１０３３はまず、元画像２１０１の垂直方向のサイズＶを出力先の表示領域の垂直方向のサイズＶｏに合わせるように、元画像２１０１全体をスケーリングする（Ｖ→Ｖｏ）。その後、シーン空間配置部１０３３は、スケーリング後の元画像２１０１の中央部分を、水平方向のサイズがＨｏ／２になるようにクロッピングして、表示用の領域２１０１’を抽出する。なお、元画像２１０１をスケーリングする際は、元画像の画面アスペクト比を維持するように拡大／縮小を行い、シーン内の画像の歪みが生じないようにする。言い換えれば、スケーリング前後の、水平方向のサイズ比と垂直方向のサイズ比が同じになるように、スケーリングを行う。例えば、画像サイズがＨ×Ｖである元画像を、前述のように、垂直方向のサイズＶを表示領域の垂直方向のサイズＶｏに合わせるようにスケーリングする場合、スケーリング後の画像の垂直方向のサイズＶ’は、Ｖ’＝（Ｖｏ／Ｖ）×Ｖと表すことができ、スケーリング前後のサイズ比はＶｏ／Ｖである。従って、スケーリング後の画像の水平方向のサイズＨ’に関しては、Ｈ’＝（Ｖｏ／Ｖ）×Ｈとなるように、スケーリングを行う。以降、図２１および図２２に関する説明におけるスケーリング処理は、全てこれと同様の考え方に基づいて行う。
【００８３】
図２１（ｂ）は、ポートレート画像２１０２を、図５（ａ）に示したようなランドスケープ画面用の「並列配置」の主シーンとして使用する際の、表示用領域２１０２’の決め方の例である。シーン空間配置部１０３３はまず、元画像２１０２の水平方向のサイズＨを出力先の表示領域の水平方向のサイズの２分の１（＝Ｈｏ／２）に合わせるように、元画像２１０２全体をスケーリングする（Ｈ→Ｈｏ／２）。その後、シーン空間配置部１０３３は、スケーリング後の元画像２１０２の中央部分を、垂直方向のサイズがＶｏになるようにクロッピングして、表示用の領域２１０２’を抽出する。シーン空間配置部１０３３はまた、図５（ｂ）に示したようなランドスケープ画面用の「中央配置」の主シーンとしてポートレート画像２１０２を使用する際にも、図２１（ｂ）に従って、元画像２１０２から表示用領域２１０２’を決定してもよい。
【００８４】
図２１（ｃ）は、ランドスケープ画像２１０３を、図５（ｄ）に示したようなランドスケープ画面用のもう一つの「中央配置」の主シーンとして使用する際の、表示用領域２１０３’の決め方の例である。シーン空間配置部１０３３は、まず、元画像２１０３の垂直方向のサイズＶを出力先の表示領域の垂直方向のサイズＶｏに合わせるように、元画像２１０３全体をスケーリングする（Ｖ→Ｖｏ）。次にシーン空間配置部１０３３は、元画像２１０３の中央部分を、水平方向のサイズが出力先の表示領域の水平方向のサイズの半分（＝Ｈｏ／２）になるように、かつ、垂直方向のサイズが出力先の表示領域の垂直方向のサイズから所定の画素数Ωだけ小さいサイズ（＝Ｖｏ−Ω）になるようにクロッピングして、表示用の領域２１０３’を抽出する。所定の画素数Ωは例えば、出力先の表示領域の垂直方向のサイズＶｏの５％と定める。
【００８５】
図２１（ｄ）は、ポートレート画像２１０４を、図５（ｃ）に示したようなランドスケープ画面用の「子画面配置」の主シーンとして使用する際の、表示用領域２１０４’の決め方の例である。シーン空間配置部１０３３はまず、元画像２１０４の水平方向のサイズＨを出力先の表示領域の水平方向のサイズＨｏに合わせるように、元画像２１０４全体をスケーリングする（Ｈ→Ｈｏ）。その後、シーン空間配置部１０３３は、スケーリング後の元画像２１０４の中央部分を、垂直方向のサイズがＶｏになるようにクロッピングして、表示用の領域２１０４’を抽出する。シーン空間配置部１０３３はまた、ランドスケープ画面用の「中央配置」の副シーンとしてポートレート画像２１０４を使用する際にも、図２１（ｄ）に従って、元画像２１０４から表示用領域２１０４’を決定してもよい。
【００８６】
図２２に、ポートレート画面に画像を出力する場合の、シーン空間配置部１０３３におけるシーンのスケーリングとクロッピングの処理例を示す。ポートレート画面に画像を出力するケースに関しては、図６および図２０にシーン配置の例を示したが、図２２では、元画像２２０１〜２２０３から、表示用に抽出する領域２２０１’〜２２０３’をどのように決定するかの例を説明するものである。図中の記号の意味は、前述の図２１におけるものと同様であるため、説明を省略する。
【００８７】
図２２（ａ）は、ランドスケープ画像２２０１を、図６（ａ）に示したようなポートレート画面用の「並列配置」の主シーンとして使用する際の、表示用領域２２０１’の決め方の例である。シーン空間配置部１０３３はまず、元画像２２０１の垂直方向のサイズＶを出力先の表示領域の垂直方向のサイズの２分の１（Ｖｏ／２）に合わせるように、元画像２２０１全体をスケーリングする（Ｖ→Ｖｏ／２）。その後、シーン空間配置部１０３３は、スケーリング後の元画像２２０１の中央部分を、水平方向のサイズがＨｏになるようにクロッピングして、表示用の領域２２０１’を抽出する。シーン空間配置部１０３３はまた、図６（ｂ）に示したようなポートレート画面用の「中央配置」の主シーンとしてランドスケープ画像２２０１を使用する際にも、図２２（ａ）に従って、元画像２２０１から表示用領域２２０１’を決定してもよい。シーン空間配置部１０３３はまた、図６（ｃ）に示したようなポートレート画面用の「子画面配置」の主シーンとしてランドスケープ画像２２０１を使用する際にも、図２２（ａ）に従って、元画像２２０１から表示用領域２２０１’を決定してもよい。
【００８８】
図２２（ｂ）は、ポートレート画像２２０２を、図２０（ａ）に示したようなポートレート画面用の「並列配置」の主シーンとして使用する際の、表示用領域２２０２’の決め方の例である。シーン空間配置部１０３３はまず、元画像２２０２の水平方向のサイズＨを出力先の表示領域の水平方向のサイズ（Ｈｏ）に合わせるように、元画像２２０２全体をスケーリングする（Ｈ→Ｈｏ）。その後、シーン空間配置部１０３３は、スケーリング後の元画像２２０２の中央部分を、垂直方向のサイズが出力先の表示領域の垂直方向のサイズの２分の１（Ｖｏ／２）になるようにクロッピングして、表示用の領域２２０２’を抽出する。シーン空間配置部１０３３はまた、図６（ｂ）に示したようなポートレート画面用の「中央配置」の主シーンとしてポートレート画像２２０２を使用する際にも、図２２（ｂ）に従って、元画像２２０２から表示用領域２２０２’を決定してもよい。
【００８９】
図２２（ｃ）は、ランドスケープ画像２２０３を、図６（ｂ）に示したようなポートレート画面用の「中央配置」の副シーンとして使用する際の、表示用領域２２０３’の決め方の例である。シーン空間配置部１０３３はまず、元画像２２０３の垂直方向のサイズＶを出力先の表示領域の水平方向のサイズ（Ｖｏ）に合わせるように、元画像２２０３全体をスケーリングする（Ｖ→Ｖｏ）。その後、シーン空間配置部１０３３は、スケーリング後の元画像２２０３の中央部分を、水平方向のサイズがＨｏになるようにクロッピングして、表示用の領域２２０３’を抽出する。シーン空間配置部１０３３はまた、図６（ｃ）に示したようなポートレート画面用の「子画面配置」の背景部分（領域６０７）の主シーンもしくは副シーンとしてランドスケープ画像２２０３を使用する際にも、図２２（ｃ）に従って、元画像２２０３から表示用領域２２０３’を決定してもよい。
【００９０】
以上のように、ランドスケープ画像およびポートレート画像の両方を含んで構成される画像群から、複数の画像を組み合わせて出力する際に、出力先の映像表示デバイスの画面サイズおよび画面アスペクト比に合わせて、元画像ごとにスケーリングやクロッピングを行うことによって、元画像の画面アスペクト比と出力先の画面アスペクト比が異なる場合や、画像サイズや画面アスペクト比の異なる複数の画像が混在するシーン配置を行う場合であっても、出力画面の表示領域を最大限有効に活用しながら、画像の歪みを生じない高品位な映像を出力することが可能になる。
【００９１】
なお、スケーリングを行う際には、元画像の水平方向の画素数（Ｈ）もしくは垂直方向の画素数（Ｖ）のいずれかが、出力先の表示領域において対応する方向の画素数（Ｈｏ、Ｈｏ／２、Ｖｏ、Ｖｏ／２等）よりも大きい場合のみ行うようにしてもよい。そうすることにより、元画像の拡大処理を行う頻度を下げて、拡大処理に伴う画質の劣化や画像データ量の増大を抑えることができる。
【００９２】
以上説明したように、生成するダイジェスト動画像の出力画像仕様および出力音声仕様を、出力先の映像表示デバイスや音声出力デバイスの仕様・能力に合わせることによって、出力先のデバイスに適したダイジェスト動画像を生成することができる。特に映像に関しては、表示デバイスの大きさや画面アスペクト比に応じて、複数のシーンを効果的に配置した見やすいダイジェスト動画像を生成することが可能になる。また、ダイジェスト動画像を符号化する場合には、出力先デバイスの能力を最大限活かすことのできる高品質な映像・音声を出力させることが可能になる。
【００９３】
（第２の実施形態）
次に、本発明に係る第２の実施形態である映像編集装置について説明する。第２の実施形態の映像編集装置は、第１の実施形態の映像編集装置に対して、ダイジェスト動画像生成部１０３に違いがある点が特徴である。図示は省略するが、本実施形態におけるダイジェスト動画像生成部は、内部に、ダイジェスト動画像生成カウント部、ランダム配置パターン決定部をさらに備えて構成される。以下、第１の実施形態との違いを中心に詳しく説明する。
【００９４】
本実施形態におけるダイジェスト動画像生成部１０３では、ダイジェスト動画像生成カウント部が、イベント選択部１０４から通知された選択情報で示される画像データ群の単位で、ダイジェスト動画像の生成回数をカウントする。ダイジェスト動画像生成カウント部は、カウントした生成回数をランダム配置パターン決定部へ通知する。ランダム配置パターン決定部は、通知された生成回数が１回の場合は何もせず、生成回数が２回以上の場合は、複数シーンの空間的な配置パターンを決定する際に、乱数に基づいて配置パターンをランダムに変化させる。その結果、ダイジェスト動画像生成部はダイジェスト動画像を生成する際に、選択された画像データ群の単位で、その初回生成時には、本発明の第１の実施形態におけるシーン空間配置部１０３３に関して説明したように、シーンの種類および組み合わせシーン同士のシーン情報の関係に基づいて複数シーンの配置パターンを決定するが、２回目以降の生成時には、複数シーンの配置パターンを組み合わせシーンごとにランダムに変化させる。組み合わせシーンの決定に関しては、第１の実施形態におけるシーン種類決定部１０３２に関して説明したように、時間的に近接したシーン同士が選択されるように判定する。
【００９５】
このような構成にすることにより、同じ画像データ群から何回もダイジェスト動画像を生成する場合に、ダイジェスト動画像に使用するシーンの時間的な前後関係は撮影時刻に基づいて保ちながら、生成するたびに異なるレイアウトを有するダイジェスト動画像を生成することができる。その結果、ユーザが、同じ画像データ群を新鮮な感覚で観賞することを可能にし、ユーザが飽きにくいダイジェスト動画像を提供することができる。
【００９６】
（第３の実施形態）
次に、本発明に係る第３の実施形態である映像編集装置について説明する。第３の実施形態の映像編集装置は、第１の実施形態の映像編集装置に対して、シーン情報生成部およびダイジェスト動画像生成部に違いがある点が特徴である。図８（ａ）に、本実施形態による映像編集装置１００ａの内部構成を示す。映像編集装置１００ａは、画像データ分類部１０１、シーン情報生成部１０２ａ、ダイジェスト動画像生成部１０３ａ、イベント選択部１０４、および出力制御部１０５を含んで構成される。以下、第１の実施形態による映像編集装置１００との相違点を中心に詳しく説明する。
【００９７】
（シーン情報生成部１０２ａ）
シーン情報生成部１０２ａは、画像データを分析して、画像信号や音声信号で特徴づけられる１つ以上のシーンに分類し、シーン単位の特徴を示す情報であるシーン情報を生成する。シーン情報は、画像内の特徴領域に関する情報として、「人物数」、「最大人物サイズ」、「最大人物位置」を含むように構成される（以降、これら３種類の情報を総称して人物情報と呼ぶ）。「人物数」は、各シーンの画像内に現れる人物の画像領域（人物領域）の数の、画像フレーム単位での最大値を表し、「最大人物サイズ」は、各シーンの人物領域の中で最も面積が大きい領域のサイズを表し、「最大人物位置」は、最大人物サイズに該当する領域の位置（画像内の座標）を表す。シーン情報生成部１０２ａは、各シーンの特徴領域として画像内の顔画像と全身画像を検出し、顔画像が検出された場合は顔画像の領域に関する情報からシーン情報を生成し、顔画像が検出されない場合（人物は写っているが横や後ろを向いている場合など）は、全身画像の領域に関する情報からシーン情報を生成する。顔画像を検出する方法としては、例えば、所定サイズの領域単位で画像の特徴量を抽出し、Ｈａａｒ−Ｌｉｋｅ特徴量を利用した顔画像の識別器に基づいて顔の領域を検出（識別）する方法がある。また、全身画像を検出する方法としては、所定の画像領域単位で勾配方向ヒストグラム（ＨＯＧ：Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ）を算出し、ＨＯＧ特徴量を利用した全身画像の識別器に基づいて全身像の領域を検出（識別）する方法がある。これら顔画像や全身画像を検出する方法は一例であり、検出する領域のサイズと位置が得られる方法であれば、上記方法に限定されない。また、顔画像と全身画像に限らず、別途用意する特徴量を利用した識別器に基づいて上半身画像や下半身画像の領域も検出し、例えば顔画像や全身画像が検出されない場合は、上半身画像の領域に関する情報（数、サイズ、位置）に基づいてシーン情報を生成してもよいし、上半身画像も検出されない場合には、下半身画像の領域に関する情報（数、サイズ、位置）に基づいてシーン情報を生成してもよい。
【００９８】
図９は、上記の人物情報の概念を示す図である。図９（ａ）は、人物領域７０１が座標７０２（ｘ１，ｙ１）に位置し、そのサイズが（Ｈ１×Ｖ１）であるようなシーンの一例である。このように、シーン内の人物数（人物領域の数）が１つの場合、「最大人物サイズ」および「最大人物位置」はそれぞれ一意に、（Ｈ１×Ｖ１）および（ｘ１，ｙ１）に定まる。図９（ｂ）は、２つの人物領域７０３、７０４が、それぞれ座標７０５（ｘ２，ｙ２）、７０６（ｘ３，ｙ３）に位置し、各領域のサイズがそれぞれ（Ｈ２×Ｖ２）、（Ｈ３×Ｖ３）であるシーンの例である。図９（ｂ）のように、シーン内の人物数が２つの場合、２つの人物領域（７０３、７０４）の内、面積が大きい方の領域７０３のサイズ（Ｈ２×Ｖ２）を示す情報を「最大人物サイズ」として定め、また、その領域７０３の座標（ｘ２，ｙ２）を示す情報を「最大人物位置」として定める。図９（ｃ）は、４つの人物領域７０７、７０８、７０９、７１０を含むシーンの例である。図９（ｃ）の例では、人物領域７０７が４つの人物領域のうちで最も面積が大きいものとする。この場合、領域７０７のサイズ（Ｈ４×Ｖ４）を示す情報を「最大人物サイズ」として定め、また、その領域７０７の座標（ｘ４，ｙ４）を示す情報を「最大人物位置」として定める。
【００９９】
図１０に、図９に示した例に対応するシーン情報の例を示す。シーン情報８００は、シーン情報２００と同様に、シーンに関する情報を行単位で記述したものであり、各行８０１、８０２、８０３、…の記述がそれぞれ一つのシーンに対応するように構成される。各行で記述される情報は、左から順に、画像ファイル名、撮影年月日、撮影時刻、シーン先頭フレーム番号、シーン終端フレーム番号、人物数、最大人物サイズ、最大人物位置、動き情報、会話情報を示している。以下に、シーン情報８００のうち、人物数、最大人物サイズ、最大人物位置に関して説明する。これ以降、図１０に関する説明においては、記述の簡単化のため、各シーン情報の符号がそれぞれシーンそのものを意味するものとしても記述する。
【０１００】
シーン８０１のシーン情報は、図９（ａ）の例に対応する例である。図９（ａ）において、人物領域は１つのみ（領域７０１）であるため、シーン８０１の人物領域に関するシーン情報は、人物数＝１となり、最大人物サイズおよび最大人物位置は、領域７０１のサイズ（Ｈ１×Ｖ１）および座標（ｘ１，ｙ１）となる。図１０では、Ｈ１，Ｖ１，ｘ１，ｙ１に対応する数値として、Ｈ１＝４００、Ｖ１＝５００、ｘ１＝５００、ｙ１＝３００がそれぞれ記述されている（シーン８０１のシーン情報）。シーン８０２のシーン情報は、図９（ａ）の例と同様、人物領域が１つであるシーンに対応する例である。シーン８０３のシーン情報は、図９（ｂ）の例に対応する例である。図９（ｂ）において、人物領域は２つ（領域７０３、７０４）であり、面積が大きい方は領域７０３である。従って、シーン８０３の人物領域に関するシーン情報は、人物数＝２となり、最大人物サイズおよび最大人物位置は、領域７０３のサイズ（Ｈ２×Ｖ２）および座標（ｘ２，ｙ２）となる。図１０では、Ｈ２，Ｖ２，ｘ２，ｙ２に対応する数値として、Ｈ２＝３６０、Ｖ２＝４８０、ｘ２＝４００、ｙ２＝５００がそれぞれ記述されている（シーン８０３のシーン情報）。シーン８０４のシーン情報は、図９（ｃ）の例に対応する例である。図９（ｃ）において、人物領域は４つ（領域７０７、７０８、７０９、７１０）であり、そのうち最も面積が大きいのは領域７０７である。従って、シーン８０４の人物領域に関するシーン情報は、人物数＝４となり、最大人物サイズおよび最大人物位置は、領域７０７のサイズ（Ｈ４×Ｖ４）および座標（ｘ４，ｙ４）となる。図１０では、Ｈ４，Ｖ４，ｘ４，ｙ４に対応する数値として、Ｈ４＝４５０、Ｖ４＝５２０、ｘ４＝１００、ｙ４＝３００がそれぞれ記述されている（シーン８０４のシーン情報）。シーン８０５のシーン情報は、人物領域が５つであるようなシーンに対応する例である。シーン８０６のシーン情報は、人物数がゼロ、すなわち画像内に人物が検出されなかったシーンに対応する例である。人物数がゼロの場合、最大人物サイズおよび最大人物位置に該当するシーン情報は存在しない。図１０において、これらの存在しない情報は、記号「＊」で表している。
【０１０１】
上記説明においては、シーン情報８００に関して、「最大人物サイズ」は、人物領域に対応する矩形領域の水平方向と垂直方向の画素数で表し、「最大人物位置」は、画像内の左上画素を原点とする、上記矩形領域の左上の画素の座標で表すものとして説明した。ただし、人物領域のうち、顔画像に対応する領域の形は、矩形ではなく円形でもよく、その場合、「最大人物サイズ」は、円の直径に対応する画素数で表してもよい。また、「最大人物位置」に対応する座標は、領域の左上でなく領域の中央の画素の座標でもよい。
【０１０２】
シーン情報生成部１０２ａは、以上説明した人物情報（人物数、最大人物サイズ、最大人物位置）を含むシーン情報を生成し、生成したシーン情報をダイジェスト動画像生成部１０３ａへ出力する。
【０１０３】
（ダイジェスト動画像生成部１０３ａ）
ダイジェスト動画像生成部１０３ａは、シーン情報生成部１０２ａによって生成されたシーン情報を読み込み、画像データ分類部１０１によって分類された画像データ群もしくはイベント選択部１０４が選択した画像データ群を対象として、ダイジェスト動画像を生成する。図８（ｂ）に、本実施形態におけるダイジェスト動画像生成部１０３ａの内部構成を示す。ダイジェスト動画像生成部１０３ａは、対象画像抽出部１０３１、シーン種類決定部１０３２ａ、シーン空間配置部１０３３ａ、シーン時間配置部１０３４、ダイジェスト化制御部１０３５を含んで構成される。以下、実施形態１との相違点を中心に詳細に説明する。
【０１０４】
対象画像抽出部１０３１は、イベント選択部１０４から通知される対象の画像データ群を示す選択情報を参照して、ダイジェスト動画像を生成する際の入力画像を抽出する。抽出した画像データを示す情報を、シーン種類決定部１０３２ａおよびシーン空間配置部１０３３ａへ通知する。シーン種類決定部１０３２ａは、シーン情報生成部１０２ａで生成されたシーン情報を参照し、対象画像抽出部１０３１で抽出された画像データを示す情報に対応するシーンのシーン情報を読み込み、シーンの種類を決定する。
【０１０５】
以下、シーン種類決定部１０３２ａにおいてシーンの種類を決定する過程を、図１０を参照しながら説明する。シーン種類決定部１０３２ａは、シーン情報８００を参照して、撮影時刻の順に連続する２つのシーンの撮影時刻を比較し、両者の撮影時刻の差ΔＴがシーン近接判定閾値ＴＨｔ以内であるか超えるか、すなわち時間的に近接するか否かによって、各シーンを、単独で使用する「単独シーン」か、組み合わせて使用する「組み合わせシーン」に決定する。シーン近接判定閾値ＴＨｔ＝３００秒とすると、シーン８０１と８０２の撮影時刻の差ΔＴは、ΔＴ＝１分４１秒＝１０１秒＜ＴＨｔであるので、シーン８０１とシーン８０２は「組み合わせシーン」に決定する。同様に、シーン８０３とシーン８０４は、時間的に近接するため「組み合わせシーン」に決定し、シーン８０５とシーン８０６も、時間的に近接するため「組み合わせシーン」に決定する。シーン種類決定部１０３２ａは、組み合わせシーンに決めた各シーンに関して、そのシーン情報に含まれる人物情報（人物数、最大人物サイズ、最大人物位置）、動き情報、会話情報を参照し、主要なシーンであると判定したら主シーンに、主要ではないシーンであると判定したら副シーンに、各シーンを分類する。図１０におけるシーン８０１とシーン８０２に関しては、どちらも「人物数」＝１であるので、両方とも主要なシーンであると判定して主シーンに分類する。シーン８０３とシーン８０４は、それぞれ「人物数」が２、４であるので、シーン８０３を主シーンに分類し、シーン８０４を副シーンに分類する。シーン８０５と８０６は、それぞれ「人物数」が５、０であるので、シーン８０５を主シーンに、シーン８０６を副シーンに分類する。このように、シーン種類決定部１０３２ａは、組み合わせシーンにおいて、シーン内の「人物数」がより少ない（ただしゼロではない）シーンを主要であると判定し、相対的に「人物数」が多いシーンを主要でないと判定する。「人物数」がゼロのシーンは、「人物数」がゼロでないシーンよりも主要でないと判定する。組み合わせシーン同士の「人物数」が同一であれば双方を主要であると判定して、両方とも主シーンに分類する。
【０１０６】
シーン空間配置部１０３３ａは、各シーンの空間的な配置を決定し、シーンを空間的に配置した画像クリップを生成して、シーン時間配置部１０３４へ出力する。シーン空間配置部１０３３ａは、シーン種類決定部１０３２ａが決定したシーンの種類および組み合わせシーン同士のシーン情報の関係に基づいて、各シーンの空間的な配置（レイアウト）を決定する。シーン空間配置部１０３３ａにおいてシーンのレイアウトを決定する方法は、前述の、シーン空間配置部１０３３における方法と基本的には同様であるが、シーン空間配置部１０３３ａにおいては、シーン情報に含まれる「人物数」を、シーン空間配置部１０３３におけるレイアウト決定の基準に用いた「人物情報」と対応させて、レイアウト決定に利用する。例えば、シーン情報に含まれる「人物数」が１または２である場合は、「人物情報」が「主要人物（１）」であるシーンと同等の扱いとする。また、「人物数」が３以上である場合は、「人物情報」が「その他人物（２）」であるシーンと同等の扱いとする。また、「人物数」が０である場合は、「人物情報」が「人物なし（０）」であるシーンと同等の扱いとする。その他、シーン空間配置部１０３３ａによるレイアウト決定方法に関して、シーン空間配置部１０３３との違いは、シーン情報によって示される「最大人物位置」に応じたシーンの配置位置の制御、および、「最大人物サイズ」や「人物数」に応じたエフェクト制御である。
【０１０７】
図１１〜図１３に、シーン空間配置部１０３３ａによるシーンの配置位置制御およびエフェクト制御に関する処理例を示す。図１１におけるシーン９０１とシーン９０２は、図１０におけるシーン８０１、８０２に対応するものとする。シーン８０１と８０２は、前述の通り互いに組み合わせシーンであり、両方とも主シーンであるので、シーン空間配置部１０３３ａは、両シーンのレイアウトを、シーン９０１、９０２を互いに同等のサイズで並列に表示する配置である「並列配置」に決定する（図１１（ｃ））。この時、シーン空間配置部１０３３ａは、各シーンのシーン情報に含まれる「最大人物位置」が示す領域（領域９１１および９１２）を、それぞれ中央付近に含むような領域（領域９２１および９２２）を決定し、これら領域９２１、９２２を、それぞれシーン９０１、９０２の画像から切り出して、出力する画像９３０内の領域９３１、９３２に配置する。
【０１０８】
次の例として、図１２におけるシーン９０３とシーン９０４は、図１０におけるシーン８０３、８０４に対応するものとする。シーン８０３と８０４は、前述の通り互いに組み合わせシーンであり、それぞれ主シーンと副シーンである。さらに、主シーンであるシーン８０３は、「人物数」＝２であるため人物情報が「主要人物（１）」であるシーンと同等の扱いになるので、シーン空間配置部１０３３ａは、両シーンのレイアウトを、副シーン９０４を、出力する画像９４０内の領域全体に表示しながら、画面中央部分の領域９４１に主シーン９０３を重畳表示する配置である「中央配置」に決定する（図１２（ｃ））。この時、シーン空間配置部１０３３ａは、主シーンである９０３のシーン情報に含まれる「最大人物位置」が示す領域（領域９１３）を中央付近に含むような領域９２３を決定し、この領域９２３をシーン９０３の画像から切り出して、出力する画像９４０内の領域９４１に配置する。
【０１０９】
次の例として、図１３におけるシーン９０５とシーン９０６は、図１０におけるシーン８０５、８０６に対応するものとする。シーン８０５とシーン８０６は、前述の通り互いに組み合わせシーンであり、それぞれ主シーンと副シーンである。さらに、主シーンであるシーン８０５は、「人物数」＝５であるため人物情報が「その他人物（２）」であるシーンと同等の扱いになるので、シーン空間配置部１０３３ａは、両シーンのレイアウトを、主シーン９０５を、出力する画像９５０内の領域全体９５１に表示しながら、副シーン９０６を縮小した画像を子画面領域９５２として主シーン上に重畳する配置である「子画面配置」に決定する（図１３（ｃ））。この時、シーン空間配置部１０３３ａは、主シーンである８０５のシーン情報に含まれる「最大人物位置」が示す領域（領域９１５）が、重畳する副シーンに隠されないように、出力する画像９５０内に重畳する子画面領域９５２の位置を決定する。その際、シーン空間配置部１０３３ａは、子画面領域の位置として、画面内の四隅いずれかであって、「最大人物位置」が示す領域（領域９１５）の位置から最も距離の遠い位置を選択して、子画面領域９５２の位置を決定する。なお、子画面領域９５２の位置は、主シーンのシーン情報に含まれる「最大人物位置」と重ならない位置であれば、画面内の四隅に限らず、別の位置に決定してもよい。
【０１１０】
以上のようにシーン空間配置部１０３３ａが複数シーンのレイアウトを決定することによって、主要なシーンにおける大きな被写体（例えば、注目されやすい人物領域）が、同一画面内に配置される別シーンとの境界にかかって画面内に収まらなかったり、主要でない他のシーンで隠されたりするケースを回避することができ、結果として観賞しやすいダイジェスト動画像を生成することができる。
【０１１１】
次に、シーン空間配置部１０３３ａによるエフェクト制御について説明する。シーン空間配置部１０３３ａは、複数シーンのレイアウトを決定する際、さらに、一部のシーンに空間フィルタを適用し、主シーンと副シーンの違いを強調した画像にしてもよい。例えば図１２のような「中央配置」の画像９４０における領域９４２に平滑化フィルタを施すことによって、主シーンを表示した中央領域９４１と副シーンを表示した周辺領域９４２との間で画像の鮮鋭度に差をつけ、注目すべき領域をより明確にする。この時、シーン空間配置部１０３３ａは、シーン情報に含まれる「最大人物サイズ」に応じて、平滑化フィルタの強度を制御する。例えば、主シーンのシーン情報に含まれる「最大人物サイズ」ＨＳｍａｉｎと、副シーンのシーン情報に含まれる「最大人物サイズ」ＨＳｓｕｂの比ＨＳｒａｔｉｏ（＝ＨＳｍａｉｎ／ＨＳｓｕｂ）を定義し、ＨＳｒａｔｉｏの大きさに反比例するように、平滑化フィルタの強度を制御する。例えば、シーン空間配置部１０３３ａは、平滑化フィルタの平滑化度を制御するパラメータＦｆとして、平滑化度が弱い順にα、β、γの３種類のパラメータを使用するものとする。その際、ＨＳｒａｔｉｏが小さい時にパラメータγを選択し、ＨＳｒａｔｉｏが大きい時にパラメータαを選択するように制御する。図１４（ａ）は、ＨＳｒａｔｉｏと平滑化フィルタの強度Ｆｆの関係の一例を示すグラフである。主シーン内と副シーン内の最大人物サイズの差が小さい時（ＨＳｒａｔｉｏ：小）は、主シーンと副シーンを重畳表示した際に、副シーンの画像が主シーンの画像の観賞の妨げになりやすい（両者を混同しやすい）ため、副シーンを表示する領域（領域９４２）にかける平滑化を強くして、主シーンと副シーンの鮮鋭度の差を大きくする。一方、主シーン内と副シーン内の最大人物サイズの差が大きい時（ＨＳｒａｔｉｏ：大）は、主シーンと副シーンを重畳表示した際に、副シーンの画像が主シーンの画像の観賞の妨げになりにくいため、副シーンを表示する領域（領域９４２）にかける平滑化を弱くして、主シーンと副シーンの鮮鋭度の差を小さくする。主シーン内と副シーン内の最大人物サイズの差がさらに大きい時は、平滑化をかけないようにしてもよい（図１４（ａ）において、ＨＳｒａｔｉｏ＞ｒ３の時）。平滑化フィルタによって、主シーンと副シーンの鮮鋭度に差をつける目的は、主シーンへの注目度を高めることが主であるが、鮮鋭度に差をつけ過ぎると、ダイジェスト動画像を観賞する際に、副シーンが何を写したものか判別しにくくなり、複数シーンを空間的に配置した効果が半減してしまう。従って、主シーンへの注目の妨げになりにくいシーンに関しては、平滑化フィルタを弱めて鮮鋭度にあまり差をつけないようにするか、平滑化フィルタ自体をかけないようにする。このような構成により、主要なシーンへの注目度を高めながら、複数シーンを様々なレイアウトで空間的に配置する際の、表示（見え方）のバリエーションをさらに増やし、ダイジェスト動画像を観賞する際に、より見やすく、またユーザを飽きさせにくい動画像を提供することを可能にするものである。
【０１１２】
図１４（ｂ）に、シーン空間配置部１０３３ａによる、平滑化フィルタ強度Ｆｆの制御に関する、別の例を示す。図１４（ｂ）は、平滑化フィルタの強度Ｆｆを、副シーンのシーン情報に含まれる「人物数」ＨＮｓｕｂによって決定する際の、ＨＮｓｕｂとＦｆの関係の一例を示すグラフである。グラフに示したように、シーン空間配置部１０３３ａは、ＨＮｓｕｂが小さい時に、平滑化度の強いパラメータγを選択し、ＨＳｓｕｂが大きい時に、平滑化度の弱いパラメータαを選択する。ＨＮｓｕｂが０の時には、平滑化自体をかけないように制御してもよい（図１４（ｂ）において、０≦ＨＮｓｕｂ＜ｎ１の時）。この方法に従えば、主シーンのシーン情報は参照せず副シーンのシーン情報のみから、簡便に平滑化の強度を決定することができる。平滑化の対象は副シーンであるため、副シーンのシーン情報（人物数）に従って平滑化フィルタの強度を制御すれば、主シーンの注目度を高めつつ、副シーンの画像を効果的に使ったダイジェスト動画像を生成することができる。また、図１４（ａ）に示した関係と図１４（ｂ）に示した関係の両方を満たすように、平滑化フィルタ強度Ｆｆを制御してもよい。例えば、Ｆｆは、α、β、γの３種類だけでなく、多数の係数を選択可能にしておき、まず、副シーンの「人物数」ＨＮｓｕｂに基づいて大まかな平滑化フィルタ強度Ｆｆを決定し、その後、主シーンの「最大人物サイズ」ＨＳｍａｉｎと、副シーンの「最大人物サイズ」ＨＳｓｕｂの比ＨＳｒａｔｉｏ（＝ＨＳｍａｉｎ／ＨＳｓｕｂ）に基づいて、より細かくＦｆを制御する。このような構成により、適用するフィルタ強度の種類を増やすことができ、複数シーンを様々なレイアウトで空間的に配置する際の、表示（見え方）のバリエーションをさらに増やすことができる。
【０１１３】
上記で説明した平滑化フィルタの強度Ｆｆは、例えば、平滑化フィルタとして単純画素間引きを行う場合の、間引き画素数を示すパラメータであってもよい。図１４に示した例においては、例えばα＝２、β＝４、γ＝８と定め、シーン空間配置部１０３３ａは、α、β、γの逆数の割合になるように画素を間引き、その後、元の画素数になるように画素を補間することによって、画像の平滑化を行う。例えば、Ｆｆ＝α＝２なら、平滑化対象の画像の画素数が、水平方向・垂直方向ともに１／２になるように画素を間引き、その後、間引かれた画素位置の画素値を、間引き後の（残された）画素値をコピーして補間する。パラメータＦｆの数値＝１の場合は、間引きを行わないことを意味し、その場合、平滑化は行われない。あるいは、平滑化フィルタの強度Ｆｆは、例えば、平滑化フィルタとして移動平均フィルタを使用する場合の、フィルタを適用する画素範囲に対応する窓サイズを示すパラメータであってもよい。図１４に示した例においては、例えばα＝３、β＝５、γ＝９と定め、シーン空間配置部１０３３ａは、α、β、γが示す窓サイズの単位で（例えばＦｆ＝α＝３なら、３×３画素の窓サイズ）、画素値の平均化を行うことによって、画像の平滑化を行う。前述の例と同様に、パラメータＦｆの数値＝１の時は平滑化を行わない。これらの例に限らず、平滑化フィルタの強度Ｆｆは、ガウシアンフィルタや重みづけフィルタ等、シーン空間配置部１０３３ａが使用する平滑化フィルタの方法に応じて、あらかじめ定めた係数セットを示すパラメータでもよい。
【０１１４】
なお、シーン空間配置部１０３３ａが施す空間フィルタは平滑化フィルタに限らず、領域ごとの色調を変える色変換フィルタでもよい。例えば、シーン空間配置部１０３３ａは副シーンの画像を平滑化する代わりに、その彩度を変更しても良い。例えば、副シーンの領域９４２内の画素に関して、画素の彩度を、前述のＨＳｒａｔｉｏやＨＮｓｕｂに比例するように変化させる。例えば、図１４（ｃ）に示すような、彩度Ｓが０〜Ｓｍａｘまでの範囲で、ＨＳｒａｔｉｏと彩度Ｓの関係を示す特性を定め、その特性に合わせるように副シーンの領域９４２内の画素値を変換する。ここで、Ｓｍａｘは、画素値を変換する前の、対象副シーン内の最大彩度を意味する。このような構成により、主シーン内と副シーン内の最大人物サイズの差が小さい時（ＨＳｒａｔｉｏ：小）は、主シーンと副シーンを重畳表示した際に、副シーンの画像が主シーンの画像の観賞の妨げになりやすい（両者を混同しやすい）ため、副シーンの彩度Ｓを下げることによって主シーンと副シーンの彩度に差をつけて、主シーンの領域を目立ちやすくする。その際、ＨＳｒａｔｉｏが所定の閾値より小さい場合は、副シーンの彩度Ｓ＝０にする（図１４（ｃ）において、ＨＳｒａｔｉｏ＜ｒ０の時）、すなわちグレイスケールの画像にすることによって、主シーンとの彩度の差を特に強調するようにしてもよい。また、ＨＳｒａｔｉｏが所定の閾値より大きい場合は、副シーンの彩度を変更しないようにしてもよい（図１４（ｃ）において、ＨＳｒａｔｉｏ＞ｒ４の時）。なお、図１４（ｃ）のようなＨＳｒａｔｉｏと彩度Ｓの関係を示す特性の代わりに、ＨＮｓｕｂと彩度Ｓの関係を示す同様の特性に基づいて、副シーンの彩度を変換してもよい。以上のように、主シーンと副シーンのシーン情報の関係に応じて、副シーンを配置する領域の彩度を下げるように画素値を変換することによって、副シーンの領域（例えば領域９４２）はグレイスケールの画像に近づくか、もしくはグレイスケールの画像になり、同一画面上に配置した主シーンの領域（例えば領域９４１）を目立ちやすくすることができる。あるいは、シーン空間配置部１０３３ａは、空間フィルタを施すのではなく、副シーンの領域９４２の画像の時間方向の変化をゼロにする、すなわち静止画にすることで、主シーンの領域９４１との違いを強調してもよい。
【０１１５】
以上説明したように、本実施形態にかかわる映像編集装置１００ａによれば、複数のシーンを組み合わせて空間的に配置するダイジェスト動画像の生成において、主要なシーンにおける人物の領域など、注目されやすい画像領域を見やすく配置したダイジェスト動画像を提供することができる。また、同一画面内に空間的に配置した主要なシーンと主要でないシーンとの特徴の違いに応じて、鮮鋭度や色味など、シーン間の画像に差をつけることによって、主要なシーンへの注目度を高めながら、複数シーンを様々なレイアウトで空間的に配置する際の、表示（見え方）のバリエーションをさらに増やし、ダイジェスト動画像を観賞する際に、より見やすく、またユーザを飽きさせにくい動画像を提供することができる。
【０１１６】
なお、第３の実施形態の説明においては、各シーンの特徴を示す画像内の特徴領域として人物（顔画像や全身画像）を検出する例を示したが、人物の代わりに別の被写体を特徴領域として検出し、それら特徴領域に対応する「領域数」、「最大領域サイズ」、「最大領域位置」を示す情報を、人物情報の代わりにシーン情報に含めるように構成してもよい。人物以外の被写体を特徴領域として検出する方法としては、前述のＨａａｒ−Ｌｉｋｅ特徴量やＨＯＧ特徴量を利用する際に、注目したい被写体、例えば、動物（犬、鳥等）、乗り物（車両、航空機等）などに関する特徴量に対応する識別器をあらかじめ用意しておき、それら識別器に基づいて画像内の被写体を検出（識別）すればよい。
【０１１７】
（第４の実施形態）
次に、本発明に係る第４の実施形態である映像編集装置について説明する。第４の実施形態の映像編集装置は、第１の実施形態の映像編集装置に対して、ダイジェスト動画像生成部に含まれる対象画像抽出部、シーン空間配置部およびシーン時間配置部に違いがある点が特徴である。第４の実施形態において、映像編集装置１００ｂは、ダイジェスト動画像生成部１０３ｂを含むように構成され、ダイジェスト動画像生成部１０３ｂは、対象画像抽出部１０３１ｂ、シーン空間配置部１０３３ｂ、シーン時間配置部１０３４ｂを含んで構成される。図１７に、本実施形態による映像編集装置１００ｂおよびダイジェスト動画像生成部１０３ｂの内部構成を示す。
【０１１８】
ダイジェスト動画像生成部１０３ｂは、シーン情報生成部１０２によって生成されたシーン情報を読み込み、画像データ分類部１０１によって分類された画像データ群もしくはイベント選択部１０４が選択した画像データ群を対象として、ダイジェスト動画像を生成する。ダイジェスト動画像生成部１０３ｂは、対象画像抽出部１０３１ｂ、シーン種類決定部１０３２、シーン空間配置部１０３３ｂ、シーン時間配置部１０３４ｂ、ダイジェスト化制御部１０３５を含んで構成される。以下、実施形態１との相違点を中心に詳細に説明する。
【０１１９】
対象画像抽出部１０３１ｂは、イベント選択部１０４から通知される対象の画像データ群を示す選択情報を参照して、ダイジェスト動画像を生成する際の入力画像を抽出する。対象画像抽出部１０３１ｂは、抽出した画像データを示す情報を、シーン種類決定部１０３２およびシーン空間配置部１０３３ｂへ通知する。その際、対象画像抽出部１０３１ｂは、画像データ群識別情報から、画像データ群の名称および画像データ名と画像データの撮影日時を抽出して、シーン空間配置部１０３３ｂへ通知する。
【０１２０】
シーン空間配置部１０３３ｂは、第１の実施形態に関して説明したシーン空間配置部１０３３と同様に、各シーンの空間的な配置を決定し、シーンを空間的に配置した画像クリップを生成する。シーン空間配置部１０３３ｂにおいては、さらに、画像クリップを生成する際に、画像情報を示すテキスト画像を重畳する機能と、追加の画像クリップとしてタイトル画像を生成する機能を有する点が、第１の実施形態との相違点である。
【０１２１】
図１８に、シーン空間配置部１０３３ｂが生成する画像クリップの例を示す。図１８（ａ）は、シーン空間配置部１０３３ｂが生成するタイトル画面の例である。タイトル画面１０００は、例えば黒一色の背景１００１に白色のテキスト１００２を重畳した画像であり、例えば５秒間程度の静止した画像である。シーン空間配置部１０３３ｂは、対象画像抽出部１０３１ｂ経由で通知される画像データ群の名称を示すテキスト１００２を、別途生成した背景画像１００１の上に重畳させることにより、タイトル画面１０００を生成する。図１８（ｂ）は、シーン空間配置部１０３３ｂが生成する、各シーン単位の画像情報を示すテキスト情報を含む画像クリップの例である。画像クリップ１００３は、シーン１００４とシーン１００５を空間的に配置した画像クリップであって（図１１（ｃ）の画像９３０に相当）、シーン１００４および１００５上にそれぞれの撮影日時情報を示すテキストを重畳した画像である。シーン空間配置部１０３３ｂは、対象画像抽出部１０３１ｂ経由で通知される画像データ群識別情報に含まれるシーン１００４およびシーン１００５の各画像データ（図１５におけるDSC_2001.movおよびDSC_2002.mov）に対応する撮影日時情報を示すテキスト（１００６、１００７）を、各シーン上に重畳させることにより、画像クリップ１００３を生成する。
【０１２２】
シーン時間配置部１０３４ｂは、第１の実施形態に関して説明したシーン時間配置部１０３４と同様に、シーン空間配置部１０３３ｂが生成した画像クリップ同士を、時間方向に結合する。その際、シーン時間配置部１０３４ｂは、シーン空間配置部１０３３ｂが生成した前記タイトル画面の画像クリップが時間的に先頭に位置するように、各画像クリップを時間方向に結合する。
【０１２３】
このように、入力画像データの日時情報や位置情報に基づいてタイトル画面を自動生成することで、ダイジェスト動画像を生成する際のユーザ操作の手間を軽減すると共に、生成されたダイジェスト動画像をユーザが観賞する際に、いつどこで撮影した画像データを対象としたダイジェストであるかが一目でわかる。従って、撮影してから日数を経た画像データを含むダイジェスト動画像を生成または観賞する場合でも、撮影時の状況を思い出しやすくなり、ダイジェスト動画像に対するユーザの満足度を高められる効果がある。さらに、シーン単位で撮影日時情報を重畳することで、ユーザがダイジェスト動画像の観賞後、シーン単位でじっくり観賞したいと思った場合に、画像データの特定をしやすくなるという効果も得られる。
【０１２４】
なお、シーン空間配置部１０３３ｂにおいて、各シーンの上に撮影日時情報を示すテキストを重畳するかどうかは、ユーザの選択に従ってあらかじめ決定しておいてもよい。その場合、ダイジェスト化制御部１０３５が、ユーザの選択に従ってテキストを重畳するか否かをシーン空間配置部１０３３ｂに通知し、シーン空間配置部１０３３ｂはその通知に従って、撮影日時情報を示すテキストを各シーンに重畳するかどうかの制御を切り替える。また、画像クリップに撮影日時情報を示すテキストを重畳する際には、全シーン単位にテキストを重畳する代わりに、例えば主シーンの撮影日時情報だけ重畳する構成にしてもよい。
【０１２５】
以上説明したような構成を備えることによって、本実施形態に係る映像編集装置によれば、大量・多数の静止画像や動画像を、ユーザが手間をかけずに短時間で確認・観賞することができ、また、画像を表示する表示装置に適した品質および見やすい画像で観賞でき、さらに、同じ画像データ群を何度でも飽きずに観賞できる、という効果が得られる。
【０１２６】
（第５の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。なお、説明の便宜上、前記の実施形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
【０１２７】
図２３は、本発明に係る第５の実施形態である映像編集装置の構成を示す概略図である。
【０１２８】
映像編集装置１００ｃは、対象画像データ抽出部１０９、シーン情報生成部１０２、再生時間候補導出部１１０、再生時間候補表示部１１１、ダイジェスト動画像生成部１０３ｃを含んで構成される。映像編集装置１００ｃはさらに、図示は省略するが、画像データを格納するデータ記録部や、画像を表示する映像表示部を内部に備えてもよいし、それらと同様の機能を備えるデータ記録装置や映像表示装置を、外部に接続可能な構成であってもよい。
【０１２９】
次に、映像編集装置１００ｃの各機能ブロックについて述べる。
【０１３０】
対象画像データ抽出部１０９は、画像データに含まれるメタデータに基づいて、所定の条件に合致する画像データを抽出する。そして、抽出した画像データを画像データ群としてまとめる。
【０１３１】
例えば、ダイジェスト動画像の編集を行う編集日を基準にして、前日に撮影された画像データ、すなわち撮影日時が編集日の前日である画像データを編集対象に決定する。また、編集日ではなく、ユーザが指定する指定日時を基準として、撮影日時がその指定日時の前後の画像データを編集対象に決定しても良い。また、対象画像データ抽出部１０９が編集対象と決定する画像データは、日時情報だけでなく、位置情報や作成者情報に基づいてもよい。例えば、ユーザが指定する位置情報またはその位置を含む所定範囲内の位置情報を有する画像データを、編集対象に決定してもよい。あるいは、所定範囲内の位置情報を有する画像データが、異なる作成者別に複数ある中で、特定の作成者情報を有する画像データのみを編集対象に決定してもよいし、逆に、特定の作成者情報を有する画像データを除外した画像データを、編集対象に決定してもよい。対象画像データ抽出部１０９が編集対象として決定する画像データは、１つとは限らず、２つ以上でもよい。なお、対象画像データ抽出部１０９が、編集対象とする画像データを決定するタイミングとして、一日の切り替わりをトリガにしてもよい。例えば、午前０時を過ぎた時点で、その前日に撮影された画像データを編集対象と決定してもよい。対象画像データ抽出部１０９は、画像データ群をダイジェスト動画像生成部１０３ｃに出力する。
【０１３２】
また、対象画像データ抽出部１０９は、抽出した全ての画像データの再生時間を合計することで総再生時間を算出する。対象画像データ抽出部１０９は、総再生時間を再生時間候補導出部１１０に出力する。
【０１３３】
再生時間候補導出部１１０は、対象画像データ抽出部１０９から入力された総再生時間に基づいて、ダイジェスト動画像の再生時間候補を導出する。導出方法としては、総再生時間の平方根を再生時間候補として算出する。単位が「分」である総再生時間の平方根を算出し、小数点以下を切り捨てた値を再生時間候補とする。例えば、総再生時間が１時間の場合、６０の平方根から小数点以下を切り捨てた値である７が再生時間候補となる。再生時間候補導出部１１０は、導出した再生時間候補を再生時間候補表示部１１１に出力する。
【０１３４】
再生時間候補表示部１１１は、再生時間候補導出部１１０から入力された再生時間候補を、図示しない表示装置に表示する。なお、表示装置には、タッチパネルやマウスなどのユーザの入力手段が備わっているものとする。再生時間候補表示部１１１は、入力手段を介してユーザイベントを受け取り、ユーザイベントによって選択された再生時間候補を指定時間とする。再生時間候補表示部１１１は、指定時間をダイジェスト動画像生成部１０３ｃに出力する。
【０１３５】
図２４は、本実施形態の映像編集装置１００ｃにおいて、ダイジェスト動画像の再生時間を指定するユーザインターフェースの一例である。ユーザは「ダイジェスト動画像再生時間」表示の下側に表示されているバー３１のボタン３２を左右にスライドさせることで所望の再生時間を選択することが出来る。バー３１の下側には、指定できる再生時間の最小値と最大値が表示される。図３の場合は、最小値として１分、最大値として再生時間候補である７分が表示されている。例えば、ユーザがボタン３２をバー３１の左端までスライドさせた場合、指定時間は１分となり、右端までスライドさせた場合、指定時間は７分となり、バー３１の中間にボタン３２をスライドさせた場合、指定時間は１分と７分の中間値である４分となる。本実施形態では、再生時間をバー３１上のボタン３２をスライドさせることで選択する例について説明したが、プルダウンメニューから再生時間を選択するようにしてもよいし、数値入力するようにしてもよい。
【０１３６】
次に、ダイジェスト動画像生成部１０３ｃが実施する、ダイジェスト動画像生成の処理内容について述べる。図２５は、本実施例の映像編集装置１００ｃによるダイジェスト動画像の生成過程を示す概念図である。図２５に示す通り、映像編集装置１００ｃは、画像データ３０１のうち、選択された画像データの集合である画像データ群３０２を対象として、対応するシーン情報３０３を読み込み、再生時間候補表示部１１１から入力された指定時間に従ってダイジェスト動画像を生成する。ダイジェスト動画像生成の対象となる画像データ群３０２は、例えば、ある一日に撮影された全画像データである。この画像データ群は、対象画像データ抽出部１０９によって決定される。画像データ群３０２は、シーン情報生成部１０２によって１つ以上のシーンに分類され、シーン単位の特徴を示す情報であるシーン情報が生成される。次に、ダイジェスト動画像生成部１０３ｃは、シーン情報を撮影年月日と撮影時刻の早い順番で参照し、単独で使用するシーンと、他のシーンと組み合わせて使うシーンなど、シーンの種類を決定する。そして、ダイジェスト動画像生成部１０３ｃは、決定したシーンの種類に基づいて、各シーンを空間的に配置した画像データである画像クリップ３０６ａ、３０６ｂ、３０６ｃ、…を生成し、複数の画像クリップを時間的に結合することでダイジェスト動画像３０７を生成する。画像クリップ３０６ａ、３０６ｂ、３０６ｃ等は、少なくとも一つのシーンを含む動画像であるが、静止画像を含んでいてもかまわない。
【０１３７】
また、ダイジェスト動画像生成部１０３ｃは、生成したダイジェスト動画像の再生時間が指定時間となるように、ダイジェスト動画像を調整する。ここで、「再生時間が指定時間となる」とは、再生時間と指定時間が一致することを意味してもよいし、再生時間と指定時間の間に多少の差がある状態を意味しても良いこととする。
【０１３８】
例えば、図２６の（Ａ）に示すように、ダイジェスト動画像５０Ａが画像クリップ５１から５７によって構成されており、ダイジェスト動画像５０Ａの最後の画像クリップ５７の再生中に指定時間が過ぎてしまう場合でも、再生時間が指定時間となったと見なしてよい。
【０１３９】
また、図２６の（Ｂ）に示すように、ダイジェスト動画像５０Ｂが画像クリップ５１から５６によって構成されており、ダイジェスト動画像５０Ｂの再生時間が指定時間より短いが、画像クリップをもう１つ、図２６の（Ｂ）の場合には画像クリップ５７、を結合すると、ダイジェスト動画像５０Ｂの再生時間が指定時間より長くなってしまう場合も、再生時間が指定時間となったと見なしてよい。
【０１４０】
つまり、再生時間と指定時間の差が、画像クリップ１つ分以下であれば、再生時間が指定時間となったと見なしてよい。他にも、再生時間と指定時間の差を許容する範囲として、具体的な数値、例えば３０秒や１分などとしてもよいし、指定時間に対する割合、例えば指定時間の１％としてもよい。
【０１４１】
図２７は、本実施形態におけるダイジェスト動画像生成部１０３ｃの内部構成である。ダイジェスト動画像生成部１０３ｃは、シーン種類決定部１０３２、シーン空間配置部１０３３、シーン時間配置部１０３４、ダイジェスト動画像編集部１０３６を含んで構成される。シーン種類決定部１０３２、シーン空間配置部１０３３及びシーン時間配置部１０３４の処理内容は第１の実施形態と同様である。
【０１４２】
（ダイジェスト動画像の再生時間調整）
ダイジェスト動画像生成部１０３ｃがダイジェスト動画像を生成する際の、再生時間の調整方法について説明する。
【０１４３】
ダイジェスト動画像編集部１０３６は、シーン時間配置部１０３４が出力したダイジェスト動画像を編集することにより、ダイジェスト動画像の再生時間を調整する。
【０１４４】
ダイジェスト動画像編集部１０３６は、ダイジェスト動画像の再生時間が指定時間となっている場合には、入力されたダイジェスト動画像をそのまま出力する。
【０１４５】
ダイジェスト動画像編集部１０３６は、ダイジェスト動画像の再生時間が指定時間となっていない場合には、ダイジェスト動画像の再生時間が指定時間となるように編集する。
【０１４６】
具体的には、ダイジェスト動画像再生時間が指定時間より長い場合には、ダイジェスト動画像編集部１０３６は、ダイジェスト動画像に含まれる各画像クリップを短くする。まず、ダイジェスト動画像編集部１０３６は、動きのない画像クリップの再生時間を短くすることで、ダイジェスト動画像の再生時間を調整する。具体的には、ダイジェスト動画像の先頭から順に画像クリップに含まれるシーンのシーン情報の動き情報を参照し、画像クリップに含まれる全てのシーンの動き情報が「動きなし（０）」の場合には、画像クリップのフレームを間引くことで再生時間を短くする。例えば、単純間引きでフレーム数を半分にすることで、画像クリップの再生時間を半分に、即ち再生速度を２倍にする。図２８は、ダイジェスト動画像編集部１０３６における画像クリップの再生時間を短くする処理を説明するための概念図である。画像クリップ６０Ａは動き情報が「動きなし（０）」のシーンのみで構成されている画像クリップである。フレーム６１からフレーム６６は、画像クリップ６０Ａを構成するフレームであり、フレーム６１からフレーム６６の順に時系列で並んでいる。ダイジェスト動画像編集部１０３６は、ダイジェスト動画像再生時間が指定時間より長い場合には、画像クリップ６０Ａ中の２フレームにつき１フレーム、図２８の場合、フレーム６２、フレーム６４、フレーム６６・・・を削除することで、画像クリップ６０Ａに対してフレーム数が半分である画像クリップ６０Ｂにする。画像クリップ６０Ｂを表示する際のフレームレートは画像クリップ６０Ａと同じため、画像クリップ６０Ｂは画像クリップ６０Ａの再生速度を２倍にした画像クリップとなる。ダイジェスト動画像編集部１０３６は、ダイジェスト動画像再生時間が指定時間となるまで、上記処理を繰り返す。
【０１４７】
ダイジェスト動画像編集部１０３６は、ダイジェスト動画像の最後の画像クリップまで上記処理を実施した後、ダイジェスト動画像再生時間が指定時間となっていない場合には、画像クリップに含まれる全てのシーンの動き情報が「動きなし（０）」ではない画像クリップの、一部分を切り取ることで、ダイジェスト動画像の再生時間を調整する。具体的には、ダイジェスト動画像再生時間をＴｄ、指定時間をＴｓとすると、ダイジェスト動画像編集部１０３６は、各画像クリップの再生時間Ｔｉが、Ｔｓ／Ｔｄ倍になるように画像クリップの一部を切り取る。例えば、画像クリップの先頭から、画像クリップの再生時間Ｔｉに対して１-（Ｔｓ／Ｔｄ）倍に相当する時間を切り取る。また、切り取る箇所は先頭以外に、画像クリップの最後の部分でもよいし、先頭と最後両方から切り取っても良い。
【０１４８】
また、ダイジェスト動画像再生時間が指定時間より短い場合には、まず、ダイジェスト動画像編集部１０３６は、動きのない画像クリップの再生時間を長くすることで、ダイジェスト動画像の再生時間を調整する。具体的には、ダイジェスト動画像の先頭から順に画像クリップに含まれるシーンのシーン情報の動き情報を参照し、画像クリップに含まれる全てのシーンの動き情報が「動きなし（０）」の場合には、画像クリップのフレームを補間することで再生時間を長くする。例えば、各フレームの間にフレームを１個補間することで、画像クリップの再生時間を２倍に、即ち再生速度を１／２倍にする。また別の例として、各フレームの間にフレームを２個補間した後、偶数番目のフレームを削除することで、画像クリップの再生時間を１．５倍、即ち再生速度を２／３倍にする。図２９は、ダイジェスト動画像編集部１０３６における画像クリップの再生時間を長くする処理を説明するための概念図である。画像クリップ７０Ａは動き情報が「動きなし（０）」のシーンのみで構成されている画像クリップである。フレーム７１、７４、７７は、画像クリップ７０Ａを構成するフレームであり、フレーム７１、７４、７７の順に時系列で並んでいる。ダイジェスト動画像編集部３６は、ダイジェスト動画像再生時間が指定時間より短い場合には、まず、画像クリップ７０Ａ中のフレームの間に２フレームを、図２９の場合、フレーム７２、フレーム７３、フレーム７５、フレーム７６・・・をフレーム補間により補間することで、画像クリップ７０Ａに対してフレーム数が３倍である画像クリップ７０Ｂにする。次に、ダイジェスト動画像編集部１０３６は、画像クリップ７０Ｂ中の２フレームに１フレームを、図２９の場合、フレーム７２、フレーム７４、フレーム７６・・・を削除することで、画像クリップ７０Ｂに対してフレーム数が半分である画像クリップ７０Ｃにする。画像クリップ７０Ｃのフレーム数は画像クリップ７０Ａの３／２倍であり、表示する際のフレームレートは画像クリップ７０Ａと同じため、画像クリップ７０Ｃは画像クリップ７０Ａの再生速度を２／３倍にした画像クリップとなる。フレーム補間の具体的な方法は、特に限定しないが、例えば、線形補間やフレーム間の動きを推定し、動きに基づいて内挿する方法でもよい。ダイジェスト動画像編集部１０３６は、ダイジェスト動画像再生時間が指定時間となるまで、上記処理を繰り返す。
【０１４９】
ダイジェスト動画像編集部１０３６は、ダイジェスト動画像の最後の画像クリップまで上記処理を実施した後、ダイジェスト動画像再生時間が指定時間となっていない場合には、ダイジェスト動画像に含まれる画像クリップから、ランダムに選択した画像クリップをダイジェスト動画像の最後に結合する。ただし、同一の画像クリップが連続で再生されないように、ランダムに選択した画像クリップが、ダイジェスト動画像の最後の画像クリップと同一の場合には、選択した画像クリップの結合をスキップしてもよい。ダイジェスト動画像編集部１０３６は、ダイジェスト動画像再生時間が指定時間となるまで、上記処理を繰り返す。
【０１５０】
また、別の調整方法として、画像クリップの切り替え時にトランジションのような映像効果を用いる方法もある。映像効果が再生されている間は、画像クリップの再生は停止するため、ダイジェスト動画像再生時間を長くすることが出来る。ダイジェスト動画像編集部１０３６は、画像クリップ間の撮影時刻の差が大きい箇所から順に映像効果を挿入することで、ダイジェスト動画像再生時間Ｔｄを長くする。ダイジェスト動画像編集部１０３６は、ダイジェスト動画像再生時間が指定時間となるか、全ての画像クリップ間に映像効果を挿入するまで、上記処理を繰り返す。全ての画像クリップ間に映像効果を挿入しても、ダイジェスト動画像再生時間が指定時間とならない場合には、上述した、ランダムに選択した画像クリップをダイジェスト動画像の最後に結合する方法を用いる。なお、挿入する具体的な映像効果は、特に限定しないが、例えば、トランジションの１種であるクロスフェード、ディゾルブ、くさび型ワイプを用いてもよい。
【０１５１】
以上説明したように、動きのない画像クリップに関しては、単純間引き又はフレーム補間で再生時間を調整することによって、ユーザに違和感を極力与えることなく、かつ希望通りの再生時間のダイジェスト動画像を鑑賞できる、という効果が得られる。
【０１５２】
（第６の実施形態）
次に、本発明に係る第６の実施形態である映像編集装置について説明する。第６の実施形態の映像編集装置は、第５の実施形態の映像編集装置に対して、ダイジェスト動画像生成部１０３ｃに代えてダイジェスト動画像生成部１０３ｄを備える点に違いがある点が特徴である。
【０１５３】
第５の実施形態では、画像クリップを短くする時に、画像クリップの一部分を切り取る場合があるが、その際にユーザが視聴したい箇所を切り取ってしまう可能性がある、という課題がある。
【０１５４】
それに対し、本実施形態の映像編集装置では、画像クリップを切り取らずに、ダイジェスト動画像の再生時間が指定時間となる調整方法を提供する。
【０１５５】
図３０は、本実施形態におけるダイジェスト動画像生成部１０３ｄの内部構成を示す。ダイジェスト動画像生成部１０３ｄは、シーン種類決定部１０３２ｄ、シーン空間配置部１０３３、シーン時間配置部１０３４を備えて構成される。シーン空間配置部１０３３及びシーン時間配置部１０３４の処理内容は第１の実施形態と同様である。
【０１５６】
シーン種類決定部１０３２ｄは、シーン種類決定部１０３２と同様の方法で、シーン情報と閾値ＴＨｔに基づいて、シーンの種類を決定する。
【０１５７】
シーン種類決定部１０３２ｄは、シーン情報とシーンの種類から、ダイジェスト動画像再生時間Ｔｄを算出する。再生時間Ｔｄの初期値は０とし、シーンの種類が「単独シーン」であるシーンについては、そのシーンの再生時間を再生時間Ｔｄに加算する。シーンの種類が「複数シーン」である複数のシーンについては、各シーンのうち再生時間の最も短いシーンの再生時間を再生時間Ｔｄに加算する。
【０１５８】
そして、シーン種類決定部１０３２ｄは、算出したダイジェスト動画像再生時間Ｔｄが指定時間となっていない場合には、ダイジェスト動画像再生時間Ｔｄが指定時間になるように調整する。
【０１５９】
具体的な調整方法としては、シーン種類決定部１０３２ｄは、ダイジェスト動画像再生時間Ｔｄが指定時間より長い場合には、閾値ＴＨｔを「単独シーン」より「複数シーン」が選択されやすくなるように変更する。例えば、閾値ＴＨｔを５分間から１０分間に変更する。このような閾値の変更により、ダイジェスト動画像に含まれる「複数シーン」の割合が大きくなるため、ダイジェスト動画像の再生時間が短くなるように調整することが出来る。また、シーン種類決定部１０３２ｄは、ダイジェスト動画像再生時間Ｔｄが指定時間Ｔｓより短い場合には、閾値ＴＨｔを「複数シーン」より「単独シーン」が選択されやすくなるように変更する。例えば、閾値ＴＨｔを５分間から３分間に変更する。このような閾値の変更により、ダイジェスト動画像に含まれる「単独シーン」の割合が大きくなるため、ダイジェスト動画像の再生時間が長くなるように調整することが出来る。
【０１６０】
そして、シーン種類決定部１０３２ｄは、変更した閾値ＴＨｔに基づいて、シーンの種類を決定し、再度ダイジェスト動画像再生時間Ｔｄを算出する。シーン種類決定部１０３２ｄは、上記の処理を、ダイジェスト動画像再生時間Ｔｄが指定時間となるまで繰り返す。
【０１６１】
以上説明した方法によると、ダイジェスト動画像の「単独シーン」と「複数シーン」の割合を調整することによって、ユーザが視聴したい画像クリップの一部が削除されることなく、ダイジェスト動画像の再生時間をユーザが所望する再生時間にすることができるため、ユーザがより満足するダイジェスト動画像が生成されるという効果が得られる。
【０１６２】
（第７の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
【０１６３】
図３１は、本発明に係る第１の実施形態である映像編集装置の構成を示す概略図である。映像編集装置１００ｅは、画像データ分類部１０１、シーン情報生成部１０２、ダイジェスト動画像生成部１０３、イベント選択部１０４、出力制御部１０５、映像表示部１０６、ダイジェスト動画像編集制御部１０７、および操作部１０８を含んで構成される。映像編集装置１００ｅはさらに、図示は省略するが、画像データを格納するデータ記録部を内部に備えてもよいし、それらと同様の機能を備えるデータ記録装置を外部に接続する構成にしてもよい。なお、画像データ分類部１０１、シーン情報生成部１０２、ダイジェスト動画像生成部１０３、イベント選択部１０４、出力制御部１０５の基本的な処理内容は第１の実施形態と同様である。
【０１６４】
映像表示部１０６は、映像編集装置１００ｅが生成するダイジェスト動画像および、操作に使われるユーザインタフェイス（ＵＩ）を含む映像を、表示デバイスに出力する。表示デバイスは、映像編集装置１００ｅに内蔵されているか、外部に接続されている。
【０１６５】
ダイジェスト動画像編集制御部１０７は、ダイジェスト動画像生成部１０３が生成したダイジェスト動画像を再生し、画像と音声の同期やフレームレートの調整をしつつ、映像表示部１０６に出力する。さらにそれと並行して、ユーザからの入力に基づいて映像の編集処理をする。再生されるダイジェスト動画像は、ダイジェスト動画像生成部１０３がいったん記録メディアに記録メディアに保存した画像データでもよいし、ダイジェスト動画像生成部１０３から直接入力した画像データでもよい。さらに、映像編集装置１００ｅと同等の他の映像編集装置が生成したダイジェスト動画像を記録メディアに保存した画像データでもよい。ダイジェスト動画像の形式が直接映像表示部１０６で使用可能な表示データの形式と異なる場合は、映像表示部１０６が使用可能な表示データに変換する。例として、ダイジェスト動画像がＨＥＶＣやＡＡＣなどの符号化方式により圧縮されている場合、ダイジェスト動画像編集制御部１０７は、画像データをデコードして映像表示部１０６に出力する。さらに、ダイジェスト動画像データが、再生時における映像の配置、変形、切り出し、重ね合わせの処理を含む、映像の生成処理を必要とする形式を用いて保存されている場合には、ダイジェスト動画像生成部１０３を制御して前記生成処理を行い、映像を取得して再生する。また、ダイジェスト動画像編集制御部１０７は、再生においては、一時停止／早送り／巻戻し／シーン間の移動などを含む再生制御が可能であることが望ましい。
【０１６６】
操作部１０８は、表示画面上の位置指定を含む、ユーザからの入力動作を、例えば映像表示部１０６と一体となったタッチセンサや、外部に接続したマウスやキーボードで検出する。例として、映像編集装置１００ｅが操作部としてタッチセンサを備える場合、ユーザは、タップ、フリック、ピンチなどの一般的操作により入力できる。このほか、録画や再生制御をするためのボタンやキーを備えていてもよい。
【０１６７】
次に、各部についてさらに詳細に説明する。
【０１６８】
（出力制御部）
本実施形態では、出力制御部１０５は、映像表示部１０６の画像表示仕様や、図示しない音声出力デバイスの音声出力仕様、および、ダイジェスト動画像に対するユーザの好みを示す情報を含む条件に基づいて、前記生成方針を設定する。ユーザの好みを示す情報は、操作部１０８あるいはそれ以外の入力手段によって受け取られる。例えば、「人物主体」「風景主体」などの選択肢を映像表示部１０６により表示してユーザに選ばせるなどの方法があるが、これに限るものではない。また、ユーザの好みを示す情報が入力されない場合は、例えば「人物主体」を標準値として設定するようにするとよい。
【０１６９】
出力制御部１０５は、出力先の映像表示デバイスに応じて、複数シーンを同一画像フレーム内に同時に配置することを許容するか否かを示す情報を、「複数シーン同時配置」として設定する。例えば、映像表示部１０６が用いる表示デバイスの解像度または画面サイズがある閾値より小さい場合には複数シーン同時配置を「否」に設定し、大きい場合には複数シーン同時配置を「可」に設定する。
【０１７０】
（ダイジェスト動画像編集制御部）
ダイジェスト動画像編集制御部１０７は、以上のようにして生成されたダイジェスト動画像を再生および編集する。これはユーザの指示によって開始してもよいし、ダイジェスト動画像の生成が完了した際に開始してもよい。
【０１７１】
ダイジェスト動画像編集制御部１０７は、ダイジェスト動画像を再生する一方、ユーザからの入力を受けて、再生中のダイジェスト動画像に対してさらに編集を加える。図３２は、ダイジェスト動画像の再生時の編集処理を示した図である。再生処理そのものや、早送り／巻戻しといった再生制御処理は図示しないが、編集処理と並行して実行される。以下、図中のステップＳ１０１からＳ１０４について説明する。
【０１７２】
ステップＳ１０１では、ダイジェスト動画像編集制御部１０７を用いて、ダイジェスト動画像の再生を開始する。さらに、操作部１０８からの入力を編集処理として解釈および実行する処理を開始する。
【０１７３】
ステップＳ１０２は、動画像が再生中かどうかのチェックである。動画像の再生が終了あるいは中断されたことが検出されれば、編集処理は終了する。
【０１７４】
ステップＳ１０３は、入力操作のチェックである。編集処理の指示として解釈可能な操作が入力されているかどうかを調べる。前記操作が入力されていなければ、ステップＳ１０２に戻る。
【０１７５】
なお、ステップＳ１０２およびステップＳ１０３で行われる再生あるいは操作に関するイベントの検出は、定期的あるいは非定期的な割り込みによっても実現できるため、必ずしも図３２の順序で実行される必要はない。また、チェックのステップ前には、再生状態の変化や入力の発生を待つための待ち時間を挿入してもよい。
【０１７６】
ステップＳ１０４は、編集操作の実行である。編集操作が発生した場合には、再生中のシーンを編集対象シーンとしてその編集操作の種類に応じた処理が実行される。ダイジェスト動画像の再生は、編集処理の開始時に一時停止され、編集処理の完了後に、編集後のデータを用いて再開される。以下では、ステップＳ１０４におけるいくつかの編集操作についてさらに詳しく説明する。
【０１７７】
編集操作の種類は、操作部からの入力によって区別される。例えば、映像表示部１０６がタッチパネルを備えることで、画面上の座標の直接指定や、ジェスチャによる編集操作が実現できる。他に、マウスなどのポインティングデバイスによっても、前記の区別は可能である。このように入力デバイスはタッチパネルとは限らないが、ここでは、ユーザにとって最も直感的な操作が可能な、タッチパネルによる操作入力を用いる例を説明する。なお、画面上には、編集操作以外の操作のために、ウィンドウやアイコン、その他ＧＵＩの部品が表示されていてもよい。
【０１７８】
まず、一般的にみられるタッチパネルの操作（以下、タッチ操作とする）には、様々な種類がある。例えば、タップ（指先で画面を叩く）、ダブルタップ（指先で画面を二度叩く）、フリック（指先を画面に接し、素早く弾くように動かす）、スワイプ（指先を画面に接したまま、一定方向に移動する）、ドラッグ（指先を画面に接したまま移動する。一定方向とは限らない）、ピンチイン（指先を画面に２本またはそれ以上接し、閉じるように近づける）、ピンチアウト（指先を画面に２本またはそれ以上接し、開くように離す）、ツイストまたはローテート（指先を画面に２本またはそれ以上接し、ひねるように動かす）などである。他にも、各操作に用いられた指の本数や、指先の軌跡の位置／形状／速さの違いによって機能を区別する場合もある。以上は一般的なタッチ操作の説明であり、全てが映像編集装置１００ｅの編集操作で使われるとは限らないし、これ以外のタッチ操作を以降で説明するような編集操作に割り当ててもよい。
【０１７９】
図３３はダイジェスト動画像で行われる操作の例を模式的に示している。太枠はダイジェスト動画像の画像領域全体を示し、太枠内にさらに矩形の枠がある場合は、組合せシーンの主シーンまたは副シーンが表示されていることを示す。点線の枠は、編集による変化を示す。矢印は、タッチ操作のおよその軌跡や長さを示す。また、タッチ操作が開始された座標を起点座標、タッチ操作が終了した座標を終点座標と呼ぶことにする。
【０１８０】
図３３（ａ）は画面８１上でのフリック操作を示している。フリック操作は、映像編集装置１００ｅではシーンの削除に関連付けられる。ここでは、編集対象シーンを削除対象シーンとする。ダイジェスト動画像編集制御部１０７は、ダイジェスト動画像から削除対象シーンのデータを削除するか、あるいは削除対象シーンを再生しないようにマークする。編集後は、削除操作によってダイジェスト動画像の総再生時間が短縮されているため、削除されたシーンの次のシーンから再生を再開する。ダイジェスト動画像の最後のシーンを削除した場合には、再生を停止する。なお、削除操作を受け付けたときに、フリックされた方向に削除対象シーンが移動するような視覚的効果を提示すると、よりユーザが容易に理解でき、好ましい。このようにすることで、再生中にユーザが不要と感じたシーンを容易に削除できる。
【０１８１】
図３３（ｂ）は、図５（ａ）に示したような並列配置の組合せシーンにおいてツイスト操作をする例である。ツイスト操作は、映像編集装置１００ｅでは配置パターンの変更に関連付けられる。図３３（ｂ）は、画面上に２つの要素シーン８２および８３がある配置パターンであるが、ツイスト操作により、この２つの要素シーン８２および８３を左右入れ替えられる。ダイジェスト動画像編集制御部１０７は、ダイジェスト動画像が符号化されている場合には、新たな配置に変更した編集対象シーンを生成して、再度符号化する。なお、削除の例と同様に、ツイスト操作を受け付けたときに要素シーン８２および８３が入れ替わるような視覚的効果を提示すると好ましい。このようにすることで、再生中にユーザが、当該要素シーンの左右の配置が不自然であると感じた場合でも、より好ましい配置に容易に変更できる。
【０１８２】
図３３（ｃ）は、図５（ｆ）に示したような、画面を３等分した組合せシーンにおいてツイスト操作をする例である。この場合のツイスト操作では、映像編集装置１００ｅは、要素シーンの空間的配置を可能な組合せの中から順に選択して変更する。例えば元のダイジェスト動画像では要素シーン８４、８５、８６が画面左からこの順で配置されている。３つの要素シーンをＡ、Ｂ、Ｃとすると、ダイジェスト動画像編集制御部１０７はツイスト操作を実行する毎にこの配置を、｛Ａ，Ｂ，Ｃ｝→｛Ａ，Ｃ，Ｂ｝→｛Ｂ，Ａ，Ｃ｝→｛Ｂ，Ｃ，Ａ｝→｛Ｃ，Ａ，Ｂ｝→｛Ｃ，Ｂ，Ａ｝→｛Ａ，Ｂ，Ｃ｝と入れ替える。
【０１８３】
図３３（ｂ）および図３３（ｃ）の例の場合のツイスト操作は、画面上のどこで行われても構わないが、組合せシーンの境界付近で行われるツイスト操作では、境界に接する要素シーンのみを入れ替えるようにしてもよい。このようにすることで、３つ以上の要素シーンを含む組合せシーンにおいても、ユーザにとってより好ましい配置を素早く選択できる。
【０１８４】
図３３（ｄ）は、図５（ｂ）に示したような、画面全体に配置した副シーン８７の中央に縮小した主シーン８８を配置する、中央配置の組合せシーンにおいてピンチアウト操作をする例である。ピンチアウト操作は、映像編集装置１００ｅでは、要素シーンに対するサイズの拡大に関連付けられる。要素シーンの拡大率はピンチアウト操作の起点座標と終点座標の間の距離に応じて定められ、最小値は操作前の主シーン８８のサイズ、最大値は画面全体すなわち副シーン８７のサイズである。ダイジェスト動画像編集制御部１０７は、編集対象シーンから主シーン８８の領域を抽出し、前記拡大率に応じて拡大して、編集対象シーンの上に配置し直した画像を生成し、再度符号化する。主シーン８８の位置は中央のまま維持し、編集前の主シーン８８が拡大した主シーン８８に完全に隠されるようにする。このように主シーン８８のサイズを拡大することにより、主シーン８８の内容や人物をより目立たせることができる。
【０１８５】
図３３（ｅ）は、図３３（ｄ）の例と同様の中央配置ではあるが、図５（ｄ）に示したような、主シーン８９が切り出されて画面中央に配置された組合せシーンにおいてピンチアウト操作をする例である。この場合、シーン拡大率の上限は、ダイジェスト動画像すなわち副シーン８７の水平画素数（ｗ０とする）および主シーン８９の領域の水平画素数（ｗ１とする）を用いてｗ０／ｗ１と定められる。なお、拡大の結果、主シーン８９の垂直方向の画素数（ｈ１とする）がダイジェスト動画像全体の垂直画素数（ｈ０とする）を上回る場合は、主シーン８９の上下をそれぞれ｛ｈ０×（ｗ０／ｗ１−１）／２｝画素分トリミングして、主シーン８９の画像アスペクト比をダイジェスト動画像全体の画像アスペクト比に合わせる。ダイジェスト動画像編集制御部１０７は、このように拡大およびトリミングされた主シーン８９を、編集対象シーンの上に配置し直した画像を生成し、符号化する。図３３（ｄ）の例と同様に、このようにすれば、主シーン８９の内容や人物をより目立たせることができる。
【０１８６】
図３３（ｂ）〜図３３（ｅ）においては、編集対象シーンが組合せシーンであることを前提としている。もし再生中のダイジェスト動画像に、当該編集対象シーンが組合せシーンであるかどうかの情報がない場合や、当該ダイジェスト動画像に関するシーン情報が取得できない場合には、フレーム毎に画素値のヒストグラム生成、輪郭抽出（特に直線部分）、領域毎の動き検出などを用いれば、当該編集対象シーンが組合せシーンかどうかを判定できる。
【０１８７】
図３３（ｆ）は、複雑な軌跡をもつドラッグ操作をする例である。このようなドラッグ操作は、映像編集装置１００ｅでは、軌跡付近の領域に対するフィルタ効果に関連付けられる。図３３（ｆ）の例のような軌跡は、例えば、軌跡をなす点の座標値の分布が水平方向に偏りなく広く、かつ垂直方向の分布が最大値と最小値に偏っている軌跡として判定する。このようなドラッグ操作が入力されると、ダイジェスト動画像編集制御部１０７は、ドラッグ操作の始点と終点を含む領域を、フィルタ対象領域として設定する。例えば、軌跡の線分から一定の距離以内の画素を含む領域や、始点と終点を結ぶ直線を対角線とする矩形領域を含む領域である。ダイジェスト動画像編集制御部１０７は、このような編集対象シーンに含まれる全フレームにおけるフィルタ対象領域の画素に対して、フィルタをかけ、ダイジェスト動画像を更新する。このとき、必要であればフィルタ結果を再度符号化する。ここで用いるフィルタは、ある領域を消す、または乱すような軌跡を示すドラッグ操作であれば、非鮮鋭化フィルタや、所定の画素値による単純な塗り潰しを含む、対象領域を目立たなくする機能を持つものが望ましい。また、ある領域を囲むなど、注目を意味すると解釈できる軌跡のドラッグ操作であれば、鮮鋭化フィルタや輝度を上げるフィルタを含む、対象領域を目立たせる機能を持つものが望ましい。このような操作によって、編集対象シーンから、不要あるいは公開したくない領域を目立たなくしたり、重要な領域を鮮明にしたりできる。なお、フィルタ対象領域は、対象物やカメラが移動している場合、フレーム毎に変える必要がある。このため、ダイジェスト動画像編集制御部１０７は、編集対象シーンについてフィルタ対象領域の動き検出処理を行い、フィルタ対象領域の位置、形状、大きさを調整することが望ましい。さらに、より詳細に軌跡のパターンを認識すれば、類似した目的のフィルタでも複数のフィルタを自動的に切り換えられる。例えば、図３３（ｆ）のような上下方向に往復する軌跡の場合は非鮮鋭化フィルタをかけ、図３３（ｇ）のように左右方向に往復する軌跡の場合は塗りつぶしフィルタをかけるようにもできる。
【０１８８】
図３３（ｈ）は、画面上に映像撮影の開始を示すボタン９０を表示しておき、シーンの追加を可能にする例である。ボタン９０がタップ操作されたとき、ダイジェスト動画像編集制御部１０７は、映像編集装置１００ｅに内蔵もしくは外部に接続したカメラ（図示省略）があれば、ダイジェスト動画像の再生を停止して表示をカメラからの入力画像に画面を切り替えて撮影を開始する。撮影はユーザの操作により終了し、撮影した画像データＶは記録メディアに保存される。ダイジェスト動画像編集制御部は、画像データＶを用いて、既に説明したダイジェスト動画像生成と同様の処理を行う。ただし、入力は画像データＶのみである。出力される画像データＶのダイジェスト動画像は、既に再生中のダイジェスト動画像の最後に追加され、新たなダイジェスト動画像として保存される。より簡易には、撮影した画像データＶをそのままダイジェスト動画像の最後に追加してもよい。
【０１８９】
なお、以上の編集処理はいずれも操作入力時にすぐに実行され、結果が得られることが望ましいが、編集結果を保存するために、映像や音声の再符号化など負荷の高い処理が必要になる場合がある。再生中で映像編集装置１００ｅが高負荷状態にある場合、あるいは編集処理を実行すると再生や操作に支障が生じる場合には、編集処理の即時の実行を避けて編集処理の種類および操作部１０８からの入力情報と編集対象シーンを含む指示情報を記憶し、後に映像編集装置１００ｅが低負荷状態になったときに、指示情報に基づいて編集を実行し、ダイジェスト動画像を更新するようにするとよい。その場合でも、操作入力時には、アニメーション、アイコン、負荷の低い処理による仮の処理結果画像などを用いて、編集対象シーンであることをユーザに対して提示するのが望ましい。
【０１９０】
以上説明したように、生成するダイジェスト動画像の出力画像仕様および出力音声仕様を、出力先の映像表示デバイスや音声出力デバイスの仕様・能力に合わせることによって、出力先のデバイスに適した高品質なダイジェスト動画像を生成し、さらに、簡易な操作でダイジェスト動画像の構成を再生時に編集できる。
【０１９１】
（第８の実施形態）
次に、本発明に係る第８の実施形態である映像編集装置について説明する。第８の実施形態の映像編集装置は、第７の実施形態の映像編集装置と同じ構成であるが、ダイジェスト動画像におけるシーンの空間的および時間的な配置を示す情報を含む、ダイジェスト動画像の生成に伴い使われた情報（以下、配置情報と呼ぶ）および入力画像データを、再生時にも使用できるよう記録メディアやメモリに保存しておく点で異なる。または、ダイジェスト動画像自体が、入力画像データおよび前記配置情報を含む形式であってもよい。例えば、ダイジェスト動画像を、入力画像データおよび前記配置情報に相当するデータを含む、１つまたはそれ以上のファイルからなるデータとしてもよい。再生時には、前記配置情報を参照して入力画像データを配置することで、ダイジェスト動画像生成部１０３で意図した映像を生成できる。
【０１９２】
なお、配置情報のうち、シーンの空間的配置を示す情報とは、前記第７の実施形態で説明したような各配置パターンにおける要素シーンに対応する入力画像データのインデクス、前記要素シーンの縦横のサイズ（画素数）、画面上での位置（座標）、前記入力画像データ上での切り出し位置を含む。あるいは、これらを導出するための間接的な情報、例えば、配置パターン／既定のサイズ／既定の位置を選択するためのインデクスでもよい。また、シーンの時間的配置を示す情報とは、各シーンが最終的なダイジェスト動画像の時間軸上でどこに相当するかを示す情報であり、少なくとも各シーンの開始時刻と終了時刻（あるいは長さ）を含む。時刻や長さはフレーム数を用いて表現してもよい。
【０１９３】
本実施形態におけるダイジェスト動画像生成部１０３は、配置情報を含む、以前のダイジェスト動画像の生成に用いたデータの、記録メディアやメモリへの保存と、再利用が可能である。これにより、部分的あるいは完全に同一のダイジェスト動画像を再度生成する場合にも、同一処理の再実行を避けて負荷を低減できる。
【０１９４】
図３４（ａ）〜（ｂ）は、画面上でのフリック操作を示している。フリック操作は、第７の実施形態と同様に、シーンの削除に関連付けられる。図３４（ａ）は、編集対象シーンが組合せシーンであり、かつ、フリック操作の起点座標が主シーン９１に重ねて配置された副シーン９２の場合である。このとき、削除対象シーンは副シーン９２となる。図３４（ｂ）は、起点座標に表示されているシーンが主シーン９１の場合であり、削除対象シーンは、主シーン９１である。または、当該編集対象シーンを全て削除対象シーンとしてもよい。なお、上下方向のフリック操作の場合のみ削除処理とみなすように限定すれば、次に説明する左右方向のドラッグ操作との区別を容易にして操作の誤りを減らせる。ダイジェスト動画像編集制御部１０７は、編集対象シーンが再生されないよう、空間的および時間的な配置情報から当該編集対象シーンを削除し、ダイジェスト動画像を再度生成する。要素シーンの削除において、他の要素シーンに重ねて配置されていない要素シーンを削除すると、シーンが何も表示されない領域がダイジェスト動画像の画面上に発生してしまう。このような場合、削除後の要素シーンが１つだけであれば単独シーンとして配置し直し、削除後の要素シーンが２つ以上であれば画面を再分割するとよい。例えば、図５（ｆ）のような３つの要素シーンの並列配置から１つを削除した場合は、残り２つの要素シーンを、図５（ｂ）の並列配置を用いて配置し直すとよい。
【０１９５】
図３４（ｃ）〜図３４（ｅ）は、組合せシーンの副シーン９２を起点座標としたドラッグ操作の例を示している。
【０１９６】
図３４（ｃ）は、ドラッグが左右いずれかの画面端まで続いた場合である。このとき、ダイジェスト動画像編集制御部１０７は、副シーン９２を単独シーンへと変更し、編集対象シーンから副シーン９２を削除する。元の副シーン９２に相当する新たに生成される単独シーンは、ドラッグの終点が左の画面端であれば編集対象シーンの直前に、右の画面端であれば編集対象シーンの直後に挿入する。図３５は、ドラッグの終点が右の画面端であった場合の、編集前後のダイジェスト動画像の変化を示している。編集前のダイジェスト動画像１１００は、途中にシーン１１００ａ、１１００ｂ、１１００ｃを含んでいる。シーン１１００ｂは組合せシーンであり、要素シーンとして主シーンＳ２１と副シーンＳ２２を含む。シーン１１００ｂが編集対象シーンとなって副シーンＳ２２から開始されたドラッグ操作が画面右端まで行われた場合、副シーンＳ２２はシーン１１００ｂから独立し、編集後のダイジェスト動画像１１０１においては、単独シーン１１００ｂ２となる。副シーンＳ２２が削除されたシーン１１００ｂは、主シーンＳ２１だけとなり、単独シーン１１００ｂ１となる。より単純な実施形態として、終点の位置に関わらず、編集対象シーンの直前または直後のいずれか所定の位置に挿入しても構わない。ダイジェスト動画像編集制御部１０７は、まず元の編集対象シーンを削除し、編集対象シーンのあった時間的位置に、元の編集対象シーンから副シーン９２を削除した新たなシーン、および、副シーン９２に相当する単独シーンの２つのシーンを、前記の順序で挿入する。図３４（ｃ）のように編集対象シーンが副シーン９２以外に含む要素シーンが１つしかない場合は、編集対象シーンは編集後に２つの単独シーンとなる。編集対象シーンが含む要素シーンが３つ以上ある場合は、編集対象シーンは編集後に、１つの組合せシーンと１つの単独シーンとなる。図３４（ｄ）および図３４（ｅ）は、ドラッグ操作の終点が画面端に達しない場合である。図におけるドラッグの方向は一例である。
【０１９７】
図３４（ｄ）は、副シーン９２の境界部分以外をドラッグした場合である。このとき、ダイジェスト動画像編集制御部１０７は、副シーン９２を、主シーン上の別の場所へ移動する。これにより、組合せシーン上で注目したい人物や物体を副シーン９２が覆っている場合でも、副シーン９２を移動させて、ユーザにとってより好ましい映像にできる。移動先は、ドラッグの終点付近の任意の位置にしてもよいし、図３４（ｄ）に点線の矩形で示したように、システムで既定した複数の位置のうちドラッグの終点に最も近い位置にしてもよい。ダイジェスト動画像編集制御部１０７は、配置情報における前記編集対象シーンの情報を上記に対応するよう書き換え、前記編集対象シーンを再度生成し、保存する。
【０１９８】
図３４（ｅ）は、子画面配置の主シーンと副シーン９２の境界部分をドラッグした場合である。このとき、ダイジェスト動画像編集制御部１０７は、副シーン９２の表示サイズ（縦横の画素数）を変更する。副シーンの新たなサイズは、ドラッグの終点から導出されるユーザの任意によるサイズでもよいし、システムで既定した複数のサイズのうちドラッグの終点で表されるサイズに最も近いサイズにしてもよい。副シーン９２の新しいサイズおよび面積については、操作前のサイズおよび面積より大きくても小さくてもよいが、上限および下限を設けるとよい。例えば、動画像全体の面積の４分の１を上限とし、１６分の１を下限とする。これにより、主シーンの視聴を妨げない範囲で副シーン９２のサイズを調整し、副シーン９２を重ね合わせるバランスをユーザにとってより好適に設定できる。図３４（ｆ）は、主シーン９４が副シーン９３を背景として画面中央に配置されるパターンである。このように主シーンが副シーンに重なる配置についても、サイズの変更対象となるシーンが主シーンとなる以外は、基本的に同様である。図３４（ｆ）の場合、主シーン９４と副シーン９３の境界は主シーン左右の垂直の辺のみである。
【０１９９】
図３４（ｅ）および図３４（ｆ）のいずれの場合にしても、基本的には要素シーンのサイズ変更は、ドラッグの方向によらず、要素シーンの元の画像アスペクト比を保持して拡大率あるいは縮小率のみ変更すれば、ユーザが理解しやすく操作も簡便である。一方、縦横比を維持しないで変更できるようにすれば、より柔軟なサイズの変更ができる。その場合は、ドラッグの始点によって操作を変えるとよい。ドラッグの始点が境界部分の角であれば、要素シーンの垂直方向と水平方向のサイズを、ドラッグ操作に従って同時に変更する。ドラッグの視点が角を除く四辺のいずれかであれば、垂直方向の辺のドラッグは水平方向のサイズを変更し、水平方向の辺の場合は垂直方向のサイズを変更する。このようなドラッグの結果指定された画像アスペクト比は、要素シーンに対応する入力画像データのアスペクト比と、多くの場合で異なる。その場合、前記入力画像データを縦横それぞれ異なる倍率でスケールするか、前記入力画像データを新たな画像アスペクト比に合わせてトリミングする。後者の場合、新たな画像アスペクト比で可能な限り大きな領域を切り出すには、以下のようにする。以下、要素シーンに対応する入力画像データのサイズをｗｓ０：ｈｓ０（水平：垂直）とし、新たなサイズをｗｓ１：ｈｓ１とする。
【０２００】
ｗｓ０／ｈｓ０  ＜  ｗｓ１／ｈｓ１  の場合、要素シーンに対応する入力画像データの上下を水平の帯状に削除し、画素数ｗｓ０：（ｈｓ１×ｗｓ１／ｗｓ０）の画像にして、ｗｓ１：ｈｓ１に縮小する。
【０２０１】
ｗｓ０／ｈｓ０  ＞  ｗｓ１／ｈｓ１  の場合、要素シーンに対応する入力画像データの左右を垂直の帯状に削除し、画素数（ｗｓ１×ｈｓ１／ｈｓ０）：ｈｓ０の画像にして、ｗｓ１：ｈｓ１に縮小する。なお、要素シーンに主要人物などの重要なオブジェクトが含まれている場合は、そのオブジェクトを中心に、上記の新たな画像アスペクト比になるようトリミングするだけでもよい。
【０２０２】
ダイジェスト動画像編集制御部１０７は、前記編集対象シーンにおける配置情報を、上記のようにしてサイズを調整した要素シーンを配置するよう変更し、要素シーンに対応する入力画像データを用いて編集対象シーンを再度生成する。サイズ変更の結果としていずれかの要素シーンが画面上から見えなくなるときは、当該要素シーンを編集対象シーンの配置情報から削除すれば、当該編集対象シーンを生成する際の負荷を低減できる。
【０２０３】
図３４（ｇ）は、組合せシーンにおいてツイスト操作をする例である。ツイスト操作が行われる毎に、ダイジェスト動画像編集制御部１０７は、編集対象シーンの含む要素シーンに対応する入力画像データを用いて、とりうる配置パターンの中から別の配置パターンを選択し、編集対象シーンを再度生成する。本実施形態では入力画像データが全て保存されているため、図３３（ｂ）および図３３（ｃ）で示した例のように配置の並び順のみを入れ替えるほか、重なり方が変わる配置パターンに変更することも可能である。これにより、ユーザにとって好ましい配置パターンを容易に選択できる。
【０２０４】
なお、図３４（ｇ）の例でも、要素シーンの境界付近でツイスト操作が行われた場合には、境界付近の要素シーンのみが変更されるように配置パターンを変更するとよい。さらに、前記境界が主シーンと副シーンの境界であった場合、主シーンと副シーンの割当てを変更した配置も、とりうる配置パターンに含めるとよい。図３４（ｇ）の例であれば、子画面配置はそのままで、元の主シーンを新たな副シーンとし、元の副シーンを新たな主シーンして交換する。これにより、副シーンとされたシーンが主シーンよりも重要であるとユーザが感じた場合にも、容易に配置パターンを変更できる。
【０２０５】
ダイジェスト動画像編集制御部１０７は、新たな配置パターンに合わせて配置情報を変更し、前記配置情報に基づいて編集対象シーンを再度生成する。以上説明したように、ダイジェスト動画像生成に用いる入力画像データおよび配置情報を保存しておく映像編集装置によって、再生時の簡易な操作に基づいてダイジェスト動画像を再度生成でき、ユーザにとってより好ましいダイジェスト動画像へと修正できる。
【０２０６】
なお、上述した実施形態における映像編集装置１００，１００ａ，１００ｂ、１００ｃ、１００ｅの一部、例えば、画像データ分類部１０１、シーン情報生成部１０２、ダイジェスト動画像生成部１０３，１０３ａ，１０３ｂ、１０３ｃ、１０３ｄ、イベント選択部１０４、出力制御部１０５、映像表示部１０６、ダイジェスト動画像編集制御部１０７、操作部１０８、対象画像データ抽出部１０９、再生時間候補導出部１１０および再生時間候補表示部１１１を、コンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、映像編集装置１００，１００ａ，１００ｂに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、メモリカード、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク、ＳＳＤ等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んで良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０２０７】
また、上述した実施形態における各映像編集装置の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。前記映像編集装置の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０２０８】
（まとめ）
本発明の態様１に係る映像編集装置は、動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部と、前記シーン情報に基づいて、前記画像データのダイジェスト動画像を生成するダイジェスト動画像生成部とを備える映像編集装置であって、前記ダイジェスト動画像生成部は、前記シーン情報に基づいて、ダイジェスト動画像を生成する際に各シーンを使用するか否か、複数のシーンを同一フレーム内に配置するか否か、および複数シーンを同一フレーム内に配置する際のシーンの空間的配置パターンを決定することを特徴としている。
【０２０９】
前記の構成によれば、大量・多数の静止画像や動画像を、手間をかけずに短時間で確認・観賞することができる。さらに、画像を表示する画面の大きさや形状に応じて見やすく、飽きずに画像を観賞することができる。
【０２１０】
本発明の態様２に係る映像編集装置は、前記態様１において、前記ダイジェスト動画像生成部は、時間的に近接する複数シーンのシーン情報を比較し、比較結果に基づいてシーンの種別である主シーンと副シーンを決定し、さらに、時間的に近接するシーン同士のシーンの種別の関係に基づいて、前記複数シーンの空間的配置パターンとして、少なくとも、２つ以上の主シーン同士を同一フレーム内に配置する「並列配置」パターン、主シーンと副シーンを、主シーンを画面中央領域に配置し、副シーンを主シーンの領域周辺に位置するように配置する「中央配置」パターン、主シーンをフレーム全体に表示し、その一部の領域に副シーンが重畳されるように配置する「子画面配置」パターン、のいずれかから選択して決定してよい。
【０２１１】
本発明の態様３に係る映像編集装置は、前記態様２において、前記ダイジェスト動画像生成部は、主シーンを画面中央領域に配置し、副シーンを主シーンの領域周辺に位置するように配置する「中央配置」パターンを選択した際に、副シーンに空間フィルタを適用して、画像の精鋭度もしくは色調に関して主シーンの領域と差をつけてよい。
【０２１２】
本発明の態様４に係る映像編集装置は、前記態様１から３の何れかにおいて、前記ダイジェスト動画像生成部はさらに、ダイジェスト動画像の生成対象である画像データ群の単位で、ダイジェスト動画像の生成回数をカウントし、生成回数に応じて複数シーンを配置する際の配置パターンを変化させてよい。
【０２１３】
本発明の態様５に係る映像編集装置は、前記態様１から４の何れかにおいて、前記シーン情報生成部は、シーン単位で、画像フレーム内における特徴領域の数を示す情報である「領域数」と、前記特徴領域のうち面積が最大である領域の大きさを示す情報である「最大領域サイズ」と、前記特徴領域のうち面積が最大である領域の画像内の位置を示す情報である「最大領域位置」とを、前記シーン情報の一部として生成し、前記ダイジェスト動画像生成部は、複数のシーンを同一フレーム内に配置する際に、前記シーン情報で示される各情報に基づいて、主シーンとして切り出す画像領域や、副シーンに空間フィルタを適用する際のフィルタの強度を可変させてよい。
【０２１４】
本発明の態様６に係る映像編集装置は、前記態様１から５の何れかにおいて、前記映像編集装置は、ダイジェスト動画像を出力する出力デバイスの特性を含む出力条件に基づいてダイジェスト動画像の生成方針を決定し、決定した生成方針を前記ダイジェスト動画像生成部へ通知する出力制御部をさらに備え、前記ダイジェスト動画像生成部は、前記生成方針および前記シーン情報に基づいて、ダイジェスト動画像を生成してよい。
【０２１５】
本発明の態様７に係る映像編集装置は、前記態様１から６の何れかにおいて、前記映像編集装置は、画像データが有する撮影時の条件を示すメタデータに基づいて、画像データをイベント単位に分類する画像データ分類部と、イベント単位に分類された画像データから、メタデータが所定の条件に従う画像データで構成される画像データ群をダイジェスト動画像の生成対象として選択するイベント選択部とをさらに備え、前記ダイジェスト動画像生成部は、前記イベント選択部によって選択された画像データ群を入力としてダイジェスト動画像を生成してよい。
【０２１６】
本発明の態様８に係る映像編集装置は、前記態様１において、ダイジェスト動画像を出力する出力デバイスの特性を含む出力条件に基づいてダイジェスト動画像の生成方針を決定し、決定した生成方針を前記ダイジェスト動画像生成部へ通知する出力制御部をさらに備え、前記ダイジェスト動画像生成部は、前記生成方針および前記シーン情報に基づいて、ダイジェスト動画像における前記シーンの空間的配置パターンを決定してよい。
【０２１７】
本発明の態様９に係る映像編集装置は、前記態様３において、前記シーン情報生成部は、シーン単位で、画像フレーム内における特徴領域の数を示す情報である「領域数」と、前記特徴領域のうち面積が最大である領域の大きさを示す情報である「最大領域サイズ」と、前記特徴領域のうち面積が最大である領域の画像内の位置を示す情報である「最大領域位置」とを、前記シーン情報の一部として生成し、前記ダイジェスト動画像生成部は、複数のシーンを同一フレーム内に配置する際に、前記シーン情報で示される「領域数」もしくは「最大領域サイズ」の大きさに基づいて、副シーンに空間フィルタを適用する際のフィルタの強度を可変させてよい。
【０２１８】
本発明の態様１０に係る映像編集装置は、前記態様２または３において、前記ダイジェスト動画像生成部はさらに、ダイジェスト動画像の生成対象である画像データ群の単位で、ダイジェスト動画像の生成回数をカウントし、生成回数に応じて複数シーンを配置する際の配置パターンを変化させてよい。
【０２１９】
本発明の態様１１に係る映像編集装置は、前記態様８において、前記ダイジェスト動画像生成部は、前記生成方針に基づいて、ダイジェスト動画像を符号化するか否か、および符号化する際の符号化品質を決定してよい。
【０２２０】
本発明の態様１２に係る映像編集装置は、画像データ群に基づいて、ダイジェスト動画像の再生時間候補を導出する再生時間候補導出部と、前記再生時間候補をユーザに提示し、ユーザイベントに基づいて指定時間を設定する再生時間候補表示部と、動画像を含む画像データ群を、１つ以上のシーンに分割するシーン情報生成部と、前記シーンに基づいて、画像クリップを生成し、前記画像クリップを時間的に結合することでダイジェスト動画像を生成するダイジェスト動画像生成部とを備える映像編集装置であって、前記ダイジェスト動画像生成部は、前記ダイジェスト動画像の再生時間が前記指定時間となるような調整を実施することを特徴としている。
【０２２１】
前記の構成によれば、大量・多数の静止画像や動画像を、手間をかけずに短時間で確認・観賞することができる。さらに、画像を多様な表示方法で観賞することができると共に、ユーザが所望する時間で鑑賞することができる。
【０２２２】
本発明の態様１３に係る映像編集装置は、前記態様１２において、前記ダイジェスト動画像生成部は、前記指定時間が短くなるにつれて、動きの少ない前記画像クリップの再生時間を短くしてよい。
【０２２３】
本発明の態様１４に係る映像編集装置は、前記態様１３において、前記ダイジェスト動画像生成部は、前記画像クリップのフレームを間引くことで再生時間を短くしてよい。
【０２２４】
本発明の態様１５に係る映像編集装置は、前記態様１２において、前記ダイジェスト動画像生成部は、前記指定時間が長くなるにつれて、動きの少ない前記画像クリップの再生時間を長くしてよい。
【０２２５】
本発明の態様１６に係る映像編集装置は、前記態様１５において、前記ダイジェスト動画像生成部は、前記画像クリップのフレームを補間することで再生時間を長くしてよい。
【０２２６】
本発明の態様１７に係る映像編集装置は、前記態様１２において、前記ダイジェスト動画像生成部は、前記シーンを単独で使用する単独シーンか複数のシーンを組み合わせて使う複数シーンの何れかに分類し、前記指定時間が短くなるにつれて、前記ダイジェスト動画像を構成する前記複数シーンの割合が大きくなってよい。
【０２２７】
本発明の態様１８に係る映像編集装置は、前記態様１２において、前記再生時間候補導出部は、前記画像データ群の総再生時間よりも前記再生時間候補を短くし、なお且つ、前記画像データ群の総再生時間が長くなるほど、前記再生時間候補を長くしてよい。
【０２２８】
本発明の態様１９に係る映像編集装置は、動画像を含む画像データ群を、１つ以上のシーンに分割すると共に、シーン単位の特徴を示すシーン情報を生成するシーン情報生成部と、ダイジェスト動画像の生成方針を決定し、決定した生成方針を前記ダイジェスト動画像生成部へ通知する出力制御部と、前記シーン情報および前記生成方針に基づいて、複数シーンを画面内に空間的に配置したシーン（以下、組合せシーンとする）を含む、前記画像データ群のダイジェスト動画像を生成するダイジェスト動画像生成部と、映像および操作用の情報を表示する映像表示部と、前記ダイジェスト動画像を再生して前記映像表示部に出力するダイジェスト動画像編集制御部と、外部からの操作入力を検出する操作部とを備える映像編集装置であって、前記操作部により検出された操作入力により前記ダイジェスト動画像の構成を変更することを特徴としている。
【０２２９】
前記の構成によれば、大量・多数の静止画像や動画像を、手間をかけずに短時間で確認・観賞することができる。さらに、大量・多数の静止画像や動画像を見やすく確認・観賞できるよう構成した画像を、さらにユーザに好ましい構成になるよう再生時に簡便に修正できる。
【０２３０】
本発明の態様２０に係る映像編集装置は、前記態様１９において、前記映像編集装置は、前記操作入力により指定されたシーンもしくは組み合わせシーンを構成する一部のシーンを前記ダイジェスト動画像から削除してよい。
【０２３１】
本発明の態様２１に係る映像編集装置は、前記態様１９において、前記映像編集装置は、前記操作入力により指定された組合せシーンの空間的配置パターンを変更してよい。
【０２３２】
本発明の態様２２に係る映像編集装置は、前記態様１９において、前記映像編集装置は、前記操作入力により指定された領域に対し、動画像にフィルタをかけてよい。
【０２３３】
本発明の態様２３に係る映像編集装置は、前記態様１９において、前記映像編集装置は、前記操作入力により、新たに撮影した画像データを前記ダイジェスト動画像に追加してよい。
【０２３４】
本発明の態様２４に係る映像編集装置は、前記態様１９において、前記映像編集装置は、前記操作入力により指定された組合せシーンから、前記組合せシーンを構成するいずれかのシーンを、単独のシーンとして前記ダイジェスト動画像において前記組合せシーンの時間的に前または後に挿入してよい。
【０２３５】
本発明の態様２５に係る映像編集装置は、前記態様１９から２４の何れかにおいて、前記映像編集装置は、前記ダイジェスト動画像の再生時における操作入力により、前記ダイジェスト動画像の生成に用いた画像および、前記画像の空間的および時間的な配置を示す情報を用いて、前記ダイジェスト動画像の内容を変更してよい。
【０２３６】
本発明の態様２６に係る映像編集装置は、前記態様１９において、前記操作入力により指定された、組合せシーンを構成する一部のシーンを当該組合せシーンから削除してよい。
【０２３７】
本発明の態様２７に係る映像編集装置は、前記態様２５において、前記操作入力により、組合せシーンの空間的配置パターンを変更してよい。
【０２３８】
本発明の態様２６に係る映像編集装置は、前記態様２５において、前記操作入力により指定された組合せシーンから、前記組合せシーンを構成するいずれかのシーンを、単独のシーンとして前記ダイジェスト動画像において前記組合せシーンの時間的に前または後に挿入してよい。
【０２３９】
以上、図面を参照してこの発明の複数の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【産業上の利用可能性】
【０２４０】
本発明は、静止画像や動画像を入力としていわゆるダイジェスト動画像を生成する映像編集装置に好適に適用することができる。
【符号の説明】
【０２４１】
１００、１００ａ、１００ｂ、１００ｃ…映像編集装置
１０１…画像データ分類部
１０２、１０２ａ…シーン情報生成部
１０３、１０３ａ、１０３ｂ、１０３ｃ、１０３ｄ…ダイジェスト動画像生成部
１０４…イベント選択部
１０５…出力制御部
１０６…映像表示部
１０７…ダイジェスト動画像編集制御部
１０８…操作部
１０９…対象画像データ抽出部
１１０…再生時間候補導出部
１１１…再生時間候補表示部
３０１、３０２…画像データ群
２００、３０３、４００、８００…シーン情報
３０４…選択情報
３０５…ダイジェスト動画像生成方針
３０７…ダイジェスト動画像
１０３１、１０３１ｂ…対象画像抽出部
１０３２、１０３２ａ、１０３２ｄ…シーン種類決定部
１０３３、１０３３ａ、１０３３ｂ…シーン空間配置部
１０３４、１０３４ｂ…シーン時間配置部
１０３５…ダイジェスト化制御部
１０３６…ダイジェスト動画像編集部
【図１】
2015125815.tif 000003
【図２】
2015125815.tif 000004
【図３】
2015125815.tif 000005
【図４】
2015125815.tif 000006
【図５】
2015125815.tif 000007
【図６】
2015125815.tif 000008
【図７】
2015125815.tif 000009
【図８】
2015125815.tif 000010
【図９】
2015125815.tif 000011
【図１０】
2015125815.tif 000012
【図１１】
2015125815.tif 000013
【図１２】
2015125815.tif 000014
【図１３】
2015125815.tif 000015
【図１４】
2015125815.tif 000016
【図１５】
2015125815.tif 000017
【図１６】
2015125815.tif 000018
【図１７】
2015125815.tif 000019
【図１８】
2015125815.tif 000020
【図１９】
2015125815.tif 000021
【図２０】
2015125815.tif 000022
【図２１】
2015125815.tif 000023
【図２２】
2015125815.tif 000024
【図２３】
2015125815.tif 000025
【図２４】
2015125815.tif 000026
【図２５】
2015125815.tif 000027
【図２６】
2015125815.tif 000028
【図２７】
2015125815.tif 000029
【図２８】
2015125815.tif 000030
【図２９】
2015125815.tif 000031
【図３０】
2015125815.tif 000032
【図３１】
2015125815.tif 000033
【図３２】
2015125815.tif 000034
【図３３】
2015125815.tif 000035
【図３４】
2015125815.tif 000036
【図３５】
2015125815.tif 000037
【国際調査報告】
2015125815.tif 000038
2015125815.tif 000039
2015125815.tif 000040
2015125815.tif 000041
2015125815.tif 000042
2015125815.tif 000043
2015125815.tif 000044