(57)【要約】【課題】映像編集の技術および知識のない一般のユーザが、効果的かつ効率的に映像コンテンツを編集するための映像編集支援装置を提供すること。【解決手段】ユーザが映像コンテンツを編集することによりユーザ編集映像を制作する際に、その編集を支援する映像編集支援装置であって、編集済みの映像コンテンツであるサンプル映像に含まれる複数の実体要素の並び方に関する情報である編集情報を学習する学習部２と、ユーザ編集映像の素材の映像コンテンツである素材映像の入力を受け付ける素材受付部１０と、学習部２により学習された編集情報に従い、素材受付部１０により受け付けられた素材映像に含まれる実体要素またはユーザ編集映像に付加される実体要素の、ユーザ編集映像における並び方の候補を示す情報を生成する候補生成部１３と、候補生成部１３により生成された並び方の候補を示す情報を出力する出力部４とを備える。【選択図】図３
2007336106.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが映像コンテンツである素材映像を編集することによりユーザ編集映像を制作する際に、その編集を支援する映像編集支援装置であって、
編集済みの映像コンテンツであるサンプル映像に含まれる複数の実体要素の並び方に関する情報である編集情報を学習する学習手段と、
前記素材映像の入力を受け付ける素材受付手段と、
前記学習手段により学習された編集情報に従い、前記素材受付手段により受け付けられた前記素材映像に含まれる実体要素または前記ユーザ編集映像に付加される実体要素の、前記ユーザ編集映像における並び方の候補を示す情報を生成する候補生成手段と、
前記候補生成手段により生成された前記並び方の候補を示す情報を出力する候補出力手段と
を備える映像編集支援装置。
【請求項２】
さらに、前記ユーザの指示を受け付ける指示受付手段を備え、
前記候補選択手段は、
前記指示受付手段が、前記素材映像に含まれる所定の単位の実体要素を選択する指示を受け付けた場合、指示された実体要素を配置すべき前記ユーザ編集映像上の時間位置の候補を、前記編集情報に従って、前記ユーザ編集映像上の任意の時間位置の中から選択することで、前記並び方の候補を示す情報を生成し、
前記指示受付手段が、前記ユーザ編集映像上の時間位置を選択する指示を受け付けた場合、指示された前記時間位置に配置すべき実体要素の候補を、前記編集情報に従って、前記素材映像に含まれる複数の実体要素の中から選択することで、前記並び方の候補を示す情報を生成する
請求項１記載の映像編集支援装置。
【請求項３】
さらに、前記素材受付手段により受け付けられた前記素材映像に含まれる実体要素である、動画および音のそれぞれの信号特徴を抽出する素材特徴抽出手段を備え、
前記学習手段は、
前記サンプル映像に含まれる実体要素である、動画および音それぞれの信号特徴を抽出するサンプル特徴抽出手段と、
前記サンプル特徴抽出手段により抽出された信号特徴を解析することで、前記サンプル映像に含まれる動画および音のそれぞれの時系列構成を示す情報と、前記動画と前記音との同期構成を示す情報とを得る解析手段とを有し、
前記解析手段により得られた前記時系列構成を示す情報と前記同期構成を示す情報とを前記編集情報として学習し、
前記候補生成手段は、前記解析手段により得られた前記時系列構成を示す情報または前記同期構成を示す情報と、前記素材特徴抽出手段により抽出された信号特徴とを対照することで、前記素材映像に含まれる所定の単位の動画または音の前記ユーザ編集映像における並び方の候補を示す情報を生成する
請求項１記載の映像編集支援装置。
【請求項４】
前記解析手段は、前記同期構成を示す情報として、所定の単位に分割されて隣接する動画間の境界と、所定の単位に分割されて隣接する音の間の境界との関連性を示す情報、または、動画の特徴と前記動画に付加されている音の特徴との関連性を示す情報を得る
請求項３記載の映像編集支援装置。
【請求項５】
前記解析手段は、前記時系列構成を示す情報として、所定の単位に分割されて隣接する動画それぞれの信号特徴の関連性、および、所定の単位に分割されて隣接する音それぞれの信号特徴の関連性を示す情報を得る
請求項３記載の映像編集支援装置。
【請求項６】
さらに、前記サンプル映像と、前記サンプル映像の編集前の映像であるソース映像とを受け付けるサンプル受付手段を備え、
前記サンプル特徴抽出手段は、さらに、前記ソース映像に含まれる実体要素である動画および音それぞれの信号特徴を抽出し、
前記解析手段は、さらに、前記サンプル映像に含まれる動画または音の信号特徴と、前記ソース映像に含まれる動画または音の信号特徴とを対照することで、前記ソース映像のどのような特徴をもつ動画がサンプル映像の動画として抽出されているかを示す情報を得る
請求項３記載の映像編集支援装置。
【請求項７】
さらに、前記ユーザの指示を受け付ける指示受付手段と、
候補出力手段が、前記並び方の候補を示す情報を出力した後に、前記指示受付手段により受け付けられた指示に従って、前記素材映像に含まれる２つ以上の実体要素を並べることで前記ユーザ編集映像を得る編集実行手段と、
前記編集実行手段により得られた前記ユーザ編集映像における前記実体要素の並び方を、前記サンプル特徴抽出手段により抽出された信号特徴に応じた態様の画像を並べることで可視化して出力する映像出力手段と
を備える請求項３記載の映像編集支援装置。
【請求項８】
さらに、前記ユーザ編集映像に付加される実体要素である付加音の信号特徴を複数記憶する記憶手段を備え、
前記候補生成手段は、さらに、前記学習手段により学習された編集情報と、前記記憶手段に記憶されている複数の信号特徴とを対照することにより、前記ユーザ編集映像に付加すべき付加音の並び方の候補を示す情報を生成し、
前記候補出力手段は、さらに、前記候補生成手段により生成された前記付加音の並び方の候補を示す情報を出力する
請求項３記載の映像編集支援装置。
【請求項９】
さらに、前記ユーザ編集映像に付加される実体要素である視覚効果の信号特徴を複数記憶する記憶手段を備え、
前記学習手段は、前記解析手段が、前記抽出手段により抽出された前記動画の信号特徴の解析により、さらに、前記サンプル映像に含まれる実体要素である、動画に付加されている視覚効果の並び方に関する情報を得ることで、前記視覚効果の並び方に関する情報を編集情報として学習し、
前記候補生成手段は、前記学習手段により学習された編集情報と、前記記憶手段に記憶されている複数の信号特徴とを対照することにより、前記ユーザ編集映像に付加すべき視覚効果の並び方の候補を示す情報を生成し、
前記候補出力手段は、さらに、前記候補生成手段により選択された前記視覚効果の並び方の候補を示す情報を出力する
請求項３記載の映像編集支援装置。
【請求項１０】
さらに、前記ユーザの指示を受け付ける指示受付手段と、
候補出力手段が、前記並び方の候補を示す情報を出力した後に、前記指示受付手段により受け付けられた指示に従って、前記素材映像に含まれる２つ以上の実体要素を並べることで前記ユーザ編集映像を得る編集実行手段と、
前記編集実行手段により得られた前記ユーザ編集映像を出力する映像出力手段と
を備える請求項１記載の映像編集支援装置。
【請求項１１】
ユーザが映像コンテンツである素材映像を編集することによりユーザ編集映像を制作する際に、その編集を支援する方法であって、
編集済みの映像コンテンツであるサンプル映像に含まれる複数の実体要素の並び方に関する情報である編集情報を学習する学習ステップと、
前記素材映像の入力を受け付ける素材受付ステップと、
前記学習ステップにおいて学習された編集情報に従い、前記素材受付ステップにおいて受け付けられた前記素材映像に含まれる実体要素または前記ユーザ編集映像に付加される実体要素の、前記ユーザ編集映像における並び方の候補を示す情報を生成する候補生成ステップと、
前記候補生成ステップにおいて生成された前記並び方の候補を示す情報を出力する候補出力ステップと
を含む映像編集支援方法。
【請求項１２】
ユーザが映像コンテンツである素材映像を編集することによりユーザ編集映像を制作する際に、その編集を支援するためのプログラムであって、
編集済みの映像コンテンツであるサンプル映像に含まれる複数の実体要素の並び方に関する情報である編集情報を学習する学習ステップと、
前記素材映像の入力を受け付ける素材受付ステップと、
前記学習ステップにおいて学習された編集情報に従い、前記素材受付ステップにおいて受け付けられた前記素材映像に含まれる実体要素または前記ユーザ編集映像に付加される実体要素の、前記ユーザ編集映像における並び方の候補を示す情報を生成する候補生成ステップと、
前記候補生成ステップにおいて生成された前記並び方の候補を示す情報を出力する候補出力ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画および音等を含む映像コンテンツの編集を支援する映像編集支援装置に関する。
【背景技術】
【０００２】
近年、インターネット、デジタルテレビ放送といった情報配信に関する技術の向上に伴い、映像の専門家ではないユーザ、つまり、一般のユーザが大量かつ多様な映像コンテンツを入手することが可能となっている。
【０００３】
さらに、高性能のディジタルビデオカメラやパーソナルコンピュータ（ＰＣ）等が安価に入手可能となり、一般のユーザが映像コンテンツを容易に蓄積し閲覧する環境が整備されつつある。
【０００４】
また、このように映像コンテンツを扱うことが身近になると共に、ＰＣ上で映像編集をすることができる、一般のユーザでも気軽に利用可能なソフトウェアが次々と開発され、発売されている。
【０００５】
ここで、映像コンテンツとは、動画、音、字幕等の複数の要素メディアからなるマルチメディアコンテンツの１種であり、例えば、映画である。
【０００６】
また、映像編集とは、編集の対象となる映像コンテンツ（以下、「素材映像」という。）から選択した適切な部分映像をつなぎ合わせ、新たな映像を制作する作業であり、映像に、音および編集エフェクトを付加しながらつなぎ合わせる作業のことである。
【０００７】
部分映像とは、映像コンテンツを構成する所定の単位の映像である。所定の単位とは、例えば、カメラの撮影開始ボタンを押してから撮影停止ボタンを押すまでの間に撮影される映像の単位、つまり、途切れることなく継続的に録画されている映像の単位であるショットである。
【０００８】
また、映像編集の際に付加される音とは、音楽、効果音、およびナレーション音声などである。編集エフェクトとは、映像の切替時の視覚効果のことであり、カット、ディゾルブ、フェードイン、およびフェードアウトなどである。
【０００９】
つまり、素材映像に含まれる部分映像、並びに、編集時に付加する音および編集エフェクトの種類は数多く存在する。そのため、音と映像との組み合わせや、同じ要素メディア同士の時系列上での組み合わせは膨大な数となる。
【００１０】
従って、編集後の映像コンテンツ（以下、「編集済映像」という。）の質は編集者の持つ技術および知識に依存することとなる。
【００１１】
そこで、編集技術および編集知識のない一般のユーザが、効果的かつ効率的に映像編集を行うことを可能とするための研究がなされている。
【００１２】
例えば、映像編集のためのテンプレートを予め用意しておき、ユーザに部分映像をテンプレートに嵌め込ませることで、映像編集の効率化を図る技術が開示されている（例えば、非特許文献１参照。）。
【非特許文献１】X-S. Hua, Z. Wang, and S. Li, "LazyCut - Content-Aware Template-Based Video Authoring," Proc. ACM Multimedia, 2005.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記従来の技術においては、部分映像の組み合わせ方を提示するテンプレートの作成、および部分映像の選択基準に関してはユーザに一任されている。従って、一般のユーザの日常的な映像編集を促進することはできない。
【００１４】
また、自動映像編集に関連した研究も多くなされているが、そのほとんどは動画の構成に着目したものである。例えば、ショット長が大きく異なるショット同士は接続できない等の映像文法に基づいた自動映像編集について研究がなされている。
【００１５】
しかし、このような映像文法に基づく編集パターンは無数にあるが、主観的に設定されたものも含め、定式化されておらず、全ての編集パターンを考慮したシステム構築は容易ではない。
【００１６】
本発明は、上記課題を考慮し、映像編集の技術および知識のない一般のユーザが、効果的かつ効率的に映像コンテンツを編集するための映像編集支援装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の映像編集支援装置は、ユーザが映像コンテンツである素材映像を編集することによりユーザ編集映像を制作する際に、その編集を支援する映像編集支援装置であって、編集済みの映像コンテンツであるサンプル映像に含まれる複数の実体要素の並び方に関する情報である編集情報を学習する学習手段と、前記素材映像の入力を受け付ける素材受付手段と、前記学習手段により学習された編集情報に従い、前記素材受付手段により受け付けられた前記素材映像に含まれる実体要素または前記ユーザ編集映像に付加される実体要素の、前記ユーザ編集映像における並び方の候補を示す情報を生成する候補生成手段と、前記候補生成手段により生成された前記並び方の候補を示す情報を出力する候補出力手段とを備える。
【００１８】
これにより、サンプル映像として、映像編集の専門家の編集により制作されたサンプル映像から、編集情報を学習することができる。また、ユーザに、素材映像に含まれる実体要素、またはユーザ編集映像に付加される複数の実体要素の並び方の候補を示す情報を提示することができる。
【００１９】
すなわち、ユーザが選択したユーザ編集映像上のある時間位置に配置すべき動画、ユーザが選択した動画の配置すべき時間位置、動画に付加する付加音および編集エフェクト等の実体要素、並びに、付加音および編集エフェクト等の配置すべき時間位置などの候補を示す情報をユーザに提示することができる。
【００２０】
つまり、ユーザは、映像編集の専門家の編集技術および編集知識を参照しながら、効果的かつ効率的にユーザ編集映像を制作することができる。
【００２１】
また、本発明の映像編集支援装置は、さらに、前記ユーザの指示を受け付ける指示受付手段を備え、前記候補選択手段は、前記指示受付手段が、前記素材映像に含まれる所定の単位の実体要素を選択する指示を受け付けた場合、指示された実体要素を配置すべき前記ユーザ編集映像上の時間位置の候補を、前記編集情報に従って、前記ユーザ編集映像上の任意の時間位置の中から選択することで、前記並び方の候補を示す情報を生成し、前記指示受付手段が、前記ユーザ編集映像上の時間位置を選択する指示を受け付けた場合、指示された前記時間位置に配置すべき実体要素の候補を、前記編集情報に従って、前記素材映像に含まれる複数の実体要素の中から選択することで、前記並び方の候補を示す情報を生成するとしてもよい。
【００２２】
これにより、例えば、ユーザが、ユーザ編集映像に含めたいと考える１つのショットを選択した場合、映像編集支援装置は、編集情報に従って、そのショットを配置するに適した時間位置の候補を示す情報をユーザに提示することができる。
【００２３】
また、逆に、例えば、ユーザが、１つのショットを配置したい時間位置を選択した場合、映像編集支援装置は、その時間位置に配置するに適したショットの候補を示す情報をユーザに提示することができる。
【００２４】
また、本発明の映像編集支援装置は、さらに、前記素材受付手段により受け付けられた前記素材映像に含まれる実体要素である、動画および音のそれぞれの信号特徴を抽出する素材特徴抽出手段を備え、前記学習手段は、前記サンプル映像に含まれる実体要素である、動画および音それぞれの信号特徴を抽出するサンプル特徴抽出手段と、前記サンプル特徴抽出手段により抽出された信号特徴を解析することで、前記サンプル映像に含まれる動画および音のそれぞれの時系列構成を示す情報と、前記動画と前記音との同期構成を示す情報とを得る解析手段とを有し、前記解析手段により得られた前記時系列構成を示す情報と前記同期構成を示す情報とを前記編集情報として学習し、前記候補生成手段は、前記解析手段により得られた前記時系列構成を示す情報または前記同期構成を示す情報と、前記素材特徴抽出手段により抽出された信号特徴とを対照することで、前記素材映像に含まれる所定の単位の動画または音の前記ユーザ編集映像における並び方の候補を示す情報を生成するとしてもよい。
【００２５】
このように、本発明の映像編集支援装置は、サンプル映像の動画および音の時系列構成、および、動画と音との同期構成をそれら実体要素の信号特徴から学習することができる。
【００２６】
さらに、その学習した情報を用いて、ユーザ編集映像における動画または音の並び方の候補を示す情報をユーザに提示することができる。
【００２７】
すなわち、映像編集支援装置は、例えばサンプル映像においてどのような特徴を持つショットがどのように並べられているかを学習することができる。また、どのような特徴をもつショットにどのような音が同期されているかを学習することができる。
【００２８】
さらに、サンプル画像におけるこのようなショットおよび音の並び方に関する情報と、素材映像のショットの信号特徴とを対照する。これにより、サンプル画像におけるショットの並び方に従った、ユーザ編集映像におけるショットの並び方の候補を示す情報をユーザに提示することができる。
【００２９】
また、前記解析手段は、前記同期構成を示す情報として、所定の単位に分割されて隣接する動画間の境界と、所定の単位に分割されて隣接する音の間の境界との関連性を示す情報、または、動画の特徴と前記動画に付加されている音の特徴との関連性を示す情報を得るとしてもよく、前記解析手段は、前記時系列構成を示す情報として、所定の単位に分割されて隣接する動画それぞれの信号特徴の関連性、および、所定の単位に分割されて隣接する音それぞれの信号特徴の関連性を示す情報を得るとしてもよい。
【００３０】
このように、動画の境界と、音の境界との関連性を学習することにより、例えば、ユーザ編集映像において、配置されたショットと音の変化点（セグメント境界）を自動的に同期付けることができる。また、例えば、サンプル映像において、１つのバックグランドミュージック（ＢＧＭ）が、連続する２つのショットにまたがって付加されていることなどが学習される。
【００３１】
また、動画の特徴と前記動画に付加されている音の特徴との関連性を学習することにより、サンプル映像において、例えば、動きの激しいショットにビートの速い音楽が付加されていることなどを学習が学習される。
【００３２】
また、隣接する同種の要素メディア同士の関連性を学習することで、例えば、連続するショットのショット長は同程度である場合が多いなどの特徴を学習できる。
【００３３】
また、本発明の映像編集支援装置は、さらに、前記サンプル映像と、前記サンプル映像の編集前の映像であるソース映像とを受け付けるサンプル受付手段を備え、前記サンプル特徴抽出手段は、さらに、前記ソース映像に含まれる実体要素である動画および音それぞれの信号特徴を抽出し、前記解析手段は、さらに、前記サンプル映像に含まれる動画または音の信号特徴と、前記ソース映像に含まれる動画または音の信号特徴とを対照することで、前記ソース映像のどのような特徴をもつ動画がサンプル映像の動画として抽出されているかを示す情報を得るとしてもよい。
【００３４】
これにより、例えば、ソース映像のどの時間位置にあるショットが抽出されてサンプル映像のショットとなったのか、といった編集パターンを学習することができる。
【００３５】
また、本発明の映像編集支援装置は、さらに、前記ユーザの指示を受け付ける指示受付手段と、候補出力手段が、前記並び方の候補を示す情報を出力した後に、前記指示受付手段により受け付けられた指示に従って、前記素材映像に含まれる２つ以上の実体要素を並べることで前記ユーザ編集映像を得る編集実行手段と、前記編集実行手段により得られた前記ユーザ編集映像における前記実体要素の並び方を、前記サンプル特徴抽出手段により抽出された信号特徴に応じた態様の画像を並べることで可視化して出力する映像出力手段とを備えるとしてもよい。
【００３６】
これにより、ユーザに対し、ユーザ編集映像におけるショット等の並び方を効果的に認識させることができる。つまり、ユーザの編集作業の効率化をより一層図ることができる。
【００３７】
また、さらに、前記ユーザ編集映像に付加される実体要素である付加音の信号特徴を複数記憶する記憶手段を備え、前記候補生成手段は、さらに、前記学習手段により学習された編集情報と、前記記憶手段に記憶されている複数の信号特徴とを対照することにより、前記ユーザ編集映像に付加すべき付加音の並び方の候補を示す情報を生成し、前記候補出力手段は、さらに、前記候補生成手段により生成された前記付加音の並び方の候補を示す情報を出力するとしてもよく、さらに、前記ユーザ編集映像に付加される実体要素である視覚効果の信号特徴を複数記憶する記憶手段を備え、前記学習手段は、前記解析手段が、前記抽出手段により抽出された前記動画の信号特徴の解析により、さらに、前記サンプル映像に含まれる実体要素である、動画に付加されている視覚効果の並び方に関する情報を得ることで、前記視覚効果の並び方に関する情報を編集情報として学習し、前記候補生成手段は、前記学習手段により学習された編集情報と、前記記憶手段に記憶されている複数の信号特徴とを対照することにより、前記ユーザ編集映像に付加すべき視覚効果の並び方の候補を示す情報を生成し、前記候補出力手段は、さらに、前記候補生成手段により選択された前記視覚効果の並び方の候補を示す情報を出力するとしてもよい。
【００３８】
これにより、ユーザ編集映像に付加すべき音、または、視覚効果の種類を、その並び方の候補と共に、ユーザに提示することができる。
【００３９】
例えば、音楽を配置すべきユーザ編集映像における時間位置の候補、または、あるショットと空間上で同期するように並べるべき音楽の候補をユーザに提示することができる。
【００４０】
また、本発明の映像編集支援装置は、さらに、前記ユーザの指示を受け付ける指示受付手段と、候補出力手段が、前記並び方の候補を示す情報を出力した後に、前記指示受付手段により受け付けられた指示に従って、前記素材映像に含まれる２つ以上の実体要素を並べることで前記ユーザ編集映像を得る編集実行手段と、前記編集手段により得られた前記ユーザ編集映像を出力する映像出力手段とを備えるとしてもよい。
【００４１】
これにより、サンプル映像から得られた編集情報に従って生成された、動画等の並び方の候補をユーザに提示するとともに、実編集処理を行う環境をユーザに与えることができる。
【００４２】
このように、本発明の映像編集支援装置は、サンプル映像から、その編集を行った編集者の編集技術または編集知識を編集情報として学習することができる。また、その編集情報に従い、素材映像の動画等の実体要素の並び方の候補をユーザに提示することができる。
【００４３】
更に、本発明は、本発明の映像編集支援装置における特徴的な構成部が行う動作をステップとする方法として実現したり、それらのステップを含むプログラムとして実現したり、そのプログラムが格納されたＣＤ−ＲＯＭ等の記憶媒体として実現したり、集積回路として実現することもできる。プログラムは、通信ネットワーク等の伝送媒体を介して流通させることもできる。
【発明の効果】
【００４４】
本発明は、上述のように、サンプル映像から、編集情報を学習することができる。これにより、例えば、映像編集の専門家により制作されたサンプル画像から、その専門家の編集技術または編集知識を編集情報として学習することができる。
【００４５】
また、その編集情報に従い、動画等の実体要素のユーザ編集映像上での並び方の候補をユーザに提示することができる。つまり、学習された映像編集の専門家の編集技術等に基づき、ユーザの編集行動をより適切な方向に誘導することができる。
【００４６】
すなわち、本発明は、映像編集の技術および知識のない一般のユーザが、効果的かつ効率的に映像コンテンツを編集するための映像編集支援装置を提供することができる。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００４８】
まず、図１〜図３を用いて、実施の形態の映像編集支援装置１の構成を説明する。
【００４９】
図１は、実施の形態の映像編集支援装置１の構成および機能を模式的に示す図である。
【００５０】
映像編集支援装置１は、ユーザが映像コンテンツを編集する際に、編集のための情報をユーザに提示することで、効果的かつ効率的に編集させるための装置である。
【００５１】
図１に示すように、映像編集支援装置１は、学習部２と編集部３とを備えている。
【００５２】
学習部２は、映像編集の専門家の編集により制作された映像コンテンツから、その映像コンテンツにおける、動画等の要素メディアの並び方に関する情報である編集情報を学習する構成部である。
【００５３】
編集部３は、表示装置３０等のインタフェース上でユーザの編集行動を誘導する構成部である。また、ユーザの編集行動により編集された映像コンテンツを出力する機能を有している。
【００５４】
学習部２において編集情報の学習の対象となる編集済映像を以下、「サンプル映像」という。本実施の形態においては、学習部２は、サンプル映像として映画予告映像から編集情報を学習する。また、ユーザが編集中の映像コンテンツおよび編集が完了し編集部３から出力される映像コンテンツを以下、「ユーザ編集映像」という。
【００５５】
学習部２は、サンプル映像を、動画、音、および、編集エフェクト等の要素メディア等に分離した上で、感覚的構造に関連する各要素の低レベル特徴（信号特徴）を抽出する。さらに、抽出した特徴から、サンプル映像の感覚的構造を学習する。
【００５６】
なお、以下、単に「要素」という場合、動画等の要素メディアを指すものとする。また、映像コンテンツに含まれる動画および音等の要素メディアのそれぞれは、本発明の映像編集支援装置における実体要素の一例である。
【００５７】
感覚的構造に関連する低レベル特徴とは、例えば、サンプル映像に含まれる動画における、ショット長、ショットの種類（タイトショット、ミドルショット、およびロングショット等）、動き、輝度、および時系列上の位置である時間位置である。
【００５８】
また、サンプル映像に含まれる音の、ボリューム、アクセント、種類（音楽、音声、および効果音等）である。また、サンプル映像に付加されている編集エフェクトの種類、時系列上の出現位置、および持続時間等である。
【００５９】
図２は、学習部２が学習する、サンプル映像の感覚的構造を模式的に示す図である。
【００６０】
学習部２は、動画の基本単位をショットとし、ショットの時系列パターンをショットの時間構造、つまり時系列構成として学習する。例えば、隣接するショットの信号特徴の関連性を示す情報を時系列構成として学習する。
【００６１】
これにより、例えば、長さが同程度のショットが連続する場合が多いこと、および、サンプル映像の後半は映像の動きが速いことなどがショットの時系列構成として学習される。
【００６２】
このショットの時系列構成は、編集部３において、例えば、ユーザにより選択されたショットを配置すべき、ユーザ編集映像上の時間位置の候補を示す情報の生成に用いられる。
【００６３】
また同様に、音ストリームの時間構造、つまり時系列構成を学習する。サンプル映像における音ストリームの時系列構成は、編集部３において、例えば、ユーザ編集映像に配置するためにユーザにより選択されたショットに付加すべき付加音の候補の選択に用いられる。
【００６４】
また、学習部２は、サンプル映像に含まれる音ストリームに対し、動画のフレームまたはショット単位に相当する分割を行う。さらに、（１）境界間の関係を学習する。例えば、動画の境界と音の境界との時間位置の一致不一致を示す情報等の、それら境界の関連性を示す情報を学習する。（２）セグメント間の関係を学習する。例えば、どのような特徴を持ったショットにどのような特徴を持った音が付加されているか等の情報を学習する。
【００６５】
すなわち、学習部２は、上記２点について、動画と音との空間構造、言い換えると動画と音との同期構成を学習する。
【００６６】
編集部３において、上記（１）は、例えば、ユーザ編集映像において、ユーザが付加音を配置した時間位置に、既にショットが配置されていた場合、ショットと音の変化点（セグメント境界）を自動的に同期付けるために用いられる。上記（２）は、例えば、ユーザ編集映像に配置済みのショットに対応して配置すべき付加音の候補を選択するために用いられる。
【００６７】
なお、同期構成とは、時系列上のある時点または期間においてどのような要素メディアが組み合わせられているかについての情報である。つまり、時系列上の同一空間内に存在する要素メディアの組み合わせについての情報である。
【００６８】
学習部２は、例えば、動画と音との同期構成として、ショット内の映像の動きの速さと、当該ショットに付加されている音楽のビートの速さとを抽出し、動きの激しいショットには、ビートの速いＢＧＭが付加されていることなどを学習する。
【００６９】
学習部２は、サンプル映像から学習したこれら動画等の要素メディアの時系列構成および同期構成を編集情報として編集部３に出力する。
【００７０】
編集部３は、ユーザから、ユーザが編集したい素材映像の入力を受け付ける。さらに、ユーザ編集映像に挿入するショット、ユーザ編集映像に付加する要素メディアである付加要素、および、ユーザ編集映像におけるショット等の時間位置等の選択の指示を受け付ける。つまり、ユーザが行う各種の編集行動を受け付ける。
【００７１】
なお、編集部３は、映像編集の際にユーザ編集映像に付加する付加要素として、複数種の音および編集エフェクトのデータを有している。
【００７２】
編集部３は、学習部２から得られるサンプル映像の編集情報と、ユーザの編集行動とに応じ、インタフェース上にてユーザの次の編集行動を誘導することができる。
【００７３】
例えば、ユーザが、ユーザ編集映像に配置するショットとして、あるショットが選択された場合、編集情報に従って、そのショットを配置すべきユーザ編集映像上の時間位置の候補である候補位置をユーザに提示することができる。また、そのショットに最適な付加音、例えばＢＧＭの候補をユーザに提示することができる。
【００７４】
図３は、映像編集支援装置１の機能的な構成を示す機能ブロック図である。
【００７５】
上述のように、映像編集支援装置１は、学習部２と編集部３とを備えており、さらに、出力部４を備えている。
【００７６】
学習部２は、サンプル受付部２０と、サンプル特徴抽出部２１と、サンプル解析部２２と、モデル生成部２３とを有している。サンプル受付部２０は、映画予告映像等のサンプル映像の入力を受け付ける構成部である。
【００７７】
サンプル特徴抽出部２１は、サンプル映像に含まれる要素メディアである、動画および音のそれぞれの信号特徴を抽出する構成部である。
【００７８】
サンプル解析部２２は、サンプル特徴抽出部２１により抽出された信号特徴を解析することで、サンプル映像に含まれる動画および音のそれぞれの時系列構成を示す情報と、動画と音との同期構成を示す情報とを得る構成部である。
【００７９】
モデル生成部２３は、サンプル解析部２２により得られた時系列構成を示す情報と、同期構成を示す情報とから、サンプル映像に含まれる要素メディアの時間・空間モデル（以下、「編集モデル」という。）を生成し、編集部３に出力する構成部である。つまり、編集情報である編集モデルが編集部３に出力される。
【００８０】
編集部３は、素材受付部１０と、素材特徴抽出部１１と、ユーザ入力受付部１２と、候補生成部１３と、エフェクトデータ記憶部１４と、付加音記憶部１５、編集実行部１６とを有している。
【００８１】
素材受付部１０は、ユーザから入力される素材映像を受け付ける構成部である。素材特徴抽出部１１は、素材映像に含まれる要素メディアである動画および音のそれぞれの信号特徴を抽出する構成部である。
【００８２】
また、素材受付部１０は、ユーザから入力される付加音、および、ユーザ編集映像に編集エフェクトを付加するためのデータであるエフェクトデータも受け付ける。これら付加音およびエフェクトデータは、後述する付加音記憶部１５およびエフェクトデータ記憶部１４にそれぞれ記憶される。
【００８３】
ユーザ入力受付部１２は、キーボード等の入力装置４０から入力される、ショットの選択等の指示の入力を受け付ける構成部である。
【００８４】
候補生成部１３は、学習部２により学習された編集情報に従って、素材映像に含まれる要素メディアのユーザ編集映像における並び方の候補を示す情報を生成する構成部である。
【００８５】
具体的には、候補生成部１３は、ショット、付加音、編集エフェクト等の要素メディアを配置すべきユーザ編集映像上の時間位置の候補、または、ユーザ編集映像上のある時間位置に配置すべきショット等の要素メディアの候補を、ユーザ編集映像における要素メディアの並び方の候補として生成する。つまり、ユーザ編集映像における要素メディアの並び方の候補を示す情報を生成する。
【００８６】
エフェクトデータ記憶部１４は、エフェクトデータを記憶する記憶装置である。エフェクトデータ記憶部１４には複数種のエフェクトデータが記憶されている。
【００８７】
エフェクトデータ記憶部１４には、具体的には、エフェクトデータとしてユーザ編集映像に付加するための複数種の視覚効果データを記憶しており、さらに、それぞれの視覚効果の特徴を示す情報を記憶している。視覚効果の特徴を示す情報とは、具体的には、視覚効果データの信号特徴から導かれた特徴量ベクトルである。この特徴量ベクトルにより、視覚効果の種類や持続期間等が示される。なお、編集エフェクトは本発明の映像編集支援装置における視覚効果の一例である。
【００８８】
付加音記憶部１５は、ユーザ編集映像に付加するための複数種の付加音と、それぞれの特徴を示す情報とを記憶する記憶装置である。付加音の特徴を示す情報とは、具体的には、付加音の信号特徴から導かれた特徴量ベクトルである。この特徴量ベクトルにより、付加音の音量やビートの早さ等が示される。また、付加音記憶部１５は複数種の付加音として音楽や効果音等を記憶している。
【００８９】
候補生成部１３は、これらエフェクトデータ記憶部１４および付加音記憶部１５に記憶されている複数種のエフェクトデータ、および、複数種の付加音の中から、ユーザ編集映像に配置すべき、つまり、ユーザ編集映像に付加すべきエフェクトデータおよび付加音それぞれの候補を選択する。
【００９０】
編集実行部１６は、ショット単位の動画等の要素メディアをユーザの指示に従って並べ、つなぎ合わせることで、ユーザ編集映像を得る構成部である。
【００９１】
出力部４は、ユーザと映像編集支援装置１とのインタフェースである表示装置３０に、編集画面やユーザ編集映像等を出力する処理部である。なお、出力部４からは、図示しないスピーカに音が出力されている。また、出力部４が出力し表示装置３０に表示される編集画面の内容については、図６を用いて後述する。
【００９２】
次に、図４〜図２０を用いて、本実施の形態の映像編集支援装置１の動作を説明する。
【００９３】
図４は、映像編集支援装置１の編集支援に係る動作の流れの概要を示すフロー図である。図４を用いて、映像編集支援装置１の編集支援に係る動作の概要を説明する。
【００９４】
映像編集支援装置１に入力されたサンプル映像はサンプル受付部２０によって受け付けられる（Ｓ１）。受け付けられたサンプル映像は、サンプル特徴抽出部２１と、サンプル解析部２２とにより、映像解析される（Ｓ２）。映像解析の動作内容については、図５を用いて後述する。モデル生成部２３により、サンプル映像から得られる編集情報である、サンプル映像の編集モデルが生成される（Ｓ３）。
【００９５】
また、映像編集支援装置１にユーザによって入力された素材映像は素材受付部１０によって受け付けられる（Ｓ４）。受け付けられた素材映像は、素材特徴抽出部１１により、映像解析される（Ｓ５）。
【００９６】
その後、モデル生成部２３により生成された編集モデルに従い、候補生成部１３等により、素材映像から効率的にユーザ編集映像を得るための編集支援が行われる（Ｓ６）。編集支援の動作内容については、図７を用いて後述する。ユーザは、編集支援を受けつつユーザ編集映像を制作し、ユーザ編集映像は出力部４から出力される（Ｓ７）。
【００９７】
図５は、映像編集支援装置１の映像解析（図４のＳ２およびＳ５）に係る動作の流れの概要を示すフロー図である。図５を用いて、映像編集支援装置１の映像解析に係る動作の概要を説明する。また、映像編集支援装置１が行う映像解析についての詳細な説明は、図１４〜図１８を用いて後述する。
【００９８】
なお、サンプル映像に対する映像解析（図４のＳ２）、および、素材映像に対する映像解析（図４のＳ５）は、主要な動作内容としては同じであるため、サンプル映像に対する映像解析を例にとって説明する。
【００９９】
サンプル映像が入力されると、サンプル特徴抽出部２１は、サンプル映像に含まれる動画中のカットを検出する（Ｓ１０）。これにより、サンプル映像に含まれる動画をショット列に分割することができる（Ｓ１１）。これは、カットとカットとの間が１つのショットを構成するからである。
【０１００】
また、動画を分割することにより得られた各ショットは、フレーム列に分割される（Ｓ１２）。フレームとは、ショットを構成する１つの単位である。
【０１０１】
サンプル特徴抽出部２１は、各ショットおよびそれらショットを構成する各フレームから、それぞれのショットの信号特徴を示す特徴量を抽出する（Ｓ１３）。
【０１０２】
さらに、それら特徴量を多次元のベクトルで表した特徴量ベクトルを算出する（Ｓ１４）。例えば、特徴量ベクトルとして、ショット長、ショット内の映像の動き、ショットの平均輝度、ショットに付加された音の音量の４次元の特徴量ベクトルが算出される。
【０１０３】
サンプル解析部２２は、算出された各特徴量ベクトルを解析する。具体的には、各特徴量ベクトルを正規化することで、特徴量のばらつきによる影響を除去する。さらに、所定の類似度に基づいてクラスタリングする（Ｓ１５）。つまり、各ショットは、特徴の類似度に基づいてグループ分けされる。
【０１０４】
また、各ショットの特徴量ベクトルには、音についての成分も含まれている。そのため、サンプル映像において、どのような音がどのように時系列上に並んでいるかをも解析可能である。なお、サンプル特徴抽出部２１およびサンプル解析部２２は、ショットと同様に、サンプル映像に含まれる音についても、音量またはビートの速さ等を示す信号特徴から、音のみについての１次元以上の特徴量ベクトルの算出を、別途行ってもよい。
【０１０５】
また、各ショットの特徴量ベクトルから、サンプル映像に付加されている編集エフェクトの種類等の特徴を抽出することが可能である。つまり、どのような編集エフェクトがどのようなショットに付加されているかについての解析も可能である。なお、編集エフェクトの特徴を明示する成分を、ショットの特徴量ベクトルの成分として含ませてもよい。さらに、編集エフェクトの種類、並びに、開始および終了時間位置等を示す信号特徴から、編集エフェクトのみについての１次元以上の特徴量ベクトルの算出を、別途行ってもよい。
【０１０６】
このようにして、サンプル解析部２２は、サンプル映像において、どのような特徴を持ったショットおよび音が時系列上でどのように並んでいるか、また、どのような特徴を持ったショットが、どのような特徴の音および編集エフェクトと結び付けられているかについての情報を得ることができる。
【０１０７】
つまり、サンプル映像に含まれる動画等の複数の要素メディアそれぞれの時系列構成を示す情報と、異種の要素メディア間の同期構成を示す情報とを得ることができる。
【０１０８】
なお、以上の動作は、素材特徴抽出部１１においても素材映像を対象として行われ、素材映像に含まれる各ショットも、特徴の類似度で複数のグループに分けられる。
【０１０９】
以降、各ショットの特徴量等を表すシンボル列が生成され（Ｓ１６）、モデル生成部２３に出力される。
【０１１０】
モデル生成部２３は、１つのサンプル映像から得られた各ショットの特徴量およびそれら類似度等の情報をまとめることで、１つのサンプル映像についての編集情報である編集モデルを生成する。生成された編集モデルは候補生成部１３に出力される。
【０１１１】
図６は、図５に示す動作の流れの結果、表示装置３０に表示される編集画面の一例を示す図である。
【０１１２】
図６に示す編集画面３１は、ユーザ編集映像の時間・空間構造の可視化を行い、かつ、編集モデルに従ってユーザの編集行動を誘導する画面である。
【０１１３】
図６に示すように、編集画面３１には、時間入力欄３２と、素材映像タイムライン欄３３と、ショット選択欄３４と、付加要素選択欄３５と、再生表示欄３６と、ストーリーボード３７と、構造表示ボード３８とが表示される。
【０１１４】
時間入力欄３２は、ユーザ編集映像の完成時の長さを示す時間の入力を受け付ける欄である。例えば、ユーザが、１時間の素材映像を編集し、５分のユーザ編集映像を制作することを所望した場合、時間入力欄３２には、ユーザにより“５分”と入力される。
【０１１５】
素材映像タイムライン欄３３は、素材映像のショットをタイムライン表示する欄である。なお、素材映像タイムライン欄３３内の各矩形は、１つのショットを表現しており、例えば、色でショットの種類が表される。
【０１１６】
図６において、各矩形に付されたドット等の模様は、画面上では色で表現されている。また、ショットの種類とは、言い換えるとショットの特徴である。
【０１１７】
つまり、同じ模様が付された矩形は、互いに特徴が類似するショットを表している。上述のように、素材特徴抽出部１１により、各ショットは、特徴の類似度によりグループ分けされる。これにより、ショットを表す矩形に、グループごとに異なる色を付して表示することができる。
【０１１８】
例えば、図中のドットは画面上では赤であることを表し、赤が付された矩形は、ショット内の映像の動きが早く、輝度の高いショットのグループに属している。また、その他の模様についても、赤以外の色が付されていることを表し、所定の特徴と関連付けられたグループに属していることを表している。
【０１１９】
そのためユーザは、素材映像において、どのような特徴のショットがどのように並んでいるかを視覚的に捉えることができる。
【０１２０】
なお、矩形に付された模様の表現内容は、下記のショット選択欄３４、ストーリーボード３７、構造表示ボード３８においても同じである。また、ショット同様、付加音を表現する矩形にも、付加音の種類に応じて模様が付されている。つまり、画面上では一部または全部に色が付されている。
【０１２１】
さらに、これら模様の表現内容は、後述する図８〜図１２においても同じである。以下、これらの編集画面３１を表す図の説明において、ショットおよび付加音を表す矩形を、それぞれ、単にショットおよび付加音と記載する。
【０１２２】
ショット選択欄３４は、ユーザ編集映像に配置するショットをユーザに選択させるための欄である。各ショットはグループごとにまとめて表示されている。ユーザは、ユーザ編集映像に含めたいショットを選択し、下記のストーリーボード３７にドラッグすることにより、そのショットをユーザ編集映像に配置することができる。
【０１２３】
なお、図６および後述する図８〜図１２において、本発明の特徴を明確にするために、ショット選択欄３４内の各矩形は、付与された色のみを表示しているように図示しているが、具体的には、矩形の周縁部等の一部をのぞき、それぞれのショットの最初のフレームの画像等が表示される。これにより、ユーザは、各矩形に対応するショットの内容を認識できる。このことは、後述するストーリーボード３７においても同じである。
【０１２４】
また、１つのグループにおいて、複数のショットは重ねられて表示されている。この状態で、いずれかのショットがユーザにクリックされると、そのグループに属する全てのショットが表示される。
【０１２５】
例えば、各ショットは、少なくとも内容をユーザに認識させうる程度まで各ショットの重なり部分を減らすように縦方向または横方向に移動する。
【０１２６】
または、最前面のショット以外のショットは、表示されている部分がユーザにクリックされると、グループの最前面に移動する。
【０１２７】
つまり、いずれのグループに属するいずれのショットであっても、ユーザは各ショットの内容を認識することができる。
【０１２８】
付加要素選択欄３５は、ユーザ編集映像に付加する要素メディアである付加要素をユーザに選択させるための欄である。このような要素メディアとして、各種の編集エフェクトおよび付加音が用意される。
【０１２９】
ユーザは、ユーザ編集映像に付加したい付加要素を選択し、下記のストーリーボード３７にドラッグすることにより、その付加要素をユーザ編集映像に付加することができる。
【０１３０】
再生表示欄３６は、各ショット、並びに、編集中および編集完了後のユーザ編集映像を再生し、それぞれの内容をユーザに確認させるための欄である。
【０１３１】
ストーリーボード３７は、ユーザがショットまたは付加音を選択した場合、その配置位置を中心に、ショットおよび付加音の時系列構成および同期構成をユーザに確認させ、かつ、ショットおよび付加音の移動を行わせるための欄である。
【０１３２】
図に示すように、ストーリーボード３７は、映像ストーリー欄３７ａと、音ストーリー欄３７ｂとから構成されている。映像ストーリー欄３７ａには配置されたショットが、音ストーリー欄３７ｂには配置された付加音が表示される。
【０１３３】
これにより、ユーザは、ショットおよび付加音の時系列上の並び方だけではなく、どのショットと付加音との同期構成も確認することができる。
【０１３４】
構造表示ボード３８は、ユーザ編集映像の全体構造をユーザに確認させるための欄である。図に示すように、構造表示ボード３８は、映像構造欄３８ａと、音構造欄３８ｂとから構成されている。映像構造欄３８ａには配置されたショットが、音構造欄３８ｂには配置された付加音が表示される。
【０１３５】
なお、映像構造欄３８ａおよび音構造欄３８ｂにおいて、同じ種類の要素メディアの縦軸方向の位置により、各要素メディア間の関係を可視化することもできる。
【０１３６】
例えば、図に示す各ショットおよび各付加音の縦軸方向の位置は、ショットおよび付加音の属するグループにより決められている。つまり、同じ色が付されたショットは同じ高さで表示される。また、同じ色が付された付加音は同じ高さで表示される。
【０１３７】
ユーザは、構造表示ボード３８を参照することで、編集中および編集完了後のユーザ編集映像の全体構造を確認することができる。
【０１３８】
なお、本実施の形態においては、ショット等の要素メディアを色を付した矩形で表すことで、要素メディアの並び方を可視化している。しかしながら、他の手法で要素メディアの並び方を可視化してもよい。
【０１３９】
例えば、信号特徴に応じてグループ分けされたショットを、グループごとに異なる形状の画像で表すことにより、ユーザ編集映像におけるショットの並び方を可視化して出力してもよい。つまり、ユーザ編集映像における要素メディアの並び方を、要素メディアの信号特徴に応じた態様の画像を並べることで可視化して出力すればよい。
【０１４０】
このように表示されている編集画面３１上で、ユーザが素材映像を編集する際の、映像編集支援装置１の動作について、図７のフロー図を用い、図８〜図１２の編集画面３１の表示例を参照しながら説明する。
【０１４１】
図７は、映像編集支援装置１の編集支援（図４のＳ６）に係る動作の流れを示すフロー図である。
【０１４２】
ユーザ入力受付部１２が、ユーザの入力を受け付ける（Ｓ２０）。候補生成部１３は、その入力が何の選択を指示しているかを判断する。判断の結果、要素であれば（Ｓ２１で要素）、選択された要素と、編集モデルに示される要素との適合度の算出を行う（Ｓ２２）。
【０１４３】
候補生成部１３は、算出の結果に基づき、出力部４を介し、ユーザに選択された要素を配置すべき時間位置の候補、つまり、候補位置をユーザに提示する（Ｓ２３）。
【０１４４】
図８は、ユーザにより、１つのショットが選択された場合の編集画面３１の一例を示す図である。図８の、ショット選択欄３４内のショットに付されたＡ１〜Ｅ１はショットの識別子である。
【０１４５】
例えば、図８に示すように、（１）ユーザにより、ショットＣ２が選択された場合、候補生成部１３は、その情報を取得する。さらに、素材特徴抽出部１１から受け取ったショットＣ２の特徴量ベクトルと、モデル生成部２３から受け取った編集モデルに示される、サンプル映像におけるショットの時系列構成またはショットと音との同期構成とを照らし合わせることで、つまり対照することで、ショットＣ２のユーザ編集映像における並び方の候補を示す情報を生成する。
【０１４６】
具体的には、ショットＣ２の特徴量ベクトルと、編集モデルに示される複数の特徴量ベクトルそれぞれとの距離を算出し、距離が短いほど、編集モデル内の特徴量ベクトルの適合度が高いと算出する。
【０１４７】
算出の結果、適合度が所定の基準を満たす特徴量ベクトルの時間位置を編集モデルから特定する。特定されたサンプル映像における時間位置に対応する、ユーザ編集映像における時間位置をユーザに提示する。
【０１４８】
例えば、サンプル映像の全長が６分３０秒であり、上記所定の基準を満たす特徴量ベクトルの時間位置が、１分３０秒である場合を想定する。この場合、この特徴量ベクトルの時間位置は、全長の２０％に相当する時間位置である。そのため、ユーザ編集映像の全長が５分である場合、その時間位置に対応するユーザ編集映像における時間位置は、５分の２０％に相当する１分になる。
【０１４９】
なお、素材映像およびサンプル映像のショット等の特徴量ベクトルは、正規化されクラスタリングされている。つまり、ショット等の要素は、各要素の特徴に応じてグループ分けされている。
【０１５０】
そのため、例えば、選択されたショットが属する素材映像におけるグループと同一もしくは近似する特徴を有する、サンプル映像におけるグループを特定する。この特定したグループに属する１以上のショットをそのまま所定の基準を満たすショットであるとする。さらに、その１以上のショットの編集映像における時間位置に対応する、ユーザ編集映像における時間位置を特定し、ユーザに提示してもよい。
【０１５１】
編集画面３１上では、図８に示すように、（２）映像ストーリー欄３７ａに該当位置が候補位置（図では点線で囲まれた領域で表現されている。）として表示される。
【０１５２】
このように、映像編集支援装置１は、ユーザがショットを選択した場合、そのショットを配置すべき候補位置をユーザに提示することができる。この候補位置は、映像編集の専門家の編集により制作されたサンプル映像から作られた編集モデルを参照することにより選択されたものである。
【０１５３】
つまり、映像編集支援装置１は、映像編集の専門家ではないユーザに、不要な試行錯誤を繰り返させることなく、ユーザ自身が選択したショットを、適した時間位置に配置するように誘導することができる。
【０１５４】
次に、図７のフロー図に示すように、映像編集支援装置１は、ユーザによる要素の移動を検出する（Ｓ２６）。具体的には、ユーザにより、ショットＣ２が映像ストーリー欄３７ａ内に移動されると、編集実行部１６は、その移動を検出する。また、編集画面３１の表示内容の書き換え、およびユーザ編集映像へのショットＣ２の配置位置等の情報を記録する（Ｓ２７）。
【０１５５】
その後、ユーザからの終了指示がなく（Ｓ２８でＮｏ）、ユーザからショットの選択等の指示が入力されると、上記のユーザ入力受付（Ｓ２０）から、実編集のための情報の記録（Ｓ２７）までが繰り返される。また、ユーザからの終了指示があると（Ｓ２８でＹｅｓ）、編集実行部１６は記録した情報に従い実編集処理（Ｓ２９）を行う。つまり、記録した情報に従い、ユーザに選択されたショット等のデータをつなぎ合わせ１つのユーザ編集映像のファイルを生成する。
【０１５６】
図９は、ユーザにより、１つのショットがストーリーボード３７に移動された場合の編集画面３１の一例を示す図である。
【０１５７】
図９に示すように、（３）ユーザにより、ショットＣ２が映像ストーリー欄３７ａの候補位置に移動されると、その移動が（４）映像構造欄３８ａに反映される。
【０１５８】
この画像表示の書き換えは、編集実行部１６によって行われる。また、編集実行部１６は、ユーザ編集映像の当該時間位置にショットＣ２が配置されるように、内部に保持するユーザ編集映像のデータにショットＣ２のデータを追記する。
【０１５９】
また、図７のフロー図に示すように、ユーザにより、ストーリーボード３７上で時間位置が選択された場合（Ｓ２１で時間位置）、候補生成部１３は、その時間位置に対応する、編集モデルに示される要素と、編集画面３１に表示されている要素との適合度の算出を行う（Ｓ２４）。
【０１６０】
候補生成部１３は、算出の結果に基づき、出力部４を介し、ユーザに選択された時間位置に配置すべき要素の候補、つまり、候補要素をユーザに提示する（Ｓ２５）。
【０１６１】
図１０は、ユーザにより、時間位置が選択された場合の編集画面３１の一例を示す図である。
【０１６２】
例えば、図１０に示すように、（１）ユーザにより、映像ストーリー欄３７ａ上の時間位置（図では点線で囲まれた領域で表現されている。）が選択された場合、候補生成部１３は、その情報を取得する。
【０１６３】
さらに、その選択された時間位置に対応する、編集モデルにおける時間位置にあるショットの特徴量ベクトルを編集モデルから読み出す。読み出した特徴量ベクトルと、ショット選択欄３４に表示されている各ショットの特徴量ベクトル（以下、「素材ショットベクトル」という。）とを対照し、それぞれの適合度を算出する。
【０１６４】
具体的には、読み出した特徴量ベクトルと素材ショットベクトルとのそれぞれの距離を算出し、距離が短いほど素材ショットベクトルの適合度が高いと算出する。
【０１６５】
算出の結果、適合度が所定の基準を満たすショットを特定する。特定されたショットは、図１０に示すように、（２）画面上では点滅等により候補要素として表示される。
【０１６６】
図１０に示す表示例の場合、ショットＢ１と、ショットＣ２とが候補要素として表示されている。
【０１６７】
その後、ユーザにより、いずれかのショットが選択され映像ストーリー欄３７ａ上に移動されると、図７のフロー図に示すように、映像編集支援装置１は、ユーザによる要素の移動を検出する（Ｓ２６）。また、編集実行部１６により、編集画面３１の表示内容の書き換え、およびユーザ編集映像へのショットＣ２の配置位置等の情報を記録する（Ｓ２７）。
【０１６８】
その後、ユーザからの終了指示がなく（Ｓ２８でＮｏ）、ユーザから時間位置等の選択等の指示が入力されると、上記のユーザ入力受付（Ｓ２０）から、実編集のための情報の記録（Ｓ２７）までが繰り返される。また、ユーザからの終了指示があると（Ｓ２８でＹｅｓ）、編集実行部１６は記録した情報に従い実編集処理（Ｓ２９）を行い、１つのユーザ編集映像のファイルを生成する。
【０１６９】
このように、映像編集支援装置１は、ユーザがショット等の要素を選択した場合のみならず、ユーザ編集映像における時間位置を選択した場合においても、その時間位置に配置すべき候補要素をユーザに提示することができる。
【０１７０】
つまり、映像編集の専門家ではないユーザに、不要な試行錯誤を繰り返させることなく、ユーザ自身が選択した時間位置に、その時間位置に適したショットを配置するように誘導することができる。
【０１７１】
また、映像編集支援装置１は、ユーザに選択された付加要素をユーザ編集映像の適した時間位置に配置するようにユーザを誘導することができる。
【０１７２】
図１１は、ユーザにより、１つの付加音が選択された場合の編集画面３１の一例を示す図である。
【０１７３】
例えば、図１１に示すように、（１）ユーザにより、“音楽１”が選択された場合、候補生成部１３は、その情報を取得する。さらに、付加音記憶部１５から読み出した“音楽１”の特徴量ベクトルと、モデル生成部２３から受け取った編集モデル内の複数の特徴量ベクトルとを対照し、それぞれの適合度を算出する。
【０１７４】
具体的には、“音楽１”の特徴量ベクトルと編集モデル内の複数の特徴量ベクトルに含まれる音の特徴量を表す成分とが対照される。
【０１７５】
この対照により、“音楽１”の特徴量ベクトルとの距離が短い、つまり、“音楽１”の特徴量ベクトルとの適合度が所定の基準を満たす、編集モデル内の特徴量ベクトルが特定される。
【０１７６】
さらに、特定された特徴量ベクトルとの距離が所定の範囲内の特徴量ベクトルを持つ、ユーザ編集映像に配置済みのショットが特定される。つまり、“音楽１”を付加すべきショットが特定される。加えてそのショットの時間位置が特定される。
【０１７７】
なお、“音楽１”の特徴量ベクトルとの適合度が所定の基準を満たす、編集モデル内の特徴量ベクトルの時間位置を特定し、さらに、その時間位置に対応する、ユーザ編集映像における時間位置を特定してもよい。つまり、音楽１”を配置すべきユーザ編集映像上の時間位置を、ショットの存在を介さずに特定してもよい。
【０１７８】
このように特定されたーザ編集映像上の時間位置は、図１１に示すように、（２）音ストーリー欄３７ｂに候補位置として表示される。
【０１７９】
その後、ユーザにより“音楽１”が、音ストーリー欄３７ｂに移動されると、編集実行部１６がその移動を検出する。編集実行部１６は移動を検出すると表示内容の書き換えを行う。さらに、ユーザ編集映像の当該時間位置に“音楽１”が配置されるように、内部に保持するユーザ編集映像のデータに“音楽１”のデータを追記する。
【０１８０】
また、映像編集支援装置１は、ユーザにより編集エフェクトが選択された場合も、付加音が選択された場合と同様に、候補位置をユーザに提示することができる。
【０１８１】
図１２は、ユーザにより、１つの付加要素である編集エフェクトが選択された場合の編集画面３１の一例を示す図である。
【０１８２】
例えば、図１２に示すように、（１）ユーザにより、“フェードアウト”が選択された場合、候補生成部１３は、その情報を取得する。さらに、エフェクトデータ記憶部１４から読み出した“フェードアウト”の特徴量ベクトルと、モデル生成部２３から受け取った編集モデル内の複数の特徴量ベクトルとを対照し、それぞれの適合度を算出する。
【０１８３】
具体的には、“フェードアウト”の特徴量ベクトルと編集モデル内の複数の特徴量ベクトルに含まれる編集エフェクトの特徴量を表す成分とが対照される。
【０１８４】
この対照により、“フェードアウト”の特徴量ベクトルとの距離が短い、つまり、“フェードアウト”の特徴量ベクトルとの適合度が所定の基準を満たす、編集モデル内の特徴量ベクトルが特定される。
【０１８５】
さらに、特定された特徴量ベクトルとの距離が所定の範囲内の特徴量ベクトルを持つ、ユーザ編集映像に配置済みのショットが特定される。つまり、“フェードアウト”を付加すべきショットが特定される。加えてそのショットの時間位置が特定される。
【０１８６】
このように特定されたーザ編集映像上の時間位置を用い、図１２に示すように、（２）映像ストーリー欄３７ａにおいて、“フェードアウト”を付加すべきショットと次のショットとの間に、例えば点線の縦長矩形を表示する。
【０１８７】
その後、ユーザにより“フェードアウト”が、映像ストーリー欄３７ａ内の縦長矩形に移動されると、編集実行部１６がその移動を検出する。編集実行部１６は移動を検出すると表示内容の書き換えを行う。さらに、ユーザ編集映像の当該時間位置の直前のショットにフェードアウトが付加されるように、内部に保持するユーザ編集映像のデータにフェードアウトのエフェクトデータを追記する。
【０１８８】
なお、“フェードイン”等のショットの最初に付加すべき編集エフェクトが、上記の縦長矩形に移動された場合は、当該縦長矩形の直後のショットにその編集エフェクトが付加される。
【０１８９】
また、編集画面３１の映像ストーリー欄３７ａ上で、ユーザにより、ショットとショットとの間に配置された縦長矩形が選択された場合、映像編集支援装置１は、その縦長矩形の直前または直後のショットに付加するのに適した編集エフェクトの候補をユーザに提示することもできる。
【０１９０】
この場合、例えば、映像ストーリー欄３７ａに配置されたショットの前後に点線の縦長矩形を表示する。さらに、候補生成部１３が、選択された縦長矩形の前後にあるショットの特徴量ベクトルと編集モデルとから、それらショットに付加すべき編集エフェクトを特定すればよい。
【０１９１】
これにより、例えば、選択された縦長矩形の直後にあるショットが暗く、映像の動きの遅いショットである場合、サンプル映像内の同様の特徴を有する１以上のショットが特定される。さらに、その１以上のショットの開始部分に付加されている１以上の編集エフェクトが特定され、特定された編集エフェクトは、ユーザが選択した縦長矩形の直後のショットに付加すべき編集エフェトの候補としてユーザに提示される。
【０１９２】
また、選択された縦長矩形の直前にあるショットの特徴からも、そのショットの終了部分に付加すべき編集エフェクトが特定される。さらに、特定された編集エフェクトはユーザが選択した縦長矩形の直前のショットに付加すべき編集エフェトの候補としてユーザに提示される。
【０１９３】
ユーザは、このようにして提示された１以上の編集エフェクトの中から１つの編集エフェクトを選択し、縦長矩形上に移動する。これにより、その編集エフェクトの種類に応じ、その縦長矩形の直前または直後のショットにその編集エフェクトが付加される。
【０１９４】
また、あるショットに編集エフェクトが付加され、そのショットに音が付加されている場合、その音も編集エフェクトに同期するよう加工される。例えば、編集エフェクトとして“フェードアウト”がショットに付加された場合、音もフェードアウトするように加工される。
【０１９５】
また、ショットに付加された音の特徴に基づいて、編集エフェクトを決定することもできる。
【０１９６】
例えば、ユーザ編集映像において、ユーザに選択された縦長矩形の直前のショットに既に音が付加されており、そのショットの終了部分で、音がフェードアウトしている場合を想定する。この場合、素材特徴抽出部１１は、信号特徴としてショットの終了部分で音量が小さくなっていくことを検出することができる。
【０１９７】
また、学習部２において、サンプル映像の各ショットの特徴として、付加された音がフェードアウトしている場合、動画もフェードアウトしている、つまり、編集エフェクトとして“フェードアウト”が付加されていることが学習されていると想定する。
【０１９８】
この場合、候補生成部１３は、学習部２による上記学習内容に基づき、ユーザ編集映像上の当該ショットに付加するエフェクトの候補として“フェードアウト”を選択し、出力部４を介しユーザに提示される。
【０１９９】
つまり、映像編集において、視覚的特徴の要素である編集エフェクトと、聴覚的特徴である音の特徴との関連性は重要である。そのため、映像編集支援装置１は、このように、音のセグメント境界と動画のセグメント境界との関連性を示す情報をこれら境界の同期構成を示す情報としてサンプル映像から学習する。さらに、その学習内容を利用してユーザの編集行動をより適切な方向に誘導することができる。
【０２００】
なお、各ショットの間に２つの縦長矩形を並べて表示させてもよい。つまり、例えばＡとＢの２つのショットがＡＢの順に時系列上に並んでいる場合、Ａの直後の縦長矩形と、Ｂの直前の縦長矩形とを並べて表示させてもよい。これにより、ユーザに選択された編集エフェクト、または、ユーザに選択された縦長矩形が、ＡおよびＢのいずれのショットに対応するものかを明示的にユーザに認識させることができる。
【０２０１】
同様に、編集画面３１の音ストーリー欄３７ｂ上で、ユーザにより、時間位置が選択され、かつ、映像ストーリー欄３７ａ上の当該時間位置に既にショットが配置されている場合、映像編集支援装置１は、そのショットに付加するのに適した音の候補をユーザに提示することができる。
【０２０２】
この場合、候補生成部１３が、選択された時間位置に対応する映像ストーリー欄３７ａ上のショットの特徴量ベクトルと編集モデルとから、そのショットに付加すべき音を特定すればよい。
【０２０３】
これにより、例えば、選択された位置にあるショットが明るく、映像の動きの激しいショットである場合、サンプル映像内の同様の特徴を有する１以上のショットが特定される。
【０２０４】
さらに、その１以上のショットに付加されている１種類以上の音が特定され、特定された１種類以上の音は、付加音記憶部１５に記憶されている音と対照される。具体的には、それぞれの特徴量ベクトルが対照される。
【０２０５】
なお、ここで特定される音は、例えば、効果音や音楽のみならず、実質的に音がない状態を指す「無音」も含まれる。
【０２０６】
この対照の結果、特定された１種類以上の音に類似する１種類以上の音が付加音記憶部１５に記憶されている音の中から特定される。この特定された１種類以上の音は、ユーザが選択した時間位置に配置すべき音の候補としてユーザに提示される。
【０２０７】
また、編集画面３１の音ストーリー欄３７ｂ上で、ユーザにより、時間位置が選択され、かつ、映像ストーリー欄３７ａ上の当該時間位置にショットが配置されていない場合であっても、映像編集支援装置１は、その時間位置に適した音の候補をユーザに提示することができる。
【０２０８】
この場合、候補生成部１３が、選択された時間位置に対応する時間位置と編集モデルとから、その時間位置に配置すべき音を特定すればよい。
【０２０９】
これにより、例えば、選択された時間位置がユーザ編集映像の開始直後の時間位置である場合、サンプル映像において開始直後の映像に付加された音が特定される。例えば、ボリュームが小さい等の信号特徴を持つ穏やかな音楽が特定される。
【０２１０】
さらに、特定された音楽の信号特徴に基づき、その音楽に類似する１以上の音楽が、付加音記憶部１５に記憶されている音楽の中から特定される。この特定された１以上の音楽は、ユーザが選択した時間位置に配置すべき音楽の候補としてユーザに提示される。
【０２１１】
つまり、映像コンテンツに付加される音は、時間位置に強く依存するものもある。例えば、映像コンテンツの開始部分には穏やかな曲が付加されており、また、終了部分には盛り上がりを感じさせる曲が付加されていることが１つの例として挙げられる。
【０２１２】
そのため、映像がどのようなものであるかを考慮せず、ユーザに選択された時間位置のみを持って、その時間位置に配置すべき音の候補を選び出し、ユーザに提示することが有用な場合が存在する。
【０２１３】
また、付加音および編集エフェクトの候補については、ユーザがショットをユーザ編集映像に配置した時点で、ユーザに提示することもできる。
【０２１４】
例えば、ユーザが、ショット選択欄３４に表示されている１つのショットを選択した場合、上述のように、そのショットと特徴に近い特徴をもつサンプル映像のショットを特定することができる。従って、そのサンプル映像のショットに付加されている音および編集エフェクトの特徴も特定することができる。
【０２１５】
そこで、それら音および編集エフェクトの特徴から、それらの特徴に近い特徴を持つ、１以上の付加音および編集エフェクトを、ユーザが選択し映像ストーリー欄３７ａに移動したショットに付加すべき付加音および編集エフェクトの候補として提示することができる。
【０２１６】
このように、映像編集支援装置１は、ユーザが付加要素を選択した場合においても、その付加要素を配置すべき時間位置の候補を示す情報を、編集モデルに従って生成し、ユーザに提示することができる。また、同様に、ユーザが時間位置を選択した場合においても、その時間位置に配置すべき付加要素の候補を示す情報を、編集モデルに従って生成し、ユーザに提示することができる。
【０２１７】
つまり、映像編集の専門家ではないユーザに、不要な試行錯誤を繰り返させることなく、ユーザ自身が選択した付加要素に応じて、その付加要素に適した時間位置に配置するように誘導することができる。また、ユーザ自身が選択した時間位置に応じて、その時間位置に適した付加要素を選択するように誘導することができる。
【０２１８】
なお、上述のように、ユーザがショットまたは付加音の一方をユーザ編集映像に配置しようとした場合、他方が既にその配置しようとした時間位置に配置されている場合がある。
【０２１９】
この場合、ユーザが、その配置を実行すると、ショットおよび付加音が同じ時間位置に並存することになる。この場合、ショット長と付加音の長さ（音長）とが同一でない場合が多いと考えられる。そこで、ショットと付加音との同期をとるために、ショット長と、そのショットに付加される付加音の音長とを合わせることが考えられる。
【０２２０】
本実施の形態の映像編集支援装置１は、ショット長が音長よりも短い場合は、付加音をショット長に合わせてカットすることで、ショットと付加音との同期をとることができる。また、ショット長が音長よりも長い場合は、ショットを音長に合わせてカットすることで、ショットと付加音との同期をとることができる。
【０２２１】
図１３は、映像編集支援装置１の、既に配置されているショットまたは付加音を考慮した動作の流れの概要を示すフロー図である。
【０２２２】
ユーザにより、例えば１つのショットが映像ストーリー欄３７ａ上のある時間位置に配置されようとした場合、その時間位置にショットが配置されていないとき（Ｓ３０でＮｏ）、そのままその時間位置にショットが移動される（Ｓ３２）。
【０２２３】
また、その時間位置に既にショットが配置されているときは（Ｓ３０でＹｅｓ）、配置済みのショットに上書きするように、ユーザに選択されたショットが移動される（Ｓ３１）。
【０２２４】
さらに、音ストーリー欄３７ｂの当該時間位置に付加音が配置されていない場合（Ｓ３３でＮｏ）は、ショットおよび付加音の長さの調節は必要がなく、実編集処理を行った上で当該処理に係る動作を終了する。
【０２２５】
また、音ストーリー欄３７ｂの当該時間位置に、例えばＢＧＭが既に配置されている場合（Ｓ３３でＹｅｓ）は、ショット長とＢＧＭの音長とが比較される。この比較は編集実行部１６により行われる。
【０２２６】
比較の結果、ショット長が音長より長い場合（Ｓ３４でＹｅｓ）、ショットの開始位置の境界と、ＢＧＭの開始位置の境界とが同期付けられ、ショットが音長に合わせてカットされる。つまり、ショットの終了位置の境界と、ＢＧＭの終了位置の境界とが同期付けられる（Ｓ３５）。
【０２２７】
例えば、１分のショットを３０秒にする場合、そのショットの１５秒以降から４５秒以前までが残されるように、その他の期間に相当するショットのデータがカットされる。つまり、ショットの中央部を中心に、音長に応じた長さのショットが残される。
【０２２８】
なお、例えば、ショットの開始から音長に応じた長さのショットを残してもよく、また例えば、任意の部分を取り出して合計で３０秒になるようにしてもよい。要するにショット長を音長と同一の長さになるように短縮すればよい。
【０２２９】
また、ショット長が音長より長くない場合（Ｓ３４でＮｏ）、実編集処理を行った上で当該処理に係る動作を終了する。具体的には、ショット長と音長とが同一の場合、そのまま、ユーザ編集映像の当該時間位置にそのショットが配置されるように、編集実行部１６は、内部に保持するユーザ編集映像のデータにそのショットのデータを追記する。
【０２３０】
また、ショット長が音長より短い場合、例えば、音長が１分であり、そのＢＧＭと対応付けられた単独または複数のショットの全体の長さが３０秒である場合を想定する。この場合、その単独または複数のショットとそのＢＧＭとが対応付けられたことが確定すると、ＢＧＭのデータは、例えば、開始から３０秒までに相当する部分だけ残すようにカットされる。
【０２３１】
なお、ＢＧＭが複数のショットと対応付けられ、当該複数のショットの合計長が、ＢＧＭの長さより長い場合、ＢＧＭのどの時間位置でショットの切り替えがあるべきか、という情報に基づき、ショットの合計長がＢＧＭの長さにおさまるように、すべてのショットに対しカットするかカットしないかの判断を行う。
【０２３２】
上記のＢＧＭのどの時間位置でショットの切り替えがあるべきかについての情報は、学習部２において、音のセグメント境界と動画のセグメント境界との関連性を示す情報としてサンプル映像から学習されるものである。
【０２３３】
さらに、ＢＧＭは、当該１以上のショットと同期付けられ、つまり、当該１以上のショットと同じ時間位置にＢＧＭが配置されるように、ユーザ編集映像のデータにそのＢＧＭのデータが編集実行部１６により追記される。
【０２３４】
なお、上記のＢＧＭの開始位置は、ＢＧＭの楽曲としての開始位置でなくてもよく、ユーザの明示の指示により、ＢＧＭの途中の位置を開始位置として扱ってもよい。ショットに音楽以外の効果音等を付加する場合であっても同様である。
【０２３５】
ここで、サンプル映像に含まれる１つのショットは、そのサンプル映像のソースであるソース映像の１つのショットから一部を抽出することにより、または、一部を省略することにより得られている場合がある。
【０２３６】
そこで、映像編集支援装置１が、サンプル映像の１つのショットが、そのショットに対応するソース映像のショットからどのように抽出または省略されたものであるかを学習し、学習された情報に従って、素材映像のショットの短縮のための支援を行ってもよい。
【０２３７】
図１４は、サンプル映像の１つのショットと、そのショットのソースであるショットとの関係を模式的に示す図である。
【０２３８】
例えば、サンプル映像の１つのショット（以下、「サンプルショット」という。）を映画予告映像の１つのショットとすると、ソースであるショット（以下、「ソースショット」という。）は映画本編の１ショットである。
【０２３９】
サンプルショットは、対応するソースショットそのままである場合もあるが、図１４に示すように、ソースショットから、必要な部分のみを抽出して制作される場合もある。
【０２４０】
このような場合、ソースショットの動画および音の信号特徴と、そのソースショットから得られたサンプルショットの動画および音の信号特徴とから、そのサンプルショットを制作した編集者が行った、動画の省略または抽出の仕方を学習することができる。
【０２４１】
この場合、例えば、学習部２において、サンプル受付部２０が、サンプル映像およびソース映像の入力を受け付ける。サンプル特徴抽出部２１は、１つのサンプルショットおよびそのサンプルショットに対応するソースショットの、フレームごとの、フレームの平均輝度およびフレームに付加された音の音量等の特徴量ベクトルを算出する。
【０２４２】
なお、特徴量ベクトルの算出の対象となるサンプルショットは、例えば、ユーザが短縮しようとしているショットの特徴に似た特徴を持つサンプルショットが選択される。
【０２４３】
さらに、サンプル解析部２２が、それら特徴量ベクトルの正規化を行い、ソースショットの各フレームの特徴量ベクトルと、サンプルショットの各フレームの特徴量ベクトルとを比較する。
【０２４４】
これにより、ソースショットのどのような信号特徴をもつフレームが、サンプルショットのフレームとして抽出されているかを学習することができる。
【０２４５】
例えば、ソースショットの一定の輝度以上の輝度を持つフレームが、サンプルショットのフレームとして抽出されていることが学習される。また、例えば、ソースショットの特定の時間位置のフレームが、サンプルショットのフレームとして抽出されていることが学習される。
【０２４６】
モデル生成部２３は、サンプル解析部２２により学習された情報を、ショット制作用の編集モデルとして、候補生成部１３に出力する。
【０２４７】
編集部３では、素材特徴抽出部１１が、短縮すべき素材映像のショット（以下、「素材ショット」という。）のフレームごとの特徴量ベクトルを、サンプル特徴抽出部２１と同様に算出し正規化する。
【０２４８】
候補生成部１３は、素材特徴抽出部１１から受け取った素材ショットのフレームごとの特徴量ベクトルと、モデル生成部２３から受け取った編集モデルとを対照する。
【０２４９】
これにより、例えば、編集モデルが、ソースショットの一定の輝度以上の輝度を持つフレームがサンプルショットのフレームとして抽出されていることを示す場合、候補生成部１３は、素材ショットに含まれる、一定の輝度以上の輝度を持つフレームを抽出し、素材ショットとして残すべきフレームの候補として、ユーザに提示することができる。
【０２５０】
ユーザは、提示されたフレームの候補から、素材ショットとして残すべきフレームを選択することで、素材ショットを適切に短縮することができる。
【０２５１】
また、上述のようなソース映像とサンプル映像との比較は、サンプル映像の編集パターンを学習する上でも有用である。
【０２５２】
図１５は、サンプル映像と、そのサンプル映像のソースであるソース映像との関係を模式的に示す図である。
【０２５３】
図１５に示すように、サンプル映像を映画予告編映像とすると、ソース映像は映画本編である。また、サンプル映像は、ソース映像に含まれる複数のショットの中から選択された複数のショットで構成されている。
【０２５４】
そのため、例えば、サンプル映像に含まれる各ショットが、ソース映像においてどの時間位置に存在したか、という情報もショットの特徴量の１つとして捉えることができる。
【０２５５】
この場合、上述のソースショットとサンプルショットとを比較する場合と同様に、サンプル解析部２２が、ソース映像とサンプル映像の各ショットの信号特徴を対照することにより、ソース映像のどのような特徴をもつ動画がサンプル映像の動画として抽出されているかを示す情報を得ることができる。例えば、どの時間位置のショットがサンプル映像のショットとして抽出されたかを学習することができる。
【０２５６】
さらに、モデル生成部２３は、サンプル解析部２２によって学習された情報を、１つの成分としてサンプル映像の各ショットの特徴量ベクトルに含ませる。さらに、それら特徴量ベクトルを含む編集モデルを候補生成部１３に出力する。
【０２５７】
候補生成部１３は、例えば、ある時間位置がユーザに選択された場合、その時間位置に対応する、サンプル映像内のショットの特徴量ベクトルを編集モデルから特定する。
【０２５８】
さらに、その特定した特徴量から、そのショットがソース映像においてどの時間位置にあったかを編集モデルから読み出す。例えば、読み出した時間位置が、ソース映像の全長の５０％に相当する時間位置であったと想定する。
【０２５９】
この場合、候補生成部１３は、素材映像の全長の５０％に相当する時間位置にあるショットおよびその前後のショットの３つのショットを、ユーザ編集映像に配置すべきショットの候補として、ユーザに提示する。
【０２６０】
または、その他の特徴量も考慮し、素材映像の全長の５０％に相当する時間位置にあるショットおよびそのショットの特徴量ベクトルと距離の近い特徴量ベクトルを持つ素材映像内の１以上のショットを、ユーザ編集映像に配置すべきショットの候補として、ユーザに提示する。
【０２６１】
ユーザは、候補として提示された１以上のショットの中から、自身が選択した時間位置に配置するショットを選択し配置する。
【０２６２】
このように、映像編集支援装置１は、サンプル映像の各ショットが、ソース映像のどの時間位置に存在していたかを示す情報を利用することによっても、ユーザの映像編集を支援することができる。
【０２６３】
また、映画編集支援装置１は、複数の種類のサンプル映像から複数の種類の編集情報を学習してもよい。例えば、アクション、コメディー等のジャンルの異なる複数の映画予告編映像および、サッカー等のスポーツの試合のダイジェスト映像等から、それぞれ編集情報を学習してもよい。
【０２６４】
この場合、それら複数の編集情報を記憶し、かつ、ユーザ等の指示により必要な編集情報を読み出せる機能を映像編集支援装置１が有していればよい。
【０２６５】
これにより、例えば、素材映像の内容に合わせて、または、ユーザの好みに合わせて、ユーザ編集映像の制作により適した編集情報を複数の中から選択できる。
【０２６６】
また、本実施の形態の映像編集支援装置１が備える学習部２、編集部３および出力部４のそれぞれの動作は、中央演算装置（ＣＰＵ）、記憶装置、および情報の入出力を行うインタフェース等を有するコンピュータ、並びに、コンピュータに所定の処理を行わせるプログラムにより実現することができる。
【０２６７】
例えば、インタフェースを介して入力されるサンプル映像を所定のメモリに記憶する。また、ＣＰＵが所定のプログラムを実行することにより、サンプル映像のショット列への分割、各ショットの特徴量の抽出、編集モデルの生成等を行う。
【０２６８】
また、インタフェースを介して入力される素材映像を所定のメモリに記憶する。また、ＣＰＵが所定のプログラムを実行することにより、素材映像のショット列への分割、各ショットの特徴量の抽出等を行う。
【０２６９】
さらに、インタフェースを介して入力されるユーザの指示内容と、編集モデル等の情報とを用いて、ＣＰＵが候補要素または候補位置を示す情報を生成する。また、それら候補要素等を含む編集画面が生成され、ＣＰＵの指示により、インタフェースを介して表示装置に出力される。
【０２７０】
このようなコンピュータの動作によっても、本発明の映像編集支援装置は実現される。
【０２７１】
また、映像編集支援装置１は、上述のように、サンプル映像に対して、動画および音の解析である映像解析を行い編集情報を学習する。さらに、編集情報に従って、ユーザ編集映像に配置すべきショット等の要素メディアの選択、および要素メディアを配置すべき時間位置の選択を誘導している。
【０２７２】
つまり、映像編集支援装置１は、サンプル映像を映像解析することにより、サンプル映像を制作した映像編集の専門家の編集技術および編集知識を編集情報としてユーザに利用させることができる。
【０２７３】
そこで、図１６〜図２０を用い、映像編集支援装置１が行う映像解析について、一部、上記説明と重複する部分を含め、特に理論的側面を中心に実験結果等を参照しながら映像解析の一例として説明する。
【０２７４】
図１６は、映像編集支援装置１の映像解析に係る動作の流れを示すフロー図である。
【０２７５】
映像編集支援装置１が映画予告映像を解析する場合を例にとって、映像編集支援装置１の映像解析に係る動作を説明する。
【０２７６】
映像編集支援装置１に映画予告映像が入力されると（Ｓ４０）映画予告映像のカットを検出し（Ｓ４１）、ショット列に分割する（Ｓ４２）。また、フレーム列に分割する（Ｓ４４）。
【０２７７】
次に、ショットから、ショット長に加え、動きに関する特徴量として、動きの強度・変動性・範囲を抽出し（Ｓ４３、Ｓ４５）、各ショットを４次元特徴ベクトルで表現する（Ｓ４６）。
【０２７８】
さらに、異なる映像におけるこれらの特徴量のばらつきの差による影響を除去するため、得られた特徴ベクトルを正規化する（Ｓ４７）。
【０２７９】
このようにして得られた４次元ベクトルを類似度に基づいたクラスに分類し、各ショットにクラス番号を記号としてラベル付けする（Ｓ４８）。
【０２８０】
最後に、すべてのショットを記号で表したショット時系列を観測系列とし（Ｓ４９）、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）により映画予告映像に共通する時系列パターン学習（Ｓ５０）する。
【０２８１】
以下に、ショットからの特徴量抽出、ショットへのラベル付け、ＨＭＭによる学習方法の詳細について述べる。
【０２８２】
（ショットの特徴量抽出）
以下に述べる学習方法で着目する映像の感覚的側面である動画中のリズムは、映像中の動きやカメラの切り替わりの頻度など、動画中の変化により生成されると考えられる。そこで、ショットに対する特徴量としてショット長と動きを用いる。
【０２８３】
まず、ブロックマッチング（非特許文献２参照）によりフレームｆ中の画素（ｘ，ｙ）に対し求めた、下記（数１）に示す動きベクトルに基づき、動きベクトルの二次元ヒストグラムＨ（ｓ，ｔ）（ｓ，ｔ＝０，１，２．．．）を生成する。
【非特許文献２】G. Adiv, "Determining three-dimensional motion and structure from optical .flow generated by several moving objects," Proc. IEEE Trans. on PAMI, vol. 7, no. 4, pp. 384-401, 1985.
【０２８４】
【数１】
2007336106.tif 000003
【０２８５】
ここで、ｓはベクトルの角度を、ｔはベクトルの長さを表す。ここで、ブロックマッチングは動きの速いフレームやカメラワークのあるフレームにおいて非常に弱く、実際の動きと一致しない動きベクトルが多く現れる。
【０２８６】
このような動きベクトルの共通する特徴として、周りの動きベクトルと異なる角度と長さを持つ孤立したベクトルとして検出されることが挙げられる。
【０２８７】
従って、このように誤検出された動きベクトルを考慮した特徴量として、動き強度ｖi（ｆ）、動き変動性ｖv（ｆ）、動き範囲ｖa（ｆ）を導入する。
【０２８８】
まず、動き強度ｖi（ｆ）を以下のように定義する。
【０２８９】
【数２】
2007336106.tif 000004
【０２９０】
この値は孤立ベクトルを除いた動きベクトルの総和となり、実際の動きの大きさをより忠実に表すと考えられる。また、動き変動性ｖv（ｆ）と動き範囲ｖa（ｆ）を次のように定義する。
【０２９１】
【数３】
2007336106.tif 000005
【０２９２】
【数４】
2007336106.tif 000006
【０２９３】
ただし、Ｎ（ｆ）、Ｎ0（ｆ）はフレームｆ中の動きベクトルの総数、及び大きさが１未満の動きベクトルの総数とする。動き変動性は、孤立ベクトルの検出された割合を表す。動きの速いフレーム間ではブロックマッチングによる誤検出が多く観測され、孤立した動きベクトルが多く現れる。
【０２９４】
従って、動き変動性が大きいほど対象フレーム中の動きが速いことが分かる。また、動き範囲は、動きがフレーム全体に占める割合を表す。背景が動いている場合は、フレーム全体に長さ１未満の動きベクトル、つまり静止点はほとんど存在せず、逆に静止背景においては、静止点が多く存在する。
【０２９５】
図１７に、カメラワーク及びオブジェクトの動きの存在する、もしくは存在しないフレームから動き変動性及び動き範囲を抽出した例を示す。図に示すように、動き変動性はオブジェクトの動きの有無を、動き範囲はカメラワークの有無と関連すると考えられる。最後に、ショットｓに含まれるすべてのフレームの特徴量の平均を取ることで、ショットｓにおける動きの強度ｖi（ｓ）、変動性ｖv（ｓ）、範囲ｖa（ｓ）の三つの特徴量が求められる。
【０２９６】
それらに、ショットの長さｌ（ｓ）を加え、ショットｓを４次元特徴ベクトル（ｌ（ｓ），ｖi（ｓ），ｖv（ｓ），ｖa（ｓ））で表現する。ここで、異なる映像におけるこれらの特徴量のばらつきの差による影響を除去するため、得られた特徴ベクトルを正規化する必要がある。動き変動性と動き範囲については、どちらも常に０〜１の値に収まるため、正規化の必要はない。そこで、動き強度とショット長に対して、同様に０〜１の値に収まるよう正規化する。動き強度に対しては、中間値が０．５となるように次式により正規化する。
【０２９７】
【数５】
2007336106.tif 000007
【０２９８】
ただし、ｖi（ｓj）とｖ′i（ｓj）はそれぞれ正規化前後のｊ番目のショットの動き強度を、ｖi（ｓm）は正規化前の全てのショットにおける動き強度の中間値を表す。但し、外れ値が存在する場合があるため、極端に大きいデータに対しては１とした。また、ショット長に対しては、各ショットの映像全体に対する割合に基づき次式で正規化する。
【０２９９】
【数６】
2007336106.tif 000008
【０３００】
ただし、ｌ（ｓj）とｌ′（ｓj）はそれぞれ正規化前後のｊ番目のショットのショット長を表す。
【０３０１】
（ショットへのラベル付け）
特徴量抽出により、得られた４次元ベクトルに基づき、類似したショットに同じ記号をラベル付けする。ショットに記号を付加することにより、元のショット時系列データを記号列で表現することができる。
【０３０２】
ラベリングする際、四つの特徴量ショット長、動き強度、動き変動性と動き範囲のそれぞれをＮi（１≦ｉ≦４）分割する。分割する際、それぞれのデータの累積ヒストグラムにより、１００／Ｎi％ごとに分割点を決める。つまり、ショット長を３分割するとすると、短、中、長の三つの段階に分けることができる。その結果、ショットは合計ΠiＮi個のクラスに分類される。
【０３０３】
（ＨＭＭによる学習）
ＨＭＭは、複数の状態を持ち、それら相互の状態間に遷移確率が与えられる。更に各状態から確率的にシンボルが出力される。観測可能なのはこの出力シンボル列であり、モデルの状態を直接観測することは出来ない。図１８にＨＭＭの概念図を示す。
【０３０４】
一般にＨＭＭはλ（Ａ，Ｂ，π）のパラメータで表現され、以下のように定義される。
【０３０５】
Ｖ＝｛Ｖm｝（ｍ＝１，・・・，Ｍ）：観測シンボルの集合。
【０３０６】
Ｑ＝｛ｑｎ｝（ｎ＝１，・・・，Ｎ）：状態の集合。
【０３０７】
Ｏ＝Ｏ1，Ｏ2，・・・，ＯT：観測されたシンボル系列（長さＴ）。
【０３０８】
Ｓ＝Ｓ1，Ｓ2，・・・，ＳT：状態系列（長さＴ）。
【０３０９】
Ｓt，Ｏt：時刻ｔでの状態と観測シンボル。
【０３１０】
Ａ＝｛ａij｜ａij＝Ｐ（Ｓt+1＝ｑj｜Ｓt＝ｑi）｝：状態遷移確率分布。
【０３１１】
ａijは状態ｑiからｑjへ遷移する確率。
【０３１２】
Ｂ＝｛ｂj（Ｏt）｜ｂj（Ｏt）＝Ｐ（Ｏt｜Ｓt＝ｑj）｝：シンボル出力確率分布。
【０３１３】
ｂj（Ｏt）は状態ｑjにおいてシンボルＯtを出力する確率。
【０３１４】
π＝｛πi｜πi＝Ｐ（Ｓ1＝ｑi）｝：初期状態確率分布。πiは遷移が状態ｑiから始まる確率。
【０３１５】
本説明では、映像が「起承転結」のような流れで構成されていることを想定し、時間とともに連続的に特性を変えていく信号などを容易にモデル化することのできるＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭを採用する。よって、初期状態確率分布が常に一定で、次のようになる。
【０３１６】
【数７】
2007336106.tif 000009
【０３１７】
また、Ｌｅｆｔ−ｔｏ−Ｒｉｇｈｔ型ＨＭＭでは自己及び右側の状態への遷移のみが可能なので、状態遷移確率分布Ａに対し、以下の拘束条件が成り立つ。
【０３１８】
【数８】
2007336106.tif 000010
【０３１９】
【数９】
2007336106.tif 000011
【０３２０】
【数１０】
2007336106.tif 000012
【０３２１】
ＨＭＭを用いた理由は、特徴量の揺らぎに影響を受けずに時系列データを認識できるだけでなく、時系列データからのモデル表現への抽象化、及びモデルからの時系列データの生成を一つの数学モデルで記述できる点にある。
【０３２２】
本説明において時系列データの生成は、理想的な編集映像のショット時系列の生成に相当し、素材映像から編集映像を制作する際の、部分映像の選択及び部分映像の並びの決定に必要となる。
【０３２３】
また、ＨＭＭは音声認識の分野で非常に有効な手法として確立した手法であるため、高速計算のための様々なアルゴリズムが開発されている。ここでは、前節で得られたショット時系列を観測系列｛Ｏt｝として、ＨＭＭ λ（Ａ，Ｂ，π）のパラメータをＢａｕｍ−Ｗｅｌｃｈアルゴリズムにより学習する。
【０３２４】
（実験と評価）
比較的に映像中のリズムが顕著であると考えられるアクション映画の予告映像２０本を用い、初期パラメータ値と状態数の学習結果に与える影響について検証した。
【０３２５】
ここでは、１本の映像をテスト映像、残りの映像を学習用映像とし、Ｆｏｒｗａｒｄアルゴリズムにより求められた、テスト映像から得られたショット時系列の学習前及び、学習後のＨＭＭにおける観測確率を比較することで、学習効果を評価する。２０通りの学習用映像・テスト映像の組み合わせを用いた交差検定法（Ｃｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ）を行った。
【０３２６】
また、獲得した最適初期パラメータ値と状態数を元に、同じソース映像から異なる編集方法により制作された映像を用いて学習後のＨＭＭを評価した。
【０３２７】
特徴量を抽出するには、まず映像をショットに分割する必要がある。なお、上述のように、映像内のカットを検出することで、ショットに分割することも可能であるが、本実験においては手動でショット分割を行った。ショットへのラベル付けの際、Ｎ1＝Ｎ2＝３，Ｎ3＝Ｎ4＝２とし、４次元特徴量空間を３６クラスに分けた。
【０３２８】
学習前後のＨＭＭをそれぞれλ（Ａ，Ｂ，π）、λ′（Ａ′，Ｂ′，π）、観測系列｛Ｏ｝のλにおける観測確率をＰ（Ｏ｜λ）とする。観測確率はそれぞれの観測系列の長さによって指数的な違いが現れるため、異なる長さの映像間の比較ができない。よって、以下のように定義される適合度を導入する。
【０３２９】
【数１１】
2007336106.tif 000013
【０３３０】
ただし、Ｔは観測系列の長さである。この適合度が表しているのは単位長の観測系列の観測確率であり、異なる長さの映像間の比較を可能にする。さらに、以下のように定義される向上率により学習結果を評価する。
【０３３１】
【数１２】
2007336106.tif 000014
【０３３２】
ただしZ'は観測系列の学習後のモデルに対する適合度を表しており、向上率は、同じ観測系列｛O｝に対する観測確率の学習前と後の変化に相当する。
【０３３３】
（初期パラメータ値による影響）
まず、初期パラメータ値が実験に与える影響について検証する。ここで使用するＨＭＭはＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型であるため、ＨＭＭの初期値（Ａ，Ｂ，π）の内、πは固定となる。従って、Ａ及びＢのみを変化させる。ただし、ここでは状態数を４とした。
【０３３４】
まず、Ｂを固定してＡを変化させる。ここでは、各状態から同じ確率で観測されるすべてのシンボルを出すように、シンボル出力確率分布Ｂを（式１２）のように設定した。
【０３３５】
【数１３】
2007336106.tif 000015
【０３３６】
また、状態遷移確率Ａでは、Δi＝２とし、Ｌｅｆｔ−ｔｏ−Ｒｉｇｈｔ型ＨＭＭにより以下のような形となる。
【０３３７】
【数１４】
2007336106.tif 000016
【０３３８】
ランダムに設定した９通りのＡ（Ａ１〜Ａ９）、及び、以下のように人手で設定したＡ10に対する結果を表１に示す。
【０３３９】
【数１５】
2007336106.tif 000017
【０３４０】
【表１】
2007336106.tif 000018
【０３４１】
Ａ10は、映像が一般にシーンの並びで構成されているため、各状態が一つのシーンに相当するものとし、映像中の各シーンへの遷移確率として、ａii＞０．９かつ、ａii＞＞ａi(i+1)＞ａi(i+2)となるように設定したものである。
【０３４２】
向上率はいずれも４５〜５０％程度となり、初期値Ａの変化が結果に及ぼす影響はほとんどないことが分かる。また、Ａ10では比較的に高い向上率が得られており、ＨＭＭの各状態が映像のシーンと対応する可能性を示している。
【０３４３】
次に、Ａを上記実験でのＡ10に固定し、Ｂをランダムに設定した１０通りの値に設定した時の実験結果を表２に示す。Ｂについては、向上率に対する影響が比較的大きく、ショットの属するクラスの映像内容との関連性を考慮した上で、設定方法について今後検討する必要がある。
【０３４４】
【表２】
2007336106.tif 000019
【０３４５】
（状態数による影響）
次に状態数が学習結果に与える影響について検証するため、状態数を２〜７個に変更し実験を行った。ただし、（式７）におけるΔiは状態数が２と３の時に１、状態数が６と７の時に３としている。各状態数で、５組の初期パラメータ値を用意し、それぞれ２０通りの映像の組み合わせに適用することで得られた平均向上率を図１９に示す。
【０３４６】
ただし初期パラメータ値は、ＡについてはＡ10と同様に設定した５通りの値、Ｂについては向上率への影響が高いため、（式１２）と同様に平均値を用いた。
【０３４７】
図１９は横軸が状態数、縦軸が向上率を表している。平均５０．２％の向上率が見られたが、状態数３個または４個の時の向上率が比較的大きく、最適状態数は４であると考えられる。これは、映像が「起承転結」のような構成を持っているためと想定される。ここで図２０に、映像の起承転結に基づくシーン構成と、学習後の状態数４のＨＭＭにおいて出力された最適な状態系列の関係を示す。
【０３４８】
ＨＭＭはＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型であるため、状態は１から４まで遷移している。図に示すように、状態の切り替わりはシーンの切り替わりに近似していることが分かる。このようにＨＭＭの各状態の映像内容との関連性が確認された。今後、すべての映像についてこれらの関連性を明確にする必要がある。
【０３４９】
（異なる編集映像による学習効果の評価）
最後に、同一のソース映像を編集して制作した異なる映像を用いて、学習されたＨＭＭを検証する。１本の映画予告映像（Ｖｉｄｅｏ１）に対し、ソース映像として元の映画から人手で制作した短時間の編集映像を別に用意した。ここでは、映画予告映像に含まれていた部分映像を含むショットを映画から抜粋し、これらのショットをソース映像に出現した順に並べたもの（Ｖｉｄｅｏ２）と、映画予告映像に出現した順に並べたもの（Ｖｉｄｅｏ３）を制作した。
【０３５０】
初期パラメータはＡはＡ10、Ｂは平均値に設定し、状態数は４とした。各映像の学習前後のモデルに対する適合率、及び学習により得られた向上率を表３に示す。
【０３５１】
【表３】
2007336106.tif 000020
【０３５２】
実際の映像であるＶｉｄｅｏ１ではこれまでの実験結果と同様に５０％程度の向上率が見られたのに対し、Ｖｉｄｅｏ２、及びＶｉｄｅｏ３に対しては適合度がほとんど向上しなかった。
【０３５３】
ここで、Ｖｉｄｅｏ２はＶｉｄｅｏ１と同じ内容のショットが含まれているが、出現する順番が異なるのに対し、Ｖｉｄｅｏ３はＶｉｄｅｏ１と同じ内容のショットが同じ順番で出現するため、Ｖｉｄｅｏ３の方が若干適合度が高いと考えられる。
【０３５４】
しかし、Ｖｉｄｅｏ３で使用したソース映像から抜粋した各ショットは、対応するＶｉｄｅｏ１中のショットに比べ、ショット長が長く冗長な内容を含むため、編集された映像も実映像に類似せず、適合度はそれほど向上しなかった。
【０３５５】
このように、学習後のＨＭＭは実映像のショット時系列パターンを良好に表現していると考えられるため、映像編集中のユーザに対し、学習後のＨＭＭに対し適合度が高くなるように、ショットを選択及び整列するよう誘導することで、実映像に類似した編集映像の制作支援が可能となると期待される。
【産業上の利用可能性】
【０３５６】
本発明は、映像コンテンツの編集を支援する映像編集支援装置に適用できる。特に、映像編集の技術をよび知識のない一般のユーザが、効果的かつ効率的に映像コンテンツを編集するための映像編集支援装置、映像編集支援プログラム、映像編集支援方法等として有用である。
【図面の簡単な説明】
【０３５７】
【図１】実施の形態の映像編集支援装置の構成および機能を模式的に示す図である。
【図２】学習部が学習する、サンプル映像の感覚的構造を模式的に示す図である。
【図３】映像編集支援装置の機能的な構成を示す機能ブロック図である。
【図４】映像編集支援装置の編集支援に係る動作の流れの概要を示すフロー図である。
【図５】映像編集支援装置の映像解析に係る動作の流れの概要を示すフロー図である。
【図６】図５に示す動作の流れの結果、表示装置に表示される編集画面の一例を示す図である。
【図７】映像編集支援装置の編集支援に係る動作の流れを示すフロー図である。
【図８】ユーザにより、１つのショットが選択された場合の編集画面の一例を示す図である。
【図９】ユーザにより、１つのショットがストーリーボードに移動された場合の編集画面の一例を示す図である。
【図１０】ユーザにより、時間位置が選択された場合の編集画面の一例を示す図である。
【図１１】ユーザにより、付加音が選択された場合の編集画面の一例を示す図である。
【図１２】ユーザにより、編集エフェクトが選択された場合の編集画面の一例を示す図である。
【図１３】映像編集支援装置の、既に配置されているショットまたは音を考慮した動作の流れの概要を示すフロー図である。
【図１４】サンプル映像の１つのショットと、そのショットのソースであるショットとの関係を模式的に示す図である。
【図１５】サンプル映像と、そのサンプル映像のソースであるソース映像との関係を模式的に示す図である。
【図１６】映像編集支援装置１の映像解析に係る動作の流れを示すフロー図である。
【図１７】動き変動性および動き範囲と、カメラワークおよびオブジェクトの動きの関係を示す図である。
【図１８】隠れマルコフモデルを説明するための図である。
【図１９】状態数が学習結果に与える影響についての検証実験の結果を示す図である。
【図２０】映画予告映像のシーン構成とＨＭＭ状態系列の関係を示す図である。
【符号の説明】
【０３５８】
１    映像編集支援装置
２    学習部
３    編集部
４    出力部
１０    素材受付部
１１    素材特徴抽出部
１２    ユーザ入力受付部
１３    候補生成部
１４    エフェクトデータ記憶部
１５    付加音記憶部
１６    編集実行部
２０    サンプル受付部
２１    サンプル特徴抽出部
２２    サンプル解析部
２３    モデル生成部
３０    表示装置
３１    編集画面
３２    時間入力欄
３３    素材映像タイムライン欄
３４    ショット選択欄
３５    付加要素選択欄
３６    再生表示欄
３７    ストーリーボード
３７ａ  映像ストーリー欄
３７ｂ  音ストーリー欄
３８    構造表示ボード
３８ａ  映像構造欄
３８ｂ  音構造欄
４０    入力装置
【図１】
2007336106.tif 000021
【図２】
2007336106.tif 000022
【図３】
2007336106.tif 000023
【図４】
2007336106.tif 000024
【図５】
2007336106.tif 000025
【図６】
2007336106.tif 000026
【図７】
2007336106.tif 000027
【図８】
2007336106.tif 000028
【図９】
2007336106.tif 000029
【図１０】
2007336106.tif 000030
【図１１】
2007336106.tif 000031
【図１２】
2007336106.tif 000032
【図１３】
2007336106.tif 000033
【図１４】
2007336106.tif 000034
【図１５】
2007336106.tif 000035
【図１６】
2007336106.tif 000036
【図１７】
2007336106.tif 000037
【図１８】
2007336106.tif 000038
【図１９】
2007336106.tif 000039
【図２０】
2007336106.tif 000040