(57)【要約】【課題】コンテンツ作成のための最適なテンプレートを既存のコンテンツから作成する映像処理装置を提供する。【解決手段】映像処理装置は、素材映像を組み合わせて構成されるコンテンツから、素材映像が表示される表示枠を解析して、表示枠に関する表示枠データを取得する表示枠解析部４０２と、表示枠毎に、表示される素材映像の特徴を表す特徴データを取得する特徴データ取得部４０３と、一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、一の表示枠に表示可能な素材映像を選択するための選択条件及び他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成部４０６と、表示枠データ及び選択条件を含むコンテンツのテンプレートを生成するテンプレート生成部４０７と、を備える。【選択図】図４
2016099651.tif 000002
【特許請求の範囲】
【請求項１】
素材映像を組み合わせて構成されるコンテンツから、前記素材映像が表示される表示枠を解析して、前記表示枠に関する表示枠データを取得する表示枠解析手段と、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段と、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段と、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段と、を備えることを特徴とする、
映像処理装置。
【請求項２】
前記表示枠毎に、各々の前記特徴データに基づいて、他の表示枠との関連度合いを表す関連スコアを算出する関連スコア算出手段と、
前記関連スコアに基づいて少なくとも一つの表示枠を選択する表示枠選択手段と、を備え、
前記選択条件生成手段は、前記表示枠選択手段で選択された表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記選択された表示枠に表示する素材映像の選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成することを特徴とする、
請求項１記載の映像処理装置。
【請求項３】
前記表示枠解析手段は、前記表示枠の位置及び大きさを前記表示枠データとして取得することを特徴とする、
請求項１又は２記載の映像処理装置。
【請求項４】
前記表示枠解析手段は、前記表示枠に表示される素材映像の開始時刻及び再生時間を前記表示枠データとして取得することを特徴とする、
請求項１又は２記載の映像処理装置。
【請求項５】
前記特徴データ取得手段は、前記再生時間が予め定められた時間以上の素材映像の特徴データを取得することを特徴とする、
請求項４記載の映像処理装置。
【請求項６】
前記選択条件生成手段は、前記一の表示枠の前記再生時間が予め定められた時間以上の素材映像の特徴データと、前記他の表示枠の前記再生時間が予め定められた時間以上の素材映像の特徴データとに基づいて、前記一の表示枠の選択条件及び前記他の表示枠の選択条件を生成することを特徴とする、
請求項５記載の映像処理装置。
【請求項７】
前記選択条件生成手段は、予め定められる特徴データ間の関係に基づいて前記一の表示枠の特徴データと前記他の表示枠の特徴データとの関連を判断し、その結果に応じて前記一の表示枠の選択条件及び前記他の表示枠の選択条件を生成することを特徴とする、
請求項１〜６のいずれか１項記載の映像処理装置。
【請求項８】
前記選択条件生成手段は、前記一の表示枠の特徴データと前記他の表示枠の特徴データとが同種であるときに、前記他の表示枠の特徴データを前記一の表示枠の選択条件とすることを特徴とする、
請求項７記載の映像処理装置。
【請求項９】
前記選択条件生成手段は、前記一の表示枠の特徴データと前記他の表示枠の特徴データとが同じであるときに、前記他の表示枠の特徴データを前記一の表示枠の選択条件とすることを特徴とする、
請求項７記載の映像処理装置。
【請求項１０】
前記選択条件生成手段は、前記一の表示枠の特徴データと前記他の表示枠の特徴データとが異なるときに、前記他の表示枠の特徴データを前記一の表示枠の選択条件とすることを特徴とする、
請求項７記載の映像処理装置。
【請求項１１】
前記特徴データ取得手段は、前記素材映像に付加されるメタデータ、前記素材映像の顔認識の結果、及び前記素材映像のシーン検出の結果の少なくとも一つを前記特徴データとして取得することを特徴とする、
請求項１〜１０のいずれか１項記載の映像処理装置。
【請求項１２】
素材映像を組み合わせて構成されるコンテンツを記録する記録手段を備えた情報処理装置により実行される方法であって、
前記記録手段から前記コンテンツを取得して、当該コンテンツから、前記素材映像が表示される表示枠を解析し、前記表示枠に関する表示枠データを取得するステップと、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得するステップと、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成するステップと、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するステップと、を含むことを特徴とする、
テンプレート生成方法。
【請求項１３】
素材映像を組み合わせて構成されるコンテンツを記録する記録手段を備えたコンピュータを、
前記記録手段から前記コンテンツを取得して、当該コンテンツから、前記素材映像が表示される表示枠を解析し、前記表示枠に関する表示枠データを取得する表示枠解析手段、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段、
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、素材映像を組み合わせて生成されるコンテンツから、素材映像の選択条件や表示位置等の情報を含むテンプレートを生成する映像処理装置に関する。
【背景技術】
【０００２】
高性能なパーソナルコンピュータの普及により、静止画や動画等の映像素材を編集してアルバムや映像等のコンテンツを作成することが容易になっている。しかし映像編集に不慣れなユーザにとって、素材映像からのシーンの選択、シーンの構成、エフェクトやトランジションの指定等の作業は困難である。
【０００３】
そのために、素材映像を自動的に編集してコンテンツを作成するツールが開発されている。このツールは、例えば、編集対象となる素材映像及びユーザが指定するテンプレートに基づいてコンテンツを生成する。例えば特許文献１は、使用可能な素材映像の条件、順序、及び付与するエフェクト・トランジションの情報を含むテンプレートを用いたツールを開示する。素材映像のメタデータがテンプレートに含まれる使用可能な素材映像の条件に一致する場合に、当該素材映像を用いたコンテンツが作成される。このツールの使い勝手を向上するには、テンプレートの充実が必要不可欠である。
【０００４】
特許文献２は、原稿台上に配置した複数の画像を一度に読み取り、そのときの配置に類似した配置のレイアウトデータ（テンプレート）を選択して、コンテンツを生成する画像処理装置を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０５５１５２号公報
【特許文献２】特開２０１１−４０９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１、２は、既に作成されているテンプレートを用いたコンテンツの作成についての技術を開示するが、テンプレートの作成については触れられていない。テンプレートは、手動で作成される他に、既存のアルバム等のコンテンツに含まれる素材映像の表示位置やメタデータを、コンテンツ作成のための素材映像の選択条件にして作成される。手動でテンプレートを作成する場合、コンテンツ内で素材映像を表示する表示枠の位置や大きさ、素材映像の選択条件を表示枠毎に設定する必要があり、煩雑で手間のかかる作業となる。既存のコンテンツを用いてテンプレートを作成する場合、メタデータがそのまま素材映像の選択条件に用いられる。この場合、メタデータの種類が少なければ必要な選択条件が設定されないことがある。逆に、メタデータの種類が多ければ、考慮する必要の無い選択条件が設定されてしまうことがある。そのために、テンプレートの基になる既存のコンテンツに応じて最適なテンプレートが作成されない場合がある。
【０００７】
本発明は、上記の問題を解決するために、コンテンツ作成のための最適なテンプレートを既存のコンテンツから作成する映像処理装置を提供することを主たる課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決する本発明の映像処理装置は、素材映像を組み合わせて構成されるコンテンツから、前記素材映像が表示される表示枠を解析して、前記表示枠に関する表示枠データを取得する表示枠解析手段と、前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段と、一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段と、前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、選択条件を一の表示枠の特徴データと他の表示枠の特徴データとに基づいて生成するために、コンテンツ作成に最適なテンプレートを容易に生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】映像処理装置の構成図。
【図２】コンテンツの例示図。
【図３】テンプレートの例示図。
【図４】映像処理装置によりテンプレートを作成するための機能ブロック図。
【図５】表示枠データテーブルの例示図。
【図６】特徴データテーブルの例示図。
【図７】（ａ）はスコアテーブルの例示図、（ｂ）は関連スコアテーブルの例示図。
【図８】テンプレート生成処理を表すフローチャート。
【図９】関連スコアの算出処理を表すフローチャート。
【図１０】選択表示枠の選択処理を表すフローチャート。
【図１１】選択条件の生成処理を表すフローチャート。
【図１２】選択条件の生成処理を表すフローチャート。
【図１３】動画のコンテンツの例示図。
【図１４】テンプレートの例示図。
【図１５】表示枠データテーブルの例示図。
【図１６】特徴データテーブルの例示図。
【図１７】関連スコアの算出処理を表すフローチャート。
【図１８】選択条件の生成処理を表すフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１２】
［第１実施形態］
図１は、本実施形態の映像処理装置の構成図である。映像処理装置は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、及びＲＡＭ（Random
Access Memory）１０３により各種の処理を実行する。映像処理装置は、この他に、記録媒体１０４、入力部１０５、及び出力部１０６を備える。
【００１３】
ＣＰＵ１０１は、ＲＯＭ１０２が記憶する所定のコンピュータプログラムを読み込み、ＲＡＭ１０３を作業領域に用いて実行することで、各種の処理を実行する。記録媒体１０４は、コンテンツ、素材映像、テンプレート等を記録する。記録媒体１０４は、ハードディスク、メモリカード、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）フラッシュドライブ等の補助記憶装置により実現される。入力部１０５は、キーボード、マウス、タッチパッド等の入力デバイスである。出力部１０６は、ＬＣＤ（Liquid
Crystal Display）等で構成され、画像や文字等の表示を行う表示装置である。入力部１０５と出力部１０６とを一体に構成して、タッチパネルを実現してもよい。
【００１４】
このような映像処理装置は、パーソナルコンピュータ、カメラ、複写機、ファクシミリ装置、ＭＦＰ（Multifunction Peripheral）等の情報処理装置により実現される。また映像処理装置は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムで実現されてもよい。
【００１５】
映像処理装置は、コンテンツの作成及びコンテンツ作成に用いられるテンプレートの作成に用いられる。テンプレートは、既存のコンテンツに基づいて作成される。図２は、コンテンツの例示図である。このコンテンツは、アルバムの１ページを矩形領域２０１により表している。矩形領域２０１は、５つの矩形領域で表される表示枠２０２〜２０６を含む。各表示枠２０２〜２０６は、識別情報として表示枠ＩＤが割り振られる。
【００１６】
表示枠２０２〜２０６には、各々に素材映像が表示される。表示枠２０２には、「Ａ」〜「Ｄ」で表される人物の映像が表示される。表示枠２０３には、「Ａ」で表される人物の映像が表示される。表示枠２０４には、「Ｂ」で表される人物の映像が表示される。表示枠２０５には、「Ｃ」で表される人物の映像が表示される。表示枠２０６には、「Ｄ」で表される人物の映像が表示される。
【００１７】
本実施形態では、図２のコンテンツに基づいてテンプレートを作成する例について説明する。図３は、図２のコンテンツに基づいて映像処理装置により作成されるテンプレートの例示図である。
【００１８】
表示枠ＩＤ３０１は、図２の各表示枠２０２〜２０６に対応する。表示枠ＩＤ３０１の「ＩＤ０」は、表示枠２０２を表す。表示枠ＩＤ３０１の「ＩＤ１」は、表示枠２０３を表す。表示枠ＩＤ３０１の「ＩＤ２」は、表示枠２０４を表す。表示枠ＩＤ３０１の「ＩＤ３」は、表示枠２０５を表す。表示枠ＩＤ３０１の「ＩＤ４」は、表示枠２０６を表す。表示位置３０２は、表示枠ＩＤ３０１の対応する表示枠２０２〜２０６の矩形領域２０１内（コンテンツ内）の位置をｘｙ座標系により表す。表示サイズ３０３は、表示枠ＩＤ３０１の対応する表示枠２０２〜２０６の矩形領域２０１内の大きさを表す。
【００１９】
選択条件３０４は、表示枠２０２〜２０６の各々に表示可能な素材映像を選択するための条件を表す。選択条件３０４は、表示可能な素材映像の特徴を表す特徴データに応じて設定される。特徴データの詳細については後述する。図３の例では、表示枠２０２は、「Ａ」〜「Ｄ」の人物が映ることが素材映像を選択するための条件となる。表示枠２０３は、「Ａ」の人物が映ることが素材映像を選択するための条件となる。表示枠２０４は、「Ｂ」の人物が映ることが素材映像を選択するための条件となる。表示枠２０５は、「Ｃ」の人物が映ることが素材映像を選択するための条件となる。表示枠２０６は、「Ｄ」の人物が映ることが素材映像を選択するための条件となる。
【００２０】
図４は、映像処理装置によりコンテンツからテンプレートを作成するための機能ブロック図である。各機能ブロックは、ＣＰＵ１０１がＲＯＭ１０２からコンピュータプログラムを読み出して実行することで実現されるが、ハードウェアとして構成されてもよい。
【００２１】
映像処理装置は、記録部４０１、表示枠解析部４０２、特徴データ取得部４０３、関連スコア算出部４０４、表示枠選択部４０５、選択条件生成部４０６、及びテンプレート生成部４０７を備える。記録部４０１は、ＣＰＵ１０１及び記録媒体１０４の協働により実現される。表示枠解析部４０２、特徴データ取得部４０３、関連スコア算出部４０４、表示枠選択部４０５、選択条件生成部４０６、及びテンプレート生成部４０７は、ＣＰＵ１０１により実現される。
【００２２】
記録部４０１は、コンテンツ４０８及びテンプレート４０９を記録する。コンテンツ４０８は、テンプレート４０９の作成に用いられるものの他に、新たに作成されたものも含まれる。テンプレート４０９は、コンテンツ４０８に基づいて生成され、新たなコンテンツの生成に用いられる。
【００２３】
表示枠解析部４０２は、コンテンツ４０８を解析して表示枠の位置及び大きさ等の情報を含む表示枠データを取得する。コンテンツ４０８がアルバムの場合、表示枠解析部４０２は、例えばハフ変換を用いて検出した矩形領域を表示枠として、位置及び大きさを取得する。表示枠解析部４０２は、表示枠の領域をユーザによる入力部１０５からの入力により受け付けて、位置及び大きさを取得してもよい。表示枠解析部４０２は、例えば図２のコンテンツから表示枠２０２〜２０６の各々の位置及び大きさを取得して表示枠データテーブルを作成し、ＲＡＭ１０３に記憶する。
【００２４】
図５は、図２のコンテンツに基づいて作成された表示枠データテーブルの例示図である。表示枠データテーブルは、表示枠ＩＤ５０１に対応して、表示枠２０２〜２０６毎の位置（Ｘ座標５０２、Ｙ座標５０３）、大きさ（幅５０４、高さ５０５）が書き込まれる。図５の例では、矩形領域２０１の左上の頂点を原点として、各表示枠２０２〜２０６の位置がｘｙ座標で表される。各表示枠２０２〜２０６の位置は、表示枠の左上の頂点の位置で表される。なお、位置は、表示枠２０２〜２０６の４つの頂点や中心点で表されてもよい。
【００２５】
特徴データ取得部４０３は、各表示枠２０２〜２０６に表示される素材映像の特徴を表す特徴データを取得する。特徴データは、例えば素材映像に付加されるメタデータや、既知の顔認識やシーン検出による結果の少なくとも一つである。特徴データ取得部４０３は、例えば図２のコンテンツから表示枠２０２〜２０６の各々に表示される素材映像の特徴データを取得して特徴データテーブルを作成し、ＲＡＭ１０３に記憶する。
【００２６】
図６は、図２のコンテンツに基づいて作成された特徴データテーブルの例示図である。特徴データテーブルは、表示枠２０２〜２０６毎に、特徴データが、対応する表示枠ＩＤ７０１の特徴データ種別７０２毎の値７０３として分けて記憶する。図６の例では、特徴データ種別７０２は、顔認識の結果や素材映像のショットサイズ、撮影日時等である。顔認識の結果は、値７０３に、認識した人物の画像や特徴点として書き込まれる。ショットサイズは、例えば顔の領域が素材映像に占める割合により決められる。ショットサイズには、例えばクローズアップ、ミドルショット、ロングショットがある。
【００２７】
関連スコア算出部４０４は、すべての表示枠２０２〜２０６について、一の表示枠と他の表示枠との関連度合いを表す関連スコアを算出する。図７（ａ）は、関連スコアの算出に用いられる特徴データ間の関係と関連スコアとを対応づけたスコアテーブルの例示図、図７（ｂ）は、表示枠２０２〜２０６毎の関連スコアを表す関連スコアテーブルの例示図である。スコアテーブル及び関連スコアテーブルは、ＲＡＭ１０３に記憶される。関連スコア算出部４０４は、一の表示枠の特徴データ（特徴データＡ）と他の表示枠の特徴データ（特徴データＢ）とに応じた関連スコアをスコアテーブルから読み出す。関連スコア算出部４０４は、読み出した関連スコアの合計を、関連スコアテーブルに、当該一の表示枠に対応する表示枠ＩＤ１００５の関連スコア１００６として記憶する。図７（ａ）のスコアテーブルでは、特徴データＡ１００２と特徴データＢ１００３とが同値のものを関連のあるものとしているが、これに限るものではない。例えば、大きく値が異なるものを関連があるとしてもよい。この場合、後述の選択表示枠に選ばれる画像とその他の画像にメリハリがつく。また、同種の特徴データのものを関連があるとしてもよい。
【００２８】
表示枠選択部４０５は、関連スコアテーブルに基づいて、少なくとも一つの表示枠を選択表示枠として選択する。選択条件生成部４０６は、表示枠選択部４０５で選択された選択表示枠と特徴データ取得部４０３で作成された特徴データテーブルとから、表示枠２０２〜２０６毎に、表示可能な素材映像を選択するための選択条件を生成する。テンプレート生成部４０７は、表示枠解析部４０２で作成された表示枠データテーブルと選択条件生成部で生成された選択条件とに基づいてテンプレート４０９を生成して、記録部４０１に書き込む。テンプレート４０９には、この他に、選択表示枠に関する情報を含めてもよい。選択表示枠に関する情報を含む場合、例えばユーザの強調表示したい素材映像を選択することで、容易に選択された素材映像を強調するテンプレートを選ぶことが可能になる。ユーザは、テンプレート４０９を用いることで、容易にコンテンツを作成することが可能となる。
【００２９】
図８は、このような構成の映像処理装置によるテンプレート生成処理を表すフローチャートである。
【００３０】
ＣＰＵ１０１は、所定のアプリケーションの起動、あるいはユーザ操作に応じてテンプレート生成処理を開始すると、記録部４０１からコンテンツ４０８を取得する（Ｓ８０１）。表示枠解析部４０２は、取得したコンテンツを解析して、表示枠データテーブルを生成する（Ｓ８０２）。特徴データ取得部４０３は、取得したコンテンツから、各表示枠に表示される素材映像の特徴データを取得して、特徴データテーブルを生成する（Ｓ８０３）。
【００３１】
関連スコア算出部４０４は、コンテンツに含まれるすべての表示枠について、特徴データテーブル及びスコアテーブルにより関連スコアを算出する（Ｓ８０４）。関連スコア算出部４０４は、算出した関連スコアにより関連スコアテーブルを生成する。表示枠選択部４０５は、関連スコア算出部４０４で生成された関連スコアテーブルに基づいて、選択表示枠を選択する（Ｓ８０５）。選択条件生成部４０６は、選択表示枠の特徴データと他の表示枠の特徴データとの関連に基づいて、選択条件を生成する（Ｓ８０６）。テンプレート生成部４０７は、表示枠データテーブル及び生成された選択条件により、テンプレートを生成して記録部４０１に記録する（Ｓ８０７）。以上の処理により、テンプレートが生成される。
【００３２】
図９は、ステップＳ８０４の関連スコアの算出処理を表すフローチャートである。関連スコアの算出に際し、ＣＰＵ１０１は、変数Ｍ、Ｎ（Ｍ、Ｎは整数）を設定する。変数Ｍ、Ｎは、コンテンツ内の表示枠を指定するための値である。関連スコア算出部４０４は、変数Ｍで指定される表示枠の特徴データと変数（Ｍ＋Ｎ）で指定される表示枠の特徴データとから、各表示枠の関連スコアを算出する。
【００３３】
関連スコア算出部４０４は、変数Ｍを「０」に設定する（Ｓ９０１）。関連スコア算出部４０４は、変数Ｍに応じた表示枠ＩＤ７０１の特徴データを特徴データテーブル（図６参照）から取得する（Ｓ９０２）。ここで取得した特徴データが図７（ａ）の「特徴データＡ１００２」となる。関連スコア算出部４０４は、変数Ｎを「１」に設定する（Ｓ９０３）。関連スコア算出部４０４は、変数（Ｍ＋Ｎ）に応じた表示枠ＩＤ７０１の特徴データを特徴データテーブル（図６参照）から取得する（Ｓ９０４）。ここで取得した特徴データが図７（ａ）の「特徴データＢ１００３」となる。
【００３４】
関連スコア算出部４０４は、スコアテーブル（図７（ａ）参照）に基づいて、ステップＳ９０２、Ｓ９０４で取得した特徴データにより関連スコアを導出する。関連スコア算出部４０４は、導出した関連スコアを、図７（ｂ）の関連スコアテーブルの変数Ｍに応じた表示枠ＩＤ１００５の関連スコア１００６及び変数（Ｍ＋Ｎ）に応じた表示枠ＩＤ１００５の関連スコア１００６に加算する（Ｓ９０５）。
【００３５】
関連スコア算出部４０４は、関連スコアの算出後に、変数Ｎに「１」加算して（Ｓ９０６）、変数Ｍと変数Ｎの和がコンテンツに含まれる表示枠の数より大きいか否かを判断する（Ｓ９０７）。変数Ｍと変数Ｎの和が表示枠の数以下の場合（Ｓ９０７：N）、関連スコア算出部４０４は、ステップＳ９０４〜Ｓ９０７の処理を繰り返し行う。ステップＳ９０４〜Ｓ９０７の処理を繰り返すことで、変数Ｍに応じた表示枠の、他のすべての表示枠に対する関連スコアの合計が算出される。
【００３６】
変数Ｍと変数Ｎの和が表示枠の数より大きい場合（Ｓ９０７：Y）、関連スコア算出部４０４は、変数Ｍに「１」加算して（Ｓ９０８）、変数Ｍがコンテンツに含まれる表示枠の数以上か否かを判断する（Ｓ９０９）。変数Ｍが表示枠の数未満の場合（Ｓ９０９：N）、関連スコア算出部４０４は、ステップＳ９０２〜Ｓ９０９の処理を繰り返し行う。変数Ｍが表示枠の数以上の場合（Ｓ９０９：Y）、関連スコア算出部４０４は、関連スコアの算出処理を終了する。
【００３７】
なお、ステップＳ９０５の関連スコアの算出時に、他のすべての表示枠を対象とせず、近傍の表示枠のみを対象にして関連スコアを算出してもよい。また、予め定められたスコアテーブルに基づいて関連スコアを算出する他に、例えば、一の表示枠と他の表示枠との距離を算出し、その距離に応じて、関連スコアを決定してもよい。また、近傍の表示枠の数に応じて、関連スコアを決定してもよい。関連スコアは、スコアテーブルに設定された値をそのまま用いる他に、表示枠の大きさや位置に応じて値を変更して、関連スコアとしてもよい。
【００３８】
図１０は、ステップＳ８０５の選択表示枠の選択処理を表すフローチャートである。本実施形態では、表示枠選択部４０５は、関連スコアが最も高い表示枠を選択表示枠に選択する。選択表示枠の選択に際し、ＣＰＵ１０１は、変数Ｍ、ｔｍｐ、ｉｄ（Ｍ、ｔｍｐ、ｉｄは整数）を設定する。変数Ｍは、コンテンツ内の表示枠を指定するための値である。ｔｍｐは、その時点における関連スコアの最高値を表す。ｉｄは、その時点における関連スコアの最高値が設定されている表示枠の表示枠ＩＤを表す。
【００３９】
表示枠選択部４０５は、変数Ｍ、ｔｍｐ、ｉｄに「０」を設定する（Ｓ１１０１）。表示枠選択部４０５は、関連スコアテーブルから、変数Ｍに応じた表示枠ＩＤ１１０５の関連スコアを関連スコアテーブル（図７（ｂ）参照）から取得する（Ｓ１１０２）。
【００４０】
表示枠選択部４０５は、変数ｔｍｐが、取得した関連スコア以上であるか否かを判断する（Ｓ１１０３）。変数ｔｍｐが関連スコア以上の場合（Ｓ１１０３：Y）、表示枠選択部４０５は、変数Ｍに「１」加算する（Ｓ１１０５）。変数ｔｍｐが関連スコアより小さい場合（Ｓ１１０３：N）、表示枠選択部４０５は、変数ｔｍｐにステップＳ１１０２で取得した関連スコアを設定し、変数ｉｄに変数Ｍを設定した後に（Ｓ１１０４）、変数Ｍに「１」加算する（Ｓ１１０５）。
【００４１】
変数Ｍを更新した後に表示枠選択部４０５は、変数Ｍがコンテンツに含まれる表示枠の数より大きいか否かを判断する（Ｓ１１０６）。変数Ｍが表示枠の数以下の場合（Ｓ１１０６：N）、表示枠選択部４０５は、ステップＳ１１０２〜Ｓ１１０６の処理を繰り返し行う。変数Ｍが表示枠の数より大きい場合（Ｓ１１０６：Y）、表示枠選択部４０５は、変数ｉｄに応じた表示枠ＩＤ１１０５に対応する表示枠を選択表示枠に決定する（Ｓ１１０７）。
【００４２】
以上により、選択表示枠の選択処理が終了する。なお、選択表示枠は、関連スコアが最大値になる表示枠の他に、例えば、関連スコアが予め定められた閾値以上であれば、複数の表示枠を選択表示枠として選択してもよい。
【００４３】
図１１は、ステップＳ８０６の選択条件の生成処理を表すフローチャートである。選択条件生成に際し、ＣＰＵ１０１は、変数Ｍ（Ｍは整数）を設定する。変数Ｍは、コンテンツ内の表示枠を指定するための値である。選択条件生成部４０６は、表示枠毎の選択条件を生成する。
【００４４】
選択条件生成部４０６は、特徴データテーブル（図６）から、ステップＳ８０５で選択した選択表示枠の特徴データを取得する（Ｓ１２０１）。選択条件生成部４０６は、変数Ｍに「０」を設定する（Ｓ１２０２）。選択条件生成部４０６は、変数Ｍに応じた表示枠ＩＤ７０１の表示枠が選択表示枠であるか否かを判断する（Ｓ１２０３）。
【００４５】
選択表示枠ではない場合（Ｓ１２０３：N）、選択条件生成部４０６は、特徴データテーブルから、変数Ｍに応じた表示枠ＩＤ７０１の特徴データを取得する（Ｓ１２０４）。選択条件生成部４０６は、スコアテーブル（図７参照）に基づいて、取得した特徴データと選択表示枠の特徴データとに関連があるか否かを判断する（Ｓ１２０５）。この場合、単に関連スコア１００４が設定されているか否か以外に、関連スコア１００４が予め定められた閾値以上であるか否かを条件に含めてもよい。関連がある場合（Ｓ１２０５：Y）、選択条件生成部４０６は、関連のある特徴データを、選択表示枠及び変数Ｍに応じた表示枠ＩＤ７０１の表示枠の各々の選択条件に追加する（Ｓ１２０６）。
【００４６】
変数Ｍに応じた表示枠ＩＤ７０１の表示枠が選択表示枠である場合（Ｓ１２０３：Y）、特徴データに関連がない場合（Ｓ１２０５：N）、或いは選択条件の追加後に、選択条件生成部４０６は、変数Ｍに「１」加算する（Ｓ１２０７）。変数Ｍを更新した後に選択条件生成部４０６は、変数Ｍがコンテンツに含まれる表示枠の数より大きいか否かを判断する（Ｓ１２０８）。変数Ｍが表示枠の数以下の場合（Ｓ１２０８：N）、表示枠選択部４０５は、ステップＳ１２０３〜Ｓ１２０８の処理を繰り返し行う。変数Ｍが表示枠の数より大きい場合（Ｓ１２０８：Y）、選択条件生成部４０６は、選択条件の生成処理を終了する。
【００４７】
なお、ステップＳ１２０５において特徴データに関連がない場合に、選択条件生成部４０６は、例えば、選択表示枠の特徴データが含まれないということを選択条件に追加してもよい。
【００４８】
テンプレート生成部４０７は、以上のようにして生成された選択条件と図５の表示枠データテーブルとから、図３のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツ（図２参照）と同様の構成のコンテンツを作成可能になる。
【００４９】
［第２実施形態］
第２実施形態では、選択条件の生成処理が第１実施形態とは異なる。映像処理装置の構成及び選択条件の生成処理以外の処理は、第１実施形態と同様であるので、ここでは説明を省略する。
図１２は、第２実施形態の選択条件の生成処理を表すフローチャートである。図１１に示す第１実施形態の選択条件の生成処理と同じ処理には、同じステップ番号が割り振られている。同じ処理については説明を省略する。
【００５０】
特徴データテーブルから変数Ｍに応じた表示枠ＩＤ７０１の特徴データを取得した選択条件生成部４０６は、取得した特徴データと選択表示枠の特徴データとが同じ特徴データ種別７０２を保持しているか否かを判断する（Ｓ１３０１）。同じ特徴データ種別７０２を保持している場合（Ｓ１３０１：Y）、選択条件生成部４０６は、変数Ｍに応じた表示枠ＩＤ７０１の特徴データの同種と判断された値７０３を選択表示枠の同種の特徴データの値７０３から見た相対値に変換する。選択条件生成部４０６は、変換した値を変数Ｍに応じた表示枠ＩＤ７０１の表示枠の選択条件に追加する（Ｓ１３０２）。例えば、ショットサイズが選択表示枠のショットサイズより大きい等である。
選択条件生成部４０６は、選択表示枠の選択条件に、同種と判断された特徴データが含まれることを追加する（Ｓ１３０３）。なお、ステップＳ１３０１で同種の特徴データ種別７０２を保持していない場合（Ｓ１３０１：N）、又は選択条件の追加後に、選択条件生成部４０６は、変数Ｍに「１」加算する（Ｓ１２０７）。
【００５１】
以上のように生成された選択条件を用いて、テンプレート生成部４０７は、図３のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツと同様の構成のコンテンツを作成可能になる。
【００５２】
［第３実施形態］
第３実施形態では、映像処理装置が、動画のコンテンツに基づくテンプレートを作成する。図１３は、第３実施形態のテンプレートの基となる動画のコンテンツの例示図である。この動画のコンテンツは、表示枠としてシーン１４０１〜１４０４を含む。シーン１４０１は「Ａ」〜「Ｃ」で表される人物のグループの映像が表示される。シーン１４０２は「Ａ」で表される人物の映像が表示される。シーン１４０３は「Ｂ」で表される人物の映像が表示される。シーン１４０４は「Ｃ」で表される人物の映像が表示される。各シーン１４０１〜１４０４は、それぞれ所定の時間長の動画である。
【００５３】
第３実施形態の映像処理装置の構成は、第１、第２実施形態と同様であるが、機能に若干の相違がある。表示枠解析部４０２は、コンテンツ中のシーン１４０１〜１４０４の解析を行い、各シーン１４０１〜１４０４の開始時刻、再生時間等を表示枠データとして取得する。特徴データ取得部４０３は、シーン１４０１〜１４０４毎に特徴データを取得する。取得する特徴データは、第１、第２実施形態と同様である。関連スコア算出部４０４は、すべてのシーン１４０１〜１４０４について、一つのシーンと他のシーンとの関連度合いを表す関連スコアを算出する。表示枠選択部４０５はコンテンツ中からシーンを選択する。
【００５４】
図１４は、図１３のコンテンツに基づいて作成されるテンプレートの例示図である。シーンＩＤ１５０１は、図１３の各シーン１４０１〜１４０４を識別するための識別情報である。シーンＩＤ１５０１の「ＩＤ０」は、シーン１４０１に対応する。シーンＩＤ１５０１の「ＩＤ１」は、シーン１４０２に対応する。シーンＩＤ１５０１の「ＩＤ２」は、シーン１４０３に対応する。シーンＩＤ１５０１の「ＩＤ３」は、シーン１４０４に対応する。開始時刻１５０２は、対応するシーンの開始時刻（前のシーンの終了時刻）を表す。選択条件１５０３は、シーン１４０１〜１４０４の各々に表示可能な素材映像を選択するための条件を表す。
【００５５】
選択条件１５０３は、各シーン１４０１〜１４０４の特徴データに応じて設定される。本実施形態では、シーン１４０１〜１４０４の選択条件１５０３は、映像に含まれる人物が設定される。図１４の例では、シーン１４０１は、「Ａ」〜「Ｃ」の人物が映ることが素材映像を選択するための条件となる。シーン１４０２は、「Ａ」の人物が映ることが素材映像を選択するための条件となる。シーン１４０３は、「Ｂ」の人物が映ることが素材映像を選択するための条件となる。シーン１４０４は、「Ｃ」の人物が映ることが素材映像を選択するための条件となる。
【００５６】
図１５は、表示枠解析部４０２により図１３のコンテンツに基づいて作成された表示枠データテーブルの例示図である。表示枠データテーブルは、シーンＩＤ６０１に対応して、シーン１４０１〜１４０４毎の開始時刻６０２及び再生時間６０３が書き込まれる。表示枠データテーブルに書き込まれる項目は、再生時間６０３の代わりに終了時刻であってもよい。シーンの検出は、例えば動画のフレーム間の類似度により映像が切り替わるシーンを検出する方法のように、公知の検出方法により行うことができる。
【００５７】
図１６は、図１３のコンテンツに基づいて作成された特徴データテーブルの例示図である。特徴データテーブルは、シーン１４０１〜１４０４毎に、特徴データが、対応するシーンＩＤ１６０１の特徴データ種別１６０２毎の値１６０３、各値１６０３の開始時刻１６０４及び終了時刻１６０５として書き込まれる。図１６の例では、特徴データ種別１６０２は、顔認識の結果や素材映像のショットサイズ、撮影日時等である。顔認識の結果は、値１６０３に、認識した人物の画像や特徴点として書き込まれる。ショットサイズは、例えば顔の領域が素材映像に占める割合により決められる。ショットサイズには、例えばクローズアップ、ミドルショット、ロングショットがある。
【００５８】
終了時刻１６０５は、表示枠データテーブルの開始時刻６０２及び再生時間６０３から算出される。なお、特徴データ取得部４０３は、開始時刻１６０４及び終了時刻１６０５で区切られる検出区間（再生時間）と対応づけられる他に、例えば予め定められた時間以上の検出区間の特徴データのみを取得の対象としてもよい。
【００５９】
第３実施形態においてもテンプレートの生成は、第１実施形態の図８の手順で行われる。第３実施形態は、第１実施形態とは、ステップＳ８０４の関連スコアの算出処理及びステップＳ８０６の選択条件の生成処理が異なる。ここでは、異なる処理について説明し、同様の処理についての説明は省略する。
【００６０】
図１７は、図８のステップＳ８０４の関連スコアの算出処理を表すフローチャートである。
【００６１】
関連スコア算出部４０４は、変数Ｍに応じたシーンＩＤ１６０１の特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを特徴データテーブル（図１６参照）から取得する（Ｓ１７０１）。ここで取得した特徴データが図７（ａ）の「特徴データＡ１００２」となる。
また、関連スコア算出部４０４は、変数（Ｍ＋Ｎ）に応じたシーンＩＤ１６０１の特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを特徴データテーブル（図１６参照）から取得する（Ｓ１７０２）。ここで取得した特徴データが図７（ａ）の「特徴データＢ１００３」となる。
【００６２】
関連スコア算出部４０４は、取得した特徴データＡ及び特徴データＢにより、スコアテーブル（図７（ａ）参照）に基づいて関連スコアを導出する。関連スコア算出部４０４は、導出した関連スコアを、関連スコアテーブルの変数Ｍに応じたシーンＩＤの関連スコア及び変数（Ｍ＋Ｎ）に応じたシーンＩＤの関連スコアに加算する（Ｓ９０５）。
【００６３】
関連スコア算出部４０４は、すべてのシーンに対して、以上のような処理を行い、関連スコアを算出する。なお、関連スコア算出部４０４は、検出区間の条件を設けずに、すべての特徴データを取得するようにしてもよい。
【００６４】
図１８は、図８のステップＳ８０６の選択条件の生成処理を表すフローチャートである。なお、第３実施形態では、図８のステップＳ８０５において、表示枠に代えてシーンを選択する。選択されたシーンは、選択シーンとなる。
【００６５】
選択条件生成部４０６は、選択シーンの特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを取得する（Ｓ１８０１）。また、選択条件生成部４０６は、特徴データテーブルから、変数Ｍに応じたシーンＩＤのシーンの特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを取得する（Ｓ１８０２）。選択条件生成部４０６は、取得した特徴データにより、関連のある特徴データを選択条件に追加する。選択条件生成部４０６は、すべてのシーンに対して以上のような処理を行い、選択条件を生成する。
【００６６】
なお、選択条件生成部４０６は、検出区間の条件を設けずに、すべての特徴データを取得するようにしてもよい。また、選択条件生成部４０６は、ステップＳ１２０６において特徴データのみを選択条件に追加しているが、この他に、例えば、検出区間となる時間も選択条件として加えてもよい。
【００６７】
テンプレート生成部４０７は、以上のようにして生成された選択条件と図１５の表示枠データテーブルとから、図１４のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツ（図１３参照）と同様の構成のコンテンツを作成可能になる。
【００６８】
以上の各実施形態では、人物認識の特徴データを例に説明したが、これに限るものではない。
【００６９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７０】
１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…記録媒体、１０５…入力部、１０６…出力部、４０１…記録部、４０２…表示枠解析部、４０３…特徴データ取得部、４０４…関連スコア算出部、４０５…表示枠選択部、４０６…選択条件生成部、４０７…テンプレート生成部
【図１】
2016099651.tif 000003
【図２】
2016099651.tif 000004
【図３】
2016099651.tif 000005
【図４】
2016099651.tif 000006
【図５】
2016099651.tif 000007
【図６】
2016099651.tif 000008
【図７】
2016099651.tif 000009
【図８】
2016099651.tif 000010
【図９】
2016099651.tif 000011
【図１０】
2016099651.tif 000012
【図１１】
2016099651.tif 000013
【図１２】
2016099651.tif 000014
【図１３】
2016099651.tif 000015
【図１４】
2016099651.tif 000016
【図１５】
2016099651.tif 000017
【図１６】
2016099651.tif 000018
【図１７】
2016099651.tif 000019
【図１８】
2016099651.tif 000020