(57)【要約】【課題】動画像から抽出された文字情報のみを用いる場合と比較して、全体として調和のとれたシーンとテンプレートとの組み合わせを提供する。【解決手段】テンプレート格納部１６には、テンプレート毎に、テンプレートと当該テンプレートのテイスト（印象）を示すテンプレートテイスト情報とが対応付けて記憶されている。シーン抽出部１８は動画像からシーンを抽出し、動画分析部２０は、抽出されたシーンのテイストを判定し、そのテイストを示すシーンテイスト情報を生成する。テンプレート選択部２４は、テンプレートテイスト情報とシーンテイスト情報を用いて、テンプレート格納部１６に記憶されているテンプレート群の中から、シーンと調和するテンプレートを選択する。【選択図】図２
2017045374.tif 000002
【特許請求の範囲】
【請求項１】
テンプレート毎に、テンプレートと当該テンプレートの印象を示す第１印象類似度とを対応付けて記憶する記憶手段と、
動画像からシーンを抽出するシーン抽出手段と、
抽出された前記シーンの印象を判定する判定手段と、
前記シーンの印象を示す第２印象類似度と前記第１印象類似度を用いて、互いに調和する前記シーンとテンプレートとの組み合わせを提供する提供手段と、
を有する情報処理装置。
【請求項２】
前記判定手段は、前記シーンの色調、前記シーンに用いられている映像エフェクトの種別、前記シーンに付帯する音声データ、及び、前記シーンに付帯する音楽データ、の中の少なくとも１つに基づいて、前記シーンの印象を判定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記提供手段は、前記第１印象類似度と前記第２印象類似度を用いて、前記シーンと調和するテンプレートを提供する、
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記シーン抽出手段は、前記第１印象類似度と前記第２印象類似度を用いて、指定されたテンプレートと調和するシーンを前記動画像から抽出する、
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項５】
前記シーンと調和するテンプレートに、前記シーンから抽出された静止画像又は前記シーンを合成する第１合成手段を更に有する、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項６】
テンプレートは、画像が表示される画像表示領域を有し、
前記第１合成手段は、前記シーンと調和するテンプレートであって、前記シーンから抽出された静止画像の数と同じ数の画像表示領域を有するテンプレートに、抽出された複数の静止画像を合成する、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記シーンと調和するテンプレートに、前記シーンと前記シーンから抽出された静止画像とをそれぞれ合成して複数種類の生成物を生成する生成手段を更に有する、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項８】
主体が表されている前記静止画像を前記シーンから抽出する静止画抽出手段を更に有する、
ことを特徴とする請求項５から請求項７のいずれか一項に記載の情報処理装置。
【請求項９】
前記シーンに付帯する音声データから文字情報を生成する文字情報生成手段と、
前記シーンと調和するテンプレートに、前記文字情報を合成する第２合成手段と、
を更に有する、
ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置。
【請求項１０】
テンプレート毎に、テンプレートと当該テンプレートの印象を示す第１印象類似度とを対応付けて記憶する記憶手段を有するコンピュータを、
動画像からシーンを抽出するシーン抽出手段、
抽出された前記シーンの印象を判定する判定手段、
前記シーンの印象を示す第２印象類似度と前記第１印象類似度を用いて、互いに調和する前記シーンとテンプレートとの組み合わせを提供する提供手段、
として機能させるプログラム。
【請求項１１】
前記シーンと調和するテンプレートに、前記シーンと前記シーンから抽出された静止画像とをそれぞれ合成して複数種類の生成物を生成する生成手段、
として更に機能させることを特徴とする請求項１０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
イラストや風景を表したテンプレートに画像が組み合わされる場合がある。例えば、撮影によって得られた画像がテンプレートに組み合わされて印刷される場合がある。また、チラシ、広告、ダイレクトメール（ＤＭ）、ポスター、はがき、カタログ、等のテンプレートが予め用意され、そのテンプレートに画像が組み合わされる場合がある。
【０００３】
特許文献１に記載の装置においては、動画像から静止画像が選択され、動画像からテキスト情報が抽出され、抽出されたテキスト情報に基づいて静止画像がレイアウトされる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１２０１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動画像とテンプレートとを組み合わせて編集物を作成したい場合であっても、従来においては、全体として調和のとれた編集物を作成する仕組みがなく、そのような編集物を作成することは困難であった。仮に、動画像から抽出された文字情報を用いる場合であっても、全体として調和のとれた編集物が作成されるとは限らない。
【０００６】
本発明の目的は、動画像から抽出された文字情報のみを用いる場合と比較して、全体として調和のとれたシーンとテンプレートとの組み合わせを提供することにある。
【課題を解決するための手段】
【０００７】
請求項１に係る発明は、テンプレート毎に、テンプレートと当該テンプレートの印象を示す第１印象類似度とを対応付けて記憶する記憶手段と、動画像からシーンを抽出するシーン抽出手段と、抽出された前記シーンの印象を判定する判定手段と、前記シーンの印象を示す第２印象類似度と前記第１印象類似度を用いて、互いに調和する前記シーンとテンプレートとの組み合わせを提供する提供手段と、を有する情報処理装置である。
【０００８】
請求項２に係る発明は、前記判定手段は、前記シーンの色調、前記シーンに用いられている映像エフェクトの種別、前記シーンに付帯する音声データ、及び、前記シーンに付帯する音楽データ、の中の少なくとも１つに基づいて、前記シーンの印象を判定する、ことを特徴とする請求項１に記載の情報処理装置である。
【０００９】
請求項３に係る発明は、前記提供手段は、前記第１印象類似度と前記第２印象類似度を用いて、前記シーンと調和するテンプレートを提供する、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
【００１０】
請求項４に係る発明は、前記シーン抽出手段は、前記第１印象類似度と前記第２印象類似度を用いて、指定されたテンプレートと調和するシーンを前記動画像から抽出する、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
【００１１】
請求項５に係る発明は、前記シーンと調和するテンプレートに、前記シーンから抽出された静止画像又は前記シーンを合成する第１合成手段を更に有する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置である。
【００１２】
請求項６に係る発明は、テンプレートは、画像が表示される画像表示領域を有し、前記第１合成手段は、前記シーンと調和するテンプレートであって、前記シーンから抽出された静止画像の数と同じ数の画像表示領域を有するテンプレートに、抽出された複数の静止画像を合成する、ことを特徴とする請求項５に記載の情報処理装置である。
【００１３】
請求項７に係る発明は、前記シーンと調和するテンプレートに、前記シーンと前記シーンから抽出された静止画像とをそれぞれ合成して複数種類の生成物を生成する生成手段を更に有する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置である。
【００１４】
請求項８に係る発明は、主体が表されている前記静止画像を前記シーンから抽出する静止画抽出手段を更に有する、ことを特徴とする請求項５から請求項７のいずれか一項に記載の情報処理装置である。
【００１５】
請求項９に係る発明は、前記シーンに付帯する音声データから文字情報を生成する文字情報生成手段と、前記シーンと調和するテンプレートに、前記文字情報を合成する第２合成手段と、を更に有する、ことを特徴とする請求項１から請求項８のいずれか一項に記載の情報処理装置である。
【００１６】
請求項１０に係る発明は、テンプレート毎に、テンプレートと当該テンプレートの印象を示す第１印象類似度とを対応付けて記憶する記憶手段を有するコンピュータを、動画像からシーンを抽出するシーン抽出手段、抽出された前記シーンの印象を判定する判定手段、前記シーンの印象を示す第２印象類似度と前記第１印象類似度を用いて、互いに調和する前記シーンとテンプレートとの組み合わせを提供する提供手段、として機能させるプログラムである。
【００１７】
請求項１１に係る発明は、前記シーンと調和するテンプレートに、前記シーンと前記シーンから抽出された静止画像とをそれぞれ合成して複数種類の生成物を生成する生成手段、として更に機能させることを特徴とする請求項１０に記載のプログラムである。
【発明の効果】
【００１８】
請求項１，１０に係る発明によると、動画像から抽出された文字情報のみを用いる場合と比較して、全体として調和のとれたシーンとテンプレートとの組み合わせが提供される。
【００１９】
請求項２に係る発明によると、動画像に特有の情報を用いて、全体として調和のとれたシーンとテンプレートとの組み合わせが提供される。
【００２０】
請求項３に係る発明によると、動画像から抽出された文字情報のみを用いる場合と比較して、シーンに適したテンプレートが提供される。
【００２１】
請求項４に係る発明によると、動画像から抽出された文字情報のみを用いる場合と比較して、指定されたテンプレートに適したシーンが提供される。
【００２２】
請求項５に係る発明によると、動画像から抽出された文字情報のみを用いる場合と比較して、テンプレートを用いて全体として調和のとれた編集物が作成され得る。
【００２３】
請求項６に係る発明によると、動画像から抽出された文字情報のみを用いる場合と比較して、動画像から抽出された静止画像の合成に適したテンプレートに静止画像が合成される。
【００２４】
請求項７，１１に係る発明によると、統一感のあるビデオ版の生成物と静止画版の生成物とが生成され、ユーザがマニュアルでそれらを生成する場合と比較して、ユーザの手間が軽減される。
【００２５】
請求項８に係る発明によると、テンプレートを用いて、主体が表された編集物が作成される。
【００２６】
請求項９に係る発明によると、ユーザが文字情報をテンプレートに入力する場合と比較して、ユーザの手間が軽減される。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係るテンプレート管理システムを示すブロック図である。
【図２】本実施形態に係るテンプレート管理装置を示すブロック図である。
【図３】動画分析部を示すブロック図である。
【図４】動画加工部を示すブロック図である。
【図５】端末装置を示すブロック図である。
【図６】テンプレートの一例を示す模式図である。
【図７】テイストマップの一例を示す図である。
【図８】カラーパレットが組み合わされたテイストマップの一例を示す図である。
【図９】本実施形態に係るテンプレート管理装置による処理の一例を示すフローチャートである。
【図１０】テイストマップの一例を示す図である。
【図１１】テイストマップの一例を示す図である。
【図１２】編集物の一例を示す図である。
【図１３】テンプレート選択画面の一例を示す図である。
【発明を実施するための形態】
【００２８】
図１には、本発明の実施形態に係る情報処理システムとしてのテンプレート管理システムの一例が示されている。テンプレート管理システムは、情報処理装置としてのテンプレート管理装置１０と端末装置１２とを含む。テンプレート管理装置１０と端末装置１２は、ネットワーク等の通信経路Ｎに接続されている。図１に示す例では、１つの端末装置１２が通信経路Ｎに接続されているが、複数の端末装置１２が通信経路Ｎに接続されていてもよい。
【００２９】
テンプレート管理装置１０は、編集物を作成するためのテンプレートを管理し、要求に応じて、テンプレートを提供する機能を備えている。編集物は、例えば、チラシ、広告、ダイレクトメール（ＤＭ）、ポスター、はがき、カタログ、その他の文書、その他の画像、等である。テンプレートは、その編集物を作成するための雛型のデータである。また、テンプレート管理装置１０は、他の装置との間でデータを送受信する機能を備えている。
【００３０】
端末装置１２は、ＰＣ（パーソナルコンピュータ）、タブレットＰＣ、スマートフォン、携帯電話等の装置であり、他の装置との間でデータを送受信する機能を備えている。端末装置１２は、例えば、テンプレートを利用して編集物を作成するときに使用される装置である。
【００３１】
本実施形態に係るテンプレート管理システムにおいては、テンプレートの編集時に、例えば、テンプレートのデータがテンプレート管理装置１０から端末装置１２に送信され、そのテンプレートが端末装置１２に表示される。端末装置１２を利用してユーザによって編集指示が与えられると、テンプレート管理装置１０又は端末装置１２において、その編集指示に従ってテンプレートが編集される。
【００３２】
なお、端末装置１２がテンプレート管理装置１０に組み込まれて、テンプレート管理装置１０と端末装置１２が物理的に一体化された装置であってもよい。
【００３３】
以下、テンプレート管理装置１０の構成について詳しく説明する。図２には、テンプレート管理装置１０の構成が示されている。
【００３４】
通信部１４は通信インターフェースであり、通信経路Ｎを介して、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。例えば、通信部１４によって、テンプレートのデータが端末装置１２に送信され、端末装置１２から送信された動画像データが受信される。
【００３５】
テンプレート格納部１６はハードディスク等の記憶装置であり、テンプレートのデータを記憶する。例えば、デザインの異なる複数種類のテンプレートが予め作成され、それら複数のテンプレートのデータがテンプレート格納部１６に予め記憶されている。各テンプレートのデータには、当該テンプレートを識別するためのテンプレート識別情報（例えば、テンプレートＩＤ、テンプレート名）と、テンプレートテイスト情報と、テンプレート感性キーワードと、サンプル情報と、が予め対応付けられている。
【００３６】
テンプレートは、例えば、背景領域と、画像が表示される画像表示領域と、文字列が表示される文字列表示領域とを含む。背景領域や画像表示領域には、画像や図形等が表示される。文字列表示領域として、例えば、タイトル（表題）に関する文字列が入力されるタイトル表示領域、キャプション（説明文等）に関する文字列が入力されるキャプション表示領域、詳細説明に関する文字列が入力される詳細内容表示領域、等が、テンプレートに含まれている。
【００３７】
テンプレートテイスト情報は、テンプレートのテイスト（印象）を示す情報である。このテイストは、例えば、人が対象物に対して有する印象を類型化した嗜好モデルに基づいて予め決定される。嗜好モデルにおいては、対象物の色相や色調によって印象が複数種類に分類されており、テンプレートの色相や色調によってテンプレートのテイストが決定される。例えば、テンプレートにおいて支配的な色相や色調が求められ、その支配的な色相や色調によってテンプレートのテイストが決定される。例えば、テイストの分布を示すテイストマップが予め作成されており、テンプレートテイスト情報は、そのテイストマップ上の座標を示すテイスト値である。テンプレートのテイストは、後述するサンプル画像やサンプル文字列のレイアウト、サンプル文字列のフォントのサイズ、そのフォントの種類、サンプル画像のサイズ、等によって決定されてもよい。なお、テンプレートのテイストが第１印象類似度の一例に相当する。
【００３８】
テンプレート感性キーワードは、テンプレートのテイストを示す文字列である。テンプレート感性キーワードは、例えば、上記のテイスト値に対応するテイストを示す文字列である。
【００３９】
サンプル情報は、例えば、サンプルとして予め作成された文字列データ（サンプル文字列）や画像データ（サンプル画像）等である。サンプルとして、サンプル文字列とサンプル画像の両方が用いられてもよいし、いずれか一方が用いられてもよい。サンプル情報には、サンプルを識別するためのサンプル識別情報（例えば、サンプルＩＤ、サンプル名）と、サンプルテイスト情報と、サンプル感性キーワードと、テンプレート上におけるサンプルのサイズを示す情報と、が予め対応付けられている。テンプレートにおいて、例えば、サンプル文字列が文字列表示領域に予め入力されていてもよいし、サンプル画像が画像表示領域や背景領域に予め入力されていてもよい。サンプル情報は、ユーザによる編集が許可された情報であり、サンプル情報が編集されることにより、テンプレートに依拠した編集物が作成される。また、テンプレートには、ユーザによる編集が禁止された領域が含まれていてもよい。
【００４０】
サンプルテイスト情報は、サンプルのテイストを示す情報である。サンプル画像のテイストは、例えば色相や色調によって決定される。サンプル文字列のテイストは、例えばフォントのサイズやフォントの種類によって決定される。サンプル感性キーワードは、サンプルのテイストを示す文字列である。サンプル感性キーワードは、テンプレート感性キーワードと同様に、例えば、テイスト値に対応するテイストを示す文字列である。
【００４１】
シーン抽出部１８は、動画像データから独立したシーンのデータを抽出する機能を備えている。シーン抽出部１８は、例えば、動画像データに公知のショット境界検出法を適用することによりシーンデータを抽出する。一般的に、動画像データにおける基本的な構造単位はショット（シーン）であり、ショット（シーン）とショット（シーン）との繋ぎ目がショット境界と称される。そのショット境界を検出することにより、個々のシーン（ショット）が抽出される。ショット境界検出法として、例えば、カット境界検出法やグラジュアル境界検出法等が用いられる。カット境界は、シーン（ショット）が１フレームで切り替わるときの境界である。カット境界検出法が適用されることにより、そのカット境界が検出され、個々のシーン（ショット）が抽出される。グラジュアル境界は、複数のフレームにまたがってシーン（ショット）が切り替わるときの境界である。グラジュアル境界には、例えば、明るさが徐々に変化するフェード境界、フレームが徐々に置き換わりながら変化するワイプ境界、等がある。グラジュアル境界法が適用されることにより、フェード境界やワイプ境界等が検出され、個々のシーン（ショット）が抽出される。
【００４２】
動画分析部２０は、シーンの色相や色調、シーンにおける映像エフェクトの種別、シーンに付帯する音声データ、及び、シーンに付帯する音楽データ、の中の少なくとも１つに基づいて、シーンのテイスト（印象）を判定し、そのテイストを示すシーンテイスト情報を生成する機能を備えている。また、動画分析部２０は、シーンテイスト感性キーワードを生成してもよい。シーン感性キーワードは、テンプレートのテイストを示す文字列であり、例えば、テイスト値に対応するテイストを示す文字列である。動画分析部２０は、シーン毎にテイストを判定してもよいし、ユーザによって選択されたシーンのテイストを判定してもよい。シーンのテイストが第２印象類似度の一例に相当する。動画分析部２０については、図３を参照して詳しく説明する。
【００４３】
動画加工部２２は、シーンのデータから静止画データを抽出する機能、ビデオデータを生成する機能、等を備えている。動画加工部２２は、シーン毎に処理を適用してもよいし、ユーザによって選択されたシーンに処理を適用してもよい。動画加工部２２については、図４を参照して詳しく説明する。
【００４４】
テンプレート選択部２４は、テンプレートテイスト情報とシーンテイスト情報を用いて、テンプレート格納部１６に記憶されているテンプレート群の中から、シーンと調和するテンプレートを選択する機能を備えている。テンプレート選択部２４は、シーン毎にシーンと調和するテンプレートを選択してもよいし、ユーザによって選択されたシーンと調和するテンプレートを選択してもよいし、複数のシーンと調和するテンプレートを選択してもよい。
【００４５】
テンプレート選択部２４は、例えば、シーンのテイストと同じテイストを有するテンプレートを選択してもよい。別の例として、テンプレート選択部２４は、シーン感性キーワードと同じテンプレート感性キーワードが対応付けられているテンプレートを選択してもよい。複数のシーン感性キーワードが生成された場合、テンプレート選択部２４は、個々のシーン感性キーワードに対応するテンプレートを選択する。これにより、複数のテンプレートが選択される。
【００４６】
更に別の例として、テンプレート選択部２４は、シーンのテイストの調和範囲に含まれるテイストを有するテンプレートを選択してもよい。調和範囲は、例えば、テイストマップ上において、シーンのテイストに対応する位置を基準として規定された範囲である。調和範囲は例えば予め設定された範囲である。調和範囲は、ユーザや管理者等によって変更されてもよい。テンプレート選択部２４は、例えば、テイストマップ上において、シーンのテイストに対応する位置とテンプレートのテイストに対応する位置との差が閾値以下となるテンプレートを選択してもよい。閾値は例えば予め設定された値である。閾値はユーザや管理者等のよって変更されてもよい。または、テンプレート選択部２４は、シーン感性キーワードの調和範囲に含まれるテンプレート感性キーワードが対応付けられているテンプレートを選択してもよい。テンプレート選択部２４は、テイストマップ上において、シーン感性キーワードに対応する位置とテンプレート感性キーワードに対応する位置との差が閾値以下となるテンプレートを選択してもよい。
【００４７】
テンプレート編集部２６は、テンプレートを編集する機能を備えている。テンプレートの編集時には、ユーザが端末装置１２を利用することにより、画像表示領域や文字列表示領域の内容が編集される。なお、編集には、情報の変更、追加、削除、等が含まれる。文字列表示領域については、例えば、文字列の入力、文字列の変更、フォントの設定、文字のサイズの設定、文字の色の設定、文字の配置位置の変更、等が実行される。画像表示領域については、例えば、画像の追加、画像の変更、画像サイズの変更、画像の配置位置の変更、等が実行される。また、画像表示領域や文字列表示領域の位置やサイズが変更されてもよい。このような編集操作により、テンプレートに依拠した編集物が作成される。
【００４８】
また、テンプレート編集部２６は、シーンから抽出された静止画やビデオをテンプレートに合成する機能を備えている。
【００４９】
編集アシスト部２８は、ユーザによるテンプレートの編集をアシストする機能を備えている。編集アシスト部２８は、例えば、シーンのテイストに適合するように、テンプレートに含まれる文字や背景の色を提案する機能、テンプレートに含まれるオブジェクトの配置位置を提案する機能、テンプレートに合成される画像をトリミングする機能、テンプレートに文字列を入力する機能、等を備えている。
【００５０】
制御部３０は、テンプレート管理装置１０の各部の動作を制御する機能を備えている。制御部３０は、例えば、テンプレートの追加、削除及び表示処理等を行う機能を備えている。制御部３０は、例えば、新たに登録されたテンプレートのデータをテンプレート格納部１６に記憶させる。また、制御部３０は、テンプレートを端末装置１２に表示させる機能を備えている。制御部３０は、例えば、テンプレート選択部２４によって選択されたテンプレート、テンプレートのサムネイル画像（縮小画像）、又は、ユーザによって指定されたテンプレートを、端末装置１２に表示させる機能を備えている。
【００５１】
以下、図３を参照して、動画分析部２０について詳しく説明する。図３には、動画分析部２０の構成が示されている。
【００５２】
動画分析部２０は、例えば、主体分析部３２、エフェクト分析部３４、色分析部３６、属性情報分析部３８、音声分析部４０、音楽分析部４２、テキスト認識部４４及びテイスト判定部４６を含む。
【００５３】
主体分析部３２は、シーンに表されている主体の種別を特定する機能を備えている。主体分析部３２は、例えば、シーンに含まれる各フレーム（各静止画）を分析することにより、シーン中の各被写体の占有面積を演算し、最大の占有面積を有する被写体を主体として特定し、主体の種別を特定する。別の例として、主体分析部３２は、シーンにおける各被写体の出現時間を演算し、最大の出現時間を有する被写体を主体として特定してもよい。更に別の例として、主体分析部３２は、各被写体の占有面積と出現時間を演算し、占有面積と出現時間とから得られる評価値（例えば占有面積と出現時間との積）を演算し、最大の評価値を有する被写体を主体として特定してもよい。種別は、例えば、人物、静止物、動物、風景、等である。主体分析部３２は、例えば、シーンから主体の特徴を示す特徴情報を抽出し、その特徴と同一又は類似の特徴を有する種別を、主体の種別として特定する。主体分析部３２は、シーン毎に主体の種別を特定してもよいし、ユーザによって選択されたシーンに表されている主体の種別を特定してもよい。
【００５４】
エフェクト分析部３４は、動画像データに含まれる各シーンを分析することにより、各シーンの切り替え時に使用されている映像エフェクトの種別を特定する機能を備えている。映像エフェクトには、例えば、明るさが徐々に変化するフェード効果、フレームが徐々に置き換わりながら変化するワイプ効果、等がある。
【００５５】
色分析部３６は、シーンにおいて支配的な色相や色調を求める機能を備えている。色分析部３６は、シーン毎に色相や色調を求めてもよいし、ユーザによって選択されたシーンの色相や色調を求めてもよい。
【００５６】
属性情報分析部３８は、動画像データに付帯する動画属性情報を分析する機能を備えている。動画属性情報には、例えば、動画像の撮影日時を示す情報、撮影場所を示す情報、撮影時の季節を示す情報、撮影時の天気を示す情報、撮影条件（例えばレンズに関する条件）を示す情報、動画像のフォーマットを示す情報、被写体までの距離を示す情報、等が含まれている。例えば、ＧＰＳ（Global Positioning System）機能を用いることにより、撮影場所が特定される。また、撮影日時と撮影場所から天気が推測される。
【００５７】
音声分析部４０は、シーンデータに付帯する人の音声データを抽出し、その音声データを分析することにより、話す速さ、人の感情、性別、年齢、等を特定する機能を備えている。音声分析部４０は、シーン毎に音声を分析してもよいし、ユーザによって選択されたシーンに含まれる音声を分析してもよい。
【００５８】
音楽分析部４２は、シーンデータに付帯する音楽データを抽出し、その音楽データを分析することにより、その音楽の種別、リズムの種別、主要な楽器の種別、等を特定する機能を備えている。音楽分析部４２は、シーン毎に音楽を分析してもよいし、ユーザによって選択されたシーンに含まれる音楽を分析してもよい。
【００５９】
テキスト認識部４４は、シーンに付帯する音声データに対して音声認識処理を適用し、これにより、音声データからテキストデータ（文字情報）を生成する機能を備えている。
【００６０】
テイスト判定部４６は、上記の分析結果に基づいて、シーンのテイストを判定する機能を備えている。テイスト判定部４６は、例えば、シーンの色相や色調、シーンにおける映像エフェクトの種別、シーンに付帯する音声データ、及び、シーンに付帯する音楽データ、の中の少なくとも１つに基づいて、シーンのテイスト（印象）を判定し、そのテイストを示すシーンテイスト情報を生成する機能を備えている。また、テイスト判定部４６は、シーン感性キーワードを生成してもよい。シーンテイスト情報は、例えば、テイストマップ上の座標を示すテイスト値である。
【００６１】
例えば、テンプレート格納部１６には色用のテイスト情報が記憶されている。色用のテイスト情報においては、テイストを識別するためのテイスト識別情報（例えばテイストＩＤやテイスト名）と、テイストに対応する色相や色調を示す情報（例えばカラーパレット）と、テイストを示す感性キーワードと、が対応付けられている。テイスト判定部４６は、色用のテイスト情報を参照することにより、シーンの色相や色調に対応するテイストを特定する。
【００６２】
また、テンプレート格納部１６には映像エフェクト用のテイスト情報が記憶されていてもよい。映像エフェクト用のテイスト情報においては、テイスト識別情報と、テイストに対応する映像エフェクトの種別を示す情報と、感性キーワードと、が対応付けられている。テイスト判定部４６は、映像エフェクト用のテイスト情報を参照することにより、シーンの映像エフェクトの種別に対応するテイストを特定する。
【００６３】
また、テンプレート格納部１６には音声用のテイスト情報が記憶されていてもよい。音声用のテイスト情報においては、テイスト識別情報と、テイストに対応する音声情報（例えば、話す速さを示す情報、人の感情を示す情報、性別を示す情報、年齢を示す情報）と、感性キーワードと、が対応付けられている。テイスト判定部４６は、音声用のテイスト情報を参照することにより、シーンに記録されている音声の分析結果に対応するテイストを特定する。具体的には、話す速さ、人の感情、性別、又は、年齢に対応するテイストが特定される。
【００６４】
また、テンプレート格納部１６には音楽用のテイスト情報が記憶されていてもよい。音楽用のテイスト情報においては、テイスト識別情報と、テイストに対応する音楽情報（例えば、音楽の種別を示す情報、リズムの種別を示す情報、主要楽器の種別を示す情報）と、感性キーワードと、が対応付けられている。テイスト判定部４６は、音楽用のテイスト情報を参照することにより、シーンに記録されている音楽の分析結果に対応するテイストを特定する。具体的には、音楽の種別、音楽のリズムの種別、又は、主要楽器の種別に対応するテイストが特定される。
【００６５】
テイスト判定部４６は、色相や色調から特定されたテイスト（第１テイスト）、映像エフェクトから特定されたテイスト（第２テイスト）、音声から特定されたテイスト（第３テイスト）、及び、音楽から特定されてテイスト（第４テイスト）、の中の少なくとも１つのテイストを用いて、シーンのテイストを判定する。テイスト判定部４６は、第１、第２、第３及び第４テイストの中から複数のテイストを選択し、それら複数のテイストの平均を、シーンのテイストとして判定してもよい。テイスト判定部４６は、例えば、テイストマップ上において、複数のテイストのテイスト値の平均値、中心値又は重心値を演算し、平均値、中心値又は重心値に対応するテイストを、シーンのテイストとして判定してもよい。
【００６６】
以下、図４を参照して、動画加工部２２について詳しく説明する。図４には、動画加工部２２の構成が示されている。
【００６７】
動画加工部２２は、例えば、静止画抽出部４８、ビデオ生成部５０及び簡易画像生成部５２を含む。
【００６８】
静止画抽出部４８は、シーンのデータから、主体が表されている静止画のデータを抽出する機能を備えている。静止画抽出部４８は、例えば、シーンに含まれる各フレーム（各静止画）を分析することにより、各フレーム中の主体の占有面積を演算し、その占有面積が相対的に大きいフレーム（静止画）を優先的に抽出する。静止画抽出部４８は、例えば、最大の占有面積を有するフレーム（静止画）を、主体が表されている静止画として抽出する。静止画抽出部４８は、最大の占有面積を有するフレーム（静止画）から順に、予め設定された数のフレーム（静止画）を抽出してもよい。抽出されるフレームの数は、ユーザや管理者等によって変更されてもよい。静止画抽出部４８は、シーン毎に静止画データを抽出してもよいし、ユーザによって選択されたシーンから静止画データを抽出してもよい。抽出された静止画は、例えば端末装置１２に表示される。
【００６９】
ビデオ生成部５０は、シーンのデータからビデオデータを生成する機能を備えている。ビデオ生成部５０は、シーン毎にビデオデータを生成してもよいし、ユーザによって選択されたシーンからビデオデータを生成してもよい。
【００７０】
簡易画像生成部５２は、ビデオ生成部５０によって生成されたビデオデータから、データ容量が縮小された簡易版ビデオデータを生成する機能を備えている。例えば、Ｇｉｆ形式のアニメーション等が、簡易版ビデオデータとして生成される。
【００７１】
以下、端末装置１２について詳しく説明する。図５には、端末装置１２の構成が示されている。
【００７２】
通信部５４は通信インターフェースであり、通信経路Ｎを介して、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。例えば、通信部５４によって、テンプレート管理装置１０から送信されたテンプレートのデータが受信され、動画像データがテンプレート管理装置１０に送信される。記憶部５６はハードディスク等の記憶装置であり、プログラムやデータ等を記憶する。ＵＩ部５８はユーザインターフェースであり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置であり、操作部は、例えばキーボード、マウス、タッチパネル等の入力装置である。制御部６０は端末装置１２の各部の動作を制御する機能を備えている。
【００７３】
以下、図６を参照して、テンプレートについて詳しく説明する。図６には、テンプレートの一例が示されている。テンプレート６２には、例えば、文字列表示領域と、背景領域と、画像表示領域と、が含まれている。文字列表示領域にはサンプル文字列６４が予め入力されており、背景領域にはサンプル画像６６が予め入力されており、画像表示領域にはサンプル画像６８，７０が予め入力されている。背景領域にも画像が入力されるため、背景領域は画像表示領域に該当する。よって、テンプレート６２には、背景領域も含めて３つの画像表示領域が含まれている。テンプレートの編集時においては、例えば、テンプレート管理装置１０に登録されているテンプレートの一覧が、端末装置１２のＵＩ部５８に表示される。その一覧の中からテンプレート６２がユーザによって選択されると、テンプレート６２が端末装置１２のＵＩ部５８に表示される。端末装置１２においては、ユーザによって、文字列表示領域に文字列が入力され、画像表示領域に画像が入力される。または、サンプル文字列が編集されたり、サンプル画像が他の画像に変更されたりする。
【００７４】
以下、図７を参照して、テイストマップについて詳しく説明する。図７には、テイストマップの一例が示されている。テイストマップは予め作成され、そのデータは、例えばテンプレート格納部１６に記憶されている。テイストマップ７２は、例えば、２つの軸で規定される２次元マップである。テイストマップ７２上の各座標には、テイスト識別情報としてのテイスト名と感性キーワードとが予め対応付けられている。つまり、テイストマップ７２上の各座標は、各テイストを示すテイスト値に対応している。テイストマップ７２上の座標を指定することにより、その座標に対応するテイストと感性キーワードが特定される。テイストマップ７２においては、横軸がテイストの指標「ＷＡＲＭ」と「ＣＯＯＬ」を規定する指標軸であり、縦軸がテイストの指標「ＨＡＲＤ」と「ＳＯＦＴ」を規定する指標軸である。例えば、右側の領域ほど「ＣＯＯＬ」のテイスト感が強くなっている。つまり、右側の領域ほど「ＣＯＯＬ」感が強く感じられるテイストが対応付けられている。一方、左側の領域ほど「ＷＡＲＭ」のテイスト感が強くなっている。つまり、左側の領域ほど「ＷＡＲＭ」感が強く感じられるテイストが対応付けられている。また、上側の領域ほど「ＳＯＦＴ」のテイスト感が強くなっている。つまり、上側の領域ほど「ＳＯＦＴ」感が強く感じされるテイストが対応付けられている。一方、下側の領域ほど「ＨＡＲＤ」のテイスト感が強くなっている。つまり、下側の領域ほど「ＨＡＲＤ」感が強く感じられるテイストが対応付けられている。
【００７５】
図７に示す例では、テイストマップ７２は複数の領域に分割されており、各領域にはテイスト識別情報（例えば符号７４で示すテイスト「ロマンチック」等）が対応付けられている。また、各座標に感性キーワード（例えば符号７６で示す感性キーワード「清楚な」等）が対応付けられている。なお、テイストマップは、３次元以上の次元を有するマップであってもよいし、１次元のマップであってもよい。
【００７６】
図８には、色用テイストマップの一例が示されている。色用のテイストマップ７８の各座標には、テイスト識別情報と感性キーワードが対応付けられているとともに、カラーパレット（例えば符号８０で示すカラーパレット等）が対応付けられている。カラーパレットは、そのカラーパレットの位置に対応するテイストの色相や色調を示す情報である。例えば、このカラーパレットを利用することにより、シーンのテイストやテンプレートのテイストが決定される。このテイストマップ７８は予め作成され、そのデータは、例えばテンプレート格納部１６に記憶されている。
【００７７】
色分析部３６は、例えば、シーンに含まれる複数のフレーム（複数の静止画）を対象として、全画素の色相と色調を分析し、色相と色調との組み合わせ毎に、その組み合わせに属する画素数をカウントする。色分析部３６は、画素数が最も多い色相と色調との組み合わせを、当該シーンの色相と色調との組み合わせとして判定する。テイスト判定部４６は、テイストマップ７８を参照することより、画素数が最も多い色相と色調との組み合わせに対応するテイストを、当該シーンのテイストとして判定する。そのテイストに対応する感性キーワードが、当該シーンのシーン感性キーワードに対応する。別の例として、テイスト判定部４６は、テイストマップ７８上において、色相と色調との組み合わせ毎に、画素数に応じた直径の円を形成し、複数の円の重心位置に対応するテイストを、当該シーンのテイストとして判定してもよい。更に別の例として、Ｌａｂ色空間中の座標で規定されるＬ＊、ａ＊、ｂ＊が用いられてテイストが判定されてもよい。サンプル画像のテイストも同様の主要により予め判定される。また、テンプレートのテイストも同様の主要により予め判定されてもよいし、サンプル文字列のレイアウト、サンプル文字列のフォントサイズ、フォントの種類、サンプル画像のサイズ、等によって予め判定されてもよい。
【００７８】
また、色用テイストマップ以外のテイストマップとして、例えば、映像エフェクト用のテイストマップ、音声用のテイストマップ、及び、音楽用のテイストマップが、予め作成され、各データは、例えばテンプレート格納部１６に記憶されている。
【００７９】
映像エフェクト用のテイストマップにおいては、各座標に、テイスト識別情報と感性キーワードが対応付けられているとともに、映像エフェクトの種別を示す情報が対応付けられている。エフェクト分析部３４は、シーンを分析することにより映像エフェクトの種別を特定し、テイスト判定部４６は、映像エフェクト用のテイストマップを参照することにより、その映像エフェクトの種別に対応するテイストを、当該シーンのテイストとして判定する。
【００８０】
また、音声用のテイストマップにおいては、各座標に、テイスト識別情報と感性キーワードが対応付けられているとともに、音声情報（例えば、話す速さを示す情報、人の感情を示す情報、性別を示す情報、年齢を示す情報）が対応付けられている。音声分析部４０は、シーンデータに付帯する音声データを分析し、テイスト判定部４６は、音声用のテイストマップを参照することにより、その分析によって得られた音声情報に対応するテイストを、当該シーンのテイストとして判定する。
【００８１】
また、音楽用のテイストマップにおいては、各座標に、テイスト識別情報と感性キーワードが対応付けられているとともに、音楽情報（例えば、音楽の種別を示す情報、リズムの種別を示す情報、主要楽器の種別を示す情報）が対応付けられている。音楽分析部４２は、シーンデータに付帯する音楽データを分析し、テイスト判定部４６は、音楽用のテイストマップを参照することにより、その分析によって得られた音楽情報に対応するテイストを、当該シーンのテイストとして判定する。
【００８２】
上述したように、テイスト判定部４６は、色相や色調から特定されたテイスト（第１テイスト）、映像エフェクトから特定されたテイスト（第２テイスト）、音声から特定されたテイスト（第３テイスト）、及び、音楽から特定されたテイスト（第４テイスト）、の中の少なくとも１つのテイストを用いて、シーンのテイストを特定する。第１テイストが用いられる場合、色用のテイストマップが用いられる。第２テイストが用いられる場合、映像エフェクト用のテイストマップが用いられる。第３テイストが用いられる場合、音声用のテイストマップが用いられる。第４テイストが用いられる場合、音楽用のテイストマップが用いられる。複数のテイストを用いてシーンのテイストを特定する場合、テイスト判定部４６は、例えば、テイストマップ７２上において、複数のテイストのテイスト値の平均値、中心値又は重心値を演算し、平均値、中心値又は重心値に対応するテイストを、シーンのテイストとして判定する。
【００８３】
以下、図９を参照して、テンプレート管理装置１０による処理について説明する。図９には、その処理を示すフローチャートが示されている。
【００８４】
まず、端末装置１２において、ユーザが使用したい動画像が指定され、テンプレートの選択指示が与えられる。これにより、指定された動画像のデータとテンプレート選択指示を示す情報が、端末装置１２からテンプレート管理装置１０に送信され、テンプレート管理装置１０によって受け付けられる（Ｓ０１）。シーン抽出部１８は、受け付けられた動画像データにショット境界検出法を適用することにより、動画像から複数のシーンを抽出する（Ｓ０２）。
【００８５】
次に、動画分析部２０は、シーン毎に、シーンの色相や色調、シーンにおける映像エフェクトの種別、シーンに付帯する音声データ、及び、シーンに付帯する音声データ、の中の少なくとも１つを分析し、その分析結果に基づいて、シーンのテイストを判定する（Ｓ０３）。これにより、シーン毎に、テイストを示すシーンテイスト情報が生成される。また、テイストを示すシーン感性キーワードが生成されてもよい。また、動画分析部２０は、シーン毎に、シーンに表されている主体の種別（例えば、人物、静止物、動物、風景、等）を特定してもよいし、動画像データの属性（例えば、撮影日時、撮影場所、撮影時の季節、天気、撮影条件、フォーマット、等）を分析してもよいし、音声データからテキストデータを生成してもよい。
【００８６】
また、動画加工部２２は、シーンのデータから、主体が表されている静止画のデータを抽出してもよいし、シーンのデータからビデオデータを生成してもよいし、Ｇｉｆ形式のアニメーション等を生成してもよい。
【００８７】
次に、テンプレート選択部２４は、テンプレートテイスト情報とシーンテイスト情報を用いて、テンプレート格納部１６に記憶されているテンプレート群の中から、シーンと調和する１又は複数のテンプレートを選択する（Ｓ０４）。テンプレート選択部２４は、例えば、シーンのテイストと同じテイストを有するテンプレートを選択してもよいし、シーンのテイストの調和範囲に含まれるテイストを有するテンプレートを選択してもよい。または、テンプレート選択部２４は、テンプレート感性キーワードとシーン感性キーワードを用いて、シーンと調和するテンプレートを選択してもよい。テンプレート選択部２４は、シーン毎にシーンと調和するテンプレートを選択してもよいし、ユーザによって選択されたシーンと調和するテンプレートを選択してもよい。別の例として、テンプレート選択部２４は、複数のシーンと調和するテンプレートを選択してもよい。また、テンプレート選択部２４は、シーンから抽出された静止画の数と同じ数の画像表示領域を有するテンプレートを選択してもよい。例えば、３枚の静止画が抽出された場合、３つの画像表示領域を有するテンプレートが選択される。
【００８８】
テンプレート選択部２４は、例えば、シーンに表された主体の分析結果、映像エフェクトの分析結果、色相や色調の分析結果、シーンの属性の分析結果、音声の分析結果、音楽の分析結果、等を用いて、シーンと調和する１又は複数のテンプレートを選択する。
【００８９】
主体の分析結果が用いられる場合において、主体が風景であれば、その風景が適切に表現されるために、テンプレート選択部２４は、相対的に大きな画像が背景として用いられているテンプレートを優先的に選択する。主体が食品であれば、テンプレート選択部２４は、静止物が突出して表現されるようなテイストを有するテンプレートを優先的に選択する。
【００９０】
映像エフェクトの分析結果が用いられる場合において、動物が連続して撮影されている場合、その動物の動きがダイナミックであれば、テンプレート選択部２４は、ダイナミックなテイストを有するテンプレートを優先的に選択する。また、テンプレート選択部２４は、シーンの切り替え時の映像エフェクトに応じたテンプレートを選択してもよい。
【００９１】
色相や色調の分析結果が用いられる場合、テンプレート選択部２４は、色相や色調から決定されるテイストを有するテンプレートを選択する。
【００９２】
属性の分析結果が用いられる場合において、動画属性情報に撮影場所を示す情報が含まれている場合、テンプレート選択部２４は、その撮影場所に関するテンプレートを選択する。テンプレート選択部２４は、例えば、撮影場所の特徴が表現されたテンプレートや、撮影場所を含む国の特徴が表現されたテンプレートを優先的に選択する。つまり、テンプレート選択部２４は、撮影場所に対する人の印象に近いテイストを有するテンプレートや、撮影場所を含む国に対する人の印象に近いテイストを有するテンプレートを選択する。
【００９３】
音声の分析結果が用いられる場合、テンプレート選択部２４は、音声から決定されるテイストを有するテンプレートを選択する。例えば、音声が中年男性の音声の場合であって、話す速さが相対的に遅い場合、テイストは「フォーマル」であると判定され、テイスト「フォーマル・クラシック」を有するテンプレートが優先的に選択される。そのテンプレートに含まれる画像表示領域として、矩形状の領域が用いられる。一方、音声が若い女性の音声の場合であって、会話が楽しそうな会話の場合、テイスト「フレッシュ」を有するテンプレートが優先的に選択され、丸みを有する画像表示領域が用いられる。
【００９４】
選択された１又は複数のテンプレートのデータは、例えば、テンプレート管理装置１０から端末装置１２に送信される。端末装置１２のＵＩ部５８には、選択された１又は複数のテンプレートが表示される。例えば、選択されたテンプレートのサムネイル画像が表示される。選択されたテンプレートの一覧が表示されてもよいし、テイストマップがＵＩ部５８に表示されるとともに、そのテイストマップ上に選択されたテンプレートが表示されてもよい。
【００９５】
次に、テンプレートが編集される（Ｓ０５）。これにより、テンプレートに依拠した編集物が作成される。例えば、ユーザが端末装置１２を利用することにより、画像表示領域や文字列表示領域の内容が編集される。具体的には、テンプレートに含まれる画像が編集されたり、文字が編集されたり、表示領域の位置が変更されたり、色が変更されたりする。また、テンプレート編集部２６は、シーンから抽出された静止画やビデオやＧｉｆアニメーションをテンプレートに合成してもよい。例えば、主体を表す静止画やビデオやＧｉｆアニメーションが、テンプレート内の画像表示領域に合成される。もちろん、ユーザによって指定された静止画やビデオやＧｉｆアニメーション等がテンプレートに合成されてもよい。例えば、静止画、ビデオ及びＧｉｆアニメーション（簡易版ビデオ）のそれぞれが、同じテンプレート内の画像表示領域に合成され、これにより、３種類の編集物（生成物）が生成されてもよい。つまり、静止画がテンプレートに合成されることにより、静止画版の編集物が生成され、ビデオがテンプレートに合成されることにより、ビデオ版の編集物が生成され、Ｇｉｆアニメーションがテンプレートに合成されることにより、簡易ビデオ版の編集物が生成されてもよい。これにより、ユーザが３種類の編集物をマニュアルで作成する場合と比較して、ユーザの手間が軽減される。別の例として、上記３種類の編集物のうち、ユーザによって指定された編集物が生成されてもよい。つまり、静止画、ビデオ及びＧｉｆアニメーションの中からユーザによって選択されたコンテンツが、テンプレートに合成されてもよい。
【００９６】
このとき、編集アシスト部２８は、ユーザによるテンプレートの編集をアシストしてもよい。編集アシスト部２８は、例えば、シーンのテイストに適合するように、テンプレートに含まれる文字や背景の色を提案してもよい。例えば、シーンのテイストと同一のテイストを有する色や、シーンのテイストの調和範囲に含まれるテイストを有する色が提案される。提案された文字や背景の色を示す情報は、端末装置１２のＵＩ部５８に表示される。また、編集アシスト部２８は、シーンの色調や色相に適合するように、画像表示領域の枠の色を提案してもよい。
【００９７】
また、編集アシスト部２８は、テンプレートに含まれるオブジェクトの配置位置を提案してもよい。複数の主体が検出された場合、編集アシスト部２８は、各主体の重要度に応じて、各主体を表す静止画の配置順序を提案してもよい。提案された配置位置や配置順序を示す情報は、端末装置１２のＵＩ部５８に表示される。
【００９８】
また、テンプレート内の画像表示領域に合成される静止画が、その画像表示領域よりも大きい場合、編集アシスト部２８は、静止画が画像表示領域内に収まって表示されるように、静止画をトリミングしてもよい。編集アシスト部２８は、例えば、静止画に表された主体が画像表示領域内の中心に配置されるように、静止画を画像表示領域内に配置してトリミングしてもよい。
【００９９】
また、編集アシスト部２８は、音声データから抽出されたテキストをテンプレートに合成してもよい。編集アシスト部２８は、例えば、そのテキストを画像表示領域の隣に配置してもよい。
【０１００】
次に、テンプレート編集部２６は、テンプレートに依拠して作成された編集物から出力用の成果物を生成する（Ｓ０６）。例えば、テンプレートに静止画が合成されることにより生成された編集物が、静止画版の成果物である。また、テンプレートにビデオが合成されることにより生成された編集物が、ビデオ版の成果物である。また、テンプレートにＧｉｆアニメーションが合成された編集物が、Ｇｉｆ版の成果物である。例えば、ユーザが端末装置１２を用いて、静止画版の成果物、ビデオ版の成果物、又は、Ｇｉｆ版の成果物のいずれかの生成を指示する。テンプレート編集部２６は、その指示に従って成果物を生成する。例えば、低速の通信回線が用いられている場合、静止画版の成果物やＧｉｆ版の成果物が生成され、高速の通信回線が用いられている場合、ビデオ版の成果物が生成されてもよい。また、成果物が印刷される場合、静止画版の成果物が生成されてもよい。
【０１０１】
以下、テンプレート選択部２４による処理について具体例を挙げて説明する。まず、図１０を参照して具体例１について説明する。図１０には、テイストマップの一例が示されている。図１０中の符号８２は、シーンのテイスト値（テイストに対応する座標）を示している。このシーンのテイストは「ナチュラル」であり、シーン感性キーワードは「素朴な」である。シーンのテイストは、例えば、色相や色調から特定されたテイスト（第１テイスト）、映像エフェクトから特定されたテイスト（第２テイスト）、音声から特定されたテイスト（第３テイスト）、及び、音楽から特定されたテイスト（第４テイスト）、の中のいずれか１つのテイストである。第１、第２、第３及び第４テイストの中からシーンのテイストとして採用されるテイストは、例えば、ユーザによって指定されてもよいし、予め設定されていてもよい。
【０１０２】
テンプレート選択部２４は、例えば、テイストがテイスト「ナチュラル」の領域に属するテンプレートを選択してもよいし、符号８０で示す座標に対応付けられているテイストを有するテンプレートを選択してもよい。これにより、シーンと同一のテイストを有するテンプレートが選択される。つまり、シーンと調和するテンプレートが選択される。
【０１０３】
別の例として、テンプレート選択部２４は、シーンのテイストの調和範囲８４を画定し、テイストがその調和範囲８４に含まれるテンプレートを選択してもよい。これにより、シーンと調和するテンプレートが選択される。調和範囲８４は、例えば、シーンのテイスト値（符号８２で示す座標）を中心位置として、予め設定された直径を有する円状の領域である。もちろん、調和範囲８４は、矩形状の領域であってもよい。また、シーンのテイスト値は、調和範囲の中心位置でなくてもよい。図１０に示す例では、テイストが「ナチュラル」に属するテンプレート、テイストが「カジュアル」に属するテンプレート、及び、テイストが「ゴージャス」に属するテンプレートが選択される。
【０１０４】
別の例として、テンプレート選択部２４は、シーン感性キーワード「素朴な」と同一のテンプレート感性キーワードが対応付けられているテンプレートを選択してもよいし、テンプレート感性キーワードが調和範囲８４に含まれるテンプレートを選択してもよい。これにより、シーンと調和するテンプレートが選択される。
【０１０５】
更に別の例として、テンプレート選択部２４は、テイストがテイスト「ナチュラル」の領域に属するサンプル画像を特定し、そのサンプル画像が設定されているテンプレートを選択してもよいし、テイストが調和範囲８４に含まれるサンプル画像を特定し、そのサンプル画像が設定されているテンプレートを選択してもよい。これにより、シーンと調和するテンプレートが選択される。
【０１０６】
テンプレート選択部２４は、テイストマップ７２において、シーンのテイストに隣り合うテイストを調和範囲のテイストとして採用してもよい。例えば、シーンのテイスト「ナチュラル」に隣り合うテイスト「カジュアル」、「エレガント」等が、調和範囲のテイストとして採用される。この場合、テイストが「ナチュラル」に属するテンプレート、テイストが「カジュアル」に属するテンプレート、及び、テイストが「エレガント」に属するテンプレートが選択される。
【０１０７】
テンプレート選択部２４は、テイストが調和範囲に含まれる複数のテンプレートの中で、シーンのテイスト（符号８２で示す座標に対応するテイスト）に近いテイストを有するテンプレートほど、調和度の高いテンプレートとして選択してもよい。テンプレート選択部２４は、例えば、シーンのテイスト値（符号８２で示す値）を中心位置として、同心円状に複数の調和範囲を形成し、テイストが中心位置に近い調和範囲に含まれるテンプレートほど、シーンとの調和度の高いテンプレートとして選択する。例えば、テイストが中心位置に最も近い調和範囲に含まれるテンプレートが、シーンとの調和度が「大」のテンプレートに相当し、２番目に近い調和範囲に含まれるテンプレートが、シーンとの調和度が「中」のテンプレートに相当し、３番目に近い調和範囲に含まれるテンプレートが、シーンとの調和度が「小」のテンプレートに相当する。なお、４つ以上の調和範囲が設定されてもよい。
【０１０８】
以下、図１１を参照して具体例２について説明する。図１１には、テイストマップの一例が示されている。図１１中の符号８６，８８は、シーンのテイスト値（テイストに対応する座標）を示している。
【０１０９】
符号８６によって示されているテイストＡは「ナチュラル」であり、シーン感性キーワードは「素朴な」である。テイストＡは、例えば、色相や色調から特定されたテイスト（第１テイスト）、映像エフェクトから特定されたテイスト（第２テイスト）、音声から特定されたテイスト（第３テイスト）、又は、音楽から特定されたテイスト（第４テイスト）、の中のいずれか１つのテイストである。
【０１１０】
符号８８によって示されているテイストＢは「シック」であり、シーン感性キーワードは「しゃれた」である。テイストＢは、例えば、上記の第１テイスト、第２テイスト、第３テイスト、及び、第４テイスト、の中のいずれか１つのテイストであって、テイストＡとは異なる基準によって決定されたテイストである。
【０１１１】
第１、第２、第３及び第４テイストの中からシーンのテイストとして採用されるテイストは、例えば、ユーザによって指定されてもよいし、予め設定されてもよい。一例として、テイストＡは、色相や色調から特定された第１テイストであり、テイストＢは、映像エフェクトから特定された第２テイストであるとする。
【０１１２】
テンプレート選択部２４は、例えば、符号８６で示す座標と符号８８で示す座標とを結ぶ線分９０を形成し、その線分９０上において、符号８６で示す座標と符号８８で示す座標との中点９２を求める。その中点９２に対応するテイストが、シーンの代表テイストに相当する。その代表テイストは、例えば「エレガント」である。この場合、テンプレート選択部２４は、テイストが代表テイスト「エレガント」の領域に属するテンプレートを選択してもよいし、中点９２に対応するテイストを有するテンプレートを選択してもよい。これにより、シーンと調和するテンプレートが選択される。別の例として、テンプレート選択部２４は、符号８６で示す座標と符号８８で示す座標との平均の座標を求め、その平均の座用に対応するテイストを、代表テイストとして採用してもよい。更に別の例として、テンプレート選択部２４は、符号８６で示す座標と符号８８で示す座標との重心位置に対応するテイストを、代表テイストとして採用してもよい。更に別の例として、テンプレート選択部２４は、中点９２や平均位置や重心位置に対応する感性キーワードを特定し、その感性キーワードが対応付けられているテンプレートを選択してもよい。図１１に示す例では、テンプレート感性キーワード「優雅な」が対応付けられているテンプレートが選択される。
【０１１３】
ユーザによって分析要素の重要度が指定された場合、テンプレート選択部２４は、テイストＡ，Ｂに対して、その重要度に応じた重み付け処理を適用する。この重み付け処理によって得られたテイストが代表テイストとして採用され、その代表テイストを有するテンプレートが選択される。例えば、映像エフェクトの重要度が、色相や色調の重要度よりも高い場合、テンプレート選択部２４は、線分９０上において、中点９２よりも符号８８で示す座標側の位置９４を代表点として採用し、その位置９４に対応する代表テイストを有するテンプレートを選択する。図１１に示す例では、その代表テイストは、例えば、「シック」である。この場合、テンプレート選択部２４は、テイストが代表テイスト「シック」の領域に属するテンプレートを選択する。テンプレート選択部２４は、テイストＡ，Ｂの重要度の差に応じて代表点を決定する。テイストＢの重要度がテイストＡの重要度よりも高いほど、符号８８で示す座標に近い位置が代表点として採用され、テイストＡの重要度がテイストＢの重要度よりも高いほど、符号８６で示す座標に近い位置が代表点として採用される。
【０１１４】
別の例として、テンプレート選択部２４は、位置９４に対応する感性キーワードを特定し、その感性キーワードが対応付けられているテンプレートを選択してもよい。図１１に示す例では、感性キーワード「優雅な」が対応付けられているテンプレートが選択される。
【０１１５】
第１、第２、第３及び第４テイストの中からユーザによって３つ以上のテイストが指定された場合についても、同様の処理により、代表テイストや代表点が決定され、その代表テイストや代表点に対応するテンプレートが選択される。
【０１１６】
以下、動画像の分析結果について具体例を挙げて説明する。例えば、秋の旅行中に撮影された動画像がテンプレート管理装置１０に入力され、動画分析部２０によって分析されたものとする。以下に、その分析結果を示す。
【０１１７】
主体分析結果は以下の通りである。
主体：風景（７０％）、静止物（食べ物）（２０％）、人物（５％）、その他（５％）
つまり、動画像には、被写体として、風景、静止物、人物、及び、その他の物体が表されている。風景の評価値（占有面積、出現時間、又は、占有面積と出現時間との積）が、全体の割合のうち７０％であり、静止物の評価値が２０％であり、人物の評価値が５％であり、その他の物体の評価値が５％である。
【０１１８】
映像エフェクト分析結果は以下の通りである。
映像エフェクト：フェード（８０％）、なし（２０％）
つまり、動画像中の８０％の部分で、映像エフェクトとして「フェード」が使用されている。
【０１１９】
色調分析結果は以下の通りである。
色調：メイン色調は、「温かい色」、「赤」及び「オレンジ」であり、サブ色調は「青」である。
【０１２０】
動画属性情報の分析結果は以下の通りである。
撮影時間：２０ＸＸ／１０／２０
撮影場所：京都（日本）
季節：秋
天気：晴れ
つまり、２０ＸＸ年１０月２０日に撮影が行われ、その撮影場所は京都である。季節は秋であり、撮影日の天気は晴れである。
【０１２１】
音声分析結果は以下の通りである。
音声：静（６０％）、無声（２０％）、にぎやか（２０％）
つまり、動画像中の６０％の部分で「静かな音声」が記録されており、２０％の部分で「にぎやかな音声」が記録されている。動画像中の２０％の部分では音声が記憶されていない。
【０１２２】
音楽分析の結果、動画像には音楽は記録されていない。また、テキスト認識処理の結果、動画像からテキストデータが抽出される。
【０１２３】
例えば、上記の動画像から３つのシーンが抽出されたものとする。この場合、テンプレート選択部２４は、例えば、以下に示すテンプレートを優先的に選択する。
・３つの画像表示領域を有するテンプレート
・相対的に大きな画像が背景として用いられているテンプレート
・静止物（食べ物）の表現に適したテンプレート
・暖色系でカジュアルなテイストを有するテンプレート
・秋の表現に適したテンプレート
・京都（日本）に関連するテンプレート
【０１２４】
上記の動画像から３つのシーンが抽出された場合、それぞれのシーンから静止画が抽出され、これにより、３つの静止画が生成される。それら３つの静止画をテンプレートに合成するために、３つの画像表示領域を有するテンプレートが優先的に選択される。つまり、テンプレート選択部２４は、シーン（動画像）と調和するテンプレートであって、静止画の総数と同じ数の画像表示領域を有するテンプレートを優先的に選択する。上記の例では、３つのシーンと調和するテンプレートであって、３つの画像表示領域を有するテンプレートが優先的に選択される。上記の例では、３つのシーンのテイストが同一であり、そのテイストを有するテンプレートが優先的に選択される。なお、各シーンのテイストが異なる場合、平均のテイストを有するテンプレートが優先的に選択されてもよいし、テイスト毎に当該テイストを有するテンプレートが優先的に選択されてもよい。
【０１２５】
主体分析の結果、風景が主体として特定されている。その風景が適切に表現されるために、相対的に大きな画像が背景として用いられているテンプレートが優先的に選択される。
【０１２６】
動画像の分析の結果、動画像のテイストは暖色系でカジュアルなテイストであると判定されている。それ故、暖色系でカジュアルなテイストを有するテンプレートが優先的に選択される。
【０１２７】
撮影が行われた季節は秋であるため、秋用のテンプレートが優先的に選択される。また、撮影場所は京都（日本）であるため、京都（日本）に関連するテンプレートが優先的に選択される。
【０１２８】
以下、図１２を参照して、編集物について詳しく説明する。図１２には、編集物の一例が示されている。編集物９６は、図６に示されているテンプレート６２に依拠して作成された編集物である。つまり、テンプレート選択部２４によってテンプレート６２が優先的に選択され、編集物９６は、そのテンプレート６２に基づいて作成された編集物である。編集物９６は、テンプレート６２と同様に、文字列表示領域と、背景領域と、画像表示領域と、が含まれている。
【０１２９】
文字列表示領域には、図６に示されているサンプル文字列６４の替わりに、他の文字列９８が入力されている。例えば、動画像から抽出されたテキストが文字列表示領域に入力されてもよいし、ユーザによって入力された文字列が文字列表示領域に入力されてもよい。
【０１３０】
背景領域には、図６に示されているサンプル画像６６の替わりに、画像１００が入力されている。この画像１００は、ユーザによって指定された画像であってもよいし、動画像から抽出された静止画であって主体が表された静止画であってもよい。上記の例では、「風景」が主体として検出されているため、その「風景」が表された静止画（画像１００）が動画像から抽出され、背景領域に入力される。また、動画像から抽出された静止画が背景領域に入力される場合、その静止画の大きさが背景領域の大きさに適合するように、静止画がトリミングされてもよい。
【０１３１】
画像表示領域には、図６に示されているサンプル画像６８，７０の替わりに、画像１０２，１０４が入力されている。画像１０２，１０４は、ユーザによって指定された画像であってもよいし、動画像から抽出された静止画であってもよい。また、動画像から抽出された静止画が画像表示領域に入力される場合、その静止画の大きさが画像表示領域の大きさに適合するように、静止画がトリミングされてもよい。
【０１３２】
編集物９６には、静止画としての画像１００，１０２，１０４が含まれているため、この編集物９６は静止画版の成果物である。動画像から抽出されたシーン（ビデオ）が背景領域や画像表示領域に入力された場合、生成された編集物はビデオ版の成果物に相当する。動画像から抽出されたＧｉｆアニメーションが背景領域や画像表示領域に入力された場合、生成された編集物はＧｉｆ版の成果物に相当する。
【０１３３】
以下、図１３を参照してテンプレート選択画面について詳しく説明する。図１３には、テンプレート選択画面の一例が示されている。テンプレート選択画面のデータはテンプレート管理装置１０から端末装置１２に送信され、テンプレート選択画面は端末装置１２のＵＩ部５８に表示される。テンプレート選択画面には、動画像の分析結果と、テンプレート選択部２４によって選択されたテンプレート群が表示されている。動画像の分析結果として、例えば、主体に関する情報、色調に関する情報、テイストを示す情報、撮影場所を示す情報、撮影日時を示す情報、等が表示されている。テンプレート選択部２４によって選択されたテンプレート群は、お勧めのテンプレートリストとして表示されている。例えば、テンプレートのサムネイル画像が作成され、そのサムネイル画像の一覧が表示されている。図１３に示す例では、４つのお勧めテンプレートが選択されて表示されている。テンプレート選択画面には、分析対象の動画像１０６が表示されてもよい。テンプレート選択画面には再生ボタンが表示され、再生ボタンがユーザによって押下されることにより、動画像１０６が再生される。テンプレート選択画面には編集物１０８が表示されてもよい。この編集物１０８には、動画像から抽出された静止画やテキストが合成されている。その静止画は主体を表す静止画である。抽出された静止画やテキストが合成された編集物１０８が提示されるので、静止画やテキストがテンプレートに合成されない場合と比較して、ユーザにとって、最終的に生成される編集物のイメージを直感的に把握することが容易となる。
【０１３４】
以上のように、本実施形態では、動画像からシーンが抽出され、動画像に含まれる様々な情報に基づいてシーン（動画像）のテイストが判定される。例えば、シーンの色相や色調の他、動画像に特有の情報として、映像エフェクトに関する情報、音声データ、音楽データ、等によってテイストが判定される。これにより、動画像から抽出された文字情報のみを用いる場合と比較して、動画像のテイストがより的確に判定される。また、シーンのテイストと同一のテイストを有するテンプレートや、テイストが調和範囲に含まれるテンプレートが選択される。これにより、動画像から抽出された文字情報のみを用いる場合と比較して、シーンのデザインと統一性のあるテンプレートが選択される。つまり、シーンのテイストと同一のテイストを有するテンプレートは、シーンとの間でテイスト（印象）のずれが無い又は相対的に少ないため、そのテンプレートはシーンとの間で調和のとれたテンプレートであると評価できる。また、テイストが調和範囲に含まれているテンプレートは、シーンとの間でテイストのずれが相対的に少ないため、そのテンプレートはシーンとの間で調和のとれたテンプレートであると評価できる。それ故、本実施形態によると、シーンのテイストと統一性のあるテンプレート、つまり、シーンと調和するテンプレートが選択される。また、感性キーワードを用いてテンプレートを選択することにより、テイストを用いた選択処理を補って、シーンに適したテンプレートが選択される。本実施形態によると、全体として調和のとれたシーンとテンプレートとの組み合わせが提供される。
【０１３５】
また、シーン抽出部１８は、ユーザによって選択されたテンプレートと調和するシーンを動画像から抽出してよい。例えば、テンプレートの一覧が端末装置１２のＵＩ部５８に表示され、その一覧の中からユーザによって目的のテンプレートが選択される。シーン抽出部１８は、上述した実施形態と同様に、動画像から複数のシーンを抽出する。動画分析部２０は、上述した実施形態と同様に、各シーンのテイストを判定する。シーン抽出部１８は、ユーザによって選択されたテンプレートのテンプレートテイスト情報と各シーンのシーンテイスト情報を用いて、抽出された複数のシーンの中から、そのテンプレートと調和するシーンを選択する。シーン抽出部１８は、例えば、テンプレートのテイストと同じテイストを有するシーンを選択してもよいし、テンプレートのテイストの調和範囲に含まれるテイストを有するシーンを選択してもよい。シーン抽出部１８は、上述した実施形態と同様に、感性キーワードを用いて、テンプレートと調和するシーンを選択してもよい。このようにして選択されたシーンは、分析結果として、端末装置１２のＵＩ部５８に表示される。これにより、全体として調和のとれたシーンとテンプレートとの組み合わせが提供される。また、選択されたシーンから静止画やテキスト情報が抽出され、ユーザによって選択されたテンプレートに、その静止画やテキストが合成されてもよい。
【０１３６】
上記のテンプレート管理装置１０は、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、テンプレート管理装置１０は、図示しないＣＰＵ等のプロセッサを備えている。当該プロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、テンプレート管理装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。または、テンプレート管理装置１０の各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。別の例として、テンプレート管理装置１０の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
【符号の説明】
【０１３７】
１０  テンプレート管理装置、１２  端末装置、１６  テンプレート格納部、１８  シーン抽出部、２０  動画分析部、２２  動画加工部、２４  テンプレート選択部、２６  テンプレート編集部、２８  編集アシスト部、３０  制御部、３２  主体分析部、３４  エフェクト分析部、３６  色分析部、３８  属性情報分析部、４０  音声分析部、４２  音楽分析部、４４  テキスト認識部、４６  テイスト判定部、４８  静止画抽出部、５０  ビデオ生成部、５２  簡易画像生成部。
【図１】
2017045374.tif 000003
【図２】
2017045374.tif 000004
【図３】
2017045374.tif 000005
【図４】
2017045374.tif 000006
【図５】
2017045374.tif 000007
【図６】
2017045374.tif 000008
【図７】
2017045374.tif 000009
【図９】
2017045374.tif 000010
【図１０】
2017045374.tif 000011
【図１１】
2017045374.tif 000012
【図１２】
2017045374.tif 000013
【図１３】
2017045374.tif 000014
【図８】
2017045374.tif 000015