(57)【特許請求の範囲】
【請求項１】
複数の素材を分析し、前記複数の素材に含まれるオブジェクトを検出するオブジェクト検出手段と、
前記検出されたオブジェクトから、オブジェクト毎の代表画像を決定し、前記決定された代表画像のリストを画面に表示するオブジェクト表示手段と、
前記表示された代表画像のリストから、ユーザが第１オブジェクトを選択するための選択手段と、
前記選択手段により選択された第１オブジェクトに第１エフェクトを施し、前記複数の素材に含まれるオブジェクトのうち、出現頻度が高い第２オブジェクトであって、前記第１オブジェクトとは異なる第２オブジェクトに、前記第１エフェクトよりも視覚的な効果が低い第２エフェクトを施すエフェクト手段と、
前記第１エフェクトが施された第１オブジェクトと、前記第２エフェクトが施された第２オブジェクトとを含む前記複数の素材を用いて、動画像を生成する動画像生成手段とを具備する電子機器。
【請求項２】
前記エフェクト手段は、さらに、前記複数の素材に含まれるオブジェクトのうち、前記第１オブジェクト及び前記第２オブジェクト以外の第３オブジェクトに、前記第２エフェクトよりも視覚的な効果が低い第３エフェクトを施し、
前記動画像生成手段は、前記第１エフェクトが施された第１オブジェクトと、前記第２エフェクトが施された第２オブジェクトと、前記第３エフェクトが施された第３オブジェクトとを含む前記複数の素材を用いて、動画像を生成する請求項１記載の電子機器。
【請求項３】
前記第１エフェクトと前記第２エフェクトとを選択するエフェクト選択手段をさらに具備する請求項１記載の電子機器。
【請求項４】
前記素材は静止画像、動画像及び音声の少なくともいずれかを含む請求項１記載の電子機器。
【請求項５】
複数の静止画像を分析し、前記複数の静止画像に含まれる顔画像を検出する顔画像検出手段と、
前記検出された顔画像から、人物毎の代表画像を決定し、前記決定された代表画像のリストを画面に表示する顔画像表示手段と、
前記表示された代表画像のリストから、ユーザが人物を選択するための選択手段と、
前記選択手段により選択された人物に対応する第１顔画像に第１エフェクトを施し、前記複数の静止画像に含まれる顔画像のうち、出現頻度が高い人物に対応する第２顔画像であって、前記第１顔画像とは異なる第２顔画像に、前記第１エフェクトよりも視覚的な効果が低い第２エフェクトを施すエフェクト手段と、
前記第１エフェクトが施された第１顔画像と、前記第２エフェクトが施された第２顔画像とを含む前記複数の静止画像を用いて、動画像を生成する動画像生成手段とを具備する電子機器。
【請求項６】
前記エフェクト手段は、さらに、前記複数の静止画像に含まれる顔画像のうちの、前記第１顔画像及び前記第２顔画像以外の第３顔画像に、前記第２エフェクトよりも視覚的な効果が低い第３エフェクトを施し、
前記動画像生成手段は、前記第１エフェクトが施された第１顔画像と、前記第２エフェクトが施された第２顔画像と、前記第３エフェクトが施された第３顔画像とを含む前記複数の静止画像を用いて、動画像を生成する請求項５記載の電子機器。
【請求項７】
オブジェクト検出手段によって、複数の素材を分析し、前記複数の素材に含まれるオブジェクトを検出し、
オブジェクト表示手段によって、前記検出されたオブジェクトから、オブジェクト毎の代表画像を決定して、前記決定された代表画像のリストを画面に表示し、
選択手段によって、前記表示された代表画像のリストから第１オブジェクトを選択し、
エフェクト手段によって、前記選択された第１オブジェクトに第１エフェクトを施し、前記複数の素材に含まれるオブジェクトのうち、出現頻度が高い第２オブジェクトであって、前記第１オブジェクトとは異なる第２オブジェクトに、前記第１エフェクトよりも視覚的な効果が低い第２エフェクトを施し、
動画像生成手段によって、前記第１エフェクトが施された前記第１オブジェクトと、前記第２エフェクトが施された第２オブジェクトとを含む前記複数の素材を用いて、動画像を生成する動画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、動画像を生成する電子機器及び該機器に適用される動画像生成方法に関する。
【背景技術】
【０００２】
近年、デジタルフォトフレーム等と称される画像再生装置が普及している。デジタルフォトフレームは、例えば、カード型記憶メディアに格納される複数枚の静止画像を所定時間間隔で順次表示する機能を有している。例えばパーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームと同様に、複数枚の静止画像を所定時間間隔で順次表示する機能を有するものが一般的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４９３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、上述の画像再生装置では、静止画像にエフェクトを施して表示する機能を有するものもある。例えば、２枚の静止画像に対して、これら静止画像をスライドさせて切り替える（スライドイン／スライドアウト）エフェクトが施される。
【０００５】
エフェクトは、例えば、ユーザが注目する静止画像や該静止画像内のオブジェクトに対して施される。しかし、ユーザが注目する静止画像や該静止画像内のオブジェクトを、静止画像毎に判定して決定する作業は、ユーザにとって煩雑であるという課題があった。
【０００６】
本発明は、エフェクトが施されるオブジェクトを容易に決定できる電子機器及び動画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、電子機器は、オブジェクト検出手段、オブジェクト表示手段、選択手段、エフェクト手段、及び動画像生成手段を具備する。オブジェクト検出手段は、複数の素材を分析し、前記複数の素材に含まれるオブジェクトを検出する。オブジェクト表示手段は、前記検出されたオブジェクトから、オブジェクト毎の代表画像を決定し、前記決定された代表画像のリストを画面に表示する。エフェクト手段は、前記選択手段により選択された第１オブジェクトに第１エフェクトを施し、前記複数の素材に含まれるオブジェクトのうち、出現頻度が高い第２オブジェクトであって、前記第１オブジェクトとは異なる第２オブジェクトに、前記第１エフェクトよりも視覚的な効果が低い第２エフェクトを施す。動画像生成手段は、前記第１エフェクトが施された第１オブジェクトと、前記第２エフェクトが施された第２オブジェクトとを含む前記複数の素材を用いて、動画像を生成する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る電子機器の構成を示すブロック図。
【図２】同実施形態の電子機器のシステム構成を示すブロック図。
【図３】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムの機能構成を示すブロック図。
【図４】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる素材情報の例を示す図。
【図５】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるオブジェクト情報の例を示す図。
【図６】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる出現頻度情報の例を示す図。
【図７】同実施形態の電子機器によって表示される顔画像選択画面の例を示す図。
【図８】同実施形態の電子機器によって表示される顔画像選択画面の別の例を示す図。
【図９】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるテンプレート情報の例を示す図。
【図１０】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるエフェクト情報の例を示す図。
【図１１】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる合成動画生成情報の例を示す図。
【図１２】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる合成動画生成情報の別の例を示す図。
【図１３】同実施形態の電子機器によって生成される動画像の例を示す図。
【図１４】同実施形態の電子機器によって表示されるパラメータ設定画面の例を示す図。
【図１５】同実施形態の電子機器によって実行される素材分析・動画生成処理の手順の例を示すフローチャート。
【図１６】同実施形態の電子機器によって実行される優先オブジェクト選択処理の手順の例を示すフローチャート。
【図１７】同実施形態の電子機器によって実行される最優先オブジェクト選択処理の手順の例を示すフローチャート。
【図１８】同実施形態の電子機器によって実行される合成動画生成処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。  
図１は、実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
【００１０】
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。
【００１１】
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。
【００１２】
図２は、本コンピュータ１０のシステム構成を示す図である。  
本コンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。
【００１３】
ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像再生アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツデータ（例えば、フォトムービー）を再生するソフトウェアである。この動画像再生アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された写真等の素材（デジタルコンテンツ）を用いて、合成動画（動画像）を作成する機能である。さらに、この動画像生成機能は、動画像に用いる素材を分析する機能を含む。動画像再生アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。
【００１４】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１５】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１６】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。
【００１７】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００１８】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００１９】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。
【００２０】
次いで、図３を参照して、以上のような構成を有するコンピュータ１０上で動作する動画像再生アプリケーションプログラム２０２の一機能構成を説明する。ここでは、動画像再生アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して外部デバイス（デジタルカメラ、メモリカード等）から格納された素材データ５１だけでなく、ＨＤＤ１０９内の所定のディレクトリに格納された素材データ５１やネットワークを介して格納された素材データ５１等に対しても適用することができる。なお、この素材データ５１は、例えば、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等である。  
動画像再生アプリケーションプログラム２０２は、素材入力部２１、素材分析部２２及び動画再生部２３を備える。
【００２１】
素材入力部２１は、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介して、素材データ５１が入力されたことに応答して、素材データ５１をＨＤＤ１０９内の素材データベース３０１に格納する。素材データベース３０１は、生成される動画像に用いられる素材データ５１を格納するためのデータベースである。具体的には、素材データベース３０１には、素材データ５１である、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等が格納される。素材データベース３０１に格納された素材データ５１は、合成動画の素材候補として用いられる。また、素材入力部２１は、素材データ５１がＨＤＤ１０９に格納されたことを素材分析部２２に通知する。
【００２２】
素材分析部２２は、素材入力部２１からの通知に応答して、素材データ５１を分析する処理を開始する。素材分析部２２は、オブジェクト検出部２２１、出現頻度算出部２２２、優先オブジェクト選択部２２３、及び最優先オブジェクト選択部２２４を備える。なお、以下では、分析対象の素材データ５１が静止画像データ３０１Ａである場合を想定する。
【００２３】
オブジェクト検出部２２１は、静止画像データ３０１Ａからオブジェクトを検出するオブジェクト検出処理を実行する。オブジェクトは、例えば、静止画像データ３０１Ａの特徴を解析し、予め用意されたオブジェクトの特徴サンプルと類似する特徴を有する領域（オブジェクト画像）を探索することによって検出することができる。オブジェクトの特徴サンプルは、多数のオブジェクトそれぞれの画像特徴を統計的に処理することによって得られた特徴データである。オブジェクト検出処理により、静止画像３０１Ａ内に含まれる各オブジェクト画像の位置（座標）、サイズ、正面度等が検出される。また、オブジェクト検出部２２１は、検出したオブジェクト画像にそれぞれオブジェクト画像ＩＤを付与する。オブジェクト検出部２２１は、静止画像３０１Ａに付加された情報と検出したオブジェクト画像の情報とを含む素材情報３０２Ａを生成し、ＨＤＤ１０９内の素材情報データベース３０２に格納する。
【００２４】
図４は素材情報３０２Ａの一構成例を示す。素材情報３０２Ａは、素材ＩＤ、ファイル名、ファイルパス、ファイルサイズ、生成日時、属性、グループＩＤ、オブジェクト画像ＩＤ、オブジェクト画像情報等を含む。「素材ＩＤ」は、素材データ５１に一意に割り当てられる識別情報を示す。「ファイル名」は、素材データ５１に対応するデータファイルの名称を示す。「ファイルパス」は、素材データ５１が格納される場所を示す。「ファイルサイズ」は、素材データ５１のデータサイズを示す。「生成日時」は、素材データ５１が生成された日時を表す時刻情報を示す。「属性」は、素材データ５１の属性情報を示す。「グループＩＤ」は、素材データ５１が属するグループに一意に割り当てられる識別情報を示す。このグループＩＤは、例えば生成日時に基づいて分類された素材データ５１が属するグループのＩＤを表す。また、このグループＩＤは、例えば関連性に基づいて分類された素材データ５１が属する（関連性が高い素材データ５１が同一のグループに分類された）グループのＩＤを表す。「オブジェクト画像ＩＤ」は、素材データ５１に含まれるオブジェクト画像に一意に割り当てられる識別情報を示す。「オブジェクト画像情報」は、各オブジェクト画像の画像、位置（座標）、サイズ、正面度等を示す情報を含む。
【００２５】
オブジェクト画像は、例えば顔画像である。その場合、オブジェクト検出部２２１は、静止画像データ３０１Ａから顔画像を検出する顔画像検出処理を実行する。そして、オブジェクト検出部２２１は、検出した顔画像の情報を含む素材情報３０２Ａを素材情報データベース３０２に格納する。なお、オブジェクト画像は、顔画像に限らず、顔画像を含む人物の全身や体の一部が描画された領域を示す人物画像、動物が描画された領域を示す動物画像等、何らかの物体が描画された領域を含む。
【００２６】
例えば、図４に示す例において、素材ＩＤが“1”である素材データ５１に対応する素材情報３０２Ａは、ファイル名が“AAA.jpg”、ファイルパスが“AAA/AAA”、ファイルサイズが“200kByte”、生成日時が“2010/02/01”、属性が“AA”、グループIDが“A”であることを示す。また、この素材情報３０２Ａは、素材ＩＤが“1”である素材データ５１から、オブジェクト画像ＩＤが“1, 2, 3, 4, 5, 6”である６つのオブジェクト画像が検出されていることを示す。さらに、この素材情報３０２Ａは、それら６つのオブジェクト画像の各々の情報（画像、位置、サイズ、正面度等）も示している。
【００２７】
また、オブジェクト検出部２２１は検出したオブジェクト画像を分類する。オブジェクト検出部２２１は、静止画像データ３０１Ａから検出した複数のオブジェクト画像を、同一のオブジェクトと推定されるオブジェクト画像別のグループに分類する。また、オブジェクト検出部２２１は検出したオブジェクト画像に対応するオブジェクトを識別してもよい。その場合、オブジェクト検出部２２１は、例えば、識別するオブジェクトの画像特徴サンプルを用いて、検出したオブジェクト画像がそのオブジェクトであるか否かを判定する。オブジェクト検出部２２１は、分類されたオブジェクト画像にグループ毎（すなわち、オブジェクト毎）のＩＤ（オブジェクトＩＤ）を付与する。このオブジェクトＩＤは、オブジェクトに一意に割り当てられる識別情報である。そして、オブジェクト検出部２２１は、分類されたオブジェクト画像の情報を示すオブジェクト情報３０２Ｂを生成し、素材情報データベース３０２に格納する。
【００２８】
図５は、オブジェクト情報３０２Ｂの一構成例を示す。オブジェクト情報３０２Ｂは、例えば、オブジェクトＩＤ、オブジェクト画像ＩＤ及び属性を含む。「オブジェクトＩＤ」は、オブジェクトに一意に割り当てられる識別情報を示す。「オブジェクト画像ＩＤ」は、オブジェクトに対応するオブジェクト画像のＩＤを示す。オブジェクト検出部２２１によって、入力された複数の素材データ５１（静止画像３０１Ａ）から、当該オブジェクトに対応する複数のオブジェクト画像が検出されたとき、「オブジェクト画像ＩＤ」には、それら複数のオブジェクト画像に対応する複数のオブジェクト画像ＩＤが示される。「属性」は、オブジェクトＩＤに対応する属性情報を示す。「属性」は、例えば、オブジェクトＩＤに対応するオブジェクトの名称を示す。例えば、オブジェクト画像が顔画像であるときには、「属性」は、顔画像に対応する人物の名前を示す。したがって、オブジェクト情報３０２Ｂは、オブジェクト毎に、当該オブジェクトに対応するオブジェクト画像の情報（オブジェクト画像ＩＤ）を示す。
【００２９】
例えば、図５に示す例において、オブジェクトＩＤが“1”であるオブジェクトに対応するオブジェクト情報３０２Ｂは、当該オブジェクトであると認識されたオブジェクト画像が、オブジェクト画像ＩＤ“1, 9, 12, 18, 25, 30”で示される６つのオブジェクト画像であることを表す。そして、このオブジェクト情報３０２Ｂは、オブジェクトＩＤが“1”であるオブジェクトの属性が「Ａさん」であることを示す。つまり、「Ａさん」という人物（オブジェクト）であると認識された顔画像（オブジェクト画像）が、オブジェクト画像ＩＤ“1, 9, 12, 18, 25, 30”で示される画像であることがわかる。なお、図４に示すように、オブジェクト画像ＩＤ“1, 9, 12, 18, 25, 30”で示される画像は、素材ＩＤが“1”から“6”である素材データ５１から、それぞれ検出されている。
【００３０】
オブジェクト検出部２２１は、生成した素材情報３０２Ａ及びオブジェクト情報３０２Ｂを出現頻度算出部２２２に出力する。なお、オブジェクト検出部２２１は、入力された素材データ５１に対応する素材情報３０２Ａ及びオブジェクト情報３０２Ｂが素材情報データベース３０２に格納されたことを、出現頻度算出部２２２に通知してもよい。
【００３１】
出現頻度算出部２２２は、検出されたオブジェクトの統計情報を算出する。出現頻度算出部２２２は、例えば、オブジェクト検出部２２１によって生成された素材情報３０２Ａ及びオブジェクト情報３０２Ｂに基づいて、オブジェクト毎の出現頻度を算出する。出現頻度算出部２２２は、例えば、素材情報３０２ＡのグループＩＤ及びオブジェクト画像ＩＤと、オブジェクト情報３０２ＢのオブジェクトＩＤ及びオブジェクト画像ＩＤとに基づいて、一つのグループ内でのオブジェクト毎のオブジェクト画像の数を出現頻度として算出する。そして、出現頻度算出部２２２は、算出した出現頻度を含む出現頻度情報３０２Ｃを生成し、素材情報データベース３０２に格納する。また、出現頻度算出部２２２は、生成した出現頻度情報３０２Ｃを優先オブジェクト選択部２２３に出力する。なお、出現頻度算出部２２２は、出現頻度情報３０２Ｃが生成されたことを優先オブジェクト選択部２２３に通知してもよい。
【００３２】
図６は、出現頻度情報３０２Ｃの一構成例を示す。出現頻度情報３０２Ｃは、例えば、出現頻度ＩＤ、グループＩＤ、オブジェクトＩＤ、オブジェクト画像ＩＤ、及び出現頻度を含む。「出現頻度ＩＤ」は、一つの出現頻度情報に一意に割り当てられる識別情報を示す。「グループＩＤ」は、当該出現頻度が算出されたグループの識別情報を示す。「オブジェクトＩＤ」は、当該出現頻度が算出されたオブジェクトの識別情報を示す。「オブジェクト画像ＩＤ」は、「グループＩＤ」で指定されるグループに属する素材データ５１から検出されたオブジェクト画像のうち、「オブジェクトＩＤ」で指定されるオブジェクトが認識されたオブジェクト画像の識別情報を示す。「出現頻度」は、「オブジェクト画像ＩＤ」に示されるオブジェクト画像の数を示す。
【００３３】
例えば、図６に示す例において、「出現頻度ＩＤ」が“1”である出現頻度に対応する出現頻度情報３０２Ｃは、当該出現頻度が算出されたグループのＩＤが“A”であり、オブジェクトのＩＤが“1”であることを示す。そして、この出現頻度情報３０２Ｃは、「グループＩＤ」が“A”のグループに属する素材データ５１から検出されたオブジェクト画像のうち、「オブジェクトＩＤ」が“1”のオブジェクトが認識されたオブジェクト画像に対応する「オブジェクト画像ＩＤ」が“1, 9, 12, 30”であることを示す。つまり、「オブジェクトＩＤ」が“1”のオブジェクトが認識されたオブジェクト画像は、「オブジェクト画像ＩＤ」が“1, 9, 12, 30”である４つのオブジェクト画像である。したがって、この出現頻度情報３０２Ｃは、「出現頻度」が“4”であることを示す。
【００３４】
なお、図４に示すように、「グループＩＤ」が“A”である素材データ５１の素材ＩＤは“1, 2, 3, 6”であり、これらグループ“A”に属する素材データ５１から、「オブジェクト画像ＩＤ」が“1”から“17”のオブジェクト画像、及び“30”のオブジェクト画像が検出されている。また、図５に示すように、「オブジェクトＩＤ」が“1”であるオブジェクトが認識されたオブジェクト画像の「オブジェクト画像ＩＤ」は“1, 9, 12, 18, 25, 30”である。したがって、図６に示すように、グループＩＤ“A”のグループに属する素材データ５１から検出されたオブジェクト画像のうち、オブジェクトＩＤ“1”のオブジェクト（すなわち、「Ａさん」）が認識されたオブジェクト画像に対応する「オブジェクト画像ＩＤ」は“1, 9, 12, 30”である。
【００３５】
なお、出現頻度算出部２２２は、オブジェクトの出現頻度を、グループ毎に限らず、生成日時に基づく期間毎、属性毎等に算出してもよい。また、出現頻度算出部２２２は、グループ、期間、属性等に基づく所定の条件を満たす複数の素材データ５１について、オブジェクトの出現頻度を算出してもよい。
【００３６】
優先オブジェクト選択部２２３は、オブジェクト検出部２２１によって検出されたオブジェクトの統計情報に基づいて、優先的にエフェクトを施す対象である優先オブジェクト（第２オブジェクト）を選択する。具体的には、優先オブジェクト選択部２２３は、出現頻度情報３０２Ｃに基づいて、出現頻度が高い順に、所定番目（例えば、二番目）までのオブジェクトを優先オブジェクトに選択する。優先オブジェクト選択部２２３は、選択した優先オブジェクトの情報を動画再生部２３に出力する。
【００３７】
例えば、図６に示す例では、優先オブジェクト選択部２２３は、グループＩＤ“A”のグループに対して、出現頻度が“4”であるオブジェクトＩＤ“1”のオブジェクトと、出現頻度が“3”であるオブジェクトＩＤ“2”のオブジェクトとを優先オブジェクトに選択する。したがって、グループ“A”では、オブジェクト画像ＩＤが“1, 9, 12, 30”及び“2, 10, 13”であるオブジェクト画像に対して優先エフェクト（第２エフェクト）が施される。また、例えば、優先オブジェクト選択部２２３は、グループＩＤ“B”のグループに対して、出現頻度が“2”であるオブジェクトＩＤ“1”のオブジェクトと、出現頻度が“2”であるオブジェクトＩＤ“2”のオブジェクトとを優先オブジェクトに選択する。したがって、グループ“B”では、オブジェクト画像ＩＤが“18, 25”及び“26, 31”であるオブジェクト画像に対して優先エフェクト（第２エフェクト）が施される。
【００３８】
また、最優先オブジェクト選択部２２４は、ユーザによって指定されたオブジェクトを、最優先にエフェクトを施す最優先オブジェクト（第１オブジェクト）に選択する。具体的には、まず、最優先オブジェクト選択部２２４は、素材情報３０２Ａとオブジェクト情報３０２Ｂとを用いて、オブジェクトのリストを表示する。最優先オブジェクト選択部２２４は、例えば、図７に示すオブジェクト選択画面５０を表示する。オブジェクト選択画面５０では、静止画像５０Ａ〜５０Ｄが表示され、静止画像５０Ａ〜５０Ｄから検出されたオブジェクトを囲む枠が描画されている。この枠によって囲まれた領域を選択することによって、ユーザは、当該領域に対応するオブジェクトを最優先オブジェクトに指定することができる。
【００３９】
また、最優先オブジェクト選択部２２４は、例えば、図８に示すオブジェクト選択画面５２を表示する。オブジェクト選択画面５２では、素材データ５１から検出された、オブジェクト毎の代表画像のリストが表示されている。具体的には、オブジェクト選択画面５２では、静止画像３０１Ａから検出された、人物毎の顔画像５１Ａ〜５１Ｅのリストが表示されている。その場合、最優先オブジェクト選択部２２４は、素材情報３０２Ａとオブジェクト情報３０２Ｂとを用いて、人物毎の代表画像（顔画像）を選択し、選択した代表画像のリストを画面に表示する。ユーザは、リストから代表画像を選択することによって、当該代表画像に対応するオブジェクト（人物）を最優先オブジェクトに指定することができる。
【００４０】
最優先オブジェクト選択部２２４は、オブジェクト選択画面５０，５２等を用いて、ユーザによって指定されたオブジェクトを最優先オブジェクトに選択する。最優先オブジェクト選択部２２４は、選択された最優先オブジェクトの情報を動画再生部２３に出力する。
【００４１】
例えば、図５及び図６に示す例では、オブジェクトＩＤが“2”であるオブジェクト（すなわち、「Ｂさん」）が選択されたとき、最優先オブジェクト選択部２２４は、オブジェクトＩＤが“2”であるオブジェクトを最優先オブジェクトに選択する。したがって、グループ“A”では、オブジェクト画像ＩＤが“2, 10, 13”であるオブジェクト画像に対して最優先エフェクト（第１エフェクト）が施される。また、グループ“B”では、オブジェクト画像ＩＤが“26, 31”であるオブジェクト画像に対して最優先エフェクト（第１エフェクト）が施される。
【００４２】
上述の構成により、素材分析部２２は、入力された素材データ５１を分析し、優先オブジェクトと最優先オブジェクトとを選択する。なお、最優先オブジェクト選択部２２４によって選択された最優先オブジェクトが、優先オブジェクト選択部２２３によって選択された優先オブジェクトと同じであるとき、優先オブジェクト選択部２２３は、選択された優先オブジェクトを変更する。具体的には、優先オブジェクト選択部２２３は、出現頻度情報３０２Ｃに基づいて、現在選択されているオブジェクトの次に出現頻度が高いオブジェクトを、新たに優先オブジェクトに選択する。
【００４３】
動画再生部２３は、選択された優先オブジェクトと最優先オブジェクトとにエフェクトが施された動画像を生成する。動画像再生部２３は、抽出キー選択部２３１、素材情報抽出部２３２、テンプレート選択部２３３、エフェクト選択部２３４、合成動画生成部２３５、及び合成動画出力部２３６を備える。
【００４４】
抽出キー選択部２３１は、合成動画に用いる素材データ５１を抽出するための抽出キーを選択する。具体的には、抽出キー選択部２３１は、例えば、素材データ５１が分類されたグループのリストを画面に表示する。抽出キー選択部２３１は、表示されたリストから、ユーザによって選択されたグループを抽出キーに決定する。例えば、ユーザが、グループＩＤが“A”であるグループを選択したとき、抽出キー選択部２３１は、グループＩＤ“A”を抽出キーに決定する。なお、抽出キー選択部２３１は、素材データ５１が分類されたグループのリストから所定の条件を満たすグループ（例えば、生成日時が最も新しい素材データ５１を含むグループ）を選択してもよい。また、抽出キーには、素材データ５１が分類されたグループに限らず、例えば、素材データ５１の生成日時、属性、格納場所（素材データ５１が格納されているディレクトリ）等を指定することができる。抽出キー選択部２３１は、決定された抽出キーを素材情報抽出部２３２に出力する。
【００４５】
素材情報抽出部２３２は、素材情報データベース３０２に格納された素材情報３０２Ａ等を参照し、決定された抽出キーに基づいて合成動画に用いられる素材データ５１を選択する。図４に示す例では、例えば、抽出キーがグループＩＤ“A”であるとき、素材情報抽出部２３２は、素材ＩＤが“1”，“2”，“3”，“6”である素材データ５１を、合成動画に用いられる素材データ５１に選択する。素材情報抽出部２３２は、合成動画に用いられる素材データ５１が選択されたことをテンプレート選択部２３３に通知する。
【００４６】
テンプレート選択部２３３は、合成動画に用いられるテンプレート（テンプレートデータ）を選択する。テンプレートは、合成動画に用いられる素材データ５１の数、素材データ５１を出力するタイミング（例えば、静止画像３０１Ａを表示するタイミング、音声３０１Ｂを出力するタイミング等）、静止画像５１の画面上での配置、配色等を規定する。また、テンプレートデータは、例えばＨＤＤ１０９内に格納されている。テンプレート選択部２３３は、例えば、素材情報抽出部２３２によって選択された素材データ５１（合成動画に用いられる素材データ５１）を分析する。そして、テンプレート選択部２３３は、テンプレート情報３０３Ａを参照し、分析結果に基づいて、素材情報抽出部２３２によって選択された素材データ５１に適切なテンプレートを、合成動画に用いられるテンプレートに決定する。また、テンプレート選択部２３３は、例えば、ユーザによって選択されたテンプレートを合成動画に用いられるテンプレートに決定してもよい。
【００４７】
図９は、テンプレート情報３０３Ａの一構成例を示す。テンプレート情報３０３Ａは、例えば、テンプレートＩＤ、ファイル名、ファイルパス、及び属性を含む。「テンプレートＩＤ」は、テンプレートに一意に割り当てられる識別情報を示す。「ファイル名」は、テンプレートデータが格納されるファイルの名称を示す。「ファイルパス」は、「ファイル名」に示されるファイルが格納される場所（アドレス）を示す。「属性」は、テンプレートの属性情報を示す。この属性情報は、例えば、テンプレートの特徴（印象）を示す「華やか」、「楽しい」等のキーワードである。例えば、図９に示す例において、「テンプレートＩＤ」が“1”であるテンプレート情報３０３Ａは、「ファイル名」が“III”、「ファイルパス」が“III/III”、「属性」が“華やか”であることを示す。
【００４８】
テンプレート選択部２３３は、例えば、素材情報抽出部２３２によって選択された素材データ５１に適切な、テンプレートＩＤ“1”のテンプレートを合成動画に用いられるテンプレートに決定する。また、例えば、テンプレート選択部２３３は、ユーザによって選択されたテンプレートＩＤ“1”のテンプレートを合成動画に用いられるテンプレートに決定する。テンプレート選択部２３３は、テンプレートが決定されたことをエフェクト選択部２３４に通知する。
【００４９】
エフェクト選択部２３４は、合成動画に用いられるエフェクト（エフェクトデータ）を選択する。エフェクトは、合成動画に用いられる素材データ５１や素材データ５１に含まれるオブジェクトに装飾的な効果を施す。このエフェクトは、例えば、ズーム、回転、スライドイン／スライドアウト、枠等の画像の重畳表示、フェードイン／フェードアウト等である。エフェクトは、用いられる色、形状、動き（モーション）、オブジェクト等を変更することによって、ユーザに認識される印象が変化するように設計できる。エフェクトデータは、例えばＨＤＤ１０９内に格納されている。
【００５０】
エフェクト選択部２３４は、例えば、エフェクト情報３０３Ｂを参照して、最優先オブジェクト選択部２２４によって選択された最優先オブジェクトに施す最優先エフェクト（第１エフェクト）を選択する。同様に、エフェクト選択部２３４は、エフェクト情報３０３Ｂを参照して、優先オブジェクト選択部２２３によって選択された優先オブジェクトに施す優先エフェクト（第２エフェクト）を選択する。また、エフェクト選択部２３４は、エフェクト情報３０３Ｂを参照して、最優先オブジェクト及び優先オブジェクト以外のオブジェクト（通常のオブジェクト）に施す通常エフェクトを選択する。より具体的には、エフェクト選択部２３４は、例えば、最優先オブジェクト（優先オブジェクト）に対して、他のオブジェクトと区別するためのマークを付加するエフェクトや、他のオブジェクトに施されるエフェクトよりも視覚的な効果が高いエフェクトを選択する。なお、エフェクト選択部２３４は、ユーザによって指定されたエフェクトを、最優先エフェクト、優先エフェクト又は通常エフェクトに選択してもよい。
【００５１】
図１０は、エフェクト情報３０３Ｂの一構成例を示す。エフェクト情報３０３Ｂは、例えば、エフェクトＩＤ、ファイル名、ファイルパス、エフェクトレベル、属性を含む。「エフェクトＩＤ」は、エフェクト（エフェクトデータ）に一意に割り当てられる識別情報を示す。「ファイル名」は、エフェクトデータが格納されるファイルの名称を示す。「ファイルパス」は、「ファイル名」に示されるファイルが格納される場所（アドレス）を示す。「エフェクトレベル」は、当該エフェクトに適したオブジェクトのレベル（優先度）を示す。例えば、エフェクトレベルが１０である（エフェクトレベルが高い）エフェクトは、最優先オブジェクトに施される。例えば、エフェクトレベルが５である（エフェクトレベルが中間的な値）エフェクトは、優先オブジェクトに施される。また、例えば、エフェクトレベルが１である（エフェクトレベルが低い）エフェクトは、通常のオブジェクトに施される。「属性」は、エフェクトの属性情報を示す。この属性情報は、例えば、エフェクトの特徴（印象）を示す「目立つ」、「かわいい」等のキーワードである。
【００５２】
例えば、図１０に示す例において、「エフェクトＩＤ」が“1”であるエフェクト情報３０３Ｂは、「ファイル名」が“MMM”、「ファイルパス」が“MMM/MMM”、「エフェクトレベル」が“10”、「属性」が“目立つ”であることを示す。エフェクトレベルが“10”であることから、「エフェクトＩＤ」が“1”であるエフェクトは、最優先オブジェクトに適している。
【００５３】
エフェクト選択部２３４は、例えば、エフェクトＩＤ“1”のエフェクトを最優先エフェクトに選択する。エフェクト選択部２３４は、例えば、エフェクトＩＤ“3”のエフェクトを優先エフェクトに選択する。また、エフェクト選択部２３４は、例えば、エフェクトＩＤ“2”のエフェクトを通常エフェクトに選択する。エフェクト選択部２３４は、合成動画に用いられるエフェクトが決定したことを合成動画生成部２３５に通知する。
【００５４】
なお、素材抽出部２３２、テンプレート選択部２３３及びエフェクト選択部２３４は、それぞれにおいて選択した素材データ５１、テンプレート、エフェクトの情報を、合成動画データベース３０３に格納された合成動画生成情報３０３Ｃに記述する。合成動画データベース３０３は、例えばＨＤＤ１０９内に格納されている。
【００５５】
図１１及び図１２は、合成動画生成情報３０３Ｃの一構成例を示す。合成動画生成情報３０３Ｃは、例えば、管理ＩＤ、グループＩＤ、ファイル名、最優先オブジェクト、優先オブジェクト、合成動画テンプレート、最優先エフェクト、優先エフェクト、通常エフェクトを含む。「管理ＩＤ」は、合成動画に用いられる素材データ５１に一意に割り当てられる識別情報を示す。「グループＩＤ」は、当該素材データ５１が属するグループの識別情報を示す。「ファイル名」は、当該素材データ５１に対応するファイルの名称を示す。「最優先オブジェクト」は、当該素材データ５１に含まれるオブジェクト画像のうち、最優先オブジェクトに選択されたオブジェクト画像のオブジェクト画像ＩＤを示す。「優先オブジェクト」は、当該素材データ５１に含まれるオブジェクト画像のうち、優先オブジェクトに選択されたオブジェクト画像のオブジェクト画像ＩＤを示す。「合成動画テンプレート」は、合成動画に用いられるテンプレートのテンプレートＩＤを示す。「最優先エフェクト」は、最優先オブジェクトに施されるエフェクトのエフェクトＩＤを示す。「優先エフェクト」は、優先オブジェクトに施されるエフェクトのエフェクトＩＤを示す。「通常エフェクト」は、通常のオブジェクトに施されるエフェクトのエフェクトＩＤを示す。
【００５６】
例えば、抽出キー選択部２３１によって、グループＩＤ“A”のグループが抽出キーに選択されたとき、素材情報抽出部２３２は、図４に示す素材情報３０２Ａを参照して、グループ“A”に属する素材データ５１（素材ＩＤ“1, 2, 3, 6”）の情報を抽出する。そして、図１０の合成動画生成情報３０３Ｃに示すように、素材情報抽出部２３２は、合成動画に用いられる素材データ５１の「ファイル名」に“AAA.jpg”，“ABB.jpg”，“ACC.jpg”，“AFF.jpg”を記述する。また、素材情報抽出部２３２は、合成動画に用いられる素材データ５１の「グループＩＤ」に“A”を記述する。
【００５７】
次いで、例えば、最優先オブジェクト選択部２２４によって、オブジェクトＩＤ“2”のオブジェクトが最優先オブジェクトに選択されているとき、素材情報抽出部２３２は、合成動画に用いられる素材データ５１に含まれるオブジェクト画像のうち、オブジェクトＩＤ“2”に対応するオブジェクト画像ＩＤ（図６では、グループＩＤ“A”且つオブジェクトＩＤ“2”であるオブジェクト画像ＩＤ“2, 10, 13”）を、合成動画生成情報３０３Ｃの「最優先オブジェクト」に記述する。したがって、図１１では、管理ＩＤ“1”の素材データ５１に対応する最優先オブジェクトに“2”が、管理ＩＤ“2”の素材データ５１に対応する最優先オブジェクトに“10”が、管理ＩＤ“3”の素材データ５１に対応する最優先オブジェクトに“13”が記述される。なお、管理ＩＤ“4”の素材データ５１には、対応する最優先オブジェクト（オブジェクト画像）が登場しないため記載されない。
【００５８】
また、例えば、優先オブジェクト選択部２２３によって、出現頻度が最も高いオブジェクトＩＤ“1”のオブジェクトが優先オブジェクトに選択されているとき、素材情報抽出部２３２は、合成動画に用いられる素材データ５１に含まれるオブジェクト画像のうち、オブジェクトＩＤ“1”に対応するオブジェクト画像ＩＤ（図６では、グループＩＤ“A”且つオブジェクトＩＤ“1”であるオブジェクト画像ＩＤ“1, 9, 12, 30”）を、合成動画生成情報３０３Ｃの「優先オブジェクト」に記述する。したがって、図１１では、管理ＩＤ“1”の素材データ５１に対応する優先オブジェクトに“1”が、管理ＩＤ“2”の素材データ５１に対応する優先オブジェクトに“9”が、管理ＩＤ“3”の素材データ５１に対応する優先オブジェクトに“12”が、管理ＩＤ“4”の素材データ５１に対応する優先オブジェクトに“30”が記述される。
【００５９】
そして、テンプレート選択部２３３は、例えば、テンプレートＩＤ“1”のテンプレートを合成動画に用いられるテンプレートに決定したとき、合成動画生成情報３０３Ｃの「合成動画テンプレート」に“1”を記述する。
【００６０】
また、エフェクト選択部２３４は、例えば、エフェクトＩＤ“1”のエフェクトを合成動画に用いられる最優先エフェクトに決定したとき、合成動画生成情報３０３Ｃの「最優先エフェクト」に“1”を記述する。エフェクト選択部２３４は、例えば、エフェクトＩＤ“3”のエフェクトを合成動画に用いられる優先エフェクトに決定したとき、合成動画生成情報３０３Ｃの「優先エフェクト」に“3”を記述する。エフェクト選択部２３４は、例えば、エフェクトＩＤ“2”のエフェクトを合成動画に用いられる通常エフェクトに決定したとき、合成動画生成情報３０３Ｃの「通常エフェクト」に“2”を記述する。
【００６１】
また、抽出キー選択部２３１によって、グループＩＤ“B”のグループが抽出キーに選択されたときにも、同様にして、図１１に示す合成動画生成情報３０３Ｃが作成される。
【００６２】
合成動画生成部２３５は、上述の合成動画生成情報３０３Ｃを用いて合成動画を生成する。まず、合成動画生成部２３５は、合成動画生成情報３０３Ｃに記述されたファイル名及びＩＤに対応する素材データ５１、テンプレートデータ、エフェクトデータを、例えばＨＤＤ１０９から読み出す。そして、合成動画生成部２３５は、例えば、テンプレートに規定されたタイミング及び配置等に基づいて、素材データ５１が表示（出力）される合成動画を生成する。また、合成動画生成部２３５は、表示される素材データ５１に含まれるオブジェクトに対して、エフェクト選択部２３４により選択されたエフェクトを施す。具体的には、合成動画生成部２３５は、素材データ５１に登場する最優先オブジェクト（合成動画生成情報３０３Ｃの「最優先オブジェクト」に対応するオブジェクト画像）に最優先エフェクト（合成動画生成情報３０３Ｃの「優先エフェクト」に対応するエフェクト）を施す。合成動画生成部２３５は、素材データ５１に登場する優先オブジェクト（合成動画生成情報３０３Ｃの「優先オブジェクト」に対応するオブジェクト画像）に優先エフェクト（合成動画生成情報３０３Ｃの「優先エフェクト」に対応するエフェクト）を施す。そして、合成動画生成部２３５は、素材データ５１に登場する通常のオブジェクトに通常エフェクト（合成動画生成情報３０３Ｃの「通常エフェクト」に対応するエフェクト）を施す。合成動画生成部２３５は、生成した合成動画を合成動画出力部２３６に出力する。
【００６３】
図１３は、素材データ５１（静止画像３０１Ａ）に含まれるオブジェクトにエフェクトが施された合成動画の例（画面６２〜６４）を示す。なお、画面６１は、最優先オブジェクト選択部２２４によって最優先オブジェクトを選択するための最優先オブジェクト選択画面である。この画面６１では、図８に示す画面５２と同様に、静止画像３０１Ａに含まれる顔画像から選択された、人物毎の代表画像のリストが表示されている。ここでは、ユーザが、人物（代表画像）６１Ａを最優先オブジェクト（主役）に選択したことによって、最優先オブジェクト選択部２２４が、人物６１Ａを最優先オブジェクトに選択したことを想定する。また、優先オブジェクト選択部２２３が、出現頻度が高い人物６３Ａを優先オブジェクト（準主役）に選択したことを想定する。
【００６４】
画面６２では、最優先オブジェクトに選択された人物６１Ａに視覚的な効果が高いエフェクト（最優先エフェクト）６２Ａが施されている。また、画面６３では、優先オブジェクトに選択された人物６３Ａに優先エフェクト６３Ｂが施されている。また、画面６４に示すように、最優先オブジェクトに選択された人物６１Ａには、優先オブジェクトに選択された人物６３Ａに施された優先エフェクト６４Ｂよりも視覚的な効果が高い最優先エフェクト６４Ａが施されている。
【００６５】
なお、合成動画生成部２３５は、素材情報抽出部２３２によって抽出された素材５１（合成動画に用いられる素材データ５１）から、さらに素材データ５１を選択して合成動画を生成してもよい。これは例えば、選択されたテンプレートに用いられる素材数よりも、素材情報抽出部２３２によって抽出された素材数が多い際に行われる。合成動画生成部２３５は、例えば、最優先オブジェクト及び優先オブジェクトの少なくともいずれかを含む素材データ５１を、重要度が高い素材データ５１と見なし、素材情報抽出部２３２によって抽出された素材データ５１から優先的に選択する。また、重要度が高い素材データ５１が選択される度合いを示す指標（パラメータ）を設定し、この指標に基づいて、合成動画生成部２３５によって選択される素材データ５１に、重要度が高い素材データ５１が含まれる割合を決定してもよい。
【００６６】
図１４は、重要度が高い素材データ５１が選択される度合いを示す指標を設定するためのパラメータ設定画面７１の例を示す。パラメータ設定画面７１には、最優先オブジェクト及び優先オブジェクトに選択された人物７１Ａ〜７１Ｄが示されている。また、パラメータ設定画面７１には、重要度が高い素材データ５１が選択される度合いを指定するスライダー７１Ｅが表示されている。特に、パラメータ設定画面７１では、重要度が高い素材データ５１が選択される度合いを「人のゆらぎ」と称し、重要度が高い素材データ５１が含まれる割合を大きくする場合には、スライダー７１Ｅの値を小さく設定する。つまり、重要度が高い素材データ５１が含まれる割合を大きくする場合には、人物７１Ａ〜７１Ｄが登場する素材データ５１がより多く選択されるため、人物７１Ａ〜７１Ｄが登場する可能性が相対的に高く、「人のゆらぎ」が小さい素材データ５１（素材群）が選択されると云える。一方、重要度が高い素材データ５１が含まれる割合を小さくする場合には、スライダー７１Ｅの値を大きく設定する。つまり、重要度が高い素材データ５１が含まれる割合を小さくする場合には、人物７１Ａ〜７１Ｄが登場する素材データ５１以外の素材データ５１選択され易くなるため、人物７１Ａ〜７１Ｄ以外の人物が登場する可能性が相対的に高く、「人のゆらぎ」が大きい素材データ５１（素材群）が選択されると云える。
【００６７】
なお、エフェクト選択部２３４は、合成動画に用いられる素材データ５１に含まれるオブジェクト（最優先オブジェクト、優先オブジェクト、通常のオブジェクト）に対して、選択したエフェクト（最優先エフェクト、優先エフェクト、通常エフェクト）を施してもよい。その場合、エフェクト選択部２３４は、エフェクトが施されたオブジェクトを含む素材データ５１を合成動画生成部２３５に出力する。合成動画生成部２３５は、エフェクトが施されたオブジェクトを含む素材データ５１を用いて、合成動画（動画像）を生成する。
【００６８】
合成動画出力部２３６は、合成動画生成部２２２によって生成された合成動画を出力する。合成動画出力部２３６は、合成動画を再生し、画面（ＬＣＤ１７）に表示する。また、合成動画出力部２３６は、合成動画をエンコードし、エンコードした合成動画のファイルを所定の記憶装置（例えば、ＨＤＤ１０９等）に格納してもよい。
【００６９】
以上の構成により、動画像再生アプリケーションプログラム２０２は、エフェクトが施されるオブジェクトを容易に選択することができる。具体的には、最優先オブジェクト選択部２２４は、素材情報３０２Ａ、オブジェクト情報３０２Ｂ等を用いて、最優先オブジェクトの候補となるオブジェクトのリストを表示する。例えば、最優先オブジェクト選択部２２４は、オブジェクトのリストとして人物毎の代表画像のリストを表示する。ユーザは、表示されたリストからエフェクトを施したいオブジェクト（例えば、注目する人物）を容易に選択することができる。したがって、素材データ５１毎に、注目するオブジェクトやそのオブジェクトに施されるエフェクトを選択する方法よりも、ユーザによる作業を省力化することができる。
【００７０】
また、優先オブジェクト選択部２２３は、入力された素材データ５１を分析することによって、素材データ５１に含まれるオブジェクトの出現頻度情報３０２Ｃを生成する。そして、優先オブジェクト選択部２２３は、出現頻度が高いオブジェクト（例えば、人物）を優先オブジェクトに選択する。出現頻度が高いオブジェクトを優先オブジェクトに選択することにより、ユーザによる関心が高いと推定されるオブジェクトを、エフェクトが施されるオブジェクトとすることができる。したがって、ユーザが気付いていない（意識していない）ようなオブジェクトに対してもエフェクトを施すことができ、ユーザに対して新たな発見や意外性のある動画像を提供することもできる。
【００７１】
次いで、図１５のフローチャートを参照して、動画像再生アプリケーションプログラム２０２によって実行される素材分析・動画像生成処理の手順について説明する。  
まず、素材分析部２２は、素材入力部２１を介して入力された素材データ５１を分析し、分析結果に基づいて優先オブジェクトを選択する（ブロックＢ２０）。次に、最優先オブジェクト選択部２２４は、ユーザによって選択されたオブジェクトを最優先オブジェクトに決定する（ブロックＢ３０）。そして、合成動画生成部２３６は、エフェクトが施された、最優先オブジェクトと優先オブジェクトとを含む合成動画（動画像）を生成する（ブロックＢ４０）。以下では、図１６から図１８のフローチャートを参照して、各ブロックの詳細な手順を説明する。
【００７２】
図１６のフローチャートは、図１５のブロックＢ２０に対応する優先オブジェクト選択処理の手順の例を示す。  
まず、オブジェクト検出部２２１は、未処理の素材データ５１があるか否かを判定する（ブロックＢ２０１）。未処理の素材データ５１がある場合（ブロックＢ２０１のＹＥＳ）、オブジェクト検出部２２１は、素材データ５１からオブジェクトを検出する（ブロックＢ２０２）。具体的には、まず、オブジェクト検出部２２１は、素材データ５１からオブジェクトに対応する領域を検出する。そして、オブジェクト検出部２２１は、検出した領域に識別情報（オブジェクト画像ＩＤ）を付与する。次いで、オブジェクト検出部２２１は、検出した領域に対応するオブジェクトを認識する。認識されるオブジェクトには、識別情報（オブジェクトＩＤ）が付与されている。したがって、オブジェクト検出部２２１は、検出した領域毎に、オブジェクトＩＤとオブジェクト画像ＩＤとの対応を導出する。
【００７３】
次いで、オブジェクト検出部２２１は、ファイル名や生成日時等を含む素材データ５１に付加された情報と、オブジェクト画像の情報とを含む素材情報３０２Ａを生成する（ブロックＢ２０３）。そして、オブジェクト検出部２２１は、オブジェクトの認識結果に基づいて、オブジェクトＩＤと対応するオブジェクト画像ＩＤとを含むオブジェクト情報３０２Ｂを生成する（ブロックＢ２０４）。なお、当該オブジェクトＩＤに対応するオブジェクト情報３０２Ｂが既に素材情報データベース３０２に格納されている際には、オブジェクト検出部２２１は、そのオブジェクト情報３０２Ｂにオブジェクト画像ＩＤを追加して更新する。オブジェクト情報３０２Ｂが生成（更新）された後、オブジェクト検出部２２１は、再度ブロックＢ２０１の判定を行う。
【００７４】
未処理の素材データ５１がない場合（ブロックＢ２０１のＮＯ）、出現頻度算出部２２２は、素材情報３０２Ａとオブジェクト情報３０２Ｂとに基づいて、出現頻度情報３０２Ｃを生成（更新）する（ブロックＢ２０５）。出現頻度算出部２２２は、オブジェクト毎の出現回数を示す出現頻度情報３０２Ｃを生成する。そして、優先オブジェクト選択部２２３は、出現頻度情報３０２Ｃに基づいて優先オブジェクト（第２オブジェクト）を選択する（ブロックＢ２０６）。優先オブジェクト選択部２２３は、例えば、出現頻度が高い順に所定番目までのオブジェクトを優先オブジェクトに決定する。優先オブジェクト選択部２２３は、決定した優先オブジェクトに対応するオブジェクトＩＤを動画生成部２３５に出力する。
【００７５】
以上の処理により、優先オブジェクト選択部２２３は、優先的にエフェクトを施す対象である優先オブジェクト（第２オブジェクト）を決定することができる。
【００７６】
次いで、図１７のフローチャートは、図１５のブロックＢ３０に対応する最優先オブジェクト選択処理の手順の例を示す。  
まず、最優先オブジェクト選択部２２４は、素材情報３０２Ａとオブジェクト情報３０２Ｂとを用いて、オブジェクトのリストを表示する（ブロックＢ３０１）。最優先オブジェクト選択部２２４は、例えば、図７に示すように、静止画像３０１Ａ毎に、検出されたオブジェクト（例えば、顔画像）を選択可能に表示する。最優先オブジェクト選択部２２４は、例えば、各オブジェクトを枠で囲んで表示する。また、最優先オブジェクト選択部２２４は、例えば、図８に示すように、静止画像３０１Ａから検出された、人物毎の顔画像のリストを表示してもよい。
【００７７】
次に、最優先オブジェクト選択部２２４は、最優先オブジェクト（第１オブジェクト）の選択が完了したか否かを判定する（ブロックＢ３０２）。最優先オブジェクト選択部２２４は、例えば、選択されたオブジェクトを最優先オブジェクトに確定してよいか否かを確認するためのメッセージを表示する。そして、表示されたメッセージに対して、ユーザが確定してよいという指示を入力したこと（例えば、ＯＫボタンを押したこと）に応答して、最優先オブジェクト選択部２２４は選択が完了したと判定する。
【００７８】
最優先オブジェクトの選択が完了していない場合（ブロックＢ３０２のＮＯ）、最優先オブジェクト選択部２２４は、表示されたリストからオブジェクトが選択されたか否かを判定する（ブロックＢ３０３）。オブジェクトが選択されていない場合（ブロックＢ３０３のＮＯ）、最優先オブジェクト選択部２２４は、再度ブロックＢ３０２の判定を行う。
【００７９】
オブジェクトが選択されている場合（ブロックＢ３０３のＹＥＳ）、最優先オブジェクト選択部２２４は、選択されたオブジェクトを最優先オブジェクトに決定する（ブロックＢ３０４）。その際、最優先オブジェクトが既に決定されているとき（以前に選択されたオブジェクトが最優先オブジェクトに決定されているとき）には、最優先オブジェクト選択部２２４は、新たに選択されたオブジェクトを最優先オブジェクトに決定するための更新を行う。そして、最優先オブジェクトは、再度ブロックＢ３０２の判定を行う。
【００８０】
最優先オブジェクトの選択が完了している場合（ブロックＢ３０２のＹＥＳ）、最優先オブジェクト選択部２２４は、最優先オブジェクトを確定する。最優先オブジェクト選択部２２４は、確定された最優先オブジェクトに対応するオブジェクトＩＤを動画生成部２３５に出力する。
【００８１】
以上の処理により、最優先オブジェクト選択部２２４は、最優先にエフェクトを施す対象である最優先オブジェクト（第１オブジェクト）を選択することができる。なお、最優先オブジェクト選択部２２４によって選択された最優先オブジェクトが、優先オブジェクト選択部２２３によって選択された優先オブジェクトと同じであるとき、優先オブジェクト選択部２２３は、選択された優先オブジェクトを変更する。具体的には、優先オブジェクト選択部２２３は、出現頻度情報３０２Ｃに基づいて、現在選択されているオブジェクトの次に出現頻度が高いオブジェクトを、新たに優先オブジェクトに選択する。
【００８２】
また、図１８のフローチャートは、図１５のブロックＢ４０に対応する合成動画生成処理の手順の例を示す。  
まず、抽出キー選択部２３１は、合成動画に用いられる素材データ５１を抽出するための抽出キーを選択する（ブロックＢ４０１）。抽出キーには、例えば、素材データ５１の生成日時、属性、グループ、格納場所（素材データ５１が格納されているディレクトリ等）を指定することができる。また、抽出キーには、指定された静止画像３０１Ａを用いることもできる。抽出キー選択部２３１は、例えば、素材情報３０２Ａ等を用いて、抽出キーの候補のリストを表示する。ユーザが、表示されたリストから抽出キーに用いる抽出キー候補を選択したことに応答して、抽出キー選択部２３１は、選択された抽出キー候補を抽出キーに決定する。また、抽出キー選択部２３１は、所定の条件を満たす抽出キー候補を抽出キーに決定してもよい。
【００８３】
次に、素材情報抽出部２３２は、素材情報データベース３０２に格納された素材情報３０２Ａ等を参照し、決定された抽出キーに基づいて、合成動画に用いられる素材データ５１を選択する（ブロックＢ４０２）。つまり、素材情報抽出部２３２は、抽出キーに対応する素材データ５１を選択する。例えば、抽出キーに１つのグループが決定されたとき、素材情報抽出部２３２は、当該グループに属する素材データ５１を合成動画に用いられる素材データ５１に選択する。また、例えば、抽出キーに１つの静止画像３０１Ａが決定されたとき、素材情報抽出部２３２は、当該静止画像３０１Ａに関連する素材データ５１を合成動画に用いられる素材データ５１に選択する。
【００８４】
そして、テンプレート選択部２３３は、合成動画に用いられるテンプレートを選択する（ブロックＢ４０３）。テンプレート選択部２３３は、例えば、テンプレート情報３０３Ａを参照して、素材情報抽出部２３２によって選択された素材データ５１に適したテンプレートを選択する。また、テンプレート選択部２３３は、ユーザによって指定されたテンプレートを、合成動画に用いられるテンプレートに選択してもよい。
【００８５】
次いで、エフェクト選択部２３４は、合成動画に用いられるエフェクトを選択する（ブロックＢ４０４）。エフェクト選択部２３４は、例えば、エフェクト情報３０３Ｂを参照して、最優先オブジェクト選択部２２４によって選択された最優先オブジェクトに施す最優先エフェクト（第１エフェクト）を選択する。同様に、エフェクト選択部２３４は、エフェクト情報３０３Ｂを参照して、優先オブジェクト選択部２２３によって選択された優先オブジェクトに施す優先エフェクト（第２エフェクト）を選択する。また、エフェクト選択部２３４は、エフェクト情報３０３Ｂを参照して、最優先オブジェクト及び優先オブジェクト以外のオブジェクト（通常のオブジェクト）に施す通常エフェクトを選択する。なお、エフェクト選択部２３４は、ユーザによって指定されたエフェクトを、最優先エフェクト、優先エフェクト又は通常エフェクトに選択してもよい。
【００８６】
そして、合成動画生成部２３５は、選択された素材データ５１、テンプレート及びエフェクトを用いて合成動画を生成する（ブロックＢ４０５）。合成動画生成部２３５は、テンプレートに指定されたタイミング及び配置等に基づいて、素材データ５１が表示（出力）される合成動画を生成する。また、合成動画生成部２３５は、表示される素材データ５１に含まれるオブジェクトに対して、エフェクト選択部２３４により選択されたエフェクトを施す。具体的には、合成動画生成部２３５は、素材データ５１に登場する最優先オブジェクトに最優先エフェクトを施す。合成動画生成部２３５は、素材データ５１に登場する優先オブジェクトに優先エフェクトを施す。そして、合成動画生成部２３５は、素材データ５１に登場する通常のオブジェクトに通常エフェクトを施す。合成動画生成部２３５は、生成した合成動画を合成動画出力部２３６に出力する。
【００８７】
次いで、合成動画出力部２３６は、合成動画の出力方法が再生とファイル出力のいずれであるかを判定する（ブロックＢ４０６）。合成動画を再生する出力方法が選択されている場合（ブロックＢ４０６の再生）、合成動画出力部２３６は、合成動画を再生し、画面に出力する（ブロックＢ４０７）。一方、合成動画をファイル出力する出力方法が選択されている場合（ブロックＢ４０６のファイル出力）、合成動画出力部２３６は、合成動画を所定の形式でファイルに出力する（ブロックＢ４０８）。
【００８８】
以上の処理により、合成動画生成部２３５は、指定されたエフェクトが施された最優先オブジェクトと優先オブジェクトとを含む合成動画を生成することができる。なお、最優先オブジェクト選択部２２４及び優先オブジェクト選択部２２３は、素材情報抽出部２３２によって合成動画に用いられる素材データ５１が選択された後に、それぞれ最優先オブジェクトと優先オブジェクトとを選択してもよい。つまり、最優先オブジェクト選択部２２４及び優先オブジェクト選択部２２３は、合成動画に用いられる素材データ５１に含まれるオブジェクトから、最優先オブジェクトと優先オブジェクトとを選択してもよい。
【００８９】
以上説明したように、本実施形態によれば、エフェクトが施されるオブジェクトを容易に決定できる。最優先オブジェクト選択部２２４は、例えば、オブジェクトの候補を示すリストからユーザによって選択されたオブジェクトを、最優先オブジェクトに決定する。また、優先オブジェクト選択部２２３は、例えば、出現頻度が高いオブジェクトを優先オブジェクトに決定する。そして、合成動画生成部２３５は、合成動画に用いられる素材データ５１に登場する最優先オブジェクトと優先オブジェクトとに、指定されたエフェクトを施す。これにより、ユーザが注目する（重要度が高い）オブジェクトにエフェクトが施された動画像を容易に作成することができる。
【００９０】
なお、本実施形態の動画像生成処理の手順は全てソフトウェアによって実行することができる。このため、動画像生成処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００９１】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９２】
１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、２１…素材入力部、２２…素材分析部、２２１…オブジェクト検出部、２２２…出現頻度算出部、２２３…優先オブジェクト選択部、２２４…最優先オブジェクト選択部、２３…動画再生部、２３１…抽出キー選択部、２３２…素材情報抽出部、２３３…テンプレート選択部、２３４…エフェクト選択部、２３５…合成動画生成部、２３６…合成動画出力部、３０１…素材データベース、３０１Ａ…静止画像データ、３０１Ｂ…音声データ、３０１Ｃ…動画像データ、３０２…素材情報データベース、３０２Ａ…素材情報、３０２Ｂ…オブジェクト情報、３０２Ｃ…出現頻度情報、３０３…合成動画生成部、３０３Ａ…テンプレート情報、３０３Ｂ…エフェクト情報、３０３Ｃ…合成動画生成情報、５１…素材データ。
【図１】
0005550446.tif 000002
【図２】
0005550446.tif 000003
【図３】
0005550446.tif 000004
【図４】
0005550446.tif 000005
【図５】
0005550446.tif 000006
【図６】
0005550446.tif 000007
【図７】
0005550446.tif 000008
【図８】
0005550446.tif 000009
【図９】
0005550446.tif 000010
【図１０】
0005550446.tif 000011
【図１１】
0005550446.tif 000012
【図１２】
0005550446.tif 000013
【図１３】
0005550446.tif 000014
【図１４】
0005550446.tif 000015
【図１５】
0005550446.tif 000016
【図１６】
0005550446.tif 000017
【図１７】
0005550446.tif 000018
【図１８】
0005550446.tif 000019