(57)【要約】【課題】１以上の静止画像を用いて作成される動画像を効率的に管理できる電子機器を実現する。【解決手段】中間ファイル生成部３２３は、フォトムービーに用いられる１以上の静止画像データ５１及び音声データ４１Ａ、並びに該静止画像に施されるエフェクト４１Ｂ及びトランジション４１Ｃの情報を記述した中間ファイル４３Ａを生成する。動画像データ生成部３２６は、フォトムービーの再生が要求されたときに、中間ファイル４３Ａに基づいて、動画像データを生成する。再生部３２７は生成された動画像データを再生して、画面に表示する。再生履歴管理部３２８は、再生されたフォトムービーを示す情報を履歴情報データ４４Ａとして保存する。インタラクティブ再生制御部３２４は、履歴情報データ４４Ａに基づいて、フォトムービーの再生履歴一覧を表示し、選択されたフォトムービーに対応する中間ファイル４３Ａに基づいて、動画像データを再生する。【選択図】図３
2011193386.tif 000002
【特許請求の範囲】
【請求項１】
１以上の静止画像の各々が、所定の表示タイミングで表示される動画像を再生する第１再生手段と、
前記第１再生手段によって再生された動画像に用いられる、前記１以上の静止画像の各々が格納される位置と、前記表示タイミングとを示す動画情報データを生成する動画情報データ生成手段と、
前記第１再生手段によって再生された動画像の再生履歴一覧を表示する表示手段と、
前記再生履歴一覧から選択された動画像を、該選択された動画像に対応する動画情報データに基づいて再生する第２再生手段とを具備することを特徴とする電子機器。
【請求項２】
前記第２再生手段は、前記選択された動画像に対応する動画情報データに基づいて、前記１以上の静止画像の各々が前記表示タイミングで表示される動画像を再生することを特徴とする請求項１記載の電子機器。
【請求項３】
前記第１再生手段は、前記１以上の静止画像の各々にエフェクトが施された動画像を再生し、
前記動画情報データは、前記１以上の静止画像の各々に施されたエフェクトを示し、
前記第２再生手段は、前記動画情報データに基づいて、前記１以上の静止画像の各々にエフェクトが施された動画像を再生することを特徴とする請求項１記載の電子機器。
【請求項４】
前記動画情報データは、顔検出によって得られる前記１以上の静止画像の各々に含まれる顔情報に応じて適切なエフェクトを選択し、顔に注目する動作情報を設定することを特徴とする請求項１記載の電子機器。
【請求項５】
前記第１再生手段は、音声が所定の出力タイミングで出力される動画像を再生し、
前記動画情報データは、前記音声と前記出力タイミングとを示し、
前記第２再生手段は、前記音声が前記出力タイミングで出力される動画像を再生することを特徴とする請求項１記載の電子機器。
【請求項６】
前記１以上の静止画像は、静止画像群からランダムに選択された静止画像を含むことを特徴とする請求項１記載の電子機器。
【請求項７】
前記１以上の静止画像は、所定の人物の顔画像を含む静止画像を含むことを特徴とする請求項１記載の電子機器。
【請求項８】
前記１以上の静止画像は、所定の日時又は期間に作成された静止画像を含むことを特徴とする請求項１記載の電子機器。
【請求項９】
１以上の静止画像の各々が、所定の表示タイミングで表示される動画像を再生する第１再生ステップと、
前記第１再生ステップにおいて再生された動画像に用いられる、前記１以上の静止画像の各々が格納される位置と、前記表示タイミングとを示す動画情報データを生成する動画情報データ生成ステップと、
前記第１再生ステップにおいて再生された動画像の再生履歴一覧を表示する表示ステップと、
前記再生履歴一覧から選択された動画像を、該選択された動画像に対応する動画情報データに基づいて再生する第２再生ステップとを具備することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を表示する電子機器及び該機器に適用される画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルフォトフレーム等と称される画像再生装置が普及し始めている。デジタルフォトフレームは、例えば、カード型記憶メディアに格納される複数枚の静止画像を所定時間間隔で順次表示する機能を有している。例えばパーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームと同様に、複数枚の静止画像を所定時間間隔で順次表示する機能を有するものが一般的である。
【０００３】
特許文献１には、複数の画像を用いてスライドショーを作成するスライドショー作成装置が開示されている。このスライドショー作成装置では、ユーザにより選択された画像に適したテンプレートを用いて、スライドショーを作成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４０９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、１以上の静止画像を順次表示するためのデータを、動画像データとして保存することがある。しかし、静止画像群から多数の動画像データが生成された場合、それら多数の動画像データのデータ量は膨大になる可能性がある。
【０００６】
本発明は上述の事情を考慮してなされたものであり、１以上の静止画像を用いて作成される動画像を効率的に管理できる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明の電子機器は、１以上の静止画像の各々が、所定の表示タイミングで表示される動画像を再生する第１再生手段と、前記第１再生手段によって再生された動画像に用いられる、前記１以上の静止画像の各々が格納される位置と、前記表示タイミングとを示す動画情報データを生成する動画情報データ生成手段と、前記第１再生手段によって再生された動画像の履歴一覧を表示する表示手段と、前記動画像の履歴一覧から選択された動画像を、該選択された動画像に対応する動画情報データに基づいて再生する第２再生手段とを具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、１以上の静止画像を用いて作成される動画像を効率的に管理できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器のシステム構成を示すブロック図。
【図３】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムの機能構成を示すブロック図。
【図４】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる素材情報の例を示す図。
【図５】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる中間ファイルの例を示す図。
【図６】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる再生履歴情報の例を示す図。
【図７】同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムにより表示される、フォトムービーのインタラクティブ作成画面の例を示す図。
【図８】同実施形態の実行される動画像再生アプリケーションプログラムにより表示される、フォトムービーの再生履歴一覧画面の例を示す図。
【図９】同実施形態の電子機器によって実行される動画像再生処理の手順の例を示すフローチャート。
【図１０】同実施形態の電子機器によって実行されるインタラクティブ再生処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
【００１１】
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。
【００１２】
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。さらに、コンピュータ本体１１の背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【００１３】
図２は、本コンピュータ１０のシステム構成を示す図である。  
本コンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。
【００１４】
ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像再生アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像再生アプリケーションプログラム２０２は、フォトムービー（動画像）再生機能を有している。このフォトムービー再生機能は、例えば、ＨＤＤ１０９等に格納された写真等のデジタルコンテンツを用いて、フォトムービーを作成及び再生（表示）する機能である。さらに、このフォトムービー機能は、フォトムービーに用いる１以上の静止画像（写真）が格納される位置（ファイルパス）と、これら１以上の静止画像の各々が表示される表示タイミングとを示す動画像情報データ（中間ファイル）を作成する機能を含む。動画像再生アプリケーションプログラム２０２は、この動画像情報データに基づいて、１以上の静止画像の各々が所定の表示タイミングで表示される動画像を再生し、画面（ＬＣＤ１７）に表示する。
【００１５】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１６】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１７】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３及びＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
【００１８】
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００１９】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２０】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂ又はＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００２１】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。
【００２２】
次に、図３を参照して、以上のような構成をもつ本コンピュータ１０上で動作する動画像再生アプリケーションプログラム２０２の一機能構成を説明する。ここでは、動画像再生アプリケーションプログラム２０２が有する機能のうち、フォトムービー機能を実現するための構成例について説明する。このフォトムービー機能は、ＨＤＤ１０９に格納された静止画像データ５１だけでなく、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して外部デバイス（デジタルカメラ、メモリカード）からリードされた静止画像データ５１に対しても適用することができる。なお、図３に示す静止画像データ５１は、写真データのみならず、動画像データから抽出された画像フレームであってもよい。
【００２３】
図３に示すように、動画像再生アプリケーションプログラム２０２は、インデキシング部３１及びフォトムービー表示制御部３２を備える。  
インデキシング部３１は、各静止画像５１に対応する素材情報データ４２Ａを生成するためのインデキシング処理を実行する。素材情報データ４２Ａは、素材データベース４１（ＨＤＤ１０９）に格納された静止画像データ５１の中から目的の静止画像を探し出すために用いられる。
【００２４】
インデキシング処理では、例えば、静止画像データ５１から顔画像を検出する顔検出処理が実行される。複数の顔画像を含む静止画像については、それら複数の顔画像それぞれが検出される。顔画像の検出は、例えば、静止画像データの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像内に含まれる各顔画像の位置（座標）、サイズ、正面度等が検出される。
【００２５】
また、インデキシング部３１は、検出された顔画像を分類してもよい。インデキシング部３１は、静止画像データ５１から検出された複数の顔画像を、同一の人物と推定される顔画像別のグループに分類する。さらに、インデキシング部３１は、検出された顔画像に対応する人物を識別してもよい。その場合、インデキシング部３１は、例えば、識別する人物の顔画像特徴サンプルを用いて、検出された顔画像がその人物であるか否かを判定する。
【００２６】
また、インデキシング部３１は、静止画像に含まれるオブジェクトや撮像日時等に基づいてイベントを推定するイベント検出処理を実行する。インデキシング部３１は、例えば、誕生日やクリスマス等のイベントの日付と、静止画像の撮像日時との対応に基づいて、静止画像に対して推定されるイベントを決定する。
【００２７】
さらに、インデキシング部３１は、撮像日時に基づいて静止画像をグループ化するグループ化処理を実行してもよい。インデキシング部３１は、例えば、撮像日時が時間的に連続する２つの静止画像データ５１において、その撮像日時の差がしきい値より小さいときに、これら２つの静止画像データ５１を同一のグループに分類する。また、インデキシング部３１は、例えば、撮像日時の差がしきい値以上であるときに、これら２つの静止画像データ５１を別のグループに分類する。また、静止画像データ５１が動画像データを構成する複数のフレームそれぞれの画像であった場合には、例えば、前後で画像の特徴が大きく変化するいわゆるシーンチェンジ箇所を検出し、各シーンを１区間とすることでグループ化を行う。このように、インデキシング部３１は、各静止画像が属するグループを決定する。
【００２８】
インデキシング部３１は、インタフェース部を介して外部デバイスからリードされた静止画像データ５１を素材データベース４１に格納する。また、インデキシング部３１は、格納された静止画像データ５１に上述のインデキシング処理を施す。インデキシング部３１は、当該インデキシング処理により得られた、顔画像情報、イベント情報、グループ情報等を含む素材情報データ４２Ａを素材情報データベース４２に格納する。
【００２９】
なお、インデキシング部３１は、ＨＤＤ１０９内の所定のディレクトリを監視し、このディレクトリに新たに格納された静止画像データ５１に対してインデキシング処理を施してもよい。インデキシング部３１は、このディレクトリ内の静止画像データ５１に対するインデキシング処理により得られた、顔画像情報、イベント情報、グループ情報等を含む素材情報データ４２Ａを同様に、素材情報データベース４２に格納する。なお、この所定のディレクトリは、例えば素材データベース４１に対応する。
【００３０】
素材データベース４１は、静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ等の素材データが格納されるＨＤＤ１０９内に用意された記憶領域である。音声データ４１Ａは、フォトムービーのＢＧＭとして用いられる音楽や効果音等のデータを含む。エフェクトデータ４１Ｂは、フォトムービーに用いられる静止画像に対して、ズーム、回転、スライドイン／スライドアウト、枠等の画像の重畳表示、フェードイン／フェードアウト等のエフェクトを施すためのデータを含む。トランジションデータ４１Ｃは、フォトムービーにおいて、画面（静止画像）が切り替えられる際に用いられるズーム、回転、スライドイン／スライドアウト、枠等の画像の重畳表示、フェードイン／フェードアウト等のトランジションのデータを含む。また、素材データベース４１には、各フォトムービーの代表サムネイル画像や、フォトムービーに登場する人物の顔画像も格納され得る。
【００３１】
また、素材情報データベース４２は、素材情報データ４２Ａが格納されるＨＤＤ１０９内に用意された記憶領域である。図４は、素材情報データ４２Ａの一構成例を示す。  
素材情報データ４２Ａは、画像情報データ４２Ｂ、音声情報データ４２Ｃ、エフェクト情報データ４２Ｄ、トランジション情報データ４２Ｅを含む。画像情報データ４２Ｂは、静止画像５１毎の画像データファイルパス、撮像日時、顔画像情報、イベント情報、グループ情報等を含む。
【００３２】
画像データファイルパスは、各静止画像データ５１のファイルパス（パス）を示す。  
撮像日時は、各静止画像５１の撮像日時を示す時刻情報である。なお、静止画像データ５１が動画像データを構成する複数のフレームそれぞれの画像であった場合、動画像データの撮像日時、すなわち、動画像データの先頭フレームの撮像日時と、複数のフレームの各々のフレーム番号とに基づいて、各フレームの撮像日時（タイムスタンプ情報）が算出される。
【００３３】
顔画像情報は、静止画像５１に捉えられた人物の顔画像に関する情報を含む。顔画像情報は、インデキシング部３１によって抽出された顔画像、並びに当該顔画像の正面度、サイズ、及び分類情報を含む。正面度は、顔が正面から撮影された度合いを示す。サイズは、抽出された顔画像の大きさを示す。分類情報は、インデキシング部３１によって、同一の人物と推定される顔画像別のグループの情報を示す。なお、分類情報は、顔画像に基づいて識別された人物の情報を示してもよい。顔画像情報は、静止画像５１が人物を含む場合に、その人数分だけ記録される。
【００３４】
イベント情報は、インデキシング部３１によるイベント検出処理によって検出された、静止画像５１に対応するイベントの情報を示す。イベント情報は、イベントＩＤ、分類情報等を含む。イベントＩＤは、各イベントに一意に割り当てられる識別情報である。なお、イベントＩＤは、イベントの名称であってもよい。分類情報は、イベントが分類されるカテゴリやイベントの属性等を示す情報である。
【００３５】
グループ情報は、インデキシング部３１によるグループ化処理によって、静止画像５１が分類されたグループの情報を示す。グループ情報は、グループＩＤ、分類情報等を含む。グループＩＤは、各グループに一意に割り当てられる識別情報である。なお、グループＩＤは、グループの名称であってもよい。分類情報は、グループが分類されるカテゴリやグループの属性等を示す情報である。
【００３６】
音声情報データ４２Ｃは、音声データ４１Ａ毎の音声データファイルパス、分類情報等を含む。音声データファイルパスは、各音声データ４１Ａのファイルパスを示す。分類情報は、音声データ４１Ａが分類されるカテゴリや音声データの属性を示す情報である。
【００３７】
エフェクト情報データ４２Ｄは、エフェクトデータ４１Ｂ毎のエフェクトデータファイルパス、分類情報等を含む。エフェクトデータファイルパスは、各エフェクトデータ４１Ｂのファイルパスを示す。分類情報は、エフェクトデータ４１Ｂが分類されるカテゴリやエフェクトデータの属性を示す情報である。
【００３８】
トランジション情報データ４２Ｅは、トランジションデータ４１Ｃ毎のトランジションデータファイルパス、分類情報等を含む。トランジションデータファイルパスは、各トランジションデータ４１Ｃのファイルパスを示す。分類情報は、トランジションデータ４１Ｃが分類されるカテゴリやトランジションデータの属性を示す情報である。
【００３９】
この素材情報データ４２Ａを用いることにより、各静止画像データ５１について、その静止画像内に顔画像が含まれるか否か、その静止画像に含まれる顔画像の数、指定されたイベントに対応する静止画像があるか否か、その静止画像がどのグループに属しているか、等を判定することが可能となる。換言すれば、この素材情報データ４２Ａを用いて、目的の人物が写っている静止画像データ５１、目的の人物が写っており且つ特定のイベントに対応する静止画像データ５１等を、ＨＤＤ１０９に格納された１以上の静止画像データ５１の中から速やかに探し出すことができる。
【００４０】
フォトムービー表示制御部３２は、この素材情報データ４２Ａを用いて、素材データベース４１に格納された１以上の静止画像データ５１の中から所定の条件を満たす一つ又は複数の静止画像データを選択する。そして、フォトムービー表示制御部３２は、選択された一つ又は複数の静止画像データを用いて、フォトムービーを作成及び再生（表示）する。
【００４１】
フォトムービー表示制御部３２は、インタラクティブ作成部３２１、自動作成部３２２、中間ファイル生成部３２３、インタラクティブ再生制御部３２４、自動再生制御部３２５、動画像データ生成部３２６、再生部３２７、及び再生履歴管理部３２８を備える。
【００４２】
フォトムービー表示制御部３２は、フォトムービーを作成する機能として、フォトムービーをインタラクティブに作成する機能（インタラクティブ作成モード）、及びフォトムービーを自動で作成する機能（自動作成モード）を有する。フォトムービーをインタラクティブに作成する機能は、例えば、ユーザが操作画面（ＧＵＩ）を用いて指定した条件を満たす１以上の静止画像を用いて、フォトムービーを作成する機能である。また、フォトムービーを自動で作成する機能は、例えば、新着の静止画像、作成する際の日時に関連する静止画像、ランダムに選択された静止画像等を含む１以上の静止画像を用いて、フォトムービーを作成する機能である。
【００４３】
また、フォトムービー表示制御部３２は、フォトムービーを再生する機能として、フォトムービーをインタラクティブに再生する機能（インタラクティブ再生モード）、及びフォトムービーを自動で再生する機能（自動再生モード）を有する。フォトムービーをインタラクティブに再生する機能は、例えば、ユーザが操作画面（ＧＵＩ）を用いて選択したフォトムービーを再生する機能である。また、フォトムービーを自動で再生する機能は、例えば、新着のフォトムービー、再生する際の日時に関連するフォトムービー、ランダムに選択されたフォトムービー等を再生する機能である。
【００４４】
以下では、まず、インタラクティブ作成モードでフォトムービーを作成するための処理について説明する。インタラクティブ作成部３２１は、ユーザによる指示に応じて、フォトムービーを作成する条件を決定する。まず、インタラクティブ作成部３２１は、ユーザが指定した１以上の静止画像を、静止画像データ５１から選択する。また、インタラクティブ作成部３２１は、ユーザが指定した人物、イベント、撮像日時、グループ等の条件を満たす１以上の静止画像を、静止画像データ５１から選択してもよい。さらに、インタラクティブ作成部３２１は、ユーザが指定した静止画像と、人物、イベント、撮像日時、グループ等が同一、又は関連する１以上の静止画像を、静止画像データ５１から選択してもよい。
【００４５】
次いで、インタラクティブ作成部３２１は、ユーザが指定した音声データ、エフェクトデータ、及びトランジションデータを、それぞれ音声データ４１Ａ、エフェクトデータ４１Ｂ、及びトランジションデータ４１Ｃから選択する。なお、インタラクティブ作成部３２１は、ユーザによって指定されたスタイル（例えば、セレモニーやハッピーなど）に対応する分類情報や属性を有する音声データ、エフェクトデータ、及びトランジションデータを選択してもよい。また、インタラクティブ作成部３２１は、ユーザによる指示に応じて選択された１以上の静止画像に適した分類情報や属性を有する音声データ、エフェクトデータ、及びトランジションデータを選択してもよい。これら選択される音声データ、エフェクトデータ、及びトランジションデータはそれぞれ複数であってもよい。複数のデータを選択することにより、例えば、一つのフォトムービーの中で、１以上の静止画像の各々に異なるエフェクトを施し、静止画像の切り替わり毎に異なるトランジションを施し、フォトムービーの途中でＢＧＭとして用いられる音声データを変更することができる。なお、インタラクティブ作成部３２１は、選択された１以上の静止画像から、ユーザによって指定されたスタイルやＢＧＭとして用いられる音声データに適した静止画像をさらに選択してもよい。
【００４６】
インタラクティブ作成部３２１は、選択された音声データが出力されるタイミング等を示す音声パラメータ、選択されたエフェクトデータが施される静止画像及びそのタイミング等を示すエフェクトパラメータ、並びに選択されたトランジションデータが施される静止画像の切り替わり（切り替わり前後の静止画像）及びそのタイミング等を示すトランジションパラメータを決定する。エフェクトパラメータ及びトランジションパラメータには、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。これらパラメータには、例えば、ユーザにより操作画面を用いて設定された値を用いる。また、ユーザによって指定されたスタイルに対応するパラメータを用いてもよい。
【００４７】
なお、インタラクティブ作成部３２１は、顔検出処理によって得られる１以上の静止画像の各々に含まれる顔情報（顔画像情報）に応じて、適切なエフェクトデータ、トランジションデータ、音声データを選択し、静止画像に含まれる顔に注目する動作情報（エフェクトパラメータ、トランジションパラメータ、音声パラメータ）を設定してもよい。
【００４８】
インタラクティブ作成部３２１は、選択された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータ（音声パラメータ、エフェクトパラメータ、トランジションパラメータ）を中間ファイル生成部３２３に出力する。
【００４９】
中間ファイル生成部３２３は、インタラクティブ作成部３２１から出力された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータを用いて、中間ファイル４３Ａを生成する。中間ファイル４３Ａは、静止画像データ５１から選択された１以上の静止画像の各々が格納される位置（ファイルパス）と、１以上の静止画像の各々を画面に表示する表示タイミングとを示す動画情報データを含む。より具体的には、中間ファイル４３Ａは、１以上の静止画像の各々の格納位置を示すファイルパス、各静止画像に施されるエフェクトデータのファイルパスとエフェクトパラメータ、静止画像の切り替わり時に施されるトランジションデータのファイルパスとトランジションパラメータ、及び静止画像の表示と併せて出力される音声データのファイルパスと音声パラメータを含む。中間ファイル４３Ａは、例えば、ＸＭＬ形式で記述される。
【００５０】
図５は、中間ファイル４３Ａの一構成例を示す。中間ファイル４３Ａは、フォトムービーの作成日時、タイトル、画像ファイル情報、エフェクト情報、トランジション情報、音声ファイル情報、代表サムネイル画像ファイル情報、登場人物情報等の情報を含む。
【００５１】
作成日時は、フォトムービーの作成日時を示す時刻情報である。タイトルは、フォトムービーに付与された題名等の名称である。  
画像ファイル情報は、フォトムービーに含まれる１以上の静止画像５１（画像ファイル）の各々のファイルパス（パス）を示す情報である。エフェクト情報は、エフェクトデータ４１Ｂを示すファイルパスと、静止画像にエフェクトを施す際に用いられるエフェクトパラメータとを含む。トランジション情報は、トランジションデータ４１Ｃを示すファイルパスと、静止画像が切り替わる際にトランジションを施す際に用いられるトランジションパラメータとを含む。音声ファイル情報は、フォトムービーに含まれる音声データ４１Ａ（音声データファイル）のファイルパスと、フォトムービー中で音声データを出力するタイミング等を示す音声パラメータを含む。代表サムネイル画像ファイル情報は、フォトムービーを代表するサムネイル画像のファイルパスを示す情報である。登場人物情報は、フォトムービーに登場する人物の名前（人物名）と、人物の顔画像のファイルパスとを示す情報である。なお、中間ファイル４３Ａは、データファイルではなく、データベース内のテーブルに記述されるデータ群（レコード）であってもよい。
【００５２】
中間ファイル生成部３２３は、生成した中間ファイル４３Ａを中間ファイルデータベース４３に格納する。なお、中間ファイル４３Ａに含まれる、タイトル、代表サムネイル画像ファイル情報、及び登場人物情報には、ユーザによって指定された情報を記述してもよいし、フォトムービーに用いられる静止画像等に基づいて適宜決定された情報を記述してもよい。
【００５３】
動画像再生アプリケーション２０２は、フォトムービーを再生する要求に応答して、上述の中間ファイル４３Ａに基づく動画像データを再生する。つまり、フォトムービーを再生するための動画像データは、フォトムービーの再生が要求されたときに、該フォトムービーに対応する（すなわち、該フォトムービーの構成を記述した）中間ファイル４３Ａに基づいて作成される。したがって、ＨＤＤ１０９等の記憶装置には、フォトムービーに対応する中間ファイル４３Ａと、フォトムービーに用いられる静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ等とが格納され、データ量が大きい動画像データ自体を格納しておく必要がない。したがって、フォトムービーに対応する中間ファイル４３Ａを用いることにより、フォトムービーのデータ量を削減することができる。つまり、中間ファイル４３Ａは、画像データ、音声データ等の実際のデータを含まず、これらデータへのリンク情報を含むため、フォトムービーに対応するデータ量を削減することができる。
【００５４】
次いで、自動作成モードでフォトムービーを作成するための処理について説明する。まず、自動作成部３２２は、フォトムービーに用いる１以上の静止画像を、静止画像データ５１から選択する。自動作成部３２２は、例えば、新着の静止画像、作成する際の日時に関連する静止画像、ランダムに選択された静止画像等を、フォトムービーに用いる静止画像として選択する。また、自動作成部３２２は、選択された１以上の静止画像に適した音声データ、エフェクトデータ、トランジションデータ等を選択する。
【００５５】
自動作成部３２２は、選択された音声データが出力されるタイミング等を示す音声パラメータ、選択されたエフェクトデータが施される静止画像及びそのタイミング等を示すエフェクトパラメータ、並びに選択されたトランジションデータが施される静止画像の切り替わり（切り替わり前後の静止画像）及びそのタイミング等を示すトランジションパラメータを決定する。エフェクトパラメータ及びトランジションパラメータには、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。これらパラメータには、例えば、選択された１以上の静止画像の撮像日時、顔画像情報、イベント情報、グループ情報等に適した値が設定される。
【００５６】
なお、自動作成部３２２は、顔検出処理によって得られる１以上の静止画像の各々に含まれる顔情報（顔画像情報）に応じて、適切なエフェクトデータ、トランジションデータ、音声データを選択し、静止画像に含まれる顔に注目する動作情報（エフェクトパラメータ、トランジションパラメータ、音声パラメータ）を設定してもよい。
【００５７】
自動作成部３２２は、選択された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータ（音声パラメータ、エフェクトパラメータ、トランジションパラメータ）を中間ファイル生成部３２３に出力する。
【００５８】
中間ファイル生成部３２３は、自動作成部３２２から出力された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータを用いて、中間ファイル４３Ａを生成する。中間ファイル４３Ａは、静止画像データ５１から選択された１以上の静止画像の各々が格納される位置（ファイルパス）と、１以上の静止画像の各々を画面に表示する表示タイミングとを示す動画情報データを含む。より具体的には、中間ファイル４３Ａは、１以上の静止画像の各々の格納位置を示すファイルパス、各静止画像に施されるエフェクトデータのファイルパスとエフェクトパラメータ、静止画像の切り替わり時に施されるトランジションデータのファイルパスとトランジションパラメータ、及び静止画像の表示と併せて出力される音声データのファイルパスと音声パラメータを含む。中間ファイル４３Ａは、図４を参照して上述した構成と同様である。中間ファイル生成部３２３は、生成した中間ファイル４３Ａを中間ファイルデータベース４３に格納する。なお、中間ファイル４３Ａに含まれる、タイトル、代表サムネイル画像ファイル情報、及び登場人物情報には、ユーザによって指定された情報を記述してもよいし、フォトムービーに用いられる静止画像等に基づいて適宜決定された情報を記述してもよい。
【００５９】
なお、自動作成部３２２は、動画像再生アプリケーション２０２が起動されている間に、自動的に（次々と）フォトムービーを作成してもよい。つまり、動画像再生アプリケーション２０２は、自動作成モードで動作しているとき、自動的に（次々と）フォトムービーを作成してもよい。
【００６０】
次いで、インタラクティブ再生モードでフォトムービーを再生する処理について説明する。インタラクティブ再生制御部３２４は、ユーザにより選択されたフォトムービーを再生する。具体的には、インタラクティブ再生制御部３２４は、作成されたフォトムービーの一覧やフォトムービーの再生履歴一覧を画面に表示する。フォトムービーの一覧には、例えば、フォトムービー毎のタイトル、代表サムネイル画像、登場人物の名前や顔画像等が表示される。
【００６１】
インタラクティブ再生制御部３２４は、一覧からフォトムービーが選択されたことに応答して、選択されたフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出す。そして、インタラクティブ再生制御部３２４は、読み出した中間ファイル４３Ａを動画像データ生成部３２６に出力する。
【００６２】
動画像データ生成部３２６は、インタラクティブ再生制御部３２４から出力された中間ファイル４３Ａに基づいて、動画像データを生成する。具体的には、動画像データ生成部３２６は、中間ファイル４３Ａに含まれる画像ファイル情報、エフェクト情報、トランジション情報、音声ファイル情報等に基づいて、動画像データを生成する。
【００６３】
まず、動画像データ生成部３２６は、画像ファイル情報に含まれる１以上の静止画像の各々のファイルパスに基づいて、素材データベース４１から静止画像データ５１を読み出す。同様に、動画像データ生成部３２６は、エフェクト情報に含まれるエフェクトデータのファイルパス、トランジション情報に含まれるトランジションデータのファイルパス、及び音声ファイル情報に含まれる音声データのファイルパスに基づいて、素材データベース４１から対応するエフェクトデータ４１Ｂ、トランジションデータ４１Ｃ、及び音声データ４１Ａを読み出す。
【００６４】
次いで、動画像データ生成部３２６は、エフェクト情報に含まれるエフェクトパラメータに基づいて、読み出された静止画像データ５１に対してエフェクトを施し、トランジション情報に含まれるトランジションパラメータに基づいて、静止画像データ５１に対してトランジションを施すことにより、動画像データを生成する。エフェクトパラメータ及びトランジションパラメータには、上述のように、ズームの位置や倍率、回転の位置や角度、スライドイン／スライドアウトのスピード、枠等の画像が重畳表示される位置やサイズ、フェードイン／フェードアウトの時間等が含まれ得る。動画像データ生成部３２６は、このようなパラメータに指定された値に基づいて、エフェクトやトランジションが施された静止画像データ５１が表示される動画像データを生成する。
【００６５】
また、動画像データ生成部３２６は、音声ファイル情報に含まれる音声パラメータに基づいて、この動画像データに音声データを合成する。動画像データ生成部３２６は、音声パラメータに含まれるタイミング情報や音量情報等に指定された値に基づいて、音声データが合成された動画像データを生成する。
【００６６】
次いで、自動作成モードでフォトムービーを再生する処理について説明する。自動再生制御部３２５は、例えば、新着のフォトムービー、作成する際の日時に関連するフォトムービー、ランダムに選択されたフォトムービー等を、再生対象のフォトムービーとして選択する。自動再生制御部３２５は、選択されたフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出す。そして、自動再生制御部３２５は、読み出した中間ファイルを動画像データ生成部３２６に出力する。
【００６７】
動画像データ生成部３２６は、自動再生制御部３２５から出力された中間ファイル４３Ａに基づいて、動画像データを生成する。具体的には、動画像データ生成部３２６は、中間ファイル４３Ａに含まれる画像ファイル情報、エフェクト情報、トランジション情報、音声ファイル情報等に基づいて、動画像データを生成する。動画像データ生成の詳細な処理は、上述したインタラクティブ再生モードにおける動画像データ生成処理と同様である。なお、自動再生制御部３２２は、動画像再生アプリケーション２０２が起動されている間に、自動的に（次々と）再生対象のフォトムービーを決定してもよい。つまり、動画像再生アプリケーション２０２は、自動再生モードで動作しているとき、自動的に（次々と）フォトムービーを再生してもよい。
【００６８】
また、動画像データ生成部３２６は、インタラクティブ作成部３２１又は自動作成部３２２から出力される、選択された１以上の静止画像、音声データ、エフェクトデータ、及びトランジションデータの各々のファイルパス、並びに各データに対応するパラメータ（音声パラメータ、エフェクトパラメータ、トランジションパラメータ）に基づいて、動画像データ（フォトムービー）を生成してもよい。その場合、動画像データ生成部３２６では、インタラクティブ作成部３２１又は自動作成部３２２から出力された、上記のファイルパス及びパラメータを示す情報に基づいて、動画像データが生成されると共に、中間ファイル生成部３２３では、上記のファイルパス及びパラメータを示す情報に基づいて、中間ファイル４３Ａが生成される。つまり、インタラクティブ作成部３２１又は自動作成部３２２において指定された条件に基づくフォトムービーを再生すると共に、フォトムービーを再度、再生する際に用いられる、該フォトムービーに対応する中間ファイル４３Ａを生成し、保存することができる。
【００６９】
再生部３２７は、動画像データ生成部３２６によって作成された動画像データ（フォトムービー）を再生する。再生部３２７は、再生された動画像データをＬＣＤ１７の画面に表示する。
【００７０】
再生履歴管理部３２８は、再生部３２７によって再生された動画像データ（フォトムービー）を示す履歴情報データを保存する。再生履歴管理部３２８は、この履歴情報データを再生情報データベース４４に格納された再生履歴情報データ４４Ａに記録する。再生履歴管理部３２８は、例えば、再生部３２７によるフォトムービーの再生が完了したことに応答して、当該フォトムービーを示す履歴情報データを保存する。また、再生履歴管理部３２８は、例えば、再生された複数のフォトムービーのうち、再生日時が新しい、所定数のフォトムービーを示す履歴情報データを保存する。つまり、再生履歴管理部３２８は、再生日時が古いフォトムービーを示す履歴情報データを、再生履歴情報データ４４Ａから順次、削除する。
【００７１】
再生履歴管理部３２８は、ユーザによって指定されたフォトムービーを示す情報を、お気に入り情報データとして保存してもよい。再生履歴管理部３２８は、このお気に入り情報データを再生情報データベース４４に格納されたお気に入り情報データ４４Ｂに記録する。再生履歴管理部３２８は、ユーザによる操作画面等を介した指示に応答して、指定されたフォトムービーを示すお気に入り情報データを保存する。
【００７２】
図６は、再生情報データベース４４に格納される再生履歴情報データ４４Ａ及びお気に入り情報データ４４Ｂの一構成例を示す。  
再生履歴情報データ４４Ａは、中間ファイルパス、再生日時、再生回数等を含む。中間ファイルパスは、再生されたフォトムービーに対応する中間ファイル４３Ａのファイルパスを示す。再生日時は、フォトムービーの再生日時を示す時刻情報である。再生回数は、フォトムービーが再生された回数を示す。
【００７３】
お気に入り情報データ４４Ｂは、中間ファイルパス、登録日時、再生回数等を含む。中間ファイルパスは、お気に入りに指定されたフォトムービーに対応する中間ファイル４３Ａのファイルパスを示す。登録日時は、フォトムービーのお気に入りのフォトムービーとして登録された日時を示す時刻情報である。再生回数は、フォトムービーが再生された回数を示す。
【００７４】
インタラクティブ再生制御部３２４は、再生情報データベース４４から再生履歴情報データ４４Ａを読み出し、再生済みのフォトムービーの一覧を画面（ＬＣＤ１７）に表示する。インタラクティブ再生制御部３２４は、再生済みのフォトムービーの一覧を、例えば、作成日時順、再生日時順等に並べて表示してもよい。
【００７５】
また、インタラクティブ再生制御部３２４は、再生情報データベース４４からお気に入り情報データ４４Ｂを読み出し、お気に入りのフォトムービーの一覧を画面（ＬＣＤ１７）に表示する。インタラクティブ再生制御部３２４は、お気に入りのフォトムービーの一覧を、例えば、作成日時順、登録日時順等に並べて表示してもよい。
【００７６】
インタラクティブ再生制御部３２４は、再生済みのフォトムービーの一覧又はお気に入りのフォトムービーの一覧から選択されたフォトムービーを検出し、このフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出す。動画像データ生成部３２６は、読み出された中間ファイル４３Ａに基づいて、動画像データを生成する。そして、再生部３２７は、生成された動画像データを再生し、画面に表示する。
【００７７】
インタラクティブ作成モードで作成されたフォトムービーと、自動作成モードで作成されたフォトムービーはいずれも、作成される日時が変わることに伴って変動する条件やランダムに決定される条件に基づいて作成されることがある。また、素材データベース４１には、随時、新たな静止画像データ５１等が追加される可能性がある。そのため、動画像再生アプリケーション２０２は、作成の度に異なるフォトムービーを作成する可能性が高い。換言すると、動画像再生アプリケーション２０２では、ユーザが同様の作成条件を指定したとしても、同一のフォトムービーを作成することが困難である可能性がある。そのため、ユーザが、例えば、一度再生したフォトムービーを再度、再生したいときには、複数のフォトムービーの中から、そのフォトムービーを探し出す必要がある。しかしこれは、自動作成モードによりフォトムービーが作成される場合等、大量のフォトムービーが作成されている場合には、困難である可能性がある。
【００７８】
そこで、本実施形態の動画像再生アプリケーション２０２は、上述のように、フォトムービーの再生履歴を再生履歴情報データ４４Ａとして保存し、再生履歴情報データ４４Ａに基づくフォトムービーの一覧をユーザに提示する。これにより、ユーザは、最近再生したフォトムービーを容易に探し出すことができる。また、動画像再生アプリケーション２０２は、ユーザにより指定されたフォトムービーを、「お気に入り」としてお気に入り情報データ４４Ｂに保存し、お気に入り情報データ４４Ｂに基づくフォトムービーの一覧をユーザに提示する。これにより、ユーザは、お気に入りのフォトムービーを容易に探し出すことができる。再生履歴情報やお気に入り情報を用いたフォトムービー一覧の表示は、ＨＤＤ１０９等の記憶装置に格納された静止画像データ５１から自動的に次々とフォトムービーを作成し再生するような、大量のフォトムービーが作成される場合に特に有効である。
【００７９】
図７は、動画像再生アプリケーションプログラム２０２（インタラクティブ作成部３２１）により表示される、フォトムービーのインタラクティブ作成画面５１の例を示す。ユーザは、インタラクティブ作成画面５１を用いて、フォトムービーの作成条件等を指定する。インタラクティブ作成画面５１は、スタイル選択ボタン５１Ａ、音楽選択ボタン５１Ｂ、人物選択ボタン５１Ｃ、フォトムービー再生ボタン５１Ｄ、プレビュー画面５１Ｅ（インタラクティブ作成画面５１における背景部分）等を備える。
【００８０】
図７に示すインタラクティブ作成画面５１の例では、プレビュー画面５１Ｅに表示される１枚の静止画像が選択されている。ユーザは、フォトムービーに用いる静止画像をさらに選択することもできる。また、動画像再生アプリケーション２０２（インタラクティブ作成部３２１）は、選択されている１枚の静止画像に関連する静止画像を、静止画像データ５１から選択することもできる。
【００８１】
動画像再生アプリケーション２０２は、スタイル選択ボタン５１Ａが押された（クリックされた）ことに応答して、スタイル選択画面５２に遷移する。ユーザは、スタイル選択画面５２において、「セレモニー」や「ハッピー」など、フォトムービーに適したスタイルを選択する。動画像再生アプリケーション２０２は、選択されたスタイルに応じて、選択された１以上の静止画像に施されるエフェクトやトランジション等を決定する。また、動画像再生アプリケーション２０２は、選択されたスタイルに応じて、フォトムービーに用いられる音声データを決定してもよい。
【００８２】
動画像再生アプリケーション２０２は、音楽選択ボタン５１Ｂが押されたことに応答して、音楽選択画面５３に遷移する。ユーザは、音楽選択画面５３において、フォトムービーのＢＧＭ等に用いられる音声データを選択する。動画像再生アプリケーション２０２は、選択された音声データをフォトムービーのＢＧＭ等に決定する。
【００８３】
動画像再生アプリケーション２０２は、人物選択ボタン５１Ｃが押されたことに応答して、注目人物選択画面５４に遷移する。ユーザは、注目人物選択画面５４において、注目する人物を選択する。ユーザは、例えば、顔画像のリストから注目する人物を選択する。動画像再生アプリケーション２０２は、選択された人物に基づいて、フォトムービーに用いられる１以上の静止画像を選択することができる。また、動画像再生アプリケーション２０２は、選択された人物が注目されるように、静止画像に施されるエフェクトやトランジション等を決定することもできる。
【００８４】
動画像再生アプリケーション２０２は、フォトムービー再生ボタン５１Ｄが押されたことに応答して、フォトムービー再生画面５５に遷移する。フォトムービー再生画面５５では、インタラクティブ作成画面５１、スタイル選択画面５２、音楽選択画面５３、注目人物選択画面５４で選択された条件に基づいて作成されたフォトムービーが再生される。具体的には、動画像再生アプリケーション２０２は、インタラクティブ作成画面５１等で指定された条件に従って選択された１以上の静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ、及びこれらデータに関するパラメータの情報が記載された中間ファイル４３Ａを生成する。そして、動画像再生アプリケーション２０２は、中間ファイル４３Ａに基づいて、動画像データを生成する。動画像再生アプリケーション２０２は、生成された動画像データを再生し、フォトムービー再生画面５５に表示する。これにより、ユーザは、インタラクティブ作成画面５１等において指定した条件に基づいて作成されたフォトムービーを視聴することができる。
【００８５】
なお、動画像再生アプリケーション２０２は、インタラクティブ作成画面５１等で指定された条件に従って選択された１以上の静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ、及びこれらデータに関するパラメータの情報に基づいて、フォトムービー（動画像）を再生してもよい。つまり、動画像再生アプリケーション２０２は、１以上の静止画像データ５１、音声データ４１Ａ、エフェクトデータ４１Ｂ、トランジションデータ４１Ｃ、及びこれらデータに関するパラメータの情報に基づいて、フォトムービーを再生することと、中間ファイル４３Ａを生成することとを行う。
【００８６】
また、図８は、動画像再生アプリケーションプログラム２０２（インタラクティブ再生制御部３２４）により表示される、フォトムービーの再生履歴画面５６の例を示す。インタラクティブ再生制御部３２４は、上述のように、再生情報データベース４４から再生履歴情報データ４４Ａを読み出し、再生履歴情報データ４４Ａに基づいて、再生履歴画面５６を表示する。再生履歴画面５６は、プレビュー画面５６０、フォトムービー再生履歴一覧５６１、ファイル書き出しボタン５６２、削除ボタン５６３、お気に入り登録ボタン５６４、再生ボタン５６５等を備える。フォトムービー再生履歴一覧５６１には、再生済みのフォトムービーを表すボタンのリストが表示される。各ボタンには、フォトムービー毎の、タイトル、代表サムネイル画像、作成日時、登場人物の情報（例えば、名前や顔画像）等が表示される。
【００８７】
ユーザが、一覧から再生したいフォトムービーに対応するボタン５６１を押し（例えば、マウス等でクリックし）、再生ボタン５６５を選択したことに応答して、動画像データ生成部３２６は、選択されたフォトムービーに対応する中間ファイル４３Ａに基づいて、動画像データを生成する。そして、再生部３２７は、生成された動画像データを再生し、プレビュー画面５６０に表示する。なお、インタラクティブ再生制御部３２４は、選択されたフォトムービーの代表サムネイル画像をプレビュー画面５６０に表示してもよい。
【００８８】
ユーザが、一覧からファイルに書き出したいフォトムービーに対応するボタン５６１を押し、ファイル書き出しボタン５６２を押したことに応答して、動画像データ生成部３２６は、選択されたフォトムービーに対応する中間ファイルに基づいて、動画像データを生成する。そして、動画像データ生成部３２６は、生成された動画像データを所定のフォーマットに変換し、フォトムービーの動画像データファイルを作成する。
【００８９】
また、ユーザが、一覧から削除したいフォトムービーに対応するボタン５６１を押し、削除ボタン５６３を押したことに応答して、再生履歴管理部３２８は、選択されたフォトムービーに対応する履歴情報データを、再生履歴情報データ４４Ａから削除する。また、選択されたフォトムービーが、再生履歴一覧から削除される。なお、選択されたフォトムービー自体を削除してもよい。その場合、中間ファイルデータベース４３から、選択されたフォトムービーに対応する中間ファイル４３Ａが削除される。
【００９０】
さらに、ユーザが、一覧からお気に入りに登録したいフォトムービーに対応するボタン５６１を押し、お気に入り登録ボタン５６４を押したことに応答して、再生履歴管理部３２８は、選択されたフォトムービーに対応するお気に入り情報データを、お気に入り情報データ４４Ｂに記録する。インタラクティブ再生制御部３２４は、再生情報データベース４４からお気に入り情報データ４４Ｂを読み出し、フォトムービー再生履歴一覧と同様に、お気に入りのフォトムービーの一覧を画面に表示することができる。
【００９１】
次に、図９のフローチャートを参照して、動画像再生アプリケーションプログラム２０２によって実行される動画像再生処理の手順の例を説明する。  
まず、動画像再生アプリケーション２０２は、静止画像の入力が検出されたか否かを判定する（ステップＳ１０１）。動画像再生アプリケーション２０２は、例えば、静止画像が格納されるディレクトリを監視して、新たな静止画像が入力されたか否かを検出する。また、動画像再生アプリケーション２０２は、例えば、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して、静止画像が格納された外部デバイス（デジタルカメラ、メモリカード）が接続されたことに応答して、新たな静止画像が入力されたか否かを検出する。
【００９２】
静止画像の入力が検出されている場合（ステップＳ１０１のＹＥＳ）、動画像再生アプリケーション２０２は、入力された静止画像にインデキシング処理を施す（ステップＳ１０２）。動画像再生アプリケーション２０２は、入力された静止画像を解析し、静止画像に含まれる顔画像に関する情報、静止画像に対応するイベントに関する情報、静止画像が属するグループの情報等を、素材情報データ４２Ａに格納する。
【００９３】
静止画像の入力が検出されていない場合（ステップＳ１０１のＮＯ）、動画像再生アプリケーション２０２は、フォトムービーの作成が要求されているか否かを判定する（ステップＳ１０３）。フォトムービーの作成が要求されている場合（ステップＳ１０３のＹＥＳ）、動画像再生アプリケーション２０２は、インタラクティブ作成モードによる作成が要求されているか否かを判定する（ステップＳ１０４）。具体的には、動画像再生アプリケーション２０２は、インタラクティブ作成モードによる作成と自動作成モードによる作成のいずれが要求されているかを判定する。
【００９４】
インタラクティブ作成モードによる作成が要求されている場合（ステップＳ１０４のＹＥＳ）、動画像再生アプリケーション２０２は、ユーザにより指定された条件に基づいて、フォトムービーに対応する中間ファイル４３Ａを作成する（ステップＳ１０５）。
【００９５】
インタラクティブ作成モードによる作成が要求されていない場合（すなわち、自動作成モードによる作成が要求されている場合）（ステップＳ１０４のＮＯ）、動画像再生アプリケーション２０２は、所定の条件に基づいて、フォトムービーに対応する中間ファイル４３Ａを作成する（ステップＳ１０６）。
【００９６】
そして、動画像再生アプリケーション２０２は、ステップＳ１０５又はステップＳ１０６において作成された中間ファイル４３Ａを中間ファイルデータベース４３に格納する（ステップＳ１０７）。なお、インタラクティブ作成モードで中間ファイル４３Ａが作成された場合、動画像再生アプリケーション２０２は、インタラクティブ再生モードに移行し、作成した中間ファイルに４３Ａに基づく動画像データを再生してもよい。また、自動作成モードで中間ファイル４３Ａが作成された場合、動画像再生アプリケーション２０２は、自動再生モードに移行して、作成した中間ファイル４３Ａに基づく動画像データを再生してもよい。さらに、インタラクティブ作成モードで、ユーザにより指定された条件に基づいて中間ファイル４３Ａが作成される場合、動画像再生アプリケーション２０２は、ユーザにより指定された条件、すなわち、フォトムービーに用いられるデータのファイルパス及びパラメータを示す情報に基づく動画像データを再生してもよい。また、自動作成モードで、所定の条件に基づいて中間ファイル４３Ａが作成される場合、動画像再生アプリケーション２０２は、所定の条件、すなわち、フォトムービーに用いられるデータのファイルパス及びパラメータを示す情報に基づく動画像データを再生してもよい。
【００９７】
フォトムービーの作成が要求されていない場合（ステップＳ１０３のＮＯ）、動画像再生アプリケーション２０２は、フォトムービーの再生が要求されているか否かを判定する（ステップＳ１０８）。フォトムービーの再生が要求されている場合（ステップＳ１０８のＹＥＳ）、動画像再生アプリケーション２０２は、インタラクティブ再生モードによる再生が要求されているか否かを判定する（ステップＳ１０９）。具体的には、動画像再生アプリケーション２０２は、インタラクティブ再生モードによる再生と、自動再生モードによる再生のいずれが要求されているかを判定する。
【００９８】
インタラクティブ再生モードによる再生が要求されている場合（ステップＳ１０９のＹＥＳ）、動画像再生アプリケーション２０２は、インタラクティブ再生処理を実行する（ステップＳ１１０）。動画像再生アプリケーション２０２は、ユーザにより選択されたフォトムービーに対応する中間ファイル４３Ａに基づいて、動画像データを生成する。インタラクティブ再生処理の詳細は、図１０のフローチャートを参照して後述する。
【００９９】
インタラクティブ再生モードによる再生が要求されていない場合（すなわち、自動再生モードによる再生が要求されている場合）（ステップＳ１０９のＮＯ）、動画像再生アプリケーション２０２は、所定の条件に基づいてフォトムービーを選択する（ステップＳ１１１）。この所定の条件では、例えば、作成された日時が新しいフォトムービー（新着のフォトムービー）や、再生する際の日時（現在の日時）に関連するイベントに対応するフォトムービー（例えば、明日が誕生日であるとき、去年の誕生日のフォトムービー）が選択される。動画像再生アプリケーション２０２は、選択されたフォトムービーに対応する中間ファイル４３Ａに基づいて、動画像データを生成する（ステップＳ１１２）。
【０１００】
次いで、動画像再生アプリケーション２０２は、ステップＳ１１０又はステップＳ１１２において作成された動画像データを再生し、画面に表示する（ステップＳ１１３）。そして、動画像再生アプリケーション２０２は、再生されたフォトムービーを示す履歴情報データ４４Ａを、再生情報データベース４４に格納する（ステップＳ１１４）。
【０１０１】
以上の処理により、動画像再生アプリケーション２０２は、入力された静止画像に対するインデキシング、インタラクティブ作成モード又は自動作成モードによるフォトムービーの作成、及びインタラクティブ再生モード又は自動再生モードによるフォトムービーの再生を行うことができる。
【０１０２】
次いで、図１０のフローチャートを参照して、動画像再生アプリケーションプログラム２０２によって実行されるインタラクティブ再生処理の手順の例について説明する。  
まず、動画像再生アプリケーション２０２は、フォトムービーの再生履歴一覧（再生履歴画面５６）の表示が要求されているか否かを判定する（ステップＳ２０１）。再生履歴画面５６を表示するための要求は、例えば、ユーザによる操作によって入力される。
【０１０３】
再生履歴画面５６の表示が要求されている場合（ステップＳ２０１のＹＥＳ）、動画像再生アプリケーション２０２は、再生情報データベース４４から再生履歴情報データ４４Ａを読み出し、フォトムービーの再生履歴一覧を画面に表示する（ステップＳ２０２）。ユーザは、表示されたフォトムービーの再生履歴一覧から、再生したいフォトムービーを選択する。
【０１０４】
一方、再生履歴画面５６の表示が要求されていない場合（ステップＳ２０１のＮＯ）、動画像再生アプリケーション２０２は、作成されているフォトムービーの一覧を画面に表示する（ステップＳ２０３）。動画像再生アプリケーション２０２は、例えば、中間ファイル４３Ａとして保存されている全てのフォトムービーの一覧を画面に表示する。また、動画像再生アプリケーション２０２は、例えば、ユーザにより指定された日時（期間）、登場人物、イベント等の条件を満たすフォトムービーの一覧を画面に表示する。ユーザは、表示されたフォトムービーの一覧から、再生したいフォトムービーを選択する。
【０１０５】
次いで、動画像再生アプリケーション２０２は、選択されたフォトムービーに対応する中間ファイル４３Ａを中間ファイルデータベース４３から読み出し、読み出した中間ファイル４３Ａに基づいて、動画像データを生成する（ステップＳ２０４）。生成された動画像データは再生され、ユーザは、フォトムービーの一覧又はフォトムービーの再生履歴一覧から選択したフォトムービーを視聴することができる。
【０１０６】
以上説明したように、本実施形態によれば、１以上の静止画像を用いて作成される動画像を効率的に管理できる。本実施形態の動画像再生アプリケーション２０２は、フォトムービーに用いられる１以上の静止画像５１及び音声データ４１Ａ、並びに該静止画像に施されるエフェクトデータ４１Ｂ及びトランジションデータ４１Ｃを示す情報を記述した中間ファイル４３Ａを生成する。そして、フォトムービーを実際に再生するための動画像データは、フォトムービーの再生が要求されたときに、この中間ファイル４３Ａに基づいて作成される。これにより、データ量が大きな動画像データ自体を保存しておく必要がなく、フォトムービーの保存に要するデータ量を削減することができる。
【０１０７】
また、例えば、フォトムービーが大量に作成された場合には、大量のフォトムービーから所望のフォトムービーを探し出すことは困難である。そのため、動画像再生アプリケーション２０２は、フォトムービーの再生履歴情報やお気に入り情報等に基づく、フォトムービーの一覧を表示する。これにより、ユーザは容易に所望のフォトムービーを探し出すことができる。
【０１０８】
なお、本実施形態の動画像再生処理の手順は全てソフトウェアによって実行することができる。このため、動画像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【０１０９】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１０】
１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、３１…インデキシング部、３２…フォトムービー表示制御部、３２１…インタラクティブ作成部、３２２…自動作成部、３２３…中間ファイル作成部、３２４…インタラクティブ再生制御部、３２５…自動再生制御部、３２６…動画像データ生成部、３２７…再生部、３２８…再生履歴管理部、４１…素材データベース、４２…素材情報データベース、４３…中間ファイルデータベース、４４…再生情報データベース、５１…静止画像データ。
【図１】
2011193386.tif 000003
【図２】
2011193386.tif 000004
【図３】
2011193386.tif 000005
【図４】
2011193386.tif 000006
【図５】
2011193386.tif 000007
【図６】
2011193386.tif 000008
【図７】
2011193386.tif 000009
【図８】
2011193386.tif 000010
【図９】
2011193386.tif 000011
【図１０】
2011193386.tif 000012
【手続補正書】
【提出日】平成23年7月8日(2011.7.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１以上の静止画像に含まれる顔画像を検出する顔検出手段と、
前記検出された顔画像を用いて、前記１以上の静止画像に適した１以上のエフェクトを選択し、前記選択された１以上のエフェクトが前記１以上の静止画像に施される１以上のタイミングを決定するエフェクト決定手段と、
前記決定された１以上のタイミングで、前記選択された１以上のエフェクトが施された前記１以上の静止画像が表示される第１動画像を再生する第１再生手段と、
前記第１再生手段によって再生された第１動画像に用いられる、前記１以上の静止画像の各々が格納される位置と、前記１以上のエフェクトと、前記１以上のタイミングとを示す動画情報データを生成する動画情報データ生成手段と、
前記第１再生手段によって再生された動画像の再生履歴一覧を表示する表示手段と、
前記再生履歴一覧から前記第１動画像が選択された場合、前記第１動画像に対応する前記動画情報データに基づいて前記第１動画像を再生する第２再生手段とを具備することを特徴とする電子機器。
【請求項２】
前記第２再生手段は、前記動画情報データに基づいて、前記１以上のタイミングで、前記１以上のエフェクトが施された前記１以上の静止画像が表示される前記第１動画像を再生することを特徴とする請求項１記載の電子機器。
【請求項３】
前記第１再生手段は、音声が所定の出力タイミングで出力される前記第１動画像を再生し、
前記動画情報データは、前記音声と前記出力タイミングとをさらに示し、
前記第２再生手段は、前記動画情報データに基づいて、前記音声が前記出力タイミングで出力される前記第１動画像を再生することを特徴とする請求項１記載の電子機器。
【請求項４】
前記１以上の静止画像は、静止画像群からランダムに選択された静止画像を含むことを特徴とする請求項１記載の電子機器。
【請求項５】
前記１以上の静止画像は、所定の人物の顔画像を含む静止画像を含むことを特徴とする請求項１記載の電子機器。
【請求項６】
前記１以上の静止画像は、所定の日時又は期間に作成された静止画像を含むことを特徴とする請求項１記載の電子機器。
【請求項７】
１以上の静止画像に含まれる顔画像を検出する顔検出ステップと、
前記検出された顔画像を用いて、前記１以上の静止画像に適した１以上のエフェクトを選択し、前記選択された１以上のエフェクトが前記１以上の静止画像に施される１以上のタイミングを決定するエフェクト決定ステップと、
前記決定された１以上のタイミングで、前記選択された１以上のエフェクトが施された前記１以上の静止画像が表示される第１動画像を再生する第１再生ステップと、
前記第１再生ステップにおいて再生された第１動画像に用いられる、前記１以上の静止画像の各々が格納される位置と、前記１以上のエフェクトと、前記１以上のタイミングとを示す動画情報データを生成する動画情報データ生成ステップと、
前記第１再生ステップにおいて再生された動画像の再生履歴一覧を表示する表示ステップと、
前記再生履歴一覧から前記第１動画像が選択された場合、前記第１動画像に対応する前記動画情報データに基づいて前記第１動画像を再生する第２再生ステップとを具備することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上述の課題を解決するため、本発明の電子機器は、１以上の静止画像に含まれる顔画像を検出する顔検出手段と、前記検出された顔画像を用いて、前記１以上の静止画像に適した１以上のエフェクトを選択し、前記選択された１以上のエフェクトが前記１以上の静止画像に施される１以上のタイミングを決定するエフェクト決定手段と、前記決定された１以上のタイミングで、前記選択された１以上のエフェクトが施された前記１以上の静止画像が表示される第１動画像を再生する第１再生手段と、前記第１再生手段によって再生された第１動画像に用いられる、前記１以上の静止画像の各々が格納される位置と、前記１以上のエフェクトと、前記１以上のタイミングとを示す動画情報データを生成する動画情報データ生成手段と、前記第１再生手段によって再生された動画像の再生履歴一覧を表示する表示手段と、前記再生履歴一覧から前記第１動画像が選択された場合、前記第１動画像に対応する前記動画情報データに基づいて前記第１動画像を再生する第２再生手段とを具備することを特徴とする