(57)【特許請求の範囲】
【請求項１】
ユーザからの指示に基づき、動画像と静止画像とを含む画像群を取得する取得手段と、
前記取得手段により取得された画像群に含まれる前記動画像から抽出されるフレーム画像と前記静止画像とを含む画像の数が、閾値より多いか判定する判定手段と、
前記判定手段により前記画像の数が前記閾値より多いと判定された場合、前記取得手段により取得された画像群のうち一部の画像をレイアウトの処理対象として評価する特定モードで処理を実行することを決定する決定手段と、
前記特定モードにおいて、予め定められた参照値に基づき、前記取得手段により取得された画像群から選択する前記フレーム画像と前記静止画像とを含む画像総数を特定する特定手段と、
前記決定手段により前記特定モードで処理を実行すると決定された場合、前記取得手段により取得された画像群に含まれる動画像から、第１所定数の動画像と、第２所定数の静止画像とを選択する選択手段と、
前記選択手段により選択された動画像から複数のフレーム画像を生成する生成手段と、
を有し、
前記選択手段により選択される静止画像及び前記生成手段により生成されるフレーム画像の総数は、前記特定手段により特定された画像総数以下であることを特徴とする情報処理装置。
【請求項２】
前記決定手段は、ユーザからの指示に基づき、前記特定モードで処理を実行することを決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記選択手段により選択された前記第２所定数の静止画像と、前記生成手段により生成された複数のフレーム画像のそれぞれの評価を行う評価手段をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記評価手段の評価に基づいて、前記選択手段により選択された静止画像のうち少なくとも１つの静止画像と、前記生成手段により生成された複数のフレーム画像のうち少なくとも１つのフレーム画像とをテンプレートに配置してレイアウト画像を生成するレイアウト手段をさらに有することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記レイアウト手段は、前記テンプレートに配置した前記少なくとも１つのフレーム画像に基づき、前記選択手段にて選択された動画像からフレーム画像を前記生成手段にて生成させ、当該生成されたフレーム画像を前記テンプレートに配置した前記少なくとも１つのフレーム画像と置換して配置させることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記特定手段が用いる前記参照値は、前記レイアウト画像のページ数に応じて複数の値が予め定められており、
前記特定手段は、前記ページ数が第１のページ数の場合は、前記参照値として定められた第１参照値に基づき前記画像総数を特定し、前記ページ数が前記第１のページ数よりも多い第２のページ数の場合は、前記参照値として定められた第２参照値に基づき前記画像総数を特定し、
前記第２参照値は、前記第１参照値よりも大きいことを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記特定手段が用いる前記参照値は、前記レイアウト画像のページ数及び前記レイアウト画像に配置する画像の数に応じて複数の値が定められていることを特徴とする請求項４乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記選択手段により選択する動画像の数は、前記レイアウト画像のページ数に基づいて決定されることを特徴とする請求項４乃至７のいずれか一項に記載の情報処理装置。
【請求項９】
前記選択手段により選択される動画像の数は、前記画像群に含まれる静止画像の数に基づいて決定されることを特徴とする請求項１乃至７のいずれか一項に記載の情報処理装置。
【請求項１０】
前記決定手段により前記特定モードで処理を実行すると決定されなかった場合、前記選択手段は、前記取得手段により取得された画像群に含まれる全ての動画像および静止画像を選択することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
【請求項１１】
前記生成手段は、動画像から等間隔でフレームを抽出して前記フレーム画像を生成することを特徴とする請求項１乃至１０のいずれか一項に記載の情報処理装置。
【請求項１２】
ユーザからの指示に基づき、動画像と静止画像とを含む画像群を取得する取得工程と、
前記取得工程において取得された画像群に含まれる前記動画像から抽出されるフレーム画像と前記静止画像とを含む画像の数が、閾値より多いか判定する判定工程と、
前記判定工程において前記画像の数が前記閾値より多いと判定された場合、前記取得工程において取得された画像群のうち一部の画像をレイアウトの処理対象として評価する特定モードで処理を実行することを決定する決定工程と、
前記特定モードにおいて、予め定められた参照値に基づき、前記取得工程において取得された画像群から選択する前記フレーム画像と前記静止画像とを含む画像総数を特定する特定工程と、
前記決定工程において前記特定モードで処理を実行すると決定された場合、前記取得工程において取得された画像群に含まれる動画像から、第１所定数の動画像と、第２所定数の静止画像とを選択する選択工程と、
前記選択工程において選択された動画像から複数のフレーム画像を生成する生成工程と、
を有し、
前記選択工程において選択される静止画像及び前記生成工程において生成されるフレーム画像の総数は、前記特定工程において特定された画像総数以下であることを特徴とする処理方法。
【請求項１３】
請求項１乃至１１のいずれか一項に記載の情報処理装置の各手段としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、フォトアルバム作成アプリケーションを使って、複数の静止画像をフォトアルバム用のテンプレートに自動的に配置して、フォトアルバムを自動生成する製品がある。そして、特許文献１には、複数の画像の特徴情報に基づいて、アルバムにおける複数の画像をレイアウトするアルバム作成方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１２０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、動画像に基づく画像、すなわち、動画から切り出した画像をレイアウトしたレイアウト画像を作成することはできない。
【０００５】
また、静止画像と動画像から抽出された画像とを含むレイアウト画像を自動的に作成しようとした場合、レイアウト画像を作成する際に必要な画像を抽出するのに時間を要する、という問題点もある。
【０００６】
本発明は、静止画像と動画像から抽出された画像とを高速で自動抽出することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本願発明は以下の構成を有する。すなわち、情報処理装置であってユーザからの指示に基づき、動画像と静止画像とを含む画像群を取得する取得手段と、前記取得手段により取得された画像群に含まれる前記動画像から抽出されるフレーム画像と前記静止画像とを含む画像の数が、閾値より多いか判定する判定手段と、前記判定手段により前記画像の数が前記閾値より多いと判定された場合、前記取得手段により取得された画像群のうち一部の画像をレイアウトの処理対象として評価する特定モードで処理を実行することを決定する決定手段と、前記特定モードにおいて、予め定められた参照値に基づき、前記取得手段により取得された画像群から選択する前記フレーム画像と前記静止画像とを含む画像総数を特定する特定手段と、前記決定手段により前記特定モードで処理を実行すると決定された場合、前記取得手段により取得された画像群に含まれる動画像から、第１所定数の動画像と、第２所定数の静止画像とを選択する選択手段と、前記選択手段により選択された動画像から複数のフレーム画像を生成する生成手段と、を有し、前記選択手段により選択される静止画像及び前記生成手段により生成されるフレーム画像の総数は、前記特定手段により特定された画像総数以下である。
【発明の効果】
【０００８】
本発明によれば、静止画像と動画像から抽出された画像とを高速で自動抽出することができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置を含むシステムの構成の例を示す図。
【図２】ＰＣのハードウェア構成の例を示す図。
【図３】ＰＣのソフトウェア構成の例を示す図。
【図４】アプリケーションの画面の構成例を示す図。
【図５】フォトアルバムの自動作成処理を示すフローチャート。
【図６】フォトアルバムの自動作成処理を示すフローチャート。
【図７】静止画像の分類処理を示すフローチャート。
【図８】動画像から静止画像を抽出する処理を示すフローチャート。
【図９】フォトアルバムの自動作成処理を示すフローチャート。
【図１０】フォトアルバムの構成例を表す図。
【図１１】レイアウトテンプレートの構成例を示す図。
【図１２】レイアウトテンプレートのスロットの管理方法を説明するための図。
【図１３】スロットと静止画像の配置の関係を示す図。
【図１４】静止画像のスコアを示す図。
【図１５】スロットの位置情報を示す図。
【図１６】動画像から静止画像を取得する処理を示すフローチャート。
【図１７】静止画像と動画像の関連付けと静止画像の分類とを示す図。
【図１８】動画像を構成するフレームの例を示す図。
【図１９】画像数のテーブルの構成例を示す図。
【図２０】フォトアルバム自動作成用の画像群を抽出する処理を示すフローチャート。
【図２１】高速モードへの移行を促すメッセージの画面の構成例を示す図。
【図２２】高速モードへの移行を判定するテーブルの構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【００１１】
＜第１の実施形態＞
図１は、情報処理装置を含んで構成されるフォトアルバム作成／注文システムの構成の一例を示す図である。図１において、情報処理装置１及び２は、例えば、一般的なパーソナルコンピュータまたはサーバー（以下、ＰＣと略す場合がある）で構成される。ＰＣ１、ＰＣ２は、図２で後述するようなハードウェアで構成される。本実施形態では、各ＰＣには、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ（以下、ＯＳと略す場合がある）としてＷｉｎｄｏｗｓ（登録商標）８またはＷｉｎｄｏｗｓ（登録商標）  Ｓｅｒｖｅｒ  ２０１２と同等のＯＳがインストールされているものとする。ＰＣ１、ＰＣ２は、例えば、それぞれＥｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４及び８に接続されている。
【００１２】
フォトアルバム作成アプリケーション８０（以下、アプリケーションと略す場合がある）は、例えば、Ｗｉｎｄｏｗｓ（登録商標）用の実行可能形式のファイル（＊．ＥＸＥ）で構成される。Ｗｅｂブラウザアプリケーション１４３（以下、Ｗｅｂブラウザと略す場合がある）は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）を利用する際に用いられるブラウザである。ネットワーク４は、ＰＣ１を使用するユーザ（顧客等）が住んでいる自宅に構築された一般家庭用のホームネットワークである。ネットワーク８は、ＡＢＣ社の拠点内に構築されたオフィスネットワークである。
【００１３】
ネットワーク８に接続されているＰＣ２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ９を含み、インターネットを介してＡＢＣ社のＷｅｂサイトを提供する。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。
【００１４】
図２は、ＰＣのハードウェア構成の一例を表す図である。ＰＣ１及びＰＣ２は、図２に示すようなハードウェアを含む。図２に示す通り、ＰＣ１及びＰＣ２は、ランダムアクセスメモリ部であるＲＡＭ２０１、ハードディスクドライブ部であるＨＤＤ２０２、キーボード部であるＫＢＤ２０３、及びＣＰＵ２０４を含む。更に、ＰＣ１及びＰＣ２は、表示用ディスプレイであるＬＣＤ２０５、及びネットワークボードであるＮＢ２０７を含む。更に、ＰＣ１及びＰＣ２は、少なくとも図２に示す各ブロックを互いに通信可能に接続するバス２０６を含む。ＨＤＤ２０２は、不揮発性の記憶部である。なお、可搬性ＣＤ−ＲＯＭまたは内部据付のＲＯＭ等が記憶部として用いられてもよい。ＫＢＤ２０３は、ＰＣ１及びＰＣ２の入力部である。ＣＰＵ２０４は、ＰＣ１及びＰＣ２の制御部である。ＬＣＤ２０５は、ＰＣ１及びＰＣ２の表示部である。ＮＢ２０７は、ＰＣ１及びＰＣ２の通信制御部である。
【００１５】
フォトアルバム作成アプリケーション８０やＷｅｂブラウザ１４３等のアプリケーション、および、図３に示す各モジュール（ソフトウェア）は、例えばＨＤＤ２０２に記憶され、必要に応じてＲＡＭ２０１に読み出されてＣＰＵ２０４により実行される。これにより、ＣＰＵ２０４が、各種アプリケーション（ソフトウェア）の機能を実現する。
【００１６】
図３は、ＰＣのソフトウェアのモジュール構成の一例を表す図である。図３において、モジュール９２は、Ｅｔｈｅｒｎｅｔ（登録商標）を制御するＥｔｈｅｒｎｅｔ（登録商標）制御スタックである。モジュール９１は、ＩＰ  Ｎｅｔｗｏｒｋを制御するＩＰ  Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ  Ｓｅｒｖｉｃｅ  ｏｎ  Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ（登録商標）８  ＯＳに標準搭載されている機能であるＰｌｕｇ  ａｎｄ  Ｐｌａｙ  Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩＨＶ（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｈａｒｄｗａｒｅ  Ｖｅｎｄｏｒ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。
【００１７】
モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）、ＤＤＩ（Ｄｅｖｉｃｅ  Ｄｒｉｖｅｒ  Ｉｎｔｅｒｆａｃｅ）を含んで構成される。モジュール８０は、例えば、フォトアルバム作成アプリケーションであり、モジュール１４３は、例えば、Ｗｅｂブラウザアプリケーションである。モジュール８２は、アプリケーション群であり、フォトアルバム作成アプリケーション８０、Ｗｅｂブラウザ１４３等を含んで構成される。
【００１８】
図４は、各種アプリケーションの画面の構成例を示す図である。図４（ａ）は、アプリケーション８０のメイン画面の一例を示す。図４（ｂ）は、アプリケーション８０のプレビュー／編集画面の一例を示す。図４（ｃ）は、Ｗｅｂブラウザ１４３で表示されるフォトアルバムの注文画面の一例を示す。
【００１９】
図４（ａ）に示すメイン画面４０１は、アプリケーション８０のメイン画面である。フォトアルバムタイプ選択部４０２は、フォトアルバムタイプの選択部であり、フォトアルバムタイプの選択を受け付けるための選択ボタンが表示される。本実施形態では、フォトアルバムタイプとしては、作成するフォトアルバムの種類としてタイプＫ、タイプＭのいずれかを選択することができ、ページ数として２０、３０、４０、５０、６０ページのいずれかを選択することができる。なお、アルバムの種類としては、例えば、形状、用紙の種類、綴じ方、カバーの材質等が挙げられる。図４（ａ）では、タイプＫの２０ページ、タイプＭの５０ページが表示された状態を示しているが、フォトアルバムタイプ選択部４０２をスクロールすることで、これ以外の種類のフォトアルバムを表示することができ、ユーザはこれらのうちいずれかを選択することができる。ボタン４０３は、タイプＫの２０ページのフォトアルバムの選択を受け付ける為のフォトアルバムの選択ボタンである。タイプＫの２０ページのフォトアルバムは、例えば、次のようなフォトアルバムである。
【００２０】
形状：  １５ｃｍ×１５ｃｍ  スクエア
ページ数：  ２０ページ
用紙の種類：  サテン
綴じ方：  ２つ折り
カバー：  ソフト
【００２１】
ボタン４０４は、タイプＭの５０ページのフォトアルバムの選択を受け付ける為のフォトアルバムの選択ボタンである。タイプＭの５０ページのフォトアルバムは、例えば、次のようなフォトアルバムである。
【００２２】
形状：  Ａ４（２１０ｍｍ×２９７ｍｍ）  縦
ページ数：  ５０ページ
用紙の種類：  光沢
綴じ方：  フラット
カバー：  ハード
【００２３】
マーク４０５は、フォトアルバム選択状態の表示マークであり、選択されているフォトアルバムに関連付けられているフォトアルバム選択ボタンを囲うように表示される。図４（ａ）は、ボタン４０３が押されてタイプＫのフォトアルバムが選択されている状態を示している。なお、選択ボタンが選択されていることを識別可能に表示できるものであれば、マーク４０５に限定されるものではない。フォトアルバム作成ボタン４１２に対するユーザの押下が検出されると、アプリケーション８０は、フォトアルバムの自動作成を開始する。動画像ファイル処理方法選択部４０６は、動画像ファイルに対する処理方法の選択部であり、動画像から静止画像を抽出する処理方法として、無効、自動、時間、シーン、テーマの何れかからのラジオボタンによる選択を受け付ける。
【００２４】
無効選択ボタン４３１は、動画像から静止画像を抽出する処理を無効とする機能が割り当てられている。無効選択ボタン４３１が押下された場合に動画像から静止画像を抽出する処理が無効となる。自動選択ボタン４０７は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図５に示す自動処理を実行する方法が対応している。時間選択ボタン４０８は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図８（ａ）に示すような撮影年月日時刻に基づく処理を実行する方法が対応している。シーン選択ボタン４０９は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図８（ｂ）に示すような色、ヒストグラムをもとにしたシーン判定処理を実行する方法が対応している。テーマ選択ボタン４１０は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図８（ｃ）に示すようなオブジェクトをもとにしたテーマ判定処理を実行する方法が対応している。
【００２５】
ユーザが、静止画像ファイルまたは動画像ファイルが格納されているＰＣ１内のフォルダ（不図示）、または１以上のファイルを選択すると、アプリケーション８０は、選択されたフォルダ又はファイルを、フォトアルバムを作成する際に処理対象とする画像データ群の格納先または画像データ群として指定する。なお、ＰＣ１にＳＤカード等の不揮発性の外部メモリを装着することができる場合、この外部メモリも画像データ群の格納先として指定することができる。本実施形態では、外部メモリが指定された場合、動画像ファイル処理方法選択部４０６のデフォルト値は無効（無効選択ボタン４３１）が選択されている状態とする。ＳＤカード等の不揮発性の外部メモリは、読み込み速度が遅く、動画像のような大きなサイズのファイルを読み込んだり、フォトアルバムを自動作成する際にＰＣ内に一時的にコピーしたりする処理に多くの時間を要する場合があるためである。すなわち、動画像ファイル処理方法選択部４０６のデフォルト値を無効とすることにより、フォトアルバムに用いる画像の抽出の時間が長くなるのを抑制することができ、フォトアルバムが生成されるまでのユーザの待ち時間が長くなるのを抑制することができる。
【００２６】
上記の格納先として、ＳＤカード等の不揮発性の外部メモリが選択されておらず、ＰＣ内のフォルダやファイルが選択されている場合、動画像ファイル処理方法選択部４０６のデフォルト値は自動（後述する自動選択ボタン４０７）が選択されている状態とする。これにより、動画像のような大きなサイズのファイルを高速に読み込めるケースでは、フォトアルバムを自動作成する際に、動画像を対象画像に含めることができる。なお、動画像は、ユーザが気に入っている場面である可能性が高く、動画像から切り出した画像をレイアウトすることにより、フォトアルバムのユーザの満足度を向上させることができる可能性が高まる。また、ユーザの操作性にも優れる。
【００２７】
本実施形態では、フォトアルバムを作成する際に対象とする画像データ群の格納先として、Ｆａｃｅｂｏｏｋ（登録商標）等のＳＮＳサイトに掲載されている画像が指定された場合、動画像を対象とせずに、静止画像だけを対象とする。これは、動画像のような大きなサイズのファイルをＳＮＳサイトからインターネットを介してダウンロードすると、処理に多くの時間を要する場合があるためである。すなわち、動画像ファイル処理方法選択部４０６のデフォルト値を無効とすることにより、フォトアルバムに用いる画像の抽出の時間が長くなるのを抑制することができ、フォトアルバムが生成されるまでのユーザの待ち時間が長くなるのを抑制することができる。尚、例えば、インターネットを介したファイルダウンロードを高速に行えるような環境では、格納先として外部メモリが指定された場合、動画像ファイル処理方法選択部４０６のデフォルト値を無効（無効選択ボタン４３１）が選択されている状態とする。そして、ユーザの判断で自動（自動選択ボタン４０７）等を選択することで、動画像を対象にしてフォトアルバムを自動作成するようにしてもよい。
【００２８】
ファイル選択ボタン４１１は、シーン選択ボタン４０９またはテーマ選択ボタン４１０が選択されている時に有効である。ユーザによるファイル選択ボタン４１１の押下を検出すると、ファイル選択画面（不図示）が表示され、ユーザによる静止画像ファイルの選択が可能になる。アプリケーション８０は、ファイル選択画面（不図示）を介してユーザにより選択された静止画像ファイルを、アプリケーション８０が使用するＲＡＭ２０１内のワークメモリに一時的に保存する。ユーザによるフォトアルバム作成ボタン４１２の押下を検出すると、アプリケーション８０は、ワークメモリに一時的に保存されている静止画像ファイルに基づいて、シーン判定処理またはテーマ判定処理を実行する。フレーム抽出時間間隔指定部４３０は、ユーザから、１つの動画像から静止画像（フレーム）を抽出する枚数の指定を例えば１枚単位で受付可能である。尚、デフォルト値は、例えば４０枚で設定されている。
【００２９】
平均スロット数指定部４３４にて、ユーザは、フォトアルバムの見開き２ページに配置されるスロットの数、言い換えれば、配置される画像の数の平均値を１つ指定することができる。本実施形態では、２、６、１０の中から１つ指定することができるものとし、平均スロット数指定部４３４で指定されている平均スロット数のデフォルト値は６とする。撮影日設定部４３２は、日付絞り込みチェックボックス４３３がチェックされている場合に有効となり、この場合、撮影日設定部４３２で設定されている期間に撮影された画像群（静止画像と動画像）がフォトアルバムを自動作成する際の対象となる。ここでの対象の画像群とは、フォトブックの作成に利用可能な画像群であることを意味する。日付絞り込みチェックボックス４３３のデフォルト値はチェックされている状態である。撮影日設定部４３２のデフォルト値は、フォトアルバムを自動作成する際に対象とする画像群の中で撮影日が最も新しい日から過去にさかのぼって３０日間とする。なお、さかのぼる日数はこれに限定されないが、デフォルト値として所定の日数を予め設定しておく。このように所定の日数を設定することにより、フォトアルバムを自動作成する際に対象とする画像群に含まれる画像数を適切に保つことができる。具体的には、図２０（ｂ）で後述するシステム上限画像数を超える可能性を低くすることができる。これにより、フォトアルバムを高速に自動作成することができる。また、最も新しい日から所定の日数までの撮影日の画像群に基づいてフォトアルバムを生成することにより、ユーザがアルバムを作成しようとしたタイミングに適したアルバムを作成できる可能性が高くなる。
【００３０】
図４（ｂ）に示す編集画面４１５は、アプリケーション８０のプレビュー／編集画面を示す。詳細は後述するが、図４（ａ）の画面で設定された条件に従って、フォルダから画像データ群が取得され、取得された画像データ群から複数の画像データを選択し、画像データに基づく画像をそれぞれテンプレートに配置することにより、レイアウト画像を生成する。なお、レイアウト画像は、フォトアルバムタイプ選択部４０２で受け付けたページ数に基づいて、複数ページ分生成される。そして、アプリケーション８０は、生成されたレイアウト画像のうち選択された見開きページ（すなわち、２ページ分）のレイアウト画像のプレビューを、プレビュー表示部４１８に表示する。見開きページ選択部４１６は、ユーザから、プレビュー表示部４１８に表示する見開きページの選択を受付可能である。ユーザにより選択されている見開きページには、見開きページ選択状態を識別可能な表示マーク４１７が表示される。選択状態を識別可能な表示はこれに限定されず、例えば、選択された見開きページの色を変更して表示するようにしてもよい。図４（ｂ）では、７ページと８ページで構成される見開きページが選択されている状態を示している。なお、見開きページ数が多い場合は、見開きページ選択部４１６をスクロールすることにより、これ以外の見開きページを表示することができるようにする。
【００３１】
購入商品追加ボタン４１９は、ユーザがフォトアルバムを購入する際に、商品としてショッピングカート（不図示）に追加することができる。ユーザによる購入商品追加ボタン４１９の押下を検出すると、アプリケーション８０がプレビュー表示部４１８に表示されている見開きページを含むフォトアルバムをショッピングカートに追加する。ユーザは、ショッピングカートに追加されたフォトアルバムを、ショッピングカートに関連付けられている図４（ｃ）に示すオンライン注文サイトと、それと連携している決済サイト（不図示）を介して購入することができる。尚、オンライン注文サイト、決済サイト、ショッピングカートに関しては、一般的なオンラインショッピングサイトとそれと連携する決済サイトやショッピングカートと同様なので、その説明を省略する。
【００３２】
図４（ｃ）において、Ｗｅｂブラウザ１４３に表示されるＵＲＬ設定部４２１は、ユーザがＷｅｂブラウザ１４３で表示させたいＷｅｂサイト（ページ）のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）の指定を受け付ける。また、Ｗｅｂブラウザ１４３がＷｅｂサイト（ページ）を表示している場合は、表示しているＷｅｂサイトのＵＲＬがＵＲＬ設定部４２１に表示される。注文画面４２２は、Ｗｅｂブラウザ１４３が表示しているフォトアルバムの注文画面であり、図４（ｃ）は注文番号「４６４９」のフォトアルバムを注文する一例を示している。注文情報表示部４２３は、フォトアルバムの注文に関する情報を表示する。注文に関する情報としては、注文を識別する識別子（例えば、注文番号）、フォトアルバムの種類、価格等が挙げられる。図４（ｃ）は、以下のような例を示している。
【００３３】
注文番号：  ４６４９
フォトアルバムの種類：  タイプＫ
価格：  ￥１００，０００
【００３４】
注文ボタン４２４の押下を受け付けると、氏名、住所、電話番号、配送先等の必要な情報を入力する入力画面が表示される。ユーザが入力画面において必要な情報を入力し、決済サイトで決済を完了することで、アプリケーション８０で作成されたフォトアルバムの注文が確定して、ユーザはそのアルバムを購入することができる。
【００３５】
図１０は、フォトアルバムの構成の一例を示す。図１０（ａ）はタイプＫのフォトアルバムの構成の一例を示し、図１０（ｂ）はタイプＭのフォトアルバムの構成の一例を示す。
【００３６】
図１０（ａ）に示すフォトアルバムは、タイプＫのフォトアルバムに関し、表紙１００１、裏表紙１００４、本身の１ページと２ページの見開きページ１００２、本身の１９ページと２０ページの見開きページ１００３を含む。タイプＫのフォトアルバムの場合、本身に関しては、１ページ目が先頭ページ、２０ページ目が最終ページである。
【００３７】
図１０（ｂ）に示すフォトアルバムは、タイプＭのフォトアルバムに関し、表紙１０１１、裏表紙１０１４、本身の１ページと２ページの見開きページ１０１２、本身の４９ページと５０ページの見開きページの１０１３を含む。タイプＭのフォトアルバムの場合、本身に関しては、１ページ目が先頭ページ、５０ページ目が最終ページである。
【００３８】
図１１は、画像データに基づく画像を配置するためのレイアウトテンプレート（以下、テンプレートともいう）の一例を示す。図１１（ａ）は、タイプＫのフォトアルバムの時間ベース用のレイアウトテンプレートの一例を示す。図１１（ｂ）は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図１１（ｃ）は、タイプＫのフォトアルバムのテーマベース用のレイアウトテンプレートの一例を示す。
【００３９】
図１１（ａ）は、ページ単位で領域をグループ化し、そのグループ（片側１ページ）内の全てのスロットを同一グループの領域に属するものとした例を示している。図１１（ａ）に示すレイアウトテンプレート１１００は、例えば、タイプＫのフォトアルバムの時間ベース用のレイアウトテンプレートの、本身の１ページと２ページの見開き２ページのレイアウトテンプレートである。テンプレート１１０１は、本身の１ページのレイアウトテンプレートである。テンプレート１１０２は、本身の２ページのレイアウトテンプレートである。スロット１１０３〜１１０６は、本身の１ページに配置されているスロットであり、スロット１１０７〜１１１０は、本身の２ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。
【００４０】
スロット１１０３〜１１０６は、グループ１の領域に属する。テンプレート１１０１に付加されているコードＫ−Ａ−Ｇ１−Ｐ１は、このテンプレートの属性を表す。Ｋは、タイプＫのフォトアルバム用であることを表す。Ａは、時間ベース用であることを表す。Ｇ１は、グループ１の領域用であることを表す。Ｐ１は、本身の１ページ用であることを表す。スロット１１０３〜１１０６に付加されているコードＫ−Ａ−Ｇ１−１、Ｋ−Ａ−Ｇ１−２、Ｋ−Ａ−Ｇ１−３、Ｋ−Ａ−Ｇ１−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ａ−Ｇ１は上記と同様であり、最後の数字はスロット番号を表す。スロット番号は、グループ単位で割り当てられる。
【００４１】
スロット１１０７〜１１１０は、グループ２の領域に属する。テンプレート１１０２に付加されているコードＫ−Ａ−Ｇ２−Ｐ２はこのテンプレートの属性を表す。Ｋ及びＡは前述の説明と同じ内容であるが、Ｇ２は、グループ２の領域用であることを表す。Ｐ２は、本身の２ページ用であることを表す。スロット１１０７〜１１１０に付加されているコードＫ−Ａ−Ｇ２−１、Ｋ−Ａ−Ｇ２−２、Ｋ−Ａ−Ｇ２−３、Ｋ−Ａ−Ｇ２−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ａ−Ｇ２は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
【００４２】
図１１（ｂ）は、見開きページ単位で領域をグループ化し、そのグループ（見開き２ページ）内の全てのスロットを同一グループの領域に属するものとした例を示している。図１１（ｂ）に示すテンプレート１１２０は、例えば、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の７ページと８ページの見開き２ページのレイアウトテンプレートである。テンプレート１１２１は、本身の７ページのレイアウトテンプレートである。テンプレート１１２２は、本身の８ページのレイアウトテンプレートである。スロット１１２４は、本身の７ページに配置されているスロットである。スロット１１２６は、本身の８ページに配置されているスロットである。スロット１１２３、１１２５は、それぞれ本身の７ページと８ページの両方にまたがって配置されているスロットである。アプリケーション８０は、静止画像をこれらのスロットに配置する。
【００４３】
スロット１１２３〜１１２６は、グループ４の領域に属する。テンプレート１１２１に付加されているコードＫ−Ｂ−Ｇ４−Ｐ７、および、テンプレート１１２２に付加されているコードＫ−Ｂ−Ｇ４−Ｐ８は、それぞれのテンプレートの属性を表す。Ｋは、タイプＫのフォトアルバム用であることを表す。Ｂは、シーンベース用であることを表す。Ｇ４は、グループ４の領域用であることを表す。Ｐ７は、本身の７ページ用であることを示す。Ｐ８は、本身の８ページ用であることを表す。スロット１１２３〜１１２６に付加されているコードＫ−Ｂ−Ｇ４−１、Ｋ−Ｂ−Ｇ４−２、Ｋ−Ｂ−Ｇ４−３、Ｋ−Ｂ−Ｇ４−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ｂ−Ｇ４は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
【００４４】
図１１（ｃ）は、ページ単位で領域をグループ化し、そのグループ（片側１ページ）内の全てのスロットを同一グループの領域に属するものとした例を示している。図１１（ｃ）に示すレイアウトテンプレート１１４０は、例えば、タイプＫのフォトアルバムのテーマベース用のレイアウトテンプレートの、本身の５ページと６ページの見開き２ページのレイアウトテンプレートである。テンプレート１１４１は、本身の５ページのレイアウトテンプレートである。テンプレート１１４２は、本身の６ページのレイアウトテンプレートである。スロット１１４３〜１１４７は、本身の５ページに配置されているスロットであり、スロット１１４８〜１１５１は、本身の６ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。
【００４５】
スロット１１４３〜１１４７は、グループ５の領域に属する。テンプレート１１４１に付加されているコードＫ−Ｃ−Ｇ５−Ｐ５は、このテンプレートの属性を表す。Ｋは、タイプＫのフォトアルバム用であることを表す。Ｃは、テーマベース用であることを表す。Ｇ５は、グループ５の領域用であることを表す。Ｐ５は、本身の５ページ用であることを表す。スロット１１４３〜１１４７に付加されているコードＫ−Ｃ−Ｇ５−１、Ｋ−Ｃ−Ｇ５−２、Ｋ−Ｃ−Ｇ５−３、Ｋ−Ｃ−Ｇ５−４、Ｋ−Ｃ−Ｇ５−５はそれぞれ、これらのスロットの属性を表す。Ｋ−Ｃ−Ｇ５は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
【００４６】
スロット１１４８〜１１５１は、グループ６の領域に属する。テンプレート１１４２に付加されているコードＫ−Ｃ−Ｇ６−Ｐ６は、このテンプレートの属性を表す。Ｋ−Ｃは前述の説明と同じ内容であり、Ｇ６は、グループ６の領域用であることを表す。Ｐ６は、本身の６ページ用であることを表す。スロット１１４８〜１１５１に付加されているコードＫ−Ｃ−Ｇ６−１、Ｋ−Ｃ−Ｇ６−２、Ｋ−Ｃ−Ｇ６−３、Ｋ−Ｃ−Ｇ６−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ｃ−Ｇ６は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
【００４７】
図１２は、レイアウトテンプレートとスロット管理を説明するための図である。図１２（ａ）は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図１２（ｂ）は、スロットの管理方法の一例を示す。図１２（ａ）は、図１１（ｂ）に示すレイアウトテンプレートと同様に、見開きページ単位で領域をグループ化し、そのグループ内の全てのスロットを同一グループの領域に属するものとしたテンプレートである。このテンプレートは、静止画像と、動画像から抽出した静止画像をそれぞれ適切なスロットに配置するためのものである。
【００４８】
図１２（ａ）に示すレイアウトテンプレート１２００は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の１５ページと１６ページの見開きページのレイアウトテンプレートである。テンプレート１２０１は、本身の１５ページのレイアウトテンプレートである。テンプレート１２０２は、本身の１６ページのレイアウトテンプレートである。スロット１２０５、１２０６は、本身の１５ページに配置されているスロットである。スロット１２０８、１２０９は、本身の１６ページに配置されているスロットである。スロット１２０３、１２０７は、本身の１５ページと１６ページの両方にまたがって配置されているスロットである。アプリケーション８０は、静止画像をこれらのスロットに配置する。
【００４９】
スロット１２０３〜１２０９は、グループ８の領域に属する。Ｋは、タイプＫのフォトアルバム用であることを表す。Ｂは、シーンベース用であることを表す。Ｇ８は、グループ８の領域用であることを表す。Ｐ１５は、本身の１５ページ用であることを表す。Ｐ１６は、本身の１６ページ用であることを表す。テンプレート１２０１に付加されているコードＫ−Ｂ−Ｇ８−Ｐ１５、および、テンプレート１２０２に付加されているコードＫ−Ｂ−Ｇ８−Ｐ１６は、それぞれのテンプレートの属性を表す。
【００５０】
スロット１２０３〜１２０９に付加されているコード（Ｋ−Ｂ−Ｇ８−１−Ｓ等）はそれぞれ、スロットの属性を表す。Ｋ−Ｂ−Ｇ８の次の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。そして、最後の文字は配置する画像の属性を表す。Ｓは、一般的な静止画像用のスロットであることを示す属性を表す。ここでの一般的な静止画像とは、動画像から抽出された静止画像ではなく、デジタルスチルカメラ等で撮影して保存された写真等を意味するものとし、以下、単に「静止画像」という。また、Ｄは、動画像からフレームの解析等を行って抽出した静止画像用のスロットであることを示す属性を表す。例えば、スロット１２０３にはコードＫ−Ｂ−Ｇ８−１−Ｓが付加されていて、画像の属性はＳであるため、このスロットに配置するのに適した画像は、一般的な静止画像である。また、例えば、スロット１２０５にはコードＫ−Ｂ−Ｇ８−３−Ｄが付加されていて、画像の属性はＤであるため、このスロットに配置するのに適した画像は、動画像から抽出した静止画像である。動画像から抽出した静止画像は、以下、「フレーム画像」ともいう。
【００５１】
尚、静止画像用として適しているスロット１２０３に配置するのに適した静止画像が存在しない場合には、このスロットにフレーム画像を配置してもよい。また、フレーム画像用として適しているスロット１２０５に配置するのに適したフレーム画像が存在しない場合には、このスロットに静止画像を配置してもよい。
【００５２】
また、動画像から抽出した複数のフレーム画像の中に、例えば少しピンボケしていてフォトアルバムとしてはあまり適切でないフレーム画像と、その少しピンボケしているフレーム画像よりも品位の高い静止画像とが存在するケースがある。そのようなケースでも、本実施形態では、あえて少しピンボケしたフレーム画像をフレーム画像用として適している属性Ｄのスロットに、動画像から抽出した連続しているフレーム画像の内の１つとして配置する。つまり、動画像から抽出した連続している複数のフレーム画像を、フレーム画像用として適している属性Ｄのスロットに配置する。これにより、レイアウトテンプレートの特徴を引き出したダイナミックなフォトアルバムを自動的に作成することができる。また、魅力のあるフォトアルバムを自動生成する機能を備えるフォトアルバム作成アプリケーションを提供することができる。
【００５３】
図１２（ｂ）を用いて、図１２（ａ）に示すタイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートのスロットの管理方法について説明する。図１２（ｂ）では、説明の都合上、スロット１２０３以外のスロットに関しては、その記載を省略する。図１２（ｂ）において、点Ｏはフォトアルバムの基準点である。アプリケーション８０は、フォトアルバムの見開きページの左上端の角を基準点として、各スロットの位置を定義し、それぞれのスロットに対する画像の配置を管理／制御する。アプリケーション８０は、点Ｏから右方向を横のプラス（＋）座標、左方向を横のマイナス（−）座標、下方向を縦のプラス（＋）座標、上方向を縦のマイナス（−）座標と定義している。各点の座標は（横座標、縦座標）と表され、例えば点Ｏの座標は（０，０）［単位：ｃｍ］である。
【００５４】
点Ｗはスロット１２０３の基準点であり、このスロットの左上端の角と一致する。このように、各スロットの基準点は、それぞれのスロットの左上端とする。点Ｗは点Ｏから右方向に１ｃｍ、下方向に１ｃｍの位置にあり、座標は（１，１）［単位：ｃｍ］である。Ｌはスロット１２０３の幅であり、１６ｃｍである。Ｈはスロット１２０３の高さであり、６ｃｍである。これらにより、スロット１２０３を構成する長方形の各点及びその座標は、それぞれ点Ｘ（１７，１）［単位：ｃｍ］、点Ｙ（１７，７）［単位：ｃｍ］、点Ｚ（１，７）［単位：ｃｍ］である。点Ｐはスロット１２０３の中点であり、その座標は（９，４）［単位：ｃｍ］である。Ｒはスロット１２０３の回転角度であり、図１２（ｂ）の例ではスロット１２０３は回転されていないので、回転角度は０度である。このように、アプリケーション８０は、レイアウトテンプレートに配置する各スロットを座標と回転角度を用いて定義し、管理／制御する際にその情報を使用する。定義された情報は、図１５に示すテーブルのように管理される。すなわち、図１５に示すように、各スロットは、基準点の座標、幅（横の長さ）及び高さ（縦の長さ）と、回転角度が管理される。
【００５５】
図１５は、スロットの位置の一例を表す。図１５において、Ｓｌｏｔはスロット番号であり、ＲｅｆｅｒｅｎｃｅＰｏｉｎｔはスロットの基準点であり、Ｌｅｎｇｔｈはスロットの幅であり、Ｈｅｉｇｈｔはスロットの高さであり、Ｒｏｔａｔｉｏｎはスロットの回転角度である。図１５は、図１２（ａ）に示すレイアウトテンプレート１２００のスロット１２０３〜１２０９の位置の例を示す。
【００５６】
図５は、フォトアルバムを自動作成する処理を示すフローチャートである。図５のフローチャートに係るアプリケーションプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＣＰＵ２０４により読み出されて実行される。アプリケーションを起動することにより、図４（ａ）に示す画面が表示される。そして、ユーザによる図４（ａ）に示す自動選択ボタン４０７を選択及びフォトアルバム作成ボタン４１２が押下を受け付けると、アプリケーション８０が図５に示すフォローチャートに従ってその処理を実行する。
【００５７】
Ｓ５０１にて、アプリケーション８０は、画像ファイル（静止画像ファイルや動画像ファイル）が格納されているＰＣ１内のフォルダ（不図示）又はＰＣ１内の各ファイルを、フォトアルバムを作成する際に必要な画像データ群の格納先として指定する。なお、ユーザに画像ファイルが格納されているＰＣ１内のフォルダやＰＣ１内のファイルを選択させるようにしてもよい。Ｓ５０１にて、アプリケーション８０は、指定された格納先の画像データ群を対象として、静止画像の数が閾値より多いか否かを判定する。本実施形態では、図１９（ａ）に示す画像総数（閾値）より多いか否かを判定する。このとき、静止画像の数とは、通常の静止画像数と動画像から抽出する静止画像数（フレーム画像数）との合計数を指す。なお、動画像から抽出する静止画像数は、動画像の数と、１つの動画像から抽出するフレーム数（本実施形態では、４０個）とを積算した値とする。例えば、指定された画像データ群に含まれる通常の静止画像数が４００個であり、動画像数が１０個であり、１つの動画像から抽出するフレーム数を４０個とする場合は、４００＋（１０×４０）＝８００個となる。
【００５８】
図１９は、高速モードの画像数のテーブルの一例を示す図である。図１９（ａ）と図１９（ｂ）は、Ｗｉｎｄｏｗｓ（登録商標）等のＰＣ用のアプリケーションが参照するテーブルである。図１９（ｃ）と図１９（ｄ）は、Ａｎｄｒｏｉｄ（登録商標）ＯＳが搭載されているスマートフォン等のモバイルデバイス用のアプリケーションが参照するテーブルである。図１９にて、「ページ数」はフォトアルバムのページ数であり、「平均スロット数」はフォトアルバムの見開きページ（２ページ）に配置されるスロットの数の平均値である。また、「動画像からの画像数」は動画像から抽出するフレーム画像の数であり、「静止画像数」は静止画像の数である。「画像総数」は「動画像からの画像数」と「静止画像数」の合計の数とする。
【００５９】
図１９（ａ）、（ｃ）は、フォトアルバムを自動作成する際に対象とする画像データ群の中に動画像が含まれている場合に、対象として取り扱う動画像を１つに固定（規定数＝１）し、その１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するものとする。なお、対象とする画像データ群の中に複数の動画像が含まれる場合の動画像の選択方法については、後述する。同じページ数に着目して、図１９（ａ）と、図１９（ｃ）の「画像総数」や「静止画像数」を比較すると、図１９（ａ）のＰＣ用のテーブルの方が図１９（ｃ）のモバイルデバイス用のテーブルよりも数が多く設定していることがわかる。これは、一般的に、ＰＣの方がモバイルデバイスよりもＣＰＵやＲＡＭ等のハードウェアの性能が高く、単位時間あたりに処理できる画像数が多いので、このような値をそれぞれのテーブルに設定している。これにより、ＰＣ上でアプリケーション８０を実行した場合とモバイルデバイス上でアプリケーション８０を実行した場合とで、フォトアルバムを自動作成する時間差が少なくなる。すなわち、デバイス種に応じた上限数を設定することにより、フォトアルバムを自動生成する時間をいずれのデバイスでも短くすることができる。なお、対象として取り扱うデータ数が多いほど、ユーザの満足度が高くなる可能性が高まる。静止画像（動画像から抽出された静止画像も含む）の数が画像総数より多いと判定した場合、アプリケーション８０は、図２１に示す高速モード移行メッセージ画面２１０１、２１０５を表示する。静止画像（動画像から抽出された静止画像も含む）の数が画像総数以下と判定した場合、アプリケーション８０は、高速モード移行メッセージ画面２１０１、２１０５を表示せずに、通常モードでフォトアルバム自動作成用の画像群を抽出する処理を実行する。なお、フォトアルバム自動作成用の画像群を抽出する処理については、図２０を用いて後述する。
【００６０】
図２１は、高速モードへの移行を促すメッセージの画面の一例を示す。このメッセージ画面は、ＣＰＵ２０４がＰＣ１の表示部であるＬＣＤ２０５に表示させる。図２１（ａ）は日本語表示の画面であり、図２１（ｂ）は英語表示の画面の例である。これらの画面では、表示の言語が異なるのみで、表示している内容は同じである。表示の言語をいずれにするかは、ＰＣ１に設定された表示言語に基づいて決定する。図２１に示す高速モード移行メッセージ画面２１０１は、高速モードチェックボックス２１０２、キャンセルボタン２１０３、ＯＫボタン２１０４を含む。図２１に示す高速モード移行メッセージ画面２１０５は、高速モードチェックボックス２１０６、キャンセルボタン２１０７、ＯＫボタン２１０８を含む。本実施形態では、高速モードチェックボックス２１０２、２１０６のデフォルト値は、チェックされていない状態（高速モード無効）とする。デフォルト値として、高速モードを無効に設定することにより、自動的に作成されるフォトアルバムの仕上がりの良さを重視した設定となっている。なお、デフォルト状態を高速にフォトアルバムを自動作成することを重視した設定としたい場合は、高速モードチェックボックス２１０２、２１０６のデフォルト値をチェックされている状態（高速モード有効）とする。
【００６１】
ここで、高速モードとは、通常モードよりも高速にフォトアルバムを生成するモードである。具体的には、通常モードよりも抽出する画像数を少なくすることにより、画像抽出時間を少なくし、これにより、画像のスコア解析の時間を少なくし、高速にフォトアルバムを生成することができる。
【００６２】
上述した通り、静止画像（動画像から抽出されたフレーム画像も含む）の数が画像総数より多いと判定した場合、高速モード移行メッセージ画面２１０１又は高速モード移行メッセージ画面２１０５を表示する。図２１では、写真の枚数が多いため、解析に時間がかかる旨を表示し、「解析する写真の枚数を自動的に絞り込んで時間を短縮するか否か」をユーザが選択できるようにする。このように、ユーザが時間を短縮するか否かを選択可能とすることにより、解析する写真の枚数が多く、解析に時間がかかったとしても、ユーザは待機の煩わしさが無くなる。また、短い時間で解析したいユーザの要望にも応えることができる。図２１では、高速モードチェックボックス２１０２、２１０６がチェックされていて、高速モードが有効となる状態を示している。高速モードチェックボックス２１０２、２１０６がチェックされていて高速モードが有効となる状態で、ＯＫボタン２１０４、２１０８が押下されると、アプリケーション８０は、フォトアルバム自動作成用の画像群を高速モードで抽出する処理を実行する。高速モードチェックボックス２１０２、２１０６がチェックされておらず高速モードが無効となる状態で、ＯＫボタン２１０４、２１０８が押下されると、アプリケーション８０は、フォトアルバム自動作成用の画像群を通常モードで抽出する処理を実行する。キャンセルボタン２１０３、２１０７が押下されると、アプリケーション８０は、図５のＳ５０１で処理を中断し、図４（ａ）に示すメイン画面４０１に戻る。なお、本実施形態では、ユーザに、通常モードが高速モードかを選択させるものとしたが、指定された画像群に含まれる画像数が多い場合は、自動的に高速モードに設定するようにしてもよい。
【００６３】
尚、前述したようにアプリケーション８０がＷｉｎｄｏｗｓ（登録商標）等のＰＣ用のアプリケーションの例の場合は、アプリケーション８０は図１９（ａ）のテーブルを参照する。これに対して、例えば、Ｇｏｏｇｌｅ社のＡｎｄｒｏｉｄ（登録商標）ＯＳが搭載されているスマートフォン等のモバイルデバイス用のアプリケーションの例の場合は、アプリケーション８０は図１９（ｃ）に示すテーブルを参照する。
【００６４】
本実施形態では、アプリケーション８０が、ＰＣ用のアプリケーションとモバイルデバイス用のアプリケーションとは異なるものとし、各アプリケーションが参照するテーブルを予めそれぞれ別のものを用意するものとした。ただし、この構成に限定するものではなく、例えば、ＰＣとモバイルデバイスの両方で実行可能なアプリケーションとしてもよく、この場合は、アプリケーション８０がＯＳを介して実行されている機器の情報を取得する。そして、ＰＣの場合は図１９（ａ）のテーブルを参照し、モバイルデバイスの場合は図１９（ｃ）のテーブルを参照する、というような構成であってもよい。
【００６５】
Ｓ５０２にて、アプリケーション８０は、動画像ファイルから静止画像（フレーム画像）を取得して保存する処理を実行する。本工程の処理の詳細は、図１６（ａ）を用いて後述する。
【００６６】
Ｓ５０３にて、アプリケーション８０は、Ｓ５０２で保存した静止画像に対して、その静止画像のもととなった動画像内のフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。ここでの関連付けの例を図１７を用いて説明する。
【００６７】
図１７は、フレーム画像と動画像の関連付けと、フレーム画像の分類の一例を示す。図１７において、ＪＰＥＧはフレーム画像のファイル名であり、ＭＰＥＧはＭＰＥＧ動画像のファイル名であり、Ｄａｔｅ＆Ｔｉｍｅは撮影年月日時刻であり、Ｉｎｆｏは分類に関する情報であり、Ｇｒｏｕｐは分類結果である。また、Ｆｒａｍｅは動画像を構成するフレーム番号であり、ＲｅｌａｔｅｄＦｉｌｅは静止画像ファイルもしくは動画像ファイルに関連付けられている関連ファイル（動画像ファイル／静止画像ファイル）のファイル名である。ＪＰＥＧ欄に記載されているフレーム画像ファイルは、同じ行のＭＰＥＧ欄に記載されている動画像ファイルから抽出されて保存された静止画像ファイル（フレーム画像ファイル）である。Ｄａｔｅ＆Ｔｉｍｅの書式は年月日と時刻（１／１０００秒）である。例えば、図１７（ａ）のｄｙｎａｍｉｃ１５．ｊｐｇの行のＤａｔｅ＆Ｔｉｍｅ欄に記載されている「２０１４０３３０１０００１０３３４」は、２０１４年０３月３０日１０時００分１０と３３４／１０００秒を表す。なお、図１７において「−」はデータが存在しないことを表す。本実施形態では、例えば、図１７（ａ）に示すように、フレーム番号とフレーム画像とが関連付けされる。
【００６８】
Ｓ５０４にて、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中の各静止画像に対して、フォトアルバム用の画像としての適切さを解析する。ここで、「適切さ」は、図１４に示す基準に基づいて解析する。
【００６９】
図１４は、静止画像のスコアの一例を示す。図１４において、Ｆｉｌｅはファイル名であり、Ｅｌｅｍｅｎｔｓはフォトアルバム用の画像としての適切さを定義する要素（基準）であり、Ｓｃｏｒｅはその各要素の総合的なスコアである。スコアは、Ｅｌｅｍｅｎｔの各要素の点から導き出された、テンプレートに配置（レイアウト）される上での総合的な適切さを示す指標である。
【００７０】
Ｅｌｅｍｅｎｔｓは、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）の各要素を含む。各要素は、０（最低）〜１０（最高）のポイントで、フォトアルバム用の画像としての適切さを表す。各要素のポイントは、予め定められた基準に基づいて付与する。本実施形態では、例えば、静止画像内の輝度値の最大値と最小値の差が所定の各レベルに対応すれば、対応するポイントをコントラスト点として付与する。また、例えば、静止画像内のオブジェクトに基づいた三角構図の評価結果が所定の各レベルに対応すれば、対応するポイントを構図点として付与する。また、例えば、静止画像内の輝度分布の変化の尖鋭度が所定の各レベルに対応すれば、対応するポイントをピント点として付与する。なお、ポイントの付与方法は、これらに限定されるものではない。図１４の「−」はデータが存在しないことを表す。
【００７１】
このように、アプリケーション８０は、各要素の適切さを示す評価値として、各静止画像に対してスコアを算出し、付与する。ここでスコアが付与される画像は、静止画像ファイル内の静止画像と、Ｓ５０２にて保存されたフレーム画像である。なお、Ｓ５０４では、静止画像ファイル内の静止画像、動画像ファイルから抽出されたフレーム画像の両方に対して共通の評価基準によりスコアが付与される。すなわち、Ｓ５０４にて、アプリケーション８０は、Ｓ５０２で追加した、動画像から抽出したフレーム画像に対しても、フォトアルバム用の画像としての各要素の適切さに応じてスコアを付与する。
【００７２】
Ｓ５０５にて、アプリケーション８０は、動画像から抽出したフレーム画像のスコアを補正する。Ｓ５０５にて、アプリケーション８０は、動画像から抽出したフレーム画像に対して、例えば、オリジナルのスコアに１．２倍を乗算してスコアを増やす。ここで用いられた重み付けの値は、１．２に限定するものではなく、経験的に求められた他の値を用いてもよい。この値は、予め定義され記憶部に保持されているものとする。
【００７３】
図１４において、Ｏｒｉｇｉｎａｌはオリジナルのスコアであり、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）のそれぞれのポイントの平均値である。Ｍｏｄｉｆｉｅｄはオリジナルのスコアを補正したスコアである。アプリケーション８０は、動画像から抽出したフレーム画像に対して、そのメリットを表す分の重み付けをスコアとして表す為に、本実施形態では、例えばオリジナルのスコアに１．２倍を乗算してスコアを増やす。
【００７４】
ここでのメリットとは、例えば、オリジナルのスコア値を大きくすることによって、動画像から抽出した静止画像がテンプレートへのレイアウト対象として特定される可能性を高めることができる。つまり、動画像から抽出したフレーム画像については、再度の抽出し直しでより良い静止画像を取得することも可能であるので、最終的に完成するレイアウト画像のユーザ満足度を向上させることができる。
【００７５】
アプリケーション８０は、静止画像を各スロットに配置する際に、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）または補正後のスコア（Ｍｏｄｉｆｉｅｄ）から高い方のスコアを採用して、テンプレートへのレイアウト対象としてより適切な画像の特定に使用する。そして、テンプレート内のスロット数分の静止画像を各スロットに対して配置する。これにより、フレーム画像は、静止画像よりもオリジナルのスコアが低かったとしても、高い評価が得られることでレイアウト画像に配置されやすくなる。動画が撮影された場面は、ユーザの印象に残っている場面・お気に入りの場面である可能性が高く、動画から抽出したフレーム画像をレイアウト画像に配置することにより、ユーザの満足度が向上する可能性が高まる。
【００７６】
尚、本実施形態では、動画像から抽出した静止画像のオリジナルのスコアに１．２倍を乗算してそのスコアを増やすことにより、動画像から抽出した静止画像のスコアの方が、一般的な静止画像のスコアよりも相対的に高くなるように制御している。しかしながら、このような制御方法に限られることなく、例えば、静止画像のスコアに０．８倍を乗算して静止画像のスコアをフレーム画像よりも減らすようにしても良い。これにより、動画像から抽出したフレーム画像のスコアの方が、静止画像のスコアよりも相対的に高くなるように制御することを実現できる。
【００７７】
Ｓ５０６にて、アプリケーション８０は、レイアウトテンプレート内の各スロットに、スコアの高い順に静止画像を配置する。配置するスロットは、各スロットに割り当てられた番号の順であってもよいし、スロット自体に割り当てられた優先度（スコア）に従ってもよい。
【００７８】
Ｓ５０７にて、アプリケーション８０は、動画像から抽出したフレーム画像がスロットに配置されているか否かの判定を行う。動画像から抽出したフレーム画像がスロットの中の少なくとも何れか１つのスロットに配置されていると判定された場合には（Ｓ５０８にてＹＥＳ）Ｓ５０９へ進む。また、スロットのいずれにも配置されていないと判定された場合には（Ｓ５０８にてＮＯ）本処理フローを終了する。
【００７９】
Ｓ５０９にて、画像からより適切な静止画像の取得をし、Ｓ５１０にて、動画像から抽出されたより適切な静止画像（フレーム画像）をスロットに配置する。その後、本処理フローを終了する。
【００８０】
以下、図１１（ａ）に示すレイアウトテンプレート１１００を例に挙げて、各スロットに画像を配置してフォトアルバムを作成する処理に関して説明する。例えば、Ｓ５０６にて、図１４のスコアに基づき、スロット１１０７〜１１１０に、ｓｔａｔｉｃ１．ｊｐｇ、ｓｔａｔｉｃ２．ｊｐｇ、ｓｔａｔｉｃ３．ｊｐｇ、ｄｙｎａｍｉｃ２０．ｊｐｇを配置したとする（図１３（ａ）に相当）。Ｓ５０９にて、アプリケーション８０は、スロット１１１０に配置されたｄｙｎａｍｉｃ２０．ｊｐｇに基づいて、動画像からテンプレートへのレイアウト対象としてより適切なフレーム画像を取得して保存する処理（図１６（ｂ））を実行する。アプリケーション８０は、ｄｙｎａｍｉｃ２０．ｊｐｇに関連付けられている位置情報（フレーム番号）に基づき、元となった動画像ファイルの中から、前後の一定時間の所定範囲内に含まれる全てのフレームを解析する。そして、アプリケーション８０は、フォトアルバム用としてより適切なフレームを抽出する。ここでの前後の一定時間の所定範囲内として、例えば、前１秒、後１秒の合計２秒を設定する。
【００８１】
ここで、図１３は、スロットと配置する画像の関係の一例を示す。同１３（ａ）と図１３（ｂ）は、テンプレート１１０２におけるスロットと配置する画像の関係を示す。図１３（ｃ）と図１３（ｄ）は、テンプレート１１４１におけるスロットと配置する画像の関係を示す。図１３（ｅ）は、レイアウトテンプレート１２００におけるスロットと配置する画像の関係を示す。図１３において、ＡｌｂｕｍＴｙｐｅはフォトアルバムの種類であり、Ｇｒｏｕｐは領域（グループ）番号であり、Ｐａｇｅはページ番号であり、Ｓｌｏｔはスロット番号であり、Ａｔｔｒｉｂｕｔｅは画像の属性であり、Ｆｉｌｅはファイル名である。図１３（ａ）と図１３（ｂ）において、スロット番号１〜４のスロットはそれぞれ、スロット１１０７〜１１１０に該当する。図１３（ｃ）と図１３（ｄ）において、スロット番号１〜５はそれぞれ、スロット１１４３〜１１４７に該当する。図１３（ｅ）において、スロット番号１〜７は、それぞれスロット１２０３〜１２０９に該当する。図１３において、ｓｔａｔｉｃ＊．ｊｐｇはデジタルスチルカメラ等で撮影して保存された写真等の静止画像である。また、ｄｙｎａｍｉｃ＊．ｊｐｇ（＊は任意の数字）は動画像から抽出されたフレーム画像である。
【００８２】
その際、アプリケーション８０は、より適切なフレームを抽出する為に、図１４に示す各要素を使って、フレーム画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でより高いスコアのフレームを採用する。アプリケーション８０は、フォトアルバム用としてより適切なフレームを抽出し、抽出したフレーム画像を静止画像ｄｙｎａｍｉｃ２４．ｊｐｇとして保存する。
【００８３】
Ｓ５１０にて、アプリケーション８０は、スロット１１１０に配置されているｄｙｎａｍｉｃ２０．ｊｐｇをスロット１１１０から外す。そして、アプリケーション８０は、Ｓ５０９で保存したフォトアルバム用としてより適切な静止画像ｄｙｎａｍｉｃ２４．ｊｐｇをスロット１１１０に配置して置き換える。その結果、スロット１１０７〜１１１０に対して、図１３（ｂ）に示す画像が配置される。つまり、図１３（ｂ）に示すスロット４の画像が置き換えられている。そして本処理フローを終了する。本処理フローの終了後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
【００８４】
以上のように、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。
【００８５】
また、上記の例では、Ｓ５０５にて、動画像から抽出したフレーム画像のオリジナルのスコアに１．２倍を乗算してスコアを増やす、又は通常の静止画像のスコアに０．８倍を乗算してスコアを減らす。これにより、フレーム画像がスロットに配置されやすいようにした。しかし、これらのような例に限られることなく、例えば、動画像の解像度等の指標に基づくクオリティに応じて、スコアに重み付けをしてもよい。具体的には、そのクオリティが高いと判断した場合はその動画像から抽出したフレーム画像のオリジナルのスコアに１．５倍を乗算してもよい。例えば、解像度が基準値以上であれば、クオリティが高いと判定してもよい。また、静止画像の解像度等の指標に基づくクオリティに応じて、スコアに重み付けをしてもよい。具体的には、クオリティが低い場合はその静止画像のオリジナルのスコアに０．５倍を乗算してもよい。このような構成により、フォトアルバム用の画像としての適切さを示すスコア値を柔軟に制御することができる。
【００８６】
また、上記の例では、Ｓ５０４にて静止画像に対してスコアを付与した後、Ｓ５０５にてそのスコアを補正した。しかし、この構成に限らず、Ｓ５０４にて、動画像から抽出された静止画像に高いスコアが付与されるように処理を行ってもよい。例えば、ＰＣは、高いスコアが付与されやすい第１の評価基準と、第１の評価基準よりは低いスコアが付与されやすい第２の評価基準とをＨＤＤ２０２に記憶しておく。そして、ＣＰＵ２０４は、Ｓ５０４にて、動画像から抽出されたフレーム画像については第１の評価基準によりスコアを付与し、それ以外の静止画像については第２の評価基準によりスコアを付与してもよい。
【００８７】
また、上記の例では、Ｓ５１０にて、スロット１１１０に配置されているｄｙｎａｍｉｃ２０．ｊｐｇをスロット１１１０から外し、Ｓ５０９で保存したフォトアルバム用としてより適切なｄｙｎａｍｉｃ２４．ｊｐｇを配置して置き換えた。しかしながら、このような制御方法に限られることなく、例えば、ｄｙｎａｍｉｃ２４．ｊｐｇのオリジナルのスコア（Ｏｒｉｇｉｎａｌ）により、図１３（ｂ）に示すテンプレート１１０２におけるスロットとフレーム画像の配置の関係を見直してもよい。例えば、ｄｙｎａｍｉｃ２４．ｊｐｇのオリジナルのスコア（Ｏｒｉｇｉｎａｌ）が７．５であるとする。この場合、ｄｙｎａｍｉｃ２４．ｊｐｇの方がｓｔａｔｉｃ３．ｊｐｇのオリジナルのスコアである７．０よりもスコア（＝オリジナルのスコア）が高くなる。従って、アプリケーション８０は、ｄｙｎａｍｉｃ２４．ｊｐｇを図１３（ｂ）のスロット３に、ｓｔａｔｉｃ３．ｊｐｇを図１３（ｂ）のスロット４にそれぞれ配置する。この場合も、ｄｙｎａｍｉｃ２０．ｊｐｇは置き換えられることにより、配置されなくなる。
【００８８】
ここで、図１６を用いて、Ｓ５０２及びＳ５０９の処理について詳細に説明する。図１６は、動画像からフレーム画像（静止画像）を取得して保存する処理を示すフローチャートである。図１６のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＣＰＵ２０４により読み出されて実行される。図１６（ａ）は動画像から静止画像を取得して保存する処理の一例を示すフローチャートであり、図５のＳ５０２の工程に対応する。図１６（ｂ）は、動画像からより適切な静止画像を取得して保存する処理を示すフローチャートであり、図５のＳ５０９の工程に対応する。
【００８９】
図５のＳ５０２の処理が実行されると、アプリケーション８０は、図１６（ａ）の処理を開始する。
【００９０】
Ｓ１６１１にて、アプリケーション８０は、図５のＳ５０１で指定したフォルダに格納されている静止画像または動画像、もしくは、図５のＳ５０１で指定した画像データ群から動画像を検索する。
【００９１】
Ｓ１６１２にて、アプリケーション８０は、検索された動画像から図４のフレーム抽出時間間隔指定部４３０で指定されている時間間隔で複数のフレームを抽出する。ここでは、フレーム抽出時間間隔指定部４３０で指定されている時間間隔を、デフォルト値の１秒として説明する。
【００９２】
Ｓ１６１３にて、アプリケーション８０は、抽出した各フレームを静止画像（ＪＰＥＧファイル）に変換して、これらの静止画像（フレーム画像）を保存する。なお、このとき静止画像をファイル化する場合に限らず、ＣＰＵ２０４が静止画像を例えばビットマップ形式でＲＡＭ２０１に記憶させておいてもよい。この時、図１７（ａ）に示すように、アプリケーション８０は、各フレーム画像に対して、そのフレーム画像を抽出した動画像のファイル名と、そのフレーム画像の元であるフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。なお、静止画像を抽出した動画像のファイルの情報は格納先のフルパスを含むが、図１７（ａ）では格納先のフルパスを省略している。
【００９３】
Ｓ１６１４にて、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中にこれらのフレーム画像を追加する。その後、本処理フローを終了する。
【００９４】
例えば、Ｓ５０６にて、図１４に示すスコアに基づいて、スロット１１０７〜１１１０に、ｓｔａｔｉｃ１．ｊｐｇ、ｓｔａｔｉｃ２．ｊｐｇ、ｓｔａｔｉｃ３．ｊｐｇ、ｄｙｎａｍｉｃ２０．ｊｐｇが配置されたとする（図１３（ａ）に相当）。ここで、図１７（ａ）に示すように、ｄｙｎａｍｉｃ２０．ｊｐｇは、ｖｉｄｅｏ１．ｍｐ４から抽出されたフレームを元に保存されたファイルである。尚、ｖｉｄｅｏ１．ｍｐ４はＭＰＥＧ４形式の動画像ファイルであり、フレームレートは３０ｆｐｓ（フレーム／秒）である。
【００９５】
図５のＳ５０９の処理が実行されると、アプリケーション８０は、スロット１１１０に配置された動画像から抽出したｄｙｎａｍｉｃ２０．ｊｐｇを基に、図１６（ｂ）の処理を開始する。図１６（ｂ）の処理は、動画像からテンプレートへのレイアウト対象としてより適切なフレーム画像を取得して保存する処理である。
【００９６】
Ｓ１６２１にて、アプリケーション８０は、図１７（ａ）に示すテーブルを参照し、ｄｙｎａｍｉｃ２０．ｊｐｇに関連付けられている位置情報（フレーム番号）を取得する。
【００９７】
Ｓ１６２２にて、アプリケーション８０は、取得した位置情報（フレーム番号）に基づいて、その前後の一定時間の所定範囲（例えば、前１秒、後１秒の合計２秒）の中に含まれる全てのフレームを抽出する。
【００９８】
Ｓ１６２３にて、アプリケーション８０は、抽出した全てのフレームを解析して、フォトアルバム用としてより適切なフレームを選択する。その際、アプリケーション８０は、より適切なフレームを選択する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でより高いスコアのフレームを選択する。例えば、抽出されたフレームの中でオリジナルのスコアが最も高いフレームを選択する。つまり、ここでのより適切なフレームとは、各画像に割り当てられたスコアに基づき判定される。
【００９９】
Ｓ１６２４にて、アプリケーション８０は、選択したフレームを静止画像（ＪＰＥＧファイル）に変換して、その静止画像（フレーム画像）を保存する。ここで、アプリケーション８０は、ｄｙｎａｍｉｃ２０．ｊｐｇを基準として、フォトアルバム用としてより適切なフレームを選択し、その選択したフレームをｄｙｎａｍｉｃ２４．ｊｐｇとして保存する。その後、本処理フローを終了する。
【０１００】
以上で説明した処理によれば、静止画像がテンプレートにレイアウトされるに際し、動画像から抽出されたフレーム画像に高いスコアが付与されやすくなり、その静止画像がテンプレートに配置されやすくなる。
【０１０１】
以上で説明した処理によれば、動画像から抽出された複数のフレーム画像に優先的に高いスコアが付与され、さらにその複数のフレーム画像のうち評価の高い画像がレイアウトされる。そのため、ボケ等の少ない適切な画像をレイアウトすることができる。動画像の場合、あるシーンについて多数の画像（静止画像）が撮影されるため、その多数の画像の中にボケが少ない適切な画像が含まれることがある。したがって、本実施形態では、上述した方法により、より適切な画像を抽出し、テンプレートのスロットにレイアウトする。
【０１０２】
ここで、図２０を用いて、フォトアルバム自動作成用の画像データ群を抽出する処理について説明する。図２０は、フォトアルバム自動作成用の画像データ群を抽出する処理を示すフローチャートである。図２０のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＣＰＵ２０４により読み出されて実行される。図２０の処理が開始されると、まず、高速モードは有効か否かが判定され（Ｓ２００１）、その判定結果に基づき図２０（ａ）もしくは図２０（ｂ）の処理が実行される。図２０（ａ）のＳ２００２以降の処理は、高速モードが有効な場合の処理を示す。図２０（ｂ）の処理は、高速モードが無効な場合の処理を示す。
【０１０３】
上述したように、まず、図２０（ａ）のＳ２００１にて、アプリケーション８０は、高速モードの設定状態（有効か無効か）を確認する。高速モードが有効であると判定された場合（Ｓ２００１にてＹＥＳ）Ｓ２００２へ進み、指定された画像群のうち一部の画像を選択する。高速モードが無効であると判定された場合（Ｓ２００１にてＮＯ）図２０（ｂ）のＳ２０１１へ進む。
【０１０４】
Ｓ２００２にて、アプリケーション８０は、動画像からフレーム画像を抽出する処理の設定状態を確認する。動画像も抽出の対象である、すなわち、動画像を抽出する設定が有効であると判定された場合（Ｓ２００２にてＹＥＳ）Ｓ２００３へ進み、無効であると判定された場合（Ｓ２００２にてＮＯ）Ｓ２００７へ進む。
【０１０５】
Ｓ２００３にて、アプリケーション８０は、フォトアルバムを作成する対象となっている画像データ群の中に条件を満たす動画像があるか否かを確認する。条件を満たす動画像があると判定された場合（Ｓ２００３にてＹＥＳ）Ｓ２００５へ進み、条件を満たす動画像が無いと判定された場合（Ｓ２００３にてＮＯ）Ｓ２００７へ進む。ここで、条件の一例を以下に示す。
【０１０６】
［動画像の条件］
フォーマット：  ＭＯＶ、ＭＰ４
エンコーディング：  ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４
撮影時間：  ５秒以上〜１８０秒以下
【０１０７】
Ｓ２００４にて、アプリケーション８０は、動画像の数が規定数以内であるか否かを判定する。動画像の数が規定数以内の場合（Ｓ２００４にてＹＥＳ）Ｓ２００６へ進み、規定数より多い場合（Ｓ２００４にてＮＯ）Ｓ２００５へ進む。ここで、図１９（ａ）、図１９（ｃ）に示すように、規定数が１であると仮定する。
【０１０８】
Ｓ２００５にて、アプリケーション８０は、複数の動画像の中から規定数（＝１つ）の動画像を選択する。すなわち、規定数の動画像を取得する。動画像の選択方法として、例えば、アプリケーション８０は、撮影時間がある所定の時間（ここでは１８０秒とする）以下でその所定の時間に最も近いものを選択する。すなわち、ここでは、１８０秒以下で且つ１８０秒に最も近い動画像を選択する。尚、この構成に限定するものではなく、例えば、アプリケーション８０が、ある所定の時間以下ではなく、その所定の時間の前後を対象としてその所定の時間に最も近いものを選択するという方法でもよい。すなわち、例えば、１８０秒から±３０秒で且つ１８０秒に最も近い動画像を選択するという方法でもよい。また、所定の時間は１８０秒に限られることなく、６０秒、９０秒、３００秒等の値に設定してもよい。
【０１０９】
Ｓ２００６にて、アプリケーション８０は、規定数以内（＝１つ）の動画像から静止画像（フレーム画像）を生成する。静止画像の生成方法としては、例えば、対象の内のある１つの動画像から等間隔で４０個のフレームを抽出し、抽出した各フレームを静止画像（ＪＰＥＧファイル）に変換して保存することで生成してもよい。尚、このとき静止画像をファイル化する場合に限らず、ＣＰＵ２０４が静止画像を例えばビットマップ形式でＲＡＭ２０１に記憶させておいてもよい。この時、図１７（ａ）に示すように、アプリケーション８０は、各フレーム画像に対して、そのフレーム画像を抽出した動画像のファイル名と、その静止画像の元となるフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。アプリケーション８０は、フォトアルバムを作成する際に必要な画像データ群の中にこれらのフレーム画像を追加する。
【０１１０】
Ｓ２００７にて、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群として指定または選択された画像群の中に含まれている静止画像の数を確認する。更にアプリケーション８０は、所定数と画像群の中に含まれている静止画像の数を比較する。この時の所定数の定義は次の通りである。
【０１１１】
Ｓ２００６の処理を実行していた場合：図１９（ａ）もしくは図１９（ｃ）のテーブルの「静止画像数」
Ｓ２００６の処理を実行しなかった場合：図１９（ａ）もしくは図１９（ｃ）のテーブルの「画像総数」
例えば、アプリケーション８０がＰＣ用のアプリケーションの場合、Ｓ２００６を実行した時の所定数は図１９（ａ）の「静止画像数」となるので、ページ数が２０ページの場合では所定数は４６０個となる。また、例えば、アプリケーション８０がＰＣ用のアプリケーションの場合、Ｓ２００６を実行しなかった時の所定数は図１９（ａ）の「画像総数」となるので、ページ数が２０ページの場合では所定数は５００個となる。このように、Ｓ２００６の処理を実行した場合としなかった場合（すなわち、動画像からの静止画像の生成を行った場合と行わなかった場合）の間で、フォトアルバムを自動作成する時間差が少なくでき、その結果、ユーザの操作性に優れるものとなる。
【０１１２】
Ｓ２００７にて、アプリケーション８０は、画像群の中に含まれている静止画像の数が所定数以内であるか否かを判定する。静止画像の数が所定数以内である場合（Ｓ２００７にてＹＥＳ）Ｓ２００９へ進み、所定数より多い場合（Ｓ２００７にてＮＯ）Ｓ２００８へ進む。
【０１１３】
Ｓ２００８にて、アプリケーション８０は、画像群の中に含まれている静止画像から所定数と同じ数またはそれ以内となるように静止画像を抽出する（選択する）。なお、画像の抽出方法は、特に限定されないが、本実施形態では、画像を撮影順に並べて所定間隔で間引くことにより、所定数以下の静止画像を抽出する。
【０１１４】
Ｓ２００９にて、アプリケーション８０は、フォトアルバムの自動作成において対象とする画像が、フォトアルバムを自動作成する為に必要な最小数以上であるか否かを判定する。ここでの対象とする画像とは、動画像から生成されたフレーム画像と、静止画像（Ｓ２００８の処理を実行した場合は、この処理で抽出された抽出された静止画像）の合計数に相当する。また、フォトアルバムを自動作成する為に必要な画像の最小数は、例えば、２ページで構成される見開きページ毎に少なくとも１枚の写真（画像）が必要であると仮定して、「ページ数／２」とする。尚、フォトアルバムを自動作成する為に必要な最小数はこの例に限られることなく、例えば、フォトアルバムに使用するレイアウトテンプレートの仕様に合わせて、適切な値を設定してもよい。対象とする画像が最小数以上であると判定された場合（Ｓ２００９にてＮＯ）図５のＳ５０３へ進み、最小数より少ないと判定された場合（Ｓ２００９にてＹＥＳ）Ｓ２０１０へ進む。
【０１１５】
Ｓ２０１０にて、アプリケーション８０は、「写真（画像）の数が足りません。」という旨の画像数不足エラーメッセージを表示する。そして、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、メイン画面４０１を表示する。
【０１１６】
図２０（ｂ）のＳ２０１１にて、アプリケーション８０は、動画像からフレーム画像を抽出する処理の設定状態を確認する。動画像も抽出の対象である、すなわち、動画像を抽出する設定が有効であると判定された場合（Ｓ２０１１にてＹＥＳ）Ｓ２０１２へ進み、無効であると判定された場合（Ｓ２０１１にてＮＯ）Ｓ２０１４へ進む。
【０１１７】
Ｓ２０１２にて、アプリケーション８０は、フォトアルバムを作成する対象となっている画像群の中に動画像があるか否かを確認する。動画像があると判定された場合（Ｓ２０１２にてＹＥＳ）Ｓ２０１３へ進み、動画像がないと判定された場合（Ｓ２０１２にてＮＯ）Ｓ２０１４へ進む。
【０１１８】
Ｓ２０１３にて、アプリケーション８０は、画像群の中の全ての動画像から静止画像（フレーム画像）を生成する。静止画像の生成方法としては、Ｓ２００６の工程にて示した方法と同じでも良いし、Ｓ２００６の工程とは異なる方法で生成してもよい。静止画像を生成する時、図１７（ａ）に示すように、アプリケーション８０は、各静止画像に対して、その静止画像を抽出した動画像のファイル名と、その静止画像のもととなっているフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。そして、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中にこれらの静止画像を追加する。
【０１１９】
Ｓ２０１４にて、アプリケーション８０は、フォトアルバムの自動作成において対象とする画像が、フォトアルバムを自動作成する為に必要な最小数以上であるか否かを判定する。ここでの対象とする画像とは、動画像から生成された静止画像と、静止画像の合計数に相当する。また、ここでの最小数は、Ｓ２００９と同じ値であってもよいし、別の値を用いてもよい。対象とする画像が最小数以上であると判定された場合（Ｓ２０１４にてＮＯ）Ｓ２０１６へ進み、最小数より少ないと判定された場合（Ｓ２０１４にてＹＥＳ）Ｓ２０１５へ進む。
【０１２０】
Ｓ２０１５にて、アプリケーション８０は、「写真（画像）の数が足りません。」という旨の画像数不足エラーメッセージを表示する。そして、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、メイン画面４０１を表示する。
【０１２１】
Ｓ２０１６にて、アプリケーション８０は、フォトアルバムの自動作成において対象とする画像が、アプリケーション８０がフォトアルバムを自動作成する際に規定されたシステム上限画像数（＝１００００個）より多いか否かを判断する。ここでの対象とする画像とは、動画像から生成されたフレーム画像と、静止画像の合計数に相当する。対象とする画像がシステム上限画像数より多いと判定された場合（Ｓ２０１６にてＹＥＳ）Ｓ２０１７へ進み、システム上限画像数以内であると判定された場合（Ｓ２０１６にてＮＯ）図５のＳ５０３へ進む。
【０１２２】
Ｓ２０１７にて、アプリケーション８０は、「写真（画像）の数が上限数を超えています。」という旨の画像数超過警告メッセージを表示する。その後、図５のＳ５０３へ進む。
【０１２３】
尚、上記の例では、システム上限画像数を１００００個と設定したが、この例に限られることなく、ハードウェアのスペックに合わせて適切な値を設定してもよい。また、この値は、ＰＣ用のアプリケーションとモバイルデバイス用のアプリケーションとで、それぞれのハードウェアに適した異なる値を設定してもよい。例えば、アプリケーション８０が、ＰＣとモバイルデバイスの両方で実行可能なアプリケーションの場合は、ＯＳを介して実行されている機器の情報を取得し、各ハードウェアに適する異なる値を設定してもよい。尚、システム上限画像数を超えた場合、フォトアルバムを自動作成する際に対象とする画像を前記システム上限画像数以内に間引いてもよい。
【０１２４】
以上、本実施形態によれば、動画像から抽出された画像を含むレイアウト処理を適切に行うことができる。また、大量の静止画像と動画像が含まれている画像群から、フォトアルバムの自動作成を高速に行うことができる。
【０１２５】
＜第２の実施形態＞
本実施形態では、関連性のある画像を自動的に動画像から抽出してレイアウトを行う。
【０１２６】
図１８は、動画像を構成するフレームの一例を示す。図１８は、動画像ｖｉｄｅｏ４４４．ｍｐ４の例を示す。図１８において、各フレームの下に記載されている番号はそのフレームのフレーム番号である。ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ４５．ｊｐｇ、ｄｙｎａｍｉｃ４６．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム３、４、５からそれぞれ抽出して保存した静止画像ファイルである。ｄｙｎａｍｉｃ５４．ｊｐｇ、ｄｙｎａｍｉｃ５５．ｊｐｇ、ｄｙｎａｍｉｃ５６．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム９２５、９２６、９２７からそれぞれ抽出して保存した静止画像ファイルである。ｄｙｎａｍｉｃ８７．ｊｐｇ、ｄｙｎａｍｉｃ８８．ｊｐｇ、ｄｙｎａｍｉｃ８９．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム３３３４、３３３５、３３３６からそれぞれ抽出して保存した静止画像ファイルである。図１８に示す通り、フレーム１〜５、フレーム９２４〜９２８、フレーム３３３３〜３３３７は、それぞれ異なる場面のフレーム群である。
【０１２７】
本実施形態では、各場面について、フレーム画像中に含まれるオブジェクトに基づいてフレーム画像が分類される。例えば、静止画像中に含まれるオブジェクトの種類が異なれば、異なる場面として場面分けする。場面分けは、他の基準に因ってもよく、例えば、同一若しくは類似の構図ごとに場面分けされてもよい。
【０１２８】
図６は、本実施形態に係るフォトアルバムを自動作成する処理を示すフローチャートである。図６のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザは、図４（ａ）に示す時間選択ボタン４０８、シーン選択ボタン４０９、テーマ選択ボタン４１０の何れか１つを選択して、フォトアルバム作成ボタン４１２を押下する。その押下に応じて、アプリケーション８０は図６に示す処理を実行する。
【０１２９】
Ｓ６０１にて、アプリケーション８０は、静止画像または動画像が格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ６０１にて、ユーザに、静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像または動画像を選択させてもよい。
【０１３０】
Ｓ６０２にて、アプリケーション８０は、図７に示す静止画像の分類処理を実行する。本工程の処理の詳細については後述する。
【０１３１】
Ｓ６０３にて、アプリケーション８０は、Ｓ６０２の静止画像の分類処理における分類方法（時間ベース、シーンベース、テーマベース）の各方法に応じて、各方法に該当する図８（ａ）〜（ｃ）のいずれかの処理を実行する。図８（ａ）〜（ｃ）に示す処理は、分類に対応した、動画像から静止画像（フレーム画像）を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか１つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。本工程の処理の詳細については後述する。
【０１３２】
Ｓ６０４にて、アプリケーション８０は、Ｓ６０２で適用した分類方法に基づいて、その分類方法に関連付けられているレイアウトテンプレートを選択する。例えば、Ｓ６０２にて、アプリケーション８０がテーマベースの分類方法を選択したとする。この場合、Ｓ６０４にて、アプリケーション８０は、テーマベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここでは、アプリケーション８０は、図１１（ｃ）に示すレイアウトテンプレート１１４０が含まれたレイアウトテンプレートを選択したとする。
【０１３３】
Ｓ６０５にて、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の各スロットに、互いに関連する静止画像を配置する。その際に、本分類（例えば、テーマ）に分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第１の実施形態で説明したようなスコアリングが行われて、スコアの高い順に所定数のスロットに割り当てるようにしてもよい。
【０１３４】
Ｓ６０６にて、アプリケーション８０は、各スロットに配置されている静止画像を確認し、動画像から抽出したフレーム画像が複数配置されているか否かを判定する。複数配置されていると判定された場合には（Ｓ６０７にてＹＥＳ）Ｓ６０８へ進み、複数配置されていないと判定された場合には（Ｓ６０７にてＮＯ）本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
【０１３５】
ここで、図１３（ｃ）に示す通り、スロット１１４３〜１１４７にｓｔａｔｉｃ１４．ｊｐｇ、ｓｔａｔｉｃ２８．ｊｐｇ、ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ４５．ｊｐｇ、ｄｙｎａｍｉｃ４６．ｊｐｇが各配置されたとする。
【０１３６】
Ｓ６０８にて、アプリケーション８０は、複数配置されている動画像から抽出したフレーム画像の中に同一場面のものが含まれているか否かを判定する。同一場面のものが含まれていると判定された場合には（Ｓ６０９にてＹＥＳ）Ｓ６１０へ進み、同一場面のものが含まれていないと判定された場合には（Ｓ６０９にてＮＯ）本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
【０１３７】
Ｓ６１０にて、アプリケーション８０は、動画像から抽出したフレーム画像の中に同一場面と判定した場面とは異なる場面のフレーム画像があるかを判定する。異なる場面のフレーム画像が有ると判定された場合には（Ｓ６１１にてＹＥＳ）Ｓ６１２へ進み、異なる場面のフレーム画像が無いと判定された場合には（Ｓ６１１にてＮＯ）Ｓ６１３へ進む。
【０１３８】
Ｓ６１２にて、アプリケーション８０は、スロットに配置されている動画像から抽出したフレーム画像の中の同一場面のフレーム画像の一方を、動画像から抽出した異なる場面のフレーム画像と置き換えて、そのスロットに配置する。その結果、ここでの例の場合、スロット１１４６に配置されているｄｙｎａｍｉｃ４５．ｊｐｇがｄｙｎａｍｉｃ５５．ｊｐｇに置き換えられる。また、スロット１１４７に配置されているｄｙｎａｍｉｃ４６．ｊｐｇがｄｙｎａｍｉｃ８８．ｊｐｇに置き換えられる。図１３（ｄ）に示す通り、スロット１１４３〜１１４７にｓｔａｔｉｃ１４．ｊｐｇ、ｓｔａｔｉｃ２８．ｊｐｇ、ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ５５．ｊｐｇ、ｄｙｎａｍｉｃ８８．ｊｐｇがそれぞれ配置される。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
【０１３９】
Ｓ６１３にて、アプリケーション８０は、スロットに配置されている動画像から抽出したフレーム画像の中の同一場面のフレーム画像の一方を、動画像から抽出したフレーム画像ではない、同一分類の静止画像と置き換えて、そのスロットに配置する。このときに、図１４に示すスコア値が大きくなるように、置き換えを行ってもよい。若しくは、図１４に示す各要素のいずれかのポイントが大きくなるように、置き換えを行ってもよい。その結果、最終的に完成されるレイアウト画像のユーザの満足度を向上させることができる。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
【０１４０】
（静止画像の分類処理）
図７は、静止画像の分類処理を示すフローチャートである。図７のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。本処理は、図６のＳ６０２の処理に対応する。
【０１４１】
Ｓ７０１にて、アプリケーション８０は、ユーザによる動画像ファイル処理方法選択部４０６の選択状態を取得し、ユーザが選択した動画像から静止画像を抽出する処理方法に基づいて、分類方法を判定する。分類方法が時間ベースの分類方法であると判定した場合には（Ｓ７０２にてＹＥＳ）Ｓ７０３へ進み、時間ベースの分類方法ではないと判定した場合には（Ｓ７０２にてＮＯ）Ｓ７０４へ進む。
【０１４２】
Ｓ７０３にて、アプリケーション８０は、静止画像（ＪＰＥＧファイル）のＥｘｉｆ情報のＤａｔｅＴｉｍｅ情報、静止画像のファイルの作成日、更新日時、アクセス日時等を参照し、それらの情報から得られた撮影年月日時刻に基づき静止画像を分類する。そして、アプリケーション８０は、その分類情報と分類結果（グループ）を、対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、Ｅｘｉｆ情報のＤａｔｅＴｉｍｅ情報が存在しない場合、ファイルの作成日、更新日時、アクセス日時等から得られた撮影年月日時刻を、静止画像と関連付けて保存する。
【０１４３】
分類の方法としては、例えば、同一日の静止画像をまとめて同じ分類としたり、同一月等の同一の時間情報の静止画像をまとめて同じ分類としたりする方法等がある。例えば、図１７（ｂ）のｓｔａｔｉｃ１００．ｊｐｇ、ｓｔａｔｉｃ１０２．ｊｐｇ、ｓｔａｔｉｃ１０３．ｊｐｇ、ｓｔａｔｉｃ１０８．ｊｐｇ、ｓｔａｔｉｃ１０９．ｊｐｇがこのケースを表す。ｓｔａｔｉｃ１０２．ｊｐｇは、Ｉｎｆｏ（分類情報）に２０１３年１２月２４日２０時台（２０：００〜２０：５９）で分類したことを表す情報が関連付けられて格納されている。
【０１４４】
分類方法がシーンベースの分類方法であると判定した場合には（Ｓ７０４にてＹＥＳ）Ｓ７０５へ進み、シーンベースの分類方法ではないと判定した場合には（Ｓ７０４にてＮＯ）Ｓ７０６へ進む。
【０１４５】
Ｓ７０５にて、アプリケーション８０は、静止画像の色情報やヒストグラム等を解析し、その解析結果に基づいて静止画像を分類し、その分類情報と分類結果（グループ）を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、色情報やヒストグラムの情報も、静止画像と関連付けて保存する。分類の方法としては、例えば同じような色味の静止画像をまとめて同じ分類としたり、ＲＧＢまたはＹＣｒＣｂのヒストグラムが一致あるいは色度が所定の閾値範囲内の近い静止画像をまとめて同じ分類としたりする方法等がある。例えば、図１７（ｂ）のｓｔａｔｉｃ１２０．ｊｐｇ、ｓｔａｔｉｃ１２１．ｊｐｇ、ｓｔａｔｉｃ１２３．ｊｐｇ、ｓｔａｔｉｃ１２５．ｊｐｇがこのケースを表す。ｓｔａｔｉｃ１２０．ｊｐｇは、Ｉｎｆｏ（分類情報）にヒストグラム４（ｈｉｓｔｏｇｒａｍ４−＊、＊は自然数、ヒストグラム４のグループとして判定されるヒストグラム値）で分類したことを表す情報が関連付けられて格納されている。本工程の処理の後、本処理フローを終了する。
【０１４６】
分類方法がテーマベースの分類方法であると判定した場合には（Ｓ７０６にてＹＥＳ）Ｓ７０７へ進み、テーマベースの分類方法ではないと判定した場合には（Ｓ７０６にてＮＯ）Ｓ７０８へ進む。
【０１４７】
Ｓ７０７にて、アプリケーション８０は、ユーザがファイル選択ボタン４１１で選択したファイルに含まれているオブジェクトを解析し、その解析結果に基づいて静止画像を分類する。そして、アプリケーション８０は、その分類情報と分類結果（グループ）を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、オブジェクト情報も、静止画像と関連付けて保存する。ここでオブジェクトの例としては、人、犬や猫等の動物、花、列車、自動車、バイクなど様々なものがあり、特に限定するものではない。尚、オブジェクトの例の人として、人物、顔等を区別してもよい。例えば、図１７（ｂ）のｓｔａｔｉｃ１５５．ｊｐｇ、ｓｔａｔｉｃ１５６．ｊｐｇ、ｓｔａｔｉｃ１５７．ｊｐｇ、ｓｔａｔｉｃ１６０．ｊｐｇがこのケースを表す。ｓｔａｔｉｃ１５５．ｊｐｇは、Ｉｎｆｏ（分類情報）にオブジェクト８（ｏｂｊｅｃｔ８−＊、＊は自然数、オブジェクト８のグループとして判定されるオブジェクトを規定する情報）で分類したことを表す情報が関連付けられて格納されている。本工程の処理の後、本処理フローを終了する。
【０１４８】
Ｓ７０８にて、アプリケーション８０は、その他の方法（時間、シーン、テーマ以外）に基づいて静止画像を分類し、その結果を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、上記のその他の方法の情報も、静止画像と関連付けて保存する。尚、ユーザが本実施形態のメイン画面４０１を操作する場合、アプリケーション８０がＳ７０８の処理を実行しない場合もある。本工程の処理の後、本処理フローを終了する。
【０１４９】
（静止画像の抽出処理）
図８は、動画像から静止画像の抽出処理を示すフローチャートである。図８のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。図８に示す３つの処理フローは、図６のＳ６０３の処理に対応する。図８（ａ）は時間ベースで動画像から静止画像（フレーム画像）を抽出する処理を示すフローチャートである。また、図８（ｂ）はシーンベースで動画像から静止画像（フレーム画像）を抽出する処理を示すフローチャートである。また、図８（ｃ）はテーマベースで動画像から静止画像（フレーム画像）を抽出する処理を示すフローチャートである。
【０１５０】
ユーザが、図４（ａ）に示す時間選択ボタン４０８を選択して、フォトアルバム作成ボタン４１２を押下したとする。この場合、図６のＳ６０３でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ａ）の静止画像の抽出処理を開始する。
【０１５１】
Ｓ８１１にて、アプリケーション８０は、Ｓ７０３で静止画像に関連付けられている分類情報と、その静止画像のＥｘｉｆ情報のＤａｔｅＴｉｍｅ情報又はその静止画像に関連付けられている撮影年月日時刻に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、まず、動画像の撮影年月日時刻を取得し、Ｓ７０３で得られた静止画像に関連付けられている分類情報（例えば、同一日、同一月）を使って、分類が一致する動画像を特定する。そして、アプリケーション８０は、特定した動画像にその分類情報を関連付けて、その情報を保存する。次に、アプリケーション８０は、同一分類のフレーム静止画像から、Ｅｘｉｆ情報のＤａｔｅＴｉｍｅ情報又はそのフレーム画像に関連付けられている撮影年月日時刻を取得し、同一分類の動画像から、撮影年月日時刻が一致するフレームを抽出する。その際、アプリケーション８０は、撮影年月日時刻を基準時刻として、その前後の一定時間の所定範囲（例えば、前３秒、後３秒の合計６秒）の中に含まれる全てのフレームを解析して、フォトアルバム用としてより適切なフレームを抽出する。
【０１５２】
ここで、アプリケーション８０は、複数のフレームを抽出してもよい。その際、アプリケーション８０は、より適切なフレームを抽出する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でスコアの高い順にフレームを採用する。フレームの採用数については、例えば、動画像から抽出したフレーム画像をレイアウト可能なスロット数を、フレームの採用数として決定してもよい。
【０１５３】
Ｓ８１２にて、アプリケーション８０は、Ｓ８１１で抽出されたフレームを静止画像として保存する。なお、Ｓ８１１にて、撮影年月日時刻が一致するフレームが存在しない場合、アプリケーション８０は、その動画像に対して図１６（ａ）に示す処理を実行して静止画像を抽出する。
【０１５４】
Ｓ８１３にて、アプリケーション８０は、動画像から抽出したフレーム画像と、分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３０１．ｊｐｇ、ｄｙｎａｍｉｃ３０２．ｊｐｇこのケースを表す。ｄｙｎａｍｉｃ３０１．ｊｐｇには、Ｉｎｆｏ（分類情報）に２０１３年１２月２４日２０時台（２０：００〜２０：５９）で分類したことを表す情報が関連付けて格納されている。また、Ｇｒｏｕｐ（分類結果）にｄａｔｅＴｉｍｅ１というグループ情報が関連付けて格納されている。また、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１０２．ｊｐｇが関連付けて格納されている。その後、本処理フローを終了する。
【０１５５】
ユーザが、図４（ａ）に示すシーン選択ボタン４０９を選択して、フォトアルバム作成ボタン４１２を押下したとする。この場合、図６のＳ６０３でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ｂ）の静止画像の抽出処理を開始する。
【０１５６】
Ｓ８２１にて、アプリケーション８０は、図７のＳ７０５で静止画像に関連付けられた色情報やヒストグラム等の分類情報に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、各動画像からフレームを抽出し、そのフレームの色情報やヒストグラム等を解析し、図７のＳ７０５で得られた静止画像に関連付けられた分類情報（色やヒストグラム等）と比較する。比較の結果、両者が一致または類似している場合、アプリケーション８０は、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション８０は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション８０は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション８０は、複数のフレームを抽出してもよい。適切なフレームの抽出（スコア順及びフレーム採用数）については、図８（ａ）と同じ基準で行われる。
【０１５７】
Ｓ８２２にて、アプリケーション８０は、Ｓ８２１で抽出されたフレームを静止画像（フレーム画像）として保存する。
【０１５８】
Ｓ８２３にて、アプリケーション８０は、動画像から抽出したフレーム画像と分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３２１．ｊｐｇの行がこのケースを表す。この画像には、Ｉｎｆｏ（分類情報）にヒストグラム４（ｈｉｓｔｏｇｒａｍ４−＊、＊は自然数、ヒストグラム４のグループとして判定されるヒストグラム値）で分類したことを表す情報が関連付けて格納されている。また、この画像には、Ｇｒｏｕｐ（分類結果）にｈｉｓｔｏｇｒａｍ４というグループ情報が関連付けて格納されている。また、この画像には、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１２０．ｊｐｇが関連付けられて格納されている。その後、本処理フローを終了する。
【０１５９】
ユーザが、図４（ａ）に示すテーマ選択ボタン４１０を選択して、フォトアルバム作成ボタン４１２を押下したとする。この場合、図６のＳ６０３でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ｃ）の静止画像の抽出処理を開始する。
【０１６０】
Ｓ８３１にて、アプリケーション８０は、図７のＳ７０７で静止画像に関連付けられたオブジェクトの分類情報に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、各動画像からフレームを抽出し、そのフレームの中に含まれているオブジェクトを解析し、図７のＳ７０７で得られた静止画像に関連付けられている分類情報（オブジェクト）と比較する。比較の結果、両者が一致または類似している場合、アプリケーション８０は、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション８０は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション８０は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション８０は、複数のフレームを抽出してもよい。適切なフレームの抽出（スコア順及びフレーム採用数）については、図８（ａ）と同じ基準で行われる。
【０１６１】
Ｓ８３２にて、アプリケーション８０は、Ｓ８３１で抽出されたフレームを静止画像として保存する。
【０１６２】
Ｓ８３３にて、アプリケーション８０は、動画像から抽出した静止画像と、分類情報、分類結果、関連ファイルを関連付けてその情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３４１．ｊｐｇの行がこのケースを表す。この画像には、Ｉｎｆｏ（分類情報）にオブジェクト８（ｏｂｊｅｃｔ８−＊、＊は自然数、オブジェクト８のグループとして判定されるオブジェクトを規定する情報）で分類したことを表す情報が関連付けて格納されている。また、この画像には、Ｇｒｏｕｐ（分類結果）にｏｂｊｅｃｔ８というグループ情報が関連付けて格納されている。また、この画像には、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１５５．ｊｐｇが関連付けて格納されている。その後、本処理フローを終了する。
【０１６３】
以上のように、本実施形態では、分類分けされた静止画像に基づいて、動画像から、静止画像と関連する静止画像（フレーム画像）を自動的に抽出し、これらの静止画像をレイアウト内の一連の領域に配置する。それにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に動画像から抽出してレイアウトを行うことができる。また、１つの動画像から異なる場面の複数の静止画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うことができる。
【０１６４】
＜第３の実施形態＞
本実施形態では、解像度が高い静止画像を、テンプレートのスロットのうちのより大きなサイズのスロットに配置することで、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行う。
【０１６５】
図９は、本実施形態に係るフォトアルバムを自動作成する処理を示すフローチャートである。図９のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザが、図４（ａ）に示す時間選択ボタン４０８、シーン選択ボタン４０９、テーマ選択ボタン４１０の何れか１つを選択して、フォトアルバム作成ボタン４１２を押下する。その押下に応じて、アプリケーション８０は、図９に示す処理を実行する。本実施形態では、図１３（ｅ）に示すデータを用いて説明を行う。
【０１６６】
Ｓ９０１にて、アプリケーション８０は、静止画像または動画像が格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ９０１にて、ユーザに静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像または動画像を選択させてもよい。
【０１６７】
Ｓ９０２にて、アプリケーション８０は、第２の実施形態で説明した図７に示す静止画像の分類処理を実行する。ここで、ｓｔａｔｉｃ１１．ｊｐｇとｓｔａｔｉｃ１２．ｊｐｇは、デジタルスチルカメラで撮影して保存された写真（静止画像）であるものとする。また、図１３（ｅ）に示す、ｓｔａｔｉｃ１１．ｊｐｇに関連付けられている分類情報と、ｓｔａｔｉｃ１２．ｊｐｇに関連付けられている分類情報とは、一致しているものとする。
【０１６８】
Ｓ９０３にて、アプリケーション８０は、Ｓ９０２の静止画像の分類処理における分類方法（時間ベース、シーンベース、テーマベース）の各方法に応じて、それぞれの方法に対応する図８（ａ）〜（ｃ）の処理のいずれかを実行する。図８（ａ）〜（ｃ）の処理は、第２の実施形態にて述べたように、動画像から静止画像（フレーム画像）を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか１つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。ここで、図１３（ｅ）に示す、ｄｙｎａｍｉｃ２２．ｊｐｇ、ｄｙｎａｍｉｃ４３．ｊｐｇ、ｄｙｎａｍｉｃ５０．ｊｐｇ、ｄｙｎａｍｉｃ７８．ｊｐｇ、ｄｙｎａｍｉｃ８５．ｊｐｇは、１つの動画像から抽出された静止画像であるものとする。また、これらの各フレーム画像に関連付けられている分類情報は全て一致し、ｓｔａｔｉｃ１１．ｊｐｇに関連付けられている分類情報と、ｓｔａｔｉｃ１２．ｊｐｇに関連付けられている分類情報とも一致しているとする。
【０１６９】
Ｓ９０４にて、アプリケーション８０は、Ｓ９０２で適用した分類方法に基づいて、その分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、Ｓ９０２にて、アプリケーション８０が、シーンベースの分類方法を選択したとする。この場合、Ｓ９０４にて、アプリケーション８０は、シーンベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、アプリケーション８０は、図１２（ａ）に示すレイアウトテンプレート１２００が含まれたレイアウトテンプレートを選択したとする。
【０１７０】
Ｓ９０５にて、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の通常の静止画像（動画像から抽出したフレーム画像ではない静止画像）に適した各スロットに、互いに関連する通常の静止画像を配置する。ここでは、スロット１２０３、１２０４に、互いに関連する通常の静止画像ｓｔａｔｉｃ１１．ｊｐｇ、ｓｔａｔｉｃ１２．ｊｐｇがそれぞれ配置される。その際に、分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第１の実施形態で説明したようなスコアリングを行い、スコアの高い順に所定数のスロットに割り当てるようにしてもよい。
【０１７１】
Ｓ９０６にて、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の動画像から抽出されたフレーム画像に適した各スロットに、互いに関連する動画像から抽出されたフレーム画像をそれぞれ配置する。ここでは、スロット１２０５〜１２０９に、互いに関連する動画像から抽出された静止画像ｄｙｎａｍｉｃ２２．ｊｐｇ、ｄｙｎａｍｉｃ４３．ｊｐｇ、ｄｙｎａｍｉｃ５０．ｊｐｇ、ｄｙｎａｍｉｃ７８．ｊｐｇ、ｄｙｎａｍｉｃ８５．ｊｐｇがそれぞれ配置される。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
【０１７２】
以上のように、本実施形態では、解像度が高い静止画像を、レイアウトテンプレート内で関連付けられている一連の領域内の通常の静止画像に適した大きめのスロット１２０３、１２０４に配置する。また、１つの動画像から抽出された静止画像を一連のフレーム画像用のスロット、すなわち、一連のスロット１２０５〜１２０９に配置する。これにより、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。このように、１つの動画像から抽出した複数のフレーム画像を連続して配置することにより、動きを表現したレイアウト画像を生成することができる。
【０１７３】
＜第４の実施形態＞
第１の実施形態では、図１９（ａ）、図１９（ｃ）を用いて説明した通り、フォトアルバムのページ数に依存することなく、動画像の規定数を一律に固定（規定数＝１）していた。しかし、フォトアルバムのページ数に応じて、フォトアルバムを自動作成する為に必要な画像数の最小値や推奨値が異なる。具体的には、フォトアルバムのページ数が増えることに伴い、必要な画像数の最小値や推奨値も増える。第１の実施形態では、高速モードが有効な場合に、フォトアルバムのページ数が多いケースにおいても、フォトアルバムを自動作成する対象となる動画像は１つとした。これに対し、本実施形態では、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が複数存在する場合、それらを有効に利用する。
【０１７４】
本実施形態では、図１９（ｂ）、図１９（ｄ）を用いる。具体的には、図１９（ｂ）、図１９（ｄ）に示すテーブルに基づいて、アプリケーション８０がフォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて切り換える。ページ数が２０ページと３０ページの場合の規定数は１である。ページ数が４０ページと５０ページの場合の規定数は２である。ページ数が６０ページの場合の規定数は３である。ここでは、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するため、規定数に応じて、動画像から生成される静止画像の数が、４０個、８０個、１２０個というように切り換わる。図１９（ｂ）、図１９（ｄ）のテーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行することで、ユーザが選択しているフォトアルバムのページ数に合わせて、より多くの動画像を利用して、フォトアルバムを高速に自動作成することができる。
【０１７５】
第１の実施形態、および、第４の実施形態では、動画像からフレーム画像を生成する方法として、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成する方法を採用した。この例に限られることなく、例えば、１つの動画像から１秒ごとにフレームを抽出してフレーム画像を生成するようにしてもよい。この場合、アプリケーション８０は、図１９の各テーブルの「静止画像数」を「動画像からの画像数」に合わせて動的に管理する。
【０１７６】
＜第５の実施形態＞
第１の実施形態では、図２０（ａ）に示すような処理を実行することで、高速モードを実現した。第１の実施形態の場合、Ｓ２００５にて複数の動画像の中から規定数の動画像を選択する過程で、選択されなかった動画像が存在する。本実施形態では、選択されなかった動画像の中にフォトアルバムを自動作成する際に対象画像として適した動画像が含まれていた場合、その動画像から静止画像を生成し、フォトアルバムのスロットに自動的に配置する。
【０１７７】
具体的には、図２０（ａ）にて、アプリケーション８０がＳ２００５とＳ２００６で実行する処理の代わりに、次のような処理を実行する。アプリケーション８０は、動画像の数が所定数（＝４０個）以内の場合、各動画像から数個ずつフレーム画像を生成して、合計４０個またはそれ以内となるようにフレーム画像を生成する。アプリケーション８０は、動画像の数が所定数（＝４０個）より多い場合、フォトアルバムを自動作成する際に対象とする動画像の数が所定数（＝４０個）以内となるように、動画像を選択する。そして、アプリケーション８０は、各動画像から数個ずつフレーム画像を生成して、合計４０個またはそれ以内となるようにフレーム画像を生成する。これにより、より多くの動画像を利用して、フォトアルバムを高速に自動作成することができる。
【０１７８】
＜第６の実施形態＞
上記の各実施形態は、静止画像の数と比較して動画像の数がかなり少ないケースに適している。これに対し、本実施形態では、静止画像の数と動画像の数がほぼ同じ場合や、静止画像の数と比較して動画像の数が多いケースの場合に、適した例を説明する。
【０１７９】
図２２は、高速モードへの移行を判定するテーブルの一例を示す図である。図２２（ａ）〜（ｄ）は、Ｗｉｎｄｏｗｓ（登録商標）等のＰＣ用のアプリケーションが参照するテーブルである。「ページ数」は、フォトアルバムのページ数である。「平均スロット数」は、フォトアルバムの見開き２ページに配置されるスロットの数の平均値である。「動画像からの画像数」は、動画像から抽出するフレーム画像の数である。「静止画像数」は、静止画像の数である。「画像総数」は、「動画像からの画像数」と「静止画像数」の合計の数である。
【０１８０】
本実施形態では、図１９（ｂ）、図２２（ａ）、図２２（ｂ）のテーブルに基づいて、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて切り換える。図１９（ｂ）は、静止画像の数と比較して動画像の数がかなり少ないケース用の判定テーブルである。図２２（ａ）は、静止画像の数と比較して動画像の数がほぼ同じか若干少ないケース用の判定テーブルである。図２２（ｂ）は、静止画像の数と比較して動画像の数が多いケース用の判定テーブルである。
【０１８１】
図２２（ａ）にて、ページ数が２０ページの場合の規定数は６、ページ数が３０ページの場合の規定数は９、ページ数が４０ページの場合の規定数は１２、ページ数が５０ページの場合の規定数は１５、ページ数が６０ページの場合の規定数は１８とする。ここでは、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するものとする。したがって、規定数に応じて、動画像から生成される静止画像の数が、２４０個、３６０個、４８０個、６００個、７２０個というように切り換わる。
【０１８２】
図２２（ｂ）にて、ページ数が２０ページの場合の規定数は１０、ページ数が３０ページの場合の規定数は１５、ページ数が４０ページの場合の規定数は２０、ページ数が５０ページの場合の規定数は２５、ページ数が６０ページの場合の規定数は２０とする。ここでは、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するものとする。したがって、規定数に応じて、動画像から生成される静止画像の数が、４００個、６００個、８００個、１０００個、１２００個というように切り換わる。
【０１８３】
図１９（ｂ）の規定数がページ数に応じて１〜３であるのに対し、図２２（ａ）の規定数はページ数に応じて６〜１８であり、図２２（ｂ）の規定数はページ数に応じて１０〜３０である。
【０１８４】
図２０のＳ２００４にて、アプリケーション８０は、フォトアルバムを自動作成する際の対象となる静止画像の数と動画像の数を比較し、動画像の数の割合に応じて判定に使用するテーブルを切り換える。例えば、静止画像の数に対する動画像の数の割合が第１の閾値以下の場合は、図１９（ｂ）のテーブルを用い、静止画像の数に対する動画像の数の割合が第１の閾値より大きく第２の閾値以下の場合は、図２２（ａ）のテーブルを用いる。そして、静止画像の数に対する動画像の数の割合が第２の閾値より大きい場合は、図２２（ｂ）のテーブルを用いる。つまり、アプリケーション８０は、動画像の数の割合が大きくなるにつれて高速モードにおいて動画像から静止画像を生成する候補となる動画像の数（＝規定数）を増やすように制御する。そして、アプリケーション８０は、図１９（ｂ）、図２２（ａ）、図２２（ｂ）の各テーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行する。これにより、本実施形態では、ユーザが選択しているフォトアルバム、または静止画像の数に対する動画像の数の割合に応じて、動画像の数の割合が大きくなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。
【０１８５】
本実施形態の上記の構成では、アプリケーション８０は、図１９（ｂ）、図２２（ａ）、図２２（ｂ）のテーブルを利用し、動画像の数の割合が大きくなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成している。更に、上記のようなテーブルを利用する以外の方法の一例を以下に記す。
【０１８６】
図２０のＳ２００４において、アプリケーション８０は、この処理の代わりに次のような処理を実行する。まず、アプリケーション８０は、図１９（ａ）のテーブルを参照し、選択されているフォトアルバムのページ数に対応する「画像総数」を取得する。次に、アプリケーション８０は、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている動画像の数を確認し、規定数（＝１）と比較する。動画数の数が規定数を超える場合は、アプリケーション８０は、選択する動画像の数の候補を規定数（＝１）に設定する。ここで決まった動画像の数の候補を「動画像数候補１」と定義する。次に、アプリケーション８０は、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている静止画像の数を確認し、
（「画像総数」−「静止画像の数」）／４０
の演算を実行する。尚、この演算の単位は整数として、余りが発生した場合はその余りは無視する。この演算結果で得られた動画像の数の候補を「動画像数候補２」と定義する。ここで、「４０」は、１つの動画像から等間隔でフレームを抽出して静止画像を生成する時に使用しているフレーム数である。次に、アプリケーション８０は、「動画像数候補１」と「動画像数候補２」を比較し、大きい方の値を、選択する動画像の数として設定する。「動画像数候補１」と「動画像数候補２」が同じ値の場合は、アプリケーション８０は、「動画像数候補１」の値を、選択する動画像の数として設定する。
【０１８７】
例えば、図１９（ａ）において、ページ数が２０ページの場合で、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている動画像数が２０個、静止画像の数が１００個の場合を考える。このとき、「動画像数候補１」の値は「１」となり、上記の式から、
「動画像数候補２」＝（５００−１００）／４０
となり、「動画像数候補２」の値は「１０」となる。そして、「動画像数候補１」と「動画像数候補２」とを比較した結果、「動画像数候補２」がより大きいため、選択する動画像の数は「１０」となる。そして、１０個の動画像から計４００枚の静止画像が抽出される。
【０１８８】
その結果、この例の場合、「動画像からの画像数」は４０個、「静止画像数」は１００個、「画像総数」は５００個となる。このような演算処理により、選択する動画像の数を決定して、画像データ群から決定した数の動画像を選択する。その後、アプリケーション８０は、図２０のＳ２００５〜Ｓ２００８を実行し、ユーザが選択しているフォトアルバム又は静止画像の数に対する動画像の数に応じて静止画像の数が多い場合は動画像の数を減らし、静止画像の数が少ない場合は動画像の数を増やす。これにより、その時の状況に応じて適切な数の静止画像と動画像を利用してフォトアルバムを高速に自動作成することができる。従って、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。
【０１８９】
本実施形態では、アプリケーション８０が、静止画像の数に対する動画像の数の割合（言い換えると、フォトアルバム作成に用いられる総画像数に対する動画像数の割合）に応じて、図１９（ｂ）、図２２（ａ）、図２２（ｂ）のテーブルを切り換えて制御する。つまり通常の静止画像の全体に対する割合が小さくなるほど、上記の規定数が大きくなるように設定する。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上できる。しかし、この例に限られることなく、例えば、解像度に応じてテーブルを切り替えるようにしてもよい。例えば、図２０のＳ２００４にて、動画像の解像度を確認し、１２８０×７２０ｄｐｉ未満の場合は図１９（ｂ）のテーブルを選択する。一方、１２８０×７２０ｄｐｉ以上１４４０×１０８０ｄｐｉ未満は図２２（ａ）のテーブルを選択し、１９２０×１０８０ｄｐｉ以上は図２２（ｂ）のテーブルを選択する。そして、アプリケーション８０は、選択されたテーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行する。これにより、ユーザが選択しているフォトアルバム、または動画像の画質に応じて、動画像の画質が良くなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。
【０１９０】
＜第７の実施形態＞
上記の実施形態では、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて規定数を変えることにより切り換える構成について説明した。本実施形態では、例えば、スロット数に応じて規定数を変えることにより、対象として取り扱う動画像の数を切り換える形態について説明する。
【０１９１】
図２２（ｃ）、図２２（ｄ）は、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数及び平均スロット数に応じて切り換えることができるテーブルを示す。ここでの平均スロット数とは、フォトアルバムの見開きページに配置されるスロットの数の平均値を意味する。図２２（ｃ）は、平均スロット数が２のケース用の判定テーブルである。図１９（ｂ）は、平均スロット数が６のケース用の判定テーブルである。図２２（ｄ）は、平均スロット数が１０のケース用の判定テーブルである。同じページ数で比較した場合、例えば、４０ページの場合を参照すると、平均スロット数が少ない（＝２）ケースは、図２２（ｃ）に示すように規定数が１である。同様に、平均スロット数が標準（＝６）ケースは、図１９（ｂ）に示すように規定数が２であり、平均スロット数が多い（＝１０）ケースは、図２２（ｄ）に示すように規定数が３である。１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するので、上記の３つのケースは、規定数に応じて動画像から生成される静止画像の数が、平均スロット数の少ない順に、４０個、８０個、１２０個というように切り換わる。
【０１９２】
図２０のＳ２００４にて、アプリケーション８０は、平均スロット数に応じて判定に使用するテーブルを切り換える。具体的には、アプリケーション８０は、平均スロット数が多くなるにつれて高速モードにおいて動画像から静止画像を生成する候補となる動画像の数（＝規定数）を増やすように制御する。そして、アプリケーション８０は、選択されたテーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行する。これにより、ユーザが選択しているフォトアルバム、または平均スロット数に応じて、平均スロット数が多くなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができ、また、ユーザの操作性にも優れる。
【０１９３】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１９４】
また、上述した実施形態を組み合わせてもよい。例えば、実施形態１において、高速モードにおいて、データ画像群に含まれる静止画像数が、予め決めた静止画像数（例えば、図１９に示すテーブルに定めた静止画像数）よりも少ない場合に、Ｓ２００４において、実施形態６の演算処理を行ってもよい。
【０１９５】
また、上述した実施形態では、アプリケーションの例として図４に示すようなフォトアルバム作成アプリケーション８０を挙げたが、この例に限られることなく、同様な画像抽出機能を備える任意のアプリケーションでも実現可能である。
【０１９６】
また、上述した実施形態では、情報処理装置としてパーソナルコンピュータを想定した。しかしながら、携帯電話、携帯情報端末、デジタルスチルカメラ、デジタルビデオカメラ、携帯ミュージックプレーヤー、ゲーム、セットトップボックス、インターネット家電等、同様な使用方法が可能な任意の情報処理装置（端末）を用いてもよい。
【０１９７】
また、上述した実施形態では、ＯＳに例としてＷｉｎｄｏｗｓ（登録商標）８と同等のＯＳを使用したが、このＯＳに限られることなく、任意のＯＳを使用することができる。また、上述した実施形態では、ネットワーク４の構成例としてＥｔｈｅｒｎｅｔ（登録商標）を用いたが、この例に限られることなく、例えば、無線ＬＡＮ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、他の任意のネットワーク構成であってもよい。
【０１９８】
以上のように、第１の実施形態によれば、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。
【０１９９】
また、第２の実施形態では、分類分けされた静止画像に基づいて、動画像から、静止画像と関連するフレーム画像を自動的に抽出し、これらの静止画像を一連の領域に配置する。これにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。また、１つの動画像から異なる場面の複数のフレーム画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。
【０２００】
また、第３の実施形態では、レイアウトテンプレート内に、デジタルスチルカメラ等で撮影して保存された写真等の静止画像に適したスロットと、動画像から抽出されたフレーム画像に適したスロットに対して、各適した静止画像を配置する。これにより、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。
【０２０１】
静止画像の分類、動画像から静止画像を抽出する処理方法として、撮影年月日時刻、色やヒストグラム、オブジェクトを利用する例を挙げたが、これらの例に限られることなく、同様な目的を達成し得る任意の処理方法を利用して本発明を実現することができる。さらに、撮影年月日時刻、色やヒストグラム、オブジェクト、その他の処理方法等を組み合わせて静止画像を分類したり、動画像から静止画像を抽出したりしてもよい。このように複数の処理方法を組合せることで、フォトアルバムの完成度を向上することができる。
【０２０２】
また、画像の解析方法として、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）の要素を利用する例を挙げた。しかしながら、これらの例に限られることなく、同様な目的を達成し得る任意の解析方法を利用して本発明を実現することができる。
【０２０３】
以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。
【０２０４】
また、各実施形態を組合せることで、それぞれの実施形態が持つ効果をさらに高めることができ、ユーザの操作性に優れ、かつ、高品質なフォトアルバムを自動作成することができる。
【符号の説明】
【０２０５】
８０…アプリケーション、２０４…ＣＰＵ、２０１…ＲＡＭ、２０２…ＨＤＤ
【図１】
0006586009.tif 000002
【図２】
0006586009.tif 000003
【図３】
0006586009.tif 000004
【図４】
0006586009.tif 000005
【図５】
0006586009.tif 000006
【図６】
0006586009.tif 000007
【図７】
0006586009.tif 000008
【図８】
0006586009.tif 000009
【図９】
0006586009.tif 000010
【図１０】
0006586009.tif 000011
【図１１】
0006586009.tif 000012
【図１２】
0006586009.tif 000013
【図１３】
0006586009.tif 000014
【図１４】
0006586009.tif 000015
【図１５】
0006586009.tif 000016
【図１６】
0006586009.tif 000017
【図１７】
0006586009.tif 000018
【図１８】
0006586009.tif 000019
【図１９】
0006586009.tif 000020
【図２０】
0006586009.tif 000021
【図２１】
0006586009.tif 000022
【図２２】
0006586009.tif 000023