(57)【特許請求の範囲】
【請求項１】
複数の画像から１つ以上の画像を選択して出力する画像処理装置であって、
前記複数の画像のそれぞれに得点を付する得点手段と、
前記複数の画像のうちの所定の属性を有する第１の画像の中から、前記第１の画像に対して前記得点手段により付された前記得点に基づいて、画像を選択する第１の選択手段と、
前記複数の画像のうちの前記第１の画像と前記所定の属性を有さない第２の画像の中から、前記第１の画像と前記第２の画像のそれぞれに対して前記得点手段により付された前記得点に基づいて、画像を選択する第２の選択手段と、
前記第１の選択手段により選択された画像と、前記第２の選択手段により選択された画像とを出力する出力手段と、
を有し、
前記所定の属性を有する前記第１の画像は、ネットワークから取得された画像であり、
前記第１の選択手段による選択では、前記第２の画像は選択候補から除外される、
ことを特徴とする画像処理装置。
【請求項２】
前記所定の属性を有する前記第１の画像は、動画から取得した画像である、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の画像から１つ以上の画像を選択して出力する画像処理装置であって、
前記複数の画像のそれぞれに得点を付する得点手段と、
前記複数の画像のうちの所定の属性を有する第１の画像の中から、前記第１の画像に対して前記得点手段により付された前記得点に基づいて、画像を選択する第１の選択手段と、
前記複数の画像のうちの前記第１の画像と前記所定の属性を有さない第２の画像の中から、前記第１の画像と前記第２の画像のそれぞれに対して前記得点手段により付された前記得点に基づいて、画像を選択する第２の選択手段と、
前記第１の選択手段により選択された画像と、前記第２の選択手段により選択された画像とを出力する出力手段と、
を有し、
前記所定の属性を有する前記第１の画像は、動画から取得した画像であり、
前記第１の選択手段による選択では、前記第２の画像は選択候補から除外される、
ことを特徴とする画像処理装置。
【請求項４】
前記得点手段は、前記第２の画像に対して第２の方法により得点を付し、前記第１の画像に対して、前記第２の選択手段により選択される可能性が前記第２の方法よりも高くなるようにするための第１の方法により得点を付する、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記得点手段は、前記第１の画像と前記第２の画像に対して前記第２の方法で得点を付し、前記第１の方法として、前記第１の画像に対して前記第２の方法で付された得点が増加するように補正を行う、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の選択手段は、前記第１の画像に対して前記得点手段により付された前記得点と所定の閾値を比較することで、前記第１の画像の中から画像を選択する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の選択手段は、前記第１の画像に対して前記得点手段により付された前記得点と所定の閾値を比較することで選択された複数の画像に対応する得点を比較することで、当該複数の画像からさらに画像を選択する、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の選択手段は、前記第１の画像と前記第２の画像のそれぞれに対して前記得点手段により付された前記得点を比較することで画像を選択する、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記出力手段は、前記第１の選択手段により選択された画像と、前記第２の選択手段により選択された画像とをディスプレイに表示させる、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記出力手段は、前記第１の選択手段により選択された画像と、前記第２の選択手段により選択された画像とがテンプレートにレイアウトされた画像を出力する、
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記得点手段は、ピントと、画素数と、圧縮率と、画像に含まれる顔の数と、当該顔の位置と、当該顔の大きさと、ユーザによるレーティングと、被写体の動き度と、の少なくともいずれかに基づいて、前記複数の画像のそれぞれに対して前記得点を付する、
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
複数の属性のそれぞれを有する画像の枚数に応じて、前記所定の属性を、前記複数の属性の中から設定する設定手段、
を有することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
複数の期間においてそれぞれ複数の画像を取得する取得手段をさらに有し、
前記第１の選択手段は、前記複数の期間のそれぞれにおいて、当該期間に対応するとともに前記所定の属性を有する第１の画像の中から画像を選択し、当該複数の期間のそれぞれについて選択された前記画像の中からさらに画像を選択する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
複数の画像から１つ以上の画像を選択して出力する、画像処理装置によって実行される画像処理方法であって、
前記複数の画像のそれぞれに得点を付する得点工程と、
前記複数の画像のうちの所定の属性を有する第１の画像の中から、前記第１の画像に対して前記得点工程において付された前記得点に基づいて、画像を選択する第１の選択工程と、
前記複数の画像のうちの前記第１の画像と前記所定の属性を有さない第２の画像の中から、前記第１の画像と前記第２の画像のそれぞれに対して前記得点工程において付された前記得点に基づいて、画像を選択する第２の選択工程と、
前記第１の選択工程において選択された画像と、前記第２の選択工程において選択された画像とを出力する出力工程と、
を有し、
前記所定の属性を有する前記第１の画像は、ネットワークから取得された画像であり、
前記第１の選択工程における選択では、前記第２の画像は選択候補から除外されることを特徴とする画像処理方法。
【請求項１５】
複数の画像から１つ以上の画像を選択して出力する、画像処理装置によって実行される画像処理方法であって、
前記複数の画像のそれぞれに得点を付する得点工程と、
前記複数の画像のうちの所定の属性を有する第１の画像の中から、前記第１の画像に対して前記得点工程において付された前記得点に基づいて、画像を選択する第１の選択工程と、
前記複数の画像のうちの前記第１の画像と前記所定の属性を有さない第２の画像の中から、前記第１の画像と前記第２の画像のそれぞれに対して前記得点工程において付された前記得点に基づいて、画像を選択する第２の選択工程と、
前記第１の選択工程において選択された画像と、前記第２の選択工程において選択された画像とを出力する出力工程と、
を有し、
前記所定の属性を有する前記第１の画像は、動画から取得した画像であり、
前記第１の選択工程における選択では、前記第２の画像は選択候補から除外されることを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から１つ以上の画像を選択する技術に関する。
【背景技術】
【０００２】
デジタルカメラやスマートフォンによる静止画と動画の撮影が一般的となり、ユーザが撮り溜めている静止画と動画の数は膨大である。この膨大な数の静止画と動画の中から画像（動画の場合はフレーム画像）を選択してアルバムを作成することはユーザにとって困難な作業となっている。
【０００３】
これに対して、特許文献１において、静止画と動画の画像群の中から自動で画像を選択してレイアウトするための、主として３つの方法が提案されている。第１の方法は、（例えば動画撮影時間に対する画像抽出枚数の）テーブルに応じて決定した枚数分だけ、動画からフレーム画像を抽出する方法である。第２の方法は、動画を解析した結果、例えば顔の向きが１５度以上変化した場合など、フレーム画像の変化量が固定値に達した場合に動画からフレーム画像を抽出する方法である。第３の方法は、静止画数と抽出フレームの合計枚数が、ページにレイアウトできる枚数（基準枚数）を超えた場合に、基準枚数を超えない範囲でお薦めのフレーム画像を抽出する方法である。その他、特許文献１には、静止画と動画のグループからお薦めの画像を抽出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５６８６６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の第１及び第２の方法は、動画中の全フレームがピントずれである場合など、品質が良好でない場合であっても、その品質の良好でないフレーム画像がレイアウトされてしまうという課題がある。また、上述の第３の方法は、基準枚数以上のお薦めフレームが動画中に存在する場合、基準枚数の画像が全てフレーム画像となり、フレーム画像ではない画像がレイアウトされなくなってしまいうるという課題がある。また、特許文献１におけるその他の方法でお薦め画像を抽出すると、基準枚数分の上位のお薦め画像に動画像から抽出された画像が含まれておらず、その全てが元から静止画像である場合に、動画像から抽出された画像がレイアウトされないという課題がある。
【０００６】
本発明は上記課題に鑑みなされたものであり、様々な属性を有する画像の中から広く画像が選択される確率を向上させるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による画像処理装置は、複数の画像から１つ以上の画像を選択して出力する画像処理装置であって、前記複数の画像のそれぞれに得点を付する得点手段と、前記複数の画像のうちの所定の属性を有する第１の画像の中から、前記第１の画像に対して前記得点手段により付された前記得点に基づいて、画像を選択する第１の選択手段と、前記複数の画像のうちの前記第１の画像と前記所定の属性を有さない第２の画像の中から、前記第１の画像と前記第２の画像のそれぞれに対して前記得点手段により付された前記得点に基づいて、画像を選択する第２の選択手段と、前記第１の選択手段により選択された画像と、前記第２の選択手段により選択された画像とを出力する出力手段と、を有し、前記所定の属性を有する前記第１の画像は、ネットワークから取得された画像であり、前記第１の選択手段による選択では、前記第２の画像は選択候補から除外される、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、様々な属性を有する画像の中から広く画像が選択される確率を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のハードウェアの構成を示すブロック図である。
【図２】アルバム作成アプリケーションのソフトウェアブロック図である。
【図３】アルバム作成アプリケーションが提供する表示画面を示す図である。
【図４】自動レイアウト処理を示すフローチャートである。
【図５】画像解析情報を示す図である。
【図６】画像データ群の分割の結果を示す図である。
【図７】シーンごとの得点の平均値と標準偏差を示す図である。
【図８】得点化軸の概念を示す図である。
【図９】画像データの選択を説明するための図である。
【図１０】画像データのレイアウトに使うテンプレート群を示す図である。
【図１１】動画からのフレーム抽出処理を示すフローチャートである。
【図１２】画像得点化処理を示すフローチャートである。
【図１３】画像取得処理を示すフローチャートである。
【図１４】フレーム選別処理を示すフローチャートである。
【図１５】サーバ又はＳＮＳからの画像取得処理を示すフローチャートである。
【図１６】画像得点と画像順位の例を示す図である。
【図１７】画像選択処理を示すフローチャートである。
【図１８】別の画像選択処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本実施形態では、画像処理装置上で、アルバム作成アプリケーション（アプリ）を動作させ、自動レイアウトを生成するまでの手順について説明する。なお、以下の説明において、「画像」とは、特に断りが無い限り、静止画、動画、及び動画中のフレーム画像を含む。また、ここでの画像は、ＳＮＳ（ソーシャル・ネットワーキング・サービス）などのネットワーク上のサービスや、ネットワーク上のストレージ等、ネットワーク経由で取得可能な、静止画、動画、及び動画中のフレーム画像をも含む。
【００１１】
図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサー）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されてもよい。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、静止画ファイルや動画ファイル、画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。
【００１２】
ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果をユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えてもよい。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、座標指示デバイスであり、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。
【００１３】
データ通信部１０８は、有線や無線等のネットワークを介した、又は画像処理装置に直接接続された、外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。また、データ通信部１０８は、画像処理装置１００と通信可能なサーバやＳＮＳなどのネットワーク上のストレージから静止画や動画を受信することもできる。データバス１０９は、上述の各部とＣＰＵ１０１とを接続する。
【００１４】
本実施形態のアルバム作成アプリケーションは、ＨＤＤ１０４に保存されており、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックしたことに応じて、起動される。
【００１５】
図２は、アルバム作成アプリケーションのソフトウェアブロック図である。図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１６に関するソフトウェアブロック図を示している。自動レイアウト機能により、撮影された静止画や動画をその内容や属性に基づいて分類又は選択して画像をレイアウトし、ディスプレイ１０５に表示されるアルバム画像が生成される。なお、ＣＰＵ１０１がＨＤＤ１０４に保存されているアルバム作成アプリケーションを実行することにより、ＣＰＵ１０１が図２に示す各ブロックとして機能する。
【００１６】
条件指定部２０１は、例えばポインティングデバイス１０７による後述のユーザのＵＩ操作等の入力に応じたアルバム作成条件を、自動レイアウト処理部２１６に出力する。ここで、指定される条件は、例えば、対象の画像や主人公のＩＤ、アルバムの見開き数、テンプレート情報、画像補正のＯＮ／ＯＦＦ条件、動画使用のＯＮ／ＯＦＦ条件等を含みうる。画像の指定は、たとえば撮影日時など、個別の画像データの付随情報や属性情報によってもよいし、デバイスやディレクトリ（フォルダ）の指定など、画像データを含むファイルシステムの構造に基づいてもよい。なお、「見開き」とは、例えば、表示における１つの表示用ウィンドウに、又は、印刷における、異なるシートに印刷された、互いに隣接する１対のページに、それぞれ相当する。
【００１７】
画像取得部２０２は、条件指定部２０１から指定された静止画や動画の画像データ群を、ＨＤＤ１０４から、又はデータ通信部１０８を介してネットワーク上のサーバやＳＮＳから、取得する。画像変換部２０３は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、画像変換部２０３は、画像データを、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データ（以下では「解析画像」と呼ぶ。）へ変換するものとする。画像解析部２０４は、解析画像から、後述の、特徴量の取得、顔検出、表情認識、個人認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から又はデータ通信部１０８を介してネットワークから取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報からの撮影日時の情報の取得も実行する。なお、撮影日時の情報は、画像ファイルの作成または更新が行われた日時の情報によって代用されてもよい。また、撮影日時の情報は、サーバやＳＮＳに画像をアップロードした日時の情報、またはサーバやＳＮＳから画像をダウンロードした日時の情報によって、代用されてもよい。以下では、これらの日時の情報をまとめて撮影日時情報として取り扱う。
【００１８】
画像分類部２０５は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。シーンとは、旅行や日常、結婚式等の撮影シーンである。１つのシーンに対応する画像データは、例えば、１つの撮影対象について一時期の撮影機会に撮影された画像の集まりとして捉えられる。画像得点部２０７は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。後述するが、画像得点部２０７は、画像解析部２０４からの情報と、画像分類部２０５からの情報を用いて得点付けを行う。なお、画像得点部２０７は、画像解析部２０４からの情報と、画像分類部２０５からの情報以外の情報を、付加的に、又は代替的に用いて、得点付けを行ってもよい。主人公情報入力部２０６は、条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、主人公情報入力部２０６から入力された主人公ＩＤが含まれる画像データについて、より高い得点を付加するように構成されうる。
【００１９】
見開き割当部２０９は、画像データ群を分割（グルーピング）してアルバムの各見開きに割り当てる。見開き数入力部２０８は、条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。見開き割当部２０９は、入力された見開き数に応じて画像データ群を分割し、各見開きに画像データ群の一部（分割分）を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像データ群の一部から、画像得点部２０７で付された得点に基づいて、画像を選択する。
【００２０】
画像レイアウト部２１２は、画像データのレイアウトを決定する。テンプレート入力部２１１は、条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された画像データに適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像データのレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像データのレイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１０により選択された画像データをテンプレートにレイアウトしたビットマップデータである。すなわち、レイアウト情報出力部２１５は、画像選択部２１０により選択された画像を出力する出力部として機能する。レイアウト情報出力部２１５は、例えばディスプレイ１０５に画像を出力する場合には表示制御部として機能する。また、レイアウト情報出力部２１５は、画像処理装置１００に接続されている外部装置に画像を送信する場合には送信部として機能し、画像処理装置１００に接続されている印刷装置に画像を送信する場合には、印刷制御部として機能する。
【００２１】
画像補正部２１４は、輝度補正、赤目補正、コントラスト補正等を実行する。補正条件入力部２１３は、条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正のＯＮ／ＯＦＦは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。画像補正部２１４は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。なお、画像補正部２１４は、画像変換部２０３から入力された画像データに対して補正のＯＮ／ＯＦＦに従って、補正を実行する。画像変換部２０３から画像補正部２１４に入力される画像データの画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変更可能である。レイアウト情報出力部２１５から出力される画像データは、例えば図３に示すような形式でディスプレイ１０５に表示される。
【００２２】
アルバム作成アプリケーションが画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に、その起動アイコンが表示される。ユーザがディスプレイ１０５に表示されている起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。ＲＡＭ１０３のプログラムがＣＰＵ１０１により実行されると、アルバム作成アプリケーションが起動する。なお、画像処理装置１００は、プログラムがＲＯＭ１０２に記憶されるように構成されてもよい。
【００２３】
図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、条件指定部２０１は、ユーザからの設定内容を取得する。
【００２４】
表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像データ群のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象とする画像データ群を含むフォルダをリスト構成でユーザ選択可能に表示する。ユーザにより選択された、画像データ群を含むフォルダパスが、パスボックス３０２に表示される。なお、ユーザは、キーボード１０６を介して、アルバム作成の対象となる画像データ群を含むフォルダへのフォルダパスを、パスボックス３０２に直接入力してもよい。
【００２５】
サーバ名ボックス３１０は、アルバム作成の対象となる画像データ群を含むサーバ名やＳＮＳ名を表示する。サーバ選択ボタン３１１は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象となる画像データ群を保持するサーバ名やＳＮＳ名を、ツリー構成によりユーザが選択可能な状態で表示する。ユーザにより選択された、画像データ群を保持するサーバ名やＳＮＳ名が、サーバ名ボックス３１０に表示される。なお、ユーザは、キーボード１０６を介して、アルバム作成の対象となる画像データ群を保持するサーバ名やＳＮＳ名を、サーバ名ボックス３１０に直接入力してもよい。
【００２６】
動画使用チェックボックス３１２は、パスボックス３０２に表示されたフォルダに含まれる、又は、サーバ名ボックス３１０に表示されたサーバやＳＮＳに保持されている、動画を、アルバム作成の対象にするか否かの、ユーザによる指定を受け付ける。動画使用チェックボックス３１２へチェックが入れられた状態は動画がアルバム作成の対象である状態を示し、チェックが入れられていない状態は動画がアルバム作成の対象でない状態を示す。
【００２７】
対象期間ボックス３１３は、アルバム作成の対象となる画像の撮影日時期間を表示する。期間設定ボタン３１４は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象となる画像データ群の撮影日時期間を指定することができる。ユーザによって指定された、アルバム作成の対象となる画像の撮影日時期間が、対象期間ボックス３１３に表示される。なお、ユーザは、キーボード１０６を介して、アルバム作成の対象となる画像の撮影日時期間を、対象期間ボックス３１３に直接入力してもよい。
【００２８】
主人公指定アイコン３０４は、解析対象の画像（例えば写真）に写った人物から中心人物として特定されるべき主人公を、ユーザが指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示されてもよい。なお、顔画像のアイコンは、それぞれ、例えば事前に画像から検出され、それぞれ個人ＩＤと関連付けられて、顔データベースに登録される。ユーザは、例えば、ポインティングデバイス１０７により主人公指定アイコン３０４をクリックして顔データベースに格納されている顔画像を表示させ、その表示された顔画像のうちの１つ以上を選択することにより、手動で主人公を選択しうる。なお、主人公指定アイコン３０４には、図４に示す後述の方法で特定された人物の顔画像が表示されてもよい。
【００２９】
見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力することができる。テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。画像補正チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。図３の例では、１つ以上の種類の補正の全てについて、まとめてＯＮまたはＯＦＦが指定される。
【００３０】
ユーザによりＯＫボタン３０８が押下されると、条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１６に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤは、主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０８に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に伝えられる。画像補正チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、補正条件入力部２１３に伝えられる。表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。
【００３１】
なお、サーバ名ボックス３１０にサーバ名やＳＮＳ名が入った状態で、ＯＫボタン３０８が押下されると、指定されたサーバやＳＮＳへのログイン画面が表示される。アルバム作成アプリケーションは、ユーザによる表示されたログイン画面への操作を受け付けて、ログインが成功した後に、指定されたサーバやＳＮＳから画像を取得することが可能となる。また、対象期間ボックス３１３に撮影日時期間が入った状態で、ＯＫボタン３０８が押下されると、アルバム作成アプリケーションは、指定された撮影日時期間に対応する画像データ群をアルバム作成対象として取り扱う。
【００３２】
続いて、アルバム作成の自動レイアウト処理に関連する各種処理について説明する。自動レイアウト処理については、図４を用いて後述するが、まず、図４の処理の対象となる画像を画像取得部２０２が取得する処理について、図１３を用いて説明する。図１３はパスボックス３０２に表示されたフォルダと、サーバ名ボックス３１０に表示されたサーバやＳＮＳから、静止画と動画とを取得する処理の流れの例を示している。画像取得部２０２は、例えば、ユーザによるポインティングデバイス１０７の操作によりＯＫボタン３０８が押下されたことに応じて、画像の取得を開始する。
【００３３】
画像取得部２０２は、Ｓ１３０１において、パスボックス３０２に表示されたフォルダに移動し、続いて、Ｓ１３０２において、指定フォルダ内の対象静止画の取得が全て終了しているかを判定する。なお、画像取得部２０２は、対象期間ボックス３１３に撮影日時期間が表示されている場合は、指定された期間に対応する対象静止画について上述の判定を行う。
【００３４】
取得されていない対象静止画が存在する場合（Ｓ１３０２でＮＯ）は、画像取得部２０２は、Ｓ１３０３において指定フォルダ内の未取得の対象静止画を１つ（又は場合によっては複数）取得する。一方、全ての対象静止画が取得された場合（Ｓ１３０２でＹＥＳ）は、画像取得部２０２は、Ｓ１３０４において、指定フォルダ内の対象動画の取得が全て終了しているかを判定する。画像取得部２０２は、動画使用チェックボックス３１２にチェックが入っており、処理の対象に動画が含まれている場合に、指定フォルダ内の動画を取得する。このため、画像取得部２０２は、動画使用チェックボックス３１２にチェックが入っていない場合、指定フォルダ内に存在する動画が取得されていない場合であっても、全ての動画が取得された（Ｓ１３０４でＹＥＳ）と判定しうる。なお、画像取得部２０２は、対象期間ボックス３１３に撮影日時期間が表示されている場合は、指定された期間に対応する対象動画について上述の判定を行う。
【００３５】
取得されていない対象動画が存在する場合（Ｓ１３０４でＮＯ）は、画像取得部２０２は、Ｓ１３０５において指定フォルダ内の未取得の対象動画を１つ（又は場合によっては複数）取得する。一方、全ての対象動画が取得された場合（Ｓ１３０４でＹＥＳ）は、画像取得部２０２は、Ｓ１３０６において、サーバ名ボックス３１０に表示されたサーバまたはＳＮＳへアクセスする。なお、この時点において、サーバまたはＳＮＳへのログインが完了し、ユーザがダウンロードしたい画像データ群を含むサーバやＳＮＳのサイトページへの移動が完了しており、サーバやＳＮＳから画像をダウンロードできる状態となっているものとする。なお、ログインやサイトページへの移動などの処理は、ユーザ操作に応じて行われうる。
【００３６】
Ｓ１３０７では、画像取得部２０２は、指定されたサーバやＳＮＳ内のサイトページで取得可能な対象静止画の取得が全て終了しているかを判定する。なお、画像取得部２０２は、対象期間ボックス３１３に撮影日時期間が表示されている場合は、指定された期間に対応する対象静止画について上述の判定を行う。
【００３７】
取得されていない対象静止画が存在する場合（Ｓ１３０７でＮＯ）は、画像取得部２０２は、Ｓ１３０８において指定されたサーバやＳＮＳ内のサイトページにおいて取得可能であって、かつ、未取得の対象静止画を１つ（又は場合によっては複数）取得する。一方、全ての対象静止画が取得された場合（Ｓ１３０７でＹＥＳ）は、画像取得部２０２は、Ｓ１３０９において、指定されたサーバやＳＮＳ内のサイトページにおいて取得可能な対象動画の取得が全て終了しているかを判定する。画像取得部２０２は、動画使用チェックボックス３１２にチェックが入っており、処理の対象に動画が含まれている場合に、指定されたサーバやＳＮＳ内の動画を取得する。このため、画像取得部２０２は、動画使用チェックボックス３１２にチェックが入っていない場合、指定されたサーバやＳＮＳ内に存在する動画が取得されていない場合であっても、全ての動画が取得された（Ｓ１３０９でＹＥＳ）と判定しうる。なお、画像取得部２０２は、対象期間ボックス３１３に撮影日時期間が表示されている場合は、指定された期間に対応する対象動画について上述の判定を行う。
【００３８】
取得されていない対象動画が存在する場合（Ｓ１３０９でＮＯ）は、画像取得部２０２は、Ｓ１３１０において指定されたサーバやＳＮＳ内の未取得の対象動画を１つ（又は場合によっては複数）取得する。一方、全ての対象動画が取得された場合（Ｓ１３０９でＹＥＳ）は、画像取得部２０２は、画像取得処理を終了する。
【００３９】
なお、取得された画像は、例えばＨＤＤ１０４に保存される。また、元々ＨＤＤ１０４内に存在する画像については、ＨＤＤ１０４にその画像が再保存されるのではなく、ＨＤＤ１０４内の画像ファイルへのパスやリンクがＨＤＤ１０４に保存されてもよい。後述の画像変換部２０３は、解析画像を生成する場合、ＨＤＤ１０４に保存した画像ファイルへのパスやリンクを用いて、ＨＤＤ１０４から画像を取得し、解析画像を生成することができる。
【００４０】
また、図１３を用いて、処理開始時に一度に画像を取得する例を説明したが、画像を１枚取得して後述のＳ４０１〜Ｓ４０４の処理を実行し、後述のＳ４０５の判定でＮＯである場合に、Ｓ４０１に戻って次の画像を取得するようにしてもよい。また、次の４種類の方法のうちの何れかが用いられてもよい。
１つめは、パスボックス３０２の対象画像については、１枚取得した後にＳ４０１〜Ｓ４０５の処理を実行し、その後に次の対象画像を取得することを繰り返す一方で、サーバ名ボックス３１０の対象画像は処理開始時に一度に取得する方法である。
２つめは、パスボックス３０２とサーバ名ボックス３１０の対象画像ともに１枚取得して、Ｓ４０１〜Ｓ４０５の処理を実行後に次の対象画像を取得することを繰り返す方法である。
３つめは、パスボックス３０２とサーバ名ボックス３１０の対象画像ともに処理開始時に一度に取得する方法である。
４つめは、パスボックス３０２の対象画像を処理開始時に一度に取得する一方で、サーバ名ボックス３１０の対象画像については１枚取得した後にＳ４０１〜Ｓ４０５の処理を実行し、その後に次の対象画像を取得することを繰り返す方法である。
【００４１】
次に、図４を用いて、アルバム作成アプリケーションの自動レイアウト処理部２１６において実行される、上述のようにして取得された画像を用いた自動レイアウト処理の流れについて説明する。図４に示す処理は、例えば、ＣＰＵ１０１がＨＤＤ１０４やＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。
【００４２】
Ｓ４０１では、画像変換部２０３は、画像取得部２０２が取得した画像に順次着目して、解析画像を生成する。画像変換部２０３は、取得された画像データ群の各画像データを所望の画素数と色情報の解析画像に変換する。本実施形態では、短辺４２０画素とｓＲＧＢの色情報の解析画像への変換が行われる。なお、画像変換部２０３は、対象動画について、その動画内から抽出されたフレームを、解析画像へと変換する。ここで、動画からのフレーム抽出処理について、図１１を用いて説明する。
【００４３】
Ｓ１１０１では、まず、図１３のようにして取得された対象動画からフレームを抽出するタイミングが設定される。フレーム抽出タイミングは、例えば１秒ごと、５秒ごと等の所定の間隔として設定されうる。なお、フレーム抽出タイミングは、動画の時間長と抽出する枚数とから、算出等によって設定されてもよい。例えば、１分（６０秒）の動画に対して、抽出枚数が３０枚である場合は、６０／３０＝２秒の間隔でフレームを抽出すればよいこととなる。このため、この場合ではフレーム抽出タイミングが２秒間隔として設定されうる。なお、動画内の時間における抽出タイミングを指定したテーブルを用いてもよい。例えば、動画内の時間において、１秒、３秒、６秒などの特定のタイミングがテーブルに格納され、動画撮影開始時点からの経過時間がテーブルに格納されたタイミングにおけるフレームが抽出されるようにしてもよい。なお、撮影時間に応じて抽出枚数が変更されてもよい。
【００４４】
Ｓ１１０２では、対象動画から、設定したタイミングにおいて１つ以上のフレームが抽出される。Ｓ１１０３では、抽出されたフレームに識別情報が付加される。識別情報とは、動画の出所（すなわち、その動画を取得した場所）の情報であり、例えば、指定フォルダ、指定サーバ又は指定ＳＮＳなどの情報でありうる。また、識別情報には、撮影日時情報、抽出されたフレームのサイズ、フレームの抽出元の動画の撮影時間等が含まれうる。
【００４５】
図４に戻り、Ｓ４０２では、画像解析部２０４は、着目画像の画像特徴量を取得する。画像解析部２０４は、着目画像に付随する、例えばＥｘｉｆ情報から撮影日時を取得する。なお、撮影した日時情報が付随していな場合は、上述のように、画像ファイルの作成日時、更新日時、画像ファイルのアップロード／ダウンロードの日時が、撮影日時に代えて用いられうる。また、画像解析部２０４は、Ｅｘｉｆ情報や画像取得時に付した識別情報から、画像の画素数を取得する。画像解析部２０４は、着目画像の解析対象画素から特徴量を取得する。特徴量は、例えば、ピントでありうる。
【００４６】
例えば、エッジの検出方法として一般的に知られているソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割ることにより、エッジの傾き、すなわち輝度勾配を算出することができる。そして、対象画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。したがって、この平均傾きの値を、特徴量として用いることができる。ここで、平均傾きに対して異なる複数の閾値を設定し、算出した平均傾きがどの閾値以上であるかを判定することにより、ピント量の評価値を出力することもできる。本実施形態では、異なる２つの閾値（第１の閾値及び第２の閾値。なお、第１の閾値＞第２の閾値とする。）を予め設定しておき、○△×の３段階により、ピント量を判定する。例えば、ピント量は、算出した平均傾きが第１の閾値以上の場合は良好（○）、第１の閾値より小さく第２の閾値以上の場合は許容可能（△）、第２の閾値より小さい場合は許容不能（×）と判定される。そして、アルバムに採用したいピントの傾きを○、許容可能なピントの傾きを△、許容不能な傾きを×とし、各閾値を予め設定しておく。閾値は、例えば、アルバム作成アプリケーションの作成元等により（例えば実験結果などの結果に応じた値として）提供されてもよいし、ユーザインタフェースを介して設定されてもよい。なお、○△×に対してそれぞれ異なる数値をピント量として設定してもよい。
【００４７】
なお、ソーベルフィルタで検出したエッジに対して、周辺画素を参照して、輝度のピークの最大値と最小値の画素をそれぞれ特定し、この２つの画素間の幅が、ピント量として特定されてもよい。この場合、例えば画素間の幅が狭い場合に、ピントが合っているとみなすことができる。また、画素間の幅に対して、複数の閾値を設定し、上述のように○△×の３段階での評価結果をピント量として用いてもよい。また、○△×に対してそれぞれ異なる数値をピント量として設定してもよい。
【００４８】
Ｓ４０３では、画像解析部２０４は、Ｓ４０１で生成された解析画像に対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔを用いることができる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔の領域が検出対象画像から検出される。画像解析部２０４は、顔画像を抽出するとともに、検出した顔の領域の位置の左上座標値と右下座標値とを取得する。この２種の座標を持つことにより、画像解析部２０４は、顔の領域の位置とサイズとを取得することができる。ここで、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを、顔の代わりの検出対象としてＡｄａｂｏｏｓｔによる強識別器を作成してもよい。これにより、画像解析部２０４は、顔画像以外のオブジェクトを検出することができる。
【００４９】
Ｓ４０４では、画像解析部２０４は、Ｓ４０３で検出した顔画像と、顔辞書データベースに個人ＩＤごとに保存されている代表顔画像との類似性を比較することにより、個人認識を行う。画像解析部２０４は、類似性が閾値以上で類似性が最も高いＩＤを、検出した顔画像のＩＤとする。なお、類似性が閾値未満の場合、画像解析部２０４は、抽出した顔画像を新規の顔として新規の個人ＩＤとして顔辞書データベースに登録する。
【００５０】
画像解析部２０４は、図５に示すように、Ｓ４０２〜Ｓ４０４で取得した画像解析情報５００を、各画像を識別するＩＤ５０１ごとに区別して、ＲＡＭ１０３等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報５０２とピント判別結果５０３、Ｓ４０３で検出された顔（領域）の数５０４と位置情報５０５とがテーブル形式で記憶される。なお、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤごとに区別して記憶される。
【００５１】
Ｓ４０５では、条件指定部２０１で指定されたＨＤＤ１０４又はデータ通信部１０８を介してネットワーク上のサーバやＳＮＳの画像データ群の全画像データに対してＳ４０１〜Ｓ４０４の処理が終了したか否かが判定される。ここで、終了していないと判定された場合（Ｓ４０５でＹＥＳ）、Ｓ４０１からの処理が繰り返され、終了していると判定された場合（Ｓ４０５でＮＯ）、処理はＳ４０６に進む。
【００５２】
Ｓ４０６では、画像分類部２０５がシーン分割を実行する。画像分類部２０５は、Ｓ４０２で取得済みの撮影日時情報から算出した、画像と画像との間の時間差に基づいて、画像データ群を複数のシーンに分割する。本実施形態では、例えば、以下の基準に従ってシーン分割が行われる。
１．画像データ間に撮影していない日が存在する場合は分割する。
２．画像データ間で、撮影日が連続しているが、その時間差が１６時間以上空いている場合は分割する。
３．画像データ間で、撮影日が連続しており、かつその時間差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば分割する。
４．画像データ間で、撮影日が連続しており、その時間差が１６時間未満であり、かつ連続する各日の最初の撮影から最後の撮影までの時間差が４時間以上である場合は、連続する各日の撮影枚数が５０枚未満である場合に分割する。
５．上記以外の場合には分割しない。
【００５３】
画像分類部２０５は、例えば、画像データ群のうち、最も撮影日時が古い画像に最初に着目し、その次に古い画像との時間差を参照する。そして、画像分類部２０５は、着目画像を順次撮影日時が新しいものに置き換えながら同様の手法で時間差を参照して、上述の条件のいずれかに該当するか判定を行う。画像分類部２０５は、画像データ群の新しい方の画像から古い方の画像への順に上述の時間差の参照および分割判定を行ってもよい。なお、ここでの「分割」は、着目した２つの画像間を境界として、撮影日時の新しい方と古い方とに画像データ群を分割（グルーピング）することを指す。図６（Ａ）は、上記のシーン分割方法で画像データ群がシーン分割された結果の一例を示す図である。なお、分割は、他の基準により行われてもよい。画像分類部２０５は、例えば、撮影地が画像の付随情報に含まれている場合に、時間的には上記の分割の条件に合致しなくても、撮影地が所定距離以上離れていることを条件に、それぞれ異なる撮影地について画像データを分割してもよい。
【００５４】
Ｓ４０７では、画像分類部２０５がシーン分類を実行する。本実施形態では、画像分類部２０５は、例えば、シーン分割された分割分の画像データを、旅行、日常、セレモニーのいずれかのシーンに分類する。ここで、図４の自動レイアウト処理部が開始される前に、ユーザが、予め、旅行、日常、セレモニーのシーンであると判断した複数の画像データをそれぞれ集めて指定しうる。そして、画像分類部２０５は、それらの複数の画像データの一部又は全部からなる画像データ群について、特徴量を取得する。ここで取得する特徴量は、例えば、撮影期間、撮影枚数、及び撮影人数を含む。撮影期間は、画像データ群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、画像データ群に含まれた画像の撮影枚数である。撮影人数は、各画像データに含まれる顔の数である。そして、シーンごとに集められた複数の画像データ群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、及び１画像あたりの人数の平均値と標準偏差が特定される。図７は、特定された各平均値と標準偏差を示すテーブル７００の例である。アルバム作成アプリケーションのプログラムには、図７に示すようなテーブル７００が予め組み込まれうる。テーブル７００では、シーンＩＤ７０１に対応付けて、撮影期間７０２、撮影枚数７０３、及び撮影人数７０４について、それぞれの平均値と標準偏差とが登録される。
【００５５】
Ｓ４０７では、アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２やサーバ名ボックス３１０で指定した画像データ群がＳ４０６でシーン分割された結果の各分割群に対して、撮影期間、撮影枚数、及び撮影人数の平均値が算出される。そして、画像分類部２０５は、各分割群についての撮影期間、撮影枚数、撮影人数の特徴量について、図７のシーンごとの平均値と標準偏差とを用いて以下の式（１）及び（２）により得点化を行う。
得点  ＝  ５０−｜１０×（平均値−特徴量）／標準偏差｜  ・・・（１）
平均得点  ＝  （撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数  ・・・（２）
【００５６】
ここで、式（１）は、撮影期間、撮影枚数、及び撮影人数のそれぞれについて計算され、式（２）は、式（１）の計算結果から計算される。なお、これらの計算は、シーンごとに行われ、１つの分割群について、全シーンに対応する平均得点が算出される。このとき、式（１）で用いられる平均値および標準偏差は、テーブル７００に登録された値が用いられ、特徴量は、分割群ごとの撮影期間、撮影枚数、及び撮影人数のそれぞれの値が用いられる。また、特徴量項目数は本例では３となる。
【００５７】
以上の算出の結果、各分割群の画像データに対して、旅行、日常、セレモニーのシーンごとの平均得点が算出される。そして、画像分類部２０５は、各分割群の画像データを、上記のうち最高得点に対応するシーンに分類する。ここで、複数のシーンについて得点が同点となった場合には、予め定められたシーンの優先順位に従って分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の優先順位が定められており、日常シーンの優先度が最も高い。例えば、図６（Ａ）のシーン分割された後の画像データ群５は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。この場合、上記の式（１）及び（２）により算出された旅行シーンの平均得点は４５．３２、日常シーンの平均得点は１８．３８、セレモニーシーンの平均得点は−２９．９２となる。従って、画像データ群５は、旅行シーンに分類される。画像分類部２０５は、分類されたシーンに対して、識別可能なようにシーンＩＤを付与して管理する。
【００５８】
Ｓ４０８では、Ｓ４０６で分割された全分割群に対してＳ４０７のシーン分類が終了したか否かが判定される。ここで、終了していないと判定された場合（Ｓ４０８でＮＯ）は、Ｓ４０７の処理を繰り返し、終了していると判定された場合（Ｓ４０８でＹＥＳ）、処理はＳ４０９に進む。
【００５９】
Ｓ４０９では、画像得点部２０７が主人公設定を実行する。主人公設定は、ユーザが指定した画像データ群に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。画像得点部２０７は、Ｓ４０４で実行された個人認識結果と、Ｓ４０６で実行されたシーン分割の結果から、画像データ群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を取得可能である。画像得点部２０７は、それらの情報から、ユーザ指定によらず自動で主人公を設定することができる。本実施形態では、画像得点部２０７は、シーンが複数ある場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定し、単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。また、ユーザが主人公指定アイコン３０４の指定を行っている場合、主人公情報入力部２０６は、その指定されている個人ＩＤを画像得点部２０７に伝える。ユーザにより個人ＩＤが指定されている場合、画像得点部２０７は、上記の自動で設定された主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。
【００６０】
Ｓ４１０では、画像得点部２０７が得点化を実行する。得点化とは、画像データごとに後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、スロット１００２はメインスロットを示し、スロット１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい。画像得点部２０７は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。
【００６１】
図８（Ａ）は、旅行、日常、セレモニーの各シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットとについて示した図である。図８（Ａ）に示す表において、各シーンのメインスロット向き画像の特徴とサブスロット向きの画像の特徴とのそれぞれについて、適合すると判定した複数の画像データが予め集められる。なお、集められた各画像データについて、その画像データに含まれる顔の数、顔の位置、顔のサイズの特徴量が、予め抽出される。そして、それらの特徴量の平均値と標準偏差とが、収集された画像データが対応する各シーンおよび各スロット種類（メインスロットとサブスロット）に対して求められ、アルバム作成アプリケーションのプログラムとともに記憶される。
【００６２】
画像得点部２０７は、各画像データがどのシーンに属すかについて、Ｓ４０７のシーン分類の結果から取得可能である。画像得点部２０７は、注目画像データのシーンに対応する予め求めておいた上記の平均値と標準偏差、および注目画像データの主人公ＩＤの顔数、顔位置、顔サイズの各特徴量を用いて、式（３）及び（４）により、平均得点を算出する。
得点  ＝  ５０−｜１０×（平均値−特徴量）／標準偏差｜  ・・・（３）
平均得点  ＝  （顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数  ・・・（４）
【００６３】
画像得点部２０７は、上記の得点化を、メインスロット用とサブスロット用の両方について実行する。ここで、アルバムに用いる画像はピントが合っている方が適切であるため、図５に示すピントの特徴量が○である画像ＩＤの画像データに対しては所定の得点を加算するようにしてもよい。図８（Ｂ）は、上記の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについて得点化されている。すなわち、本実施形態では、各シーンについてメインスロットとサブスロットとにそれぞれ適する条件が図８（Ａ）に示すように定められており、予め、それらに適するであろうと判断された画像データが収集される。そして、その収集された画像データについて、顔数、顔位置、顔サイズの特徴量が取得され、特徴量ごとに平均値と標準偏差とが求められる。そして、図４の自動レイアウト処理が開始されると、自動レイアウト処理対象の各画像データ（シーン分類済）が、どの程度、メインスロット向きであるか等の、ユーザ判断基準への近さを示す得点化（類似度の数値化）が行われる。例えば、図８（Ｂ）では、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、メインスロット用としては、画像ＩＤ２の画像データが、画像ＩＤ１の画像データよりも、ユーザの判断基準に近いことを表している。図８（Ｂ）の表８００においては、各画像ＩＤ８０１に対して、メインスロットとサブスロットとのそれぞれについての得点化の結果８０２が登録されている。Ｓ４１０の処理の詳細については、図１２を用いて後述する。
【００６４】
Ｓ４１１では、画像得点部２０７が、ユーザ指定の画像データ群の全ての画像データに対してＳ４１０の画像得点化が終了したか否かを判定する。終了していないと判定された場合（Ｓ４１１でＮＯ）は、Ｓ４１０の処理を繰り返し、終了していると判定された場合（Ｓ４１１でＹＥＳ）、処理はＳ４１２に進む。
【００６５】
Ｓ４１２では、見開き割当部２０９が、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。同じでないと判定された場合（Ｓ４１２でＮＯ）は、処理はＳ４１３に進み、同じであると判定された場合（Ｓ４１２でＹＥＳ）は、処理はＳ４１６に進む。例えば、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が８である場合、処理はＳ４１６に進む。
【００６６】
Ｓ４１３では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。シーンの分割数の方が見開き数より多いと判定された場合（Ｓ４１３でＮＯ）は、処理はＳ４１５に進み、シーンの分割数の方が見開き数より少ないと判定された場合（Ｓ４１３でＹＥＳ）は、処理はＳ４１４に進む。図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、処理はＳ４１４に進む。
【００６７】
Ｓ４１４では、見開き割当部２０９は、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のシーン分割数８に対して指定されたアルバムの見開き数が１０の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。図６（Ｂ）は、図６（Ａ）の状態に対して、太線矢印で示す２箇所でサブシーン分割を行ったことにより、分割数を１０にしている。
【００６８】
分割の基準について説明する。図６（Ａ）の分割の中で、画像枚数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所が検索される。なお、画像数が同数のシーンについては、画像間の撮影日時の差の最大値が大きい方のシーンが選択される。なお、それでも決定できない場合のために、例えば、より早い時間に対応する画像群を優先的に再分割するなど、選択基準をさらに定めておいてもよい。図６（Ａ）では、多い方から画像群５、次に、画像群１と画像群２である。画像群１と画像群２は同じ枚数の画像を含むが、画像群２の方が最初の画像から最後の画像の時間差が大きいため、画像群２が分割対象として選択され、画像群５と画像群２とが、それぞれ分割される。
【００６９】
画像群２には、（例えば撮影日が異なる）画像枚数の山が２つあるため、その部分に対応する図６（Ｂ）の太線矢印の箇所で分割する。一方、画像群５には、（例えばそれぞれ撮影日が異なる）画像枚数の山が３つあり、この場合、例えば撮影日が変わるなどの分割候補となり得る箇所が２箇所ある。この場合、画像群５は、分割後の枚数差が小さくなるように、図６（Ｂ）の太線矢印の箇所で分割される。一般的には、シーンの再分割では、選択したシーンに撮影日の異なる画像が含まれている場合は、撮影日の相違するそれぞれの画像データ群を新たなシーンとするような分割が行われる。そして、撮影日が３日以上にわたる場合、各シーンに含まれる画像の数の差が最小になり、同一撮影日の画像が同一シーンに含まれるような再分割が行われる。以上のようにして、分割数を８から１０へと増加させる。なお、ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしてもよい。以上の手順によって、見開き数と画像群の数とを一致させる。なお、再分割により生成された画像群については、改めてシーン分類が行われてもよいし、再分割前の画像群のシーン分類が引き継がれてもよい。本実施形態では、再分割前の画像群のシーン分類が引き継がれるものとする。
【００７０】
Ｓ４１５では、画像群の数がアルバムの見開き数より多い場合に、見開き割当部２０９が画像群の統合を実行する。図６（Ｃ）は、図６（Ａ）のように分割された画像群の統合が実行された結果を示す。破線の箇所において分割されていた画像群を統合したことにより、分割数が６となっている。
【００７１】
統合の基準について説明する。画像群の中で、画像枚数が少ない画像群が検索される。そして、画像枚数が同じ画像群については、それらの画像群のうち、隣接する画像群が統合対象として選択されていない画像群が、優先的に統合対象として特定される。図６（Ａ）の例では、分割数を８から６に２箇所分だけ減らすために、画像枚数が少ない２箇所が特定される。図６（Ａ）では、少ない方から画像群８、画像群３、画像群７である。画像群３と画像群７は同じ枚数である。ただし、画像群７に隣接する画像群８が統合対象であるので、画像群３を統合対象とする。結果、画像群８と画像群３それぞれの統合が行われる。
【００７２】
画像群の統合の際には、まず、統合対象の画像群を、撮影日時が前の画像群に統合するか、撮影日時が後の画像群に統合するかが決定される。この決定では、例えば、統合対象の画像群と隣接する２つの画像群のうち、撮影日時の時間差が小さい方の画像群が統合の相手として特定される。図６（Ａ）では、上述のように画像群３が統合対象として決定されているため、それに隣接する画像群２及び画像群４のいずれかが統合の相手とされる。ここで、図６（Ａ）では、画像群３と、その前後の画像群２と画像群４とのそれぞれとの時間差を比較すると、画像群３と画像群４との時間差の方が、画像群３と画像群２との時間差より小さい。このため、画像群３は、画像群４と統合される。このようにして、図６（Ｃ）の破線で示される箇所で統合が行われる。一方、画像群８は、隣接する画像群が１つしかないため、図６（Ｃ）の破線で示される箇所で、その唯一の隣接画像群（画像群７）と統合される。なお、統合には、例えば、画像群に含まれる画像ファイルを示す情報を、統合後の画像群に応じて更新することが含まれる。
【００７３】
Ｓ４１６では、見開き割当部２０９が見開き割当を実行する。Ｓ４１２〜Ｓ４１５によって、シーン分割数と指定見開き数とが一致している。このため、見開き割当部２０９は、撮影日時順に先頭の画像群から、見開きの先頭に順に割り当てる。
【００７４】
Ｓ４１７では、画像選択部２１０が１つ以上の画像選択を実行する。以下、ある見開きに割り当てられた分割画像群から画像データを４枚選択する例を、図９を参照しながら説明する。
【００７５】
図９（Ａ）に示すスタート〜エンドの区間は、見開きに割り当てられた分割画像群の、最初の画像データの撮影日時から最後の画像データの撮影日時までの時間差（分割撮影期間）を示している。図９（Ｂ）を参照しながら、１枚目を選択する方法を説明する。テンプレートには、１枚のメインスロット１００２が含まれる。したがって、１枚目として、メインスロット用の画像データが選択される。図９（Ｂ）に示す画像群の撮影期間に対応する複数の画像データのうち、Ｓ４１０で付与されたメインスロット用の得点が最高点の画像データが選択される。この選択された画像データの撮影日時が、図９（Ｂ）において（１）として示されている。２枚目以降は、サブスロット用の画像データが選択される。
【００７６】
本実施形態では、選択される画像データの撮影日時が、分割画像群の撮影期間の一部に集中しないように、画像選択が行われる。以下、本実施形態における、分割画像群の撮影期間を細分化する方法について説明する。まず、図９（Ｃ）に示すように、画像群の撮影期間が２分割される。次に、図９（Ｄ）に示すように、１枚目が選ばれていない実線で示される撮影期間に対応する画像データから、２枚目の画像データが選択される。例えば、図９（Ｄ）の実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最高点の画像データが選択される。
【００７７】
次に、図９（Ｅ）に示すように、図９（Ｄ）において分割されていた２つの撮影期間をさらに２分割する。そして、図９（Ｆ）に示すように、１枚目及び２枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、例えばサブスロット用の得点が最高点の画像データが３枚目として選択される。
【００７８】
画像データの選択対象の撮影期間に画像データが存在せず、そのため選択できない場合について、４枚目の選択を例として説明する。図９（Ｇ）は、まだ画像データが選択されていない斜線の撮影期間から４枚目を選択しようとしたが、この斜線の撮影期間に画像データが存在しなかった状態を示している。この場合、図９（Ｈ）に示すように、分割されている撮影期間のそれぞれをさらに２分割する。次に、図９（Ｉ）に示すように、１〜３枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、例えばサブスロット用の最高点の画像データが４枚目として選択される。
【００７９】
図４に戻り、Ｓ４１８では、画像レイアウト部２１２は、画像レイアウトの決定を行う。画像レイアウト部２１２は、テンプレート入力部２１１が入力したテンプレート群を候補として、その中から、テンプレート内のメインスロットの位置が、着目シーンの選択されたメインスロット用画像の時系列的な位置に対応しているテンプレートを選択する。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像がレイアウトされるものとする。一方で、各スロットの位置と画像とを個別に対応付けるのは煩雑であるため、例えばテンプレートをメインスロットとサブスロットの位置に応じてグループ分けしておき、さらに画像の方向（縦長、横長）に応じてさらにグループ分けしておくことができる。そして、メインスロット用画像の時系列上の位置及び方向に応じてテンプレートが絞り込まれ、その絞り込んだテンプレートの中でサブスロットについても同様の絞り込みが行われる。このようにして、テンプレート入力部２１１は、テンプレートの候補を絞り込み、最終的に採用するテンプレートを決定することができる。
【００８０】
ここで、テンプレート入力部２１１が、指定のテンプレート情報にしたがって、ある見開きに対して図１０の（１−１）〜（４−４）をテンプレートの候補として用いる場合の例について説明する。入力されたテンプレートのスロット数は、図１０に示すように、３である。画像は、例えば図９の説明で選択した画像４枚のうち、最初に選択された３枚が用いられる。ここで、選択されている３枚の画像データの画像の向きが縦方向か横方向かを撮影日時について並べると、図９（Ｊ）のようであり、ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用であるものとする。ここで、メインスロット用画像１００５は、図９（Ｊ）に示すように、撮影日時が最も新しいため、右側にメインスロットが配置された図１０の（３−１）〜（３−４）と（４−１）〜（４−４）のテンプレートが候補として絞り込まれる。このうち、メインスロット用の画像データ１００５は縦長であるため、テンプレート（３−１）〜（３−４）が候補となる。そして、サブスロット用の古い方の画像１００６が縦画像で、新しい方の画像１００７が横画像であるため、テンプレート（３−２）が、選択された画像に最も適したテンプレートとして選択される。以上のようにして、Ｓ４１８では、Ｓ４１７で選択された画像を、どのテンプレートのどのスロットにレイアウトするかが決定される。
【００８１】
Ｓ４１９では、画像補正部２１４が画像補正を実行する。画像補正部２１４は、補正条件入力部２１３から画像補正ＯＮが入力された場合に、画像補正を実行する。画像補正として、例えば、輝度補正、赤目補正、コントラスト補正が実行される。画像補正部２１４は、補正条件入力部２１３から画像補正ＯＦＦが入力された場合には、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対して実行可能である。
【００８２】
Ｓ４２０では、レイアウト情報出力部２１５がレイアウト情報を作成する。画像レイアウト部２１２は、Ｓ４１８で決定されたテンプレートの各スロットに対して、（例えばＳ４１９の画像補正が実行された）画像データをレイアウトする。このとき、画像レイアウト部２１２は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データをレイアウトしたビットマップデータを生成する。
【００８３】
Ｓ４２１では、Ｓ４１７〜Ｓ４２０の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合（Ｓ４２１でＮＯ）はＳ４１７からの処理を繰り返し、終了していると判定された場合（Ｓ４２１でＹＥＳ）は、図４の自動レイアウト処理は終了する。
【００８４】
以上の手順により、画像データ群を分割し、分割後の画像群を再分割または統合して画像群の数を指定された見開き数に一致させ、各画像群から選択された画像を、見開きにレイアウトすることにより、アルバムが自動作成される。なお、上述の説明では、メインスロット用の得点を用いて１枚目の画像が選択され、２枚目以降の画像はサブスロット用の得点を用いて選択されるものとしたが、これに限られない。例えば、メインスロットを複数含んだテンプレートが用意されている場合は、メインスロット用の得点を用いて複数枚の画像が選択されてもよい。また、異なるスロット数を含んだ複数のテンプレートが用意されている場合には、様々な枚数の画像が選択されてもよい。この場合、テンプレートに含まれるスロット数に応じて、Ｓ４１７で選択する画像の枚数が増減されうる。
【００８５】
次に、図４のＳ４０１の解析画像の生成時に実行するサーバまたはＳＮＳ内の画像の選択について、詳細に説明する。指定されたサーバまたはＳＮＳ内の対象静止画や対象動画は、例えば、図１５（Ａ）〜（Ｃ）に示す方法により取得されうる。
【００８６】
図１５（Ａ）は、サーバまたはＳＮＳから、ユーザが選択した画像を取得する処理の流れを示している。Ｓ１５０１では、ユーザが、サーバまたはＳＮＳに保持されている画像の中から、取得したい画像を選択する。そして、Ｓ１５０２では、ユーザが選択した画像が、サーバまたはＳＮＳから取得される。Ｓ１５０３では、取得された画像に識別情報が付される。ここでの識別情報とは、サーバやＳＮＳから取得した画像であることを示す情報、（アップロードやダウンロード等の日時で代用可能な）撮影日時情報、及び画像の画素数等を含みうる。さらに、取得された画像には、後述のレーティングによるランクが識別情報として付されてもよい。
【００８７】
図１５（Ｂ）は、サーバまたはＳＮＳから、高いレーティング情報が付されている高ランク画像を取得する処理の流れを示している。Ｓ１５２１では、高いランクの画像が選択される。サーバまたはＳＮＳの画像に対して、ユーザ本人や他のユーザがレーティングを付与する場合がある。Ｓ１５２１では、このレーティングに対して例えば所定の閾値が設定され、閾値以上のレーティングが付された画像が高ランク画像として選択される。Ｓ１５２２では、選択された高ランク画像が、サーバまたはＳＮＳから取得される。Ｓ１５２３では、取得された画像に、上述のような識別情報が付される。ここでは、レーティングの情報が、ランクとして、画像に付されうる。例えば、レーティングをランク化するテーブルが予め用意され、テーブルに従ってランク付けが行われうる。レーティングは、ユーザが例えば５段階で評価した結果や、他のユーザからの投票数等によって定まり得る。
【００８８】
図１５（Ｃ）は、サーバまたはＳＮＳから、設定したタイミングで画像を取得する処理の流れを示している。Ｓ１５４１では、サーバまたはＳＮＳから画像を取得するタイミングが設定される。ここでのタイミングには、５枚おき又は１０枚おき等の所定の枚数おきや、３時間以上や３日以上の間隔がある都度、等の所定の時間間隔が設定される。Ｓ１５４２では、設定されたタイミングに相当する画像が取得される。Ｓ１５４３では、取得された画像に、上述のような識別情報が付される。
【００８９】
次に、図４のＳ４１０の画像得点化について、図１２を用いて詳細に説明する。Ｓ１２０１では、図４のＳ４０９の主人公設定において設定された主人公ＩＤが取得される。Ｓ１２０２では、分割されたシーン（画像群）のうちで着目するシーンのシーンＩＤである着目シーンＩＤが取得される。Ｓ１２０３では、着目シーンに含まれた注目画像内に存在する主人公ＩＤの数がカウントされる。Ｓ１２０４では、注目画像内に存在する主人公ＩＤの顔の位置が、その顔の領域の中心座標によって特定される。図５に示されるように、顔の領域は、その左上座標と右下座標とによって管理されている。これらの画像のＸ座標およびＹ座標のそれぞれについて、右下座標の値から左上座標の値を減じた値の半分の値を左上座標値に加算して、右下座標と左上座標の中間の座標を求めることにより、顔の領域の中心座標を算出することができる。また、各主人公ＩＤの顔の中心座標を座標軸ごとに加算して、上述の顔数で除算することによって、中心座標の平均値、すなわち、主人公の顔の重心が算出される。
【００９０】
Ｓ１２０５では、注目画像内に存在する主人公ＩＤの顔のサイズが算出される。上述の右下座標の値から左上座標の値をＸ軸とＹ軸とのそれぞれについて減じた値の絶対値の積が顔のサイズとして算出される。各主人公ＩＤの顔サイズが加算され、顔数で除算されることにより、顔サイズの平均値が算出される。Ｓ１２０６では、主人公ＩＤの顔数が得点化される。図４のＳ４１０について説明したように、シーン分類ごとに、メインスロット用およびサブスロット用に、顔数、顔位置、顔サイズの平均値と標準偏差が予め用意されている。この用意されている平均値および標準偏差から、着目シーンの分類に対応した値が読み出され、メインスロット用の読み出された顔数の平均値および標準偏差と、注目画像について求めた主人公ＩＤの顔数とから、メインスロット用の得点が算出される。具体的には、顔数を特徴量として、上述の式（１）が、得点を算出するのに用いられる。得点は、式（１）により、シーン分類ごとの平均値および標準偏差を用いて、シーン分類ごとに求められる。サブスロット用の得点も、サブスロット用に読み出された顔数の平均値および標準偏差と、注目画像について求められた主人公ＩＤの顔数とから、式（１）を用いて算出される。
【００９１】
Ｓ１２０７では、主人公ＩＤの顔位置が得点化される。顔数の得点化と同様に、顔位置に関してメインスロット用とサブスロット用の平均値と標準偏差とが読み出され、それらの値と、求められた主人公ＩＤの平均中心座標とから得点が算出される。顔位置に関するメインスロット用とサブスロット用の得点が、式（１）によって算出される。Ｓ１２０８では、主人公ＩＤの顔サイズが得点化される。顔数の得点化と同様に、顔サイズに関して、メインスロット用とサブスロット用の平均値と標準偏差とが読み出され、それらの値と、求められた主人公ＩＤの平均顔サイズとから、得点が算出される。顔サイズに関するメインスロット用とサブスロット用の得点が、式（１）によって算出される。
【００９２】
Ｓ１２０９では、ピントの得点化が実行される。ピントに関してメインスロット用とサブスロット用の閾値が読み出され、その値と、求められたピント量とから、以下の式（５）を用いて、メインスロット用とサブスロット用の得点が算出される。
得点＝５０−｜５０×（閾値−特徴量）／閾値｜  ・・・（５）
ピント量が特徴量に適用されることにより、得点が算出される。ピント量が閾値を超える場合は、特徴量に閾値と同じ値を適用して得点を算出するか、得点を５０としてもよい。Ｓ１２１０では、画素数が得点化される。ピントの得点算出と同様に、画素数に関してメインスロット用とサブスロット用の閾値が読み出され、その値と、注目画像に対して取得された画素数とから、上述の式（５）を用いて、メインスロット用とサブスロット用の得点が算出される。画素数が閾値を超える場合は、特徴量に閾値と同じ値を適用して得点を算出するか、得点を５０としてもよい。
【００９３】
Ｓ１２１１では、Ｓ１２０６〜Ｓ１２１０で求めたメインスロット用とサブスロット用の得点のそれぞれの平均点が算出される。これらの平均点が、注目画像のメインスロット用の得点、サブスロット用の得点となる。またここで、上述のように、ピントの得点をメインスロット用の得点とサブスロット用の得点とに、それぞれ加算してもよい。Ｓ１２１２では、シーン内の全画像についてＳ１２０３〜Ｓ１２１１の処理が終了したか否かが判定される。終了していない場合（Ｓ１２１２でＮＯ）は、処理はＳ１２０３に戻り、終了している場合（Ｓ１２１２でＹＥＳ）は、処理はＳ１２１３へ進む。Ｓ１２１３では、指定された画像データ群の全シーンについて、Ｓ１２０２〜Ｓ１２１２の処理が終了したか否かが判定される。終了していない場合（Ｓ１２１３でＮＯ）は、処理はＳ１２０２に戻り、終了している場合（Ｓ１２１３でＹＥＳ）は、画像得点化の処理を終了する。以上のようにして、シーンごとかつ画像ごとの得点が評価される。なお、図１２では、顔の数、位置、サイズ、ピント、画素数すべてを用いて得点の評価を実行する例について示したが、これらのうちの一部のみを、評価に用いてもよい。
【００９４】
図１６（Ａ）および（Ｂ）は、図１２の処理による得点化の結果の例を示している。なお、ここでは、例としてメインスロットに対する得点を示すが、サブスロットに対する得点も各画像に対して算出されている。画像ＩＤの欄は、各画像を区別するためのＩＤを示す。ＩＤにおいて、「ｌｏｃａｌ」はパスボックス３０２に指定されたフォルダから取得された画像であることを示し、「ｓｅｒｖｅｒ」はサーバ名ボックス３１０に指定されたサーバまたはＳＮＳから取得された画像であることを示す。また、「ｈｉｇｈ」は２００万画素を超える画像であることを示し、「ｌｏｗ」は２００万画素以下の画像であることを示す。さらに、「ｓｔａｔｉｃ」は静止画であることを示し、「ｄｙｎａｍｉｃ」は動画から抽出したフレーム画像であることを示す。ＩＤにつく数字は、撮影日時順を示す。なお、「ｈｉｇｈ」と「ｌｏｗ」の区別は、２００万画素を境界として説明したが、別の値を境界として用いてもよい。
【００９５】
図１６（Ａ）および（Ｂ）において、得点の欄は、図１２の処理によって、ローカルの静止画像、動画、ＳＮＳ画像に対する共通の得点方法により算出された得点を示す。補正得点の欄は、得点に係数を掛けて得点アップした結果を示す。「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿」は得点が１．１倍され、「ｓｅｒｖｅｒ＿ｌｏｗ＿ｓｔａｔｉｃ＿」は得点が１．５倍される。これは、デジタルカメラで撮影する場合、静止画は１０００万画素前後の画素数を有するのが一般的だが、動画はフルＨＤでも２００万画素程度であり、画素数の得点が低くなる。また、動画は動いている被写体を撮影することが多いため、手ぶれ等によってピントずれして得点が低くなることがある。また、特にＳＮＳから取得した画像は、画素数が２００万画素よりも少ないことがあるため、得点が低くなる傾向にある。
【００９６】
詳細は後述するが、本実施形態ではローカルの静止画像を選択候補から除外して、動画またはＳＮＳ画像から画像選択を行った後、ローカルの静止画像、動画、ＳＮＳ画像を選択候補に含めて画像選択を行う。このとき、画素数が高いローカル静止画と比較して、動画やＳＮＳ画像の得点が低くなる傾向がある。そこで、これらの画像について得点を嵩上げするように補正する得点方法で得点を付与することで、画像間の得点の均衡をとり、動画やＳＮＳ画像をローカルの静止画像と比較する画像選択において選ばれる可能性を高くすることができる。
【００９７】
また、ＳＮＳにはユーザが何らかの意図で画像をアップロードしており、その画像をアルバムの対象に選んでいるため、ユーザがアルバムに採用したいと意図している画像であることが予想される。そこで、ＳＮＳ画像の得点は大きく嵩上げしうる。得点の嵩上げの倍率は、上述の値と異なる値が用いられてもよい。
【００９８】
なお、図１６の例ではローカルの動画像（「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿」）、サーバまたはＳＮＳの静止画像（「ｓｅｒｖｅｒ＿ｌｏｗ＿ｓｔａｔｉｃ＿」）の得点が、補正により増加する。しかしこれに限らず、ローカルの静止画像（「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿」）の得点を下げるように補正が行われてもよい。または、ローカルの動画像、サーバまたはＳＮＳの静止画像の得点が増加し、ローカルの静止画像の得点が下がるように補正が行われてもよい。
【００９９】
また、仮にサーバまたはＳＮＳの動画像が取得された場合に、得点を２倍にするなど、上記補正とは異なる補正が行われてもよい。
【０１００】
順位の欄は得点の高いほうから順位付けした場合の順位を示し、補正順位の欄は補正得点の高いほうから順位付けした場合の順位を示す。得票の欄は、上述のレーティングのランクを得点化した値を示す。動的（動き度）の欄は、顔サイズの得点に応じて得点化した数値を示す。動画では、例えば子供の徒競争など、動いている被写体が撮影されることがある。この時、例えば子供の徒競争の例ではゴール付近で顔サイズが大きく撮られたフレームがレイアウトされるとユーザ満足度は高くなると考えられる。そこで、例えば顔サイズの得点０、１０、２０、３０、４０、５０に対して、動的の得点が、０、０、５、１５、３０、５０と設定される。
【０１０１】
ここで、図１６（Ａ）または（Ｂ）の６つの画像が、図９の（Ｉ）の画像（４）を含む画像群に含まれている場合、得点によって画像が選択される場合、その選択された画像（４）は、「ｌｏｃａｌ＿ｈｉｇｈ＿ｓｔａｔｉｃ＿７」であるということとなる。また、画像を補正得点で選んだとしても、画像（４）は、「ｌｏｃａｌ＿ｈｉｇｈ＿ｓｔａｔｉｃ＿７」ということとなる。図９の画像（１）〜（３）の分割撮影領域においても、図１６（Ａ）または（Ｂ）のような得点だと、選択した画像全てが静止画となってしまいうる。また、補正係数を大きくして、動画やＳＮＳ画像の得点アップをもっと大きくすることはできるが、係数を大きくしすぎると、選択した画像の全てが動画のフレーム画像やＳＮＳ画像となってしまいうる。
【０１０２】
そこで、本実施形態では、アルバム作成アプリケーションは、図４のＳ４１７の画像選択の際に、以下の図１７を参照して説明する処理によって画像を選択する。
【０１０３】
図１７において、Ｓ１７０１では、注目している見開きに対して選択すべき必要な画像枚数が設定される。Ｓ１７０２では、見開きに割り当てられた画像データ群が取得される。Ｓ１７０３では、優先的に選択されるべき画像の種類が設定される。なお、画像の種類は、静止画や動画などでありうるが、例えばＳＮＳやネットワーク上のサーバが保持している画像、又はローカルフォルダ内の画像などであってもよく、何らかの区分可能な属性を有する類型として定められうる。以下では、まず、動画が設定された例について説明する。なお、後述する枚数カウンターとループカウンターに応じて、テーブル化してある優先画像の種類を設定する方法が用いられる。初期状態において、枚数カウンターとループカウンターがゼロに設定され、このとき、テーブルを、例えば動画を優先する設定としておく。
【０１０４】
Ｓ１７０４では、選択に使う得点軸と閾値とが設定される。ループカウンターと優先画像種類に応じてテーブル化してある得点軸と閾値が設定される。ここでは、メインスロット用の補正得点と、ピントと画素数の得点とを設定した例で説明する。また、それぞれの閾値を２５とする。閾値はこれに限られず、例えば実験を通じて、ユーザが満足するレベルに適宜設定されうる。また、得点軸ごとに閾値が変更されてもよい。
【０１０５】
Ｓ１７０５では、図９のようにして、撮影区間を分割するか否かが判定される。分割する場合（Ｓ１７０５でＹＥＳ）は、処理はＳ１７０６へ進み、分割しない場合（Ｓ１７０５でＮＯ）は、処理はＳ１７０７へ進む。Ｓ１７０６では、図９のようにして撮影区間が分割される。Ｓ１７０７では、画像を取得しようと着目している（場合によってはＳ１７０６で分割された）撮影区間に対する区間情報が設定される。区間情報は、着目している撮影区間（着目区間）に存在する画像の画像ＩＤや、その画像に対して算出された各種得点である。
【０１０６】
Ｓ１７０８では、着目区間において画像が未選択か否かの判定をする。すなわち、図９で説明したように、同じ区間から２つの画像が選択されないように、着目区間において、すでに選択された画像があるかが判定される。着目区間において画像が選択されていない場合（Ｓ１７０８でＹＥＳ）は、処理はＳ１７０９へ進み、画像が選択済みである場合（Ｓ１７０８でＮＯ）は、処理はＳ１７０５に戻り、別の区間についての処理を行う。
【０１０７】
Ｓ１７０９では、Ｓ１７０３で設定された画像種類に対して、Ｓ１７０４で設定した得点軸と閾値とを参照して、画像が選択される。
【０１０８】
ここでは、着目区間に、図１６（Ａ）の６つの画像が存在する場合、「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿２／５／８」の補正得点、ピント、および画素数の得点に着目する。そして、補正得点とピントと画素数の得点に対して設定された閾値に着目する。「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿５」が、設定された得点軸の全ての閾値を超えて、最も補正得点が高い動画であるとすると、「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿５」が着目区間の画像として選択される。図１６（Ａ）の中で「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿５」は、得点アップした補正得点であっても順位は４位であるが、本実施形態によれば、ユーザが満足するレベルの動画として選択されうる。なお、設定された画像種類の中に閾値を満たす画像が存在しない場合は、着目区間において、画像が選択されない。なお、ここではローカルの静止画像は選択候補としては除外されているため、補正得点ではなく、補正前の得点が閾値と比較されてもよい。
【０１０９】
Ｓ１７１０では、対象区間の全てにおいて、（Ｓ１７０９で画像が選択されなかった場合を含めて）画像の選択処理が行われたかを判定する。例えば、図１７のフロー中のループが複数回実行され、図９（Ｈ）のような状態となった場合、４枚目の画像を選択可能な区間（すなわち、画像が未選択の区間）は、３ヶ所存在する。その３ヶ所全てにおいて、画像の選択処理が行われたかが判定される。全ての区間において選択処理が行われた場合（Ｓ１７１０でＹＥＳ）は、処理はＳ１７１１へ進み、一部の区間において選択処理が行われていない場合（Ｓ１７１０でＮＯ）は、処理はＳ１７０７へ戻り、残っている区間に関しての処理を実行する。
【０１１０】
Ｓ１７１１では、選択された画像から最も補正得点が高い画像が１つ選択される。例えば、図９（Ｈ）において、（最大）３つの画像が選択された場合、それらの中から最も補正得点が高い画像が選択される。Ｓ１７１２では、Ｓ１７１１で選択された画像が存在するか否かが判定される。Ｓ１７１１では、Ｓ１７０９で１つでも画像が選択されている限り、画像は選択されるため、Ｓ１７１２の判定は、Ｓ１７０３とＳ１７０４で設定した画像種類と得点軸に適合した画像が存在したかの判定ということができる。Ｓ１７１１で画像が選択された場合（Ｓ１７１２でＹＥＳ）は、処理はＳ１７１３へ進み、選択されていない場合（Ｓ１７１２でＮＯ）は、処理はＳ１７１４へ進む。
【０１１１】
Ｓ１７１３では、選択画像枚数がカウントアップされる。枚数カウンターの初期値は見開きごとにゼロである。Ｓ１７１４では、ループカウンターがカウントアップされる。ループカウンターの初期値は見開きごとにゼロである。Ｓ１７１５では、Ｓ１７０１で設定した枚数と枚数カウンターとが一致しているかが判定される。一致している場合は必要な画像枚数を選択したため（Ｓ１７１５でＹＥＳ）、画像選択処理を終了する。一致しない場合（Ｓ１７１５でＮＯ）は、選択した画像枚数が足りないため、処理はＳ１７０３へ戻る。
【０１１２】
処理がＳ１７０３へ戻った場合は、枚数カウンターとループカウンターとが参照され、枚数カウンターとループカウンターに応じてテーブル化してある優先画像の種類が設定される。処理がＳ１７０３へ戻ってきた時に、枚数カウンターが１でループカウンターが１の場合は、例えば優先画像をサーバやＳＮＳの画像にする。このとき、枚数カウンターとループカウンターとの値に応じて、例えば優先画像をサーバやＳＮＳの画像にすることなどの、優先画像を特定可能なテーブルが用意されていてもよい。また、枚数カウンターやループカウンターによっては、優先画像なしと設定されていてもよい。例えば、枚数カウンターが２でループカウンターが２の場合は、枚数カウンターが１でループカウンターが１の時に動画とＳＮＳ画像が選ばれていることが予想されるため、優先画像なしとして、全ての種類の画像から画像選択が行われるようにしてもよい。また、枚数カウンターが０でループカウンターが２の場合など、動画とＳＮＳ画像が選ばれなかったと予想される場合には、静止画を優先画像としてもよい。なお、優先画像なしとして全ての種類の課像から画像選択が行われる場合、図１６に示した補正得点が比較されることで、画像選択が行われる。
【０１１３】
枚数カウンターが小さい段階でのループでは、静止画に優先して動画、サーバやＳＮＳ画像を設定するテーブルが用いられうる。これにより、図９（Ａ）のように、分割撮影区間をさらに細分化する前の区間から、静止画に優先して動画、サーバやＳＮＳからの画像を優先的に選択することができる。
【０１１４】
Ｓ１７０４の得点軸設定においても、テーブルが用いられうる。例えば、ループカウンターが０で、優先画像が動画の場合は、メインスロット用の補正得点、ピント、画素数が得点軸として設定されうる。例えば、ループカウンターが１で、優先画像がサーバやＳＮＳからの画像の場合は、メインスロット用の補正得点、ピント、画素数が得点軸として設定されうる。例えば、ループカウンターが２で、優先画像が静止画の場合は、メインスロット用の補正得点が得点軸として設定されうる。本実施形態では、これらの対応関係を特定可能なテーブルが用意されうる。また、上述の説明では、動画の選択の際に補正得点、ピント、および画素数が用いられるものとしたが、図１６（Ａ）に示される動的（動き度）が用いられてもよい。たとえば、「ｌｏｃａｌ＿ｈｉｔｈ＿ｄｙｎａｍｉｃ＿５」が選択されたが、補正得点、ピント、画素数の全てが閾値を超える動画の中から、動的が最も高い動画が選択されるようにしてもよい。この場合、例えば補正得点が「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉｃ＿５」よりも低い「ｌｏｃａｌ＿ｈｉｇｈ＿ｄｙｎａｍｉ＿８」が選択されうる。これによって、ユーザがより満足すると考えられる画像が選択されうる。
【０１１５】
図１６（Ｂ）のように画素数が高い静止画と画素数が低い静止画とが混在する場合でも、サーバやＳＮＳ画像が優先画像に設定されうる。これにより設定された得点軸の閾値を満たす場合に、「ｓｅｒｖｅｒ＿ｌｏｗ＿ｓｔａｔｉｃ＿」の中で補正得点が最も高い「ｓｅｒｖｅｒ＿ｌｏｗ＿ｓｔａｔｉｃ＿６」が選択されうる。また、得票を用いて、「ｓｅｒｖｅｒ＿ｌｏｗ＿ｓｔａｔｉｃ＿９」が選択されるようにすることで、ユーザがより満足する画像が選択されうる。
【０１１６】
以上のように、画像選択において優先的に選択する画像種類と、ユーザが満足するレベルの得点軸と閾値とが設定される。これにより、高画素数の静止画に比べて画質的に劣る動画のフレーム画像やＳＮＳ画像であっても、一定の基準を満たすものが、静止画と共にレイアウトされる確率を向上させることができる。
【０１１７】
また、例えば優先画像としての動画またはＳＮＳ画像のうち、補正得点が閾値を越えなかった画像、もしくは他の優先画像との比較により選ばれなかった画像であっても、静止画像との補正得点の比較により選ばれうる。
【０１１８】
図１６に示したように、補正得点として動画、ＳＮＳ画像は、ローカルの静止画像とは異なり補正により得点が増加するため、ユーザが動画またはＳＮＳ画像を一定数選択したい場合に、少数の動画またはＳＮＳ画像しか選ばれないことを防ぐことができる。一方で、動画またはＳＮＳ画像のうち、画質が良好でない画像は、得点が補正されても、動画またはＳＮＳ画像に対する優先選択では選ばれず、またローカルの静止画像との比較でも選ばれない可能性が高い。そのため、優先画像としての動画またはＳＮＳ画像であっても、画質が良好でない画像を選択してしまうことを防ぐことができる。
【０１１９】
図１７の例では、優先画像が決められてから、画像選択の対象区間から画像が選択される処理の例について説明した。以下では、対象区間の画像種類ごとの画像枚数に基づいて、優先画像が再設定される処理の例について説明する。以下の処理により、例えば、対象区間において、静止画が少なく、動画のフレーム数が多い場合に、その対象区間から、動画が優先的に選択されるようにすることができる。
【０１２０】
図１８は図１７の例とは別の画像選択処理の流れを示している。図１８において、Ｓ１８０１〜Ｓ１８０８の処理は、それぞれ図１７のＳ１７０１〜Ｓ１７０８の処理と同様であるため、ここでの説明は省略する。また、Ｓ１８１０〜Ｓ１８１６の処理は、それぞれ図１７のＳ１７０９〜Ｓ１７１５の処理と同様であるため、ここでの説明は省略する。すなわち、図１８の処理では、Ｓ１８０９が図１７の処理と異なる点である。このため、以下では、Ｓ１８０９の処理について説明する。
【０１２１】
Ｓ１８０９では、Ｓ１８１０における選択の基準の、すなわち、Ｓ１８０３で設定された優先画像またはＳ１８０４で設定された得点軸と閾値の見直しを実行する。本処理では、まず、対象区間において含まれる、画像種類ごとの画像枚数が取得される。ここで、その区間に、静止画が例えば１枚しか含まれておらず、その一方で動画のフレーム画像が３０枚含まれている場合、この区間に対応する撮影時間帯において、ユーザが動画撮影を静止画撮影よりも重視していたことが予想される。このため、Ｓ１８０３において優先画像が静止画と設定されていても、このような状況においては、Ｓ１８０９で、優先画像が動画に設定し直される。また、静止画が少なく、ＳＮＳ画像が多い場合は、ＳＮＳ画像が優先画像に設定し直されてもよい。ここで、例えば、対象区間について、静止画の枚数があらかじめ設定された閾値を下回る場合で、かつ、動画のフレーム画像が存在する場合に、優先画像が動画となるような設定が行われるように、優先画像の再設定の要否が判定されうる。たとえば、ある対象区間において、５枚の閾値に対して静止画が１枚しかなく、かつ、動画のフレーム画像が存在する場合、優先画像が動画に設定される。ここで、優先画像を動画に設定するための閾値が設けられてもよい。優先画像をＳＮＳ画像に設定する場合の再設定の要否の判定も上述の手法と同様に行われうる。すなわち、例えば、非ＳＮＳ画像の枚数が閾値枚数を下回る場合とＳＮＳ画像の枚数が閾値枚数以上の場合との少なくともいずれかの場合に、ＳＮＳ画像が選択されるように上述の再設定が行われうる。また、静止画の枚数が少なく、動画およびＳＮＳ画像の枚数が多い場合は、動画とＳＮＳ画像のうち、枚数が多い方を優先画像としてもよいし、動画とＳＮＳ画像とのそれぞれに対して予め設定された閾値を超える画像を優先画像としてもよい。また、動画とＳＮＳ画像との間で予め優先順位が決められておいてもよく、この場合、その優先順位に従って優先画像が設定される。なお、静止画の枚数が閾値枚数以上である等、優先画像の再設定が不要である場合は、Ｓ１８０３で設定された優先画像が、そのまま用いられうる。
【０１２２】
再設定によって決定された優先画像の種類に応じて、得点軸と閾値も設定し直される。これにより、よりユーザが満足するレベルの得点軸と閾値を設定することが可能となる。以上により、特定の区間中の枚数を基準として優先度が高い画像を選択して、動画のフレーム画像やＳＮＳ画像を静止画と共にレイアウトすることが可能となる。
【０１２３】
＜その他の実施形態＞
上述の実施形態では、動画から、設定したタイミングに従ってフレームが抽出される例について説明した。このように抽出されたフレームは、さらに、図１４に示すフローに従って選別されてもよい。Ｓ１４０１では、フレーム選別の、例えば、ピント、顔、主人公などの選別情報が設定される。ここで、選別情報に主人公を用いる場合には図４のＳ４０９より後に、主人公を用いない場合はＳ４０３以降でＳ４１０の前に、それぞれ図１４に示す処理が実行されうる。Ｓ１４０２では、設定された選別情報に基づいて、抽出された動画からフレームを選別する。例えば、ピントが所定レベル以上のフレーム、顔が存在するフレーム、主人公が存在するフレームが、図４のＳ４１０の得点化の対象となるように選別される。Ｓ１４０３では、選別されたフレームに識別情報が付される。識別情報は、フレーム抽出時に付された識別情報をそのまま用いてもよいし、選別されたフレームであることを示す情報が付されてもよい。以上によって、得点化と画像選択の対象となるフレームを限定して、処理時間の短縮を図ることができる。
【０１２４】
また、上述の実施形態では、サーバやＳＮＳからの画像が、静止画像であっても、動画よりも優先されるように設定されてもよい。例えば、ユーザによりＳＮＳにアップロードされた画像にはそのユーザの何らかの意図があると考えることができ、その画像がそのユーザによって選ばれている場合、ユーザが、ＳＮＳ画像をアルバムに掲載することを強く望んでいることが予想されるからである。サーバにアップロードされた画像も同様である。
【０１２５】
また、上述の実施形態では、画素数の観点から、動画のフレーム画像やＳＮＳの画像が、相対的に画素数が高い静止画に低い得点となる傾向があることについて説明した。これについては、画素数以外に、原画像が高い圧縮率で圧縮されている（すなわち、データ量がより多く削減されている）画像も、低い圧縮率で圧縮されている画像よりもノイズが目立つ等の低品位になる場合がある。例えば、ＳＮＳ画像は、サーバ上に保存する際に、ファイルサイズが大きいとサーバに大きな容量が必要とされるため、そのファイルサイズを小さくするために高い圧縮率で圧縮されている場合がある。また、アップロードやダウンロードの転送時間を短くするために、通信対象の画像のファイルサイズが高い圧縮率で圧縮されることにより大幅に削減される場合がある。また、画素数の低減も、サーバの容量や転送時間の観点から実行される場合がある。このような画像は、低品位であるため、レイアウト対象として選択されにくいものであるといえる。
【０１２６】
しかしながら、そのような画像は、低品位であっても、ユーザが何らかの意図をもって、その画像のアップロードおよびダウンロード等を実行したと考えられるため、ユーザ本人のレーティングが高いと考えられる。また、ローカルフォルダに格納された高圧縮率の画像についても、ユーザがあえてその画像を選択したと考えられる場合がある。したがって、その高い圧縮率の画像が選択されやすくなるように、画像選択における優先選択対象の画像の種類（例えば、圧縮率が所定のレベルより高いもの）と、ユーザが満足するレベルの得点軸と閾値とが設定される。これにより、低い圧縮率の画像に比べて低品位な、高い圧縮率の画像であっても、一定の基準を満たすことにより、低い圧縮率の画像と共にレイアウト対象として選択されうる。
【０１２７】
以上のように、画素数や圧縮率において相対的に低品位な画像（相対的に画質が不良な画像）であっても、画像選択において優先的に選択されるべき画像種類と、ユーザが満足するレベルの得点軸と閾値とが設定されることで選択対象となりやすくなる。これにより、一定の基準を満たすことにより、相対的に低品位な画像であっても、相対的に高品位な画像と共にレイアウト対象として選択されうる。
【０１２８】
また、上述の実施形態では、各処理を、アルバム作成における画像選択の方法として説明したが、本処理は、単葉の画像選択に用いられうる。例えば、ユーザは５枚おきに単葉枚数を設定でき、単葉枚数を２５枚と設定したものとする。この場合、設定された２５枚を、５枚で割った５つの見開き分相当の画像データ群が割り当てられる。割り当て方法は、上述のアルバムについての画像割り当て方法が適用されうる。すなわち、見開きに割り当てられたシーンから単葉として選択される画像枚数を５として、図１７のＳ１７０１の設定が行われる。Ｓ１７０２以降は、上述のとおりである。これによって、画像データ群から静止画と共に動画やＳＮＳ画像を単葉画像として選択することができる。
【０１２９】
また、上述の実施形態では、動画のフレーム画像や、サーバやＳＮＳ画像の得点に係数を掛けて得点を嵩上げする例について説明したが、得点の嵩上げ方法は、これに限られない。たとえば、動画のフレーム画像や、サーバやＳＮＳ画像などに対して、高画素数や低圧縮の静止画よりも、得点の条件を緩くすることによって、得点の嵩上げが行われてもよい。
【０１３０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３１】
また図２に示した複数の機能が１つの装置により実現される場合に限らず、複数の装置のそれぞれが当該複数の機能の一部を実行し、当該複数の装置が連携することで、図２に示した複数の機能が実現されてもよい。
【符号の説明】
【０１３２】
２０１：条件指定部、２０２：画像取得部、２０３：画像変換部、２０４：画像解析部、２０５：画像分類部、２０６：主人公情報入力部、２０７：画像得点部、２０８：見開き数入力部、２０９：見開き割当部、２１０：画像選択部、２１１：テンプレート入力部、２１２：画像レイアウト部、２１３：補正条件入力部、２１４：画像補正部、２１５：レイアウト情報出力部、２１６：自動レイアウト処理部
【図１】
0006719206.tif 000002
【図２】
0006719206.tif 000003
【図３】
0006719206.tif 000004
【図４】
0006719206.tif 000005
【図５】
0006719206.tif 000006
【図６】
0006719206.tif 000007
【図７】
0006719206.tif 000008
【図８】
0006719206.tif 000009
【図９】
0006719206.tif 000010
【図１０】
0006719206.tif 000011
【図１１】
0006719206.tif 000012
【図１２】
0006719206.tif 000013
【図１３】
0006719206.tif 000014
【図１４】
0006719206.tif 000015
【図１５】
0006719206.tif 000016
【図１６】
0006719206.tif 000017
【図１７】
0006719206.tif 000018
【図１８】
0006719206.tif 000019