(57)【要約】【課題】  複数の画像が分割された複数の画像群をレイアウトする場合に、ユーザ所望の種類のオブジェクトを含む画像を画像群に含ませることができる技術を提供する。【解決手段】  オブジェクトの種類に関するユーザの指示を受け付け、そのオブジェクトの種類に対応するオブジェクトを含む画像が、複数の画像群のそれぞれに含まれるように、画像群への分割を行う。【選択図】  図１１
2018097484.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの種類に関するユーザの指示を受け付ける受け付け工程と、
前記受け付け工程において受け付けた指示に対応するオブジェクトの種類と、複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
をコンピュータに実行させ、
前記分割工程では、前記オブジェクトの種類に対応するオブジェクトを含む画像が、前記複数の画像群のそれぞれに含まれるように、前記分割を行うことを特徴とするプログラム。
【請求項２】
前記分割工程は、
前記複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する仮分割工程と、
前記仮分割工程において前記複数の画像が仮分割された複数の画像群の数が所定の数と異なる場合に、前記仮分割された複数の画像群の分割数を変更することにより、前記複数の画像が分割される数を前記所定の数と一致させるための所定の処理を行う制御工程と、
を含み、
前記制御工程では、前記受け付け工程において受け付けた指示に対応するオブジェクトの種類に基づいて、前記オブジェクトの種類に対応するオブジェクトを含む画像が、前記所定の数と一致する数に分割された複数の画像群のそれぞれに含まれるように、前記所定の処理を行うことを特徴とする請求項１に記載のプログラム。
【請求項３】
前記所定の処理は、前記仮分割工程において前記複数の画像が仮分割された複数の画像群の数が所定の数より少ない場合、前記仮分割された複数の画像群の数を増やすための第１の処理と、前記仮分割工程において前記複数の画像が仮分割された複数の画像群の数が所定の数より多い場合、前記仮分割された複数の画像群の数を減らすための第２の処理を含むことを特徴とする請求項２に記載のプログラム。
【請求項４】
前記制御工程では、前記第１の処理として、前記複数の画像群の少なくとも１つに含まれている１または複数の画像を、新たな画像群として決定することを特徴とする請求項３に記載のプログラム。
【請求項５】
前記制御工程では、前記複数の画像群のそれぞれに含まれている画像の時間情報に基づいて、前記複数の画像群の少なくとも１つにおける撮影期間を特定し、当該特定された撮影期間に基づいて、前記複数の画像群のうちの前記第１の処理を行う画像群を選択する
ことを特徴とする請求項３または４に記載の画像処理方法。
【請求項６】
前記制御工程では、前記第２の処理として、前記複数の画像群の少なくとも１つに含まれている１または複数の画像を、前記複数の画像群のうちの他の画像群に含まれる画像として決定することを特徴とする請求項３乃至５のいずれか１項に記載のプログラム。
【請求項７】
前記制御工程では、前記複数の画像群のうちの２つの画像群において、時間情報が示す時間の差を特定し、特定された差に基づいて、前記他の画像群を選択する、
ことを特徴とする請求項６に記載のプログラム。
【請求項８】
前記所定の数は複数のテンプレートの数であり、
前記レイアウト工程では、前記分割工程において分割された複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数のテンプレートのうちの前記複数の画像群のそれぞれに対応するテンプレートにレイアウトすることを特徴とする請求項１乃至７のいずれか１項に記載のプログラム。
【請求項９】
前記複数のテンプレートの数は、ユーザによる指示に応じた数であることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記分割工程において前記複数の画像が分割された複数の画像群のそれぞれを、複数種類の画像群のいずれかに分類する分類工程と、
前記分類工程においてシーンの種類に対応する判断基準に基づいて、前記複数の画像群のそれぞれに含まれている複数の画像から、前記レイアウト工程においてレイアウトされる画像を選択する選択工程と、
を備えることを特徴とする請求項１乃至９のいずれか１項に記載のプログラム。
【請求項１１】
前記分割工程は、
前記複数の画像群に関する情報に基づいて、前記複数の画像群のそれぞれを評価する評価工程と、
前記評価工程における評価が所定の条件を満たす場合に、前記複数の画像群を前記レイアウト工程におけるレイアウトの候補として確定する確定工程と、
を含み、
前記評価工程では、前記オブジェクトの種類に対応するオブジェクトを含む画像が含まれている第１の画像群の評価が、前記オブジェクトの種類に対応するオブジェクトを含む画像が含まれていない第２の画像群の評価よりも高くなるように、前記評価を行うことを特徴とする請求項１乃至１０のいずれか１項に記載のプログラム。
【請求項１２】
オブジェクトの種類に関するユーザの指示を受け付ける受け付け手段と、
前記受け付け手段により受け付けた指示に対応するオブジェクトの種類と、複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割手段と、
前記分割手段により分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートのそれぞれにレイアウトするレイアウト手段と、を有し
前記分割手段は、前記オブジェクトの種類に対応するオブジェクトを含む画像が、前記複数の画像群のそれぞれに含まれるように、前記分割を行うことを特徴とする画像処理装置。
【請求項１３】
オブジェクトの種類に関するユーザの指示を受け付ける受け付け工程と、
前記受け付け工程において受け付けた指示に対応するオブジェクトの種類と、複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、
前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、を有し、
前記分割工程では、前記オブジェクトの種類に対応するオブジェクトを含む画像が、前記複数の画像群のそれぞれに含まれるように、前記分割を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をテンプレートにレイアウトするためのプログラム、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ、スキャナなどの画像生成装置で撮影した画像は、モニタやプリンタなどの種々の画像出力装置で出力（表示や印刷）される。複数の画像が電子アルバムとして出力される場合がある。この電子アルバムの出力において、１つの見開きに複数の画像が割り当てられ、見開き単位で出力を行われることがある。例えば、複数の見開きに画像を割り当てる場合に単に各見開きに撮影順に画像を並べただけでは各見開き毎の画像のまとまりがなくなってしまうおそれがある。特許文献１では、日、あるいは月等の期間単位に区切って各画像をレイアウトする方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１８４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のように、画像のレイアウトに際して全画像を期間等の所定の単位で区切る場合、区切られた期間において、ユーザ所望の被写体の画像が撮影されていないことがある。
【０００５】
そこで本発明は、複数の画像が分割された複数の画像群に含まれる画像をレイアウトする場合に、ユーザ所望の種類のオブジェクトを含む画像を画像群に含ませることができるプログラム、画像処理装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係るプログラムは、オブジェクトの種類に関するユーザの指示を受け付ける受け付け工程と、前記受け付け工程において受け付けた指示に対応するオブジェクトの種類と、複数の画像のそれぞれに対応する時間を示す時間情報に基づいて、前記複数の画像を複数の画像群に分割する分割工程と、前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、をコンピュータに実行させ、前記分割工程では、前記オブジェクトの種類に対応するオブジェクトを含む画像が、前記複数の画像群のそれぞれに含まれるように、前記分割を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の画像が分割された複数の画像群に含まれる画像をレイアウトする場合に、ユーザ所望の種類のオブジェクトを含む画像を画像群に含ませることができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェアの構成を示すブロック図である。
【図２】アルバム作成アプリケーションのソフトウェアブロック図である。
【図３】アルバム作成アプリケーションが提供する表示画面を示す図である。
【図４】自動レイアウト処理を示すフローチャートである。
【図５】画像解析情報を示す図である。
【図６】画像データ群のシーン分割の結果を示す図である。
【図７】シーン毎の平均値と標準偏差を示す図である。
【図８】得点化軸の概念を示す図である。
【図９】画像データの選択を説明するための図である。
【図１０】画像データのレイアウトに使うテンプレート群を示す図である。
【図１１】サブシーン分割の処理を示すフローチャートである。
【図１２】各シーンのシーン情報を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【００１０】
［第１の実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリケーションを動作させ、自動レイアウト機能によりレイアウトを生成する処理について説明する。
【００１１】
図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。
【００１２】
ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果として電子アルバムをユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。
【００１３】
データ通信部１０８は、有線や無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。
【００１４】
本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存され、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックすることで起動される。
【００１５】
図２は、アルバム作成アプリケーションのソフトウェアブロック図である。図２に示す各構成要素に対応する各プログラムモジュールが、上述のアルバム作成アプリケーションに含まれている。そして、ＣＰＵ１０１が各プログラムモジュールを実行することで、ＣＰＵ１０１が図２に示す各構成要素として機能する。以降、図２に示す各構成要素の説明として、各構成要素が種々の処理を実行するものとして説明する。また図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１６に関するソフトウェアブロック図を示している。
【００１６】
アルバム作成条件指定部２０１は、ポインティングデバイス１０７による後述のユーザのＵＩ操作に応じてアルバム作成条件を決定し、決定されたアルバム作成条件を自動レイアウト処理部２１６に出力する。
【００１７】
画像取得部２０２は、アルバム作成条件指定部２０１から指定された画像データ群をＨＤＤ１０４から取得する。画像変換部２０３は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データに変換する。画像解析部２０４は、解析画像データから後述の、特徴量の取得、顔検出、表情認識、個人認識、オブジェクト認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報から撮影日時（時間情報）の取得も実行する。画像分類部２０５は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。シーンとは、旅行や日常、結婚式等の撮影シーンである。本実施形態では、時間情報により複数の画像が複数の画像群に分割される。このとき、まとまった時間に撮影された複数の画像が同一の画像群に含まれるため、同一の画像群に含まれる複数の画像は、同一または類似の撮影シーンに撮影された画像とみなすことができる。
【００１８】
画像得点部２０７は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。後述するが、画像得点部２０７は、画像解析部２０４からの画像解析の結果を示す情報と、画像分類部からの分類情報を用いて得点付けを行う。
【００１９】
ユーザ情報入力部２０６は、アルバム作成条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、ユーザ情報入力部２０６から入力された主人公ＩＤが含まれる画像データについてより高い得点を付加するように構成されている。また、ユーザ情報入力部２０６は、アルバム作成条件指定部２０１から指示された優先モードを画像得点部２０７に入力する。画像得点部２０７は、ユーザ情報入力部２０６から入力された少なくとも１つ以上のオブジェクトが含まれる画像データについてより高い得点を付加するように構成されている。
【００２０】
見開き割当部２０９は、複数の画像を複数の画像群に分割して、分割された複数の画像群をアルバムの複数の見開きそれぞれに割り当てる。見開き数入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数およびユーザから指定された優先モードを、見開き割当部２０９に入力する。アルバムの見開き数は、複数の画像が配置される１または複数のテンプレートの数に相当する。
【００２１】
見開き割当部２０９は、入力された見開き数に応じて複数の画像を複数の画像群に分割し、各見開きに画像群の一部または全部を割り当てる。また見開き割当部２０９は、見開き数に複数の画像群の数を一致させるために、複数の画像群の分割・統合を行う。なお、本実施形態において、複数の画像群の分割・統合をシーン分割、シーン統合とも呼ぶ。そして、本実施形態では見開き割当部２０９は、ユーザから指定された優先モードに応じて、上記の複数の画像群の分割・統合（シーン分割、シーン統合）を行う。
【００２２】
画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群から、アルバム作成条件指定部２０１から指定されたスロット数分の画像を、画像得点部２０７で付された得点に基づいて選択する。
【００２３】
画像レイアウト部２１２は、画像がレイアウトされるときのスロットや画像のうちスロットに表示される領域等の、画像データのレイアウトを決定する。テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された選択画像に適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、選択画像のレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した選択画像のレイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１０により選択された選択画像の画像データがレイアウトされたビットマップデータである。
【００２４】
画像補正部２１４は、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正等の各種の補正処理を実行する。画像補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像データに対して補正のＯＮ／ＯＦＦに従って、補正を実行する。画像変換部２０３から画像補正部２１４に入力される画像データの画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変更可能である。
【００２５】
アルバム作成アプリケーションは、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているディスプレイ１０５上の起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＯＭ１０２にロードされる。ＲＯＭ１０２のプログラムがＣＰＵ１０１によりＲＡＭ１０３に読み出されて実行されると、アルバム作成アプリケーションが起動する。
【００２６】
図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、ユーザからの設定内容を取得する。
【００２７】
表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象とする画像を含むフォルダをツリー構成でユーザ選択可能に表示する。ユーザにより選択されたフォルダのフォルダパスが、パスボックス３０２に表示される。
【００２８】
主人公指定アイコン３０４は、ユーザが主人公を指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。
【００２９】
テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。
【００３０】
優先モード指定アイコン３１０は、ユーザが優先させたいモード（ここでは写真の被写体）を指定するためのアイコンであり、人物、ペット、花がアイコンとして表示される。優先モード指定アイコン３１０は、ユーザがポインティングデバイス１０７によりクリックして選択可能であり、ユーザによる重要なオブジェクトの種類の指示を受け付ける。本実施形態において、複数の画像が分割された複数の画像群を見開き数に一致させるために、画像群の分割や統合が行われる。その際、優先モード指定アイコン３１０で指定された被写体が分割または統合後に各画像群に含まれるように、画像群の分割や統合が行われる。即ち、画像群の分割または統合後に、優先モード指定アイコン３１０で指定された優先被写体が含まれない画像群が存在することを防ぎ、優先被写体が画像群に分散して含まれるように、画像群の分割や統合が行われる。詳細については後述する。
【００３１】
ユーザによりＯＫボタン３０８が押下されると、アルバム作成条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。アルバム作成条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１６に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤ、また優先モード指定アイコン３１０で指定された優先モードが、ユーザ情報入力部２０６に伝えられ、また画像得点部２０７に伝えられる。見開き数ボックス３０５に入力されている見開き数、および優先モード指定アイコン３１０で指定された優先モードが、見開き数入力部２０８に伝えられ、また見開き割当部２０９に伝えられる。
【００３２】
テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に伝えられる。チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、画像補正条件入力部２１３に伝えられる。表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。
【００３３】
図４は、アルバム作成アプリケーションの自動レイアウト処理部２１６の処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４の説明では、ＣＰＵ１０１が上記アルバム作成アプリケーションを実行することで機能する、図２に示す各構成要素が処理を実行するものとして説明する。図４を参照しながら、自動レイアウト処理を説明する。
【００３４】
Ｓ４０１では、画像変換部２０３は、解析画像データを生成する。具体的には、画像変換部２０３は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルを特定し、特定された複数の画像ファイルをＨＤＤ１０４からＲＡＭ１０３に読み出す。そして画像変換部２０３は、読み出された画像ファイルの画像データを所望の画素数と色情報の解析画像データに変換する。本実施形態では、短辺４２０画素とｓＲＧＢの色情報の解析画像データに変換する。
【００３５】
Ｓ４０２では、画像解析部２０４は、画像特徴量を取得する。画像解析部２０４は、ＨＤＤ１０４から読み出された画像ファイルに付随する例えばＥｘｉｆ情報から、該画像ファイル内の画像の時間情報として、撮影日時を取得する。また、画像解析部２０４は、Ｓ４０１で生成された解析画像データから特徴量を取得する。特徴量としては、例えば、ピントの合焦度合いである。ピントの合焦度合いとして、エッジの検出が行われる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、○△×の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを○と判定し、許容可能なピントの傾きを△と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。
【００３６】
Ｓ４０３では、画像解析部２０４は、Ｓ４０１で生成された解析画像データに対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０４は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０４は、顔画像の位置と顔画像のサイズを取得可能である。
【００３７】
Ｓ４０４では、画像解析部２０４は、Ｓ４０３で検出された、解析画像データに基づく処理対象の画像内の顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像とを比較することにより、個人認識を行う。画像解析部２０４は、複数の代表顔画像のうち、処理対象の画像内の顔画像との類似性が閾値以上であり且つ該類似性が最も高い代表顔画像を特定する。そして、特定された代表顔画像に対応する個人ＩＤを、処理対象の画像内の顔画像のＩＤとする。尚、上記複数の代表顔画像のすべてについて、処理対象の画像内の顔画像との類似性が閾値未満の場合、画像解析部２０４は、処理対象の画像内の顔画像を新規の代表顔画像として、新規の個人ＩＤと対応付けて顔辞書データベースに登録する。
【００３８】
Ｓ４０５では、画像解析部２０４は、Ｓ４０１で生成された解析画像データに対して、オブジェクト認識を実行する。ここで、オブジェクト認識の処理には、公知の方法を用いることができる。本実施形態では、ＤｅｅｐＬｅａｒｎｉｎｇにより作成した判別器によりオブジェクトが認識される。画像解析部２０４は、オブジェクト画像を認識することで、犬や猫などのペット、花、食べ物、建物、置物などのオブジェクトの種類を取得可能となる。
【００３９】
画像解析部２０４は、Ｓ４０２〜Ｓ４０５で取得した画像解析情報を、図５に示すように各画像を識別するＩＤ毎に区別して、ＲＯＭ１０２等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報とピント判別結果、Ｓ４０３で検出された顔画像の数と位置情報、Ｓ４０５で認識したオブジェクトの種類とがテーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤ毎に区別して記憶される。また１つの画像から複数種類のオブジェクトが認識された場合、図５に示すテーブルには、その１つの画像に対応する行に、オブジェクトの複数種類がすべて記憶される。
【００４０】
Ｓ４０６では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４内の指定フォルダに格納されている全画像に対して、Ｓ４０１〜Ｓ４０５の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０１からの処理を繰り返す。終了していると判定された場合、処理はＳ４０７に進む。即ち、Ｓ４０１〜Ｓ４０５の処理が、指定フォルダに格納されている全画像に対して繰り返し実行されることで、該全画像のそれぞれの情報を含む図５に示すテーブルが作成される。
【００４１】
Ｓ４０７では、画像分類部２０５は、指定フォルダに格納されている全画像を、時間情報に基づいて、複数の画像群に分割するシーン分割を実行する。この分割では、画像群の数が見開き数と一致していなくても良く、最終的な分割処理のための仮分割処理である。画像分類部２０５は、Ｓ４０２で取得済みの撮影日時情報（時間情報）から、指定フォルダ内の画像と画像における撮影時間差を算出する。そして、画像分類部２０５は、その撮影時間差に基づいて、指定フォルダ内の複数の画像を、複数の画像群（複数のシーン）に分割する。
【００４２】
本実施形態では、例えば、画像分類部２０５は、指定フォルダ内の複数の画像を撮影日時順でソートし、画像の名前（画像ファイル名等）と撮影日時を含むリストをＲＡＭ１０３に作成する。そのときに、該リストにおいて連続する２つの画像に着眼したときに、その２つの画像に対応する撮影日付が連続しない場合、画像分類部２０５は、その２つの画像を異なる画像群に割り当てる。ただし、画像群への分割は、他の基準により行われても良い。例えば、上記リストにおいて連続する２つ画像間で撮影日が連続する場合にも、その２つの画像が異なる画像群に割り当てられてもよい。その場合、例えばリストで連続する２つの画像に対応する撮影時刻の差が１６時間以上空いていれば、２つの画像が異なる画像群に割り当てられる。また、上記の撮影時刻の差が１６時間未満の場合であっても、連続する２つの日付のそれぞれにおいて最初の撮影時刻から最後の撮影時刻までの時間差が４時間未満であれば、該２つの日付に撮影された複数の画像が、日付を基準に別の画像群に分割が行われる。２つの日付のそれぞれにおいて最初の撮影時刻から最後の撮影時刻までの時間差が４時間以上の場合は、各日付の撮影枚数が５０枚未満なら日付を基準に分割が行われ、５０枚以上なら分割は行われない。図６（Ａ）は、上記のシーン分割方法で指定フォルダに含まれる複数の画像が複数の画像群に分割された（シーン分割が行われた）結果の一例を示す図である。図６（Ａ）が示す（１）〜（８）が各画像群（シーン）を示し、縦軸が各画像群の画像枚数を示し、横軸が各画像群の撮影日時を示す。
【００４３】
Ｓ４０８では、画像分類部２０５は、シーン分類を実行する。本実施形態では、画像分類部２０５は、例えば、シーン分割された分割分の画像データを、旅行、日常、セレモニーのいずれかの撮影シーンに分類する。ここで、図４に示す処理が開始される前に、予め、ユーザは、旅行、日常、セレモニーの撮影シーンであると判断した複数の画像データをそれぞれ集めて指定している。画像分類部２０５は、該指定により各シーンに対応付けられている画像と、Ｓ４０７で分割された画像群に含まれる画像とを比較することで、各画像群に対応する撮影シーンの種類を特定する。以下、この撮影シーンの特定処理について説明する。
【００４４】
まず、ユーザによる撮影シーンに対応する画像データの指定について説明する。例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上で、ユーザが旅行シーンであると判断した複数の画像データの指定を受け付ける。そして、画像解析部２０４は、それらの画像データについて、特徴量を取得する。ここで、取得される特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、上記のように指定された複数の画像データの最初の撮影から最後の撮影までの時間差である。撮影枚数は、該複数の画像データの撮影枚数である。撮影人数は、撮影された顔の数である。その結果、ユーザが旅行シーンであると判断した複数の画像データから成る１画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。
【００４５】
そして、画像解析部２０４は、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得を、ユーザがさらに指定した他の画像データ群についても行う。そして、画像解析部２０４は、複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、撮影人数の平均値と標準偏差を求める。図７は、上記の求められた各平均値と標準偏差を示しており、画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。
【００４６】
再び、図４のＳ４０８の処理を説明する。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像データ群がＳ４０６でシーン分割された各分割分に対して、画像分類部２０５は、撮影期間、撮影枚数、撮影人数の各特徴量の得点を算出する。画像分類部２０５は、各分割分の撮影期間、撮影枚数、撮影人数の得点、及びそれらの平均得点を、図７に示すシーン毎の平均値と標準偏差を用いて式（１）及び（２）より算出する。
【００４７】
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜・・・（１）
平均得点＝（撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数・・・（２）
算出の結果、各分割分の画像データに対して、旅行、日常、セレモニーのシーン毎の平均得点が算出される。そして、画像分類部２０５は、各分割分の画像データを、上記のうち最も高い得点に対応するシーンに分類する。ここで、同点のシーンとなった場合には、予め定められたシーンの優先順位に従って分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の優先順位が定められており、日常シーンの優先度が最も高い。例えば、図６（Ａ）のシーン分割された後の画像データ群５は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。上記の式（１）及び（２）により算出された旅行シーンの平均得点は４５．３２、日常シーンの平均得点は１８．３８、セレモニーシーンの平均得点は−２９．９２となる。従って、画像データ群５は、旅行シーンに分類される。画像分類部２０５は、分類されたシーンに対して、識別可能なようにシーンＩＤを付与して管理する。
【００４８】
Ｓ４０９では、Ｓ４０７で分割された全分割分に対してＳ４０８のシーン分類が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０８からの処理を繰り返す。終了していると判定された場合、処理はＳ４１０に進む。
【００４９】
Ｓ４１０では、画像得点部２０７は、主人公設定を実行する。主人公設定は、ユーザが指定したフォルダ内の複数の画像に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。手動の設定方法としては、図３における主人公指定アイコン３０４として表示された人物の顔画像のアイコンをユーザがポインティングデバイス１０７によりクリックすることで、主人公を選択する。また自動の設定方法は以下のように行われる。画像得点部２０７は、Ｓ４０４で実行された個人認識結果と、Ｓ４０６で実行されたシーン分割の結果から、画像データ群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を取得可能である。画像得点部２０７は、それらの情報から、ユーザ指定によらず自動で主人公を設定する。本実施形態では、画像得点部２０７は、シーンが複数ある場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定し、単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。
【００５０】
また、ユーザが主人公指定アイコン３０４を指定している場合、ユーザ情報入力部２０６は、その指定されている個人ＩＤを画像得点部２０７に伝える。ユーザにより個人ＩＤが指定されている場合、画像得点部２０７は、上記の自動で設定された主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。
【００５１】
Ｓ４１１では、画像得点部２０７は、優先モード設定を実行する。優先モード設定は、ユーザが指定したフォルダ内の複数の画像に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。手動の設定方法としては、図３の優先モード指定アイコン３１０として表示された人物、ペット、花のアイコンをユーザがポインティングデバイス１０７をクリックすることで、所望の優先モード（優先すべき被写体の種類）を選択する。自動の設定方法は以下のように行われる。画像得点部２０７は、Ｓ４０５で実行されたオブジェクト認識結果から、オブジェクトの種類ごとに上記複数の画像に登場する回数を取得する。同様に、画像得点部２０７は、オブジェクト種類ごとに各画像群（シーン）に登場する回数を取得可能であり、またオブジェクト種類ごとに、該オブジェクト種類のオブジェクトが登場するシーン回数等を取得可能である。画像得点部２０７は、それらの情報から、ユーザ指定によらず自動で優先モードを設定する。本実施形態では、画像得点部２０７は、画像群（シーン）が複数ある場合、複数の画像群での登場回数が多いオブジェクト種類を優先するモードとして設定する。また単一の画像群（シーン）のみである場合、画像得点部２０７は、単一の画像群において登場回数が多いオブジェクト種類を優先するモードとして設定する。
【００５２】
Ｓ４１２では、画像得点部２０７は、得点化を実行する。得点化とは、画像データ毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、１００２はメインスロットを示し、１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい。画像得点部２０７は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。
【００５３】
図８（Ａ）は、旅行、日常、セレモニーの各撮影シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットについて示した図である。図４に示す処理が開始される前に、予め、ユーザは、図８（Ａ）に示す各シーンのメインスロット向きとサブスロット向きの特徴に適合すると判断した複数の画像データを集めて指定している。画像得点部２０７は、該指定によりメインスロット、サブスロットに対応付けられている画像と、Ｓ４０７で分割された各画像群に含まれる画像とを比較する。この比較により、各画像のメインスロット、サブスロットへの適合度が得点化される。以下、この得点化処理について説明する。
【００５４】
まず、予め行われるユーザによる指定について説明する。例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上でユーザが旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データの指定を受け付ける。画像解析部２０４は、指定された各画像データの顔の数、顔の位置、顔のサイズの特徴量を取得する。その結果、ユーザが例えば旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データそれぞれについて、顔数、顔の位置、顔サイズの特徴量が取得される。そして、画像解析部２０４は、顔数の平均値と標準偏差、顔の位置の平均値と標準偏差、顔サイズの平均値と標準偏差を求める。画像解析部２０４は、各シーン各スロット種類（メインスロットとサブスロット）について、上記のように、各特徴量の統計値として平均値と標準偏差を求める。画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。
【００５５】
画像得点部２０７は、各画像データがどのシーンに属すかについて、Ｓ４０７のシーン分類の結果から取得可能である。画像得点部２０７は、注目画像データのシーンに対応する予め求めておいた上記の平均値と標準偏差、および注目画像データの主人公ＩＤの顔数、顔位置、顔サイズの各特徴量を用いて、式（３）及び（４）により、平均得点を算出する。
【００５６】
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜・・・（３）
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数・・・（４）
画像得点部２０７は、上記の得点化を、メインスロット用とサブスロット用の両方について実行する。ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図５に示すピントの特徴量が○である画像ＩＤの画像データに対しては所定の得点を加算するようにしても良い。図８（Ｂ）は、上記の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについて得点化されている。
【００５７】
つまり、本実施形態では、各シーンについてメインスロットとサブスロットに適する条件が図８（Ａ）に示すように定められており、予め、ユーザは、それらに適するであろうと判断した画像データを指定している。画像解析部２０４は、そのユーザから指定された画像データについて、顔数、顔位置、顔サイズの特徴量を取得し、特徴量ごとに平均値と標準偏差を求めておく。そして、アルバム作成アプリケーションの起動後、図４の自動レイアウト処理が開始されると、自動レイアウト処理対象の各画像データ（シーン分類済）が、どの程度、メインスロット向きである等のユーザ判断基準に近いかを示す得点化（類似度）が行われる。例えば、図８（Ｂ）では、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、つまり、メインスロット用としては、画像ＩＤ２の方がユーザの判断基準により近いということを表している。
【００５８】
再び、図４を参照する。Ｓ４１３では、画像得点部２０７は、ユーザ指定のフォルダ内の全ての画像に対してＳ４１２の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ４１２からの処理が繰り返される。終了していると判定された場合、Ｓ４１４に処理が進む。
【００５９】
本実施形態では、画像レイアウト部２１２は、複数のシーンのそれぞれに含まれる画像を、当該複数のシーンのそれぞれに対応する複数のテンプレート（複数の見開き）のそれぞれにレイアウトする。そのため、複数のシーンの数と、複数のテンプレートの数（所定数の見開き数）が一致する必要がある。
【００６０】
そこでＳ４１４では、見開き割当部２０９は、Ｓ４０７でのシーン分割の分割数（分割された画像群の数）が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。同じでないと判定された場合、Ｓ４１５に進む。同じであると判定された場合、Ｓ４１８に進む。例えば、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が８である場合、Ｓ４１８に進む。
【００６１】
Ｓ４１５では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。上記分割数が上記見開き数より少なくない（多い）と判定された場合、Ｓ４１７に処理が進む。上記分割数が上記見開き数より少ないと判定された場合、Ｓ４１６に処理が進む。図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、Ｓ４１６に進む。Ｓ４１６、Ｓ４１７で見開き割当部２０９は、図６（Ａ）に示されている、Ｓ４０７で仮分割された複数の画像群に対して、分割数（シーン数）を変更して見開き数と一致させるための処理を行う。以下、該処理の詳細について説明する。
【００６２】
Ｓ４１６では、見開き割当部２０９は、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のシーン分割数８に対して指定されたアルバムの見開き数が１０の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。破線矢印の箇所で分割したことで、分割数を１０に増やす。
【００６３】
分割の基準について説明する。図６（Ａ）の分割の中で、画像枚数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所を決定する。図６（Ａ）では、多い方から画像群５、次に、画像群１と画像群２である。画像群１と画像群２は同じ枚数だが、画像群２の方が最初の画像から最後の画像の時間差が大きいので、画像群２を分割対象とし、画像群５と画像群２をそれぞれ分割する。
【００６４】
まず、画像群２の分割を説明する。画像群２には画像枚数の山が２つあり、この２つは撮影日が違う。そのため、その部分に対応する図６（Ｂ）の破線矢印の箇所で分割される。次に、画像群５の分割を説明する。画像群５には画像枚数の山が３つあり、３日連続で撮影された画像群である。撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように、図６（Ｂ）の破線矢印の箇所で分割する。以上のように、分割数を８から１０にする。ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしても良い。
【００６５】
Ｓ４１７では、見開き割当部２０９は、シーン統合を実行する。シーン統合とは、シーン分割数＞アルバムの見開き数の場合、分割されたシーンを統合することを表す。図６（Ｃ）は、図６（Ａ）をシーン統合した結果を示す。破線の箇所を統合したことで、分割数を６に減らしている。
【００６６】
統合の基準について説明する。図６（Ａ）の分割の中で、画像枚数が少ない分割箇所が検索される。ここでは、分割数を８から６に２箇所減らすために、画像枚数が少ない２箇所を決定する。図６（Ａ）では、少ない方から画像群８、画像群３、画像群７である。画像群３と画像群７は同じ枚数である。但し、画像群７に隣接する画像群８が統合対象であるので、画像群３を統合対象とする。結果、画像群８と画像群３それぞれの統合が行われる。
【００６７】
まず、画像群３の統合を説明する。画像群３の前後の画像群２と画像群４との時間差を比較すると、画像群４との時間差の方が小さい。従って、図６（Ｃ）の破線箇所に示すように、画像群３を画像群４に統合する。次に、画像群８の統合を説明する。画像群８は、後続の画像群がないので、図６（Ｃ）の破線箇所に示すように、前の画像群７と統合される。
【００６８】
Ｓ４１８では、見開き割当部２０９は、見開き割当を実行する。Ｓ４１４〜Ｓ４１７によって、シーン分割数と指定見開き数は同じとなっている。見開き割当部２０９は、複数の画像群のそれぞれを見開きのそれぞれに割り当て、ある見開きにおいて、複数の画像群が混在しないように割り当てを行う。具体的には、見開き割当部２０９は、撮影日時順に先頭の画像群から見開きの先頭に順に割り当てる。
【００６９】
Ｓ４１９では、画像選択部２１０は、特定の見開きにレイアウトされる画像を、該特定の見開きに対応する画像群から選択する。以下、ある見開きに割り当てられた画像群から画像データを４枚選択する例を、図９を参照しながら説明する。
【００７０】
図９（Ａ）に示すスタート〜エンドの区間は、見開きに割り当てられた分割分の、最初の画像データの撮影日時から最後の画像データの撮影日時までの時間差（分割撮影期間）を示している。図９（Ｂ）を参照しながら、１枚目を選択する方法を説明する。テンプレートには、１枚のメインスロット１００２がある。従って、１枚目として、メインスロット用の画像データが選択される。図９（Ｂ）に示す分割分の撮影期間に対応する複数の画像データのうち、Ｓ４１２で付与されたメインスロット用の得点が最も高い画像データが選択される。２枚目以降としては、サブスロット用の画像データが選択される。
【００７１】
本実施形態では、分割分の撮影期間の一部に集中しないように、画像選択が行われる。以下、本実施形態における、分割分の撮影期間を細分化する方法について説明する。図９（Ｃ）に示すように、分割分の撮影期間を２分割する。次に、図９（Ｄ）に示すように、１枚目が選ばれていない実線の撮影期間から２枚目が選択される。図９（Ｄ）の実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最も高い画像データが選択される。
【００７２】
次に、図９（Ｅ）に示すように、図９（Ｄ）の各分割分の撮影期間を２分割する。そして、図９（Ｆ）に示すように、１枚目と２枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最も高い画像データが３枚目として選択される。
【００７３】
画像データの選択対象の撮影期間に画像データが存在せず、そのため選択できない場合について、４枚目の選択を例として説明する。図９（Ｇ）は、まだ画像データが選択されていない斜線の撮影期間から４枚目を選択しようとする場合、この斜線の撮影期間には画像データが存在しない例を示す。この場合、図９（Ｈ）に示すように、各分割分の撮影期間を２分割する。次に、図９（Ｉ）に示すように、１〜３枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最も高い画像データが４枚目として選択される。
【００７４】
再び、図４を参照する。Ｓ４２０では、画像レイアウト部２１２は、画像レイアウトの決定を行う。以下、テンプレート入力部２１１が、指定されたテンプレート情報に従って、ある見開きに対して図１０の（ａ）〜（ｐ）を入力する例を説明する。
【００７５】
ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている画像データ３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０（Ａ）のようであるとする。ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用である。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像をレイアウトされる。図１０（Ａ）では、メインスロット用の画像データ１００５は撮影日時が一番新しいので、図１０（ｍ）〜（ｐ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１００６が縦画像であり、新しい方の画像データ１００７が横画像であるので、結果、図１０（ｎ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ４２０では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。
【００７６】
Ｓ４２１では、画像補正部２１４は、画像補正を実行する。画像補正部２１４は、画像補正条件入力部２１３から画像補正ＯＮが入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正が実行される。画像補正部２１４は、画像補正条件入力部２１３から画像補正ＯＦＦが入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。
【００７７】
Ｓ４２２では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１２は、Ｓ４２０で決定されたテンプレートの各スロットに対して、Ｓ４２１の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１２は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データをレイアウトしたビットマップデータを生成する。
【００７８】
Ｓ４２３では、Ｓ４１９〜Ｓ４２２の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合、Ｓ４１９からの処理を繰り返す。終了していると判定された場合、図４の自動レイアウト処理は終了する。
【００７９】
以下、図４のＳ４１６のサブシーン分割の詳細について説明する。図１１は、本実施形態における、アルバム作成アプリケーションの見開き割当部２０９に関するサブシーン分割の処理の詳細を示すフローチャートである。図１１を参照しながら、サブシーン分割の処理を説明する。
【００８０】
Ｓ１１０１では、見開き割当部２０９は、サブシーンの分割を実行する。サブシーンの分割方法については、図４のＳ４１６で説明したように、画像枚数の多い画像群を、日付を区切りとして分割する。画像枚数が同数の２つの画像群については、最初の画像から最後の画像の時間差が大きい画像群が分割される。サブシーン分割数Ｎは、初期値としては見開き数が設定される。ただし、後述するようにサブシーン分割数Ｎは見開き数よりも多くなる場合もある。
【００８１】
また見開き割当部２０９は、現在分割されているサブシーンのそれぞれに関する情報を含むシーン情報を生成し、後述するようにサブシーンが増減されるたびに、シーン情報を更新する。図１２（Ａ）は、サブシーン分割数Ｎ＝１４の場合のシーン情報の例を示す図である。シーンＩＤは、各サブシーンに分割された固有のＩＤ（本例では１から１４までの数字に対応）を表す。
【００８２】
図１２（Ａ）のシーン情報は、各サブシーンにおける画像数、オブジェクト数、重要度、各サブシーン内の撮影期間を含む。また各サブシーンにおける最後の撮影時刻と図１２が示すリストにおいて次のシーンＩＤのサブシーンにおける最初の撮影時刻との時間差もシーン情報に含まれる。画像数は、サブシーンに分割された各シーンに含まれる画像の枚数を表す。オブジェクト数は、各シーンに含まれる画像中のオブジェクト数の合計を表す。ここで、オブジェクト数は、例えば、Ｓ４０３において画像解析部２０４により検出された顔の数と、Ｓ４０５で認識されたオブジェクト種類ごとの数に対応する。重要度は、指定オブジェクトに対応する重み付けに基づいて、シーンに含まれる各画像データの重要度を合算した合計値を表す。本実施形態では、図４のＳ４１０主人公設定、およびＳ４１１優先モード設定において、主人公とした人物や優先モード設定として設定されている種類の被写体（オブジェクト）が含まれている画像に大きな重要度が設定される。例えば主人公とした人物が写った画像データや、優先するオブジェクト種類が写った画像の場合には重要度「５」、主人公とした人物と優先するオブジェクト種類の両方が写った画像の場合には重要度「１０」が設定される。また、主人公でない人物や優先しないオブジェクト種類が写った画像の場合には重要度「１」が設定される。そして、画像群に含まれる画像の重要度を合算した合計値が算出され、シーン情報に記憶される。つまり、主人公や優先するオブジェクトが多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。なお、重要度はシーンの重要性を判定できる度合いを定義できればよく主人公やオブジェクト種類に限定されない。例えば、不図示の優先モード指定スライダーであるオブジェクト種類毎のスライダーバーによって重要度を算出してもよい。オブジェクト種類毎のスライダーバーとして、人物、ペット、花のスライダーバーがそれぞれ表示され、ユーザは、スライダーバーの各設定値がそれぞれ「多め」、「標準」、「少なめ」の３段階で指定できる。例えば、人物「標準」、ペット「多め」、花「少なめ」に指定された場合、人物が写った画像データの場合には「５」、ペットが写った画像データの場合には「１０」が重要度として設定される。また、人物とペットの両方が写った画像データの場合には「１５」、人物やペット以外のオブジェクトが写った画像の場合には「１」が設定される。そして画像群に含まれる画像の重要度を合算した合計値が算出され、シーン情報に記憶される。つまり、花よりも人物、人物よりもペットが多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。このようにユーザがスライダーで手動設定することで、ユーザの意図に沿って重要なシーンを判定可能になる。なお、本実施形態では３種類のオブジェクトや３段階の設定値から判定することとしたが、その限りでない。画像データからオブジェクトとして認識できるものであればよく、設定値も複数設定することとしてもよい。
【００８３】
また、人物の顔数から導き出される人物数によって重要度を算出してもよい。人物数が少なくとも１以上の画像データの場合には「５」、人物数が０の画像データの場合には「１」として重要度が設定され、画像群内の重要度を合算した合計値が算出されて、シーン情報に記憶される。つまり、顔が多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。
【００８４】
また、不図示の主人公設定スライダーである個人ＩＤ毎のスライダーバーによって重要度を算出してもよい。個人ＩＤ毎のスライダーバーでは、ユーザは、各設定値がそれぞれ「多め」、「標準」、「少なめ」の３段階で指定できる。例えば、ＩＤ１「標準」、ＩＤ２「多め」、ＩＤ３「少なめ」に指定された場合、ＩＤ１の人物が写った画像データの場合には「５」、ＩＤ２の人物が写った画像データの場合には「１０」が重要度として設定される。また、ＩＤ１とＩＤ２の両方の人物が写った画像データの場合には「１５」、ＩＤ３やそれ以外の人物が写った画像の場合には「１」が重要度として設定される。そして、画像群内の画像の重要度を合算した合計値が算出され、シーン情報に記憶される。つまり、ＩＤ３やそれ以外の人物よりもＩＤ１の人物、ＩＤ１の人物よりもＩＤ２の人物が写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。
【００８５】
また、画像データが動画データから切り出した画像を含む場合、画像データが多くなり、その当該シーンの重要度が増してしまうおそれがある。そのため、動画データか否かの識別子を取得し、動画から切り出した画像の画像数分を当該シーンの重要度から間引いてもよい。例えば、動画から切り出した画像データの場合には「０．１」、動画から切り出した画像データでない場合には「１」として、各画像データの重要度を合算した合計値を算出する。つまり、動画から切り出した画像データを多く含むシーンを重要なシーンと誤判定することを防ぐことができる。
【００８６】
シーン情報に含まれる「期間」は、サブシーンに分割された各画像群（シーン）に含まれる画像の撮影期間であり、画像データを撮影時間順に並べた時の先頭と最後尾との時間差を表す。
【００８７】
シーン情報に含まれる「時間差」は、サブシーンに分割された各シーン間の時間差であり、画像データを撮影時間順に並べた時の対象シーンの最後尾と次シーンの先頭との撮影間隔を表す。図１２（Ａ）の「削除対象」、「シーン統合ＩＤ」については後述する。
【００８８】
Ｓ１１０２では、見開き割当部２０９は、所定の削除条件が満たされるサブシーンを、シーン情報から削除する。本実施形態では、シーン情報の「重要度」が０であることを、見開きへの割り当てから除外する条件としている。例えば、図１２（Ａ）のシーンＩＤ「１１」は、重要度が０である。従って、シーンＩＤ「１１」は、上記の条件を満たすため、削除対象のシーンとなる。なお、上述のように、ユーザが優先モードを指定することで重要なオブジェクト種類が特定され、そのオブジェクト種類の被写体を含む画像が画像群に含まれる場合、画像群の重要度は０とはならない。そのため、重要なオブジェクト種類の被写体を含む画像が削除されることはない。
【００８９】
Ｓ１１０３では、見開き割当部２０９は、サブシーンの数が見開き数より多い場合、サブシーンを統合（結合）する。見開き割当部２０９は、シーン数が見開き数に等しくなるまで、サブシーンの統合を繰り返す。本実施形態では、指定見開き数は、例えば１０である。図１２（Ａ）に示すように削除対象のシーンＩＤ「１１」を除く、残りの１３個のサブシーンについてシーンを統合する。サブシーンの統合方法については、図４のＳ４１７で説明したシーン統合と同様の手順であるので、その説明については省略する。なお、統合先のシーンの選択は、画像数が少ないシーンや、時間差が少ないシーンの何れを選んでもよくそれに限らない。例えば、シーン分類の結果が同一のシーンである場合は画像数の少ないシーンに統合し、シーン分類の結果が異なるシーンである場合は時間差の少ないシーンに統合することとしてもよい。図１２（Ａ）のシーン統合ＩＤの欄は、サブシーンのシーン統合の結果を示す。図１２（Ａ）では、シーンＩＤ「２」および「３」は、シーン統合ＩＤ「２」として統合されるサブシーンを表す。図１２（Ｂ）は、Ｓ１１０２およびＳ１１０３の処理結果を示す図である。図１２（Ｂ）に示すように、シーンが統合されて、図１２（Ａ）のシーン統合ＩＤが図１２（Ｂ）のシーンＩＤとなっている。なお、シーン情報は、シーン統合に伴って更新される。
【００９０】
Ｓ１１０４では、見開き割当部２０９は、各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たすか否かを判定する。即ち、見開き割当部２０９は、シーン情報を用いて各サブシーンについて評価を行い、その評価が所定の条件を満たすか否かを判定する。
【００９１】
本実施形態では、見開き割当部２０９は、シーン情報を用いて、対応するシーンを評価し、該シーンが重要なシーンであるか否かを判定する。例えば、撮影対象物としての主人公が多く写った画像が多い日常のシーンや、撮影期間が長く撮影頻度も高い旅行のシーンほど重要な画像群（シーン）と判定される。その結果、見開きを構成するに値するシーンとして見開き内に残りやすくすることができる。反対に、主人公やオブジェクトが少ないシーンや、撮影期間が短く撮影頻度も低い突発的なシーンほど重要でないシーンと判定され、シーンの削除対象となりやすくすることができる。
【００９２】
Ｓ１１０４で各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たしていないと判定された場合、Ｓ１１０５に進む。Ｓ１１０５では、見開き割当部２０９は、サブシーン分割数がＮであるとき、Ｎ＝Ｎ＋１の分割数を設定する。つまり、Ｓ１１０５では、見開き割当部２０９は、分割数を変更して、再度、Ｓ１１０１〜Ｓ１１０３の処理を行い、Ｓ１１０４で再び判定を行う。ただし、分割数の変更は分割と統合を際限なく繰り返し、終了できない場合があるため、分割数Ｎに上限を設定する。分割数Ｎの上限に達したか否かを判定し、上限に達したと判定された場合、分割数Ｎの再設定は行わずに図１１の処理を終了する。
【００９３】
本実施形態において、Ｓ１１０４における判定の条件は例えば以下の通りである。即ち、各サブシーンのシーン情報として、画像数が１０以上、オブジェクト数が１０以上、重要度が２０以上、期間が１．５時間以上、時間差が１２時間以上を、重要なシーンであるための条件として予め定められている。図１２（Ｂ）に示した例では、１０個のサブシーンの何れのシーンについてもこの条件を満たしている。従って、Ｓ１１０４で見開き割当部２０９は、各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たしていると判定し、図１１の処理を終了する。即ち見開き割当部２０９は、複数のシーン（複数の画像群）の全てが重要なシーンとなる条件を満たしていると判定した場合に、複数のシーン（複数の画像群）を、指定された見開き数のテンプレートへのレイアウト対象の候補として確定する。
【００９４】
以上のように、サブシーン分割処理を終了した段階で、全てのサブシーンについてシーン情報が、重要なシーンであるための条件を満たしていることになる。つまり、サブシーン分割処理を終了した段階で、全てのサブシーンを重要なシーンとすることができる。また、前述したようにシーン分割数と指定見開き数は同じになるので、図４のＳ４１６において各見開きが各サブシーンに対応付けられる。よって、重要であると判定されたシーンが、見開きを構成するのに値するシーンとして見開き内に残りやすくすることができ、重要なシーンの欠落を防止することができる。
【００９５】
また本実施形態では、上述のように、ユーザが指定した優先モードにより重要なオブジェクト種類が特定され、そのオブジェクト種類の被写体を含む画像が含まれている画像群に、大きな重要度が設定される。そのため、本実施形態によれば、ユーザが指定した優先モード、即ちユーザが重要なオブジェクト種類として指定した被写体が、分割された全ての画像群に含まれ易くなる。そのため、ユーザが重要と考える種類の被写体が写っている画像が画像群に含まれない、または少ないということを低減することができる。
【００９６】
以上の実施形態では、ユーザ指定のフォルダ内の画像が分割された複数の画像群のそれぞれに、ユーザ指定のオブジェクト種類の被写体を含む画像をできるだけ含ませる方法として、該オブジェクト種類のオブジェクトを含む画像に高い重要度を与えていた。
【００９７】
しかしこれに限らず、例えばＳ１１０４における判定の条件として、ユーザ指定のオブジェクト種類の被写体を含む画像が所定の数以上含まれていることを、重要な画像群（シーン）の条件としてもよい。これにより、例えば上記所定の数に１を設定すれば、ユーザ指定のフォルダ内の画像が分割された複数の画像群のそれぞれに、ユーザ指定のオブジェクト種類の被写体（重要オブジェクト）を含む画像を少なくとも１つは含ませることができる。
【００９８】
また、以上の実施形態により、複数の画像群のそれぞれに、重要オブジェクトを含む画像を少なくとも１つは含ませることができたとしても、Ｓ４１９における画像選択において、その画像が選ばれるとは限らない。そこで、Ｓ４１９における選択の条件として、重要オブジェクトを含む画像が少なくとも１つは選ばれることが条件として設けられても良い。
【００９９】
またＳ４１７におけるシーン統合処理においても図１１に示した処理が実行されてもよい。この場合、サブシーンの分割数Ｎの初期値は、Ｓ４０７において分割されたシーン数、即ち、見開き数よりも大きい値が設定される。そのため、Ｓ１１０１が初めに実行されるとき、サブシーン分割は行われない。
【０１００】
［第２の実施形態］
第１の実施形態では、シーン情報は、各サブシーンにおける画像数、オブジェクト数、重要度、期間、時間差を含んで構成されるものとして説明し、Ｓ１１０４の判定では、それらのシーン情報を用いていた。しかしながら、Ｓ１１０４においては、画像データの文字情報を条件として用いて判定するようにしても良い。例えば、撮影されたシーンの画像データから文字情報が取得可能な場合、その文字情報をシーン情報として保持しておく。そして、Ｓ１１０４において、撮影されたシーンの文字情報が、観光スポット等の所定の地名を表す文字情報であるか否かや、ユーザのお気に入りの言葉を表す文字情報と一致するか否かを判定する。そして、所定の地名を表す文字情報であると判定された場合や、ユーザのお気に入りの言葉を表す文字情報と一致すると判定された場合、見開き割当部２０９は、そのシーンを重要なシーンであると判定する。
【０１０１】
また、画像データから個人情報が取得可能な場合、その個人情報をシーン情報として保持しておく。ここで、個人情報とは、例えば、氏名や住所などの個人情報である。氏名や住所などの個人を特定する情報は見開きにレイアウトされる画像データに適さないと考えられる場合、各シーンの画像データ数に対するそのような種類の画像データの割合が所定の閾値以上であれば、重要でないシーンと判定する。例えば、Ｓ１１０４で、見開き割当部２０９は、見開きレイアウト対象外の画像データが１００％であるシーンの「重要度」を０とし、Ｓ１１０２での削除対象となるようにしても良い。
【０１０２】
上記では、画像データから取得される文字情報、個人情報をＳ１１０４の判定の条件として用いているが、画像データから取得可能な情報であれば、上記の例に限られず、Ｓ１１０４の判定の条件として用いるようにしても良い。
【０１０３】
なお、以上の実施形態では、ユーザ指定のフォルダ内の複数の画像を複数のシーン（画像群）に分割し、見開き数と画像群の数とを一致させるための処理を実行していた。しかしこれに限らず、例えば上記複数の画像について、撮影日時の新しい画像から、もしくは古い画像から順に、画像群としての条件（Ｓ１１０４の判断条件）を満たすか判断してもよい。そして、上記条件を満たす画像群の数が見開き数に達した場合に、画像群の決定処理を終了しても良い。この場合に、上記の条件として、重要オブジェクトを含む画像が画像群に含まれることを条件にしてもよい。
【０１０４】
［その他の実施例］
なお、本実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。
【０１０５】
また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。
【符号の説明】
【０１０６】
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＡＭ
１０４  ＨＤＤ
【図１】
2018097484.tif 000003
【図２】
2018097484.tif 000004
【図３】
2018097484.tif 000005
【図４】
2018097484.tif 000006
【図５】
2018097484.tif 000007
【図６】
2018097484.tif 000008
【図７】
2018097484.tif 000009
【図８】
2018097484.tif 000010
【図９】
2018097484.tif 000011
【図１０】
2018097484.tif 000012
【図１１】
2018097484.tif 000013
【図１２】
2018097484.tif 000014