(57)【要約】【課題】撮像時刻に応じて適切にページ分けされたアルバムを提供すること。【解決手段】アルバム作成装置は、画像と当該画像の撮像時刻とを対応づけて格納する画像格納部と、画像格納部が格納している複数の画像の撮像時刻に基づいて、画像格納部が格納している複数の画像の撮像時刻分布を算出する撮像時刻分布算出部と、撮像時刻分布算出部が算出した撮像時刻分布に基づいて、画像格納部が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるようにアルバムにおけるページ毎に分類する画像分類部と、画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部とを備える。【選択図】図３
2006295887.tif 000002
【特許請求の範囲】
【請求項１】
画像と当該画像の撮像時刻とを対応づけて格納する画像格納部と、
前記画像格納部が格納している複数の画像の撮像時刻に基づいて、前記画像格納部が格納している複数の画像の撮像時刻分布を算出する撮像時刻分布算出部と、
前記撮像時刻分布算出部が算出した撮像時刻分布に基づいて、前記画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部と、
前記画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部と
を備えるアルバム作成装置。
【請求項２】
前記画像分類部は、前記撮像時刻分布算出部が算出した撮像時刻分布に基づいて、前記画像格納部が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する
請求項１に記載のアルバム作成装置。
【請求項３】
アルバムの所定のページにおいて主要な画像となるべき主画像を、前記画像分類部が前記所定のページに分類した画像から選択する主画像選択部と、
前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムの前記所定のページにおいて従属する画像となるべき従画像を、前記画像分類部が前記所定のページに分類した画像から選択する従画像選択部と
をさらに備え、
前記レイアウト決定部は、前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の内容に基づいて、前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像を、アルバムにおける前記所定のページにレイアウトする
請求項１に記載のアルバム作成装置。
【請求項４】
主要被写体に基づいて画像を各ページに分類する主要被写体分類部と、
前記撮像時刻分布算出部が算出した撮像時刻分布に基づいて分類された画像をページに配置するか、前記主要被写体分類部が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する合成情報格納部と
をさらに備え、
前記レイアウト決定部は、前記合成情報格納部が撮像時刻分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、前記画像分類部が分類した画像をレイアウトし、前記合成情報格納部が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、前記主要被写体分類部が分類した画像をレイアウトする
請求項１に記載のアルバム作成装置。
【請求項５】
画像と当該画像の撮像時刻とを対応づけて格納する画像格納段階と、
前記画像格納段階において格納されている複数の画像の撮像時刻に基づいて、前記画像格納段階において格納されている複数の画像の撮像時刻分布を算出する撮像時刻分布算出段階と、
前記撮像時刻分布算出段階において算出された撮像時刻分布に基づいて、前記画像格納段階において格納されている複数の画像を、アルバムにおけるページ毎に分類する画像分類段階と、
前記画像分類段階においてページ毎に分類された画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定段階と
を備えるアルバム作成方法。
【請求項６】
アルバムを作成するアルバム作成装置用のプログラムであって、前記アルバム作成装置を、
画像と当該画像の撮像時刻とを対応づけて格納する画像格納部、
前記画像格納部が格納している複数の画像の撮像時刻に基づいて、前記画像格納部が格納している複数の画像の撮像時刻分布を算出する撮像時刻分布算出部、
前記撮像時刻分布算出部が算出した撮像時刻分布に基づいて、前記画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部、
前記画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部
として機能させるプログラム。
【請求項７】
画像と当該画像の撮像位置とを対応づけて格納する画像格納部と、
前記画像格納部が格納している複数の画像の撮像位置に基づいて、前記画像格納部が格納している複数の画像の撮像位置分布を算出する撮像位置分布算出部と、
前記撮像位置分布算出部が算出した撮像位置分布に基づいて、前記画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部と、
前記画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部と
を備えるアルバム作成装置。
【請求項８】
前記画像分類部は、前記撮像位置分布算出部が算出した撮像位置分布に基づいて、前記画像格納部が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する
請求項７に記載のアルバム作成装置。
【請求項９】
主要被写体に基づいて画像を各ページに分類する主要被写体分類部と、
前記撮像位置分布算出部が算出した撮像位置分布に基づいて分類された画像をページに配置するか、前記主要被写体分類部が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する合成情報格納部と
をさらに備え、
前記レイアウト決定部は、前記合成情報格納部が撮像位置分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、前記画像分類部が分類した画像をレイアウトし、前記合成情報格納部が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、前記主要被写体分類部が分類した画像をレイアウトする
請求項７に記載のアルバム作成装置。
【請求項１０】
画像と当該画像の撮像位置とを対応づけて格納する画像格納段階と、
前記画像格納段階において格納されている複数の画像の撮像位置に基づいて、前記画像格納段階において格納されている複数の画像の撮像位置分布を算出する撮像位置分布算出段階と、
前記撮像位置分布算出段階において算出された撮像位置分布に基づいて、前記画像格納段階において格納されている複数の画像を、アルバムにおけるページ毎に分類する画像分類段階と、
前記画像分類段階においてページ毎に分類された画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定段階と
を備えるアルバム作成方法。
【請求項１１】
アルバムを作成するアルバム作成装置用のプログラムであって、前記アルバム作成装置を、
画像と当該画像の撮像位置とを対応づけて格納する画像格納部、
前記画像格納部が格納している複数の画像の撮像位置に基づいて、前記画像格納部が格納している複数の画像の撮像位置分布を算出する撮像位置分布算出部、
前記撮像位置分布算出部が算出した撮像位置分布に基づいて、前記画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部、
前記画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アルバム作成装置、アルバム作成方法、及びプログラムに関する。特に本発明は、アルバムを作成するアルバム作成装置及びアルバム作成方法、並びに、アルバム作成装置用のプログラムに関する。
【背景技術】
【０００２】
旅行先で撮影した画像データに付帯された位置情報、撮影時間情報等のタグ情報を元にして、画面の中心に旅行先の地図を配置して、地図の周囲に配置された画像と地図上における撮像位置とを線で結ぶなどして、地図と画像との関連がわかるようにレイアウトされたアルバムを作成するアルバム作成システムが知られている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−１２６７３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１の技術によると、撮像者が例えば子供の成長を記録するアルバムを作成したい場合等、撮像時刻に応じて、画像を適切なアルバムのページに分けて作成することができない。子供の成長を記録したアルバムは、例えば撮像した日時の順にページ分けされていて、閲覧者がページをめくる毎に子供の成長を実感できるのが望ましい。また、例えば欧州の横断旅行で撮像した画像で作成されるアルバムにおいては、画像が国毎にページ分けする等、撮像した場所に基づいて画像がページ分けされているのが望ましい。しかし、アルバムの作成者は、画像の内容を見て、画像を適切に振り分ける必要があるので、アルバムの作成に手間がかかってしまうという課題があった。
【０００４】
そこで本発明は、上記の課題を解決することができるアルバム作成装置、アルバム作成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態におけるアルバム作成装置は、画像と当該画像の撮像時刻とを対応づけて格納する画像格納部と、画像格納部が格納している複数の画像の撮像時刻に基づいて、画像格納部が格納している複数の画像の撮像時刻分布を算出する撮像時刻分布算出部と、撮像時刻分布算出部が算出した撮像時刻分布に基づいて、画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部と、画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部とを備える。
【０００６】
画像分類部は、撮像時刻分布算出部が算出した撮像時刻分布に基づいて、画像格納部が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類してよい。
【０００７】
アルバムの所定のページにおいて主要な画像となるべき主画像を、画像分類部が所定のページに分類した画像から選択する主画像選択部と、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、画像分類部が所定のページに分類した画像から選択する従画像選択部とをさらに備え、レイアウト決定部は、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の内容に基づいて、主画像選択部が選択した主画像及び従画像選択部が選択した従画像を、アルバムにおける所定のページにレイアウトしてよい。
【０００８】
主要被写体に基づいて画像を各ページに分類する主要被写体分類部と、撮像時刻分布算出部が算出した撮像時刻分布に基づいて分類された画像をページに配置するか、主要被写体分類部が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する合成情報格納部とをさらに備え、レイアウト決定部は、合成情報格納部が撮像時刻分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、画像分類部が分類した画像をレイアウトし、合成情報格納部が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、主要被写体分類部が分類した画像をレイアウトしてよい。
【０００９】
本発明の第２の形態におけるアルバム作成方法は、画像と当該画像の撮像時刻とを対応づけて格納する画像格納段階と、画像格納段階において格納されている複数の画像の撮像時刻に基づいて、画像格納段階において格納されている複数の画像の撮像時刻分布を算出する撮像時刻分布算出段階と、撮像時刻分布算出段階において算出された撮像時刻分布に基づいて、画像格納段階において格納されている複数の画像を、アルバムにおけるページ毎に分類する画像分類段階と、画像分類段階においてページ毎に分類された画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定段階とを備える。
【００１０】
本発明の第３の形態によると、アルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、画像と当該画像の撮像時刻とを対応づけて格納する画像格納部、画像格納部が格納している複数の画像の撮像時刻に基づいて、画像格納部が格納している複数の画像の撮像時刻分布を算出する撮像時刻分布算出部、撮像時刻分布算出部が算出した撮像時刻分布に基づいて、画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部、画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部として機能させる。
【００１１】
本発明の第４の形態におけるアルバム作成装置は、画像と当該画像の撮像位置とを対応づけて格納する画像格納部と、画像格納部が格納している複数の画像の撮像位置に基づいて、画像格納部が格納している複数の画像の撮像位置分布を算出する撮像位置分布算出部と、撮像位置分布算出部が算出した撮像位置分布に基づいて、画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部と、画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部とを備える。
【００１２】
画像分類部は、撮像位置分布算出部が算出した撮像位置分布に基づいて、画像格納部が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類してよい。
【００１３】
主要被写体に基づいて画像を各ページに分類する主要被写体分類部と、撮像位置分布算出部が算出した撮像位置分布に基づいて分類された画像をページに配置するか、主要被写体分類部が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する合成情報格納部とをさらに備え、レイアウト決定部は、合成情報格納部が撮像位置分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、画像分類部が分類した画像をレイアウトし、合成情報格納部が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、主要被写体分類部が分類した画像をレイアウトしてよい。
【００１４】
本発明の第５の形態におけるアルバム作成方法は、画像と当該画像の撮像位置とを対応づけて格納する画像格納段階と、画像格納段階において格納されている複数の画像の撮像位置に基づいて、画像格納段階において格納されている複数の画像の撮像位置分布を算出する撮像位置分布算出段階と、撮像位置分布算出段階において算出された撮像位置分布に基づいて、画像格納段階において格納されている複数の画像を、アルバムにおけるページ毎に分類する画像分類段階と、画像分類段階においてページ毎に分類された画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定段階とを備える。
【００１５】
本発明の第６の形態によると、アルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、画像と当該画像の撮像位置とを対応づけて格納する画像格納部、画像格納部が格納している複数の画像の撮像位置に基づいて、画像格納部が格納している複数の画像の撮像位置分布を算出する撮像位置分布算出部、撮像位置分布算出部が算出した撮像位置分布に基づいて、画像格納部が格納している複数の画像を、アルバムにおけるページ毎に分類する画像分類部、画像分類部がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトするレイアウト決定部として機能させる。
【００１６】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１７】
本発明によれば、撮像時刻又は撮像位置に応じて適切にページ分けされたアルバムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、本発明の一実施形態に係るアルバム作成装置１００の利用環境の一例を示す。撮像装置１１０は、ユーザ１８０が画像を撮像すべくレリーズボタンを押したときに、撮像された画像に撮像時刻及び撮像位置をタグ情報として付帯させて記録する。そして、アルバム作成装置１００は、撮像装置１１０から半導体メモリ等の記録媒体、インターネット、無線ＬＡＮ等の通信回線１５０を介して画像を受け取る。そして、アルバム作成装置１００は、受け取った画像の中から画像を選択してレイアウトして、プリンタ、ディスプレイ等にアルバムとして出力させる。
【００２０】
アルバム作成装置１００は、互いに近い時刻に撮像された画像若しくは互いに近い位置で撮像された画像がアルバムのページに収められるように、アルバムの各ページに画像を割り振る。このとき、アルバム作成装置１００は、画像が撮像された撮像位置の分布に地理的な偏りがある場合には、撮像位置が近い画像がページに収められるよう画像を割り振る。また、地理的な偏りがない場合には、撮像時刻が近い画像がページに収められるよう画像を割り振る。
【００２１】
そしてアルバム作成装置１００は、各ページに割り振られた複数の画像の中で、頻繁に登場する被写体が写っている画像を、各ページを代表する主画像として選択する。また、アルバム作成装置１００は、各ページに割り振られた複数の画像の中で、より被写体が動きのある画像を、主画像として選択する。そして、アルバム作成装置１００は、各ページの主画像に写った人物の友人等、主画像の被写体と関連する被写体が写った画像を、主画像の周囲に配置する従画像として選択する。また、アルバム作成装置１００は、各ページにおける主画像に写った人物以外の被写体が写った画像を従画像として選択する。そして、アルバム作成装置１００は、アルバムの各ページにおいて、主画像を従画像よりも大きくより中央寄りに配置する等のレイアウトをしてアルバムを出力する。
【００２２】
なお、アルバム作成装置１００は、複数の画像を含むアルバムを作成して印刷する装置であってもよいし、複数の画像を同時に画面に表示する装置であってもよい。例えばアルバム作成装置１００は、パーソナルコンピュータ、電子アルバム、ＨＤＴＶ、プリンタ等であってよい。
【００２３】
なお、アルバム作成装置１００は、撮像装置１１０によって撮像された画像を、当該画像が記録された半導体メモリ等のメディアから受け取ってよい。また、アルバム作成装置１００は、アルバムの各ページに割り振った画像を、ＣＤ−ＲＯＭ等の記録媒体１６０にページ毎に記録してよい。このとき、アルバム作成装置１００は、各画像の各ページにおけるレイアウト情報とともに記録媒体１６０に記録してよい。記録媒体１６０は、アルバム作成装置１００によって記録媒体１６０に記録されたデータは、例えばアルバムの注文、印刷、電子アルバムによる鑑賞等に使用される。なお、アルバム作成装置１００は、フォトショップ、駅等に設けられたキオスク端末であってよい。
【００２４】
以上説明したアルバム作成装置１００によれば、撮像位置又は撮像時刻が近い画像を同じページに割り振るので、閲覧者にとって違和感のないアルバムを作成することができる。また、アルバム作成装置１００は、より多くの画像に写っている人物、より大きいアクションをして写っている人物等を被写体として含む画像を主画像としてレイアウトするので、より特徴的な画像が強調されたアルバムを作成することができる。また、各ページにおいて主画像に写った人物と関連の深い人物が写った画像が従画像として自動的に選択されるので、各ページの画像の組合せを適切なものにすることができる。このため、ユーザ１８０は、手間をかけることなくアルバムを手にすることができる。
【００２５】
図２は、アルバムのページのレイアウト結果３００の一例を示す。本実施形態でいう主画像とは、閲覧者に対してページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像であったり、被写体にエフェクト等の視覚効果が施された画像であってもよい。また、本実施形態でいう従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。図２の例においては、画像３０１が主画像の一例であって、画像３０２、３０３、及び、３０４は従画像の一例を示す。なお、アルバム作成装置１００は、画像の中から特定の被写体をトリミングして、レイアウトしてもよい。例えば、画像３０５は、特定の被写体をトリミングしてレイアウトされた画像の一例を示す。
【００２６】
なお、ページには、それぞれテーマがあることが好ましい。テーマは、閲覧者に訴えたい内容であり、例えば、公園の美しさ等の特定の場所の情景であったり、ある場所における人物の心情の動きであったり、犬のかわいらしさ等の特定のオブジェクトの様子であったりする。いずれの場合でも、ページのテーマは主画像によって決定される。そして、主画像が決まると、同一のテーマの従画像を選択することができる。
【００２７】
なお、アルバム作成装置１００は、ページ内に画像をはめ込むべき画像枠が定められた複数のテンプレートを有していて、テンプレートで示される画像枠に対して画像をはめ込むことによってアルバムを作成してもよい。この場合、当該テンプレートには、主画像をはめ込むべき主画像用の画像枠が予め決定されてもよい。また、アルバム作成装置１００は、主画像をはめ込むべき画像枠の重要度を、画像枠の位置、大きさ、及び深さに基づいて判断し、重要度の高い画像枠に主画像をはめ込んでもよい。具体的には、アルバム作成装置１００は、画像枠の位置、大きさ、及び深さを変数として、閲覧者への印象度に応じて各変数に重みを付け、当該変数に基づいて画像枠の重要度を判断してよい。なお、アルバム作成装置１００は、画像の形、画像の傾き等をパラメータとして有する画像枠（例えば画像３０３がはめ込まれている画像枠）が定義されたテンプレートを有してもよい。
【００２８】
なお、本実施形態におけるページとは、アルバムの見開きページのことであってよく、アルバムの見開きの片方のページであってもよい。また、アルバム作成装置１００が、ディスプレイ等の表示デバイスにアルバムとして出力する装置である場合においては、ページとは、表示デバイスに複数の画像が同時に表示される表示領域のことであってよい。
【００２９】
図３は、アルバム作成装置１００のブロック構成の一例を示す。アルバム作成装置１００は、画像格納部２０２、オブジェクト抽出部２０６、オブジェクト画像数算出部２０８、レイアウト決定部２１０、主画像選択部２１２、従画像選択部２２２、トリミング部２２４、人物認識部２３０、動作量算出部２３２、面積輪郭比算出部２３４、画像分類部２４０、類似度算出部２４２、撮像時刻分布算出部２５２、撮像位置分布算出部２５４、重要性判断部２６０、関連性判断部２７２、距離算出部２７４、特定被写体情報取得部２９０、主要人物画像選択部２９６、特徴色抽出部２２６、テンプレート配色決定部２２８、テンプレート格納部２１４、合成情報格納部２１６、光源特定部２５６、構図類似性算出部２５８、及びアルバム情報記録部２７０を備える。画像分類部２４０は、撮像時刻分類部２６２、撮像位置分類部２６４、及び主要被写体分類部２６６を有する。レイアウト決定部２１０は、配置位置決定部２８２及びサイズ決定部２８４を有する。特定被写体情報取得部２９０は、主要人物入力部２９２及び主要人物特定部２９４を有する。
【００３０】
画像格納部２０２は、複数の画像を格納する。また、画像格納部２０２は、画像と、当該画像の撮像時刻及び撮像位置とを対応づけて格納する。具体的には、撮像装置１１０が撮像したタイミングで撮像時刻及び撮像位置を画像のタグ情報として記録する。そして、アルバム作成装置１００は、撮像時刻及び撮像位置が記録された画像を撮像装置１１０から受け取って格納する。なお、撮像画像は、画像の一例である。
【００３１】
撮像位置分布算出部２５４は、画像格納部２０２が格納している複数の画像の撮像位置に基づいて、画像格納部２０２が格納している複数の画像の撮像位置分布を算出する。また、撮像時刻分布算出部２５２は、画像格納部２０２が格納している複数の画像の撮像時刻に基づいて、画像格納部２０２が格納している複数の画像の撮像時刻分布を算出する。
【００３２】
画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する。イベントとは、例えば、撮像時刻、撮像位置等であってよい。具体的には、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像時刻に応じて、アルバムにおけるページ毎に分類する。また、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像の撮像位置に応じて、アルバムにおけるページ毎に分類する。
【００３３】
具体的には、画像分類部２４０は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。また、画像分類部２４０は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。
【００３４】
このとき、画像分類部２４０は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、画像分類部２４０は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。そして、レイアウト決定部２１０は、画像分類部２４０がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
【００３５】
主画像選択部２１２は、アルバムにおいて主要な画像となるべき主画像を、画像格納部２０２が格納している複数の画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。具体的には、主画像選択部２１２は、画像分類部２４０が分類したイベント毎に主画像をそれぞれ選択する。そして、従画像選択部２２２は、画像分類部２４０が分類したイベント毎に従画像をそれぞれ選択する。
【００３６】
より具体的には、主画像選択部２１２は、アルバムの所定のページにおいて主要な画像となるべき主画像を、画像分類部２４０が所定のページに分類した画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、画像分類部２４０が所定のページに分類した画像から選択する。具体的には、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の内容に基づいて、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像を、アルバムにおける所定のページにレイアウトする。
【００３７】
より具体的には、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の内容に基づいて、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおけるレイアウトを決定する。具体的には、配置位置決定部２８２は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおける配置位置を決定する。サイズ決定部２８４は、主画像選択部２１２が選択した主画像及び従画像選択部２２２が選択した従画像の、アルバムにおけるサイズを決定する。より具体的には、サイズ決定部２８４は、主画像選択部２１２が選択した主画像のサイズを、従画像選択部２２２が選択した従画像のサイズより大きく決定する。
【００３８】
類似度算出部２４２は、主画像選択部２１２が選択した主画像と、主画像選択部２１２が選択した主画像と同一のイベントに分類された他の画像のそれぞれとの類似度を算出する。そして、従画像選択部２２２は、画像分類部２４０が分類したイベント毎に、主画像選択部２１２が選択した主画像との類似度が小さい画像を従画像として選択する。類似度とは、撮像されたときの合焦距離、撮像時刻、撮像位置、又は撮像された画像の色相等を指標にするものであってよい。このため、同じページに収められる画像が、例えば同じ撮像場所で撮像された画像ばかりになってしまったり、遠方を写した画像ばかりになってしまったりすることを防ぐことができる。
【００３９】
他にも、従画像選択部２２２は、主画像選択部２１２が選択した主画像の被写体と異なる被写体を含む画像を従画像として選択する。例えば、従画像選択部２２２は、主画像の被写体が海であるときには、人物が写った画像を従画像として選択する。このため、主画像と従画像の内容が重複してしまうことを未然に防ぐことができる。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の被写体である人物と異なる人物を被写体として含む画像を従画像として選択する。このため、同じページに同一人物が写った画像ばかりになることを防ぐことができる。また、従画像選択部２２２は、画像分類部２４０が分類したイベントに属する画像の数がより多い場合により多い数の従画像を選択する。このため、撮像者が興味を持って沢山撮像するほど、沢山の従画像をレイアウトするので、撮像者にとって望ましいアルバムを提供することができる。
【００４０】
重要性判断部２６０は、画像格納部２０２が格納している複数の画像における撮像時刻及び撮像位置の重要性を判断する。具体的には、重要性判断部２６０は、撮像位置分布算出部２５４が算出した撮像位置分布の偏りが予め定められた基準値より大きい場合に、撮像位置が撮像時刻よりも重要性が高いと判断する。例えば、観光地を移動しながら撮像した旅行記録と、家庭で撮像した成長記録の場合を比較すると、旅行記録の撮像位置の分布は成長記録の場合に比べて広い分布となり、かつ偏った撮像位置で撮像された分布になる。この場合、重要性判断部２６０は、撮像位置の偏りを検出した場合に、撮像位置の重要性が撮像時刻の重要性よりも大きいと判断する。なお、アルバム作成装置１００は、撮像位置と撮像時刻とのどちらが重要性が高いかをユーザ１８０に指示させてもよい。
【００４１】
撮像位置分類部２６４は、重要性判断部２６０によって撮像位置が撮像時刻よりも重要性が高いと判断された場合に、画像格納部２０２が格納している撮像位置に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。撮像時刻分類部２６２は、重要性判断部２６０によって撮像時刻が撮像位置よりも重要性が高いと判断された場合に、画像格納部２０２が格納している撮像時刻に基づいて、画像格納部２０２が格納している複数の画像を、アルバムにおけるページ毎に分類する。
【００４２】
なお、撮像位置分類部２６４は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、撮像時刻分類部２６２は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて、画像格納部２０２が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。
【００４３】
主画像選択部２１２は、アルバムの所定のページにおいて主要な画像となるべき主画像を、撮像時刻分類部２６２又は撮像位置分類部２６４が所定のページに分類した画像から選択する。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、撮像時刻分類部２６２又は撮像位置分類部２６４が所定のページに分類した画像から選択する。そして、レイアウト決定部２１０は、撮像時刻分類部２６２又は撮像位置分類部２６４がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
【００４４】
オブジェクト抽出部２０６は、画像格納部２０２が格納している複数の画像にそれぞれ含まれる複数のオブジェクトを抽出する。具体的には、オブジェクト抽出部２０６は、画像に対してエッジ抽出等によって被写体の輪郭を抽出して、当該被写体の領域をオブジェクトとして抽出する。そして、オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数のオブジェクト毎に、オブジェクト抽出部２０６が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出する。
【００４５】
そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトする。具体的には、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。
【００４６】
より具体的には、主画像選択部２１２は、オブジェクト画像数算出部２０８が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部２０２が格納している複数の画像から選択する。そして、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像を、従画像選択部２２２が選択した従画像より強調してレイアウトする。
【００４７】
また、トリミング部２２４は、オブジェクト画像数算出部２０８が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングする。そして、レイアウト決定部２１０は、トリミング部２２４がトリミングしたオブジェクトの領域画像をアルバムにレイアウトする。
【００４８】
オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数のオブジェクト毎に、オブジェクト抽出部２０６が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出する。そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、オブジェクト画像数算出部２０８は、撮像場所又は撮像時刻が近いと同一種類であると判断してよい。この場合、ユーザ１８０が同じ場所において連続して撮像した画像同士が同一種類の画像として判断されて、アルバムにおいて強調されてレイアウトされるので、ユーザ１８０の撮像意図をアルバムに適切に反映することができる。
【００４９】
人物認識部２３０は、オブジェクト抽出部２０６が抽出したオブジェクトが人物であるか否かを認識する。人物認識部２３０は、エッジ抽出等によって抽出されたオブジェクトの輪郭のパターンと、予め定めた人間の体のパターンとのパターンマッチング等によって、オブジェクトが人物であるか否かを判断する。また、人物認識部２３０は、顔の輪郭形状、或いは、眼、鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、又はそれぞれの部位の間の位置関係等に基づいて人物を識別する。
【００５０】
そして、オブジェクト画像数算出部２０８は、画像格納部２０２が格納している複数の画像のうち、オブジェクト抽出部２０６が抽出した複数の人物毎に、オブジェクト抽出部２０６が抽出した人物と同一の人物が含まれる画像の数を算出する。そして、レイアウト決定部２１０は、オブジェクト画像数算出部２０８が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトする。例えば、主画像選択部２１２が当該人物を含む画像を主画像として選択して、レイアウト決定部２１０が、当該画像を主画像として強調してレイアウトする。このため、より多くの画像に被写体として写っている人物を強調してレイアウトさせることができる。
【００５１】
なお、オブジェクト画像数算出部２０８は、オブジェクトの種類に応じて、同一又は類似のオブジェクトとして判断する判断基準を予め定めておく。例えば、オブジェクトが人物認識部２３０によって人物と判断された場合には、同一人物を同一のオブジェクトとして扱う。また、オブジェクトが直方体であって、実寸法が大きい等の特徴を持つオブジェクトについては、当該オブジェクトをビル等の建物として判断し、全く同一の建物でなくても類似のオブジェクトとして扱う。このようにして、オブジェクト画像数算出部２０８は、被写体の人物に対しては人物毎に画像をカウントし、ビル等に対しては建物という分類毎に画像をカウントすることによって、閲覧者にとって望ましい分類で画像をカウントすることができる。
【００５２】
なお、画像格納部２０２は、画像格納部２０２が格納している複数の画像のそれぞれに対応づけて、画像格納部２０２が格納している画像の前又は後に連続して撮像された予備画像をさらに格納している。具体的には、撮像装置１１０が、ユーザ１８０によってレリーズボタンが押下される前及び又は後のタイミングで予備画像を撮像しておき、レリーズボタンが押下されたタイミングで撮像された画像に対応づけて当該予備画像を記録する。そして画像格納部２０２は、撮像装置１１０から画像及び予備画像を受け取って格納する。オブジェクト抽出部２０６は、画像格納部２０２が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出する。
【００５３】
動作量算出部２３２は、オブジェクト抽出部２０６が抽出したオブジェクトの動作の大きさを示す動作量を算出する。具体的には、動作量算出部２３２は、画像格納部２０２が格納している画像と予備画像とを比較することにより、オブジェクト抽出部２０６が抽出したオブジェクトの動作量を算出する。面積輪郭比算出部２３４は、画像におけるオブジェクトの面積に対する、画像におけるオブジェクトの輪郭線の長さを算出する。そして、動作量算出部２３２は、面積輪郭比算出部２３４の算出結果がより大きい場合に、オブジェクトの動作量をより大きく算出する。
【００５４】
そして、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。具体的には、レイアウト決定部２１０は、動作量算出部２３２が算出した動作量がより大きいオブジェクトを主画像としてレイアウトする。このため、より大きなアクションをしている人物が強調されたアルバムを作成することができる。
【００５５】
具体的には、主画像選択部２１２は、動作量算出部２３２が算出した動作量が予め定められた基準量より大きいオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部２０２が格納している複数の画像から選択する。そして、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。そして、レイアウト決定部２１０は、主画像選択部２１２が選択した主画像を従画像選択部２２２が選択した従画像より強調してレイアウトする。なお、トリミング部２２４は、動作量算出部２３２が算出した動作量が予め定められた基準量より大きいオブジェクトの領域画像をトリミングしてよい。
【００５６】
距離算出部２７４は、オブジェクト抽出部２０６によって抽出された第１のオブジェクトと第２のオブジェクトとが含まれる画像における、第１のオブジェクトと第２のオブジェクトとの距離を算出する。なお、距離算出部２７４は、第１のオブジェクトと第２のオブジェクトとの実空間における距離を算出してもよい。例えば、距離算出部２７４は、画像領域毎の合焦距離を画像とともに記録しておき、当該画像領域毎の合焦距離及びオブジェクトの画像上の位置に基づいて、実空間における位置をオブジェクト毎に算出して、実空間におけるオブジェクト同士の距離を算出してよい。
【００５７】
関連性判断部２７２は、画像格納部２０２が格納している複数の画像において、オブジェクト抽出部２０６が抽出した第１のオブジェクトと第２のオブジェクトとが含まれる画像の数が予め定められた基準数より多い場合に、第１のオブジェクトと第２のオブジェクトとの関連性が高いと判断する。また、関連性判断部２７２は、距離算出部２７４が算出した距離がより近い場合に、第１のオブジェクトと第２のオブジェクトとの関連性がより高いと判断してよい。なお、関連性判断部２７２は、人物認識部２３０が人物であると認識したオブジェクト同士の関連性を、人物認識部２３０が人物でないと認識したオブジェクト同士の関連性より高く判断してよい。このため、例えば友人同士でグループ旅行に行った場合において、友人同士が同じ画像に写っている画像が沢山あると、関連性判断部２７２によって当該友人同士の関連性をより高く判断することができる。
【００５８】
そして、従画像選択部２２２は、関連性判断部２７２によって主画像選択部２１２が選択した主画像に含まれる第１のオブジェクトと関連性が高いと判断された第２のオブジェクトを含む画像を、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像として、画像格納部２０２が格納している複数の画像から選択する。
【００５９】
なお、撮像装置１１０は、アルバム作成装置１００として機能してもよい。例えば、撮像装置１１０は、撮像装置１１０が撮像した複数の画像からアルバムを作成してよい。例えば撮像装置１１０は、作成したアルバムデータをモニタ画面に表示したり、インターネット等の通信回線１５０を介して撮像装置１１０以外の出力デバイスにアルバムデータを出力してもよい。
【００６０】
特定被写体情報取得部２９０は、アルバムにおける主要人物の画像を取得する。具体的には、主要人物入力部２９２は、画像格納部２０２が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる。例えば、主要人物入力部２９２は、主要人物を含む画像及び当該画像における主要人物の位置をユーザ１８０に入力させる。そして、主要人物特定部２９４は、主要人物入力部２９２から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する。そして、主要人物画像選択部２９６は、主要人物特定部２９４が特定した主要人物の画像を、画像格納部２０２が格納する複数の画像に含まれる被写体と比較することによって、画像格納部２０２が格納する複数の画像から、主要人物が含まれる画像を選択する。そして、主画像選択部２１２は、主要人物画像選択部２９６が選択した画像の中から主画像を選択する。このため、アルバム作成装置１００は、ユーザ１８０によって指定されたアルバムにおける主人公を含む画像を主画像とすることができる。
【００６１】
なお、主要人物入力部２９２は、第１主要人物を含む画像及び当該画像における第１主要人物の位置並び第２主要人物を含む画像及び当該画像における第２主要人物の位置を入力させてよい。そして、主要人物特定部２９４は、主要人物入力部２９２から入力された第１主要人物を含む画像及び位置並びに第２主要人物を含む画像及び位置から、第１主要人物及び第２主要人物の画像を特定する。そして、主要人物画像選択部２９６は、主要人物特定部２９４が特定した第１主要人物及び第２主要人物の画像を、画像格納部２０２が格納する複数の画像に含まれる被写体と比較することによって、画像格納部２０２が格納する複数の画像から、第１主要人物が含まれる画像及び第２主要人物が含まれる画像を選択する。
【００６２】
そして、主画像選択部２１２は、主要人物画像選択部２９６が選択した第１主要人物が含まれる画像及び第２主要人物が含まれる画像の中から主画像を選択する。また、従画像選択部２２２は、主画像選択部２１２が選択した主画像の内容に基づいて、主画像選択部２１２が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部２０２が格納している複数の画像から選択する。
【００６３】
そして、レイアウト決定部２１０は、同一ページにレイアウトした複数の画像に含まれる第１主要人物及び第２主要人物の数が略同一になる主画像及び従画像のレイアウトを決定する。また、レイアウト決定部２１０は、第１主要人物及び第２主要人物を含むアルバムのページに含まれる第１の主要人物の面積と第２の主要人物の面積とが略同一になる主画像及び従画像のレイアウトを決定する。このため、アルバム作成装置１００は、アルバムにおける主人公として指定された複数の人物の一方がページにおいて強調されてしまうことを未然に防ぐことができる。
【００６４】
テンプレート格納部２１４は、複数の画像を含むアルバムのテンプレートを格納する。そして、特徴色抽出部２２６は、主画像選択部２１２が選択した主画像に含まれる複数の色から、特徴色を抽出する。そして、テンプレート配色決定部２２８は、特徴色抽出部２２６が抽出した特徴色に基づいて、複数の画像を含むアルバムのテンプレートの配色を決定する。このため、アルバム作成装置１００は、主画像における色と調和のとれた配色のアルバムを生成することができる。
【００６５】
画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像が撮像されたときの撮像条件に応じて、アルバムにおけるページ毎に分類する。具体的には、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、画像が撮像されたときのシャッタ速度に応じて、アルバムにおけるページ毎に分類する。そして、主画像選択部２１２は、画像分類部２４０が分類した撮像条件毎に主画像をそれぞれ選択する。そして、従画像選択部２２２は、画像分類部２４０が分類した撮像条件毎に従画像をそれぞれ選択する。このため、アルバム作成装置１００は、各ページにおいて画像の撮像条件を統一することができるので、各ページで統一感のあるアルバムを作成することができる。
【００６６】
光源特定部２５６は、画像格納部２０２が格納する複数の画像の画像内容から、画像が撮像されたときの主な光源の種類を特定する。具体的には、光源特定部２５６は、画像において平均輝度が予め定められた輝度より大きくかつより無彩色である色の領域のカラーバランスに基づいて、画像が撮像されたときの主な光源の種類を特定する。そして、画像分類部２４０は、画像格納部２０２が格納している複数の画像を、光源特定部２５６が特定した光源の種類に応じて、アルバムにおけるページ毎に分類する。このため、画像分類部２４０は、人工的な照明の下に撮像した画像と、太陽の下で撮像された画像とを区別して各ページに分類することができる。このため、アルバム作成装置１００は、各ページにおいて光源に統一感のあるアルバムを作成することができる。
【００６７】
構図類似性算出部２５８は、画像格納部２０２が格納している複数の画像の間の構図の類似性の高さを算出する。そして、画像分類部２４０は、構図類似性算出部２５８がより高い類似性を算出した画像を、アルバムにおける同じページに分類する。そして、レイアウト決定部２１０は、画像分類部２４０が同一ページに分類した複数の画像のうち、構図類似性算出部２５８がより低い類似性を算出した画像を用いて当該ページにレイアウトする。このため、アルバム作成装置１００は、各ページにおいて構図に統一感のあるアルバムを作成することができる。
【００６８】
主要被写体分類部２６６は、主要被写体に基づいて画像を各ページに分類する。そして、合成情報格納部２１６は、撮像時刻分布算出部２５２が算出した撮像時刻分布に基づいて分類された画像をページに配置するか、主要被写体分類部２６６が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する。そして、レイアウト決定部２１０は、合成情報格納部２１６が撮像時刻分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、画像分類部２４０が分類した画像をレイアウトし、合成情報格納部２１６が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、主要被写体分類部２６６が分類した画像をレイアウトする。このため、アルバム作成装置１００は、例えば時系列でページに並べられたアルバムにおいて、所々に時系列以外の並びで並べられたページが存在するアルバムを作成することができる。このため、アルバム作成装置１００は、ストーリー性のあるアルバムを作成することができるとともに、アクセントのあるアルバムを作成することができる。
【００６９】
なお、合成情報格納部２１６は、撮像位置分布算出部２５４が算出した撮像位置分布に基づいて分類された画像をページに配置するか、主要被写体分類部２６６が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する。そして、レイアウト決定部２１０は、合成情報格納部２１６が撮像位置分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、画像分類部２４０が分類した画像をレイアウトし、合成情報格納部２１６が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、主要被写体分類部２６６が分類した画像をレイアウトする。このため、アルバム作成装置１００は、例えば位置毎にページに分類されたアルバムにおいて、所々に被写体によって分類されたページが存在するアルバムを作成することができる。このため、アルバム作成装置１００は、ストーリー性のあるアルバムを作成することができるとともに、アクセントのあるアルバムを作成することができる。
【００７０】
以上説明したアルバム作成装置１００によれば、画像を適切に分類して各ページに割り振って、その中から代表的な画像を選択して各ページの主画像としたアルバムを作成することができる。また、アルバム作成装置１００は、各ページに収められる主画像と従画像の内容の組合せを、閲覧者にとって望ましい組合せにすることができる。したがって、ユーザ１８０は、手間をかけることなく望ましいアルバムを得ることができる。
【００７１】
図４は、アルバムを作成する処理フローの一例を示す。画像分類部２４０は、画像を各ページに分類する（Ｓ４０２）。主画像選択部２１２は、Ｓ４０２において各ページに分類された画像の中から、主画像を選択する（Ｓ４０４）。そして、従画像選択部２２２は、Ｓ４０２において各ページに分類された画像の中から、主画像の内容に基づいて従画像を選択する（Ｓ４０６）。そして、レイアウト決定部２１０は、Ｓ４０４で選択された主画像をレイアウトする（Ｓ４０８）。そして、レイアウト決定部２１０は、Ｓ４０６で選択された従画像をレイアウトする（Ｓ４１０）。なお、アルバム作成の手順は、図４で示した手順以外にも、主画像のレイアウトを決定してから、当該レイアウトに基づいて収めるべき従画像の枚数を決定してよい。そして、アルバム作成装置１００は、当該従画像の枚数に応じて従画像を選択し、従画像をレイアウトしてもよい。
【００７２】
図５は、画像を分類する処理フローの一例を示す。図５は、図４における画像を分類する処理（Ｓ４０２）の詳細を示す。撮像時刻分布算出部２５２は、複数の画像の撮像位置の分布を算出する（Ｓ５０２）。そして、撮像位置分布算出部２５４は、複数の画像の撮像位置の分布を算出する（Ｓ５０４）。そして、重要性判断部２６０は、Ｓ５０２において算出された撮像位置の分布に基づいて、撮像位置の偏りを計算する（Ｓ５０６）。
【００７３】
そして、重要性判断部２６０は、Ｓ５０６において計算された撮像位置分布の偏りが、予め定められた基準値よりも大きいか否かを判断する（Ｓ５０８）。Ｓ５０８において、撮像位置分布の偏りが予め定められた基準値よりも大きい場合、重要性判断部２６０は、撮像位置分布に基づいて、各ページに画像を割り振る（Ｓ５１０）。なお、Ｓ５０８において、撮像位置の偏りが予め定められた基準値以下である場合、重要性判断部２６０は、撮像時刻分布に基づいて各ページに画像を割り振る（Ｓ５１２）。以上説明した画像の分類処理によって、画像が撮像された地域毎のページに画像を割り当てたり、画像を撮像した日毎のページに画像を割り当てることができる。したがって、閲覧者にとって所望の分類でアルバムを作成することができる。
【００７４】
図６は、撮像位置分布によるページ分けが望ましいケースの一例を示す。図６は、長崎、広島、京都、東京を訪れて、それぞれの地域で集中的に撮像した画像を用いてアルバムを撮像するケースを示す。このケースにおいては、訪れた各地で撮像しており、各地における撮像活動の位置的な範囲を十分に超える距離を移動して、次の観光地に移動している。このような場合、重要性判断部２６０は撮像位置の偏りを大きく判定して、撮像位置が撮像時刻よりも重要であると判断する。このようにして、アルバム作成装置１００は、画像の撮像位置に応じて、画像を地域別のページに適切に割り振ることができる。
【００７５】
図７は、撮像時刻によるページ分けが望ましいケースの一例を示す。図６は、例えば子供の成長記録用の画像を撮像した場合等のように、ユーザ１８０が略同一の地域で撮像しており、撮像した時期が広く分散しているケースを示す。この場合、重要性判断部２６０は、撮像位置の偏りを小さく判定して、撮像位置の重要性より撮像時刻の重要性が大きいと判断する。このようにして、アルバム作成装置１００は、子供の成長記録用に撮像した画像を撮像時期で分類して、各ページが撮像時期の順に並んでいるアルバムを作成することができる。このためユーザ１８０は、ページをめくる毎に、子供が成長していく様子を見ることができるので、違和感を感じることなく楽しくアルバムを閲覧することができる。なお、アルバム作成装置１００は、撮像時刻分布に基づいて画像を分類する場合であっても、同一ページ内に分類された画像を、撮像時刻分布に基づいてレイアウトしなくてもよい。
【００７６】
図８は、重要性判断部２６０が撮像位置分布の重要性を判断する方法の一例を示す。撮像位置分布算出部２５４は、画像格納部２０２に格納されている画像のそれぞれについて、画像が撮像された撮像位置と、当該画像より以前の直近の時刻に撮像された画像の撮像位置との間の距離を、画像を撮像するために移動した移動距離として算出する。そして、撮像位置分布算出部２５４は、算出した移動距離に対する画像の枚数分布を算出する。
【００７７】
そして、重要性判断部２６０は、算出した枚数分布に基づいて、移動距離の分散値よりも予め定められた係数を乗じた移動距離以上の移動距離で撮像された画像の枚数を計算して、当該枚数の全体の枚数に占める割合を、撮像位置分布の偏りとして計算する。これにより、重要性判断部２６０は、例えばユーザ１８０が欧州各国の首都を訪れた記録アルバムを作成する場合、撮像位置が撮像時刻より重要であると判断することができる。
【００７８】
図９は、撮像時刻分布に基づく画像のページ分けの一例を示す。撮像時刻分類部２６２は、撮像された画像の枚数をアルバムの総ページ数で割った値を、一ページに割り振るべき画像数として計算する。例えば図９の例では、４．５枚と判断する。そして、撮像時刻分布算出部２５２は、画像格納部２０２に格納されている画像を撮像時刻の順に撮像時間の間隔を計算する。
【００７９】
そして、撮像時刻分類部２６２は、撮像時間の間隔の長い順（Δｔ９０１、Δｔ９０３、Δｔ９０２、・・・）に画像群に分類していく。例えば、撮像間隔Δｔ９０１の位置において、画像群Ａが他の画像群と分離されて分類される。そして、撮像時刻分類部２６２は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図９の例では、撮像時刻分類部２６２は、画像群ＡとＢに含まれる画像、画像群Ｃに含まれる画像、画像群Ｄに含まれる画像を、それぞれ同一のページに分類する。このようにして撮像時刻分類部２６２が撮像時刻の分布に基づいて画像を各ページに分類することによって、近い時刻で撮像された画像が全く離れたページに収められてしまうことを未然に防ぎつつ、適切にページに割り振ることができる。
【００８０】
図１０は、撮像位置分布に基づく画像のページ分けの一例を示す。撮像位置分類部２６４は、画像格納部２０２に格納されている画像を撮像時刻の順に撮像位置の間隔を計算する。撮像時刻分類部２６２は、撮像位置の間隔の長い順（Ｄ１００４、Ｄ１００２、Ｄ１００３、・・・）に画像群に分類していく。例えば、撮像間隔Ｄ１００４の位置において、画像群Ａ、Ｂ及びＣが、画像群Ｄと分離されて分類される。そして、撮像時刻分類部２６２は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図１０の例では、撮像位置分類部２６４は、画像群ＡとＢに含まれる画像、画像群Ｃに含まれる画像、及び画像群Ｄに含まれる画像を、それぞれ同一のページに分類する。
【００８１】
図１１は、主画像を選択する処理フローの一例を示す。図１１は、図４における主画像を選択する処理（Ｓ４０４）の詳細を示す。オブジェクト抽出部２０６は、画像分類部２４０によって分類された画像の中から一の画像を選択する（Ｓ１１０２）。そしてオブジェクト抽出部２０６は、選択した画像からエッジ抽出等によって複数の被写体の輪郭を抽出して複数のオブジェクトを検出して、その中の一のオブジェクトを抽出する（Ｓ１１０４）。そして、人物認識部２３０は、Ｓ１１０４において抽出されたオブジェクトが人物であるか否かを判断する。
【００８２】
Ｓ１１０６において、抽出されたオブジェクトが人物であると判断された場合には、オブジェクト画像数算出部２０８は、オブジェクトが含まれる画像数を、人物毎にカウントする（Ｓ１１０８）。Ｓ１１０６において、抽出されたオブジェクトが人物でないと判断された場合には、同じ種類のオブジェクトを判断して、オブジェクトが含まれる画像数を種類毎にカウントを加算する。
【００８３】
そして、オブジェクト抽出部２０６がＳ１１０２において選択された一の画像に含まれる全てのオブジェクトについて、オブジェクト画像数算出部２０８による計数処理が完了したか否かを判断する（Ｓ１１１２）。Ｓ１１１２において、全てのオブジェクトについて計数処理が完了していない場合は、Ｓ１１０４に処理を移して、他のオブジェクトを選択する。Ｓ１１１２において、全てのオブジェクトについて計数処理が完了した場合は、画像分類部２４０によって分類された全画像からのオブジェクトの抽出処理がなされたか否かを判断する（Ｓ１１１４）。Ｓ１１１４において、全画像からの抽出処理がなされていない場合、Ｓ１１０２に処理を移して、新たに他の画像を選択する。
【００８４】
Ｓ１１１４において、全画像からの抽出処理がなされた場合、主画像選択部２１２は、Ｓ１１０８又はＳ１１１０において算出された人物毎の画像数又はオブジェクトの種類毎の画像数のうち、予め定められた基準画像数よりも多い数がカウントされた人物又はオブジェクトの種類を判断して、選択した人物毎の画像又は選択したオブジェクトの種類に含まれるオブジェクトを含む画像を主画像として選択する（Ｓ１１１６）。以上説明したようにして、アルバム作成装置１００は、ユーザ１８０がより興味を持つ等して数多く撮像した被写体の画像の中から主画像を自動的に選択するので、ユーザ１８０にとって望ましいアルバムを作成することができる。
【００８５】
図１２は、オブジェクトの動作量を算出する方法の一例を示す。撮像装置１１０は、ユーザ１８０によってレリーズボタンが押されたタイミングで画像１２２２を撮像するとともに、当該タイミングの前及び／又は後のタイミングにおいて、予備画像（１２２１、１２２３、・・・）を撮像する。そして、動作量算出部２３２は、例えば予備画像１２２１と画像１２２２との差分画像、画像１２２２と予備画像１２２３との差分画像に対してエッジ抽出等を施して、画像を撮像する間に移動したオブジェクトの輪郭を抽出する。そして動作量算出部２３２は、当該オブジェクトが移動した画像上の移動量を、オブジェクトの動作量として算出する。図１２の例では、被写体の人物の両腕の動きが差分画像に残るので、その両腕の移動量を判断する。そして、主画像選択部２１２は、移動量が大きい被写体を含むオブジェクトが含まれる画像を主画像として選択する。このため、より大きい動きをしている被写体を含む画像を、アルバムの主画像として選択することができる。
【００８６】
なお、アルバム作成装置１００は、抽出されたオブジェクトのそれぞれについて、他のオブジェクトとの間の相対的な移動量に基づいてオブジェクトの動作量を算出してもよい。例えば、動作量算出部２３２は、予備画像１２２１及び画像１２２２のそれぞれにおいて、被写体の両腕と背景の山との間の相対的な距離の変化量を動作量として算出してもよい。これにより、例えばユーザ１８０が撮像装置１１０をパン及び／又はチルトさせながら撮像した場合でも、オブジェクトの動作量を適切に算出することができる。
【００８７】
なお、撮像装置１１０は、画像及び予備画像を撮像したときの撮像条件を記録しておき、当該撮像条件に基づいてオブジェクトの動作量を算出してもよい。例えば撮像装置１１０は、画像及び予備画像を撮像したタイミングにおける、撮像装置１１０の合焦位置の実空間上における移動速度を記録しておく。そして、アルバム作成装置１００は、当該合焦位置の実空間上における移動速度と、予備画像及び画像から判断されるオブジェクトの画像上の移動量とに基づいて、オブジェクトの動作量を算出してもよい。
【００８８】
図１３は、オブジェクトの重要度を判断する方法の一例を示す。動作量算出部２３２は、オブジェクト抽出部２０６によって抽出されたオブジェクトの輪郭線１３０２の長さを算出して、算出された長さに比例した係数を、動作量算出部２３２が算出した移動量に乗じる。他にも、動作量算出部２３２は、オブジェクト抽出部２０６によって抽出されたオブジェクトに外接する外接矩形１３０４の辺の合計長を、オブジェクトの輪郭線の長さとして算出してもよい。これによって、動作している被写体のうちより大きい画像領域を占める被写体を含む画像が主画像として優先的に選択されるので、ユーザ１８０にとって望ましいアルバムを作成することができる。
【００８９】
図１４は、従画像を選択する処理フローの一例を示す。図１４は、図４における従画像を選択する処理（Ｓ４０６）の詳細を示す。オブジェクト抽出部２０６がオブジェクトを抽出する（Ｓ１４０２）。そして、距離算出部２７４は、同一画像に含まれるオブジェクトの各組み合わせについて、オブジェクト同士の画像上又は実空間上の距離Ｄを算出する（Ｓ１４０４）。なお、Ｓ１４０４において、距離算出部２７４は、抽出されたオブジェクトの画像上における重心位置間の距離を、オブジェクト同士の画像上の距離Ｄとして算出してよい。
【００９０】
そして、オブジェクト画像数算出部２０８は、オブジェクト同士が共に同一画像に含まれている画像数Ｎを算出する。そして、人物認識部２３０は、Ｓ１４０２において抽出されたオブジェクト同士が共に人物であるか否かを判断する（Ｓ１４０８）。Ｓ１４０８においてオブジェクト同士が共に人物であると判断された場合には、人物係数αにα１を設定し、Ｓ１４０８においてオジェクト同士の少なくとも一方が人物でないと判断された場合には、人物係数αにはα１よりも小さいα２を設定する。
【００９１】
そして、関連性判断部２７２は、二つのオブジェクトの組合せのそれぞれについて、Ｓ１４０４において算出された距離Ｄ、Ｓ１４０６において算出された画像数Ｎ、及びＳ１４１０又はＳ１４１２において設定された人物係数αの積を関連性として算出する（Ｓ１４１４）。そして、従画像選択部２２２は、Ｓ１４１４において算出されたオブジェクトの組合せの関連性に基づいて、主画像として選択された画像に含まれるオブジェクトとの組合せの関連性が、予め定められた関連性の基準値よりも大きいオブジェクトを選択する。そして選択したオブジェクトを含む画像を従画像として選択する（Ｓ１４１６）。以上説明したように、アルバム作成装置１００によると、主画像に写っている人物と一緒に写っている人物の画像が従画像として自動的に選択される。したがって、ユーザ１８０は違和感を感じることなくアルバムを閲覧することができる。
【００９２】
図１５は、従画像を選択する処理フローの他の一例を示す。図１５は、図４における従画像を選択する処理（Ｓ４０６）の詳細の他の例を示す。人物認識部２３０は、主画像選択部２１２によって選択された主画像に人物が含まれる否かを判断する（Ｓ１５０２）。Ｓ１５０２において、主画像に人物が含まれると判断された場合、従画像選択部２２２は、主画像の人物とは異なる人物が含まれる画像または人物認識部２３０によって人物と判断されたオブジェクトを含まない画像を、従画像として選択する（Ｓ１５０４）。
【００９３】
Ｓ１５０２において、主画像に人物が含まれないと判断された場合、従画像選択部２２２は、人物が含まれる画像又は異なる種類の被写体が含まれる画像を、従画像として選択する（Ｓ１５０６）。これによって、従画像選択部２２２は、同一ページに収められる画像が同じ人物が写った画像ばかりになったり、同じ種類の被写体が写った画像ばかりになることを未然に防ぐことができ、各ページに収められる画像の内容がバランスのとれたものにすることができる。
【００９４】
図１６は、従画像を選択する処理フローの更なる他の一例を示す。類似度算出部２４２は、主画像選択部２１２によって選択された主画像と、他の画像との類似度を算出する（Ｓ１６０２）。具体的には、類似度算出部２４２は、主画像の撮像時刻との時間差が大きい画像に対して、類似度をより小さく算出する。他にも、類似度算出部２４２は、主画像の撮像位置との距離がより大きい画像に対して、類似度をより小さく算出してよい。他にも、類似度算出部２４２は、主画像に含まれる色と異なる色を持つ画像に対して、類似度をより小さく算出してよい。他にも、主画像の合焦距離との差がより大きい画像に対して、類似度をより小さく算出してよい。
【００９５】
そして、従画像選択部２２２は、Ｓ１６０２において算出された、主画像との類似度がより小さい画像を、従画像として選択する（Ｓ１６０４）。これによって、従画像選択部２２２は、主画像とは類似していない内容の画像を従画像として選択することができる。例えば、アルバム作成装置１００は、合焦距離の遠い風景画像と、合焦距離の近いスナップ写真などの組合せのページを作成する。これにより、アルバムのページが合焦距離の遠い風景画像ばかりになってしまい、面白みのないアルバムになってしまうのを防ぐことができる。
【００９６】
図１７は、特定被写体情報取得部２９０の処理フローの一例を示す。特定被写体情報取得部２９０は、例えば図４のＳ４０２における画像の分類（例えば、主要被写体分類部２６６による被写体による画像の分類）、Ｓ４０４における主画像の選択、及びＳ４０６における従画像の選択、等に使用されることができる被写体情報を取得する。特定被写体情報取得部２９０は、アルバムに含まれる画像に含まれる人物の役割を示すキャスティング情報をユーザ１８０に入力させて取得する（Ｓ１７０２）。例えば、特定被写体情報取得部２９０は、アルバムにおける主人公を表す「Ｈｅｒｏ」、主人公の父親、母親、兄弟、姉妹であることをそれぞれ示す「Ｆａｔｈｅｒ」、「Ｍｏｔｈｅｒ」、「Ｂｒｏｔｈｅｒ」、及び「Ｓｉｓｔｅｒ」、並びに主人公の友人関係を示す「Ｆｒｉｅｎｄ」等を、キャスティング情報として入力させる。
【００９７】
そして、特定被写体情報取得部２９０は、画像格納部２０２が格納している画像を表示して、ユーザ１８０に提示する（Ｓ１７０４）。そして、特定被写体情報取得部２９０は、Ｓ１７０２において入力されたキャスティング情報の役割を持つ人物を含む画像をユーザ１８０に選択させて取得する（Ｓ１７０６）。このとき特定被写体情報取得部２９０は、選択された画像のファイル名を記憶しておく。そして、Ｓ１７０６において選択された画像における当該人物の位置を入力させて取得する（Ｓ１７０８）。例えば、特定被写体情報取得部２９０は、Ｌｅｆｔ、Ｃｅｎｔｅｒ、Ｒｉｇｈｔ等を示すボタンをユーザ１８０に押下させることによって、人物の位置をユーザ１８０に入力させてよい。そして、特定被写体情報取得部２９０は、Ｓ１７０２において入力されたキャスティング情報が「Ｈｅｒｏ」であるか否かを判断する（Ｓ１７１０）。特定被写体情報取得部２９０は、Ｓ１７１０においてキャスティング情報が「Ｈｅｒｏ」であると判断された場合には、当該人物の名前、生年月日をユーザ１８０から取得する（Ｓ１７１２）。
【００９８】
そして、特定被写体情報取得部２９０は、Ｓ１７０２において入力されたキャスティング情報、Ｓ１７０６において選択されたファイルのファイル名、及びＳ１７０８において入力された位置、並びに、Ｓ１７１０において取得した名前及び生年月日を含む特定被写体情報を生成する（Ｓ１７１４）。なお、特定被写体情報取得部２９０は、Ｓ１７１０において、キャスティング情報がＨｅｒｏではないと判断された場合には、Ｓ１７１４に処理を移行し、Ｓ１７０２において入力されたキャスティング情報、Ｓ１７０６において選択されたファイルのファイル名、及びＳ１７０８において入力された位置を含む特定被写体情報を生成する。
【００９９】
そして、特定被写体情報取得部２９０は、他の人物の特定被写体情報を入力するか否かをユーザ１８０に提示して、ユーザ１８０からの入力によって、他の人物のキャスティング情報を入力する旨をするか否かを判断する（Ｓ１７１６）。Ｓ１７１６において他の人物のキャスティング情報を入力する旨を判断した場合には、Ｓ１７０２に移行して、他の人物のキャスティング情報を入力させる。Ｓ１７１６において他の人物のキャスティング情報を入力しない旨を判断した場合には、処理を終了する。
【０１００】
以上説明したように、アルバム作成装置１００は、ユーザ１８０からアルバムに登場させるべき人物とそのアルバムにおける役割を指定させることによって、アルバムにおける人物の役割を取得する。このため、アルバム作成装置１００は、アルバムにおける人物の役割に応じて、アルバムにおける画像の配置を適切に決定することができる。
【０１０１】
図１８は、特定被写体情報取得部２９０が生成した特定被写体情報の内容の一例を示す。特定被写体情報１８０２、１８０４、及び１８０６は、それぞれアルバムにおける主人公、主人公の兄弟、及び主人公の友人を示す特定被写体情報である。特定被写体情報１８０２、１８０４、及び１８０６は、人物の名前を示すＮａｍｅフィールド、画像のファイル名を示すＦｉｌｅフィールド、画像における位置を示すＰｏｓｉｔｉｏｎフィールド、キャスティング情報を示すＣａｓｔｉｎｇフィールド、誕生日を示すＤａｔｅ  ｏｆ  Ｂｉｒｔｈフィールドを持つ。主人公の特定被写体情報には名前及び生年月日といった個人的な情報が含まれるが、主人公以外の人物の特定被写体情報にはそれらの個人的な情報が含まれない。したがって、ユーザ１８０は、主人公以外の人物の個人情報を入力する必要がないので、キオスク端末で入力する場合に他人に覗き見られたり、インターネット等を通じて特定被写体情報に含まれる各情報を入力する場合に通信回線上においてデータを盗み見られたとしてもさほど問題にはならない。また、特定被写体情報取得部２９０は、主人公を示す特定被写体情報については、入力された個人的な情報が暗号化された特定被写体情報を生成してもよい。
【０１０２】
図１９は、テンプレート格納部２１４が格納しているテンプレートの一例を示す。テンプレート１９０１はアルバムの裏表紙及び表紙のテンプレートの一例を示し、テンプレート１９０２〜１９０５は見開きページのテンプレートの一例を示す。テンプレートが示すそれぞれの画像枠には、画像枠にはめ込まれる画像に含まれる人物のキャスティング情報が定められている。例えば、テンプレート１９０１が示す画像枠１９１１及び１９１２には、ＣａｓｔｉｎｇフィールドがＨｅｒｏの人物を含む画像がはめ込まれる旨が定められている。また、テンプレート１９０５の画像枠１９５１〜１９５３には、それぞれＣａｓｔｉｎｇフィールドがＦａｔｈｅｒ、Ｍｏｔｈｅｒ、Ｂｒｏｔｈｅｒの人物を含む画像がはめ込まれる旨が定められている。
【０１０３】
レイアウト決定部２１０は、各画像枠にはめ込む画像を選択する場合に、各画像枠に定められているキャスティング情報を持つ特定被写体情報を選択する。そして、レイアウト決定部２１０は、選択した特定被写体情報に含まれるＦｉｌｅフィールドで示されるファイル名の画像における、Ｐｏｓｉｔｉｏｎフィールドの位置から所定の範囲の画像領域から人物画像を抽出する。そしてレイアウト決定部２１０は、画像分類部によって当該ページに分類された画像のうち、当該人物画像と所定の一致度以上の一致度で一致した被写体を含む画像を、当該画像枠にはめ込む画像として選択する。
【０１０４】
なお、画像枠１９３２〜１９３５に定められているｒｅｌａｔｉｖｅｓとは、Ｆａｔｈｅｒ、Ｍｏｔｈｅｒ、Ｂｒｏｔｈｅｒ、及びＳｉｓｔｅｒを含む、家族を示すキャスティング情報の総称である。そして、レイアウト決定部２１０は、ｒｅｌａｔｉｖｅｓが定められている画像枠に、Ｆａｔｈｅｒ、Ｍｏｔｈｅｒ、Ｂｒｏｔｈｅｒ、及びＳｉｓｔｅｒのいずれかをキャスティング情報として持つ人物を含む画像がはめ込む。
【０１０５】
また、テンプレートには、アルバムタイトル及びページタイトルを示すテキストの配置及び内容が予め定められている。例えば、テンプレート１９０１には、アルバムタイトルのテキストとして、＜Ｎａｍｅ＞'ｓ  Ｓｔｏｒｙが定められている。また、テンプレート１９０３及び１９０５には、それぞれ＜Ｎａｍｅ＞'ｓ  Ｆａｍｉｌｙ及びＭｅｍｂｅｒｓが定められている。
【０１０６】
なお、テンプレートで定められたタイトルのテキストには、テキストの少なくとも一部を、被写体特定情報に含まれるフィールドデータで置換すべき旨を示すテキスト置換情報が含まれている。例えば、１９０１及び１９０３で定められているタイトルのテキストには、Ｎａｍｅフィールドで置換すべき旨を示すテキスト置換情報＜Ｎａｍｅ＞が含まれている。そして、レイアウト決定部２１０は、ＣａｓｔｉｎｇフィールドがＨｅｒｏである特定被写体情報で指定されるＮａｍｅフィールドのデータで、テキスト置換情報＜Ｎａｍｅ＞で示される部分のテキストを置換することによって、各タイトルのテキストを生成する。これにより、アルバム作成装置１００は、指定された主人公に相応しいタイトルを用いることができる。以上説明したように、アルバム作成装置１００は、ユーザ１８０から指定された被写体情報に応じた適切なレイアウトで画像が配置されたアルバムを作成することができる。
【０１０７】
図２０は、レイアウト決定部２１０によるレイアウト結果２００２及び２００４の一例を示す。レイアウト決定部２１０は、テンプレート１９０３で定められる画像枠１９３１〜１９３５に画像をはめ込む。レイアウト結果２００２では、画像枠１９３１に主画像選択部２１２が主画像として選択した、ＣａｓｔｉｎｇフィールドがＨｅｒｏを持つ人物を含む画像が、レイアウト決定部２１０によってはめ込まれる。そして、レイアウト決定部２１０は、従画像選択部２２２が従画像として選択した、ＣａｓｔｉｎｇフィールドがＦａｍｉｌｙに含まれる情報を持つ人物を含む画像を、画像枠１９３２〜１９３５にはめ込む。
【０１０８】
なお、レイアウト決定部２１０は、同一ページに含まれる画像枠１９３１〜１９３５に含まれる主人公（ＣａｓｔｉｎｇフィールドがＨｅｒｏの人物）の面積が、主人公以外の人物（ＣａｓｔｉｎｇフィールドがＨｅｒｏ以外の人物）の面積より大きくなるように、主画像をトリミングしたトリミング画像を拡大して主画像の画像枠１９３１にはめ込んでよい。また、従画像選択部２２２は、同一ページに含まれる画像枠１９３１〜１９３５に含まれる主人公の数が、主人公以外の人物の数より多くなるように、画像枠１９３２〜１９３５にはめ込む従画像を選択してよい。
【０１０９】
レイアウト結果２００４は、主人公が二人指定された場合のレイアウト結果の一例である。このとき、主画像選択部２１２は主人公である二人の人物を含む画像が主画像として選択する。そして、レイアウト決定部２１０は、当該主画像を画像枠１９３１にはめ込む。このとき、複数の主人公の面積が、略同一となるように、主画像又は従画像をトリミングして、画像枠１９３１〜１９３５にはめ込んでよい。以上説明したように、特定被写体情報取得部２９０によって取得された特定被写体情報により、アルバム作成装置１００は、被写体の役割に応じた適切なレイアウトで画像を配置することができる。
【０１１０】
図２１は、合成情報格納部２１６が格納している画像の合成情報の一例を示す。合成情報はページ毎に定められており、各ページにいずれの分類方法で分類された画像を配置するかが定められている。例えば、第１見開きページ（見開き頁＃１）及び第５見開きページ（見開き頁＃５）には、主要被写体によって分類された画像を格納する旨が定められている。また、第２〜第４見開きページ（見開き頁＃２〜＃５）には、時刻で分類された画像を格納する旨が定められている。
【０１１１】
例えば、子供の成長を記録したアルバムにおいては、画像が撮像された撮像時刻が重要な指標となるので、合成情報格納部２１６は、合成情報として時刻による分類を主としたページの分類方法を示す合成情報を定める。例えば、合成情報格納部２１６は、第２〜第４の見開きページを時刻で分類された画像を配置する旨を示す合成情報を定める。そして、レイアウト決定部２１０は、撮像時刻分類部２６２が時間分布によって分類した画像を、各ページに分類された画像の撮像時刻の平均時刻の順で各ページに割り当てる。これにより、アルバム作成装置１００は、子供の成長に沿った見開きページのアルバムを作成することができる。
【０１１２】
また、合成情報格納部２１６は、裏表紙・表紙ページの直後に配置される第１見開きページに、主要被写体によって分類された画像を配置する旨を定めている。この場合、アルバムの中身の最初のページには、例えば全登場人物を含む画像が配置される。このため閲覧者は、例えばアルバムの全登場人物をアルバムの第１ページ目で把握することができる。そして、それ以後の３つの見開きページには例えば撮像時刻によって分類された画像が配置されるので、閲覧者はページをめくる度に主人公が成長していく様を楽しむことができる。そして、第５見開きページには、主要被写体で分類された画像、例えば家族の全員を含む複数の画像が配置される。このように、合成情報格納部２１６は、主として時刻順で分類された画像が見開きページに配置されつつ、所々に主要被写体で分類された見開きページが挿入される合成情報を格納する。これにより、アルバム作成装置１００は、単調なアルバムが作成されることを未然に防ぐことができ、ストーリー性を持たせつつ、アクセントのあるアルバムを作成することができる。
【０１１３】
なお、合成情報格納部２１６は、成長記録アルバムの他にも、旅行記録アルバム、イベント記録アルバム等、アルバムの種類毎に適した合成情報を格納してよい。例えば、旅行記録アルバムでは、主として撮像位置分布で見開きページに分類された並びとなる合成情報を格納してよい。以上説明したように、合成情報格納部２１６は、各見開きページに適切な分類方法を定めているので、アルバム作成装置１００は適切な分類方法で分類された画像を、適切な順番で各見開きページに割り振ることができる。
【０１１４】
図２２は、特徴色抽出部２２６が特徴色を抽出する方法の一例を示す。特徴色抽出部２２６は、主画像選択部２１２が選択した主画像において、所定の色領域に分割された複数の色領域（色領域Ａ、Ｂ、Ｃ等）のそれぞれに含まれる色の面積である色面積それぞれ算出する。なお、特徴色抽出部２２６は、主画像選択部２１２が選択した主画像において、複数の色領域のそれぞれに含まれる画素の数を、面積を示す指標としてそれぞれ算出してよい。
【０１１５】
そして、特徴色抽出部２２６は、算出した色面積の、主画像の面積に対する比率である面積比率を、複数の色領域のそれぞれについて算出する。また、特徴色抽出部２２６は、複数の色領域のそれぞれについて、画像に表れることが期待される面積比率を示す面積比率の期待値を予め格納している。面積比率の期待値とは、例えば平均的な画像において含まれる色領域毎の期待値である。例えば、特徴色抽出部２２６は、画像格納部２０２が格納している画像のそれぞれについて面積比率を算出して、その平均値を面積比率の期待値として格納してよい。
【０１１６】
そして、特徴色抽出部２２６は、面積比率の期待値に対する、算出した面積比率の比である特徴度を色領域毎に算出して、当該比が最大となる色領域を主画像における特徴色として抽出する。本図の例では、特徴色抽出部２２６は、色領域Ａ、Ｂ、及びＣの特徴度として、１．２５、１．５、及び４を算出する。このように、特徴色抽出部２２６は、期待値に比べてより大きい面積比率を持つ色領域を特徴色として抽出する。したがって、特徴色抽出部２２６は、主画像に含まれる特徴的な色を適切に抽出することができる。
【０１１７】
なお、テンプレート配色決定部２２８は、人間にとって視覚的に調和のとれた色の組み合わせを示すカラーパレットを複数格納している。そしてテンプレート配色決定部２２８は、特徴色抽出部２２６が抽出した特徴色を含むカラーパレットを選択して、選択したカラーパレットに含まれる色を用いてテンプレートに配色する。例えば、テンプレート配色決定部２２８は、テンプレート１９０１、１９０３、１９０５に含まれるタイトル文字、各ページの背景の色、テンプレートが定める画像枠の色等に用いる色を決定する。このため、アルバム作成装置１００は、主画像の特徴色に近い色を含む調和の取れた適切な配色のページを作成することができる。
【０１１８】
図２３は、アルバム作成装置１００が記録媒体１６０に記録するアルバム情報ファイルのディレクトリ構成の一例を示す。アルバム情報記録部２７０は、ルートディレクトリ２３００の直下に、インデックスファイル２３０２、グループ情報が記載されたグループ情報ファイル２３１１〜２３１９が格納されたグループ情報ディレクトリ２３１０、及び画像ディレクトリ２３２０を格納する。また、アルバム情報記録部２７０は、画像ディレクトリ２３２０の直下に、画像分類部２４０によってページ毎に分類された画像が収められたグループ画像ディレクトリ２３３０、２３４０、２３５０、・・・を格納する。また、アルバム情報記録部２７０は、グループ画像ディレクトリ２３３０、２３４０、及び２３５０の直下に、グループ情報ファイル２３３２、２３４２、及び２３５２を格納する。
【０１１９】
アルバム情報記録部２７０は、グループ画像ディレクトリ２３３０及び２３４０に、それぞれ撮像時刻分類部２６２が分類した画像２３３４ａ〜２３３４ｚ及びグループインデックスファイル２３３２、並びに画像２３４４ａ〜２３４４ｚ及びグループ画像情報ファイル２３４２を格納する。そして、アルバム情報記録部２７０は、グループ画像ディレクトリ２３５０の直下に、グループ画像情報ファイル２３５２及び主要被写体分類部２６６が分類した画像を格納する。ここで、アルバム情報記録部２７０は、グループ画像ディレクトリ２３５０の直下に、画像ファイルそのものを格納するのではなく、他のグループ画像ディレクトリに格納された画像へのリンクを示すリンク情報を格納する。このリンク情報は、グループ画像情報ファイル２３５２に記載されていてよいし、他のグループ画像ディレクトリに格納された画像へのシンボリックリンク等によって記録されてもよい。このため、異なる分類方法で分類した場合に、画像そのものを重複して記録することがない。したがって、アルバム作成装置１００は、画像を記録媒体１６０に効率的に記憶することができる。
【０１２０】
なお、グループ画像情報ファイル２３３２、２３４２、及び２３５２は、同階層のディレクトリに格納された画像のそれぞれが出力されるレイアウト情報が記載されている。例えば、グループ画像情報ファイル２３３２、２３４２、及び２３５２には、アルバムの見開きページに印刷される画像の位置及び大きさ、並びに、印刷するテンプレートの色等の印刷レイアウト情報が記載されている。また、グループ画像情報ファイル２３３２、２３４２、及び２３５２には、電子アルバムにおいて同じ表示領域に表示される画像の位置、大きさ、及び順番、並びにテンプレートの色等の表示レイアウト情報が記載されている。
【０１２１】
また、グループ情報ファイル２３１１、２３１２、及び２３１３は、グループ画像情報ファイル２３３２、２３４２、及び２３５２を特定する情報、例えばグループ画像情報ファイル２３３２、２３４２、及び２３５２のファイル名が記載されている。また、インデックスファイル２３０２には、グループ情報ファイル２３１１〜２３１９を特定する情報、例えばグループ情報ファイル２３１１〜２３１９のファイル名が記載されている。そして、インデックスファイル２３０２には、グループ情報ファイル２３１１、２３１２、及び２３１３に対応するグループ画像情報ファイル２３３２、２３４２、及び２３５２によって管理される画像が出力される順番が定められている。例えば、インデックスファイル２３０２には、グループ画像情報ファイル２３３２、２３４２、及び２３５２によって管理される画像がアルバムにおいて印刷される見開きページを識別するページＩＤが記載される。また、インデックスファイル２３０２には、グループ情報ファイル２３１１、２３１２、及び２３１３に対応するグループ画像情報ファイル２３３２、２３４２、及び２３５２によって管理される画像がアルバムにおいて表示される順番を識別するシーケンスＩＤが記載される。
【０１２２】
したがって、アルバム作成装置１００は、記録媒体１６０に記載されたインデックスファイル２３０２を読み込むことによって、グループ情報ファイル２３１１〜２３１９のファイル名を特定する。そして、アルバム作成装置１００は、グループ情報ファイル２３１１〜２３１９を読み込むことによって、グループ画像情報ファイル２３３２、２３４２、２３５２・・・のファイル名を特定する。そして、アルバム作成装置１００は、グループ画像情報ファイル２３３２、２３４２、２３５２・・・を読み込むことによって、画像をアルバムとして出力することができる。
【０１２３】
なお、これらインデックスファイル２３０２、グループ情報ファイル２３１１〜２３１９、並びにグループ画像情報ファイル２３３２、２３４２、及び２３５２は、ＸＭＬ形式で記載されてよい。例えば、インデックスファイル２３０２には、グループ情報ファイル２３１１〜２３１９を表すファイル名を、それぞれのグループを識別するタグ名に対するタグデータとして記載する。以上説明したように、アルバム作成装置１００は、ルートディレクトリ２３００に記録されたインデックスを読み込むことによって、グループ化された画像の表示態様を決定することができる。したがって、アルバム作成装置１００は、画像、画像のアルバムにおける表示態様等を、記録媒体１６０に柔軟なディレクトリ構成で記録することができる。
【０１２４】
図２４は、アルバム作成装置１００の他の実施形態におけるブロック構成の一例を示す。本実施形態のアルバム作成装置１００は、統一感のある適切なレイアウトのアルバムを作成するアルバム作成装置を提供する。本実施形態のアルバム作成装置１００の利用環境は、図１に関連して説明したアルバム作成装置１００の利用環境と同様であるので説明を省略する。具体的には、アルバム作成装置１００は、ポスタリゼーション画像をアルバムの各ページに配置したり、関連するシーンの画像を各ページに配置することによって、統一感のあるアルバムをユーザ１８０に提供する。
【０１２５】
アルバム作成装置１００は、画像格納部２４０２、アルバム作成部２４０８、テンプレート格納部２４１４、使用色決定部２４２６、アルバム使用画像選択部２４２０、ポスタリゼーション用画像選択部２４５０、ポスタリゼーション画像生成部２４５２、選択条件格納部２４５４、特徴量格納部２４５６、及び特定被写体情報取得部２４９０を備える。アルバム使用画像選択部２４２０は、主画像選択部２４１２、従画像選択部２４２２、構図類似性算出部２４３０、色類似性算出部２４３２、撮像環境類似性算出部２４３４、時刻類似性算出部２４３６、撮像場所特定部２４３８、及び関連性判断部２４７２を有する。特定被写体情報取得部２４９０は、主要人物入力部２４９２及び主要人物特定部２４９４を有する。
【０１２６】
画像格納部２４０２は、複数の画像を格納する。特定被写体情報取得部２４９０は、アルバムにおける主要人物の画像を取得する。主要人物入力部２４９２は、画像格納部２４０２が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる。主要人物特定部２４９４は、画像格納部２４０２が格納している複数の画像のうちのアルバムにおける主要人物の画像を特定する。具体的には、主要人物特定部２４９４は、主要人物入力部２４９２から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する。なお、主要人物入力部２４９２及び主要人物特定部２４９４の具体的な動作及び機能は、主要人物入力部２９２及び主要人物特定部２９４の動作及び機能と略同一であるので、説明を省略する。
【０１２７】
主要人物画像抽出部２４９６は、主要人物特定部２４９４が特定した主要人物の画像を画像格納部２４０２が格納する複数の画像に含まれる被写体画像と比較することによって、画像格納部２４０２が格納する複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する。そして、ポスタリゼーション用画像選択部２４５０は、主要人物画像抽出部２４９６が抽出した複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択する。そして、ポスタリゼーション画像生成部２４５２は、ポスタリゼーション用画像選択部２４５０が選択した画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成する。そして、アルバム作成部２４０８は、ポスタリゼーション画像生成部２４５２が生成したポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成する。
【０１２８】
選択条件格納部２４５４は、ポスタリゼーションに適した画像を選択する選択条件を格納する。具体的には、選択条件格納部２４５４は、ポスタリゼーション画像に適する輝度分布の広がりを示す選択条件を格納する。そして、ポスタリゼーション用画像選択部２４５０は、選択条件格納部２４５４が格納している選択条件に合致するポスタリゼーション画像を選択する。具体的には、ポスタリゼーション用画像選択部２４５０は、選択条件格納部２４５４が格納している輝度分布の広がりに適合する輝度分布の広がりを持つ画像を選択する。
【０１２９】
ポスタリゼーション階調決定部２４４０は、ポスタリゼーション処理の階調を決定する。なお、選択条件格納部２４５４は、ポスタリゼーションの階調毎に選択条件を格納している。そして、ポスタリゼーション用画像選択部２４５０は、ポスタリゼーション階調決定部２４４０が決定したポスタリゼーション画像の階調に対応づけて選択条件格納部２４５４が格納する選択条件に合致するポスタリゼーション画像を選択する。ポスタリゼーション画像生成部２４５２は、ポスタリゼーション用画像選択部２４５０が選択した画像に、ポスタリゼーション階調決定部２４４０が決定した階調でポスタリゼーションを施して、アルバムに使用するポスタリゼーション画像を生成する。
【０１３０】
使用色決定部２４２６は、アルバムの各ページのテンプレートが定める文字に使用する文字色をそれぞれ決定する。そして、ポスタリゼーション画像生成部２４５２は、ポスタリゼーション用画像選択部２４５０が選択した画像にポスタリゼーション処理を施して、使用色決定部２４２６が決定した文字色のポスタリゼーション画像を生成する。なお、ポスタリゼーション階調決定部２４４０は、使用色決定部２４２６が決定した文字に使用する色の数がより多い場合に、ポスタリゼーション処理の階調をより大きく決定してよい。なお、アルバム作成部２４０８は、ポスタリゼーション画像生成部２４５２が生成したポスタリゼーション画像を、各ページにおいて使用色決定部２４２６が決定した文字色が使用される文字に隣接させたレイアウトのページを含むアルバムを作成する。このため、各ページのタイトル文字と統一感のあるポスタリゼーション画像を作成することができる。
【０１３１】
なお、アルバム使用画像選択部２４２０は、画像格納部２４０２が格納する複数の画像の中からアルバムに使用する複数の画像を選択してよい。そして、主要人物画像抽出部２４９６は、アルバム使用画像選択部２４２０が選択した複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する。そして、ポスタリゼーション用画像選択部２４５０は、主要人物画像抽出部２４９６が抽出した複数の主要人物画像の中から、ポスタリゼーションに適した画像を選択する。
【０１３２】
特徴量格納部２４５６は、アルバム作成部２４０８が作成したアルバムに用いたポスタリゼーション画像の特徴量を格納するそして、ポスタリゼーション画像生成部２４５２は、アルバム作成部２４０８が新たにアルバムを作成する場合に、特徴量格納部２４５６が格納しているポスタリゼーション画像の特徴量のいずれとも異なる特徴量を持つポスタリゼーション画像を生成する。そして、アルバム作成部２４０８は、ポスタリゼーション画像生成部２４５２が生成したポスタリゼーション画像を用いて新たなアルバムを作成する。
【０１３３】
なお、アルバム作成部２４０８は、ポスタリゼーション画像生成部２４５２が生成した１つのポスタリゼーション画像を、アルバムの複数のページに配置する。具体的には、アルバム作成部２４０８は、ポスタリゼーション画像生成部２４５２が生成した１つのポスタリゼーション画像を、アルバムの表紙及び裏表紙ページ、並びにアルバムを構成するアルバム構成ページの所定の位置に配置する。このため、各アルバムに使用されるポスタリゼーション画像は、アルバム毎に独自のものとなる。このため、ポスタリゼーション画像によってアルバムを識別することができるので、ポスタリゼーション画像をアルバムの再注文、アルバムの製造工程における工程管理に用いることができる。
【０１３４】
主画像選択部２４１２は、アルバムにおいて主要な画像となるべき主画像を、画像格納部２４０２が格納している複数の画像から選択する。関連性判断部２４７２は、画像格納部２４０２が格納している複数の画像の画像内容に基づいて、主画像選択部２４１２が選択した主画像と画像格納部２４０２が格納している複数の画像との間の関連性を判断する。そして、従画像選択部２４２２は、関連性判断部２４７２が、主画像選択部２４１２が選択した主画像との関連性が高いと判断した画像を、主画像選択部２４１２が選択した主画像にアルバムにおいて従属する画像となるべき従画像として、画像格納部２４０２が格納している複数の画像から選択する。そして、レイアウト決定部２４１０は、主画像選択部２４１２が選択した主画像及び従画像選択部２４２２が選択した従画像の内容に基づいて、主画像選択部２４１２が選択した主画像及び従画像選択部２４２２が選択した従画像をアルバムにおける同一ページにレイアウトする。
【０１３５】
テンプレート格納部２４１４は、撮像された撮像時刻が主画像が撮像された撮像時刻により近い画像の主画像との関連性をより高く判断する判断条件を格納する。そして、関連性判断部２４７２は、撮像された撮像時刻が主画像により近い画像の主画像との関連性をより高く判断する。
【０１３６】
テンプレート格納部２４１４は、構図が主画像により類似している画像の関連性をより高く判断する判断条件を格納する。構図類似性算出部２４３０は、画像格納部２４０２が格納している複数の画像に含まれる被写体の構図に基づいて、画像同士の構図の類似性の高さを算出する。そして、関連性判断部２４７２は、構図類似性算出部２４３０が主画像の構図とより高い類似性を算出した画像の主画像との関連性をより高く判断してよい。
【０１３７】
また、テンプレート格納部２４１４は、画像に含まれる色が主画像とより類似している画像の関連性をより高く判断する判断条件を格納する。色類似性算出部２４３２は、画像格納部２４０２が格納している複数の画像に含まれる色の分布に基づいて画像同士の色の類似性の高さを判断する。そして、関連性判断部２４７２は、色類似性算出部２４３２が主画像とより高い色の類似性を算出した画像の主画像との関連性をより高く判断する。
【０１３８】
また、テンプレート格納部２４１４は、撮像環境が主画像とより類似している画像の主画像との関連性をより高く判断する判断条件を格納する。撮像環境類似性算出部２４３４は、画像格納部２４０２が格納している複数の画像が撮像された撮像環境の類似性を算出する。そして、関連性判断部２４７２は、撮像環境類似性算出部２４３４が主画像とより高い撮像環境の類似性を判断した画像の主画像との関連性をより高く判断する。
【０１３９】
テンプレート格納部２４１４は、撮像場所が主画像とより類似している画像の主画像との関連性をより高く判断する判断条件を格納する。撮像場所特定部２４３８は、画像格納部２４０２が格納している複数の画像の画像内容に基づいて、画像格納部２４０２が格納している複数の画像が撮像された場所が屋内であるか屋外であるかを特定する。そして、関連性判断部２４７２は、撮像場所特定部２４３８が主画像と同じ場所を特定した画像の主画像との関連性を、撮像場所特定部２４３８が主画像と異なる場所を特定した画像の主画像との関連性より高く算出する。
【０１４０】
テンプレート格納部２４１４は、撮像時刻が主画像とより類似している画像の主画像との関連性をより高く判断する判断条件を格納する。ここでいう撮像時刻とは、例えば季節、月、一日における時刻等、撮像されたタイミングを表す概念である。時刻類似性算出部２４３６は、画像格納部２４０２が格納している複数の画像の撮像時刻の類似性を判断する。そして、関連性判断部２４７２は、時刻類似性算出部２４３６が主画像とより高い撮像時刻の類似性を算出した画像の主画像との関連性をより高く判断する。
【０１４１】
このように、テンプレート格納部２４１４は、主画像と従画像の間の関連性の高さを判断する判断条件を格納する。そして、関連性判断部２４７２は、テンプレート格納部２４１４が格納している判断条件に基づいて、主画像と画像格納部２４０２が格納している複数の画像との間の関連性の高さを判断する。このため、アルバム作成装置１００は同一のポスタリゼーション画像をアルバムの各ページに配置するので、アルバム全体として統一感のあるアルバムを作成することができる。また、アルバム作成装置１００では、主人公の画像がポスタリゼーション処理されて使用されるので、ユーザ１８０の意図通りの独自のアルバムを作成することができる。また、アルバム作成装置１００は、主画像に関連する従画像を選択するので、各ページで内容の統一感を持たせることができる。
【０１４２】
図２５は、ポスタリゼーション画像の一例を示す。ポスタリゼーション画像生成部２４５２は、画像２５０２に含まれる主人公の画像２５１２にポスタリゼーション処理を施して、ポスタリゼーション画像２５１４を生成する。ポスタリゼーション画像とは、画像の画素値を離散的な値に限定した画像であってよく、例えば、主人公の領域の画像を２値化した画像、または主人公の領域の画像を３値化した画像であってよい。なお、ポスタリゼーション画像は、主人公の領域の画像を２値化した画像、または３値化した画像には限られず、画像とは異なることが分かる程度までにポスタリゼーション処理された画像であってよい。
【０１４３】
図２６は、テンプレート格納部２４１４が定めるポスタリゼーション画像の配置の一例を示す。テンプレート格納部２４１４は、アルバムを構成する表紙及び裏表紙のアルバムタイトル、及びアルバムを構成するページのテーマをアルバムの閲覧者に印象付けるページタイトルに隣接して、ポスタリゼーション画像を配置する旨を、ポスタリゼーション画像配置情報として記載される。例えば、アルバムのカバーページ２６００のポスタリゼーション画像配置情報２６１０には、表紙と重ねられるカバー表面の上方のアルバムタイトルに隣接する位置に、アルバムタイトルの高さと略同一の高さのポスタリゼーション画像をレイアウトする旨が定められている。同様に、裏表紙・表紙のテンプレート２６０１のポスタリゼーション画像配置情報２６１１には、アルバムの表紙となる面の上方のアルバムタイトルに隣接して、アルバムタイトルの高さと略同一の高さでポスタリゼーション画像をレイアウトする旨が定められている。同様に、アルバムの中身を構成する第１ページ及び第２ページのテンプレート２６０２及び２６０３のポスタリゼーション画像配置情報２６１２及び２６１３には、見開きページとなるページ領域の右上方のページタイトル（Ｃａｓｔｉｎｇ、Ｂｅ  ａｍｂｉｔｉｏｕｓ！）に隣接する位置に、アルバムタイトルの高さと略同一の高さのポスタリゼーション画像をレイアウトする旨が定められている。
【０１４４】
そして、アルバム作成部２４０８は、テンプレート格納部２４１４が定めるポスタリゼーション画像配置情報２６１０〜２６１３の位置に応じた位置及び大きさで、ポスタリゼーション画像を配置する。なお、ポスタリゼーション画像配置情報２６１０〜２６１３には、隣接するアルバムタイトル、ページタイトル等のテキストの高さと同じ幅のポスタリゼーション画像を配置する旨が定められていてもよい。また、ポスタリゼーション画像配置情報２６１０〜２６１３には、使用色決定部２４２６が決定した各タイトル等のテキストに使用する色と同じ色を使用する旨が定められている。また、ポスタリゼーション画像配置情報２６１０〜２６１３には、使用色決定部２４２６が決定した各タイトル等のテキストの階調に応じた階調のポスタリゼーション画像を使用する旨が定められていてよい。また、ポスタリゼーション画像配置情報２６１０〜２６１３には、使用色決定部２４２６が決定した各タイトル等のテキストの色数に応じた階調のポスタリゼーション画像を使用する旨が定められていてよい。ポスタリゼーション画像生成部２４５２は、ポスタリゼーション画像配置情報に定められた色及び階調のポスタリゼーション画像を生成してよい。
【０１４５】
以上説明したように、アルバム各タイトルに同じポスタリゼーション画像が隣接して配置されるので、全体的に統一感のあるアルバムをユーザ１８０に提供することができる。なお、ポスタリゼーション画像を作成する主人公の画像は、アルバムに使用される画像の中から選択されることが望ましい。アルバムに使用される画像から選択することによって、閲覧者はアルバム作成装置１００によって作成したアルバムを楽しく閲覧することができる。
【０１４６】
図２７は、画像の輝度分布の一例を示す。ポスタリゼーション用画像選択部２４５０は、主要人物画像抽出部２４９６が抽出した主要人物の画像の輝度分布を算出する。輝度分布２７０１及び２７０２は、主要人物画像抽出部２４９６が抽出した異なる主要人物画像からポスタリゼーション用画像選択部２４５０が算出した輝度分布の一例を示す。
【０１４７】
そして、ポスタリゼーション用画像選択部２４５０は、予め定められた基準輝度α以下の輝度値を持つ画素数の全画素数に対する割合である広がり指数Ｂαと、予め定められた基準輝度αより基準輝度β以上の輝度値を持つ画素数の全画素数に対する割合である広がり指数Ｂβを算出する。そして、ポスタリゼーション用画像選択部２４５０は、広がり指数Ｂα及びＢβが予め定められた基準値より大きい画像を、ポスタリゼーション画像を生成するための画像として選択する。なお、選択条件格納部２４５４は、基準輝度α及びβ、並びに、当該基準輝度α及びβに対応する広がり指数Ｂα及びＢβの最小値Ｂαｍｉｎ及びＢβｍｉｎを格納してよい。そして、ポスタリゼーション用画像選択部２４５０は、選択条件格納部２４５４が格納している基準輝度α及びβ及び主要人物画像抽出部２４９６が選択した主要人物の画像に基づいて広がり指数Ｂα及びＢβを算出する。そして、ポスタリゼーション用画像選択部２４５０は、算出された広がり指数Ｂα及びＢβが、選択条件格納部２４５４が格納している広がり指数α及びβの基準値より大きい画像を、ポスタリゼーション画像を生成するのに適した画像として選択する。なお、ポスタリゼーション用画像選択部２４５０は、主要人物画像抽出部２４９６が選択した主要人物画像の中で広がり指数Ｂα及びＢβが最も大きく、かつ、広がり指数Ｂα及びＢβが予め定められた基準値Ｂαｍｉｎ及びＢβｍｉｎより大きい画像を、ポスタリゼーション画像に適した画像としてより優先的に選択してよい。
【０１４８】
以上説明したように、ポスタリゼーション用画像選択部２４５０は、コントラストがはっきりしている主要人物画像を、ポスタリゼーション処理を施す画像として選択することができる。例えば、本図の例では、ポスタリゼーション用画像選択部２４５０は、輝度分布２７０２の画像を、輝度分布２７０１の画像よりポスタリゼーション画像に適していると判断する。したがって、ポスタリゼーション処理によって生成されるポスタリゼーション画像の大半の領域が白くつぶれてしまったり、逆に大半の領域が黒くつぶれてしまったりすることを未然に防ぐことができる。なお、選択条件格納部２４５４は、基準輝度α及びβ並びにＢαｍｉｎ及びＢβｍｉｎの組み合わせの他に、人物の顔を含む画像を、人物の顔を含まない画像よりポスタリゼーション画像に適した画像として選択する旨を格納してよい。このとき、選択条件格納部２４５４は、人物のより正面からの顔を含む画像を、ポスタリゼーション画像により適した画像として選択する旨を格納してよい。このため、ポスタリゼーション画像生成部２４５２は、閲覧者が主人公の人物とポスタリゼーション画像とを結びつけて認識することができるような、主人公の特徴を模したポスタリゼーション画像を生成することができる。
【０１４９】
なお、選択条件格納部２４５４は、ポスタリゼーション画像生成部２４５２がポスタリゼーション処理を施す階調に応じた基準輝度、及び広がり指数を格納してよい。上記の例では、選択条件格納部２４５４は、２値化のポスタリゼーション処理に対して、最小輝度〜基準輝度α及び基準輝度β〜最大輝度の２つの領域に含まれる画素数を基準とする旨を格納していたが、３値化のポスタリゼーション処理に対しては、例えば最小輝度〜基準輝度α、基準輝度γ〜基準輝度η、基準輝度β〜最大輝度の３つの領域に含まれる画素数を基準とする旨を格納する。これにより、選択条件格納部２４５４は、３値化等様々な階調に応じた適切な選択条件を、ポスタリゼーション用画像選択部２４５０に提供することができる。
【０１５０】
図２８は、特徴量格納部２４５６が格納するポスタリゼーション画像の特徴量の一例を示す。特徴量格納部２４５６は、ポスタリゼーション画像生成部２４５２が生成したポスタリゼーション画像を識別するポスタリゼーション画像ＩＤに対応づけて、ポスタリゼーション画像のパターン情報及び色情報を格納する。例えば、特徴量格納部２４５６は、ポスタリゼーション処理が２値化の場合、輝度が最大輝度（例えば１）又は最小輝度（例えば０）である画素の位置を、パターン情報として格納する。他にも、特徴量格納部２４５６は、当該最大輝度又は最小輝度の画素の位置を、画素の位置に応じて符号化した情報をパターン情報として格納してよい。また、特徴量格納部２４５６は、例えば輝度が最大輝度である画素における色情報（例えば、Ｒ、Ｇ、Ｂの各成分）の値を格納する。
【０１５１】
このように、特徴量格納部２４５６は、ポスタリゼーション画像生成部２４５２が既に生成したポスタリゼーション画像の特徴量を格納する。そして、ポスタリゼーション画像生成部２４５２は、新たにポスタリゼーション画像を生成する場合には、特徴量格納部２４５６が格納している特徴量と異なる特徴量を持つポスタリゼーション画像を生成する。このため、アルバム作成装置１００は、既に生成したポスタリゼーション画像と異なる特徴量のポスタリゼーション画像を新たに生成して、新たに作成するアルバムに使用することができる。したがって、アルバム作成装置１００は、ユーザ１８０に独自のポスタリゼーション画像を提供することができる。さらに、ポスタリゼーション画像は、ユーザ１８０による再注文に使用することもできる。例えば、ユーザ１８０がアルバムをフォトショップに持参したり、携帯電話等でポスタリゼーション画像を撮像した画像をフォトショップ等に送信することによって、フォトショップでは再注文すべきアルバムを容易に特定することができる。また、図２６で説明したように、アルバムのカバー、裏表紙及び表紙ページ、アルバムの中身のページにポスタリゼーション画像を印刷することによって、ポスタリゼーション画像を各アルバムの識別記号として生産管理に使用することもできる。なお、ポスタリゼーション画像生成部２４５２は、ポスタリゼーション画像をＱＲコード等の２次元コードとして生成してよい。
【０１５２】
図２９は、テンプレート格納部２４１４が格納する判断条件の一例を示す。一の見開きページについてのテンプレート２９００には、ページタイトルの位置、大きさ、及び内容を定めたページタイトル情報２９１１、ポスタリゼーション画像が配置されるポスタリゼーション画像配置情報２９１２、主画像がはめ込まれる旨が定められた画像枠２９０１、並びに、従画像がはめ込まれる旨が定められた画像枠２９０２〜２９０６が含まれる。この場合、レイアウト決定部２４１０は、画像枠２９０１には、主画像選択部２４１２が選択した主画像をはめ込む旨を決定する。
【０１５３】
また、画像枠２９０２には、主画像用の画像枠２９０１にはめ込まれた画像と、撮像場所を判断条件として、同じ撮像場所で撮像された画像がはめ込まれる旨が定められている。また、テンプレートが定める画像枠２９０３、２９０４、２９０５、及び２９０６には、撮像時刻を判断条件として、主画像用の画像枠２９０１にはめ込まれた画像と略同一の撮像時刻に撮像された画像がはめ込まれる旨が定められている。このように、テンプレート格納部２４１４が従画像の画像枠にはめ込まれるべき画像の、主画像との関連性を判断する判断条件を格納している。
【０１５４】
このため、従画像選択部２４２２は、テンプレートに定められている主画像との関連性の判断条件に適合する関連性を持つ従画像を選択することができる。例えば、画像枠２９０３〜２９０６には、主画像が撮像された場合と時間的に連続するシーンの画像が配置され、画像枠２９０２には、場所及び時間的に連続するシーンの画像が配置され得る。このため、アルバム作成装置１００は、全く関連性のない画像が配置されることを未然に防ぐことができる。なお、テンプレート格納部２４１４は、当該関連条件に適合するページタイトル２９１１を格納している。以上説明したように、アルバム作成装置１００は、同一の見開きページに、関連するシーンが撮像された画像を配置することができる。このため、アルバム作成装置１００は、画像が配置されるイメージに適合させることができる。
【０１５５】
図３０は、アルバム作成装置１００に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【０１５６】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１５７】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介してアルバム作成装置１００と通信し、アルバム作成装置１００にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【０１５８】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１５９】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介してアルバム作成装置１００に送信される。アルバム作成装置１００に送信されたプログラムは、アルバム作成装置１００においてインストールされて実行される。
【０１６０】
アルバム作成装置１００にインストールされて実行されるプログラムは、アルバム作成装置１００を、図１から図２３にかけて説明した画像格納部２０２、オブジェクト抽出部２０６、オブジェクト画像数算出部２０８、レイアウト決定部２１０、主画像選択部２１２、従画像選択部２２２、トリミング部２２４、人物認識部２３０、動作量算出部２３２、面積輪郭比算出部２３４、画像分類部２４０、類似度算出部２４２、撮像時刻分布算出部２５２、撮像位置分布算出部２５４、重要性判断部２６０、関連性判断部２７２、距離算出部２７４、特定被写体情報取得部２９０、主要人物画像選択部２９６、特徴色抽出部２２６、テンプレート配色決定部２２８、テンプレート格納部２１４、合成情報格納部２１６、光源特定部２５６、構図類似性算出部２５８、及びアルバム情報記録部２７０として機能させる。また、アルバム作成装置１００にインストールされて実行されるプログラムは、画像分類部２４０を、撮像時刻分類部２６２及び撮像位置分類部２６４として機能させ、レイアウト決定部２１０を、配置位置決定部２８２及びサイズ決定部２８４として機能させる。また、アルバム作成装置１００にインストールされて実行されるプログラムは、特定被写体情報取得部２９０を、主要人物入力部２９２及び主要人物特定部２９４として機能させる。また、図２２から図２９にかけて説明したアルバム作成装置１００にインストールされて実行されるプログラムは、当該アルバム作成装置１００を、図２２から図２９にかけて説明した画像格納部２４０２、アルバム作成部２４０８、テンプレート格納部２４１４、使用色決定部２４２６、アルバム使用画像選択部２４２０、ポスタリゼーション用画像選択部２４５０、ポスタリゼーション画像生成部２４５２、選択条件格納部２４５４、特徴量格納部２４５６、及び特定被写体情報取得部２４９０として機能させる。また、当該プログラムは、アルバム使用画像選択部２４２０を、図２２から図２９にかけて説明した主画像選択部２４１２、従画像選択部２４２２、構図類似性算出部２４３０、色類似性算出部２４３２、撮像環境類似性算出部２４３４、時刻類似性算出部２４３６、撮像場所特定部２４３８、及び関連性判断部２４７２として機能させ、特定被写体情報取得部２４９０を、図２２から図２９にかけて説明した主要人物入力部２４９２及び主要人物特定部２４９４として機能させる。
【０１６１】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【０１６２】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１６３】
【図１】アルバム作成装置１００の利用環境の一例を示す図である。
【図２】アルバムのページのレイアウト結果の一例を示す図である。
【図３】アルバム作成装置１００ブロック構成の一例を示す図である。
【図４】アルバムを作成する処理フローの一例を示す図である。
【図５】画像を分類する処理フローの一例を示す図である。
【図６】撮像位置分布によるページ分けが望ましいケースの一例を示す図である。
【図７】撮像時刻分布によるページ分けが望ましいケースの一例を示す図である。
【図８】撮像位置の重要性を判断する方法の一例を示す図である。
【図９】撮像時刻分布に基づく画像のページ分けの一例を示す図である。
【図１０】撮像位置分布に基づく画像のページ分けの一例を示す図である。
【図１１】主画像を選択する処理フローの一例を示す図である。
【図１２】オブジェクトの動作量を算出する方法の一例を示す図である。
【図１３】オブジェクトの重要度を判断する方法の一例を示す図である。
【図１４】従画像を選択する処理フローの一例を示す図である。
【図１５】従画像を選択する処理フローの他の一例を示す図である。
【図１６】従画像を選択する処理フローの更なる他の一例を示す図である。
【図１７】特定被写体情報取得部２９０の処理フローの一例を示す図である。
【図１８】特定被写体情報の内容の一例を示す図である。
【図１９】テンプレートの一例を示す図である。
【図２０】レイアウト結果２００２及び２００４の一例を示す図である。
【図２１】画像の合成情報の一例を示す図である。
【図２２】特徴色抽出部２２６が特徴色を抽出する方法の一例を示す図である。
【図２３】記録媒体１６０に記録されるアルバム情報ファイルのディレクトリ構成の一例を示す図である。
【図２４】アルバム作成装置１００の他の実施形態におけるブロック構成の一例を示す図である。
【図２５】ポスタリゼーション画像の一例を示す図である。
【図２６】ポスタリゼーション画像の配置の一例を示す図である。
【図２７】画像の輝度分布の一例を示す図である。
【図２８】ポスタリゼーション画像の特徴量の一例を示す図である。
【図２９】テンプレート格納部２４１４が格納する判断条件の一例を示す図である。
【図３０】アルバム作成装置１００に係るコンピュータのハードウェア構成の一例を示す図である。
【符号の説明】
【０１６４】
１００  アルバム作成装置
１１０  撮像装置
１５０  通信回線
１８０  ユーザ
２０２  画像格納部
２０６  オブジェクト抽出部
２０８  オブジェクト画像数算出部
２１０  レイアウト決定部
２１２  主画像選択部
２１４  テンプレート格納部
２１６  合成情報格納部
２２２  従画像選択部
２２４  トリミング部
２２６  特徴色抽出部
２２８  テンプレート配色決定部
２３０  人物認識部
２３２  動作量算出部
２３４  面積輪郭比算出部
２４０  画像分類部
２４２  類似度算出部
２５２  撮像時刻分布算出部
２５４  撮像位置分布算出部
２５６  光源特定部
２５８  構図類似性算出部
２６０  重要性判断部
２６２  撮像時刻分類部
２６４  撮像位置分類部
２６６  主要被写体分類部
２７０  アルバム情報記録部
２７２  関連性判断部
２７４  距離算出部
２８２  配置位置決定部
２８４  サイズ決定部
２９０  特定被写体情報取得部
２９２  主要人物入力部
２９４  主要人物特定部
２９６  主要人物画像選択部
２４０２  画像格納部
２４０８  アルバム作成部
２４１０  レイアウト決定部
２４１２  主画像選択部
２４１４  テンプレート格納部
２４２０  アルバム使用画像選択部
２４２２  従画像選択部
２４２６  使用色決定部
２４３０  構図類似性算出部
２４３２  色類似性算出部
２４３４  撮像環境類似性算出部
２４３６  時刻類似性算出部
２４３８  撮像場所特定部
２４５０  ポスタリゼーション用画像選択部
２４５２  ポスタリゼーション画像生成部
２４５４  選択条件格納部
２４５６  特徴量格納部
２４７２  関連性判断部
２４９０  特定被写体情報取得部
２４９２  主要人物入力部
２４９４  主要人物特定部
【図１】
2006295887.tif 000003
【図２】
2006295887.tif 000004
【図３】
2006295887.tif 000005
【図４】
2006295887.tif 000006
【図５】
2006295887.tif 000007
【図６】
2006295887.tif 000008
【図７】
2006295887.tif 000009
【図８】
2006295887.tif 000010
【図９】
2006295887.tif 000011
【図１０】
2006295887.tif 000012
【図１１】
2006295887.tif 000013
【図１２】
2006295887.tif 000014
【図１３】
2006295887.tif 000015
【図１４】
2006295887.tif 000016
【図１５】
2006295887.tif 000017
【図１６】
2006295887.tif 000018
【図１７】
2006295887.tif 000019
【図１８】
2006295887.tif 000020
【図１９】
2006295887.tif 000021
【図２０】
2006295887.tif 000022
【図２１】
2006295887.tif 000023
【図２２】
2006295887.tif 000024
【図２３】
2006295887.tif 000025
【図２４】
2006295887.tif 000026
【図２５】
2006295887.tif 000027
【図２６】
2006295887.tif 000028
【図２７】
2006295887.tif 000029
【図２８】
2006295887.tif 000030
【図２９】
2006295887.tif 000031
【図３０】
2006295887.tif 000032