(57)【特許請求の範囲】
【請求項１】
アルバムに用いる画像を選択する情報処理装置であって、
人物を指定する指定手段と、
前記指定手段によって指定される人物の画像における構図に応じて、その画像における前記指定手段によって指定される人物ごとの評価を決定する評価手段と、
前記指定手段によって複数の人物が指定される場合に、前記アルバムにおける前記指定手段によって指定される人物の登場回数が所定の回数以上となるよう、前記評価手段による評価を画像ごとに合計した値に応じて前記アルバムに用いる画像を選択する選択手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記評価手段は、画像に含まれる人物の位置、顔領域の大きさ、及び、顔の向きの内の少なくとも何れか１つに応じて、評価を行うことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記指定手段によって指定される人物の優先度を設定する優先度設定手段を更に有し、
前記選択手段は、第１の優先度の人物を、前記第１の優先度より低い第２の優先度の人物より多く含むように前記アルバムに用いる画像を選択することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
撮影時間または撮影場所に応じて複数の画像をグループに分類する分類手段
を更に有し、
前記選択手段は、前記分類手段により分類された夫々のグループに属する画像を少なくとも１枚ずつ前記アルバムに用いる画像として選択することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記選択手段は、前記評価手段による評価を画像ごとに合計した値が第１の値の画像を、前記第１の値より低い第２の値の画像よりも優先して選択することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記選択手段により選択された複数の画像のうちの何れかの画像の前記選択手段による選択を解除する解除手段を更に有し、
前記解除手段は、前記選択手段による画像の選択を解除した後の前記アルバムに用いる画像において、前記指定手段により指定された人物全てが少なくとも所定回数登場するように前記選択手段による画像の選択を解除することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記解除手段は、前記選択手段による画像の選択を解除した後の前記アルバムに用いる画像において、前記指定手段により指定された人物間の登場回数の差が少なくなるように前記選択手段による画像の選択を解除することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
画像に対して、登場する人物の氏名、又は、当該人物の画像上の位置に関する情報をメタデータとして付す手段
を更に有することを特徴とする請求項１乃至７の何れか１項記載の情報処理装置。
【請求項９】
前記選択手段は、前記アルバムに用いる画像に登場する前記指定手段により指定された人物であって、登場回数が他の人物の登場回数より少ない人物が登場し、かつ、前記評価手段による評価が最も高い画像を選択することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
アルバムに用いる画像を選択する画像選択方法であって、
人物を指定する指定工程と、
前記指定工程によって指定される人物の画像における構図に応じて、その画像における前記指定工程によって指定される人物ごとの評価を決定する評価工程と、
前記指定工程によって複数の人物が指定される場合に、前記評価工程による評価を画像ごとに合計した値に応じて、前記アルバムにおける前記指定工程によって指定される人物の登場回数が所定の回数以上となるよう、前記アルバムに用いる画像を選択する選択工程と
を有することを特徴とする画像選択方法。
【請求項１１】
請求項１乃至９の何れか１項に記載の情報処理装置における各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アルバムなどに使用する画像を自動選択する技術に関する。
【背景技術】
【０００２】
従来、複数の画像からアルバムに用いる画像を選択する際のユーザの負荷を軽減する技術が提案されている。例えば、撮影した画像データの日時などの付帯情報（メタデータ）を用いてアルバムに使用する画像を選択する方法がある（特許文献１）。特許文献１に述べられている方法は、テンプレート上の画像を配置する複数の画像挿入領域夫々に特定の付帯情報を対応付ける。そして、画像挿入領域に対応する付帯情報と同一の付帯情報を持つ画像を該挿入枠に配置して、アルバムを作成するものである。また、特許文献２に述べられている方法は、テンプレートと画像夫々に設定されている被写体、撮影条件等の情報に基づいて、テンプレートと画像を合成し、アルバムを作成している。また、特許文献３に述べられている方法は、作成するアルバムのシナリオに基づいたテンプレートに付されたキーワードとマッチした画像を該テンプレートに配置するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０１００６８号公報
【特許文献２】特開２００６−２７７０６５号公報
【特許文献３】特開２００２−０４９９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術は、画像を配置するテンプレートと画像の単純な付帯情報の一致でアルバムに使用する画像を選択するものであった。一方、通常アルバムは、登場する人物をなるべく均等に登場させることが求められている。しかしながら、画像に写る人物が小さく画像の端に写るような構図上問題がある画像はなるべくアルバムに用いないようにするべきである。上述の引用文献らは、このような構図に基づいた画像の選択については考慮していない。
本願発明は、上述の課題に鑑みてなされた発明であり、アルバムに用いる画像を画像上の人物に関する構図に基づいて画像を選択することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決する手段として、アルバムに用いる画像を選択する情報処理装置であって、人物を指定する指定手段と、前記指定手段によって指定される人物の画像における構図に応じて、その画像における前記指定手段によって指定される人物ごとの評価を決定する評価手段と、前記指定手段によって複数の人物が指定される場合に、前記アルバムにおける前記指定手段によって指定される人物の登場回数が所定の回数以上となるよう、前記評価手段による評価を画像ごとに合計した値に応じて前記アルバムに用いる画像を選択する選択手段とを有する情報処理装置を提供する。
【発明の効果】
【０００６】
本発明によれば、画像の評価に基づいてアルバムに用いる画像を選択することができる。
【図面の簡単な説明】
【０００７】
【図１】アルバム作成システムのブロック図である。
【図２】アルバム作成処理の全体処理を示すフローチャートである。
【図３】巡回選択処理１を示すフローチャートである。
【図４】巡回選択処理１による画像選択を示す図である。
【図５】巡回選択処理５による画像選択を示す図である。
【図６】画像に対するメタデータを説明する図である。
【図７】巡回選択処理１による画像選択を示す図である。
【図８】巡回選択処理２を示すフローチャートである。
【図９】巡回選択処理２による画像選択を示す図である。
【図１０】巡回選択処理２による画像選択を示す図である。
【図１１】巡回選択処理３のフローチャートを示す図である。
【図１２】巡回選択処理３による画像選択を示す図である。
【図１３】巡回選択処理３による画像選択を示す図である。
【図１４】巡回選択処理３による画像選択を示す図である。
【図１５】巡回選択処理４を示すフローチャートである。
【図１６】被写体優先順位設定を用いた画像選択を示す図である。
【図１７】被写体優先順位設定を用いた画像選択を示す図である。
【図１８】被写体Ａ〜Ｆに優先順位を設定してアルバムに使用する画像選択を示す図である。
【図１９】撮影時間帯により画像を分類してアルバムに使用する画像選択を示す図である。
【図２０】各撮影場所により画像を分類してアルバムに使用する画像選択を示す図である。
【図２１】アルバム作成処理の全体のフローチャートである。
【図２２】巡回選択処理５を示すフローチャートである。
【図２３】巡回選択処理５による画像選択の示す図である。
【図２４】画像の構図とポイントを説明する図である。
【図２５】巡回選択処理５による画像選択の示す図である。
【図２６】巡回選択処理５による画像選択の示す図である。
【発明を実施するための形態】
【０００８】
（実施例１）
＜アルバム作成システムの構成＞
図１は、本実施形態に於けるアルバム作成処理を実行するコンピュータの構成の一例を示すブロック図である。１００は、アルバム作成システムとして機能する情報処理装置である。コンピュータ１００には、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、表示部１０４、操作部１０５が具備されている。コンピュータ１００は、ＲＯＭ１０２に記憶されたプログラムをＣＰＵ１０１が読み出して実行することによって、後述する各処理を実行するよう制御を行う。さらに、コンピュータ１００には、記憶部１０６が備わっている。記憶部１０６はさらに、画像記憶部１０７、選択画像記憶部１０８、リスト記憶部１１０が具備されている。さらに、コンピュータ１００には、カウント部１１２、算出部１１３、選択部１１４、レイアウト部１１５、印刷部１１６、製本部１１７が具備されている。画像記憶部１０７は、アルバムに使用する候補となる入力画像を記憶する。
【０００９】
選択画像記憶部１０８は、入力画像からアルバムに使用する選択された画像（選択画像）を記憶する。リスト記憶部１１０は、アルバムに登場させる被写体（オブジェクト）として設定された被写体のリストを記憶する（人物設定手段）。カウント部１１２は、画像上の各被写体の人数や人物を管理する。また、選択部１１４により選択され、選択画像記憶部１０８に記憶している画像の被写体の登場回数をそれぞれ累計してカウントする。算出部１１３は、画像上の被写体の構図に基づいて、画像及び各被写体を評価し、評価に応じたポイントを算出する（画像評価手段、人物評価手段）。選択部１１４は、算出部１１３が算出したポイントおよびカウント部１１２のカウント結果に基づいて、アルバムに用いる画像を複数選択する。レイアウト部１１５は、選択された画像をアルバムの各ページにレイアウトする。印刷部１１６は、レイアウトされた各ページを印刷出力する。製本部１１７は、印刷出力された各ページを製本する。
【００１０】
＜アルバム作成処理＞
続いて、本実施形態のアルバム作成の全体処理を説明する。本実施形態では、パーティーなどのイベントで写真を撮影し、そのイベント参加者に配るアルバムに使用する写真を選択することを想定している。また、本実施形態では、画像に対するポイントを被写体の構図から算出する。以下の説明では、画像「ＩｍｇＫ」にポイントＰが付与されたときの状態を「ＩｍｇＫ（Ｐ）」のように表す。また、以下の説明では、被写体Ｘが選択画像集合内にＮ回出現する状態を「Ｘ（Ｎ）」のように表す。
【００１１】
コンピュータ１００におけるアルバム作成処理の全体処理を図２のフローチャートを用いて説明する。ステップＳ２０１において、コンピュータ１００は、画像記憶部１０７から、アルバムに使用する画像を読み込む。ここで、読み込んだアルバムに使用する画像（入力画像集合）の一例を図４（ａ）に示す。図４（ａ）に示すように、入力画像集合４０１の各画像にはファイル名は「Ｉｍｇ１」、「Ｉｍｇ２」、・・・、「Ｉｍｇ９」のように付けられている。ここで、各画像には、登場する被写体名（氏名）と各被写体の構図に関する情報がメタデータとして付されている。被写体名は人名である。被写体の構図情報は、人物全体の画像上の位置に関する領域情報と、顔領域の大きさおよび位置に関する情報と、顔の向きに関する情報とを含む。ここで、メタデータは読み込んだ画像に予め付けられていてもよいし、画像を読み込んだ後に画像認識や解析手段などで、自動的に付けられるものであってもよい。
【００１２】
ステップＳ２０２において、コンピュータ１００は、ユーザからの操作部１０５を介した入力により作成するアルバムのページ数、アルバムに使用する画像の総枚数を設定する。ステップＳ２０３において、コンピュータ１００は、アルバムに登場させる被写体のリストをユーザの入力によりを作成してリスト記憶部１１０に記憶する。被写体リストは、例えば図４（ｂ）のような形式をしており、被写体リスト４０２人名Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆからなるリストである。この被写体リスト４０２は、例えば、パーティーの参加者一覧から作成したり、入力画像集合４０１内の人物名をメタデータによって取得したりすることによってコンピュータ１００が自動で作成する構成としても良い。また、本実施形態では被写体は人物としているが、被写体は建築物などのオブジェクトでもよい。ここで、図４（ｃ）に示すように、Ｉｍｇ１〜Ｉｍｇ９の各画像に設定されるメタデータは被写体リスト４０２に記憶された人名Ａ〜Ｆである。ステップＳ２０４において、算出部１１３は、入力画像集合の各画像にポイントを算出し、算出部１１３による画像に対するポイント算出処理を図６（ａ１）、（ａ２）の画像を一例として説明する。図６（ｂ１）、（ｂ２）は、画像に付加された構図情報を図示した一例である。図６（ｂ１）は、人物Ａが左に、人物Ｂが真中に、人物Ｃが右に三人が並でいる。また、人物Ａ、Ｂ、Ｃの三人の対応する領域と顔領域とを矩形で表現している。また、顔の向きを顔領域中の鼻の位置を用いて表現している。まず、算出部１１３は、被写体の画像中の領域の位置に基づいて、各被写体の評価を行う。図６（ｂ１）において、算出部１１３は、画像中の左にいる人物Ａがポイントを２、真中にいる人物Ｂにポイントを３、右にいる人物Ｃにポイントを２付与する。中心いる被写体を主要被写体として高く評価するためである
また、算出部１１３は、画像中の顔の大きさ基づいて、各被写体の評価を行う。被写体の人物Ａの顔の大きさのポイントを１、人物Ｂの顔の大きさのポイントを２、人物Ｃの顔の大きさのポイントを１とする。さらに、人物Ａの顔の向きのポイントを１、人物Ｂの顔の向きのポイントを１、人物Ｃの顔の向きのポイントを１とする。顔の大きさや顔の向きに応じて、該画像における被写体の評価を行うためである。そして、算出部１１３は、画像の評価として、画像中の各被写体に付与された構図のポイントを足し合わせる、図６（ｂ１）において、各被写体のポイントの総和＝２＋３＋２＋１＋２＋１＋１＋１＋１＝１４ポイントを該画像の評価とする。また、例えば図６（ａ２），（ｂ２）のように、被写体リストとして設定されていない人物Ｘが左に、人物Ａが真中に、人物Ｂが右に三人が並んでいる画像に対しての算出部１１３による画像の評価を説明する。３人の人物が画像内で図６（ｂ２）のような領域に存在しているとき、人物Ｘが左にいるポイントを１、人物Ａが真中にいるポイントを３、人物Ｂが右にいるポイントを２とする。また、人物Ｘの顔の大きさのポイントを０、人物Ａの顔の大きさのポイントを１、人物Ｂの顔の大きさのポイントを１とする。さらに、人物Ｘの顔の向きのポイントを０、人物Ａの顔の向きのポイントを１、人物Ｂの顔の向きのポイントを１とする。被写体リストに設定されているオブジェクトが多く写る画像をより高く評価するためである。そして、図６（ｂ２）のような構図の画像のポイントを、これらのポイントの総和＝１＋３＋２＋０＋１＋１＋０＋１＋１＝１０ポイントとする。
【００１３】
このような方法で、算出部１１３は、入力画像集合の各画像に対してポイントを算出する。図４（ａ）の入力画像集合４０１の算出部１１３の演算結果として、（Ｉｍｇ１（１４）、Ｉｍｇ２（１０）、Ｉｍｇ３（１６）、Ｉｍｇ４（７）、Ｉｍｇ５（１２）、Ｉｍｇ６（８）、Ｉｍｇ７（１６）、Ｉｍｇ８（１３）、Ｉｍｇ９（１５））が算出されたとする。
【００１４】
ステップＳ２０５で、コンピュータ１００は、ユーザの入力に基づいて、被写体優先順位を設定するかを判断する（優先度設定手段）。被写体優先順位を設定する場合、ステップＳ２０６に進み、ステップＳ２０５で被写体優先順位を設定しないと判定された場合、ステップＳ２０７に進む。ステップＳ２０６において、コンピュータ１００は、ユーザの入力に基づいて、被写体優先順位設定として、作成するアルバムにおける被写体の優先順位を設定したり、主体の被写体を設定したりする。被写体優先順位設定処理については、詳細を後述する。ステップＳ２０７においてコンピュータ１００は、巡回選択条件の設定を行なう。巡回選択条件とは、アルバムに用いる画像を選択する際の条件である。例えば、被写体リストの各被写体を最低何回アルバムにおいて登場させるか等の条件を入力する。本実施形態では、例えば巡回選択回数ＲＮ＝２（各被写体を最低２回は登場させるよう画像を選択する）と設定する。なお、巡回選択条件はアルバムに使用する画像数に応じて、自動で設定してもよい。ステップＳ２０８において、カウント部１１２は、被写体リストの各被写体の出現回数を初期値である（Ａ（０）、Ｂ（０）、Ｃ（０）、Ｄ（０）、Ｅ（０）、Ｆ（０））のようにゼロに設定する。
【００１５】
ステップＳ２０９において、選択部１１４は、巡回選択処理は１〜４の何れかの処理を実行する。巡回選択処理は１〜４の各処理の詳細は後述する。ステップＳ２１０において、巡回選択条件を変更する。例えば、本実施形態では、巡回選択回数ＲＮをディクリメントする（ＲＮ←ＲＮ−１）。ステップＳ２１１において、巡回選択終了かどうか判定する。本実施形態では、例えばＲＮ＝＝０かどうか判定する。ステップＳ２１１でＹＥＳならばステップＳ２１２に進み、ステップＳ２１１でＮＯならばステップＳ２０９に戻る。ステップＳ２１２において、アルバムのページ数、アルバムに使用する画像数に応じて、Ｓ２０９におい選択された画像で必要枚数に足りない場合、残りの画像を選択する。ステップＳ２１３において、これまでに選択された画像をアルバムの各ページにレイアウトする。ステップＳ２１４において、レイアウトされた各ページを印刷出力する。ステップＳ２１５において、印刷された各ページをアルバムに製本する。
【００１６】
＜巡回選択処理１＞
Ｓ２０９における巡回選択処理１を説明する。ここで、選択処理により入力画像集合から選択された画像を選択画像とし、選択画像の集合を選択画像集合とする。ここでは、被写体リストの被写体が少なくとも１回出現するように選択画像を選んで選択画像集合を作成する。同一の巡回画像集合内被写体リストを用いて巡回選択処理１をＮ回繰り返すと、各被写体がＮ回ずつ出現するように画像が選ばれる。
【００１７】
図３のフローチャートを用いて、巡回選択処理１（図２、ステップＳ２０９）を詳細に説明する。ステップＳ３０１において、選択部１１４は、選択画像集合を設定する。一巡目の巡回選択処理を行なうとすると、選択部１１４は、選択画像集合を初期化して、どの画像も選択されていないように選択画像集合をクリアする。ステップＳ３０２において、選択部１１４は、入力画像集合４０１からさらに巡回選択処理の対象となる巡回画像集合を設定する。なお、入力画像集合４０１全てを巡回選択処理の対象として、Ｓ３０２の処理を省略しても構わない。ステップＳ３０３において、被写体リストから巡回選択処理の対象となる被写体を設定し、巡回画像集合内被写体リストを設定する。なお、被写体リスト中の全ての被写体を巡回選択処理の対象として、Ｓ３０３の処理を省略しても構わない。ステップＳ３０４において、選択部１１４は、巡回画像集合内の画像から、画像を選択し選択画像４０５とする。ステップＳ３０４において、選択画像４０５は、次の（Ｓ１）、（Ｓ２）のようにして選択される。
【００１８】
（Ｓ１）巡回画像集合の中から、選択画像集合において出現回数が最小の被写体を含む画像を全て選び、これらを画像集合「ＳＩｍｇｓ」とする。（Ｓ２）次に画像集合「ＳＩｍｇｓ」の中からポイントが最大の画像を選び、ポイントが同じ場合は最も多くの出現回数最小被写体を含む画像を選び、選択画像とする。本実施形態では、上記（Ｓ２）において、選択画像４０５の候補が複数存在する場合には、巡回画像集合内被写体リスト４０８の前方にある被写体を含む画像を優先して選択画像とする。また、上記（Ｓ２）において、選択画像の候補が複数存在する場合には、何らかの優先順位を設けて１つの画像を選ぶようにする。ステップＳ３０５において、カウント部１１２は、選択された画像に登場する被写体の選択画像全てにおける出現回数をインクリメントし、カウント値を更新する。ステップＳ３０６において、コンピュータ１００は、巡回画像集合から３０４において選択された選択画像を取り除く。ステップＳ３０７において、Ｓ３０４において選択された選択画像を選択画像集合に追加する。ステップＳ３０８において、コンピュータ１００は、選択画像集合に、巡回画像集合内被写体リスト内の被写体が同じ回数ずつ出現したかどうか判定する。ステップＳ３０８においてＹＥＳならば処理を終了し、ステップＳ３０８においてＮＯならばステップＳ３０４に戻る。
【００１９】
巡回選択処理１によって画像が選択される一例を説明する。ステップＳ３０１において、選択部１１４は、図４（ｄ２）のように一巡目の選択画像集合４０３−１を空に初期設定する。ステップＳ３０２において、図７（ｅ１）の入力画像集合４０１（Ｉｍｇ１、Ｉｍｇ２、・・・、Ｉｍｇ９）内に図７（ｅ１）のような巡回画像集合４０７（Ｉｍｇ１、Ｉｍｇ２、・・・、Ｉｍｇ９）を設定する。この場合、入力画像集合４０１全てを巡回画像集合４０７に設定したとする。ステップＳ３０３において、被写体リストから図７（ｅ２）のように巡回画像集合内被写体リストとして（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）を設定する。ステップＳ３０４において、選択部１１４は、次の（Ｓ１）、（Ｓ２）のように画像選択を行う。
【００２０】
（Ｓ１）巡回画像集合４０７（Ｉｍｇ１〜Ｉｍｇ９）の中から、選択画像集合内における出現回数が最小の被写体を含む画像を全て選び画像集合ＳＩｍｇｓとする。ここで、選択画像集合は現在初期値であるので、カウント部１１２による各被写体のカウント値は、（Ａ（０）、Ｂ（０）、Ｃ（０）、Ｄ（０）、Ｅ（０）、Ｆ（０））である。すると、画像集合ＳＩｍｇｓは全ての巡回画像集合（Ｉｍｇ１（１４）、Ｉｍｇ２（１０）、Ｉｍｇ３（１６）、Ｉｍｇ４（７）、Ｉｍｇ５（１２）、Ｉｍｇ６（８）、Ｉｍｇ７（１６）、Ｉｍｇ８（１３）、Ｉｍｇ９（１５））となる。
【００２１】
（Ｓ２）次に、選択部１１４は、画像集合ＳＩｍｇｓの中からポイントが最大の画像を選ぶ。また、ポイントが最大の同じ画像が複数ある場合には最も多く出現回数最小被写体を含む画像を選ぶ。選択部１１４は、最初の選択画像は、ポイントが１６で最大であり、かつ、最も多くの出現回数最小被写体（Ｂ（０）、Ｃ（０）、Ｄ（０））を含むＩｍｇ７となる。ステップＳ３０５において、カウント部１１２は、各被写体の出現回数をカウントする。Ｉｍｇ７を選択した段階での各被写体の出現回数は（Ａ（０）、Ｂ（１）、Ｃ（１）、Ｄ（１）、Ｅ（０）Ｆ（０））となる。ステップＳ３０６において、巡回画像集合４０７から選択画像を取り除く。すると巡回画像集合４０７は（Ｉｍｇ１，Ｉｍｇ２、Ｉｍｇ３、Ｉｍｇ４、Ｉｍｇ５、Ｉｍｇ６、Ｉｍｇ８、Ｉｍｇ９）となる。ステップＳ３０７において、選択画像集合に選択画像（＝Ｉｍｇ７）を追加する。ステップＳ３０８において、選択画像集合内で、巡回画像集合内被写体リスト４０８＝（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）の被写体が１回ずつ出現したかどうか判定する。この段階で出現している被写体は（Ｂ（１）、Ｃ（１）、Ｄ（１））なので、ステップＳ３０４に戻る。ステップＳ３０４において、選択部１１４は同様に上述の（Ｓ１）、（Ｓ２）のように行われる。（Ｓ１）巡回画像集合（Ｉｍｇ１，Ｉｍｇ２、Ｉｍｇ３、Ｉｍｇ４、Ｉｍｇ５、Ｉｍｇ６、Ｉｍｇ８、Ｉｍｇ９）の中から、選択画像集合（Ｉｍｇ７）内における出現回数が最小の被写体（Ａ（０）、Ｅ（０）、Ｆ（０））を含む画像を全て選ぶ。選んだ画像集合をＳＩｍｇｓとする。すると画像集合ＳＩｍｇｓは（Ｉｍｇ１（１４）、Ｉｍｇ２（１０）、Ｉｍｇ３（１６）、Ｉｍｇ５（１２）、Ｉｍｇ６（８）、Ｉｍｇ８（１３）、Ｉｍｇ９（１５））となる。（Ｓ２）次に画像集合ＳＩｍｇｓの中からポイントが最大の画像で、ポイントが同じ場合には最も多くの出現回数最小被写体を含む画像を選び、選択画像とする。すると選択画像はポイントが１６で最大であり、かつ、最も多くの出現回数最小被写体（Ａ（０）、Ｂ（０））を含むＩｍｇ３となる。
【００２２】
以下、同様に処理を繰り返し、全ての被写体が少なくとも１回登場するように画像を選択すると選択画像集合は（Ｉｍｇ７（１６）、Ｉｍｇ３（１６）、Ｉｍｇ９（１５）、Ｉｍｇ８（１３））となる（図７（ｆ１）の４０３−１）。一巡目の巡回選択処理１を終了する。アルバムに少なくとも２回各被写体を登場する画像を用いたい場合は、二順目の巡回選択処理１を行なう。二順目の巡回選択処理１における選択画像集合は（Ｉｍｇ２（１０））となる（図７（ｆ２））。一巡目と二巡目の選択では合計５枚の画像で、このときの各画像の出現回数は（Ａ（２）、Ｂ（４）、Ｃ（２）、Ｄ（２）、Ｅ（２）、Ｆ（２））である（図７（ｇ））。以上説明したように巡回選択処理１によれば、各被写体の構図に基づいて画像を評価し、評価の高い画像を用いつつ、各被写体が平等に出現する画像を選択することができる。
【００２３】
続いて、図２における上述の巡回選択処理１（Ｓ２０９）を終えた後の、ステップＳ２１１以降の処理について説明する。Ｓ２１１において、コンピュータ１００は、巡回選択処理を終えたと判定した場合、ステップ２１２において選択部１１４は、Ｓ２０２に設定した画像枚数から巡回選択処理１により選択した画像枚数に足りていなければ、残りの画像をポイントが大きい順に選択する。この場合には、例えば、図７（ｈ３）の（Ｉｍｇ３、Ｉｍｇ７、Ｉｍｇ９、Ｉｍｇ８、Ｉｍｇ２、Ｉｍｇ１）ように写真集合を選ぶ。
【００２４】
＜実施例１の効果＞
このように、画像に対するポイントは、被写体の構図情報の各項目に重み付けして算出する。そして、ポイントの高い構図の写真が選ばれた上で、かつ、全ての被写体が少なくとも１回ずつ出現するような写真集合を作成できる。また、ポイントの高い構図の写真が選ばれた上で、かつ、全ての被写体が出来るだけ均等に出現する写真集合を、少ない枚数の写真で作成できる。即ち、写真に付帯する構図情報を含む被写体情報から写真のポイントを算出し、被写体の構図が適切な写真を優先的に選択を行う。同時に、写真の被写体情報を用いて、被写体の数が、目的に応じて適切になる様に写真を選択する事が可能となる。例えが、アルバムに登場させる人物全てを所定回数以上登場させることができる。
【００２５】
（実施例２）
＜巡回選択処理２＞
本実施例においては巡回選択処理２を説明する。巡回選択処理２は、選択画像に含まれる被写体と同じ被写体を含む選択画像以外の画像のポイントを一定数減らす。そして、選択された画像に写る人物がなるべく登場しないような他の人物が写る画像を選択し、各被写体が平等に登場するよう画像を選択する。実施例１と異なる点について詳細に説明を行う。
【００２６】
図２のステップＳ２０９における巡回画像処理２を図８のフローチャートを用いて説明を行う。ステップＳ８０１〜Ｓ８０７の処理は巡回選択処理１のＳ３０１〜Ｓ３０７と同様であるので説明を省略する。ステップＳ８０８において、算出部１１３は、巡回画像集合内の画像に対して、選択画像（＝Ｉｍｇ７）に含まれる被写体（Ｂ、Ｃ、Ｄ）と同じ被写体を含む画像のポイントを一定数（ここでは、２ポイント）減らす。すると図９（ａ２）の画像の中でＢを含むＩｍｇ２、Ｉｍｇ３、Ｉｍｇ７、Ｉｍｇ９のポイントが２減らされ、Ｃを含むＩｍｇ４、Ｉｍｇ８のポイントが２減らされ、Ｄを含むＩｍｇ５、Ｉｍｇ８のポイントが２減らされる。その結果巡回画像集合内の画像のポイントは、図９（ｂ２）のように（Ｉｍｇ１（１４）、Ｉｍｇ２（８）、Ｉｍｇ３（１４）、Ｉｍｇ４（５）、Ｉｍｇ５（１０）、Ｉｍｇ６（８）、Ｉｍｇ８（９）、Ｉｍｇ９（１３））となる。ステップＳ８０９において、選択部１１４は、選択画像集合に巡回画像内被写体リスト４０８の被写体（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）が１回ずつ出現したかどうか判定する。このときの各被写体の出現回数は（Ａ（０）、Ｂ（１）、Ｃ（１）、Ｄ（１）、Ｅ（０）、Ｆ（０））なので、被写体Ａ、Ｅ、Ｆが未出現である。そこでステップＳ８０４に戻る。さらにステップＳ８０９においてＹＥＳと判定されるまで、ステップＳ８０４〜Ｓ８０９の処理を繰り返し行なう。すると次の選択画像はＩｍｇ３となる。選択部１１４による２枚目の画像が選択された際の選択画像集合は図９（ｃ１）のようになり、巡回画像集合４０７は図９（ｃ２）のようになる。算出部１１３は、Ｉｍｇ３に写る被写体を含む巡回画像集合の画像に対する評価を下げる。続いて、選択部１１４は、（Ｓ１）（Ｓ２）の基準に従い、その次の選択画像４０５はＩｍｇ５を選択する。選択画像集合は図９（ｄ１）のようになり、巡回画像集合４０７は図９（ｄ２）のようになる。算出部１１３は、Ｉｍｇ５に写る被写体を含む巡回画像集合の画像に対する評価を下げる。
【００２７】
その次の選択画像４０５はＩｍｇ６であり、選択画像集合は図９（ｅ１）のようになり、巡回画像集合４０７は図９（ｅ２）のようになる。このときの各被写体の出現回数をカウントすると、図９（ｅ３）のように（Ａ（１）、Ｂ（２）、Ｃ（１）、Ｄ（２）、Ｅ（１）、Ｆ（１））となる。ステップＳ８０９において、巡回画像内被写体リスト４０８の被写体が１回ずつ出現したと判定され、一巡目の巡回選択処理２を終了する。次に二順目の巡回選択処理２を同様に行うと、選択画像は、図１０に示す通り、Ｉｍｇ１、Ｉｍｇ８、Ｉｍｇ９と選択画像を選択する。このときの各被写体の出現回数をカウントすると、図１０（ｉ３）のように（Ａ（３）、Ｂ（３）、Ｃ（２）、Ｄ（３）、Ｅ（３）、Ｆ（２））となる。ステップＳ８０９において、巡回画像内被写体リストの被写体（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）が２回ずつ出現したかが出現したと判定され、二巡目の巡回選択処理２を終了する。
【００２８】
＜実施例２の効果＞
本実施形態では、一巡目の選択が終わった段階で、各被写体の出現回数は、図９（ｅ３）のように（Ａ（１）、Ｂ（２）、Ｃ（１）、Ｄ（２）、Ｅ（１）、Ｆ（１））となる。すなわち、本実施形態では、選ばれた写真に含まれる被写体と同じ被写体含む写真のポイントを減らすことで、同一の選択画像集合内で同一の被写体が重複して選ばれる回数を減らすことが出来る。従って、ユーザに配るアルバムに対して、ポイントの高い構図で、かつ、全ての被写体がよりに均等に現れる画像をより少ない枚数で選択することができる。
【００２９】
（実施例３）
＜巡回選択処理３＞
本実施例においては巡回選択処理３を説明する。巡回選択処理３では、画像選択の過程で、特定の被写体が他の被写体より多くの回数選ばれた場合には、多くの回数選ばれた被写体を含む画像を選択画像集合から取り除く。以下の説明では、このとき取り除かれる画像を「戻り画像」と呼ぶ。実施例１と異なる点について詳細に説明を行う。
【００３０】
図２のステップＳ２０９における巡回画像処理３を図１１のフローチャートを用いて説明を行う。ステップＳ１１０１〜Ｓ１１０７の処理は巡回選択処理１のＳ３０１〜Ｓ３０７と同様であるので説明を省略する。選択部１１４はＩｍｇ７を選択画像として選択し、ステップＳ１１０８において、カウント部１１２は、被写体の出現回数をカウントし、選択部１１４はその結果から選択画像集合から巡回画像集合に戻せる画像（＝戻り画像４０６）があるかどうか判定する。
【００３１】
この判定は次の（Ｒ１）〜（Ｒ３）ように行なう。（Ｒ１）現在Ｎ１回目の巡回選択処理が行われているとする。（Ｒ２）Ｎ１＋１回以上出現する被写体の集合をＧｒ（Ｎ１＋１）とする。（Ｒ３）ＩｍｇＢ（ＩｍｇＢ⊂選択画像集合）が含む被写体が全てＧｒ（Ｎ１＋１）に含まれれば、ＩｍｇＢを戻り画像とする。現在の被写体出現回数は、図１２（ｂ３）のように（Ａ（０）、Ｂ（１）、Ｃ（１）、Ｄ（１）、Ｅ（０）、Ｆ（０））である。すると、前記（Ｒ１）においてＮ１＝１である。また前記（Ｒ２）におけるＧｒ（Ｎ１＋１（＝２））は（空集合）である。従って前記（Ｒ３）において戻り画像は存在しない。従ってこの段階では、ステップＳ１１０８においてＮＯと判定される。ステップＳ１１０８においてＹＥＳならばステップＳ１１０９に進み、ステップＳ１１０８においてＮＯならばステップＳ１１１０に進む。ステップＳ１１１０において、選択画像集合内で、巡回画像集合内被写体リストの被写体が同じ回数ずつ出現したかどうか判定する。ステップＳ１１１０においてＹＥＳならば処理を終了し、ステップＳ１１１０においてＮＯならばステップＳ１１０４に戻る。
【００３２】
コンピュータ１００は同様に処理を繰り返し、次の選択画像として、Ｉｍｇ３（１６）を選択する。ステップＳ１１０８において、被写体の出現回数をカウントし、その結果から選択画像集合から巡回画像集合に戻せる画像があるかどうか判定する。ここで前記（Ｒ１）〜（Ｒ３）によって判定するとＮＯなので、ステップＳ１１１０に進む。ステップＳ１１１０において、被写体Ａ〜Ｆが少なくとも１回ずつ出現したかどうか判定する。すると、現在の各画像の出現回数は（Ａ（１）、Ｂ（２）、Ｃ（１）、Ｄ（１）、Ｅ（０）、Ｆ（０））でＮＯなので、ステップＳ１１０４に戻る。選択部１１４は同様に処理を繰り返し、次の選択画像として、Ｉｍｇ５（１５）を選択する。ステップＳ１１０８において、カウント部１１２は、被写体の出現回数をカウントし、選択部１１４は、その結果から選択画像集合から巡回画像集合に戻せる画像があるかどうか判定する。ここで前記の（Ｒ１）〜（Ｒ３）によって判定する。
【００３３】
前記（Ｒ１）においてＮ１＝１である。また前記（Ｒ２）におけるＧｒ（Ｎ１＋１（＝２））は（Ａ、Ｂ）である。従って前記（Ｒ３）において戻り画像４０６としてＩｍｇ３が存在する。従ってステップＳ１１０８でＹＥＳとなり、ステップＳ１１０９に進む。ステップＳ１１０９において、戻り画像４０６（＝Ｉｍｇ３）を選択画像集合４０３−１から巡回画像集合４０７に戻す。
【００３４】
すると、選択画像集合４０３−１は図１３（ｅ１）のようになり、巡回画像集合４０７は図１３（ｅ２）のようになる。そして、ステップＳ１１０８とステップＳ１１１０を経て、ステップＳ１１０４に戻る。ステップＳ１１０４において、選択画像４０５（＝Ｉｍｇ８（１３））が選択される。以後、上述の処理を繰り返し、選択画像集合４０３−１は図１３（ｇ１）のようになり、一巡目の巡回選択処理３を終了する。そして、同様に、二順目の巡回選択処理３を行なうと、選択画像集合が図１４（ｊ１）となり、各画像における各被写体の出現回数は（Ａ（２）、Ｂ（４、Ｃ（２）、Ｄ（２）、Ｅ（２）、Ｆ（２）でＹＥＳなので、二巡目の巡回選択処理３を終了する。
【００３５】
＜実施例３の効果＞
本実施例では、一巡目の選択が終わった段階で、各被写体の出現回数は、図１３（ｇ３）のように（Ａ（１）、Ｂ（１）、Ｃ（１）、Ｄ（１）、Ｅ（２）、Ｆ（１））となる。すなわち、画像選択の過程で選ばれた写真集合に含まれる被写体が他の被写体より特に多くの回数出現していた場合に、選ばれた写真から所定回数以上全ての被写体が登場しつつも特に多く登場する被写体が写る画像の選択を解除する。このようにして、ユーザに配るアルバムに対して、一般に実施例２より少ない写真枚数で、ポイントの高い構図で全ての被写体ができるだけ均等に現れる、図１３（ｇ１）の（Ｉｍｇ９、Ｉｍｇ８）のような写真集合が作成できる。即ち、一度選択された画像の選択を解除することにより少ない枚数で全ての人物が所定回数登場するようにアルバムに用いる画像を選択することができる。
【００３６】
（実施例４）
＜巡回選択処理４＞
本実施例においては巡回選択処理４を説明する。巡回選択処理４は、選択画像に含まれる被写体と同じ被写体を含む選択画像以外の画像のポイントが一定数減らされる。また、画像選択の過程で、選択画像集合において、特定の被写体（特定人物）が他の被写体より多くの回数選ばれた場合には、多くの回数選ばれた被写体を含む画像を選択画像集合から取り除く（解除手段）。
【００３７】
図１５のフローチャートを用いて、巡回選択処理４（図２、ステップＳ２０９）を詳細に説明する。ステップＳ１５０１〜ステップＳ１５０７の処理は巡回選択処理１のＳ３０１〜Ｓ３０７と同様であるので説明を省略する。ステップＳ１５０８において、巡回画像集合４０７内の画像に対して、選択画像４０５に含まれる被写体と同じ被写体を含む画像のポイントを一定数（＝Ｄ）減らす。ステップＳ１５０９において、被写体の出現回数をカウントし、その結果から選択画像集合から巡回画像集合に戻せる画像（＝戻り画像４０６）があるかどうか判定する。ここで前記実施例と同様に（Ｒ１）〜（Ｒ３）によって判定する。ステップＳ１５０９でＹＥＳならばステップＳ１５１０に進み、ステップＳ１５０９でＮＯならばステップＳ１５１２に進む。ステップＳ１５１０において、選択画像集合から巡回画像集合４０７に戻り画像４０６を戻す。ステップＳ１５１１において、戻り画像を選択画像集合に選択画像として追加した際に減らされた他画像のポイントを元に戻す。さらに、戻り画像を選択画像集合に追加した後に選択画像集合に追加され画像に含まれる被写体が戻り画像にｎ個含まれれば戻り画像のポイントをＤｎ減らす。ステップＳ１５１１の次に、ステップＳ１５０９に戻る。ステップＳ１５１２において、選択画像集合内で、巡回画像集合内被写体リストの被写体が同じ回数ずつ出現したかどうか判定する。ステップＳ１５１２でＹＥＳならば巡回選択処理４を終了し、ステップＳ１５１２でＮＯならばステップＳ１５０４に戻る。
【００３８】
＜実施例４の効果＞
本実施例では、選ばれた写真に含まれる被写体と同じ被写体含む写真のポイントを減らすことで、同一の選択画像集合内で同一の被写体が重複して選ばれることを減らすことが出来る。さらに、画像選択の過程で選ばれた写真集合に含まれる被写体が他の被写体より特に多くの回数出現していた場合に、選ばれた写真から被写体の組み合わせを保ったまま取り除ける写真を探して取り除く。即ち、アルバムに用いる画像としての選択を解除する。これによって、ユーザに配るアルバムに対して、少ない写真枚数で、ポイントの高い構図で全ての被写体が出来るだけ均等に現れる写真集合が作成できる。
【００３９】
（実施例５）
＜被写体優先順位設定（Ｃが主体）＞
本実施例においては、アルバム作成処理の被写体優先順位設定（図２、ステップＳ２０６）において、何れの被写体を主体とするかを設定し、主体となる被写体がより多く登場するように画像を選択する例について説明する。図１６を用いて、被写体Ｃを主体としてアルバムに使用する画像を選択する例を説明する。図２のステップＳ２０５においてＹＥＳを選択し、ステップＳ２０６において、コンピュータ１００は、被写体優先順位の設定を行なう。画像ポイント算出処理（図２、ステップＳ２０４）を終えた段階で、図７（ｅ）のように画像にポイントがついているものとする。ステップＳ２０６において、Ｃを主体として設定すると、算出部１１３は、図１６（ａ）のように入力画像集合１内の被写体Ｃを含む画像の評価をより高くするようにポイントを＋１０加算する。そして、巡回選択処理１（図３）を５回行なう。ここで、最初の３回の巡回選択処理１では巡回集合内被写体リストを（Ｃ）と設定し、後の２回の巡回選択処理１では巡回集合内被写体リストを（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）と設定する。主体となる被写体の枚数をより多く選択しつつも、他の被写体の登場枚数も均等にするためである。
【００４０】
最初の巡回選択処理１では、巡回集合内被写体リストが（Ｃ）なので、選択画像集合４０３−Ｃ１が図１６（ｂ１）のように（Ｉｍｇ７）となる。二回目の巡回選択処理１では、巡回集合内被写体リストが（Ｃ）なので、選択画像集合４０３−Ｃ２が図１６（ｂ２）のように（Ｉｍｇ８）となる。三回目の巡回選択処理１では、巡回集合内被写体リストが（Ｃ）なので、選択画像集合４０３−Ｃ３が図１６（ｂ３）のように（Ｉｍｇ４）となる。四回目の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）なので、選択画像集合４０３−１が図１６（ｃ１）のように（Ｉｍｇ３）となる。五回目の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）なので、選択画像集合４０３−２が図１６（ｄ１）のように（Ｉｍｇ９、Ｉｍｇ２）となる。
【００４１】
＜実施例５の効果＞
本実施形態は、被写体Ｃに配るアルバムに使用する写真集合を作成する場合に効果的である。この場合に、図１６（ｂ１）、（ｂ２）、（ｂ３）のように被写体Ｃが写っていてかつポイントの高い構図の写真集合（Ｉｍｇ７）、（Ｉｍｇ８）、（Ｉｍｇ４）を優先して選ぶことが出来る。また残りの写真を図１６（ｃ１）の（Ｉｍｇ３）ように選ぶ。すると、被写体Ｃに配るアルバムの写真集合として（Ｉｍｇ７、Ｉｍｇ８、Ｉｍｇ４、Ｉｍｇ３）が選ばれる。このとき、各被写体の出現回数は、図１６（ｃ２）のように、（Ａ（１）、Ｂ（２）、Ｃ（３）、Ｄ（２）、Ｅ（１）、Ｆ（１））である。このように、特定の被写体Ｃが多くの回数選ばれ、他の被写体が出来るだけ均等に現れる写真集合を作成できる。
【００４２】
（実施例６）
＜被写体優先順位設定（Ａ、Ｂが主体）＞
図２のアルバム作成処理のフローチャートと、図１７を用いて、本実施例においては、被写体Ａと被写体Ｂを主体としてアルバムに使用する画像を選択する実施例を説明する。本実施形態では、アルバム作成処理の被写体優先順位設定（図２、ステップＳ２０６）において、被写体Ａと被写体Ｂを主体とするかを設定する。また、本実施形態では巡回選択処理１（図３）を５回行なう。ここで、最初の３回の巡回選択処理１では巡回集合内被写体リストを（Ａ、Ｂ）と設定し、後の２回の巡回選択処理１では巡回集合内被写体リストを（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）と設定する。これらの巡回選択条件の設定や変更は、ステップＳ２０７およびステップＳ２１０において行なう。ステップＳ２０５においてＹＥＳを選択し、ステップＳ２０６において被写体優先順位の設定を行なう。また、ステップＳ２１１において、巡回選択の終了を判定する。今、画像ポイント算出処理（図２、ステップＳ２０４）を終えた段階で、図７（ｅ）のように画像にポイントがついているものとする。ステップＳ２０６において、ＡとＢを主体に設定すると、図１７（ａ）のように入力画像集合１内の被写体ＡまたはＢを含む画像のポイントがそれぞれ＋１０とする。最初の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ）なので、選択画像集合４０３−ＡＢ１が図１７（ｂ１）のように（Ｉｍｇ３）となる。二回目の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ）なので、選択画像集合４０３−ＡＢ２が図１７（ｂ２）のように（Ｉｍｇ９）となる。三回目の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ）なので、選択画像集合４０３−ＡＢ３が図１７（ｂ３）のように（Ｉｍｇ７、Ｉｍｇ１）となる。四回目の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）なので、選択画像集合４０３−１が図１７（ｃ１）のように（Ｉｍｇ２）となる。五回目の巡回選択処理１では、巡回集合内被写体リストが（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）なので、選択画像集合４０３−２が図１７（ｄ１）のように（Ｉｍｇ８）となる。
【００４３】
＜実施例６の効果＞
本実施例は、被写体Ａと被写体Ｂが新郎新婦であるような、結婚式で配るアルバムに使用する写真集合を作成する場合に適用する。この場合には、図１７（ｂ１）、（ｂ２）、（ｂ３）のように、まず、被写体Ａと被写体Ｂが写っていて、かつ、ポイントの高い写真（Ｉｍｇ３）、（Ｉｍｇ９）、（Ｉｍｇ７、Ｉｍｇ１）を優先して選ぶ。そして、残りの写真を、図１７（ｃ１）の（Ｉｍｇ２）ように選ぶ。すると、各被写体の出現回数は、図１７（ｃ２）のように、（Ａ（３）、Ｂ（４）、Ｃ（１）、Ｄ（１）、Ｅ（１）、Ｆ（１））となる。すると、被写体Ａと被写体Ｂが特に多く出現し、残りの参加者が均等に出現するような写真集合を作成できる。
【００４４】
（実施例７）
＜被写体優先順位設定（被写体Ａ〜Ｆに優先順位を設定）＞
本実施例においては、図１８を用いて、被写体Ａ〜Ｆに優先順位を設定してアルバムに使用する画像を選択する実施例を説明する。本実施形態では、アルバム作成処理の被写体優先順位設定（図２、ステップＳ２０６）において、全ての被写体Ａ〜Ｆに優先順位を設定する。画像ポイント算出処理（図２、ステップＳ２０４）を終えた段階で、図７（ｅ）のように画像にポイントがついているものとする。ステップＳ２０６において、被写体Ａ〜Ｆに優先順位を設定すると、図１８（ａ）のように入力画像集合１内の被写体Ａを含む画像のポイントが＋５となる（これをＡ（＋５）と記述する）。同様に、優先順位の設定の結果、Ｂ（＋５）、Ｃ（＋１０）、Ｄ（＋２０）、Ｅ（＋０）、Ｆ（＋１５）となる。より優先度が高い被写体が含む画像を高く評価するためである。本実施形態では、ステップＳ２０９において、巡回選択処理１を用いて画像を選択する。一巡目の巡回選択処理１で、選択画像集合４０３−１は図１８（ｂ１）のように（Ｉｍｇ８、Ｉｍｇ７、Ｉｍｇ３）となる。二順目の巡回選択処理１で、選択画像集合４０３−２は図１８（ｂ２）のように（Ｉｍｇ２、Ｉｍｇ５、Ｉｍｇ９）となる。ステップＳ２１２で残りの画像を選択すると、残りの選択画像集合４０３−３は図１８（ｂ３）のように（Ｉｍｇ６、Ｉｍｇ１、Ｉｍｇ４）となる
＜実施例７の効果＞
本実施例では、被写体に優先順位を設定することにより、優先順位の高い被写体の写っている写真のポイントが高くなる。これによって、優先順位を高く設定した被写体が多くの回数出現するような写真集合を作成できる。
【００４５】
（実施例８）
＜各撮影時間帯から均等に画像を選択＞
本実施例では、入力画像集合の部分集合から撮影時間帯ごとに分類した複数の巡回画像集合（グループ）を形成し、各撮影時間帯（以下では、イベント１、イベント２、・・・と表す）に対して形成された巡回画像集合内で、巡回画像集合内被写体リストを設定する。次に、巡回選択処理１を繰り返し適用して画像を選択する。
【００４６】
まず、図１９（ａ１）に示すように、入力画像集合４０１内に巡回画像集合４０７−１と巡回画像集合４０７−２を設定する（分類手段）。ここでは、画巡回画像集合４０７−１はイベント１の画像から形成され、画巡回画像集合４０７−２はイベント２の画像から形成されているものとする。初めの２回の巡回選択処理１では、巡回画像集合４０７−１を（Ｉｍｇ１、Ｉｍｇ２、Ｉｍｇ３、Ｉｍｇ４、Ｉｍｇ５）と、巡回画像内被写体リスト４０８を（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）と設定する。すると、一回目の巡回選択処理１では、選択画像集合４０３−Ｅ１１は図１９（ａ２）のように（Ｉｍｇ３、Ｉｍｇ５、Ｉｍｇ２、Ｉｍｇ４）となる。二回目の巡回選択処理１では、選択画像集合４０３−Ｅ１２は図１９（ａ３）のように（Ｉｍｇ１）となる。後の２回の巡回選択処理１では、巡回画像集合４０７−２を（Ｉｍｇ６、Ｉｍｇ７、Ｉｍｇ８、Ｉｍｇ９）と、巡回画像内被写体リスト４０８を（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）と設定する。すると、三回目の巡回選択処理１では、選択画像集合４０３−Ｅ２１は図１９（ａ４）のように（Ｉｍｇ７、Ｉｍｇ９、Ｉｍｇ８）となる。四回目の巡回選択処理１では、選択画像集合４０３−Ｅ２２は図１９（ａ５）のように（Ｉｍｇ６）となる。
【００４７】
＜実施例８の効果＞
本実例では、読み込んだ写真を撮影時間帯ごとに分類し、撮影時間帯ごとに写真を出来るだけ均等に選択して、アルバムに使用する写真集合を作成できる。また各撮影時間帯では、被写体が出来るだけ均等に出現するように写真画像を選択して、アルバムに使用する写真集合を作成できる。したがって、各イベント毎に、各被写体の構図が優れた画像により各被写体が１回以上登場するように画像を選択することができる。即ち、複数の画像をグループに分類し、夫々のグループにおいて少なくとも１枚ずつアルバムに用いる画像として選択することができる。
【００４８】
（実施例９）
＜各撮影場所から均等に画像を選択＞
本実施例では、入力画像集合の部分集合から撮影場所ごとに分類した複数の巡回画像集合を形成し、各撮影場所に対して形成された巡回画像集合内で、巡回画像集合内被写体リストを設定する。次に、巡回選択処理１を繰り返し適用して画像を選択する。
【００４９】
まず、図２０（ｂ１）に示すように、入力画像集合４０１内に巡回画像集合４０７−１〜３を設定する。ここでは、画巡回画像集合４０７−１は撮影場所１の画像から、巡回画像集合４０７−２は撮影場所２の画像から、巡回画像集合４０７−３は撮影場所３の画像から形成されているものとする。一回目の巡回選択処理１では、巡回画像集合４０７−１を（Ｉｍｇ１、Ｉｍｇ２、Ｉｍｇ３）と、巡回画像内被写体リスト４０８を（Ａ、Ｂ、Ｆ）と設定する。すると、選択画像集合４０３−Ｐ１１は図２０（ｂ２）のように（Ｉｍｇ３、Ｉｍｇ２）となる。二回目の巡回選択処理１では、巡回画像集合４０７−２を（Ｉｍｇ４、Ｉｍｇ５、Ｉｍｇ６、Ｉｍｇ７）と、巡回画像内被写体リスト４０８を（Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）と設定する。すると、選択画像集合４０３−Ｐ２１は図２０（ｂ３）のように（Ｉｍｇ７、Ｉｍｇ５、Ｉｍｇ６）となる。三回目の巡回選択処理１では、巡回画像集合４０７−３を（Ｉｍｇ８、Ｉｍｇ９）と、巡回画像内被写体リスト４０８を（Ａ，Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）と設定する。すると、選択画像集合４０３−Ｐ３１は図２０（ｂ３）のように（Ｉｍｇ９、Ｉｍｇ８）となる。残りの選択画像集合４０３−Ｐ４１は図２０（ｂ５）のように（Ｉｍｇ１、Ｉｍｇ４）となる。
【００５０】
＜実施例９の効果＞
本実施形態では、読み込んだ写真を撮影場所ごとに分類し、撮影場所ごとに写真を出来るだけ均等に選択して、アルバムに使用する写真集合を作成できる。また各撮影場所内では、被写体が出来るだけ均等に出現するように写真画像を選択して、アルバムに使用する写真集合を作成できる。したがって、各撮影場所毎に、各被写体の構図が優れた画像により、各被写体が１回以上登場するように画像を選択することができる。
【００５１】
（実施例１０）
本実施形態では、アルバム全体として各被写体のバランスを考慮した画像選択を行う例について説明する。構図を考慮して実施例２と同様にパーティーなどで写真を撮影し、その参加者に配るアルバムに使用する写真を選択する場合について述べる。また、本実施形態では、各画像の被写体毎のポイントを被写体の構図から算出する。本実施形態を、図２１、図２２のフローチャートを用いて説明する。まず、ステップＳ２１０１において、コンピュータ１００は、画像を読み込み、入力画像集合２３０１を（Ｉｍｇ１〜Ｉｍｇ１２）のように設定する（図２３（ａ））。各画像に付いているメタデータは被写体名と被写体の構図情報である。被写体名は人名であり、被写体の構図情報は、人物全体の領域情報と、顔領域の情報と、当該領域における被写体毎のポイント情報を含む。例えば、図２４（ａ１）のような画像には、図２４（ｂ１）のようなポイント情報を持つメタデータが付いている。また、図２４（ａ２）のような画像には、図２４（ｂ２）のようなポイント情報を持つメタデータが付いている。以下、（ａ３）には（ｂ３）、（ａ４）には（ｂ４）のポイント情報を持つメタデータが対応する。
【００５２】
ここでは、中心人物と両脇の人物からなる３人の構図（ａ１）、２人からなる構図（ａ２）、顔のアップからなる構図（ａ３）、１人からなる構図（ａ４）の４種類の構図の例と対応するポイント情報を示した。しかし実際には、さらに人数の多い構図や被写体の構図が異なる構図がポイント情報と共に定められていても良い。続いてステップＳ２１０２において、コンピュータ１００は、作成しようとするアルバムのページ数と使用する画像枚数を設定する。ステップＳ２１０３において、被写体リスト２３０２を（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）のように設定し（図２３（ｂ））、入力画像集合２３０１内の画像への被写体毎のメタデータ付与（図２３（ｃ））を行なう。その結果、ステップＳ２１０４において、算出部１１３は、画像の被写体毎のポイント算出処理を行なう。画像に対するポイントは、図２４（ｂ１）、（ｂ２）のようなメタデータから、被写体の構図情報の位置に対応するポイントを用いて算出する。例えば図２４（ｂ１）のように、人物Ａが左に、人物Ｂが真中に、人物Ｃが右に、三人とも上半身が並ぶ構図で並んでいて、三人とも正面を向いている画像があるとする。このとき、３人の人物が画像内で図２４（ｂ１）のような領域に存在しているとき、人物Ａが左にいるポイントを１、人物Ｂが真中にいるポイントを２、人物Ｃが右にいるポイントを１とする。
【００５３】
そして、図２３（ｂ１）のような構図の画像のポイントを、人物Ａが１ポイント、人物Ｂが２ポイント、人物Ｃが１ポイントとそれぞれ個別に集計する。また、例えば図２３（ｂ２）のように、画面内に、人物Ａ及び人物Ｂが二人で並んでいる場合には、人物Ａ、人物Ｂ共に、２ポイントずつとして集計する。同様に、図２３（ｂ３）の場合は、人物Ｂが１人で、顔のアップで写っている為に、人物Ｂに５ポイントが集計され、図２３（ｂ４）の場合は、人物Ａが１人で写ってはいるが、やや小さい立像の為に、人物Ａに３ポイントが集計される事となる。このような方法で、入力画像集合２３０１内の各画像に対してポイントを算出すると、図２３（ｄ１）に示す様な、各画像の被写体毎のポイントが確定する。ステップＳ２１０５で被写体選択の優先順位を付けない場合にはＮＯを選択して、ステップＳ２１０７に移る。もし、ここで被写体選択に優先順位を付ける場合には、２３図（ｄ１）で確定したポイントに対して、優先順位を上げたい人物のポイントに対して、一律に１倍以下の値を乗じる事で、ポイントを減じる事で、優先順位を上げる事が可能である。次にステップＳ２１０７において、コンピュータ１００は、巡回選択処理の終了条件となる、アルバム用に選択する画像についての被写体のポイント集計値の下限値の設定を行う。
【００５４】
この終了条件は、ステップＳ２１０４で算出した各画像の持つポイント（図２３（ｄ１））の合計値及び被写体リスト（図２３（ｂ））に登録された被写体の数を基に決定される。例えば、上記より算出された被写体一人あたりのポイントの平均値（約６．１７）より小さく設定される値となり、本実施例においては、「６」と設定する。ステップＳ２１０８において、各画像からアルバム用に選択された画像についての被写体毎の集計ポイントを、選択開始に先立ってそれぞれ０に設定する。ステップＳ２１０９において、巡回選択処理５によって一巡目の画像選択を行なう。
【００５５】
図２２の巡回選択処理５（図２１、ステップＳ２１０９）で巡回選択処理が開始されると、ステップＳ２２０１において、選択画像集合（図２３）２３０３−１がクリアされて空になる。ステップＳ２２０２において、入力画像集合（図２５）２５０１の内部にその部分集合である巡回画像集合２５０７を設定する。ステップＳ２２０３において、巡回画像集合内の被写体リスト２３０２を設定する。ステップＳ２２０４において、巡回画像集合２５０７内の画像から、画像を選択し選択画像２５０５とする。ステップＳ２２０４では、選択画像２５０５は、次の（Ｓ１）、（Ｓ２）のようにして選択される。（Ｓ１）被写体リスト２３０２の中から、被写体毎のポイント集計値が最小の被写体を抽出する。一巡目においては、選択画像集合２３０３−１はクリアされており空である為に被写体毎のポイント集計値は、全て０ポイントとなる。即ち（Ｓ１）においては、全ての被写体が抽出される事となる。（Ｓ２）次に巡回画像集合から、Ｓ１で抽出された被写体それぞれに対して、最もポイントの高い画像が選択画像として選択される。
【００５６】
図２５の２５０４（ｇ１）は各巡回において被写体毎に選択された画像と、それに伴い修正された各被写体のポイントを示す図である。即ち本実施例では、上記（Ｓ２）において、被写体Ａに対しては５ポイントのＩｍｇ１が、被写体Ｂに対しては３ポイントのＩｍｇ４が選択されている。以下同様に、被写体Ｃから被写体Ｆまでの各被写体により、Ｉｍｇ２、Ｉｍｇ５、Ｉｍｇ３、Ｉｍｇ６が選択されている。図２５の２５０４においては、被写体に対応する数字が記載されている画像が選択された画像とポイントを示しており、括弧付きの数字は、選択された画像に伴って他の被写体が獲得したポイントを示す。この時、選択画像２５０５の候補が同じポイントで複数存在する場合には、まだ選択されていない巡回画像集合の前方にある被写体を含む画像を優先して選択する。次に、ステップ２２０５において、選択画像により各被写体が獲得したポイントが集計される。図２５の２５０４において、右端に並ぶ数値は、巡回によって獲得された被写体毎のポイント集計値を示す。ステップＳ２２０６においては、巡回画像集合２５０７から選択画像２５０５が取り除かれ、次回の巡回画像集合となる。ステップＳ２２０７においては、選択画像２５０５を選択画像集合２３０３−１に追加する。ステップＳ２２０８においては、巡回画像集合が空であるか否かが判定され、空である場合には巡回を終了する。また、巡回画像集合が空ではない場合には、Ｓ２２０９に進み、全ての被写体のポイント値がＳ２１０７で設定された値を超えたか否かが判定され、超えた場合には巡回を終了し、Ｓ２１１０に戻る。またＳ２２０９において全ての被写体のポイント値が設定値を超えていない場合には、Ｓ２２０４に戻り、次の巡回処理を行う。即ち、１回目の巡回においては、図２５の２５０４−１の表に示す様なポイントが集計され、２５０５−１に示す画像が選択される。以後、２回目の巡回においては、図２６の２５０４−２及び２５０５−２に示すポイント値と画像の選択が、また３回目の巡回においては、図２６の２５０４−３及び２５０５−３に示すポイント値と画像の選択が行われる。
【００５７】
この時、３回目の巡回の結果、２５０４−３の表の右端に示す各被写体のポイント値は４から７の値を示しており、３回目のＳ２２０９においても、Ｎｏと判定され４回目の巡回が開始される。４回目の巡回においては、図５の２５０４−４及び２５０５−４に示すポイント値と画像の選択が行われ、全ての被写体のポイント値はＳ２１０７で設定された終了条件の設定値６を超えた為に図２２の巡回処理が終了される。その結果、選択画像集合２３０３−１には、Ｉｍｇ１からＩｍｇ９までの画像が選択される事になる。本実施例においては、選択される候補となる入力画像が全て選択される例を示したが、終了条件を適切に設定することで多量の画像からアルバムに用いる枚数分の画像を選択することが可能となる。その後、Ｓ２１１０においては、Ｓ２１０２で設定したアルバムのページ数が、選択画像集合では埋まらない場合には、選択されなかった画像から残りの画像を順番に、あるいはランダムに選択を行う。Ｓ２１１１においては、選択された画像をアルバムに適用する為のレイアウト処理が行われる。当該レイアウト処理においても、様々な処理が可能であるが、ここでは詳細を省略する。次のＳ２１１２及びＳ２１１３において、印刷処理及び製本処理が行われ、アルバムが完成する事となる。
【００５８】
＜実施例１０の効果＞
以上説明した様に、本実施例によれば、アルバムに使用する画像を選択する際に、各画像における被写体の構図情報を基に選択を行う事が出来る。即ち、一人であるいは少人数で写っている構図を持つ被写体の画像を選択した場合には、その他の構図の画像を少なく選択する。また反対に、いつも端にしか写っていない被写体の場合には、選択する画像の枚数を多くする事で、アルバムの中でバランスのとれた画像の選択を実現する事が可能となる。さらに、多くの被写体が、一人あるいは少人数で写っている構図の画像を持つ場合には、よりポイントの高い画像を選択する事で、アルバムの品位を向上させることが可能である。
【００５９】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６０】
１００  コンピュータ
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  表示部
１０５  操作部
１０６  記憶部
１０７  画像記憶部
１０８  選択画像記憶部
１１０  リスト記憶部
１１０  被写体リスト記憶部
１１２  カウント部
１１３  算出部
１１４  選択部
１１５  レイアウト部
１１６  印刷部
１１７  製本部
【図１】
0005930653.tif 000002
【図２】
0005930653.tif 000003
【図３】
0005930653.tif 000004
【図４】
0005930653.tif 000005
【図５】
0005930653.tif 000006
【図６】
0005930653.tif 000007
【図７】
0005930653.tif 000008
【図８】
0005930653.tif 000009
【図９】
0005930653.tif 000010
【図１０】
0005930653.tif 000011
【図１１】
0005930653.tif 000012
【図１２】
0005930653.tif 000013
【図１３】
0005930653.tif 000014
【図１４】
0005930653.tif 000015
【図１５】
0005930653.tif 000016
【図１６】
0005930653.tif 000017
【図１７】
0005930653.tif 000018
【図１８】
0005930653.tif 000019
【図１９】
0005930653.tif 000020
【図２０】
0005930653.tif 000021
【図２１】
0005930653.tif 000022
【図２２】
0005930653.tif 000023
【図２３】
0005930653.tif 000024
【図２４】
0005930653.tif 000025
【図２５】
0005930653.tif 000026
【図２６】
0005930653.tif 000027