(57)【要約】【課題】  画像群の中から、多くの人物を含む画像を効率よく検索できる画像検索装置、画像検索方法、及びこの画像検索装置、画像検索方法によって検索された画像を再生する画像再生装置、画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムを提供する。【解決手段】  複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し個人を特定する個人特定部２２と、個人特定部２２による個人の特定結果に基づいて、複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索する画像検索部２５を備える。  【選択図】  図１
2009232022.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定する個人特定部と、
上記個人特定部による個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索する画像検索部と、
を備えたことを特徴とする画像検索装置。
【請求項２】
上記画像検索装置は、画像の種類に応じて画像を分類する画像分類部をさらに備え、上記複数の画像は上記画像分類部で分類したいずれかの画像群に属することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
複数の画像の中から、上記複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定するステップと、
上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索するステップと、
を備えたことを特徴とする画像検索方法。
【請求項４】
上記画像の種類を表す情報を表示する表示部と、この表示部に表示した上記画像の種類を表す情報の中から所望の情報を選択する選択部と、この選択部を選択する操作に応答して上記画像検索部で検索した画像を表示する画像表示部と、を備えたことを特徴とする上記請求項２に記載の画像検索装置により検索した画像を再生する画像再生装置。
【請求項５】
上記画像の種類を表す情報を表示するステップと、上記画像の種類を表す情報の中から所望の情報を選択するステップと、この所望の情報を選択する操作に応答して上記検索した画像を表示するステップと、を備えたことを特徴とする上記請求項２に記載の画像検索装置により検索した画像を再生する画像再生方法。
【請求項６】
複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定するステップと、
上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索するステップと、
をコンピュータに実行させるための画像検索用プログラム。
【請求項７】
複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定するステップと、
上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索するステップと、
上記検索した画像を表示するステップと、
をコンピュータに実行させるための画像再生用プログラム。
【請求項８】
上記画像を検索するにあたって、上記複数の画像を分類し、この分類に属する画像についてのみ検索を行うことを特徴とする請求項７に記載の画像再生用プログラム。
【請求項９】
複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定する個人特定ステップと、
上記個人特定ステップによる個人の特定結果に基づいて、上記複数の画像に含まれる画像のうち、最も多くの人物が含まれる第１の画像を抽出するステップと、
上記第１の画像に含まれない人物が最も多く含まれる第２の画像を抽出するステップと、
をコンピュータに実行させるための画像検索用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法、画像再生装置および画像再生方法に関し、詳しくは、複数の撮影画像の中から一つまたは複数の代表的な画像を検索する画像検索装置、画像検索方法、これを再生するようにした画像再生装置、画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの技術革新によって、記録メディアの大容量化が進んできている。また、フィルム時代のカメラと比較し、格段に連写機能も向上しており、カメラユーザーは、気楽に撮影を楽しむことができ、大量の画像を得るようになってきている。
【０００３】
ところで、イベントや旅行などで撮影した画像を参加者が同時に鑑賞する機会があるが、このような場合にはなるべく多くの人物が写っている画像を鑑賞するほうが楽しいものである。しかし、なるべく多数の人物が写っている画像を、大量の画像の中から無秩序に探して鑑賞するのでは、時間がかかってしまい、楽しい雰囲気をしらけてしまうおそれがある。また、イベントや旅行のあとで、どのような人物が参加していたなど懐かしむことがある。そのような場合も、多数の画像を無秩序に探すのでは時間がかかってしまう。
【０００４】
複数の画像対象の検索として、特許文献１には、複数の画像の中から所望の対象物が写っている画像を表示させる画像表示方法が提案されている。すなわち、特許文献１に記載の画像表示方法は、画像毎にその画像に写っている人物などの対象物の種類と数をタグ情報として記録しておき、検索時には対象物の種類と数を入力することにより、所望の画像をすばやく検索できるようにしている。
【特許文献１】特開２００６−２６１９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の画像表示方法では、検索の条件として対象物の数を入力する必要があり、なるべく多くの人物が写っている画像を探しだすことは困難である。すなわち、過去に撮影した画像においては、人物の数を正確に記憶していないことが多く、なるべく多くの人物が写っている画像を探しだそうとすると、試行錯誤で人物の数を入力するしかなく、検索に時間がかかってしまう。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、複数の画像の中から、多くの人物を含む画像を効率よく検索できる画像検索装置、画像検索方法、この画像検索装置、画像検索方法によって検索された画像を再生する画像再生装置、画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像検索装置は、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定する個人特定部と、上記個人特定部による個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索する画像検索部と、を備える。
【０００８】
第２の発明に係わる画像検索表示装置は、上記第１の発明において、上記画像検索装置は、画像の種類に応じて画像を分類する画像分類部をさらに備え、上記複数の画像は上記画像分類部で分類したいずれかの画像群に属する。
【０００９】
第３の発明に係わる画像検索方法は、複数の画像の中から、上記複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索するステップと、を備える。
【００１０】
第４の発明に係わる画像再生装置は、上記第２の発明における画像検索装置により検索した画像を再生する画像再生装置であって、上記画像の種類を表す情報を表示する表示部と、この表示部に表示した上記画像の種類を表す情報の中から所望の情報を選択する選択部と、この選択部を選択する操作に応答して上記画像検索部で検索した画像を表示する画像表示部と、を備える。
【００１１】
第５の発明に係わる画像再生方法は、上記第２の発明における画像検索装置により検索した画像を再生する画像再生方法であって、上記画像の種類を表す情報を表示するステップと、上記画像の種類を表す情報の中から所望の情報を選択するステップと、この所望の情報を選択する操作に応答して上記検索した画像を表示するステップと、を備える。
【００１２】
第６の発明に係わる画像検索用プログラムは、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索するステップと、をコンピュータに実行させる。
【００１３】
第７の発明に係わる画像再生用プログラムは、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定するステップと、上記個人の特定結果に基づいて、上記複数の画像に含まれるすべての人物を含み、且つ画像数が最小となるように上記複数の画像の中から画像を検索するステップと、上記検索した画像を表示するステップと、をコンピュータに実行させる。
第８の発明に係わる画像再生用プログラムは、上記第７の発明において、上記画像を検索するにあたって、上記複数の画像を分類し、この分類に属する画像についてのみ検索を行う。
【００１４】
第９の発明に係わる画像検索用プログラムは、複数の画像の中から、この複数の画像のそれぞれの画像に含まれる人物の顔画像を検出し、個人を特定する個人特定ステップと、上記個人特定ステップによる個人の特定結果に基づいて、上記複数の画像に含まれる画像のうち、最も多くの人物が含まれる第１の画像を抽出するステップと、上記第１の画像に含まれない人物が最も多く含まれる第２の画像を抽出するステップと、をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、複数の画像の中から、多くの人物を含む画像を効率よく検索できる画像検索装置、画像検索方法、この画像検索装置、画像検索方法によって検索された画像を再生する画像再生装置、画像再生方法、およびコンピュータに実行させるための画像検索用プログラム、画像再生用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本実施形態におけるカメラは、撮影した画像について、登場人物の数、画像のシーンやイベントの種類を記録しておき、シーンやイベントの種類によって決まる画像群の中で、登場人物が最も多くなるような一つまたは複数の画像を検索し、再生を行う。
【００１７】
図１は本発明の一実施形態に係わるカメラの構成を示すブロック図である。このカメラはデジタルカメラであり、このカメラは、撮像部１１、光学系制御部１２、時計部１３、記録部１４、出力部１５、顔検出部１６、制御部２０を有し、これらの各部はデータバス１０に接続されている。
【００１８】
撮像部１１は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部１２は、撮像部１１内の光学系のピント合わせ等の制御を行う。時計部１３は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。
【００１９】
記録部１４は、撮像部１１から出力され圧縮処理された画像データを撮影画像として記録する。また、時計部１３で得られた日時情報は、撮影画像を記録部１４に記録する際に、撮影画像と一緒にファイル化して記録される。さらに、後述する顔検出部１６、シーン分類部２２、個人特定部２４、およびイベント分類部２５における判定結果は、画像に関する情報ファイルとして、記録部１４に記録される。情報ファイルは、テーブル化されており、（１）各画像に誰が写っているか、また何人写っているか、（２）イベント毎のまとまりの画像群の情報、（３）イベントのシーン種類等の情報が記録されている。詳しくは図３を用いて後述する。
【００２０】
出力部１５は、プリンタ、テレビ、パソコン等の外部機器に画像データ等に出力を行う。後述する画像検索部２３によって検索された画像もここから出力される。顔検出部５は、撮影待機状態において、撮像部１１から出力されるスルー画（ライブビューともいう）用の画像データに、顔パターン判定を行って、顔の部分の検出を行う。また、撮影後には、撮影画像と共に、顔検出部１６によって検出された顔検出情報（検出人数）を前述の情報ファイルに記録する。
【００２１】
制御部２０は、このカメラの全体制御を行い、画像処理部２１、個人特定部２２、シーン分類部２３、イベント分類部２４、および画像検索部２５を有し、画像処理部２１を除けば、ソフトウエアによって実行される。画像処理部２１は、撮像部１１から出力されるデジタル画像データの画像処理や圧縮処理を行う。ここで圧縮処理された画像データは記録部１４において記録される。
【００２２】
個人特定部２２は、顔検出部１６によって検出された顔検出情報を基に、画像内の全員の顔の特徴量を計測し、個人を特定する。ここで、特定された情報を基に画像内の人数と誰であるかの情報は記録部１４に情報ファイルの内の情報として記録される。なお、この個人特定部２２による特定動作は、カメラのパワーオフ時に実行される。
【００２３】
イベント分類部２４は、画像がどのイベントに属するかを決定する。このイベント分類動作は、パワーオフ時に、１回の起動中に撮影された画像群を既存イベントに追加するか、新規イベントに設定するかを判定する。記録部１４には、このイベント単位で複数の画像の共通情報を情報ファイルに記録する。
【００２４】
シーン分類部２３は、イベント分類部２４によって分類されたイベント単位で、複数の画像について、顔検出の割合、撮影日時の偏り、光源を検出し、この結果に基づいて、スナップ、旅行、屋内イベント、屋外イベントの種類にシーンを分類し、この分類情報を記録部１４の情報ファイルに記録する。
【００２５】
画像検索部２５は、記録部１４に記録されている情報ファイルを基にし、イベント単位で複数の画像の中から、全員が登場し、しかも画像の枚数が最小となるように画像の検索を行う。
【００２６】
操作部３２は、レリーズ釦、撮影モードや再生モードの設定部材、表示部におけるカーソルの操作部材やその決定操作部材等、カメラの各種操作部材であり、ユーザーによって操作される。操作判定部３１は、ユーザーによる操作部３２の操作状態を判定し、この判定結果を制御部２０に出力する。制御部２０はこの操作状態に応じて、カメラの制御を行う。
【００２７】
表示部３４は、カメラの背面等に配置された液晶モニタ等の表示装置で構成され、制御部２０からの指示を受け、記録部１４に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のスルー画（ライブビュー）表示も行う。また、記録部１４に記録されている情報ファイルに記録された情報に基づいて、再生時には、イベント毎（イベント番号、撮影日時、シーン種類）に画像の表示を行う。表示部３４の表示制御を行うのが、表示制御部３３である。
【００２８】
このように構成されたカメラにおける動作を図２に示すフローチャートを用いて説明する。パワースイッチがオンとなり、このフローに入ると、まず、撮影者が撮影モードに設定したか、それとも再生モードに設定したかの判定を行う（Ｓ１）。判定の結果、撮影モードに設定していた場合には、顔検出部１６によって顔検出を行う（Ｓ３）。顔検出は、撮像部１１によって取得したスルー画用の被写体の画像データを用いて行う。
【００２９】
次に、レリーズ釦が操作され、撮影を行うか否かの判定を行う（Ｓ５）。ステップＳ５における判定の結果、撮影動作を行わない場合には、ステップＳ１に戻り、前述の動作を行う。本実施形態においては、撮影モードが選択され、撮影動作を実行しない場合には、撮像部１１によって取得した被写体像を用いて、顔検出を繰り返し、実行している。
【００３０】
ステップＳ５における判定の結果、レリーズ釦が操作された場合には、撮影動作を実行する（Ｓ７）。このステップにおいて、撮像部１１によって撮像を行い、静止画の画像データを取得する。撮影画像の画像データを取得すると、次に、撮影の直前にステップＳ３において、顔検出部１６によって検出された、画像に含まれる顔の数等の顔検出情報をテーブル化し（Ｓ９）、記録部１４は、撮影した撮影画像と顔検出情報を含む情報ファイルを記録する（Ｓ１１）。また、撮影画像と共に、時計部１３から出力された撮影日時情報や、ホワイトバランスや補助光源の使用状態等、種々の撮影情報も記録部１４に記録される。
【００３１】
記録が終わると、パワーオフか否かの判定を行う（Ｓ１３）。ユーザーによってパワーオフ操作されると、カメラの主電源はオフとなり、パワースイッチ以外の操作部材の操作ではカメラは動作しなくなる。ただし、このパワーオフ時も制御部２０内の個人特定部２２等は動作可能である。ステップＳ１３における判定の結果、パワーオフでなかった場合には、ステップＳ１に戻る。
【００３２】
一方、ステップＳ１３における判定の結果、パワーオフの場合には、個人特定を行う（Ｓ１５）。このステップでは、記録部１４によって記録された撮影画像に撮像されている人物について、個人特定部２２は個人特定を行う。
【００３３】
個人特定が終わると、次に、イベント分類を行う（Ｓ１７）。このステップでは、撮影画像と共に記録された撮影日時情報に基づいて、イベント分類部２４が一群の画像群に分類する。イベント分類の詳細については、図４を用いて後述する。
【００３４】
イベント分類が終わると、次に、シーン分類を行う（Ｓ１９）。シーン分類は、イベント分類によって分類された画像群について、そのシーンの種類分けを行うものであり、本実施形態においては、スナップ、旅行、屋外イベント、屋内イベントの４種類に分ける。シーン分類の詳細については、図５を用いて後述する。
【００３５】
ステップＳ１５における個人特定、ステップＳ１７におけるイベント分類、ステップＳ１９におけるシーン分類を行うと、それぞれのステップで実行結果を情報ファイルに書き込む。図３に撮影画像と情報ファイルの例を示す。図３の例では、イベント分類によって分類された一群の複数の画像であり、（ａ）〜（ｆ）に示す６駒の画像とそれぞれの画像に対応する情報、および（ｇ）に示すイベント情報とから構成される。
【００３６】
図３（ａ）に示す例では、撮影画像（０００１．ＪＰＧ）の情報として、人物Ａ、Ｂ、Ｃからなる３人の顔が検出され、シーンは屋外である。図３（ｂ）に示す例では、撮影画像（０００２．ＪＰＧ）の情報として、人物Ｂ、Ｄからなる２人の顔が検出され、シーンは屋外である。図３（ｃ）に示す例では、撮影画像（０００３．ＪＰＧ）の情報として、顔は検出されず、シーンは屋外である。
【００３７】
図３（ｄ）に示す例では、撮影画像（０００４．ＪＰＧ）の情報として、人物Ａのみ、１人の顔が検出され、シーンは屋外である。図３（ｅ）に示す例では、撮影画像（０００５．ＪＰＧ）の情報として、顔は検出されず、シーンは屋外である。図３（ｆ）に示す例では、撮影画像（０００６．ＪＰＧ）の情報として、人物Ｅ、Ｆからなる２人の顔が検出され、シーンは屋外である。
【００３８】
図３（ｇ）は、図３（ａ）〜（ｆ）からなる一群の複数の画像に関する情報を示している。すなわち、これらの一群の複数の画像は、イベント番号が０００１であり、画像は０００１〜０００６で構成され、登場人物はＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６人であり、シーン分類は屋外イベントである。これらの撮影画像とテーブル化された情報は、前述したように、パワーオフ時に、判定されて記録部１４に記録される。
【００３９】
ステップＳ１における判定の結果、再生モードであった場合には、次に、通常再生か否かの判定を行う（Ｓ２１）。本実施形態における撮影画像の再生表示には、通常再生とグループ再生の２種類を用意している。通常再生は、公知の再生表示であり、記録部１４に記録されている撮影画像を選択して表示するモードである。
【００４０】
ステップＳ２１における判定の結果、通常再生であった場合には、公知の再生表示を行う（Ｓ２５）。一方、ステップＳ２１における判定の結果、通常再生ではなかった場合には、グループ再生を行う（Ｓ２３）。このグループ再生の詳細については、図７を用いて後述する。
【００４１】
次に、図４に示すフローチャートを用いてステップＳ１７（図２）のイベント分類について説明する。イベント分類は、撮影画像と共に記録されている撮影日時情報に基づいて行う。同一のイベントであれば、前回の撮影と今回までの撮影の撮影日時は近接していると想定し、イベント分類を行っている。本実施形態においては、この間隔は２４時間に設定してあるが、勿論、これ以外にも、例えば、１２時間、１８時間等、適宜設計値として設定しておけばよい。
【００４２】
イベント分類のサブルーチンに入ると、まず、今回の撮影が前回の撮影から２４時間以内か否かの判定を行う（Ｓ３１）。この判定の結果、２４時間以内であれば、前回のイベントとして扱い、この撮影画像は前回のイベントに追加する（Ｓ３３）。ステップＳ３１における判定の結果、２４時間以内でなかった場合には、新規のイベントとして扱い、この撮影画像は新規イベントに設定する（Ｓ３５）。ステップＳ３３またはステップＳ３５の処理が終わると、元のフローに戻る。
【００４３】
次に、図５に示すフローチャートを用いてステップＳ１９（図２）のシーン分類について説明する。シーン分類は、撮影画像に添付して記録されている撮影情報に基づいて行う。すなわち、顔検出画像の割合、撮影日時の偏り、光源に関する情報を用いて、スナップ、旅行、屋外イベント、屋内イベントの４種類に分類する。
【００４４】
シーン分類のサブルーチンに入ると、まず、前回の撮影から２４時間以内か否かの判定を行う（Ｓ４１）。シーン分類はイベント分類が確定した後、この同一イベントの画像群に基づいて行うことから、前回の撮影から２４時間経過していない場合には、シーン分類を行わない。
【００４５】
ステップＳ４１における判定の結果、前回の撮影から２４時間以内の場合には、イベント未定とし（Ｓ５９）、このシーン未定を記録部１４に記録する（Ｓ６１）。すなわち、図３に示した例において、図３（ａ）〜（ｆ）の情報ファイル中のシーンに未定を記録し、図３（ｇ）の情報ファイル中のイベントについて未定を記録する。この記録が終わると、元のフローに戻る。
【００４６】
ステップＳ４１における判定の結果、前回の撮影から２４時間を越えている場合には、イベントを確定する。すなわち、図３に示した例において、図３（ａ）〜（ｆ）の撮影画像を同一イベントに属するとして確定し、また図３（ｇ）の情報ファイル中のイベント番号を記録する。
【００４７】
続いて、ステップＳ４３において確定された一群の複数の画像において、顔検出画像の割合が所定値より多いか少ないかの判定を行う（Ｓ４５）。この判定の結果、顔検出が少ない場合には、スナップ撮影が多いとしてスナップを情報ファイルに記録し（Ｓ５３）、元のフローに戻る。
【００４８】
ステップＳ４５における判定の結果、顔検出画像の割合が多かった場合には、次に、撮影日時の偏りも判定する（Ｓ４７）。この判定の結果、撮影日時の偏りが分散していた場合には、旅行を情報ファイルに記録し（Ｓ５５）、元のフローに戻る。
【００４９】
ステップＳ４７における判定の結果、撮影日時の偏りが集中していた場合には、次に、光源が人工光であるか、太陽光であるかの判定を行う（Ｓ４９）。この光源の判定は、撮影画像と共に記録されているホワイトバランスに関する情報や補助光源の使用に関する情報等に基づいて行う。
【００５０】
ステップＳ４９における判定の結果、光源が太陽光であった場合には、屋外イベントを情報ファイルに記録し（Ｓ５１）、光源が人工光であった場合には、屋内イベントを情報ファイルに記録する（Ｓ５７）。これらの記録が終わると、元のフローに戻る。
【００５１】
図６にシーン分類の例を示す。イベントＡは、飲み会のケースであるが、顔検出の割合が多く、撮影日時が集中しており、かつ人工光で撮影されていることから屋内イベントと判定されている。イベントＢは２泊３日の旅行の例であるが、顔検出の割合が多く、撮影日時の偏りが分散していることから旅行と判定されている。
【００５２】
また、イベントＣは運動会のケースであるが、顔検出の割合が多く、撮影日時の偏りが集中しており、太陽光で撮影されていることから屋外イベントと判定されている。イベントＤは結婚式のケースであるが、顔検出の割合が多く、撮影日時が集中しており、かつ人工光で撮影されていることから屋内イベントと判定されている。イベントＥは、顔検出の割合が少ないことから、スナップと判定されている。
【００５３】
次に、図７に示すフローチャートを用いてステップＳ２３（図２）のグループ再生について説明する。グループ再生は、指定したイベントにおいて、最小の画像数で全員を鑑賞することのできる再生モードである。このグループ再生が選択されると、図１０に示すように、グループ再生表示１００が表示部３４に表示される。
【００５４】
グループ再生のサブルーチンに入ると、まず、イベント名をリスト表示する（Ｓ７１）。イベント名のリスト表示としては、例えば、図１０に示すようにイベント表示１０１が表示され、後述するようにカーソル操作部材を操作することにより、順次、イベント表示１０２、１０３が表示される。ここで、各イベント表示１０１〜１０３においては、イベント番号、撮影月日、シーンがそれぞれ表示される。
【００５５】
次に、ユーザーがイベント名のリスト表示から閲覧したいイベントを選択したか否かの判定を行う（Ｓ７３）。この判定の結果、イベントが選択されていない場合には、カーソル操作がなされたか、またはキャンセル操作がなされたか否かの判定を行う（Ｓ７５）。判定の結果、カーソル操作がなされていた場合には、カーソル操作、すなわち、カーソル操作に応じてイベント表示１０１〜１０３の切り替えを行い（Ｓ７７）、ステップＳ７３に戻る。一方、ステップＳ７５における判定の結果、キャンセル操作がなされていた場合には、元のフローに戻る。
【００５６】
ステップＳ７３における判定の結果、イベントの選択がなされた場合には、抽出処理を行う（Ｓ７９）。この抽出処理は、最小の画像数で全員を抽出できる一つまたは複数の画像を抽出するステップである。この抽出処理のサブルーチンの詳細は図８を用いて後述する。
【００５７】
抽出処理が終わると、この抽出処理において抽出された閲覧候補の画像を表示する（Ｓ８１）。すなわち、図１０に示すように、閲覧候補の画像１１１〜１１４を、操作部材が操作される毎に、順次、表示する。続いて、閲覧候補の画像のいずれかが選択されたか、またはキャンセルがなされたか否かの判定を行う（Ｓ８３）。この判定の結果、キャンセルされた場合には、ステップＳ７１に戻り、イベント名をリスト表示する。
【００５８】
ステップＳ８３における判定の結果、閲覧候補の画像の中から画像が選択された場合には、この画像を選択し（Ｓ８５）、この画像を出力部１５より、プリンタ等に出力する（Ｓ８７）。画像出力が終わると、ステップＳ７１に戻り、ステップＳ７５においてキャンセル操作がなされると、元のフローに戻る。
【００５９】
次に、ステップ７９の抽出処理のサブルーチンについて、図８に示すフローチャートを用いて説明する。このフローに入ると、まず、最も多くの人物を含む画像の抽出を行う（Ｓ９１）。すなわち、今選択されているイベントに属する複数の画像の中から、情報ファイルに記録されている顔検出の検出数に基づいて、最も多くの人物を含む画像の抽出を行う。
【００６０】
続いて、ステップＳ９１で抽出された画像によって全員が抽出されたか否かの判定を行う（Ｓ９３）。この判定の結果、全員を抽出していた場合には、元のフローに戻り、ステップＳ８１において抽出した画像を表示する。
【００６１】
ステップＳ９３における判定の結果、全員が抽出されていなかった場合には、抽出した画像以外の画像から、抽出した画像に含まれる人物を除く人物を最も多く含む画像を抽出する（Ｓ９５）。この抽出が終わると、ステップＳ９３に戻り、全員が抽出されるまで、ステップＳ９３とステップＳ９５を繰り返し実行する。ステップＳ９３における判定の結果、全員が抽出されると、元のフローに戻る。
【００６２】
次に、図８に示した抽出処理のより具体的な例について、図９に示すフローチャートを用いて説明する。この抽出処理のサブルーチンに入ると、まず、同一イベントに属する複数の画像の中から抽出する画像数ｎとして、１を設定する（Ｓ１０１）。続いて、設定された抽出画像数ｎの画像において、登場人物のＯＲ集合、すなわち、登場人物の和集合を求める（Ｓ１０３）。
【００６３】
続いて、登場人物の和集合の結果が全員をカバーしているか否かを判定する（Ｓ１０５）。情報ファイルには個人特定が記録されており（図３（ｇ）参照）、このステップでは、特定されている個人が全員、抽出されているか否かを判定する。
【００６４】
ステップＳ１０５における判定の結果、全員がカバーされていなかった場合には、抽出画像数ｎでとりうる全組合せについて判定を行ったか否かの判定を行う（Ｓ１１１）。この判定の結果、全組合せについて判定を行っていなかった場合には、組合せを変え（Ｓ１１３）、ステップＳ１０３に戻り、再び登場人物の和集合を求める。
【００６５】
ステップＳ１１１における判定の結果、全組合せで判定を行っていた場合には、抽出画像数ｎに１を加算し（Ｓ１１３）、ステップＳ１０３に戻り、再び登場人物の和集合を求める。
【００６６】
上述の一連の判定を繰り返す内に、ステップＳ１０５における判定の結果、全員をカバーすることができた場合には、全員をカバーすることのできた画像を選択する（Ｓ１０７）。選択が終わると、元のフローに戻り、ステップＳ８１において、閲覧候補画像の表示を行う。このサブルーチンにおいては、抽出画像数ｎとして、１から検索を始めているので、最小の抽出画像数で全員をカバーすることのできる画像を選択することができる。
【００６７】
以上説明したように、本実施形態においては、複数の画像の中から、顔検出部１６によって人物の顔画像を検出し、さらに個人特定部２２において顔画像に基づいて個人を特定している。そして、複数の画像から画像を検索するにあたって、個人特定部による個人の特定結果に基づいて、複数の画像に含まれる全ての人物を含み、且つ画像数が最小となるように、画像検索部２５によって複数の画像の中から画像を選択している。
【００６８】
このため、本実施形態においては、画像群の中から、多くの人物を含む画像を効率よく検索することができる。また、画像を再生表示するにあたって、同じ人物ばかりが登場することを防ぐことができ、再生表示が単調となることがない。また、少ない画像数で、被写体の全員の顔が確認できるので、被写体の検索を効率よく行うことも可能である。例えば、Ａさんの写った写真を早く見つけたい時には、全員の顔をすばやく一覧にし、それで得られた画像からＡさんの顔を見つけ、画面上にカーソルを動かしたり、タッチパネルでＡさんの顔を指示したりすれば、次の表示画像は、Ａさんが写っている別画像になる、といった応用が可能になる。このように、本実施形態におけるカメラは、特定の画像検索にも効力を発揮することができる。
【００６９】
また、本実施形態においては、複数の画像を分類し、同一分類内で、全登場人物をカバーする最小数の画像を求めている。このため、画像検索にかかる時間を短縮することができる、また、この画像検索の結果に基づいて再生表示した場合には、同一分類であることから、鑑賞者も理解しやすく楽しむことができる。
【００７０】
なお、本実施形態においては、撮影待機時に顔検出を行っていたが、この検出は撮影待機時に行わずに、パワーオフ時等、別のタイミングで行うようにしてもよい。
【００７１】
また、本実施形態においては、カメラで撮影した画像をカメラ内でグループ再生の処理を行って、カメラの表示装置や外部の表示装置で再生表示するようにしていたが、カメラで撮影した画像をパーソナルコンピュータに記憶させ、この記憶された画像に基づいてグループ再生を行い、再生表示等を行うようにしても良い。
【００７２】
さらに、本実施形態における、イベント分類やシーン分類は例示であって、複数の画像を適宜、画像群に分類付けできれば良く、他の分類を採用しても勿論かまわない。
【００７３】
さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００７４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図３】本発明の一実施形態において、撮影画像と情報ファイルの構成を示す図であり、（ａ）〜（ｆ）は各撮影画像と情報ファイルの構成を示し、（ｇ）はイベント内容を示す情報ファイルを示す図である。
【図４】本発明の一実施形態に係わるカメラにおけるイベント分類の動作を示すフローチャートである。
【図５】本発明の一実施形態に係わるカメラにおけるシーン分類の動作を示すフローチャートである。
【図６】本発明の一実施形態において、シーン分類の例を示す図である。
【図７】本発明の一実施形態に係わるカメラにおけるグループ再生の動作を示すフローチャートである。
【図８】本発明の一実施形態に係わるカメラにおける抽出処理の動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラにおける抽出処理のより具体的な動作を示すフローチャートである。
【図１０】本発明の一実施形態において、グループ再生時の表示を示す図である。
【符号の説明】
【００７６】
１０・・・データバス、１１・・・撮像部、１２・・・光学系制御部、１３・・・時計部、１４・・・記録部、１５・・・出力部、１６・・・顔検出部、２０・・・制御部、２１・・・画像処理部、２２・・・個人特定部、２３・・・シーン分類部、２４・・・イベント分類部、２５・・・画像検索部、３１・・・操作判定部、３２・・・操作部、３３・・・表示制御部、３４・・・表示部、１００・・・グループ再生表示、１０１・・・イベント表示、１０２・・・イベント表示、１０３・・・イベント表示、１１１・・・画像、１１２・・・画像、１１３・・・画像、１１４・・・画像
【図１】
2009232022.tif 000003
【図２】
2009232022.tif 000004
【図３】
2009232022.tif 000005
【図４】
2009232022.tif 000006
【図５】
2009232022.tif 000007
【図６】
2009232022.tif 000008
【図７】
2009232022.tif 000009
【図８】
2009232022.tif 000010
【図９】
2009232022.tif 000011
【図１０】
2009232022.tif 000012