(57)【要約】【課題】複数の画像から特定の被写体領域を含む特定画像を検索する際、新たに画像が追加されても検索処理に時間が掛かることがないようにする。【解決手段】ＣＰＵ１０１は管理情報に画像が特定画像の候補である候補画像であるか否かを示す被写体検索情報が存在するか否かを判定し、被写体検索情報が存在しないと被写体の特徴量データが登録されている被写体辞書を参照して、画像において検出された被写体の特徴量データと被写体辞書の特徴量データとを比較することにより特定画像の候補を検索する。一方、被写体検索情報が存在すると、ＣＰＵは被写体検索情報に基づき特定画像の候補を検索する。【選択図】図１
2014026596.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像から特定の被写体領域を含む特定画像を検索する画像処理装置であって、
前記画像の各々についての管理情報を格納する格納手段と、
前記管理情報に被写体検索情報が存在するか否かを判定する判定手段と、
前記判定手段によって前記被写体検索情報が存在しないと判定された場合、被写体の特徴量データが登録されている被写体辞書を参照して、前記画像において検出された被写体の特徴量データと前記被写体辞書の特徴量データとを比較することにより前記特定画像の候補を検索する第１の処理手段と、
前記判定手段によって前記被写体検索情報が存在すると判定された場合、前記被写体検索情報に基づき前記特定画像の候補を検索する第２の処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記管理情報に前記特定画像であることを示す特定情報が含まれていると、当該管理情報が付加された画像を前記特定画像として確定して確定画像とする第３の処理手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定画像の検索を行う場合に、前記第３の処理手段、第２の処理手段、第１の処理手段の順番で検索を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の処理手段は前記特定画像の候補を候補画像である旨の表示を付加して表示部に表示することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第３の処理手段は前記確定画像を表示部に表示することを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体辞書が更新されると、前記被写体辞書が更新される前の前記被写体検索情報に応じて前記特定画像の候補ではないとされた画像および前記被写体検索情報が存在しないとされた画像について、前記第１の処理手段は更新後の被写体辞書を参照して前記被写体検索情報を求めることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記被写体検索情報は、前記画像が前記特定画像の候補である候補画像、前記特定画像と確定した確定画像、前記特定画像の候補ではない非候補画像、および前記特定画像ではない否定画像のいずれかであることを示すことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記被写体検索情報は前記特定画像と前記画像との類似の度合いを示す類似度であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記被写体辞書が更新されると、更新後の被写体辞書における前記特徴量データと前記画像の特徴量データとを比較して前記被写体検索情報を更新する更新手段を有することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記特定画像の候補である候補画像を前記確定画像および前記否定画像のいずれかに設定する設定手段を有することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記第２の処理手段は表示部に前記特定画像の候補である候補画像を表示する際、前記類似度が高い順に前記候補画像を前記表示部に表示することを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記被写体辞書が更新されると、前記第１の処理手段は更新前の被写体辞書における類似度が所定の閾値以上である画像について、更新後の被写体辞書を参照して前記被写体検索情報を求めることを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
前記被写体辞書が更新されると、前記第１の処理手段は、更新前の被写体辞書における類似度が所定の閾値以上である画像、更新前の被写体辞書における類似度が存在しない画像、および更新前の被写体辞書における類似度が前記所定の閾値未満の画像の順に、更新後の被写体辞書を参照して前記被写体検索情報を求めることを特徴とする請求項８に記載の画像処理装置。
【請求項１４】
前記被写体辞書が更新されると、前記第１の処理手段は更新前の被写体辞書における類似度が所定の閾値以上である画像について前記類似度が高い順にソートした後、更新後の被写体辞書を参照して前記被写体検索情報を求めることを特徴とする請求項８に記載の画像処理装置。
【請求項１５】
前記被写体辞書が更新されると、前記第２の処理手段は前記被写体辞書が更新される前の類似度に応じて前記特定画像の候補である候補画像を求めて、当該候補画像を表示部に表示し、前記第１の処理手段によって更新後の被写体辞書に応じて求められた類似度が所定の閾値未満であると、前記表示部に表示した前記候補画像を非表示とすることを特徴とする請求項８に記載の画像処理装置。
【請求項１６】
前記被写体領域は顔領域であることを特徴とする請求項１〜１５のいずれか１項に記載の画像処理装置。
【請求項１７】
複数の画像から特定の被写体領域を含む特定画像を検索する画像処理装置の制御方法であって、
前記画像の各々ついての管理情報をメモリに格納する格納ステップと、
前記管理情報に被写体検索情報が存在するか否かを判定する判定ステップと、
前記判定ステップで前記被写体検索情報が存在しないと判定された場合、被写体の特徴量データが登録されている被写体辞書を参照して、前記画像において検出された被写体の特徴量データと前記被写体辞書の特徴量データとを比較することにより前記特定画像の候補を検索する第１の処理ステップと、
前記判定ステップで前記被写体検索情報が存在すると判定された場合、前記被写体検索情報に基づき前記特定画像の候補を検索する第２の処理ステップとを有することを特徴とする制御方法。
【請求項１８】
複数の画像から特定の被写体領域を含む特定画像を検索する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記画像の各々ついての管理情報をメモリに格納する格納ステップと、
前記管理情報に被写体検索情報が存在するか否かを判定する判定ステップと、
前記判定ステップで前記被写体検索情報が存在しないと判定された場合、被写体の特徴量データが登録されている被写体辞書を参照して、前記画像において検出された被写体の特徴量データと前記被写体辞書の特徴量データとを比較することにより前記特定画像の候補を検索する第１の処理ステップと、
前記判定ステップで前記被写体検索情報が存在すると判定された場合、前記被写体検索情報に基づき前記特定画像の候補を検索する第２の処理ステップとを実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の被写体像を含む画像を検索する画像処理装置、その制御方法、および制御プログラムに関し、特に、特定の顔を含む候補画像を検索する画像報処理装置に関する。
【背景技術】
【０００２】
一般に、被写体が撮影された画像から、被写体像の顔領域を検出する顔検出技術が知られており、さらに、当該顔領域が誰の顔であるかその人物を特定する顔認証技術が実用化されている。
【０００３】
このような顔認証技術を用いたＰＣアプリケーションにおいては、ＰＣに保存された画像から顔領域を検出し、当該検出された顔領域の顔認証を行って、その画像に人物名を画像に付与することが行われている。そして、人物名を用いて画像の検索を行うようにしている。
【０００４】
ところで、顔認証を行うため、所謂顔辞書と呼ばれる辞書がＰＣに備えられている。ここで、顔辞書とは画像における人物（例えば、顔）の特徴量と人物名とを関連づけた辞書である。例えば、人物の特徴量が近い画像をグルーピングしてモニターに表示し、当該グループに対して人物名を付加すると、これら画像の特徴量と人物名とを関連づけた顔辞書が生成される。
【０００５】
従来、特定顔を含む画像を検索する手法として、画像において検出された顔領域の特徴量と顔辞書に含まれる特定顔の特徴量とを比較するようにしたものがある。そして、ここでは、検出された顔領域が特定顔であると、顔辞書に検出された顔領域が含まれる画像（つまり、画像ファイル）のファイル番号（ファイルエントリー）を保持するようにしている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−３９７２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、多数の画像から特定顔を含む画像を候補画像として検索して利用する際には、まず、全ての画像の各々に関して特徴量を求める。そして、画像毎にその特徴量と顔辞書に登録済の特徴量と比較した結果得られた類似度に応じて候補画像の判定を行う必要がある。
【０００８】
このように全ての画像について類似度を求めて候補画像であるか否かの判定を行うとなると、処理負荷が増大するばかりでなく、処理に時間が掛かってしまう。
【０００９】
一方、上述の特許文献１においては、特定顔を含む画像ファイルのファイルエントリーを保持しているので、ファイルエントリーが保持された画像ファイルについて高速に検索を行うことができる。
【００１０】
ところが、ＰＣなどの画像処理装置に新たに画像ファイル（単に画像とも呼ぶ）が追加されると、当該新たに追加された画像ファイルについてはそのファイルエントリーが保持されていないので、候補画像の検索から除外されてしまう。
【００１１】
この結果、候補画像を再度検索し直すとすると、画像処理装置に以前から存在しかつ候補画像となっていない画像ファイルについても検索が行われるので、結果的に検索処理に時間が掛かってしまう。
【００１２】
さらに、顔辞書が更新された際に、再度候補画像を検索すると、顔辞書が更新されているので前述の類似度を再度計算する必要があり、この点においても処理に時間が掛かってしまう。
【００１３】
従って、本発明の目的は、新たに画像が追加された際においても検索処理に時間が掛かることのない画像処理装置、その制御方法、および制御プログラムを提供することにある。
【００１４】
また、本発明の他の目的、顔辞書が更新された際に、検索処理に時間が掛かることのない画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するため、本発明による画像処理装置は、複数の画像から特定の被写体領域を含む特定画像を検索する画像処理装置であって、前記画像の各々についての管理情報を格納する格納手段と、前記管理情報に被写体検索情報が存在するか否かを判定する判定手段と、前記判定手段によって前記被写体検索情報が存在しないと判定された場合、被写体の特徴量データが登録されている被写体辞書を参照して、前記画像において検出された被写体の特徴量データと前記被写体辞書の特徴量データとを比較することにより前記特定画像の候補を検索する第１の処理手段と、前記判定手段によって前記被写体検索情報が存在すると判定された場合、前記被写体検索情報に基づき前記特定画像の候補を検索する第２の処理手段とを有することを特徴とする。
【００１６】
本発明による制御方法は、複数の画像から特定の被写体領域を含む特定画像を検索する画像処理装置の制御方法であって、前記画像の各々ついての管理情報をメモリに格納する格納ステップと、前記管理情報に被写体検索情報が存在するか否かを判定する判定ステップと、前記判定ステップで前記被写体検索情報が存在しないと判定された場合、被写体の特徴量データが登録されている被写体辞書を参照して、前記画像において検出された被写体の特徴量データと前記被写体辞書の特徴量データとを比較することにより前記特定画像の候補を検索する第１の処理ステップと、前記判定ステップで前記被写体検索情報が存在すると判定された場合、前記被写体検索情報に基づき前記特定画像の候補を検索する第２の処理ステップとを有することを特徴とする。
【００１７】
本発明による制御プログラムは、複数の画像から特定の被写体領域を含む特定画像を検索する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像の各々ついての管理情報をメモリに格納する格納ステップと、前記管理情報に被写体検索情報が存在するか否かを判定する判定ステップと、前記判定ステップで前記被写体検索情報が存在しないと判定された場合、被写体の特徴量データが登録されている被写体辞書を参照して、前記画像において検出された被写体の特徴量データと前記被写体辞書の特徴量データとを比較することにより前記特定画像の候補を検索する第１の処理ステップと、前記判定ステップで前記被写体検索情報が存在すると判定された場合、前記被写体検索情報に基づき前記特定画像の候補を検索する第２の処理ステップとを実行させることを特徴とする。
【発明の効果】
【００１８】
新たに画像が追加された際においても検索処理に時間が掛かることがなく、さらに、被写体辞領域書である顔辞書が更新された際にも検索処理に時間が掛かることがない。
【図面の簡単な説明】
【００１９】
【図１】図１は本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【図２】図１に示す表示部に表示されるユーザインターフェース画面の一例を示す図である。
【図３】図１に示す二次記憶装置に格納されたデータの構造を示す図であり、（ａ）は顔辞書データの構造を示す図、（ｂ）は画像メタデータの構造を示す図、（ｃ）は更新後の画像メタデータの構造を示す図である。
【図４】図１に示す画像処理装置で行われる特定顔に類似する類似顔を有する画像を検索する検索処理の一例を説明するためのフローチャートである。
【図５】図１に示す画像処理装置で行われる特定顔に類似する類似顔を有する画像を検索する検索処理の他の例を説明するためのフローチャートである。
【図６】図１に示す画像処理装置において類似顔画像検索のさらに他の例を説明するためのフローチャートであり、（ａ）は顔辞書が更新された際の類似顔画像検索の第１の例を示す図、（ｂ）は顔辞書が更新された際の類似顔画像検索の第２の例を示す図、（ｃ）は顔検索情報をリセットした際の類似顔画像検索の例を示す図である。
【図７】図１に示す画像処理装置で行われる特定顔に類似する類似顔を有する画像を検索する検索処理のさらに他の例を説明するためのフローチャートである。
【図８】本発明の第２の実施形態による画像処理装置で生成されるデータベースについて説明するための図である。
【図９】本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索の一例を説明するためのフローチャートである。
【図１０】図９に示す検索表示処理を説明するためのフローチャートである。
【図１１】本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索の他の例を説明するためのフローチャートである。
【図１２】本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索のさらに他の例を説明するためのフローチャートである。
【図１３】図１２に示す類似度ソート検索処理を説明するためのフローチャートである。
【図１４】図１３に示す候補画像リスト検索処理を説明するためのフローチャートである。
【図１５】本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索のさらに他の例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態による画像処理装置について図面を参照して説明する。
【００２１】
［第１の実施形態］
図１は本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【００２２】
画像処理装置はＣＰＵ１０１を有しており、ＣＰＵ１０１は画像処理装置全体の制御を司る。このＣＰＵ１０１にはＲＡＭなどの一次記憶装置１０４およびハードディスクなどの二次記憶装置１０５が接続されている。
【００２３】
二次記憶装置１０２には、検索対象となる画像（画像ファイル）、登録された人物名、および画像と人物名との関連づけが関連付けデータとして記録されたデータベースが保存されている。
【００２４】
さらに、ＣＰＵ１０１には表示部１０２、操作部１０３、および外部接続装置１０６が接続されている。表示部１０２には検索の結果得られた画像などが表示される。操作部１０３は、例えば、マウスおよびキーボードを有している。外部接続装置１０６は、例えば、ＵＳＢであり、デジタルカメラなどが接続される。そして、外部接続装置１０６を介して二次記憶装置１０５にデジタルカメラから画像などが取り込まれて保存される。
【００２５】
図２は、図１に示す表示部に表示されるユーザインターフェース画面の一例を示す図である。
【００２６】
ユーザが特定の被写体領域である顔（特定顔）に類似する類似顔が撮影された画像（特定画像）を検索するための検索操作を操作部１０３から行うと、ＣＰＵ１０１は表示部１０２にユーザインターフェース画面２０１を表示する。
【００２７】
このユーザインターフェース画面２０１には、後述する顔辞書に登録されている人物の一覧（人物一覧）２０２が表示される。図示の例では、複数の人物に係る顔辞書が登録されており、その一覧が表示される。
【００２８】
この人物一欄２０２には選択枠（カーソル）２０３が表示され、ユーザは操作部１０３によって選択枠２０３を移動させて、人物一欄２０２において人物を選択する。
【００２９】
さらに、ユーザインターフェース画面２０１には、検索開始ボタン２０４が表示され、この検索開始ボタン２０４をクリックすると、ＣＰＵ１０１は後述する類似顔画像検索処理を開始する。そして、ＣＰＵ１０１は選択枠２０３によって選択された人物に対応づけられた画像を表示部１０２に表示する。
【００３０】
ユーザインターフェース画面２０１には、画像表示領域２０５が規定されており、ここには、検索された画像が並べて表示される。画像表示領域２０５には検索の結果確定した確定画像２０６が表示される。この確定画像２０６は、顔辞書に登録された人物と画像において認証された人物の顔画像と比較して類似画像と認められた画像であって、ユーザによってその人物であると確定された画像である。
【００３１】
さらに、画像表示領域２０５には、検索された候補画像２０７が表示される。この候補画像２０７は顔辞書に登録された人物と画像において認証された人物の顔画像と比較して類似画像と認められた画像である。候補画像２０７には候補画像であることを示すアイコン（？マーク）が表示される。
【００３２】
また、候補画像２０７には確定ボタン２０８が表示され、ユーザは候補画像２０８が検索した人物であると確定する場合に、確定ボタン２０８をクリックする（押下する）。確定ボタン２０８を押し下げると、ＣＰＵ１０１は当該候補画像を確定画像とする。
【００３３】
加えて、候補画像２０７には否定ボタン２０９が表示される。ユーザは候補画像を検索した人物ではないと否定する場合に、否定ボタン２０９を押下する。否定ボタン２０９を押し下げると、ＣＰＵ１０１は当該候補画像２０７を否定画像とする。
【００３４】
なお、検索処理開始ボタン２１０は画像に保持された顔検索情報をリセットして検索処理を開始する際に用いられるボタンである。顔検索情報については後述する。
【００３５】
図２には示されていないが、検索処理において顔辞書に登録された人物と画像において認証された人物の顔画像とを比較して類似画像と認められない画像が存在する。この画像は非候補画像と呼ばれる。そして、特定顔と類似顔を有する画像を検索した結果、画像表示領域２０５に表示される画像は確定画像２０６および候補画像２０７であり、非候補画像および否定画像は画像表示領域２０５に表示されない。
【００３６】
図３は、図１に示す二次記憶装置１０５に格納されたデータの構造を示す図である。そして、図３（ａ）は顔辞書データの構造を示す図であり、図３（ｂ）は画像メタデータの構造を示す図である。また、図３（ｃ）は更新後の画像メタデータの構造を示す図である。
【００３７】
図３（ａ）に示す顔辞書データ（以下単に顔辞書と呼ぶ）３１０は画像処理装置で生成される。なお、カメラで顔辞書データを生成して、外部接続装置１０６を介してカメラから顔辞書データを画像処理装置に転送するようにしてもよい。
【００３８】
顔辞書３１０には、顔辞書を生成した日時又は更新した日時が顔辞書更新日時３１１として記録される。この顔辞書更新日時３１１は顔辞書が更新されたか否かを判定する際に用いられる。
【００３９】
さらに、顔辞書３１０は人名データが記録される人名データフィールド３１２を有しており、人名データに対応して少なくとも１つの登録顔データ３１３が登録される。
【００４０】
この登録顔データ３１３は顔画像３１４および特徴量データ３１５を有しており、顔画像３１４は人物の顔領域を所定のサイズにリサイズしたものである。特徴量データ３１５（登録特徴量データ）は、顔画像３１４から抽出した特徴量を示すデータである。
【００４１】
顔画像３１４および特徴量データ３１５は登録顔データの数だけ存在する。図示の例では、最大５個までの登録顔データが保存される。図３（ａ）に示す顔辞書３１０は「Ａさん」および「Ｂさん」の二人に係る顔辞書であるが、１０人分の顔辞書を保存する際には、顔辞書３１０は１０人分の顔辞書となる。
【００４２】
図３（ｂ）において、画像メタデータ（管理情報）は画像に含まれる付随データ（画像に付加されたデータ）であり、画像が画像処理装置に取り込まれた際、画像の一部として二次記憶装置１０５（メモリ）に記憶されるデータである。また、２次記憶装置１０５には、画像処理装置が管理する複数の画像データに付加されている管理情報を収集してデータベースとして格納しておき、画像の検索の際にデータベース内の管理情報を利用してもよい。本発明では、検索に用いる管理情報の記憶場所としては画像内であっても、画像外のデータベースでもどちらでもよい。
【００４３】
画像メタデータ３２０は画像を識別するための画像ＩＤ領域３２１を有しており、この画像ＩＤ領域３２１には画像ＩＤとしてとして、例えば、番号又は名前が用いられる。図示の例では、画像ＩＤとして「ＩＭＧ＿０００１」が記録されている。
【００４４】
さらに、画像メタデータ３２０は人名データ領域３２２を有しており、この人名データ領域３２２には特定顔検索処理において確定画像と設定された場合に、顔辞書の人名データ（特定情報）が保持される。確定画像でない場合には、人名データ領域３２２は「空」となっている。比較した顔辞書データ領域３２３には、類似顔画像検索において選択された顔辞書（被写体辞書）を特定するデータが記録される。ここでは、人名データが記録される。
【００４５】
顔検索情報領域３２４には、顔検索情報（被写体検索情報）が記録される。この顔検索情報は類似顔画像検索において認証された人物の顔画像の特徴量データと選択した顔辞書の特徴量データとを比較した比較結果を示すデータである。
【００４６】
ここでは、比較結果を数値化した類似度を求めて、この類似度が所定の閾値以上である場合には顔検索情報として候補画像が設定される。一方、類似度が閾値未満であると、顔検索情報として非候補画像が設定される。なお、顔検索情報として顔辞書の特徴量データと比較して得られた類似度（数値）をそのまま用いるようにしてもよい。
【００４７】
前述のように、候補画像として表示された画像が確定ボタン２０８又は否定ボタン２０９が押し下げられると、候補画像は確定画像又は否定画像となる。
【００４８】
図３（ｃ）に示すように、選択した顔辞書が「Ａさん」の顔辞書である場合に、候補画像として表示された画像が確定ボタン２０８によって確定画像とされると、ＣＰＵ１０１は「Ａさん」に対応する顔検索情報を確定画像に設定する。そして、ＣＰＵ１０１は人名データ欄３２２に人名として「Ａさん」を設定する（つまり、更新する）。
【００４９】
また、選択した顔辞書が「Ｃさん」の顔辞書である場合に、例えば、候補画像として表示された画像が否定ボタン２０９によって否定画像とされると、ＣＰＵ１０１は「Ｃさん」に係る顔検索情報３２４を否定画像に設定する。
【００５０】
なお、図３に示す例では、画像メタデータを画像に含まれる付随データとして説明したが、この付随データを画像とは別として画像に関連付けて二次記憶装置１０５に記録するようにしてもよい。
【００５１】
図４は、図１に示す画像処理装置で行われる特定顔に類似する類似顔を有する画像を検索する検索処理の一例を説明するためのフローチャートである。なお、この検索処理はＣＰＵ１０１で実行される。
【００５２】
前述のように、ユーザが特定顔に類似する類似顔を有する画像を検索するための検索操作を操作部１０３から行うと、ＣＰＵ１０１は表示部１０２にユーザインターフェース画面２０１を表示する。ユーザインターフェース画面２０１において、検索ボタン２０４が押し下げられると、ＣＰＵ１０１は類似顔の検索処理を開始する。
【００５３】
ＣＰＵ１０１は二次記憶装置１０５に格納された全ての画像を検索対象とする（ステップＳ４０１）。そして、ＣＰＵ１０１は一番目の画像について画像メタデータに人名データが存在するか否かを判定する（ステップＳ４０２）。画像メタデータに人名データが存在しないと（ステップＳ４０２において、ＮＯ）、ＣＰＵ１０１は画像メタデータに顔検索情報が存在するか否かを判定する（ステップＳ４０３）。
【００５４】
画像メタデータに顔検索情報が存在しないと（ステップＳ４０３において、ＮＯ）、ＣＰＵ１０１は顔辞書を用いた比較処理を行う。この顔辞書を用いた比較処理では、まずＣＰＵ１０１は画像において顔領域（単に顔という）を検出して、当該顔の特徴量を示す特徴量データを算出する（ステップＳ４０４）。
【００５５】
続いて、ＣＰＵ１０１は顔辞書３０１における登録顔の特徴量データと算出した特徴量データとを比較して類似度を算出する。そして、ＣＰＵ１０１は類似度に応じた顔検索情報を得る（ステップＳ４０５）。例えば、ＣＰＵ１０１は類似度が所定の閾値以上であると、ＣＰＵ１０１は顔検索情報を候補画像とする。一方、類似度が閾値未満であると、ＣＰＵ１０１は顔検索情報を非候補画像とする。そして、ＣＰＵ１０１はこの顔検索情報を画像メタデータに書き込む（保存する：ステップＳ４０６）。
【００５６】
画像メタデータに顔検索情報が存在すると（ステップＳ４０３において、ＹＥＳ）、ＣＰＵ１０１は当該顔検索情報を用いて判定すると決定する  （ステップＳ４０７）。
【００５７】
ステップＳ４０６又はＳ４０７に続いて、ＣＰＵ１０１は顔検索情報が候補画像であるか否かを判定する（ステップＳ４０８）。顔検索情報が候補画像であると（ステップＳ４０８において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像として候補画像リストに保持する（ステップＳ４０９）。この候補画像リストは一次記憶装置１０４に一時的に記憶される。
【００５８】
ステップＳ４０２において、画像メタデータに人名データが存在すると（ステップＳ４０２において、ＹＥＳ）、ＣＰＵ１０１は当該画像を確定画像として確定画像リストに保持する（ステップＳ４１０）。この確定画像リストは一次記憶装置１０４に一時的に記憶される。
【００５９】
続いて、ＣＰＵ１０１は全ての画像について類似顔画像検索が終了したか否かを判定する（ステップＳ４１１）。全ての画像について類似顔画像検索が終了していないと（ステップＳ４１１において、ＮＯ）、ＣＰＵ１０１は次の画像を検索対象としてステップＳ４０２の処理に戻る。
【００６０】
一方、全ての画像について類似顔画像検索が終了すると（ステップＳ４１１において、ＹＥＳ）、ＣＰＵ１０１は確定画像リストを画像表示領域２０５に表示する（ステップＳ４１２）。次に、ＣＰＵ１０１は候補画像リストを画像表示領域２０５に表示して（ステップＳ４１３）、類似顔画像検索を終了する。
【００６１】
なお、顔検索情報が候補画像でないと（ステップＳ４０８において、ＮＯ）、ＣＰＵ１０１はステップＳ４１０の処理に進む。
【００６２】
このようにして、図４に示すフローチャートでは、全ての画像について類似顔画像検索を行って、画像表示領域２０５に確定画像２０６および候補画像２０７を表示することになる。
【００６３】
ところで、図４で説明した類似顔画像検索においては、確定画像リストおよび候補画像リストを一次記憶装置１０４に保持して、全ての画像について類似顔画像検索を行った後、画像表示領域２０５にこれらリストを表示している。
【００６４】
この類似顔画像検索では、画像表示領域２０５にリストが表示されるまでの時間、つまり、全ての画像について処理が終了するまでユーザーは待たされることになって、ユーザが類似顔検索の結果に応じて次の操作を行うまでに時間が掛かってしまう。
【００６５】
そこで、特定顔に類似する類似顔を有する画像を検索する際、まず、人名データを有する画像を検索して画像表示領域２０５に表示する。次に、顔検索情報を有する画像を検索して画像表示領域２０５に表示する。そして、最後に人名データおよび顔検索情報の双方とも備えない画像を顔辞書を用いて比較処理して、その結果に応じて画像を画像表示領域２０５に表示するようにする。
【００６６】
図５は、図１に示す画像処理装置で行われる特定顔に類似する類似顔を有する画像を検索する検索処理の他の例を説明するためのフローチャートである。なお、この検索処理はＣＰＵ１０１で実行される。また、図５に示すフローチャートにおいて、図４に示すフローチャートにおける処理と同一の処理については同一の参照符号を付して説明を省略する。
【００６７】
類似顔画像検索が開始されると、ＣＰＵ１０１は前述のステップＳ４０１およびＳ４０２の処理を行う。ステップＳ４０２において、画像メタデータに人名データが存在すると（ステップＳ４０２において、ＹＥＳ）、ＣＰＵ１０１は当該画像を確定画像として画像表示領域２０５に表示する（ステップＳ５０１）。そして、ＣＰＵ１０１は全ての画像について人名データを調べたか否かを判定する（ステップＳ５０２）。
【００６８】
全ての画像について人名データを調べていないと（ステップＳ５０２において、ＮＯ）、ＣＰＵ１０１は次の画像を検索対象としてステップＳ４０２の処理に戻る。なお、画像メタデータに人名データが存在しないと（ステップＳ４０２において、ＮＯ）、ＣＰＵ１０１はステップＳ５０２の処理に進む。
【００６９】
全ての画像について人名データを調べると（ステップＳ５０２において、ＹＥＳ）、ＣＰＵ１０１は人名データのない画像の１つについてその画像メタデータに顔検索情報が存在するか否かを判定する（ステップＳ５０３）。画像メタデータに顔検索情報が存在すると（ステップＳ５０３において、ＹＥＳ）、ＣＰＵ１０１は顔検索情報を参照して当該画像が候補画像であるか否かを判定する。つまり、ＣＰＵ１０１は当該画像に係る顔検索情報が候補画像であるか否かを判定する（ステップＳ５０４）。
【００７０】
顔検索情報が候補画像であると（ステップＳ５０４において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像として画像表示領域２０５に表示する（ステップＳ５０５）。そして、ＣＰＵ１０１は人名データのない画像の全てについて終了したか否かを判定する（ステップＳ５０６）。なお、顔検索情報が候補画像でないと（ステップＳ５０４において、ＮＯ）、ＣＰＵ１０１はステップＳ５０６の処理に進む。
【００７１】
全ての画像について終了していなと（ステップＳ５０６において、ＮＯ）、ＣＰＵ１０１は次の人名データのない画像を検索対象としてステップＳ５０３の処理に戻る。なお、画像メタデータに顔検索情報が存在しないと（ステップＳ５０３において、ＮＯ）、ＣＰＵ１０１はステップＳ５０６の処理に進む。
【００７２】
一方、人名データのない画像の全てについて終了すると（ステップＳ５０６において、ＹＥＳ）、ＣＰＵ１０１は残りの画像（つまり、人名データがなくかつ顔検索情報のない画像の全て）を対象として（ステップＳ５０７）、まずその１つの画像について顔辞書を用いた比較処理を行う（ステップＳ５０８）。このステップＳ５０８による比較処理は、図４で説明したステップＳ４０４〜Ｓ４０６の処理と同様である。
【００７３】
続いて、ＣＰＵ１０１は顔検索情報を参照して当該画像が候補画像であるか否かを判定する。つまり、ＣＰＵ１０１は当該画像に係る顔検索情報が候補画像であるか否かを判定する（ステップＳ５０９）。
【００７４】
顔検索情報が候補画像であると（ステップＳ５０９において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像として画像表示領域２０５に表示する（ステップＳ５１０）。そして、ＣＰＵ１０１は残りの画像の全てについて終了したか否かを判定する（ステップＳ５１１）。なお、顔検索情報が候補画像でないと（ステップＳ５０９において、ＮＯ）、ＣＰＵ１０１はステップＳ５１１の処理に進む。
【００７５】
残りの画像の全てについて終了していないと（ステップＳ５１１において、ＮＯ）、ＣＰＵ１０１は次の残りの画像を検索対象としてステップＳ５０８の処理に戻る。一方、残りの画像の全てについて終了すると（ステップＳ５１１において、ＹＥＳ）、ＣＰＵ１０１は類似顔画像検索を終了する。
【００７６】
このようにすれば、類似顔画像検索を行った際、人名データを有する確定画像である画像および顔検索情報が候補画像である画像は画像メタデータを参照すれば容易に検索できる結果、全ての画像について処理が終了するまでユーザは待たされることがない。
【００７７】
図６は、図１に示す画像処理装置において類似顔画像検索のさらに他の例を説明するためのフローチャートである。そして、図６（ａ）は顔辞書が更新された際の類似顔画像検索の第１の例を示す図であり、図６（ｂ）は顔辞書が更新された際の類似顔画像検索の第２の例を示す図である。また、図６（ｃ）は顔検索情報をリセットした際の類似顔画像検索の例を示す図である。
【００７８】
顔辞書が更新された際においても、図５で説明したフローチャートに応じて類似顔画像検索が行われるが、この場合には、例えば、図６（ａ）に示すように、ステップ５０３において、画像メタデータに顔検索情報があると（ステップＳ５０３において、ＹＥＳ）、ＣＰＵ１０１はステップＳ５０４において顔検索情報が候補画像であるか否かを判定する。
【００７９】
顔検索情報が候補画像であると（ステップＳ５０４において、ＹＥＳ）、ＣＰＵ１０１はステップＳ５０５において当該画像を候補画像として画像表示領域２０５に表示して、ステップＳ５０６の処理に進む。
【００８０】
一方、顔検索情報が候補画像でないと（ステップＳ５０４において、ＮＯ）、ＣＰＵ１０１は人名データがない画像について顔辞書を用いた比較処理を行う（ステップＳ６０１）。ステップＳ６０１による比較処理は、図５に示すステップＳ５０８の処理と同様の処理である。
【００８１】
続いて、ＣＰＵ１０１は顔検索情報を参照して当該画像が候補画像であるか否かを判定する。つまり、ＣＰＵ１０１は当該画像に係る顔検索情報が候補画像であるか否かを判定する（ステップＳ６０２）。ステップＳ６０２の処理は図５に示すステップＳ５０９の処理と同様の処理である。
【００８２】
顔検索情報が候補画像であると（ステップＳ５６０２において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像として画像表示領域２０５に表示する（ステップＳ６０３）。ステップＳ６０３の処理は図５に示すステップＳ５１０の処理と同様の処理である。そして、ＣＰＵ１０１はステップＳ５０６の処理に進む。
【００８３】
なお、顔検索情報が候補画像でないと（ステップＳ５６０２において、ＮＯ）、ＣＰＵ１０１はステップＳ５０６の処理に進む。
【００８４】
このようにして、顔辞書が更新された場合には、顔検索情報が候補画像である画像は候補画像として表示し、候補画像でない画像および新規に追加された画像などは更新された顔辞書と比較処理して、その結果に応じて画像の表示を行う。
【００８５】
顔辞書が更新された際には、図６（ｂ）に示す処理を行うようにしてもよい。なお、図６（ｂ）において、図６（ａ）に示す処理と同様の処理については同一の参照部号を付して説明を省略する。
【００８６】
ステップＳ５０４において、顔検索情報が候補画像でないと（ステップＳ５０４において、ＮＯ）、ＣＰＵ１０１は顔検索情報が否定画像でないかを判定する（ステップＳ６０４）。顔検索情報が否定画像でないと（ステップＳ６０４において、ＹＥＳ）、ＣＰＵ１０１はステップＳ６０１の処理に進む。
【００８７】
一方、顔検索情報が否定画像であると（ステップＳ６０４において、ＮＯ）、ＣＰＵ１０１はステップＳ５０６に進む。
【００８８】
このように、図６（ｂ）に示す例では、顔検索情報が否定画像である場合には、顔辞書が更新されていても、顔辞書を用いた比較処理を行わない。
【００８９】
いま、ユーザインターフェース画面２０１において、検索処理開始ボタン２１０が押し下げられると、画像に保持された顔検索情報がリセッされる。検索処理開始ボタン２１０を押し下げた際においても、図５で説明したフローチャートに応じて類似顔画像検索が行われるが、この場合には、例えば、図６（ｃ）に示すように、ステップ５０３において、画像メタデータに顔検索情報があると（ステップＳ５０３において、ＹＥＳ）、ＣＰＵ１０１は顔検索情報が否定画像でないかを判定する（ステップＳ６０５）。
【００９０】
顔検索情報が否定画像でないと（ステップＳ６０５において、ＹＥＳ）、ＣＰＵ１０１は図６（ａ）で説明したステップＳ６０１の処理に進む。一方、顔検索情報が否定画像でないと（ステップＳ６０５において、ＹＥＳ）、ＣＰＵ１０１はステップＳ５０６の処理に進む。
【００９１】
図７は、図１に示す画像処理装置で行われる特定顔に類似する類似顔を有する画像を検索する検索処理のさらに他の例を説明するためのフローチャートである。なお、この検索処理はＣＰＵ１０１で実行される。また、図７に示すフローチャートにおいて、図４に示すフローチャートにおける処理と同一の処理については同一の参照符号を付して説明を省略する。
【００９２】
図４で説明したステップＳ４０２において、画像メタデータに人名データがないと、ＣＰＵ１０１は当該画像に関して特定顔との類似度合いを示す類似度が二次記憶装置１０５に保存されているか否かを判定する（ステップＳ７０１）。類似度が保存されていないと（ステップＳ７０１において、ＮＯ）、ＣＰＵ１０１は当該画像について顔辞書を用いた比較処理を行う（ステップＳ７０２）。このステップＳ７０２による比較処理は、図４で説明したステップＳ４０４〜Ｓ４０６の処理と同様である。
【００９３】
一方、類似度が保存されていないと（ステップＳ７０１において、ＮＯ）、ＣＰＵ１０１は保存された類似度に応じて当該画像が候補画像であるか否かを判定して、顔検索情報を得る（ステップＳ７０３）。
【００９４】
ステップＳ７０２又はＳ７０３を行った後、ＣＰＵ１０１は図４で説明したステップＳ４０８の処理を行い、顔検索情報が候補画像であると（ステップＳ４０８において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像リストとして一次記憶装置１０４に記憶するとともに、その類似度を一次記憶装置１０４に記憶する（ステップＳ７０４）。
【００９５】
そして、ステップＳ４１２において、画像表示領域２０５に確定画像リストを表示した後、ＣＰＵ１０１は類似度の順に（つまり、類似度が高い順に）候補画像リストを画像表示領域２０５に表示する（ステップＳ７０５）。その後、ＣＰＵ１０１は類似顔画像検索を終了する。
【００９６】
このように、図７に示す例では、候補画像リストとともに類似度を保持して、候補画像を類似度の高い順に画像表示領域２０５に表示する。これによって、ユーザは容易にどの候補画像が特定顔に類似しているかを容易に知ることができる。
【００９７】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置の一例について説明する。なお、第２の実施形態による画像処理装置の構成は図１に示す画像処理装置と同様である。
【００９８】
第１の実施形態では、図３（ｂ）に示すように、画像メタデータには類似顔画像検索で認証された人物の顔画像の特徴量データと顔辞書の特徴量データとの比較結果が保持されている。さらに、類似度に応じて顔検索情報として候補画像又は非候補画像を設定している。
【００９９】
第２の実施形態では、類似顔画像検索で認証された人物の顔画像の特徴量データと顔辞書の特徴量データとの比較結果をデータベースに保持するようにする。このデータベースには、比較結果が類似度（数値）として保持され、さらに、画像毎に比較に用いた顔辞書に関する顔辞書情報および当該顔辞書のバージョン情報が保持される。なお、当該データベースは、例えば、二次記憶装置１０５に格納される。
【０１００】
図８は、本発明の第２の実施形態による画像処理装置で生成されるデータベースについて説明するための図である。
【０１０１】
図示のデータベース８００には、ｎ枚（ここでは、ｎ＝１０万）の画像を特定する画像特定データが顔１、顔２、・・・、顔ｎが格納されている。比較した顔辞書（比較用顔辞書）欄８０１には画像の特徴量データとの比較に用いた顔辞書を特定する顔辞書特定データが格納される。例えば、顔辞書特定データは人名データであり、「Ａさん」などが設定される。
【０１０２】
顔辞書バージョン欄８０２には、顔辞書のバージョンを示す顔辞書バージョンが格納される。例えば、顔辞書「Ａさん」はバージョン００２であることが示されている。そして、顔辞書が更新されると、顔辞書バージョンはインクリメントされる。
【０１０３】
類似度欄８０３には、画像の特徴量データと顔辞書の特徴データ量とを比較した結果得られた類似度が格納される。そして、類似度・顔辞書バージョン欄８０４には、比較の際に用いた顔辞書のバージョンが類似度・顔辞書場ジョーンとして格納される。
【０１０４】
図８に示す例では、顔１に対応する画像の特徴量データと顔辞書「Ｂさん」の特徴量データとを比較した結果得られた類似度が「１９０」で、その際の「Ｂさん」に関する類似度・顔辞書バージョンが「００４」であることが示されている。「Ｂさん」の顔辞書バージョンは「００５」であるので、類似度を求めた後、顔辞書が一度更新されたことが分かる。
【０１０５】
なお、図示の例では、参照番号８０５で示すように、顔１０万に対応する画像は類似度および類似度・顔辞書バージョンが空欄であり、当該画像が画像処理装置に追加された後、「Ａさん」についてその特徴データを比較して類似度を得る処理が行われていないことが分かる。
【０１０６】
図８に示す例において、前述の所定の閾値を「２００」と設定した場合、類似顔検索において類似度が２００以上の場合には画像が候補画像として表示されることになる。
【０１０７】
顔辞書が更新された後、特定顔と類似する顔を有する画像を検索する場合には、まず、更新前の顔辞書と比較した結果得られた類似度が所定の閾値以上である画像について更新後の顔辞書を用いてその類似度を比較する。そして、類似度が閾値以上であると当該画像が候補画像として表示される。
【０１０８】
さらに、更新前の顔辞書を用いて算出した類似度を有しない画像については、更新後の顔辞書を用いて得られた類似度が所定の閾値以上であれば、当該画像が候補画像として表示される。
【０１０９】
そして、更新前の顔辞書を用いて算出した類似度が閾値未満である場合に、当該画像について更新跡の顔辞書を用いて算出した類似度が所定の閾値以上であれば、この画像が候補画像として表示される。
【０１１０】
図９は、本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は図１に示すＣＰＵ１０１で行われる。また、ここでは、顔辞書が更新された場合の類似顔画像検索について説明する。
【０１１１】
前述したように、ユーザが特定顔に類似する類似顔を有する画像を検索するための検索操作を操作部１０３から行うと、ＣＰＵ１０１は表示部１０２にユーザインターフェース画面２０１を表示する。ユーザインターフェース画面２０１において、検索ボタン２０４が押し下げられると、ＣＰＵ１０１は類似顔の検索処理を開始する。
【０１１２】
ＣＰＵ１０１は二次記憶装置１０５に格納された全ての画像を検索対象とする（ステップＳ９０１）。そして、ＣＰＵ１０１は一番目の画像について図８に示すデータベース（以下類似度データベースともいう）における更新前の顔辞書を用いて得られた類似度を用いて判定を行う（ステップＳ９０２）。そして、ＣＰＵ１０１は類似度が所定の閾値以上であるか否かを判定する（ステップＳ９０３）。
【０１１３】
類似度が所定の閾値以上であると（ステップＳ９０３において、ＹＥＳ）、ＣＰＵ１０１は、後述する検索表示処理を行った後（ステップＳ９０４）、全画像について終了したか否かを判定する（ステップＳ９０５）。
【０１１４】
図１０は、図９に示す検索表示処理を説明するためのフローチャートである。
【０１１５】
検索表示処理を開始すると、ＣＰＵ１０１はまず、画像から顔を検出して当該顔の特徴量データを求める（ステップＳ９０６）。続いて、ＣＰＵ１０１は、この特徴量データと更新後の顔辞書における登録顔の特徴量データと比較して類似度を求める（ステップＳ９０７）。
【０１１６】
次に、ＣＰＵ１０１はステップＳ９０７で求めた類似度を類似度データベースに保存する（ステップＳ９０８）。そして、ＣＰＵ１０１はステップＳ９０９で求めた類似度が所定の閾値以上であるか否かを判定する（ステップＳ９０９）。
【０１１７】
類似度が所定の閾値以上であると（ステップＳ９０９において、ＹＥＳ）、ＣＰＵ１０１は当該画像を画像表示領域２０５に候補画像として表示する（ステップＳ９１０）。そして、ＣＰＵ１０１は検索表示処理を終了してステップＳ９０５に進む。なお、ステップＳ９０３において、類似度が所定の閾値未満であると（ステップＳ９０３において、ＮＯ）、ＣＰＵ１０１はステップＳ９０５の処理に進む。
【０１１８】
全ての画像について終了していないと（ステップＳ９０５において、ＮＯ）、ＣＰＵ１０１はステップＳ９０２の処理に戻って次の画像について類似度判定を行う。一方、全ての画像について終了すると（ステップＳ９０５において、ＹＥＳ）、ＣＰＵ１０１は一番目の画像について類似度データベースに画像と更新前の顔辞書とを比較した結果得られた類似度が存在するか否かを判定する（ステップＳ９１１）。
【０１１９】
類似度データベースに類似度が存在しないと（ステップＳ９１１において、ＮＯ）、ＣＰＵ１０１は前述のステップＳ９０４の処理を行う。そして、ＣＰＵ１０１は全ての画像について終了したか否かを判定する（ステップＳ９１２）。なお、類似度データベースに類似度が存在すると（ステップＳ９１１において、ＹＥＳ）、ＣＰＵ１０１はステップＳ９１２の処理に進む。
【０１２０】
全ての画像について終了していないと（ステップＳ９１２において、ＮＯ）、ＣＰＵ１０１はステップＳ９１１の処理に戻って次の画像について類似度データベースに類似度が存在するか否かを判定する。
【０１２１】
全ての画像について終了すると（ステップＳ９１２において、ＮＯ）、ＣＰＵ１０１は一番目の画像について類似度データベースにおいて更新前の顔辞書を用いて得られた類似度を用いて判定を行う（ステップＳ９１３）。そして、ＣＰＵ１０１は類似度が所定の閾値以上であるか否かを判定する（ステップＳ９１４）。
【０１２２】
類似度が所定の閾値未満であると（ステップＳ９１４において、ＮＯ）、ＣＰＵ１０１は、前述のステップＳ９０４で説明した検索表示処理を行った後、全画像について終了したか否かを判定する（ステップＳ９１５）。なお、類似度が所定の閾値以上であると（ステップＳ９１４において、ＹＥＳ）、ＣＰＵ１０１はステップＳ９１５の処理に進む。
【０１２３】
全ての画像について終了してないと（ステップＳ９１５において、ＮＯ）、ＣＰＵ１０１はステップＳ９１３の処理に戻って次の画像について類似度判定を行う。一方、全ての画像について終了すると（ステップＳ９１５において、ＹＥＳ）、ＣＰＵ１０１は類似顔画像検索を終了する。
【０１２４】
上述の処理によって、顔辞書が更新された後、類似顔検索が行われた場合に、類似度が所定の閾値以上である画像については更新後の顔辞書を用いてで比較した場合においても類似度が所定の閾値以上である可能性が高い。つまり、更新後の顔辞書を用いてで比較した場合において候補画像と判定される確率が高いので、先に検索対象の画像とすれば候補画像として表示するまでの時間が短くなる。
【０１２５】
このように、まず更新前の顔辞書と比較した結果得られた類似度が所定の閾値以上の画像について、更新後の顔辞書を用いて得られた類似度に応じて候補画像であるか否かを判定する。続いて、更新前の顔辞書と比較した結果得られる類似度を有しない画像について、更新後の顔辞書を用いて得られた類似度に応じて候補画像であるか否かを判定する。
【０１２６】
そして、最後に更新前の顔辞書と比較した結果得られた類似度が閾値未満の画像について、更新後の顔辞書を用いて得られた類似度に応じて候補画像であるか否かを判定する。
【０１２７】
つまり、候補画像となる確率の高い画像から類似顔検索を行うので、候補画像を素早く画像表示領域２０５に表示することができる。この結果、ユーザは候補画像が表示されるまで長い時間待たされるがなく、類似顔検索の結果を視認して次の操作を行うことができる。
【０１２８】
図１１は、本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索の他の例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は図１に示すＣＰＵ１０１で行われる。また、ここでは、顔辞書が更新された場合の類似顔画像検索について説明し、図９に示す処理と同様のステップについては同一の参照符号を付す。
【０１２９】
類似顔画像検索が開始されると、ＣＰＵ１０１は前述のステップＳ９０１で二次記憶装置１０５に格納された全ての画像を検索対象とする。続いて、ＣＰＵ１０１は１番目の画像についてその画像メタデータに人名データが存在するか否かを判定する（ステップＳ１００１）。画像メタデータに人名データが存在すると（ステップＳ１００１において、ＹＥＳ）、ＣＰＵ１０１は当該画像を確定画像として画像表示領域２０５に表示する（ステップＳ１００２）。そして、ＣＰＵ１０１は全ての画像について人名データを調べたか否かを判定する（ステップＳ１００３）。
【０１３０】
全ての画像について人名データを調べていないと（ステップＳ１００３において、ＮＯ）、ＣＰＵ１０１は次の画像を検索対象としてステップＳ１００２の処理に戻る。なお、画像メタデータに人名データが存在しないと（ステップＳ１００２において、ＮＯ）、ＣＰＵ１０１はステップＳ１００３の処理に進む。
【０１３１】
全ての画像について人名データを調べると（ステップＳ１００３において、ＹＥＳ）、ＣＰＵ１０１は顔辞書更新時候補画像検索処理を実行して（ステップＳ１００４）、類似顔画像検索を終了する。なお、ステップＳ１００４の顔辞書更新時候補画像検索処理は、図９で説明した類似顔画像検索（ステップＳ９０１〜Ｓ９１５）の処理と同様の処理であるので、ここでは説明を省略する。
【０１３２】
前述したように、図９に示す例では、まず更新前の顔辞書と比較した結果得られた類似度が所定の閾値以上の画像について、更新後の顔辞書を用いて得られた類似度に応じて候補画像であるか否かを判定する。続いて、更新前の顔辞書と比較した結果得られる類似度を有しない画像について、更新後の顔辞書を用いて得られた類似度に応じて候補画像であるか否かを判定する。そして、最後に更新前の顔辞書と比較した結果得られた類似度が閾値未満の画像について、更新後の顔辞書を用いて得られた類似度に応じて候補画像であるか否かを判定するようにした。
【０１３３】
一方、図１１に示す例では、顔辞書が更新された際、更新前の顔辞書に応じて求めた類似度をソートし、類似度が大きい順に類似顔画像検索を行うようにすれば、さらに候補画像となる確率の高い画像を優先的に処理することができる。この結果、類似顔画像検索をより短時間で行うことができる。
【０１３４】
つまり、顔辞書が更新された後、特定顔に類似する顔を有する画像を検索する際、まず、人名データを有する画像を検索して表示し、続いて、候補画像を検索して表示する。これによって類似顔画像検索を行う際に、人名データを有する確定画像および候補画像を短時間で表示することができる。
【０１３５】
図１２は、本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索のさらに他の例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は図１に示すＣＰＵ１０１で行われる。また、ここでは、顔辞書が更新された場合の類似顔画像検索について説明し、図９で説明したステップと同一の処理については同一の参照符号を付して説明を省略する。
【０１３６】
類似顔画像検索を開始すると、ＣＰＵ１０１はまず全画像についてその類似度をソートして検索処理を行う（類似度ソート検索処理：ステップＳ１１０１）。
【０１３７】
図１３は、図１２に示す類似度ソート検索処理を説明するためのフローチャートである。
【０１３８】
類似度ソート検索処理を開始すると、ＣＰＵ１０１は二次記憶装置１０５に格納された全ての画像を対象とする（ステップＳ１１０２）。そして、ＣＰＵ１０１は一番目の画像について類似度データベースにおける更新前の顔辞書を用いて得られた類似度を用いて判定を行う（ステップＳ１１０３）。続いて、ＣＰＵ１０１は類似度が所定の閾値以上であるか否かを判定する（ステップＳ１１０４）。
【０１３９】
類似度が所定の閾値以上であると（ステップＳ１１０４において、ＹＥＳ）、ＣＰＵ１０１は、当該画像を特定する特定データを検索候補画像リストに保存する（ステップＳ１１０５）。そして、ＣＰＵ１０１は全ての画像について終了したか否かを判定する（ステップＳ１１０６）。なお、類似度が所定の閾値未満であると（ステップＳ１１０４において、ＮＯ）、ＣＰＵ１０１はステップＳ１１０６の処理に進む。
【０１４０】
全ての画像について終了していないと（ステップＳ１１０６において、ＮＯ）、ＣＰＵ１０１はステップＳ１１０３の処理に戻って、次の画像について類似度による判定を行う。一方、全ての画像について終了すると（ステップＳ１１０６において、ＹＥＳ）、ＣＰＵ１０１は候補画像リストによる検索処理を行う（候補画像リスト検索処理：ステップＳ１１０７）。そして、ＣＰＵ１０１は類似度ソート検索処理を終了する。
【０１４１】
図１４は、図１３に示す候補画像リスト検索処理を説明するためのフローチャートである。
【０１４２】
候補画像リスト検索処理を開始すると、ＣＰＵ１０１はまず検索候補画像リストに格納された画像を類似度に応じて（つまり、類似度が高い順に）ソートして、検索候補画像リストを得る（ステップＳ１１０８）。そして、ＣＰＵ１０１は検索候補画像リストにおいてソートした順番で全ての画像を処理対象とする（ステップＳ１１０９）。
【０１４３】
続いて、ＣＰＵ１０１は処理対象とされた画像について顔辞書との比較を行う（ステップＳ１１１０）。なお、ステップＳ１１１０の比較処理は、図１０で説明したステップＳ９０６〜Ｓ９０８の処理と同様であるので、ここでは説明を省略する。
【０１４４】
ステップＳ１１１０の比較処理において、類似度を類似度データベースに保存した後、ＣＰＵ１０１は類似度が所定の閾値以上であるか否かを判定する（ステップＳ１１１１）。類似度が所定の閾値以上であると（ステップＳ１１１１において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像として画像表示領域２０５に表示する（ステップＳ１１１２）。
【０１４５】
続いて、ＣＰＵ１０１は候補画像リストの全ての画像に対して処理を終了したか否かを判定する（ステップＳ１１１３）。全ての画像について処理が終了していないと（ステップＳ１１１３において、ＮＯ）、ＣＰＵ１０１はステップＳ１１１０の処理に戻って、次の画像について顔辞書を用いた比較処理を行う。
【０１４６】
一方、全ての画像について処理が終了すると（ステップＳ１１１３において、ＹＥＳ）、ＣＰＵ１０１は候補画像リスト検索処理を終了する。なお、類似度が所定の閾値未満であると（ステップＳ１１１１において、ＮＯ）、ＣＰＵ１０１はステップＳ１１１３の処理に進む。
【０１４７】
このようにして、類似度ソート検索処理が終了すると、ＣＰＵ１０１は全ての画像について類似度ソート検索処理が終了したか否かを判定する（ステップＳ１１１４）。全ての画像について類似度ソート検索処理が終了していないと（ステップＳ１１１４において、ＮＯ）、ＣＰＵ１０１はステップＳ１１０１の処理に戻って、次の画像について類似度ソート検索処理を行う。
【０１４８】
全ての画像について類似度ソート検索処理が終了すると（ステップＳ１１１４において、ＹＥＳ）、ＣＰＵ１０１は、図９で説明したステップＳ９１１、Ｓ９０４、Ｓ９１２、Ｓ９１３、およびＳ９１４の処理を行う。
【０１４９】
ステップＳ９１４において、類似度が所定の閾値未満であると（ステップＳ９１４において、ＮＯ）、ＣＰＵ１０１は当該画像を特定する特定データを検索候補画像リストに保存する（ステップＳ１１１５）。続いて、ＣＰＵ１０１は全ての画像について処理が終了したか否かを判定する（ステップＳ１１１６）。
【０１５０】
全ての画像について処理が終了していないと（ステップＳ１１１６において、ＮＯ）、ＣＰＵ１０１はステップＳ９１３の処理に戻って、次の画像について類似度による判定を行う。一方、全ての画像について処理が終了すると（ステップＳ１１１６において、ＹＥＳ）、ＣＰＵ１０１はステップＳ１１０７で説明した候補画像リスト検索処理を実行して、類似顔画像検索を終了する。
【０１５１】
図１５は、本発明の第２の実施形態による画像処理装置で行われる類似顔画像検索のさらに他の例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は図１に示すＣＰＵ１０１で行われる。また、ここでは、顔辞書が更新された場合の類似顔画像検索について説明し、図９で説明したステップと同一の処理については同一の参照符号を付して説明を省略する。
【０１５２】
前述の第１の実施形態において、図６（ａ）で説明した処理では、顔辞書が更新された際に保存した顔検索情報に応じて候補画像を検索して表示する例について説明した。一方、ここでは、顔辞書が更新された際に保存した類似度を用いて類似度が所定の閾値以上である画像を候補画像として表示する。そして、類似度が所定の閾値以上である画像を表示した後、更新された顔辞書を用いて類似度を求めて、当該類似度が所定の閾値未満であればその画像を非表示にする。
【０１５３】
ＣＰＵ１０１は二次記憶装置１０５に格納された全画像を処理対象とした後、一番目の画像について類似度データベースに更新前の顔辞書を用いて得られた類似度が存在するか否かを判定する（ステップＳ１２０１）。類似度データベースに保存された類似度が存在すると（ステップＳ１２０１において、ＹＥＳ）、ＣＰＵ１０１は当該類似度が所定の閾値以上であるか否かを判定する（ステップＳ１２０２）。
【０１５４】
類似度が所定の閾値以上であると（ステップＳ１２０２において、ＹＥＳ）、ＣＰＵ１０１は当該画像を候補画像として画像表示領域２０５に表示した後（ステップＳ１２０３）、当該画像を表示画像として表示画像リストに保存する（ステップＳ１２０４）。
【０１５５】
続いて、ＣＰＵ１０１は全ての画像について処理が終了したか否かを判定する（ステップＳ１２０５）。なお、類似度データベースに保存された類似度が存在しないと（ステップＳ１２０１において、ＮＯ）、ＣＰＵ１０１はステップＳ１２０５の処理に進む。また、類似度が所定の閾値未満であると（ステップＳ１２０２において、ＮＯ）、ＣＰＵ１０１はステップＳ１２０５の処理に進む。
【０１５６】
全ての画像について処理が終了していないと（ステップＳ１２０５において、ＮＯ）、ＣＰＵ１０１はステップＳ１２０１の処理に戻って、次の画像について類似度データベースに類似度が保存されているか否かを判定する。一方、全ての画像について処理が終了すると（ステップＳ１２０５において、ＹＥＳ）、ＣＰＵ１０１は表示画像リストにおける全ての画像を処理対象として（ステップＳ１２０６）、図１４のステップＳ１１１１で説明した更新された顔辞書による比較処理を行って得られた類似度を類似度データベースに保存する（ステップＳ１２０７）。
【０１５７】
続いて、ＣＰＵ１０１はステップＳ１２０７で得られた類似度が所定の閾値以上であるか否かを判定する（ステップＳ１２０８）。類似度が所定の閾値未満であると（ステップＳ１２０８において、ＮＯ）、ＣＰＵ１０１は当該画像を画像表示領域２０５に表示される候補画像から外して（削除して）非表示とする（ステップＳ１２０９）。
【０１５８】
次に、ＣＰＵ１０１は表示画像リストにおける全ての画像について処理が終了したか否かを判定する（ステップＳ１２１０）。なお、類似度が所定の閾値以上であると（ステップＳ１２０９において、ＹＥＳ）、ＣＰＵ１０１はステップＳ１２１０の処理に進む。
【０１５９】
全ての画像について処理が終了していないと（ステップＳ１２１０において、ＮＯ）、ＣＰＵ１０１はステップＳ１２０７の処理に戻って、次の画像について更新された顔辞書を用いて類似度を求める。一方、全ての画像について処理が終了すると（ステップＳ１２１０において、ＹＥＳ）、ＣＰＵ１０１は類似顔画像検索を終了する。
【０１６０】
このように、ここでは、顔辞書が更新された際に保存した類似度を用いて類似度が所定の閾値以上である画像を候補画像として表示する。そして、類似度が所定の閾値以上である画像を表示した後、更新された顔辞書を用いて類似度を求めて、当該類似度が所定の閾値未満であればその画像を非表示にするようにしたので類似顔画像検索の表示をより短時間で行うことができる。
【０１６１】
以上のように、本発明の実施形態では、新たに画像が追加された際においても検索処理に時間が掛かることがなく、顔辞書が更新された際においても検索処理に時間が掛かることがない。
【０１６２】
つまり、本発明の実施の形態では、顔検索処理において顔辞書の特徴量データと画像の特徴量データとを比較した比較結果を記憶して、次の顔検索の際に当該被各結果を用いるようにしたので、顔検索処理および候補画像の表示処理を高速に行うことができる。
【０１６３】
さらに、顔辞書が更新された場合においても、候補画像となる確率の高い画像から検索処理を行うので、候補画像の表示を高速に行うことができる。
【０１６４】
上述の説明から明らかなように、図１に示す例においては、ＣＰＵ１０１が判定手段、第１の処理手段、第２の処理手段、第３の処理手段、および更新手段として機能する。また、ＣＰＵ１０１、図２に示すユーザインターフェース画面、および操作部１０３は設定手段として機能する。
【０１６５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１６６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１６７】
上記の制御方法および制御プログラムの各々は、少なくとも格納ステップ、判定ステップ、第１の処理ステップ、および第２の処理ステップを有している。
【０１６８】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１６９】
１０１  ＣＰＵ
１０２  表示部
１０３  操作部
１０４  一次記憶装置
１０５  二次記憶装置
１０６  外部接続装置
２０１  ユーザインターフェース画面
２０５  画像表示領域
２０６  確定画像
２０７  候補画像
【図１】
2014026596.tif 000003
【図２】
2014026596.tif 000004
【図３】
2014026596.tif 000005
【図４】
2014026596.tif 000006
【図５】
2014026596.tif 000007
【図６】
2014026596.tif 000008
【図７】
2014026596.tif 000009
【図８】
2014026596.tif 000010
【図９】
2014026596.tif 000011
【図１０】
2014026596.tif 000012
【図１１】
2014026596.tif 000013
【図１２】
2014026596.tif 000014
【図１３】
2014026596.tif 000015
【図１４】
2014026596.tif 000016
【図１５】
2014026596.tif 000017