(57)【要約】【課題】所定の被写体を含む画像を効率良く検索し、検索結果が得られるまでのユーザの待ち時間を短縮することができる技術を実現する。【解決手段】所定の被写体を含む画像を検索する画像処理装置であって、被写体の特徴情報を記憶する記憶手段と、検索対象の画像から被写体の特徴情報を検出し、前記記憶手段に記憶されている被写体の特徴情報との類似度を判定する判定手段と、前記判定手段による判定の結果、類似度が所定の閾値以上の画像を、前記所定の被写体を含む画像の候補として検索する検索手段と、画像の属性情報に基づいて、前記判定手段により類似度を判定する対象の画像を選択する選択手段と、を有する。【選択図】図５
2014203407.tif 000002
【特許請求の範囲】
【請求項１】
所定の被写体を含む画像を検索する画像処理装置であって、
被写体の特徴情報を記憶する記憶手段と、
検索対象の画像から被写体の特徴情報を検出し、前記記憶手段に記憶されている被写体の特徴情報との類似度を判定する判定手段と、
前記判定手段による判定の結果、類似度が所定の閾値以上の画像を、前記所定の被写体を含む画像の候補として検索する検索手段と、
画像の属性情報に基づいて、前記判定手段により類似度を判定する対象の画像を選択する選択手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記画像の属性情報は画像を撮影したときの撮影モードであり、前記選択手段は、前記撮影モードに応じて画像を選択する優先度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記属性情報としてポートレート撮影モードで撮影されたことを示す情報を有する画像の優先度を高くすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記選択手段は、前記属性情報としてマクロ撮影モードで撮影されたことを示す情報を有する画像の優先度を低くすることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記画像の属性情報は画像を撮影したときの焦点距離の情報であり、前記選択手段は、前記焦点距離が長い画像ほど優先度を低くすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像の属性情報は画像に含まれるキーワード文字列であり、前記選択手段は、前記キーワード文字列に応じて画像の優先度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像の属性情報は画像に付加された人物名であり、前記選択手段は、前記画像に付加された人物名を用いて優先度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記記憶手段には同一の被写体に関する複数の特徴情報が記憶されていることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記判定手段により検出された被写体の特徴情報をデータベースに登録する登録手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記被写体は人物の顔であり、
前記判定手段は、人物の顔情報を検出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記検索手段により検索された画像の候補を表示する表示手段と、
前記所定の被写体として、被写体の特徴情報に関する人物名をユーザが選択するための選択手段と、を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
所定の被写体を含む画像を検索する画像処理装置であって、
被写体の特徴情報を記憶する記憶手段と、
検索対象の画像から被写体の特徴情報を検出し、前記記憶手段に記憶されている被写体の特徴情報との類似度を判定する判定手段と、
前記判定手段による判定の結果、類似度が所定の閾値以上の画像を、前記所定の被写体を含む画像の候補として検索する検索手段と、を有し、
前記判定手段は、特定の属性情報を有する画像を、前記類似度を判定する対象の画像から除外することを特徴とする画像処理装置。
【請求項１３】
前記判定手段は、前記除外された画像について、前記除外されなかった画像の判定が終了した後に、自動で、または、ユーザ操作に応じて検索対象とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
所定の被写体を含む画像を検索する画像処理方法であって、
検索対象の画像から被写体の特徴情報を検出し、記憶手段に記憶されている被写体の特徴情報との類似度を判定する判定工程と、
前記判定工程による判定の結果、類似度が所定の閾値以上の画像を、前記所定の被写体を含む画像の候補として検索する検索工程と、
画像の属性情報に基づいて、前記判定工程により類似度を判定する対象の画像を選択する選択工程と、を有することを特徴とする画像処理方法。
【請求項１５】
所定の被写体を含む画像を検索する画像処理方法であって、
検索対象の画像から被写体の特徴情報を検出し、記憶手段に記憶されている被写体の特徴情報との類似度を判定する判定工程と、
前記判定工程による判定の結果、類似度が所定の閾値以上の画像を、前記所定の被写体を含む画像の候補として検索する検索工程と、を有し、
前記判定工程では、特定の属性情報を有する画像を、前記類似度を判定する対象の画像から除外することを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項１７】
コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の被写体を含む画像を検索する画像処理技術に関する。
【背景技術】
【０００２】
画像に含まれる人物の顔等の被写体の特徴情報を解析し、人物名として画像に付加できるアプリケーションが存在する。人物名が付加された画像は、人物名により特定される被写体を含む画像の検索対象として用いることができる。ここで、画像に含まれる人物が誰であるかを検索する場合に、人物の顔等の特徴情報に加えて、別の情報を用いることで効率的に検索を行う方法が存在する。
【０００３】
例えば、特許文献１には、人物の顔の特徴情報に加えて、住所に相当する所属エリア情報が登録されたデータベースを用いて、撮影画像に写っている人物を検索する場合に、撮影位置情報と所属エリア情報が一致する人物を優先して検索することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２６０４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラでは多数の画像を撮影できるため、アプリケーション上に数多くの画像が存在することがある。また、デジタルカメラでは撮影された画像のみを保存することが一般的であるため、特許文献１のように画像を検索する際に付加情報を設定する操作は、ユーザにとって手間である。一方で、撮影画像のみを用いて、特定の人物を検索する場合は、検索対象の画像の数だけ顔の特徴情報を解析する必要があるため、検索に時間がかかってしまう。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、所定の被写体を含む画像を効率良く検索し、検索結果が得られるまでのユーザの待ち時間を短縮することができる技術を実現することである。
【課題を解決するための手段】
【０００７】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、所定の被写体を含む画像を検索する画像処理装置であって、被写体の特徴情報を記憶する記憶手段と、検索対象の画像から被写体の特徴情報を検出し、前記記憶手段に記憶されている被写体の特徴情報との類似度を判定する判定手段と、前記判定手段による判定の結果、類似度が所定の閾値以上の画像を、前記所定の被写体を含む画像の候補として検索する検索手段と、画像の属性情報に基づいて、前記判定手段により類似度を判定する対象の画像を選択する選択手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、所定の被写体を含む画像を効率良く検索し、検索結果が得られるまでのユーザの待ち時間を短縮することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の装置構成を示すブロック図。
【図２】本実施形態の画像管理アプリケーション画面を例示する図。
【図３Ａ】本実施形態の検索対象の画像の属性情報を例示する図。
【図３Ｂ】図３Ａに示す検索対象の画像を属性情報に応じた優先度で配列した図。
【図３Ｃ】図３Ａに示す検索対象の画像を属性情報に応じた優先度で配列した図。
【図４】本実施形態の人物の特徴量が登録されたデータベースの構成を例示する図。
【図５】本実施形態の画像管理アプリケーションによる人物検索処理を示すフローチャート。
【図６】図５の類似度判定処理の詳細を示すフローチャート。
【図７】本実施形態の画像の撮影モードと人物検索処理の優先度との関係を例示する図。
【図８】図７の撮影モードに応じた優先度を用いた人物検索処理を示すフローチャート。
【図９】図７の撮影モードに応じた優先度を用いた人物検索処理を示すフローチャート。
【図１０】本実施形態の画像管理アプリケーションに登録されている撮影モードごとの画像数を例示する図。
【図１１】本実施形態の撮影モード以外の画像の属性情報を用いた人物検索処理を示すフローチャート。
【図１２】本実施形態の撮影モード以外の画像の属性情報が登録されたデータベースの構成を例示する図。
【図１３】実施形態２の人物検索処理及び特徴量登録処理を示すフローチャート。
【図１４】実施形態２の撮影モード以外の画像の属性情報を用いた人物検索処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１１】
［実施形態１］以下、本発明の画像処理装置を、例えば、デジタルカメラ等の撮像装置により撮影された画像データを蓄積するパーソナルコンピュータ（ＰＣ）等の情報処理装置に適用した実施形態について説明する。
【００１２】
＜装置構成＞図１を参照して、本発明に係る実施形態の情報処理装置の構成について説明する。
【００１３】
本実施形態では、情報処理装置が保有する画像データについて、装置上で実行される画像管理アプリケーションが、ユーザにより指定された人物を検索する処理を行う例について説明する。
【００１４】
図１において、情報処理装置１０１は画像管理アプリケーションがインストールされているＰＣである。情報処理装置１０１はＣＰＵ１０２、一次記憶装置１０３、二次記憶装置１０４、表示部１０５、操作部１０６を有する。ＣＰＵ１０２は、装置全体の制御を司る演算処理装置である。一次記憶装置１０３は、ＣＰＵ１０２のメインメモリとして機能するＲＡＭである。一次記憶装置１０３には、ＣＰＵ１０２が実行する後述する各種処理を実現するための制御プログラム等が不揮発性メモリ等から読み出される。また、一次記憶装置１０３はＣＰＵ１０２が各種処理を実行する際のワークエリアを提供する。二次記憶装置１０４は、ＣＰＵ１０２の動作処理手順（例えば、コンピュータの立ち上げ処理や基本入出力処理等のプログラム）を記憶しているハードディスク等である。二次記憶装置１０４は、アプリケーションプログラムや画像データなどの保存及び読み込み用に使用される。また、メモリカード、ＤＶＤ、ＣＤ−ＲＯＭ、ＭＯ等の光（磁気）ディスクドライブ等のメディアドライブを設けてもよい。表示部１０５は、ＬＣＤや有機ＥＬ等のディスプレイであり、ＣＰＵ１０２により表示が制御されて後述する画像管理アプリケーション画面を出力する。操作部１０６は、キーボードやポインティングデバイス等のユーザ操作を受け付ける入力装置である。
【００１５】
また、情報処理装置１０１は、有線または無線の通信回線を介してインターネット等のコンピュータネットワークと接続可能であり、コンピュータネットワークを介して通信可能な外部機器から画像データ等を送受信できる。
【００１６】
＜アプリケーション画面＞
図２（ａ）は、本実施形態の画像管理アプリケーションにより表示されるアプリケーション画面を例示している。アプリケーション画面２０５は、データベースに登録されている画像が一覧表示可能であり、例えば、ユーザが操作部１０６を介してフォルダＡ（２０１）を選択すると、フォルダＡに格納されている画像が画像表示領域２０２に表示される。登録画像が多数存在し、画像表示領域２０２に全ての登録画像が表示できない場合、ユーザは、アプリケーション画面２０５のスクロールバー２０６により画像送り操作を行うことで、画像表示領域２０２に表示されていない画像を表示させることができる。
【００１７】
本実施形態の画像管理アプリケーションの機能の１つとして、人物名を指定した人物検索を実行することができる。人物検索処理の詳細については後述するが、データベースに登録されている任意の人物名が選択されると、画像管理アプリケーションは、選択された人物が写っている画像を検索し、画像表示領域２０２に候補画像として表示することができる。データベースに登録されている人物名は、人物ツリー２０３に表示され、例えば、アプリケーション画面２０５では、「太郎」、「次朗」、「花子」という３人の人物名が登録されている。図２（ａ）において、例えば、ユーザが２０４の「次朗」という人物名を選択すると、画像管理アプリケーションは、「次朗」という人物名を属性情報として有する画像を検索し、画像表示領域２０２に候補画像として表示する。本実施形態では、図３Ａに示すように、９枚の画像と３人の人物名が画像管理アプリケーションのデータベースに登録されているものとして説明する。
【００１８】
＜データベースの構成＞
図３Ａは、画像管理アプリケーションのデータベースに登録されている９枚の画像を例示しており、３０１は各画像のファイル名、３０２は各画像ファイルの画像、３０３は撮影されたときの撮影モードをそれぞれ示している。
【００１９】
図４は、画像管理アプリケーションに登録されている人物名のデータベースの構成を例示している。
【００２０】
図４において、４０１は人物を分類するためのＩＤであり、整数の１からの連番となっている。４０２は人物名であり、この人物名４０２が図２の人物ツリー２０３に表示されることになる。４０３と４０４は人物に対応した顔画像である。人物の表情は多様であるため、顔画像を１枚登録するよりも、２枚以上登録しておいた方が後述する人物検索の精度が向上する。そのため、本実施形態では、人物の顔画像を２枚登録している。顔画像を３枚以上登録しておけば更に精度は向上するが、以下では説明の便宜上顔画像は２枚登録されているものとする。４０５は、２枚の顔画像から算出した人物の特徴量（顔の位置、顔の大きさ、信頼度に関する値等）である。これらの特徴量を用いて、後述する人物の検索処理を行う。
【００２１】
＜人物検索処理＞次に、図５を参照して、本実施形態の画像管理アプリケーションによる人物検索処理について、図２のアプリケーション画面２０５において、ユーザが図２の人物ツリー２０３から２０４の「次朗」を選択し、人物検索を行って、選択した人物が写っている候補画像を表示する処理について説明する。なお、図５の処理は、情報処理装置１０１のＣＰＵ１０２が、二次記憶装置１０４に格納された画像管理アプリケーションプログラムを、一次記憶装置１０３のワークエリアに展開し、実行することにより実現される。
【００２２】
図５において、Ｓ５０１では、ＣＰＵ１０２は、図２の人物ツリー２０３から人物名２０４が選択されると、ｍとｎの値を１に初期化する。ここで、ｍの値は、撮影モードを表すインデックスとなる。本実施形態では、画像管理アプリケーションは、撮影モードに応じて設定されている優先度の高い画像から順に人物検索処理を実行する。単純にファイル名の昇順に検索していくことも考えられるが、例えば「次朗（２０４）」が写っている画像が検索対象の後方に存在する場合は、人物ツリー２０３から「次朗（２０４）」を選択しても、「次朗（２０４）」の画像が表示されるまでに時間がかかる。そこで、本実施形態では、「次朗（２０４）」が写っている可能性の高い撮影モードから順番に検索を行う。
【００２３】
図７は、検索対象となる画像の優先度と撮影モードの関係を例示している。７０１は人物検索処理の対象となる画像の優先度を示しており、図５のＳ５０１のｍの値に相当する。優先度が最も高いのは、撮影モード７０２がポートレート７０３の画像である。ポートレート撮影モードで撮影された画像は、ユーザが意識的に人物を撮影している可能性が高いため、優先度が最も高くなっている。２番目に優先度が高いのは、撮影モード７０２がキッズ７０４の画像である。キッズ撮影モードで撮影された画像についても、ユーザが意識的に子供を撮影している可能性が高いため、優先度が高くなっている。このように、撮影者が意識的に人物を撮影した可能性の高い画像の優先度を高くして優先的に顔の特徴情報（以下、顔情報）の解析を行うことで、検索している人物を効率的に見つけることができる。図７の優先度と撮影モードの関係を規定したテーブルは、画像管理アプリケーションが保有しているものとする。
【００２４】
図５の説明に戻り、Ｓ５０１のｎの値は、検索対象の画像を表すインデックスである。すなわち、ｎの値が１の画像とは、図３Ａの画像ファイル３０４に該当する。同じように、ｎの値が２の画像とは、図３Ａの画像ファイル３０５に該当する。Ｓ５０１での初期化が終了すると、Ｓ５０２に進み、ＣＰＵ１０２は、１番目の画像が検索済みであるかを判定する。１番目の画像ファイル３０４は未検索であるため、Ｓ５０３に進む。
【００２５】
Ｓ５０３では、ＣＰＵ１０２は、１番目の画像の撮影モードを取得する。撮影モードの情報は画像内に含まれているものとする。図３Ａに示すように、１番目の画像ファイル３０４の撮影モードは風景となる。
【００２６】
Ｓ５０４では、ＣＰＵ１０２は、取得した撮影モードがｍ番目の撮影モードと同じであるかを判定する。取得した撮影モードは風景であり、ｍの値が１である撮影モードは、図７に示すようにポートレート７０３となり、撮影モードが異なっているため、Ｓ５０６へ進む。
【００２７】
Ｓ５０６では、ＣＰＵ１０２は、ｎの値をインクリメントする。従って、ｎの値は２となる。ｎの値をインクリメントするのは、検索対象の画像を次に進めるためである。
【００２８】
Ｓ５０７では、ＣＰＵ１０２は、ｎとＮの値を比較する。Ｎの値は、検索対象の総画像数、すなわち画像管理アプリケーションに登録されている画像数となる。図３Ａに示すように、画像管理アプリケーションには９枚の画像が登録されているため、Ｎの値は９となる。従って、現段階ではｎの値の方が小さいため、Ｓ５０２に戻る。Ｓ５０２とＳ５０３は前述と同様の処理であるため、説明を省略する。
【００２９】
Ｓ５０４では、ＣＰＵ１０２は、２番目の画像の撮影モードはポートレートであり、ｍの値が１である撮影モードと同一であるため、Ｓ５０５へ進む。
【００３０】
Ｓ５０５では、ＣＰＵ１０２は、２番目の画像に「次朗」が含まれているかを判定する。Ｓ５０５の類似度判定の詳細については後述するが、２番目の画像に「次朗」が含まれていると判定された場合は、２番目の画像を検索結果として表示する。２番目の画像に「次朗」が含まれていない場合は何もしない。
【００３１】
以上の処理を９枚の検索対象の画像全てに対して繰り返し行っていくと、Ｓ５０６でｎの値は１０となる。ここで、登録されている９枚の画像のうち、撮影モードがポートレートであるのは３０５と３０６の画像であるため、この２枚の画像が検索済みとなる。
【００３２】
Ｓ５０７では、ＣＰＵ１０２は、ｎの値とＮの値を比較する。ここでは、ｎの値が１０でＮの値は９となり、ｎの値の方が大きくなるため、Ｓ５０８へ進む。
【００３３】
Ｓ５０８では、ＣＰＵ１０２は、ｍの値をインクリメントする。従って、ｍの値は２となる。また、ｎの値を１に戻す。ｍの値は図７に示す撮影モードごとの顔情報を解析する優先度を表しているため、ｍの値が２になると、検索対象の撮影モードがキッズとなる。
【００３４】
Ｓ５０９では、ＣＰＵ１０２は、ｍとＭの値を比較する。Ｍの値は撮影モードの総数であり、全ての撮影モードの画像について検索が終了しているかを判定するものである。図７に示すように、画像管理アプリケーションには７つの撮影モードが登録されているため、Ｍの値は７となるが、ｍの値の方が小さいため、Ｓ５０２に戻り、ＣＰＵ１０２は１番目の画像が検索済みであるかを判定する。ここまでの処理で検索済みである画像は、撮影モードがポートレートである３０５と３０６の画像であるため、Ｓ５０３へ進む。
【００３５】
以降は上述した処理を繰り返し実行していく。そして、全ての撮影モードの画像について検索が終了すると、Ｓ５０９でｍの値が８となるため、処理を終了する。
【００３６】
このようにして、図７のように設定されている優先度の高い画像から順に人物検索を行うことで、人物が写っている可能性の高い画像を優先して検索することができる。
【００３７】
図３Ｂは、図５の人物検索を実行する際の、検索対象の画像の順番を示したもである。３１０のように、人物が写っている可能性の高い撮影モードの画像を優先的に検索していく。また、風景や夜景のように、人物が写っている可能性の低い画像は、検索を後回しにしている。
【００３８】
図２（ｂ）は、図５の人物検索処理によって「次朗」を検索した後の画像管理アプリケーション画面を例示している。ユーザが人物ツリーから２１０の「次朗」を選択すると、検索結果の画像が検索結果表示領域２１１に順次表示されていく。図３Ａの９枚の画像が登録されている場合は、まず２１２の画像が検索結果として表示される。ここで、２１２の画像には顔の位置を示す顔枠２１３が表示されている。そして、２１４、２１５の順番に検索結果が表示される。また、検索結果表示領域２１１に表示されている画像は、「次朗」という人物名の候補画像である。ここで、検索された画像に「次朗」が正しく含まれている場合は、２１６にある確定ボタンを選択することで、この画像に写っている人物が「次朗」であることを確定することができる。「次朗」であることを確定させると、画像内の所定の領域に「次朗」という人物名が書き込まれる。また、ファイル名がＩＭＧ＿０００２．ＪＰＧの画像に「次朗」が写っていることを画像管理アプリケーションのデータベースに登録する。ＩＭＧ＿０００２．ＪＰＧに「次朗」が写っていることを画像管理アプリケーションのデータベースに登録することで、次回以降に「次朗」を検索する場合は、前述の顔情報の解析が不要となり、ＩＭＧ＿０００２．ＪＰＧの画像をすぐに検索結果として表示することが可能となる。また、「次朗」を検索した場合に、「次朗」以外の人物が検索結果として表示される可能性もある。検索している人物と別の人物が見つかった場合は、２１７の除外ボタンを選択することで、「次朗」でないことを画像管理アプリケーションのデータベースに登録することができる。
【００３９】
＜類似度判定処理＞ここで、図６を参照して、図５のＳ５０５における類似度判定処理の詳細について説明する。
【００４０】
図６の処理は、検索している人物と対象画像に含まれる人物の特徴量を比較して類似度を算出するものである。この類似度が所定の閾値以上である画像は、検索している人物の候補であると判定して、画像管理アプリケーション画面に表示する。前述の図５の処理に従うと、最初にＳ５０５の判定対象となる画像は、図３Ａの画像ファイル３０５である。
【００４１】
図６において、Ｓ６０１では、ＣＰＵ１０２は、検索対象の画像に人物が写っているかを判定する。画像３０５には人物が含まれているため、Ｓ６０２へ進む。なお、画像内に含まれる人物を検出する処理については説明を省略する。
【００４２】
Ｓ６０２では、ＣＰＵ１０２は、画像に写っている人物の特徴量を算出する。
【００４３】
Ｓ６０３では、ＣＰＵ１０２は、算出した特徴量と検索している人物の特徴量を比較することにより類似度を算出する。この類似度は、それぞれの人物がどの程度似ているかを表す値であり、０〜１００の値をとり得る。すなわち、類似度が小さい場合はそれぞれの人物は似ておらず、類似度が大きい場合は似ている人物と考えられる。ここでは、図２（ａ）の人物ツリー２０３から選択された人物名「次朗」と、図３Ａの画像ファイル３０５の人物の類似度が９０であったとする。
【００４４】
Ｓ６０４では、ＣＰＵ１０２は、算出した類似度が所定の閾値以上であるかを判定する。すなわち、所定の閾値以上であれば、検索している人物の候補であると判定する。ここでは、閾値が７０に設定されているものとする。閾値が７０である場合、Ｓ６０３で算出した類似度が９０であり、閾値以上になるため、Ｓ６０５に進む。なお、対象画像に含まれる撮影モード等の属性情報に応じて類似度の判定に用いる閾値を設定してもよい。
【００４５】
Ｓ６０５では、ＣＰＵ１０２は、現在検索している画像３０５を検索結果として表示する。すなわち、図２（ｃ）のように、画像３２０のみが表示された状態となる。このように検索結果を順次表示していくことで、検索時のユーザの待ち時間を少なくするようにする。
【００４６】
＜変形例＞
ここまでの説明は、画像管理アプリケーションが図７に示すような撮影モードごとの優先度を記憶し、優先度の高い画像から順に人物検索処理を行っていた。これに対して、特定の撮影モードの画像の検索を後回しにする処理について図８を参照して説明する。すなわち、特定の撮影モードで撮影された画像には人物が写っている可能性が低いと判定して、優先度を低くして検索を後回しにするものである。ここでは、撮影モードが風景である画像の検索を後回しにするものとするが、これに限られず、マクロ撮影モードで撮影された画像などの優先度を低くしても良い。また、検索を後回しにする撮影モードは、画像管理アプリケーションが記憶している撮影モードであるものとする。画像管理アプリケーションに登録されている画像は、前述の説明と同じように、図３Ａに示す９枚とする。また、ユーザが図２（ａ）の人物ツリー２０３から人物名「次朗」を選択した場合について説明する。
【００４７】
図８において、Ｓ８０１では、ＣＰＵ１０２は、ｎの値を１に初期化する。図５の処理と同様に、ｎの値は検索対象の画像を表すインデックスである。
【００４８】
Ｓ８０２は図５のＳ５０３と同じであり、画像の撮影モードを取得している。
【００４９】
Ｓ８０３では、ＣＰＵ１０２は、取得した撮影モードが風景であるかを判定する。１番目の画像の撮影モードは風景であるため、Ｓ８０４に進む。
【００５０】
Ｓ８０４では、ＣＰＵ１０２は、１番目の画像をリストに追加する。ここでのリストとは、検索を後回しにした画像のリストである。すなわち、撮影モードが風景である画像は人物が写っている可能性が少ないため、検索を後回しにする。
【００５１】
Ｓ８０６は図５のＳ５０６と同様であり、ｎの値をインクリメントしている。
【００５２】
Ｓ８０７は図５のＳ５０７と同様であり、最後の画像に到達したかを判定している。現時点でｎの値は１であるため、Ｓ８０２に戻る。
【００５３】
次に、２番目の画像に対してＳ８０２で撮影モードを取得すると、ポートレートとなる。Ｓ８０３でＣＰＵ１０２が撮影モードの判定を行うと、撮影モードが風景とポートレートで異なっているため、Ｓ８０５へ進む。
【００５４】
Ｓ８０５は図５のＳ５０５と同様であり、２番目の画像に「次朗」が含まれているかを判定して、「次朗」が含まれている場合は、その画像を表示する。
【００５５】
上述した処理を９枚の検索対象の画像全てに対して繰り返し行っていくと、Ｓ８０６でｎの値は１０となる。そして、Ｓ８０７でｎとＮの値を比較すると、ｎが１０でＮが９であるため、ｎの値の方が大きいため、Ｓ８０８へ進む。
【００５６】
Ｓ８０８では、ＣＰＵ１０２は、リストに画像が存在するかを判定する。ここでのリストとは、Ｓ８０４で追加した、撮影モードが風景である画像のリストである。図３Ａを見ると分かるように、画像管理アプリケーションに登録されている画像のうち、撮影モードが風景である画像は２つあるため、Ｓ８０９に進む。
【００５７】
Ｓ８０９では、ＣＰＵ１０２は、リスト内の画像の類似度を判定する。ここでの類似度判定処理は、Ｓ８０５と同様である。
【００５８】
このようにして、所定の撮影モードの画像は人物が写っている可能性が少ないと仮定して、顔情報の検索を後回しにする。また、前述の例では後回しにする撮影モードを１つとしていたが、複数設定しても良い。
【００５９】
次に、図９を参照して、特定の撮影モードの画像を検索対象から除外する処理について説明する。ここでは、撮影モードが水中である画像を検索対象から除外するものとする。なお、検索対象から除外する撮影モードは、画像管理アプリケーションが記憶している撮影モードであるものとする。画像管理アプリケーションに登録している画像は、前述の説明と同様に、図３Ａに示す９枚とする。また、ユーザが図２（ａ）の人物ツリー２０３から人物名「次朗」を選択した場合について説明する。なお、図９の処理において図８と同様又は類似する処理については説明を省略し、図８の処理と相違する点を中心に説明を行う。
【００６０】
図９のＳ９０１〜９０２は、図８のＳ８０１〜８０２と同様である。また、Ｓ９０３は、判定する撮影モードが水中に変わっただけで、それ以外はＳ８０３と同様である。ここで、１番目の画像は撮影モードが風景であるため、Ｓ９０４に進む。Ｓ９０４〜９０６は、図８のＳ８０５〜８０７と同様である。以上の処理を繰り返し行っていくと、３番目の画像の撮影モードが水中であるため、ｎの値が３のときにＳ９０３からＳ９０５へ進む。このようにして、人物が写っている可能性が極めて低い撮影モードの画像については、検索対象から除外することができる。顔情報の解析が不要と思われる画像を検索対象から除外することで、検索している人物が写っている画像を早く見つけることができる可能性が高くなる。
【００６１】
上述した処理を９枚の検索対象の画像全てに対して繰り返し行っていくと、Ｓ９０５でｎの値は１０となる。ｎの値が１０になると、Ｎの値である９より大きくなるため、検索は終了となる。また、前述の例では除外する撮影モードを１つとしていたが、複数設定しても良い。
【００６２】
なお、検索対象から除外された撮影モードの画像について、除外されなかった画像の検索が終了した後に、自動で、または、ユーザ操作によって検索対象としても良い。
【００６３】
＜優先度の決定方法＞次に、優先的に検索対象とする撮影モードを動的に決定する方法について説明する。ここでは、説明の便宜上、画像管理アプリケーションに１０００枚の画像が登録されているものとする。
【００６４】
図１０は、画像管理アプリケーションに登録されている画像を撮影モードに従って分類したものである。撮影モード１００１を見て分かるように、画像管理アプリケーションには、５つの撮影モードの画像が登録されている。１００２を見ると、撮影モードがキッズである画像は１５０枚あり、そのうち、１２０枚に人物名が付加されていることが分かる。人物名が付加された画像とは、図２Ｂの２１６にある確定ボタンを用いて、人物名を付加した画像である。従って、撮影モードがキッズである画像の８０％に人物名が付加されていることになる。同様に１００３を見ると、撮影モードがポートレートである画像は３００枚あり、そのうち、２１０枚に人物名が付加されていることが分かる。従って、撮影モードがポートレートである画像の７０％に人物名が付加されていることになる。このようにして、画像管理アプリケーションに登録されている全ての画像に対して、撮影モードごとの人物名付加の割合を算出したものが図１０となる。ここで、撮影モードがキッズである画像は、ユーザが人物名を付加する傾向が高いことが分かる。逆に、撮影モードが花火である画像は、ユーザが人物名を付加する傾向が少ないことが分かる。
【００６５】
以上のことから、人物名が付加されている割合の高い撮影モードの画像を優先して検索することで、検索している人物が早く見つかる可能性が高くなると考えられる。そこで、図５の人物検索処理を行う場合に、人物名が付加されている割合の高い撮影モードを優先する。すなわち、図５のＳ５０１のｍの値が１の撮影モードはキッズとなり、以降はポートレート、風景、水中、花火の撮影モードの画像から解析を行っていく。このようにすることで、優先的に検索対象とする撮影モードを画像管理アプリケーションが記憶する必要もなくなる。
【００６６】
＜撮影モード以外の属性情報を用いた例＞
ここまでの説明では、検索対象の画像から取得する属性情報を撮影モードとしていたが、撮影モード以外の属性情報を用いて検索を行うことも可能である。例えば、撮影モード以外の属性情報の１つとして、撮影時の撮像装置の焦点距離が挙げられる。一般的に、近距離の被写体を撮影する際は広角で撮影することが多いため、撮影時の焦点距離が短くなる傾向がある。逆に、遠方にある被写体を撮影する際は、画角を狭くして望遠で撮影することが多いため、撮影時の焦点距離が長くなる傾向がある。ここで、人物を撮影する場合は近距離であることが多いと考えると、焦点距離が短くなる。反対に、遠方にある風景の一部を撮影する場合は、焦点距離が長くなる。以上から、撮影時の焦点距離が長い画像は人物が写っている可能性が低いと仮定して、顔情報の解析を後回しにする。
【００６７】
ズーム機能を持つデジタルカメラでの焦点距離は、４．０ｍｍ〜４８ｍｍのような値をとり得る。ここで、画像管理アプリケーションに登録している画像とそれぞれの焦点距離は、図１２に示す６枚とする。また、焦点距離が２５ｍｍ以上の場合は遠方の風景画像であると判定して、顔情報の解析を後回しにするものとする。図１１（ａ）は、画像の撮影時の焦点距離を取得して、取得した焦点距離が所定の値以上である場合は、解析を後回しにする処理を示している。なお、図１１（ａ）の処理において図８と同様又は類似する処理については説明を省略し、図８の処理と相違する点を中心に説明を行う。
【００６８】
図１１（ａ）において、Ｓ１１０１は、図８のＳ８０１と同様である。また、Ｓ１１０２は、取得する属性情報が焦点距離に変わっただけで、それ以外はＳ８０２と同様である。
【００６９】
Ｓ１１０３では、ＣＰＵ１０２は、Ｓ１１０２で取得した焦点距離が所定の値以上であるかを判定する。図１２に示すように、１番目の画像の焦点距離は３０ｍｍであるため、前述の閾値である２５ｍｍより大きくなる。したがって、Ｓ１１０４に進む。このようにして、焦点距離が所定の値以上である画像の解析を後回しにすることができる。Ｓ１１０４〜１１０９は、図８のＳ８０４〜８０９と同様である。
【００７０】
以上の処理を繰り返し行っていくと、２番目の画像の焦点距離は１０ｍｍであるため、ｎの値が２のときにＳ１１０３からＳ１１０５へ進む。このようにして、焦点距離が短い画像、すなわち人物が写っている可能性が高い画像について、優先的に顔情報を解析することができる。また、撮像装置の焦点距離を表す際に、３５ｍｍフィルム換算した値で扱うことが多い。前述の説明は撮像装置の焦点距離の値をそのまま使用したが、３５ｍｍフィルム換算した焦点距離についても同様に扱うことができる。
【００７１】
次に、撮影モード以外の属性情報の１つとして、画像に含まれるキーワード文字列を用いて検索を行う例について説明する。このキーワード文字列とは、画像の被写体をキーワードとして表したものである。例えば、家族が写っている写真には「Ｆａｍｉｌｙ」というキーワードを付けることで、「Ｆａｍｉｌｙ」というキーワードで検索したり、画像を分類することが可能となる。このように、画像に含まれるキーワード文字列は、被写体を表す情報として活用することができる。なお、本実施形態の画像管理アプリケーションによるキーワードの付加方法については既知であるので説明を省略する。また、キーワード文字列を書き込む領域については、スキーマで定義されている。例えば、ＸＭＰ（Ａｄｏｂｅ Ｅｘｔｅｎｓｉｂｌｅ Ｍｅｔａｄａｔａ Ｐｌａｔｆｏｒｍ）と呼ばれるスキーマの中には、ｄｃ：ｓｕｂｊｅｃｔという領域があり、キーワードを格納する場所として推奨されている。したがって、別のアプリケーションが前述のｄｃ：ｓｕｂｊｅｃｔにキーワードを書きこんでおけば、後述のフローで画像のキーワード文字列を取得することが可能である。ここで、画像管理アプリケーションに登録している画像とそれぞれのキーワード文字列は、図１２に示すものとする。また、キーワード文字列に「Ｆａｍｉｌｙ」が含まれる画像は人物が写っている可能性が高いと仮定して、優先的に顔情報の解析を行う。図１１（ｂ）は、画像に含まれるキーワードを取得して、取得したキーワードに所定の文字列が含まれる場合は、優先的に顔情報を解析する処理を示している。なお、図１１（ｂ）の処理において図８と同様又は類似する処理については説明を省略し、図８の処理と相違する点を中心に説明を行う。
【００７２】
図１１（ｂ）において、Ｓ１１２１は、図８のＳ８０１と同様である。また、Ｓ１１２２は、取得する属性情報がキーワード文字列に変わっただけで、それ以外はＳ８０２と同様である。
【００７３】
Ｓ１１２３では、ＣＰＵ１０２は、Ｓ１１２２で取得したキーワードに所定の文字列が含まれているかを判定する。図１２に示すように、１番目の画像には「ｌａｎｄｓｃａｐｅ」というキーワードが付加されている。しかし、「Ｆａｍｉｌｙ」の文字列は含まれていないため、Ｓ１１２５に進む。Ｓ１１２５〜１１２９は、図８のＳ８０４〜８０９と同様である。
【００７４】
以上の処理を繰り返し行っていくと、３番目のキーワードが「Ｆａｍｉｌｙ」であるため、ｎの値が３のときにＳ１１２３からＳ１１２４へ進む。Ｓ１１２４は、図８のＳ８０５と同様である。このようにして、人物に関係のあるキーワード文字列が含まれている画像、すなわち人物が写っている可能性が高い画像について、優先的に顔情報を解析することができる。また、前述の例では所定の文字列を「Ｆａｍｉｌｙ」のみとしていたが、「Ｐｅｏｐｌｅ」と「Ｐｅｒｓｏｎ」のように複数設定しても良い。
【００７５】
［実施形態２］上述した実施形態１では、ユーザが指定した人物を検索する例について説明したが、以下では、画像管理アプリケーションに画像を順次登録する際に、画像の登録と並行して顔情報の解析を行い、解析結果を登録する処理について説明する。
【００７６】
本実施形態のシステム構成は、実施形態１と同様である。本実施形態では、図３Ａに示す９枚の画像を画像管理アプリケーションに登録する際に、人物の顔情報を解析し、算出された特徴量をデータベースに登録する処理について説明する。図１３（ａ）は、画像の登録時に対象画像の撮影モードを取得して、取得した撮影モードに応じた優先度に従って、顔情報を解析する処理を示している。なお、撮影モードに応じた優先度は、図７と同様とする。また、図１３（ａ）の処理において図５と異なっているのはＳ１３０５のみであるので、Ｓ１３０５以外の説明は省略する。図５の処理では、Ｓ５０５で類似度の判定を行ったが、図１３（ｂ）のＳ１３０５では顔情報を解析してデータベースに登録する。
【００７７】
図１３（ｂ）において、Ｓ１３１１では、ＣＰＵ１０２は、解析対象の画像に人物が写っているかを判定する。最初に解析する画像３０５には人物が含まれているため、Ｓ１３１２へ進む。なお、画像内に含まれる人物を検出する処理については説明を省略する。
【００７８】
Ｓ１３１２では、ＣＰＵ１０２は、画像に写っている人物の特徴量を算出する。
【００７９】
Ｓ１３１３では、ＣＰＵ１０２は、算出した特徴量をＤＢに登録する。ここで登録した特徴量は、実施形態１で説明した人物の検索に活用することができる。実施形態１では、検索を行う際に画像に写っている人物の特徴量を算出していたが、本実施形態のように画像の登録時に特徴量を算出しておくことで、検索時の処理負荷を低減することができる。ここで、３０４のように人物が映っていない画像の場合は、Ｓ１３１２とＳ１３１３の処理は行わない。
【００８０】
以上の処理を繰り返し行って、全９枚の画像に対して解析を行った結果が図３Ｃである。図３Ｃを見ると分かるように、人物が写っている可能性の高い撮影モードの画像を優先的に検索対象としている。また、風景や夜景のように、人物が写っている可能性の低い画像は、解析を後回しにしている。
【００８１】
次に、撮影モード以外の属性情報の１つとして、画像に付加された人物名を用いて優先度を決定する例について説明する。実施形態１で説明したように、画像には人物名を付加することができる。人物名の付加は、本実施形態の画像管理アプリケーションまたは他の装置でも行うことが可能である。このように人物名が付加された画像を優先的に解析することで、実施形態１で説明したような人物検索を早く実行することができる。また、顔検出処理は画像処理装置によって異なるため、他の装置で付加された人物名があったとしても、再度、本装置で解析を行う場合がある。そのような場合に、人物名が含まれることが分かっている画像について優先的に解析することが可能となる。ここで、画像管理アプリケーションに登録している画像と人物名は、図１２に示す６枚とする。図１４は、画像内に人物名が付加されているかを判定して、人物名が含まれている場合は、優先的に解析する処理を示している。なお、図１４の処理において図１１（ａ）の処理と同様又は類似する処理については説明を省略し、図１１（ａ）の処理と相違する点を中心に説明を行う。
【００８２】
図１４において、Ｓ１４０１は、図１１（ａ）のＳ１４０１と同様である。また、Ｓ１４０２は、判定基準が焦点距離の値から人物名の有無に変わっただけで、それ以外はＳ１１０３と同様である。ここで、１番目の画像は人物名が含まれていないため、Ｓ１４０４に進む。Ｓ１４０４〜１４０８は、図１１（ａ）のＳ１１０４とＳ１１０６〜Ｓ１１０９と同様である。同様に、２番目の画像は人物名が含まれているため、Ｓ１４０２からＳ１４０３へ進む。Ｓ１４０３は、前述の図１３（ｂ）と同じ処理であるため説明を省略する。このようにして、人物名が含まれている画像について、優先的に解析することができる。
【００８３】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014203407.tif 000003
【図２】
2014203407.tif 000004
【図３Ａ】
2014203407.tif 000005
【図３Ｂ】
2014203407.tif 000006
【図３Ｃ】
2014203407.tif 000007
【図４】
2014203407.tif 000008
【図５】
2014203407.tif 000009
【図６】
2014203407.tif 000010
【図７】
2014203407.tif 000011
【図８】
2014203407.tif 000012
【図９】
2014203407.tif 000013
【図１０】
2014203407.tif 000014
【図１１】
2014203407.tif 000015
【図１２】
2014203407.tif 000016
【図１３】
2014203407.tif 000017
【図１４】
2014203407.tif 000018