(57)【要約】  【課題】  特定の対象物が映る画像を、効率良く、高い精度で検索する。  【解決手段】  被写体の向きや照明条件等の撮影条件が異なる環境下で対象物を撮影した複数の画像から特定の対象物が映る画像を検索する画像検索装置であって、前記複数の画像を蓄積する蓄積手段１０１と、蓄積される複数の画像から前記対象物が映る画像である検索画像を指定する検索画像指定手段１０２と、前記検索画像と少なくとも撮影時刻または撮影場所が近い画像である候補画像を、蓄積される複数の画像から絞り込む候補画像絞込手段１０３と、前記検索画像と撮影条件が異なり前記対象物が映る画像である異条件検索画像を前記候補画像から選択させるために、前記候補画像を提示する異条件検索画像提示手段１０４と、前記検索画像および選択された異条件検索画像を用いて、前記複数の画像から前記対象物が映る画像を検索する検索手段１０５とを備える。【選択図】  図１
2006178721.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも被写体の向き又は照明条件のいずれか一方の撮影条件が異なる環境下で対象物を撮影した複数の画像から特定の対象物が映る画像を検索する画像検索装置であって、
前記複数の画像を蓄積する蓄積手段と、
蓄積される複数の画像から前記対象物が映る画像である検索画像を指定する検索画像指定手段と、
前記検索画像と少なくとも撮影時刻または撮影場所が近い画像である候補画像を、蓄積される複数の画像から絞り込む候補画像絞込手段と、
前記検索画像と撮影条件とが異なり前記対象物が映る画像である異条件検索画像を前記候補画像から選択させるために、前記候補画像を提示する異条件検索画像提示手段と、
前記検索画像および選択された異条件検索画像を用いて、前記複数の画像から前記対象物が映る画像を検索する検索手段と、
を備えた画像検索装置。
【請求項２】
請求項１記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記候補画像を対象物の向き毎にグループ化し配列して提示する画像検索装置。
【請求項３】
請求項２記載の画像検索装置であって、
前記異条件検索画像提示手段は、画像処理または位置センサーの出力から得られる対象物の移動方向に基づいて判断した、画像内に映る対象物の向きに応じて、候補画像を配列して提示する画像検索装置。
【請求項４】
請求項２記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記検索画像や既に選択された異条件検索画像に映る対象物の向きとは異なる向きの対象物が映る候補画像を優先的に配列して提示する画像検索装置。
【請求項５】
請求項２記載の画像検索装置であって、
前記異条件検索画像提示手段は、画像検索装置が必要とする異条件検索画像の枚数や対象物の向きを強調表示して候補画像を提示する画像検索装置。
【請求項６】
請求項１記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記候補画像を、撮影したカメラ毎にグループ化して提示する画像検索装置。
【請求項７】
請求項６記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記検索画像や既に選択した異条件検索画像と異なるカメラで撮影された候補画像を優先的に配列して提示する画像検索装置。
【請求項８】
請求項６記載の画像検索装置であって、
前記異条件検索画像提示手段は、対象物の向きが類似する画像を撮影するカメラを同一グループとして、同一グループのカメラで撮影された画像をまとめて配列して提示する画像検索装置。
【請求項９】
請求項１記載の画像検索装置であって、
前記異条件検索画像提示手段は、画像内の対象物が映る領域である対象物領域に含まれる色情報毎に候補画像をグループ化し配列して提示する画像検索装置。
【請求項１０】
請求項９記載の画像検索装置であって、
前記異条件検索画像提示手段は、複数の領域に分割した対象物領域のそれぞれの色情報毎に候補画像をグループ化し配列して提示する画像検索装置。
【請求項１１】
請求項１０記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記色情報として色相情報を用いる画像検索装置画像検索装置。
【請求項１２】
請求項１記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記候補画像を輝度情報毎にまとめて配列して提示する画像検索装置。
【請求項１３】
請求項１２記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記輝度情報として画像内の平均輝度値を用いる画像検索装置。
【請求項１４】
請求項１２記載の画像検索装置であって、
前記異条件検索画像提示手段は、前記輝度情報として前記対象物領域内の平均輝度値を用いる画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の対象物が映る画像を検索する画像検索装置に関する。
【背景技術】
【０００２】
近年、テロや凶悪事件の増加により、犯罪の抑制や証拠映像の確保を目的とし、監視カメラを繁華街や空港などに多数設置する監視システムが見られるようになった。このようなシステムでは、犯罪発生前後の行動を把握するため、不審人物が撮影された画像を検索する必要がある。しかし、大量の映像を扱うため目視による検索が困難であり、画像処理等により特定人物の画像検索を自動化する人物検索装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された人物検索システムは、マウス等で検索対象の人物の顔を指定すると、検索対象が撮影された画像を自動検索する。以下、図７を用いてこの従来の人物検索システムについて簡単に説明する。
【０００４】
図７は、従来の人物検索システムの構成を示す図である。この人物検索システムは、複数のカメラで撮影した映像データを蓄積する蓄積手段７０１と、図示しないモニタを目視しながら検索対象が撮影された画像（検索画像）をマウスで指定する検索画像指定手段７０２と、検索画像を用いて実際に検索処理を行う検索手段７０３と、で構成される。
【０００５】
人物検索装置のユーザーは、映像データを再生してモニタ上に表示される画像に不審人物を発見すると、不審人物の顔を囲むようにマウスを操作して、不審人物が撮影された検索画像を指定する。マウス操作により検索画像が指定されると、検索手段７０３は公知の顔照合技術などを用いて検索画像と類似する画像を蓄積手段７０１に蓄積された映像データから検索し、モニタ上に検索結果を表示する。
【特許文献１】特開２００４−１２８６１５号公報（第３−５頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、空港や繁華街等において広範囲のエリアを複数台のカメラにより監視する場合、監視カメラの設置場所や撮影領域の照明の具合などの条件（以下、撮影条件と称する）がカメラ毎に異なるため、同じ被写体を撮影した画像であっても撮影される被写体の向きや画像の明暗などが著しく異なることがある。そのため、単一のカメラで撮影した映像データについて特定の被写体が撮影された画像を検索する場合と比較して、１つの検索画像に基づいて撮影条件の異なる複数の映像データを検索することは、検索精度上の限界があった。
【０００７】
つまり、例えば、検索対象とする被写体の正面顔画像を含む画像を検索画像として指定した場合、当該被写体の正面顔画像を含む画像については適切な精度で検索を行うことが可能であるが、被写体の横顔や後姿を含む画像をその検索画像を用いて検索することは困難であるという課題があった。
【０００８】
上記従来の課題を解決する方法として、例えば、検索対象とする被写体の正面顔画像以外に、例えば、横顔や後姿などの画像を別途検索画像として指定して、検索を繰り返し行うという手法も考えられる。しかしこの場合、膨大な映像データから検索キーとなる画像を複数選択する作業が非常に煩雑であったり、検索画像の選択が恣意的となるため、ユーザーによって検索精度にばらつきが生じることがある。
【０００９】
本発明は、上記従来の事情に鑑みてなされたものであって、特定の対象物が映る画像を、効率良く、高い精度で検索することができる画像検索装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像検索装置は、少なくとも被写体の向き又は照明条件のいずれか一方の撮影条件が異なる環境下で対象物を撮影した複数の画像から特定の対象物が映る画像を検索する画像検索装置であって、前記複数の画像を蓄積する蓄積手段と、蓄積される複数の画像から前記対象物が映る画像である検索画像を指定する検索画像指定手段と、前記検索画像と少なくとも撮影時刻または撮影場所が近い画像である候補画像を、蓄積される複数の画像から絞り込む候補画像絞込手段と、前記検索画像と撮影条件とが異なり前記対象物が映る画像である異条件検索画像を前記候補画像から選択させるために、前記候補画像を提示する異条件検索画像提示手段と、前記検索画像および選択された異条件検索画像を用いて、前記複数の画像から前記対象物が映る画像を検索する検索手段と、を備える。
【００１１】
上記構成によれば、検索画像に基づいて絞り込んだ候補画像を提示することにより、撮影条件の異なる適切な画像を効率良く的確に選択することができる為、検索画像および選択した画像を用いて、特定の対象物が映る画像を、効率良く、高い精度で検索することができる。
【００１２】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記候補画像を対象物の向き毎にグループ化し配列して提示するものである。上記構成によれば、異条件検索画像提示手段が、前記候補画像を対象物の向き毎にグループ化し配列して提示することにより、各グループからそれぞれ対象物の向きが異なる画像を選択することで、対象物の向きが異なる画像を検索キーとすることができる為、検索キーとなる画像を効率良く選択して、特定の対象物が映る画像を高い精度で検索することができる。
【００１３】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、画像処理または位置センサーの出力から得られる対象物の移動方向に基づいて判断した、画像内に映る対象物の向きに応じて、候補画像を配列して提示するものである。上記構成によれば、異条件検索画像提示手段が、画像処理または位置センサー等の出力から得られる対象物の移動方向に基づいて判断した、画像内に映る対象物の向きに応じて、候補画像を配列して提示することにより、移動方向に基づいて対象物の向き毎に候補画像を提示することができる為、対象物の向きを直接把握できない場合であっても検索キーとなる画像を効率良く選択することができる。
【００１４】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記検索画像や既に選択された異条件検索画像に映る対象物の向きとは異なる向きの対象物が映る候補画像を優先的に配列して提示するものである。上記構成によれば、異条件検索画像提示手段が、前記検索画像や既に選択された異条件検索画像に映る対象物の向きとは異なる向きの対象物が映る候補画像を優先的に配列して提示することにより、選択されていない向きの対象物が映る画像を選択しやすくなる為、検索キーとなる画像をより効率良く選択することができる。
【００１５】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、画像検索装置が必要とする異条件検索画像の枚数や対象物の向きを強調表示して候補画像を提示するものである。上記構成によれば、異条件検索画像提示手段が、画像検索装置が必要とする異条件検索画像の枚数や対象物の向きを強調表示して候補画像を提示することにより、検索に必要な画像を的確に把握できる為、検索キーとなる画像をさらに効率良く選択することができる。
【００１６】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記候補画像を、撮影したカメラ毎にグループ化して提示するものである。上記構成によれば、異条件検索画像提示手段が、前記候補画像を、撮影したカメラ毎にグループ化して提示することにより、各グループから画像を選択することで異なる向きの対象物が映る画像を選択することができる為、対象物の向きを判断する処理を行うことなく、検索キーとなる画像の選択効率を向上させることができる。
【００１７】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記検索画像や既に選択した異条件検索画像と異なるカメラで撮影された候補画像を優先的に配列して提示するものである。上記構成によれば、異条件検索画像提示手段が、前記検索画像や既に選択した異条件検索画像と異なるカメラで撮影された候補画像を優先的に配列して提示することにより、異なる向きの対象物が映る画像を選択しやすくなる為、検索キーとなる画像をより効率良く選択することができる。
【００１８】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、対象物の向きが類似する画像を撮影するカメラを同一グループとして、同一グループのカメラで撮影された画像をまとめて配列して提示するものである。上記構成によれば、異条件検索画像提示手段が、対象物の向きが類似する画像を撮影するカメラを同一グループとして、同一グループのカメラで撮影された画像をまとめて配列して提示することにより、対象物の向きを判断する処理を行うことなく、検索キーとなる画像の選択効率を向上させることができる。
【００１９】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、画像内の対象物が映る領域である対象物領域に含まれる色情報毎に候補画像をグループ化し配列して提示するものである。また、本発明の画像検索装置は、前記異条件検索画像提示手段が、複数の領域に分割した対象物領域のそれぞれの色情報毎に候補画像をグループ化し配列して提示するものである。また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記色情報として色相情報を用いるものである。
【００２０】
上記構成によれば、異条件検索画像提示手段が、画像内の対象物が映る領域である対象物領域に含まれる色情報毎に候補画像をグループ化し配列して提示することにより、対象物と同じ色情報を持つグループ内から画像を選択することで、効率良く、照明条件や対象物の向きが異なる画像を検索キーとすることができる為、特定の対象物が映る画像を高い精度で検索することができる。
【００２１】
また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記候補画像を輝度情報毎にまとめて配列して提示するものである。また、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記輝度情報として画像内の平均輝度値を用いるものである。さらに、本発明の画像検索装置は、前記異条件検索画像提示手段が、前記輝度情報として前記対象物領域内の平均輝度値を用いるものである。
【００２２】
上記構成によれば、異条件検索画像提示手段が、前記候補画像を輝度情報毎にまとめて配列して提示することにより、対象物と同じ輝度情報を持つグループ内から画像を選択することで、効率良く、照明条件が異なる画像を検索キーとすることができる為、特定の対象物が映る画像を高い精度で検索することができる。
【発明の効果】
【００２３】
本発明によれば、検索画像に基づいて絞り込んだ候補画像を提示することにより、撮影条件の異なる適切な画像を効率良く的確に選択することができる為、検索画像および選択した画像を用いて、特定の対象物が映る画像を、効率良く、高い精度で検索することができる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図面を参照しながら本発明の実施形態に係る人物検索装置について詳細に説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１を説明するための人物検索装置の構成を示す図である。図１に示す人物検索装置は、被写体の向きや照明条件等の撮影条件が異なる環境下で人物（対象物）を撮影した複数の画像から特定の人物（対象物）が映る画像を検索するものであり、蓄積手段１０１、検索画像指定手段１０２、候補画像絞込手段１０３、異条件検索画像提示手段１０４、検索手段１０５で構成される。
【００２６】
蓄積手段１０１は、複数の画像を蓄積するものであり、画像の集合である映像データを蓄積する。また、検索画像指定手段１０２は、蓄積手段１０１に蓄積される映像データ（複数の画像）から不審人物など、検索対象とする特定の人物が映る画像である検索画像を指定する。候補画像絞込手段１０３は、検索画像と少なくとも撮影時刻または撮影場所が近い画像である候補画像を、蓄積手段１０１に蓄積される複数の映像データから絞り込む。
【００２７】
異条件検索画像提示手段１０４は、検索画像と撮影条件が異なり検索対象の人物が映る画像である異条件検索画像を候補画像から選択させるために、候補画像を提示するものである。異条件検索画像提示手段１０４は、検索対象の人物が撮影されていて、且つ検索画像とは撮影条件が異なる候補画像を、異条件検索画像としてユーザーに選択させるため、候補画像を適切に選択して分類し、提示する。具体的には、被写体の顔の向きや画像の色相、輝度が類似する候補画像をグループ化し、異条件検索画像としての必要性など、優先度の高いグループから順番に図示しない表示手段の画面（モニター画面）にリスト表示する。また、ユーザーの選択状況等に応じて、表示するリストの並べ替えを行う。尚、画面表示例については後述する。
【００２８】
検索手段１０５は、検索画像および選択された異条件検索画像を用いて、蓄積手段１０１に蓄積される複数の映像データから検索対象の人物が映る画像を公知の画像照合技術により検索する。
【００２９】
図２は、本発明の実施の形態１における人物検索装置の人物検索動作の手順を示すフローチャートである。まず、ユーザーの所定の動作により人物検索処理が開始する。ユーザーは、モニターに表示される蓄積手段１０１からの映像データを目視して、不審人物などの検索対象の人物が存在するか否かを判断する（ステップＳ２０１）。
【００３０】
映像データの中に検索対象としたい人物が存在する場合、ユーザーは、検索画像指定手段１０２で検索対象の人物が映る検索画像を指定する（ステップＳ２０２）。具体的には、マウスなどの図示しない指示手段で検索画像を囲い込む操作を行うなどして指定する。尚、ステップＳ２０１において検索対象が存在しない場合はそのまま人物検索処理を終了する。
【００３１】
検索画像が指定されると、候補画像絞込手段１０３は、ステップＳ２０２で指定された検索画像と撮影時刻や撮影場所が近接する画像を蓄積手段１０１の映像データの中から自動的に抽出し、候補画像として絞り込む（ステップＳ２０３）。これは、人物等の監視用に設置された監視カメラの場合、監視エリアにおいて人物は歩いて移動することがほとんどであるため、指定した検索画像と撮影時刻や撮影場所が近接する画像内には検索対象の人物が撮影されている可能性が高いという特徴を利用したもので、時間や距離の範囲を予め設定しておくことで容易に候補画像を絞り込むことができる。
【００３２】
撮影位置や照明の具合などの撮影条件が異なると、同じ人物を撮影した画像であっても、人物の向きや顔や背景の明るさなどが異なるが、上記のように大量の映像データから候補画像を絞り込んで提示すれば、ユーザーはその中から検索対象の人物が撮影された画像を目視で確認するだけでよく、検索対象の人物が撮影された画像を効率的に探し出すことができる。また、後述するが、更にそれらの候補画像の中から撮影条件の異なる検索画像（異条件検索画像）をユーザーに選択させ、複数の検索画像に基づいて画像検索を行うことにより、人物検索を高い精度で行うことができる。
【００３３】
次に、異条件検索画像提示手段１０４は、絞り込みにより抽出された候補画像を所定の手法でグループ化し、優先度に従って並び替えてモニター画面に表示する（ステップＳ２０４）。ユーザーは、モニター画面に表示された複数の候補画像の中に、検索対象の人物が撮影された画像が存在するか否かを判断する。検索対象の人物が撮影された画像が存在する場合は当該候補画像をマウス等で指定し、ステップＳ２０２で指定した検索画像とは撮影条件が異なる異条件検索画像として選択する（ステップＳ２０５）。
【００３４】
次に、異条件検索画像提示手段１０４は、ユーザーが異条件検索画像の選択を継続するか否かを判断し（ステップＳ２０６）、継続する場合はステップＳ２０４へ戻り、同様の手順を繰り返す。一方、継続しない場合は異条件検索画像の選択を終了し、次のステップＳ２０７へ移行する。検索画像に基づいて絞り込んだ候補画像を提示することにより、適切な異条件検索画像を効率良く的確に選択することができる。
【００３５】
異条件検索画像の選択が終了すると、検索手段１０５は、検索画像指定手段で指定した検索画像と、異条件検索画像提示手段１０４が提示してユーザーが選択した異条件検索画像に基づいて、蓄積手段１０１内に蓄積された映像データから検索対象の人物が撮影されている画像を検索する（ステップＳ２０７）。尚、この際の人物検索方法としては、例えば特開２０００−３５０１８７号公報に開示されている類似画像検索技術などを利用してよい。
【００３６】
以上のように、選択された異条件検索画像及び検索画像は、同じ人物についての向きや明るさなどが異なる画像を複数含むため、１種類の検索画像を用いて検索する従来技術と比較して高い精度で人物検索を行うことができる。
【００３７】
次に、異条件検索画像提示手段１０４が行う提示動作、即ち、候補画像のグループ化及びその並び替え動作について更に具体的に説明する。
【００３８】
異条件検索画像提示手段１０４は、絞り込みにより取得した候補画像を、公知の顔画像抽出技術などにより人物の向き毎にグループ化し、更にグループ化した候補画像を並び替えて提示する。図３は、候補画像から異条件検索画像を選択する際の画面表示例を示す図（選択前）である。図の例では、表示画面は、候補画像を表示する候補画像表示エリア３００と、検索対象の人物が撮影された候補画像からユーザーが異条件検索画像として選択した画像を表示する異条件検索画像表示エリア３１０で構成される。
【００３９】
図の例では、候補画像表示エリア３００内に、正面方向を向く候補画像３０１（ａ）、３０１（ｂ）と、正面とは正反対の反対方向を向く候補画像３０２（ａ）、３０２（ｂ）が表示され、異条件検索画像表示エリア３１０内には、検索画像指定手段１０２で指定した検索画像３１１と、異条件検索画像の表示領域３１２、３１３が表示されている。尚、この時点では異条件検索画像が未選択であるため、異条件検索画像の表示領域３１２、３１３には画像が表示されない。
【００４０】
次に、図４は、候補画像から異条件検索画像を選択する際の画面表示例を示す図（選択後）である。例えば、ユーザーが、図３の候補画像表示エリア３００の最上段に表示されていた正面方向を向く候補画像３０１（ａ）を選択すると、異条件検索画像提示手段１０４は、当該候補画像を異条件検索画像４１２として設定して、異条件検索画像表示エリア３１０に表示する。そのため、ユーザーは、現在どのような撮影条件の検索画像または異条件検索画像が選択されているかを容易に把握できる。
【００４１】
また、異条件検索画像提示手段１０４は、人物の正面についての候補画像が選択されると、正面方向以外の異条件検索画像をユーザーが容易に選択できるように、候補画像表示エリア３００内に表示される候補画像の表示位置を変化させる。例えば、ユーザーが正面方向を向く候補画像３０１（ａ）を異条件検索画像として選択した場合、異条件検索画像提示手段１０４は、候補画像３０１（ａ）と人物の向きが異なり反対方向を向く候補画像３０２（ａ）、３０２（ｂ）や、側面方向を向く４０１（ａ）、４０２（ｂ）を候補画像表示エリア３００の上位に移動させ、正面を向く候補画像３０１（ａ）、３０１（ｂ）は下位に移動させる。
【００４２】
このように、人物の向き毎にグループ化された候補画像が、ユーザーの選択状況に応じて並べ替えられるので、ユーザーは、人物についての様々な向きの検索画像を容易に選択することができる。例えば、リストの最上段に表示された正面方向を向くグループである候補画像３０１（ａ）、３０２（ｂ）から検索対象の映る候補画像３０１（ａ）をマウスで選択し、続いて反対方向を向くグループである候補画像３０２（ａ）、３０２（ｂ）から検索対象の映る候補画像を選択するというように、正面方向と反対方向という撮影条件が異なる２種類の検索画像を効率よく選択できる。
【００４３】
尚、優先順位については、用途に応じてユーザーが事前に設定できるようにしておいてもよい。例えば、初期の段階では人物を詳細に特定するため正面の顔画像が得られる正面方向を最優先とし、次に、体全体の特徴を理解するために正面とは正反対の反対方向、更に、左右の手に握られている物体を特定するために側面方向、などのように優先順位を決めておき、当該異条件検索画像が選択された際にはその方向に対する優先順位を下げる。
【００４４】
このように、異条件検索画像を選択した結果に応じて、候補画像表示エリア３００内に提示する候補画像の表示を動的に変化させることで、複数の方向を向く異条件検索画像をユーザーが容易に選択できるようになり、正面方向や側面方向など、複数の方向を向く人物の画像を含む大量の映像データから検索対象の人物を高い精度で検索できる。
【００４５】
ここで、異条件検索画像の表示領域３１２、３１３は、検索精度を上げるために人物検索装置が要求する異条件検索画像の個数を表示したもののであり、図３の例では、２種類の異条件検索画像を選択することを要求している。検索に必要な異条件検索画像の数を予め提示することにより、ユーザーは異条件検索画像をいくつ選択すればよいかを容易に把握することができる。
【００４６】
更に、異条件検索画像の表示領域３１２、３１３には、単に四角形の枠だけではなく、人物検索装置が要求する撮影条件を図形やイラストで表示してもよい。例えば、正面と横方向の顔画像を要求する場合には、枠内に顔正面や横顔を意図する図形やイラストを表示することが好ましい。ユーザーは、図形やイラストにより、それぞれの方向を向く異条件検索画像を選択する必要があると容易に理解できる。
【００４７】
また、人物検索装置が要求する撮影条件は、用途に応じて事前に決めておくだけでなく、ユーザーが選択した異条件検索画像による検索結果に応じて動的に変化させてもよい。例えば、異条件検索画像３１２として正面方向を意図する図形を提示し、ユーザーが正面方向を向く異条件検索画像を選択した後、時間や場所等で探索範囲を絞って簡易的に検索を行い、その結果高い類似度を持つ画像が得られなかった場合や類似する検索画像の枚数が少ない等検結果が思わしくない場合は、再度正面方向を意図する図形やイラストを異条件検索画像表示エリア３１０内に表示し、正面方向を向く異条件検索画像を再度選択してもらうように誘導してもよい。
【００４８】
同様に、簡易的に行った検索結果を異条件検索画像表示エリア内に提示してもよく、事前に検索結果のおよその性能を提示することで、ユーザーに適切な異条件検索画像を選択させることが可能である。
【００４９】
また、人物検索装置が正面方向など特定方向を向く異条件検索画像を特に必要とする場合は、特定方向を意図する図形やイラストを表示した異条件検索画像や、特定方向のグループに含まれる候補画像の外枠を、色の異なる太線で囲む等して他の画像と区別して強調表示してもよい。
【００５０】
ところで、候補画像のグループ化において、候補画像に映る人物の向きを判断する方式としては、例えば、正面や側面を向く画像を事前に多数収集し、その平均画像をテンプレートとしたテンプレートマッチングにより向きを推定してもよい。同様に、画像処理や各種センサーの情報から位置情報や移動方向を取得し、カメラとの相対関係により向きを推定してもよい。
【００５１】
例えば、図５は、移動方向から人物の向きを判断する概要を説明するための図である。５０１（ａ）は人物が画像の上側に、５０１（ｂ）は画像の下側に撮影されている画像であり、５０２（ａ）は人物が画像の右側に５０２（ｂ）は画像の左側に撮影されている画像である。
【００５２】
カメラと人物の位置関係から、人物が画像の上側（５０１（ａ））から下側（５０１（ｂ））へ移動する場合は、人物がカメラに向って移動する場合であり、正面方向を向くと判断できる。同様に、人物が画像の右側（５０２（ａ））から左側（５０２（ｂ））へ移動する場合は、人物がカメラの視線方向と垂直な方向に向って移動する場合であり、側面方向を向くと判断できる。
【００５３】
以上のように、本発明の実施の形態１における人物検索装置によれば、検索画像に基づいて絞り込んだ候補画像を提示することにより、撮影条件の異なる適切な画像を効率良く的確に選択することができる為、人物の向きや画像の明暗が異なる画像であっても、検索対象の人物が撮影された画像を高い精度で検索することができる。以上説明した人物検索装置は、街頭や空港など、複数の監視カメラを設置した広域監視における不審人物の特定等に有効である。
【００５４】
（実施の形態２）
次に、異条件検索画像提示手段が提示する候補画像が、カメラ毎にグループ化される場合について説明する。画像処理の結果から人物の向きを判断して候補画像をグループ化して並べ替えるのでなく、カメラ毎に候補画像をグループ化して並び替えても良い。図６は、候補画像から異条件検索画像を選択する際の別の画面表示例を示す図（選択前）である。異条件検索画像提示手段１０４は、撮影したカメラ毎に候補画像をグループ化して提示し、並び替える。
【００５５】
図に示すように、候補画像表示エリア３００内には、カメラＡで撮影した候補画像６０１（ａ）、６０１（ｂ）と、カメラＢで撮影した候補画像６０２（ａ）、６０２（ｂ）が表示される。候補画像６０１（ａ）、６０１（ｂ）は同じカメラで撮影された画像であるため、人物が似た方向を向く。これは、人物が歩く通路と撮影するカメラの位置が固定されるため、同じカメラで撮影される人物はおよそ同じ向きか正反対の向きとなり、撮影するカメラが異なれば撮影される人物の向きも異なるという特徴を利用している。
【００５６】
尚、カメラを設置した段階で人物の向く方向は大体把握できるので、人物の向く方向が近似したカメラは同じグループとしてまとめても良い。実施の形態１と同様に、候補画像から検索対象の人物が撮影された異条件検索画像を選択した後、選択した候補画像と異なるカメラで撮影した候補画像を候補画像表示エリア３００の上位に表示させるように並び替えても良い。これにより、複数の方向を向く異条件検索画像をユーザーに容易に選択させることができる。
【００５７】
（実施の形態３）
次に、異条件検索画像提示手段が提示する候補画像が、被写体の色に応じてグループ化される場合について説明する。人物の向きや撮影するカメラに応じて候補画像をグループ化して並び替えるのでなく、候補画像内の人物の色情報に応じて候補画像をグループ化して並び替えても良い。これは、同一人物であれば撮影される人物の向きが異なっても類似した色情報を持つという特徴を利用するものであり、検索画像指定手段１０２で指定した検索画像と類似した色情報を持つ候補画像をグループ化して優先的にリスト表示することにより、効率よく検索対象の人物が撮影された候補画像をユーザーに選択させることができる。
【００５８】
（実施の形態４）
次に、異条件検索画像提示手段が提示する候補画像が、画像の色相に応じてグループ化される場合について説明する。カメラ毎に異なる照明条件を考慮し、照明条件による変動が大きい輝度情報や彩度情報や一般的に用いられるＲＧＢの値を利用するのでなく、色の種類を表現する色相情報を利用して候補画像をグループ化して並び替えても良い。更に、色情報の近いグループは隣接する位置に候補画像を列挙することで、色情報を用いて候補画像をグループ化する精度が多少低い場合や、照明変動により画像上の色情報が大きく変動する場合でも、検索対象の人物を含む候補画像を近くに提示できるため、効率よく検索対象の人物が撮影された候補画像をユーザーに選択させることができる。
【００５９】
また、この場合、上半身や下半身等の構図を考慮するため、候補画像に映る人物の領域を幾つかの領域に分割し、領域内の色情報毎に候補画像を並び替えても良い。例えば、頭部、上半身、下半身の３パターンを想定し、人物の映る領域を縦に三つ（上段・中段・下段）分割し、上半身を想定した中段領域に含まれる色情報を用いて候補画像を大まかに並び替えた後、下半身を想定した下段領域に含まれる色情報を用いて候補画像を詳細に並び替えても良い。これにより、検索対象の人物が撮影された候補画像が精度よく優先的に表示され、ユーザーに異条件検索画像を容易に選択させることができる。
【００６０】
（実施の形態５）
次に、異条件検索画像提示手段が提示する候補画像が、画像または人物の輝度に応じてグループ化される場合について説明する。画像内全体の平均輝度値や、人物が撮影された領域内の平均輝度値毎に候補画像をグループ化して並び替えても良い。これは、平均輝度値に応じて候補画像を並び替えることで、複数の照明条件で撮影した異条件候補画像をユーザーが容易に選択できるようになり、照明条件が異なる映像データからも特定の人物が撮影された画像を精度良く検索することが可能となるからである。
【００６１】
尚、色情報により候補画像を並び替えた後、人物の向きや撮影するカメラ毎に候補画像を並び替えても良く、状況に応じてグループ化や並べ替えを組み合わせることにより、候補画像を全探索する場合に比較して効率的に検索対象の人物が撮影された画像を検索することができる。
【００６２】
尚、本発明は、以上の実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。例えば、以上の説明では、特定の人物を検索対象として画像を検索する例を示したが、人物以外の対象物を検索対象として画像を検索してもよい。
【産業上の利用可能性】
【００６３】
本発明は、検索画像に基づいて絞り込んだ候補画像を提示することにより、撮影条件の異なる適切な画像を効率良く的確に選択することができる為、検索画像および選択した画像を用いて、特定の対象物が映る画像を、効率良く、高い精度で検索することができる効果を有し、特定の対象物が映る画像を検索する画像検索装置等に有用である。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態１を説明するための人物検索装置の構成を示す図
【図２】本発明の実施の形態１における人物検索装置の人物検索動作の手順を示すフローチャート
【図３】候補画像から異条件検索画像を選択する際の画面表示例を示す図（選択前）
【図４】候補画像から異条件検索画像を選択する際の画面表示例を示す図（選択後）
【図５】移動方向から人物の向きを判断する概要を説明するための図
【図６】候補画像から異条件検索画像を選択する際の別の画面表示例を示す図（選択前）
【図７】従来の人物検索システムの構成を示す図
【符号の説明】
【００６５】
１０１  蓄積手段
１０２  検索画像指定手段
１０３  候補画像絞込手段
１０４  異条件検索画像提示手段
１０５  検索手段
３００  候補画像表示エリア
３１０  異条件検索画像表示エリア
７０１  蓄積手段
７０２  検索画像指定手段
７０３  検索手段
【図１】
2006178721.tif 000003
【図２】
2006178721.tif 000004
【図３】
2006178721.tif 000005
【図４】
2006178721.tif 000006
【図５】
2006178721.tif 000007
【図６】
2006178721.tif 000008
【図７】
2006178721.tif 000009