(57)【要約】【課題】特定人物が映る映像を、効率良く、高い精度で検索することができなかった。【解決手段】本発明の映像検索装置は、問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段１０３、類似画像検索手段１０３により検索される複数の類似画像それぞれが有する複数の特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段１０５、問合せ画像と、問合せ画像との比較の対象となる対象画像と、の類似度を再構成した第1の特徴ベクトルにより算出する類似度算出手段１０６、を備える。【選択図】図１
2008250693.tif 000002
【特許請求の範囲】
【請求項１】
問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、
前記類似画像検索手段により検索される複数の類似画像それぞれが有する特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、
前記問合せ画像と、前記問合せ画像との比較の対象となる対象画像と、の類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、を備えることを特徴とする映像検索装置。
【請求項２】
さらに、前記類似画像検索手段により検索される複数の類似画像を、前記複数の類似画像の類似度に応じて、第１の類似画像群と第２の類似画像群とに分類する類似画像分類手段を備え、
前記特徴選択手段は、前記第１の類似画像群の複数の類似画像それぞれが有する複数の特徴ベクトルを基に前記第1の特徴ベクトルを再構成し、
前記類似度算出手段は、前記第２の類似画像群の類似画像を前記対象画像として、前記問合せ画像と前記対象画像との類似度を前記再構成した第1の特徴ベクトルにより算出することを特徴とする請求項１に記載の映像検索装置。
【請求項３】
検索対象となる画像の条件である絞込み条件を指定する条件指定手段と、
前記絞り込み条件を満たす画像を前記データベースから取得する検索対象取得手段と、を備え、
前記類似度算出手段は、前記絞り込み条件を満たす画像を前記対象画像として、前記問合せ画像と前記対象画像との類似度を前記再構成した第1の特徴ベクトルにより算出することを特徴とする請求項１に記載の映像検索装置。
【請求項４】
前記特徴選択手段は、前記複数の特徴ベクトル間で分散が大きい特徴ベクトル成分を除いた特徴ベクトル成分で前記第1の特徴ベクトルを再構成することを特徴とする請求項１又は２に記載の映像検索装置。
【請求項５】
問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、
前記類似画像検索手段により検索される複数の類似画像それぞれが有する特徴ベクトルを基に同一物の画像をデータベースから取得する移動体画像取得手段と、
前記同一物の画像それぞれが有する複数の特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、
前記問合せ画像と、前記問合せ画像との比較の対象となる対象画像と、の類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、を備えることを特徴とする映像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の人物映像を、人物の顔画像に基づいてデータベースから検索する映像検索装置に関する。
【背景技術】
【０００２】
近年、犯罪を未然に防止する目的で、多数地点にカメラ、センサ、蓄積装置などの監視装置を設置する映像監視システムの普及が進んでいる。このようなシステムでは、カメラが撮影する映像を常に蓄積装置に録画しておき、後に不審者や迷子などの特定人物が映っている映像を検索するような機能が備わっているが、特に大量の録画映像からも瞬時に精度よく所望の映像を検索できることが求められている。
【０００３】
従来の映像検索装置として、特許文献１及び特許文献２がある。特許文献１は、図８に示すように、例示画像から特徴ベクトルを抽出し、予めデータベースに登録されている顔画像に該当する特徴ベクトルとの類似度を計算して、類似度に応じて検索した結果を表示するものである。また、特許文献２は、当該人物が本人か否かを認識する人物認識装置に関するもので、複数の例示画像を入力し、それぞれについてデータベースに登録されている顔画像との類似度を計算し、これら複数の類似度から総合的に判定するものである。
【特許文献１】特開２００２−１８３２０５号公報
【特許文献２】特開２００６−１７８６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された従来技術では、顔の向き、表情、撮影時の照明環境などが異なる顔画像間の類似度は低くなる傾向にあるため、例えば例示画像が横向きの顔画像であれば、この例示画像の顔画像と異なる方向を向いている顔画像を探すことは難しい。
【０００５】
一方、特許文献２に記載された従来技術のように、様々な顔向きの画像を入力して、それぞれについてデータベースに登録されている顔画像との類似度を計算し、総合的に類似度を判定することにより、前述した、異なる顔向き画像の課題を解決することができる。しかし、例示画像として、不審者や迷子などの様々な顔向き画像を撮影することはできないため、そのような例示画像をデータベースから選択することになる。この作業は、非常に煩雑であり、画像の選択が恣意的になるため、検索結果の精度にばらつきが生じることもある。
【０００６】
本発明は、上記従来の課題を解決するもので、特定人物が映る映像を、効率良く、高い精度で検索することができる映像検索装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の映像検索装置は、問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、前記類似画像検索手段により検索される複数の類似画像それぞれが有する特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、前記問合せ画像と、前記問合せ画像との比較の対象となる対象画像と、の類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、を備えることを特徴とする。これにより、例えばユーザからの問合せ画像が、例えばＡさんが正面を向いた画像であった場合、類似画像検索手段により得られたＡさんが正面より少しだけ横を向いた画像の特徴ベクトルから、特徴選択手段により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。
【０００８】
また、本発明の映像検索装置は、問合せ画像を基に類似する複数の画像をデータベースから検索する類似画像検索手段と、前記類似画像検索手段により検索される複数の類似画像それぞれが有する特徴ベクトルを基に同一物の画像をデータベースから取得する移動体画像取得手段と、前記同一物の画像それぞれが有する複数の特徴ベクトルを基に第1の特徴ベクトルを再構成する特徴選択手段と、前記問合せ画像と、前記問合せ画像との比較の対象となる対象画像と、の類似度を前記再構成した第1の特徴ベクトルにより算出する類似度算出手段と、を備えることを特徴とする。これにより、例えばユーザからの問合せ画像が、例えばＡさんが正面を向いた顔画像であった場合、類似画像検索手段により得られたＡさんが正面より少しだけ横を向いた画像の特徴ベクトルから、移動体画像取得手段によりデータベースから空間的、時間的に近傍にあり、Ａさんが移動する間に撮影された様々な顔の向きの画像を取得することができ、特徴選択手段により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。
【発明の効果】
【０００９】
これにより、従来では、特定人物の画像を問合せ画像として検索したとき、当該画像における顔画像が正面を向いていた場合は、本人が横を向いた顔画像は別人の正面顔の画像より類似度が低くなる可能性があったのに対して、本発明では、顔の向きにかかわらず本人の画像の類似度は、総じて他人の画像の類似度より高くなり、特定人物の映像を高い精度で漏れがなく検索することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態について、図面を用いて説明する。
（実施の形態１）
実施の形態１における映像検索装置について、図１乃至６を用いて説明する。図１は、映像検索装置の構成図である。図１において、映像検索装置１００は、特徴ベクトル算出手段１０１、登録手段１０２、類似検索手段１０３、画像分類手段１０４、特徴選択手段１０５、類似度算出手段１０６、結果表示手段１０７を有する。特徴ベクトル算出手段１０１は、撮像装置から入力される画像から顔領域の画像（以下、顔画像）を抽出して、さらに特徴ベクトルを算出する。登録手段１０２は、顔画像とこの顔画像から算出した特徴ベクトルを互いに関連付けてデータベース１０００に登録する。類似検索手段１０３は、ユーザからの問合せ画像を基に類似する複数の画像をデータベース１０００から検索するものであり、本実施の形態では、ユーザから入力される問合せ画像から顔画像（以下、問合せ顔画像）を抽出して、さらに特徴ベクトルを算出し、算出した特徴ベクトルを用いてデータベース１０００に登録されている顔画像（以下、登録顔画像）から類似する複数の顔画像を検索する。また、類似検索手段１０３は、問合せ顔画像から算出される特徴ベクトルと類似検索手段１０３により検索される複数の類似顔画像の特徴ベクトルとを用いて、複数の類似度を算出する。当該類似度の算出については後述する。画像分類手段１０４は、類似検索手段１０３により検索される複数の類似顔画像を、その類似度に応じて、第１の類似画像群と第２の類似画像群とに分類するものであり、本実施の形態では、類似検索手段１０３により算出される類似度が高い第１の類似画像群とこの第１の類似画像群より類似度が低い第２の類似画像群との、２つの画像群に分類する。特徴選択手段１０５は、類似検索手段１０３により検索される複数の類似顔画像それぞれが有する複数の特徴ベクトル中から特徴ベクトルを再構成するものであり、本実施の形態では、画像分類手段１０４により分類される第１の類似画像群それぞれの特徴ベクトル間で互いに異なる特徴ベクトルの成分を除いた成分で問合せ顔画像及び第２の類似画像群の類似顔画像の特徴ベクトルを再構成する。類似度算出手段１０６は、問合せ画像と、問合せ画像との比較の対象となる対象画像との類似度を、再構成した特徴ベクトルにより、算出するものであり、本実施の形態では、問合せ顔画像及び第２の類似画像群の類似顔画像の類似度を再構成した特徴ベクトルにより算出する。結果表示手段１０７は、類似度算出手段１０６により算出される類似度に応じて画像を表示する。なお、本実施の形態では、映像検索装置が結果表示手段を有しているが、必ずしも、映像検索装置が結果表示手段１０７を有する必要は無く、映像検索装置１００とは別の装置としても良い。
【００１１】
以下、この構成をとる映像検索装置１００の動作を説明する。本実施の形態は、ショッピングセンターにおいて特定の人物Ａさんがカメラにより撮影された映像を全て検索する場合を例示として説明する。まず、顔画像及び特徴ベクトルをデータベース１０００に登録する動作について図２を用いて説明する。ショッピングセンターの出入り口、売り場、エレベーター・エスカレーター・非常階段付近など至る所に設置されている撮像装置が撮影した映像が、常に、ネットワークを介して映像検索装置１００に集められている。ステップＳ２０１において、特徴ベクトル算出手段１０１は、集められた映像から人物が映っているフレーム（静止画像）を抜き出す。つづいてステップＳ２０２において、抜き出した静止画像から人物の顔領域にあたる部分画像（顔画像）を抽出する。ステップＳ２０３において、特徴ベクトル算出手段１０１は、抽出した顔画像を、予め学習により算出された顔特徴空間に射影することにより特徴ベクトルを求める。ステップＳ２０４において、登録手段１０２は、求めた特徴ベクトルを顔画像と関連付けてデータベース１０００に登録する。ここで説明した顔特徴空間は、例えば「取得過程の極端に異なる顔画像の照合」（電子情報通信学会論文誌，Ｖｏｌ．Ｊ８０−Ｄ−II，Ｎｏ．８，１９９７）で示されている手法を用いて算出したものである。
【００１２】
つづいて、ユーザが指定した特定人物の画像を検索キーとしてデータベース１０００から画像を検索する動作について説明する。まずユーザが検索したい特定人物Ａさんの画像を検索キーとする問合せ画像を入力する。問合せ画像の入力方法は、撮像装置が現在撮影している映像から選択する方法であっても良いし、データベース１０００に登録されている映像から選択する方法であっても良い。また、Ａさんが映っている写真をスキャナ等で取り込んだ画像であっても良い。
【００１３】
次に、類似検索手段１０３は、ユーザからの問合せ画像から問合せ顔画像を抽出して、さらに特徴ベクトルを算出し、算出した特徴ベクトルを用いてデータベース１０００に登録されている登録顔画像から類似する複数の顔画像を検索する。図３は、類似検索手段１０３の処理手順を示したものである。図３において、まず、ステップＳ３０１において、問合せ画像から特徴ベクトル算出手段１０１と同じ算出方法で問合せ顔画像を抽出して、さらに特徴ベクトルを算出する。ステップＳ３０２において、データベース１０００に登録されている顔画像を１つ選択して、この選択された登録顔画像と問合せ顔画像との類似度を算出する。類似度は、例えば式（１）のように問合せ顔画像の特徴ベクトルＱと、データベース１０００に登録されている登録顔画像の特徴ベクトルＸとの内積により求める。
【数１】
2008250693.tif 000003
ここでnは特徴ベクトルの次元数である。類似度は、その数値が大きいほど画像が似ていることを意味する。ステップ３０３において、データベース１０００に登録されている全ての登録顔画像に対して問合せ顔画像との類似度を算出するまでステップ３０２を繰り返す。ステップ３０４において、類似度が高い順に結果を整列する。
【００１４】
次に、画像分類手段１０４は、類似検索手段１０３により検索される複数の類似顔画像を、その類似度に応じて、２つの画像群に分類する。図４は、Ａさん本人の顔画像の類似度の度数分布４０１と、Ａさんとは他人の顔画像の類似度の度数分布４０２を示したものである。以下、図４を用いて画像分類手段１０４の動作を説明する。予め、他人の顔画像の度数が極めて低くて本人の顔画像の度数がある程度ある閾値Ｓaと、本人の顔画像の度数がある程度低くなっている閾値Ｓｂを統計的手法により求めておく。画像分類手段１０４は、類似検索手段１０３で算出した問合せ顔画像との類似度ＳがＳ≧Ｓａを満たすとき、該画像を第１の類似画像群４０３に分類し、Ｓｂ≦Ｓ＜Ｓａを満たすとき、第２の類似画像群４０４に分類する。第１の類似画像群は、問合せ顔画像に対して類似度が高く、Ａさん本人である可能性が高いため、そのまま結果表示手段１０７に表示する。一方、第２の類似画像群は、問合せ顔画像に対してＡさん本人である可能性があるが、図４の度数分布にあるように他人の顔画像である可能性もあるため、以降の処理でさらなる絞込みを行う。
【００１５】
次に、特徴選択手段１０５は、画像分類手段１０４が分類した第１の類似画像群の類似顔画像に対して、特徴ベクトルの成分毎に分散を求める。この特徴ベクトルの成分の中で、予め設定された閾値を超える分散値を有する特徴ベクトルの成分については、Ａさん本人の様々な画像の中でも大きく変動する成分であり、Ａさん本人の顔画像の間の類似度を下げる要因である。具体的に、上記予め定められた閾値を超える分散値を有する特徴ベクトルの成分とは、表情によるものであったり、顔の向きによるものであったり、照明環境の変化であったりするものである。このような特徴ベクトルの成分を、除外する成分として判定する。
【００１６】
つづいて、特徴選択手段１０５は、問合せ顔画像及び第２の類似画像群の類似顔画像の特徴ベクトルから、上記除外する成分を除くことにより、新たに特徴ベクトルを再構成する。このようにすることで、Ａさんの本質的な特徴に基づく成分のみで構成された特徴ベクトルが得られる。次に、類似度算出手段１０６は、上記のように特徴選択手段１０５が再構成した特徴ベクトルを用いて、問合せ顔画像及び第２の類似画像群の類似顔画像の類似度を算出する。最後に、結果表示手段１０７は、類似検索手段１０３で算出した第１の類似画像群の画像と、類似度算出手段１０６で算出した第２の類似画像群の画像を類似度が高い順に並べて表示する。
【００１７】
以上の動作を行うことで、例えばユーザからの問合せ画像が、Ａさんが正面を向いた画像であった場合、類似検索手段１０３により得られたＡさんが正面より少しだけ横を向いた画像の特徴ベクトルから、特徴選択手段１０５により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。これにより、従来では、Ａさんの画像を問合せ画像として検索したとき、当該画像における顔画像が正面を向いていた場合は、Ａさん本人が横を向いた顔画像はＡさんとは別人のＢさんの正面顔の画像より類似度が低くなる可能性があったのに対して、本実施の形態では、顔の向きにかかわらずＡさん本人の画像の類似度は、総じて他人の画像の類似度より高くなり、特定人物の映像を高い精度で漏れがなく検索することができるという効果が得られる。
【００１８】
なお、本実施の形態において、画像分類手段１０４は、類似度の件数で第１の類似画像群と第２の類似画像群に分類しても良い。すなわち、類似検索手段１０３が類似度順に画像を整列したものに対して、上位Ｋａ件までを第１の類似画像群に分類し、上位Ｋａ＋１件からＫｂ件までを第２の類似画像群に分類する。この方法では、予め統計的手法により類似度の閾値を決める必要がなく、最終的に表示する件数により決定される。
【００１９】
なお、本実施の形態において、特徴選択手段１０５及び類似度算出手段１０６は、画像分類手段１０４が分類した第２の類似画像群に対して、それぞれ特徴ベクトルを再構成し、再構成した問合せ画像の特徴ベクトルとの類似度を算出しているが、ユーザが指定する条件により絞り込んでも良い。この場合の映像検索装置について、図５にその構成図を示す。映像検索装置５００は、映像検索装置１００に対して、さらに、検索対象となる画像の撮影日時、又は撮影場所の絞り込み条件を指定する条件指定手段４０１と、その条件に従ってデータベース１０００から該当する画像及びその特徴ベクトルを取得する検索対象取得手段４０２とを含む。
【００２０】
（実施の形態２）
実施の形態２における映像検索装置について、図６及び７を用いて説明する。図６は、映像検索装置の構成図である。図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。図６において、映像検索装置６００は、実施の形態１の映像検索装置１００と同様に、特徴ベクトル算出手段１００、登録手段１０２、類似検索手段１０３、画像分類手段１０４、特徴選択手段１０５、類似度算出手段１０６、結果表示手段１０７を含む。本実施の形態では、特徴ベクトル算出手段１０１は、撮像装置が撮影した一連の時系列画像から同一の移動体の顔画像を抽出して、さらに特徴ベクトルを算出し、登録手段１０２は、求めた特徴ベクトルを顔画像と関連付け、さらに同一の移動体の一連の時系列的な顔画像をデータベース１０００に登録する。また、本実施の形態では、類似画像検索手段１０３により検索される複数の類似画像それぞれが有する特徴ベクトルを基に同一の移動体の一連の時系列的な顔画像をデータベース１０００から取得する移動体画像取得手段６０１を有する。
【００２１】
本実施の形態も、実施の形態1と同様に、ショッピングセンターにおいて特定の人物Aさんがカメラにより撮影された映像を全て検索する場合を例示として説明する。まず、顔画像及び特徴ベクトルをデータベース１０００に登録する動作について説明する。実施の形態１で示したように、特徴ベクトル算出手段１０１は、集められた映像から人物が映っている静止画像を抜き出し、抜き出した静止画像から人物の顔画像を抽出して、さらに特徴ベクトルを算出する。そして、本実施の形態では、登録手段１０２は、時間軸に連続する各画像に映る人物を追跡して、同一の移動体から抽出し算出した顔画像及び特徴ベクトルを互いに関連付けて一連の時系列的な顔画像をデータベース１０００へ登録する。
【００２２】
つづいて、ユーザが指定した特定人物の画像を検索キーとしてデータベース１０００から画像を検索する動作について説明する。画像分類手段１０４までの処理手順は、実施の形態１に記載の映像検索装置の処理手順と同じである。まずユーザが検索したい特定人物Ａさんの画像を検索キーとする問合せ画像を入力する。次に、類似検索手段１０３は、問合せ画像から特徴ベクトル算出手段１０１と同じ算出方法で問合せ顔画像を抽出して、さらに特徴ベクトルを算出し、算出した特徴ベクトルを用いてデータベース１０００の登録顔画像から類似する複数の顔画像を検索する。また、類似検索手段１０３は、問合せ顔画像から算出される特徴ベクトルと類似検索手段１０３により検索される複数の類似顔画像の特徴ベクトルとを用いて、複数の類似度を算出する。当該類似度の算出については実施の形態１と同様なので説明は省略する。そして、画像分類手段１０４は、類似検索手段１０３により検索される複数の類似顔画像を、その類似度に応じて、第１の類似画像群と第２の類似画像群に分類する。これも実施の形態１と同様なので説明は省略する。なお、ここで第１の類似画像群には、問合せ画像の顔の向き、表情、照明環境が似ており、様々な場所、時間に撮像装置が撮影したAさんの顔画像が含まれる。
【００２３】
以降の処理手順を、図７を用いて説明する。画像分類手段１０４により分類される第１の類似画像群と第２の類似画像群の類似顔画像は、移動体画像取得手段６０１に送られる。ステップＳ７０１において、移動体画像取得手段６０１は、画像分類手段１０４が分類した第１の類似画像群から類似度が高い順に顔画像を１つ選択する。ステップＳ７０２において、ステップＳ７０１で選択した顔画像と、同じ移動体として予め関連付けられた一連の時系列的な顔画像及びその特徴ベクトルをデータベース１０００から取得する。例えば、選択した画像が、ショッピングセンターの出入り口に設置された撮像装置によってAさんがショッピングセンターに入店した一瞬を撮影した画像であった場合、Aさんがショッピングセンターに入店した時間を基準に前後の時間で、撮像装置が撮影したAさんが映っている複数の画像が得られる。これら得られた一連の時系列的な顔画像は、最初に選択した顔画像と比較して、顔の向き、表情、照明環境が異なる画像も含まれる。
【００２４】
つづいて、ステップＳ７０３において、特徴選択手段１０５は、移動体画像取得手段６０１が取得した同じ移動体の一連の時系列的な顔画像に対して、実施の形態１と同様に、特徴ベクトルの成分毎に分散を求め、予め設定された閾値を超える成分を取り除いた残りの成分を選択する。さらに、特徴選択手段１０５は、ステップＳ７０３で選択した成分により、問合せ顔画像及び画像分類手段１０４が分類した第２の類似画像群の類似顔画像の特徴ベクトルを新たに再構成する。
【００２５】
ステップＳ７０４において、類似度算出手段１０６は、特徴選択手段１０５が再構成した特徴ベクトルを用いて、問合せ顔画像及び第２の類似画像群の類似顔画像の類似度を算出する。ステップＳ７０５において、全ての第１の類似画像群の類似顔画像を処理するまで、ステップＳ７０１からステップＳ７０４を繰り返す。ステップＳ７０６において、類似度算出手段１０６は、問合せ顔画像及び第２の類似画像群の類似顔画像の最終的な類似度を算出する。すなわち、第１の類似画像群の類似顔画像の枚数だけ再構成された特徴ベクトルのそれぞれを用いて類似度を算出し、これら複数の類似度の平均値を最終的な類似度として算出する。最後にステップＳ７０７において、類似度の高い順に整列して表示する。
【００２６】
以上の動作を行うことで、例えばユーザからの問合せ画像が、例えばＡさんが正面を向いた顔画像であった場合、類似画像検索手段１０３により得られたＡさんが正面より少しだけ横を向いた画像の特徴ベクトルから、移動体画像取得手段６０１によりデータベース１０００から空間的、時間的に近傍にあり、Ａさんが移動する間に撮影された様々な顔の向きの画像を取得することができ、これから特徴選択手段１０５により顔の向きに対してロバストな特徴ベクトルが再構成される。そのため、たとえば、同一人による、顔向きが異なる画像間においても、顔向き等に左右されることなく、類似度が高く維持されるという作用を有する。これにより、従来では、Ａさんの画像を問合せ画像として検索したとき、当該画像における顔画像が正面を向いていた場合は、Ａさん本人が横を向いた顔画像はＡさんとは別人のＢさんの正面顔の画像より類似度が低くなる可能性があったのに対して、本実施の形態では、顔の向きにかかわらずＡさん本人の画像の類似度は、総じて他人の画像の類似度より高くなり、特定人物の映像を高い精度で漏れがなく検索することができるという効果が得られる。
【産業上の利用可能性】
【００２７】
以上、本発明にかかる映像検索装置は、特定の人物映像を、人物の顔画像に基づいてデータベースから検索する映像検索装置として有用である。なお、本発明により得られる効果は顔の向きのロバスト性について述べたが、他にも表情、照明環境に対してもロバストで、特定人物の映像を高い精度で漏れがなく検索することができるという効果も得られる。また、本発明の実施の形態に記載の映像検索装置は、顔画像を検索することについて述べたが、顔領域に限らず、顔領域内の一部分、または顔領域外の部分を検索できるようにしても良い。
【００２８】
また、上記本発明の実施の形態に記載の映像検索装置としてショッピングセンターを例として説明してきたが、これに拘束されることなく、映像を検索するという用途であれば、どのようなものに対しても適用することは可能である。たとえば、ユーザから入力された検索対象者の顔画像に対して、顔向き、表情、撮影時の照明環境が異なる画像も、効率よく高い精度でデータベースから検索することが可能であるので、特定の不審者や迷子などの全行動を漏れることなく把握するための映像監視用途として有用である。また、運動会など個人が撮影した映像から、例えば我が子が映っている映像だけを集めて閲覧、編集する映像編集用途にも応用することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１における映像検索装置の構成図
【図２】本発明の実施の形態１における顔画像及び特徴ベクトルをデータベースに登録する処理手順を示したフローチャート
【図３】本発明の実施の形態１における類似検索手段１０３の処理手順を示したフローチャート
【図４】本人の顔画像の類似度の度数分布と、他人の顔画像の類似度の度数分布を示した図
【図５】本発明の実施の形態１における別の映像検索装置の構成図
【図６】本発明の実施の形態２における映像検索装置の構成図
【図７】本発明の実施の形態２におけるフローチャート
【図８】従来技術の構成図
【符号の説明】
【００３０】
１００  映像検索装置
１０１  特徴ベクトル算出手段
１０２  登録手段
１０３  類似検索手段
１０４  画像分類手段
１０５  特徴選択手段
１０６  類似度算出手段
１０７  結果表示手段
４０１  本人の顔画像の類似度の度数分布
４０２  他人の顔画像の類似度の度数分布
４０３  第１の類似画像群
４０４  第２の類似画像群
５００  映像検索装置
５０１  条件指定手段
５０２  検索対象取得手段
６００  映像検索装置
６０１  移動体画像取得手段
８０１  例示画像提示部
８０２  検索属性指定部
８０３  特徴ベクトル抽出部
８０４  類似度計算部
８０５  表示部
８０６  顔画像データベース
１０００  データベース
【図１】
2008250693.tif 000004
【図２】
2008250693.tif 000005
【図３】
2008250693.tif 000006
【図４】
2008250693.tif 000007
【図５】
2008250693.tif 000008
【図６】
2008250693.tif 000009
【図７】
2008250693.tif 000010
【図８】
2008250693.tif 000011