(57)【要約】【課題】  検索結果の順番が維持されたまま新たな検索結果を順々に出力すること。【解決手段】  本発明は、多次元空間における複数のグループに検索対象となる第１のベクトルを登録した記憶手段から、クエリデータから多次元ベクトルを算出し、インデクスの複数グループに登録されている多次元ベクトルとの短距離を決定する。決定した最短距離に基づいて、クエリデータの多次元ベクトルと比較するグループの順番を決定し、決定した順番に基づいてグループごとに登録されている多次元ベクトルとクエリデータの多次元ベクトルとの比較を行い、各ベクトルの距離が最短距離よりも短い登録されている多次元ベクトルを検索結果として出力する。【選択図】  図４
2019082959.tif 000002
【特許請求の範囲】
【請求項１】
多次元空間における複数のグループに検索対象となる第１のベクトルを登録した記憶手段から、クエリデータから算出される特徴量を表す第２のベクトルに類似する前記第１のベクトルを出力する情報処理装置であって、
前記クエリデータを入力する入力手段と、
前記入力されたクエリデータから前記第２のベクトルを算出する算出手段と、
前記グループに登録されている第１のベクトルと前記第２のベクトルとが取り得る最短の距離を、最短距離として決定する第１の決定手段と、
前記決定した最短距離に基づいて、前記第２のベクトルと比較する前記複数のグループの順番を決定する第２の決定手段と、
前記決定した順番に基づいて前記グループごとに前記第１のベクトルと前記第２のベクトルとの比較を行い、前記複数のグループそれぞれで前記第１のベクトルと前記第２のベクトルとの距離が前記最短距離よりも短い前記第１のベクトルを検索結果として出力する出力手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記複数のグループは、前記多次元空間を分割してなることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数のグループは、前記多次元空間をクラスタリングすることにより生成されることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の決定手段は、前記グループの代表ベクトルと当該グループに登録されている前記第１のベクトルとの距離のうち最長の距離である最長距離と、前記代表ベクトルと前記第２のベクトルとの距離と、に基づいて、前記最短距離を決定することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記代表ベクトルは、前記グループに登録されている第１のベクトルの平均ベクトル、前記グループの重心、前記グループに登録されている第１のベクトルの中で前記平均ベクトルに最も近い第１のベクトル、前記グループに登録されている第１のベクトルの中で前記グループの重心に最も近い第１のベクトルのうちのいずれかであることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１の決定手段は、前記第２のベクトルと前記グループの境界との距離を、前記最短距離として決定することを特徴とする請求項２または３に記載の情報処理装置。
【請求項７】
前記第２の決定手段は、前記複数のグループの最短距離に基づいて、前記複数のグループの中からグループを絞り込み、前記絞り込んだグループに対して前記第２のベクトルと比較する順番を決定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記記憶手段は、複数のインデクスごとに前記第１のベクトルが登録されており、
前記出力手段は、前記複数のインデクスそれぞれにおいて前記第１のベクトルと前記第２のベクトルとの比較を行い、前記複数のインデクスそれぞれで前記第１のベクトルと前記第２のベクトルとの距離が最長の距離を取得し、当該取得した前記複数のインデクスそれぞれの最長の距離のうち最も短い距離よりも距離が短い前記第１のベクトルを検索結果として出力することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記記憶手段は、前記第１のベクトルとして、検索対象の画像から算出された多次元ベクトルが登録されており、
前記入力手段は、前記クエリデータとしてクエリ画像を入力し、
前記算出手段は、前記第２のベクトルとして、前記入力されたクエリ画像から多次元ベクトルを算出することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記入力されたクエリ画像から人物を検出する検出手段を更に有し、
前記第２のベクトルは、前記検出された人物の領域から抽出された特徴量を表す多次元のベクトルであることを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記出力された検索結果を表示部に表示させる表示手段を更に有することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記入力手段は、検索対象となるデータを入力し、
前記算出手段は、前記検索対象となるデータから前記第１のベクトルを算出し、当該算出した第１のベクトルを前記記憶手段に登録することを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
多次元空間における複数のグループに検索対象となる第１のベクトルを登録した記憶手段から、クエリデータから算出される特徴量を表す第２のベクトルに類似する前記第１のベクトルを出力する情報処理方法であって、
前記クエリデータを入力するステップと、
前記入力されたクエリデータから前記第２のベクトルを算出するステップと、
前記グループに登録されている第１のベクトルと前記第２のベクトルとが取り得る最短の距離を、最短距離として決定するステップと、
前記決定した最短距離に基づいて、前記第２のベクトルと比較する前記複数のグループの順番を決定するステップと、
前記決定した順番に基づいて前記グループごとに前記第１のベクトルと前記第２のベクトルとの比較を行い、前記複数のグループそれぞれで前記第１のベクトルと前記第２のベクトルとの距離が前記最短距離よりも短い前記第１のベクトルを検索結果として出力するステップと、
を有することを特徴とする情報処理方法。
【請求項１４】
コンピュータを請求項１から１２のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象のオブジェクトを検索する技術に関する。
【背景技術】
【０００２】
従来、監視対象である映像の各フレームから人物の顔を検出し、その顔から画像特徴量を算出して映像のフレームと対応づけて蓄積しておく装置が知られている（特許文献１参照）。その装置では、検索したい人の顔をクエリとして、蓄積した画像特徴量との照合を行い、その人物が映っている映像を表示することが可能である。
【０００３】
また、非特許文献１には、人物の顔の画像特徴量を用いた検索において、探索範囲を順次拡大しながら検索を行う方法が開示されている。この方法では、検索結果数が充分になった時点、もしくは、検索結果に対する十分な信頼性が得られた段階（１位得票数と２位得票数の比が所定以上に大きくなった時点）で検索処理を打ち切り、その結果を表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１９９３２２号公報
【特許文献２】特開２００２−３７３３３２号公報
【特許文献３】特開２０１０−１６５１５６号公報
【非特許文献】
【０００５】
【非特許文献１】前川敬介，  内海ゆづ子，  岩村雅一，  黄瀬浩一（大阪府立大学）：「１００万顔画像データベースに対する３４ｍｓでの照合の実現」，  電子情報通信学会技術研究報告．  ＰＲＭＵ，  パターン認識・メディア理解  １１１（３５３），  ９５−１００，  ２０１１−１２−０８
【非特許文献２】Ｅｒｉｋ  Ｍｕｐｈｙ−Ｃｈｕｔｏｒｉａｎ，  “Ｈｅａｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  ｄｒｉｖｅｒ  ａｓｓｉｓｔａｎｃｅ  ｓｙｓｔｅｍｓ：  Ａ  ｒｏｂｕｓｔ  ａｌｇｏｒｉｔｈｍ  ａｎｄ  ｅｘｐｅｒｉｍｅｎｔａｌ  ｅｖａｌｕａｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆ．  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  Ｓｙｓｔｅｍｓ，  ２００７，  ｐｐ．  ７０９−７１４．
【非特許文献３】Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，“Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，”  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ  １４７−１５２，  １９８８．
【非特許文献４】Ｄａｖｉｄ  Ｇ．  Ｌｏｗｅ，  “Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ６０，  ２  （２００４），  ｐｐ．９１−１１０．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の方法も、非特許文献１に記載の方法も、全ての検索対象に対する検索が完了した後、結果を出力し表示する。しかしながら、多量の監視カメラの映像や、長時間の映像を検索対象とする場合、検索結果が得られるまでには時間がかかるため、上述の従来技術では、監視者（ユーザ）が検索の指示をした後、検索結果を確認できるようになるまでには時間がかかる。これは、監視カメラの映像中の人物の検索に限らず、その他のオブジェクトを対象とした検索においても同様である。
【０００７】
検索処理の途中で、それまでの検索処理結果を出力、表示することによって、監視者（ユーザ）が確認するまでの時間を短くすることができる。しかしながら、検索結果が更新され、新たな検索結果が追加される際には、それまでの検索結果の順番を維持されることが望まれる。そこで、本発明は、検索結果の順番が維持されたまま新たな検索結果を順々に出力することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、多次元空間における複数のグループに検索対象となる第１のベクトルを登録した記憶手段から、クエリデータから算出される特徴量を表す第２のベクトルに類似する前記第１のベクトルを出力する情報処理装置であって、前記クエリデータを入力する入力手段と、前記入力されたクエリデータから前記第２のベクトルを算出する算出手段と、前記グループに登録されている第１のベクトルと前記第２のベクトルとが取り得る最短の距離を、最短距離として決定する第１の決定手段と、前記決定した最短距離に基づいて、前記第２のベクトルと比較する前記複数のグループの順番を決定する第２の決定手段と、前記決定した順番に基づいて前記グループごとに前記第１のベクトルと前記第２のベクトルとの比較を行い、前記複数のグループそれぞれで前記第１のベクトルと前記第２のベクトルとの距離が前記最短距離よりも短い前記第１のベクトルを検索結果として出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、検索結果の順番が維持されたまま新たな検索結果を順々に出力することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る情報処理装置のハードウェア構成を示すブロック図。
【図２】第１の実施形態に係る情報処理装置の機能構成を示すブロック図。
【図３】第１の実施形態に係る特徴蓄積部が蓄積する顔画像特徴の特徴量空間を表す概念図。
【図４】第１の実施形態に係る検索部が検索する顔画像特徴の特徴量空間を表す概念図。
【図５】第１の実施形態に係る検索結果表示部による検索結果の表示例を示す図。
【図６】第１の実施形態に係る顔画像特徴を蓄積する処理手順を示すフローチャート。
【図７】第１の実施形態に係る顔画像を検索する処理手順を示すフローチャート。
【図８】第２の実施形態に係る特徴蓄積部が蓄積する顔画像特徴の特徴量空間を表す概念図。
【図９】第２の実施形態に係る検索部が検索する顔画像特徴の特徴量空間を表す概念図。
【図１０】第２の実施形態に係る顔画像特徴を蓄積する処理手順を示すフローチャート。
【図１１】第２の実施形態に係る顔画像を検索する処理手順を示すフローチャート。
【図１２】第３の実施形態において各インデクスからの検索結果の一例を示す概念図。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。本実施形態では、監視カメラで撮影された映像中の人物の画像から顔画像特徴を算出し、その顔画像特徴量をカメラ情報、撮影時刻等と関連付けて記憶する。そして、クエリ（検索元）として与えられた顔画像をもとに顔画像検索を行う。その際、検索を行いながら順々に結果を表示する。
【００１２】
図１は、本実施形態において、サーバ装置やクライアント装置を構成する情報処理装置１００のハードウェア構成例を示すブロック図である。なお、サーバ装置やクライアント装置はそれぞれ単一の情報処理装置で実現してもよいし、必要に応じた複数の装置に各機能を分散して情報処理装置を実現するようにしてもよい。複数の装置で構成される場合は、互いに通信可能なようにＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などで接続されている。また、情報処理装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の装置によって実現することができる。
【００１３】
図１において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、情報処理装置１００全体を制御する。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３は、外部装置などから供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣＤ等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどであってもよい。後述する各動作は、ＲＯＭ１０２や外部記憶装置１０４に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。
【００１４】
入力デバイスインターフェイス１０５は、ユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７は、インターネットなどのネットワーク回線１１１に接続するための通信インターフェイスである。ネットワークカメラ１１２は、監視カメラなどの映像の撮像装置であり、ネットワーク回線１１１を介して情報処理装置１００に接続されている。システムバス１０８は前述した各ユニットを通信可能に接続する伝送路である。
【００１５】
図２は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。映像入力部２０１は、ネットワークカメラ１１２から通信インターフェイス１０７を介して映像データ（連続画像）を入力する。映像蓄積部２０２は、映像入力部２０１に入力された映像データを外部記憶装置１０４に記憶する。このとき、映像のメタデータとして、撮影時刻や撮影カメラなどの情報を映像データに関連付けて記憶しておく。
【００１６】
追尾処理部２０３は、映像入力部２０１から入力された映像中の人物の追尾を行う。人物追尾処理に関しては、例えば、特許文献２に示す公知技術を用いればよい。特許文献２に記載の方法では、動きベクトルから物体を検出し、次フレームでの探索位置を推定してテンプレートマッチングにより人物追尾を行っている。追尾処理部２０３では、同じ人物を追尾している追尾トラックに対して同じ追尾トラックＩＤを発行し、異なる人物の追尾トラックに対しては異なる追尾トラックＩＤを発行することにより一意性を担保し、追尾トラックＩＤから同一人物の特定を可能とする。また同じ人物であっても、追尾が途切れた場合は、異なる追尾トラックＩＤを発行する。
【００１７】
顔検出部２０４は、追尾処理部２０３で追尾された人物のフレーム画像のそれぞれから顔検出を行う。また、映像入力部２０１、後述するクエリ映像入力部２０８によって入力された顔画像を含む映像から顔検出を行う。画像から人物の顔を検出する方法については、例えば、特許文献３に示す公知技術を用いればよい。つまり、処理対象の画像に対し、片目候補領域を検出し、複数の片目候補領域からペアリングを行い、ペアリングされた両目位置に基づいて顔領域を決定する。
【００１８】
代表顔画像決定部２０５は、追尾された人物のフレーム画像群から、代表となる顔画像を選択する。代表顔画像の選択処理については、例えば、顔検出部２０４で検出された顔サイズの大きい画像を選択する。顔サイズの大きい画像を用いる理由として、顔画像が大きいほど、精度の高い画像特徴が得られるからである。すなわち、顔画像から画像特徴を算出する際、顔画像の大きさを一定の大きさに変倍する顔サイズ正規化処理を行う必要がある。その際、顔画像が上記一定の大きさよりも大きい場合には縮小処理を行い情報のロスは比較的小さいが、上記一定の大きさよりも小さい場合には超解像度処理の様な画素補完を行う必要が有り、情報の劣化が激しい。
【００１９】
また、代表顔画像として、フレーム画像群から複数の画像を選択するようにしてもよい。例えば、複数の顔の向きの画像を選択する方法がある。同じ人の画像であっても、顔の向きが異なるとその画像から得られる画像特徴が異なるためである。画像から人物の顔向きを検出する方法については、例えば、非特許文献２に示す公知技術を用いればよい。非特許文献２に開示されている技術では、特徴量として勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ，ＨＯＧ）を抽出し、ＳＶＲで顔向きを推定している。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴量で、局所的なノイズや画像の明暗にロバストな特徴量として知られている。ノイズや照明変動のような、顔の向きに関係のない変動にロバストな特徴量を選択することで、実環境においても安定した顔向き推定を実現している。
【００２０】
更に、ブレが少ない画像を代表顔画像として選択するようにしてもよい。動画を撮影するカメラでも静止画のカメラと同様に、その場所の明るさに従いシャッター速度が変わる場合がある。従って、暗い場所や被写体の動き速度により、顔画像のブレが生じることがあり、これは直接的に画像特徴量や属性情報の劣化の原因となる。ブレの推定に関しては、顔画像領域の周波数成分を求め、低周波成分と高周波成分との比率を求め、これが低周波成分の比率が所定の値を超えた時にブレを生じていると判断する事が可能となる。その他、眼つぶり、口あきなどがないかどうかの観点で代表顔画像を選択するようにしてもよい。眼つぶりや口あき等があると、器官の画像特徴が変質する可能性があり、これらの画像は代表顔画像として選択しないようにする。
【００２１】
本実施形態では、追尾処理部２０３で人物の追尾を行い、顔検出部２０４で追尾された人物の顔を検出し、代表顔画像決定部２０５で追尾された人物のフレーム画像群から代表となる顔画像を選択している。しかしながら、映像入力部２０１に入力された映像から顔検出部２０４で人物の顔を検出し、それらすべての顔画像を後述の特徴算出部２０６に渡すようにしてもよい。
【００２２】
特徴算出部２０６は、顔画像特徴の算出を行う。本実施形態では、顔全体をブロック分割して算出したＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴を用いる。なお、この特徴は一例であり、本実施形態はこれに限定されるものではない。人物の顔画像内の目、口などの器官点を求め、各器官点のＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴を算出して用いても良いし、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇを行って特徴を算出しても良い。これらの顔画像特徴は、多次元のベクトル（多次元ベクトル）で表される。
【００２３】
特徴蓄積部２０７は、映像入力部２０１に入力された映像から追尾処理部２０３、顔検出部２０４、代表顔画像決定部２０５、特徴算出部２０６を経て算出された顔画像特徴（検索対象ベクトル）を外部記憶装置１０４に記憶する。加えて、顔画像特徴のメタデータとして、人物のＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶しておく。その際、顔画像特徴の類似性を高速に検索できるようにするため、インデクスを作成する。具体的には、顔画像特徴をグループ化して登録し、かつ、グループの代表を記憶しておく。検索の際は、まずグループの代表と比較して比較対象とするグループを絞り込み、絞り込んだグループに登録されている顔画像特徴との比較を行う。これにより、登録されたすべての顔画像特徴との比較をしなくてもよくなり、高速検索が実現可能となる。また、本実施形態では、グループに登録する顔画像特徴とグループの代表との距離が最も長い距離を記憶しておく。この距離は後述する順次検索時に使用する。
【００２４】
図３は、特徴蓄積部２０７が蓄積する顔画像特徴の特徴量空間を表した概念図である。本実施形態で用いられる顔画像特徴は、２５６次元等の多次元ベクトルであるが、ここでは説明の簡略化のため２次元の図で説明する。
【００２５】
点３０１は、特徴量空間上の特徴量である。特徴量空間はｋ−ｍｅａｎｓ法等により複数の空間に分割され、特徴量は分割により生成されたクラスタに登録される。特徴量空間を分割した領域３０２がクラスタ、特徴量空間を分割している線３０３が各クラスタの境界である。多次元の特徴量空間では、超面で各クラスタに分割される。
【００２６】
三角印３０４は、各クラスタを代表する特徴（代表ベクトル）である。代表特徴は、クラスタ内に含まれる顔画像特徴の多次元ベクトルの平均ベクトルでもよいし、クラスタの重心でもよいし、多次元ベクトルの平均やクラスタの重心に最も近い特徴であってもよい。
【００２７】
また、特徴蓄積部２０７は、クラスタごとに、クラスタの代表特徴と、このクラスタに登録する特徴との距離が最も長い距離ｒ（例えば３０５）を記憶しておく。クラスタの代表特徴から半径ｒの円３０６（多次元の特徴量空間では超円）の内部に、そのクラスタの特徴量すべてが登録されていることになる。
【００２８】
クエリ映像入力部２０８は、監視者（ユーザ）により指定された、検索に用いる人の顔画像を入力する。具体的には、まず、外部記憶装置１０４に記憶された人の顔画像をモニタ１１０に表示し、ユーザの操作によって入力デバイス１０９を介して指定する。クエリ映像入力部２０８は、その指定された顔画像を入力する。本実施形態において、検索に用いる人の顔画像の指定方法は特定の方法に限定されるものではない。また、検索に用いる人の顔画像は１枚でもよいし複数枚であってもよい。
【００２９】
検索部２０９は、クエリ画像（検索元画像）から顔検出部２０４、特徴算出部２０６を経て算出された顔画像特徴（検索対象ベクトルと同次元のクエリベクトル）をクエリとし、外部記憶装置１０４に記憶された多数の顔画像特徴から検索を行う。そして、顔画像特徴の類似度が所定の閾値ＴＨ１以上の顔画像を検索結果として特定する。なお、本実施形態において、ＬＢＰ特徴の距離の逆数を正規化し、それを類似度として求める。検索部２０９は、検索処理を行いながら、検索した結果を順次、検索結果表示部２１０へと出力する。
【００３０】
図４は、検索部２０９が検索する際の顔画像特徴の特徴量空間を表した概念図である。検索の際に実際に用いられる特徴は、２５６次元等の多次元ベクトルであるが、ここでは説明の簡略化のため２次元の図で説明する。
【００３１】
点４０１は特徴量空間上の特徴量、領域４０２はクラスタである。線４０３は各クラスタの境界、三角印４０４は各クラスタを代表する特徴（代表ベクトル）、４０５はクラスタ代表特徴とクラスタ内特徴との最長距離ｒである。ここでは、クラスタ４０２の一部のクラスタに対しクラスタ名称を付け、それらをＧ−１、Ｇ−２、Ｇ−３とする。
【００３２】
星印４０６は、クエリ顔画像特徴である。ここでは、クエリ顔画像特徴は、クラスタＧ−１の中に存在するものとする。検索部２０９は、まずクエリ顔画像特徴と各クラスタの代表特徴とを比較し、距離４０７（ｄｋ（ｋ＝１、２、・・・））を算出する。次に、クエリ顔画像特徴と各クラスタに登録されている画像特徴との最短距離を、クラスタの代表特徴とクラスタ内特徴との最長距離４０５（ｒｋ（ｋ＝１，２、・・・））を利用して推測する。
【００３３】
ここで、クラスタＧ−２に注目して説明すると、クエリ顔画像特徴とクラスタＧ−２の代表特徴との距離はｄ２である。また、クラスタ代表特徴とクラスタ内特徴との最長距離はｒ２である。このとき、（ｄ２−ｒ２）は、クエリ顔画像特徴とクラスタＧ−２の代表特徴を中心とした半径ｒ２の円との最短距離である。クエリ顔画像特徴からこの距離（ｄ２−ｒ２）よりも短い範囲には、クラスタＧ−２の画像特徴は存在しないため、クエリ顔画像特徴とクラスタＧ−２に登録されている画像特徴との距離は最短でも（ｄ２−ｒ２）となる。すなわち、最短距離は、クエリ顔画像特徴と注目するクラスタに属する画像特徴とが取り得る最短の距離に相当する。
【００３４】
検索部２０９は、その他のクラスタについても同様にして、クエリ顔画像特徴と、各クラスタに登録されている画像特徴との最短距離を推測する。そして、最初はクエリ画像特徴が存在するクラスタに登録されている画像特徴との比較を行う。その後は、各クラスタとの最短距離が短いクラスタから順に、クラスタに登録されている画像特徴との比較を行う。
【００３５】
その際、検索部２０９は、クエリ顔画像特徴と、各クラスタに登録されている画像特徴との比較を行った後は、比較結果のうち、次に比較を行うクラスタとの間で推測した最短距離よりも短い結果を出力する。例えば、図４において、まずクエリ顔画像特徴が存在するクラスタＧ−１との比較を行った後は、次に比較を行うクラスタＧ−２との間で推測した最短距離（ｄ２−ｒ２）を半径とした円４０８の内側の結果を出力する。そして、クラスタＧ−２との比較を行った後は、次に比較を行うクラスタＧ−３との間で推測した最短距離（ｄ３−ｒ３）を半径とした円４０９の内側の結果を出力する。
【００３６】
このようにして、次に比較を行うクラスタとの間で推測した最短距離よりも短い（類似度が高い）結果を出力する。これによって、距離の短い順、すなわち、類似度が高い順を保証した検索結果を順々に出力することが可能となる。
【００３７】
検索結果表示部２１０は、検索部２０９から順々に出力される検索結果を順々にモニタ１１０に表示する。図５は、検索結果表示部２１０による検索結果の表示例を示している。例えば、図５（Ａ）に示すように、上段の左側に位置するほど類似度の高い画像であるとして、類似度順に検索結果をモニタ１１０に表示する。あるいは、図５（Ｂ）に示すように、カメラ毎に分類した上で類似度順に検索結果をモニタ１１０に表示するようにしてもよい。図５（Ａ）、（Ｂ）の場合とも、検索結果表示部２１０は、検索部２０９の検索結果を順次表示していくことになる。ただし、本実施形態では、検索部２０９は、類似度が高い順に検索結果を順々に出力するため、追加される結果は、現状よりも類似度の低い検索結果追加されることになる。したがって、例えば、ユーザはモニタ１１０に表示される検索結果の確認を途中で打ち切っても、現状よりも類似度の高い検索結果が後から表示されるような事態は抑制される。なお、本実施形態では、検索部２０９より順次出力される検索結果を順次表示できる表示方法であれば、その表示方法はこれらに限定されるものではない。
【００３８】
次に、図６を用いて、映像入力部２０１から入力された映像データを検索可能なように蓄積する処理の詳細を説明する。図６は、本実施形態に係る顔画像特徴を蓄積する処理手順を示すフローチャートである。本処理は、先に説明した映像入力部２０１から特徴蓄積部２０７までの処理に対応する。
【００３９】
ステップＳ６０１において、映像入力部２０１は、ネットワークカメラ１１２から通信インターフェイス１０７を介して映像データを入力する。
【００４０】
ステップＳ６０２において、映像蓄積部２０２は、ステップＳ６０１で入力された映像データを外部記憶装置１０４に記憶する。加えて、映像のメタデータとして、撮影時刻や撮影したカメラなどの情報を関連付けて記憶しておく。
【００４１】
ステップＳ６０３からステップＳ６０４は追尾処理部２０３で行われる処理である。まず、ステップＳ６０３において、追尾処理部２０３は、各フレーム画像から人物を検出し、追尾を行う。ここで、検出された人物にはフレーム画像ごとに別々の人物ＩＤが割り振られ、フレーム画像中の人物の座標とともに一時記憶される。また、追尾を行っている人物に対しては、同じ追尾トラックＩＤが割り振られ、追尾を行っているフレーム画像のＩＤとともに一時記憶される。
【００４２】
ステップＳ６０４において、追尾処理部２０３は、追尾が途切れた人物があるか否かを判定する。この判定の結果、追尾が途切れた人物がある場合は、該人物の追尾画像群が決定することから次のステップＳ６０５に進む。一方、追尾が途切れた人物がない場合は、追尾を継続するため、ステップＳ６０１に戻る。
【００４３】
ステップＳ６０５において、顔検出部２０４は、追尾処理部２０３で追尾された人物を含むフレーム画像のそれぞれから顔検出を行う。
【００４４】
ステップＳ６０６において、顔検出部２０４は、ステップＳ６０５の処理によって顔が検出されたか否かを判定する。この判定の結果、顔が検出された場合はステップＳ６０７に進み、顔が検出されなかった場合は処理を終了する。
【００４５】
ステップＳ６０７において、代表顔画像決定部２０５は、追尾された人物のフレーム画像群から、検出された顔の代表となる顔画像を１枚もしくは複数枚選択する。
【００４６】
ステップＳ６０８において、特徴算出部２０６は、ステップＳ６０７で選択された１枚もしくは複数枚の代表顔画像から顔画像特徴の算出を行う。
【００４７】
ステップＳ６０９において、特徴蓄積部２０７は、ステップＳ６０８で算出された顔画像特徴とそれまでに蓄積された顔画像特徴とでクラスタリングを行う。クラスタリングの手法は、前述（図３）の通りである。
【００４８】
ステップＳ６１０において、特徴蓄積部２０７は、クラスタの重心を算出し、ステップＳ６１１ではクラスタに含まれる顔画像特徴のうちでクラスタの重心からの距離が最も長い距離を算出する。
【００４９】
ステップＳ６１２において、特徴蓄積部２０７は、顔画像特徴を外部記憶装置１０４に記憶する。加えて、顔画像特徴のメタデータとして、人物ＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶する。
【００５０】
ステップＳ６１３において、映像が継続している場合はステップＳ６０１に戻り、映像が終了している場合は処理を終了する。
【００５１】
以上の処理により、ネットワークカメラ１１２から入力された映像に写る人物の顔画像の顔画像特徴が特徴蓄積部２０７によって外部記憶装置１０４に蓄積され、検索可能な状態になる。
【００５２】
なお、本実施形態では、映像が入力され顔が検出されるごとに、クラスタリングを行っている。しかしながら、登録されるデータ量が少ない場合はクラスタリングの効果も小さいため、検出された顔が所定数に達するまではクラスタリングせずにデータをそのまま登録しておいてもよい。また、クラスタリングはデータの分布を見てグループ化する比較的重い処理である。したがって、毎回クラスタリングを行う（クラスタを更新する）のではなく、クラスタリングを行った後しばらくの間は、登録する顔画像特徴は各クラスタへの分類のみを行うようにすることも可能である。その場合は、クラスタ重心からの距離が最長になる場合に、このクラスタの重心からの最長距離を更新する。
【００５３】
次に、図７を用いて、クエリ映像入力部２０８から入力されたクエリ画像から人物の顔画像を検索する処理の詳細を説明する。図７は、本実施形態において、人物の顔画像を検索する処理手順を示すフローチャートである。本処理は、先に説明した図２における顔検出部２０４、特徴算出部２０６、クエリ映像入力部２０８から検索結果表示部２１０までの処理に対応する。
【００５４】
ステップＳ７０１において、クエリ映像入力部２０８は、検索に用いる人の顔画像を入力する。
【００５５】
ステップＳ７０２において、顔検出部２０４は、クエリ映像入力部２０８によって入力された顔画像を含む映像から顔検出を行う。
【００５６】
ステップＳ７０３において、特徴算出部２０６は、ステップＳ７０２で検出された顔画像から顔画像特徴の算出を行う。
【００５７】
ステップＳ７０４において、検索部２０９は、ステップＳ７０３で算出された顔画像特徴をクエリとし、外部記憶装置１０４に記憶された各クラスタ重心との比較を行い、距離４０７（ｄｋ（ｋ＝１、２、・・・））を算出する。
【００５８】
ステップＳ７０５において、検索部２０９は、各クラスタに登録されている画像特徴との最短距離を、クラスタの代表特徴とクラスタ内特徴との最長距離４０５（ｒｋ（ｋ＝１，２、・・・））を利用して推測し、ソートすることで比較順を決定する。この最短距離が短いクラスタから順番に比較する。
【００５９】
ステップＳ７０６において、検索部２０９は、クエリ顔特徴が存在するクラスタを比較対象クラスタに設定する。
【００６０】
ステップＳ７０７において、クエリ顔特徴と比較対象クラスタ内の各画像特徴とを比較し、その距離を算出する。
【００６１】
ステップＳ７０８において、比較対象クラスタがまだ存在する場合はステップＳ７０９に進み、比較対象クラスタが存在しない場合はステップＳ７１２に進む。
【００６２】
ステップＳ７０９において、ステップＳ７０７における比較結果のうち、次の比較対象クラスタとの最短距離よりも距離が短い比較結果を出力する。
【００６３】
ステップＳ７１０において、検索結果表示部２１０は、ステップＳ７０９で出力された比較結果を前回の結果に追加してモニタ１１０に表示する。なお、同一カメラから複数の結果が得られたときは、すべての結果を表示するのではなく、顔画像の類似度が最も高いまたは高い方から所定数の結果を表示することも可能である。また、表示結果数が多い場合は分割して表示してもよいし、ユーザの指示があった後に更新して表示するようにしてもよい。
【００６４】
ステップＳ７１１において、最短距離が次に短いクラスタを比較対象クラスタに設定し、ステップＳ７０７に進む。
【００６５】
ステップＳ７１２では、すべての比較対象クラスタとの比較が完了したため、全比較結果を出力する。
【００６６】
ステップＳ７１３において、検索結果表示部２１０は、ステップＳ７１２で出力された比較結果を前回の結果に追加してモニタ１１０に表示し、処理を終了する。
【００６７】
なお、登録データ量が少なく登録時にクラスタリングを行っていない場合は、本処理フローによらず、登録されているすべての特徴との比較を行い、その結果を出力するという通常の処理を行えばよい。
【００６８】
以上のように、本実施形態によれば、監視カメラの映像中の人物を追尾して得られた同一人物の画像から顔画像特徴を算出し、それらをクラスタリングして記憶するようにした。そして、クエリとして与えられた顔画像をもとに顔画像検索を行う際、まず、クエリ顔特徴と各クラスタ内の特徴との最短距離を推測する。そして、最短距離が短いクラスタから順に、クエリ顔特徴と記憶されている画像特徴との比較を行い、その検索結果を順次出力するようにした。そのため、本実施形態では、ユーザが検索結果を確認できるようになるまでの時間を短くすることが可能になる。
【００６９】
また、本実施形態ではクエリ顔特徴の存在するクラスタの各画像特徴との比較が終了した後は、最短距離の短い順に各クラスタ内特徴との比較を行い、次に比較を行うクラスタとの推測最短距離よりも短い結果を出力する。この構成によって、本実施形態では、距離の短い順、すなわち、類似度が高い順を保証した結果を順々に出力することが可能となる。
【００７０】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、特徴量空間をｋ−ｍｅａｎｓ法等により複数の空間に分割し、分割したクラスタに特徴量を登録した。本実施形態では、特徴量空間を所定のルールで分割し、分割したクラスタに特徴量を登録する。ここでは、各クラスタの境界を多次元式で表現可能なように分割する。なお、第１の実施形態で既に説明をした構成については同一の符号を付し、その説明を省略する。
【００７１】
図８は、本実施形態に係る特徴蓄積部２０７が蓄積する顔画像特徴の特徴量空間を表す概念図である。本実施形態において用いられる特徴は、２５６次元等の多次元ベクトルであるが、ここでは説明の簡略化のため２次元の図で説明する。なお、特徴蓄積部２０７は、第１の実施形態では、クラスタに登録する各画像特徴とクラスタの代表特徴との距離のうち最も長い距離を記憶していたが、本実施形態では不要である。
【００７２】
点８０１は、特徴量空間上の特徴量である。特徴量空間は格子状の複数の空間に分割され、特徴量は分割されたクラスタに登録される。本実施形態では、正方格子の例を示しているが、三角格子や六角格子でも良い。また、多次元空間においては、単純超立方格子で分割してもよいし、面心超立方格子で分割してもよい。特徴量空間を分割した領域８０２がクラスタ、特徴量空間を分割している線８０３が各クラスタの境界である。多次元の特徴量空間では、超面で各クラスタに分割される。
【００７３】
図９は、本実施形態に係る検索部２０９が検索する顔画像特徴の特徴量空間を表す概念図ある。本実施形態において用いられる特徴は、２５６次元等の多次元ベクトルであるが、ここでは説明の簡略化のため２次元の図で説明する。
【００７４】
点９０１は特徴量空間上の特徴量、領域９０２はクラスタである。線９０３は各クラスタの境界である。ここでは、クラスタ９０２の一部のクラスタに対してクラスタ名称を付け、それらをＧ−１、Ｇ−２、Ｇ−３、Ｇ−４とする。
【００７５】
星印９０４は、クエリ顔画像特徴である。ここでは、クエリ顔画像特徴は、クラスタＧ−１の中に存在する。検索部２０９は、まず、クエリ顔画像特徴と、各クラスタとの間で最短距離を算出する。例えば、クエリ顔画像特徴とクラスタＧ−２の最短距離は、クエリ画像特徴からクラスタＧ−１とクラスタＧ−２の境界への法線の距離である。クエリ顔画像特徴とクラスタＧ−３の最短距離は、クエリ画像特徴からクラスタＧ−１とクラスタＧ−３の境界への法線の距離である。クエリ顔画像特徴とクラスタＧ−４の最短距離は、クエリ画像特徴からクラスタＧ−１、クラスタＧ−２、クラスタＧ−３、クラスタＧ−４の交点までの距離である。
【００７６】
ｎ次元空間におけるある点（ｑ１，ｑ２，…，ｑｎ）から数式１で表される超平面までの法線の距離は、数式２で算出できる。
【００７７】
【数１】
2019082959.tif 000003
【００７８】
【数２】
2019082959.tif 000004
【００７９】
また、ｎ次元空間における２点（ｐ１，ｐ２，…，ｐｎ）、（ｑ１，ｑ２，…，ｑｎ）間の距離は、数式３で算出できる。
【００８０】
【数３】
2019082959.tif 000005
【００８１】
検索部２０９は、まずクエリ顔特徴が存在するクラスタに登録されている各画像特徴との比較を行う。その後は、各クラスタとの最短距離が短いクラスタから順に、クラスタに登録されている各画像特徴との比較を行う。
【００８２】
本実施形態においても、各クラスタに登録されている各特徴との比較を行った後、比較結果を出力する際は、比較結果のうち、次に比較を行うクラスタとの推測最短距離よりも短い結果を出力する。例えば、図９において、クラスタＧ−１との比較を行った後は、次に比較を行うクラスタＧ−２との最短距離を半径とした円９０５の内側の結果を出力する。クラスタＧ−２との比較を行った後は、次に比較を行うクラスタＧ−３との最短距離を半径とした円９０６の内側の結果を出力する。このようにして、次に比較を行うクラスタとの最短距離よりも短い（類似度が高い）結果を出力することで、距離の短い順、すなわち、類似度が高い順を保証した結果を順々に出力することが可能となる。
【００８３】
次に、図１０を用いて、映像入力部２０１から入力された映像データを検索可能なように蓄積する処理の詳細を説明する。図１０は、本実施形態において、顔画像特徴を蓄積する処理手順を示すフローチャートである。本処理は、先に説明した映像入力部２０１から特徴蓄積部２０７までの処理に対応する。
【００８４】
ステップＳ１００１からステップＳ１００８は、図６におけるステップＳ６０１からステップＳ６０８と同様である。
【００８５】
ステップＳ１００９において、特徴蓄積部２０７は、ステップＳ６０８で算出された顔画像特徴を所定のルールで決定されたクラスタに登録する。加えて、顔画像特徴のメタデータとして、人物ＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶する。上述のとおり、本実施形態で、各クラスタを決定する所定のルールとは、特徴量空間を格子状の複数の空間に分割するというものである。
【００８６】
ステップＳ１０１０は、図６におけるステップＳ６１３と同様である。
【００８７】
以上の処理により、ネットワークカメラ１１２から入力された映像に写る人物の顔画像の顔画像特徴が、特徴蓄積部２０７によって外部記憶装置１０４に検索可能な状態で蓄積される。
【００８８】
次に、図１１を用いて、クエリ映像入力部２０８から入力されたクエリ画像から人物の顔画像を検索する処理の詳細を説明する。図１１は、本実施形態において、人物の顔画像を検索する処理手順を示すフローチャートである。本処理は、先に説明した図２における顔検出部２０４、特徴算出部２０６、クエリ映像入力部２０８から検索結果表示部２１０までの処理に対応する。
【００８９】
ステップＳ１１０１からステップＳ１１０３は、図７におけるステップＳ７０１からステップＳ７０３と同様である。
【００９０】
ステップＳ１１０４において、検索部２０９は、クエリ顔特徴から各クラスタへの最短距離を算出し、ソートすることで比較順を決定する。検索部２０９は、クエリ顔特徴が存在するクラスタの各画像特徴との比較の後は、この最短距離が短いクラスタから順に比較を行う。
【００９１】
ステップＳ１１０５からステップＳ１１１２は、図７におけるステップＳ７０６からステップＳ７１３と同様である。
【００９２】
以上のように、本実施形態によれば、監視カメラの映像中の人物を追尾して得られた同一人物の画像から顔画像特徴を算出し、それらを所定のルールで分割したクラスタに記憶するようにした。そして、クエリとして与えられた顔画像をもとに顔画像検索を行う際、まず、クエリ顔特徴と各クラスタ内の特徴との最短距離を推測する。そして、最短距離が短いクラスタから順に、クエリ顔特徴と記憶されている画像特徴との比較を行い、その検索結果を順次出力するようにした。そのため、本実施形態では、ユーザが検索結果を確認できるようになるまでの時間を短くすることが可能になる。
【００９３】
また、本実施形態ではクエリ顔特徴の存在するクラスタの各画像特徴との比較が終了した後は、最短距離の短い順に各クラスタ内特徴との比較を行い、次に比較を行うクラスタとの推測最短距離よりも短い結果を出力する。この構成によって、本実施形態では、距離の短い順、すなわち、類似度が高い順を保証した結果を順々に出力することが可能となる。
【００９４】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第１、第２の実施形態では、顔画像特徴を１つのインデクスに登録し、該インデクスを対象に検索を行った。第３の実施形態では、顔画像特徴を複数のインデクスに分割して登録し、それらの複数のインデクスを対象に検索を行う。なお、第１、第２の実施形態で既に説明をした構成については同一の符号を付し、その説明を省略する。
【００９５】
まず、顔画像特徴を複数のインデクスに分割して登録することの利点について説明する。例えば、カメラ毎にインデクスを分けることで、検索対象のカメラを限定した検索を簡単に行うことができる。また、一定時間ごとや一定数の顔画像特徴ごとにインデクスを分けることで、時間帯を指定した検索を簡単に行うことができる。インデクスを複数に分割するときは、インデクスごとに第１の実施形態もしくは第２の実施形態と同様の手順でインデクスを作成する。
【００９６】
検索を行うときは、検索部２０９が、それぞれのインデクスに対して検索を行い、インデクスごとに検索結果を取得する。図１２は、各インデクスの検索結果の一例を示す概念図である。同図では、各インデクスの検索結果を距離が短い順（類似度が高い順）に並べて表わしている。ここでは、インデクス１からは１２０１から１２０３、インデクス２からは１２０４から１２０７、インデクス３からは１２０８から１２１０が検索結果として取得されている。各検索結果の下部に記載の数字は、クエリ特徴からの距離である。
【００９７】
この状態において、検索部２０９は、まずインデクスごとに最も長い距離を取得する。図１２の例では、インデクス１の最長距離は１１０、インデクス２の最長距離は１４０、インデクス３の最長距離は１２０である。そして、検索部２０９は、これらの距離のうち、最も短い最長距離よりも距離が短い検索結果を出力する。図１２の例では、各インデクスの最長距離のうち最も短い最長距離はインデクス１の１１０である。次の検索結果を取得する際、どのインデクスからも、距離が１１０よりも短い検索結果が取得されることは無い。そこで、距離が１１０よりも短い検索結果を出力する。以降も、各インデクスに対して検索結果を取得し、各インデクスの最長距離のうち最も短い最長距離よりも距離が短い検索結果を出力するという同様の処理を繰り返す。これにより、すべてのインデクスに対して距離の短い順、すなわち、類似度が高い順を保証した検索結果を順々に出力することが可能となる。
【００９８】
また、インデクスごとの検索結果を取得する際、そのインデクスがどの距離よりも短い結果を出力したか、すなわち次に比較するクラスタとの最短距離を取得することも可能である。例えば、図１２のインデクス１において、次に比較するクラスタとの最短距離が１１８であって、かつ、それまでの比較結果には距離が１１０より長く１１８より短い結果が存在しないときを考える。このとき、インデクス１から取得できる比較結果は変わらない。もし、次に比較するクラスタとの最短距離が１１８である、という情報を予め取得することができていれば、次の検索結果を取得する際、どのインデクスからも距離が１１８よりも短い結果が取得されることは無いことがわかる。したがって、この値を用いて、距離が１１８よりも短い結果のみを出力することで、順位の確定した結果をより多く、すなわち、より早く出力することが可能となる。
【００９９】
以上、本実施形によれば、顔画像特徴を複数のインデクスに分割して登録した場合にも、ユーザが検索結果を確認できるようになるまでの時間を短くすることが可能になる。また、距離の短い順、すなわち、類似度が高い順を保証した結果を順々に出力することが可能となる。
【０１００】
［その他の実施形態］
上述した各実施形態では、監視カメラの映像中の人物の画像から顔画像特徴を抽出し、それらを記憶し、検索できるようにした。しかしながら本発明は、検索対象としてのオブジェクトは人物に限定するものではない。例えば、犬、猫などの動物や、車などの乗り物に適用しても良い。また、対象のオブジェクトから算出される特徴は、顔画像から算出される顔特徴に限定されない。例えば、人物検索の場合には、顔画像以外にも、全身、衣服、持ち物の画像から算出される特徴量であってもよい。本発明を動物に適用する場合は、顔画像、体の模様、衣服、全体的な形状や色を特徴として用いればよい。本発明を車に適用する場合は、識別番号周辺の画像、全体的な形状や色を特徴として用いればよい。
【０１０１】
また、本発明は、画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する際にも適用可能である。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献３）。次に、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する（非特許文献４）。そのようにして得られた特徴量（多次元ベクトル）をクラスタリングして蓄積し、検索時はクラスタ内特徴と順次比較し、順次出力すればよい。
【０１０２】
なお、上記各実施形態では検索対象のデータ、クエリデータの種類を画像として説明をしたが、データの種類は画像に限られず、例えば音声のような他の種類のデータであってもよい。
【０１０３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
１００  情報処理装置
２０１  映像入力部
２０２  映像蓄積部
２０３  追尾処理部
２０４  顔検出部
２０５  代表顔画像決定部
２０６  特徴算出部
２０７  特徴蓄積部
２０８  クエリ映像入力部
２０９  検索部
２１０  検索結果表示部
【図１】
2019082959.tif 000006
【図２】
2019082959.tif 000007
【図３】
2019082959.tif 000008
【図４】
2019082959.tif 000009
【図５】
2019082959.tif 000010
【図６】
2019082959.tif 000011
【図７】
2019082959.tif 000012
【図８】
2019082959.tif 000013
【図９】
2019082959.tif 000014
【図１０】
2019082959.tif 000015
【図１１】
2019082959.tif 000016
【図１２】
2019082959.tif 000017