(57)【特許請求の範囲】
【請求項１】
撮影装置で撮影された画像と、設定された画像と、の２つの画像のそれぞれに写るオブジェクト同士の照合処理を行う照合手段と、
同一の画像に写る複数のオブジェクトの特徴量同士の類似度を第１の類似度として取得する第１の取得手段と、
同一のオブジェクトを追尾して得られた複数の画像のそれぞれに写る当該同一のオブジェクトの特徴量同士の類似度を第２の類似度として取得する第２の取得手段と、
前記第１の類似度及び前記第２の類似度のそれぞれの分布に基づいて、前記照合手段による照合処理を調整する調整手段と、
を有する情報処理装置。
【請求項２】
前記照合手段は、前記２つの画像の類似度と、設定された閾値と、に基づいて前記２つの画像のそれぞれに写るオブジェクト同士の照合処理を行い、
前記調整手段は、前記第１の類似度または前記第２の類似度を補正する補正値を調整することで、前記照合手段による照合処理を調整する請求項１記載の情報処理装置。
【請求項３】
前記調整手段は、前記第１の取得手段により取得された前記第１の類似度に含まれる類似度のうち、同一のオブジェクトの画像同士の類似度であると判定されるものの割合が設定された範囲に収まるように、更に、前記第２の取得手段により取得された前記第２の類似度に含まれる類似度のうち、異なるオブジェクトの画像同士の類似度であると判定されるものの割合が設定された範囲に収まるように、前記補正値を調整することで、前記照合手段による照合処理を調整する請求項２記載の情報処理装置。
【請求項４】
前記照合手段は、前記２つの画像それぞれの特徴量に基づいて取得される前記２つの画像の類似度に基づいて、前記２つの画像のそれぞれに写るオブジェクト同士の照合処理を行い、
前記第１の取得手段は、設定された複数の特徴量のそれぞれについて、前記同一の画像に写る複数のオブジェクトの特徴量同士の類似度である前記第１の類似度を取得し、
前記調整手段は、前記第１の取得手段により、前記複数の特徴量のそれぞれについて取得された前記第１の類似度に基づいて、前記照合手段による照合処理における前記２つの画像の類似度の取得に利用される特徴量を決定することで、前記照合手段による照合処理を調整する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
前記照合手段は、前記２つの画像それぞれの局所領域の特徴量に基づいて取得される前記２つの画像の類似度に基づいて、前記２つの画像のそれぞれに写るオブジェクト同士の照合処理を行い、
前記第１の取得手段は、設定された複数の局所領域のそれぞれについて、前記同一の画像に写る異なるオブジェクトの画像群に含まれる画像の局所領域の特徴量同士の類似度である前記第１の類似度を取得し、
前記調整手段は、前記第１の取得手段により、前記複数の局所領域のそれぞれについて取得された前記第１の類似度に基づいて、前記照合手段による照合処理における前記２つの画像の類似度の取得に利用される局所領域を決定することで、前記照合手段による照合処理を調整する請求項１乃至３何れか１項記載の情報処理装置。
【請求項６】
前記調整手段は、前記設定された画像が撮影された時刻の情報と前記撮影装置による画像の取得が行われた時刻の情報とに基づいて、前記照合手段による照合処理を調整する請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記照合手段は、前記２つの画像のそれぞれに写るオブジェクトとして人体同士の照合処理を行う請求項１乃至６何れか１項記載の情報処理装置。
【請求項８】
前記照合手段は、前記２つの画像のそれぞれに写るオブジェクトとして人物の顔同士の照合処理を行う請求項１乃至６何れか１項記載の情報処理装置。
【請求項９】
撮影装置それぞれについて、前記調整手段による調整処理が完了したか否かを示すオブジェクトを含む画面を、出力部に表示する表示手段を更に有する請求項１乃至８何れか１項記載の情報処理装置。
【請求項１０】
前記表示手段は、撮影装置それぞれについて、前記調整手段による調整処理の完了のために必要な調整用データの量を示すオブジェクトを、更に含む前記画面を、前記出力部に表示する請求項９記載の情報処理装置。
【請求項１１】
情報処理装置が実行する情報処理方法であって、
撮影装置で撮影された画像と、設定された画像と、の２つの画像のそれぞれに写るオブジェクト同士の照合処理を行う照合ステップと、
同一の画像に写る複数のオブジェクトの特徴量同士の類似度を第１の類似度として取得する第１の取得ステップと、
同一のオブジェクトを追尾して得られた複数の画像のそれぞれに写る当該同一のオブジェクトの特徴量同士の類似度を第２の類似度として取得する第２の取得ステップと、
前記第１の類似度及び前記第２の類似度のそれぞれの分布に基づいて、前記照合ステップにおける照合処理を調整する調整ステップと、
を含む情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
複数カメラで撮影された画像データの中から、特定人物がいつ、どこのカメラに写ったかを検索する人物検索技術が知られている。人物検索技術の応用先として、顔写真を使った犯罪捜査や、迷子探し等がある。これらの人物検索技術の応用先では、カメラ毎に設置場所が異なるため、人物を撮影する際の撮影条件（例えば、人物の向きや照明条件）がカメラ毎に異なる。そのため、そのような撮影条件の影響が軽微な頑健な人物検索技術が求められる。
人物検索技術は、登録された人物の画像データと検索したい人物の画像データとの間で画像データを照合し、算出された類似度が高い人物を提示することで特定人物の検索を実現している。その照合処理を撮影条件毎に調整することで、撮影条件に頑健な方法が提案されている。特許文献１には、画像認識技術を使って、撮影した画像データから撮影条件を検出し、検出した撮影条件を基に照合スコアを調整することで、撮影条件による精度低下を軽減する方法が開示されている。しかし、人物の向きや照明条件といった撮影条件を撮影された画像から正確に検出するのは技術的に難しい。そのため、検出の誤りによって、照合スコアの誤った調整がされることがあり、精度低下軽減の効果は限定的となってしまう。
これに対して、特許文献２には、カメラ毎に収集した本人・他人の画像データのペアをもとに、他人受入率・本人拒否率が所定の値になるよう調整することで撮影条件による精度低下を軽減する方法が開示されている。特許文献２の技術により、撮影条件を検出せずに、同じカメラについての撮影条件は同じであるとみなすことで、検出誤りが生じることなく、照合処理を効果的に調整することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−３７５１号公報
【特許文献２】特開２００９−１６３５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、収集した人物の画像データのペアが本人なのか他人なのか、という正解情報を人手で入力する必要がある。そして、少量の画像データで照合処理を調整すると、その画像データに偏った調整がなされてしまうため、大量の画像データを学習データとして必要とする。そのため、大量の画像データに対して人手で正解情報を入力する必要があり、入力の手間がかかり、煩雑であるため、利便性が低いという問題がある。
そこで、本発明は、照合処理の調整の手間を軽減することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、撮影装置で撮影された画像と、設定された画像と、の２つの画像のそれぞれに写るオブジェクト同士の照合処理を行う照合手段と、同一の画像に写る複数のオブジェクトの特徴量同士の類似度を第１の類似度として取得する第１の取得手段と、同一のオブジェクトを追尾して得られた複数の画像のそれぞれに写る当該同一のオブジェクトの特徴量同士の類似度を第２の類似度として取得する第２の取得手段と、前記第１の類似度及び前記第２の類似度のそれぞれの分布に基づいて、前記照合手段による照合処理を調整する調整手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、照合処理の調整の手間を軽減することができる。
【図面の簡単な説明】
【０００７】
【図１】画像検索装置のハードウェア構成等の一例を示す図である。
【図２】画像検索装置の機能構成の一例を示す図である。
【図３】画像検索装置の監視・検索処理の一例を示すフローチャートである。
【図４】画像検索装置の画像検索処理の一例を示すフローチャートである。
【図５】検索結果として表示される内容の一例を示す図である。
【図６】調整処理の際に表示される内容の一例を示す図である。
【図７】照合処理の調整処理の一例を示すフローチャートである。
【図８】調整用データ取得処理の一例を示すフローチャートである。
【図９】調整用データ取得処理の一例を説明する図である。
【図１０】照合処理の調整処理の一例を示すフローチャートである。
【図１１】照合処理の調整処理の一例を説明する図である。
【図１２】調整モード中に表示されるコンソール画面の一例を示す図である。
【図１３】照合処理の調整処理の一例を示すフローチャートである。
【図１４】特徴量毎に算出された類似度分布の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
実施形態１では、撮り貯めた画像データの中から特定人物を検索する前に、カメラ毎に照合処理を調整する例について説明する。
（ハードウェア構成）
本実施形態の監視システムは、画像検索装置１０１、カメラ１０２、カメラ１０３、カメラ１０４を含む。
画像検索装置１０１は、カメラ１０２〜１０４等から入力される画像データから特定人物を検索する画像検索装置である。本実施形態では、画像検索装置１０１は、ＰＣ等の情報処理装置で構成される。
カメラ１０２〜１０４のそれぞれは、ネットワークカメラであり、レンズ、ＣＣＤやＣＭＯＳセンサ等の撮像素子を含む可視光カメラユニット、ネットワークと接続するための通信装置、等を含む。カメラ１０２〜１０４のそれぞれは、ネットワークカメラでなくとも、通信機能を有する他のカメラであってもよい。また、カメラ１０２〜１０４のそれぞれが含むカメラユニットは可視光に限らず、赤外カメラユニットでもよい。カメラ１０２〜１０４は、撮影装置の一例である。本実施形態の処理は、画像検索装置１０１による撮影装置毎の照合処理を調整する処理である。
画像検索装置１０１とカメラ１０２〜１０４とは、それぞれ、ネットワークを介して接続されており、相互にデータ通信が可能である。
本実施形態では、監視システムは、カメラを３台（カメラ１０２〜１０４）含むこととする。しかし、監視システムは、カメラを２台以下の台数含むこととしてもよいし、４台以上の台数含むこととしてもよい。
【００１０】
図１は、画像検索装置１０１のハードウェア構成等の一例を示す図である。
画像検索装置１０１は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、二次記憶装置１１４、通信装置１１５、映像出力装置１１６、接続バス１１８を含む。
ＣＰＵ１１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ＲＯＭ１１２やＲＡＭ１１３に格納された制御プログラムを実行することにより、本装置全体の制御を行う。
ＲＯＭ１１２は、不揮発性メモリであり、制御プログラムや各種パラメタデータを記憶する。制御プログラムは、ＣＰＵ１１１により実行され、後述する各処理が実現される。
ＲＡＭ１１３は、揮発性メモリであり、画像や制御プログラム及びその実行結果を一時的に記憶する。
二次記憶装置１１４は、ハードディスクやフラッシュメモリー等の書き換え可能な二次記憶装置であり、カメラ１０２〜１０４から、通信装置１１５を介して、受信した画像を記憶する。また、二次記憶装置１１４は、制御プログラム、各種設定内容、処理結果等を記憶する。これらの情報は、ＲＡＭ１１３に出力され、ＣＰＵ１１１によるプログラムの実行に利用される。
【００１１】
通信装置１１５は、有線通信ユニットであり、ネットワークを介してカメラ１０２〜１０４とデータ通信を行う。通信装置１１５は、無線通信ユニットであってもよい。
映像出力装置１１６は、ＣＲＴやＴＦＴ液晶等のモニタであり、ＲＡＭ１１３又は二次記憶装置１１４に記憶された画像データや制御プログラムの実行結果等を表示する出力装置である。
操作入力装置１１７は、キーボードやマウス等のユーザからの操作を受け付ける入力装置である。ユーザは、撮り貯めた画像データの中から特定人物を検索する指示や、後述する調整処理の指示等は操作入力装置１１７を介して、画像検索装置１０１に入力する。
接続バス１１８は、画像検索装置１０１に含まれる各ハードウェア構成要素の相互接続に利用される。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、二次記憶装置１１４、通信装置１１５、映像出力装置１１６は、接続バス１１８を介して、相互にデータ通信を行う。
ＣＰＵ１１１が、ＲＯＭ１１２又は二次記憶装置１１４に記憶されたプログラムに基づき処理を実行することによって、図２で後述する画像検索装置１０１の機能及び図３、４、７、８、１０、１３で後述するフローチャートの処理が実現される。
また、カメラ１０２〜１０４のそれぞれが画像検索装置１０１の処理の一部又は全部を実現するようにしてもよい。その場合は、画像検索装置１０１の処理に必要なハードウェアをカメラ１０２〜１０４のそれぞれが備えることとなる。また、その場合、カメラ１０２〜１０４のそれぞれは、本実施形態の処理を行う情報処理装置の一例となる。
【００１２】
（機能構成）
図２は、画像検索装置１０１の機能構成の一例を示す図である。本実施形態の画像検索装置１０１は、画像取得部２０１、オブジェクト検出部２０２、調整用データ取得部２０３、調整用データ記憶部２０４、照合方法調整部２０５、照合方法記憶部２０６、照合部２０７、特徴量記憶部２０８、表示部２０９を含む。
画像取得部２０１は、カメラ１０２〜１０４から、通信装置１１５を介して画像を取得し、オブジェクト検出部２０２へ出力する。また、画像取得部２０１は、二次記憶装置１１４から画像を取得し、オブジェクト検出部２０２へ出力してもよい。
オブジェクト検出部２０２は、画像取得部２０１から取得した画像中の人物の顔を検出し、画像と顔の座標情報、即ち顔画像データを調整用データ取得部２０３又は特徴抽出部２１１へ出力する。
調整用データ取得部２０３は、オブジェクト検出部２０２から出力された画像と顔の座標情報を基に、照合処理を調整するための調整用データを取得し、調整用データ記憶部２０４に出力する。調整用データとは、画像検索装置１０１による画像の照合処理に利用される照合処理を調整するために利用されるデータである。
調整用データ記憶部２０４は、調整用データ取得部２０３から取得した調整用データを二次記憶装置１１４に記憶する。また、調整用データ記憶部２０４は、記憶した調整用データを照合方法調整部２０５へ出力する。調整用データには、より具体的には、同一画像に写る複数オブジェクトの画像、即ち同一画像に写る複数人物の顔画像がある。
【００１３】
照合方法調整部２０５は、調整用データ記憶部２０４から取得した調整用データを基に、照合処理を調整し、調整した照合処理やパラメタを記述した照合方法データを生成する。そして、照合方法調整部２０５は、生成した照合方法データを照合方法記憶部２０６へ出力する。
照合方法記憶部２０６は、照合方法調整部２０５から取得した照合方法データを二次記憶装置１１４に記憶する。また、照合方法記憶部２０６は、記憶した照合方法データを照合部２０７へ出力する。
照合部２０７は、照合対象の２つの画像それぞれに写るオブジェクト同士の照合処理を行う照合部である。照合部２０７は、照合方法記憶部２０６から取得した照合方法データを使って、オブジェクト検出部２０２から取得した顔画像データと特徴量記憶部２０８から取得した特徴量を照合する。即ち、照合部２０７は、オブジェクト同士を照合する。そして、照合部２０７は、照合した結果を表示部２０９へ出力する。また、照合部２０７は、オブジェクト検出部２０２から取得した顔画像データから特徴量を算出し、特徴量記憶部２０８へ出力する。本実施形態では、画像検索装置１０１は、照合部２０７による照合処理を調整する。
特徴量記憶部２０８は、照合部２０７から取得した特徴量を二次記憶装置１１４に記憶する。また、特徴量記憶部２０８は、記憶した特徴量を照合部２０７に出力する。
表示部２０９は、照合部２０７から取得した照合結果及びそれに対応する画像データを映像出力装置１１６に表示する。
【００１４】
照合部２０７の詳細について説明する。照合部２０７は、特徴抽出部２１１、類似度算出部２１２、類似度補正部２１３を含む。
特徴抽出部２１１は、オブジェクト検出部２０２から取得した顔画像データを基に、特徴量を抽出する。そして、特徴抽出部２１１は、抽出した特徴量を特徴量記憶部２０８又は類似度算出部２１２に出力する。
類似度算出部２１２は、特徴量記憶部２０８から取得した特徴量と特徴抽出部２１１から取得した特徴量との類似度を算出する。そして、類似度算出部２１２は、算出した類似度を類似度補正部２１３へ出力する。
類似度補正部２１３は、照合方法記憶部２０６から取得した照合方法データを基に、類似度算出部２１２から取得した類似度を補正する。補正した類似度を表示部２０９へ出力する。
【００１５】
（全体処理）
本実施形態の処理は、複数のカメラそれぞれ毎に照合処理を自動で調整する調整処理と、カメラ１０２〜１０４を使って映像を撮り貯めつつ、ユーザの指示に従って照合することで特定人物を検索する監視・検索処理の２つの処理と、を含む。
なお、本実施形態の処理の開始の際には、既に、カメラ１０２〜１０４がそれぞれ異なる場所に設置され、画像検索装置１０１は、処理を開始できる状態となっているものとする。
（監視・検索処理）
まず、本実施形態の監視・検索処理を説明する。図３は、画像検索装置１０１の監視・検索処理の一例を示すフローチャートである。図３を用いて、本実施形態の画像検索装置１０１がカメラ１０２〜１０４を使って人物の画像データを撮影しつつ、ユーザの指示に従って照合することで特定人物を検索する処理を説明する。
なお、画像検索装置１０１が監視・検索処理を行っている間、カメラ１０２〜１０４は常に撮影を続け、撮影した画像データを画像検索装置１０１に送信し続け、ＣＰＵ１１１は、送信された画像を二次記憶装置１１４に記憶し続けているものとする。
【００１６】
Ｓ３０１において、画像取得部２０１は、二次記憶装置１１４から画像データを取得する。
Ｓ３０２において、オブジェクト検出部２０２は、画像データからオブジェクトである人物の顔を検出する。オブジェクト検出部２０２は、Ｓ３０２の検出処理の結果として、例えば、画像データ中の顔の座標情報等を出力する。オブジェクト検出部２０２は、人物の顔を検出する方法に関しては公知の技術を用いればよい。例えば、オブジェクト検出部２０２は、参考文献１で開示されている技術を用いることができる。
参考文献１：Ｐ．  Ｖｉｏｌａ  ａｎｄ  Ｍ．  Ｊｏｎｅｓ，  "Ｒｏｂｕｓｔ  ｒｅａｌ−ｔｉｍｅ  ｆａｃｅ  ｄｅｔｅｃｔｉｏｎ"，  Ｉｎ  ｐａｇｅ  ＩＩ：  ７４７，  ２００１．
Ｓ３０３において、オブジェクト検出部２０２は、Ｓ３０２でオブジェクトを１つ以上検出したか否かを判定する。そして、オブジェクト検出部２０２は、Ｓ３０２でオブジェクトを１つ以上検出したと判定した場合、Ｓ３０４の処理に進み、Ｓ３０２でオブジェクトを１つ以上検出していないと判定した場合、Ｓ３０８の処理に進む。
【００１７】
Ｓ３０４において、照合部２０７の特徴抽出部２１１は、Ｓ３０２で検出された顔画像データから特徴量を抽出する。特徴抽出部２１１は、特徴量を抽出する方法として、公知の技術を用いればよい。例えば、特徴抽出部２１１は、Ｓ３０２で検出された顔画像データからＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴量を抽出することができる。また、特徴抽出部２１１は、Ｓ３０２で検出された顔画像データからＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴量を抽出することとしてもよい。また、特徴抽出部２１１は、Ｓ３０２で検出された顔画像データからＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を抽出することとしてもよい。また、特徴抽出部２１１は、Ｓ３０２で検出された顔画像データから、これらの特徴量を混合した特徴量を抽出することとしてもよい。
Ｓ３０５において、特徴量記憶部２０８は、Ｓ３０４で抽出された特徴量を二次記憶装置１１４等に記憶する。
Ｓ３０６において、照合部２０７は、表示部２０９により映像出力装置１１６に表示された検索指示入力画面及び操作入力装置を介したユーザの操作に基づいた画像の検索指示を検知したか否かを判定する。表示部２０９により映像出力装置１１６に表示された検索指示入力画面は、例えば、検索指示を指示するための指示ボタン等を含む画面である。照合部２０７は、検索指示入力画面内の指示ボタンの選択を検知することになる。照合部２０７は、画像の検索指示を検知したと判定した場合、Ｓ３０６の処理に進み、画像の検索指示を検知していないと判定した場合、Ｓ３０８の処理に進む。
【００１８】
Ｓ３０７において、照合部２０７は、画像検索処理を行う。図４は、画像検索装置１０１の画像検索処理の一例を示すフローチャートである。図４を用いて、Ｓ３０７の処理の詳細を説明する。
Ｓ４０１において、類似度算出部２１２は、クエリ特徴量を取得する。クエリ特徴量とは、人物の顔から抽出した特徴量である。本実施形態では、Ｓ４０１で、類似度算出部２１２は、クエリ特徴量として、予め検索対象の人物の顔の画像から取得された特徴量を取得する。特徴量記憶部２０８は、クエリ特徴量を、二次記憶装置１１４に事前に記憶している。類似度算出部２１２は、二次記憶装置１１４から記憶されているクエリ特徴量を取得する。また、類似度算出部２１２は、カメラを使って画像データを撮影し、撮影した画像データから顔検出し、検出した顔のクエリ特徴量を抽出することとしてもよい。類似度算出部２１２は、一つのクエリ特徴量を取得することとしてもよいし、複数のクエリ特徴量を取得することとしてもよい。
Ｓ４０２において、類似度算出部２１２は、カメラを選択する。類似度算出部２１２は、例えば、予め設定されている順番で、複数のカメラから一つのカメラを選択する。
【００１９】
Ｓ４０３において、類似度算出部２１２は、Ｓ４０２で選択したカメラにより撮影された画像を基にＳ３０４で抽出された特徴量であって、Ｓ３０５で特徴量記憶部２０８により二次記憶装置１１４に記憶されている特徴量を、二次記憶装置１１４から取得する。
Ｓ４０４において、照合部２０７は、照合方法記憶部２０６により二次記憶装置１１４に記憶されている照合方法データを、二次記憶装置１１４から取得する。
本実施形態では、照合部２０７は、類似度が算出された後に、カメラ毎に類似度を補正する補正値を照合方法データとして取得する。この照合方法データは、事前の調整処理で設定されているものとする。調整処理については、図７等で後述する。
Ｓ４０５において、類似度算出部２１２は、Ｓ４０４で取得された照合方法データを使って、Ｓ４０１で取得したクエリ特徴量と、Ｓ４０３で取得した検索対象の特徴量と、の類似度を算出する。即ち、類似度算出部２１２は、特徴量同士の類似度を算出する。類似度算出部２１２は、類似度の算出方法として、公知の技術を用いればよい。類似度算出部２１２は、類似度の算出方法として、例えば、相関を用いてもよいし、他の距離尺度を用いてもよい。
Ｓ４０６において、類似度補正部２１３は、Ｓ４０５で算出された類似度に、Ｓ４０４で照合方法データとして取得された補正値を加算する。即ち、Ｓ４０５〜Ｓ４０６で算出される最終的な類似度は、以下の式１で表される。
【００２０】
【数１】
0006700791.tif 000002
【００２１】
式１のＡ、Ｂは、クエリ特徴量であり、ＲD（実数のＤ次元ベクトル）の要素である。Ｄは、次元数である。式１のαiは、カメラｉに対して事前に設定されている補正値である。類似度算出部２１２、類似度補正部２１３は、クエリ特徴量が複数ある場合、クエリ特徴量と検索対象の特徴量との全組み合わせについて類似度を算出する。また、類似度補正部２１３は、式１で表される類似度を算出した後、算出した類似度が設定されたレンジに収まるよう正規化処理を施す。本実施形態では、類似度補正部２１３は、０〜１０００の範囲に収まるよう、類似度を正規化する。
Ｓ４０７において、照合部２０７は、画像検索装置１０１に接続されている全てのカメラについて、Ｓ４０２〜Ｓ４０６の処理が行われた否かを判定する。照合部２０７は、画像検索装置１０１に接続されている全てのカメラについて、Ｓ４０２〜Ｓ４０６の処理が行われたと判定した場合、Ｓ４０８の処理に進む。照合部２０７は、画像検索装置１０１に接続されている全てのカメラについて、Ｓ４０２〜Ｓ４０６の処理が行われていないと判定した場合、Ｓ４０２の処理に進む。
【００２２】
Ｓ４０８において、表示部２０９は、検索結果を映像出力装置１１６に表示する。表示部２０９は、Ｓ４０５〜Ｓ４０６で算出された、設定された人物の顔データとカメラ１０２〜１０４等により撮影された画像に写る人物の顔データとの類似度と設定された閾値とを比較する。照合部２０７は、は、Ｓ４０５〜Ｓ４０６で算出された類似度が設定された閾値よりも高い場合、Ｓ４０５〜Ｓ４０６で算出された類似度に対応する画像に写る人物を、検索対象の人物と同一人物であると判定する。
図５は、検索結果として表示される内容の一例を示す図である。検索結果表示画面の左側には、検索クエリとして与えられたクエリ特徴量の顔画像データが含まれる。また、検索結果表示画面の右側には、検索結果の顔画像データが含まれる。表示部２０９は、設定された閾値以上の類似度を有する画像のみを検索結果として表示する。本実施形態では、表示部２０９は、設定された閾値である６００以上の類似度を有する画像のみを表示している。この場合、表示部２０９は、類似度６００未満の検索結果を表示しない。表示部２０９は、検索結果の顔画像データ及び類似度を、類似度の降順に表示し、カメラ番号や顔画像データが撮影された時刻も表示する。表示部２０９がこのように表示することで、検索クエリとして入力した顔画像の人物がいつ、どのカメラに写ったのかを検索する人物検索を実現することができる。
【００２３】
図３の処理の説明に戻る。
Ｓ３０８において、照合部２０７は、映像出力装置１１６に表示された終了指示入力画面及び操作入力装置１１７を介したユーザの操作に基づいた図３の処理の終了指示を検知したか否かを判定する。照合部２０７は、図３の処理の終了指示を検知したと判定した場合、図３の処理を終了し、図３の処理の終了指示を検知していないと判定した場合、Ｓ３０１の処理に進む。
ユーザの検索指示がなく、かつ、ユーザの終了指示がない限り、画像検索装置１０１は、画像を取得し、特徴量を抽出・記憶する処理を繰り返す。それにより、画像検索装置１０１は、撮影した映像から検索対象となる顔の特徴量を撮り貯めることとなる。
【００２４】
（調整処理）
本実施形態の画像検索装置１０１が、カメラ１０２〜１０４それぞれについて、照合処理を自動で調整する調整処理について説明する。
図６は、調整処理の際に表示される内容の一例を示す図である。表示部２０９は、調整処理の際、映像出力装置１１６に図６のようなコンソール画面を表示する。表示部２０９は、コンソール画面中に、画像検索装置１０１に対してどのような処理を指示するか選択するためのメニューボタンを表示している。画像検索装置１０１は、通常、監視・検索モードが選択されており、図３等で前述の監視・検索処理を実行している。画像検索装置１０１は、ユーザの操作に基づいて、図６のコンソール画面の調整モードに対応するボタンの選択を検知した場合、調整処理を実行することになる。
図７は、画像検索装置１０１による照合処理の調整処理の一例を示すフローチャートである。図７を用いて、照合処理の調整処理の詳細を説明する。
図７の処理の開始から終了までカメラ１０２〜１０４は、設定されたフレームレートで画像を撮影し続け、撮影した画像を画像検索装置１０１に送信し続ける。そして、ＣＰＵ１１１は、受信した画像を二次記憶装置１１４へ記憶し続けているものとする。このとき、ＣＰＵ１１１は、どのカメラの、何フレーム目の画像であるかを示す撮影情報を画像データに紐づけて、二次記憶装置１１４に記憶しておく。
【００２５】
Ｓ７０１において、画像取得部２０１は、調整処理の対象のカメラの中から、照合処理の調整が完了していないカメラを一つ選択する。本実施形態では、調整処理の対象のカメラは、画像検索装置１０１に接続されているカメラ１０２〜１０４である。
Ｓ７０２において、画像取得部２０１は、Ｓ７０１で選択したカメラが撮影した画像であって二次記憶装置１１４に記憶されている画像を、二次記憶装置１１４から取得する。画像取得部２０１は、二次記憶装置１１４に記憶されている画像データがどのカメラで撮影されたかを、その画像データに紐づけて二次記憶装置１１４に記憶された撮影情報を参照することで把握する。本実施形態では、画像取得部２０１は、二次記憶装置１１４に記憶された画像を取得することとしたが、Ｓ７０１で選択したカメラから直接画像データを取得するようにしてもよい。
Ｓ７０３において、オブジェクト検出部２０２は、Ｓ７０２で取得された画像データから人物の顔を検出する。人物の顔を検出する方法については、Ｓ３０２における検出方法と同様である。
Ｓ７０４において、オブジェクト検出部２０２は、Ｓ７０３で人物の顔を一つ以上検出したか否かを判定する。オブジェクト検出部２０２は、Ｓ７０３で人物の顔を一つ以上検出したと判定した場合、Ｓ７０５の処理に進み、Ｓ７０３で人物の顔を一つも検出していないと判定した場合、Ｓ７０９の処理に進む。
【００２６】
Ｓ７０５において、調整用データ取得部２０３は、調整用データを取得する。図８は、画像検索装置の調整用データ取得処理の一例を示すフローチャートである。図９は、調整用データ取得処理の一例を説明する図である。図８、９を用いて、調整用データ取得処理の詳細を説明する。
Ｓ８０１において、調整用データ取得部２０３は、Ｓ７０２で取得された複数の画像データからフレームを一つ選択する。調整用データ取得部２０３は、Ｓ７０２で取得された画像一つ一つについて、Ｓ８０１〜Ｓ８０３の処理を行うことになる。
図９は、調整用データ取得処理の一例を説明する図である。図９に示されるフレームＮの画像データ９０１、フレームＮ＋１の画像データ９０２は、Ｓ７０１で選択されたカメラにより撮影された画像である。フレームＮ＋１の画像データ９０２は、フレームＮの画像データ９０１の次に撮影された画像である。本実施形態では、Ｓ７０２で取得された画像は、フレームＮの画像データ９０１、フレームＮ＋１の画像データ９０２を含む。そのため、調整用データ取得部２０３は、Ｓ８０１で、画像データ９０１、９０２を含む複数の画像データからフレームを一つ選択することになる。図９に示される顔領域画像９０３、９０４は、画像データ９０１についてＳ７０３で検出された人物の顔の画像データである。また、図９に示される顔領域画像９０５、９０６は、画像データ９０２についてＳ７０３で検出された人物の顔の画像データである。
Ｓ８０２において、調整用データ取得部２０３は、Ｓ８０１で選択した画像データについて、Ｓ７０３で人物の顔が２以上検出されたか否かを判定する。調整用データ取得部２０３は、Ｓ８０１で選択したフレームの画像データについて、Ｓ７０３で人物の顔が２以上検出されたと判定した場合、Ｓ８０３の処理に進む。調整用データ取得部２０３は、Ｓ８０１で選択したフレームの画像データについて、Ｓ７０３で人物の顔が２以上検出されていないと判定した場合、Ｓ８０４の処理に進む。
【００２７】
Ｓ８０３において、調整用データ取得部２０３は、Ｓ８０１で選択したフレームの画像から調整用データを取得する。複数の人物（オブジェクト）が写っている同一の画像に写る人物同士は、お互いに他人（本人ではない人物）である。調整用データ取得部２０３は、調整用データとして、Ｓ８０１で選択したフレームの画像データに写っている複数の人物の顔画像を取得することになる。本実施形態では、調整用データ取得部２０３は、Ｓ８０１で選択したフレームの画像データに写っている複数の人物の顔画像同士のペアを、他人の調整用データとして、取得する。他人の調整用データとは、お互いに他人同士の複数の人物の顔画像同士のペアである調整用データである。お互いに他人同士の複数の人物の顔画像同士のペアは、異なるオブジェクトの画像群の一例である。
即ち、調整用データ取得部２０３は、Ｓ８０１で図９のフレームＮを選択した場合、図９の顔領域画像９０３と顔領域画像９０４とのペアを他人の調整用データとして取得する。同一画像データ中に同時に写る複数の人物同士は、他人同士であると仮定できるため、本人、他人の判定をする必要なく、他人の調整用データを取得できる。更に、同一の画像に写る人物同士は、撮影条件もほぼ同じであると仮定できる。そのため、調整用データ取得部２０３は、他人同士であり、かつ、撮影条件が同じであるデータを取得することができる。
Ｓ８０４において、調整用データ取得部２０３は、Ｓ７０２で取得した画像の全てについて、Ｓ８０１〜Ｓ８０３の処理を行ったか否かを判定する。調整用データ取得部２０３は、Ｓ７０２で取得した画像の全てについて、Ｓ８０１〜Ｓ８０３の処理を行ったと判定した場合、Ｓ８０５の処理に進む。調整用データ取得部２０３は、Ｓ７０２で取得した画像のうち、Ｓ８０１〜Ｓ８０３の処理を行っていないフレームがあると判定した場合、Ｓ８０１の処理に進む。調整用データ取得部２０３は、フレームＮについて、Ｓ８０１〜Ｓ８０３の処理を行った後、フレームＮ＋１について、まだＳ８０１〜Ｓ８０３の処理を行っていないため、Ｓ８０４の処理の結果、Ｓ８０１の処理に進む。そして、調整用データ取得部２０３は、フレームＮ＋１について、Ｓ８０１〜Ｓ８０３の処理を行うことになる。
【００２８】
Ｓ８０５において、調整用データ取得部２０３は、Ｓ７０２で取得された複数の異なる画像から、調整用データを取得する。調整用データ取得部２０３は、Ｓ８０５で、Ｓ８０３と異なる調整用データを取得することになる。調整用データ取得部２０３は、より具体的には、同一の人物（オブジェクト）の画像のペアを取得する。以下では、本人の画像データのペアである調整用データを、本人の調整用データとする。同一の人物の画像のペアは、同一のオブジェクトの画像群の一例である。
調整用データ取得部２０３は、例えば、図９の画像データ９０１と画像データ９０２とから、顔領域画像９０３と顔領域画像９０５とのペア、及び顔領域画像９０４と顔領域画像９０６とのペア、を本人の調整用データとして取得する。即ち、調整用データ取得部２０３は、複数の画像データそれぞれから、同一人物の画像を取得し、取得した画像をペアにすることで、本人の調整用データを取得する。調整用データ取得部２０３は、それぞれの顔領域が誰なのかは事前にわからないため、本人の顔領域画像のペアを取得するには、異なる画像データ（例えば、フレームＮとフレームＮ＋１との画像データ）で顔領域の紐づけを行う必要がある。調整用データ取得部２０３は、各フレームに対して、オブジェクトの追尾技術を用いることで顔領域を紐づけることができる。調整用データ取得部２０３は、例えば、参考文献２で提案されている技術を使うことができる。
参考文献２：特表２００９−５１０５４１号公報
【００２９】
また、調整用データ取得部２０３は、顔画像同士を照合して本人かどうか判定するようにしてもよい。
Ｓ８０３で取得された他人の調整用データ、及びＳ８０５で取得された本人の調整用データとは、合わせて本実施形態における調整用データである。調整用データ記憶部２０４は、調整用データを、二次記憶装置１１４に記憶する。
また、調整用データ取得部２０３は、Ｓ８０５の処理を行わずに、照合処理の調整に、他人の調整用データのみを利用することとしてもよい。二次記憶装置１１４は、予め照合処理の調整に本人の調整用データを利用するかしないかを示す情報を記憶することとしてもよい。その場合、調整用データ取得部２０３は、二次記憶装置から、照合処理の調整に本人の調整用データを利用するかしないかを示す情報を参照することで、照合処理の調整に本人の調整用データを利用するか否かを判定することになる。また、ＣＰＵ１１１は、操作入力装置１１７を介したユーザの操作に基づいて、二次記憶装置１１４に記憶された照合処理の調整に本人の調整用データを利用するかしないかを示す情報の内容を変更することとしてもよい。
以上が調整用データ取得処理の説明である。
【００３０】
図７の処理の説明に戻る。
Ｓ７０６において、調整用データ取得部２０３は、Ｓ７０５で取得した調整用データの数が設定された閾値よりも多く取得できたか否かを判定する。調整用データ取得部２０３は、Ｓ７０５で取得した調整用データの数が設定された閾値よりも多く取得できたと判定した場合、Ｓ７０７の処理に進む。調整用データ取得部２０３は、Ｓ７０５で取得した調整用データの数が設定された閾値以下しか取得できなかったと判定した場合、Ｓ７０９の処理に進む。また、表示部２０９は、Ｓ７０５で取得した調整用データの数が設定された閾値以下であると判定した場合、後どれだけの量の調整用データがあれば設定された閾値より多くなるかを示すオブジェクトを映像出力装置１１６に表示することとしてもよい。
【００３１】
Ｓ７０７において、照合方法調整部２０５は、Ｓ７０１で選択されたカメラにより撮影された画像データに対する照合処理を調整する。照合処理を調整する処理について、図１０を用いて詳細を説明する。
図１０は、画像検索装置１０１による照合処理の調整処理の一例を示すフローチャートである。
Ｓ１００１において、照合方法調整部２０５は、Ｓ７０５で調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データを一つ取得する。また、照合方法調整部２０５は、複数の調整用データをまとめて取得してもよい。また、照合方法調整部２０５は、本人の調整用データ、他人の調整用データをそれぞれ別々に取得するようにしてもよい。また、照合方法調整部２０５は、他人の調整用データのみを取得し、本人の調整用データを照合処理の調整に利用しないこととしてもよい。
Ｓ１００２において、照合方法調整部２０５は、Ｓ１００１で取得した調整用データ即ち、顔画像データのペアから特徴量のペアを抽出する。Ｓ１００２における特徴量の抽出方法は、Ｓ３０４における特徴量の抽出方法と同様である。
Ｓ１００３において、照合方法調整部２０５は、Ｓ１００２で抽出した特徴量のペアの類似度を算出する。Ｓ１００３における類似度の算出方法は、Ｓ４０５における類似度の算出方法と同様である。ただし、照合方法調整部２０５は、補正値αiを設定する前なので、式１においてデフォルト値としてαi＝０を用いて類似度を算出する。
【００３２】
Ｓ１００４において、照合方法調整部２０５は、Ｓ１００３で算出した類似度を、二次記憶装置１１４に記憶する。照合方法調整部２０５は、Ｓ１００３で算出した類似度を本人の調整用データから算出したのか、他人の調整用データから算出したのかを示す情報を、算出した類似度と紐づけて二次記憶装置１１４に記憶しておく。
Ｓ１００５において、照合方法調整部２０５は、Ｓ７０５で調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データ全てについて、Ｓ１００１〜Ｓ１００４の処理を行ったか否かを判定する。照合方法調整部２０５は、調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データ全てについて、Ｓ１００１〜Ｓ１００４の処理を行ったと判定した場合、Ｓ１００６の処理に進む。照合方法調整部２０５は、調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データの中に、Ｓ１００１〜Ｓ１００４の処理を行っていない調整用データがあると判定した場合、Ｓ１００１の処理に進む。
Ｓ１００６において、照合方法調整部２０５は、Ｓ１００３で算出した全ての類似度に基づいて、類似度分布を算出する。照合方法調整部２０５は、本人の調整用データから取得した類似度に基づいて、類似度分布（以下では、本人の類似度分布）を算出し、それとは別個に、他人の調整用データから取得した類似度に基づいて、類似度分布（以下では、他人の類似度分布）を算出する。照合方法調整部２０５は、本人の類似度分布、他人の類似度分布を、それぞれ、総和が１になるよう正規化する。また、照合方法調整部２０５は、他人の調整用データから取得した類似度に基づいて、他人の類似度分布のみを算出し、本人の調整用データを照合処理の調整に利用しないこととしてもよい。
【００３３】
Ｓ１００７において、照合方法調整部２０５は、Ｓ１００６で算出した類似度分布をもとに、類似度の補正値を算出する。図１１は、画像検索装置１０１による照合処理の調整処理の一例を説明する図である。図１１のそれぞれのグラフは、縦軸が類似度の頻度、横軸が類似度を示している。また、図１１に表示されている類似度分布は、本人の類似度分布１１０２と他人の類似度分布１１０３との２つである。また、図１１のグラフには、Ｓ４０８で説明した閾値（本人と判定する下限の値）が表示されている。
図１１の補正前の類似度分布では、他人同士の類似度が閾値に比べて高い場所に分布しており、他人の類似度が本人として誤って判定される他人受け入れが発生する可能性が増加するのがわかる。そこで、照合方法調整部２０５は、画像の照合の際、他人受け入れの割合（図１０の他人の類似度分布１１０３と、閾値の線と、「類似度」の軸と、で囲まれる右側の領域の面積）が設定された閾値以下になるように、補正値を調整する。即ち、照合方法調整部２０５は、他人の調整用データのうち、他人同士であると判定された照合結果を基に、照合処理を調整する。照合方法調整部２０５は、他人受け入れの割合を、以下の式２で求める。
【００３４】
【数２】
0006700791.tif 000003
【００３５】
式２のＥは、他人の類似度分布を表し、ｊは設定された離散値に量子化された類似度を表す。即ち、式２のＥjは類似度ｊの出現頻度を表す。式２のｔｈｒｅａｓｈｏｌｄは、設定された閾値であり、Ｐ１は、設定された閾値よりも大きい他人同士の顔画像の類似度の出現割合、即ち、他人受け入れの割合を示す。照合方法調整部２０５は、照合処理の調整に他人の調整用データのみを利用する場合、Ｐ１の値が事前に設定された目標値に最も近い値になるよう、補正値αiの値を調整する。より具体的には、照合方法調整部２０５は、αiを所定の値として仮定し、Ｅを計算し、計算したＥをもとにＰ１を計算する。照合方法調整部２０５は、αiの値を変えてこの処理を繰り返し、Ｐ１が予め設定された値に最も近づいた際のαiを、最終的な補正値として決定する。このように補正値を求めることにより、画像検索装置１０１は、他人を誤って検索対象の人物であると判定してしまう確率を許容できる範囲に抑えることができる。照合方法調整部２０５は、その他の方法を用いて補正値αiを求めてもよい。
【００３６】
また、照合方法調整部２０５は、他人の調整用データのみでなく本人の調整用データも照合処理の調整に利用する場合、以下の処理を行う。即ち、照合方法調整部２０５は、画像の照合の際の他人受け入れの割合が設定された範囲に収まるように、且つ、画像の照合の際の本人拒否の割合が設定された範囲に収まるように、補正値αiの値を調整する。本人拒否の割合とは、照合の際に、本人を誤って拒否してしまう割合のことである。
照合方法調整部２０５は、本人拒否の割合（図１１の例における本人の類似度分布１１０２と、閾値の線と、「類似度」の軸と、で囲まれる左側の領域の面積）を、以下の式３に基づいて、算出する。
【００３７】
【数３】
0006700791.tif 000004
【００３８】
式３のＥは、本人の類似度分布を表し、ｋは設定された離散値に量子化された類似度を表す。即ち、式３のＥkは類似度ｋの出現頻度を表す。式３のｔｈｒｅａｓｈｏｌｄは、式２と同様の閾値であり、Ｐ２は、設定された閾値よりも小さい本人同士の顔画像の類似度の出現割合、即ち、本人拒否の割合を示す。
より具体的には、照合方法調整部２０５は、αiの値を変更しながら、式２のＰ１と、式３のＰ２を繰り返し計算する。照合方法調整部２０５は、計算したＰ１が設定された範囲に収まり、且つ、計算したＰ２が設定された範囲に収まる場合のαiを、最終的な補正値として決定する。
また、照合方法調整部２０５は、本人拒否の割合が設定された値に最も近づくように、補正値αiの値を決定してもよい。即ち、照合方法調整部２０５は、同一オブジェクトの画像のペアのうち、他人同士であると判定された照合結果を基に、照合処理を調整することとしてもよい。調整の方法は、補正値αiの値を変えながら、以下の式３のＰ２を計算していき、Ｐ２の値が設定された値に最も近くなる補正値αiの値を探索する。
【００３９】
本人の類似度分布、他人類似度分布のそれぞれを、他人の調整用データのみを利用して調整した補正値で補正したものの例が図１１の補正後の類似度分布である。図１１では、他人受け入れを小さくするよう調整したので、他人の類似度分布１１０２が左にシフトした結果、他人受け入れが補正前に比べて大幅に減っているのがわかる。このように、画像検索装置１０１は、他人受け入れや本人拒否を制御した補正値の調整をすることができる。他人受け入れや本人拒否の割合をどのように設定するかは、任意である。人物検索では、多少他人受け入れの割合があっても、本人拒否の割合をできるだけ少なく設定される場合がある。
本実施形態で、他人の調整用データのように、他人同士で、かつ撮影条件が同じと仮定できる調整用データに基づいて、照合処理を調整した意味について説明する。一般的に撮影条件が同じ異なるオブジェクトの画像同士の類似度は、異なる撮影条件の場合と比べて高くなる傾向がある。本実施形態では、他人の調整用データを使っており、他人で類似度の高い、即ち、他人受け入れになりやすいデータを使って調整している。このような調整用データを使うことで、撮影条件が同じか異なるかを区別せずに他人の調整用データを収集するよりも、他人受け入れをより正確に制御した調整が期待できる。調整した照合方法データは、照合方法記憶部２０６が二次記憶装置１１４に記憶する。これで、図１０の調整処理の説明を終了する。
【００４０】
図７の処理の説明に戻る。
Ｓ７０８において、照合方法調整部２０５は、全てのカメラについて照合方法の調整が完了したか否かを判定する。照合方法調整部２０５は、全てのカメラについて照合処理の調整が完了したと判定した場合、図７の処理を終了し、照合処理の調整が完了していないカメラが存在すると判定した場合、Ｓ７０９の処理に進む。
Ｓ７０９において、照合方法調整部２０５は、映像出力装置１１６に表示された終了指示入力画面及び操作入力装置１１７を介したユーザの操作に基づいた図７の処理の終了指示を検知したか否かを判定する。照合部２０７は、図７の処理の終了指示を検知したと判定した場合、図７の処理を終了し、図７の処理の終了指示を検知していないと判定した場合、Ｓ７０１の処理に進む。
照合方法調整部２０５は、基本的には全てのカメラについて調整が完了した際に、調整処理を完了するが、Ｓ７０９でユーザからの終了指示を検知すれば、途中で処理を終了することもできる。照合方法調整部２０５は、その場合、カメラ毎の類似度補正値αiの値をデフォルト値である０とする。
図１２は、図７の調整処理中に表示部２０９が映像出力装置１１６に表示するコンソール画面の一例を示す図である。図１２に示すように、表示部２０９は、各カメラについて、調整が完了しているか否かを示すＯＫ、ＮＧの文字や、ＯＫ、ＮＧを示すボタン等のオブジェクトを映像出力装置１１６に表示する。映像出力装置１１６は、コンソール画面が出力される出力部の一例である。また、表示部２０９は、調整が完了していないカメラ１０３については調整用データがあとどれだけ必要かを示すバーを、コンソール画面中に表示する。また、表示部２０９は、調整が完了していないカメラ１０３について、調整用データがあといくつ必要かを示す数字等の他のオブジェクトをコンソール画面中に表示することとしてもよい。表示部２０９は、調整が完了していないカメラについて、調整用データがあとどれだけ必要かを示すオブジェクトをコンソール画面に表示することで、ユーザに調整処理の進捗状況を視認させることができる。ユーザは、どのカメラの調整が終わっていないか、あとどれくらい調整用データを取得すれば調整が終わるのかを把握することができ、利便性が向上する。
以上が調整処理の説明である。
【００４１】
以上、本実施形態の処理により、画像検索装置１０１は、カメラにより撮影された画像データから取得した調整用データに基づいて、そのカメラにより撮影される画像の照合処理に利用される照合処理を調整することとした。それにより、画像検索装置１０１は、撮影条件に頑健な人物検索を実現することができる。画像検索装置１０１は、調整用データとして、同一画像データに写る複数の人物が他人同士であるという仮定を用いることで、ユーザが手動で正解データを入力する手間を軽減することができる。即ち、画像検索装置１０１は、照合処理の調整の手間を軽減することができ、ユーザの利便性を向上させることができる。また、画像検索装置１０１は、同一の画像に写る複数人物についての撮影条件は同じであるという仮定を用いて、同じ撮影条件の他人同士のデータである他人の調整用データを容易に取得することができる。それにより、画像検索装置１０１は、撮影条件が異なる調整用データを利用する場合よりも、他人受入れ率を適正な値にするように、照合部２０７による照合処理をより正確に調整することができる。また、画像検索装置１０１は、カメラ毎の撮影条件を検出することなく、カメラ毎の照合処理の調整が可能であるため、撮影条件を検出し、調整する方法に比べて処理を軽減できる。
また、本実施形態では、画像検索装置１０１は、カメラ毎にオブジェクト画像の類似度に対する補正値を算出したが、カメラ毎に設定された閾値に対する補正値を調整するようにしてもよい。
照合する２つの画像の類似度に補正値を加えた値が、設定された閾値よりも大きい場合、２つの画像に写るオブジェクトを同一と照合する照合処理を、第１の照合処理とする。また、照合する２つの画像の類似度が、設定された閾値に補正値を加えた値よりも大きい場合、２つの画像に写るオブジェクトを同一と照合する照合処理を、第２の照合処理とする。第１の照合処理と第２の照合処理とは、以下のような方法で、２つ画像に写るオブジェクト同士を照合する照合処理の一例である。即ち、第１、第２の照合処理は、２つの画像の類似度と、設定された閾値と、その類似度、又は閾値に関する補正値と、に基づき、その類似度が同一のオブジェクトの画像同士の類似度であるか否かを判定することで、照合する照合処理の一例である。
【００４２】
また、本実施形態では、画像検索装置１０１は、他人受け入れの割合が設定された割合になるよう類似度の補正値αiを調整したが、別の調整方法でもよい。例えば、画像検索装置１０１は、類似度分布の統計値（平均値、分散値等）が設定された目標値になるように、類似度の補正値αiを調整してもよい。より具体的には、画像検索装置１０１は、補正値αiの値を変更しながら、類似度分布Ｅj（又はＥk）の平均μを計算する。画像検索装置１０１は、μの値が設定された目標値に最も近く際の補正値αiを採用する。また、画像検索装置１０１は、この他の方法で、補正値αiを調整してもよい。
また、本実施形態では、画像検索装置１０１は、オブジェクトとして人物の顔同士が同一か否かを照合する照合処理を調整したが、オブジェクトとして人体同士やその他のオブジェクト同士が同一か否かを照合する照合処理を調整することとしてもよい。
【００４３】
＜実施形態２＞
本実施形態では、画像検索装置１０１が特徴量抽出の処理を調整する方法について説明する。
本実施形態の画像検索装置１０１のハードウェア構成、機能構成は、実施形態１と同様である。本実施形態では、実施形態１と異なる部分を説明する。
図１３は、画像検索装置１０１による照合処理の調整処理の一例を示すフローチャートである。図１３を用いて、本実施形態の照合方法調整の処理について説明する。
Ｓ１３０１において、照合方法調整部２０５は、Ｓ７０５で調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データを一つ取得する。本実施形態の調整用データは、実施形態１と同様に、本人の画像データペアと他人の画像データペアである。また、照合方法調整部２０５は、複数の調整用データをまとめて取得してもよい。また、照合方法調整部２０５は、本人の調整用データ、他人の調整用データをそれぞれ別々に取得するようにしてもよい。また、照合方法調整部２０５は、本人の調整用データを照合処理の調整に利用しない場合、他人の調整用データのみを取得するようにしてもよい。
Ｓ１３０２において、照合方法調整部２０５は、設定された複数の特徴量の中から一つ特徴量を選択する。本実施形態では、照合方法調整部２０５は、ＬＢＰ、ＨＯＧ、ＳＩＦＴの３つの特徴量の中から１つの特徴量を選択する。照合方法調整部２０５は、Ｓ１３０１で取得した調整用データ即ち、顔画像データのペアから選択した特徴量のペアを抽出する。
【００４４】
Ｓ１３０３において、照合方法調整部２０５は、Ｓ１３０２で抽出した特徴量のペアの類似度を算出する。Ｓ１３０３における類似度の算出方法は、Ｓ４０５における類似度の算出方法と同様である。ただし、照合方法調整部２０５は、補正値αiを設定する前なので、式１においてデフォルト値としてαi＝０を用いて類似度を算出する。
Ｓ１３０４において、照合方法調整部２０５は、Ｓ１３０３で算出した類似度を、二次記憶装置１１４に記憶する。照合方法調整部２０５は、Ｓ１３０３で算出した類似度を本人の調整用データから算出したのか、他人の調整用データから算出したのかを示す情報とＳ１３０２で選択した特徴量の情報とを、算出した類似度と紐づけて、二次記憶装置１１４に記憶しておく。
Ｓ１３０５において、照合方法調整部２０５は、Ｓ１３０２で選択可能な特徴量全てについて、Ｓ１３０２〜Ｓ１３０４の処理が完了したか否かを判定する。照合方法調整部２０５は、Ｓ１３０２で選択可能な特徴量全てについて、Ｓ１３０２〜Ｓ１３０４の処理が完了したと判定した場合、Ｓ１３０５の処理に進む。照合方法調整部２０５は、Ｓ１３０２で選択可能な特徴量の中にＳ１３０２〜Ｓ１３０４の処理が完了していないものがあると判定した場合、Ｓ１３０２の処理に進む。
【００４５】
Ｓ１３０６において、照合方法調整部２０５は、Ｓ７０５で調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データ全てについて、Ｓ１３０１〜Ｓ１３０５の処理を行ったか否かを判定する。照合方法調整部２０５は、調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データ全てについて、Ｓ１３０１〜Ｓ１３０５の処理を行ったと判定した場合、Ｓ１３０７の処理に進む。照合方法調整部２０５は、調整用データ記憶部２０４により二次記憶装置１１４に記憶された調整用データの中に、Ｓ１３０１〜Ｓ１３０５の処理を行っていない調整用データがあると判定した場合、Ｓ１３０１の処理に進む。
Ｓ１３０７において、照合方法調整部２０５は、Ｓ１３０２で選択した特徴量毎に、Ｓ１３０３で算出した全ての類似度に基づいて、類似度分布を算出する。照合方法調整部２０５は、本人の調整用データから取得した類似度に基づいて、Ｓ１３０２で選択した特徴量毎の、類似度分布（以下では、本人の類似度分布）を算出する。そして、照合方法調整部２０５は、それとは別個に、他人の調整用データから取得した類似度に基づいて、Ｓ１３０２で選択した特徴量毎に、類似度分布（以下では、他人の類似度分布）を算出する。照合方法調整部２０５は、本人の類似度分布、他人の類似度分布を、それぞれ、総和が１になるよう正規化する。また、照合方法調整部２０５は、本人の調整用データを照合処理の調整に利用しない場合、他人の調整用データから取得した類似度に基づいて、類似度分布（以下では、他人の類似度分布）のみを算出する。
【００４６】
Ｓ１３０８において、照合方法調整部２０５は、Ｓ１３０２で選択した全ての特徴量から適切な特徴量を１つ最終的な特徴量として決定する。図１４は、Ｓ１３０７で特徴量毎に算出された類似度分布の一例を示す図である。図１４には、ＬＢＰ特徴量の本人の類似度分布１４０１、他人の類似度分布１４０２、ＨＯＧ特徴量の本人の類似度分布１４０３、他人の類似度分布１４０４、ＳＩＦＴ特徴量の本人の類似度分布１４０５、他人の類似度分布１４０６が示されている。
本実施形態では、照合方法調整部２０５は、本人の類似度分布と他人との類似度分布とをヒストグラムとみなしたときのヒストグラムインターセクションが最も少ない特徴量を選択する。即ち、照合方法調整部２０５は、本人の類似度分布と他人の類似度分布との重なりが最も少ない特徴量、即ち、本人の類似度分布と他人の類似度分布の分離度が最も高い特徴量を選択する。それにより、照合方法調整部２０５は、選択可能な特徴量の中から、照合精度の最もよい特徴量を選択することで、より精度を向上するように照合処理を調整することができる。図１４の例では、照合方法調整部２０５は、類似度分布の重なりが最も小さい（ヒストグラムインターセクションが小さい）ＬＢＰ特徴量を最終的な特徴量として決定する。
【００４７】
Ｓ１３０９において、照合方法調整部２０５は、Ｓ１３０８で決定された特徴量についてＳ１３０７で算出した類似度分布に基づいて、類似度の補正値を算出する。監視・検索処理において、表示部２０９は、Ｓ４０８で、それぞれ個別に照合処理が調整された複数のカメラにより撮影された画像と、検索対象のオブジェクトの画像と、の類似度と、設定された閾値を比較する。しかし、本実施形態では、カメラ毎に利用される特徴量が異なる場合がある。異なる特徴量から算出された類似度は、それぞれレンジが異なり、そのままでは比較できないため、比較できるように、所定の値に類似度を正規化しておく必要がある。
より具体的には、照合方法調整部２０５は、Ｓ１３０７で算出された類似度分布における類似度の最小値と最大値を取得し、取得した最大値と最小値との差分を取得することで、類似度分布のレンジを算出する。そして、照合方法調整部２０５は、算出した類似度分布のレンジを、設定された幅になるよう正規化するための正規化定数を、類似度の補正値として算出する。例えば、照合方法調整部２０５は、設定された幅の値を、算出した類似度分布のレンジで割った値を、正規化定数として算出する。Ｓ４０６で、類似度補正部２１３は、Ｓ４０５で取得された類似度にＳ１３０９で算出された正規化定数をかけることで、類似度を補正することになる。
照合方法調整部２０５は、Ｓ１３０７で算出された他人の類似度分布における類似度の最小値と最大値とから類似度分布のレンジを取得してもよいし、本人の類似度分布における類似度の最小値と最大値とから類似度分布のレンジを取得してもよい。また、照合方法調整部２０５は、Ｓ１３０７で算出された他人の類似度分布、及び本人の類似度分布を合わせた分布における類似度の最小値と最大値とから類似度分布のレンジを取得してもよい。また、照合方法調整部２０５は、更に、Ｓ１００７の処理と同様に、類似度分布に対する補正値を算出することとしてもよい。
以上が、実施形態２の照合処理の調整処理の説明である。
【００４８】
画像検索装置１０１は、監視・検索処理を行う際、図１３の処理で調整された特徴量の種類、及び類似度の補正値を用いて人物の検索を行う。
本実施形態では、画像検索装置１０１は、予め設定された３つの特徴量から最適な特徴量を選択することとした。しかし、画像検索装置１０１は、予め設定された２つ以下の特徴量から最適な特徴量を選択することとしてもよいし、予め設定された４つ以上の特徴量から最適な特徴量を選択することとしてもよい。また、画像検索装置１０１は、特徴量を複数選択するようにしてもよい。画像検索装置１０１は、例えば、予め設定された５つの特徴量の中から２つの特徴量を選択するようにしてもよい。
本実施形態では、照合方法調整部２０５は、本人の類似度分布と他人の類似度分布との重なりを比較して特徴量を選択したが、その他の基準に基づいて、特徴量を選択してもよい。照合方法調整部２０５は、例えば、実施形態１と同様に特徴量毎の他人受け入れの割合、本人拒否の割合に基づいて、特徴量を選択してもよい。
【００４９】
以上、本実施形態の処理により、画像検索装置１０１は、照合処理により適した特徴量を選択することができる。それにより、画像検索装置１０１は、照合処理の精度をより向上させることができる。
【００５０】
＜実施形態３＞
実施形態１で類似度の補正値を調整する方法、実施形態２で特徴量の種類を調整する方法を説明したが、画像検索装置１０１は、この他の照合処理を調整するようにしてもよい。例えば、画像検索装置１０１は、顔画像データにフィルタ処理等の前処理をする場合、しない場合についても調整することができる。より具体的には、照合部２０７が前処理部を更に有し、調整処理の際に前処理をした場合の類似度分布と前処理をしない場合の類似度分布を算出する。そして、画像検索装置１０１は、実施形態２と同様に、本人と他人の類似度分布の重なりを比較して、前処理を行うか、前処理を行わないかのどちらかを選択すればよい。
また、画像検索装置１０１は、特徴量のパラメタや類似度算出方法等を調整することができる。
また、実施形態１〜２では、画像検索装置１０１は、顔全体の画像を使って照合する処理を説明したが、顔画像の内部に局所領域を定義して、局所領域毎に類似度を算出することとしてもよい。その場合、画像検索装置１０１は、どの局所領域を、照合処理に利用するかを調整することもできる。より具体的には、照合部２０７は、顔画像から特徴点を検出する特徴点検出手段を更に有することとし、特徴点検出手段が検出した特徴点に基づいて、顔画像データに局所領域を定義する。照合部２０７は、調整処理では、定義した局所領域毎に類似度分布を算出し、本人の類似度分布と他人の類似度分布との重なりを比較することで照合処理に利用する局所領域を選択することができる。それにより、画像検索装置１０１は、オブジェクト画像全体の中で、オブジェクト同士で違いが出やすい部分についての特徴量を利用して照合処理を行うことができるようになり、より正確な照合処理を行うことができる。例えば、日照条件により、光が強く当たる局所領域の特徴量では、オブジェクト毎に違いが出にくいことになる。
また、画像検索装置１０１は、ニューラルネットワークを用いて照合する処理を行う場合、本人の調整用データと他人の調整用データとを用いて、ニューラルネットワークのパラメタを調整（学習）することもできる。
【００５１】
また、実施形態１〜２では、画像検索装置１０１は、オブジェクト検出部２０２によるオブジェクト検出処理の後に、照合部２０７による照合処理を行うこととした。しかし、画像検索装置１０１は、オブジェクトの検出処理を照合処理の一部とみなして、オブジェクト検出の処理を、調整処理による調整の対象としてもよい。例えば、画像検索装置１０１は、検出するオブジェクトのサイズや向き、検出時のパラメタ等を調整するようにしてもよい。それにより、画像検索装置１０１は、より正確に照合処理を行えるように、オブジェクト検出処理を調整することで、より正確な照合処理を行うことができる。
また、カメラの設置場所が屋外である場合、時刻によって日照条件等の撮影条件が変化する。実施形態１〜２の調整処理では、時刻による撮影条件の変化を考慮していないため、照合処理の適切な調整ができない場合がある。そこで、照合処理を適切に調整するため、調整用データ取得部２０３は、撮影時刻の情報とともに調整用データを取得しておく。また、照合方法調整部２０５は、予め、０時から２４時の間を、設定された期間で区切っておき、調整用データの画像の撮影時刻がどの期間に属するかに応じて、照合処理を調整する。このようにすることで、画像検索装置１０１は、屋外のカメラについても、時刻による撮影条件の変化に応じて適切に照合処理を調整することができる。また、画像検索装置１０１は、同様に天気の変化に応じた照合処理の調整を行うこともできる。また、画像検索装置１０１は、屋内のける照明器具の強度変化や、照明器具のＯＮ／ＯＦＦ等の撮影条件の変化に応じて、照合処理を調整するようにしてもよい。
また、実施形態１〜２では、画像検索装置１０１は、本人の調整用データを取得する際に、同一カメラにより撮影された複数フレームに写る同一のオブジェクトを追尾することで取得したが、その他の方法で取得することもできる。画像検索装置１０１は、例えば、マルチカメラ追尾技術を使えば、カメラ１０２、カメラ１０３、カメラ１０４で写った同一人物を追尾し続けることができ、本人同士で、且つ、撮影条件（カメラ）が異なる調整用データを取得することができる。本人同士で、且つ、照明条件が異なる画像データ同士は、画像データ同士の類似度が低く出る傾向がある。そのため、画像検索装置１０１は、本人同士で、且つ、撮影条件が異なる調整用データを、本人の類似度分布のうち類似度が分布の中央値よりも低い範囲の調整用データとして取得することができる。画像検索装置１０１は、本人同士で、且つ、撮影条件が異なる調整用データに基づいて、本人拒否の割合をより正確に制御した照合処理の調整ができる。
【００５２】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した画像検索装置１０１の機能構成の一部又は全てをハードウェアとして画像検索装置１０１に実装してもよい。
【符号の説明】
【００５３】
１０１  画像検索装置、２０５  照合方法調整部、２０７  照合部
【図１】
0006700791.tif 000005
【図２】
0006700791.tif 000006
【図３】
0006700791.tif 000007
【図４】
0006700791.tif 000008
【図５】
0006700791.tif 000009
【図６】
0006700791.tif 000010
【図７】
0006700791.tif 000011
【図８】
0006700791.tif 000012
【図９】
0006700791.tif 000013
【図１０】
0006700791.tif 000014
【図１１】
0006700791.tif 000015
【図１２】
0006700791.tif 000016
【図１３】
0006700791.tif 000017
【図１４】
0006700791.tif 000018