(57)【要約】【課題】  複数のカメラ映像から特定の人物を検索する画像検索システムなどにおいて、撮影条件やカメラ設置条件が異なっても高精度の人物照合が行える画像照合装置などを提供すること。【解決手段】  照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、第一および第二の画像から前記特徴抽出手段によって抽出された特徴量の類似度を算出する類似度算出手段と、第一および第二の画像中のオブジェクトが同一か否かを推定する推定手段と、前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備える。【選択図】  図１
2015219797.tif 000002
【特許請求の範囲】
【請求項１】
照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、
前記特徴抽出手段によって第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出手段と、
前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定手段と、
前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段と
を備えることを特徴とする画像照合装置。
【請求項２】
前記特徴抽出手段は、照合対象のオブジェクトに関する複数の特徴量を画像から抽出し、
前記類似度算出手段は、部分類似度算出手段と類似度統合手段とを備え、
前記部分類似度算出手段は、
前記特徴抽出手段によって前記第一の画像から抽出された複数の特徴量の夫々と
前記特徴抽出手段によって前記第二の画像から抽出された複数の特徴量の夫々との、対応する特徴量毎の類似度を算出し、
前記類似度統合手段は、前記部分類似度算出手段によって算出された特徴量毎の類似度を統合し、
前記推定手段は、前記類似度統合手段によって統合された類似度に基づいて、前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定し、
前記パラメータ学習手段は、前記推定手段の推定結果と前記部分類似度算出手段によって算出された特徴量毎の類似度とから前記類似度統合手段のパラメータを学習する
ことを特徴とする請求項１に記載の画像照合装置。
【請求項３】
前記特徴抽出手段によって抽出される特徴量が、画像の局所領域から抽出した特徴量を含むことを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記特徴抽出手段によって抽出される特徴量が、オブジェクトの属性に関する特徴量を含むことを特徴とする請求項２又は３に記載の画像照合装置。
【請求項５】
前記第一の画像を取得した撮像装置の識別子を取得する撮像装置識別子取得手段をさらに備え、
前記パラメータ学習手段は、前記撮像装置識別子取得手段が取得した識別子毎に前記類似度統合手段のパラメータを学習する
ことを特徴とする請求項１から４のいずれか１項に記載の画像照合装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像照合装置と、
前記第二の画像を登録する画像登録手段と、
前記画像照合装置によって夫々算出された複数の前記第一の画像の夫々と前記第二の画像との類似度に基づいて前記第一の画像を順位付けして出力する検索結果出力手段と
を備えることを特徴とする画像検索システム。
【請求項７】
照合対象のオブジェクトに関する特徴量を第一の画像および第二の画像の夫々から抽出する特徴抽出ステップと、
前記特徴抽出ステップにおいて第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出ステップと、
前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定ステップと、
前記推定ステップにおいて得られた推定結果と前記類似度算出ステップにおいて算出された類似度とから前記類似度算出ステップで類似度を算出するためのパラメータを学習するパラメータ学習ステップと
を備えることを特徴とする画像照合方法。
【請求項８】
複数の第一の画像を撮像する撮像ステップと、
第二の画像を登録する画像登録ステップと、
請求項７に記載の画像照合方法において夫々算出した複数の前記第一の画像の夫々と前記第二の画像との類似度から前記第一の画像を順位付けして出力する検索結果出力ステップとを備えることを特徴とする画像検索方法。
【請求項９】
コンピュータを、請求項１から５のいずれか１項に記載の画像照合装置の各手段として機能させるためのコンピュータプログラム。
【請求項１０】
コンピュータを、請求項６に記載の画像検索システムの各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラムに関する。
【背景技術】
【０００２】
近年、大量の画像の中から特定のオブジェクトが写った画像を検索する画像検索システムが提案されている。このような画像検索システムの中でも特定の人物を検索することは特に有用である。その一つの用途として市民マラソンに参加した人物の顔写真を予め登録しておき、マラソンコースの複数のポイントで撮影した写真の中から登録した人物を検索し、参加者に写真を提供するサービスがある。
【０００３】
ここで人物写真の検索において顔画像の照合処理を利用できるが、コース上の各撮影ポイントにおいて照明条件が夫々異なるため、画像の明るさや色、陰影等の影響を受け、顔の照合が困難になる。また、撮影ポイントによっては、正面からの撮影ができないために、斜め方向から撮影した顔画像を照合しなければならないと言った問題もある。一方、顔以外の照合によって人物写真を検索することも考えられる。
【０００４】
一つの方法は人物のゼッケン番号を認識することであるが、ゼッケンが見えていないような画像の検索はできない。また、服装の色や模様によって照合することも考えられるが、照明条件が異なる画像間では顔の照合以上にその影響を受けてしまう。以上のことを考えると、ゼッケン番号や服装も照合の一手段として用いるが、性能の良い顔照合処理と組み合わせるのが良いことは明白である。
【０００５】
人物画像を検索するために顔の照合を行うシステムとして、例えば、非特許文献１の方法がある。ここでは、インターネットの画像検索を利用して、名前を入力することで有名人の顔画像を予め複数収集し、収集した顔画像から特定人物の顔モデルを学習することで、ビデオ映像から人物検索を行っている。しかしながら、非特許文献１の方法では多数の顔画像をインターネットから収集することを前提としているため、検索対象が有名人に限定される。また、登録した顔写真と撮影時の条件の違いに対する本質的な問題を解決していない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Parkhiら．On-the-fly specific person retrieval．International Workshop on Image Analysis for Multimedia Interactive Services（2012）
【非特許文献２】Viola and Jones. Rapid Object Detection using Boosted Cascade of Simple Features. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2001)
【非特許文献３】Zhu and Ramanan. Face Detection, Pose Estimation, and Landmark Localization in the Wild. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2012)
【非特許文献４】Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2005)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、前記問題点を解決すべく、複数のカメラ映像から特定の人物を検索する画像検索システムにおいて、撮影条件やカメラ設置条件が異なっても高精度の人物照合が行える画像照合装置および方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、本発明の画像照合装置は以下の構成を備える。
すなわち、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段と、
前記特徴抽出手段によって第一の画像から抽出された特徴量と第二の画像から抽出された特徴量との類似度を算出する類似度算出手段と、
前記第一の画像中のオブジェクトと前記第二の画像中のオブジェクトとが同一か否かを推定する推定手段と、
前記推定手段の推定結果と前記類似度算出手段によって算出された類似度とから前記類似度算出手段で類似度を算出するためのパラメータを学習するパラメータ学習手段とを備えることを特徴とする。
【０００９】
また、本発明の画像検索システムは、前記画像照合装置に加え、前記第二の画像を登録する画像登録手段と、前記画像照合装置によって夫々算出された複数の前記第一の画像の夫々と前記第二の画像との類似度に基づいて前記第一の画像を順位付けして出力する検索結果出力部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明では、第一および第二の画像中のオブジェクトが同一か否かを推定し、推定結果から画像間の照合に用いる統合パラメータをカメラ毎に学習するようにした。これにより、第一および第二の画像を取得するカメラの撮像条件、設置条件の違いに応じた有効な特徴量を優先的に利用できるようにした。したがって、撮影条件やカメラ設置条件が異なっても高精度の人物照合が行える画像照合装置および方法を提供することができる。また、それを用いた画像検索システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一の実施形態の画像照合装置の機能構成を示す図
【図２】本発明の第一の実施形態の画像検索システムの構成を示す図
【図３】本発明の第一の実施形態の画像検索システムの画像照合および画像検索処理の流れを示す図
【図４】顔特徴抽出処理の流れを示す図
【図５】顔画像の局所領域の例を説明する図
【図６】類似度算出処理の流れを示す図
【図７】本発明の第一の実施形態の統合パラメータの学習の流れを示す図
【図８】本発明の第二の実施形態の画像照合装置の機能構成を示す図
【図９】本発明の第二の実施形態の統合パラメータの学習の流れを示す図
【図１０】本発明の実施形態の画像照合装置および画像検索システムのハードウェア構成を示す図
【発明を実施するための形態】
【００１２】
（第一の実施形態）
以下、本発明に係る実施形態について図面にもとづいて説明する。
図１０は本実施形態に係る画像検索システムのハードウェア構成を示す図である。画像照合装置および画像検索システムは、ＣＰＵ（Central Processing Unit）１、記憶装置２、入力装置３、及び出力装置４を含んで構成される。なお、各装置は、バス５等により互いに通信可能に接続されている。
【００１３】
ＣＰＵ１は、画像照合装置および画像検索システムの動作をコントロールし、記憶装置２に格納されたプログラムの実行等を行う。記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、ＣＰＵ１の動作にもとづき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、ＣＰＵ１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、画像照合装置および画像検索システムにおける機能及び後述するフローチャートに係る処理が実現される。
【００１４】
入力装置３は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。出力装置４は、液晶パネル、外部モニタ等であり、各種の情報を出力する。
なお、画像照合装置および画像検索システムのハードウェア構成は、上述した構成に限られるものではない。例えば、画像照合装置および画像検索システムは、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。
【００１５】
図２に示すように、本実施形態の画像照合装置１００は複数のカメラ（撮像装置）１１、１２、…、１Ｎと有線、あるいは、無線により接続されている。また、画像照合装置１００は画像登録部２０、検索結果出力部３０とともに画像検索システムを構成する。カメラ１１、１２、…、１Ｎは夫々設置した各ポイントにおいて画像を撮影する。画像登録部２０は検索に用いる人物の顔画像を人物に紐付けられた識別子とともに登録する。画像照合装置１００は画像登録部２０で登録した画像とカメラ１１、１２、…、１Ｎで撮影した画像とを照合し、類似度を出力する。検索結果出力部３０は画像照合装置１００で夫々算出したカメラ１１、１２、…、１Ｎで撮影した複数の画像の夫々と画像登録部２０で登録した画像との類似度から撮影した画像を順位付けして出力する。
【００１６】
図１は、本発明の第一の実施形態に係る画像照合装置１００の機能構成を示す図である。画像照合装置１００の処理及び機能は、図１に示す各部により実現される。
登録画像記憶部１１０は、画像登録部２０で登録した画像を人物の識別子と関連付けて記憶する。本実施形態では人物の識別子はマラソン選手のゼッケン番号を表す。
カメラ画像記憶部１２０は、カメラ１１、１２、…、１Ｎで撮影した夫々の画像を記憶する。記憶されている各画像は撮影に使用したカメラ、撮影時刻に対応付けて管理する。
【００１７】
物体検出部１３０は、登録画像記憶部１１０、カメラ画像記憶部１２０に記憶されている画像から特定の物体を検出する。本実施形態では人物の顔を検出する。
顔特徴抽出部１４０は、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段の一例である。顔特徴抽出部１４０は、物体検出部１３０で検出した顔の特徴を抽出する。本実施形態では顔の特徴は顔画像中の局所領域から抽出した複数の特徴量である。
部分類似度算出部１５０は、登録画像記憶部１１０とカメラ画像記憶部１２０に記憶されている画像から顔特徴抽出部１４０で夫々抽出した顔特徴の類似度を算出する。特徴量毎の類似度（例えば、登録画像の右目とカメラ画像の右目との類似度、登録画像の左目とカメラ画像の左目との類似度など）を算出する。
【００１８】
類似度統合部１６０は、部分類似度算出部１５０によって算出した複数の類似度を統合する。
番号抽出部１７０は、物体検出部１３０で検出した顔の位置情報をもとにカメラ画像記憶部１２０に記憶されている画像から人物の番号を抽出する。本実施形態ではマラソン選手のゼッケン番号を抽出する。
ラベル推定部１８０は、登録画像記憶部１１０に記憶されている画像の人物の識別子と番号抽出部１７０で抽出した人物の番号が一致しているか否かを照合し、登録画像とカメラ画像中の人物とが同一人物か否かのラベルを付ける。
【００１９】
カメラ識別子取得部１９０は、撮像装置識別子取得手段の一例である。カメラ識別子取得部１９０は、カメラ画像記憶部１２０に記憶されている各画像に関連付けられたカメラの識別子を取得する。
パラメータ学習部２００は、「推定手段の推定結果」と「類似度算出手段によって算出された類似度」とから「類似度算出手段で類似度を算出するためのパラメータ」を学習するパラメータ学習手段の一例である。パラメータ学習部２００は、部分類似度算出部１５０によって算出した特徴量の類似度とラベル推定部１８０によって推定したラベルとからカメラ識別子毎に類似度統合部１６０で用いる統合パラメータを学習する。
【００２０】
以下、本実施形態の動作について説明する。図３に画像照合および画像検索処理の流れの概略を示す。なお、本実施形態の動作を行うにあたって、予め登録画像およびカメラ画像が夫々登録画像記憶部１１０、カメラ画像記憶部１２０に記憶されているとする。
まず、登録画像記憶部１１０に記憶されている画像から検索したい人物の画像（以下、登録画像と称す）が入力装置３によって選択される（Ｓ１００）。
【００２１】
次に、物体検出部１３０、および、顔特徴抽出部１４０によって登録画像から顔特徴を抽出する（Ｓ２００）。顔特徴抽出処理の詳細については後述する。
次に、カメラ画像記憶部１２０に記憶されている画像（以下、カメラ画像と称す）を所定の順に沿って読み出す（Ｓ３００）。カメラ画像記憶部１２０には、カメラ１１、１２、…、１Ｎで撮影した各画像に対して撮影に使用したカメラ、撮影時刻に対応付けて管理されている。ここでは、カメラ１１、１２、…、１Ｎの順に夫々のカメラを使用して撮影したカメラ画像が所定の検索範囲の中で時系列に過去の画像から読み出されるものとする。読み出したカメラ画像に対して図３のＳ４００〜Ｓ６００の処理が行われる。
【００２２】
物体検出部１３０、および、顔特徴抽出部１４０によって前述のＳ２００と同様にしてカメラ画像から顔特徴を抽出する（Ｓ４００）。
次に、部分類似度算出部１５０、および、類似度統合部１６０によってＳ２００で抽出した登録画像の顔特徴とＳ４００で抽出したカメラ画像の顔特徴との類似度を算出する（Ｓ５００）。類似度算出処理の詳細については後述する。画像照合装置１００は求めた顔画像間の類似度を出力する。
【００２３】
そして、検索結果出力部３０は画像照合装置１００で求めた顔画像間の類似度からカメラ画像を順位付けして出力する（Ｓ６００）。すなわち、既に得られた他のカメラ画像との類似度と比較し、類似度が大きい順にカメラ画像を出力装置４に表示する。
Ｓ３００〜Ｓ６００の処理が順次繰り返して行われる。なお、カメラ画像中に複数の人物が存在する場合には、それぞれの人物の顔画像についてＳ４００〜Ｓ５００の処理を行って類似度を算出する。この場合、カメラ画像中には同一人物は複数存在しえないため、Ｓ６００においてはカメラ画像中の複数の顔画像の中で類似度が最も高い顔画像の類似度をそのカメラ画像の代表類似度としてカメラ画像を順位付けする。
【００２４】
本実施形態では顔特徴の類似度のみにもとづいて人物画像を検索するようにしたが、カメラ画像からゼッケン番号を認識して顔特徴の類似度と組合せて検索するようにすれば、より高精度に検索を行うことができる。顔特徴抽出処理Ｓ４００および類似度算出処理Ｓ５００と並行して、番号抽出部１７０でカメラ画像からゼッケン番号を抽出する。例えば、物体検出部１３０で検出した顔領域と所定の位置関係にある領域を文字部検出対象領域として設定し、設定した領域内で文字テンプレートとの画像照合を行う。
【００２５】
ここで用いる文字テンプレートは数字０〜９、および、Ａ〜Ｚの大文字アルファベットである。これらの複数の文字テンプレートとの照合結果を統合した文字列をゼッケン番号とする。そして、ゼッケン番号が抽出できた場合には、登録画像記憶部１１０において登録画像と関連付けて記憶されている人物の識別子（ここではゼッケン番号）と比較する。そして、登録画像とカメラ画像のゼッケン番号が一致する場合は、Ｓ６００でこのカメラ画像が上位に来るようにする。
【００２６】
＜顔特徴抽出処理の詳細＞
図４に顔特徴抽出処理の流れを示す。本処理での入力は登録画像、または、カメラ画像であり、画像中の顔の特徴量を出力する。
まず、物体検出部１３０によって入力画像から顔の領域を矩形領域として検出する（Ｓ２１０）。顔の検出には非特許文献２にあるような方法を用いる。顔画像の検索対象として比較的画質の良いものに限定するような場合には、顔の検出範囲を所定の大きさ以上に限定することで処理を効率化することができる。検出した顔領域は画像データに関連付けて、その画像中の位置座標を記録しておく。ここで、画像中から顔が検出されなかった場合には後続する処理をスキップする。
【００２７】
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部１４０で複数の局所画像を取得する（Ｓ２２０）。
図５を用いて取得する局所画像の例を説明する。図５において実線の矩形ＲをＳ２１０で検出した顔領域とする。この例では顔領域中の矩形領域Ｐ１〜Ｐ５（右目がＰ１、左目がＰ２、鼻がＰ３、口右半分がＰ４、口左半分がＰ５に相当）の画像を、顔領域との予め定めた位置関係（例えば、顔領域の中心座標に対する相対的位置関係）から局所画像として取得する。なお、局所領域は図５の例に限らず、左右頬、両目、口全体、額部分等を追加してもよい。
【００２８】
また、顔領域から目尻、目頭、口の左右端点と言った顔特徴点を検出し、検出した顔特徴点の位置座標との関係から局所画像を取得するようにしてもよい。非特許文献２にあるような顔検出方法では検出した顔領域と顔の各パーツとの位置関係が顔の向きによって変わるため、顔特徴点の位置にもとづいて局所画像を取得する方が精度がよい。顔特徴点の位置を検出する方法としては非特許文献３にあるような方法を用いる。
次に、顔特徴抽出部１４０を用いて取得した局所画像の夫々から局所特徴を抽出し、顔特徴とする（Ｓ２３０）。顔特徴としては例えば、非特許文献４にあるような勾配方向ヒストグラム特徴（Histograms of Oriented Gradients）を用いる。
【００２９】
＜類似度算出処理の詳細＞
図６に類似度算出処理の流れを示す。本処理では登録画像およびカメラ画像の顔特徴（局所特徴）を入力し、顔画像間の類似度を出力する。
まず、Ｓ２００およびＳ４００で得た登録画像およびカメラ画像の局所特徴を取得する（Ｓ５１０）。ここでは、例えば、図５に示したＰ１の局所領域の特徴を得る。
次に、Ｓ５１０で得た２つの特徴の類似度を部分類似度算出部１５０を用いて求める（Ｓ５２０）。例えば、２つの特徴をベクトルと見做した時の特徴ベクトルの差の２乗ノルムを類似度として計算する。
【００３０】
Ｓ５１０〜Ｓ５２０の処理が、局所特徴毎に順次繰り返して行われ、局所領域の数だけ類似度が得られる。
次に、局所特徴の類似度を統合するための統合パラメータを取得する（Ｓ５３０）。ここで、統合パラメータは予めカメラ毎に学習されたパラメータであり、撮影に使用したＮ台のカメラのそれぞれに応じて取得する。統合パラメータの学習方法については後述する。
次に、Ｓ５３０で取得した統合パラメータを用いて類似度統合部１６０で局所特徴の類似度を統合する（Ｓ５４０）。ここで、顔画像間の各局所特徴の類似度をｓｋ（ｋ＝１，２，…，Ｎ）、統合パラメータをｗｋ（ｋ＝１，２，…，Ｎ）とするとき、以下の（式１）のように統合類似度ｓを重み付き総和として求める。Ｎは局所領域の数である。
【００３１】
【数１】
2015219797.tif 000003
【００３２】
本実施形態では、例えば、正面でなく左向きの顔を撮影するようなポイントに設置されたカメラで撮影した画像では右目や口右半分の領域での特徴を統合時に重視するように動作する（右目や口右半分の領域に対応する統合パラメータｗｋを大きくする）。これにより、精度の高い統合類似度ｓが得られる。
【００３３】
＜統合パラメータの学習方法＞
図７に統合パラメータの学習の流れを示す。統合パラメータの学習を行うにあたって、予め登録画像およびカメラ画像が夫々登録画像記憶部１１０、カメラ画像記憶部１２０に記憶されているとする。なお、以下ではカメラ１１で撮影した顔画像を照合する際の統合パラメータを学習する例について説明する。他のカメラにおける統合パラメータの学習も同様に行う。
【００３４】
まず、登録画像を１つ選択し、物体検出部１３０、および、顔特徴抽出部１４０によって登録画像から顔特徴を抽出する（Ｓ１１００）。これは照合処理時のＳ２００と同様の処理である。登録画像記憶部１１０に記憶されている全ての画像についてこの処理を繰返し、登録画像の顔特徴を得る。
次に、カメラ画像を１つ読み出す（Ｓ１２００）。ここで、読み出したカメラ画像の識別子をカメラ識別子取得部１９０によって取得し、読み出した画像がカメラ１１で撮影されたものかどうかを識別子から判定する。カメラ１１で撮影された画像の場合は後続するＳ１３００〜Ｓ１５００の処理を行うが、それ以外は処理をスキップする。
【００３５】
次に、物体検出部１３０によってカメラ画像から顔の領域を矩形領域として検出する（Ｓ１３００）。これは照合処理時のＳ２１０と同様の処理である。
次に、番号抽出部１７０によってカメラ画像からゼッケン番号を抽出する（Ｓ１４００）。これは照合処理で説明したゼッケン番号抽出と同様の処理である。ここでゼッケン番号が抽出されなかった場合は後続するＳ１５００の処理をスキップする。また、カメラ画像から複数の顔が検出され、夫々の顔画像に対してゼッケン番号が抽出された場合は、夫々の顔画像に対して抽出したゼッケン番号を記録しておく。
【００３６】
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部１４０を用いて複数の局所画像を取得し、顔特徴を抽出する（Ｓ１５００）。これは照合処理時のＳ２２０〜Ｓ２３０と同様の処理である。
カメラ画像記憶部１２０に記憶されている全てのカメラ画像について、Ｓ１２００〜Ｓ１５００の処理を繰返し、カメラ画像中の顔についてゼッケン番号と顔特徴を得る。
【００３７】
次に、登録画像とカメラ画像中の顔画像における顔特徴の組合せを１つ設定する（Ｓ１６００）。
そして、登録画像と関連付けて記憶されている人物の識別子とカメラ画像中の顔のゼッケン番号とをラベル推定部１８０を用いて比較し、番号が一致するならば同一人物、一致しない場合は別人物のラベルを付ける（Ｓ１７００）。例えば、ラベルは１ビットの符号０または１で表現し、同一人物を１、別人物を０とする。
次に、登録画像とカメラ画像中の顔画像の局所特徴毎の類似度を部分類似度算出部１５０によって算出する（Ｓ１８００）。これは照合処理時のＳ５２０と同様の処理である。
Ｓ１６００〜Ｓ１８００の処理を登録画像とカメラ画像中の顔画像の全ての組合せについて繰返し、局所特徴毎の類似度と推定ラベルの組を得る。
次に、求めた局所特徴の類似度と推定ラベルを用いてパラメータ学習部２００で統合パラメータを学習する（Ｓ１９００）。ここで、パラメータｗ=｛ｗ1,ｗ2,…,ｗN｝は以下の（式２）の最適化によって求める。つまり、パラメータｗは（式３）のＥが最小となるようなパラメータｗｋの集合である。
【００３８】
【数２】
2015219797.tif 000004
【００３９】
但し、（式３）のｘiは局所特徴の類似度を結合したベクトルｘ=｛s1,s2,…,sN｝の１つであり、ｙiはその推定ラベルであり、ｉは学習に使用される顔画像のインデックスであり、Ｍは学習に使用される顔画像のサンプル数である。（式３）において（）内の第１項は、パラメータｗとベクトルｘｉとの内積である。
登録画像中の人物とカメラ画像中の人物が同一人物である場合、パラメータｗと局所特徴の類似度の内積は１に近い値となり、ラベルｙｉが１であるから（）の２乗は０に近い値となる。
また、登録画像中の人物とカメラ画像中の人物が別人物である場合、パラメータｗと局所特徴の類似度の内積は０に近い値となり、ラベルｙｉが０であるから（）の２乗は０に近い値となる。
この方法の他にもパラメータの学習にはサポートベクターマシンを用いて推定してもよい。
他のカメラで撮影した顔画像を照合する際の統合パラメータを学習する場合も同様に行う。
【００４０】
（第二の実施形態）
本発明は前述したスポーツイベントの人物写真検索以外の用途にも適用できる。他の適用例として、街頭に設置した複数の監視カメラ映像から特定の人物の検索への応用がある。例えば、１つの監視カメラに映っている人物画像を登録画像として、複数の監視カメラ映像の中から顔や衣服の似ている人物を検索する。この場合にも、照明条件が異なると衣服の色が異なって映ったり、解像度の低いカメラでは顔の照合が困難になったりといったカメラ個別の問題がある。これらの問題は、本発明の画像照合装置および方法によって解決できるものである。以下に、その適用例を示す。なお、本実施形態におけるハードウェア構成、および、システム構成は、夫々、図１０および図２に従う。
【００４１】
第一の実施形態と第二の実施形態の主たる相違点は、第一の実施形態ではゼッケン番号に基づいて同一人物か否かを示すラベルを推定したが、第二の実施形態ではこのゼッケン番号に相当するものが無いという点である。
第二の実施形態においては、登録画像とカメラ画像との照合結果に基づいて同一人物か否かを示すラベルを推定し、このようにして得たラベルを用いて統合パラメータの学習を行う。
【００４２】
図８に本実施形態に係る画像照合装置８００の機能構成を示す。図８において図１と同じ符号が割り当てられた構成要素は同等の機能を有する。以下、図８のみに示されている構成要素および図１とは異なる符号が割り当てられた構成要素について説明する。
人物特徴抽出部２１０は、照合対象のオブジェクトに関する特徴量を画像から抽出する特徴抽出手段の一例である。人物特徴抽出部２１０は、物体検出部１３０で検出した顔の位置から人物の各部の位置を推定し、その各部の特徴を抽出する。抽出する特徴は、例えば、頭部からは髪型や色、帽子を被っているか否か、胴体部分からは衣服の色や体型、等の人物の属性に関わる特徴（以下、人物属性特徴と称す）である。
【００４３】
照合結果保持部２２０は、類似度統合部１６０が出力する類似度の内、所定数の類似度の高い特徴の組合せ、または、類似度の低い特徴の組合せに対する照合結果を保持する。ここで、保持する照合結果は部分類似度算出部１５０で求めた特徴毎の部分類似度である。
ラベル推定部２３０は、照合結果保持部２２０に保持されている照合結果（顔の局所特徴毎の類似度および人物属性特徴毎の類似度に基づいて算出された照合結果）に同一人物か否かのラベルを付ける。
【００４４】
以下、本実施形態の動作について説明する。画像照合および画像検索処理は図３に示した本発明の第一の実施形態の処理とほぼ同じであるため、これを参照して説明する。
まず、登録画像記憶部１１０に記憶されている画像から検索したい人物の画像が選択される（Ｓ１００）。ここで選択する画像は出力装置４に表示されたカメラ１１、１２、…、１Ｎの映像の１つであり、入力装置３によって複数の映像中のいずれかの人物画像部分が選択される。
【００４５】
次に、物体検出部１３０、および、顔特徴抽出部１４０、人物特徴抽出部２１０によって登録画像から顔の局所特徴および人物属性特徴を抽出する（Ｓ２００）。本実施形態では前述したとおり、顔の特徴以外に人物の頭部特徴、衣服の色、体型を人物属性特徴として抽出する。
次に、カメラ画像記憶部１２０に記憶されている画像を所定の順に沿って読み出す（Ｓ３００）。
【００４６】
次に、物体検出部１３０、および、顔特徴抽出部１４０、人物特徴抽出部２１０によってカメラ画像から顔の局所特徴および人物属性特徴を抽出する（Ｓ４００）。なお、人物特徴を抽出する際には、検出した顔の位置にもとづいて人物の胴体部分等を再度検出するようにしてもよい。
次に、部分類似度算出部１５０、および、類似度統合部１６０によって、Ｓ２００で抽出した登録画像の顔の局所特徴および人物属性特徴と、Ｓ４００で抽出したカメラ画像の顔の局所特徴および人物属性特徴との類似度を統合する（Ｓ５００）。画像照合装置８００は求めた人物画像間の類似度を出力する。
【００４７】
そして、検索結果出力部３０は画像照合装置８００で求めた人物画像間の類似度からカメラ画像を順位付けして出力する（Ｓ６００）。ここで、統合パラメータは予めカメラ毎に学習されたパラメータを用いる。
本実施形態では、例えば、登録画像が撮影された際の照明環境とは異なる照明環境に設置されたカメラで撮影したカメラ画像では色の変動に依らない特徴を統合時に重視するようにパラメータｗが決定される。これにより、精度の高い類似度が得られる。
【００４８】
次に統合パラメータの学習方法について説明する。本実施形態では人物に予め識別子が付けられていないため、学習時の人物画像のラベル推定方法が第一の実施形態とは異なる。本実施形態では一旦算出した類似度の内、高い類似度を示す登録画像とカメラ画像の特徴量の組を同一人物、低い類似度を示す登録画像とカメラ画像の特徴量の組を別人物と想定して、パラメータの学習を行う。
つまり、「高い類似度を示す登録画像とカメラ画像の特徴量の組」に対応する（式３）のラベルｙｉを１とし、それ以外の「登録画像とカメラ画像の特徴量の組」に対応する（式３）のラベルｙｉを０とする。
このようにして求めたラベルｙｉを用いて、パラメータの学習を行い、（式３）のＥが最小となるようなパラメータｗｋの集合であるパラメータｗを求める。
【００４９】
図９に統合パラメータの学習の流れを示す。統合パラメータの学習を行うにあたって、予め登録画像が登録画像記憶部１１０に記憶され、カメラ画像がカメラ画像記憶部１２０に記憶されているとする。なお、以下ではカメラ１１で撮影した顔画像を照合する際の統合パラメータを学習する例について説明する。他のカメラにおける統合パラメータの学習も同様に行う。
【００５０】
まず、登録画像を１つ選択し、物体検出部１３０、顔特徴抽出部１４０、および、人物特徴抽出部２１０によって登録画像から顔の局所特徴および人物属性特徴を抽出する（Ｓ２１００）。登録画像記憶部１１０に記憶されている全ての画像についてこの処理を繰返し、登録画像の顔の局所特徴および人物属性特徴を得る。
【００５１】
次に、カメラ画像を１つ読み出す（Ｓ２２００）。ここで、読み出したカメラ画像の識別子をカメラ識別子取得部１９０で取得し、読み出した画像がカメラ１１で撮影されたものかどうかを識別子から判定する。
次に、物体検出部１３０によってカメラ画像から顔の領域を矩形領域として検出する（Ｓ２３００）。
次に、画像中の顔領域の位置にもとづいて顔特徴抽出部１４０で複数の局所画像を取得し、顔の局所特徴を抽出する。また、人物特徴抽出部２１０で複数の人物属性特徴を抽出する（Ｓ２４００）。
【００５２】
カメラ画像記憶部１２０に記憶されている全てのカメラ画像について、Ｓ２２００〜Ｓ２４００の処理を繰返し、カメラ画像中の顔について顔の局所特徴および人物属性特徴を得る。
次に、登録画像とカメラ画像中の人物画像における顔および人物特徴の組合せを１つ設定する（Ｓ２５００）。
次に、登録画像中の人物画像とカメラ画像中の人物画像との特徴毎の類似度を部分類似度算出部１５０によって算出し、類似度統合部１６０で統合する（Ｓ２６００）。まず、顔の各局所特徴の類似度と人物の各属性特徴の類似度とを特徴毎に部分類似度算出部１５０で求める。更に、類似度統合部１６０で求めた特徴毎の類似度を統合する。このとき、統合に使うパラメータは初期パラメータで、例えば、全ての重みを１とする。特徴毎の類似度も、統合した類似度とともに保持しておく。
【００５３】
次に、Ｓ２６００で求めた統合後の類似度の高い、あるいは、類似度の低い特徴の組合せに対する照合結果を照合結果保持部２２０で保持する（Ｓ２７００）。求めた特徴の類似度が既に求めた類似度を含めて所定の数の上位の高い値を取る場合、特徴毎に求めた類似度を保持する。すなわち、類似度が高い値を取る場合は同一人物の特徴の組合せであるとして、その類似度を保持する。また、同様に、求めた特徴の類似度が既に求めた類似度を含めて所定の数の下位の低い値を取る場合、特徴毎に求めた類似度を保持する。
【００５４】
Ｓ２５００〜Ｓ２７００の処理を登録画像とカメラ画像中の人物画像の全ての組合せについて繰返し、特徴毎の類似度を得る。繰り返し処理において、Ｓ２６００の処理における所定の数の上位、あるいは、下位の統合類似度の特徴の組合せに対する特徴毎に求めた類似度は更新される。
次に、ラベル推定部２３０は照合結果保持部２２０に保持されている特徴毎の類似度に同一人物か否かのラベルを付ける（Ｓ２８００）。すなわち、照合結果保持部２２０で統合類似度が上位の高い値を取るものに対して同一人物、下位の低い値を取るものに対して別人物と推定して、特徴毎に保持した類似度にラベルを付ける。
次に、求めた特徴毎の類似度と推定ラベルを用いてパラメータ学習部２００で統合パラメータを学習し、更新する（Ｓ２９００）。
【００５５】
なお、以上説明した学習方法を繰返し用いてパラメータの学習を行ってもよい。Ｓ２９００で更新したパラメータをＳ２６００の類似度統合のパラメータとして利用し、再度、Ｓ２５００〜Ｓ２９００の処理を繰り返せばよい。反復して学習することで、より高精度のパラメータを得ることができる。
以上説明した本発明の実施形態によって、複数のカメラの映像から特定の物体（前記実施形態では人物）を検索する画像検索システムにおいて、カメラの設置状況の違いを考慮した高精度の検索が実現できる。
【００５６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実
施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体
を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（または
ＣＰＵやＭＰＵ等）がコンピュータプログラムを読み出して実行する処理である。
【符号の説明】
【００５７】
１００  画像照合装置      １１０  登録画像記憶部      １２０  カメラ画像記憶部
１３０  物体検出部      １４０  顔特徴抽出部      １５０  部分類似度算出部
１６０  類似度統合部      １７０  番号抽出部      １８０  ラベル推定部
１９０  カメラ識別子取得部
【図１】
2015219797.tif 000005
【図２】
2015219797.tif 000006
【図３】
2015219797.tif 000007
【図４】
2015219797.tif 000008
【図５】
2015219797.tif 000009
【図６】
2015219797.tif 000010
【図７】
2015219797.tif 000011
【図８】
2015219797.tif 000012
【図９】
2015219797.tif 000013
【図１０】
2015219797.tif 000014