(57)【要約】【課題】複数のカメラにより撮像された画像間の色の差異を補正する色補正の精度を考慮した処理を可能とする。【解決手段】被写体照合装置２００は、第１の撮像装置により撮像された第１の撮像画像と第２の撮像装置により撮像された第２の撮像画像とにおける第１の撮像画像と第２の撮像画像とに共通して含まれる被写体の領域から、それぞれ部分画像を抽出し、第１の部分画像と第２の部分画像との組として取得する取得手段と、取得手段により取得された第１の部分画像と第２の部分画像との色の差異に基づいて、第１の撮像画像と第２の撮像画像との色の差異を補正する色補正の精度を、取得手段により取得された部分画像の組の数に基づいて推定する推定手段と、を備える。【選択図】      図３
2020009162.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像装置により撮像された第１の撮像画像と第２の撮像装置により撮像された第２の撮像画像とにおける前記第１の撮像画像と前記第２の撮像画像とに共通して含まれる被写体の領域から、それぞれ部分画像を抽出し、第１の部分画像と第２の部分画像との組として取得する取得手段と、
前記取得手段により取得された前記第１の部分画像と前記第２の部分画像との色の差異に基づいて、前記第１の撮像画像と前記第２の撮像画像との色の差異を補正する色補正の精度を、前記取得手段により取得された部分画像の組の数に基づいて推定する推定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記推定手段は、
前記取得手段により取得された前記部分画像の組の数が多いほど、前記色補正の精度を高く推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定手段により推定された前記色補正の精度に関する情報を表示させる第１の表示制御手段をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の表示制御手段は、
前記色補正の精度を表すメッセージを表示させることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の表示制御手段は、
前記取得手段により取得された部分画像を表示させることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記取得手段により取得された部分画像の組のうち、前記第１の部分画像の色を基準とした前記第１の部分画像と前記第２の部分画像との色の差異に基づいて、前記第２の撮像画像に含まれる前記被写体の領域の色を補正することで、前記第１の撮像画像と前記第２の撮像画像との色の差異を補正する色補正を行う補正手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記色補正が施された後の前記第１の撮像画像および前記第２の撮像画像における被写体の領域から、それぞれ色特徴量を含む被写体の特徴量を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量に基づいて、前記第１の撮像画像中の被写体と前記第２の撮像画像中の被写体とを照合する照合手段と、をさらに備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記照合手段は、
前記推定手段により推定された前記色補正の精度に基づいて、前記被写体の照合に用いる照合パラメータを変更することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記照合パラメータは、前記第１の撮像画像中の被写体の前記特徴量と、前記第２の撮像画像中の被写体の前記特徴量との間の距離であり、
前記照合手段は、
前記推定手段により推定された前記色補正の精度が低いほど、前記色特徴量の前記距離に対する重みを低くすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記推定手段により推定された前記色補正の精度に基づいて、前記照合手段による照合の信頼度に関する情報を表示させる第２の表示制御手段をさらに備えることを特徴とする請求項７から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第２の表示制御手段は、
前記推定手段により推定された前記色補正の精度に基づいて、前記照合手段による照合結果である同一の被写体の候補を、表示数を変更して表示させることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第２の表示制御手段は、
前記推定手段により推定された前記色補正の精度に基づいて、前記照合手段による照合の信頼度を表すメッセージを表示させることを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記第１の撮像画像と前記第２の撮像画像とに共通して含まれる被写体の領域は、前景における人物領域であることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第１の撮像画像と前記第２の撮像画像とに共通して含まれる被写体の領域は、背景における所定のオブジェクト領域であることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１５】
第１の撮像装置により撮像された第１の撮像画像と第２の撮像装置により撮像された第２の撮像画像とにおける前記第１の撮像画像と前記第２の撮像画像とに共通して含まれる被写体の領域から、それぞれ部分画像を抽出し、第１の部分画像と第２の部分画像との組として取得するステップと、
前記第１の部分画像と前記第２の部分画像との色の差異に基づいて、前記第１の撮像画像と前記第２の撮像画像との色の差異を補正する色補正の精度を、取得された前記部分画像の組の数に基づいて推定するステップと、を含むことを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、コンビニ、ショッピングモール、空港などに複数のカメラを設置し、これら複数のカメラを、ネットワークを介してＰＣなどの監視装置に接続することで、複数の地点の監視を可能とするシステムがある。このようなシステムでは、例えば、あるカメラで過去に撮像された映像中の万引き犯などの特定の人物を、現在の複数のカメラ映像の中から探すといった使い方ができる。この場合、カメラ映像中の人物から抽出した服の色などの特徴を照合することにより、複数のカメラ映像から特定の人物を探すことができる。
ところが、カメラ上で再現される色は、カメラが設置された場所の環境光の色温度により影響を受けることが知られている。例えば蛍光灯と白熱灯とで比べると、蛍光灯下では物体は青色が強く再現され、白熱灯下では物体は赤色が強く再現される。複数のカメラ映像から特定の人物を探す場合、人物の服の色がずれていると、人物を正しく照合することが困難になる。
【０００３】
このように、複数のカメラを設置する場合、全てのカメラを同じ色再現特性を持ったカメラで揃えることが難しい。そこで、複数のカメラにより撮像された画像間の色の違いを補正する技術が提案されている。一般に、色補正には色票（カラーチャート）が用いられる。カラーチャートは、基準となる既知の色が印刷された板状の物体である。このカラーチャートをカメラで撮像したときのＲＧＢ値と、予め所定の光源下で測定したときのＲＧＢ値とが一致するような色変換テーブルを作成し、色補正に用いることで、一定の基準に合うように色補正を行うことができる。
【０００４】
しかしながら、監視目的にカメラを設置する場合、監視対象となる場所が広域にわたるとカメラの台数が非常に多くなってしまう。この場合、１台１台カラーチャートを撮像し、色変換テーブルを作成していくには非常な労力が必要になる。また、照明環境などが変化する度にカラーチャートを再度撮像することも非現実的である。
そこで、カラーチャートを用いず、カメラで撮像された画像そのものを使って色補正を行う技術が提案されている。特許文献１には、画像中の形状または模様に基づいて同一であると判定された被写体の領域の色情報（人物の服の色など）を用いて、複数のカメラによって撮像された画像間の色の差異を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１３４８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の技術では、画像中の被写体の領域から十分な色相のバリエーションが得られないと、色補正を正しく行うことができない。このように、カラーチャートを用いずに色補正を行う場合、色補正の精度が低下してしまう場合があるが、上記特許文献１に記載の技術では、この点について考慮されておらず、色補正の精度を考慮した処理を行うことはできなかった。
そこで、本発明は、複数の撮像装置により撮像された撮像画像間の色の差異を補正する色補正の精度を考慮した処理を可能とすることを課題としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像処理装置の一態様は、第１の撮像装置により撮像された第１の撮像画像と第２の撮像装置により撮像された第２の撮像画像とにおける前記第１の撮像画像と前記第２の撮像画像とに共通して含まれる被写体の領域から、それぞれ部分画像を抽出し、第１の部分画像と第２の部分画像との組として取得する取得手段と、前記取得手段により取得された前記第１の部分画像と前記第２の部分画像との色の差異に基づいて、前記第１の撮像画像と前記第２の撮像画像との色の差異を補正する色補正の精度を、前記取得手段により取得された部分画像の組の数に基づいて推定する推定手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、複数の撮像装置により撮像された撮像画像間の色の差異を補正する色補正の精度を考慮した処理を可能とすることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態における監視カメラシステムの構成例を示す図である。
【図２】被写体照合装置のハードウェア構成例である。
【図３】被写体照合装置の機能構成を示す図である。
【図４】パッチ抽出処理の流れを示すフローチャートである。
【図５】同一被写体を指定するユーザインターフェースの一例である。
【図６】被写体特徴抽出処理の流れを示すフローチャートである。
【図７】被写体特徴照合処理の流れを示すフローチャートである。
【図８】パッチ数と色補正誤差との関係を示す実験結果の一例である。
【図９】照合結果表示の一例である。
【図１０】カラーチャート表示画面の一例である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１１】
図１は、本実施形態における監視カメラシステム１０００の構成例である。
本実施形態における監視カメラシステム１０００は、複数の撮像装置によってそれぞれ撮像された撮像画像に含まれる被写体（例えば人体）を、色特徴量を含む被写体の特徴量に基づいて照合し、照合結果を提示する被写体照合システムである。具体的には、被写体照合システム１０００は、複数の撮像装置によってそれぞれ撮像された撮像画像間の色の差異を補正し、当該撮像画像間の色合わせを行う色補正を行い、色補正された撮像画像をもとに被写体を照合する。これにより、複数の撮像装置の撮像領域間を移動する特定の人物を追跡するなどの処理が可能となる。
なお、本実施形態では、照合対象の被写体を人体として説明するが、照合対象の被写体は人体に限定されるものではなく、車両などの物体であってもよい。
【００１２】
図１に示すように、被写体照合システム１０００は、複数の撮像装置（以下、単に「カメラ」という。）１００Ａ〜１００Ｃと、被写体照合装置２００と、を備える。複数のカメラ１００Ａ〜１００Ｃと被写体照合装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。
ネットワーク３００は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク３００は、カメラ１００Ａ〜１００Ｃと被写体照合装置２００との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク３００は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現してもよい。
【００１３】
カメラ１００Ａ〜１００Ｃは、それぞれ画像を撮像する監視カメラである。ここで、カメラ１００Ａ〜１００Ｃの撮像領域は、重複していてもよいし、重複していなくてもよい。カメラ１００Ａ〜１００Ｃは、ネットワーク３００を介して撮像画像を被写体照合装置２００へ送信することができる。
カメラ１００Ａ〜１００Ｃは、それぞれ撮像光学系を構成するレンズ群および撮像素子を備える。レンズ群は、入射光を結像するための光学レンズを有し、入射光を撮像素子に集光させる。撮像素子は、光をアナログ画像信号に変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳ等を備えることができる。
なお、カメラ１００Ａ〜１００Ｃは、１枚以上の画像を含む映像を撮像するカメラであってもよい。また、カメラ１００Ａ〜１００Ｃは、ＰｏＥ（Ｐｏｗｅｒ  Ｏｖｅｒ  Ｅｔｈｅｒｎｅｔ）に対応していてもよいし、ＬＡＮケーブル等を介して電力が供給される構成でもよい。
【００１４】
被写体照合装置２００は、例えばパーソナルコンピュータ（ＰＣ）やスマートフォン、タブレット型ＰＣといった端末装置により構成することができる。被写体照合装置２００は、カメラ１００Ａ〜１００Ｃからネットワーク３００を介して受信した画像に対する画像処理や画像解析処理を行い、処理結果をユーザに提示する表示制御を行うことができる。ここで、上記画像処理は、複数のカメラによって撮像された撮像画像間の色の差異を補正する色補正処理を含む。また、上記画像解析処理は、複数の画像にそれぞれ含まれる被写体を照合する被写体照合処理を含む。被写体照合装置２００が照合結果を提示することにより、ユーザは、複数のカメラの撮像領域間を移動する被写体（人物）を監視することができる。
【００１５】
図２は、被写体照合装置２００のハードウェア構成例である。
被写体照合装置２００は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、２次記憶装置２４、入力部２５、表示部２６および通信Ｉ／Ｆ２７を備える。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、２次記憶装置２４、入力部２５、表示部２６および通信Ｉ／Ｆ２７は、内部バス２８に接続されている。
ＣＰＵ２１は、被写体照合装置２００における動作を統括的に制御する。ＲＯＭ２１は、ＣＰＵ２１が処理を実行するために必要なプログラムやデータを記憶する不揮発性メモリである。ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００１６】
２次記憶装置２４は、例えば、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリ、ＳＤカード等に代表される不揮発性の記憶装置であり、着脱可能な構成であってもよい。この２次記憶装置２４は、ＯＳや各種のプログラムおよび各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用することができる。
入力部２５は、キーボードやマウス等のポインティングデバイスを含む、ユーザが操作可能なＩ／Ｏ機器である。表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニタを備え、ユーザに対して処理結果などを表示する。通信Ｉ／Ｆ２７は、ネットワーク３００を介してカメラ１００Ａ〜１００Ｃとの間でデータの送受信を行う。
【００１７】
次に、被写体照合装置２００の構成について説明する。
図３は、被写体照合装置２００の機能構成を示す図である。被写体照合装置２００は、画像取得部２０１と、被写体検出部２０２と、被写体画像記憶部２０３と、を備える。また、被写体照合装置２００は、基準カメラ設定部２０４と、同一被写体設定部２０５と、パッチ抽出部２０６と、パッチ記憶部２０７と、色補正部２０８と、被写体特徴抽出部２０９と、被写体特徴記憶部２１０と、を備える。さらに、被写体照合装置２００は、照合対象設定部２１１と、被写体照合部２１２と、表示制御部２１３と、色補正精度推定部２１４と、照合パラメータ変更部２１５と、を備える。
この図３に示す被写体照合装置２００の各要素のうち少なくとも一部の機能は、ＣＰＵ２１がプログラムを実行することで実現することができる。ただし、図３に示す被写体照合装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。
【００１８】
画像取得部２０１は、ネットワーク３００を介してカメラ１００Ａ〜１００Ｃにより撮像された撮像画像を取得する。被写体検出部２０２は、画像取得部２０１において取得された撮像画像から被写体の領域を検出する。被写体画像記憶部２０３は、ＲＡＭ２３や２次記憶装置２４により構成され、被写体検出部２０２により検出された被写体領域の画像（被写体画像）を記憶する。
基準カメラ設定部２０４は、複数のカメラにより撮像された撮像画像間の色合わせ（色補正）の基準となる基準カメラを設定する。色補正では、この基準カメラにより撮像された撮像画像の色に他のカメラ（色補正対象カメラ）により撮像された撮像画像の色が合うように、色補正対象カメラの撮像画像の色が補正される。基準カメラの設定方法については後述する。
同一被写体設定部２０５は、被写体画像記憶部２０３に記憶されている被写体画像のうち、共通の被写体が撮像されている被写体画像を設定する。同一被写体設定部２０５は、被写体画像記憶部２０３に記憶されている被写体画像を表示部２６に表示させ、ユーザに同一の被写体を確認させる。そして、同一被写体設定部２０５は、ユーザによる同一被写体の指定を受け付け、共通の被写体が撮像されている被写体画像を設定する。
【００１９】
パッチ抽出部２０６は、同一被写体設定部２０５により設定された同一被写体の画像から、色補正をするために使用する部分画像をパッチ画像として抽出する。ここで、部分画像は、矩形小領域の画像とすることができる。具体的には、パッチ抽出部２０６は、基準カメラの撮像画像と色補正対象カメラの撮像画像とにおける両画像に共通して含まれる被写体の領域からそれぞれ部分画像を抽出し、パッチ画像の組として取得する。このパッチ画像は、カラーチャート（色票）を構成するパッチとして使用可能な画像である。パッチ記憶部２０７は、ＲＡＭ２３や２次記憶装置２４により構成され、パッチ抽出部２０６により抽出されたパッチ画像の組を１組以上記憶する。
色補正部２０８は、パッチ記憶部２０７に記憶されたパッチ画像の組を用いて、パッチ画像間の色の差異に基づいて、撮像画像間の色の差異を補正する色補正を行う。具体的には、色補正部２０８は、パッチ画像の組のうち、基準カメラの撮像画像から取得されたパッチ画像の色を基準としたパッチ画像間の色情報の差異に基づいて、色補正対象カメラの撮像画像の色を補正する。つまり、色補正部２０８は、色補正対象カメラの撮像画像の色が、基準カメラの撮像画像の色に合うように、色補正対象カメラの撮像画像の色を補正する。
【００２０】
被写体特徴抽出部２０９は、色補正部２０８による色補正後の被写体画像から、被写体の特徴量を抽出する。ここで、被写体の特徴量は、色特徴量、エッジ特徴量、テクスチャ特徴量を含む。被写体特徴記憶部２１０は、ＲＡＭ２３や２次記憶装置２４により構成され、被写体の特徴量を、当該特徴量を抽出した被写体画像を撮像したカメラの識別情報（例えばカメラＩＤ）と共に記憶する。
照合対象設定部２１１は、被写体照合処理において照合対象（照合元）となる被写体を設定する。照合対象設定部２１１は、ユーザからの指定を受け付け、照合対象となる被写体を設定することができる。
【００２１】
被写体照合部２１２は、被写体特徴記憶部２１０から被写体の特徴量を読み出し、照合対象設定部２１１により設定された照合対象の被写体の特徴量と照合する。
表示制御部２１３は、被写体照合部２１２による照合結果を表示部２６に表示させることで、当該照合結果をユーザに提示する。また、表示制御部２１３は、後述する色補正精度推定部２１４により推定された色補正の精度に基づいて、被写体の照合の信頼度に関する情報を表示部２６に表示させることができる。さらに、表示制御部２１３は、色補正精度推定部２１４により推定した色補正の精度に関する情報を表示部２６に表示させることもできる。
【００２２】
色補正精度推定部２１４は、パッチ記憶部２０７を参照し、色補正部２０８による色補正の精度を推定する。具体的には、色補正精度推定部２１４は、パッチ記憶部２０７に記憶されたパッチ画像の組の数に基づいて、色補正の精度を推定する。色補正精度推定部２１４は、パッチ画像の組の数が多いほど、十分な色相のバリエーションが得られていると判断して、色補正の精度を高く推定する。
照合パラメータ変更部２１５は、色補正精度推定部２１４により推定された色補正の精度に基づいて、被写体照合部２１２における被写体の照合に用いる照合パラメータを変更する。
【００２３】
一般に、複数のカメラにより撮像された撮像画像間の色合わせ技術では、複数のパッチが配置されたカラーチャート（色票）が用いられる。この場合、光源情報が既知の環境下でカラーチャートを予め側色しておく。そして、その予め側色しておいた値を基準とし、対象となる撮像環境でカラーチャートを撮像し、撮像された画像中のカラーチャートの値が、上記の予め測色しておいた値に近くなるように色変換マトリックスを作成する。対象となる撮像環境で被写体を撮像した撮像画像を、上記の色変換マトリックスを用いて変換することにより、色補正後の撮像画像が得られる。
しかしながら、監視目的にカメラを設置した場合、監視対象となる場所が広域にわたるとカメラの台数が非常に多くなる。すると、１台１台カラーチャートを撮像し、色変換マトリックスを作成するには非常な労力が必要になる。
【００２４】
そこで、本実施形態では、被写体照合装置２００は、カラーチャートのパッチに相当する部分画像を撮像画像から取得する。そして、被写体照合装置２００は、取得したパッチ画像の組を用いて、複数のカメラにより撮像された撮像画像間の色の差異を補正する色補正を行う。したがって、色補正のために、多数のカメラについて１台１台カラーチャートを撮像する必要がない。つまり、ユーザは、多数のカメラに対して、１台１台カラーチャートを撮像する指示を行う必要がない。そのため、ユーザに対する負荷を軽減することができる。
【００２５】
ただし、カラーチャートを用いず、カメラにより撮像された撮像画像中の部分画像を用いて色補正を行う場合、当該部分画像として十分な色相のバリエーションが得られないと、色補正を正しく行うことができない。つまり、カラーチャートを用いずに色補正を行う場合、色補正の精度にばらつきが生じる可能性がある。この色補正の精度を事前に知ることができないと、ユーザ側で誤照合の可能性を考慮した適切な対応をとることができない。
そこで、本実施形態では、被写体照合装置２００は、撮像画像から取得されたパッチ画像の組の数に基づいて、色補正の精度を推定する。したがって、被写体照合装置２００は、色補正の精度を考慮した適切な処理が可能となる。例えば、被写体照合装置２００は、色補正の精度に基づいて色補正の精度に関する情報を表示させたり、被写体の照合の信頼度に関する情報を表示させたりする。そのため、ユーザは、色特徴量を用いた被写体照合の信頼度を事前に知ることができ、適切な対応が可能となる。また、被写体照合装置２００は、色補正の精度に基づいて、被写体の照合に用いる照合パラメータを変更することもできる。この場合、被写体照合の信頼性が低下することを抑制することができる。
【００２６】
このように、被写体照合装置２００は、カメラにより撮像された撮像画像からパッチ画像の組を取得する機能と、パッチ画像の組の数に基づいて色補正の精度を推定する機能と、を有する。このように、本実施形態では、被写体照合装置２００が、パッチ画像の取得や色補正精度の推定を行う画像処理装置として動作する場合について説明する。ただし、カメラ１００Ａ〜１００Ｃが上記の画像処理装置の一部の機能を備えていてもよし、一般のＰＣや他の機器等が上記の画像処理装置の一部の機能を備えていてもよい。
【００２７】
次に、本実施形態における被写体照合装置２００の動作について説明する。
図４は、被写体照合装置２００が実行するパッチ抽出処理の流れを示すフローチャートである。この図４の処理は、例えば、被写体照合システム１０００の運用前または運用中に、所定時間ごとに定期的に実行されるものとする。これにより、カメラが設置された照明環境に適応できるようになる。また、他の方法として、ユーザが明示的に処理の開始を指定できるようにしてもよい。
被写体照合装置２００は、ＣＰＵ２１が必要なプログラムをＲＯＭ２２から読み出して実行することにより、図４に示す処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２８】
まず、Ｓ１において、被写体照合装置２００は、ネットワーク３００を介してカメラ１００Ａ〜１００Ｃにより撮像された撮像画像を、各カメラの識別情報として予め付与されたカメラＩＤとともに取得する。
Ｓ２では、被写体照合装置２００は、Ｓ１において取得された撮像画像から被写体を検出する。被写体が人体である場合、被写体照合装置２００は、予め背景のみが撮像された画像から背景モデルを生成しておき、当該背景モデルと入力画像との差分により人体を検出する背景差分法を用いることができる。
【００２９】
また、被写体が人体である場合、被写体検出の他の手法として、例えば以下の方法がある。この方法は、設定された大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人体であるか否かの２クラス判別を行う方法である。この方法では、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この方法では、上記の判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器は、ＨＯＧ(Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ)特徴量に基づいた判別を行う。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去し、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人体かどうかの判別を行う。なお、本実施形態では、被写体を人体としているが、被写体が車両である場合には、上記判別器を車両について作ればよい。
【００３０】
このようにして、撮像画像から被写体領域を検出することができる。ここで、被写体領域は、撮像画像の左上を原点とし、被写体である人体を囲む矩形の左上と右下の２点の画像中のｘ座標およびｙ座標で表される。さらに、被写体領域を示す情報として、被写体である人体に対応する領域の画素を１、それ以外の領域の画素を０で表したマスク画像を含んでいてもよい。このように、マスク画像を利用することで、上記矩形の領域内における人体に対応する画素と人体以外に対応する画素とを区別することができる。
【００３１】
Ｓ３では、被写体照合装置２００は、Ｓ１において取得された撮像画像から被写体領域を切り出し、切り出した画像を被写体画像としてカメラＩＤとともに被写体画像記憶部２０３に記憶する。なお、撮像画像から複数の被写体が検出された場合には、被写体を識別するための被写体ＩＤを各被写体画像に付与してもよい。
Ｓ４では、被写体照合装置２００は、ネットワーク３００に接続された全カメラについて、Ｓ１からＳ３までの処理を実行したか否かを判定する。そして、被写体照合装置２００は、Ｓ１からＳ３までの処理を実行していないカメラが存在すると判定した場合には、処理対象のカメラを切り替えてＳ１に戻り、全カメラについて処理が完了したと判定した場合にはＳ５に移行する。
【００３２】
Ｓ５では、被写体照合装置２００は、図４のパッチ抽出処理を開始してから予め設定された所定時間が経過したか否かを判定する。そして、被写体照合装置２００は、所定時間が経過していないと判定した場合にはＳ１に戻り、所定時間が経過していると判定した場合にはＳ６に移行する。このように、被写体照合装置２００は、予め設定された所定時間に撮像された撮像画像に対して被写体を検出する処理を行い、被写体画像を記憶する。これにより、同一人物が複数のカメラによる監視領域内を移動した場合、複数のカメラによって撮像されることが見込まれる。
【００３３】
Ｓ６では、被写体照合装置２００は、複数のカメラにより撮像された撮像画像間の色合わせの基準となる基準カメラを設定する。基準カメラは、照明条件が安定しているカメラに設定する。例えば、被写体照合装置２００は、ネットワーク３００に接続された複数のカメラのＩＤリストを表示部２６に表示させ、ユーザに基準カメラとするカメラＩＤを選択させるようにしてもよい。この場合、被写体照合装置２００は、ユーザによるカメラＩＤの指定を受け付け、当該カメラＩＤに対応するカメラを基準カメラに設定する。
【００３４】
Ｓ７では、被写体照合装置２００は、基準カメラのカメラＩＤが付与された被写体画像と、他の色補正対象カメラのカメラＩＤが付与された被写体画像とを、ペアで被写体画像記憶部２０３から読み出し、ユーザに提示する。そして、被写体照合装置２００は、提示した被写体画像のペアにそれぞれ含まれる被写体が同一の被写体であるか否かを、ユーザに指定させる。
図５は、ユーザが同一被写体を指定するためのユーザインターフェースの一例である。
被写体照合装置２００は、表示部２６に同一被写体指定画面５００を表示させる。同一被写体指定画面５００は、被写体画像のペアを表示する表示エリア５１０と、表示エリア５１０に表示されたペア画像に含まれる被写体が同一被写体であるかどうかをユーザが指定するための指定エリア５２０と、を備える。
【００３５】
表示エリア５１０には、２枚の被写体画像５１１、５１２が表示される。なお、被写体画像５１１、５１２の近傍には、これら被写体画像５１１、５１２を撮像したカメラのカメラＩＤ５１１ａ、５１２ａを表示させてもよい。また、表示エリア５１０において、基準カメラにより撮像された被写体画像が、常に左側に表示されるようにしてもよい。図５に示す例では、基準カメラは、カメラＩＤ＝１のカメラである。
指定エリア５２０には、被写体画像５１１、５１２に含まれる被写体が同一被写体であることを指定するボタン５２１と、被写体画像５１１、５１２に含まれる被写体が同一被写体ではないことを指定するボタン５２２と、が設けられる。ユーザは、指定エリア５２０中のボタン５２１（同一）またはボタン５２２（別人）を、ポインタ５３０を使って押下することで、被写体画像５１１、５１２に含まれる被写体が同一被写体か否かを指定することができる。
【００３６】
なお、同一被写体指定画面５００の表示方法は、図５に示す例に限定されない。例えば、表示エリア５１０に被写体画像のペアを複数表示させるとともに、指定エリア５２０に被写体画像のペアの数に応じたボタン５２１および５２２を表示させてもよい。
また、本実施形態では、ユーザが同一被写体であるか否かを指定する場合について説明したが、被写体が人体である場合、被写体照合装置２００が、色以外の顔の特徴などを用いて同一人物であるか否かを特定するようにしてもよい。
【００３７】
図４に戻って、被写体照合装置２００は、Ｓ８においてユーザにより同一被写体であることが指定された場合にはＳ９に移行し、同一被写体ではないことが指定された場合にはＳ１１に移行する。
Ｓ９では、被写体照合装置２００は、同一被写体が含まれると判定された被写体画像のペアからそれぞれパッチ画像を抽出する。被写体が人体である場合、被写体照合装置２００は、被写体画像中の服の領域からパッチ画像を抽出することができる。パッチ画像は、所定サイズの矩形とすることができる。被写体画像中の服の領域は、上半身のシャツの領域や下半身のズボンの領域とすることができる。シャツの領域やズボンの領域を特定する方法には、様々な方法が考えられるが、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて人物領域の各画素をクラス分けする方法が挙げられる。この場合、当該クラス分けにより特定されたシャツ領域内においてランダムに選択した位置の矩形領域の画像を、パッチ画像として抽出することができる。
【００３８】
なお、本実施形態では、服の領域などの前景からパッチ画像を抽出する場合について説明したが、被写体画像中の背景（人物以外）のオブジェクト領域からパッチ画像を抽出することもできる。例えば、屋外で同じ色の道路が写っていれば、道路の領域からパッチ画像を抽出してもよい。また、被写体画像においてユーザにより指定された矩形領域の画像を、パッチ画像として抽出してもよい。この場合、被写体照合装置２００は、同一被写体が含まれると判定された被写体画像のペアを表示部２６に表示させ、ユーザに直接パッチとして抽出したい矩形領域を指定させるようにする。
【００３９】
Ｓ１０では、被写体照合装置２００は、Ｓ９において抽出されたパッチ画像の組を、パッチ画像を抽出した被写体画像に付与されたカメラＩＤ（基準カメラのカメラＩＤおよび色補正対象カメラのカメラＩＤ）と共にパッチ記憶部２０７に記憶する。
Ｓ１１では、被写体照合装置２００は、基準カメラの撮像画像から抽出された被写体画像と、他のカメラの撮像画像から抽出された被写体画像との全組み合わせについて、Ｓ７からＳ１０までの処理を実行したか否かを判定する。そして、被写体照合装置２００は、上記全組み合わせについて処理が完了していないと判定した場合にはＳ７に戻り、全組み合わせについて処理が完了していると判定した場合にはＳ１２に移行する。
【００４０】
Ｓ１２では、被写体照合装置２００は、パッチ記憶部２０７に記憶されたパッチ画像の組を評価し、必要に応じてパッチ画像を削除してから図４の処理を終了する。
本実施形態では、上述したＳ１からＳ１１までの処理で得られたパッチ画像をカラーチャート上のパッチと見立てて色補正に使用する。ところが、本実施形態では、任意の被写体画像からパッチ画像を抽出しているため、輝度や色相、彩度が同じである、または非常に近いパッチ画像が複数、抽出される可能性がある。そこで、Ｓ１２では、被写体照合装置２００は、パッチ画像の組のうち、基準カメラの撮像画像から取得されたパッチ画像を用いて、パッチ画像間の色差を評価し、所定値内の色差であるパッチ画像の組はパッチ記憶部２０７から削除する。この処理を、パッチ記憶部２０７に記憶された複数のパッチ画像の組のすべてに対して行う。ここで、色差とは、各パッチ画像のＲＧＢ平均値をＣＩＥＬＡＢ色空間に写像したときの、ユークリッド距離で表現される値である。
以上説明したパッチ抽出処理により、図３に示す画像取得部２０１、被写体検出部２０２、被写体画像記憶部２０３、基準カメラ設定部２０４、同一被写体設定部２０５、パッチ抽出部２０６およびパッチ記憶部２０７の機能が実現される。
【００４１】
次に、被写体照合装置２００が実行する被写体特徴抽出処理について、図６を参照しながら説明する。図６の処理は、基準カメラ以外の色補正対象カメラの撮像画像の色を補正する色補正処理と、基準カメラを含む全カメラの撮像画像から被写体の特徴量を抽出する処理である。この図６の処理は、図４に示すパッチ抽出処理が完了した後の被写体照合システム１０００の運用時に実行される。被写体照合装置２００は、ＣＰＵ２１が必要なプログラムをＲＯＭ２２から読み出して実行することにより、図６に示す処理を実現することができる。
【００４２】
Ｓ２１およびＳ２２は、図４のＳ１およびＳ２と同様である。
Ｓ２３では、被写体照合装置２００は、現在の処理対象のカメラが、パッチ抽出処理において設定された基準カメラであるか否かを判定する。そして、被写体照合装置２００は、処理対象のカメラが基準カメラではないと判定した場合にはＳ２４に移行し、処理対象のカメラが基準カメラであると判定した場合にはＳ２６に移行する。本実施形態では、基準カメラの撮像画像の色に他のカメラの撮像画像の色が合うように色補正するので、処理対象のカメラが基準カメラである場合は、色補正処理である後述するＳ２４およびＳ２５の処理をスキップする。
【００４３】
Ｓ２４では、被写体照合装置２００は、パッチ記憶部２０７からパッチ画像を読み出す。具体的には、被写体照合装置２００は、パッチ記憶部２０７から、現在の処理対象のカメラのカメラＩＤが付与されたパッチ画像の組を全て読み出す。
次にＳ２５では、被写体照合装置２００は、Ｓ２４において読み出された複数のパッチ画像の組に基づいて、被写体画像の色補正を行う。
まず、基準カメラの撮像画像から取得されたパッチ画像のＲＧＢ平均値を求める。次に、求められたＲＧＢ平均値に対して色変換（ガンマ変換や３×３のマトリックス変換）を行い、その後、ＣＩＥＬＡＢ値に変換する。同様に、色補正対象カメラの撮像画像から取得されたパッチ画像についても、ＣＩＥＬＡＢ値を求める。２つのＣＩＥＬＡＢ値をもとに、色差を評価値として算出する。そして、色差が最小となるように最適化処理を行い、色補正対象カメラの撮像画像を色変換するための色変換パラメータを決定する。本パラメータを用いて色補正対象カメラの被写体画像の各画素を色変換することにより、色補正が行える。このように、被写体照合装置２００は、基準カメラの撮像画像から取得されたパッチ画像の色を基準としたパッチ画像間の色の差異に基づいて、色補正対象カメラの撮像画像の色を補正することで、撮像画像間の色の差異を補正する。
なお、パッチを抽出した被写体の撮像画像中の検出位置を記憶し、後述する特徴量抽出時に参照するようにしてもよい。この場合、撮像画像内の位置毎の照明条件に合わせて、被写体画像の色補正を行うことが可能になる。
【００４４】
Ｓ２６では、被写体照合装置２００は、Ｓ２２において検出された被写体領域から被写体の特徴量を抽出する。まず被写体照合装置２００は、被写体領域を表す矩形領域の座標値をもとに、カメラの撮像画像中の被写体領域に含まれる画素を参照する。このとき、被写体領域を示す情報としてマスク画像が含まれている場合には、マスク画像も併せて参照することにより、矩形領域内に含まれる被写体以外の画素を参照対象から排除することができる。
【００４５】
被写体の特徴量としては、上述したように、色特徴量、エッジ特徴量、テクスチャ特徴量などが挙げられる。例えば、色特徴量としては、被写体の画素から色空間ＲＧＢを用いてＲ、Ｇ、Ｂごとに算出した累積ヒストグラムを用いることができる。なお、同一被写体であっても、各カメラで撮像されたときの姿勢が異なっているなどの条件により、累積値にはばらつきが生じ得る。そこで、後段での比較に与える影響を排除するために、累積ヒストグラムの規格化を行ってもよい。また、色空間はＲＧＢに限られるものではなく、ＨＳＶ、ＹＣｂＣｒなど他の色空間を用いてもよい。
また、エッジ特徴量としては、被写体領域から抽出したＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒn）特徴のヒストグラムやＨＯＧ特徴のヒストグラムを用いることができる。また、テクスチャ特徴量として、被写体領域から抽出したＧａｂｏｒフィルタやＳｃｈｍｉｄフィルタを用いて抽出した値のヒストグラムを用いることもできる。
【００４６】
Ｓ２７では、被写体照合装置２００は、Ｓ２６において抽出された被写体の特徴量をカメラＩＤおよび被写体ＩＤと関連付けて被写体特徴記憶部２１０に記憶する。
Ｓ２８では、被写体照合装置２００は、処理対象のカメラの撮像画像内の全ての被写体から特徴量を抽出したか否かを判定する。そして、被写体照合装置２００は、全ての被写体から特徴量を抽出していないと判定した場合にはＳ２６に戻り、全ての被写体から特徴量を抽出したと判定した場合にはＳ２９に移行する。
【００４７】
Ｓ２９では、被写体照合装置２００は、ネットワーク３００に接続された全カメラについて、Ｓ２１からＳ２８までの処理を実行したか否かを判定する。そして、全カメラについて処理を実行していないと判定した場合には、処理対象のカメラを切り替えてＳ２１に戻り、全カメラについて処理が完了していると判定した場合には図６の処理を終了する。
以上説明した被写体特徴抽出処理により、図３に示す画像取得部２０１、被写体検出部２０２、色補正部２０８、被写体特徴抽出部２０９および被写体特徴記憶部２１０の機能が実現される。
【００４８】
次に、被写体照合装置２００が実行する被写体照合処理について、図７を参照しながら説明する。この図７の処理は、図４に示すパッチ抽出処理および図６に示す被写体特徴抽出処理が完了した後の被写体照合システム１０００の運用時に実行される。被写体照合装置２００は、ＣＰＵ２１が必要なプログラムをＲＯＭ２２から読み出して実行することにより、図７に示す処理を実現することができる。
まずＳ４１において、被写体照合装置２００は、照合対象（照合元）となる被写体を設定する。被写体照合装置２００は、ユーザからの指定を受け付け、照合対象となる被写体を設定することができる。この場合、被写体照合装置２００は、各カメラにより撮像された撮像画像を表示部２６に表示させ、ユーザは、入力部２５のマウスなどにより照合対象となる被写体を指定する。すると、被写体照合装置２００は、ユーザにより指定された指定カメラのカメラＩＤと、ユーザにより指定された被写体の被写体ＩＤとをもとに、照合対象となる被写体の特徴量を被写体特徴記憶部２１０から読み出し、ＲＡＭ２３に一時記憶する。
【００４９】
被写体照合装置２００は、２つのカメラ間の被写体の照合を、ネットワーク３００に接続された全てのカメラペアについて順に行っていく。例えば、被写体照合装置２００は、Ｓ４１において指定された被写体を撮像したカメラ（指定カメラ）と、他の残りのカメラ（比較対象カメラ）とを順に比較する。ここで、カメラペアは、カメラＩＤの組み合わせで表現することができる。
まずＳ４２では、被写体照合装置２００は、被写体の照合を行うカメラペアを選択する。例えば、ユーザにより指定された指定カメラのカメラＩＤが１である場合、カメラＩＤが２であるカメラから昇順にペアとなる比較対象カメラとして選択する。
なお、カメラＩＤ＝１のカメラを基準カメラとして色補正を行っている場合で、選択したカメラペアが、カメラＩＤ＝２とカメラＩＤ＝３である場合には、２つのカメラペアを考慮する必要がある。つまり、カメラＩＤ＝１とカメラＩＤ＝２、カメラＩＤ＝１とカメラＩＤ＝３のカメラペアを考慮する。カメラＩＤ＝１とカメラＩＤ＝２、カメラＩＤ＝１とカメラＩＤ＝３の組み合わせでは、取得したパッチ画像のペアの数が異なる可能性がある。そのため、この場合には、より少ないペアの数となる方を採用するなどすればよい。
【００５０】
Ｓ４３では、被写体照合装置２００は、選択されたカメラペアの各カメラＩＤに関連付けられたパッチ画像（対応パッチ）の組を、パッチ記憶部２０７から読み出す。
Ｓ４４では、被写体照合装置２００は、Ｓ４３において読み出されたパッチ画像の組の数に基づいて、色補正の精度を推定する。本来、色補正の基準となるカラーチャートは、色相・彩度の異なる色と輝度の異なるニュートラルグレーのパッチが揃っているものが使用される。これに対して、本実施形態では、カメラによる撮像画像からパッチとして使用可能なパッチ画像を取得するので、本来のカラーチャートのようにすべてのパッチが揃うとは限らない。パッチ画像として十分な色相のバリエーションが得られないと、色補正の精度が低下するおそれがある。
【００５１】
図８は、カラーパッチ数と色補正精度との関係を示す実験結果の一例である。この図８は、使用可能なパッチの数を増やしていったときの色補正精度をグラフ化したものである。ここで、色補正精度としては、色補正誤差（色差）を使用している。色補正誤差（色差）が小さいほど、色補正精度が高いことを示す。図８においては、複数の画像について色補正前と色補正後の色差を実測し、最大値（最大色差）を実線で、平均値（平均色差）を点線で示している。本グラフから、パッチ数が増えるほど色差が小さくなり、色補正精度が高くなることがわかる。
【００５２】
被写体照合装置２００は、この図８に示すデータを用いることで、Ｓ４３において読み出されたパッチ画像の組の数に基づいて、色補正の精度を推定することができる。つまり、被写体照合装置２００は、Ｓ４３において読み出されたパッチ画像の組の数が多いほど、色補正の精度を高く推定することができる。ここで、色補正精度の推定結果は、平均色差や最大色差を直接用いることができる。例えば、パッチ数が３枚である場合には、平均色差が５となるため、色補正精度は５であると推定することができる。なお、色補正精度の推定結果は、平均色差や最大色差を直接用いる場合に限定されるものではなく、例えば、色差を３段階（大・中・小）などに分け、色補正精度を３段階（高・中・低）で表してもよい。
なお、本実施形態では、被写体照合装置２００は、パッチ記憶部２０７から読み出されたパッチ画像の組の数に基づいて、色補正の精度を推定する場合について説明した。しかしながら、撮像画像から抽出できたパッチ数（色相数）を、当該撮像画像に関連付けて記憶しておいてもよい。この場合、被写体照合装置２００は、選択されたカメラペアの各カメラの撮像画像に関連付けられたパッチ数を参照し、色補正の精度を推定することができる。また、被写体照合装置２００は、推定された色補正の精度を撮像画像に関連付けて記憶してもよい。
【００５３】
図７に戻って、Ｓ４５では、被写体照合装置２００は、Ｓ４４における色補正精度の推定結果に基づいて、照合パラメータの変更を行う。照合パラメータは、被写体の照合に用いるパラメータであり、例えば、撮像画像中の被写体の特徴量間の距離が挙げられる。特徴量間の距離は、特に限定されるものではないが、例えばＨｉｓｔｏｇａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎを用いて、次式により演算することができる。
wcΣMin(Hc1[i],Hc2[i])／Σ(Hc1[i]) + weΣMin(He1[j],He2[j])／ΣHe1[j]  ………（１）
ここで、Ｈｃは色特徴量のヒストグラムであり、例えばＲＧＢ各色を６４ｂｉｎのヒストグラム（合計１９２ｂｉｎ）で表現したものである。また、Ｈｅは、エッジ特徴量のヒストグラムであり、例えばＬＢＰの２５６ｂｉｎのヒストグラムである。また、ＨｃおよびＨｅの添え字の１は照合元、２は照合先を表す。また、ｉ＝０〜１９１、ｊ＝１〜２５５である。つまり、各ｂｉｎ数からｉ＝０〜１９１、ｊ＝１〜２５５を取り、それぞれ各ｂｉｎの最小値を積算した後に規格化される。さらに、ｗｃは色特徴量の距離に対する重み、ｗｅはエッジ特徴量に対する重みを表し、足して１となるように０から１の値を取る。
【００５４】
色差４未満の色補正精度であれば、色補正後の撮像画像の色情報が十分に信頼できると判断することができる。したがって、この場合には、色特徴量の重みをｗｃ＝０．８といった高い値に設定する。逆に、色差４以上の色補正精度である場合には、色情報はあまり信頼できないと判断することができる。そのため、この場合には、色特徴量の重みをｗｃ＝０．２といった低い値に設定する。なお、色補正精度を３段階以上に細かくステップ分けして、重みｗｃを段階的に設定してもよい。いずれにおいても、色補正の精度から判断される色情報の信頼度が低いほど、色特徴量の特徴量間の距離に対する重みが低く設定されており、色特徴量が照合パラメータに反映される度合いが小さくなるようになっていればよい。
【００５５】
Ｓ４６では、被写体照合装置２００は、被写体特徴記憶部２１０から照合元の被写体の特徴量と照合先の被写体の特徴量とを読み出す。このとき、被写体照合装置２００は、現在選択されている比較対象カメラにより撮像された撮像画像中の複数の被写体の特徴量のうちのひとつを、照合先の被写体の特徴量として読み出す。Ｓ４７では、被写体照合装置２００は、Ｓ４５において色補正精度をもとに設定された重み係数ｗｃを用い、上記（１）式に基づいて、特徴量間の距離を演算する。
Ｓ４８では、被写体照合装置２００は、現在選択されている比較対象カメラにより撮像された画像中の全ての被写体の特徴量について、Ｓ４６およびＳ４７の処理を行ったか否かを判定する。そして、被写体照合装置２００は、全ての被写体の特徴量について処理を行っていないと判定した場合にはＳ４６に戻り、全ての被写体の特徴量について処理が完了していると判定した場合にはＳ４９に移行する。
【００５６】
Ｓ４９では、被写体照合装置２００は、全カメラペアについて、Ｓ４３からＳ４８までの一連処理を実行したか否かを判定する。そして、被写体照合装置２００は、全カメラペアについて一連処理を行っていないと判定した場合には、比較対象カメラを切り替えてＳ４３に戻り、全カメラペアについて一連処理が完了していると判定した場合にはＳ５０に移行する。
Ｓ５０では、被写体照合装置２００は、照合結果のランク付けを行う。具体的には、被写体照合装置２００は、特徴量間の距離が小さいほど、照合元の被写体と照合先の被写体とが近いと判断し、照合結果のランクを高く設定する。つまり、被写体照合装置２００は、特徴量間の距離を昇順にソートし、照合結果のランク付けを行う。照合結果をランク付けしたら、被写体照合装置２００は、順位（ランク）と被写体ＩＤとを関連付けたリストを作成する。
Ｓ５１では、被写体照合装置２００は、Ｓ５０においてランク付けされた照合結果をもとに、被写体画像を被写体画像記憶部２０３から読み出し、表示部２６に表示させる。具体的には、被写体照合装置２００は、上記リストを参照し、ランクの高い順に、被写体ＩＤをもとに被写体画像を被写体画像記憶部２０３から読み出し、読み出した順に表示部２６に表示させる。
【００５７】
図９は、照合結果表示の一例である。
照合結果表示画面６００は、候補リスト表示エリア６１０と、メッセージ表示エリア６２０と、を備える。
候補リスト表示エリア６１０は、図８のＳ５０においてランク付けされた順に、被写体画像を表示する。この候補リスト表示エリア６１０に表示される被写体画像は、照合元の被写体と同一の被写体の候補である。図９は、ランク順に１０枚の被写体画像６３１〜６４０が並んでいる例を示す。ユーザは、この照合結果表示画面６００を確認することで、所望の被写体が存在するかどうかを確認することができる。
【００５８】
ここで、候補リスト表示エリア６１０に表示される被写体画像の表示数は、色補正精度に応じて変更するようにしてもよい。例えば、色補正精度（色差）が４未満の場合は、表示数を５枚として１位から５位まで、色補正精度（色差）が４以上の場合は、表示数を１０枚として１位から１０位までの被写体画像を表示させるようにしてもよい。色補正精度が低い場合には照合精度が低いと考えられるので、より多くの候補を表示させることにより、所望の被写体が含まれる可能性を高めることができる。逆に、色補正精度が高い場合には照合精度も高いと考えられるので、少ない候補を表示してユーザによる確認の負荷を低減することができる。
なお、カメラペアごとに色補正精度は異なる。上記表示数は、最小の色補正精度の結果を採用して一律に適用してもよいし、カメラペアごとに変更してもよい。
【００５９】
図７に戻って、Ｓ５２では、被写体照合装置２００は、色補正の精度に関する情報をユーザに提示する。具体的には、被写体照合装置２００は、図９に示す照合結果表示画面６００のメッセージ表示エリア６２０に、色補正の精度を表すメッセージを表示させる。
例えば、色補正精度（色差）が４以上の場合には、色補正の精度が低い。そのため、色補正の信頼度が低い旨をユーザに伝えるために、被写体照合装置２００は、図９に示すように「カメラ間で色ずれの可能性があります」といったメッセージを表示させる。
なお、カメラペアごとに色補正の精度は異なるが、一つでも色補正の信頼度が低いペアがあれば、上記メッセージを表示してよい。また、図９に示す被写体画像６３９のように、色補正の信頼度が低い被写体画像の周りを太枠にして表示するようにしてもよい。
【００６０】
また、被写体照合装置２００は、色補正の精度に基づいて、被写体の照合の信頼度に関する情報をユーザに提示してもよい。例えば、図９に示す照合結果表示画面６００のメッセージ表示エリア６２０に、照合の信頼度を表すメッセージを表示するようにしてもよい。色補正精度（色差）が４以上の場合には、色補正の精度が低く、被写体の照合の信頼度も低い。そのため、この場合には、色特徴量を利用した被写体照合が信頼できない旨をユーザに伝えるために、被写体照合装置２００は、「服の色による照合は信頼できない可能性があります」といったメッセージを表示させる。
【００６１】
さらに、被写体照合装置２００は、図１０に示すように、色補正のカラーチャートとして使用したパッチ画像をユーザに提示するようにしてもよい。
図１０は、カラーチャート表示画面７００にカラーチャート７１０を表示した例を示す。カラーチャート７１０中の斜線で示した矩形は、撮像画像から抽出されたパッチ画像を示している。このカラーチャート表示画面７００により、ユーザは、カラーチャートに必要なすべての色相・彩度・輝度のうち、どのくらい網羅できているかを容易に把握することができる。したがって、ユーザは、色補正の精度を容易に推定し、パッチ抽出処理を指示するなどの判断をすることができる。また、ユーザは、色補正精度が向上するまで色特徴量を利用した被写体照合を行わないように指示することもできる。
なお、図１０に示すようにパッチ画像を直接表示するのではなく、色相・彩度・輝度の網羅率を数値で表示するようにしてもよい。つまり、ユーザが、色補正の精度や被写体の照合の信頼度を把握可能な情報を表示できればよい。
【００６２】
以上説明したように、本実施形態における画像処理装置である被写体照合装置２００は、撮像画像から色票を構成するパッチとして使用可能なパッチ画像を抽出し、抽出されたパッチ画像を用いて複数の撮像装置の撮像画像間の色の差異を補正する。このとき、被写体照合装置２００は、撮像画像から抽出されたパッチ画像の組の数に基づいて、色補正の精度を推定することができる。つまり、被写体照合装置２００は、撮像画像からカラーチャートとして使えるパッチがどれくらい抽出できたかに応じて、色補正の精度を推定することができる。
【００６３】
したがって、被写体照合装置２００は、複数の撮像装置により撮像された撮像画像間の色の差異を補正する色補正の精度を考慮した処理が可能となる。具体的には、被写体照合装置２００は、色補正の精度に関する情報を表示させる表示制御を行うことができる。例えば、被写体照合装置２００は、色補正の精度を表すメッセージを表示させることで、色補正の精度をユーザに直接提示したり、取得されたパッチ画像を表示させることで、ユーザが色補正の精度を推定できるようにしたりすることができる。
これにより、ユーザは、色補正の精度を把握し、色特徴量を利用した被写体照合の信頼度を、被写体照合処理が実行される前に事前に知ることができる。したがって、ユーザは、色補正精度を向上させるために更なるパッチ抽出処理を指示したり、色補正精度が向上するまで被写体照合処理を待機したりといった適切な対応をとることができる。
【００６４】
また、被写体照合装置２００は、推定された色補正の精度に基づいて、被写体の照合の信頼度に関する情報を表示させる表示制御を行うこともできる。例えば、被写体照合装置２００は、照合結果である同一の被写体の候補を、色補正の精度に基づいて表示数を変更して表示させることができる。具体的には、被写体照合装置２００は、照合結果である同一の被写体の候補を、色補正の精度が低いほど表示数を多くして表示させることができる。この場合、ユーザは、より多くの候補を確認することができ、所望の被写体を適切に見つけ出すことができる。また、被写体照合装置２００は、色補正の精度に基づいて、照合の信頼度を表すメッセージを表示させることができる。したがって、ユーザは、パッチ抽出処理を指示したり、色補正精度が向上するまで待機したりといった適切な対応をとることができる。
【００６５】
さらに、被写体照合装置２００は、推定された色補正の精度に基づいて、被写体照合処理に使用する照合パラメータを変更することができる。ここで、照合パラメータは、被写体の特徴量間の距離とすることができる。被写体照合装置２００は、色補正の精度が低いほど、被写体の特徴量に含まれる色特徴量の上記距離に対する重みを低くすることで、被写体の照合結果に対する色情報の影響を小さくすることができ、被写体照合の信頼性が低下することを抑制することができる。
【００６６】
（変形例）
上記実施形態においては、撮像装置１００Ａ〜１００Ｃからネットワーク３００経由で受信した撮像画像を被写体照合装置２００が処理する場合について説明した。しかしながら、被写体照合システム１０００の構成は上記に限定されるものではなく、被写体照合装置２００の一部の機能を撮像装置１００Ａ〜１００Ｃに組み込み、処理を分散するようにしてもよい。例えば、撮像装置１００Ａ〜１００Ｃが被写体の検出を行い、撮像装置１００Ａ〜１００Ｃから被写体照合装置２００へ、被写体領域のみの画像をネットワーク２００経由で送信するようにしてもよい。
また、上記実施形態においては、被写体照合装置２００が色補正を行う場合について説明したが、色補正処理は別装置で行ってもよい。この場合、被写体照合装置２００は、色補正後の撮像画像をネットワーク２００経由で取得する。
【００６７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１００Ａ〜１００Ｃ…撮像装置、２００…被写体照合装置、２０１…画像取得部、２０２…被写体検出部、２０３…被写体画像記憶部、２０４…基準カメラ設定部、２０５…同一被写体設定部、２０６…パッチ抽出部、２０７…パッチ記憶部、２０８…色補正部、２０９…被写体特徴抽出部、２１０…被写体特徴記憶部、２１１…照合対象設定部、２１２…被写体照合部、２１３…表示制御部、２１４…色補正精度推定部、２１５…照合パラメータ変更部、３００…ネットワーク
【図１】
2020009162.tif 000003
【図２】
2020009162.tif 000004
【図３】
2020009162.tif 000005
【図４】
2020009162.tif 000006
【図５】
2020009162.tif 000007
【図６】
2020009162.tif 000008
【図７】
2020009162.tif 000009
【図８】
2020009162.tif 000010
【図９】
2020009162.tif 000011
【図１０】
2020009162.tif 000012