(57)【要約】【課題】それぞれ複数台の撮像装置で撮像された映像に含まれるオブジェクトを照合する際の照合精度を高める照合装置を提供する。【解決手段】照合装置は、クエリオブジェクト決定部２０６で色補正の基準となるオブジェクトを検索するときの基準となるクエリオブジェクトを決定する。また、オブジェクト照合部２０５で、クエリオブジェクトと類似するオブジェクトを色情報に依存しない特徴を用いて検索する。また、補正対象オブジェクト決定部２０７で、検索でヒットしたオブジェクトを色補正に有効となる補正対象オブジェクトとして決定する。色補正パラメータ算出部２０８は、各撮像装置で撮像されたオブジェクトの色合わせをするためのパラメータを算出する。色補正画像生成部２０９は、各撮像装置で撮像されたオブジェクトの色補正を行う。オブジェクト照合部２０５は、色補正されたオブジェクト同士を照合する。【選択図】図２
2019121184.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ複数台の撮像装置で撮像された複数のオブジェクトを前記撮像装置ごとに記憶する記憶手段と、
前記記憶されたオブジェクトのうち所定条件を満たす複数のオブジェクトの組み合わせをクエリオブジェクトとして決定する第１決定手段と、
前記記憶されたオブジェクトのうち前記クエリオブジェクトの色情報に依存しない第１特徴との類似度が所定値以上となるオブジェクトを前記撮像装置ごとの補正対象オブジェクトとして決定する第２決定手段と、
いずれかの前記補正対象オブジェクトの色情報を基に各撮像装置で撮像されたオブジェクトの色情報を補正する補正手段と、
補正されたオブジェクト同士を色情報に依存する第２特徴を用いて照合する照合手段と、を有することを特徴とする照合装置。
【請求項２】
前記第１特徴は、オブジェクトが映った映像を構成する輝度画像から抽出した画像特徴量又は無彩色であっても判別可能な特徴であり、
前記第２特徴は、前記映像を構成するカラー画像から抽出した画像特徴量又は無彩色では判別が困難な特徴であることを特徴とする請求項１に記載の照合装置。
【請求項３】
前記第１決定手段は、色情報の分散が所定値以上となる前記複数のオブジェクトの組み合わせを前記クエリオブジェクトとして決定することを特徴とする
請求項１又は２に記載の照合装置。
【請求項４】
前記記憶手段は、前記複数台の撮像装置でそれぞれ撮像された前記オブジェクトの動きの軌跡である動線に関するデータを当該オブジェクトに関連付けて記憶しており、
前記第１決定手段は、前記動線が所定値以上類似する複数のオブジェクトの組み合わせを前記クエリオブジェクトとして決定することを特徴とする
請求項１又は２に記載の照合装置。
【請求項５】
前記第１決定手段は、同時期に映っている頻度が所定値以上となる複数のオブジェクトの組み合わせを前記クエリオブジェクトとして決定することを特徴とする
請求項１又は２に記載の照合装置。
【請求項６】
前記複数のオブジェクトが同伴の人物又は人物と付帯物であることを特徴とする
請求項５に記載の照合装置。
【請求項７】
前記第１決定手段は、前記記憶されたオブジェクトに映っている頻度が最も低くなる前記組み合わせを前記クエリオブジェクトとして決定することを特徴とする
請求項２から６のいずれか一項に記載の照合装置。
【請求項８】
前記補正手段は、前記クエリオブジェクトの候補を複数用意しておき、前記補正対象オブジェクトの数又は前記補正対象オブジェクトを撮像した撮像装置の数が最も多くなるクエリオブジェクトを前記候補より絞り込み、絞り込んだクエリオブジェクトを撮像した撮像装置を基準撮像装置と定め、この基準撮像装置に対する色補正パラメータを撮像装置ごとに算出し、算出した前記色補正パラメータを用いて各撮像装置で撮像されたオブジェクトの色補正を行うことを特徴とする
請求項１から７のいずれか一項に記載の照合装置。
【請求項９】
ストレージとそれぞれ複数台の撮像装置で撮像された映像の取得手段とを有するコンピュータが実行する方法であって、
前記映像に含まれるオブジェクトを前記ストレージに記憶するステップと、
前記記憶されているオブジェクトのうち色情報の分散が所定値以上となる複数のオブジェクトの組み合わせをクエリオブジェクトとして決定するステップと、
前記記憶されているオブジェクトのうち前記クエリオブジェクトの色情報に依存しない第１特徴との類似度が所定値以上となるオブジェクトを補正対象オブジェクトとして決定するステップと、
いずれかの前記補正対象オブジェクトの色情報を基に各撮像装置で撮像されたオブジェクトの色情報を補正するステップと、
補正されたオブジェクト同士を色情報に依存する第２特徴を用いて照合するステップとを有することを特徴とする照合方法。
【請求項１０】
請求項９に記載の照合方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば複数台の撮像装置で撮像された映像（画像を含む）に含まれる被写体（人物など）を表すオブジェクトが同じものかどうかを照合する技術に関する。
【背景技術】
【０００２】
複数台の撮像装置で撮像されたオブジェクトが同じオブジェクトかどうかを照合する需要がある。例えば共通の監視領域を複数の場所や角度で監視する監視システムなどでその需要がある。この場合、同じオブジェクトであるにも関わらず、環境光、照明、撮像装置の性能の相違などによりオブジェクトの色が同じにならないことがある。このような問題を解決する従来技術として、特許文献１に開示された技術では、複数の撮像装置間で撮像されたオブジェクトの色を合わせるためのパラメータを予め生成しておく。そして、色補正してからオブジェクトの照合を行うことで、照合精度の劣化を防いでいる。また、特許文献２に開示された技術では、色空間が不明の映像の色を求める。具体的には、予めオブジェクトの基準色空間を定め、その基準色空間における基準色をデータベースに記憶しておく。そして、映像中のオブジェクトの色を基準色と比較し、許容できる程度にずれが少ないとき、その色空間の色をそのオブジェクトの色として出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５５４４３号公報
【特許文献２】特開２００４−３４１７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、予めパラメータを複数の撮像装置間について求めておく必要があり、煩雑となる。また、特許文献２に開示された技術では、予めオブジェクトごとに色空間と基準色等を用意しておく必要があり、色合わせができる対象が限定される。
【０００５】
本発明は、色合わせできる対象に関わらず複数のオブジェクトを精度よく照合する技術を提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
本発明は、例えば以下のように構成される照合装置により上記の目的を達成する。すなわち、照合装置は、それぞれ複数台の撮像装置で撮像された複数のオブジェクトを前記撮像装置ごとに記憶する記憶手段と、前記記憶されたオブジェクトのうち所定条件を満たす複数のオブジェクトの組み合わせをクエリオブジェクトとして決定する第１決定手段と、前記記憶されたオブジェクトのうち前記クエリオブジェクトの色情報に依存しない第１特徴との類似度が所定値以上となるオブジェクトを前記撮像装置ごとの補正対象オブジェクトとして決定する第２決定手段と、いずれかの前記補正対象オブジェクトの色情報を基に各撮像装置で撮像されたオブジェクトの色情報を補正する補正手段と、補正されたオブジェクト同士を色情報に依存する第２特徴を用いて照合する照合手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば色補正のためのパラメータが求めやすいオブジェクトが見つからない場合、あるいは、色合わせの対象が不明であっても、撮像装置間のオブジェクトの色成分を補正することで、複数のオブジェクトを精度よく照合できるようになる。
【図面の簡単な説明】
【０００８】
【図１】本発明を適用した照合装置のハードウエア構成図。
【図２】照合装置の機能構成図。
【図３】オブジェクトの特徴量の説明図。
【図４】色補正後の特徴量の算出処理の手順説明図。
【図５】クエリオブジェクトのリストを作成する際の手順説明図。
【図６】ＲＧＢ色空間の例示図。
【図７】（ａ），（ｂ）は、補正対象オブジェクトテーブルの例示図。
【図８】クエリオブジェクトとなり得る組み合わせの候補を得る処理の手順説明図。
【図９】動線の類似性に基づきオブジェクトの組み合わせを得る処理の手順説明図。
【図１０】共起する頻度が高いオブジェクトの組み合わせを得る処理の手順説明図。
【図１１】（ａ）は映像フレームの例示図、（ｂ）共起頻度行列の例示図。
【図１２】オブジェクトとその付帯物の組み合わせを得る処理の手順説明図。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した照合装置の実施の形態例を説明する。この照合装置は、ストレージおよび通信機能を有するコンピュータとコンピュータプログラムとを用いて実施することができる。照合装置のハードウエア構成例を図１に示す。図１を参照すると、照合装置１は、コンピュータ１００とその周辺デバイスとを有する。コンピュータ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、システムバス１０８、入力デバイスインタフェース１０５、出力デバイスインタフェース１０６、通信インタフェース１０７を含んで構成される。
【００１０】
ＣＰＵ（Central Processing Unit）１０１は、コンピュータ１００全体を制御する。ＲＯＭ（Read Only Memory）１０２は、変更を必要としない制御プログラムやパラメータなどを格納する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１のワークメモリであり、プログラムやデータなどを一時記憶する。外部記憶装置１０４は、ストレージの一例となる半導体メモリ、ハードディスク、光磁気ディスク、着脱可能なメモリカード等である。外部記憶装置１０４には、本発明のコンピュータプログラム、映像データ、後述する各種条件などが記憶される。なお、映像データは、フレーム毎の画像の集合、メタデータ、後述する動線に関するデータを含む。以下「映像」と略す。
入力デバイスインタフェース１０５は、ポインティングデバイスやキーボードなどの入力デバイス１０９とのインタフェースである。出力デバイスインタフェース１０６は、データ表示用のモニタ１１０とのインタフェースである。通信インタフェース１０７は、インターネットなどのネットワーク回線１１１に接続するための通信インタフェースである。撮像装置１１２Ａ、１１２Ｂ、・・・、１１２Ｈは、各々所定の監視対象部位に設置されたネットワークカメラであり、ネットワーク回線１１１を介してコンピュータ１００に接続される。以下の説明では、撮像装置１１２Ａ、１１２Ｂ、・・・、１１２Ｈを区別する必要がない場合は、「撮像装置１１２」と称する。
【００１１】
コンピュータ１００は、ＣＰＵ１０１が本発明のコンピュータプログラムを読み込んで実行することにより、照合装置１として動作する。各撮像装置１１２は、それぞれ、撮像された映像のほか、メタデータと映像に含まれるオブジェクトの動きの軌跡である動線に関するデータとを生成し、これらをオブジェクトデータとして照合装置１へ入力する。動線は、オブジェクトの位置（ｘ，ｙ座標）と時刻（ｔ）から構成される３次元のベクトルの配列である。時刻はフレーム番号と撮像時の時刻とから求められる。
【００１２】
本実施形態の照合装置１は、以下のステップを有する照合方法の実施を可能にする。
（１）複数台の撮像装置１１２で撮像された映像に含まれるオブジェクトをストレージに記憶するステップ。（２）記憶されているオブジェクトのうち色成分の分散が所定値以上となる単一又は複数のオブジェクトをクエリオブジェクトとして決定するステップ。（３）記憶されているオブジェクトのうちクエリオブジェクトの色情報に依存しない第１特徴との類似度が所定値以上となるオブジェクトを補正対象オブジェクトとして決定するステップ。（４）いずれかの補正対象オブジェクトの色情報を基に各撮像装置で撮像されたオブジェクトの色情報を補正するステップ。（５）補正されたオブジェクト同士を色情報に依存する第２特徴を用いて照合するステップ。
【００１３】
クエリオブジェクトは、撮像装置１１２ごとに記憶されたオブジェクトのうち所定条件を満たすオブジェクトである。所定条件については後述するが、要するに、記憶されているオブジェクトの中から色補正（色合わせ）の基準となり得るオブジェクトの特定を容易にする条件である。あるいは、基準となり得るオブジェクトを撮像した撮像装置（基準撮像装置）の決定を容易にする条件である。この条件は、シミュレーションなどの結果に基づいて外部記憶装置１０４に記憶されている。
補正対象オブジェクトは、クエリオブジェクトと同一と判断できるオブジェクトであって、色補正が必要となる、あるいは色補正することが照合時に有効となることが推定されるオブジェクトである。補正対象オブジェクトを撮像した撮像装置１１２のいずれかは、クエリオブジェクトを撮像した基準撮像装置となり得る。
【００１４】
上記の照合方法の実施を可能にする照合装置１の機能構成例を図２に示す。ここでは、各撮像装置１１２が情報処理機能を有するネットワークカメラであるものとする。すなわち、各撮像装置１１２は、オブジェクトを撮像した映像からオブジェクトを抽出する機能と、抽出したオブジェクトの動線を導出する機能と、オブジェクトと動線とを含むオブジェクトデータを生成する機能とを有するものとする。オブジェクトデータは、オブジェクトが映った映像（フレーム番号で特定される画像の集合）のほか、オブジェクトが出現した画像のフレーム番号、出現時のオブジェクトの座標情報および撮像時列その他のメタデータを含むデータである。オブジェクトは単一又は複数となる。
【００１５】
照合装置１として動作するときのコンピュータ１００は、オブジェクト入力部２０１、オブジェクト蓄積部２０２、照合条件入力部２０３、照合結果表示部２０４として機能する。これらは主として情報の入出力処理を行う役割を果たす。照合装置１は、また、オブジェクト照合部２０５、クエリオブジェクト決定部２０６、補正対象オブジェクト決定部２０７、色補正パラメータ算出部２０８、色補正画像生成部２０９として機能する。これらは主として対象となるオブジェクト同士を照合する役割を果たす。
【００１６】
オブジェクト入力部２０１は、各撮像装置１１２で生成されたオブジェクトデータの入力を受け付け、受け付けたオブジェクトデータをストレージ（オブジェクト蓄積部２０２）に記憶させる。オブジェクト入力部２０１は、また、受け付けたオブジェクトデータの内容を解析する。そして、撮像装置１１２を識別するための撮像装置ＩＤ、オブジェクトを識別するためのオブジェクトＩＤ、動線を識別するための動線ＩＤを付与し、相互に関連付けておく。オブジェクトＩＤには、オブジェクトが映った画像のフレーム番号、座標情報、動線に関するデータが関連付けられる。
なお、映像からオブジェクトを抽出する機能および動線を得る機能は、各撮像装置１１２でなく、照合装置１が備えるようにしてもよい。この場合、オブジェクト入力部２０１は映像だけを入力として受け付けることになる。
【００１７】
照合条件入力部２０３は、照合に用いるオブジェクト（比較元オブジェクト）を指定する。具体的には、オブジェクト蓄積部２０２に蓄積されたオブジェクトをモニタ１１０に表示して、入力デバイス１０９を介して指定する。あるいは、モニタ１１０に撮影時刻や属性値などを指定する画面を表示して、入力デバイス１０９で指定された条件で、オブジェクト蓄積部２０２に蓄積されたオブジェクトを絞り込んでモニタ１１０に表示するようにしてもよい。なお、本実施形態の照合に用いるオブジェクトの指定方法は、これらに限定されるものではない。
【００１８】
照合結果表示部２０４は、後述するオブジェクト照合部２０５における照合の過程およびその結果をモニタ１１０に表示する。照合は、記憶されているオブジェクトのうち比較元オブジェクトと比較先オブジェクトの関係を判別することである。照合結果表示部２０４には、これらのオブジェクトの画像、特徴量、属性、これらの類似度、照合の結果などをモニタ１１０に随時表示させる。表示の態様は様々であり、表示される比較元オブジェクトと比較先オブジェクトとがＮ対Ｍ（Ｎ，Ｍは１以上の自然数）となる場合もある。
【００１９】
オブジェクト照合部２０５は、第１照合手段および第２照合手段として機能する。第１照合手段として機能するときのオブジェクト照合部２０５は、色合わせに用いるクエリオブジェクトおよび補正対象オブジェクトを特定するための照合を行う。第２照合手段として機能するときのオブジェクト照合部２０５は、色合わせ後に比較元オブジェクトと比較先オブジェクトが同一とみなされるかどうかの照合を行う。
【００２０】
本実施形態の特徴の一つは、オブジェクトが映った映像を構成する輝度画像とカラー画像のそれぞれから抽出した画像特徴量と属性とを類似度の定量化の基準として用いることである。輝度画像は輝度値で判別できる画像であり、カラー画像は各画素にR（赤）、G（緑）、B（青）の３種類の色が含まれている画像である。なお、色の成分は色相・明度・彩度で表されるため、以後の説明では、色の成分に関する情報を「色情報」と称する場合がある。オブジェクトが人物の場合、オブジェクト間の照合には、図３に例示するような画像特徴量と属性とを用いることができる。すなわち、輝度画像から抽出する画像特徴量３０１として、色情報に依存しないオブジェクトの第１特徴である顔器官点のＳＩＦＴ特徴量を用いることができる。ＳＩＦＴ（Scale Invariant Feature Transform）はスケールが変わらない公知の特徴変換技術である。あるいは、輝度画像から抽出する属性３０２として、同じく色情報に依存しない年齢、性別、メガネ有無、口ひげ有無、あごひげ有無を用いることができる。一方、色情報に依存するオブジェクトの第２特徴として、カラー画像から抽出する画像特徴量３１１、例えば肌の色、服の色、髪の色を用いることができる。あるいは、カラー画像から抽出する属性３１２として、無彩色では判別が困難となる人種、つまり肌の色などを用いることができる。
なお、「色情報に依存しない特徴」とは、無彩色でも判別可能な特徴、「色情報に依存する特徴」とは無彩色では判別が困難である特徴をいう。つまり、厳密な意味での色情報ととの関係の有無ではない。
【００２１】
オブジェクト照合部２０５が第２照合手段として機能するときの照合の概要は次の通りである。例えば図３の表中の特徴を用いる場合、顔器官点のＳＩＦＴ特徴量３０１では、人物の顔領域（顔画像）を検出してその顔画像内の目・口などの器官点を特定し、各器官点のＳＩＦＴ特徴量を求める。そして、比較元と比較先の対応する器官点のＳＩＦＴ特徴の類似度の和が所定値以上の場合、両オブジェクトが「類似する」と判断する。あるいは、所定値以上の類似度を有する器官点の対応数を求め、対応数が所定数以上の場合に、「類似する」と判断してもよい。肌の色・髪の色からの画像特徴量３１１では、顔領域（顔画像）から、対応する部分領域を予め定めておいて、その部分領域のカラーヒストグラム等を照合し、所定値以上近似する場合に両オブジェクトが「類似する」と判定する。服の色からの画像特徴量３１１の場合は、顔領域（顔画像）から、その下方が人物の胴体部分に対応する部分領域であると予め定めておいて、その部分領域のカラーヒストグラム等を照合し、所定値以上近似する場合に両オブジェクトが「類似する」と判定する。上記の通り、所定値、所定数、閾値などは予め外部記憶装置１０４に記憶されている。
【００２２】
オブジェクトの属性を用いる場合、輝度画像から抽出する性別等３０２では、例えば機械学習等の技術を用いて比較することができる。この場合、例えば顔領域（顔画像）を検出した際に、各種属性が推定できるような分類器を作成しておく。そして、その推定結果が所定値以上近似する場合に両オブジェクトが「類似する」と判定する。なお、属性の尤度が得られる場合は、属性値ごとにその尤度を並べた属性ベクトルを作成する。そして、そのベクトル間の距離が所定値未満のときに両オブジェクトが「類似する」と判定するようにしてもよい。ＳＩＦＴ特徴量・カラーヒストグラム・属性ベクトルなどの類似度は各々個別に求まる。そのため、それぞれについて適切に重み付けをして類似度が所定値以上のときにオブジェクト同士が「類似する」と判定するようにしてもよい。
【００２３】
オブジェクト照合部２０５が第１照合手段として機能する場合、特に、補正対象オブジェクトを検索（あるいは探索）する場合は、第１特徴を用いるとよい。本実施形態では、図３に例示する輝度画像から抽出した画像特徴量３０１と属性３０２とを主に用いる。これによって、撮像装置１１２によって同じオブジェクトでありながら色情報が異なる場合があっても、複数の撮像装置１１２それぞれ映るオブジェクトを、同一オブジェクトと判断できる確率が高くなる。一方で、オブジェクト照合部２０５が第２照合手段として機能する場合、つまりオブジェクトの色補正が行われた後は、第２特徴を用いてオブジェクトの照合を行うとよい。本実施形態では、図３に例示する全ての特徴（３０１、３０２、３１１、３１２）を主に用いる。あるいは図３に例示する特徴３１１，３１２だけを用いてもよい。このように色補正してから第２特徴を用いて照合することで、色補正しない場合と比べて、オブジェクト間の照合の精度を高めることができる。
【００２４】
なお、本実施形態では、第１特徴は、オブジェクト入力部２０１にオブジェクトデータが入力されたときにオブジェクトごとに算出してオブジェクト蓄積部２０２に記憶しておく。また、第２特徴は、色補正後の特徴を算出したときに、オブジェクト蓄積部２０２に記憶しておく。
【００２５】
クエリオブジェクト決定部２０６は、クエリオブジェクトを決定する第１決定手段として機能する。その概要は、以下の通りである。一つのオブジェクトが複数の撮像装置１１２にまたがって映る場合がある。この場合、複数の映像に映ったオブジェクトが同一のオブジェクトと正しく判断できるようにするためには、適正な比較元オブジェクトの設定が重要となる。適正な比較元オブジェクトであるための条件は２つある。第１の条件は、比較元オブジェクトがユニークな特徴を持ち、他のオブジェクトと間違えにくいことである。例えば、オブジェクトの特徴抽出時に、色情報に依存しない属性（性別、年齢、メガネ有無など）の出現頻度の統計を取っておき、出現頻度の低い属性を持つオブジェクトを優先的にクエリオブジェクトの候補とする。これにより第１の条件を充足しやすくなる。
第２の条件は、比較元オブジェクトが色補正パラメータの推定に適した色情報を持つことである。例えば比較元オブジェクトの色が単色や無彩色の場合、色情報が不足するため色補正パラメータを正しく推定することが困難となる。そのため、クエリオブジェクトを決定する際には、例えば服の色が黒やグレー等の無彩色ではないオブジェクトを優先的にクエリオブジェクトの候補とする。これにより第２の条件を充足しやすくなる。
【００２６】
上記２つの条件を考慮して、クエリオブジェクト決定部２０６は、照合の目的に合致するように、上記２つの条件を考慮して優先順位を付けたクエリオブジェクトの候補を複数用意した候補リストを作成する。複数用意して優先順位を付ける意義は次の通りである。単一のオブジェクトでは上記２つの条件を満たさない場合がある。例えばオブジェクトにグレーなどの無彩色が多いと色情報が不足するため、色補正パラメータの算出（推定）に適さない。この場合、第１の条件の下では優先されるべきオブジェクトであっても、第２の条件では優先順位が低くなってしまう。そこで、クエリオブジェクト決定部２０６は、クエリオブジェクトの候補に対しても上記２つの条件の観点で優先順位を付ける。この詳細な処理内容については後述する。
【００２７】
補正対象オブジェクト決定部２０７は、撮像装置１１２ごとの補正対象オブジェクトを決定する第２決定手段として機能する。その概要は以下の通りである。
補正対象オブジェクト決定部２０７は、クエリオブジェクト決定部２０６で決定されたクエリオブジェクトと同一と判断できるオブジェクトをオブジェクト蓄積部２０２から検索し、ヒットしたオブジェクトを補正対象オブジェクトとして決定する。「ヒットした」とはクエリオブジェクトの特徴との類似度が所定値以上となることをいう。クエリオブジェクトが複数のオブジェクトの組み合わせで構成されるときは、構成するオブジェクトごとに補正対象オブジェクトが検索される。
【００２８】
補正対象オブジェクトは、全ての撮像装置１１２で撮像した映像に存在することが理想である。この場合は、全ての撮像装置１１２間での色補正パラメータを取得することが可能となる。もし、それが無理な場合、補正対象オブジェクトを撮像した撮像装置１１２の台数が最も多くなるクエリオブジェクトを選ぶことで、色補正を行える撮像装置１１２の台数を多くすることが可能となる。
【００２９】
色補正パラメータ算出部２０８は、色補正に用いる色補正パラメータを算出する。具体的には、撮像装置１１２ごとに決定された補正対象オブジェクトを用いて、基準撮像装置のオブジェクト（クエリオブジェクト）と色情報が合うように色補正パラメータを算出する。この処理の内容については後述する。色補正パラメータの算出には、クエリオブジェクトのいずれかのフレーム番号の画像を用いる。また、画像の領域には、例えばオブジェクトが人物であれば、その顔領域（顔画像）のうち肌領域を用いる。あるいは、服領域を用いる。なお、画像の領域はオブジェクトの属性などに応じて任意に定めることができる。
【００３０】
色補正画像生成部２０９は、色補正パラメータを用いて色情報を補正したオブジェクトの画像を生成する。生成された画像を「色補正画像」と呼ぶ。色補正パラメータの算出とそれを用いた色補正画像の生成は、公知の技術を利用することができる。例えば特許文献「特開２００９−４９７５９」に示されるように、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから、ルックアップテーブルを構成して、色補正パラメータとする。色補正の際には、入力となる映像のピクセルごとにルックアップテーブルを参照して、異なる色に置き変えていくことで色補正が達成される。あるいは、特許文献「特許第４７１５５２７号」に示されるように、色補正行列を求めて、色補正パラメータとしてもよい。色補正の際には、入力となる映像のピクセルごとに色補正行列をかけることで、異なる色に置き変えていく。
【００３１】
なお、色補正パラメータの算出法は上記例に限定されるものではない。また、色補正パラメータを複数回適用することがある。この場合、予め色補正パラメータを結合した一つの色補正パラメータを作っておいてもよい。例えばルックアップテーブルであれば、２つのルックアップテーブルの入力と出力をつなげて参照することで結合できる。また、色補正行列を用いることができ、この場合は、予め補正行列同士を結合しておく。
また、色補正パラメータ同士の類似度を求めることがある。この場合、ルックアップテーブルであれば、同じピクセル値を与えたときの差分値の和等から求めることができる。また、色補正行列は、行列の要素同士の差分値等から求めることができる。なお、色補正パラメータの結合および類似度演算などはこれらに限定されるものではない。
【００３２】
次に、照合装置１が行う照合方法の処理内容を具体的に説明する。図４は照合装置１による全体的な手順説明図であり、図５は、図４のステップ（以下Ｓと略記する）４０１の詳細手順説明図である。図４を参照すると、照合装置１は、まず、クエリオブジェクト決定部２０６においてクエリオブジェクトの候補をリストアップした候補リストを作成する（Ｓ４０１）。このＳ４０１の処理の内容について、図５を参照して以下に説明する。
【００３３】
クエリオブジェクト決定部２０６は、まず、オブジェクト蓄積部２０２に記憶されている複数のオブジェクトの画素単位のカラーヒストグラムを抽出する（Ｓ５０１）。カラーヒストグラムは、例えば図６の色空間で表現される。図６の例は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色空間（＝ＲＧＢ色空間）を、便宜上４×４×４の６４ビンに分けた例である。ＲＧＢ色空間の原点を通る対角線６０１は、グレースケールの色を表す。これを図６では「無彩色の軸」と表現している。この無彩色の軸を含むビンに属す画素が多い場合、色補正パラメータを得ることが困難となる。そのため、クエリオブジェクト決定部２０６は、グレースケールの色空間のビン（＝色ビン）に属する画素数が当該オブジェクトの全画素数に対して所定割合未満となるオブジェクトを絞り込む（Ｓ５０２）。所定割合は、オブジェクトの種類に応じて定められ、外部記憶装置１０４に記憶されている。
【００３４】
もちろん、オブジェクトの画素のＲＧＢ成分を、Ｙ（輝度成分）、Ｕ (＝Ｂ−Ｙ)、Ｖ（＝Ｒ−Ｙ）のような輝度信号と色差信号とに変換してもよい（ＲＧＢ色空間からＹＵＶ色空間への変換）。この場合、輝度成分Ｙの画素に対する累積値と色差成分ＵＶの値の画素に対する累積値とを求め、これらの数値をオブジェクトの絞り込みに用いるとよい。一般に、ＲＧＢ色空間をＹＵＶ色空間へ変換する場合には下記の式を用いることができる。
【数１】
2019121184.tif 000003
なお、色差成分ＵＶの値は負の値を取りうるので注意が必要である。上記の変換後、クエリオブジェクト決定部２０６は、色差成分の累積値が輝度成分の累積値に対して所定割合以上のオブジェクトに絞り込む。
【００３５】
また、オブジェクトが色味のある画素（例えばＲ成分の画素）を持っていたとしても、Ｇ成分やＢ成分が零では色補正が困難となる。色補正を容易にするためには、ＲＧＢ成分をある程度網羅的に持ったオブジェクトを選ぶ必要がある。そこで、クエリオブジェクト決定部２０６は、ＲＧＢ成分の分散を算出し、算出結果が所定値以上のオブジェクトを絞り込む（Ｓ５０３）。分散は、例えばそれぞれの色味の数値とその平均値の差を二乗して平均を取る処理である。その分散が所定値以上である場合、クエリオブジェクト決定部２０６は、ＲＧＢ成分を網羅的に持つオブジェクトと判定し、これをクエリオブジェクトの候補とする。なお、分散を算出する際に、無彩色やグレースケールと判断される色は除外してもよい。
【００３６】
あるいは、例えば図６のＲＧＢ色空間において、例えば画素にＲ成分、Ｇ成分、Ｂ成分のいずれか一つ以上が含まれていない場合、その画素を持つオブジェクトをクエリオブジェクトの候補から除外するようにしてもよい。その際、オブジェクトの画素のＲＧＢ空間をＹＵＶ空間に変換し、変換後の値を用いてもよい。すなわち、色差信号Ｕの絶対値の画素平均U_mean、色差信号Ｖの絶対値の画素平均V_meanを算出し、これらがともに所定の閾値以上であることを、ＲＧＢの成分を網羅的に持ったオブジェクトであることの基準としてもよい。もちろん、ＲＧＢ成分を網羅的に持つことを推定する処理であれば、上記方法に限定されるものではない。
【００３７】
クエリオブジェクト決定部２０６は、また、属性の一つあるいは複数の組み合わせが出現する確率をオブジェクトごとに算出する（Ｓ５０４）。属性は、例えば図３に例示される属性３０２である。本例では分布確率を用い、属性の組み合わせの出現確率を推定する。単純に行うのであれば、各属性の確率の積を計算すればよい。もちろん、図３に例示される属性３０２の場合、性別と口ひげやあごひげに関しては強い相関があるため、女性と判別されたものに関しては、年齢とメガネ有の確率の積を用いるとしてもよい。これにより、誤って男性と認識される確率を低くすることができる。
クエリオブジェクト決定部２０６は、その後、出現確率の低いオブジェクトから順にソートし、単一クエリオブジェクトの候補が並んだ候補リストを作成する（Ｓ５０５）。
【００３８】
クエリオブジェクト決定部２０６は、Ｓ５０５で作成した候補リストに、それだけでクエリオブジェクトと決定する上で十分な所定数以上の色情報を持つ単一のクエリオブジェクトの候補が含まれるか否かを判定する（Ｓ５０６）。含まれている場合（Ｓ５０６：Ｙ）、Ｓ５０５で作成した候補リストをそのままクエリオブジェクトの候補リストとして出力し、処理を終える。本実施形態において、所定数は１つであり、予め外部記憶装置１０４に記憶されている。
【００３９】
Ｓ５０５において、候補リストに、上記所定数未満のオブジェクトしかリストアップされていない場合（Ｓ５０６：Ｎ）、クエリオブジェクト決定部２０６は、色情報が不足するオブジェクト、すなわちＳ５０５で作成した候補リストから漏れたオブジェクトのリストを作成する（Ｓ５０８）。これらのオブジェクトは、Ｓ５０２およびＳ５０３において絞り込みを行った結果、漏れたオブジェクトである。クエリオブジェクト決定部２０６は、これらの漏れたオブジェクトの適切な組み合わせを決定する（Ｓ５０９）。組み合わせるオブジェクトの数はいくつであってもよい。望ましくは、同行者や付帯物など、一つの映像に、目的のオブジェクトと同時に出現しやすい他のオブジェクトを組み合わせる。オブジェクトの組み合わせを決める処理については後述する。
【００４０】
クエリオブジェクト決定部２０６は、Ｓ５０９で決定した「オブジェクトの組み合わせ」に対して、色空間でのＲＧＢ成分の分散が所定値以上であるものに絞り込む（Ｓ５１０）。すなわち、Ｓ５０３の処理と同様、オブジェクトの組み合わせ全てについて、ＲＧＢ成分に対するＲ成分，Ｇ成分，Ｂ成分ごとの分散を求め、分散が所定値以上となる組み合わせに絞り込む。絞り込みは、ＲＧＢ成分を含む中間色の組み合わせ、あるいは、一部の色に極端に偏っていてもＲ成分、Ｇ成分、Ｂ成分の全てを含んでいる組み合わせに対しても行う。これによって、単一のオブジェクトでは色情報の分散が所定値未満であったとしても、複数のオブジェクトの組み合わせを用いることで、色補正パラメータの算出（推定）に適した色情報の分散を得ることができる。
【００４１】
クエリオブジェクト決定部２０６は、絞り込んだ「オブジェクトの組み合わせ」に対して属性の出現確率を求める（Ｓ５１１）。ここにいう「属性」は、例えば図３に示した属性３０２であり、Ｓ５０４と同様の処理によって、組み合わせるオブジェクトごとにその出現確率を求める。そして、それぞれ求めた出現確率の最大値を「オブジェクトの組み合わせ」の出現確率とする。最大値とする理由は次の通りである。出現確率では「オブジェクトの組み合わせ」を比較したときに、どちらがユニークであるかを表現できることが望ましい。そのため、組み合わせるオブジェクトの全てが他方よりも出現確率が小さい場合、小さい方がユニークであると判断できる。よって、「オブジェクトの組み合わせ」の出現確率の比較値として、最大値を利用する。ただし、この例に限らず、平均値や中央値等のような代表値を用いても同様にユニークさを比較することはできる場合、その代表値を用いてもよい。
【００４２】
クエリオブジェクト決定部２０６は、その後、「オブジェクトの組み合わせ」の出現確率を小さい順にソートした複合クエリオブジェクトの候補リストを作成する（Ｓ５１２）。そして、クエリオブジェクト決定部２０６は、Ｓ５０５で作成した候補リストとＳ５１２で作成した候補リストとを統合した、一つのクエリオブジェクトの候補リストを作成する。これは、単純にはＳ５０５で作成した候補リストの後ろに、Ｓ５１２で作成した候補リストを結合することで実現できるが、この限りでない。双方の候補リストを結合してから、出現確率の小さい順にソートし直して一つの候補リストを作成してもよい。
【００４３】
このように、単一のクエリオブジェクトでは、例えば色情報が不足する場合だけ、複数のオブジェクトを組み合わせた複合クエリオブジェクトの候補とすることで、当初から複数のオブジェクトを用意する場合よりも処理の効率が良くなる。ただし、処理の効率を問題にしない場合は、常に複数のオブジェクトでクエリオブジェクトの候補リストを作成するようにしてもよい。この場合は、様々な色のクエリオブジェクトを候補とすることができる。以上が、Ｓ４０１の処理の内容である。
【００４４】
図４に戻り、照合装置１におけるその後の処理内容を説明する。Ｓ４０２〜Ｓ４０８は、Ｓ４０１で作成された候補リストを参照して行うオブジェクト照合部２０５の処理である。撮像装置１１２はそのＩＤがＡ〜Ｈで識別される８台が設置されており、候補リストには、Ｎ（本例では３つ）のクエリオブジェクトＱ１，Ｑ２，Ｑ３がリストアップされているものとする。
まず、オブジェクト照合部２０５は、クエリオブジェクトの番号を表す変数ｉを１に初期化する（Ｓ４０２）。つまり、候補リストから１番目のクエリオブジェクトの候補を読み出す。また、色情報に依存しない第１特徴（例えば図３における画像特徴量３０１および属性３０２）を用いて、オブジェクト蓄積部２０２からクエリオブジェクトにヒットするオブジェクトを検索する（Ｓ４０３）。ヒットすることの基準については上述した通りであるが、類似度が所定値以上であっても同じオブジェクトであることが想定しにくい場合がある。例えば、所定距離以上離れた複数の撮像装置１１２において、ほぼ同じ時刻で撮像されたオブジェクトのように、除外条件を満たす場合は「ヒットするオブジェクト」から除外するようにしてもよい。
【００４５】
その後、オブジェクト照合部２０５は、８台の全ての撮像装置１１２においてオブジェクトがヒットしたかどうかを判定する（Ｓ４０４）。この判定が肯定的であった場合（Ｓ４０４：Ｙ）、オブジェクト照合部２０５は、オブジェクト検索を中止し、クエリオブジェクト毎にヒットした撮像装置のＩＤを記録したオブジェクトテーブルを作成する（Ｓ４０５）。一方、Ｓ４０４における判定が否定的であった場合（Ｓ４０４：Ｎ）、オブジェクト照合部２０５は、クエリオブジェクトのＩＤとヒットした撮像装置１１２のＩＤだけを記憶する（Ｓ４０６）。そして、候補リストに、次の候補がリストアップされているかどうかを判定する（Ｓ４０７）。本例では次の候補が存在するため、変数ｉを変数ｉ＋１に更新し、Ｓ４０３の処理を再び行う。以上の処理を変数ｉが「３」になるまで繰り返す。
【００４６】
Ｓ４０５により作成されるオブジェクトテーブルの内容例を図７（ａ）に示す。図７（ａ）のオブジェクトテーブルは、各クエリオブジェクト（図中、Queryと表記）Ｑ１〜Ｑ３に対してどの撮像装置１１２（図中、Came、そのＩＤをＡ〜Ｈと表記）でヒットしたかを「○」で表している。例えば１番目のクエリオブジェクトＱ１に対しては、撮像装置１１２Ａ，１１２Ｂ，１１２Ｃ，１１２Ｄ, １１２Ｆ,１１２Ｇで撮像されたオブジェクトがヒットしている。２番目のクエリオブジェクトＱ２では、８台の撮像装置１１２の全てでオブジェクトがヒットしている。３番目のクエリオブジェクトＱ３の場合、Ｓ４０４で処理のループを抜けるため、オブジェクト検索が行われず、検索の結果は不定（Ｎ／Ａ）となっている。仮に、３つのクエリオブジェクトＱ１〜Ｑ３では、オブジェクトがヒットしない撮像装置１１２が生じる場合、オブジェクトテーブルの内容は図７（ｂ）のようになる。
【００４７】
オブジェクトテーブルが作成されると、補正対象オブジェクト決定部２０７は、ヒットしたオブジェクトを補正対象オブジェクトとして決定する。また、色補正パラメータ算出部２０８は、ヒットした撮像装置数が最大となるクエリオブジェクト（Ｑ１〜Ｑ３）を色補正パラメータ推定対象に決定する（Ｓ４０９）。色補正パラメータ算出部２０８は、また、基準撮像装置を決定するとともに（Ｓ４１０）、色補正パラメータを撮像装置ごとに算出する（Ｓ４１１）。基準撮像装置については、予め設定した所定の撮像装置を基準撮像装置とすることができる。ただし、オブジェクトの検索によりヒットしたオブジェクトには必ずクエリオブジェクトが関連付けられているから、そのようなクエリオブジェクトを撮像した撮像装置１１２を基準撮像装置とすることが処理の流れから合理的である。
その後、色補正画像生成部２０９が、各撮像装置１１２のオブジェクトの画像を基準撮像装置に合わせて色補正する。そして、色補正画像を、再度オブジェクト蓄積部２０２に蓄積する。また、色補正画像を基に、オブジェクトの属性の情報を更新する。
なお、図７（ａ）の例では、クエリオブジェクトＱ２を用いることで全ての撮像装置１１２が基準撮像装置に補正することができるが、図７（ｂ）の例では、いずれかの撮像装置１１２の撮像されたオブジェクトについては未補正として残ることになる。
【００４８】
次に、図５のＳ５０９におけるオブジェクトの組み合わせを決定する際の他の処理の内容について、図８を参照して説明する。この処理は、単一のオブジェクトではクエリオブジェクトとして不十分であるときにクエリオブジェクト決定部２０６が行う処理である。クエリオブジェクト決定部２０６は、Ｓ５０８で作成されたリストにリストアップされている複数のオブジェクトの動線の位置に着目したときの類似度が所定値以上となる複数のオブジェクトの組み合わせを特定する（Ｓ８０１）。また、オブジェクトの動線の位置と時刻に着目したときの類似度が所定値以上となる複数のオブジェクトの組み合わせを特定する（Ｓ８０２）。また、一のオブジェクトと近傍に同時期に出現する頻度（共起頻度）が所定値以上となる他のオブジェクトの組み合わせを特定する（Ｓ８０３）。さらに、オブジェクトの付帯物を検知するとともに、オブジェクトとその付帯物との組み合わせを特定する（Ｓ８０４）。なお、付帯物もオブジェクトの一つであるが、便宜上、「付帯物」と表現する。そしてＳ８０１〜Ｓ８０４で得られたオブジェクトの組み合わせから、重複する組み合わせを排除して最終的なオブジェクトの組み合わせを特定する（Ｓ８０５）。
なお、本処理では、Ｓ８０１〜Ｓ８０４の４つの処理によってオブジェクトの組み合わせを得ているが、どれか一つのみを用いるなどしてもよく、全てのオブジェクトの組み合わせを得なければならないわけではない。例えば、動線が取得できない場合はＳ８０３とＳ８０４のみでオブジェクトの組み合わせを決定してもよい。
【００４９】
次に、図８のＳ８０１とＳ８０２で示した、動線に着目したオブジェクトの組み合わせの特定法について図９を参照して詳しく説明する。ここでは、動線の類似性に着目し、一緒に行動する複数のオブジェクトや同じルートを通る複数のオブジェクトを特定する例を示す。Ｓ８０１とＳ８０２の処理はほとんど共通であるが、Ｓ９０３で用いる動線の類似度の定義が異なる。そのため、呼び出し元の処理によって、類似度の定義が変更される。
【００５０】
クエリオブジェクト決定部２０６は、Ｓ５０８で作成されたリストのオブジェクトに対応する動線ＩＤをオブジェクト蓄積部２０２から読み出す。このとき、Ｓ５０８で作成されたリストに同じ動線ＩＤに対応するオブジェクトが複数含まれている場合、同じ動線が複数読み出されることとなる。そこで、クエリオブジェクト決定部２０６は、同じＩＤの動線が複数得られた場合は、重複する動線ＩＤを排除する（Ｓ９０１）。その後、クエリオブジェクト決定部２０６は、重複を排除した動線（ＩＤ）の組み合わせを得る（Ｓ９０２）。この組み合わせは、２つの場合もあれば３つ以上となる場合もある。クエリオブジェクト決定部２０６は、これらの組み合わせ毎の類似度を求める（Ｓ９０３）。この類似度の求め方の例を以下に示す。
【００５１】
クエリオブジェクト決定部２０６は、まず、動線同士の距離について定義する。動線の類似度はこの距離の逆数として定義される。Ｓ８０１で用いる動線の「位置」に着目した距離は、数２に示されるユークリッド距離ＤＥ（ａ，ｂ）により求めることができる。数２における変数ａとｂは動線を示しており、ユークリッド距離ＤＥ（ａ，ｂ）は、２つの動線ａ，ｂのユークリッド距離を示す。
【数２】
2019121184.tif 000004
添え字ｘ，ｙは、動線ａ，ｂのベクトルの要素を示している。また、添え字ｉは、いくつめの配列に位置するかを示している。この式が示すように、ユークリッド距離ＤＥ（ａ，ｂ）は、対応する時刻のｘ，ｙの差の二乗和の平方根をとることで求められる。
【００５２】
また、Ｓ８０２で用いる動線の「位置と時刻」に着目した距離は、数３に示されるユークリッド距離ＤＥ（ａ，ｂ）により求めることができる。数２に示される式と異なるのは、添え字ｔによって参照されている動線ベクトルの時刻を距離に含めている点である。
【数３】
2019121184.tif 000005
なお、２つの動線の距離は、動的時間伸縮法（Dynamic Time Warping）によって求めることもできる。これによって、ユークリッド距離は動線の長さが同じである必要があったが、動的時間伸縮法では異なる長さの動線に対しても距離を求めることができる。２つの動線の組み合わせの類似度は、前述の定義通りに求める。
３つ以上の動線の組み合わせに対しては、構成する動線同士の類似度を得て、最も低い類似度あるいは平均値等を動線の組み合わせの類似度とする。
【００５３】
Ｓ９０３により動線の組み合わせの類似度が求まると、クエリオブジェクト決定部２０６は、類似度が所定値を上回る組み合わせに絞り込む（Ｓ９０４）。そして、クエリオブジェクト決定部２０６は、絞り込んだ動線の組み合わせからオブジェクトの組み合わせを特定する（Ｓ９０５）。動線に対して複数のオブジェクトが対応する場合は、一つのオブジェクトを選んで用いる。あるいは、動線から得たオブジェクトの集合を得て、各集合からオブジェクトを一つずつ選んだ時の組み合わせで特定してもよい。
【００５４】
以上の処理によって、動線の類似性に基づくオブジェクトの組み合わせを特定することができる。特に、Ｓ８０１の処理では、動線の「位置」のみに着目しているため、同じルートを通るオブジェクトの組み合わせを得ることができる。また、Ｓ８０２の処理では、動線の「位置と時刻」に着目しているため、同じルートを同じ時刻に通る同行者のオブジェクトの組み合わせを特定することができる。同じルートを通るオブジェクトや、同行者のオブジェクトは、撮像装置が異なっても、片方のオブジェクトが出現すれば、もう片方のオブジェクトも出現することが期待できるため、色補正パラメータを求めることに有効な組み合わせとなり得る。
【００５５】
次に、図８のＳ８０３で示したオブジェクトの組み合わせの特定法について図１０を参照して説明する。この処理では、近傍に同時に出現する頻度が所定以上であるオブジェクトの組み合わせを特定する。近傍はオブジェクトの座標位置を想定するが、時間などを加味してもよい。
【００５６】
クエリオブジェクト決定部２０６は、Ｓ５０８で作成されたリストのオブジェクトを識別して、オブジェクトに識別子を付与する（Ｓ１００１）。例えば、オブジェクトが人物であれば、顔認識によって「人物名」という識別子を付与する。あるいは、顔クラスタリングなどによって、クラスタリングを行ってクラスタの識別子を付与してもよい。Ｓ１００２〜Ｓ１００５は、候補リストのオブジェクトを順に処理するためのループである。オブジェクトには１から順に番号が割り当てられる。これを、変数ｉを用いて参照するため、はじめに変数ｉを１に初期化する。
【００５７】
変数ｉがオブジェクト数以下であるとき、クエリオブジェクト決定部２０６は、近傍に同時期に出現する（同伴する）複数のオブジェクトを特定する（Ｓ１００３）。特定は以下のようにして行う。  例えば、図１１（ａ）の映像のフレーム１００１ｂ〜１００３ｂのうち、フレーム１００１ｂには４つのオブジェクト１００５ｂ〜１００８ｂが映っているものとする。これらは人物であり、顔領域に識別子Ａ〜Ｄが付与されている。このとき、オブジェクト１００５ｂの座標の近傍の範囲１００９ｂは、矩形範囲と定義される。そのため、オブジェクト１００５ｂの近傍のオブジェクトは、オブジェクト１００６ｂ，１００７ｂの２つである。
なお、近傍として時間方向のフレームを加味してもよく、この場合は、フレーム１００２ｂ，１００３ｂに対しても同じ位置に矩形範囲を設定する。そして、その矩形範囲にオブジェクトが入るか否かによって近傍に入るか否かを判断する。
【００５８】
クエリオブジェクト決定部２０６は、Ｓ１００３で特定されたオブジェクトの識別子を得て、共起頻度行列の要素を加算する（Ｓ１００４）。共起頻度行列は、図１１（ｂ）に例示される行列であり、各識別子の組み合わせに対して、近傍に出現した回数を記録した行列である。図１１（ａ）に示す例では、オブジェクト１００５ｂは識別子Ａであり、１００６ｂと１００７ｂは識別子Ｂと識別子Ｃである。そのため、識別子Ａと識別子Ｂに対応する成分と、識別子Ａと識別子Ｃに対応する成分に１が加算される。その後、変数ｉに１を加算してＳ１００２へ戻る（Ｓ１００５）。
【００５９】
Ｓ１００２〜Ｓ１００５の処理ループを抜けると、クエリオブジェクト決定部２０６は、Ｓ１００４で加算して作成した共起頻度行列の要素を２で割る（Ｓ１００６）。Ｓ１００４において２回の組み合わせに対して加算が発生するため、これを避けるためである。クエリオブジェクト決定部２０６は、また、共起頻度行列の要素が所定を超える識別子の組み合わせを特定する（Ｓ１００７）。例えば、図１１（ｂ）において「２０」以上の組み合わせとなる識別子の組み合わせを特定しようとすると、識別子Ａと識別子Ｂの組み合わせが選ばれる。その後、クエリオブジェクト決定部２０６は、Ｓ１００７で特定された識別子の組み合わせを基に、オブジェクトの組み合わせを特定する。
以上の処理により、近傍に同時に出現する頻度が所定値以上となるオブジェクトの組み合わせを特定することができる。近傍に同時に出現する頻度が高いオブジェクトは同伴している人物である可能性が高いため、異なる撮像装置においても同時に出現することが期待できる。そのため、色補正パラメータを求める際に有効な組み合わせとなる。
【００６０】
次に、図８のＳ８０４で示したオブジェクトの組み合わせの特定法について図１２を参照して詳しく説明する。Ｓ１１０１〜Ｓ１１０５は、Ｓ５０８で作成されたリストのオブジェクトを順に処理するためのループである。オブジェクトには１から順に番号（変数ｉ）が割り当てられるものとする。ここでは変数ｉのオブジェクトを「オブジェクトｉ」と表現する。
クエリオブジェクト決定部２０６は、はじめに変数ｉを１に初期化する（Ｓ１１０１）。変数ｉがオブジェクト数以下であるとき、クエリオブジェクト決定部２０６は、近傍に出現するオブジェクトを特定する（Ｓ１１０２）。この処理はＳ１００３で説明した処理と同じである。なお、オブジェクトｉの近傍に出現するオブジェクトは、キャリーバッグやカートなどの付帯物であるものとする。
【００６１】
クエリオブジェクト決定部２０６は、Ｓ１１０２で特定された、近傍のオブジェクトのうち、付帯物と判断できるオブジェクトに絞り込む（Ｓ１１０３）。具体的には、オブジェクトを、予めバッグやキャリーバッグやカートなどに特化した物体検知によって切りだしてオブジェクト蓄積部２０２に記憶しておく。また、オブジェクトの属性としてオブジェクトの種類を記憶しておく。例えば人物やバッグなどのどの検知手段によって検知されたものであるかを記憶しておく。また、予め付帯物と判断する組み合わせを定義しておく。例えば、「人物とバッグ」、「人物とキャリーバッグ」、「人物とカート」などを定義しておく。そして、オブジェクトｉとその近傍のオブジェクトの属性を得て、その属性が予め記憶されている定義に該当するか否かによって付帯物と判断されるか否かを決定する。
このとき、オブジェクトｉの動線と近傍のオブジェクトの動線とが所定値以上類似するときに付帯物であると判断してもよい。あるいは、オブジェクト領域の数フレームの画像の移動ベクトルを用いて、その移動ベクトルが所定値以上類似している場合に付帯物であると判断してもよい。
【００６２】
クエリオブジェクト決定部２０６は、Ｓ１１０３で付帯物と判定されたオブジェクトと、オブジェクトｉの組み合わせを記憶する（Ｓ１１０４）。オブジェクトのループＳ１１０５を抜け、本処理が終了すると、記憶された組み合わせが出力される。
以上によって、オブジェクトとその付帯物の組み合わせを特定することができる。付帯物はともに撮像装置に出現する可能性が高いため、色補正パラメータを求める際に有効な組み合わせとなる。
【００６３】
（本実施形態の効果）
例えば、展示会場に監視用の撮像装置を複数台設置した場合、映像にはスーツの人物などが多く含まれることが想定される。このような場合、人物の服領域の色味は、スーツの主な色であるグレーや黒などが多く、ネクタイなどのワンポイント等にのみ色が含まれることが想定される。色成分の分散が低く、多くのオブジェクトが単一では色補正に適さないオブジェクトとして判定される可能性が高い。この場合、本実施形態のように複数のオブジェクトであれば、ネクタイの色などが個人によって異なることが想定されるため、色補正に適したオブジェクトを得ることができる。
【００６４】
複数のオブジェクトの組み合わせをクエリオブジェクトとする際に、異なる撮像装置にオブジェクトが同時に出現しなければ、色補正に利用することができない。これに対して、動線の位置に着目した動線の類似性をとることで、同じルートを通るオブジェクトの組み合わせを得ることができる。また、動線の位置と時刻に着目した動線の類似性をとることで、一緒に行動するオブジェクトの組み合わせを得ることができる。加えて、近傍に同時に出現する頻度が高いオブジェクトの組み合わせをクエリオブジェクトとすることで、動線を得ることなく、一緒に行動するオブジェクトの組み合わせを得ることができる。加えて、オブジェクトの付帯物を検知して、オブジェクトと付帯物の組み合わせをクエリオブジェクトとすることで、人物と付帯物などの予め定義した関係に基づいて、オブジェクトの組み合わせを得ることができる。そのため、観測される共起頻度が少ない場合等においても利用することができる。例えば、バッグなどは持ち方によっては体に隠れて映るため、映像内での共起頻度が低くなることなどが想定される。しかし、このような場合でもオブジェクト同士の関係に基づくことで、同時に出現しやすいオブジェクトの組み合わせとして得ることができる。
以上のように組み合わせを求めることで、同時に出現しやすいオブジェクトの組み合わせをクエリオブジェクトとすることができる。
【００６５】
なお、必要に応じた複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬＡＮ（Local Area Network）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００６６】
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するコンピュータプログラムを、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ（またはＣＰＵ等）がコンピュータプログラムを読み出して実行する処理によっても本発明の実施は可能である。この場合、そのコンピュータプログラム、および該コンピュータプログラムを記憶した記録媒体は本発明を構成することになる。
【図１】
2019121184.tif 000006
【図２】
2019121184.tif 000007
【図３】
2019121184.tif 000008
【図４】
2019121184.tif 000009
【図５】
2019121184.tif 000010
【図６】
2019121184.tif 000011
【図７】
2019121184.tif 000012
【図８】
2019121184.tif 000013
【図９】
2019121184.tif 000014
【図１０】
2019121184.tif 000015
【図１１】
2019121184.tif 000016
【図１２】
2019121184.tif 000017