(57)【要約】【課題】  複数の撮像装置の撮像したオブジェクトの画像を色合わせするとき、同一オブジェクトの画像を正しく特定して色合わせ精度の劣化を抑制することが困難である。【解決手段】  複数の撮像装置が撮像した撮像画像から、同一または同一種類のオブジェクトを少なくとも１つ検出して、検出された少なくとも１つのオブジェクトの中から、各オブジェクトの色情報に基づいて、少なくとも１つのオブジェクトを選択する。そして、選択された少なくとも１つのオブジェクトの色情報に基づいて、複数の撮像装置に関わる色補正情報を決定するようにする。【選択図】  図２
2017004512.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置が撮像した撮像画像から、同一または同一種類のオブジェクトを少なくとも１つ検出する検出手段と、
前記検出された少なくとも１つのオブジェクトの中から、各オブジェクトの色情報に基づいて、少なくとも１つのオブジェクトを選択する選択手段と、
前記選択された少なくとも１つのオブジェクトの色情報に基づいて、前記複数の撮像装置に関わる色補正情報を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記検出された少なくとも１つのオブジェクトそれぞれにおける、画素単位のカラーヒストグラムに基づいて、少なくとも１つのオブジェクトを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記カラーヒストグラムにおいて、グレースケールのビンに属する画素数が所定の割合より小さいオブジェクトを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクトは人物であって、前記決定手段は、前記人物の画像における前記人物の顔領域又は胴体領域の前記色情報に基づいて、前記色補正情報を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記選択手段は、前記各オブジェクトの色情報に基づいて選択した少なくとも１つのオブジェクトの中から、各オブジェクトの複数の属性に基づいて、少なくとも１つのオブジェクトを選択することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記オブジェクトは人物であって、前記属性は、前記人物の年齢、性別、メガネの有無、口ひげの有無又はあごひげの有無の少なくとも１つであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記選択手段は、前記属性が所定の頻度よりも高い少なくとも１つのオブジェクトを選択することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記決定手段は、前記選択された少なくとも１つのオブジェクトのうち、撮影された撮像装置の数が最大のオブジェクトの色情報に基づいて、色補正情報を決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、前記選択された少なくとも１つのオブジェクトを撮影した撮像装置の数が所定の数以上の場合に、前記選択された少なくとも１つのオブジェクトの色情報に基づいて、色補正情報を決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記選択手段は、前記検出された少なくとも１つのオブジェクトの類似度に基づいて、少なくとも１つのオブジェクトを選択することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記検出手段は、同一または同一種類のオブジェクトを複数検出し、
前記選択手段は、前記検出した複数のオブジェクトのそれぞれが前記複数の撮像装置のうちの２以上の撮像装置により撮像されているように、少なくとも１つのオブジェクトを選択することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
複数の撮像装置が撮像した撮像画像から、同一または同一種類のオブジェクトを少なくとも１つ検出する検出ステップと、
前記検出された少なくとも１つのオブジェクトの中から、各オブジェクトの色情報に基づいて、少なくとも１つのオブジェクトを選択する選択ステップと、
前記選択された少なくとも１つのオブジェクトの色情報に基づいて、前記複数の撮像装置に関わる色補正情報を決定する決定ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置によって撮像された複数の画像の色を合わせる技術に関するものである。
【背景技術】
【０００２】
従来、複数のカメラ（撮像装置）から取得した撮像画像に映るオブジェクト（例えば人物など）の画像特徴量を検索するシステムが知られている（例えば、特許文献１）。複数の撮像装置の撮像した画像からオブジェクトの画像特徴量を検索するとき、環境光や照明などにより同一オブジェクトであるにも関わらず、色が一致しないことがあり、色情報を用いた検索では、オブジェクトの検索精度を低下させていた。
【０００３】
特許文献１では、自動車に取り付けられている複数の撮像装置の撮像した白色系道路標示の画像を用いて、ホワイトバランス補正を施した補正画像を生成する。又は、路面に敷設された縁石などの色成分を有する道路要素を撮像した画像を用いて、色を合わせた補正画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０５０９０号公報
【特許文献２】特開２００９−４９７５９号公報
【特許文献３】特許第４７１５５２７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法では、複数の撮像装置の撮像した撮像画像のすべてから、白色系道路標示の画像や縁石の画像などを抽出している。しかしながら、様々な環境で撮像されたこれらの撮像画像から、色を合わせた補正画像を生成するのに適切な画像を正しく抽出することは困難であり、正しい色合わせができないという課題がある。
【０００６】
そこで、本発明はこのような問題点に鑑みなされたもので、同一のオブジェクトの画像を正しく特定して、複数の撮像装置の撮像したオブジェクトの画像の色合わせ精度の劣化を抑制する画像処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するための画像処理装置は、以下の構成を備える。すなわち、複数の撮像装置が撮像した撮像画像から、同一または同一種類のオブジェクトを少なくとも１つ検出する検出手段と、前記検出された少なくとも１つのオブジェクトの中から、各オブジェクトの色情報に基づいて、少なくとも１つのオブジェクトを選択する選択手段と、前記選択された少なくとも１つのオブジェクトの色情報に基づいて、前記複数の撮像装置に関わる色補正情報を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００８】
所定頻度以下の属性を有するオブジェクトから特定した同一のオブジェクトの画像を用いて、同一のオブジェクトの画像を正しく特定して、複数の撮像装置の撮像したオブジェクトの画像の色合わせ精度の劣化を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置のハードウエア構成例を示すブロック図である。
【図２】本実施形態の画像処理装置の機能構成例を示すブロック図である。
【図３】本実施形態の画像処理装置で使用する画像特徴量の例を示す図である。
【図４】本実施形態における色合わせ処理の流れを説明するフローチャートである。
【図５】クエリリストの作成処理の流れを説明するフローチャートである。
【図６】クエリリストの作成処理で使用するＲＧＢ色空間の一例を示す図である。
【図７】（ａ）所定の条件を満たす撮像装置に関する情報を記憶するテーブルの一例である。（ｂ）所定の条件を満たす撮像装置に関する情報を記憶するテーブルの別例である。
【発明を実施するための形態】
【００１０】
＜第１の実施形態＞
本実施形態の画像処理装置を構成するコンピュータ装置の構成について、図１のブロック図を参照して説明する。なお、画像処理装置は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００１１】
図１において、ＣＰＵ１０１はコンピュータ装置１００全体を制御するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔである。ＲＯＭ１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙである。外部記憶装置１０４はコンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ  Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。入力デバイスインターフェイス１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６はコンピュータ装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７はインターネットなどのネットワーク回線１１１に接続し、外部とデータ入出力をするための通信インターフェイスである。ネットワークカメラ１１２は、複数の監視カメラなどの撮像装置であり、ネットワーク回線１１１を介してコンピュータ装置に接続されている。システムバス１０８は各ユニットを通信可能に接続する伝送路である。
【００１２】
後述する各動作は、ＲＯＭ１０２等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。
【００１３】
［画像処理装置］
本実施形態の画像処理装置は、複数のカメラなどの撮像装置から取得した画像データからオブジェクトの画像領域を切りだしてオブジェクトの画像として蓄積し、蓄積したオブジェクトの画像を用いて処理する装置である。本実施形態の画像処理装置を用いて画像を照合するときは、各撮像装置の撮影した画像の色を、基準となる基準撮像装置（基準カメラ）の撮像した画像の色に合わせて補正画像を生成してから画像を照合する。
【００１４】
具体的には、複数の撮像装置の撮像したオブジェクトの画像から、色合わせに適したオブジェクト（対象オブジェクト）の画像を特定する。次に、この対象オブジェクトの画像を用いて、各撮像装置の撮像した画像の色を基準となる撮像装置（基準カメラとも言う）の撮像した画像の色に合わせる色補正パラメータを推定する。照合の際には、各撮像装置の撮像した画像と、色補正パラメータとを用いて補正画像を生成してから照合を行う。
【００１５】
なお、色合わせに適したオブジェクト（対象オブジェクト）を特定する際に、オブジェクトの画像の類似度が所定以上であるなどの条件を満たすものである。そのため、実際には複数の撮像装置間に同じオブジェクトが映っていても、所定の条件を満たさなければ、色合わせに用いるオブジェクトとして採用されないこともある。このように対象オブジェクトを選んで色合わせに使用することで、誤った色合わせが起きる確率を低減させることができる。
【００１６】
本実施形態では、オブジェクトとして人物を想定するが、人物に限定する必要はなく、色合わせに適するものであればよい。
【００１７】
以下、本実施形態の画像処理装置の機能構成について図２を用いて説明する。
【００１８】
入力部２０１は、オブジェクトの画像の入力を受け付ける。具体的には、ネットワークカメラ１１２から取得した撮像画像から切りだされたオブジェクトの画像が入力される。あるいは、ネットワークカメラ１１２から取得した映像においてオブジェクトが出現するフレーム番号とオブジェクトの画像領域の座標情報が入力される。
【００１９】
また、入力部２０１は、撮像画像の入力を受付けて、撮像画像からのオブジェクトの切りだしは、画像処理装置の切りだし部（非図示）で行ってもよい。あるいは、ネットワークカメラ１１２内で予めオブジェクトの画像を切りだして、オブジェクトの画像のみを画像処理装置に送信するように構成してもよい。
【００２０】
記憶部２０２は、入力部２０１から入力されたオブジェクトの画像を記憶する。具体的には、外部記憶装置１０４にオブジェクトの画像データを記憶する。加えて、オブジェクトのメタデータとして、オブジェクトのＩＤや撮像時刻や撮像カメラを関連付けて記憶しておく。なお、オブジェクトの画像データではなく、ネットワークカメラ１１２から得た映像データを記憶しておき、その該当オブジェクトが出現するフレーム番号とオブジェクトの画像領域の座標情報を記憶するようにしてもよい。
【００２１】
照合条件入力部２０３は、照合に用いるオブジェクトの画像を指定する。具体的には、記憶部２０２に記憶されたオブジェクトの画像をモニタ１１０に表示して、入力デバイス１０９を介して照合するオブジェクトの画像を指定する。あるいは、モニタ１１０に撮像時刻や画像特徴の属性値などを指定する画面を表示して、入力デバイス１０９で指定された条件で、記憶部２０２に記憶されたオブジェクトの画像を絞り込んでモニタ１１０に表示するようにしてもよい。あるいは、外部記憶装置１０４に記憶された画像データを指定して、比較元とし、記憶部２０２に記憶されたオブジェクトの画像データを比較先としてもよい。本実施形態の照合に用いるオブジェクト画像の指定方法はこれらに限定されるものではない。
【００２２】
照合するオブジェクトの画像を指定する際に、照合に用いるオブジェクトの画像は比較元と比較先との２つの画像をそれぞれ１つずつ指定してもよい。あるいは、比較元の画像１つに対して、比較先の画像を複数選択してもよい。あるいは、比較元の画像を１つだけ選択させて、比較先の画像として記憶部２０２に記憶されているオブジェクトの画像全てを自動的に選択するようにしてもよい。本実施形態における照合に用いるオブジェクトの画像の指定方法はこれらに限定されるものではない。
【００２３】
照合結果表示部２０４は、照合条件入力部２０３で指定したオブジェクトの画像同士を照合した結果を表示する。照合処理の詳細は後述するが、照合処理によって比較元と比較先とのオブジェクトの画像の間には似ている程度を表す類似度が決定される。この類似度を用いて照合結果を表示する。例えば、比較元と比較先とのオブジェクトの画像が１つずつであれば、そのオブジェクトの画像間の類似度をモニタ１１０に表示する。あるいは、比較元のオブジェクト画像が１つで、比較先のオブジェクト画像が複数であれば、比較先のオブジェクトの画像を類似度順にモニタ１１０に表示する。あるいは、所定以上の類似度を有する比較先のオブジェクト画像を、カメラごとに分類して撮像時刻順に表示するようにしてもよい。なお、本実施形態の照合結果の表示方法はこれらに限定されるものではない。
【００２４】
照合部２０５は、比較元のオブジェクト画像と比較先のオブジェクト画像との照合処理を行う。具体的には、照合部２０５は、比較元のオブジェクトの画像と、比較先のオブジェクトの画像のそれぞれの画像特徴量を比較することで照合する。本実施形態では、オブジェクトに人物を想定し、図３に示すような人物の画像特徴量を用いる。なお、図３に示す画像特徴量は一例であり、本実施形態はこれらの画像特徴量に限定されるものではない。
【００２５】
これらの画像特徴量の算出方法は次の通りである。色が大きく変化しても、それほど大きく変化しない画像特徴量を、色への依存度の低い画像特徴量として、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）を用いる。ＳＩＦＴは輝度画像から得られるため、色への依存度が低い。図３の顔器官点のＳＩＦＴ特徴量は、人物の顔領域を検出して、顔領域内の目・口などの器官点を求め、各器官点に対応するＳＩＦＴ特徴量を求めることによって求められる。この特徴量を用いた照合処理では、照合部２０５が、比較元と比較先とのそれぞれの人物の画像において、顔領域内の各器官点に対応するＳＩＦＴ特徴量の類似度の和を求める。あるいは、照合部２０５は、所定以上の類似度を有する器官点の数を用いて類似度を決定してもよい。
【００２６】
照合部２０５では、肌の色又は髪の色は、顔検出で得た顔領域から、対応する部分領域を予め定めておいて、その部分領域の色ヒストグラム等を求めることによって求められる。
【００２７】
また、照合部２０５では、服の色は、顔検出で得た顔領域から、その下方が胴体に対応する胴体領域であると予め定めておいて、その胴体領域の色ヒストグラム等を求めることによって求められる。
【００２８】
また、照合部２０５では、人物の各種属性である年齢や性別等は、機械学習等の技術を用いて、顔領域の画像を検出した際に、各種属性が推定できるような分類器を作成しておき、分類器を用いて各種属性を得る。また、属性の尤度が得られるときに、属性値ごとにその尤度を並べた属性ベクトルを作成して、その属性ベクトル間の類似度で属性の類似度を求めるようにする。
【００２９】
ＳＩＦＴ特徴量、色ヒストグラムと属性ベクトルなどの類似度は各々個別に求まるため、適当に重みを付けて和をとることで、比較元のオブジェクトの画像と比較先のオブジェクトの画像との類似度を求める。
【００３０】
照合部２０５は、撮像装置の撮像画像の色合わせに用いる対象オブジェクトの画像を検索して特定するときは、色への依存度が低い画像特徴量を用いることが望ましい。そのため、本実施形態では、図３に示す輝度画像から抽出した画像特徴量と人物の属性を用いる。これによって、複数の撮像装置が撮像した同じオブジェクトの画像の色が異なるときも、複数の撮像装置の撮像した同じオブジェクトを、同一と判断できる確率が高くなる。
【００３１】
一方で、色合わせが行われた後は、全ての画像特徴量を用いて照合を行うことが望ましい。本実施形態では、図３に示す全ての特徴を用いる。これによって、色合わせをしてから色に依存する画像特徴量を用いることで、色合わせをしない場合と比べて、オブジェクトの照合精度の劣化を防ぐことができる。
【００３２】
なお、照合部２０５で用いる画像特徴量は、予めオブジェクトごとに算出しておき、記憶部２０２に記憶しておいてもよい。例えば、色合わせ前の画像特徴量は、入力部２０１にオブジェクトの画像が入力されたときに算出して記憶しておく。一方で、色合わせ後の画像特徴量は、色合わせ後の画像特徴量を算出したときに、記憶部２０２に記憶しておく。
【００３３】
クエリリスト作成部２０６は、色合わせに用いる対象オブジェクトの画像を特定するためのクエリリストを作成する。具体的には、記憶部２０２に記憶されているオブジェクトの画像からいくつかのオブジェクトの画像をクエリとして選択して、優先度を付けて、クエリの候補であるクエリリストを作成する。なお、クエリは比較元のオブジェクトの画像とも記載するので、クエリリストは比較元のオブジェクトの画像候補リストとも記載する。
【００３４】
次に、クエリリスト作成部２０６の処理の概要を説明する。
【００３５】
複数の撮像装置をまたがって映る同一オブジェクトを正しく検出するためには、比較元となるオブジェクトの画像の選択が重要である。クエリリスト作成部２０６が、比較元となるオブジェクトの画像を選択する条件は２つある。
【００３６】
第１の条件は、比較元のオブジェクトの画像がユニークであり、他のオブジェクトの画像と間違えにくいことである。非図示の抽出部によって予め属性が抽出された時に、色への依存度が低い属性（性別や年齢やメガネ有無など）の頻度の統計を取っておき、クエリリスト作成部２０６が、所定頻度以下の属性を持つオブジェクトを優先して特定する。これによって、比較元のオブジェクトの画像が他のオブジェクトの画像と区別しやすいので、検索が間違える確率を低減する事が可能となる。
【００３７】
第２の条件は、比較元のオブジェクトの画像の色が補正パラメータの算出に適していることである。比較元のオブジェクトの画像の色が単色や無彩色であると、対象オブジェクトの画像の色に基づく色補正パラメータを算出する事ができない。従って、クエリリスト作成部２０６が、色補正パラメータが算出されやすいように、服の色が黒やグレー等の無彩色以外の色情報を取得できるオブジェクトを優先して特定する必要がある。
【００３８】
上記の２つの条件を考慮し、クエリリスト作成部２０６はプライオリティ（優先度）付けした比較元のオブジェクトの画像候補リストを作成する。
【００３９】
対象オブジェクト特定部２０７は、撮像装置の色合わせに用いる対象オブジェクトの画像を特定する。具体的には、クエリリスト作成部２０６で作成された比較元のオブジェクトの画像候補リストから選ばれたオブジェクトの画像をクエリとして用いて、クエリと同一と判断できる、各撮像装置に映るオブジェクトを、記憶部２０２から特定する。そして、撮像装置ごとに色合わせに用いるオブジェクト（対象オブジェクト）の画像を一つ特定する。例えば、クエリとの類似度が所定以上であるとき、色合わせに用いる対象オブジェクトの画像であると判断して、対象オブジェクトの画像の候補に選択する。
【００４０】
更に、同じ対象オブジェクトを撮像した撮像装置の台数が最も多い場合を選び、最終的な対象オブジェクトの画像を特定する。
【００４１】
同一の対象オブジェクトを全ての撮像装置が撮像した画像が得られた場合には、全ての撮像装置の撮像画像の色補正パラメータを算出することが可能となる。
【００４２】
同一の対象オブジェクトを全ての撮像装置が撮像した画像が得られない場合でも、同一のオブジェクトを撮像した撮像装置の台数が最も多い時の同一のオブジェクトの画像を特定することで、色合わせを行える撮像装置の台数を最も多くすることが可能となる。あるいは、同一の対象オブジェクトを撮像した撮像装置の台数が、全撮像装置の台数における割合が所定値以上であれば、その同一の対象オブジェクトの画像を特定する。
【００４３】
また、同一のオブジェクトを同時刻又は同時間帯に撮像できない複数の撮像装置が、同時刻又は同時間帯で、複数の撮像装置に映る対象オブジェクトの候補が特定された場合は、どれかが間違っていている可能性がある。この場合は、特定された対象オブジェクトの画像を色合わせに使用しないことができる。
【００４４】
色補正パラメータ算出部２０８は、色合わせに用いる色補正情報である色補正パラメータを算出する。具体的には、２つのオブジェクトの画像を用いて、２つのオブジェクトの画像同士の色が一致するように色補正パラメータを求める。色補正パラメータを求める際に、例えば、人物であればその顔領域の肌領域を用いる、あるいは、服領域を用いる。なお、色補正パラメータの算出に用いる対象オブジェクトの領域はこれらに限定されるものではない。
【００４５】
補正画像生成部２０９は、色補正パラメータを用いて色を補正した補正画像を生成する。
【００４６】
色補正パラメータの算出とそれを用いた補正画像の生成には、次の方法がある。例えば、特許文献２に示されるように、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから、ルックアップテーブルを構成して、色補正パラメータとしてもよい。補正画像を生成する際には、入力となる画像データのピクセルごとにルックアップテーブルを参照して、異なる色に置き変えていくことで補正画像が生成される。
【００４７】
あるいは、特許文献３に示されるように、色補正行列を求めて、色補正パラメータとしてもよい。補正画像を生成する際には、入力となる画像データのピクセルごとに色補正行列をかけることで、異なる色に置き変えていく。本実施形態では、色補正パラメータ算出部２０８は、求められた色補正行列群の分布を参照し、所定以上に外れているデータを除いた平均行列を求めてもよい、又は、所定以上に外れていないデータを選んで平均行列を求めてもよい。
【００４８】
なお、本実施形態における色補正パラメータの算出方法はこれらに限定されるものではない。また、色補正パラメータを算出する際に、表色系などの違いがあってもよい。
【００４９】
［色合わせ処理の流れ］
次に、本実施形態における色合わせ処理の流れについて、図４のフローチャートを用いて説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。この処理では、まず、複数の撮像装置に共通に映る対象オブジェクトの画像を特定する。そして、各撮像装置の撮像したオブジェクトの画像の色補正パラメータを算出する。そして、各撮像装置の撮像したオブジェクトの画像の補正画像を生成して、オブジェクトの補正画像の画像特徴量を算出する。
【００５０】
色あわせ処理の実行時には記憶部２０２に記憶されたオブジェクトの画像から、色合わせ前の画像特徴量が予め算出されているものとする。加えて、本処理には色合わせ処理の対象カメラのリストが与えられる。
【００５１】
以下、具体的な処理内容について、図４のフローチャートを用いて説明する。
【００５２】
ステップＳ４０１では、クエリリスト（比較元オブジェクトの候補リスト）を作成する。具体的には、クエリリスト作成部２０６が、記憶部２０２に記憶されているオブジェクトの画像から、いくつかのオブジェクトの画像を選択してクエリリストとする。
【００５３】
図５を用いて、クエリリスト作成部２０６の処理の詳細を説明する。先に述べたように、適正な比較元のオブジェクトの画像であるための条件は２つある。
【００５４】
第１の条件は、比較元のオブジェクトの画像がユニークであり、他のオブジェクトの画像と間違えにくいことである。予め属性が抽出された時に、色への依存度が低い属性（性別や年齢やメガネ有無など）の頻度の統計を取っておき、クエリリスト作成部２０６が、所定頻度以下の属性を持つオブジェクトを優先して特定する。これによって、比較元のオブジェクトの画像データが他のオブジェクトの画像データと区別しやすいので、検索が間違える確率を低減することが可能となる。
【００５５】
第２の条件は、比較元のオブジェクトの画像の色が補正パラメータの算出に適していることである。比較元のオブジェクトの色が単色や無彩色であると、対象オブジェクトの画像の色に基づく色補正パラメータを算出することができない。従って、クエリリスト作成部２０６が、色補正パラメータが算出されやすいように、服の色が黒やグレー等の無彩色以外の色情報を取得できるオブジェクトを優先して特定する必要がある。
【００５６】
ステップＳ５０１、ステップＳ５０２及びステップＳ５０３の処理は第２の条件を満たすための処理である。ステップＳ５０４及びステップＳ５０５の処理は第１の条件を満たすための処理である。
【００５７】
まず、ステップＳ５０１にて、クエリリスト作成部２０６が、記憶部２０２で記憶したオブジェクトの画像の画素単位のカラーヒストグラムを抽出する。
【００５８】
図６にＲＧＢ色空間を複数のビンに分けた例を示す。本実施形態では、簡易に４Ｘ４Ｘ４の６４ビンに分けた例で説明する。色空間の原点を通る対角線（点線）がグレースケールの色を表し、無彩色の軸と表現している。この無彩色の軸を含むビン（グレースケールの色ビンとも記載する）に属す画素が多い場合には、色補正パラメータを得ることが困難である。記憶されたオブジェクトの画像データに対し、ステップＳ５０２でグレースケールの色ビンに属する画素数がオブジェクトの画像データの全画素数に対し、所定割合未満のオブジェクトの画像データに絞込みを行う。
【００５９】
また、オブジェクトの画像の画素のＲＧＢ値をＹＵＶ等の輝度信号と色差信号であらわす色空間に変換し、輝度成分Ｙの画素に対する累積値と、色差成分ＵＶの絶対値の画素に対する累積値を求める。色差成分ＵＶの絶対値とするのは、負の値を取りうるからである。そして、色差成分の累積値が輝度成分の累積値に対して所定の割合以上のオブジェクトに絞り込むようにしてもよい。
【００６０】
また、色味のある（色差成分ＵＶの絶対値が大きい）画素であっても、例えば、ＲＧＢ値で、ＧやＢが零の画素ばかりではやはり色補正パラメータを得ることは困難である。Ｒ、Ｇ、Ｂ成分のそれぞれがある程度持ったオブジェクトの画像データである必要がある。
【００６１】
そこで、ステップＳ５０３では、まず、オブジェクトの画像の画素のＲＧＢ値をＹＵＶ空間に変換し、色差信号Ｕの絶対値の画素平均Ｕ＿ｍｅａｎおよび色差信号Ｖの絶対値の画素平均Ｖ＿ｍｅａｎを算出する。そして、これらがともに所定の閾値以上であるＲ、Ｇ、Ｂの成分がある程度持ったオブジェクトの画像であることを判断基準として、Ｒ、Ｇ、Ｂ成分のバランスのよいものを優先的に特定することが可能である。
【００６２】
また、図６のＲＧＢ色空間のビンを用いる場合、記憶したオブジェクトの画像の画素のヒストグラムを求める。そして、Ｒ、Ｇ、Ｂの三色を混ぜた中間色ではないこと、Ｒ、Ｇ、Ｂのそれぞれの画素を全て含んでいることを確認することによって、そのオブジェクトの画像データをクエリとするか否かの判断が可能である。
【００６３】
もちろん、Ｒ、Ｇ、Ｂの成分のそれぞれがある程度持ったオブジェクトを推定する処理であれば、上述した方法に限定されない。
【００６４】
更に、非図示の抽出部によって、図３に示す色への依存度が低い属性が予め抽出された時、記憶したオブジェクト全体から抽出された、それぞれの色への依存度が低い属性の頻度を予め求めておく。例えば、各オブジェクトの画像から抽出されたメガネの有無の属性について、記憶したオブジェクト全体から、メガネ有とメガネ無との頻度をそれぞれ求める。
【００６５】
ステップＳ５０４では、頻度の分布を用い、属性の組み合わせの頻度を推定する。単純に行うのであれば、各属性の頻度の積を計算すれば良い。例えば、性別と口ひげやあごひげに関しては強い相関があるため、女性と判別された場合は、年齢とメガネ有の頻度の積を用いるとしても良い。
【００６６】
ステップＳ５０５では、その頻度の低いものから絞り込んだオブジェクトをソートし、クエリリストの作成を完成する。
【００６７】
これにより、色補正パラメータを取得しやすく、且つ誤検索を起こしにくいオブジェクトの画像からなるクエリリストを得る事ができる。
【００６８】
ステップＳ４０２は、ステップＳ４０１で得たＮ個のオブジェクトの画像候補から成るクエリリスト内のクエリを順に処理するためのループであり、クエリには１から順に番号が割り当てられているものとする。変数ｉを用いてリスト内を参照するため、はじめにｉを１に初期化する。さらに、ステップＳ４０７にてｉが所定クエリ数Ｎ以下であるときステップＳ４０８へ移り、これを満たさないときループを抜けてステップＳ４０９へ移る。
【００６９】
ステップＳ４０３では、色への依存度の低い画像特徴量を用いて、記憶部２０２からｉ番目のクエリに類似するオブジェクトの画像を検索する。具体的には、照合部２０５にて、比較元のオブジェクトの画像をｉ番目のクエリとして、比較先のオブジェクトの画像を記憶部２０２に記憶されているオブジェクトの画像とする。そして、色への依存度が低い画像特徴量を用いて照合を行う。例えば、図３に示す輝度画像から抽出した画像特徴量を照合に用いる。最後に、比較先のオブジェクトの画像と類似度を関連付けて、検索結果とする。
【００７０】
ステップＳ４０４では、所定以上の類似度と関連付けられたオブジェクトの画像のみに着目して、各オブジェクトが撮像されたカメラ等の撮像装置を特定する。この特定された撮像装置が全ての撮像装置を含む場合（ＹＥＳ）には、ステップＳ４０５へ移る。そうでない場合のとき（ＮＯ）、ステップＳ４０６へ移る。
【００７１】
ステップＳ４０５では、対象オブジェクトの画像としてのクエリと所定の条件を満たす撮像装置の数などの情報を記憶する。記憶した情報を図７（ａ）に示すテーブルに格納する。なお、図７（ａ）に示すテーブルは一例である。
【００７２】
図７（ａ）に示すようなテーブルは、各クエリに対して「どの撮像装置にクエリと類似するオブジェクトが見つかったか」を○で表している。例えば、１つ目のクエリＱ１に対しては、６台の撮像装置Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇに類似するオブジェクトが見つかったことを示している。２つ目のクエリＱ２では、８台の撮像装置全てで類似するオブジェクトが見つかったことを示している。３つ目のクエリＱ３は、ステップＳ４０４で処理ループを抜けるため、検索が行われず、類似するオブジェクトはないことをＮ／Ａで示す。
【００７３】
他方、ステップＳ４０４において、全ての撮像装置で類似するオブジェクトが見つかっていない場合は、例えば、ステップＳ４０６で１つ目のクエリＱ１で検索した場合である。この場合、対象オブジェクトの画像としてのクエリＱ１と条件を満たす撮像装置を記憶する。
【００７４】
そして、ステップＳ４０７で次のクエリがあるかを式ｉ≦Ｎで判断し、ある場合にはステップＳ４０８に進む。ステップＳ４０８にて式ｉ＝ｉ＋１でｉを更新して次のクエリ候補に更新し、再びステップＳ４０３に戻る。
【００７５】
ステップＳ４０９に進むのは、ステップＳ４０５にて８台の撮像装置全てで類似するオブジェクトが見つかった場合である。
【００７６】
図７（ａ）は、クエリリストの２個目のクエリＱ２で８台の撮像装置全てで類似するオブジェクトの画像が見つかった場合である。
【００７７】
図７（ｂ）は、クエリリストの１個目のクエリＱ１から最後の３個目のクエリＱ３まで、何れも全ての撮像装置で類似するオブジェクトの画像が見つからず、ステップＳ４０９に至った場合である。
【００７８】
ステップＳ４０９では、条件を満たす撮像装置の台数が最大となる場合の対象オブジェクトの画像を色補正パラメータの推定に使用することを決定する。図７（ａ）の場合は、クエリＱ２と類似するオブジェクトの画像が８台の撮像装置の色補正パラメータの推定に使用される。図７（ｂ）の場合は、クエリＱ１と類似するオブジェクトの画像が７台の撮像装置の色補正パラメータの算出に使用される。なお、この際に、条件を満たす撮像装置の台数が所定数以上であるか否かを判断し、所定数に満たない場合には、以下の処理を行わないようにしてもよい。
【００７９】
なお、同一のオブジェクトを同時刻又は同時間帯に撮像できない複数の撮像装置が、同時刻又は同時間帯で撮像したオブジェクトの画像から、類似するオブジェクトの画像が検索されている場合は、検索が間違っている可能性が高い。検索されたオブジェクトの画像を色補正パラメータの推定から除外する処理をステップＳ４０４で行っても良い。
【００８０】
ステップＳ４１０では、色補正パラメータの算出基準となる画像を選択する。
【００８１】
算出基準となる画像の選択であるが、検索でヒットしたオブジェクトの画像には必ずクエリと同一の画像が入っており、これを色補正パラメータの算出基準とすることができる。
【００８２】
また、検索でヒットしたオブジェクトの画像のＩＤの最も小さいものを基準として選んでも、差し支えない。
【００８３】
ステップＳ４１１では、オブジェクトの画像を用いて、各撮像装置の撮像した画像に対する色補正パラメータを算出する。ステップＳ４１０で決定した基準となる画像を撮像した撮像装置に対し、他の撮像装置で撮像した画像の色補正パラメータを求める。
【００８４】
図７では記載されていないが、各オブジェクトの画像ＩＤ等も記憶されており、この画像ＩＤによって記憶部２０２からオブジェクトの画像データなどを参照することができるので、記憶された画像を用いることができる。
【００８５】
ステップＳ４１２では、色補正パラメータを反映する。具体的には、補正画像生成部２０９が、色補正パラメータを用いて、各撮像装置の撮像したオブジェクトの画像の色を基準となる画像の色に合わせて、補正画像を生成する。
【００８６】
ステップＳ４１１における色補正パラメータの算出、およびステップＳ４１２における補正画像の生成には、次の方法を利用することができる。例えば、特許文献２に示されるように、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから、ルックアップテーブルを構成して、色補正パラメータとしてもよい。補正画像を生成する際には、入力となる画像データのピクセルごとにルックアップテーブルを参照して、異なる色に置き変えていくことで補正画像が生成される。
【００８７】
あるいは、特許文献３に示されるように、色補正行列を求めて、色補正パラメータとしてもよい。補正画像を生成する際には、入力となる画像データのピクセルごとに色補正行列をかけることで、異なる色に置き変えていく。
【００８８】
なお、本実施形態における色補正パラメータの算出方法および補正画像の生成方法はこれらに限定されるものではない。
【００８９】
生成した補正画像を記憶部２０２に記憶しておき、照合部２０５にて、オブジェクトの照合の際に用いるようにする。あるいは、予め、照合部２０５にて用いる属性情報を算出する。例えば、図３に示すカラー画像から抽出する色に依存する画像特徴量を計算し直す。そして、それを記憶部２０２に記憶しておいてもよい。
【００９０】
なお、図７（ａ）の例では、全ての撮像装置の撮像したオブジェクトの画像の補正画像を生成することができたが、図７（ｂ）の例では撮像装置Ａの撮像したオブジェクトの画像のみは未補正の画像として残ることになる。
【００９１】
以上によって、同一のオブジェクトを撮像した異なる撮像装置の画像の色の異なりによるオブジェクトの画像の照合精度の劣化が抑制される。例えば、監視カメラなどでは、設置環境が異なるため、物陰・日差し・光源違い等の影響によって、同一のオブジェクトでも、異なる監視カメラで撮像した画像の色が異なることが起こる。こうした影響による照合精度の劣化が抑制されることになる。
【００９２】
また、この色補正パラメータを用いて生成した補正画像は照合だけでなく、表示に用いてもよい。例えば、照合結果表示部２０４に結果を表示するときに、生成した補正画像を表示するようにしてもよい。このようにすることによって、同一のオブジェクトの表示画像の色の異なりがなくなり、閲覧者が快適に画像を見ることができる。
【００９３】
なお、以上では、２以上の撮像装置によって１つのオブジェクトが検出された場合について説明を行ってきたが、オブジェクトが複数検出された場合には、検出された各オブジェクトについて上述と同様の処理を行えばよい。
【００９４】
＜その他の実施形態＞
上記各実施形態では、オブジェクトとして人物を用いる例について説明した。しかしながら、オブジェクトは人物に限定されるものではない。オブジェクトとして、車・ポスター・看板等を用いても良い。あるいは、スーパーマーケットなどのカート等を用いてもよい。また、きぐるみなどのマスコットキャラクター等を用いてもよい。すなわち、上記各実施形態のようにオブジェクトとして人物を用いた場合には、同一オブジェクト（同一人物）を抽出し、その肌領域、服装等の色を用いて色補正を行うことになる。これに対して、オブジェクトとして人物以外のものを用いれば、同一種類のオブジェクトを選択しても、精度よく色補正を行うことができる。例えば、同じ種類の赤い車であれば、一般にその車の外装の色は同一であり、このような色情報を用いることにより、同一のオブジェクトでなくとも精度よく色補正を行うことができる。
【００９５】
こうした人物以外のオブジェクトを用いるとき、オブジェクト照合部２０５で用いたオブジェクトの特徴量としては、オブジェクトに適したものを使用することが望ましい。例えば、輝度画像から抽出した画像特徴量（図３の左上に該当）としては、ＳＩＦＴ特徴量などを用いることが考えられる。
【００９６】
また、輝度画像から抽出した属性（図３の右上に該当）としては、利用するオブジェクトによって決定する。例えば、車などであれば、ナンバープレートの文字列などを用いることが考えられる。また、車であれば、車種なども考えられる。また、ポスター・看板であれば出現する文字列等を用いることが考えられる。また、これらオブジェクトを同時に用いる場合は、そのオブジェクトの種別などを用いることも考えられる。
【００９７】
なお、オブジェクトによっては色違いの同一形状のオブジェクトが存在することがある。例えば、車は色違いの同一車種が存在する。そのため、こうしたオブジェクトを用いるときは、属性情報が一致することで類似していると判断すべきである。例えば、車であればナンバープレートの番号が一致しているときのみ、類似していると判断する。
【００９８】
また、カラー画像から抽出した画像特徴量（図３の左下に該当）としては、オブジェクトの色ヒストグラムなどを用いることが考えられる。あるいは、領域ごとの色ヒストグラムを用いるようにしてもよい。例えば、車などであれば、領域としてボンネット・ドア・タイヤなどの領域を定義できるため、これら領域ごとに色ヒストグラムを得ることが考えられる。同様に、マスコットなども頭・胴体などの領域を定義して用いることも考えられる。
【００９９】
カラー画像から抽出した属性（図３の右下に該当）としては、例えば車であれば色まで特定した車種の情報を属性とすることが考えられる。
【０１００】
なお、オブジェクトの特徴量としては、これら以外の特徴量を用いてもよく、本発明はこれら利用する特徴量に限定されるものではない。
【０１０１】
色補正パラメータ算出部２０８では、オブジェクト同士の色味が合うように色補正パラメータを求める。人物であれば、肌領域や服領域などを用いていた。上記人物以外のオブジェクトにおいても、予め用いる領域を決定しておいてもよい。例えば、マスコットなどであれば、そのマスコットの種別などが特定されれば、色味が豊富なパーツがあれば、そのパーツを用いるようにすることなどが考えられる。あるいは、全領域を用いて色補正パラメータを求めるようにしてもよい。
【０１０２】
なお、色補正パラメータをこれら以外の方法で算出してもよく、本発明はこれら色補正パラメータの算出方法に限定されるものではない。
【０１０３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
２０１  入力部
２０２  記憶部
２０３  照合条件入力部
２０４  照合結果表示部
２０５  照合部
２０６  クエリリスト作成部
２０７  特定部
２０８  色補正パラメータ算出部
２０９  補正画像生成部
【図１】
2017004512.tif 000003
【図２】
2017004512.tif 000004
【図３】
2017004512.tif 000005
【図４】
2017004512.tif 000006
【図５】
2017004512.tif 000007
【図６】
2017004512.tif 000008
【図７】
2017004512.tif 000009