(57)【要約】【課題】従来よりも高精度に複数の画像間の色補正を行う情報処理装置を提供する。【解決手段】情報処理装置は、映像からオブジェクトを検出して、該オブジェクトの動きを追尾するオブジェクト追尾部２０２と、オブジェクトの動きに基づいて、色補正領域を生成する色補正領域生成部２０３と、オブジェクトの色が変化した位置を認識する色変化認識部２０４と、オブジェクトの色が変化した位置に基づいて色補正領域を分割する領域分割部２０５と、分割した色補正領域のそれぞれに対して、色補正に用いる色補正パラメータを生成する色補正パラメータ生成部２０６と、色補正パラメータを用いて、画像の色補正を行う制御部２０７と、を備える。【選択図】図２
2019103029.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が撮影した映像を取得する映像取得手段と、
前記取得した映像からオブジェクトを検出して、該オブジェクトの動きを追尾する追尾手段と、
前記オブジェクトの動きに基づいて、前記オブジェクトの色補正を行うための色補正領域を生成する色補正領域生成手段と、
前記オブジェクトの色が変化した位置を認識する色変化認識手段と、
前記オブジェクトの色が変化した前記位置に基づいて前記色補正領域を分割する領域分割手段と、
分割した前記色補正領域のそれぞれに対して、色補正に用いる色補正パラメータを生成する色補正パラメータ生成手段と、
前記色補正パラメータを用いて、前記撮像装置が撮影する映像の色補正を行う制御手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
前記色補正領域生成手段は、前記取得した映像を構成する複数の画像のうち少なくとも１つの画像を複数の領域に分割し、分割した領域のうち前記オブジェクトの動線を含む領域の集合を前記色補正領域とし、
前記領域分割手段は、前記オブジェクトの色が変化した前記位置を分割点として、前記色補正領域を構成する領域の集合を分割することを特徴とする、
請求項１記載の情報処理装置。
【請求項３】
前記色補正パラメータ生成手段は、前記色補正領域を構成する領域毎に前記色補正パラメータを生成し、領域と色補正パラメータとの組を所定の保存手段に保存蓄積することを特徴とする、
請求項２記載の情報処理装置。
【請求項４】
ユーザによる指示が入力される入力手段をさらに備えており、
前記色補正領域生成手段は、前記入力手段により指示される画像内のオブジェクトの移動可能領域に応じて、前記色補正領域を生成することを特徴とする、
請求項１〜３のいずれか１項記載の情報処理装置。
【請求項５】
前記色補正パラメータ生成手段は、領域と色補正パラメータとの組を保存手段に保存蓄積することで、前記移動可能領域の色補正パラメータを表す色補正マップを生成することを特徴とする、
請求項４記載の情報処理装置。
【請求項６】
前記色変化認識手段は、前記オブジェクトの色を表す値が所定の閾値以上に変化した位置を、前記オブジェクトの色が変化した前記位置として認識することを特徴とする、
請求項１〜５のいずれか１項記載の情報処理装置。
【請求項７】
前記追尾手段は、映像を構成する複数の画像の間で前記オブジェクトの位置を連続して検出することで、該オブジェクトの動きを追尾することを特徴とする、
請求項１〜６のいずれか１項記載の情報処理装置。
【請求項８】
前記映像からオブジェクトを取得するオブジェクト取得手段と、
取得したオブジェクトから照合対象となるオブジェクトを指定する照合対象指定手段と、
照合対象となるオブジェクトの色を前記色補正パラメータに応じて補正する色補正画像生成手段と、
色補正後の照合対象となるオブジェクト同士の照合を行う照合手段と、を備えることを特徴とする、
請求項１〜７のいずれか１項記載の情報処理装置。
【請求項９】
前記照合手段による照合結果を表示する表示手段をさらに備えることを特徴とする、
請求項８記載の情報処理装置。
【請求項１０】
前記照合手段は、前記オブジェクトの特徴を比較することを特徴とする、
請求項８又は９記載の情報処理装置。
【請求項１１】
前記照合対象指定手段は、１つの比較元に対して複数の比較先のオブジェクトあるいは複数の比較元に対して１つの比較先のオブジェクトを指定することを特徴とする、
請求項８〜１０のいずれか１項記載の情報処理装置。
【請求項１２】
前記追尾手段は、前記オブジェクトの動きを追尾して動線を認識し、
前記照合手段は、色補正後の照合対象となるオブジェクト同士の同一性を判断し、
同一と判断されたオブジェクトの前記動線を結合する結合手段を備えることを特徴とする、
請求項８〜１１のいずれか１記載の情報処理装置。
【請求項１３】
撮像装置が撮影した映像を取得する情報処理装置により実行される方法であって、
前記取得した映像からオブジェクトを検出して、該オブジェクトの動きを追尾するステップと、
前記オブジェクトの動きに基づいて、前記オブジェクトの色補正を行うための色補正領域を生成するステップと、
前記オブジェクトの色が変化した位置を認識するステップと、
前記オブジェクトの色が変化した前記位置に基づいて前記色補正領域を分割するステップと、
分割した前記色補正領域のそれぞれに対して色補正に用いる色補正パラメータを生成するステップと、
前記色補正パラメータを用いて、前記撮像装置が撮影する映像の色補正を行うステップと、を含むことを特徴とする、
色補正方法。
【請求項１４】
撮像装置が撮影した映像を取得するコンピュータを、
前記取得した映像からオブジェクトを検出して、該オブジェクトの動きを追尾する追尾手段、
前記オブジェクトの動きに基づいて、前記オブジェクトの色補正を行うための色補正領域を生成する色補正領域生成手段、
前記オブジェクトの色が変化した位置を認識する色変化認識手段、
前記オブジェクトの色が変化した前記位置に基づいて前記色補正領域を分割する領域分割手段、
分割した前記色補正領域のそれぞれに対して、色補正に用いる色補正パラメータを生成する色補正パラメータ生成手段、
前記色補正パラメータを用いて、前記撮像装置が撮影する映像の色補正を行う制御手段、
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮像装置により撮影された映像の色補正技術に関する。
【背景技術】
【０００２】
複数の撮像装置（例えばカメラ）から取得した複数の映像に映るオブジェクト（例えば人物など）を検索するシステムがある。複数の映像からオブジェクトを検索する場合、環境光や照明などにより、同一オブジェクトであるにもかかわらず映像間で色が相違することがある。色の相違は、複数の映像間でオブジェクトの照合精度が低下する原因となる。特許文献１の画像検索システムは、複数のカメラから取得した映像間で、オブジェクトの色を合わせるための色補正パラメータを予め生成する。この画像検索システムは、色補正パラメータで各映像の色補正を行ってからオブジェクトの照合を行うことで、照合精度の低下を防止する。特許文献２は、色空間が不明の画像の色空間を求める画像処理装置を開示する。この画像処理装置は、予めオブジェクトの基準色空間における基準色をデータベースに記憶しておく。画像処理装置は、画像中のオブジェクトを特定し、いくつかの色空間を仮定し、オブジェクトの色を基準色空間に変換してオブジェクトの色を取得する。画像処理装置は、オブジェクトの色と基準色とが許容できる程度にずれが少ないときに、該色空間を出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５５４４３号公報
【特許文献２】特開２００４−３４１７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、色補正を行っても、環境光や複数の照明などの影響で映る領域が異なる場合に、同一のオブジェクトであっても色が相違することがある。特許文献２では、予めオブジェクト毎に色空間と基準色等を用意しておく必要があり、色合わせが可能な対象が限定される。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、高精度に映像の色補正を行う情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、撮像装置が撮影した映像を取得する映像取得手段と、前記取得した映像からオブジェクトを検出して、該オブジェクトの動きを追尾する追尾手段と、前記オブジェクトの動きに基づいて、前記オブジェクトの色補正を行うための色補正領域を生成する色補正領域生成手段と、前記オブジェクトの色が変化した位置を認識する色変化認識手段と、前記オブジェクトの色が変化した前記位置に基づいて前記色補正領域を分割する領域分割手段と、分割した前記色補正領域のそれぞれに対して、色補正に用いる色補正パラメータを生成する色補正パラメータ生成手段と、前記色補正パラメータを用いて、前記撮像装置が撮影する映像の色補正を行う制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、高精度に映像の色補正を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置の構成図。
【図２】情報処理装置の機能ブロック図。
【図３】オブジェクト検出方法の説明図。
【図４】色補正パラメータの生成処理を表すフローチャート。
【図５】（ａ）〜（ｃ）は色補正パラメータの生成処理の説明図。
【図６】移動可能領域の例示図。
【図７】情報処理装置の機能ブロック図。
【図８】画像照合処理を表すフローチャート。
【図９】オブジェクトの特徴の説明図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、実施形態を詳細に説明する。
【００１０】
（構成）
図１は、本実施形態の情報処理装置の構成図である。情報処理装置１００は、単一のコンピュータ装置で実現してもよく、複数のコンピュータ装置に機能を分散して実現してもよい。複数のコンピュータ装置に機能が分散される場合、互いに通信可能なように、各コンピュータ装置がＬＡＮ（Local Area Network）などで接続される。情報処理装置１００は、パーソナルコンピュータやワークステーション等により実現することができる。情報処理装置１００は、インターネットなどのネットワーク回線１１１を介して複数のネットワーク対応のカメラ１１２に接続される。
【００１１】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、及びストレージ１０４を備える。ＣＰＵ１０１は、ＲＯＭ１０２或いはストレージ１０４に格納されるコンピュータプログラムを、ＲＡＭ１０３を作業領域に用いて実行することで、情報処理装置１００の動作を制御する。ＲＯＭ１０２は、変更を必要としないコンピュータプログラムやパラメータを格納する。ＲＡＭ１０３は、データの一時記憶領域を提供する。ストレージ１０４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量記憶装置である。ストレージ１０４は、情報処理装置１００に内蔵されるタイプと外付けされるタイプとのいずれであってもよい。例えばストレージ１０４は、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣＤ（Compact Disk）など等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどであってもよい。
【００１２】
情報処理装置１００は、入力デバイスインタフェース１０５、出力デバイスインタフェース１０６、及び通信インタフェース１０７を備える。これら各部は、システムバス１０８を介してＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、及びストレージ１０４に、通信可能に接続される。入力デバイスインタフェース１０５は、ユーザの操作によりデータを入力するためのポインティングデバイスやキーボードなどの入力デバイス１０９との間のインタフェースである。出力デバイスインタフェース１０６は、情報処理装置１００が保存するデータや供給されたデータを表示するための表示装置１１０との間のインタフェースである。通信インタフェース１０７は、情報処理装置１００をネットワーク回線１１１に接続するための通信インタフェースである。
【００１３】
情報処理装置１００は、通信インタフェース１０７により、ネットワーク回線１１１を介して複数のカメラ１１２との間で通信可能である。カメラ１１２は、例えば監視カメラなどの一定の撮影範囲内を撮影する撮像装置である。
【００１４】
このような構成の情報処理装置１００は、カメラ１１２から映像を取得し、取得した映像中の動体であるオブジェクトを検出する。情報処理装置１００は、映像中から検出したオブジェクトを追尾して、該オブジェクトの色変化を認識することで、複数光源などによる影響から映像の部分領域毎に色補正パラメータを生成する。
【００１５】
図２は、このような処理を行うための情報処理装置１００の機能ブロック図である。情報処理装置１００は、映像取得部２０１、オブジェクト追尾部２０２、色補正領域生成部２０３、色変化認識部２０４、領域分割部２０５、色補正パラメータ生成部２０６、及び制御部２０７として機能する。各機能は、ＣＰＵ１０１がコンピュータプログラムを実行することで実現される。また、少なくとも一部の機能がハードウェアにより実現されてもよい。
【００１６】
映像取得部２０１は、通信インタフェース１０７を介して複数のカメラ１１２のそれぞれから映像を取得する。オブジェクト追尾部２０２は、映像中から動体であるオブジェクトを検出して、該オブジェクトの追尾を行う。図３は、オブジェクト検出方法の説明図である。オブジェクト追尾部２０２は、映像から切り出した２つのフレームの画像の差分を抽出し、この差分に基づいてオブジェクトを検出する。図３では、２つの画像の差分として、人物の画像が抽出されている。オブジェクト追尾部２０２は、この抽出した人物の画像をオブジェクトとして検出する。オブジェクトの追尾処理については後述する。
【００１７】
色補正領域生成部２０３は、オブジェクト追尾部２０２によるオブジェクトの追尾結果に基づいて、色補正領域を生成する。色補正領域は、オブジェクトの色補正を行う画像中の領域である。色変化認識部２０４は、色補正領域におけるオブジェクトの色変化を認識する。色変化認識部２０４は、所定の閾値以上の色変化がある場合にその色変化位置を記憶して、環境光の変化による色変化があったと推測する。領域分割部２０５は、色変化位置に基づいて画像の領域分割を行う。色補正パラメータ生成部２０６は、色補正領域毎の色補正パラメータを生成する。制御部２０７は、各機能ブロックを制御して、色補正パラメータに基づいてカメラ１１２から取得した映像の色補正を行う。
【００１８】
（色補正パラメータ生成処理）
図４は、情報処理装置１００による色補正パラメータの生成処理を表すフローチャートである。情報処理装置１００は、カメラ１１２から、連続した画像である映像を取得する。ここでは１台のカメラ１１２から映像を取得する場合について説明する。情報処理装置１００は、連続して取得する画像に対して、色補正パラメータの生成処理を行うことになる。図５は、色補正パラメータの生成処理の説明図である。以下の処理は、例えば制御部２０７の制御により各機能ブロックが行う。
【００１９】
映像取得部２０１は、カメラ１１２から映像を取得する（Ｓ４０１）。図５（ａ）は、取得した映像に含まれる画像５０１を例示する。オブジェクト追尾部２０２は、画像から動体であるオブジェクトを検出し、連続した画像間で、検出したオブジェクトの移動を追尾する（Ｓ４０２）。オブジェクト追尾部２０２は、図５（ａ）では、人のオブジェクト５０２、５０３を検出する。オブジェクト追尾部２０２は、オブジェクト５０２、５０３の追尾結果として、オブジェクト５０２、５０３の動線５０４、５０５を検出する。
【００２０】
色補正領域生成部２０３は、オブジェクトの動線に基づいて色補正領域を生成する（Ｓ４０３）。例えば、色補正領域生成部２０３は、画像５０１全体を均等な複数の矩形領域に分割する。色補正領域生成部２０３は、各矩形領域のうち動線５０４、５０５を含む矩形領域の集合を色補正領域とする。以下の説明において、矩形領域の位置は、画像５０１の左上の矩形領域を（Ａ，１）として、横方向をＡ，Ｂ，Ｃ…、縦方向を１，２，３…として表す。図５（ｂ）は、画像５０１を矩形領域に分割し、動線５０４、５０５とそれによって生成された色補正領域を表す。動線５０４を含む（Ｆ，１）〜（Ｆ，８）の８つの矩形領域が、色補正領域となる。動線５０５を含む（Ｃ，１）、（Ｃ，２）、（Ｂ，２）、（Ｂ，３）、（Ａ，４）、（Ａ，５）の６つの矩形領域が、色補正領域となる。
【００２１】
なお、色補正領域生成部２０３は、オブジェクトの動きに応じていれば、他の方法で色補正領域を生成してもよい。例えば、色補正領域生成部２０３は、動線を重畳し、重畳した動線を含む矩形領域を色補正領域としてもよい。色補正領域生成部２０３は、人体などのオブジェクトの外接矩形領域の移動軌跡を含む矩形領域を色補正領域としてもよい。色補正領域生成部２０３は、服などの人体の一部をオブジェクトとし、このオブジェクトの動線に基づいて色補正領域を生成してもよい。
【００２２】
色補正領域生成部２０３は、ここでは２次元の色補正領域を生成するが、これに限らない。色補正領域生成部２０３は、例えばカメラ１１２にステレオカメラや距離センサが用いられる場合、３次元モデルを生成することで、３次元の色補正空間領域を生成することも可能である。色補正領域生成部２０３は、日付や時刻毎にオブジェクトの色変化を蓄積して、色補正領域を管理することが可能である。色補正領域生成部２０３は、ユーザが入力デバイス１０９により指定する画像内のオブジェクトの移動可能領域に応じて、色補正領域を生成してもよい。図６は、移動可能領域の例示図である。画像中、オブジェクトの移動が不可に指定される領域３０１、３０２、３０３を除いた領域が移動可能領域となる。色補正領域生成部２０３は、移動可能領域で上記の処理を行って色補正領域を生成することができる。移動可能領域を指定することで、色補正領域の生成精度が向上する。
【００２３】
色変化認識部２０４は、色補正領域におけるオブジェクトの色の変化を認識する（Ｓ４０４）。具体的には、色変化認識部２０４は、色を表す値の所定の閾値以上の変化を認識する。色変化認識部２０４は、例えばオブジェクトの各画素の色相差分の平均が閾値以上に変化した場合、変化した位置５０６（図５（ａ）参照）をＲＡＭ１０３に記憶し、環境光の変化による色変化であると推定する。色変化認識は、色相の変化の他に、画素毎のＲＧＢ値など他の色空間の値を利用して行われてもよい。また、色変化認識は、オブジェクトの各画素の色空間上での距離を利用して行われてもよい。閾値判定は、オブジェクトの各画素の色相差分の総和が閾値以上に変化した場合や、色空間上の距離の平均や総和が閾値以上に変化した場合など、これに限定するものではない。
【００２４】
領域分割部２０５は、色変化認識部２０４に認識されたオブジェクトの色変化の有無を判定する（Ｓ４０５）。色変化があった場合（Ｓ４０５：Y）、領域分割部２０５は、色変化した位置を分割点として色補正領域を分割する（Ｓ４０６）。図５（ｂ）の例では、領域分割部２０５は、分割点である色変化した位置５０６を境界として、動線５０４による色補正領域を、領域５１４と領域５１５とに分割する。領域５１４は、（Ｆ，１）、（Ｆ，２）、（Ｆ，３）、（Ｆ，４）の矩形領域を含む。領域５１５は（Ｆ，５）、（Ｆ，６）、（Ｆ，７）、（Ｆ，８）の矩形領域を含む。このように色変化した位置で画像を分割することで、色変化が所定量以下の色補正領域を結合することが可能である。ただし、この結合は必須ではない。
【００２５】
色変化がなかった場合（Ｓ４０５：N）、或いは領域の分割後に、色補正パラメータ生成部２０６は、色補正領域のそれぞれに対して色補正に用いる色補正パラメータを生成する（Ｓ４０７）。色補正パラメータ生成部２０６は、すでに色補正パラメータが生成されている色補正領域についても色補正パラメータを生成する。これは、１つの色で色補正パラメータが完成するわけではないためである。異なる色のオブジェクトの検出により、色補正パラメータは逐次補正される。
【００２６】
色補正領域と色補正パラメータとの組は、ＲＡＭ１０３に保存蓄積される。色補正パラメータ生成部２０６は、オブジェクトが動体か否かに関わらず、測色されたオブジェクトが含まれる色補正領域に対して色補正パラメータを生成する。色補正パラメータ生成部２０６は、測色されたオブジェクトが存在しない色補正領域について、領域面積の大きい色補正領域を基準として色補正パラメータを生成する。
制御部２０７は、色補正パラメータを用いて画像の色補正を行うことができる。制御部２０７は、色補正後の画像を表示装置１１０に表示する。色補正パラメータの生成及び色補正の詳細については後述する。
【００２７】
以上により、１回の色補正パラメータの生成処理が終了する。しかし、色補正パラメータの生成処理は、情報処理装置１００がカメラ１１２から映像を取得する間、繰り返し行われる処理である。そのために制御部２０７は、Ｓ４０７の処理が終了すると、Ｓ４０１からの処理を繰り返し行う。色補正パラメータの生成処理を繰り返し実行することで、色補正領域と色補正パラメータとの組が蓄積され、重畳され、画像全体の移動可能領域の色補正パラメータを表す色補正マップが作成される。図５（ｃ）は、色補正パラメータを蓄積し、重畳した結果である、画像全体の移動可能領域の色補正パラメータを表す色補正マップを例示する。同じ色補正領域の色補正パラメータも１つの色で色補正パラメータが完成するわけではないため、異なる色のオブジェクトの検出により色補正パラメータは逐次生成される。
【００２８】
以上のように本実施形態の情報処理装置１００は、検出したオブジェクトの動きを追尾し、追尾結果に応じて色補正パラメータを取得する。情報処理装置１００は、画像を複数の矩形領域に分割し、矩形領域毎に色補正パラメータを取得する。情報処理装置１００は、取得した色補正パラメータにより当該矩形領域の色補正を行う。例えば、情報処理装置１００は、図５（ａ）のように検出したオブジェクト５０３の画像を、図５（ｃ）の矩形領域（Ｂ，３）の色補正パラメータで色補正する。または、情報処理装置１００は、画像５０１の全体の領域毎に色補正を行ってもよい。例えば、図５（ｃ）の色補正パラメータを領域毎に順次適用する。例えば、情報処理装置１００は、左上の領域（Ａ，１）から領域（Ｊ，８）まで順次色補正を行うことで、画像５０１の全体が色補正される。
【００２９】
オブジェクト追尾部２０２によるオブジェクトの追尾処理について説明する。オブジェクト追尾部２０２は、画像から動体（オブジェクト）の情報を検出する。オブジェクトの情報は、画像上の位置、外接矩形、及びオブジェクトのサイズを含む。オブジェクト追尾部２０２は、オブジェクトの情報に応じて画像中の所定の領域からオブジェクトである人体を検出する。本実施形態では画像からオブジェクトを検出する処理は、パターンマッチングにより行われるが、これに限定されるものではない。また、必ずしも所定の領域からオブジェクトの検出を行う必要はなく、画像全体に対してオブジェクトの検出処理が行われてもよい。本実施形態では、オブジェクトとして人体を検出するが、検出されるオブジェクトは、人体以外の、顔、自動車や動物などであってもよい。
【００３０】
オブジェクト追尾部２０２は、オブジェクトの追尾のために、検出したオブジェクトと以前のフレームの画像から検出したオブジェクトとを対応付ける。オブジェクト追尾部２０２は、新規に検出したオブジェクトに対しては、新規に識別情報となるオブジェクトＩＤを付与する。オブジェクト追尾部２０２は、以前のフレームの画像から検出したオブジェクトに対応付けできたオブジェクトに対しては、対応付けしたオブジェクトのオブジェクトＩＤを付与する。オブジェクト同士を統合した場合、オブジェクト追尾部２０２は、統合したオブジェクトのうちサイズが大きい方のオブジェクトＩＤを、統合したオブジェクトのオブジェクトＩＤとして付与する。オブジェクトを分離した場合、オブジェクト追尾部２０２は、分離したオブジェクトのうちサイズが大きい方に分離前のオブジェクトＩＤを付与し、小さい方に新規にオブジェクトＩＤを付与する。オブジェクト追尾部２０２は、フレーム毎の画像間で同じオブジェクトＩＤの位置を連続して検出することでオブジェクトを追尾することができる。
【００３１】
オブジェクトの追尾は、これに限定されるものではない。例えば、特開２００２−３７３３３２号公報に開示されるように、動きベクトルからオブジェクトを検出し、次フレームでの探索位置を推定しテンプレートマッチングにより人物（オブジェクト）の追尾を行ってもよい。動きベクトルは顔向き検出なども利用可能である。画像から人物の顔向きを検出する方法には、例えば、文献「Erik Muphy-Chutorian, “Head pose estimation for driver assistance systems: A robust algorithm and experimental evaluation," in Proc. IEEE Conf. Intelligent Transportation Systems, 2007, pp. 709-714.」に示す公知技術を用いることができる。この文献に開示されている技術では、特徴量として勾配方向ヒストグラム（Histogram of Oriented Gradient,HOG）を抽出し、ＳＶＲ（Support Vector Regression）により顔向きを推定している。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴量であり、局所的なノイズや画像の明暗にロバストな特徴量として知られている。ノイズや照明変動のような、顔向きに関係のない変動にロバストな特徴量を選択することで、実環境においても安定した顔向き推定を実現している。画像から人物の顔向きを検出する方法には、顔検出と機械学習を併用し、帽子、サングラス、マスクなどの判別器も利用可能である（顔検出：特開２０１０−１６５１５６号公報）。追尾処理における動きベクトルの値で判断も利用可能（人の追尾：特開２００２−３７３３３２号公報）である。
【００３２】
（色補正）
色補正パラメータの生成と色補正画像の生成処理について説明する。色補正パラメータは、例えば、特開２００９−４９７５９号公報に開示されるように、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから生成されるルックアップテーブルである。この場合、色補正は、入力となる画像の画素毎にルックアップテーブル（色補正パラメータ）を参照して、色補正パラメータに応じて色を置き換えていくことで行われる。あるいは、色補正パラメータは、特開２００７−１９４７９４号公報に開示されるように、色補正行列であってもよい。この場合、色補正は、入力となる画像の画素毎に色補正行列を用いて異なる色に置き換えることで行われる。なお、色補正パラメータは、これらに限定されるものではない。
【００３３】
以上のような本実施形態の情報処理装置１００は、領域毎に色補正パラメータを生成して、色補正を行う。色補正後の画像は、表示装置１１０に表示される。このときオブジェクト間の色の変動が抑制される。そのためにユーザは、快適に画像中のオブジェクトを閲覧することができる。
【００３４】
（画像照合）
情報処理装置１００は、色補正パラメータを用いて色補正を行ったオブジェクトの画像照合を行うことができる。以下においてはオブジェクトを人物として説明するが、オブジェクトは人物に限定されるものではない。
【００３５】
情報処理装置１００は、上記の処理により、カメラ１１２の映像の色補正に用いる色補正パラメータを生成する。複数のカメラ１１２の場合、情報処理装置１００は、画像の輝度を用いて同一のオブジェクトを照合して検出し、各カメラ１１２から取得した画像の色補正領域毎の色補正パラメータを生成してもよい。
【００３６】
図７は、このような処理を行うための情報処理装置１００の機能ブロック図である。情報処理装置１００は、オブジェクト取得部７０１、照合対象指定部７０２、色補正画像生成部７０３、オブジェクト照合部７０４、及び制御部７０５として機能する。各機能は、ＣＰＵ１０１がコンピュータプログラムを実行することで実現される他に、少なくとも一部の機能がハードウェアにより実現されてもよい。これらの機能は、図２に示す色補正パラメータを生成するための機能と同時に実現されてもよい。
【００３７】
オブジェクト取得部７０１は、映像からオブジェクトを切り出して取得する。照合対象指定部７０２は、ユーザが入力デバイス１０９により入力する指示に応じて照合に用いるオブジェクトの指定を行う。色補正画像生成部７０３は、色補正パラメータを用いてオブジェクトの色補正を行う。オブジェクト照合部７０４は、色補正を行ったオブジェクトの照合を行う。制御部７０５は、各機能ブロックを制御する。
【００３８】
情報処理装置１００は、以下のように画像の照合を行う。図８は、画像照合処理を表すフローチャートである。以下の処理は、例えば制御部７０５の制御により各機能ブロックが行うことになる。
【００３９】
オブジェクト取得部７０１は、カメラ１１２から取得した映像から動体であるオブジェクトの情報を切り出して取得する（Ｓ６０１）。オブジェクト取得部７０１は、オブジェクトの画像の他に、オブジェクトが出現する画像のフレーム番号及びオブジェクトの座標をオブジェクトの情報として取得してもよい。オブジェクトの切り出しは、情報処理装置１００で行っても、あるいは、カメラ１１２内で予めオブジェクトを切り出して、オブジェクトのみを情報処理装置１００に送信するように構成してもよい。オブジェクト取得部７０１は、取得したオブジェクトの情報をストレージ１０４に保存する。加えてオブジェクト取得部７０１は、オブジェクトのメタデータとして、オブジェクトＩＤ、撮影時刻、及び撮影したカメラ１１２の情報を、オブジェクトの情報に関連付けして保存する。
【００４０】
照合対象指定部７０２は、照合対象となるオブジェクトを指定する（Ｓ６０２）。具体的には、照合対象指定部７０２は、ストレージ１０４に蓄積されたオブジェクトの情報に応じたオブジェクトの画像を表示装置１１０に表示させる。ユーザは、表示装置１１０に表示されたオブジェクトから、入力デバイス１０９により照合に用いるオブジェクトを指定する操作を行う。照合対象指定部７０２は、入力デバイス１０９の操作内容に応じて、照合に用いるオブジェクトを指定する。照合対象指定部７０２は、表示装置１１０に撮影時刻や特徴の属性値などを指定する画面を表示してもよい。この場合、ユーザは、入力デバイス１０９によりこれらの表示内容から照合に用いるオブジェクトの指定条件を入力する。照合対象指定部７０２は、入力デバイス１０９から入力される指定条件に応じて、ストレージ１０４に蓄積したオブジェクトを絞り込み、照合に用いるオブジェクトを指定する。また、照合対象指定部７０２は、指定された画像データを比較元オブジェクトとしてもよい。
照合対象指定部７０２は、照合に用いる比較元と比較先のオブジェクトをそれぞれ１つずつ指定してもよい。あるいは照合対象指定部７０２は、１つの比較元のオブジェクトに対して複数の比較先のオブジェクトを指定してもよい。あるいは照合対象指定部７０２は、１つの比較元のオブジェクトに対してストレージ１０４に蓄積されるすべてのオブジェクトを自動的に比較先に指定してもよい。本実施形態の照合に用いるオブジェクトの選択数は、これらに限定されるものではない。
【００４１】
色補正画像生成部７０３は、色補正パラメータを用いて照合対象となるオブジェクトの色補正を行う（Ｓ６０３）。色補正画像生成部７０３は、色補正領域毎に画像全体の色補正を行う。あるいは色補正画像生成部７０３は、オブジェクトの出現位置に対応する色補正領域の色補正パラメータを用いて該オブジェクトの色補正を行う。色補正されたオブジェクトは、オブジェクトの特徴を算出するために利用される。あるいは色補正画像生成部７０３は、事前に色補正前にオブジェクトの色に関する特徴や位置を抽出しておき、複数のカメラ１１２間および色補正領域に対応した色補正パラメータで特徴を補正してもよい。
【００４２】
オブジェクト照合部７０４は、オブジェクト同士の照合を行う（Ｓ６０４）。オブジェクト照合部７０４は、色補正後のオブジェクトの特徴を比較することで照合を行う。図９は、比較に用いるオブジェクトの特徴の説明図である。本実施形態ではオブジェクトに人物を想定するため、人物の特徴が例示される。なお、これらの特徴は一例であり、これらに限定されるものではない。
【００４３】
オブジェクトの特徴は以下のように算出される。色への依存度が低い特徴として、ＳＩＦＴ（Scale Invariant Feature Transform）を用いる。ＳＩＦＴは輝度画像から得るため色への依存度が低い。図９の表中の顔器官点のＳＩＦＴ特徴は、人物の画像の顔領域を検出し、顔領域内の目、口などの器官点を検出し、各器官点のＳＩＦＴ特徴により算出される。この特徴を用いたオブジェクトの照合では、比較元と比較先の対応する器官点のＳＩＦＴ特徴の類似度の和が用いられる。あるいは、所定以上の類似度を有する対応数を用いて、オブジェクトの類似度を決定してもよい。
図９の表中の肌の色、髪の色は、顔検出で得た顔領域の画像から、対応する部分領域を予め定めておいて、その領域の色ヒストグラム等を用いて算出される。服の色は、顔検出で得た顔領域の画像から、顔の下方が胴体に対応する領域の色ヒストグラム等を用いて算出される。
図９の表中の属性で示される性別等は、機械学習等の技術を用いて、顔の画像を入力した際に、各種属性が推定できるような分類器を予め作成しておき、この分類器を用いて算出される。また、属性の尤度が得られるときに、属性値ごとにその尤度を並べた属性ベクトルを作成して、そのベクトル間類似度で属性の類似度を算出する。
【００４４】
ＳＩＦＴ特徴、色ヒストグラム、属性ベクトルなどの類似度は、各々個別に算出されるため、適当に重みを付けて和をとることで、オブジェクト同士の類似度が算出可能である。色補正後に色に依存する特徴を用いることで、オブジェクトの照合精度の劣化を防ぐことができる。なお、オブジェクト特徴は、予めオブジェクト毎に算出しておき、記憶しておいてもよい。例えば、オブジェクト特徴は、オブジェクト取得部７０１がオブジェクトを取得したときに算出されて記憶される。色補正後の特徴は、色補正後の特徴を算出したときに、記憶される。
【００４５】
制御部７０５は、照合対象指定部７０２が指定したオブジェクト同士の照合結果を表示装置１１０に表示する（Ｓ６０５）。照合によって比較元と比較先とのオブジェクトの間の類似の程度を表す類似度が決定される。制御部７０５は、この類似度を用いて照合結果を表示する。例えば、比較元と比較先のオブジェクトが１つずつである場合、制御部７０５は、該オブジェクト間の類似度を表示装置１１０に表示する。比較元のオブジェクトが１つで、比較先のオブジェクトが複数である場合、制御部７０５は、比較先のオブジェクトを類似度順に表示装置１１０に表示する。制御部７０５は、所定以上の類似度を有する比較先のオブジェクトを、カメラ１１２毎に分類して撮影時刻順に表示してもよい。照合結果の表示方法はこれらに限定されるものではない。
【００４６】
以上のような情報処理装置１００は、色の差異によるオブジェクトの照合精度の劣化を抑制することができる。例えば、監視カメラなどでは、物陰、日差し、光源違いなどの影響で、撮影した画像中のオブジェクトの色が異なることが起こる。本実施形態の情報処理装置１００は、色補正パラメータに応じてオブジェクトの色補正を行うことで、こうした影響による照合精度の劣化を抑制することができる。
【００４７】
情報処理装置１００は、色補正パラメータを、照合だけでなく画像の表示の際に用いてもよい。例えば、Ｓ６０４の処理で照合結果を表示装置１１０に表示する際に、情報処理装置１００は、色補正を行ったオブジェクトを表示するようにしてもよい。例えば、情報処理装置１００は、比較先のオブジェクトが複数であれば、比較先のオブジェクトを類似度順に表示装置１１０に表示する。色補正を行うことで、オブジェクト同士の色の差異がなくなり、閲覧者が快適に照合結果を視認することができる。
【００４８】
（応用例）
このような情報処理装置１００は、動体（人物）の動線結合に適用できる。情報処理装置１００は、動線の結合の際に、顔の特徴量、移動予測、オブジェクトの類似性などを用いて、色補正後のオブジェクトを照合して同一性を判断する。情報処理装置１００は、同一と判断したオブジェクトに対して、交差などの遮蔽で分断された複数の動線を１つの動線に結合する。オブジェクトに対して色補正領域毎に色補正を適用することで、類似性判定の精度が向上し、動線結合及び動線検出の精度が向上する。
【００４９】
以上のような本実施形態の情報処理装置１００は、映像中のオブジェクトを追尾し且つオブジェクトの色変化を認識することにより、色補正領域を生成する。情報処理装置１００は、色補正領域毎に色補正パラメータを生成する。色補正領域毎に色補正パラメータを用いて色補正することで、環境光などの影響を抑えて、オブジェクト間の照合精度の劣化を抑制することが可能となる。
【００５０】
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019103029.tif 000003
【図２】
2019103029.tif 000004
【図３】
2019103029.tif 000005
【図４】
2019103029.tif 000006
【図５】
2019103029.tif 000007
【図６】
2019103029.tif 000008
【図７】
2019103029.tif 000009
【図８】
2019103029.tif 000010
【図９】
2019103029.tif 000011