(57)【要約】【課題】同じと分かっている被写体が不明な場合にも利用可能な、異なる環境下で撮像された映像間でのカラーマッチングを実現すること。【解決手段】本発明は、第１の映像と第２の映像との間における色再現性を近づける色変換を行う画像処理装置であって、前記第１の映像と前記第２の映像との両方に写っている同一オブジェクトを検出する検出手段と、前記第１の映像における前記同一オブジェクトの画素値と、前記第２の映像における前記同一オブジェクトの画素値とを導出する導出手段と、前記導出手段により導出された、前記第１の映像に対する前記画素値と前記第２の映像に対する前記画素値とに基づき、前記第１の映像における色再現性と前記第２の映像における色再現性とを近づけるための色変換で用いる規則を作成する作成手段とを有することを特徴とする画像処理装置である。【選択図】図３
2019216333.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像と第２の映像との間における色再現性を近づける色変換を行う画像処理装置であって、
前記第１の映像と前記第２の映像との両方に写っている同一オブジェクトを検出する検出手段と、
前記第１の映像における前記同一オブジェクトの画素値と、前記第２の映像における前記同一オブジェクトの画素値とを導出する導出手段と、
前記導出手段により導出された、前記第１の映像に対する前記画素値と前記第２の映像に対する前記画素値とに基づき、前記第１の映像における色再現性と前記第２の映像における色再現性とを近づけるための色変換で用いる規則を作成する作成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記導出手段により導出された、前記第１の映像に対する前記画素値と、前記第２の映像に対する前記画素値とを保持する保持手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素値とは、赤と緑と青との各値の組み合わせであるＲＧＢ値であり、
前記作成手段は、
前記第１の映像と前記第２の映像との何れかに対する、相異なる３つの前記同一オブジェクトの夫々に対応するＲＧＢ値を取得する取得手段と、
前記取得手段によって取得された３つのＲＧＢ値を夫々、Ｌａｂ値に変換する変換手段と
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記作成手段は、前記変換手段により導出される３つのＬａｂ値に基づき、前記規則を作成可能か判定する判定手段を更に有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記３つのＬａｂ値に従ってａｂ空間に３点をプロットし、該プロットした３点を結んだ領域内に原点が含まれる場合、前記規則を作成可能と判定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記プロットした３点のうち任意の１点と原点とを結ぶ直線と、前記プロットした３点のうち該１点を除く任意の１点と原点とを結ぶ直線との成す角度が全て式（１）を満たす場合、前記判定手段は、前記規則を作成可能と判定することを特徴とする請求項５に記載の画像処理装置。
【数１】
2019216333.tif 000022
尚、式（１）において、Ａは前記角度を示し、Ｔｈ１及びＴｈ２は夫々所定の閾値を示す。
【請求項７】
前記作成手段は、前記プロットした３点のうち何れか１点に対応するＲＧＢ値に基づき、前記規則を作成することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
請求項１乃至７の何れか１項に記載の画像処理装置と、
前記第１の映像を撮像する第１の撮像装置と、
前記第２の映像を撮像する第２の撮像装置と
を有することを特徴とするシステム。
【請求項９】
前記第１の撮像装置と前記第２の撮像装置とは夫々、撮像した映像に対し前記規則を用いて色変換を行う色変換手段を有することを特徴とする請求項８に記載のシステム。
【請求項１０】
請求項１乃至７の何れか１項に記載の画像処理装置と、
前記第１の映像と前記第２の映像とを撮像する撮像装置と
を有するシステムであって、
前記第１の映像と前記第２の映像とは、前記撮像装置により異なる時間帯で撮像された映像であることを特徴とするシステム。
【請求項１１】
前記撮像装置は、撮像した映像に対し前記規則を用いて色変換を行う色変換手段を有することを特徴とする請求項１０に記載のシステム。
【請求項１２】
第１の映像と第２の映像との間における色再現性を近づける色変換を行う画像処理装置の制御方法であって、
前記第１の映像と前記第２の映像との両方に写っている同一オブジェクトを検出するステップと、
前記第１の映像における前記同一オブジェクトの画素値と、前記第２の映像における前記同一オブジェクトの画素値とを導出するステップと、
前記導出するステップにおいて導出された、前記第１の映像に対する前記画素値と前記第２の映像に対する前記画素値とに基づき、前記第１の映像における色再現性と前記第２の映像における色再現性とを近づけるための色変換で用いる規則を作成するステップと
を有することを特徴とする制御方法。
【請求項１３】
コンピュータに請求項１２に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、システム、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、監視カメラが急速に普及しつつあり、その用途は多岐にわたっている。その中でも不審者追跡は特に重要である。不審者追跡では、様々な場所に設置された監視カメラの映像の中から、同一人物を検出する技術が必須となっており、例えば、服の色を用いる検出がある。このような色を用いる検出では、カメラ間の色再現性を同一にする必要があるが、夫々の監視カメラの撮像環境は、設置されている場所によって変わり、屋外では時間によっても変わってしまうことから、カメラ間の色再現性を同一にすることは難しい。従って、異なる環境にあるカメラ間での動的なカラーマッチングを可能とする技術が求められている。
【０００３】
特許文献１では、複数カメラ間におけるカラーマッチングを行う際、基準とするカメラで所定の被写体を撮影して得たデータ（基準データとする）をメモリカードに格納する。次に、基準データと、マッチング対象の他カメラでこの所定の被写体を撮影して得た画像データとの誤差を算出し、該他のカメラにおける色再現性を、基準カメラにおける色再現性に一致させるのに必要な補正データをメモリに保持させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２７１８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、予め同じと分かっている所定の被写体を撮像して得たデータを、基準データとして用いるため、このような同じと分かっている被写体が不明な場合には使えない。また、同じ環境にあるカメラで撮影したものを同じ色で再現するものであり、異なる環境にあるカメラで撮影したものを同じ色で再現することはできない。
【０００６】
そこで本発明は、上記の課題に鑑み、同じと分かっている被写体が不明な場合にも利用可能な、異なる環境下で撮像された映像間でのカラーマッチングを実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、第１の映像と第２の映像との間における色再現性を近づける色変換を行う画像処理装置であって、前記第１の映像と前記第２の映像との両方に写っている同一オブジェクトを検出する検出手段と、前記第１の映像における前記同一オブジェクトの画素値と、前記第２の映像における前記同一オブジェクトの画素値とを導出する導出手段と、前記導出手段により導出された、前記第１の映像に対する前記画素値と前記第２の映像に対する前記画素値とに基づき、前記第１の映像における色再現性と前記第２の映像における色再現性とを近づけるための色変換で用いる規則を作成する作成手段とを有することを特徴とする画像処理装置である。
【発明の効果】
【０００８】
本発明により、同じと分かっている被写体が不明な場合にも利用可能な、異なる環境下で撮像された映像間でのカラーマッチングを実現することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における画像処理システムのハードウェア構成を示す図。
【図２】第１の実施形態における画像処理システムのソフトウェア構成を示すブロック図。
【図３】第１の実施形態における画像処理のフローチャート。
【図４】第１の実施形態におけるＵＩを示す図。
【図５】第１の実施形態におけるオブジェクトの画素値を保持するテーブルを示す図。
【図６】第１の実施形態における色変換規則作成処理のフローチャート。
【図７】第１の実施形態における色変換規則作成可否の判定手法を示す図。
【図８】第２の実施形態における画像処理システムのソフトウェア構成を示すブロック図。
【図９】第２の実施形態における画像処理のフローチャート。
【図１０】第２の実施形態におけるオブジェクトの画素値を保持するテーブルを示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態を例示的かつ詳細に説明する。但し、以下に記載されている構成要素の相対配置、装置形状等は、あくまで例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１１】
［第１の実施形態］
＜画像処理システムのハードウェア構成について＞
以下、本実施形態における画像処理システムのハードウェア構成について、図１を用いて説明する。図１（ａ）は、画像処理システムの概略構成を示す図である。図示するように、画像処理システム１は、画像処理装置１０と、撮像装置（ビデオカメラ）１１ａと、撮像装置１１ｂと、撮像装置１１ｃと、撮像装置１１ｄとを有する。画像処理装置と各撮像装置とは有線又は無線で接続され、画像処理装置と各撮像装置との間で、データを送受信することが可能である。尚、画像処理装置として例えばＰＣを用いることができるので、以下では、画像処理装置をＰＣと記載する。また、ここでは、システムが４台の撮像装置を有するケースを示すが、撮像装置の台数は４に限られず、２以上の任意の一値であれば良い。
【００１２】
図１（ｂ）は、ＰＣ１０のハードウェア構成を示すブロック図である。ＰＣ１０は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、二次記憶装置１０４と、入力インターフェース（以下、インターフェースをＩＦと略記する）１０５と、出力ＩＦ１０６と、入出力ＩＦ１０７とを有する。これらの構成要素は、システムバスによって接続され、構成要素間でデータを送受信することが可能である。また、ＰＣ１０は、入力ＩＦ１０５を介して入力装置１０８と接続され、出力ＩＦ１０６を介して表示装置１０９と接続され、入出力ＩＦを介して各撮像装置と接続される。
【００１３】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いて、ＲＯＭ１０３に格納されたプログラムを実行し、システムバスを介してＰＣ１０の各構成要素を統括的に制御する。これにより、後述のモジュールが実現されたり（図２参照）、後述の処理が実行されたりする（図３、図６参照）。
【００１４】
二次記憶装置１０４は、ＰＣ１０で取り扱われる種々のデータが格納される装置であり、例えば、ＨＤＤ、光ディスクドライブ、フラッシュメモリ等が用いられる。ＣＰＵ１０１は、システムバスを介して、二次記憶装置１０４へのデータの書き込みと二次記憶装置１０４に格納されたデータの読出しとを行う。
【００１５】
入力ＩＦ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、マウスやキーボード等の入力装置１０８からＰＣ１０へのデータや命令等の入力は、入力ＩＦ１０５を介して行われる。出力ＩＦ１０６及び入出力ＩＦ１０７は、入力ＩＦ１０５と同様のＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースの他、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子も含む。
【００１６】
図１（ｃ）は、撮像装置１１ａのハードウェア構成を示すブロック図である。撮像素子１１１は、光学部１１０で取得した光情報を電流値に変換する。撮像素子１１１とカラーフィルタとを組み合わせて用いることで、色情報が取得される。撮像素子１１１として、例えば、画素毎または領域毎に露出条件を設定可能なセンサを用いることができる。露出条件とは、露出を制御するための条件であり、具体的には、絞りと、シャッタースピードと、感度とのうち１つ以上を含む。露出条件の値は、絞りと、シャッタースピードと、感度との各値のうち少なくとも１つに応じて決まる。
【００１７】
ＣＰＵ１１２は、ＲＡＭ１１４をワークメモリとして用いて、ＲＯＭ１１３に格納されたプログラムを実行し、システムバスを介して撮像装置１１ａの各構成要素を統括的に制御する。これにより、後述のモジュールが実現される（図２参照）。
【００１８】
撮像系制御部１１５は、ＣＰＵ１１２からの指示に従い、光学部１１０に対する制御、具体的には、フォーカスを合わせる、シャッターを開く、絞りを調整する等の制御を行う。制御部１１６は、ユーザ指示、具体的にはユーザによる操作ボタン１２３や撮像ボタン１２４の押下に応じた、撮像動作の開始及び終了等の制御を行う。キャラクタージェネレーション部１１７は、表示部１２２に表示するための、文字やグラフィック等のデータを生成する。
【００１９】
Ａ／Ｄ変換部１１８は、撮像素子１１１で検知した被写体の光量をデジタル信号値に変換する。画像処理部１１９は、各画素がＡ／Ｄ変換部１１８による変換後のデジタル信号値を有する画像データに対して、画像処理を行う。エンコーダ部１２０は、画像処理部１１９で処理したフレーム毎の画像データに基づき、所定フォーマットの映像データを作成する処理を行う。入出力ＩＦ１２１は、撮像装置１１ａでの撮像により取得された映像データをＰＣ１０に送信したり、ＰＣ１０から補正用データを受信したりするためのインターフェースである。撮像装置１１ｂ〜１１ｄは夫々、撮像装置１１ａと同様の構成を有する。以上が、本実施形態における画像処理システムのハードウェア構成の内容である。
【００２０】
＜画像処理システムのソフトウェア構成について＞
以下、本実施形態における画像処理システムのソフトウェア構成について、図２を用いて説明する。
【００２１】
まず、撮像装置１１ａの構成について説明する。撮像装置１１ａは、撮像手段２０１ａと、色変換手段２０２ａとを有する。これらのモジュールは、ＣＰＵ１１２がＲＡＭ１１４をワークメモリとして用いて、ＲＯＭ１１３に格納されたプログラムを実行し、図１（ｃ）に示した撮像装置１１ａの各構成要素を統括的に制御することで実現される。
【００２２】
撮像手段２０１ａは、シーン撮像により、フレーム毎の画像の集まりである映像を得る。この画像は、例えば、各画素が３チャンネルの値、具体的には、Ｒ、Ｇ、Ｂのチャンネル毎にｎビット（８ビット等）の値を持つ画像データである。以下、Ｒ、Ｇ、Ｂのチャンネル毎の値を、ＲＧＢ値と略記する。
【００２３】
色変換手段２０２ａは、撮像手段２０１ａが撮像した映像に対する色変換を行う。この色変換には、３次元ルックアップテーブル（以下３ＤＬＵＴ）を用いる変換、マトリックス演算による変換、ガンマ変換、等が含まれる。色変換手段２０２ａにおける色変換で用いる規則（色変換規則とする）は、後述の色変換規則作成手段２０６で作成される。撮像装置１１ｂ〜１１ｄは夫々、撮像装置１１ａと同様の構成を有する。
【００２４】
続けて、ＰＣ１０の構成について説明する。ＰＣ１０は、検出手段２０３と、画素値導出手段２０４と、保持手段２０５と、色変換規則作成手段２０６とを有する。これらのモジュールは、ＣＰＵ１０１がＲＡＭ１０２をワークメモリとして用いて、ＲＯＭ１０３に格納されたプログラムを実行し、図１（ｂ）に示したＰＣ１０の各構成要素を統括的に制御することで実現される。
【００２５】
検出手段２０３は、撮像手段２０１ａ〜２０１ｄによる撮像と、色変換手段２０２ａ〜２０２ｄによる色変換とにより取得された映像の中から、同一オブジェクトを検出する。本実施形態における「同一オブジェクト」とは、ある撮像装置により取得された映像と、他の撮像装置により取得された映像との両方で写っているオブジェクトである。同一オブジェクトを検出する手法として、例えば、顔認識を利用した人物の特定手法や、パターンマッチングを利用した標識、ロゴ等の特定手法を利用して良い。また、ユーザインターフェース（以下ＵＩ）を介して、ユーザが同一と判断したオブジェクトを指定しても良い（図４参照）。
【００２６】
画素値導出手段２０４は、検出手段２０３が検出した同一オブジェクトについて、撮像装置の夫々に対応する画素値を導出する。例えば、同一オブジェクトが人物の場合、該人物が着ている服の部分の画素値を、同一オブジェクトの画素値として導出して良い。また、例えば、同一オブジェクトが標識やロゴの場合、同じ部分の画素値を、同一オブジェクトの画素値として導出して良いし、同一オブジェクトが床や壁の場合、所定サイズの領域の画素値の平均を、同一オブジェクトの画素値として導出して良い。
【００２７】
保持手段２０５は、ＲＡＭ１０２やＲＯＭ１０３等に格納される専用テーブルを用いて、検出手段２０３が検出した同一オブジェクトに関する値、具体的には、オブジェクトを識別するオブジェクトＩＤの値、画素値導出手段２０４が導出した画素値等を保持する。尚、この専用テーブルについては、図５を用いて後述する。
【００２８】
色変換規則作成手段２０６は、色変換規則を作成する。この色変換規則には、３ＤＬＵＴ、マトリックス演算で用いるマトリックス、ガンマ変換で用いるテーブル、等が含まれる。以上が、本実施形態における画像処理システムのソフトウェア構成の内容である。
【００２９】
＜画像処理について＞
以下、本実施形態における画像処理について、図３を用いて説明する。
【００３０】
ステップＳ３１において、ＰＣ１０にインストールされている監視用アプリケーションを立ち上げること等により監視をスタートし、撮像装置１１ａ〜１１ｄによる撮像をスタートする。以下、「ステップＳ〜」を単純に「Ｓ〜」と略記する。
【００３１】
Ｓ３２において、検出手段２０３は、複数の撮像装置で撮像した映像の中から、同一オブジェクトを検出する。尚、同一オブジェクトの検出手法については、図４を用いて後述する。
【００３２】
Ｓ３３において、画素値導出手段２０４は、Ｓ３２で検出された同一オブジェクトの画素値を導出する。詳しくは、カラーマッチング対象の２つの撮像手段により取得された画像データの各々に基づき、同一オブジェクトの画素値を導出する。
【００３３】
Ｓ３４において、保持手段２０５は、Ｓ３３で導出した同一オブジェクトの画素値を保持する。尚、本ステップで用いるテーブルについては、図５を用いて後述する。
【００３４】
Ｓ３５において、色変換規則作成手段２０６は、色変換規則を作成する処理（色変換規則作成処理とする）を実行する。この色変換規則作成処理の詳細については、図６を用いて後述する。
【００３５】
Ｓ３６において、撮像装置１１ａ〜１１ｄのうちカラーマッチング対象の色変換手段は、Ｓ３５で作成された色変換規則を用いて、撮像手段により取得された映像に対する色変換を行う。
【００３６】
Ｓ３７において、ＣＰＵ１０１は、監視を続けるか判定する。本ステップの判定結果が真の場合、Ｓ３１に戻る一方、該判定結果が偽の場合、一連の処理は終了する。例えば、ユーザが監視アプリケーションを終了したとき、本ステップで偽と判定される。以上が、本実施形態における画像処理の内容である。
【００３７】
＜同一オブジェクトの検出手法について＞
以下、複数の撮像装置で撮像した映像の中から、同一オブジェクトを検出する手法について、図４を用いて説明する。図４は、本実施形態における表示装置１０９に表示されるユーザインターフェース（以下ＵＩ）の一例を示す図である。このＵＩは、撮像装置選択部４１と、撮像装置選択部４２と、映像表示部４３と、映像表示部４４と、カーソル４５と、オブジェクトＩＤ入力部４６と、保持決定ボタン４７とを有する。
【００３８】
まずユーザは、カーソル４５を用いて、撮像装置選択部４１の右側の下向き三角のボタンを押下する。すると、選択可能な撮像装置のリストが表示される。ユーザは、リストに列挙された撮像装置の中から１つの撮像装置を選択する。ここでは、リストに４つの撮像装置１１ａ〜１１ｄが列挙され、その中から撮像装置１１ａをユーザは選択し、結果として、図４に示すように、映像表示部４３に、撮像装置１１ａで撮像された映像が表示されたものとする。
【００３９】
次いで、ユーザは、カーソル４５を用いて、撮像装置選択部４２の右側の下向き三角のボタンを押下する。すると、選択可能な撮像装置のリストが表示される。この際、撮像装置選択部４１で選択した撮像装置はリストに列挙されない。ユーザは、リストに列挙された撮像装置の中から１つの撮像装置を選択する。ここでは、撮像装置１１ａを除く３つの撮像装置１１ｂ〜１１ｄがリストに列挙され、その中から撮像装置１１ｂをユーザは選択し、結果として、図４に示すように、映像表示部４４に、撮像装置１１ｂで撮像された映像が表示されたものとする。
【００４０】
次いで、ユーザは、映像表示部４３に表示されている映像と、映像表示部４４に表示されている映像とにおいて、同一のオブジェクトを選択する。オブジェクトの選択は、カーソル４５の移動と、マウスのクリックにより行う。ここでは、ユーザは、映像表示部４３に表示されている映像において、被写体の人物が着ている服を選択し、映像表示部４４に表示されている映像において、被写体の人物が着ている服を選択したものとする。
【００４１】
同一オブジェクトを選択した状態で、ユーザは、選択したオブジェクトに対応するＩＤを、オブジェクトＩＤ入力部４６に入力し、保持決定ボタン４７を押下する。これにより、選択したオブジェクトの画素値と、オブジェクトＩＤとが対応付けされて、保持手段２０５により保持される。これに関しては、図５を用いて後述する。ここでは、図示するように、ユーザは、オブジェクトＩＤ入力部４６に“服１”と入力したものとする。
【００４２】
尚、ここでは、ＵＩを介してユーザがオブジェクトを選択する形態を示したが、同一オブジェクトの検出手法は、これに限られない。例えば、オブジェクトが人物の場合、被写体の人物毎に特徴量を導出し、該導出した特徴量を比較することで、同一の人物を検出して良い。また例えば、オブジェクトが標識の場合、被写体の標識毎に形状を導出し、該導出した形状を比較することで、同一の標識を検出して良い。以上が、本実施形態における同一オブジェクトの検出手法の内容である。
【００４３】
＜オブジェクトの画素値の保持手段について＞
以下、前述のＳ３４で画素値を保持する保持手段、具体的にはテーブルについて、図５を用いて説明する。図５は、オブジェクトＩＤと、該オブジェクトＩＤに対応する撮像装置毎のオブジェクトの画素値と、を保持するテーブルの一例を示す図である。
【００４４】
図示するように、各オブジェクトＩＤに対応する画素値が、撮像装置毎に保持される。テーブル中の空欄（例えば、オブジェクトＩＤが“服２”、撮像装置１１ａの項目等）は、オブジェクトＩＤを取得できなかったため、該当するデータが存在しないことを示す。新しい同一オブジェクトを検出した場合、このテーブルに行が追加され、該検出した同一オブジェクトに対する、オブジェクトＩＤと、各撮像装置で取得された画素値とが保持される。以上が、本実施形態におけるオブジェクトの画素値の保持手段の内容である。
【００４５】
＜色変換規則作成処理について＞
以下、色変換規則作成処理（図３のＳ３５）について、図６を用いて説明する。
【００４６】
Ｓ６１において、カラーマッチング対象とする２つの撮像装置を選択する。この選択は、例えば、ユーザの指示に従って行われる。
【００４７】
Ｓ６２において、Ｓ６１で選択した撮像装置に対応するデータを、保持手段２０５から取得する。本ステップで取得するデータとは、Ｓ６１で選択した撮像装置で撮像した映像の中から同一オブジェクトとして検出（Ｓ３２）されたオブジェクトの画素値である。具体的には、Ｓ６１で選択した２つの撮像装置に共通のオブジェクトＩＤに対応付けされている画素値である。例えば、Ｓ６１で撮像装置１１ａと撮像装置１１ｂとが選択され、Ｓ６２で図５のテーブルを用いる場合を検討する。この場合、オブジェクトＩＤが“服１”、“服４”、“標識３”に関しては、撮像装置１１ａと撮像装置１１ｂとの夫々に対する、該当するデータが存在する。従って、オブジェクトＩＤが“服１”、“服４”、“標識３”に対応付けされている、撮像装置１１ａの画素値（ＲＧＢ値）と撮像装置１１ｂの画素値（ＲＧＢ値）とを取得する。
【００４８】
Ｓ６３において、Ｓ６２で取得したＲＧＢ値を、Ｌ、ａ、ｂのチャンネル毎の値（Ｌａｂ値と略記する）に変換する。以下、この変換について、Ｓ６２でｓＲＧＢ、ｎビット表現のデータを取得するケースを挙げて、説明する。
【００４９】
まず、ＲＧＢ値に基づき、式（１）〜（３）を用いて、Ｒ′、Ｇ′、Ｂ′、の各値を導出する。
【００５０】
【数１】
2019216333.tif 000003
【００５１】
【数２】
2019216333.tif 000004
【００５２】
【数３】
2019216333.tif 000005
【００５３】
次いで、Ｒ′、Ｇ′、Ｂ′の各値に基づき、式（４）を用いて、Ｘ、Ｙ、Ｚの各値を導出する。
【００５４】
【数４】
2019216333.tif 000006
【００５５】
次いで、Ｘ、Ｙ、Ｚの各値に基づき、式（５）〜（１０）を用いて、ＸRate、ＹRate、ＺRateの各値を導出する。
【００５６】
【数５】
2019216333.tif 000007
【００５７】
【数６】
2019216333.tif 000008
【００５８】
【数７】
2019216333.tif 000009
【００５９】
【数８】
2019216333.tif 000010
【００６０】
【数９】
2019216333.tif 000011
【００６１】
【数１０】
2019216333.tif 000012
【００６２】
尚、ここでは、Ｘｎ＝０．９５０５、Ｙｎ＝１．００００、Ｚｎ＝１．０８９１とする。
【００６３】
最終的に、Ｙ、Ｙｎ、ＸRate、ＹRate、ＺRateの各値に基づき、式（１１）〜（１４）を用いて、Ｌ、ａ、ｂの各値を導出する。
【００６４】
【数１１】
2019216333.tif 000013
【００６５】
【数１２】
2019216333.tif 000014
【００６６】
【数１３】
2019216333.tif 000015
【００６７】
【数１４】
2019216333.tif 000016
【００６８】
Ｓ６４において、色変換規則作成手段２０６は、Ｓ６３の変換で導出したＬａｂ値に基づき、色変換規則を作成可能か判定する。本ステップの判定結果が真の場合、Ｓ６５に進む。一方、本ステップの判定結果が偽の場合、色変換規則作成処理は終了する。尚、この場合、Ｓ３６における色変換は実行されない。
【００６９】
以下、Ｓ６４の判定手法について説明する。具体的には、カラーマッチング対象とした２つの撮像装置のうち少なくとも１つに対する、検出された相異なる３つの同一オブジェクトを識別する各オブジェクトＩＤに対応するＬａｂ値に従い、図７に示すようにａｂ空間に点をプロットする。図７は、プロット結果の一例として、カラーマッチング対象が撮像装置１１ａのケースを示す図である。図７において、点７１は、オブジェクトＩＤ値“服１”に対応し、点７２は、オブジェクトＩＤ値“服４”に対応し、点７３は、オブジェクトＩＤ値“標識３”に対応する。図示するように、この例では、点７１と点７２と点７３とを結んだ三角形の領域内に原点が含まれている。本実施形態では、プロットした３点を結んだ領域内に原点が含まれない場合、色変換規則を作成できないと判定する。
【００７０】
さらに、３点のうちの任意の１点である点７１と原点とを結んだ直線と、点７２と原点とを結んだ直線との成す角度７４を導出し、同様に、各点と原点とを結んだ直線２つが成す角度７５、及び、角度７６を導出する。そして、導出したこれらの角度（Ａとする）が全て式（１５）を満たすか判定し、満たす場合、色変換規則を作成可能と判定する。
【００７１】
【数１５】
2019216333.tif 000017
【００７２】
尚、式（１５）において、Ｔｈ１とＴｈ２は夫々、所定の閾値である。また、検出された同一オブジェクトが４つ以上ある場合は、複数の同一オブジェクトのうち任意の３つを選択したときに角度Ａが式（１５）を満たせば、色変換規則を作成可能と判定して良い。
【００７３】
Ｓ６５において、色変換規則作成手段２０６は、色変換規則を作成する。色変換規則の作成では、まず、カラーマッチング対象とした２つの撮像装置のうち何れかを基準とし、基準とした方の撮像装置の画素値（ＲＧＢ値）を、式（１）〜（１４）を用いてＬａｂ値に変換する。一方、基準としなかった方の撮像手段の画素値（ＲＧＢ値）を、式（１）〜（３）を用いて正規化し、正規化により導出したＲ′、Ｇ′、Ｂ′の各値に基づき、式（１６）を用いて、Ｒ１、Ｇ１、Ｂ１の各値を導出する。そして、式（４）と類似の式を用いて（詳細には、Ｒ′、Ｇ′、Ｂ′の各値の代わりにＲ１、Ｇ１、Ｂ１の各値を用いる式）、Ｘ１、Ｙ１、Ｚ１の各値を導出する。そして同様に、式（５）〜（１４）と類似の式を用いて、Ｌ１、ａ１、ｂ１の各値を導出する。この際、式（１７）に示す、Ｌａｂ値とＬ１ａ１ｂ１値との色差が最小になるように式（１６）における３×３行列を最適化する。最適化には、例えば減衰最小二乗法を用いる。
【００７４】
【数１６】
2019216333.tif 000018
【００７５】
【数１７】
2019216333.tif 000019
【００７６】
以上が、本実施形態における色変換規則作成処理の内容である。
【００７７】
＜変形例１＞
前述の実施形態では、色変換規則として３×３行列を作成したが、作成する色変換規則はこれに限定されない。例えば、２次項や３次項まで考慮して、式（１８）に示す３×９行列や、式（１９）に示す３×１９行列を作成しても良い。
【００７８】
【数１８】
2019216333.tif 000020
【００７９】
【数１９】
2019216333.tif 000021
【００８０】
＜変形例２＞
前述の実施形態では、色変換規則として行列を作成したが、作成する色変換規則は行列に限られず、例えば、３ＤＬＵＴを作成しても良い。例えば、ＲＧＢ値が８ビット表現（つまり、ＲＧＢ値が０〜２５５の何れか１値をとる）のケースを考える。このケースにおいて、例えば、（Ｒ、Ｇ、Ｂ）＝（０、０、０）、（０、０、３２）、（０、０、６４）、…、（０、０、２５５）、（０、３２、０）、・・・、（２５５、２５５、２５５）の７２９（＝９3）個の格子点に対応するデータを作成する。具体的には、各格子点のＲＧＢ値に基づき、式（１）〜（３）を用いて（但しｎ＝８）、Ｒ′、Ｇ′、Ｂ′の各値を導出する。次いで、式（１６）（または、式（１８）、（１９）等）に従ってマトリックス演算を実行する。最後に、式（４）〜（１４）に従ってＬａｂ値を導出する。これにより、ＲＧＢ値の７２９個の組み合わせの夫々に対応するＬａｂ値を保持する３ＤＬＵＴを作成する。尚、格子点間のＲＧＢ値に対応するＬａｂ値は、補間演算を用いることで導出することが可能である。
【００８１】
＜変形例３＞
前述の実施形態では、図５に示すテーブルを用いて、撮像装置１１ａと撮像装置１１ｂとの間でカラーマッチングを行うケースを示した。ここで図５のテーブルを用いて、撮像装置１１ａと撮像装置１１ｄとの間でカラーマッチングを行うケースについて検討する。図５のテーブルには、撮像装置１１ａと撮像装置１１ｄとの間で共通のオブジェクトＩＤに対応付けされている、撮像装置１１ａ（または撮像装置１１ｄ）の画素値が１つ（オブジェクトＩＤ値“標識３”に対応する画素値）しか保持されていない。従って、Ｓ６４でＮＯとなり、撮像装置１１ａと撮像装置１１ｄとの間でカラーマッチングを行うことはできないようにも思われる。
【００８２】
しかし、図５のテーブルを用いた場合であっても、像装置１１ｂと撮像装置１１ｄとの間でカラーマッチングが可能な場合は、撮像装置１１ａと撮像装置１１ｄとの間でカラーマッチングを行うことが可能である。撮像装置１１ｂと撮像装置１１ｄとの間では、撮像装置１１ｂと撮像装置１１ｄとの間で共通のオブジェクトＩＤに対応付けされている撮像装置１１ｂ（または撮像装置１１ｄ）の画素値が３つ以上存在する。従って、撮像装置１１ｂと撮像装置１１ｄとの間でカラーマッチングできる可能性がある。つまり、撮像装置１１ａと撮像装置１１ｂとの関係、及び、撮像装置１１ｂと撮像装置１１ｄとの関係を用いることで、撮像装置１１ａと撮像装置１１ｄとの間でカラーマッチングを行うことが可能となる。
【００８３】
＜本実施形態の効果について＞
本実施形態により、基準データを利用することなく、異なる環境にある撮像装置間のカラーマッチングを実現することが可能になる。
【００８４】
［第２の実施形態］
第１の実施形態では、システムが複数の撮像装置を有し、撮像装置間でのカラーマッチングを行った。これに対し、本実施形態では、システムが１台の撮像装置を有し、撮像時間帯が異なる映像間でのカラーマッチングを行う。尚、以下では既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。
【００８５】
＜画像処理システムのソフトウェア構成について＞
以下、本実施形態における画像処理システムのソフトウェア構成について、図８を用いて説明する。
【００８６】
まず、撮像装置１１ａの構成について説明する。撮像装置１１ａは、撮像手段８０１と、色変換手段８０２とを有する。これらのモジュールは、ＣＰＵ１１２がＲＡＭ１１４をワークメモリとして用いて、ＲＯＭ１１３に格納されたプログラムを実行し、図１（ｃ）に示した撮像装置１１ａの各構成要素を統括的に制御することで実現される。
【００８７】
撮像手段８０１は、シーン撮像により、フレーム毎の画像の集まりである映像を得る。この画像は、例えば、各画素がＲＧＢ値を持つ画像データである。
【００８８】
色変換手段８０２は、撮像手段８０１が撮像した映像に対する色変換を行う。この色変換には、３ＤＬＵＴを用いる変換、マトリックス演算による変換、ガンマ変換、等が含まれる。色変換手段８０２における色変換で用いる色変換規則は、後述の色変換規則作成手段８０７で作成される。
【００８９】
続けて、ＰＣ１０の構成について説明する。ＰＣ１０は、映像保持手段８０３と、検出手段８０４と、画素値導出手段８０５と、保持手段８０６と、色変換規則作成手段８０７とを有する。これらのモジュールは、ＣＰＵ１０１がＲＡＭ１０２をワークメモリとして用いて、ＲＯＭ１０３に格納されたプログラムを実行し、図１（ｂ）に示したＰＣ１０の各構成要素を統括的に制御することで実現される。
【００９０】
映像保持手段８０３は、撮像手段８０１で撮像し、色変換手段８０２で色変換を行った映像を保持するためのモジュールであり、ＰＣ１０の構成要素であるＲＯＭ１０３や二次記憶装置１０４等（図１（ｂ）参照）によって実現される。本実施形態では、映像を時間帯で区切って保持する。例えば、日の出から日の入りまでを昼、それ以外を夜とし、昼夜それぞれを２時間毎に６等分する、等の区切り方がある。
【００９１】
検出手段８０４は、撮像手段８０１による撮像と、色変換手段８０２による色変換とにより取得された時間帯毎の映像の中から、同一オブジェクトを検出する。本実施形態における「同一オブジェクト」とは、同じ場所に設置された撮像装置１１ａによって撮像された、ある時間帯の映像と、別の時間帯の映像との両方で写っているオブジェクトである。同一オブジェクトを検出する手法として、例えば、顔認識を利用した人物の特定手法や、パターンマッチングを利用した標識、ロゴ等の特定手法を利用して良い。また、ＵＩを介して、ユーザが同一と判断したオブジェクトを指定しても良い。
【００９２】
画素値導出手段８０５は、検出手段８０４が検出した同一オブジェクトについて、撮像した時間帯の夫々に対応する画素値を導出する。例えば、同一オブジェクトが人物の場合、該人物が着ている服の部分の画素値を、同一オブジェクトの画素値として導出して良い。また、例えば、同一オブジェクトが標識やロゴの場合、同じ部分の画素値を、同一オブジェクトの画素値として導出して良いし、同一オブジェクトが床や壁の場合、所定サイズの領域の画素値の平均を、同一オブジェクトの画素値として導出して良い。
【００９３】
保持手段８０６は、ＲＡＭ１０２やＲＯＭ１０３等に格納される専用テーブルを用いて、検出手段８０４が検出した同一オブジェクトに関する値、具体的には、オブジェクトを識別するオブジェクトＩＤの値、画素値導出手段８０５が導出した画素値等を保持する。尚、この専用テーブルについては、図１０を用いて後述する。
【００９４】
色変換規則作成手段８０７は、色変換規則を作成する。この色変換規則には、３ＤＬＵＴ、マトリックス演算で用いるマトリックス、ガンマ変換で用いるテーブル、等が含まれる。以上が、本実施形態における画像処理システムのソフトウェア構成の内容である。
【００９５】
＜画像処理について＞
以下、本実施形態における画像処理について、図９を用いて説明する。
【００９６】
Ｓ９１において、ＰＣ１０にインストールされている監視用アプリケーションを立ち上げること等により監視をスタートし、撮像装置１１ａによる撮像をスタートする。
【００９７】
Ｓ９２において、検出手段は、撮像装置１１ａで現在撮像中の映像と、過去に撮像装置１１ａで撮像し映像保持手段８０３に保持されている映像のうちの１つとを比較し、これらの映像の両方で写っているオブジェクト（即ち同一オブジェクト）を検出する。尚、同一オブジェクトの検出手法として、第１の実施形態と同様の手法を用いて良い。
【００９８】
Ｓ９３において、画素値導出手段８０５は、Ｓ９２で検出された同一オブジェクトの画素値を導出する。本ステップは、第１の実施形態のＳ３３（図３参照）と同様である。
【００９９】
Ｓ９４において、保持手段８０６は、Ｓ９３で導出した同一オブジェクトの画素値を保持する。尚、本ステップで用いるテーブルについては、図１０を用いて後述する。
【０１００】
Ｓ９５において、色変換規則作成手段８０７は、色変換規則作成処理を実行する。尚、本ステップの色変換規則作成処理は、第１の実施形態の色変換規則作成処理（図３のＳ３５、図６参照）と同様である。
【０１０１】
Ｓ９６において、色変換手段８０２は、Ｓ９５で作成された色変換規則を用いて、撮像手段８０１で撮像した映像に対する色変換を行う。
【０１０２】
Ｓ９７において、ＣＰＵ１０１は、監視を続けるか判定する。本ステップの判定結果が真の場合、Ｓ９１に戻る一方、該判定結果が偽の場合、一連の処理は終了する。例えば、ユーザが監視アプリケーションを終了したとき、本ステップで偽と判定される。以上が、本実施形態における画像処理の内容である。
【０１０３】
＜オブジェクトの画素値の保持手段について＞
以下、前述のＳ９４で画素値を保持する保持手段、具体的にはテーブルについて、図１０を用いて説明する。図１０は、オブジェクトＩＤ値と、該オブジェクトＩＤ値に対応する時間帯毎のオブジェクトの画素値と、を保持するテーブルの一例を示す図である。
【０１０４】
図示するように、各オブジェクトＩＤ値に対応する画素値が、時間帯毎に保持される。テーブル中の空欄（例えば、オブジェクトＩＤ値が“服２”、時間帯１の項目等）は、オブジェクトＩＤを取得できなかったため、該当するデータが存在しないことを示す。新しい同一オブジェクトを検出した場合、このテーブルに行が追加され、該検出した同一オブジェクトに対する、オブジェクトＩＤ値と、時間帯毎の画素値とが保持される。以上が、本実施形態におけるオブジェクトの画素値の保持手段の内容である。
【０１０５】
＜本実施形態の効果について＞
本実施形態により、基準データを利用することなく、同じ場所に設置された撮像装置により異なる時間帯で撮像された映像間でのカラーマッチングを実現することが可能になる。
【０１０６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０７】
１０      画像処理装置（ＰＣ）
２０３    検出手段
２０４    画素値導出手段
２０６    色変換規則作成手段
【図１】
2019216333.tif 000023
【図２】
2019216333.tif 000024
【図３】
2019216333.tif 000025
【図４】
2019216333.tif 000026
【図５】
2019216333.tif 000027
【図６】
2019216333.tif 000028
【図７】
2019216333.tif 000029
【図８】
2019216333.tif 000030
【図９】
2019216333.tif 000031
【図１０】
2019216333.tif 000032