(57)【特許請求の範囲】
【請求項１】
コンピュータに、
画像を取得する処理と、
画像を輝度及び色度を含む色空間の成分へ変換する処理と、
前記色空間の成分へ変換された画像に含まれる画素が赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素であるか否かを判定する処理と、
前記被写体が可視光および赤外光の波長に対応する光を受光する状態で撮像された第１のサンプル画像と、前記被写体が可視光の波長に対応する光を受光する状態で撮像された第２のサンプル画像との間で前記被写体に対応する画素の色度の分布に関する距離及び広がり度合の比が対応付けられた補正データにしたがって、前記色空間の成分へ変換された画像に含まれる画素のうち赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素と判定された画素の色成分を色空間上でシフトする色補正を実行する処理と
を実行させることを特徴とする色補正プログラム。
【請求項２】
前記補正データには、前記第１のサンプル画像及び前記第２のサンプル画像の間で前記被写体に対応する画素の輝度の分布に関する距離及び広がり度合の比がさらに対応付けられるものであって、
前記色補正を実行する処理は、前記補正データにしたがって、前記被写体に対応する画素の輝度成分及び色度成分を色空間上でシフトする色補正を実行することを特徴とする請求項１に記載の色補正プログラム。
【請求項３】
前記補正データには、前記第１のサンプル画像及び前記第２のサンプル画像の間で前記被写体に対応する画素の色度の分布に関する広がり方向の差がさらに対応付けられるものであって、
前記色補正を実行する処理は、前記補正データに含まれる広がり方向の差にしたがって、前記被写体に対応する画素の色成分を色空間上で回転させる色補正をさらに実行することを特徴とする請求項１または２に記載の色補正プログラム。
【請求項４】
コンピュータが、
画像を取得する処理と、
画像を輝度及び色度を含む色空間の成分へ変換する処理と、
前記色空間の成分へ変換された画像に含まれる画素が赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素であるか否かを判定する処理と、
前記被写体が可視光および赤外光の波長に対応する光を受光する状態で撮像された第１のサンプル画像と、前記被写体が可視光の波長に対応する光を受光する状態で撮像された第２のサンプル画像との間で前記被写体に対応する画素の色度の分布に関する距離及び広がり度合の比が対応付けられた補正データにしたがって、前記色空間の成分へ変換された画像に含まれる画素のうち赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素と判定された画素の色成分を色空間上でシフトする色補正を実行する処理と
を実行することを特徴とする色補正方法。
【請求項５】
赤外光の分光反射率が可視光の分光反射率よりも高い被写体が可視光および赤外光の波長に対応する光を受光する状態で撮像された第１のサンプル画像と、前記被写体が可視光の波長に対応する光を受光する状態で撮像された第２のサンプル画像との間で前記被写体に対応する画素の色度の分布に関する距離及び広がり度合の比が対応付けられた補正データを記憶する記憶部と、
画像を取得する取得部と、
画像を輝度及び色度を含む色空間の成分へ変換する変換部と、
前記色空間の成分へ変換された画像に含まれる画素が赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素であるか否かを判定する判定部と、
前記補正データにしたがって、前記色空間の成分へ変換された画像に含まれる画素のうち赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素と判定された画素の色成分を色空間上でシフトする色補正を実行する補正部と
を有することを特徴とする色補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色補正プログラム、色補正方法及び色補正装置に関する。
【背景技術】
【０００２】
カメラは、多種多様な用途に利用される。例えば、カメラは、監視カメラや車載カメラとして実装されたり、各種の生体認証や角膜反射を利用する視線検出などに使用される画像の撮像装置として実装されたりする。
【０００３】
例えば、監視カメラや車載カメラの場合、昼夜兼用で用いられる場合がある。この場合、昼間には、赤外光を除去する赤外線カットフィルタを装着することにより、人が眼で認識できる可視光を受光素子に結像させる一方で、夜間や暗闇では、赤外線カットフィルタを除去することにより、近赤外を始めとする赤外光を照明として活用することがある。また、生体認証や視線検出などの機能が搭載される情報処理端末の場合、生体認証や視線検出に用いる画像と、それ以外の用途に用いる画像とを１つのカメラに撮像させることにより、装置の規模やコストの低減を目指す動向も見られる。
【０００４】
このように撮像素子が可視光及び赤外光を受光する場合、カメラにより撮像される画像は、可視光の下で人が眼で認識する色合いとは異なる。このことから、可視光及び赤外光を受光する撮像素子により撮像された画像の色味を補正することにより、可視光が受光される場合、言い換えれば赤外光が受光されない場合と同等の色味を再現する技術が提案されている。
【０００５】
一例として、マトリクス演算により入力画像を補正する方法がある。この方法では、複数の色、例えば２４色を含むカラーチャートが異なる画像入力系で撮影された２つの画像から色補正に用いるマトリクス係数が算出される。すなわち、光路上に赤外線カットフィルタが組み込まれた状態で撮影が行われた画像と、光路上に赤外線カットフィルタが組み込まれない状態で撮影が行われた画像との２つの画像から、撮像素子の分光感度特性を等色関数に近似させるマトリクス係数が最小自乗法により求められる。かかるマトリクス係数を用いる演算により、入力画像の色補正が行われる。
【０００６】
ところが、上記のマトリクス演算により色補正を行う場合、赤外光の分光反射率が高い特定の被写体、例えば植物の葉や化学繊維の布などには、色の再現性を十分に発揮することができない場合がある。例えば、植物の葉の場合、葉に含まれるクロロフィルの影響により、可視光の上限を超える近赤外光に対応する波長で分光反射率が高くなる。このため、自然光や照明などの環境光に含まれる赤外光が画像に与える色味の影響は、植物の葉以外の他の被写体よりも植物の葉の方が大きい。それ故、上記のマトリクス演算により色補正を行ったとしても、他の被写体に比べて植物の葉の色を十分に再現することはできない。この結果、可視光の下では緑色と認識されている葉の色が、同じく可視光で緑に認識されているカラーチャートの緑とは異なる色で認識されてしまうことになる。
【０００７】
このような色再現性の低下を抑制するために、次のような補正データ生成装置も提案されている。この補正データ生成装置では、赤外線カットフィルタが装着されない状態で上記の特定の被写体が撮像された第１のサンプル画像と、赤外線カットフィルタが装着された状態で上記の特定の被写体が撮像された第２のサンプル画像とを用いて、上記の特定の被写体の色を補正する補正データが生成される。
【０００８】
かかる補正データ生成装置では、特定の被写体に含まれる色が色空間上で無彩色に近い局所的な領域に集中するとの知見が利用される。このような知見の下、補正データ生成装置は、第１のサンプル画像上で特定の被写体が映る範囲を指定させることにより、当該特定の被写体に含まれる色が色空間上で分布する楕円領域を設定する。そして、補正データ生成装置では、第１のサンプル画像を用いて設定された楕円領域を第２のサンプル画像に含まれる特定の被写体の色が分布する楕円領域へシフトさせるシフト量を補正量として算出する。その上で、入力される画像に含まれる画素の色が第１のサンプル画像を用いて設定された色空間上の楕円領域に含まれるか否かにより、赤外光の分光反射率が高い部分とそれ以外の部分へ分離される。すなわち、赤外光の分光反射率が高い部分には、上記の補正データを用いて色をシフトさせる補正が行われる一方で、それ以外の部分には、上記のマトリクス演算により色補正が行われる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−１５０２６９号公報
【特許文献２】特開２０１４−２０００４５号公報
【特許文献３】特開２００５−３２８８４５号公報
【特許文献４】特開２０１３−１２８２５９号公報
【特許文献５】特開２００６−０９４１１２号公報
【非特許文献】
【００１０】
【非特許文献１】豊田  善隆，久野  徹也，石田  晃三，杉浦  博明「カラー撮像可能な近赤外撮像装置の研究」映像情報メディア学会誌  Ｖｏｌ．６４，Ｎｏ．１，ｐｐ．１０１〜１１０  ２０１０年
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記の技術では、次に説明するように、色の再現性に自ずから限界がある。
【００１２】
すなわち、上記の補正データ生成装置では、特定の被写体に含まれる色が第１のサンプル画像の色空間上で無彩色に近い局所的な領域に集中するという知見を利用する。ところが、上記の第２のサンプル画像上でも、特定の被写体に含まれる色が局所的な領域に集中する訳ではなく、実際には、第１のサンプル画像上の分布よりも広範囲にわたって分布する。それにもかかわらず、上記の補正データ生成装置では、上記のシフト量を一律に適用することにより色補正が行われるので、色補正後も特定の被写体の色は局所的な領域に集中することになる。この結果、特定の被写体の色が可視光の下で認識される色と類似する色に補正されたとしても、実物のようには広がりを持たない色に補正されるので、色の再現性には限界が生じる。
【００１３】
１つの側面では、本発明は、色の再現性を高めることができる色補正プログラム、色補正方法及び色補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
一態様では、コンピュータに、画像を取得する処理と、画像を輝度及び色度を含む色空間の成分へ変換する処理と、前記色空間の成分へ変換された画像に含まれる画素が赤外光の分光反射率が可視光の分光反射率よりも高い被写体に対応する画素であるか否かを判定する処理と、前記被写体が可視光および赤外光の波長に対応する光を受光する状態で撮像された第１のサンプル画像と、前記被写体が可視光の波長に対応する光を受光する状態で撮像された第２のサンプル画像との間で前記被写体に対応する画素の色度の分布に関する距離及び広がり度合の比が対応付けられた補正データにしたがって、前記被写体に対応する画素の色成分を色空間上でシフトする色補正を実行する処理とを実行させる。
【発明の効果】
【００１５】
色の再現性を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施例１に係る色補正システムに含まれる各装置の機能的構成を示すブロック図である。
【図２Ａ】図２Ａは、サンプル画像の一例を示す図である。
【図２Ｂ】図２Ｂは、サンプル画像の一例を示す図である。
【図３Ａ】図３Ａは、ＲＧＢの各成分が持つ輝度値の一例を示す図である。
【図３Ｂ】図３Ｂは、ＲＧＢの各成分が持つ輝度値の一例を示す図である。
【図４Ａ】図４Ａは、ヒストグラムの一例を示す図である。
【図４Ｂ】図４Ｂは、ヒストグラムの一例を示す図である。
【図５】図５は、ＵＶ平面上における色の分布の一例を示す図である。
【図６】図６は、実施例１に係る設定処理の手順を示すフローチャートである。
【図７】図７は、実施例１に係る第１の補正データの算出処理の手順を示すフローチャートである。
【図８】図８は、実施例１に係る色補正処理の手順を示すフローチャートである。
【図９】図９は、ＹＵＶ空間における色の分布の一例を示す図である。
【図１０Ａ】図１０Ａは、ＵＶ平面上における色の分布の一例を示す図である。
【図１０Ｂ】図１０Ｂは、ＵＶ平面上における色の分布の一例を示す図である。
【図１１】図１１は、第１の補正データの一例を示す図である。
【図１２】図１２は、実施例２に係る色補正処理の手順を示すフローチャートである。
【図１３】図１３は、実施例１及び実施例２に係る色補正プログラムを実行するコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照して本願に係る色補正プログラム、色補正方法及び色補正装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１８】
［色補正システムの構成］
図１は、実施例１に係る色補正システムに含まれる各装置の機能的構成を示すブロック図である。図１に示す色補正システム１は、可視光及び赤外光の波長に対応する光を含んで撮像された画像の色を人の色覚特性に合わせて補正する色補正処理を実現するものである。なお、ここでは、一例として、赤外線を除去するフィルタ、いわゆる赤外線（Infrared）カットフィルタが装着されない状態で撮影される場合を例示するが、後述のように、赤外光に対応する波長のうち一部の波長域の光を透過する光学フィルタが装着された状態で撮影される画像が入力される場合も適用範囲に含まれることは言うまでもない。
【００１９】
ここで、上記の色補正処理の一環として、可視光及び赤外光の波長の光を含んで撮像された画像のうち赤外光の分光反射率が高い特定の被写体に対応する画素の色成分を当該被写体の色が色空間上で分布する範囲よりも広範囲へばらつかせてシフトさせる。このように、植物の葉や化学繊維の布などの特定の被写体に色補正が行われた場合に当該特定の被写体の色が色空間上で局所的な領域に集中することを抑制する。この結果、特定の被写体の色が可視光の下で認識される色と類似する色に補正されると共に、実物のように同色の分類であってもその中で互いが広がりを持つ色に補正される。このような色補正処理によって、一側面として、色の再現性の向上を実現する。
【００２０】
図１に示すように、色補正システム１には、設定装置１０と、色補正装置１００とが含まれる。これら設定装置１０及び色補正装置１００は、所定のネットワークを介して通信可能に接続される。かかるネットワークには、一例として、有線または無線を問わず、インターネット（Internet）を始め、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。
【００２１】
設定装置１０は、色補正に関する各種パラメータの設定を行う装置である。
【００２２】
一実施形態として、設定装置１０は、色補正装置１００に対し、色補正に関する補正データを設定すると共に、赤外光の分光反射率が他の波長域よりも高い特定の被写体とそれ以外の他の被写体とを分離する分離条件を設定する。なお、図１には、色補正に関する各種パラメータが設定装置１０を通じて設定される例を示すが、色補正装置１００の出荷前等に色補正装置１００に予め設定されることとしてもよい。また、設定装置１０及び色補正装置１００は、必ずしも別体として構築されずともよく、色補正装置１００に設定装置１０の機能を併せ持たせることもできる。
【００２３】
色補正装置１００は、上記の色補正処理を実現するコンピュータである。
【００２４】
一実施形態として、色補正装置１００は、パッケージソフトウェアやオンラインソフトウェアとして上記の色補正処理を実行する色補正プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の色補正プログラムを情報処理装置に実行させることにより、情報処理装置を色補正装置１００として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータの他、スマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）などの移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の色補正処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、色補正装置１００は、画像、または、画像に紐付けられた識別情報を入力とし、当該画像に対する上記の色補正処理の実行結果を出力する色補正サービスを提供するサーバ装置として実装される。この場合、色補正装置１００は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の色補正処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
【００２５】
［設定装置１０の構成］
続いて、本実施例に係る設定装置１０の機能的構成について説明する。図１に示すように、設定装置１０は、第１取得部１１と、第２取得部１２と、特定部１３と、変換部１４と、補正データ設定部１５と、分離条件設定部１６とを有する。なお、設定装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。
【００２６】
このうち、第１取得部１１及び第２取得部１２は、いずれも色補正に関する各種パラメータを生成する素材とするサンプル画像を取得する処理部である。以下では、第１取得部１１により取得されるサンプル画像のことを「第１のサンプル画像」と記載すると共に、第２取得部１２により取得されるサンプル画像のことを「第２のサンプル画像」と記載する場合がある。
【００２７】
一実施形態として、第１取得部１１及び第２取得部１２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を搭載するカメラにより撮像されたサンプル画像を取得することができる。また、第１取得部１１及び第２取得部１２は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal  Serial  Bus）メモリなどのリムーバブルメディアに保存されたサンプル画像を読み出すことにより取得することもできる。この他、第１取得部１１及び第２取得部１２は、外部装置からネットワークを介して受信することによってサンプル画像を取得することもできる。
【００２８】
図２Ａ及び図２Ｂは、サンプル画像の一例を示す図である。ここでは、一例として、ＲＧＢの３つの受光素子を有する撮像素子により、各画素がＲＧＢの輝度値を持つ画像が撮像される場合を想定して以下の説明を行うこととする。このうち、赤の成分Ｒは、可視光の波長のうち赤の波長域と赤外光の波長域を受光し、緑の成分Ｇは、可視光の波長のうち緑の波長域と赤外光の波長域を受光し、青の成分Ｂは、可視光の波長のうち青の波長域と赤外光の波長域を受光する。
【００２９】
図２Ａに示す第１のサンプル画像２０Ａ及び図２Ｂに示す第２のサンプル画像２０Ｂは、同一のカメラにより同一の位置及び同一の画角で同一の目標が撮影された画像である点は共通するが、互いの画像が撮影される画像入力系の一部が異なる。すなわち、図２Ａに示す第１のサンプル画像２０Ａは、赤外線カットフィルタが装着されない状態で撮影される画像である一方で、図２Ｂに示す第２のサンプル画像２０Ｂは、赤外線カットフィルタが装着された状態で撮影される画像である点が異なる。このため、第１のサンプル画像２０Ａには、可視光の波長を持つ光に加え、赤外光の波長を持つ光の影響が含まれる一方で、第２のサンプル画像２０Ｂには、赤外光の波長を持つ光の影響は含まれない。なお、ここでは、第１のサンプル画像の撮影形態の一例として、赤外線カットフィルタが装着されない状態で撮影される場合を例示したが、可視光領域および使用する赤外の波長領域の帯域幅、例えば近赤外光の波長の一部を透過する光学フィルタが挿入された状態で撮影される画像を第１のサンプル画像とすることもできる。
【００３０】
これら第１のサンプル画像２０Ａ及び第２のサンプル画像２０Ｂを撮影する場合、一例として、上記の特定の被写体が撮像範囲に含まれる状態で撮影が行われる。かかる特定の被写体の一例として、クロロフィルなどの化学物質を葉っぱに含有する植物などが挙げられる。このように植物が撮影される場合、第１のサンプル画像２０Ａ及び第２のサンプル画像２０Ｂの間で、植物の像２１Ａ及び植物の像２１Ｂの形状は、同様に映る一方で、色の映り方は異なる。すなわち、植物の場合、植物の葉に含まれるクロロフィルの影響によって他の被写体よりも赤外光の分光反射率が大きくなる。それ故、植物の像２１Ｂは人の眼で認識される色と同様に緑色で映る一方で、植物の像２１Ａは赤外光の反射光の影響により灰色がかった青磁色や灰色がかった淡い緑色に映る。
【００３１】
さらに、上記の特定の被写体以外の他の被写体が撮像範囲に含まれる状態で撮影が行われる。かかる他の被写体の一例として、図２Ａ及び図２Ｂに示すように、４行６列に異なる２４色が配列されたカラーチャートが挙げられる。このようなカラーチャートを撮像範囲に含めることによって、特定の被写体以外の他の被写体に色補正を行う場合に用いる補正量、例えば背景の項で上述したマトリクス係数などを後段の処理部で設定することが可能となる。
【００３２】
なお、ここでは、上記の特定の被写体の一例として、植物を例示したが、これ以外にも所定の波長、例えば約７００ｎｍを境界に分光反射率が上昇する物体であれば、植物以外のものを被写体とすることとしてもかまわない。すなわち、可視光の上界付近または近赤外光の波長域で分光反射率が可視光に対応する波長域の分光反射率よりも上昇する物体であれば、如何なる物体、例えば化学繊維の布などであってもかまわない。
【００３３】
特定部１３は、各サンプル画像上で特定の被写体の一部または全部を形成する第１の領域および各サンプル画像上で特定の被写体以外の他の被写体の一部または全部を形成する第２の領域を特定する処理部である。
【００３４】
一実施形態として、特定部１３は、設定装置１０の表示部や設定装置１０に接続された外部装置の表示部に第１のサンプル画像及び第２のサンプル画像のうち少なくともいずれか１つのサンプル画像を表示させる。その上で、特定部１３は、表示部に表示されたサンプル画像上で植物の葉を形成する１または複数の画素を含む範囲を図示しない入力部を通じて指定させる。例えば、特定部１３は、ポインティングデバイスを介してドラッグ＆ドロップの範囲指定を受け付けることによってサンプル画像上で植物の葉に対応する第１の領域を特定することができる。また、特定部１３は、上記の第１の領域を特定する場合と同様の要領で、サンプル画像上でカラーチャートの一部または全部を形成する第２の領域を特定する。なお、ここでは、第１の領域および第２の領域を操作入力により特定する場合を例示したが、必ずしも操作入力により特定せずともかまわない。例えば、サンプル画像にテンプレートマッチングなどの画像認識を適用することにより、サンプル画像上でラベリングされた領域のうち植物や植物の葉との間で形状が類似する領域を第１の領域として特定すると共に、カラーチャートとの間で形状が類似する領域を第２の領域として特定することとしてもかまわない。
【００３５】
変換部１４は、サンプル画像のデータ形式を変換する処理部である。
【００３６】
一実施形態として、変換部１４は、第１取得部１１により取得される第１のサンプル画像および第２取得部１２により取得される第２のサンプル画像のデータ形式を輝度と色差を含む空間で表現されるデータ形式へ変換する。例えば、変換部１４は、第１のサンプル画像および第２のサンプル画像に含まれる各画素の画素値をＲＧＢ空間で表現されていたＲＧＢの画素値から輝度Ｙ及び２つの色差によって表現される画素値へ変換する。なお、ここでは、各サンプル画像をＹＵＶ空間へ変換する場合を例示するが、変換先の色空間はＹＵＶ空間に限定されず、サンプル画像を他の色空間、例えばＬ＊ａ＊ｂ空間に変換することとしてもかまわない。
【００３７】
補正データ設定部１５は、色補正に関する補正データを色補正装置１００に設定する処理部である。
【００３８】
一実施形態として、補正データ設定部１５は、上記の特定の被写体に関する色補正に用いる第１の補正データと、上記の特定の被写体以外の他の被写体に関する色補正に用いる第２の補正データとを算出する。
【００３９】
（１）第１の補正データ
図３Ａ及び図３Ｂは、ＲＧＢの各成分が持つ輝度値の一例を示す図である。図３Ａ及び図３Ｂには、第１のサンプル画像及び第２のサンプル画像の間で同一の座標に位置する画素の輝度値がＲＧＢの成分別に示されている。すなわち、図３Ａ及び図３Ｂの左部には、図２Ｂに示した第２のサンプル画像上の植物の像２１Ｂに含まれる画素の１つである画素２２Ｂまたは画素２３Ｂが持つＲ成分、Ｇ成分及びＢ成分の輝度値が示されると共に、図３Ａ及び図３Ｂの右部には、図２Ａに示した第１のサンプル画像上で上記の画素２２Ｂまたは画素２３Ｂと同一の座標に位置する画素２２Ａまたは画素２３Ａが持つＲ成分、Ｇ成分及びＢ成分の輝度値が示されている。さらに、図３Ａ及び図３Ｂには、Ｒ成分、Ｇ成分及びＢ成分ごとに輝度値の中で占める可視光および赤外光の光量の内訳が示されている。すなわち、図３Ａ及び図３Ｂには、可視光を受光することにより計測される輝度値が黒地の塗り潰しで示される一方で、赤外光を受光することにより計測される輝度値が白地の塗り潰しで示されている。
【００４０】
図３Ａ及び図３Ｂに示す通り、第２のサンプル画像上の画素２２Ｂ及び画素２３Ｂのいずれにおいても、Ｒ成分、Ｇ成分及びＢ成分のうちＧ成分の輝度値が最も高く、Ｇ成分に比べてＲ成分の輝度値及びＢ成分の輝度値は小さい。このため、画素２２Ｂ及び画素２３Ｂは、いずれも緑色として分類されることになるが、これは、あくまで分類が同一であるのであって色味が同一であることまでは意味しない。すなわち、同じ緑色にもバラツキがあり、画素２２Ｂの方が画素２３Ｂよりも濃い緑色として視認される。
【００４１】
一方、第１のサンプル画像上の画素２２Ａ及び画素２３Ａでは、可視光の波長に対応する光だけでなく、赤外光の波長に対応する光も受光される。この場合、ＲＧＢの各成分で赤外光の波長に対応する光が受光される分、Ｒ成分、Ｇ成分及びＢ成分の間で輝度値の比が第２のサンプル画像上の画素２２Ｂ及び画素２３Ｂよりも相対的に小さくなる。この結果、画素２２Ａ及び画素２３Ａが視認される色は、無彩色に近づくことにより彩度が減少するに伴って色のバラツキも少なくなる。
【００４２】
図４Ａ及び図４Ｂは、ヒストグラムの一例を示す図である。図４Ａ及び図４Ｂには、第１のサンプル画像上の第１の領域に含まれる画素が持つ色差に関するヒストグラムが白地の塗りつぶしで示されると共に、第２のサンプル画像上の第１の領域に含まれる画素が持つ色差に関するヒストグラムが黒地の塗りつぶしで示されている。図４Ａ及び図４Ｂに示すグラフの縦軸は、度数を指し、グラフの横軸は、階級値である色差Ｕまたは色差Ｖを指す。
【００４３】
図４Ａ及び図４Ｂに示すヒストグラムは、図３Ａ及び図３Ｂを用いて説明したように、可視光だけが受光される場合と可視光及び赤外光が受光される場合とで第１の領域に含まれる画素の色が色空間上で散らばる分布の広がり度合に差があり、後者の方が前者よりも分布の広がり度合は小さいこと、言い換えれば前者の方が後者よりも分布の広がり度合が大きいことを裏付ける。
【００４４】
かかる広がり度合の差に着目し、補正データ設定部１５は、一例として、第１のサンプル画像の第１の領域に含まれる画素の色成分が色空間上で点在する分布と、第２のサンプル画像の第１の領域に含まれる画素の色成分が色空間上で点在する分布とから、互いの分布に関する距離に加え、互いの分布の広がり度合の比を第１の補正データとして算出する。
【００４５】
このように２つの分布の距離に加え、２つの分布の広がり度合の比を第１の補正データとして用いることによって、特定の被写体に対応する画素が持つ色成分をシフトさせる色補正が行われる場合に、シフト後の色成分が色空間上で局所的な領域に集中することを抑制する。
【００４６】
より具体的には、補正データ設定部１５は、変換部１４によりＲＧＢ空間からＹＵＶ空間へ変換された第１のサンプル画像のうち、特定部１３により特定された第１の領域に含まれる各画素の間で色差の平均値をＵ成分およびＶ成分ごとに算出する。同様に、補正データ設定部１５は、変換部１４によりＲＧＢ空間からＹＵＶ空間へ変換された第２のサンプル画像のうち、特定部１３により特定された第１の領域に含まれる各画素の間で色差の平均値をＵ成分およびＶ成分ごとに算出する。その上で、補正データ設定部１５は、第１のサンプル画像から算出された色差の平均値の座標と、第２のサンプル画像から算出された色差の平均値の座標との距離をＵ成分およびＶ成分ごとに算出する。
【００４７】
このようにして第１のサンプル画像及び第２のサンプル画像から算出される第１の領域間の色差の距離は、特定の被写体に対応する画素が持つ色成分を色空間上でシフトさせるシフト量Δu及びΔvとして用いられる。なお、ここでは、一例として、色差の平均値から距離を求める場合を例示したが、必ずしも平均値でなくともよく、中央値や最頻値から距離を求めることとしてもかまわない。
【００４８】
さらに、補正データ設定部１５は、変換部１４によりＲＧＢ空間からＹＵＶ空間へ変換された第１のサンプル画像のうち、特定部１３により特定された第１の領域に含まれる画素が持つ色差の分布の広がり度合をＵ成分及びＶ成分ごとに算出する。かかる分布の広がり度合を評価する統計量の一例として、上記のシフト量Δu及びΔvの算出に用いられた色差の平均値を用いて、色差の標準偏差や分散を算出することができる。同様に、補正データ設定部１５は、変換部１４によりＲＧＢ空間からＹＵＶ空間へ変換された第２のサンプル画像のうち、特定部１３により特定された第１の領域に含まれる画素が持つ色差の分布の広がり度合をＵ成分及びＶ成分ごとに算出する。その上で、補正データ設定部１５は、第１のサンプル画像から算出された広がり度合と、第２のサンプル画像から算出された広がり度合との間で広がり度合の比をＵ成分およびＶ成分ごとに算出する。
【００４９】
このようにして第１のサンプル画像及び第２のサンプル画像から算出される第１の領域間の広がり度合の比σu_hi及びσv_hiは、特定の被写体に対応する画素が持つ色成分をシフト量Δu及びΔvにしたがってシフトさせる色空間の範囲を規定する補正量として用いられる。
【００５０】
これらシフト量Δu及びΔvと広がり度合の比σu_hi及びσv_hiとが第１の補正データとして色補正装置１００の補正データ記憶部１６０へ登録されることにより、第１の補正データが色補正装置１００に設定される。なお、ここでは、ＵＶ平面上のシフト量及び広がり度合の比を算出する場合を例示したが、Ｌ＊ａ＊ｂ空間上のａｂ平面上のシフト量及び広がり度合の比を算出することとしてもかまわない。
【００５１】
（２）第２の補正データ
また、上記の第２の補正データは、あくまで一例として、上記の非特許文献１「カラー撮像可能な近赤外撮像装置の研究」に開示された方法にしたがって算出することができる。すなわち、補正データ設定部１５は、第１のサンプル画像および第２のサンプル画像の２つのサンプル画像に含まれる画素のうち第２の領域に含まれる画素が持つＲＧＢの画素値から、撮像素子の分光感度特性を等色関数に近似させるマトリクス係数を最小自乗法により求めることができる。
【００５２】
このようにして算出されたマトリクス係数が第２の補正データとして色補正装置１００の補正データ記憶部１６０へ登録されることにより、第２の補正データが色補正装置１００に設定される。
【００５３】
分離条件設定部１６は、上記の特定の被写体とそれ以外の他の被写体とを分離する分離条件を色補正装置１００に設定する処理部である。
【００５４】
一実施形態として、分離条件設定部１６は、上記の分離条件の一例として、第１のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布の形状及び大きさが定義された領域を色補正装置１００に設定することができる。例えば、分離条件設定部１６は、第１のサンプル画像上の第１の領域に含まれる各画素のＵＶ成分がＵＶ平面上で点在する座標の分布を楕円中心点、楕円軸長および楕円回転角度などのパラメータで定義することにより、ＵＶ平面上の楕円領域として近似することができる。このとき、分離条件設定部１６は、第１のサンプル画像内で第１の領域を形成する画素が色空間のＵＶ平面上で集中して分布する箇所に絞って楕円領域を定義するために、画素間の距離が所定値以内である画素同士を包含の対象とし、所定値を超える画素を包含の対象から除外することもできる。このように第１のサンプル画像上で第１の被写体を形成する画素のＵＶ成分がＵＶ平面上で点在する分布を表す楕円領域を算出する。その上で、分離条件設定部１６は、上記の楕円領域を分離条件として色補正装置１００の分離条件記憶部１４０へ登録することにより、分離条件を色補正装置１００に設定する。なお、ここでは、分布を楕円領域に近似する場合を例示したが、他の形状、例えば多角形に近似することとしてもかまわない。
【００５５】
なお、上記の第１取得部１１、第２取得部１２、特定部１３、変換部１４及び補正データ設定部１５及び分離条件設定部１６などの処理部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵ（Central  Processing  Unit）などに、上記の各処理部と同様の機能を発揮するプロセスを各種の半導体メモリ素子、例えばＲＡＭ（Random  Access  Memory）やフラッシュメモリなどに展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro  Processing  Unit）やＤＳＰ（Digital  Signal  Processor）に実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。
【００５６】
［色補正装置１００の構成］
次に、本実施例に係る色補正装置１００の機能的構成について説明する。図１に示すように、色補正装置１００は、取得部１１０と、変換部１２０と、判定部１３０と、分離条件記憶部１４０と、補正部１５０と、補正データ記憶部１６０とを有する。
【００５７】
取得部１１０は、画像を取得する処理部である。ここで言う「画像」は、設定装置１０の第１取得部１１及び第２取得部１２により取得されるサンプル画像とは異なり、上記の色補正処理を適用する画像を指す。以下では、色補正が行われる元となる画像という一側面から「原画像」と記載する場合がある。なお、ここでは、原画像の撮影形態の一例として、赤外線カットフィルタが装着されない状態で撮影される場合を想定するが、可視光領域および使用する赤外の波長領域の帯域幅、例えば近赤外光の波長の一部を透過する光学フィルタが挿入された状態で撮影される画像を原画像とすることもできる。
【００５８】
一実施形態として、取得部１１０は、ＣＣＤやＣＭＯＳなどの撮像素子を搭載するカメラにより撮像された原画像を取得することができる。また、取得部１１０は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal  Serial  Bus）メモリなどのリムーバブルメディアに保存された原画像を読み出すことにより取得することもできる。この他、取得部１１０は、外部装置からネットワークを介して受信することによって原画像を取得することもできる。
【００５９】
変換部１２０は、原画像のデータ形式を変換する処理部である。
【００６０】
一実施形態として、変換部１２０は、取得部１１０により取得される原画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する。例えば、変換部１２０は、原画像に含まれる各画素の画素値をＲＧＢ空間で表現されていたＲＧＢの画素値から輝度Ｙ及び２つの色差によって表現される画素値へ変換する。なお、ここでは、原画像をＹＵＶ空間へ変換する場合を例示するが、変換先の色空間はＹＵＶ空間に限定されず、原画像を他の色空間、例えばＬ＊ａ＊ｂ空間に変換することとしてもかまわない。
【００６１】
判定部１３０は、分離条件記憶部１４０に記憶された分離条件を参照して、原画像に含まれる画素が特定の被写体に対応する画素であるか否かを判定する処理部である。
【００６２】
一実施形態として、判定部１３０は、変換部１２０により色空間へ変換された原画像に含まれる画素のうち画素を１つ選択する。続いて、判定部１３０は、分離条件記憶部１４０に記憶された分離条件、すなわち上述の第１の領域に対応するＵＶ平面上の楕円領域を参照して、先に原画像から選択された画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かを判定する。このとき、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれない場合、当該画素が特定の被写体を形成しない画素であると推定できる。この場合、特定の被写体以外の他の被写体に適用する色補正、例えばマトリクス演算による色補正が補正部１５０により選択される。一方、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれる場合、当該画素が特定の被写体を形成する画素であると推定できる。この場合、第１の被写体に適用する色補正、例えばシフト量Δu及びΔvと広がり度合の比σu_hi及びσv_hiとにしたがってＵＶ平面上で色をシフトさせる色補正が補正部１５０により選択される。なお、ここでは、あくまで一例として、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かにより、特定の被写体に対応する画素とそうでない画素とを分離する場合を例示したが、これ以外の他の分離条件を用いることができるのは言うまでもない。
【００６３】
補正部１５０は、補正データ記憶部１６０に記憶された補正データを参照して、色補正を実行する処理部である。
【００６４】
一実施形態として、補正部１５０は、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かにより、特定の被写体に適用する色補正または特定の被写体以外の他の被写体に適用する色補正を切り換えて実行する。
【００６５】
例えば、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれない場合、補正部１５０は、他の被写体に適用する色補正、例えばマトリクス演算による色補正を実行する。すなわち、補正部１５０は、補正データ記憶部１６０に記憶された第２の補正データ、すなわちマトリクス係数を参照して、当該画素が持つＲＧＢの画素値に第２の補正データに定義されたマトリクス係数を乗算するマトリクス演算を実行する。なお、補正部１５０は、上記の色補正の他にも、上記の色補正が実行された画素値にγ補正および彩度補正などを併せて実行することもできる。
【００６６】
一方、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれる場合、補正部１５０は、特定の被写体に適用する色補正、例えばシフト量Δu及びΔvと広がり度合の比σu_hi及びσv_hiとにしたがってＵＶ平面上で色をシフトさせる色補正を実行する。
【００６７】
これを具体的に説明すると、補正部１５０は、先に選択された画素が持つＵ成分の値を下記の式（１）へ代入すると共に、同画素が持つＶ成分の値を下記の式（２）へ代入することにより、当該画素の色成分をシフトさせる。
【００６８】
u_o=u_in+Δu＋(u_in-u_in平均）*σu_hi・・・式（１）
v_o=v_in+Δv＋(v_in-v_in平均）*σv_hi・・・式（２）
【００６９】
ここで、上記の式（１）における「Δu」は、第１の補正データに含まれるＵ成分のシフト量を指し、「σu_hi」は、第１の補正データに含まれるＵ成分の広がり度合の比を指す。さらに、上記の式（１）における「u_in」は、原画像の画素が持つＵ成分の値を指し、「u_o」は、シフト後のＵ成分の値を指し、「u_in平均」は、原画像の各画素が持つＵ成分の平均値を指す。また、上記の式（２）における「Δv」は、第１の補正データに含まれるＶ成分のシフト量を指し、「σv_hi」は、第１の補正データに含まれるＶ成分の広がり度合の比を指す。さらに、上記の式（２）における「v_in」は、原画像の画素が持つＶ成分の値を指し、「v_o」は、シフト後のＶ成分の値を指し、「v_in平均」は、原画像の各画素が持つＶ成分の平均値を指す。
【００７０】
このようにシフト量Δu及びΔvに加え、広がり度合の比σu_hi及びσv_hiを用いて色補正を行うことによって、シフト後の色成分が色空間上で局所的な領域に集中することを抑制する。この結果、特定の被写体の色が可視光の下で認識される色と類似する色に補正されると共に、実物のように広がりを持つ色に補正される。
【００７１】
図５は、ＵＶ平面上における色の分布の一例を示す図である。図５に示すグラフの縦軸は、色差Ｖを指し、横軸は、色差Ｕを指す。図５には、第１のサンプル画像上の第１の領域に含まれる画素が持つ色成分の分布がＵＶ平面上に円のマークでプロットされる一方で、第２のサンプル画像上の第１の領域に含まれる画素が持つ色成分の分布がＵＶ平面上に菱形のマークでプロットされている。さらに、図５には、第１のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布が楕円に近似された楕円領域５１と、第２のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布が楕円に近似された楕円領域５２とが示されている。
【００７２】
図５に示す通り、シフト量Δu及びΔvに加え、広がり度合の比σu_hi及びσv_hiを用いて色補正を行う場合、原画像に含まれる画素のうちＵＶ平面の楕円領域５１に含まれる画素の色成分が当該楕円領域５１よりも広範囲な楕円領域５２へシフトされる。それ故、特定の被写体の色が可視光の下で認識される色と類似する色に補正されるに留まらず、実物のように同色の分類であってもその中で互いが広がりを持つ色に補正できる。
【００７３】
このようにシフト量Δu及びΔvと広がり度合の比σu_hi及びσv_hiとにしたがってＵＶ平面上でシフトされた画素の色成分の値は当該画素の輝度Ｙの値とともに、ＲＧＢ空間の画素値、すなわちＲＧＢの各成分の輝度値へ逆変換される。
【００７４】
このようにして原画像の各画素の色補正が行われた後、色補正後の画像は、任意の出力先へ出力することができる。例えば、色補正後の画像を所定のディスプレイに表示させたり、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢメモリなどのリムーバブルメディアに保存したりすることもできる。この他、画像を入力として各種の処理をコンピュータに実行させるアプリケーションプログラムへ色補正後の画像を出力したり、ネットワークを介して、色補正後の画像を任意の外部装置へ送信したりすることもできる。
【００７５】
なお、上記の取得部１１０、変換部１２０、判定部１３０及び補正部１５０などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵなどに、上記の各処理部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵやＤＳＰに実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【００７６】
また、上記の分離条件記憶部１４０及び補正データ記憶部１６０には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の分離条件記憶部１４０及び補正データ記憶部１６０は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。
【００７７】
［処理の流れ］
続いて、本実施例に係る色補正システムの処理の流れについて説明する。なお、ここでは、設定装置１０により実行される（１）設定処理、設定処理の一手順として実行される（２）第１の補正データの算出処理を説明した後に、色補正装置１００により実行される（３）色補正処理を説明することとする。
【００７８】
（１）設定処理
図６は、実施例１に係る設定処理の手順を示すフローチャートである。この処理は、一例として、色補正装置１００への設定指示を受け付けた場合に起動される。図６に示すように、設定処理が起動されると、第１取得部１１により第１のサンプル画像が取得されると共に第２取得部１２により第２のサンプル画像が取得される（ステップＳ１０１）。
【００７９】
続いて、特定部１３は、ステップＳ１０１で取得された第１のサンプル画像から特定の被写体の一部または全部を形成する第１の領域を特定すると共に、第１のサンプル画像から特定の被写体以外の他の被写体の一部または全部を形成する第２の領域を特定する（ステップＳ１０２）。
【００８０】
そして、変換部１４は、第１取得部１１により取得される第１のサンプル画像および第２取得部１２により取得される第２のサンプル画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する（ステップＳ１０３）。
【００８１】
その後、補正データ設定部１５は、第１のサンプル画像の第１の領域に含まれる画素の色成分が色空間上で点在する分布と、第２のサンプル画像の第１の領域に含まれる画素の色成分が色空間上で点在する分布とから、互いの分布に関する距離に加え、互いの分布の広がり度合の比を第１の補正データとして算出する（ステップＳ１０４）。
【００８２】
また、補正データ設定部１５は、第１のサンプル画像および第２のサンプル画像の２つのサンプル画像に含まれる画素のうち第２の領域に含まれる画素が持つＲＧＢの画素値から、撮像素子の分光感度特性を等色関数に近似させるマトリクス係数を第２の補正データとして算出する（ステップＳ１０５）。
【００８３】
そして、補正データ設定部１５は、ステップＳ１０４で算出された第１の補正データ及びステップＳ１０５で算出された第２の補正データを色補正装置１００の補正データ記憶部１６０へ登録することにより、複数種の色補正に用いられる各補正データを色補正装置１００に設定する（ステップＳ１０６）。
【００８４】
その後、分離条件設定部１６は、第１のサンプル画像上の第１の領域に含まれる各画素の色成分が色空間上で点在する座標の分布を楕円に近似することにより得られた色空間上の楕円領域を分離条件として算出する（ステップＳ１０７）。
【００８５】
その上で、分離条件設定部１６は、ステップＳ１０７で算出された分離条件を色補正装置１００の分離条件記憶部１４０へ登録することにより、分離条件を色補正装置１００に設定し（ステップＳ１０８）、処理を終了する。
【００８６】
なお、図６に示したフローチャートでは、ステップＳ１０４の処理が実行された後にステップＳ１０５の処理が実行される場合を例示したが、これらの処理は逆の順番で実行することもできるし、並行して実行することもできる。また、図６に示したフローチャートでは、ステップＳ１０４〜ステップＳ１０６の処理が実行された後にステップＳ１０７〜ステップＳ１０８の処理が実行される場合を例示したが、これらの処理も逆の順番で実行することもできるし、並行して実行することもできる。
【００８７】
（２）第１の補正データの算出処理
図７は、実施例１に係る第１の補正データの算出処理の手順を示すフローチャートである。この処理は、図６に示したステップＳ１０４の処理に対応する処理であり、ステップＳ１０３の処理の実行後に起動される。
【００８８】
図７に示すように、補正データ設定部１５は、ステップＳ１０３でＲＧＢ空間からＹＵＶ空間へ変換された第１のサンプル画像のうち、ステップＳ１０２で特定された第１の領域に含まれる各画素の間で色差の平均値をＵ成分およびＶ成分ごとに算出する（ステップＳ２０１）。
【００８９】
同様に、補正データ設定部１５は、ステップＳ１０３でＲＧＢ空間からＹＵＶ空間へ変換された第２のサンプル画像のうち、ステップＳ１０２で特定された第１の領域に含まれる各画素の間で色差の平均値をＵ成分およびＶ成分ごとに算出する（ステップＳ２０２）。
【００９０】
その上で、補正データ設定部１５は、ステップＳ２０１で第１のサンプル画像から算出された色差の平均値の座標と、ステップＳ２０２で第２のサンプル画像から算出された色差の平均値の座標との距離を算出することによりシフト量をＵ成分およびＶ成分ごとに算出する（ステップＳ２０３）。
【００９１】
また、補正データ設定部１５は、ステップＳ１０３でＲＧＢ空間からＹＵＶ空間へ変換された第１のサンプル画像のうち、ステップＳ１０２で特定された第１の領域に含まれる画素が持つ色差の分布の広がり度合をＵ成分及びＶ成分ごとに算出する（ステップＳ２０４）。
【００９２】
同様に、補正データ設定部１５は、ステップＳ１０３でＲＧＢ空間からＹＵＶ空間へ変換された第２のサンプル画像のうち、ステップＳ１０２で特定された第１の領域に含まれる画素が持つ色差の分布の広がり度合をＵ成分及びＶ成分ごとに算出する（ステップＳ２０５）。
【００９３】
その上で、補正データ設定部１５は、ステップＳ２０４で第１のサンプル画像から算出された広がり度合と、ステップＳ２０５で第２のサンプル画像から算出された広がり度合との間で広がり度合の比をＵ成分およびＶ成分ごとに算出し（ステップＳ２０６）、処理を終了する。
【００９４】
これら一連の手順によって、シフト量Δu及びΔvと広がり度合の比σu_hi及びσv_hiとが第１の補正データとして算出されることになる。
【００９５】
なお、図７に示したフローチャートでは、ステップＳ２０１の処理が実行された後にステップＳ２０２の処理が実行される場合を例示したが、これらの処理は逆の順番で実行することもできるし、並行して実行することもできる。また、図７に示したフローチャートでは、ステップＳ２０４の処理が実行された後にステップＳ２０５の処理が実行される場合を例示したが、これらの処理は逆の順番で実行することもできるし、並行して実行することもできる。さらに、図７に示したフローチャートでは、ステップＳ２０１〜ステップＳ２０３の処理が実行された後にステップＳ２０４〜ステップＳ２０６の処理が実行される場合を例示したが、これらの処理も逆の順番で実行することもできるし、並行して実行することもできる。
【００９６】
（３）色補正処理
図８は、実施例１に係る色補正処理の手順を示すフローチャートである。この色補正処理は、一例として、色補正を実行する対象とする原画像が指定された場合に起動する。図８に示すように、色補正を実行する対象とする原画像が指定されると、取得部１１０により原画像が取得される（ステップＳ３０１）。続いて、変換部１２０は、ステップＳ３０１で取得された原画像のデータ形式を輝度と色度を含む空間で表現されるデータ形式へ変換する（ステップＳ３０２）。
【００９７】
そして、判定部１３０は、ステップＳ３０２で色空間へ変換された原画像に含まれる画素のうち画素を１つ選択する（ステップＳ３０３）。続いて、判定部１３０は、分離条件記憶部１４０に記憶された分離条件、すなわち上述の第１の領域に対応するＵＶ平面上の楕円領域を参照して、ステップＳ３０３で原画像から選択された画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かを判定する（ステップＳ３０４）。
【００９８】
ここで、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれる場合（ステップＳ３０４Ｙｅｓ）、当該画素が無彩色に近い色を持ち、かつ赤外光の受光量が多い画素であると推定できるので、上記の特定の被写体を形成する画素である公算が高まる。この場合、補正部１５０は、補正データ記憶部１６０に記憶された第１の補正データに定義されたシフト量Δu及びΔvと広がり度合の比σu_hi及びσv_hiとにしたがって当該画素のＵＶ成分をＵＶ平面上でシフトさせた後にＲＧＢ空間の画素値へ逆変換する色補正を実行する（ステップＳ３０５）。
【００９９】
一方、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれない場合（ステップＳ３０４Ｎｏ）、補正部１５０は、次のような処理を行う。すなわち、補正部１５０は、補正データ記憶部１６０に記憶された第２の補正データ、すなわちマトリクス係数を参照して、当該画素が持つＲＧＢの画素値に第２の補正データに定義されたマトリクス係数を乗算するマトリクス演算を実行する他の被写体用の色補正を行う（ステップＳ３０６）。
【０１００】
その後、原画像に含まれる全ての画素が選択されるまで（ステップＳ３０７Ｎｏ）、上記のステップＳ３０３〜ステップＳ３０６までの処理が繰り返し実行される。そして、原画像に含まれる全ての画素が選択されると（ステップＳ３０７Ｙｅｓ）、補正部１５０は、所定の出力先に対し、補正後の画像を出力し（ステップＳ３０８）、処理を終了する。
【０１０１】
なお、図８のフローチャートでは、原画像に含まれる画素がステップＳ３０３で選択された順番に色補正が行われる場合を例示したが、各画素に対する色補正は並列して実行できることは言うまでもない。
【０１０２】
［効果の一側面］
上述してきたように、本実施例に係る色補正システム１は、可視光及び赤外光の波長の光を含んで撮像された画像のうち赤外光の分光反射率が高い特定の被写体に対応する画素の色成分を当該被写体の色が色空間上で分布する範囲よりも広範囲へばらつかせてシフトさせる。このように、植物の葉や化学繊維の布などの特定の被写体に色補正が行われた場合に当該特定の被写体の色が色空間上で局所的な領域に集中することを抑制する。この結果、特定の被写体の色が可視光の下で認識される色と類似する色に補正されると共に、実物のように同色の分類であってもその中で互いが広がりを持つ色に補正される。したがって、色の再現性を高めることが可能になる。
【実施例２】
【０１０３】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１０４】
［入力画像］
上記の実施例１では、可視光および赤外光の波長に対応する光が撮像素子に結像される撮影形態の一例として、赤外線カットフィルタが装着されない状態で撮影される画像が入力される場合を例示したが、画像の撮影形態はこれに限定されない。例えば、可視光領域および使用する赤外の波長領域の帯域幅を透過する光学フィルタが挿入された状態で撮影される画像を第１のサンプル画像とし、図６に示した設定処理を適用することもできるし、当該画像を原画像とし、図７に示した色補正処理を適用することもできる。
【０１０５】
［色補正のブレンド］
上記の実施例１では、画素のＵＶ成分がＵＶ平面上で第１の領域に対応する楕円領域に含まれるか否かによって２種類の色補正が排他的に実施される場合を例示したが、２種類の色補正を混合することもできる。例えば、色補正装置１００は、画素が持つ色成分が楕円領域に含まれる場合に、下記の式（３）を用いて、色のシフト補正及びマトリクス演算による色補正をブレンドできる。
【０１０６】
RGB=r’g’b’×w1＋rgb×(1-w1)・・・式（３）
【０１０７】
上記の式（３）に示す「ｒ’」、「ｇ’」及び「ｂ’」は、色のシフト補正後のＲＧＢの値であり、上記の式（３）に示す「ｒ」、「ｇ」及び「ｂ」は、マトリクス演算による色補正後のＲＧＢの値である。また、上記の式（３）に示す「ｗ１」は、画素が特定の被写体である確率を指し、例えば、０≦ｗ１≦１の任意の値を設定できる。これによって、例えば、画素が特定の被写体である確率が高くなるにしたがって色のシフト補正の割合を高くし、画素が特定の被写体である確率が低くなるにしたがって、マトリクス演算による色補正の割合を高くして色補正をブレンドできる。なお、ここでは、ＲＧＢ空間でブレンド処理を実行する場合を例示したが、ブレンド処理の適用範囲はＲＧＢ空間の画像に留まらず、その他の色空間、例えばＹＵＶあるいはＬ＊ａ＊ｂ等でブレンド処理を実行した後にＲＧＢに変換してもかまわない。
【０１０８】
［３次元への拡張］
上記の実施例１では、色差Ｕ及び色差Ｖの２次元のＵＶ平面でシフトさせる場合を例示したが、適用範囲が２次元の平面上でのシフトに限定されない。例えば、色補正システム１では、輝度Ｙ、色差Ｕ及び色差Ｖの３次元の色空間上で原画像に含まれる画素の色をシフトさせることもできる。
【０１０９】
具体的には、設定装置１０は、図７に示したステップＳ２０１の処理及びステップＳ２０２の処理でＵ成分の平均値およびＶ成分の平均値と共にＹ成分の平均値をさらに算出する。その上で、設定装置１０は、ステップＳ２０３の処理で第１のサンプル画像から算出された輝度Ｙの平均値の座標と、第２のサンプル画像から算出された輝度Ｙの平均値の座標との距離を算出することにより、輝度Ｙに関するシフト量Δyをさらに算出する。さらに、設定装置１０は、ステップＳ２０４の処理及びステップＳ２０５の処理でＵ成分の広がり度合およびＶ成分の広がり度合と共にＹ成分の広がり度合をさらに算出する。その上で、設定装置１０は、ステップＳ２０６の処理で第１のサンプル画像から算出された輝度Ｙの広がり度合と、第２のサンプル画像から算出された輝度Ｙの広がり度合との間で輝度Ｙの広がり度合の比σy_hiを算出する。これら一連の手順によって、シフト量Δu、Δv及びΔyと広がり度合の比σu_hi、σv_hi及びσy_hiとが第１の補正データとして色補正装置１００へ設定されることになる。
【０１１０】
このような設定の下、色補正装置１００は、図８に示したステップＳ３０３で選択された画素が持つＵ成分の値を上記の式（１）へ代入すると共に同画素が持つＶ成分の値を上記の式（２）へ代入し、さらに、同画素が持つＹ成分の値を下記式（４）へ代入することにより、当該画素の色成分を３次元空間上でシフトさせる。
【０１１１】
y_o=y_in+Δy＋(y_in-y_in平均）*σy_hi・・・式（４）
【０１１２】
図９は、ＹＵＶ空間における色の分布の一例を示す図である。図５に示すグラフには、輝度Ｙ、色差Ｖ及び色差Ｕの３軸が示されている。図９には、第１のサンプル画像上の第１の領域に含まれる画素が持つ色成分の分布がＹＵＶ空間上に円のマークでプロットされる一方で、第２のサンプル画像上の第１の領域に含まれる画素が持つ色成分の分布がＹＵＶ空間上に菱形のマークでプロットされている。さらに、図９には、第１のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布が楕円球に近似された楕円球９１と、第２のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布が楕円球に近似された楕円球９２とが示されている。
【０１１３】
図５に示す通り、シフト量Δy及び広がり度合の比σy_hiをさらに用いて色補正を行う場合、原画像に含まれる画素のうちＵＶ平面の楕円領域５１に含まれる画素の色成分が当該楕円球９１よりも広範囲な楕円球９２へシフトされる。この際、可視光の波長に対応する光に加えて赤外光の波長に対応する光も受光されることにより増加する輝度も加味して色のシフト補正を行うことができる。よって、色の再現性の更なる向上が可能になる。
【０１１４】
［広がり方向］
上記の実施例１では、色補正を行う場合に広がり度合の比を用いる場合を例示したが、かかる広がり度合の比と共に広がり方向の差もさらに第１の補正データとして設定し、色補正に活用できる。
【０１１５】
すなわち、第１のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布が楕円に近似される楕円領域と、第２のサンプル画像に含まれる画素のうち第１の領域に含まれる各画素の色が色空間上で点在する座標の分布が楕円に近似される楕円領域との間で、互いの短軸及び長軸により規定される方向が一致するとは限らない。
【０１１６】
このことから、設定装置１０は、第１のサンプル画像から定義される楕円領域と、第２のサンプル画像から定義される楕円領域との間で互いの短軸及び長軸により規定される方向の相対角度を求める。その上で、設定装置１０は、先の相対角度を広がり方向の差Δθとして第１の補正データへ加えることができる。このような第１の補正データの設定の下、色補正装置１００は、シフト量Δu及びΔvにしたがって画素の色成分を移動させると共に広がり度合の比σu_hi及びσv_hiにしたがって画素の色成分の移動を拡大し、さらに、広がり方向の差ΔθにしたがってＵＶ平面上で画素の色成分を回転させる。このように広がり方向の差が加味される場合、シフト後の色成分が実物に近づく結果、色の再現性をさらに高めることが可能になる。
【０１１７】
［移動変換行列］
本実施例では、シフト量Δu及びΔvと、広がり度合の比σu_hi及びσv_hiと、広がり方向の差Δθとの３つの補正量を設定して色のシフト補正を行う場合を例示したが、これら３つの補正量が加味された移動変換行列を求め、当該移動変換行列を第１の補正データとして設定することもできる。
【０１１８】
例えば、第１のサンプル画像上の第１の領域に含まれる画素の個数がｎであるとしたとき、第１のサンプル画像上の第１の領域に含まれるｎ個の画素が持つＵ成分及びＶ成分は、下記の式（５）に示す通り、２次元のベクトルデータＡとして表すことができる。この場合、第２のサンプル画像上の第１の領域に含まれる画素の個数もｎであるので、第２のサンプル画像上の第１の領域に含まれるｎ個の画素が持つＵ成分及びＶ成分は、下記の式（６）に示す通り、２次元のベクトルデータＢとして表すことができる。
【０１１９】
【数１】
0006531522.tif 000002
【数２】
0006531522.tif 000003
【０１２０】
このうち、２次元のベクトルデータＡに含まれるｎ個の画素に関するＵ成分及びＶ成分ごとの平均値は、下記の式（７）で表すことができ、かかる式（７）を用いて、２次元のベクトルデータＡの共分散行列Σａは、下記の式（９）で表すことができる。一方、２次元のベクトルデータＢに含まれるｎ個の画素に関するＵ成分及びＶ成分ごとの平均値は、下記の式（８）で表すことができ、かかる式（８）を用いて、２次元のベクトルデータＢの共分散行列Σｂは、下記の式（１０）で表すことができる。
【０１２１】
【数３】
0006531522.tif 000004
【数４】
0006531522.tif 000005
【数５】
0006531522.tif 000006
【数６】
0006531522.tif 000007
【０１２２】
この場合、２次元のベクトルデータＡの固有値Ｄａ及び固有ベクトルＶａは、数値解析ソフトウェア等で固有値及び固有ベクトルを算出するのに使用される関数ｅｉｇを用いて、下記の式（１１）の通りに算出できる。同様に、２次元のベクトルデータＢの固有値Ｄｂ及び固有ベクトルＶｂは、関数ｅｉｇを用いて、下記の式（１２）の通りに算出できる。なお、ここでは、固有値及び固有ベクトルの算出に関数ｅｉｇを用いる場合を例示したが、他の関数を用いることとしてもかまわない。
【０１２３】
【数７】
0006531522.tif 000008
【数８】
0006531522.tif 000009
【０１２４】
このように２次元のベクトルデータＡの固有値Ｄａ及び固有ベクトルＶａが算出された後、２次元のベクトルデータＡの移動変換行列Ａｏｕｔは、下記の式（１３）の通りに算出される。また、２次元のベクトルデータＢの移動変換行列Ｂｏｕｔは、下記の式（１４）の通りに算出される。その後、補正行列ｏｕｔは、移動変換行列Ａｏｕｔ及び移動変換行列Ｂｏｕｔの比から下記の式（１５）の通りに求まる。
【０１２５】
【数９】
0006531522.tif 000010
【数１０】
0006531522.tif 000011
ｏｕｔ＝Ｂｏｕｔ／Ａｏｕｔ・・・式（１５）
【０１２６】
このような補正行列ｏｕｔが第１の補正データとして設定された場合、色補正装置１００は、原画像のうち第１の領域に対応する楕円領域に含まれる画素に関する２次元のベクトルデータｉｎを入力とし、上記の補正行列ｏｕｔとの間でベクトル演算を行うことにより、上記の「広がり方向」の項で説明した、広がり方向を用いる色補正と同等の色の再現性を得ることができる。
【０１２７】
図１０Ａ及び図１０Ｂは、ＵＶ平面上における色の分布の一例を示す図である。図１０Ａ及び図１０Ｂに示すグラフの縦軸は、色差Ｖを指し、横軸は、色差Ｕを指す。図１０Ａには、２次元のベクトルデータＡの分布が円のマークでプロットされる一方で、２次元のベクトルデータＢの分布がＵＶ平面上に三角のマーク「△」でプロットされている。さらに、図１０Ｂには、２次元のベクトルデータＡの分布が円のマークでプロットされる一方で、上記の２次元のベクトルデータＡ及び補正行列ｏｕｔの演算結果、すなわち補正後の２次元のベクトルデータの分布がＵＶ平面上に逆三角のマーク「▽」でプロットされている。
【０１２８】
図１０Ａ及び図１０Ｂに示すように、目標とする２次元のベクトルデータＢの分布と、補正後の２次元のベクトルデータの分布とは、互いが近似していると言える。このため、補正行列ｏｕｔを用いて２次元のベクトルデータｉｎの色補正を行う場合でも、上記の「広がり方向」の項で説明した、広がり方向を用いる色補正と同等の色の再現性を得ることができると推定できる。なお、ここでは、２次元のベクトルデータとする場合を例示したが、輝度Ｙをさらに含めて３次元のベクトルデータとして拡張し、補正行列ｏｕｔの設定、補正行列ｏｕｔを用いる色補正を行うこともできる。
【０１２９】
［環境条件］
上記の実施例１では、第１の補正データとして、シフト量Δu及びΔvと、広がり度合の比σu_hi及びσv_hiとを１つ例示したが、画像が撮影される環境に関する条件ごとにシフト量Δu、シフト量Δv、広がり度合の比σu_hi及び広がり度合の比σv_hiなどの補正量を設定することもできる。
【０１３０】
図１１は、第１の補正データの一例を示す図である。図１１には、環境条件の一例として、カメラの撮像範囲で計測される照度ごとに補正量が対応付けられた第１の補正データが示されている。図１１の例で言えば、原画像を撮像するカメラの撮像範囲で計測される照度が照度１に対応する照度の範囲に含まれる場合、シフト量１及び広がり度合の比１が色補正に用いられる。また、原画像を撮像するカメラの撮像範囲で計測される照度が照度２に対応する照度の範囲に含まれる場合、シフト量２及び広がり度合の比２が色補正に用いられる。また、原画像を撮像するカメラの撮像範囲で計測される照度が照度３に対応する照度の範囲に含まれる場合、シフト量３及び広がり度合の比３が色補正に用いられる。これによって、カメラの撮像範囲で計測される照度の多寡に合わせて色補正に用いる補正量を変更することができる。なお、図１１には、環境条件の一例として、照度を例示したが、環境条件はこれに限定されず、原画像が撮影される時間帯、センシングまたはブラウジングにより取得可能な天気の種類などを環境条件とすることもできる。
【０１３１】
このように環境条件ごとに補正量が設定される場合、図８に示した処理の手順の一部を変更し、図１２に示す手順で色補正処理を実行すればよい。図１２は、実施例２に係る色補正処理の手順を示すフローチャートである。図１２には、図８に示した処理と同一の手順については同一のステップ番号が付与されている。図１２に示すように、図８に示したステップＳ３０１の処理が実行された後に、色補正装置１００は、環境条件を検出する（ステップＳ４０１）。例えば、環境条件が照度である場合、カメラ周辺に設けられた照度センサから照度を取得すればよい。続いて、色補正装置１００は、補正データ記憶部１６０に第１の補正データとして記憶された補正量のうちステップＳ４０１で検出された環境条件に対応する補正量を取得する（ステップＳ４０２）。かかるステップＳ４０２の処理によりステップＳ３０５の色補正に用いる補正量が取得された後には、図８に示したステップＳ３０２〜ステップＳ３０８の処理を実行すればよい。
【０１３２】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１１０、変換部１２０、判定部１３０または補正部１５０を色補正装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１１０、変換部１２０、判定部１３０または補正部１５０を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の色補正装置１００の機能を実現するようにしてもよい。
【０１３３】
［色補正プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１３を用いて、上記の実施例と同様の機能を有する色補正プログラムを実行するコンピュータの一例について説明する。
【０１３４】
図１３は、実施例１及び実施例２に係る色補正プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１３に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００〜１８００の各部はバス１４００を介して接続される。
【０１３５】
ＨＤＤ１７００には、図１３に示すように、上記の実施例１で示した取得部１１０、変換部１２０、判定部１３０及び補正部１５０と同様の機能を発揮する色補正プログラム１７００ａが記憶される。この色補正プログラム１７００ａは、図１に示した取得部１１０、変換部１２０、判定部１３０及び補正部１５０の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。
【０１３６】
このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から色補正プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、色補正プログラム１７００ａは、図１３に示すように、色補正プロセス１８００ａとして機能する。この色補正プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち色補正プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、色補正プロセス１８００ａが実行する処理の一例として、図８や図１２に示す処理や実施例２で説明した処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【０１３７】
なお、上記の色補正プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に色補正プログラム１７００ａを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から色補正プログラム１７００ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに色補正プログラム１７００ａを記憶させておき、コンピュータ１０００がこれらから色補正プログラム１７００ａを取得して実行するようにしてもよい。
【符号の説明】
【０１３８】
１    色補正システム
１０    設定装置
１１    第１取得部
１２    第２取得部
１３    特定部
１４    変換部
１５    補正データ設定部
１６    分離条件設定部
１００    色補正装置
１１０    取得部
１２０    変換部
１３０    判定部
１４０    分離条件記憶部
１５０    補正部
１６０    補正データ記憶部
【図１】
0006531522.tif 000012
【図２Ａ】
0006531522.tif 000013
【図２Ｂ】
0006531522.tif 000014
【図３Ａ】
0006531522.tif 000015
【図３Ｂ】
0006531522.tif 000016
【図４Ａ】
0006531522.tif 000017
【図４Ｂ】
0006531522.tif 000018
【図５】
0006531522.tif 000019
【図６】
0006531522.tif 000020
【図７】
0006531522.tif 000021
【図８】
0006531522.tif 000022
【図９】
0006531522.tif 000023
【図１０Ａ】
0006531522.tif 000024
【図１０Ｂ】
0006531522.tif 000025
【図１１】
0006531522.tif 000026
【図１２】
0006531522.tif 000027
【図１３】
0006531522.tif 000028