(57)【要約】【課題】  ある照明光の下で観察、撮影した画像を異なる照明光の下に変換してＣＲＴ等に表示するとき、視覚に近い状態で見えるようにする。【解決手段】  画像の測光値である三刺激値ベクトル(X, Y, Z)と視覚感度を表す錐体応答ベクトル(L, M, S)とが線形の関係にあることを利用する。そして２つの異なる照明光の色情報の錐体応答ベクトルと、非標準白色照明光の下での標準白色板の輝度から、一方の照明光の下で観察、撮影した画像に色補正を施すことにより、他方の照明光の下でのカラーアピアランス画像を求めるようにする。【選択図】図１
2005107925.tif 000002
【特許請求の範囲】
【請求項１】
第一照明光の下で撮影した画像の各画素の色情報を測定する手段と、各画素の色情報を錐体応答ベクトルに変換して該錐体応答ベクトルの反対色座標と各画素の輝度の対数値との間の線形演算により各画素の色情報を第二照明光の下での色情報に補正する手段とにより構成されることを特徴とする画像色補正装置。
【請求項２】
第一照明光は標準白色照明光、第二照明光は非標準白色照明光であることを特徴とする請求項１記載の画像色補正装置。
【請求項３】
第一照明光は非標準白色照明光、第二照明光は標準白色照明光であることを特徴とする
請求項１記載の画像色補正装置。
【請求項４】
非標準白色照明光の下に設置された標準白色板から反射する光の参照輝度を測定する手段を具備し、各画素の輝度の参照輝度に対する比がモード係数より小さいときに補正を施すようにしたことを特徴とする請求項３記載の画像色補正装置。
【請求項５】
第一照明光の下で撮影した画像の各画素の色情報を測定し、各画素の色情報を錐体応答ベクトルに変換して該錐体応答ベクトルの反対色座標と各画素の輝度の対数値との間の線形演算により各画素の色情報を第二照明光の下での色情報に補正することを特徴とする画像色補正方法。
【請求項６】
第一照明光は標準白色照明光、第二照明光は非標準白色照明光であることを特徴とする請求項５記載の画像色補正方法。
【請求項７】
第一照明光は非標準白色照明光、第二照明光は標準白色照明光であることを特徴とする
請求項５記載の画像色補正方法。
【請求項８】
非標準白色照明光の下に設置された標準白色板から反射する光の参照輝度を測定し、各画素の輝度の参照輝度に対する比がモード係数より小さいときに補正を施すようにしたことを特徴とする請求項７記載の画像色補正方法。
【請求項９】
請求項５乃至請求項８のいずれか一項記載の画像色補正方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載したプログラムを記録したコンピュータによって読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
白熱電球のように太陽光と異なるスペクトルを持った光によって照明された物体は、標準的な太陽光の下での照明と異なる見かけの色を呈する。本発明は、例えば太陽光の下で撮影した画像に色補正を施して白熱電球の下での画像に変換してＣＲＴ等に表示するときに、太陽光の下での色感覚と同じ感覚で見えるようにするカラーアピアランス画像技術に関する。ここでカラーアピアランス画像とは、第一照明光の下で物体を観察した人が感じる色感覚と同じ感覚を、第二照明光の下で生じさせるための画像である。
【背景技術】
【０００２】
【非特許文献１】Nayatami Y., Takahama K., Sobagaki H. and Hashimoto K., “Color-appearance model and chromatic adaptation transform”, Color Research and Application, 15, 210-221 (1990)
【非特許文献２】Hunt R.W.G., “Revised color-appearance model for related and unrelated colors”, Color Research and application, 16, 146-165 (1991)
【非特許文献３】Kuriki I. and Uchikawa K., “Adaptive Shift of Visual Sensitivity Balance under Ambient Illuminant Change”, Journal of the Optical Society of America A, 15, 2263-2274 (1998)
【０００３】
照明環境が異なる際に見かけの色を合わせるために用いる代表的な色補正式として、国際照明委員会（CIE）はCIE Color Appearance Model９7s（以下、CIECAM９７ｓと表記）を標準式として提案している。これは過去に提案された様々な色補正式を総合したものである。CIECAM97sの元となった色補正式を導出するためのデータは、左右の眼を別々の照明空間に順応させる装置を用いて（両眼隔壁等色法）、左右の視野の間でカラーマッチングを行う方法によって取得していた（非特許文献１及び非特許文献２参照）。しかしながら左右の眼が異なる照明光の空間に順応するという状態は非日常的であり、むしろ、観察者が一つの光によって照明された空間の中で過ごすことの方が多い。非日常的な実験環境において測定された感度変化が、必ずしも人間の日常的な視覚メカニズムの特性を反映しているとは考えられず、視覚感度の測定は単一照明光の環境下で行われるべきである。
【０００４】
また色の変化に対して最も敏感であるのは無彩色の周辺である。非特許文献３では、呈示刺激の色を無彩色に調整する方法によって感度の変化を客観的に測定することが紹介されている。しかしながらある照明条件下で無彩色に見えるとCIECAM97sが予測する光の色度の軌跡をプロットすると、心理物理学的に測定した無彩色点と異なる軌跡を描く。
【０００５】
図５は、各明度/照明光の条件下において、この点から、少しでも外れると色がついて見えるという色光（無彩色点）の軌跡を示したものである。横軸にL錐体（長波長錐体）とM錐体（中波長錐体）の応答の比L/(L+M)、縦軸にS錐体（短波長錐体）とL,M錐体応答の比S/(L+M)を取ったMacLeod-Boynton座標系という、３次元色空間におけるベクトルを輝度平面に射影した色度図である。３つのパネルSl,S2,S3は被験者の違いを示している。シンボルの形状の違いは、環境照明光の色度の違いを示している。S1とS2は５条件、S3は３条件の環境照明光で実験を行った。照明光の色度はグレイのシンボルが示されており、それぞれの照明条件に対応する被験者の無彩色点を同じ形状の白シンボルで示した。白シンボルが複数存在するのは、5段階の輝度において無彩色点調整を行ったためであり、輝度の効果については図６に示す。
【０００６】
各点の条件について25回ずつ繰り返し測定を行い、その平均値を示した。図の見易さの都合から図６にのみ標準偏差を示すエラーパーを示している.黒シンボルは,それぞれ対応するシンボル形状の照明条件においてCIECAM97sが予測する無彩色点であり.対象物の明度(輝度)に関係なく一定の色度を予測している。
【０００７】
図５からは、人間が無彩色と知覚する光の色度(白シンボル)が観察対象の明度に伴って変化するにもかかわらず、CIECAM９7s(黒シンボル)はその変化を予測していないことが読み取れる。図６は、同じデータを観察対象の相対的輝度を横軸とし、縦軸に反対色応答φ（＝L/M)を取って再プロットしたものである。無彩色と感じられる光の色度(白シンボル)が明度に応じて変化する一方で、CIECAM97s(黒シンボル+破線)の予測する無彩色点が明度に関係なく一定値を予測している様子が明らかに示されている.図５、図６において、無彩色と見えるべき光が白シンボルに示した心理物理実験結果の軌跡から逸脱すると、色がついて見える、という現象が生じてしまい、色の見え方の予測として不完全であることになる。この点において従来技術には大きな誤りがある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上のように過去の技術において、照明光が変化したときに発生する見かけの色の変化を近似する式として、非日常的な観察環境である両眼隔壁等色法を用いていたために、実環境に適用するには不適切であるという問題がある。また無彩色点が対象物の明度に応じて変化することが明示的に考慮されていないために、色をつけるべきでない物体に色をつけてしまうという問題がある。
【０００９】
本発明は上記の問題を解決し、CRT等に表示される異なる照明光の下での画像に色補正を施して、視覚に近いカラーアピアランス画像に変換することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像の測光値である三刺激値ベクトル(X, Y, Z)と視覚感度を表す錐体応答ベクトル(L, M, S)とが線形の関係にあることを利用する。そして２つの異なる照明光の色情報と、一方の照明光の下での標準白色板の輝度から、その照明光の下で観察、撮影した画像に色補正を施すことにより、他方の照明光の下での視覚に近いカラーアピアランス画像を求めるようにしたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、人間の視覚感度と線形変換の関係にあるパラメータを用いて、一方の照明光の下で観察した画像に色補正を施して他方の照明光の下でのカラーアピアランス画像を求めている。従ってCRT等に異なる照明光の下での画像を、高速に表示することができる。
【００１２】
特に請求項４、８、及び請求項８を利用したプログラムと記録媒体によれば、非標準白色照明光の下で観察した画像を標準白色光の下での画像に変換するときに色をつけるべきでない物体に色をつけてしまうという問題も解決され、より人間の色感覚に近い画像を求めることができる。
【発明を実施するための最良の形態】
【００１３】
画像を観察、撮影した照明光と、画像を変換しようとする照明光それぞれの色情報から錐体応答ベクトルを求めておく。そして前記の照明光の下で観察、撮影した画像の各画素の色情報を錐体応答ベクトルに変換し、各照明光の錐体応答ベクトルを利用して補正を施すことにより、後者の照明光の下でのカラーアピアランス画像を得る。
【実施例１】
【００１４】
三刺激値ベクトル(X, Y, Z)は、国際照明委員会CIEが1931年に制定した光に関する測定値である。図７に示す等色関数
【数１】
2005107925.tif 000003
を用いて、測定対象の分光放射輝度I(λ)に対する三刺激値ベクトル(X, Y, Z)は(1)〜(3)式のように定義されている。
【数２】
2005107925.tif 000004
【数３】
2005107925.tif 000005
はJISなどの工業規格で定義されている最大視感度という定数である。この三刺激値ベクトル(X, Y, Z)は人間の視覚感度と線形変換の関係にある。
【００１５】
また錐体応答ベクトル(L, M, S)は、図８に示す人間の錐体分光感度
【数４】
2005107925.tif 000006
を用いて、(4)〜(6)式のように定義されている。
【数５】
2005107925.tif 000007
三刺激値ベクトル(X, Y, Z)は、SmithとPokorny (1975)による次の(7)式により錐体応答ベクトル(L, M, S)に変換できる。
【数６】
2005107925.tif 000008
L、M、Sはそれぞれ長波長、中波長、短波長に最大感度を持つ視細胞の応答量を表している。この錐体応答ベクトルを用いて、画像色の補正を行なう。
【００１６】
図１に本発明の一実施例である画像色補正装置のブロック図を示す。これは錐体応答ベクトルを利用して、非標準白色照明光の下で撮影した入力画像１を、標準白色照明光の下での出力画像２２（カラーアピアランス画像）に変換するものである。
入力画像１を撮影した非標準白色照明光の色情報、即ち三刺激値ベクトルを、環境照明光色情報習得部７で錐体応答ベクトル(CL, CM, CS)に変換する。このとき(7)式を用いる。また非標準白色照明光の下での標準白色板からの反射光から、参照輝度取得部８を通じて参照輝度SBを求めておく。
【００１７】
非標準白色照明光の下で撮影した入力画像１のある点における画素の色情報、即ち三刺激値ベクトルを、画素情報入力部６で錐体応答ベクトル(IL, IM, IS)に変換する。このときも(7)式を用いる。そして(8)式に示すように長波長及び中波長に最大感度をもつ視細胞の応答量の和をとることにより、上記の点における輝度IBを求めることができる。
【数７】
2005107925.tif 000009
この輝度IBから、輝度コントラストICを輝度コントラスト算出部１１において求める。
【数８】
2005107925.tif 000010
輝度コントラストICは、輝度コントラスト比較部１７において色補正を行なうべきか否かを判断するときに利用される。輝度コントラストICがモード係数kmodを超える場合は、色補正係数ベクトル(kL, kM, kS)を (1.0, 1.0, 1.0)とする。モード係数kmodは、表面反射率100%の白色表面からの反射光強度を1.0としたときに反射物が発光体に見え始めるための最小輝度の比を表したもので、2.0〜3.0の値をとる。
【００１８】
輝度コントラストICの値がモード係数kmod以下のときは、非線形感度変化算出部２１において以下の計算を行なって色補正係数ベクトル (kL, kM, kS)を求める。まず非標準白色照明光の錐体応答ベクトル(CL, CM, CS)と標準白色照明光の錐体応答ベクトル(SL, SM, SS)それぞれを、反対色座標(φobj、ζobj)、(φstd、ζstd)に変換する。即ち、
【数９】
2005107925.tif 000011
次に係数aφ、bφ、aζ、bζを算出する。
【数１０】
2005107925.tif 000012
ここでDは画像中の輝度ダイナミックレンジの対数値を表している。通常2.0〜3.0の値を用いる。これらの係数から、色補正係数ベクトル(kL, kM, kS)を求めるのに必要な中間補正係数kφ、kζを計算する。
【数１１】
2005107925.tif 000013
【００１９】
図４は中間補正係数(kφ, kζ)を算出するための概念図である。(kφ, kζ)は、非標準白色照明光の反対色座標(φobj, ζobj)と標準白色照明光の反対色座標(φstd, ζstd)との間の値をとり、それは輝度コントラストICによって決定される。仮にkmod=2.0とすると、輝度コントラストICが0.2％〜200％の間にあるときに、ICの対数値に対して線形に決定する。
【００２０】
色補正係数ベクトル(kL, kM, kS)は、上記の中間補正係数を利用した(20)〜(22)式を用いて求める。
【数１２】
2005107925.tif 000014
【００２１】
色補正係数ベクトル(kL, kM, kS)の各成分を入力画像１のある点での錐体応答ベクトル(IL, IM, IS)の各成分それぞれに掛けることにより、補正後の錐体応答ベクトル(OL, OM, OS)を求める。即ち、
【数１３】
2005107925.tif 000015
【００２２】
補正後の錐体応答ベクトル(OL, OM, OS)に、(7)式に示した錐体変換行列の逆行列を掛けて刺激値のベクトルに変換し、更に表示媒体の特性に適合した汎用の画像信号に変換することにより、出力画像２２の画素を得る。
入力画像１の全ての画素に対して上記の操作を繰り返すことにより、標準白色照明光の下でのカラーアピアランスに変換された出力画像２２を得る。
【００２３】
図２に、図1の画像色補正装置を基に、非標準白色照明光の下で撮影した入力画像１を標準白色照明光の下での出力画像（カラーアピアランス画像）に変換する方法を示す。
変換を開始した（ステップS101）直後、環境照明光色情報取得部７で非標準白色照明光の色情報を錐体応答ベクトルに変換する（ステップS102）。また参照輝度取得部８で、非標準白色照明光の下での標準白色板の反射光５から参照輝度を求める（ステップS103）。更に標準白色照明光色情報取得部２４で、標準白色照明光を錐体応答ベクトルに変換する（ステップS104）。
その後入力画像１の最初の画素を選択し（ステップS105）、画素情報入力部６で選択した画素の色情報を錐体応答ベクトルに変換する（ステップS106）。輝度コントラスト算出部１１で、選択した画素の輝度とステップS103で求めた参照輝度とから、選択した画素の輝度コントラストを求める（ステップS107）。
コントラスト比較部１７で、輝度コントラストとモード係数とを比較する（ステップS108）。輝度コントラストがモード係数以下のときは、非線形補正係数算出部２１で３つの色補正係数を計算する（ステップS110）。計算方法は図1で説明したとおりである。その後、画素情報出力部１４でステップS106で求めた画素の錐体応答ベクトルの各成分に色補正係数を掛けることにより補正する（ステップS111）。
【００２４】
ステップS108で輝度コントラストがモード係数よりも大きいとき、またはステップS111を終了したときは、ステップS112に移る。ここでは輝度コントラストがモード係数よりも大きいときは画素の錐体応答ベクトルを、そうでないときは補正された錐体応答ベクトルを表示媒体の特性に適合した汎用の画像信号に変換する。
【００２５】
その後、全ての画素について変換が終了したか否か判断する（ステップS113）。変換していない画素が有るときは次の画素を選択し（ステップS114）、ステップS106に移って同じ操作を繰り返す。全ての画素について変換を終了したときは、変換を終了する（ステップS115）。
【００２６】
図２に示した画像色補正方法を実行するプログラム、及びこのプログラムを記録した記録媒体は本願発明の範囲内に包含される。
【実施例２】
【００２７】
図３に本発明の他の実施例である画像補正装置のブロック図を示す。これは標準白色照明光の下で撮影した入力画像１を、非標準白色照明光の下での出力画像２２（カラーアピアランス画像）に変換するものである。
【００２８】
入力画像１の各画素の色信号から輝度コントラストを求める方法は、実施例１と同じである。補正係数出力部２３は、例えば記憶装置で構成する。この記憶装置では、対象としている非標準白色照明光の下での各輝度コントラスト値に対する色補正係数ベクトル(kL, kM, kS)がテーブルとして記録されている。画素情報出力部１４は、読み出された色補正係数ベクトル(kL, kM, kS)を利用し、次の(26)〜(28)の演算を実行して非標準白色照明光の下での錐体応答ベクトルを求める。
【数１４】
2005107925.tif 000016
以下実施例１と同じ方法で汎用の画像信号に変換して、非標準白色照明光の下での出力画像２２（カラーアピアランス画像）を得る。
【００２９】
補正係数出力部２３は記憶装置に限らず、第1図で示したようにコントラスト比較部  １１、非線形補正係数算出部２１、環境照明光色情報取得部７、標準白色照明光色情報取得部２４で構成して、色補正係数ベクトルを非標準白色照明光と標準白色照明光の錐体応答ベクトルから求めるようにしてもよい。
【実施例３】
【００３０】
第一の非標準白色照明光の下で撮影した入力画像を、第二の非標準白色照明光の下でリアルな視覚を生じさせる出力画像（カラーアピアランス画像）に変換する。このときは図1と類似の装置、図3と同じ装置、或いはこれらを組み合わせた装置を用いればよい。図1と同じ装置を用いる場合は、第一及び第二の非標準白色照明光の錐体応答ベクトルを求めるために、環境照明光色情報取得部７が２つの錐体応答ベクトルを求める必要がある。
【００３１】
入力画面のある画素に対する第一の非標準白色照明光の色補正係数ベクトルを(k1L, k1M, k1S)、第二の非標準白色照明光の色補正係数を(k2L, k2M, k2S)とおいたとき、画素の錐体応答ベクトルの補正式は(29)〜(31)となる。
【数１５】
2005107925.tif 000017
これらの式を利用して各画素の錐体応答ベクトルに補正を施した後、汎用の画像信号に変換することにより、第二の非標準白色照明光の下での出力画像（カラーアピアランス画像）を得る。
【００３２】
実施例１と同様に、実施例２と実施例3に対応する画像色補正方法、プログラム及び記録媒体も本願発明の範囲内に包含される。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施例１による画像色補正装置のブロック図である。
【図２】本発明の実施例１による画像色補正装置の動作を示すフローチャートである。
【図３】本発明の実施例２による画像色補正装置のブロック図である。
【図４】図１の非線形補正係数算出部２１で色補正係数ベクトル算出する方法を示す概念図である。
【図５】CIECAM97sが無彩色に見えると予測する光の色度の軌跡と、心理物理学的に測定した軌跡の違いを示すグラフで、横軸はL錐体とM錐体の応答の比L/(L+M)、縦軸はS錐体とL、M錐体の応答の比S/(L+M)にしている。
【図６】CIECAM97sが無彩色に見えると予測する光の色度の軌跡と、心理物理学的に測定した軌跡の違いを示すグラフで、横軸は相対的輝度、縦軸は反対色応答φ＝L/Mにしている。
【図７】三刺激値ベクトルを求めるときに使用する等色関数のグラフである。
【図８】人間の錐体分光感度を示すグラフである。
【図１】
2005107925.tif 000018
【図２】
2005107925.tif 000019
【図３】
2005107925.tif 000020
【図４】
2005107925.tif 000021
【図５】
2005107925.tif 000022
【図６】
2005107925.tif 000023
【図７】
2005107925.tif 000024
【図８】
2005107925.tif 000025