(57)【特許請求の範囲】
【請求項１】
入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、上記色信号ベクトルを変換することにより上記色信号ベクトルを補正する色補正方法において、
上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いることを特徴とする色補正方法。
【請求項２】
入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、上記色信号ベクトルを変換することによりこの色信号ベクトルを補正する色補正装置において、
上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いて上記色信号ベクトルをアフィン変換することにより補正結果の色信号ベクトルを得る信号補正手段を備えた、
ことを特徴とする色補正装置。
【請求項３】
請求の範囲第２項に記載の色補正装置において、
入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域を分割する第１の領域境界線と第２の領域境界線とを出力する色領域判定手段を備え、
信号補正手段は、平行移動を行う成分と線形変換を行う成分とを有する補正行列として第１の領域境界線の補正行列と第２の領域境界線の補正行列とを用いて上記色信号ベクトルを変換し、第１の領域境界線の補正行列による一次変換結果と第２の領域境界線の補正行列による変換結果とを統合して補正結果の色信号ベクトルを得ることを特徴とする色補正装置。
【請求項４】
請求の範囲第２項に記載の色補正装置において、
信号補正手段は、第１の領域境界線の補正行列による変換結果と第２の領域境界線の補正行列による変換結果とを、入力された色信号ベクトルが属すると判定された色信号平面の領域の境界線と上記色信号ベクトルとの距離関係に基づく重み付けを行って統合し、補正結果の色信号ベクトルを得ることを特徴とする色補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像の色を補正する技術に係るものであり、特に所定の色領域ごとに適切な補正を行う色補正方法及びその装置に関する。
【背景技術】
【０００２】
デジタルカメラを初めとする撮像装置では、一般的に単板式ＣＣＤが用いられ、ＣＣＤの全面に色フィルタを配置し、色を補間することでカラー画像を得ている。この色フィルタの分光感度特性は色毎に異なり、また、人間は木の緑や空の青さに対して、実際の色よりも記憶の中にある鮮やかな色彩を好むという特性があるため、好ましい色（記憶色）となるように色の補正が行われている。【０００３】
一般に、このような色補正方法として、画像データのＲＧＢ信号やＹＣｂＣｒ信号に基づく色を領域ごとに分割し、各領域に予め設定されたゲインで増幅したり、色補正行列を演算し、色の補正が行われている。このような色補正方法の具体例としては、特許文献１に記載があるように、色差信号平面において、まず原点を通る領域境界線により色相を複数の領域に分割し、入力色差信号の位置ベクトルを隣接する２つの領域境界線のベクトル成分に分割する。さらに領域境界線のベクトルを変換行列により一次変換し、色変換を実現することで、色相の全範囲のうち任意の範囲内の色相に対してのみ色補正を行っている。【０００４】
【特許文献１】特開２００２−１７６６５６号  「色補正回路」公報
【特許文献２】特開２０００−１１５５８８号  「撮像装置、撮像装置の制御方法及び記憶媒体」公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような方法では特許文献２に記載されているように、ホワイトバランスを調整した後にも、レンズのばらつきや撮像素子の分光感度特性のばらつき等により、色ばらつきが生じるという問題が知られている。この結果、色ずれが生じ、本来なら灰色や白等の無彩色の色が、ずれた方向の色を帯びてしまうことになる。このため、従来の色補正方法では、色ずれが強調されてしまうという問題があった。【０００６】
この発明は、かかる問題を解決することを目的として、補正行列に色ずれを補正するための平行移動成分を設けることにより、色ずれを補正した後、色を領域毎に選択的に、かつ領域の境界から連続的に色が変わる補正が可能となるように色補正を行うものである。
【課題を解決するための手段】
【０００７】
この発明に係る色補正方法は、入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、上記色信号ベクトルを変換することにより上記色信号ベクトルを補正する色補正方法において、
上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いるものである。
【発明の効果】
【０００８】
このように、この発明に係る色補正方法によれば、色補正を行う変換の際に線形変換を行う成分に加えて、平行移動を行う成分を含むように構成したので、色ずれを防止するような変換を行うことが可能である。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による色補正装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による色平面領域の例を示す図である。
【図３】色信号の表現形式と彩度の算出方法の対応関係を示す図である。
【図４】この発明の実施の形態２による色平面領域の例を示す図である。
【図５】この発明の実施の形態３による色平面領域の例を示す図である。
【符号の説明】
【００１０】
１  輝度・色差変換部、
２  色領域判定部、
３  第１の境界の信号補正部、
４  第２の境界の信号補正部、
５  補正統合部、
６  補正修正部。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による色補正装置を示す構成図である。図１において、色補正装置は、輝度・色差変換部１、色領域判定部２、第１の境界の信号補正部３、第２の境界の信号補正部４、補正統合部５、補正修正部６から構成されている。このうち、色領域判定部２は、色領域判定手段を構成する部位に相当する。第１の境界の信号補正部３、第２の境界の信号補正部４、補正統合部５は信号補正手段を構成する部位に相当する。次に動作について説明する。【００１２】
輝度・色差変換部１は、撮像素子から得られるＲＧＢ信号をＹＣｂＣｒ、ＹＵＶ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊、ＨＳＶのいずれかの輝度信号と色信号へ変換する。以下において、輝度・色差変換部１がＲＧＢ信号をＹＣｂＣｒ信号に変換した場合について説明する。【００１３】
色領域判定部２は、色領域判定手段に相当する部位であって、色信号の存在する領域を判定する。ここで色領域判定部２における色領域判定の方法について、図を用いて説明する。図２において、いまＣｂＣｒ平面の原点を起点とする４つの領域境界線１０１、１０２、１０３、１０４を設ける。そしてこの領域境界線によって、ＣｂＣｒ平面を図に示すように領域２０１、領域２０２、領域２０３、領域２０４に分割する。【００１４】
さらに、原点から領域境界線１０１の方向に向かうベクトルをｕ１、原点から領域境界線１０２の方向に向かうベクトルをｕ２、原点から領域境界線１０３の方向に向かうベクトルをｕ３、原点から領域境界線１０４の方向に向かうベクトルをｕ４とする。このようなベクトルｕ１、ｕ２、ｕ３、ｕ４を、各領域を規定するベクトル、と呼ぶこととする。すなわち、ベクトルｕ１、ｕ２は領域２０１を規定するベクトルであり、ｕ２、ｕ３は領域２０２を規定するベクトル、さらにｕ３、ｕ４は領域２０３を規定するベクトルであり、ｕ４、ｕ１は領域２０４を規定するベクトル、ということになる。【００１５】
ｕ１を領域境界線１０２の方向に９０°回転させたベクトルをｕ１２、ｕ２を領域境界線１０１の方向に９０°回転させたベクトルをｕ２１と表すこととすると、ある色信号ベクトルｘ＝（Ｃｂ，Ｃｒ）Ｔが領域２０１に存在する場合、ベクトルｘとベクトルｕ１２、ｕ２１との内積は式（１）を満たす。
【数１】
0004023518.tif 000002
となる。同様に、ベクトルｘが領域２０２に存在する場合、
【数２】
0004023518.tif 000003
となる。ベクトルｘが領域２０３に存在する場合は
【数３】
0004023518.tif 000004
となる。ベクトルｘが領域２０４に存在する場合は
【数４】
0004023518.tif 000005
なお、上記において、Ｔはベクトルの転置を表す。【００１６】
このように、色領域判定部２は領域２０１、２０２、２０３、２０４を規定する各ベクトルに対する直交ベクトルと色信号ベクトルとの内積を求めておき、このようにして得られた内積が式（１）から式（４）までのいずれかの条件を満たすかを順次判定していき、色信号ベクトルが存在する領域を判定する。最終的に、色領域判定部２は色信号ベクトルｘが存在する領域を識別する情報として、ｕ１、ｕ２、ｕ３、ｕ４のうちのいずれか２つの領域規定ベクトルを第１の領域規定ベクトルと第２の領域規定ベクトルとして出力する。第１の領域規定ベクトルは第１の境界の信号補正部３に入力され、第２の領域規定ベクトルは第２の境界の信号補正部４に入力される。【００１７】
続いて、第１の境界の信号補正部３と第２の境界の信号補正部４は、色領域判定部２により求めた２つの領域規定ベクトルに基づいて、入力された輝度信号Ｙと色信号ＣｂＣｒの補正を行う。ここで、第１の領域規定ベクトルをｕｉ、第２の領域規定ベクトルをｕｊとし、ｕｉ、ｕｊに対する補正行列をＡｉ、Ａｊ、さらに色補正行列Ａｉ、Ａｊで補正した結果をそれぞれ（Ｙｉ，Ｃｂｉ，Ｃｒｉ）、（Ｙｊ，Ｃｂｊ，Ｃｒｊ）とする。第１の境界の信号補正部３と第２の境界の信号補正部４は式（５）及び式（６）に示すような演算を行って輝度信号Ｙと色信号ＣｂＣｒとを補正する。
【数５】
0004023518.tif 000006
【００１８】
なお、式（５）において、Ａｉは式（７）によって与えられる。また式（７）の添え字ｉをｊに置き換えたものがＡｊである。
【数６】
0004023518.tif 000007
【００１９】
式（７）において、色補正行列Ａｉの各成分は、線形変換を行う行列成分Ｕｉと平行移動を行う行列成分Ｖｉから構成されている。このような変換はアフィン変換として知られているものである。線形変換を行うＵｉの各成分は撮像素子の色フィルタの特性と記憶色に再現するための補正量より決定されるものである。平行移動を行うＶｉの各成分は、無彩色のずれに応じて補正量を決定されるものである。【００２０】
補正統合部５は、第１の境界の補正部３による補正結果と、第２の境界の補正部４による補正結果とを、信号ベクトルと領域境界線との距離関係に基づいて重み付けし統合する。具体的には、第１の境界の補正部３による補正結果をｐｉ'＝(Ｙｉ'，Ｃｂｉ'，Ｃｒｉ')Ｔ、ｐｊ’＝(Ｙｊ'，Ｃｂｊ'，Ｃｒｊ')Ｔとし、ベクトルｘが存在する領域を規定する領域境界線とベクトルｘとの距離をｈｉ、ｈｊとして、式（８）に示す合成を行い、合成結果となる信号ベクトルｐｓ=(Ｙｓ，Ｃｂｓ，Ｃｒｓ)Ｔを得る。
【数７】
0004023518.tif 000008
【００２１】
式（８）において、距離ｈｉは式（９）により算出される。
【数８】
0004023518.tif 000009
【００２２】
補正修正部６は、輝度信号と彩度とが所定の値域内に含まれる場合に、補正統合部５が式（８）を用いて算出した補正結果ｐｓを最終的な補正結果として採用し出力する。さらに輝度信号と彩度とが所定の値域に含まれない場合には、入力信号ベクトルｐ＝(Ｙ，Ｃｂ，Ｃｒ)Ｔにおける補正結果ｐｓの寄与の程度を調整し調整後の値を最終的な補正結果として出力する。【００２３】
これらの処理を具体的に説明するならば、次のようになる。すなわち、補正修正部６は彩度Ｃを式（１０）に基づいて算出する。
【数９】
0004023518.tif 000010
【００２４】
補正修正部６は、彩度ＣがＣ１を下限値、Ｃ２を上限値とする所定の値域に含まれるかどうかを判定する。なおＣ１、Ｃ２はＣＣＤなどの撮像素子のＳ／Ｎ比から予め設定された値である。さらに補正修正部６は、判定結果に基づいて式（１１）から式（１３）に示すように係数ｋｓを決定する。
【数１０】
0004023518.tif 000011
【００２５】
ここで、式（１２）が適用される場合が、所定の値域内に彩度Ｃが含まれる場合に相当する。また式（１１）が適用される場合とは、彩度Ｃが低すぎてこの値域に含まれない場合である。さらに式（１３）が適用される場合とは、彩度Ｃが高すぎてこの値域に含まれない場合である。なお、式（１３）において、ＣＭＡＸは彩度の最大値である。【００２６】
そして補正修正部６は、このように決定した係数ｋｓを用いて、式（１４）によりｐｓ'を算出する。
【数１１】
0004023518.tif 000012
【００２７】
続いて補正修正部６は、式（１４）によって算出されたｐｓ'を輝度信号Ｙに基づいて補正する。そのために補正修正部６は、まず輝度信号ＹがＹ１を下限値、Ｙ２を上限値とする所定の値域に含まれるかどうかを判定する。なおＹ１、Ｃ２はＣＣＤなどの撮像素子のＳ／Ｎ比から予め設定された値である。さらに補正修正部６は、判定結果に基づいて式（１５）から式（１７）に示すように係数ｋｙを決定する。
【数１２】
0004023518.tif 000013
【００２８】
ここで、式（１６）が適用される場合が、所定の値域内に輝度信号Ｙが含まれる場合に相当する。また式（１５）が適用される場合とは、輝度信号Ｙが低すぎてこの値域に含まれない場合である。さらに式（１７）が適用される場合とは、輝度信号Ｙが高すぎてこの値域に含まれない場合である。なお、式（１７）において、ＹＭＡＸは輝度信号の最大値である。【００２９】
そして補正修正部６は、このように決定した係数ｋｙを用いて、式（１８）によりｐｙ"を算出する。
【数１３】
0004023518.tif 000014
【００３０】
これまで、輝度・色差変換部１において、ＲＧＢ信号をＹＣｂＣｒの輝度と色信号に変換した場合で説明を行ったが、ＹＵＶ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊、ＨＳＶなど、他の表現形式を用いてもよい。それぞれの表現形式への変換を行った場合、彩度は、図３に示す表のように表現される。それぞれの表現形式において、同様な補正処理を行い、彩度や輝度に対して、補正抑制処理を行うことで、補正を行うことが可能である。【００３１】
以上のように、この発明の実施の形態１による色補正方法では、平行移動の成分を持つ補正行列を用いることにより、色ずれを補正し、色補正を行うことができる効果がある。【００３２】
また、色領域を分割する境界線との距離の重み付けを用いることにより、境界からなめらかに色が変化する色補正を実現できる効果がある。さらに、輝度と彩度の大きさを用いて補正後の信号と補正前信号との比をとることにより、輝度や彩度が低い信号に対する補正を調整し、Ｓ／Ｎ比の増加を抑えることができる効果がある。【００３３】
なお、この実施の形態１においては、ＣｂＣｒ平面を４つの領域に分割する例を示したが、領域の分割数は４に限定されるものではなく、任意の数であってよい。【００３４】
実施の形態２．
実施の形態１において補正統合部５は、入力ベクトルｘが存在するＣｂＣｒ平面の領域を規定する領域境界線とベクトルｘとの距離を算出し、算出された距離に基づく重み付けを行うことで、領域境界における補正結果の連続性を実現したが、重み付けに用いる距離を算出するためには、平方根を求める演算を行う必要があり、計算負荷が高い場合が生ずる。そこで実施の形態２においては、平方根演算を行わなくても、実施の形態１と等価な重み付け演算を行うことのできる色補正装置について説明する。【００３５】
ここで、図４を参照し、実施の形態２の補正統合部５の処理について説明する。なお、その他の部位の構成に関しては実施の形態１の色補正装置と同様であるものとし、それぞれの構成要素に関する説明は省略する。図４において、色信号ベクトルｘは領域２０１にあり、色信号ベクトルの端点をＰ、端点Ｐから領域境界線１０１、１０２におろした垂線の足をＨ１、Ｈ２とし、さらにＰを通過する直線２１０を考え、直線２１０と領域境界線１０１、１０２との交点をＵ、Ｖとする。【００３６】
ＣｂＣｒ平面の原点Ｏと交点Ｕ、Ｖとの距離（線分ＯＵと線分ＯＶの長さ）が等しくなるような直線２１０を考えると、三角形ＯＵＶは二等辺三角形となるから、∠ＯＵＶ＝∠ＯＶＵとなる。さらにＨ１はＰから領域境界線１０１におろした垂線の足であり、Ｈ２はＰから領域境界線１０２におろした垂線の足であるから、∠ＰＨ１Ｕ＝∠ＰＨ２Ｖである。したがって三角形ＰＨ１Ｕと三角形ＰＨ２Ｖは相似となる。【００３７】
ここで、各点の水平座標を添え字ｘで表し、垂直座標を添え字ｙで表すこととする。すなわち、Ｐ、Ｕ、Ｖの座標を（Ｐｘ，Ｐｙ）、（Ｕｘ，Ｕｙ）、（Ｖｘ，Ｖｙ）と表わす。この場合、
【数１４】
0004023518.tif 000015
となる。【００３８】
ここで、Ｕｘ、Ｕｙ、Ｖｘ、Ｖｙは式（２０）で与えられる。
【数１５】
0004023518.tif 000016
ただし、ｋｘ、ｋｙ、ｋｕ１、ｋｕ２は式（２１）で与えられる。
【数１６】
0004023518.tif 000017
【００３９】
したがって、式（８）の距離の重み係数は、式（２２）のように計算される。
【数１７】
0004023518.tif 000018
【００４０】
式（２０）及び式（２１）によって与えられるＵｘ、Ｕｙ、Ｖｘ、Ｖｙ、ｋｘ、ｋｙ、ｋｕ１、ｋｕ２は、領域の領域境界線が定まれば一意に決定できる値である。したがって、領域の分割方法を設定した際に、合わせてこれらの値についても計算し、その計算結果を記憶しておく。さらに色補正時に記憶されたＵｘ、Ｕｙ、Ｖｘ、Ｖｙを用いて式（２２）で重み係数を計算すればよい。これによって、平方根演算を行わなくても、重み係数を算出できるので、演算量を減らすことが可能となる。【００４１】
以上のように、この発明の実施の形態２による色補正装置では、色信号平面を領域に分割する領域境界線と色信号の点との距離に応じて補正の程度を調整する上で、平方根演算を要する距離演算に替えて、色信号の点と領域境界線との幾何学的関係に基づく加減算の組み合わせのみで重み係数を算出することとしたので、演算量を削減できる。【００４２】
実施の形態３．
ここで、図５を参照し、実施の形態3の補正統合部の処理について説明する。色信号ベクトルＰが領域境界線１０１と領域境界線１０２によって分割される領域２０１に存在する場合に、色信号ベクトルＰを領域境界線１０１と領域境界線１０２にそれぞれ平行なベクトルに分解する。これらのベクトルの始点を原点Ｏとした場合の終点をそれぞれＰ１、Ｐ２とすれば、Ｐ１は領域境界線１０１上の点、Ｐ２は領域境界線１０２上の点となり、四角形ＯＰ１ＰＰ２は平行四辺形となる。【００４３】
したがって、
【数１８】
0004023518.tif 000019
となる。【００４４】
点Ｐから領域境界線１０１と領域境界線１０２におろした垂線の足をそれぞれＨ１、Ｈ２とすれば三角形ＰＨ１Ｐ１と三角形ＰＨ２Ｐ２は相似となることから、
【数１９】
0004023518.tif 000020
【００４５】
したがって、式（８）の距離の重み係数は
【数２０】
0004023518.tif 000021
となる。【００４６】
ここで、領域境界線１０１を規定するベクトルをｕ１＝(ｕ１x，ｕ１y)Ｔ、領域境界線１０２を規定するベクトルをｕ２＝(ｕ２x，ｕ２y)Ｔとすると、線分ＯＰ１、ＯＰ２の長さは式（２６）、式（２７）で与えられる。
【数２１】
0004023518.tif 000022
【００４７】
ただし、式（２６）、式（２７）においてＤは、
【数２２】
0004023518.tif 000023
である。【００４８】
式（２８）においてＤは、領域を規定する方向ベクトルが決まれば、一意に決まる数であるため、領域分割を設定する際に同時に設定するか、一度計算で求めておけば、演算量を減らすことが可能である。【００４９】
以上のように、この発明の実施の形態３による色補正方法では、色領域を分割する境界線との距離の重み付けを、色信号の位置ベクトルを、隣接する境界線の２方向に分解し、各方向のベクトルの大きさを重み付け係数として用いることにより、距離の計算において平方根の演算を行う必要がなくなり、演算量の削減を行うことができる効果がある。【００５０】
実施の形態４
実施の形態１における色領域判定部２において、色相方向の境界を方向ベクトルにより規定し、方向ベクトルの直交ベクトルを求めておき、この直交ベクトルと色信号ベクトルとの内積の結果により、色相における色領域を判定していた。しかしこの他にも、色信号ベクトルと方向ベクトルの内積により、色領域の判定を行うようにしてもよい。【００５１】
色領域を規定する方向ベクトルｕｉ，ｕｊのなす角をθとし、それぞれのベクトルと色信号ベクトルｘのなす角をα、βとすると、α＜θでかつβ＜θを満たす場合に色信号ベクトルｘがｕｉ，ｕｊにより設定される領域内に存在することになる。ここで、α、β、θは１８０°よりも小さい角となるから、ｃｏｓ α＜ｃｏｓ θかつｃｏｓ β＜ｃｏｓ θが成立する。これより、
【数２３】
0004023518.tif 000024
【００５２】
したがって、
【数２４】
0004023518.tif 000025
【００５３】
式（３０）による条件が成立する場合、色信号ベクトルｘがｕｉ、ｕｊにより規定される境界に存在することになる。したがってこの条件が成立するかどうか判定することで、直交ベクトルを求めなくても色領域の判定が可能である。
【産業上の利用可能性】
【００５４】
この発明は、例えば、デジタルカメラを初めとする撮像装置やその撮像結果である画像データの補正を行う上で広く適用することができる。
【図１】
0004023518.tif 000026
【図２】
0004023518.tif 000027
【図３】
0004023518.tif 000028
【図４】
0004023518.tif 000029
【図５】
0004023518.tif 000030