(57)【要約】【課題】ホワイトバランス補正を行う際の演算量を少なくして、ホワイトバランス補正の負担を小さくする画像処理装置を提供する。【解決手段】撮像素子から出力される画像信号のRゲイン及びBゲインにホワイトバランス補正を行う画像処理方法であって、前記Rゲイン及びBゲインを座標軸としたXY座標平面に相関色温度に対応した軌跡曲線を該軌跡曲線の少なくとも二点で交わる一次式に近似し、該一次式を用いて前記Ｒゲイン及び/又はＢゲインのホワイトバランス補正を行う。【選択図】図２
2008060659.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力される画像信号のRゲイン及びBゲインにホワイトバランス補正を行う画像処理方法であって、
前記Rゲイン及びBゲインを座標軸としたXY座標平面に相関色温度に対応した軌跡曲線を該軌跡曲線の少なくとも二点で交わる一次式に近似し、該一次式を用いて前記Ｒゲイン及び/又はＢゲインのホワイトバランス補正を行うことを特徴とする画像処理方法。
【請求項２】
前記一次式を下記式で示し、該一次式に下記許容範囲を持たせて前記Ｒゲイン及び/又はＢゲインのホワイトバランス補正を行うことを特徴とする請求項１に記載の画像処理方法。
一次式  ：  Y＝O＊X＋P
許容範囲  ：  Y＝O＊X＋S
Y＝O＊X＋T
S≦P、S≦T  又は  P≦S、S≦T
ただし、
O：軌跡曲線を近似したことにより決定される傾き
P：一次式の切片
X：X座標のゲイン（Rゲイン又はBゲイン）
Y：Y座標のゲイン（Bゲイン又はRゲイン）
S：Y軸における許容範囲のゲイン最小値
T：Y軸における許容範囲のゲイン最大値
【請求項３】
前記相関色温度の範囲内で前記許容範囲内において前記軌跡曲線の全てが入るように設定することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記二点のX座標間の範囲以外で前記軌跡曲線より前記画像信号のY座標のゲインが小さくなった場合は、前記一次式のY座標のゲインを下限としてホワイトバランス補正を行うことを特徴とする請求項２又は３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、CCDやCMOS等の撮像素子から得られる画像信号のホワイトバランス補正を行う画像処理方法に関するものである。
【背景技術】
【０００２】
CCDやCMOS等の撮像素子を備えた撮像装置は、太陽光や蛍光灯等の光源に応じて、撮像画像を白い被写体を白く再現するようにホワイトバランスの補正を行っている。
【０００３】
しかしながら、ホワイトバランスの補正を行う際に有彩色である被写体にホワイトバランスの補正を行ってしまうと、かえって不自然な色補正となってしまう問題がある。
【０００４】
この問題を解決する技術が特許文献１に開示されている。
【０００５】
具体的には、Rゲイン及びBゲインをそれぞれ座標軸にとった座標平面を考え、光源色に応じてホワイトバランスをとるために必要なRBゲインの軌跡を曲線Wとし、有彩色を引き込まないようにするためのRBゲイン可動範囲を表す領域を、前記曲線Wに基づいて設けた境界線にて形成し、現在のRBゲイン値が可動範囲の外に位置する際には、境界線上の点が表わすRBゲイン値を新たなRBゲインとして設定した画像処理方法を用いることにより、有彩色である被写体に対しホワイトバランス補正を行なわず、不自然な色補正を防止する開示がある。
【特許文献１】特開２００１−１６０９７６
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献の画像処理法方によれば、原点を通る直線ONをy = a×xとすれば、Rゲイン及びBゲインよりaを求め、この直線ONと上限又は下限を定める一次式とから、連立方程式を解いて新しいRゲイン及びBゲインを求める演算処理のため、ホワイトバランス補正を行う際の演算が複雑でかつ膨大となり、ホワイトバランス補正制御がスムーズに行われない問題があった。
【０００７】
さらに、RBゲイン可動範囲を前記曲線Wに基づいて行われており、前記演算処理の負担がさらに大きくなる問題もあった。
【０００８】
したがって、本発明は上記問題に鑑みてなされたものであり、その目的は、ホワイトバランス補正を行う際の演算量を少なくし、演算処理負担を小さくすることができる画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理方法は、撮像素子から出力される画像信号のRゲイン及びBゲインにホワイトバランス補正を行う画像処理方法であって、前記Rゲイン及びBゲインを座標軸としたXY座標平面に相関色温度に対応した軌跡曲線を該軌跡曲線の少なくとも二点で交わる一次式に近似し、該一次式を用いて前記Ｒゲイン及び/又はＢゲインのホワイトバランス補正を行うことを特徴とする。
【００１０】
本発明の他の画像処理方法は、前記一次式を下記式で示し、該一次式に下記許容範囲を持たせて前記Ｒゲイン及び/又はＢゲインのホワイトバランス補正を行うことを特徴とする。
【００１１】
一次式  ：  Y＝O＊X＋P
許容範囲  ：  Y＝O＊X＋S
Y＝O＊X＋T
S≦P、S≦T  又は  P≦S、S≦T
ただし、
O：軌跡曲線を近似したことにより決定される傾き
P：一次式の切片
X：X座標のゲイン（Rゲイン又はBゲイン）
Y：Y座標のゲイン（Bゲイン又はRゲイン）
S：Y軸における許容範囲のゲイン最小値
T：Y軸における許容範囲のゲイン最大値
本発明の他の画像処理方法は、前記相関色温度の範囲内で前記許容範囲内において前記軌跡曲線の全てが入るように設定することを特徴とする。
【００１２】
本発明の他の画像処理方法は、前記二点のX座標間の範囲以外で前記軌跡曲線より前記画像信号のY座標のゲインが小さくなった場合は、前記一次式のY座標のゲインを下限としてホワイトバランス補正を行うことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、相関色温度に対応したRゲイン及びBゲインの軌跡曲線を一次式に近似することで、ホワイトバランス補正制御を行う際の演算量を少なくでき、それに伴いホワイトバランス補正制御の負担を小さくすることができ、これによりシステム中のホワイトバランスの占める負荷を小さくすることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態の一例を説明する。図1は撮像装置のブロック図である。
【００１５】
同図に示すように、CCDやCMOS等の被写体像を取込んで画像信号を出力する撮像素子１と、撮像素子１から出力された画像信号から色信号に変換する色変換部２と、色変換部２からの色信号をホワイトバランス補正するホワイトバランス制御部３と、色変換部２からの色信号を積算する信号処理部４と、この積算された色信号に応じてホワイトバランス補正データを演算するホワイトバランス演算部５とから構成されている。
【００１６】
そして、ホワイトバランス制御部３は前記ホワイトバランス補正データにより演算された演算データに基づいて前記色変換部２から入力した色信号にホワイトバランス補正を行なう。
【００１７】
具体的に詳述すると色変換部２は、撮像素子１の複数画素を任意にまとめてブロック化するとともに、そのブロック毎の画像信号を入力してR信号、B信号及びG信号に変換してホワイトバランス制御部３及び信号処理部４に出力し、信号処理部４にて各色信号を積算してホワイトバランス演算部５に出力し、ホワイトバランス演算部５にて積算された色信号から白やグレー色である低彩度のブロックを選択してR信号、B信号及びG信号の平均化を行う。この平均化された信号をホワイトバランス演算部５内の記憶部又は図示しない記憶部に記憶されたホワイトバランス補正を行うためのホワイトバランス補正データに基づいて、R信号及びB信号の最適なRゲイン及びBゲインを演算してホワイトバランス制御部３に出力し、ホワイトバランス制御部３は演算された最適なRゲイン及びBゲインに基づいて色変換部２より入力されたR信号及びB信号にホワイトバランス補正を行う。その後補正されたR信号及びB信号の他、G信号等は装置内の液晶等の表示部などの他の処理部に出力される。
【００１８】
次に、ホワイトバランス演算部５にて行う、ホワイトバランス補正方法について説明する。
【００１９】
図２は、Rゲイン及びBゲインを座標軸とする色温度範囲と許容範囲の相関図である。
【００２０】
曲線Aは相関色温度曲線に基づいて決められたRゲイン及びBゲインの軌跡を示す曲線であり、近似線Bは曲線Aを一次式に近似した直線であり下記式で示す。
【００２１】
近似線B（一次式）  ：  Y＝O＊X＋P
許容範囲  ：  Y＝O＊X＋S（Bゲイン許容線）
Y＝O＊X＋T（Bゲイン許容線）
S≦P、S≦T  又は  P≦S、S≦T
O：軌跡曲線を近似したことにより決定される傾き
P：近似線の切片
X：X座標のゲイン（Rゲイン又はBゲイン）
Y：Y座標のゲイン（Bゲイン又はRゲイン）
S：Y軸における許容範囲のゲイン最小値
T：Y軸における許容範囲のゲイン最大値
同図を参照して説明すると、近似線Bは曲線Aの少なくとも２点と交差するように設定され、カメラ等の撮像装置の仕様等で決められるホワイトバランス補正制御の許容動作範囲に収まる適切な近似線を設定する。好ましくは、曲線Aを近似線Bに近似する際の近似誤差を最小にする為に、曲線Aを散布図と考えて、最小自乗法で近似線Bを算出する。
【００２２】
算出された近似線Bは、ホワイトバランス演算部５内又は外部の図示しない記憶部に記憶されるが、具体的には近似線Bに沿ったRゲイン値及びBゲイン値が記憶される。この記憶されたBゲイン値は、Bゲイン許容線に示すようにある程度許容範囲を持たせており、ホワイトバランス演算部５は補正前のBゲインをこの許容範囲内となるように演算する。
【００２３】
この許容範囲は所定の色温度範囲内で曲線Aを包含するように設定されており、同図に示すごとく色温度AとA’間、色温度BとB’間, 色温度CとC’間の範囲に応じてその許容範囲の大きさは異なる。
【００２４】
具体的には、色温度AとA’間において、許容範囲のBゲイン軸におけるBゲインの最大値（切片AT）を通るBゲイン許容線はBゲイン許容線ATとなり、最小値（切片AS）を通るBゲイン許容線はBゲイン許容線ASとなる。このとき、近似式Bの切片P、切片AT及びASとの関係はP≦AT、P≧ASとなる。
【００２５】
同様に色温度BとB’間では、許容範囲のBゲイン軸におけるBゲインの最大値（切片BT）を通るBゲイン許容線はBゲイン許容線BTとなり、最小値（切片BS）を通るBゲイン許容線はBゲイン許容線BSとなる。このとき、近似式Bの切片P、切片BT及びBSとの関係は、P≦BS≦BTとなる。
【００２６】
次に色温度CとC’間では、許容範囲のBゲイン軸におけるBゲインの最大値（切片CT）を通るBゲイン許容線はBゲイン許容線CTとなり、最小値（切片CS）を通るBゲイン許容線はBゲイン許容線CSとなる。このとき、近似式Bの切片P、切片CT及びCSとの関係はP≧CT、CT≧CSとなる。
【００２７】
したがって、許容範囲を色温度範囲に応じて変更することが可能となる。これにより、曲線Aを近似線Bに近似した際の近似誤差を小さくすることができる。なお、本実施例においては、色温度に応じて許容範囲を変更しているが、ホワイトバランス補正後のRゲインの取りうる範囲に応じて許容範囲を変更してもよい。
【００２８】
次に、ホワイトバランス補正の具体的な実施の形態例を説明する。
【００２９】
本実施の形態例においては、許容範囲を色温度2000K及び8000Kの範囲内において曲線Aを包含するように設定し、ホワイトバランス補正後の色温度範囲を曲線Aと近似線Bとの2交点である色温度3000K及び6000Kの範囲としている。自然光は約2000Kから11000Kの範囲であるが、ホワイトバランス補正の演算を小さくすること及びホワイトバランス補正の有効性とのバランスを考え本例においては、許容範囲を色温度2000K及び8000Kの範囲にて設定している。
【００３０】
ホワイトバランス補正方法について図３、図４及び図５にて説明する。図３、図４及び図５はホワイトバランス補正を行なう際のRゲイン及びBゲインの相関図である。
【００３１】
まず、ホワイトバランス演算部５にて平均化された色信号のRゲイン値及びBゲイン値が座標平面上の点Cの位置でのホワイトバランス補正について図３を用いて説明する。
【００３２】
点Cは設定された色温度3000K〜6000Kの範囲内、すなわちRゲインが近似線Bと曲線Aとの交点の範囲内にあるので、ホワイトバランス演算部５はBゲインを許容範囲内に収まるように、点CにおけるRゲイン値に基づきBゲイン値を演算する。
【００３３】
この演算によって、点Cの位置から座標上で近似線BのBゲイン許容範囲内の点Dを算出し、点DにおけるRゲイン値及びBゲイン値をホワイトバランス制御部３に出力し、ホワイトバランス制御部３は入力されたRゲイン値及びBゲイン値に基づいて色変換部２より入力されたR信号及びB信号にホワイトバランス補正を行う。
【００３４】
なお、点Dは図３においてBゲイン許容線上に示されているが、演算後において許容線上に限らす許容範囲内にはいればよい。
【００３５】
次に、平均化された色信号のBゲインが座標平面上の曲線Aよりも下側の点E及び点Hの位置にあった場合について図４及び図５を用いて説明する。
【００３６】
点Eの位置にあった場合は、設定された色温度範囲3000K〜6000K外、すなわちRゲインが近似線Bと曲線Aとの交点の範囲外にあるので、ホワイトバランス演算部５はRゲインを最寄の色温度範囲内に入るよう演算し点Fを算出する。そして、点Fに対応するRゲイン値に基づきBゲインの許容範囲に関係なく近似線B上のBゲイン値を演算し、近似線B上の点Gを算出する。点GにおけるRゲイン値及びBゲイン値をホワイトバランス制御部３に出力し、その後の処理は上述と同様である。
【００３７】
このように、Rゲインが近似線Bと曲線Aの交点の範囲外にある場合には、近似線BのBゲイン値を下限として制限してホワイトバランス補正をするため、制限しない場合に比べてホワイトバランス補正の際の演算回数を少なくすることができ、ホワイトバランス演算部５の演算処理の負担を軽減することができる。
【００３８】
なお、点Eを含む点群で示された領域Z内には、曲線Aと近似線Bとの最寄の交点となる色温度3000K以上の色温度位置に補正前のRゲインをホワイトバランス補正する。領域Z’内には最寄の色温度6000K以下の色温度位置に補正前のRゲインをホワイトバランス補正する。そして、補正されたRゲインに対応するBゲインを近似線Bを下限としてホワイトバランス補正を行なう。
【００３９】
また、本例では曲線Aと近似線Bとの交点間（色温度3000K~6000K）の範囲内になるようホワイトバランス補正を行なっているが、色温度2000K~8000Kの範囲内になうようホワイトバランス補正を行なう際は、Rゲインが色温度2000K〜3000Kの間又は色温度6000K〜8000Kの間に位置し、Bゲインが曲線Aより小さい場合には最寄の領域X又は領域X’内に入るようBゲインのホワイトバランス補正が行なわれる。これにより、視覚的に違和感のないホワイトバランス補正が行なうことができるとともに、最寄の領域にホワイトバランス補正されるので、ホワイトバランス演算部５の演算処理負担を小さくすることができる。
【００４０】
色温度2000K~8000Kの範囲外の場合は上述の点Eの例と同様のホワイトバランス補正を行なう。
【００４１】
次に点Hの位置にあった場合について図５を用いて説明する。
【００４２】
点Hは上述の通り設定された色温度範囲内にあるので、ホワイトバランス演算部５は点HにおけるRゲイン値に基づくBゲイン値を演算する。この演算によって、点Hの位置からBゲインの許容範囲内の点Iを算出し、点IにおけるRゲイン値及びBゲイン値をホワイトバランス制御部３に出力する。その後の処理は上述と同様である。
【００４３】
かくして、ホワイトバランス補正の演算を行う際に、曲線Aを近似した近似線Bを用いることで、演算を単純化できるとともに、曲線Aと近似線Bとを２点で交差させてかつ、Bゲインに許容範囲を持たせることで、許容範囲を持たない場合に行うBゲイン決定までの詳細な演算を行う必要がなく演算回数を減少させ従来に比べてホワイトバランス演算部５の演算量を小さくでき、スムーズなホワイトバランス補正を行うことができる。
【００４４】
また、複雑な演算が必要となる曲線Aを用いてホワイトバランス補正を行なうよりも、簡便な演算ですむ近似線Bを用いてホワイトバランス補正を行なうことでさらに演算量を小さくした、ホワイトバランス補正を行うことができる。
【００４５】
さらに、入力された色信号が、設定された色温度範囲外、すなわちRゲインが近似線Bと曲線Aの交点の範囲外でかつBゲイン値が曲線Aより小さい場合には、このBゲイン値をBゲインの許容範囲に関らず近似線B上に算出することで、近似線BをBゲインの下限となり、演算回数を少なくしてさらに演算量を小さくすることができる。
【００４６】
加えて、色温度の範囲に応じて、Rゲインの補正を行なわずに、Bゲインのみホワイトバランス補正することによってもホワイトバランス補正の演算量を少なくすることができる。
【００４７】
なお、本発明は上記実施例に限定されず前記本願発明の構成から著しく逸脱するものでなければ許容される。
【００４８】
例えば、上記曲線Aを全色温度範囲に対応して近似したが、補正精度を向上するために、一例として色温度4000Kを境界として4000K以下と4000K以上の近似式を設定することができる。境界とする色温度はホワイトバランス演算処理能力又は求める補正精度に応じて1以上設定することができる。
【００４９】
また、前記実施例においては、Bゲインに許容範囲を持たせてホワイトバランス補正制御を行ったが、Rゲインに許容範囲を持たせてホワイトバランス補正制御を行っても良い。
【００５０】
さらに、本実施例において交点の色温度を3000K及び6000Kに設定しているが、これは実施例の一例に過ぎず3000K〜6000Kまでの色温度範囲を撮影装置の標準モード又は通常撮影モードとした場合、他のモードではその色温度の範囲を変更することができる。
【００５１】
具体的には、図６に示すように周囲の明るさに応じて、通常のホワイトバランス補正に用いる色温度を2000K〜8000Kとして近似線BのBゲインの許容範囲を広くとり、日中等の明るい環境では色温度を4000K〜5000Kとして許容範囲を狭くすることで、明るい環境における近似線Bと曲線Aとの誤差を小さくしたホワイトバランス補正制御を行うようにしても良い。
【００５２】
これは、曲線を包含するようにBゲインの取りうる範囲を決定しており、色温度範囲が小さければBゲインの許容範囲も小さくすむからである。
【００５３】
また、蛍光灯下におけるRゲイン値及びBゲイン値は一般的に曲線Aの正側上方に設定されることから、Bゲイン正側の許容幅を通常設定される許容幅よりさらに大きく設定しても良い。
【図面の簡単な説明】
【００５４】
【図１】撮像装置のブロック図である。
【図２】Rゲイン及びBゲインを座標軸とする色温度範囲と許容範囲の相関図である。
【図３】ホワイトバランス補正を行なう際のRゲイン及びBゲインの相関図である。
【図４】ホワイトバランス補正を行なう際のRゲイン及びBゲインの相関図である。
【図５】ホワイトバランス補正を行なう際のRゲイン及びBゲインの相関図である。
【図６】色温度とBゲインの許容範囲の関係を示すRゲイン及びBゲインの相関図である。
【符号の説明】
【００５５】
１・・・撮像素子
２・・・色変換部
３・・・ホワイトバランス制御部
４・・・信号処理部
５・・・ホワイトバランス演算部
【図１】
2008060659.tif 000003
【図２】
2008060659.tif 000004
【図３】
2008060659.tif 000005
【図４】
2008060659.tif 000006
【図５】
2008060659.tif 000007
【図６】
2008060659.tif 000008