(57)【要約】  【課題】  ホワイトバランス出力値に対する補正や変更を容易に行う。  【解決手段】  撮像信号に基づき得られるＲ／Ｇ信号およびＢ／Ｇ信号を対数に変換することで、Ｇ信号を基準としたＲ−Ｂ平面上の黒体放射線がＲ＝ｃＢ＋ｚで表現される直線となる。既定のホワイトバランス出力に対する色温度方向の補正を、テーブルなどを参照することなく一次式に基づき簡易に計算することができる。また、直線Ｒ＝ｃＢ＋ｚに対して直交する直線を用いることで、色度偏差方向に対する補正処理も、一次式に基づき簡易に計算することができる。【選択図】  図１６
2007074299.tif 000002
【特許請求の範囲】
【請求項１】
ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにした
ことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
上記第１および第２の色信号それぞれを対数に変換することで線形化された黒体放射線に基づき上記ホワイトバランスの色温度方向への変更を行うようにした
ことを特徴とする画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、
上記第１および第２の色信号は、それぞれＧ信号を基準としたＲ信号およびＢ信号である
ことを特徴とする画像処理方法。
【請求項４】
請求項１に記載の画像処理方法において、
上記第１および第２の色信号それぞれを対数に変換することで線形化された黒体放射線に直交する直線を用いて、色度偏差方向への変更を行うようにした
ことを特徴とする画像処理方法。
【請求項５】
請求項１に記載の画像処理方法において、
上記対数変換は、ソフトウェア上の処理で行うようにした
ことを特徴とする画像処理方法。
【請求項６】
請求項１に記載の画像処理方法において、
ホワイトバランスの色温度方向への変更は、
上記色温度方向への変更量を示す値と上記第１の色信号との関係を示す第１の一次式を計算する第１のステップと、
上記第２の色信号と上記第１のステップで求められた上記第１の色信号の値との関係を示す第２の一次式を計算する第２のステップと、
上記第１のステップで求められた上記第１の色信号と、上記第２のステップで求められた上記第２の色信号とに基づき変更後の上記ホワイトバランス出力を決定する第３のステップと
からなる
ことを特徴とする画像処理方法。
【請求項７】
ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにした画像処理方法をコンピュータ装置に実行させる
ことを特徴とする画像処理プログラム。
【請求項８】
ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにした
ことを特徴とする画像処理装置。
【請求項９】
被写体からの光を撮像し画像信号を出力する撮像部と、
上記撮像部から出力される画像信号に基づきホワイトバランスを調整するホワイトバランス調整部と、
上記ホワイトバランス調整部で調整された上記ホワイトバランスに対する色温度方向への変更を指示する色温度変更指示部と、
上記色温度変更指示部による上記指示に応じて、上記撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いて上記ホワイトバランスの色温度方向への変更を行う色温度変更部と
を有する
ことを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
上記色温度変更部は、
上記第１および第２の色信号それぞれを対数に変換することで線形化された黒体放射線に基づき上記ホワイトバランスの色温度方向への変更を行うようにした
ことを特徴とする撮像装置。
【請求項１１】
請求項９に記載の撮像装置において、
上記第１および第２の色信号は、それぞれＧ信号を基準としたＲ信号およびＢ信号である
ことを特徴とする撮像装置。
【請求項１２】
請求項９に記載の撮像装置において、
上記色温度変更部は、
上記第１および第２の色信号それぞれを対数に変換することで線形化された黒体放射線に直交する直線を用いて、色度偏差方向への変更を行うようにした
ことを特徴とする撮像装置。
【請求項１３】
請求項９に記載の撮像装置において、
上記色温度変更部は、上記対数変換をソフトウェア上の処理で行うようにした
ことを特徴とする撮像装置。
【請求項１４】
請求項９に記載の撮像装置において、
上記色温度変更部によるホワイトバランスの色温度方向への変更は、
上記色温度方向への変更量を示す値と上記第１の色信号との関係を示す第１の一次式を計算し、上記第２の色信号と上記第１の一次式を計算することで求められた上記第１の色信号の値との関係を示す第２の一次式を計算し、上記第１の一次式から求められた上記第１の色信号と、上記第２の一次式から求められた上記第２の色信号とに基づき変更後の上記ホワイトバランス出力を決定する
ようにした
ことを特徴とする撮像装置。
【請求項１５】
撮像部から出力される画像信号に基づき調整されたホワイトバランスに対する色温度方向への変更の指示に応じて、上記撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いて上記ホワイトバランスの色温度方向への変更を行うようにした
ことを特徴とする撮像方法。
【請求項１６】
撮像部から出力される画像信号に基づき調整されたホワイトバランスに対する色温度方向への変更の指示に応じて、上記撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いて上記ホワイトバランスの色温度方向への変更を行うようにした撮像方法をコンピュータ装置に実行させる
ことを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ホワイトバランス出力に対する補正や変更が可能な画像処理方法、画像処理プログラムおよび画像処理装置、ならびに、撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
従来から、電気的に撮像信号を得るような撮像装置（ビデオカメラ、ディジタルカメラなど）では、画像の色がより自然になるように、ホワイトバランスと称される処理が一般的に行われている。ホワイトバランス処理は、ある色温度の光源下で撮影された白い物体の色が偏りのない白色に撮影されるように、画像データのＲ（赤色）、Ｇ（緑色）およびＢ（青色）成分のバランスを調整する処理である。
【０００３】
ホワイトバランスについて概略的に説明する。先ず、色温度について説明する。色温度は、完全黒体を熱したときに完全黒体から放射される放射光の色であり、その色と温度とは、１：１の関係で定義づけられる。ある色の放射光を完全黒体に放射させるために必要な温度が色温度の単位であり、熱力学的温度の単位である"Ｋ"（ケルビン）で表現される。完全黒体からの放射光の色は、完全黒体の温度が高くなるにつれて、色度が赤から白、さらに青の方向に変化する。そのため、全体的に赤みが強い画面を「色温度が低い」と表現し、全体的に青みが強い画面を「色温度が高い」と表現することが可能となる。一般的な光源の色温度は、６０Ｗタングステン白熱電灯で約２８００Ｋ、昼光太陽光で約５６００Ｋ、昼光色の蛍光灯で約６５００Ｋなどとなっている。
【０００４】
図２０は、黒体放射による色温度の変化を、緑色（Ｇ）を基準とした、赤色（Ｒ）および青色（Ｂ）の関係で示す。図２０において、縦軸がＲ、横軸がＢである。曲線に沿って左側方向に進むと色温度が低くなり、右側方向に進むと色温度が高くなる。この図２０に示される色温度の変化を、以下、黒体放射線と呼ぶ。黒体放射線は、このように、非線形の複雑な形状の曲線となる。
【０００５】
実際のホワイトバランス処理では、Ｒ、ＧおよびＢ各色成分のうち１色（例えばＧ）を固定し、他の２色（例えばＲおよびＢ）を黒体放射線上で変化させて、Ｒ、ＧおよびＢ各色のバランスを相対的に調整するのが一般的である。特許文献１には、赤外線カットフィルタが使用されている場合に、適切なホワイトバランス調整を行うことで自然な色再現を実現した技術が記載されている。
【特許文献１】特開２００５−１３０３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、黒体放射線が非線形の複雑な形状の曲線となるため、ＲとＢとの関係や、色温度とＲ、Ｂとの関係がそれぞれ非線形となってしまう。したがって、ホワイトバランス出力に対して補正や変更を行う際の演算が非常に複雑なものとなってしまうという問題点があった。
【０００７】
所定の光源環境下でホワイトバランスが取れた状態で、ユーザにより色温度を補正するように指定された場合を考える。例えば、先ず現在ホワイトバランスが取れている状態でのＲ信号およびＢ信号のレベルを取得する。次に、ユーザにより指定された補正量で補正後の色温度を求め、当該色温度に対応するＲ信号およびＢ信号のレベルを黒体放射線に基づき計算する。そして、ホワイトバランスが取れている状態でのＲ信号およびＢ信号と、ユーザによる補正後のＲ信号およびＢ信号とに基づき、Ｒ信号およびＢ信号のゲインの補正量を求める。
【０００８】
このような場合に、例えば、指定された色温度からＲ信号およびＢ信号のレベルをそれぞれ求める際の演算が黒体放射線に基づき行われる。また、現在の光源環境下でホワイトバランスが取れたとされたＲ信号およびＢ信号が黒体放射線上に乗っているか否かをチェックするための演算が黒体放射線に基づき行われると共に、これらＲ信号およびＢ信号が黒体放射線上に乗っていないとされた場合に、黒体放射線に基づき所定に補正演算がなされる。
【０００９】
このように、ホワイトバランス出力に対する補正や変更処理においては、様々な演算を非線形である黒体放射線に基づき行うことになる。特に、携帯型のビデオカメラやディジタルカメラでは、高速な演算が可能なＣＰＵ(Central Processing Unit)を搭載できないことが考えられるため、処理に長時間を要してしまうおそれがあった。
【００１０】
また、ホワイトバランス出力に対する補正や変更処理のための演算を簡易に行うために、図２１に一例が示されるように、黒体放射線を複数本の線形直線で近似する方法も考えられる。図２１の例では、黒体放射線（点線で示す）を３本の線形直線Ｓ1、Ｓ2およびＳ3で以て近似している。線形直線Ｓ1、Ｓ2およびＳ3のそれぞれは、簡単な一次式で表されるため、演算を容易且つ高速に行うことができる。
【００１１】
しかしながら、この方法でも、直線と直線との接続点において黒体放射線との間に大きなずれが生じ、接続部分において補正計算が必要となるという問題点があった。さらに、その補正計算をどのように行うかという点でも問題があった。
【００１２】
また、黒体放射線を直線で近似する方法でも、Ｒ信号およびＢ信号と色温度との関係が全体として非線形になってしまうことは、避けられない。したがって、Ｂ信号と色温度との関係をテーブル化して予めメモリに記憶させたり、Ｂ信号のレベルに応じて幾つかのブロックに分割して演算するなどの工夫が必要となり、演算が複雑になることが避けられなかったという問題点があった。また、色温度に対してどのように場合分けを行いブロック分割を行うかも、問題になる。
【００１３】
したがって、この発明の目的は、ホワイトバランス出力値に対する補正や変更を容易に行うことができる画像処理方法、画像処理プログラムおよび画像処理装置、ならびに、撮像装置、撮像方法および撮像プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上述した課題を解決するために、第１の発明は、ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにしたことを特徴とする画像処理方法である。
【００１５】
また、第２の発明は、ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにした画像処理方法をコンピュータ装置に実行させることを特徴とする画像処理プログラムである。
【００１６】
また、第３の発明は、ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにしたことを特徴とする画像処理装置である。
【００１７】
また、第４の発明は、被写体からの光を撮像し画像信号を出力する撮像部と、撮像部から出力される画像信号に基づきホワイトバランスを調整するホワイトバランス調整部と、ホワイトバランス調整部で調整されたホワイトバランスに対する色温度方向への変更を指示する色温度変更指示部と、色温度変更指示部による指示に応じて、撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いてホワイトバランスの色温度方向への変更を行う色温度変更部とを有することを特徴とする撮像装置である。
【００１８】
また、第５の発明は、撮像部から出力される画像信号に基づき調整されたホワイトバランスに対する色温度方向への変更の指示に応じて、撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いてホワイトバランスの色温度方向への変更を行うようにしたことを特徴とする撮像方法である。
【００１９】
また、第６の発明は、撮像部から出力される画像信号に基づき調整されたホワイトバランスに対する色温度方向への変更の指示に応じて、撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いてホワイトバランスの色温度方向への変更を行うようにした撮像方法をコンピュータ装置に実行させることを特徴とする撮像プログラムである。
【００２０】
上述したように、第１〜第３の発明は、ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにしているため、ホワイトバランスの色温度方向への変更処理を、単純な一次式の計算をプログラム上で実行するだけで行える。
【００２１】
また、第４〜第６の発明は、撮像部から出力される画像信号に基づき調整されたホワイトバランスに対する色温度方向への変更の指示に応じて、撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いてホワイトバランスの色温度方向への変更を行うようにしているため、撮像画像に対するホワイトバランスの変更処理を、単純な一次式の計算をプログラム上で実行するだけで行え、処理が高速化でき撮像時間の短縮化が図れる。
【発明の効果】
【００２２】
この発明は、上述したように、ホワイトバランスの色温度方向への変更を、第１および第２の色信号それぞれを対数に変換した値を用いて行うようにしているため、ホワイトバランスの色温度方向への変更処理を、単純な一次式の計算をプログラム上で実行するだけで行える効果がある。
【００２３】
また、この発明は、撮像部から出力される画像信号に基づき調整されたホワイトバランスに対する色温度方向への変更の指示に応じて、撮像部から出力される画像信号に基づく第１および第２の色信号それぞれを対数に変換した値を用いてホワイトバランスの色温度方向への変更を行うようにしているため、撮像画像に対するホワイトバランスの変更処理を、単純な一次式の計算をプログラム上で実行するだけで行え、処理が高速化でき撮像時間の短縮化が図れる効果がある。
【発明を実施するための最良の形態】
【００２４】
以下、この発明の実施の一形態を、図面を参照しながら説明する。この発明では、Ｒ信号およびＢ信号を対数平面に変換した値を用いてホワイトバランス出力に対する補正や変更を行うようにしている。Ｂ／Ｇ−Ｒ／Ｇ平面上の黒体放射線が直線で表現でき、色温度方向や色度偏差方向への補正を、テーブル参照や複雑な計算を行うこと無しに容易に行うことができる。
【００２５】
図１は、この発明の実施の一形態に適用可能な撮像装置１の一例の構成を示す。光学系１０は、レンズ、絞り機構、フォーカス機構、ズーム機構などを有する。絞り機構、フォーカス機構およびズーム機構は、後述するＣＰＵ１６の制御に基づき図示されない駆動部に駆動され、絞り、フォーカスおよびズーム／ワイドなどを調整される。
【００２６】
撮像素子１１は、例えばＣＣＤ(Charge Coupled Device)といった撮像素子からなり、照射された光を光電変換によって電気信号に変換し、撮像信号として出力する。撮像信号処理部１２は、撮像素子１１から出力された撮像信号に対して所定の信号処理を施し、ディジタル信号に変換して出力する。例えば、撮像信号処理回路１２は、撮像素子１１から出力された撮像信号に対して、ＣＤＳ(Correlated Double Sampling)回路により画像情報を有する信号だけをンプリングすると共に、ノイズを除去し、ＡＧＣ(Auto Gain Control)回路によりゲインを調整する。そして、Ａ／Ｄ変換によりディジタル信号に変換して出力する。
【００２７】
画像信号処理部１３は、撮像信号処理部１２から供給されたディジタル信号に対して検波系の信号処理を施し、Ｒ、ＧおよびＢ各色の画像データ（それぞれＲ信号、Ｇ信号およびＢ信号と呼ぶ）を取り出す。また、画像信号処理部１３は、Ｒ信号、Ｇ信号およびＢ信号に対してγ補正やホワイトバランス調整といった画質調整を行うと共に、色調補正やシャープネスの補正などの加工処理も行う。
【００２８】
また、画像信号処理部１３では、ホワイトバランス出力に対する補正や変更を行うことができる。この発明の実施の一形態では、このホワイトバランス出力に対する補正や変更を、Ｒ信号およびＢ信号を対数平面に変換した値に基づき行う。
【００２９】
圧縮符号化部１４は、画像信号処理部１３から供給された画像データに対して、所定の方式で圧縮符号化処理を施す。画像データが静止画像の場合には、例えばＪＰＥＧ(Joint Photographic Experts Group)方式を用いて圧縮符号化処理が行われる。静止画像の場合、圧縮符号化処理を省略することも可能である。画像データが動画像の場合には、ＭＰＥＧ２(Moving Pictures Experts Group 2)、ＭＰＥＧ４などの圧縮符号化方式を用いることができる。なお、画像データの圧縮符号化方式は、これらの例に限定されない。
【００３０】
圧縮符号化された画像データは、記録部１５に供給され、記録媒体２０に記録される。記録媒体２０としては、不揮発性の半導体メモリや光ディスクなどが適用可能である。動画像を記録する場合、記録媒体２０として磁気テープを用いることもできる。
【００３１】
ＣＰＵ(Central Processing Unit)１６は、ＲＯＭ(Read Only Memory)１７およびＲＡＭ(Random Access Memory)１８が接続され、ＲＯＭ１７に予め記憶されたプログラムやデータに従い、ＲＡＭ１８をワークメモリとして用いて、この撮像装置１の全体を制御する。
【００３２】
例えば、ＣＰＵ１６は、画像信号処理部１３からＲ信号、Ｇ信号およびＢ信号を取得し、取得された各信号に基づき、ホワイトバランス調整を行うためのＲ信号およびＢ信号に対するアンプゲインを、プログラムに従い計算する。計算されたアンプゲインは、画像信号処理部１３に供給される。画像信号処理部１３は、供給されたアンプゲインに基づきＲ信号およびＢ信号のゲインをそれぞれ調整し、画像データのホワイトバランス調整を行う。
【００３３】
図２は、画像信号処理部１３におけるホワイトバランスを調整するための一例の構成を示す。入力されたＲ信号およびＢ信号は、アンプ３１Ａおよびアンプ３１Ｂにそれぞれ供給されると共に、ＷＢ（ホワイトバランス）アンプゲイン設定部３０に供給される。ＷＢアンプゲイン設定部３０は、ＣＰＵ１６からの制御信号に基づきアンプ３１Ａおよび３１Ｂのゲインをそれぞれ設定する。
【００３４】
例えば、ＷＢアンプゲイン設定部３０は、Ｒ信号、Ｇ信号およびＢ信号を１フレーム分でそれぞれ積分する。積分結果は、ＣＰＵ１６に供給される。ＣＰＵ１６は、Ｒ信号、Ｇ信号およびＢ信号それぞれの積分結果を比較し、比較結果に基づきＲ信号、Ｇ信号およびＢ信号のレベルが互いに等しくなるようにアンプ３１Ａおよびアンプ３１Ｂのゲインを設定するような制御信号を出力する。この制御信号は、ＷＢアンプゲイン設定部３０に供給される。ＷＢアンプゲイン設定部３０は、供給された制御信号に基づきアンプ３１Ａおよびアンプ３１Ｂのゲインを設定する。アンプ３１Ａおよびアンプ３１Ｂのゲインをそれぞれ調整することで、Ｇ信号に対してＲおよびＢ信号のレベルを相対的に変化させ、Ｒ、ＧおよびＢ信号のレベルを等しくすることで、ホワイトバランスを取る。
【００３５】
なお、Ｇ信号に対してさらにアンプを設け、Ｒ信号、Ｇ信号およびＢ信号のそれぞれについてゲインを調整するようにもできる。
【００３６】
次に、この発明の実施の一形態によるホワイトバランス出力に対する補正や変更方法について、より詳細に説明する。この発明においては、既定のホワイトバランス出力を何らかの要因で色温度方向や色度偏差方向に補正を行う際に、Ｇ信号を基準としたＲ信号の対数平面およびＢ信号の対数平面で計算を行う。黒体放射線は、従来技術で既に説明したように、非線形の複雑な形状の曲線を描く。本願発明の発明者は、Ｒ信号およびＢ信号の対数平面で計算を行うことにより、黒体放射線が線形直線に近似できることを導き出し、これを利用して色温度方向の計算を非常に簡易なものとした。
【００３７】
なお、ここでいう、既存のホワイトバランスを補正する何らかの要因とは、例えば、ホワイトバランス出力を撮像装置１の仕様として意図的に変更し、出力画像の変更を行うことが挙げられる。また例えば、ユーザが撮像装置１に対してホワイトバランスの補正量や色温度の指定などを行い、指定された補正量や色温度に従ったホワイトバランス出力を行う場合もある。
【００３８】
ここで、黒体放射線が、Ｒ信号およびＢ信号の対数平面上で線形直線として扱うことができることについて説明する。
【００３９】
一般的に、黒体の絶対温度における放射の色度点を結んだ線を黒体軌跡若しくは黒体放射線と呼び、ＣＩＥ(commission internationale de l'eclairage)が昼光の測定結果に基づきｘｙ色度図上にプロットした色度座標に近似する曲線を昼光軌跡と呼ぶ。黒体軌跡と昼光軌跡とは、略同一であると見做すことができる。色温度を等間隔で値を取り、ｘｙ色度図上で昼光軌跡を求める式は、次式（１）のようになる。なお、Ｔcpは、色温度である。ここでは、この式（１）により、昼光軌跡のｘｙ色度図上の座標を４０００Ｋ〜１００００Ｋの範囲で求めた。
【数１】
2007074299.tif 000003
【００４０】
この式（１）で求めたｘｙ座標の値から三刺激値Ｘ，Ｙ，Ｚを算出し、算出された三刺激値Ｘ，Ｙ，Ｚを、ＣＩＥ  Ｒｅｃ．７０９によるＸＹＺ系からＲＧＢ系への変換式（２）を用いてＲ、Ｇ、Ｂそれぞれの値を求める。このようにして求められたＲ値、Ｇ値およびＢ値をそれぞれＲ信号、Ｇ信号およびＢ信号と仮定して、以下の説明を進める。
【数２】
2007074299.tif 000004
【００４１】
ホワイトバランス処理は、一般的には、Ｇ信号を基準としたＲ／Ｇ値（Ｒ／Ｇ信号とする）およびＢ／Ｇ値（Ｂ／Ｇ信号とする）に基づき行うので、先ず、式（２）で求めたＲ信号、Ｇ信号およびＢ信号からＲ／Ｇ信号およびＢ／Ｇ信号を求める。これらＲ／Ｇ信号およびＢ／Ｇ信号と色温度との関係は、図３のグラフに一例が示されるように、複雑な多項式で近似される曲線となる。
【００４２】
すなわち、色温度をｘ軸に取りＲ／Ｇ信号またはＢ／Ｇ信号をｙ軸に取った場合、Ｒ／Ｇ信号と色温度との関係は、例えば
ｙ＝5×10-16ｘ4−2×10-11ｘ2＋2×10-7ｘ2−0.0016ｘ＋4.8889
となる。また、Ｂ／Ｇ信号と色温度との関係は、例えば
ｙ＝−1×10-8ｘ2＋0.0003ｘ−0.4702
となる。特に、Ｂ／Ｇ信号に関しては、色温度の高いときと低いときとで増分が大きく変化するので、３次乃至４次の高次関数を用いないと、高い近似度が得られない。
【００４３】
ここで、Ｒ／Ｇ信号とＢ／Ｇ信号との相関関係について考える。ｘ軸にＢ／Ｇ信号を取り、ｙ軸にＲ／Ｇ信号を取ってプロットした場合、Ｂ／Ｇ−Ｒ／Ｇ平面上には、図４に一例が示されるように、
ｙ＝0.9986ｘ-0.6212
という累乗式で近似できる曲線を描く。また、ｘ軸にＲ／Ｇ信号を取り、ｙ軸にＢ／Ｇ信号を取ってプロットしたときも、Ｒ／Ｇ−Ｂ／Ｇ平面上には、図５に一例が示されるように、
ｙ＝0.9978ｘ-1.6098
という累乗式で近似できる曲線を描く。このように、累乗式で近似できるということは、これらの関係が対数で表現可能であることを示している。
【００４４】
そこで、Ｒ／Ｇ信号およびＢ／Ｇ信号それぞれの対数を取ってそれぞれlog(R/G)およびlog(B/G)とし、ｘ軸およびｙ軸にそれぞれlog(B/G)およびlob(R/G)を取ったlog(B/G)−log(R/G)平面上にプロットすると、図６に一例が示されるように、log(R/G)およびlog(B/G)の関係は線形的となり、１次式（ｙ＝−0.6212ｘ−0.0006）で近似できることが分かる。
【００４５】
一方、Ｒ／Ｇ信号およびＢ／Ｇ信号それぞれの対数を取っても、色温度と比較すると、log(R/G)と色温度、log(B/G)と色温度との関係は、図７に一例が示されるように、それぞれ多項式で近似される曲線となる。すなわち、色温度をｙ軸、log(R/G)またはlog(B/G)をｘ軸に取ったとき、log(R/G)と色温度との関係は、例えば
ｙ＝1×10-16ｘ4−4×10-12ｘ3＋6×10-8ｘ2−0.0004ｘ＋1.0927
となり、log(B/G)と色温度との関係は、例えば
ｙ＝-2×10-16ｘ4＋6×10-12ｘ3−9×10-8ｘ2＋0.0006ｘ−1.7343
となる。
【００４６】
これに対し、色温度の逆数を基準にしたＭｉｒｅｄ値（後述する）と、log(R/G)およびlog(B/G)との関係を考える。この場合、図８に一例が示されるように、log(R/G)とＭｉｒｅｄの関係およびlog(B/G)とＭｉｒｅｄの関係は、それぞれ線形的となり、１次式で近似できることが分かる。すなわち、Ｍｉｒｅｄ値をｘ軸、log(R/G)またはlog(B/G)をｙ軸に取った場合、log(R/G)とＭｉｒｅｄとの関係は、例えば
ｙ＝0.0017ｘ−0.2607
となり、log(B/G)とＭｉｒｅｄとの関係は、例えば
ｙ＝−0.0028ｘ＋0.4187
となる。
【００４７】
なお、図８において、ｙ軸がＲ／Ｇ信号またはＢ／Ｇ信号の対数となっているので、ｘ軸のＭｉｒｅｄ値は、色温度に対して絶対値で表現される。
【００４８】
上述では、色温度を基準として、Ｒ／Ｇ信号およびＢ／Ｇ信号に関する計算を行った。色温度が変化すると光の色が変化することになるが、上述の図３からも分かるように、色温度の変化量に対して色の変化量は、一定ではない。例えば、同じ色温度差でも、色温度の低い状態では色の変化が大きく、色温度の高い状態では色の変化が小さい。一方、色変換の際の単位の一つとして、Ｍｉｒｅｄ(Micro Reciprocal Degree)が定義されている。このＭｉｒｅｄにおいては、Ｍｉｒｅｄ値の変化量に対する色の変化量は、色温度の高低にかかわらず一定である。
【００４９】
Ｍｉｒｅｄについて、概略的に説明する。Ｍｉｒｅｄ値は、１,０００,０００（＝１０6）を色温度（または相関色温度）で割った値であって、ある色温度を基準としたときの相対的な色温度変換能力を表す。例えば、色温度が３２００Ｋ(Kelvin)の光に対して３５Ｍｉｒｅｄの色変換フィルタを施すことで、当該光が略２８７８Ｋの色温度を持つ光に変換される。また、−３５Ｍｉｒｅｄの色変換フィルタを６５００Ｋの光に適用することで、当該光を略８４００Ｋの色温度を持つ光に変換される。
【００５０】
ここでは、Ｍｉｒｅｄを等間隔で変化させ、対応する色温度を求める。図９は、この場合Ｒ／Ｇ信号およびＢ／Ｇ信号と、色温度との一例の関係を示す。上述した図３に対し、ｘ軸方向のプロットの間隔が色温度の逆数に従い変化している。なお、図中に示される数式の係数が上述の図３の対応する値と異なっているが、これは、近似計算上の誤差に基づく。
【００５１】
この図９のｘ軸をＭｉｒｅｄ値で表すと、図１０に一例が示されるグラフのようになる。ｘ軸のプロット間隔が等間隔となっている。また、ｙ軸がＲ／Ｇ信号またはＢ／Ｇ信号とされているので、ｘ軸のＭｉｒｅｄ値は、色温度に対して相対値である。Ｍｉｒｅｄ値をｘ軸に取りＲ／Ｇ信号またはＢ／Ｇ信号をｙ軸に取った場合、Ｒ／Ｇ信号とＭｉｒｅｄ値との関係は、例えば
ｙ＝1×10-5ｘ2＋0.0006ｘ＋0.6442
となる。また、Ｂ／Ｇ信号とＭｉｒｅｄ値との関係は、例えば
ｙ＝2×10-5ｘ2−0.0111ｘ＋2.343
となる。
【００５２】
図１１は、Ｍｉｒｅｄ基準で考えた場合の、Ｒ／Ｇ信号とＢ／Ｇ信号との一例の相関関係を示す。これは、上述の図４に対してプロット間隔が変化している点のみが異なる。すなわち、ｘ軸にＢ／Ｇ信号を取り、ｙ軸にＲ／Ｇ信号を取ってプロットした場合、Ｂ／Ｇ−Ｒ／Ｇ平面上には、図１１に示されるように、
ｙ＝0.9986ｘ-0.6214
という累乗式で近似できる曲線を描く。ｘ軸にＲ／Ｇ信号を取り、ｙ軸にＢ／Ｇ信号を取ってプロットした場合も、上述の図５と同様となるので、ここでは詳細は省略する。なお、図中に示される数式の係数が上述の図４の対応する値と異なっているのは、近似計算上の誤差に基づく。
【００５３】
このように、Ｍｉｒｅｄ値を基準とした場合でも、Ｒ／Ｇ信号とＢ／Ｇ信号との関係が累乗式で近似できるので、これらの関係が対数で表現可能であることを示している。
【００５４】
そこで、上述の色温度基準の場合と同様にして、Ｒ／Ｇ信号およびＢ／Ｇ信号それぞれの対数を取ってそれぞれlog(R/G)およびlog(B/G)とし、ｘ軸およびｙ軸にそれぞれlog(B/G)およびlob(R/G)を取ったlog(B/G)−log(R/G)平面上にプロットすると、図１２に一例が示されるように、log(R/G)およびlog(B/G)の関係は線形的となり、１次式（ｙ＝-0.6215ｘ−0.0006）で近似できることが分かる。また、Ｍｉｒｅｄを基準とした場合、プロット点は、上述の図６と異なりｘ軸やｙ軸に対して等間隔で変化することが分かる。
【００５５】
また、log(R/G)とＭｉｒｅｄ、log(B/G)とＭｉｒｅｄとの関係は、図１３に一例が示されるように、それぞれ線形的となり１次式で近似できると共に、Ｍｉｒｅｄ値の等間隔の変化に応じて、ｙ軸方向の値も等間隔に変化することが分かる。Ｍｉｒｅｄ値をｘ軸、log(R/G)またはlog(B/G)をｙ軸に取った場合、log(R/G)とＭｉｒｅｄとの関係は、例えば
ｙ＝0.0017ｘ−0.2652
となり、log(B/G)とＭｉｒｅｄとの関係は、
ｙ＝-0.0028ｘ＋0.4258
となる。
【００５６】
なお、図中に示される数式の係数が上述の図８の対応する値と異なっているのは、近似計算上の誤差に基づく。また、図１３において、ｙ軸がＲ／Ｇ信号またはＢ／Ｇ信号の対数となっているので、ｘ軸のＭｉｒｅｄ値は、色温度に対して絶対値で表現される。
【００５７】
上述したように、Ｍｉｒｅｄ値からlog(R/G)またはlog(B/G)を１次式を用いて算出することができ（図１３参照）、また、log(R/G)とlog(B/G)との間にも１次式で表現できる相関があることから（図１２参照）、log(R/G)およびlog(B/G)のうち一方の値から他方の値を算出できることが導き出せた。この発明では、この結果に基づきホワイトバランス補正や変更を行うようにしている。
【００５８】
以下、上述の結果をこの発明の実施の一形態に適用したより具体的な例について説明する。ＣＰＵ１６は、画像信号処理部１３から取得したＲ信号、Ｇ信号およびＢ信号に基づき、Ｒ信号およびＢ信号をＧ信号で正規化し、Ｇ信号が基準のＲ信号Ｒ／Ｇと、Ｇ信号が基準のＢ信号Ｂ／Ｇとを生成する。次に、Ｒ信号Ｒ／ＧおよびＢ信号Ｂ／Ｇをそれぞれ対数平面に変換する。以下では、Ｒ信号Ｒ／Ｇが対数変換された値をlogＲ、Ｂ信号Ｂ／Ｇが対数変換された値をlogＢとする。すなわち上述のlog(R/G)およびlog(B/G)がlogＲおよびlogＢにそれぞれ対応する。
【００５９】
図１４は、Ｍｉｒｅｄ値と、対数変換したＲ信号Ｒ／ＧであるlogＲとの関係における黒体放射線を示す。また、図１５は、Ｍｉｒｅｄ値と、対数変換したＢ信号Ｂ／ＧであるlogＢとの関係における黒体放射線を示す。図１４および図１５は、上述の図１３を実施の一形態に対してより具体的に適用させた例である。上述もしたが、このように、黒体放射線は、Ｒ信号Ｒ／ＧおよびＢ信号Ｂ／Ｇを対数変換した平面において、それぞれ線形となる。それぞれの関係は、次式（３）および（４）に示されるように、一次式で表すことができる。なお、式（３）は、図１３に示すＭｉｒｅｄ値とlogＲとの関係、式（４）は、図１５に示すＭｉｒｅｄ値とlogＢとの関係をそれぞれ示す。
【数３】
2007074299.tif 000005
【数４】
2007074299.tif 000006
【００６０】
また、Ｍｉｒｅｄ値とlogＢとの関係における黒体放射線を示す式（４）において、傾きをａ＝(ｂ2−ｂ1)/(ｍ2−ｍ1)として定数化すると、式（４）は、次式（５）のように、簡単な一次式で表すことができる。
Ｂ＝ａＭ＋ｙ      ・・・（５）
【００６１】
一方、横軸にlogＢを取り、縦軸にlogＲを取ったＲ−Ｂ対数平面（以下、logＲ−logＢ平面と呼ぶ）上の黒体放射線に関しても、図１６に一例が示されるように、線形の関係が得られる。なお、この図１６は、上述した図１２を実施の一形態に対してより具体的に適用させた例である。上述もしたが、このように、logＢとlogＲとの関係も、一次式で表すことができる。すなわち、式（３）および（４）から、次式（６）が得られる。
【数５】
2007074299.tif 000007
【００６２】
ここで、傾きをｃ＝(ｒ2−ｒ1)/(ｂ2−ｂ1)として定数化すると、式（６）は、次式（７）のように、簡単な一次式で表すことができる。
Ｒ＝ｃＢ＋ｚ      ・・・（７）
【００６３】
あるホワイトバランス出力が決まっている場合、この式（７）による一次式を用いることで、出力の色温度での補正や微調整の演算が非常に容易となる。例えば、上述した図１６のようなlogＲ−logＢの関係からlogＲの値を求めたい場合、式（７）の"Ｂ"にlogＢの値を代入して一次式を計算することで、logＲを求めることができる。
【００６４】
次に、この発明の実施の一形態によるホワイトバランス出力に対する補正や変更方法の、より具体的な例について説明する。以下では、ホワイトバランス出力がある一定値に決定している際に、ユーザからの指示に基づき、決定されているホワイトバランスを補正する場合について説明する。一例として、白熱電灯の照明下でホワイトバランス出力が決定している際に、撮像画像に対して白熱電灯の照明による「赤み」を加えたいような場合である。この場合、ホワイトバランスを色温度の低い方に補正することになる。
【００６５】
なお、上述した撮像装置１において、色温度の補正値は、段階的な値で指定され、各段階がＭｉｒｅｄ値に対応付けられる。例えば、色温度の補正値は、ステップ毎に５Ｍｉｒｅｄずつ変化するステップ（−７）〜ステップ（＋７）までの１５段階で指定される。この場合、ステップ（０）が現在のホワイトバランス出力に対して０Ｍｉｒｅｄの補正を指定し、ステップ（−７）が現在のホワイトバランス出力に対して−３５Ｍｉｒｅｄの補正を指定する。
【００６６】
一例として、ホワイトバランス出力が色温度５５００Ｋとなっている場合、ステップ（−７）を指定することで、ステップ（−７）に対応するＭｉｒｅｄ値（＝−３５）に基づき、４６００Ｋの色温度にホワイトバランス出力が補正される。
【００６７】
図１７は、ユーザの指定に基づきホワイトバランス出力を補正する際の一例の処理を示すフローチャートである。先ず、ステップＳ１０で、撮像素子１１から出力される撮像信号に基づき、上述したようにしてホワイトバランス出力が決定される。決定されたホワイトバランス出力の値は、ＣＰＵ１６に保持される。次に、ＣＰＵ１６は、ユーザが撮像装置１に対して所定に指定したホワイトバランスの補正量を読み込む。補正値は、例えば図示されない操作部に対してステップ値で指定され、ＲＡＭ１８に記憶される。ステップＳ１２で、読み込まれた補正値を色温度に換算した場合のＭｉｒｅｄ値を計算し、補正後の出力に対応するＭｉｒｅｄ補正値を求める。
【００６８】
ステップＳ１２で求められたＭｉｒｅｄ値に基づき、次のステップＳ１３で、図１５に示すＭｉｒｅｄ値とlogＢとの関係、すなわち、上述した式（５）によるＭｉｒｅｄ−logＢ平面の関係を表す一次式を用いて、Ｂ信号の補正量を計算する。
【００６９】
次に、ステップＳ１４で、ステップＳ１３で求められたＢ信号の補正量に基づき、図１６に示すＲ信号とＢ信号との関係、すなわち、上述した式（７）によるlogＲ平面−logＢ平面の関係を表す一次式を用いて、Ｒ信号の補正量を計算する。そして、ステップＳ１５で、補正後のホワイトバランス出力が決定される。
【００７０】
すなわち、図１８に例示されるように、撮像に基づくホワイトバランス（ＷＢ）出力がＢ信号の対数平面上で直線で表現された黒体放射線上にあるとき、ユーザにより指示された補正量がＭｉｒｅｄ値で入力される。このＭｉｒｅｄ値に対応する補正後のlogＢの値を求める。Ｍｉｒｅｄ値による指示に応じて、logＢの値が"ｂ"から"ｂ’"に変化している。そして、この補正後のlogＢの値に基づき、式（７）により、補正後のlogＲの値が求められる。
【００７１】
なお、ステップＳ１５では、例えばステップＳ１４で求められたlogＲ値と、ステップＳ１３で求められたlogＢ値とをそれぞれアンプ３１Ａおよびアンプ３１Ｂのゲインを調整するのに適する値に変換する処理が行われる。一例として、それぞれ対数平面上の値であるlogＲ値およびlogＢ値を、線形で表現できる値に変換する。これらＲ信号の補正値およびＢ信号の補正値は、ＷＢアンプゲイン設定部３０に供給され、ステップＳ１０において設定されたホワイトバランス出力によるアンプ３１Ａおよびアンプ３１Ｂのゲインに対して例えば加算される。
【００７２】
このように、Ｒ信号、Ｂ信号および色温度の関係を対数軸上で表すことで、これらの関係が一次式で表現される。この一次式を、ＲＯＭ１７に格納されるプログラムに記述し、ＣＰＵ１６内で持っておくことで、色温度とホワイトバランスとの関係を非常に容易に計算することができる。また、Ｒ信号、Ｂ信号および色温度の関係が一次式で計算されるので、黒体放射線の値が格納されるテーブルなどを持つ必要が無い。
【００７３】
また、黒体放射線を複数の直線で近似する必要もないので、ホワイトバランス補正をより精度よく行うことができる。
【００７４】
さらに、上述では、所定のホワイトバランス出力に対してユーザが補正量を指定した場合について説明したが、この発明は、効果のためにホワイトバランスをずらすような場合にも適用することができる。また、上述ではステップで入力された値に対応するＭｉｒｅｄ値に基づき色温度を求めるようにしているが、これはこの例に限定されず、色温度を直接的に指定するような場合にも、この発明を適用することができる。すなわち、これらの場合でも、一次式の演算により容易にホワイトバランスの出力値を求めることができ、従来行っていたような複雑な演算や場合分けが必要ない。
【００７５】
次に、この発明の実施の一形態の変形例について説明する。上述の実施の一形態は、この発明の色温度方向に対する補正への適用例であるが、この実施の一形態の変形例は、この発明を、色度偏差方向に対する補正に適用する。色度偏差方向とは、撮像信号によるＲ信号、Ｇ信号およびＢ信号に基づくホワイトバランス出力や、ユーザ指定による補正値に基づく値が黒体放射線に乗らない場合の、黒体放射線に対する偏差方向である。
【００７６】
色度偏差方向の補正では、上述の実施の一形態で説明した式（７）の一次式に対して直交若しくは所定の傾きを持った一次式を用意する。この一次式を用いることで、色度偏差方向への補正を、上述の色温度方向の補正と同様にして、容易に行うことが可能となる。
【００７７】
一例として、色度偏差方向の一次式を、Ｒ信号およびＢ信号を対数平面で表したlogＲ−logＢ平面上の黒体放射線による一次式に直交する形で求めることを考える。すなわち、図１６で示したlogＲ−logＢ平面において、黒体放射線の直線を上述の式（７）としたとき、色度偏差方向の直線は、次式（８）により表すことができる。
【数６】
2007074299.tif 000008
【００７８】
図１９は、式（８）に基づく対数軸上における色度偏差方向の一例の補正直線を示す。上述の式（７）による直線１００に対して直交する直線１０１が色度偏差方向の補正直線となる。これら式（７）および式（８）の計算を組み合わせることで、様々な場合のホワイトバランス出力補正に対応することができる。
【００７９】
すなわち、この直線１０１は、logＲ値またはlogＢ値に応じて黒体放射線の直線１００上を移動する。したがって、黒体放射線上に乗らないホワイトバランス出力などに対して直線１０１を求め、直線１０１と黒体放射線である直線１００との交点を求める。これにより、色度偏差方向の補正を行うことができる。さらにユーザにより補正値が指定された場合は、直線１００に基づき、上述した図６のフローチャートの処理に従い補正後のホワイトバランス出力を求めることができる。
【００８０】
従来では、この色度偏差方向の補正を行う場合には、相関色温度に関するテーブルを持つ必要があり、テーブルに無い値に関しては、テーブルを参照して得られた値から補間して求める必要があった。この発明の実施の一形態の変形例によれば、色度偏差方向の補正を一次式により簡易に行うことができ、大きなデータ容量を要するテーブルを持つ必要が無く、また、補間処理も必要無い。
【００８１】
上述のように、この発明の実施の一形態および実施の一形態の変形例によれば、色温度情報や色度偏差情報と、Ｒ信号およびＢ信号との関係が単純な一次式で表現でき非常に明確となる。そのため、この発明は、上述した既定のホワイトバランス出力に対する補正値を入力する場合に限らず、色温度を直接的に指定してホワイトバランス出力を決定する場合などあらゆる条件で色温度を補正する場合に適用することが可能である。
【００８２】
また、この発明の実施の一形態および実施の一形態の変形例では、色温度方向の補正や色度偏差方向の補正を、撮像装置１に内蔵されるＣＰＵ１６における演算処理のみで実行している。そのため、ハードウェア的なコストが発生しない。さらに、従来行っていた非線形関係式を用いた色温度とＲ信号およびＢ信号との演算より簡易に計算できるため、ＣＰＵ１６の処理速度としても高速化が見込まれ、ひいては、撮像装置１の撮像時間の短縮化も期待できる。
【００８３】
なお、上述では、Ｇ信号を基準としたＲ信号およびＢ信号を用いてホワイトバランス処理およびホワイトバランスの補正処理を行っているが、これはこの例に限られず、例えばＧ信号およびＲ信号の組み合わせや、Ｇ信号およびＢ信号の組み合わせでこれらの処理を行うことも可能である。
【図面の簡単な説明】
【００８４】
【図１】この発明の実施の一形態に適用可能な撮像装置１の一例の構成を示すブロック図である。
【図２】ホワイトバランスを調整するための一例の構成を示すブロック図である。
【図３】Ｒ／Ｇ信号およびＢ／Ｇ信号と色温度との一例の関係を示すグラフである。
【図４】Ｒ／Ｇ信号とＢ／Ｇ信号との一例の相関関係を示すグラフである。
【図５】Ｒ／Ｇ信号とＢ／Ｇ信号との一例の相関関係を示すグラフである。
【図６】log(R/G)およびlog(B/G)の一例の関係を示すグラフである。
【図７】log(R/G)およびlog(B/G)と色温度との一例の関係を示すグラフである。
【図８】log(R/G)およびlog(B/G)とＭｉｒｅｄとの一例の関係を示すグラフである。
【図９】Ｒ／Ｇ信号およびＢ／Ｇ信号と色温度との一例の関係を示すグラフである。
【図１０】Ｒ／Ｇ信号およびＢ／Ｇ信号と色温度との一例の関係をｘ軸をＭｉｒｅｄとして示すグラフである。
【図１１】Ｍｉｒｅｄ基準で考えた場合の、Ｒ／Ｇ信号とＢ／Ｇ信号との一例の相関関係を示すグラフである。
【図１２】log(R/G)およびlog(B/G)の一例の相関関係を示すグラフである。
【図１３】log(R/G)およびlog(B/G)とＭｉｒｅｄとの一例の関係を示すグラフである。
【図１４】Ｍｉｒｅｄ値と、対数変換したＲ信号Ｒ／ＧであるlogＲとの関係における黒体放射線を示す略線図である。
【図１５】Ｍｉｒｅｄ値と、対数変換したＢ信号Ｂ／ＧであるlogＢとの関係における黒体放射線を示す略線図である。
【図１６】横軸にlogＢを取り、縦軸にlogＲを取ったＲ−Ｂ対数平面上の黒体放射線を示す略線図である。
【図１７】ユーザの指定に基づきホワイトバランス出力を補正する際の一例の処理を示すフローチャートである。
【図１８】ユーザの指示によりホワイトバランスの補正量を決める処理を説明するための図である。
【図１９】対数軸上における色度偏差方向の一例の補正直線を示す略線図である。
【図２０】黒体放射による色温度の変化を、緑色（Ｇ）を基準とした、赤色（Ｒ）および青色（Ｂ）の関係で示す略線図である。
【図２１】黒体放射線を複数本の線形直線で近似する例を示す略線図である。
【符号の説明】
【００８５】
１  撮像装置
１３  画像信号処理部
１６  ＣＰＵ
３０  ホワイトバランスアンプゲイン設定部
３１Ａ，３１Ｂ  アンプ
【図１】
2007074299.tif 000009
【図２】
2007074299.tif 000010
【図３】
2007074299.tif 000011
【図４】
2007074299.tif 000012
【図５】
2007074299.tif 000013
【図６】
2007074299.tif 000014
【図７】
2007074299.tif 000015
【図８】
2007074299.tif 000016
【図９】
2007074299.tif 000017
【図１０】
2007074299.tif 000018
【図１１】
2007074299.tif 000019
【図１２】
2007074299.tif 000020
【図１３】
2007074299.tif 000021
【図１４】
2007074299.tif 000022
【図１５】
2007074299.tif 000023
【図１６】
2007074299.tif 000024
【図１７】
2007074299.tif 000025
【図１８】
2007074299.tif 000026
【図１９】
2007074299.tif 000027
【図２０】
2007074299.tif 000028
【図２１】
2007074299.tif 000029