(57)【特許請求の範囲】
【請求項１】
白バランスを得るために、被写体像を電気信号に変える撮像素子からの３原色信号に利得補正を施す場合、前記３原色信号を用いて照明光の色を推定する方法であり、
所定色温度の照明光に対し前記３原色信号の信号レベルを同一化した前記撮像素子からの３原色信号の平均値を取り、
前記平均値に含まれる赤信号と青信号のどちらか大きなレベルのものを着目信号とし、前記赤信号と青信号を乗算し緑信号で割り算した値よりも、前記緑信号が大きい時は、前記着目信号内の赤又は青信号を緑信号とともに同一割合で低減させ、前記割り算した値よりも、前記緑信号が小さいときは、前記着目信号の赤又は青信号を単独で低減させる低減処理を行い、
前記低減処理時の第１のゴール値を設定し、現在の光源が第1の照明光の色であると仮定した場合の当該光源の第1の色座標値情報と、前記低減処理時の第２のゴール値を設定し、現在の光源が第2の照明光の色であると仮定した場合の当該光源の第２の色座標値情報とを得、
前記３原色信号から、照明光源が第1または第2の照明光源系のどちらに近いかを表す評価値情報を設定しており、
前記評価値情報に基づいて、現在の光源が前記第1または第2の照明光の色のいずれの光源であるかを判定し、
前記判定された光源の色座標値情報と、取り込んだ３原色信号の平均値とから照明光の色を推定することを特徴とする白バランスを得るための照明光の色推定方法。
【請求項２】
前記低減処理及び前記光源の第１又は第２の色座標値情報を得る場合は、
前記３原色信号により構成される画像を複数のブロックに分け、各ブロック毎の３原色信号に対して平均値を求め、
前記平均値に含まれる赤信号と青信号のどちらか大きなレベルのものを着目信号とし、
赤信号と青信号を乗算し緑信号の自乗で割り算した座標値よりも、第１又は第２のゴール値が大きい時は、前記着目信号内の赤又は青信号を緑信号とともに同一割合で減少させ、
前記座標値よりも、前記第１又は第２のゴール値が小さいときは、前記着目信号の赤又は青信号を単独で減少させ、
前記減少処理により求めた前記着目信号の座標値が前記第１又は第２のゴール値と同一レベルになる白色点を求め、この白色点の値に対応する色をブロック毎の照明光の色であると推定し、
前記第１又は第２の照明光の環境下で所定色温度に近づくほど大きくなるように付加されている重み付け情報を、前記ブロック毎に得られた座標点の値に掛けて平均化し、この平均化した値を前記第１又は第２の色座標値情報とすることを特徴とする請求項１記載の白バランスを得るための照明光の色推定方法。
【請求項３】
前記３原色信号から、照明光源が第1または第2の照明光源系のどちらに近いかを表す評価値情報を得る場合、
前記３原色信号により構成される画像を複数のブロックに分け、各ブロック毎の３原色信号に対して平均値を求め、
前記平均値内の赤信号と青信号を乗算し緑信号で割り算した座標値が、第１又は第２のゴール値のどちらに近いかを正負で示す第１の評価値と、
前記平均値内の赤信号と青信号のレベル比が大きくなるにつれて小さくなる第２の評価値と、
前記平均値内の赤信号と緑信号と青信号に基づく明るさが明るくなるにつれて大きくなる第３の評価値と、
を算出し、
前記第１から第３の評価値の積を画像全体で加算した値の符号が第２の照明光源色系であることを示し、かつ、第2の照明光源色系として求めた推定光源色の赤信号と青信号のレベル比が所定範囲にあるときに第2の照明光源色系に近いことを示す評価値とし、それ以外のときは第１の照明光源色系に近いことを示す評価値とする
ことを特徴とした請求項１記載の白バランスの光源色推定方法。
【請求項４】
白バランスをとるために、被写体像を電気信号に変える撮像素子からの３原色信号に利得補正を施す場合、前記３原色信号を用いて照明光の色を推定し、この推定した照明光の色情報に基づいて前記３原色信号のうち少なくとも２つの色信号の増幅器の利得を制御する撮像装置であり、
所定色温度の照明光に対し前記３原色信号の信号レベルを同一化した前記撮像素子からの３原色信号の平均値を取る手段と、
前記平均値に含まれる赤信号と青信号のどちらか大きなレベルのものを着目信号とし、前記赤信号と青信号を乗算し緑信号で割り算した値よりも、前記緑信号が大きい時は、前記着目信号内の赤又は青信号を緑信号とともに同一割合で低減させ、前記割り算した値よりも、前記緑信号が小さいときは、前記着目信号の赤又は青信号を単独で低減させる低減処理を行う手段と、
前記低減処理時の第１のゴール値を設定し、現在の光源が第1の照明光の色である仮定した場合の当該光源の第1の色座標値情報と、前記低減処理時の第２のゴール値を設定し、現在の光源が第2の照明光の色であると仮定した場合の当該光源の第２の色座標値情報とを得る手段と、
前記３原色信号から、照明光源が第1または第2の照明光源系のどちらに近いかを表す評価値情報を得る手段と、
前記評価値情報に基づいて、現在の光源が前記第1または第2の照明光の色のいずれの光源であるかを判定する手段と、
前記判定された光源の色座標値情報と、取り込んだ３原色信号の平均値とから照明光の色を推定する手段と
を具備したことを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、白バランスを得るための照明光の色推定手法およびその推定方法を用いた撮像装置に関する。特にこの発明は、電子スチルカメラやムービー・ビデオカメラ等で、照明光の色温度によらず良好な画像が得られるようにするための技術である。
【０００２】
【従来の技術】
電子スチルカメラやムービー・ビデオカメラには、自動白バランス調整技術が採用されている。カメラの内部回路では、被写体を撮影して得た信号から色差信号（ＥＲ−ＥＹ）および（ＥＢ−ＥＹ）が生成される。自動白バランス調整を実現するために各色差信号（ＥＲ−ＥＹ）および（ＥＢ−ＥＹ）は、それぞれ画面全体にわたって積分される。そして、各色差信号の各積分平均値がそれぞれ所定の基準レベルになるように赤・青の信号の利得が制御される。
【０００３】
しかし、この自動白バランス調整方法では、飽和度の高い色信号が存在すると各積分平均値がその飽和度の高い色信号に振られ（影響を受けて）白バランスがとれないという問題がある。
【０００４】
この問題を解決するために特開平１−４６３９３号公報では、各積分平均値を求める際に、各色差信号に対してそれぞれ強い色差信号検出用のスライスレベルＡを設定する。そして、各色差信号のうち設定されたスライスレベルＡを越える強色差信号が存在した場合、該強色差信号を弱い色差信号に置き換え、これを積分する。
【０００５】
この結果、強色差信号は、そのスライスレベルよりも低い側の弱い色差信号で置き換えられるので、飽和度の高い色信号に白バランスが影響を受けて白バランスが大きくずれるというようなことはなくなる。しかし、弱い色差信号に強い色差信号を置き換えた場合、双方のレベル差の分だけ、画像上の再現色が薄くなる。また、同系色の色の被写体を撮影した場合にも、画像上の再現色が薄くなるという問題があった。
【０００６】
また、家庭用の蛍光灯の照明光のもとで、被写体を撮影すると全体が緑がかった画像が得られることはよく知られている。これは蛍光灯の照明光の発光色は白熱光源より緑成分が多いためである。蛍光灯照明光に対して白バランスを取れるようにするには、色差信号のスライスレベルを緑方向に広く取らなければならない。しかしながら、スライスレベルを緑方向に広く設定すると樹木の緑が多く含まれる屋外撮影時は、緑が薄くなり、また白が淡いマゼンタ色になるという問題があった。
【０００７】
【発明が解決しようとする課題】
上記した従来の自動白バランスの照明光の色推定方法では、強色差信号をそのスライスレベルよりも弱い色差信号で置き換えた場合、所定のレベル分だけ色が薄くなったり、同系色の色を撮影した場合にも色が薄くなる問題がある。また、特に蛍光灯照明での撮影時に白バランスを取れるようにすると、緑の多い屋外風景撮影時に白バランスがずれるという問題があった。
【０００８】
そこで、この発明の目的は、色が薄くなりにくく、且つ屋外風景撮影時を蛍光灯照明時と誤認しない自動白バランスの照明光の色推定方法及び撮像装置を提供することにある。
【０００９】
【課題を解決するための手段】
この発明は、白バランスを得るために、被写体像を電気信号に変える撮像素子からの３原色信号に利得補正を施す場合、前記３原色信号を用いて照明光の色を推定する方法であり、所定色温度の照明光に対し前記３原色信号の信号レベルを同一化した前記撮像素子からの３原色信号の平均値を取り、前記平均値に含まれる赤信号と青信号のどちらか大きなレベルのものを着目信号とし、前記赤信号と青信号を乗算し緑信号で割り算した値よりも、前記緑信号が大きい時は、前記着目信号内の赤又は青信号を緑信号とともに同一割合で低減させ、前記割り算した値よりも、前記緑信号が小さいときは、前記着目信号の赤又は青信号を単独で低減させる低減処理を行い、前記低減処理時の第１のゴール値を設定し、現在の光源が第1の照明光の色である仮定した場合の当該光源の第1の色座標値情報と、前記低減処理時の第２のゴール値を設定し、現在の光源が第2の照明光の色であると仮定した場合の当該光源の第２の色座標値情報とを得、
前記３原色信号から、照明光源が第1または第2の照明光源系のどちらに近いかを表す評価値情報を得、前記評価値情報に基づいて、現在の光源が前記第1または第2の照明光の色のいずれの光源であるかを判定し、前記判定された光源の色座標値情報と、取り込んだ３原色信号の平均値とから照明光の色を推定することを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について詳細に説明する。
【００１４】
図１は、この発明の第１の実施の形態について説明するためのブロック図である。レンズ１０１により取込まれた被写体の光学像は、固体撮像素子１０２上に結像する。固体撮像素子１０２は、各画素に入射した光量を光電変換し、映像信号を出力する。映像信号は、色分離回路１０３に入力される。色分離回路１０３は、映像信号から３原色信号（赤（Ｒ）、緑（Ｇ），青（Ｂ）信号）を分離して出力する。積分回路１０４ａ、１０４ｂ、１０４ｃは、それぞれ赤（Ｒ）、緑（Ｇ），青（Ｂ）信号を積分して、各信号の平均値（平均色データ）を出力する。
【００１５】
マルチプレクサ１０５は、各原色信号を順次選択し、マイクロコンピュータ１０６に各原色信号の平均値を渡す。マイクロコンピュータ１０６は次に述べるアルゴリズムで、光源の色を推定し、Ｒ増幅器１０７とＢ増幅器１０８の利得を制御する信号を出力する。これにより、カメラプロセス回路１０９には、白バランスのとれたＲＧＢ信号が入力される。
【００１６】
図２は、この発明に係る照明光の色の推定方法の説明に使う色座標系を説明するための説明図である。
【００１７】
照明光源としては、ローソク、白熱電球及び太陽光のように発光スペクトルが黒体輻射の式に従う光源が一般的である。このような光源は、色温度と呼ばれる指標によりその照明光の色を規定することができる。たとえば色温度が低いローソクは橙色っぽい照明光に相当し、色温度が高い昼の太陽光は、青白い照明光に相当する。
【００１８】
このような光源で照明された白い被写体を写したときの固体撮像素子出力のＲ、Ｇ、Ｂ信号の信号量は、次のような特性を示す。即ち、光源の色温度が低い場合、Ｇ信号に対してＲ信号が大きく、Ｇ信号に対してＢ信号が小さくなる。反対に光源の色温度が高い場合、Ｇ信号に対してＲ信号が小さく、Ｇ信号に対してＢ信号が大きくなる。
【００１９】
より詳しく調べると、Ｒ／ＧとＢ／Ｇの積は、白色光源の場合一定になっている。従って、たとえば４５００Ｋの色温度の照明光のもとでＲ、Ｇ、Ｂ信号の各レベルを同一にした場合、横軸にＢ／Ｒの対数（ＬＯＧ（Ｂ／Ｒ））をとり、縦軸に（Ｂ／Ｇ・Ｒ／Ｇ）の対数（ＬＯＧ（ＲＢ／ＧＧ））をとると、図２のように表される。すると、この座標系では、横軸は、４５００Ｋを中心に図面上で、右方向に行くほど色温度が高いという対応づけができる。また、縦軸は、白色光源に比べて緑成分が少なければ少ないほど図面上で上方向になり、緑成分が多ければ多いほど図面上で、下方向になる。この座標を色座標系と言う。
【００２０】
この色座標系の縦軸、横軸情報は、例えばマイクロコンピュータ内のメモリ、或は外部メモリに保存されている。
【００２１】
上記した平均色データ（平均値）からこの色座標系の座標を、次のようにして高速に求めることができる。まず、各平均色データにより、Ｒ、Ｇ、Ｂレベルの対数をルックアップテーブルで求める。この対数値にＲ、Ｇ、Ｂに対応した利得補正項を加えることで、例えば４５００Ｋの色温度の照明時の対数変換値ＬＯＧ（Ｒ）、ＬＯＧ（Ｇ）、ＬＯＧ（Ｂ）を同一値にすることができる。
【００２２】
この値をもとに、平均色データによる色座標は、横軸がＬＯＧ（Ｂ）−ＬＯＧ（Ｒ），縦軸がＬＯＧ（Ｒ）＋ＬＯＧ（Ｂ）−ＬＯＧ（Ｇ）−ＬＯＧ（Ｇ）である。したがって、平均色データを対数変換さえすれば、あとは加減算だけで、各平均色データの座標位置を高速に求めることができる。この座標位置は、照明光の色推定のためのデータである。
【００２３】
上記のように、色座標系を設定することができる。つまり、所定色温度の照明光に対し３原色信号の信号レベルを同一化している。また、実際にこの座標系を使用するときには、平均色データの色座標上の位置を容易に求めることができる。
【００２４】
この色座標系では、中央部の色温度の広がりを持った横長の楕円領域が白い色の範囲となる。例えば、青は相対的に赤及び緑が少なく、青が多い色なので、この色座標系では右上方向の領域に位置し、原点から遠いほど飽和度の高い色として位置付けられる。
【００２５】
この座標系では、同様に、シアン系（空色系）の色は右下の領域に位置付けられ、緑系の色は原点の下方向の領域に位置付けられる。また、黄系の色は左下の領域に位置付けられ、橙系の色は原点の左の領域に位置付けられ、赤系の色は左上の領域に位置付けられる。そして、マゼンタ系（紫系）の色は原点の上の領域に位置付けられる。
【００２６】
どの色に対しても原点から遠ざかるほど色飽和度が高い色として位置付ける色座標系である。
【００２７】
図３は、この発明に係る照明光の色の推定方法を説明するための説明図である。例えば、平均色データが符号３０１で示されるシアンを示す場合には、この平均色データから緑成分と青成分を同一割合で減少させてみる。すると、座標上で左上４５度方向に延在する線の軌跡となる。ここで、この線が引き横軸と交わった点を、光源の色として推定する。
【００２８】
また、例えば、平均色データが３０７で示される青を示す場合には、この平均色データから青成分を低減する。すなわち、左下４５度方向に線を引き横軸と交わった点を、光源の色として推定する。この手法によれば、光源はある色温度の白色照明光の色と同じであり、しかもこの光源の色を白としても平均色データに対応する色（青み）はほとんど低減されないこととなる。
【００２９】
つまり、本発明では、同一化した前記撮像素子からの３原色信号の平均値を取り、これに基づき得られた赤信号と青信号のどちらか大きなレベルの着目信号を特定する（上記の例では３０１或は３０７）。次に、赤信号と青信号を乗算し緑信号で割り算した座標値（縦軸ＬＯＧ（ＲＢ／ＧＧ）上の値）より、緑信号が大きい時（上記の例では３０１のシアン系の時）は、前記着目信号を緑信号とともに同一割合で減少させている。逆に、座標値より緑信号が小さいときは（上記の例では３０７の青）、前記着目信号を単独で、減少させている。減少処理は、色味の低減とも言う。
【００３０】
そして、前記減少処理により求めた前記着目信号の座標値が前記緑信号の値と同一レベルになる座標点（つまり図の例では横軸）に対応する色を照明光の色と推定している。
【００３１】
また、平均色データが３０２で示されるシアンがかった緑を示す場合には、この平均色データからシアン成分を低減してみる。すなわち、左上４５度方向に線（破線）を引き横軸との交点を求めると色温度軸の符号が負で、平均色データの色温度座標の符号と違ってしまう。これは、平均色データによる色味と違う色味を低減させたことを意味する。この場合には、照明光の色の推定のための横軸の値を０にする。
【００３２】
このようにして求めた光源の色座標に基づいて白色基準を定めた場合の平均色データは、シアン傾向の緑と正常に白バランスがとれた信号として出力できる。
【００３３】
また、平均色データが３０５で示される赤を示す場合には、この平均色データから赤成分を低減する。すなわち、右下４５度方向に線を引き横軸と交わった点を、光源の色として推定する。この手法によれば、光源はある色温度の白色照明光の色と同じであり、しかもこの光源の色を白としても平均色データに対応する色（赤み）はほとんど低減されないこととなる。
【００３４】
また、平均色データが３０６で示されるマゼンタがかった赤を示す場合には、この平均色データからマゼンタ成分を低減してみる。すなわち、右下４５度方向に線（破線）を引き横軸との交点を求める。この場合は、色温度の符号が負で、平均色データの色温度座標の符号と違ってしまう。これは、平均色データによる色味と違う色味を低減させたことを意味する。この場合には、照明光の色の推定のための横軸の値を０にする。
【００３５】
この照明光の色の推定手法を式で表すと次のようになる。この色座標系での平均色データの座標位置を（ｔ，ｍ）とすると、光源の座標位置は
ｔ＞０のとき
ｍａｘ（ｔ−ＡＢＳ（ｍ），０）      ・・・  （１）
ｔ＜０のとき
ｍｉｎ（ｔ＋ＡＢＳ（ｍ），０）      ・・・  （２）
で求められる。ここで、ＡＢＳ（）は引数の絶対値を返す関数、ｍａｘ（）は最大値を求める関数、ｍｉｎ（）は最小値を求める関数である。すなわち、ｔが０より大きいときは、ｍの絶対値をｔから差し引いた結果となる。しかしこの結果が負になる場合は強制的に結果を０にする。同様にｔが０より小さいときは、ｍの絶対値をｔに加えた結果となる。しかしこの結果が、正になる場合は強制的に結果を０にする。
【００３６】
このようにして推定した照明光の色の座標位置を（Ｋｔ，Ｋｍ）として、４５００Ｋ色温度でのＲ、Ｂ信号に対する白バランス利得をそれぞれＡｒ０、Ａｂ０とおくと、Ｒ増幅器１０７とＢ増幅器１０８の利得Ａｒ，Ａｂをそれぞれ、
Ａｒ＝Ａｒ０・ＥＸＰ（（Ｋｔ−Ｋｍ）／２）      ・・・  （３）
Ａｂ＝Ａｂ０・ＥＸＰ（（−Ｋｔ−Ｋｍ）／２）    ・・・  （４）
と制御することで、所定色温度範囲内の白色光源で照明された白い被写体に対してＲ、Ｇ、Ｂ信号はレベルの揃った信号として得られる。
【００３７】
一方、照明の雰囲気を残したい場合には、照明光の色の色温度方向の座標値に低減率Ｃを乗じ、
Ａｒ＝Ａｒ０・ＥＸＰ（（Ｃ・Ｋｔ−Ｋｍ）／２）      ・・・  （５）
Ａｂ＝Ａｂ０・ＥＸＰ（（−Ｃ・Ｋｔ−Ｋｍ）／２）    ・・・  （６）
とする。これにより白バランス利得を好みのバランスに設定することもできる。
【００３８】
低減率Ｃの値としては、Ｃ＝０．５からＣ＝１．０の間の値に設定される。即ち、白い色が照明下の被写体とほぼ同じ色に画面上で見えるような効果を得ることができるＣ＝０．５から現実の被写体色と同じに画面上で見えるようなＣ＝１．０の間の値に設定するほうが好ましい。
【００３９】
つまり、上記の処理は、推定された照明光の色の緑成分量に対する赤成分量と青成分量の比の逆数の１／２乗から１乗を、それぞれ赤および青の信号利得とすることに相当する。
【００４０】
このようにして、レベルの揃えられた信号は、カメラプロセス回路（マトリックス処理も含む）１０９で、ガンマ補正処理、輪郭補正処理や輝度（Ｙ）輝度信号への変換及び色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）への変換が施される。これにより、本発明は、自動白バランス機能を搭載した固体撮像装置を実現できる。
【００４１】
図４は、この発明の第２の実施の形態について説明するための図である。
【００４２】
この実施の形態は、白バランスのトラッキング色温度範囲に制限を付けた場合を示している。例えば、夕焼け空の橙色や青空の色はこの座標系の横軸に近い色座標値を持つため、図３に示されるように照明光の色を推定しただけだと色が薄くなってしまう。
【００４３】
一般に用いられる白色の照明光としては、色温度が３０００Ｋ（スタジオライト）〜１００００Ｋ（曇り空）に限られている。したがって、一般的な白色の照明光のもとでの撮像状態とする場合には、上述した実施の形態の方法が適している。しかし、低い色温度の照明（白熱電球やローソク）では温かみのあるやや赤い照明光の環境の像として写るほうが望ましく、また色温度の高い青空（色温度は約１５０００Ｋ）では青い照明光の環境の像として写るほうが望ましい場合がある。
【００４４】
従って、このような場合は、照明光の色を推定する条件として、色温度範囲を設定したほうが良い。４５００Ｋで白バランスをとった状態で、３０００Ｋ〜１００００Ｋの色温度範囲のＲ信号およびＢ信号は、反比例関係であり、それぞれ約１／２倍〜約２倍の変動量を持つので、Ｒ／Ｂとしては１／４倍〜４倍となる。
【００４５】
従って、平均色データの座標を（ｔ，ｍ）としたとき、光源の推定座標値を、
ｔ＞０のとき
ｍｉｎ（ｍａｘ（ｔ−ＡＢＳ（ｍ），０），ＬＯＧ（４））                                                          ・・・  （７）
ｔ＜０のとき
ｍａｘ（ｍｉｎ（ｔ＋ＡＢＳ（ｍ），０），−ＬＯＧ（４））                                                          ・・・  （８）
と制限することで、夕焼け空の橙色や青空の色の像をも再現することができる。すなわち、式（７）では式（１）に対し、最大値をＬＯＧ（４）で制限し、白バランスの取れる光源の色温度の上限を規制している。式（８）では式（２）に対し、最小限−ＬＯＧ（４）で制限し、白バランスの取れる光源の色温度の下限を規制している。
【００４６】
つまり、平均色データが３０１、３０２、３０３、３０５、３０６、３０７で示される値であるときは、先の図３の例と同様な手法で照明光の色を推定する。しかし、平均色データが３０８で示されるような値であるときは、色座標上で四角で示される枠（色温度範囲）の最大値（３０８ａ）が照明光の色であると推定し、平均色データが３０４で示されるような値であるときは、色座標上の四角で示される枠（色温度範囲）の最大値（３０４ａ）が照明光の色であると推定する。これにより、横軸に関するデータの推定範囲が制限を受けることになり、低い色温度の照明（白熱電球やローソク）では、画像は温かみのあるやや赤い照明光として写り、また色温度の高い青空（色温度は約１５０００Ｋ）では、画像は青く写る。
【００４７】
図５は、この発明の第３の実施の形態について説明するための説明図である。図５は、照明光源として蛍光灯照明を考慮に入れて照明光の色を推定する方法である。蛍光灯では、蛍光体の配合により発光色を決めているが、昼光色や白色の蛍光灯では、同じ色温度の黒体輻射よりも緑成分が多く含まれるように設計されている。
【００４８】
このため、蛍光灯下で撮影すると緑がかった画像になる傾向がある。これを避けるために、図５のように緑側から照明光の色を推定する場合に、所定の枠内（色温度範囲）（４０００Ｋ〜７０００Ｋ）を用いて照明光の色を推定する。すると、図中５０３に示したレベルの緑成分を残した状態で照明光の色を推定することになる。このため緑がかったデータを白（基準）であるものとして白バランスが取られる。よって、画面全体が緑っぽくなることを防止することができる。
【００４９】
図６は、この発明の第４の実施の形態について説明するためのブロック図であり、図６において、図１と同じ機能を有するブロックには同じ符号を付して説明する。マルチプレクサ１０５は、Ｒ，Ｇ，Ｂ信号を順次取り込み積算器１０４に与える。積算器１０４は、Ｒ，Ｇ，Ｂ信号をそれぞれ、積算値メモリー１１０に与える。積算値メモリー５１０は複数の画像ブロックに対するＲ、Ｇ、Ｂ信号の積算値を保持する。
【００５０】
つまり、積算器５０４は、積算値メモリー５１０内の画像ブロックの各色信号の積算値に、対応する色信号を順次加える。これにより画像ブロック毎の平均色データが積算値メモリー５１０内に形成される。
【００５１】
この実施例では、先の実施例に比べて、メモリーを追加することが必要となりハードウエア規模は大きくなるが、複数の画像ブロックをもとに白バランスを決定するメリットは、より白らしいブロックから求めた（推定した）照明光の色を優先させて、全体画像に対する推定照明光の色に重み付けができる点にある。
【００５２】
図７は明るさと重みの関係を示すための図で、横軸は明るさであり、ＬＯＧ（ＲＢＧＧ）の軸である。この軸は、人間の視感度に近いＧ信号の寄与率を上げるためＧ信号は、２回かけて示しているが、ＲとＢも掛けることにより色飽和度の低いブロックの方により大きな重みを持たせることができる。
【００５３】
掛け算のＬＯＧ関数は、ＬＯＧ関数をとったもの加算になるので、横軸の値を得る計算は、照明光の色の推定で用いたＲ、Ｇ、Ｂ信号のＬＯＧ関数値の加減算で求められ簡単である。重みはＳ／Ｎの良くない暗いブロックでは小さくし、Ｓ／Ｎの良い明るいブロックで大きくすることで、照明光の色の検出誤差を小さくすることができる。
【００５４】
また、信号の直線性がなくなる固体撮像素子の飽和レベルに近いブロックは、平均色データが違う色になっている可能性が高いので重みを下げている。
【００５５】
図８は平均色データの値に応じて、平均色データに対する重み付けが異なる例を示し、図中の数値は重みを示している。縦軸がＬＯＧ（ＲＢ／ＧＧ）、横軸がＬＯＧ（Ｂ／Ｒ）の照明光の色の推定で用いた色座標系と同じである。従って、この色座標系のブロックの色座標の計算は完了しており、処理時間はほとんど増加しない。この座標の原点は例えば色温度４５００Ｋの白色を示し、ここから遠ざかるにつれて色飽和度が増加する。従って、原点に近い色については重みを重くして遠ざかるに連れて重みを軽くする。これにより色飽和度が低いブロックが優先的に照明光の色の推定に利用できる。
【００５６】
このようにして各ブロック毎に光源推定色を求め、重みを掛けた値を全ブロックで積算し、次に重みの総計で割ることで、画面全体に対する照明光の色の推定ができる。この推定照明光の色に基づいて白バランスをとることで、自然な白バランスのとれた画像の選られる自動白バランス機能搭載の固体撮像装置が実現できる。
【００５７】
図９は、この発明の第５の実施の形態について説明するためのブロック図であり、図９において、図６と同じ機能を有するブロックには同じ符号を付して説明する。
【００５８】
レンズ１０１により結像される光像は、色分解光学系９０１により、３原色の光像として分離され、それぞれの光像は、３個の固体撮像素子１０２Ｒ、１０２Ｇ、１０３Ｂにそれぞれ結像する。各固体撮像素子１０２Ｒ、１０２Ｇ、１０３ＢからＲ、Ｇ、Ｂ信号の画像信号が出力される。この画像信号は、Ｒ増幅器１０７、Ｇ増幅器９０６、Ｂ増幅器１０８で増幅された後、ＡＤ変換器９０２〜９０４に入力される。Ｒ増幅器１０７、Ｇ増幅器９０６、Ｂ増幅器１０８は、ＡＤ変換器９０２〜９０４の分解能を有効に使えるよう信号レベルを揃えている。
【００５９】
Ｇ増幅器９０６は固定利得であり、Ｒ増幅器１０７とＢ増幅器１０８の利得をマイクロコンピュータ１０６により適切に制御することで、白バランスを取ることができる。従って、Ｒ増幅器１０７とＢ増幅器１０８の利得設定値Ａｒ１とＡｂ１はマイクロコンピュータ１０６内にある。
【００６０】
マルチプレクサ１０５、積算器５０４と積算メモリー５１０で求められたブロック毎の各色信号の積算値（Ｒｉ、Ｇｉ，Ｂｉ）を対数変換する際に、
0003607654.tif 000002
として利得補正をすることで、所定色温度での利得（Ａｒ０、Ａｂ０）条件下でのＲ、Ｇ、Ｂ信号レベルの対数値が求められる。この対数値に基づいて、照明光の色を推定することができる。照明光の色が推定されると、Ｒ増幅器１０７とＢ増幅器１０８の利得を更に制御することで、自動白バランス機能を搭載した固体撮像装置が実現できる。
【００６１】
以上説明したように、この発明の白バランスの照明光の色推定方法によれば、画像中の色から３原色信号の強い色成分を減少させて、光源の色とするための色味が保存された白バランスが実現できる照明光の色推定が可能となる。
【００６２】
また、この発明の白バランスの照明光の色推定方法を用いた撮像装置によれば、画像中の色から３原色信号の強い色成分を減少させて、光源の色とするための色味が保存された白バランスを実現する照明光の色推定が可能となることから良好な白バランス機能を有することができる。
【００６３】
この発明は、上記の実施の形態に限定されるものではない。
【００６４】
先の実施例では、光原色を推定する手法として、色座標上で色温度範囲を制限した。しかしこれから述べる実施例は、色温度範囲を制限する手法のさらに別の実施例を示している。この手法は、色平均データに対する重み付け要素の種類をさらに増加している。
【００６５】
一般的に、家庭用の蛍光灯の照明光のもとで、被写体を撮影すると全体が緑がかった画像が得られることはよく知られている。これは蛍光灯の照明光の発光色は白熱光源より緑成分が多いためである。蛍光灯照明光に対して白バランスを取れるようにするには、色差信号のスライスレベルを緑方向に広く取らなければならない。しかしながら、スライスレベルを緑方向に広く設定すると樹木の緑が多く含まれる屋外撮影時は、緑が薄くなり、また白が淡いマゼンタ色になるという問題が生じる。
【００６６】
そこで、この実施の形態では、色が薄くなりにくく、且つ屋外風景撮影時を蛍光灯照明時と誤認しないようにした自動白バランスの照明光の色推定方法を工夫している。
【００６７】
再度、この発明の基本的な考えかたを説明する。図２、図３で説明した本発明の基本的な考え方には変わりはない。
【００６８】
図１０は、照明光の色を推定する場合、色平均データに対する重み付け要素の種類をさらに増加した例を示している。この照明光の色の推定方法が考えられた背景から再度説明する。またこの照明光の色の推定では、白熱光源系の照明を想定している。横軸に沿った太線３０９は、例えば３０００Ｋ〜１００００Ｋの白熱光源照明色の範囲を示している。この太線３０９を下方向に並行移動させた線（点線）３１０は、照明光源が蛍光灯（緑が強い）であると想定したときの照明光の色を推定するための基準線である。この基準線３１０は、白熱光源照明と仮定した場合には、使用しない。この基準線３１０を使用する例に付いては、後述する。
【００６９】
即ち、先に説明したように、一般に用いられる白色の照明光としては、色温度が３０００Ｋ（スタジオライト）〜１００００Ｋ（曇り空）、或は色温度が２８００Ｋ（白熱電球）〜１００００Ｋ（曇り空）に限られている。したがって、一般的な白色の照明光のもとでの撮像状態とする場合には、上述した実施の形態の方法が適している。しかし、低い色温度の照明（白熱電球やローソク）では温かみのあるやや赤い照明光の環境の像として写るほうが望ましく、また色温度の高い青空（色温度は約１５０００Ｋ）では青い照明光の環境の像として写るほうが望ましい場合がある。
【００７０】
従って、照明光の色を推定する条件として、色温度範囲を設定したほうが良い。４５０００Ｋで白バランスをとった状態で、２８００Ｋ〜１００００Ｋの色温度範囲のＲ信号およびＢ信号は反比例関係で、それぞれ約１／２倍〜約２倍の変動量を持つので、Ｒ／Ｂとしては１／４倍〜４倍となる。従って、平均色データの座標を（ｔ，ｍ）としたとき、光源の推定座標を、
ｔ＞０のとき
ｍｉｎ（ｍａｘ（ｔ−ＡＢＳ（ｍ），０），ＬＯＧ（４））                                                          ・・・  （７）
ｔ＜０のとき
ｍａｘ（ｍｉｎ（ｔ＋ＡＢＳ（ｍ），０），−ＬＯＧ（４））                                                          ・・・  （８）
と制限する。
【００７１】
すなわち空色３０８は、式（７）により最大値をＬＯＧ（４）に制限し、白バランスの取れる光源の色温度の上限を規制することで、空色が再現できる。また、橙３０４は、式（８）により最小限を−ＬＯＧ（４）に制限し、白バランスの取れる光源の色温度の下限を規制することで、夕焼け空を再現させられる。
【００７２】
このようにして、各ブロック毎に推定された照明光の色は、白い色に対応するブロックほど重みを重くして、全体の加算平均をとることで、より信頼性の高い照明光の色の推定ができる。
【００７３】
図１０の左側のグラフは、各ブロックの平均色データに対応する色がどのくらい白に近いかをマゼンタ−緑方向について示す評価値（重み１ａ）を示している。また、図１０の下側のグラフは、各ブロックの平均色データとそれに対応する色温度がどのくらい４５００Ｋに近いかを示す評価値（重み２）を示している。
【００７４】
図１１はブロックの明るさと重み３との関係を示している。横軸は明るさであり、人間の視感度に近いＧ信号の寄与率を上げるためＧ信号は２回かけているが、ＲとＢも掛けることにより彩度の低いブロックの方により大きな重みを持たせられる。掛け算のＬＯＧ関数は、掛け算要素のＬＯＧ関数の加算式になる。したがって、横軸の計算は照明光の色の推定で用いたＲ、Ｇ、Ｂ信号のＬＯＧ関数値の加減算で求められ簡単である。重みは、Ｓ／Ｎの良くない暗いブロックに対しては小さな重みとし、Ｓ／Ｎの良い明るいブロックに対しては大きな重みとすることで、照明光の色の検出誤差を小さくできる。また、信号の直線性がなくなる固体撮像素子の飽和レベルに近いブロックに対しては、平均色データが違う色を示している可能性が高いので重みを下げている。
【００７５】
このようにして求められた重みの積
（重み１ａ）×（重み２）×（重み３）
は、明るくて色の薄いつまり白い部分ほど大きな重みを持たせることができる。
【００７６】
このようにして各ブロック毎に光源推定色を求め、重みを掛けた値を全ブロックで積算し、重みの総計で割ることで、画面全体に対する白熱光源と仮定した場合の照明光の色の推定ができる。
【００７７】
上記した図１０の照明光の色の推定では、白熱光源系の照明光を想定している。
【００７８】
これに対して、図１２は蛍光灯の照明光と仮定した場合の各ブロックの平均色データから照明光の色を推定する手法を説明するための説明図である。
【００７９】
図１２と図１０との違いは、色味を低減したときのゴール値が、白熱光源より緑方向にずれている点と、重み１ｂのピークも緑方向にずれている点にある。つまり平均色データから、色成分を減算し、横軸３０９との交点を求めるのではなく、横軸３１０との交点を求めている。このようにすることで、やや緑がかった蛍光灯照明の色として照明光の色を推定できる。
【００８０】
図１０、図１２に示した例は、最初から光源が白熱光源の照明光であるか、蛍光灯の照明光であるかを事前に決めて、次に、照明光の色を推定する手法である。しかしこの発明は、このような推定方法に限らず、さらに、白熱光源による照明光であるか、蛍光灯により照明光であるかを自動的に判定しながら、照明光の色を推定する手段を備えてもよい。
【００８１】
図１３は光源が白熱光源か蛍光灯照明かを判断する指標の求め方を説明するための説明図である。
【００８２】
評価値１の特性は、ブロックの平均色データのマゼンタ−緑方向の値により、蛍光灯と同じくらい緑がかっているときには正になり、白熱光源と思われるときには負になるものであり、正負によって蛍光灯照明の可能性を示すものである。また、この評価値１は、マゼンタと緑成分の比が大きくなるにつれ値を小さくすることで、色の濃い被写体の撮影されたブロックを照明光源の種類の判別に使わないようにすることができる。
【００８３】
また、ブロックの平均色データの色温度方向成分により、４５００Ｋ前後のブロックの重みを大きくする（重みＡ）と、白いブロックである確率が高い明るいブロックの重みを大きくする図１４の（重みＢ）値によって、重み付け加算する。
【００８４】
この重み付け加算値の符号が正であれば、蛍光灯による照明光の可能性が高いと判断できる。このときは、横線３１０が基準線として用いられる。逆に、重み付け加算値の符号が負であれば、白熱光源による照明光の可能性が高いと判断できる。このときは、横線３０９が基準線として用いられる。
【００８５】
図１５は、照明光源の種類の判定手法を説明するための図である。点線３０９と３１０は、先の横線３０９，３１０に対応し、それぞれ白熱光源と蛍光灯の場合の照明光の色の推定範囲を示している。楕円８０１は、蛍光灯の色温度範囲を示している。
【００８６】
照明光源の推定色の座標上で、白熱光源であると仮定したときに推定色データが８０２ａと求められ、蛍光灯光源であると仮定したときに推定色データが８０２ｂと求められ、かつ照明判断指標（評価値１）が正で蛍光灯であることを示しているときには、照明光の推定色データ８０２ｂが８０１の中にあることになる。このときは、現実の光源は、蛍光灯であると判定し、照明光の推定色データとしては８０２ｂを推定値とする。また、照明光源の推定色座標上で、白熱光源と仮定したときに推定色データが８０３ａ、蛍光灯光源であると仮定したときに推定色データが８０３ｂと求められ、かつ照明判断指標（評価値１）が負で白熱光源であることを示しているときには、現実の光源は、白熱光源であると判定して、照明光の色データとしては８０３ａを推定値とする。
【００８７】
照明光源の推定色座標上で、白熱光源と仮定したときに推定色データが８０４ａ、蛍光灯光源であると仮定したときに推定色データが８０４ｂと求められ、かつ照明判断指標（評価値１）が正で蛍光灯であることを示しているときには、蛍光灯光源と仮定したときの照明光の色データ８０４ｂが８０１の外にある。このときは、白熱光源による照明であると判断して、照明光の色データとしては８０４ｂを推定値とする。また、照明光源の推定色座標上で、白熱光源と仮定したときに推定色データが８０５ａ、蛍光灯光源であると仮定したときに推定色データが８０５ｂと求められ、かつ照明判断指標が負で白熱光源であることを示しているときには、現実の光源は、白熱光源であると判定して、照明光の色データとしては８０５ａを推定値とする。
【００８８】
つまり、上記の実施の形態では、所定色温度の照明光に対し３原色信号の信号レベルを同一化した前記撮像素子からの３原色信号の平均値を取る。次に、平均値に対して所定色温度の値に近づくように低減処理を行う。この低減処理は、図３で説明した処理と同様な手法である。
【００８９】
低減処理時には、白熱光源と仮定した第１のゴール値を設定し、現在の光源が第１の照明光の色である仮定した場合の第１の色座標値情報（線３０９）を得る。また記低減処理時には、蛍光灯による光源と仮定した第２のゴール値を設定し、現在の光源が第２の照明光の色であると仮定した場合の第２の色座標値情報（線３１０）を得る。また、３原色信号から、照明光源が第１または第２の照明光源系のどちらに近いかを表す評価値１を得ている。そして、評価値１に基づいて、現在の光源が前記第１または第２の照明光の色のいずれの光源であるかを判定しするようにしている。
【００９０】
ここで判定された光源の色座標値と、取り込んだ３原色信号の平均値とから照明光の色を推定することができる。このときの処理は、図３で説明した処理と同様な手法である。
【００９１】
上記ように、白熱光源と蛍光灯照明のどちらの光源であるかを判断することができ、良好な白バランス機能を実現するための照明光の色推定が可能となる。
【００９２】
次に、３原色信号の利得を制御する場合は、次のように行なわれる。即ち推定した照明光の色の座標を（Ｋｔ，Ｋｍ）として、４，５０００Ｋ色温度でのＲ、Ｂ信号の白バランス利得をそれぞれＡｒ０、Ａｂ０とおくと、Ｒ増幅器１０７とＢ増幅器１０８の利得Ａｒ，Ａｂを、先に示したように、
Ａｒ＝Ａｒ０・ＥＸＰ（（Ｋｔ−Ｋｍ）／２）      ・・・  （３）
Ａｂ＝Ａｂ０・ＥＸＰ（（−Ｋｔ−Ｋｍ）／２）    ・・・  （４）
と制御することで、所定色温度範囲内の白色光源で照明された白い被写体に対してＲ、Ｇ、Ｂ信号レベルの揃った信号が得られる。
【００９３】
一方、照明の雰囲気を残したい場合には、照明光の色の色温度方向の座標値に低減率Ｃを乗じ、先に示したように、
Ａｒ＝Ａｒ０・ＥＸＰ（（Ｃ・Ｋｔ−Ｋｍ）／２）      ・・・  （５）
Ａｂ＝Ａｂ０・ＥＸＰ（（−Ｃ・Ｋｔ−Ｋｍ）／２）    ・・・  （６）
と白バランス利得を設定することもできる。低減率Ｃの値としては、、Ｃ＝０．５からＣ＝１．０の間の値に設定される。即ち、本来白い色が照明下の被写体とほぼ同じ色に画面上で見えるような効果を得ることができるＣ＝０．５から現実の被写体色と同じに色に画面上で見えるようなＣ＝１．０の間の値に設定するほうが好ましい。
【００９４】
このようにして、レベルの揃えられた信号をカメラプロセス回路１０９で、ガンマ補正処理や輪郭補正処理や輝度・色差信号への変換を施すことで、自動白バランス機能を搭載した固体撮像装置が実現できる。
【００９５】
以上説明したように、この発明の白バランスの照明光の色推定手法によれば、画像中の色から３原色信号の強い色成分を減少させて、光源の色とするための色味が保存された、また、白熱光源と蛍光灯照明のどちらであるかの判断を的確に実現する照明光の色推定が可能となり、良好な白バランス機能を搭載した撮像装置が実現できる。これにより、画像の色が薄くなりにくく、且つ屋外風景撮影時を蛍光灯照明時と誤認することがなく、緑の多い屋外風景撮影時に白バランスがずれることもない。
【００９６】
【発明の効果】
以上説明したようにこの発明は、自動白バランス制御を行なうのに、色が薄くなりにくく、且つ屋外風景撮影時を蛍光灯照明時と誤認することがない。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態を説明するための撮像装置のブロック図。
【図２】この発明に係る照明光の色の推定方法に使う色座標系を説明するための説明図。
【図３】この発明に係る照明光の色の推定方法を説明するための説明図。
【図４】この発明の第２の実施の形態に係る照明光の色の推定方法を説明するための説明図。
【図５】この発明の第３の実施の形態に係る照明光の色の推定方法を説明するための説明図。
【図６】この発明の第４の実施の形態を説明するための撮像装置のブロック図。
【図７】照明光の色の推定が行なわれる場合の判断要素として、図６の装置に設定されている明るさと重みの関係について説明するための説明図。
【図８】図６の装置において、照明光の色の推定を行なうときに考慮される重み付けの一例について示す説明図。
【図９】この発明の第５の実施の形態を説明するための撮像装置のブロック。
【図１０】この発明に係る照明光の色の推定方法のさらに他の実施例を説明するための説明図。
【図１１】照明光の色の推定が行なわれる場合の判断要素として、図１０の推定方法で採用される明るさと重みの関係について説明するための説明図。
【図１２】この発明に係る照明光の色の推定方法の更にまた他の実施例を説明するための説明図。
【図１３】この発明に係る照明光の色の推定方法のまた他の実施例を説明するための説明図。
【図１４】照明光の色の推定が行なわれる場合の判断要素として、図１３の推定方法で採用される明るさと重みの関係について説明するための説明図。
【図１５】照明光の色の推定が行なわれる場合、白色光源か、蛍光灯の光源かを判断する方法説明するための説明図。
【符号の説明】
１０１・・・レンズ、１０２・・・固体撮像素子、１０３・・・色分離回路、１０４ａ〜１０４ｃ・・・積分回路、１０５・・・マルチプレクサ、１０６・・・マイクロコンピュータ、１０７・・・Ｒ増幅器、１０８・・・Ｂ増幅器、１０９・・・カメラプロセス回路、５１０・・・積算値メモリー、
【図１】
0003607654.tif 000003
【図２】
0003607654.tif 000004
【図３】
0003607654.tif 000005
【図４】
0003607654.tif 000006
【図５】
0003607654.tif 000007
【図６】
0003607654.tif 000008
【図７】
0003607654.tif 000009
【図８】
0003607654.tif 000010
【図９】
0003607654.tif 000011
【図１０】
0003607654.tif 000012
【図１１】
0003607654.tif 000013
【図１２】
0003607654.tif 000014
【図１３】
0003607654.tif 000015
【図１４】
0003607654.tif 000016
【図１５】
0003607654.tif 000017