(57)【特許請求の範囲】
【請求項１】
分光特性が異なる４種類のＣｙ、Ｍａ、Ｙｅ、Ｇｒから成る色フィルタを有する撮像素子と、
上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのＹｅ信号とＣｙ信号との差分を表すＹｅＣｙ差分信号を生成するＹｅＣｙ差分信号生成手段と、
上記サンプルポイントにおいて、上記色フィルタのＭａ信号とＧｒ信号との差分を表すＭａＧｒ差分信号を生成するＭａＧｒ差分信号生成手段と、
上記ＹｅＣｙ差分信号とＣｙ信号との比率を表す第１の比率信号、および上記ＭａＧｒ差分信号とＧｒ信号との比率を表す第２の比率信号を生成する比率信号生成手段と、
上記第１の比率信号の成分と上記第２の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第１の比率信号と第２の比率信号とが入るか否かを判別する白色範囲判別手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第１の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第１の領域と異なる第２の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、
上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したＣｙ信号、Ｍａ信号、Ｙｅ信号、Ｇｒ信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする撮像装置。
【請求項２】
上記重み付け手段は、上記サンプルポイントにおける輝度を求め、上記輝度に基づいて上記サンプルポイントの各色信号を所定数倍することにより、上記輝度に基づいた重み付けを行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記重み付け手段は、撮影時の上記撮像素子の露光量を示すＥＶ値を取得し、上記ＥＶ値に基づいた重み付けを行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
分光特性が異なるＲ、Ｇ、Ｂの色フィルタを有する撮像素子と、
上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのうち、所定の２色フィルタに対応する撮像素子からそれぞれ出力される色信号の差分を表す第１の信号を生成する第１の信号生成手段と、
上記サンプルポイントの各々において、上記撮像素子からそれぞれ出力されるＲ、Ｇ、Ｂの各色信号を演算して得られる、第１の信号とは異なる第２の信号を生成する第２の信号生成手段と、
上記撮像素子から出力される色信号より第３の信号を生成する第３の信号作成手段と、
上記第１の信号と上記第３の信号との比率を表す第１の比率信号、上記第２の信号と上記第３の信号との比率を表す第２の比率信号を生成する比率信号生成手段と、
上記第１の比率信号の成分と上記第２の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第１の比率信号と第２の比率信号とが入るか否かを判別する白色範囲判別手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第１の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第１の領域と異なる第２の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、
上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したＲ信号、Ｇ信号、Ｂ信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする撮像装置。
【請求項５】
上記重み付け手段は、上記サンプルポイントにおける輝度情報を求め、上記輝度情報に基づいた重み付けを行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記重み付け手段は、撮影時の上記撮像素子の露光量を示すＥＶ値を取得し、上記ＥＶ値に基づいた重み付けを行うことを特徴とする請求項４に記載の撮像装置。
【請求項７】
上記第１の信号生成手段は、Ｒ信号とＢ信号の差分から第１の信号を生成し、
上記第２の信号生成手段は、Ｒ信号、Ｂ信号、Ｇ信号の和差算によって第２の信号を生成し、
上記第３の信号作成手段は、上記Ｒ信号、Ｂ信号、Ｇ信号より上記第３の信号を生成することを特徴とする請求項４に記載の撮像装置。
【請求項８】
上記第１の信号生成手段は、Ｒ信号とＢ信号の差分から第１の信号を生成し、
上記第２の信号生成手段は、Ｒ信号、Ｂ信号、Ｇ信号の和差算によって第２の信号を生成し、
上記第３の信号作成手段は、上記第３の信号として上記Ｇ信号を用いることを特徴とする請求項４に記載の撮像装置。
【請求項９】
分光特性が異なる４種類のＣｙ、Ｍａ、Ｙｅ、Ｇから成る色フィルタを有する撮像素子と、
上記撮像素子から垂直方向の２画素をＷｂ＝Ｍａ＋Ｃｙ、Ｇｒ＝Ｇ＋Ｙｅ、Ｇｂ＝Ｃｙ＋Ｇ、Ｗｒ＝Ｙｅ＋Ｍａのように加算して読み出す加算読み出し手段と、
上記加算読み出しされた信号上で上記Ｗｂ、Ｇｒ、Ｇｂ、Ｗｒ信号を各々含む複数のサンプルポイントの各々において、上記加算読み出し手段によって読み出された信号出力から（（Ｗｒ−Ｇｂ）−（Ｗｂ−Ｇｒ））で表される信号を生成する第１の信号生成手段と、
上記サンプルポイントにおいて、上記加算読み出し手段によって読み出された信号出力から（（Ｗｒ−Ｇｂ）＋（Ｗｂ−Ｇｒ））で表される信号を生成する第２の信号生成手段と、
上記サンプルポイントごとに上記第１の信号とＷｒ＋Ｇｂ信号との比率を表す第１の比率信号、および上記第２の信号とＷｂ＋Ｇｒ信号との比率を表す第２の比率信号を生成する比率信号生成手段と、
上記第１の比率信号の成分と上記第２の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第１の比率信号と第２の比率信号とが入るか否かを判別する白色範囲判別手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第１の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第１の領域と異なる第２の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、
上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、
上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したＣｙ信号、Ｍａ信号、Ｙｅ信号、Ｇ信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置に係わり、特に、静止画を撮像する撮像装置に用いて好適なものである。
【０００２】
【従来の技術】
図１２は、従来のデジタル電子カメラの概略を表すブロック図である。
図１２において、３００はデジタル電子カメラ、３０８はメモリカード等の記録媒体である。
【０００３】
デジタル電子カメラ３００において、３０１は焦点距離や画角が調整可能な撮像レンズ、３０２は絞り機能とシャッター機能を兼ねる絞り兼用シャッター、３０４は撮像レンズ３０１や絞り兼用シャッター３０２を駆動するメカ系駆動回路である。
【０００４】
１０１は被写体からの反射光を電気信号に変換する撮像素子、１０３は撮像素子を動作させるために必要なタイミング信号を発生するタイミング信号発生回路（以下ＴＧとする）、１０２はタイミング信号発生回路からの信号を撮像信号駆動可能なレベルに増幅する撮像素子駆動回路、１０４は撮像素子１０１の出力ノイズ除去のためのＣＤＳ回路やＡＧＣ回路を備えた前置処理回路（プリプロセス手段）、１０５はＡ／Ｄ変換器である。
【０００５】
３０３はＡ／Ｄ変換器１０５によってＡ／Ｄ変換されたデジタル信号を処理する撮像信号処理する回路を有する撮像信号処理回路、１０８はシステム制御ＣＰＵ、１１６は操作補助のための表示やカメラの状態を表す操作表示部、１１８はカメラの撮影開始を外部撮影者が制御するためのスイッチで、第１ストロークＳＷ１と第２ストロークＳＷ２の２段階操作が可能である。
【０００６】
３０７はデジタル電子カメラ３００と記録媒体３０８とを接続するための記録媒体Ｉ／Ｆである。また３０５は光学系３０１の焦点調整のために撮像装置と被写体との距離を測定する装置供給測距回路、３０６は被写体の明るさを測定する測光回路である。
【０００７】
また、図１３は撮像信号処理回路３０３の内部構成とその周辺を示すブロック図である。
図１３において、１０１は色フィルタが補色の撮像素子（ＣＣＤ）であり、撮像した信号はプリプロセス手段１０４を介してＡ／Ｄ変換器１０５に入力し、上記Ａ／Ｄ変換器１０５においてデジタル信号に変換された後に撮像信号処理回路３０３に入力される。
【０００８】
上記撮像信号処理回路３０３に入力された信号は、メモリ４１０に一旦記憶された後、あるいは直接に４０１エンハンサー・Ｃ  ＳＥＰ回路へ入力される。そして、エンハンサー・Ｃ  ＳＥＰ回路４０１および遅延器４０２を用いて輝度信号と色信号とを分離され、輝度信号に対しては周波数の高域部に対する強調・補償が行われる。
【０００９】
上記エンハンサー・Ｃ ＳＥＰ回路４０１から出力される色信号は、ＣＣＤ色フィルタ(Ma(Mgとも称す),G,Cy,Ye)をそれぞれ加算した信号(Wr,Wb,Gr,Gb) であり、同色信号をＣ ＭＴＸ４０３においてＲＧＢ信号に変換される。
【００１０】
次に、第１の低域通過フィルタ４０４にて輝度信号Ｙと色信号に対してフィルタ処理が施される。その後、ホワイトバランス調整回路（ＷＢ）４０５に与えられる。上記ホワイトバランス調整回路（ＷＢ）４０５は、色信号ＲＧＢの利得のそれぞれをＡＷＢ４０８に従って制御する。
【００１１】
４０６は、輝度信号Ｙおよび色信号ＲＧＢに対してガンマ処理を施すガンマ回路である。Ｃ−Ｙ  ＭＴＸ４０７は、ガンマ処理されたＲＧＢ信号を色差信号(R-Y) 、(B-Y) に変換するマトリクス回路である。
【００１２】
ＡＷＢ４０８は、ＲＧＢ信号あるいはＣ−Ｙ  ＭＴＸ４０７の出力(R-Y) 信号、B-Y 信号およびＹ信号を一定期間積分し、その積分値に応じて上記ホワイトバランス調整回路（ＷＢ）４０５でＲ信号およびＢ信号の利得を制御してホワイトバランス制御をするための制御信号を発生させるための制御回路である。
【００１３】
第２の低域通過フィルタ４０９は、色差信号ＲＧＢに対するフィルタ処理するフィルタである。そして、輝度信号Ｙと色差信号(R-Y) 、(B-Y) をメモリ４１０に１画像分記憶した後に、圧縮回路４１１においてデータ圧縮処理を施す構成である。４１２はＣＣＤをフレーム読み出しする時の垂直方向の画素加算を行う画素加算回路である。
【００１４】
図１４は、制御回路（ＡＷＢ）４０８の詳細な図面であり、色差信号(R-Y,B-Y) を入力し、上記色差信号(R-Y,B-Y) の振幅に対し所定値を越えた大きな振幅の入力を制限するクリップ回路を有する。
【００１５】
そして、上記クリップ回路を通過した色差信号(R-Y) および色差信号(B-Y) と輝度信号Ｙ  とを、例えば一画面を複数ブロックに分割し、この分割ブロック毎に積分する。
【００１６】
上記色差信号(R-Y) と(B-Y) とで作る座標において、白色の色温度変化時における変化範囲を白判別範囲（図１５のように）として設け、ブロック毎の積分値が同座標上において白判別範囲内にあるか否かを判別し、白判別範囲内の積分値を用いてＲ信号とＢ信号のゲインを定める制御を１０８のシステム制御ＣＰＵが行い、このゲインに応じた制御値でＲ／Ｂそれぞれのゲインを調整する。
【００１７】
【発明が解決しようとする課題】
上記従来例によるホワイトバランス制御は、動画撮影時に適応するには時間経過にともなってある制御状態に収束する。しかしながら、静止画撮影において上記従来例に基づくホワイトバランス制御を適応するには、画像の撮影（本露光）の前に一旦撮像素子を露光する。
【００１８】
そして、上記露光した信号を信号処理回路を用いて色差信号を作り上記従来のホワイトバランス検出により色差信号( R-Y)、(B-Y) の座標上の位置から色温度状況を検出し同色温度における調整値を得た後に、本露光を行い先に得た調整値を用いてゲイン調整を行ってホワイトバランスを取る。
【００１９】
このように、一回のホワイトバランス検出で正確な色温度を検出する必要があるが、従来のように色差信号( R-Y)および(B-Y) で座標を作り、同座標上に白判別範囲を設定する方法にあっては、ある色を低輝度で撮影した時とある色温度（特に白判別範囲内にあってR-Y 軸とB-Y 軸の交差点より遠い場所にあたる色温度）  における白撮影した時とではともに白判別範囲内に入るので色温度の特定が難しくなり正確な色温度を検出することができない欠点があった。
【００２０】
例えば、色差信号(R-Y) と輝度信号Ｙとの関係は、図１６に示すように、色温度変化がαからβまでの間であるとき、白色は点a,b,o の３つで囲まれた領域に存在する。これに対し、ある色（ａ色）は点c,d,o の３点で囲まれた領域に存在するものとする。従来のように、色差信号(R-Y) のレベル(e) で白色を判別すると、領域(F) 内の(a色) も含まれることとなり、色温度検出の妨げとなる問題があった。
さらに、例えば、画像中に白が占める割合が低い場合など、白色領域に含まれてしまう上述の他の色の影響によって、ホワイトバランスが大きく崩れてしまうという問題があった。
【００２１】
本発明は上述の問題点にかんがみ、輝度信号レベルに依存しない正確な色温度検出を行うことができるようにすることを目的とする。
【００２２】
【課題を解決するための手段】
本発明の撮像装置は、分光特性が異なる４種類のＣｙ、Ｍａ、Ｙｅ、Ｇｒから成る色フィルタを有する撮像素子と、上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのＹｅ信号とＣｙ信号との差分を表すＹｅＣｙ差分信号を生成するＹｅＣｙ差分信号生成手段と、上記サンプルポイントにおいて、上記色フィルタのＭａ信号とＧｒ信号との差分を表すＭａＧｒ差分信号を生成するＭａＧｒ差分信号生成手段と、上記ＹｅＣｙ差分信号とＣｙ信号との比率を表す第１の比率信号、および上記ＭａＧｒ差分信号とＧｒ信号との比率を表す第２の比率信号を生成する比率信号生成手段と、上記第１の比率信号の成分と上記第２の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第１の比率信号と第２の比率信号とが入るか否かを判別する白色範囲判別手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第１の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第１の領域と異なる第２の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したＣｙ信号、Ｍａ信号、Ｙｅ信号、Ｇｒ信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする。
【００２３】
また、本発明の他の特徴とするところは、分光特性が異なるＲ、Ｇ、Ｂの色フィルタを有する撮像素子と、上記撮像素子の撮像領域上に設定された上記色フィルタの複数画素を各々含む複数のサンプルポイントの各々において、上記色フィルタのうち、所定の２色フィルタに対応する撮像素子からそれぞれ出力される色信号の差分を表す第１の信号を生成する第１の信号生成手段と、上記サンプルポイントの各々において、上記撮像素子からそれぞれ出力されるＲ、Ｇ、Ｂの各色信号を演算して得られる、第１の信号とは異なる第２の信号を生成する第２の信号生成手段と、上記撮像素子から出力される色信号より第３の信号を生成する第３の信号作成手段と、上記第１の信号と上記第３の信号との比率を表す第１の比率信号、上記第２の信号と上記第３の信号との比率を表す第２の比率信号を生成する比率信号生成手段と、上記第１の比率信号の成分と上記第２の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第１の比率信号と第２の比率信号とが入るか否かを判別する白色範囲判別手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第１の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第１の領域と異なる第２の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したＲ信号、Ｇ信号、Ｂ信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする。
【００２４】
また、本発明のその他の特徴とするところは、分光特性が異なる４種類のＣｙ、Ｍａ、Ｙｅ、Ｇから成る色フィルタを有する撮像素子と、上記撮像素子から垂直方向の２画素をＷｂ＝Ｍａ＋Ｃｙ、Ｇｒ＝Ｇ＋Ｙｅ、Ｇｂ＝Ｃｙ＋Ｇ、Ｗｒ＝Ｙｅ＋Ｍａのように加算して読み出す加算読み出し手段と、上記加算読み出しされた信号上で上記Ｗｂ、Ｇｒ、Ｇｂ、Ｗｒ信号を各々含む複数のサンプルポイントの各々において、上記加算読み出し手段によって読み出された信号出力から（（Ｗｒ−Ｇｂ）−（Ｗｂ−Ｇｒ））で表される信号を生成する第１の信号生成手段と、上記サンプルポイントにおいて、上記加算読み出し手段によって読み出された信号出力から（（Ｗｒ−Ｇｂ）＋（Ｗｂ−Ｇｒ））で表される信号を生成する第２の信号生成手段と、上記サンプルポイントごとに上記第１の信号とＷｒ＋Ｇｂ信号との比率を表す第１の比率信号、および上記第２の信号とＷｂ＋Ｇｒ信号との比率を表す第２の比率信号を生成する比率信号生成手段と、上記第１の比率信号の成分と上記第２の比率信号の成分とで形成する座標上の白色範囲内に、上記サンプルポイントごとに得られる第１の比率信号と第２の比率信号とが入るか否かを判別する白色範囲判別手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内と判別された複数の上記サンプルポイントのうち、撮影時の照度情報に基づいて、上記白色範囲内の第１の領域に含まれる複数のサンプルポイントの色信号と、上記白色範囲内の前記第１の領域と異なる第２の領域に含まれる複数のサンプルポイントの色信号とに異なる重み付けを行う重み付け手段と、上記白色範囲判別手段の判別に基づいて上記白色範囲内にないと判別された上記サンプルポイントの色信号に対して、上記白色範囲の枠上に座標を移動させる移動手段と、上記白色範囲内の上記サンプルポイントの数と座標が移動した上記サンプルポイントの数とに応じた混成比と、上記白色範囲内と判別されるとともに上記重み付け処理された色信号と、上記移動手段により座標が移動した色信号とに基づき、上記撮像素子から得られる被写体の白色領域に対応したＣｙ信号、Ｍａ信号、Ｙｅ信号、Ｇ信号のレベル差が抑制されるように制御する利得制御値を得る利得制御値制御手段とを有することを特徴とする。
【００３４】
【作用】
上記課題を解決するために、本発明においては、輝度信号Ｙに対する色差信号(R-Y) 、(B-Y) の傾き、すなわち、(R-Y)/Y 、(B-Y)/Y は輝度信号Ｙのレベルによらず色温度と撮影色とから定められる値であることから、(R-Y)/Y 、(B-Y)/Y から座標を作って白判別範囲を定め、撮影画の(R-Y)/Y 、(B-Y)/Y と輝度信号Ｙ、または撮像素子の露光量を用いて重み付けを行い、色温度を検出することにより輝度信号レベルに依存しない正確な検出を行えるようにしている。
【００３５】
また、輝度信号Ｙまたは撮像素子の露光量を用いて、白判別内の信号値に重み付けを行うことにより、画像中に白が占める割合が低くても、他の色の影響を少なくすることができるようにして、より正確なホワイトバランス信号を得ることができるようにしている。
【００３６】
また、本発明の他の特徴によれば、色差信号の傾き(R-Y)/Y 、(B-Y)/Y に代わって、(Mg-G)/(Mg+G) 、(Ye-Cy)/(Ye+Cy) または(Mg-G)/(Mg+G+Cy+Ye) 、(Ye-Cy)/(Mg+G+Ye+Cy)によって座標を作り色温度の検出をすることにより、(Mg,G,Cy,Ye ) 補色フィルタを有する撮像素子の読み出し信号から、簡易な処理で色温度検出が直接できるため、本露光前の色温度検出のための露光および信号処理を省略することができ、簡易でかつ正確な色温度検出が可能となる。
【００３７】
ここで、分子を(Mg-G ) および(Ye-Cy) とすることにより、色温度変化方向が(Mg-G ) 軸にほぼ垂直で(Ye-Cy) 軸にほぼ平行であるため、白判別範囲の設定を容易に行うことができる。
また、(R,G,B) 純色フィルタを有する撮像素子にあっては、(R-B)/(R+G+B) 、(R+B-G)/(R+G+B) によって座標を作って色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となる。
【００３８】
また、本発明のその他の特徴によれば、色差信号の傾き(R-Y)/Y 、(B-Y)/Y に代わって(Mg-G)/G、または(Mg-G)/Mg と(Ye-Cy)/Cy、または(Ye-Cy)/Yeによって座標を作り色温度の検出をすることにより、(Mg,G,Cy,Ye)の色フィルタを有する撮像素子の読み出し信号から直接に色温度検出ができるため、本露光前の色温度検出のための露光および信号処理を省略することができ、簡易でかつ正確な色温度検出が可能となる。
【００３９】
また、白色部分を少量しか含まない被写体撮影時にあっても(Mg-G)/G=a、(Ye-Cy)/Cy=bの形で白色判別範囲内の座標を与えることにより、白色判別範囲内におけるMg′=(1+a)*G、Ye'=(1+b)*Cyの形で簡易な処理で撮像素子出力を置き換えることができ、上記撮影条件にあってもホワイトバランスが大きくずれないホワイトバランス調整が可能となる。
【００４０】
また、(R,G,B) 純色フィルタを有する撮像素子にあっては(R-B)/G 、(R+B-G)/G によって座標を作り色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となるとともに、白色部分を少量しか含まない被写体撮影時にあっても(R-B)/G=a 、(R+B-G)/G=b の形で白色判別範囲内の座標を与えることにより、白色判別範囲内におけるR'=(1+a+b)*G/2、B'=(1-a+b)*G/2の形の簡易な処理で撮像素子出力を置き換えることができ、上記撮影条件にあってもホワイトバランスが大きくずれないホワイトバランス調整を可能としている。
【００４１】
【発明の実施の形態】
以下、本発明の撮像装置の一実施形態を図面を参照して説明する。
図１および図２は、本実施形態の撮像装置の動作を説明するためのフローチャート、図３は本発明の撮像装置の第１の実施形態に係わる電子カメラの信号処理の流れを示したブロック図である。
【００４２】
本実施形態における撮像素子はフレーム読み出しを行うため、撮像素子からの出力信号M,G,C,Y は、撮像素子に張り付けられたフィルタに応じて出てくる。
まず、オプティカルブラック領域における各フィルタ出力は積分器３１において積分され、その積分値が黒レベル調整回路３２に与えられて黒レベルの調整が行される。
【００４３】
次に、ホワイトバランス検出回路３３においてホワイトバランス検出が行われ、ホワイトバランス検出された出力がゲイン調整回路３４に与えられ、白点におけるMa、Gr、Cy、Yeの出力ゲインが同じになるようにゲイン調整される。
【００４４】
一方、輝度信号（Ｙ）は、色フィルタによるモアレを除去するためにローパスフィルタ３５を通した後、アパチャー補正を行う。ここでは、水平、垂直についてそれぞれハイパスフィルタ３６ａ、３６ｂを通される。
【００４５】
その後、ゲイン調整回路３７ａ、３７ｂでゲインを調整される。その後、振幅調整回路３８ａ、３８ｂにおいて、アパチャー信号の振幅の小さいものにはその振幅が大きくなるようにする処理が施されるとともに、振幅の大きいものにはその振幅が小さくなるようにするPeak To Peak処理が施される。
【００４６】
次に、ベースクリップ（ＢＣ）回路３９ａ、３９ｂにおいてノイズレベルの小さな信号をカットする処理を施された後、加算回路４０において水平、垂直が足される。さらに、ゲイン調整回路４１においてゲイン調整が行われた後、加算回路４２において輝度成分（Ｙｎ）に加えられる。
【００４７】
色差信号(R-Y,B-Y) を作るには、まず、同時化回路５０で４色の信号M,G,C,Y を同時化する。
次に、画素補間回路５１において、撮像面全領域に４つの色信号M,G,C,Y が割り当てられるよう画素補間を行う。
【００４８】
次に、４×３の第１のマトリクス回路５２を用いてMGYS信号をＲＧＢ信号に変換する。このとき、第１のマトリクス回路５２は、ホワイトバランス情報から被写体の色温度を判別して、その色温度における色再現が最もよくなるようなマトリクスが用いられる。
【００４９】
次に、第２のマトリクス回路５３において、ＲＧＢ信号を(R-Y) 信号、(B-Y) 信号に変換するとともに、ローパスフィルタ５４に通し、モアレ低減のためのローパスフィルタ処理を行う。次に、色処理回路５５において、Ｙ信号を参考に飽和の色消し処理を行う。
【００５０】
このようにして作られた、輝度信号（Ｙ）と色差信号(R-Y,B-Y) は、カラーデコーダ５６によってＲＧＢ信号に変換され、その後、ガンマ処理回路５７においてガンマ補正処理が行われた後、記録される。
【００５１】
次に、本実施形態の主眼点である、ホワイトバランス処理について詳細に説明する。ＣＣＤ補色フィルターが図４のように配列されている場合、図４の８画素配列を単位ブロックとして、この単位ブロックの繰り返しで全体の配列が成り立っている。
【００５２】
これらの８画素の出力を、それぞれの色フィルタに合わせてMa1 、Ma2 、Gr1 、Gr2 、Cy1 、Cy2 、Ye1 、Ye2 とする。なお、同色フィルタの出力をそれぞれ２色(Ma1とMa2 、 Gr1とGr2 、 Cy1とCy2 、 Ye1とYe2)に分けて扱うのは、隣接画素の色が異なることにより同色フィルタの画素でも互いに出力レベルが異なるためである。
【００５３】
以下、図１および図２に従ってホワイトバランス処理を詳細に説明する。
まず、最初のステップＳ１１において、１サンプルごとにサンプルデータを抽出する。
【００５４】
次に、ステップＳ１２において、上記ステップＳ１１で抽出したサンプルデータがＷＢサンプル点として有効か否かを判断する。上記判断の結果、上記抽出したサンプルデータがＷＢサンプル点として有効である場合にはステップＳ１３に進み、有効でない場合にはステップＳ１１からやり直す。
【００５５】
ステップＳ１３は、抽出したサンプルポイント８画素の全てについてＷＢデータとして計算できる明るさが有るか否かを判断するものであり、以下の式を用いて行う。
DarkThreshold < PixelValue < BrightThreshold
ここで、
DarkThreshold  ：あらかじめ決められた値
BrightThreshold：   -   "   -
PixelValue     ：サンプルポイント８画素
【００５６】
上記ステップＳ１３における判断の結果、サンプルポイントの８画素の全てが、次の式を満たす場合はステップＳ１４に進み、一つでも満たさない場合、サンプルポイントを次にへ移行して上述したステップＳ１１からやり直す。
【００５７】
ステップＳ１４においては、エッジのしきい値を判断する。これは、サンプルポイントの８画素全てが次の式を満たすか否かを調べる。
EdgeThreshold > ｜Ma1-Ma2 ｜
EdgeThreshold > ｜Gr1-Gr2 ｜
EdgeThreshold > ｜Cy1-Cy2 ｜
EdgeThreshold > ｜Ye1-Ye2 ｜
ここで、
EdgeThreshol：あらかじめ決められた値である。
【００５８】
ステップＳ１４の判断の結果、８画素全てが満たす場合はステップＳ１５に進み、一つでも満たさない場合は、そのサンプルポイントにはエッジが含まれているいると判断し、次のサンプルポイントへ移行しステップＳ１１からやり直す。
【００５９】
ステップＳ１５においては、各サンプルポイントにおいて、(X1,Y1,X2,Y2) を以下の式（１）〜式（４）の値を求める。
X1=(Ye1-Cy1)/Cy1                …（１）
Y1=(Ma1-Gr1)/Gr1                …（２）
X2=(Ye2-Cy2)/Cy2                …（３）
Y2=(Ma2-Gr2)/Gr2                …（４）
また、(R,G,B) 純色フィルタを有する撮像素子にあっては、(R-B)/(R+G+B) 、(R+B-G)/(R+G+B) によって座標を作って色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となる。
また、(R,G,B) 純色フィルタを有する撮像素子にあっては(R-B)/G 、(R+B-G)/G によって座標を作り色温度の検出を図ることにより、補色フィルタを有する撮像素子と同様に本露光前の色温度検出のための露光および信号処理を省略することができ、撮像素子出力信号より、簡易な処理で正確な色温度検出が可能となるとともに、白色部分を少量しか含まない被写体撮影時にあっても(R-B)/G=a 、(R+B-G)/G=b の形で白色判別範囲内の座標を与えることにより、白色判別範囲内におけるR'=(1+a+b)*G/2、B'=(1-a+b)*G/2の形の簡易な処理で撮像素子出力を置き換えることができ、上記撮影条件にあってもホワイトバランスが大きくずれないホワイトバランス調整を可能としている。
【００６０】
次に、ステップＳ１６において、図５に示すように、(Ye-Cy)/CyをＸ軸、( Ma-Gr)/Gr をＹ軸にとり、式（１）から（４）が、ＸＹ軸上に設けた所定の白領域内にあるか否かを判断する。
【００６１】
この判断の結果、所定の白領域内にある場合、つまり以下の条件式、
a<X1<b, c<Y1<d  かつ a<X2<b, c<Y2<d   …（５）
を満たす場合、上記サンプルポイントをホワイトバランスＷＢ設定を行うためのデータとして有効と見做してステップＳ１７に進む。また、上記式（５）を満たさない場合は、上記データを無効と見做してステップＳ２７に進む。
【００６２】
ステップＳ１７においては、まず、上記サンプルポイントにおいて、以下の式を用いて、ＷＢ座標におけるサンプルポイントのＸＹ軸値の平均値、及び、輝度値を求める。
AverageX=(X1+X2)/2
AverageY=(Y1+Y2)/2
AverageBrightness=(Ma1+Ma2+Gr1+Gr2+Cy1+Cy2+Ye1+Ye2)/8
【００６３】
次に、ステップＳ１８において、上記サンプルデータが最初のホワイトバランスＷＢ設定に有効データか否かを判断する。そして、上記サンプルポイントが設定に有効データとみなされた最初のサンプルポイントである場合は、ステップＳ１９に進み、そうでない場合には、ステップＳ２１に進む。
【００６４】
ステップＳ１９においては、図６に示すよう値をパラメータとして持つサンプルポイントグループを作り、ステップＳ１７で求めた値、及び、同ポイントの画素値を代入する。すなわち、下記の計算を行う。
GpX=AverageX
GpY=AverageY
GpBrightness=AverageBrightness
GpMa1=Ma1
GpMa2=Ma2
GpGr1=Gr1
GpGr2=Gr2
GpCy1=Cy1
GpCy2=Cy2
GpYe1=Ye1
GpYe2=Ye2
GpNumber=1
GpWeight=1
【００６５】
その後、ステップＳ２０に進み、全サンプルデータの抽出を完了したか否かを判断する。そして、まだ全てのサンプルデータの抽出を完了していない場合にはステップＳ１１に戻って上述した処理を繰り返し行う。
【００６６】
一方、ステップＳ１８の判断の結果、上記サンプルポイントが設定有効データと見なされた最初のサンプルポイントでなかった場合には、ステップＳ２１に進み、サンプルポイントグループに含まれるか否かを判断する。
【００６７】
上記判断の結果、含まれる場合にはステップＳ２２に進み、サンプルポイントグループに含ませる処理を行う。
また、ステップＳ２１の判断の結果、含まれない場合にはステップＳ２３に進み、サンプルポイントグループが終わったか否かを判断し、終わっていない場合にはステップＳ２１に戻り、サンプルポイントグループが終わった場合にはステップＳ１９に移行する。
【００６８】
上述したステップＳ２１〜ステップＳ２２の処理を数式を用いて説明すれば、同サンプルポイントがＷＢ設定有効データとみなされた最初でないサンプルポイントである場合は、既存のサンプルポイントグループのGpX 、GpY 、GpBrightnessの値を用いて、以下の条件式を満たすときに、同サンプルポイントはそのサンプルポイントグループに含まれると判断し、サンプルポイントグループに含ませるようにする。
【００６９】
0003984666.tif 000002
【００７０】
また、現在作られている全てのサンプルポイントグループに含ませることができない場合は、同サンプルポイントを基準とする新たなサンプルポイントグループを作成する。
【００７１】
全てのサンプルポイントにおいて、ステップＳ１７〜ステップＳ１９の処理が終了したら、ステップＳ１７で作られた一つあるいは複数個のサンプルポイントグループの中から、本当の白のグループを探すわけであるが、実際にはどれが白であるかわからない。
【００７２】
そこで、次に、まず、図２のステップＳ２４において、サンプルポイントグループを輝度の高い順にソートする。
次に、輝度の高いものは白であるという仮定をして、上記複数のサンプルポイントグループの輝度情報GpＢrightness を用いて、輝度の大きいものからＮ番目までを白である確率が高いグループとしてそのサンプルポイントグループの重み付けを行う。重み付けは以下の式で行う（ステップＳ２５、ステップＳ２６）。
【００７３】
0003984666.tif 000003
【００７４】
一方、ステップＳ１５で求めて座標に表したホワイト点(X1,Y1)(X2,Y2)が所定範囲内にないものとステップＳ１６で判断されたならば、図１のステップＳ２７に進み、図５のように同座標点を所定範囲枠上に移動し、範囲枠上の座標(X',Y') から、次式を用いて、色フィルタ出力Ma1'、Ma2'、Ye1'、Ye2'を新たに求め直す。
Ma1'=(1+Y')*Gr1
Ma2'=(1+Y')*Gr2
Ye1'=(1+X')*Cy1
Ye2'=(1+X')*Cy2
【００７５】
ただし、座標点の移動の仕方は図５のように、座標点に対して最も近い所定範囲枠上の座標に移動するものとする。この座標移動処理を色クリップ処理と呼ぶ。この色クリップ処理されたサンプルポイントの総数を、次のステップＳ２８でカウントし、SN2 とする。次に、ステップＳ２９に進み、色クリップによって求められる積分値をMa1'、Ma2'、Gr1'、Gr2'、Cy1'、Cy2'、Ye1'、Ye2'とする。
【００７６】
重み付けが終わったら、次に、ステップＳ３０に進み、ステップＳ１７〜ステップＳ１９及びステップＳ２５〜ステップＳ２６で得られた全てのサンプルポイントグループに対して、以下の式を用いて重み付け、白判別範囲内の積分値(SMa1,SMa2,SGr1,SGr2,SCy1,SCy2,SYe1,SYe2) を求める。
【００７７】
SMa1=SMa1+GpMa1*GpWeight
SMa2=SMa2+GpMa2*GpWeight
SGr1=SGr1+GpGr1*GpWeight
SGr2=SGr2+GpGr2*GpWeight
SCy1=SCy1+GpCy1*GpWeight
SCy2=SCy2+GpCy2*GpWeight
SYe1=SYe1+GpYe1*GpWeight
SYe2=SYe2+GpYe2*GpWeight
【００７８】
次に、ステップＳ３１において、同時に白とみなされたサンプルポイント数SN1 を求める。
SN1=SN1+GpNumber
【００７９】
次に、ステップＳ３２において、全てのサンプルポイントグループに実行したたか否かを判断し、実行していなければステップＳ３０に戻る。また、全てに実行した場合にはステップＳ３３に進む。
【００８０】
ステップＳ３３においては、サンプル数(SN1+SN2) が０、または所定以上得られているか否かを判断し、所定以上得られていなければ、ステップＳ３４に進み、ホワイトバランス調整データとして、所定の色温度（例えば5000K ）のホワイトバランス調整値を用いる。
【００８１】
また、ステップＳ３３の判断の結果、サンプル数(SN1+SN2) が所定以上得られている場合には、ステップＳ３５に進み、白撮影時の平均輝度レベルとしての、
SY=(SMa1+SMa2+SGr1+SGr2+SCy1+SCy2+SYe1+SYe2)/8
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gmg1=SY/(2*SMa1)  gmg2=SY/(2*SMa2)
gg1=SY/(2*SGr1)   gg2=SY/(2*SGr2)
gcy1=SY/(2*SCy1)  gcy2=SY/(2*SCy2)
gye1=SY/(2*SYe1)  gye2=SY/(2*SYe2)
【００８２】
次に、ステップＳ３６に進み、クリップ時の平均輝度レベルとしての
SY'=(SMa1'+SMa2'+SGr1'+SGr2'+SCy1'+SCy2'+SYe1'+SYe2'/8
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gmg1'=SY'/(2*SMa1')   gmg2'=SY'/(2*SMa2')
gg1'=SY'/(2*SGr1')    gg2'=SY'/(2*SGr2')
gcy1'=SY'/(2*SCy1')   gcy2'=ST'/(2*SCy2')
gye1'=SY'/(2*SYe1')   gye2'=SY'/(2*SYe2')
【００８３】
次に、ステップＳ３７に進み、ステップＳ３５およびステップＳ３６で得られた、各色の積分値の比率と、白判別範囲内の積分サンプル数SN1 と、色クリップによる積分サンプル数SN2 とにより、ホワイトバランス調整データ(wmg1,wg1,wcy1,wye1,wmg2,wg2,wcy2,wye2) を作る。
【００８４】
例えば、
0003984666.tif 000004
のような処理を施す。
【００８５】
これらの値をホワイトバランス調整データとして記憶する。
上記処理で得られたホワイトバランス調整データを、撮像素子から得られた画素毎の信号値にかけることで、ホワイトバランスをとることができる。
【００８６】
以上説明したように、本実施形態においては撮像素子からの信号値でホワイトバランスのための座標を作り、その座標において白領域に入ったサンプル点に対し、白いものは相対的に輝度値が高いという仮定のもとに重み付けを行う。
【００８７】
その後、そのサンプル点で積分を行う処理をするので、画像中に白が少ない場合であっても、他の色に影響されてホワイトバランスが大きくくずれることを回避することが可能となる。
【００８８】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。上述した第１の実施形態では、電子カメラの信号読みだしはフレーム読みだしであったが、この第２の実施形態においては電子カメラの信号をフィールド読みだしで行っている。
【００８９】
本実施形態における撮像素子はフィールド読み出しを行うため、図９に示すように、撮像素子からの出力は垂直方向２画素が加算されて読み出される。この図９において、
Wb=Ma+Cy
Gr=G+Ye
Gb=Cy+G
Wr=Ye+Ma
である。
【００９０】
本実施形態の場合、色フィルタが(Ma,g,Cy,Ye)から(Wb,Gr,Gb,Wr) に変わったものと考えると、上述したフレーム読み出しとほぼ同じ処理を行うことになり、ハード構成は、上述した第１の実施形態における図３と同様であるので、図示を省略する。
【００９１】
本実施形態において、まず、オプティカルブラック領域における各フィルタ出力の積分値を用いて黒レベルの調整を行う。
次に、ホワイトバランス処理を行い、白点におけるWb、Gr、Gb、Wrの出力ゲインが同じになるようにする。
【００９２】
輝度信号（Ｙ）を作るには、色フィルタによるモアレを除去するために水平ローパスフィルタがかけられた後、アパチャー補正を行う。ここでは、水平、垂直にそれぞれハイパスフィルタがかけられ、ゲインを調整、アパチャー信号の振幅の小さいものにはそのＣＰＵが大きくなるように、また振幅の大きいものにはその振幅が小さくなるようにPeak To Peak処理が施され、水平、垂直が足され、さらにゲインをかけて、輝度成分（Ｙｎ）に加えられる。
【００９３】
色差信号(R-Y,B-Y) を作るには、まず同時化回路で４色の信号を同時化し、撮像面領域に４つの色信号が割り当てられるよう画素補間を行う。
次に、４×３のマトリクス回路を用いてWb信号、Gr信号、Gb信号、Wr信号をＲＧＢ信号に変換する。このとき、マトリクス回路は、ホワイトバランス情報から被写体の色温度を判別して、その色温度における色再現の最もよくなるようなマトリクス回路が用いられる。
【００９４】
次に、ＲＧＢ信号をR-Y 、B-Y 信号に変換し、モアレ低減のためのローパスフィルタをかけ、Ｙ信号を参考に飽和の色消し処理を行う。
このようにして作られた、輝度信号（Ｙ）と色差信号(R-Y,B-Y) は、ＲＧＢ信号に変換され、ガンマ補正処理を行った後、記録される。
【００９５】
次に、本実施形態の主眼点である、ホワイトバランス処理について詳細に説明する。ＣＣＤ補色フィルタが図９（ａ）のように配列している場合、図の８画素配列を単位ブロックとして、この単位ブロックの繰り返しで全体の配列が成り立っている。ここで、フィールド読み出しを行うため、１フィールドでは、図９（ｂ）のような信号が読み出される。
【００９６】
次に、図７、図８を参照しながら第２の実施形態の処理手順を説明する。
まず、最初のステップＳ６１において、１サンプルごとにサンプルデータを抽出する。
【００９７】
次に、ステップＳ６２において、上記ステップＳ６１で抽出したサンプルデータがＷＢサンプル点として有効か否かを判断する。上記判断の結果、上記抽出したサンプルデータがＷＢサンプル点として有効である場合にはステップＳ６３に進み、有効でない場合にはステップＳ６１からやり直す。
【００９８】
ステップＳ６３においては、サンプルポイントがＷＢデータとして計算できる明るさがあるか否かを調べ、サンプルポイントの４画素全て(Wb,Gr,Gb,Wr) が、次の式を満たす場合は次のステップＳ６４に進み、一つでも満たさない場合、次のサンプルポイントへ移行しステップ１からやり直す。
DarkThreshold<PixelValue<BrightThreshold
【００９９】
次に、ステップＳ６４において、サンプルポイントにおいて、以下の式の値を求める。
X1=((Wr-Gb)-(Wb-Gr))/(Wr+Gb)    …（６）
Y1=((Wr-Gb)+(Wb-Gr))/(Wb+Gr)    …（７）
【０１００】
次に、ステップＳ６５に進み、ＷＢバランス設定用のデータとして有効か否かを判断する。すなわち、図５に示したように、((Wr-Gb)-(Wb-Gr))/(Wr+Gb) をＸ軸、((Wr-Gb)+(Wb-Gr))/(Wb+Gr) をＹ軸にとり、上記式（６）、（７）が、Ｘ、Ｙ軸上に設けた所定の領域内にある場合、つまり、以下の条件式、
a<X1<b, c<Y1<d    …（８）
を満たす場合、同サンプルポイントをＷＢ設定するためのデータとして有効とみなし、ステップＳ６６へ進む。また、上記式（８）を満たさない場合はステップＳ７６へ進む。
【０１０１】
ステップＳ６６においては、同サンプルポイントにおいて、以下の式を用いて、ＷＢ座標におけるサンプルポイントのＸＹ軸値の平均値、及び、輝度値を求める。
AverageX=X1
AverageY=Y1
AverageBrightness=(Wb+Gr+Gb+Wr)/2
【０１０２】
次に、ステップＳ６７に進み、同サンプルポイントが最初のＷＢ設定有効データか否かを判断する。そして、上記判断の結果、同サンプルポイントがＷＢ設定有効データとみなされた最初のサンプルポイントである場合は、ステップＳ６８に進む。
【０１０３】
ステップＳ６８においては、図６のような値をパラメータとして持つサンプルポイントグループを作り、ステップＳ６６で求めた値、及び、同ポイントの画素値を代入する。
GpX=AverageX
GpY=AverageY
GpBrightness=AverageBrightness
GpWb=Wb
GpGr=Gr
GpGb=Gb
GpWr=Wr
GpNumber=1
GpWeight=1
【０１０４】
また、同サンプルポイントがＷＢ設定有効データとみなされた最初でないサンプルポイントである場合は、ステップＳ６９に進み、サンプルポイントグループに含まれるか否かを判断する。
【０１０５】
上記判断は、既存のサンプルポイントグループのGpX 、GpY 、GpBrightnessの値を用いて、以下の条件式を満たすときに、同サンプルポイントはそのサンプルポイントグループに含まれると判断する。この場合、ステップＳ７０に進み、サンプルポイントグループに含ませるようにする。
【０１０６】
すなわち、
0003984666.tif 000005
【０１０７】
また、全てのサンプルポイントグループに含ませることができない場合は、ステップＳ７１に進み、サンプルポイントグループが終わりか否かを判断する。上記判断の結果、終わりでない場合にはステップＳ６９に戻り、また、終わりの場合にはステップＳ６８に進み、上述したように、同サンプルポイントを基準とする新たなサンプルポイントグループを作成する。
【０１０８】
ステップＳ６８、あるいはステップＳ７０の処理が終了したら、次に、ステップＳ７２に進み、全サンプルデータ抽出を完了したか否かを判断する。そして、上記判断の結果、終了していない場合にはステップＳ６１に戻り、上述した処理を繰り返し行う。
【０１０９】
全サンプルデータ抽出を完了した場合には、次に、図８のステップＳ７３〜７５の処理を行う。
これは、全てのサンプルポイントにおいて、ステップＳ６７〜ステップＳ７１の処理が終了したら、ステップ６７〜ステップＳ７１で作られた一つあるいは複数個のサンプルポイントグループの中から、本当の白のグループを探す処理を行う。
【０１１０】
しかし、本当の白のグループは、実際にはどれが白であるか分からない。そこで、輝度の高いものは白であるという仮定をして、上記複数のサンプルポイントグループの輝度情報GpBrightnessを用いて、輝度の大きいものからＮ番目までを本当の白グループとして、そのサンプルポイントの重み付けを行う。すなわち、ステップＳ７３〜ステップＳ７５の処理を順次行う。
【０１１１】
重み付けの処理は以下の式で行う。
GpWeight=GpWeight*2
ただし、Ｎは１以上であり、例えば、次式で求められる。
【０１１２】
0003984666.tif 000006
【０１１３】
一方、ステップＳ６４で求め座標に表したホワイト点(X1,Y1) 、(X2,Y2) が所定範囲内にないものとステップＳ６５で判断されたならば、同座標点を所定範囲枠上に移動し、Wb' 、Wr' を新たに求め直す（ステップＳ７６）。
【０１１４】
次に、ステップＳ７７において、上記色クリップされたサンプルポイントの総数をSN2 とした後、ステップＳ７８において色クリップによって求められる積分値をWb' 、Gr' 、Gb' 、Wr' を各色毎に積分値に加算する処理を行う。
【０１１５】
重み付けが終わったら、次に、ステップＳ７９に進み、ステップＳ６７〜ステップＳ７１及びステップＳ７４〜ステップＳ７５で得られた全てのサンプルポイントグループに対して、以下の式を用いて、白判別範囲内の積分値(SWb,SGr,SGb,SWr) を求める。
SWb=SWb+GpWb*GpWeight
SGr=SGr+GpGr*GpWeight
SGb=SGb+GpGb*GpWeight
SWr=SWr+GpWr*GpWeight
【０１１６】
次に、ステップＳ８０に進み、同時に白とみなされたサンプルポイント数SN1 を求める。
SN1=SN1+GpNumber
【０１１７】
次に、ステップＳ８１において、全てのサンプルポイントグループに対して実行したか否かを判断し、実行していない場合にはステップＳ７９に戻って上述した動作を繰り返し行う。
【０１１８】
また、全てのサンプルポイントグループに対して実行している場合には、ステップＳ８２に進み、サンプル数(SN1+SN2) が０、または所定以上得られているか否かを判断する。
【０１１９】
ステップＳ８２の判断の結果、サンプル数(SN1+SN2) が所定以上得られていなければ、ステップＳ８３に進み、ホワイトバランス調整データとして、所定の色温度（例えば5000K)のホワイトバランス調整値を用いる。
【０１２０】
一方、ステップＳ８２の判断の結果、サンプル数(SN1+SN2) が所定以上得られていれば、ステップＳ８４に進み、白撮影時の平均輝度レベルとしての、
SY=(SWb+SGr+SGb+SWr)/4
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gwb=SY/(2*SWb)
ggr=SY/(2*SGr)
ggb=SY/(2*SGb)
gwr=SY/(2*SWr)
【０１２１】
次に、ステップＳ８５に進み、クリップ時の平均輝度レベルとしての、
SY'=(SWb'+SGr'+SGb'+SWr') /4
を求め、この平均輝度レベルに対する各色の積分値の比率を求める。
gwb'=SY'/(2*SWb')
ggr'=SY'/(2*SGr')
ggb'=SY'/(2*SGb')
gwr'=SY'/(2*SWr')
【０１２２】
次に、ステップＳ８６に進み、ステップＳ８４およびステップＳ８５で得られた、各色の積分値の比率と、白判別範囲内の積分サンプル数SN1 と色クリップによる積分サンプル数SN2 より、ホワイトバランス調整データ(wwb,wgr,wgb,wwr) を作る。
【０１２３】
例えば、
0003984666.tif 000007
のような処理を施す。そして、これらの値をホワイトバランス調整データとして記憶する。
【０１２４】
上記処理で得られたホワイトバランス調整データを、撮像素子から得られた画素毎の信号値にかけることでホワイトバランスをとることができる。
【０１２５】
（第３の実施形態）
図１０は、本発明の第３の実施形態のホワイトバランスの処理手順の一部を説明するためのフローチャートの１部分であり、図１におけるステップＳ２５〜ステップＳ２６に相当する部分である。この部分は、ホワイトバランスグループを作成した後、グループに重み付けをする部分であるが、本実施形態は、この重み付けに撮影時の照度情報を用いることを特徴とする。
【０１２６】
上記照度情報とは、例えばＥＶ値であり、ステップＳ９１〜ステップＳ９５の処理を行う。すなわち、まず、カメラ側から情報としてＥＶ値をもらい、ＥＶ値が大きい場合は外で撮影（太陽光）したものである場合が大きいので、図１１（ａ）のように白座標範囲を限定する。
【０１２７】
また、逆にＥＶ値が小さいのは夕日、もしくは人工光と限定し、図１１（ｂ）のように白座標範囲を限定する。ここで、サンプルポイントグループすべてに対し、以下のように重み付けを行う。つまり、限定座標範囲にあるホワイトバランスグループの重みを増す。
【０１２８】
0003984666.tif 000008
【０１２９】
このような重み付けを行うことで、白の輝度の低い場合にも、より好ましいホワイトバランスを行うことができる。また、限定座標範囲が、本来は白でないサンプル点に入り、サンプルポイントグループがたくさんできていても、重み付けによる白グループ選択を行っているため、ホワイトバランスが大きくくずれることはない。
【０１３０】
また、本実施形態における重み付けを、第２の実施形態におけるステップＳ７４〜ステップＳ７５に用いてもよい。また、第１の実施形態及び第２の実施形態の重み付けの手法と組み合わせて用いてもよい。
【０１３１】
【発明の効果】
本発明は上述したように、白判別に、従来の座標とは異なる座標軸を用いることによって、より正確な色判別を行い、また、輝度信号Ｙまたは撮像素子の露光量を用いて、白判別内の信号値に重み付けを行うことにより、例えば、画像中に白が占める割合が低くても、他の色の影響を少なくすることができるため、ホワイトバランスが大きく崩れることが無く、より正確なホワイトバランス信号を得ることが可能になる。
【０１３２】
また、本発明に係わる第２の発明によれば、撮像素子をフィールド読み出し駆動した場合において、第１の発明と同様の効果が得られ、良好なホワイトバランス調整値を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の処理を示すフローチャートである。
【図２】第１の実施形態の処理を示すフローチャートである。
【図３】本発明を適用した電子カメラの信号処理の様子を説明するためのブロック図である。
【図４】撮像素子の色フィルタパターンの一例を示す図である。
【図５】ホワイトバランスの概念を示す図である。
【図６】サンプルポイントグループの各パラメータを示す図である。
【図７】第２の実施形態の処理を示すフローチャートである。
【図８】第２の実施形態の処理を示すフローチャートである。
【図９】撮像素子のフィールド読みだしの様子を示す図である。
【図１０】第３の実施形態の処理を示すフローチャートである。
【図１１】第３の実施形態におけるホワイトバランス座標の重み付け領域を示す図である。
【図１２】従来の電子カメラの一例を示すブロック図である。
【図１３】図１２の電子カメラの信号処理回路の構成を示すブロック図である。
【図１４】ホワイトバランス制御回路の構成を示すブロック図である。
【図１５】白判別範囲を示す図である。
【図１６】色差信号と輝度信号との関係を示す図である。
【符号の説明】
３１  積分器
３２  黒レベル調整回路
３３  ホワイトバランス検出回路
３４  ゲイン調整回路
３５  ローパスフィルタ
３６ａ、３６ｂ  ハイパスフィルタ
３７ａ、３７ｂ  ゲイン調整回路
３８ａ、３８ｂ  振幅調整回路
３９ａ、３９ｂ  ベースクリップ回路
４０  加算回路
４１  ゲイン調整回路
４２  加算回路
５０  同時化回路
５１  画素補間回路
５２  第１のマトリクス回路
５３  第２のマトリクス回路
５４  ローパスフィルタ
５５  色処理回路
５６  カラーデコーダ
５７  ガンマ処理回路
【図１】
0003984666.tif 000009
【図２】
0003984666.tif 000010
【図３】
0003984666.tif 000011
【図４】
0003984666.tif 000012
【図５】
0003984666.tif 000013
【図６】
0003984666.tif 000014
【図７】
0003984666.tif 000015
【図８】
0003984666.tif 000016
【図９】
0003984666.tif 000017
【図１０】
0003984666.tif 000018
【図１１】
0003984666.tif 000019
【図１２】
0003984666.tif 000020
【図１３】
0003984666.tif 000021
【図１４】
0003984666.tif 000022
【図１５】
0003984666.tif 000023
【図１６】
0003984666.tif 000024