(57)【特許請求の範囲】
【請求項１】
Ｒ色、Ｇ色、及びＢ色の光を通過させる第１の色フィルタと、Ｗ色の光を通過させる第２の色フィルタと、を有し、被写体像を撮像し画像データを生成する撮像素子と、
画面全体を分割した複数の分割領域のうちの白色領域のそれぞれについて、前記第１の色フィルタを介して前記撮像素子により撮像したＲ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記第２の色フィルタを介して前記撮像素子により撮像したＷ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する分割領域情報算出手段と、
前記画面全体について、前記Ｒ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記Ｗ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する全体領域情報算出手段と、
前記全体領域情報算出手段により算出された画面全体の輝度情報の差分値と前記分割領域情報算出手段により算出された分割領域毎の輝度情報の差分値とを比較し、比較結果に応じて、前記分割領域情報算出手段により白色領域について算出されたホワイトバランス係数の中からホワイトバランス係数を選択する選択手段と、
前記選択手段により選択されたホワイトバランス係数を用いて画像データを補正する補正手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記第１の色フィルタは、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）各色の光をそれぞれ通過させるＲ画素、Ｇ画素、Ｂ画素に配設され、前記第２の色フィルタは、白色光を通過させるＷ（White）画素に配設されていることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１の色フィルタは、前記撮像素子の光入射側に規則的に全域に渡って配置され、前記第２の色フィルタは、前記撮像素子の光入射側に離散的に配置されていることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記選択手段は、前記画面全体の輝度情報の差分値より小さい前記分割領域毎の輝度情報の差分値の分割領域のホワイトバランス係数を選択することを特徴とする請求項１に記載の撮像装置。
【請求項５】
Ｒ色、Ｇ色、及びＢ色の光を通過させる第１の色フィルタと、Ｗ色の光を通過させる第２の色フィルタと、を有し、被写体像を撮像し画像データを生成する撮像素子と、
画面全体を分割した複数の分割領域のうちの白色領域のそれぞれについて、前記第１の色フィルタを介して前記撮像素子により撮像したＲ、Ｇ、及びＢ画素値の画像データの色温度領域を求め、同じ色温度領域に属する白色領域を積分して色温度領域毎にホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記第２の色フィルタを介して前記撮像素子により撮像したＷ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する分割領域情報算出手段と、
前記画面全体について、前記Ｒ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記Ｗ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する全体領域情報算出手段と、
前記全体領域情報算出手段により算出された画面全体の輝度情報の差分値と前記分割領域情報算出手段により算出された分割領域毎の輝度情報の差分値とを比較し、比較結果に応じて、前記分割領域情報算出手段により白色領域について算出されたホワイトバランス係数の中からホワイトバランス係数を選択する選択手段と、
前記選択手段により選択されたホワイトバランス係数を用いて画像データを補正する補正手段と、を備えることを特徴とする撮像装置。
【請求項６】
前記選択手段は、前記画面全体の輝度情報の差分値より小さい前記分割領域毎の輝度情報の差分値の分割領域のホワイトバランス係数を選択することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記Ｗ画素は、互いに瞳位置が異なる領域をそれぞれ通過した光束を受光する第１のＷ画素と第２のＷ画素から構成され、
前記第１のＷ画素と前記第２のＷ画素からそれぞれ得られる画像信号の位相差を検出する位相差検出方式により、前記撮像素子に被写体像を結像させる撮像光学系の焦点調節を行う合焦手段を備えることを特徴とする請求項２に記載の撮像装置。
【請求項８】
Ｒ色、Ｇ色、及びＢ色の光を通過させる第１の色フィルタと、Ｗ色の光を通過させる第２の色フィルタと、を有し、被写体像を撮像し画像データを生成する撮像素子を備える撮像装置の制御方法において、
画面全体を分割した複数の分割領域のうちの白色領域のそれぞれについて、前記第１の色フィルタを介して前記撮像素子により撮像した画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記第２の色フィルタを介して前記撮像素子により撮像したＷ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する分割領域情報算出ステップと、
前記画面全体について、前記Ｒ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記Ｗ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する全体領域情報算出ステップと、
前記全体領域情報算出ステップにより算出された画面全体の輝度情報の差分値と前記分割領域情報算出ステップにより算出された分割領域毎の輝度情報の差分値とを比較し、比較結果に応じて、前記分割領域情報算出ステップにより白色領域について算出されたホワイトバランス係数の中からホワイトバランス係数を選択する選択ステップと、
前記選択ステップにより選択されたホワイトバランス係数を用いて画像データを補正する補正ステップと、を有することを特徴とする制御方法。
【請求項９】
Ｒ色、Ｇ色、及びＢ色の光を通過させる第１の色フィルタと、Ｗ色の光を通過させる第２の色フィルタと、を有し、被写体像を撮像し画像データを生成する撮像素子を備える撮像装置の制御方法において、
画面全体を分割した複数の分割領域のうちの白色領域のそれぞれについて、前記第１の色フィルタを介して前記撮像素子により撮像したＲ、Ｇ、及びＢ画素値の画像データの色温度領域を求め、同じ色温度領域に属する白色領域を積分して色温度領域毎にホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記第２の色フィルタを介して前記撮像素子により撮像したＷ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する分割領域情報算出ステップと、
前記画面全体について、前記Ｒ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記Ｗ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する全体領域情報算出ステップと、
前記全体領域情報算出ステップにより算出された画面全体の輝度情報の差分値と前記分割領域情報算出ステップにより算出された分割領域毎の輝度情報の差分値とを比較し、比較結果に応じて、前記分割領域情報算出ステップにより白色領域について算出されたホワイトバランス係数の中からホワイトバランス係数を選択する選択ステップと、
前記選択ステップにより選択されたホワイトバランス係数を用いて画像データを補正する補正ステップと、を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランス処理機能を備える撮像装置及び制御方法に関する。
【背景技術】
【０００２】
固体撮像素子（以下撮像素子）を用いて画像を撮像する撮像装置では、光源の種類に関わらず白い色が人間の目に白く見えるように、色のバランスを調整する必要がある。これは一般的にホワイトバランス処理と呼ばれる。ホワイトバランス処理には各種の方式がある。全面平均方式は、画面全体を平均すれば無彩色になるという考えの基に色のバランスを調整する方式である。白検出方式は、画像中から白の領域を検出する方式である。外部測定方式は、撮像系に用いる撮像素子とは別に外部色温度センサを設けてその出力信号に応じて撮像系の色調を補正する方式である。
【０００３】
従来、上記ホワイトバランスに関する技術が提案されている（例えば、特許文献１参照）。特許文献１では、撮像素子の無効領域の表面の一部に白色光だけを通過させる白色フィルタを設け、白色光の映像信号に基づいてホワイトバランスを調整することで価格上昇を招くことなくホワイトバランスの調整機能を実現している。
【０００４】
また、上記ホワイトバランスに関する別の技術が提案されている（例えば、特許文献２参照）。特許文献２では、求めた被写体の輝度の値と、屋内モード／屋外モードの切替えを行うモード切替値とを比較し、その比較結果から屋内モードと屋外モードを切り替えてホワイトバランス制御信号を変更している。
【０００５】
また、上記ホワイトバランスに関する更に別の技術が提案されている（例えば、特許文献３参照）。特許文献３では、撮像素子における色フィルタを持たない画素と、紫外線除去フィルタを設けた画素と、赤外線除去フィルタを設けた画素の各画素値を比較し、光源を特定することでホワイトバランス係数を決定している。
【特許文献１】特開平１１−２３４６８６号公報
【特許文献２】特開平１１−１２７４５０号公報
【特許文献３】特開２００６−５５００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の技術では、撮像素子の無効領域に白フィルタを設けてホワイトバランス処理に用いている。そのため、撮像した画像データの画面の周辺部と中央部で光源の種類が異なっていた場合にホワイトバランス処理を適切に行うことができないという問題点がある。
【０００７】
また、特許文献２記載の技術では、ホワイトバランス制御信号を変更する際に、ホワイトバランス処理後のＲＧＢ信号から計算した輝度信号とモード切替値を比較している。そのため、白を誤検出してホワイトバランス処理が適切に行われていないＲＧＢ信号から生成された輝度信号とモード切替値を比較すると、屋内モード／屋外モードの選択を誤るという問題点がある。
【０００８】
また、特許文献３記載の技術では、撮像素子上に、色フィルタを持つ画素以外に、紫外線除去フィルタを設けた画素と、赤外線除去フィルタを設けた画素と、色フィルタを持たない画素を設けなければならない。そのため、撮像素子の製造工程が複雑になりコストが増加し、画像に使用しない画素が増えるために画質が劣化するという問題点がある。
【０００９】
本発明の目的は、適切なホワイトバランス係数を選択可能とした撮像装置及び制御方法を提供することにある。
【課題を解決するための手段】
【００１０】
上述の目的を達成するために、本発明は、Ｒ色、Ｇ色、及びＢ色の光を通過させる第１の色フィルタと、Ｗ色の光を通過させる第２の色フィルタと、を有し、被写体像を撮像し画像データを生成する撮像素子と、画面全体を分割した複数の分割領域のうちの白色領域のそれぞれについて、前記第１の色フィルタを介して前記撮像素子により撮像したＲ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記第２の色フィルタを介して前記撮像素子により撮像したＷ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する分割領域情報算出手段と、前記画面全体について、前記Ｒ、Ｇ、及びＢ画素値の画像データのホワイトバランス係数を算出し、前記ホワイトバランス係数により補正した画像データから輝度情報を算出し、前記Ｗ画素値の画像データの平均値と前記Ｒ、Ｇ、及びＢ画素値の画像データの輝度情報との差分値を算出する全体領域情報算出手段と、前記全体領域情報算出手段により算出された画面全体の輝度情報の差分値と前記分割領域情報算出手段により算出された分割領域毎の輝度情報の差分値とを比較し、比較結果に応じて、前記分割領域情報算出手段により白色領域について算出されたホワイトバランス係数の中からホワイトバランス係数を選択する選択手段と、前記選択手段により選択されたホワイトバランス係数を用いて画像データを補正する補正手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画面全体の輝度情報の差分値と算出された分割領域毎の輝度情報の差分値とを比較し、比較結果に応じて、白色領域について算出されたホワイトバランス係数の中からホワイトバランス係数を選択するため、適切なホワイトバランス係数を選択することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【００１４】
図１において、撮像装置１００は、撮像レンズ１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、メモリ１０４、ＡＦ（Auto Focus）回路１０５、ホワイトバランス検出回路１０６、ホワイトバランス補正回路１０７、ＣＰＵ１０８を備えている。
【００１５】
撮像レンズ１０１は、撮影に伴う被写体像を撮像素子１０２に結像させる。撮像素子１０２は、被写体像を撮像し画像データを生成するものであり、被写体像を画像信号（画像データ）に光電変換する。Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されるアナログの画像信号をデジタルの画像信号にＡ／Ｄ変換する。メモリ１０４には、Ａ／Ｄ変換された画像信号、ホワイトバランス処理後の画像信号が記憶される。
【００１６】
ＡＦ回路１０５（合焦手段）は、後述するＷ（White）画素の値を基に位相差検出方式により位相差ＡＦ処理を行う。位相差ＡＦ処理は、Ｗ１画素（第１のＷ画素）、Ｗ２画素（第２のＷ画素）からそれぞれ得られた画像信号の位相差から、撮像光学系のデフォーカス量を推定することで自動焦点調節を行う処理である。ホワイトバランス検出回路１０６（分割領域情報算出手段、全体領域情報算出手段）は、撮像した画像データの画面全体或いは画面を複数に分割した分割領域毎に画素値を積分する。
【００１７】
ホワイトバランス補正回路１０７（補正手段）は、ＣＰＵ１０８が算出したホワイトバランス係数（ホワイトバランス情報）を、Ｒ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素に掛けることでホワイトバランスの色の補正を行う。ＣＰＵ１０８（選択手段、分割領域情報算出手段、全体領域情報算出手段）は、撮像装置全体の制御を司るものであり、メモリ１０４、ＡＦ回路１０５、ホワイトバランス検出回路１０６、ホワイトバランス補正回路１０７の間のデータ処理の流れを制御する。また、ＣＰＵ１０８は、制御プログラムに基づき図３のフローチャートに示す処理を実行する。
【００１８】
図２は、撮像素子１０２の画素配列を示す図である。
【００１９】
図２において、撮像素子１０２の前段（光入射側）には、Ｒ画素、Ｇ画素、Ｂ画素がベイヤー配列で規則的に全域に渡って配置されると共に、白色を透過するＷ１画素とＷ２画素がそれぞれＲ画素とＢ画素の位置に離散的に配置されている。Ｒ画素、Ｇ画素、Ｂ画素は、それぞれＲ、Ｇ、Ｂの色フィルタ（第１の色フィルタ）を配設した画素である。第１の色フィルタは、撮像素子１０２の前段（光入射側）に図示のごとく領域単位で分けられて配置されており、それぞれＲ、Ｇ、Ｂ各色の光を通過させる。
【００２０】
Ｗ１画素とＷ２画素は、白色フィルタ（第２の色フィルタ）を配設した画素である。本実施の形態では、Ｗ１画素とＷ２画素をまとめてＷ画素と呼称する。第２の色フィルタは、撮像素子１０２の前段（光入射側）に図示のごとく領域単位で分けられて配置されており、白色光だけを通過させる。
【００２１】
次に、上記構成を有する本実施の形態の撮像装置の動作を図１乃至図５を参照しながら説明する。
【００２２】
撮像装置による撮影動作に伴い撮像レンズ１０１を通して入力された被写体の光学像は、撮像素子１０２に結像され、撮像素子１０２により画像信号に光電変換される。撮像素子１０２から出力されるアナログの画像信号は、Ａ／Ｄ変換器１０３によりデジタルの画像信号にＡ／Ｄ変換され、ホワイトバランス検出回路１０６に入力として与えられる。
【００２３】
本実施の形態では、撮像素子１０２により撮像した画像データの画面全体でホワイトバランス係数を求める処理と、画面を複数に分割した分割領域毎にホワイトバランス係数を求める処理を行う。
【００２４】
まず、分割領域毎にホワイトバランス係数を求める処理について説明する。分割領域毎にホワイトバランス係数を求める処理とは、例えば画面を水平方向に８分割し垂直方向に８分割した分割領域毎に白領域であるか否かの白判定を行い、白領域と判定した領域についてホワイトバランス係数を求める処理である。
【００２５】
図３は、撮像装置のホワイトバランス処理を示すフローチャートである。
【００２６】
図３において、ＣＰＵ１０８は、本処理を開始すると（ステップＳ３００）、ホワイトバランス検出回路１０６により分割領域毎に且つＲ画素・Ｇ画素・Ｂ画素・Ｗ画素毎に画素値を積分し、積分結果をメモリ１０４に記録する（ステップＳ３１０）。次に、ＣＰＵ１０８は、メモリ１０４に記憶された積分結果を用いて、分割領域毎に当該分割領域が白領域（白色領域）であるか否かの白判定（白色判定）を行う（ステップＳ３１１）。
【００２７】
白判定の処理では、下記の式１００、式１０１が予め設定した範囲内に収まる場合に当該分割領域を白領域であると判定する。
【００２８】
（Ｒ−Ｇ）/Ｙ＋（Ｂ−Ｇ）/Ｙ                     （式100）
（Ｒ−Ｇ）/Ｙ−（Ｂ−Ｇ）/Ｙ                     （式101）
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ      （式102）
上記各式におけるＲ、Ｇ、Ｂは、分割領域内でそれぞれＲ画素、Ｇ画素、Ｂ画素を積分した値を平均した値とする。
【００２９】
式１００が所定の範囲内に収まる領域とは、図４で境界線４０２と境界線４０３に挟まれた領域であり、式１０１が所定の範囲内に収まる領域とは、境界線４０４と境界線４０５に挟まれた領域であり、白色温度変化軌線４０１を内部に含む。図４は、（Ｒ−Ｙ）／Ｙを縦軸に、（Ｂ−Ｙ）／Ｙを横軸にとり、２次元平面に光源の色温度の変化を白色温度変化軌線４０１で表した図である。従って、白色温度変化軌線４０１の近くにプロットされる画素ほど白色に近いと判断できる。
【００３０】
ＣＰＵ１０８は、当該分割領域を白領域と判定した場合（ステップＳ３１１でＹＥＳ）、ホワイトバランス検出回路１０６により以下のようにホワイトバランス係数を求める。即ち、当該分割領域を積分すると無彩色になると仮定して色差信号Ｒ−Ｙ、Ｂ−Ｙがゼロになるように、当該分割領域のホワイトバランス係数を求める（ステップＳ３１２）。
【００３１】
ホワイトバランス係数としてのＲゲイン、Ｂゲインは、それぞれ下記の式１０５、式１０６により求める。
【００３２】
Ｒ−Ｙ＝ｄ１                                      （式103）
Ｂ−Ｙ＝ｄ２                                      （式104）
[Ｒゲイン]＝Ｙ／（Ｙ＋ｄ１）                      （式105）
[Ｂゲイン]＝Ｙ／（Ｙ＋ｄ２）                      （式106）
他方、ＣＰＵ１０８は、当該分割領域を白領域と判定しなかった場合（ステップＳ３１１でＮＯ）、当該分割領域ではホワイトバランス係数を求める処理は行わず、ステップＳ３１６に移行する。
【００３３】
ＣＰＵ１０８は、上記ステップＳ３１２で求めたＲゲイン、ＢゲインをそれぞれＲ画素値、Ｂ画素値に掛け合わせることで（乗算）、ホワイトバランスの色補正を行ったＲ画素値Ｒ’とＢ画素値Ｂ’を求める（ステップＳ３１３）。更に、ＣＰＵ１０８は、ホワイトバランスの色補正を行ったＲ画素値Ｒ’とＢ画素値Ｂ’を用いて、下記の式１０７により輝度信号Ｙ（輝度情報）を計算する（ステップＳ３１４）。
【００３４】
Ｙ＝０．２９９Ｒ’＋０．５８７Ｇ＋０．１１４Ｂ’  （式107）
更に、ＣＰＵ１０８は、分割領域について計算した輝度信号Ｙと分割領域内のＷ画素の平均値との差分を分割領域毎に計算し、メモリ１０４に記録する（ステップＳ３１５）。そして、ＣＰＵ１０８は、全ての分割領域に対して上記の処理が完了するまで（ステップＳ３１６）、上記ステップＳ３１０〜ステップＳ３１５の処理を行う。
【００３５】
次に、画面全体でホワイトバランス係数を求める処理について説明する。ＣＰＵ１０８は、上記ステップＳ３１１で白領域と判定した全ての分割領域でＲ画素、Ｇ画素、Ｂ画素、Ｗ画素毎に画素値を積分する（ステップＳ３２０）。ＣＰＵ１０８は、ホワイトバランス検出回路１０６により以下のようにホワイトバランス係数を求める。即ち、白領域では無彩色になるという仮定の基に、色差信号Ｒ−Ｙ、Ｂ−Ｙがゼロになるようにホワイトバランス係数を求める（ステップＳ３２１）。
【００３６】
ホワイトバランス係数としてのＲゲイン、Ｂゲインは、それぞれ下記の式１１２、式１１３により求める。
【００３７】
Ｒ−Ｙ＝ｄ１                                    （式110）
Ｂ−Ｙ＝ｄ２                                    （式111）
[Ｒゲイン]＝Ｙ／（Ｙ＋ｄ１）                    （式112）
[Ｂゲイン]＝Ｙ／（Ｙ＋ｄ２）                    （式113）
ＣＰＵ１０８は、上記ステップＳ３２１で求めたＲゲイン、ＢゲインをそれぞれＲ画素値、Ｂ画素値に掛け合わせることで、色調整したＲ画素値Ｒ’とＢ画素値Ｂ’を計算する（ステップＳ３２２）。更に、ＣＰＵ１０８は、色調整したＲ画素値Ｒ’とＢ画素値Ｂ’を用いて、下記の式１１４により輝度信号Ｙを計算する（ステップＳ３２３）。
【００３８】
Ｙ＝０．２９９Ｒ’＋０．５８７Ｇ＋０．１１４Ｂ’ （式114）
更に、ＣＰＵ１０８は、計算した輝度信号Ｙと画面全体のＷ画素の平均値との差分を計算し、メモリ１０４に記録する（ステップＳ３２４）。ＣＰＵ１０８は、分割領域毎に求めた輝度信号ＹとＷ画素の平均値との第１の差分値と、画面全体で求めた輝度信号ＹとＷ画素の平均値との第２の差分値を比較する（ステップＳ３３０）。
【００３９】
ＣＰＵ１０８は、上記の比較に基づき、第２の差分値より小さい第１の差分値の分割領域のホワイトバランス係数を選択する（ステップＳ３３１）。また、第２の差分値より小さい第１の差分値の分割領域が複数あった場合は、差分値が最も小さい分割領域のホワイトバランス係数を用いてもよいし、複数の分割領域のホワイトバランス係数の平均を用いてもよい。
【００４０】
画面全体の白領域を積分した結果から算出したホワイトバランス係数は、画面全体に白領域と誤判定された領域を含む場合に適切なホワイトバランス係数と異なる値をとる可能性がある。そこで、上記のように、分割領域毎に求めた輝度信号ＹとＷ画素の平均値との差分値と、画面全体で求めた輝度信号ＹとＷ画素の平均値との差分値を比較する。これにより、ある分割領域から求めたホワイトバランス係数は、精度の悪い画面全体の白領域から求めたホワイトバランス係数よりは適切であると判断できる。
【００４１】
また、ホワイトバランス係数を決定する別の方法としては次の方法がある。即ち、画面全体で白領域と判定された領域において、領域ごとに式１００、式１０１により色温度領域を求める。更に、同じ色温度領域に属する白領域を積分し、色温度領域毎にホワイトバランス係数（Ｒゲイン、Ｂゲイン）を求める。ホワイトバランス係数は、式１０３〜式１０６を用いて上記と同様に求める。更、求めたホワイトバランス係数により補正したＲ画素値、Ｇ画素値、Ｂ画素値から計算した輝度値と、積分した色温度領域内のＷ画素の平均値との差分値を算出し、差分値が小さい色温度領域のホワイトバランス係数を選択してもよい。
【００４２】
色温度領域毎に積分してホワイトバランス係数を算出し、色温度領域毎に色温度に合ったホワイトバランス係数で算出した輝度信号と、その色温度領域のＷ画素値とを比較することで、ホワイトバランス係数が選択できる。これにより、より適切なホワイトバランス係数を選択できる。
【００４３】
ＣＰＵ１０８は、ホワイトバランス補正回路１０７により、上記ステップＳ３２１で選択したホワイトバランス係数をＲ画素、Ｇ画素、Ｂ画素に掛け合わせることで、ホワイトバランスの色補正を行う（ステップＳ３３２）。以上でホワイトバランス処理を終了する（ステップＳ３３３）。
【００４４】
他方、ＣＰＵ１０８は、ＡＦ回路１０５によりＷ画素値を利用して位相差ＡＦ処理を行う（ステップＳ３０１）。即ち、下記の図５で説明するように、撮像光学系のデフォーカスに伴う画像信号の位相差を検出し、位相差から撮像光学系のデフォーカス量を推定することにより焦点調節を行う。
【００４５】
図５は、撮像素子１０２のＷ１画素の構造を示す図であり、（ａ）は、Ｗ１画素の上面図、（ｂ）は、（ａ）の矢視Ａ−Ａ’線に沿う断面図である。
【００４６】
図５において、Ｗ１画素は、マイクロレンズ５０１、遮光膜５０２、光電変換素子５０３を備える。また、Ｗ２画素（不図示）は、Ｗ１画素の構造を左右反転させた構造であり、同様にマイクロレンズ、遮光膜、光電変換素子を備える。マイクロレンズ５０１には、撮像レンズ１０１（図１）からの光束が入射する。遮光膜５０２は、マイクロレンズ５０１を経由して光電変換素子５０３へ入射する光束の一部を制限し、特定の方向から入射する光束のみ通過させる。光電変換素子５０３は、マイクロレンズ５０１と遮光膜５０２を経由した光束を画像信号（電気信号）に変換する。
【００４７】
Ｗ画素１とＷ画素２とでは、構造上から各々の遮光膜５０２の開口部が左右対称になっているので、互いに瞳位置が異なる領域をそれぞれ通過した光束を受光することになる。Ｗ１画素から得られた画像信号とＷ２画素から得られた画像信号を取り出すことで、撮像光学系のデフォーカスに伴う画像信号の位相差を検出することができる。ＡＦ回路１０５は、位相差検出方式により画像信号の位相差を検出し、位相差から撮像光学系のデフォーカス量を推定することにより焦点調節を行う（位相差ＡＦ処理）。
【００４８】
本実施の形態では、Ｗ１画素及びＷ２画素から得られた画像信号をホワイトバランス補正回路１０７とＡＦ回路１０５で使用する。これにより、ホワイトバランス処理専用の画素とＡＦ処理専用の画素を個別に設ける必要がなくなり、コストを低減することができる。
【００４９】
以上説明したように、本実施の形態によれば、撮像素子１０２により撮像した画像データの画面全体と画面を複数に分割した分割領域毎でそれぞれホワイトバランス係数を算出する。更に、画面全体と分割領域毎でそれぞれホワイトバランス係数により補正したＲ画素値、Ｇ画素値、Ｂ画素値から輝度信号を計算する。更に、分割領域毎に算出した輝度信号とＷ画素の平均値との第１の差分値と、画面全体で算出した輝度信号とＷ画素の平均値との第２の差分値とを比較し、第２の差分値より小さい第１の差分値の分割領域のホワイトバランス係数を選択する。これにより、適切なホワイトバランス係数を選択することが可能となる。
【００５０】
［第２の実施の形態］
図６は、本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図である。
【００５１】
図６において、撮像装置６００は、撮像レンズ６０１、撮像素子６０２、ホワイトバランス処理回路６１０、ホワイトバランス処理回路６３０、選択回路６５０、ＡＦ回路６６０、ＣＰＵ（不図示）等を備えている。尚、本実施の形態で上記第１の実施の形態と共通する構成は説明を省略または簡略化する。
【００５２】
分離回路６０３は、撮像素子６０２から出力されるＲ画素・Ｇ画素・Ｂ画素とＷ画素を分離して後段の回路へ出力する。ＡＦ回路６６０は、分離回路６０３から出力されるＷ画素の値を基に位相差ＡＦ処理を行う。ＣＰＵ（不図示）は、制御プログラムに基づき図７のフローチャートに示す処理を実行する。
【００５３】
ホワイトバランス処理回路６１０は、撮像された画像データの画面領域全体からホワイトバランスを決めるＲゲイン６２１とＢゲイン６２２を計算する。ホワイトバランス処理回路６１０は以下に示す回路を含む。
【００５４】
積分回路６１１は、画面領域全体のＲ画素、Ｇ画素、Ｂ画素をそれぞれ積分する。白判定回路６１２は、画面領域全体から白領域を検出する。ゲイン計算回路６１３は、白判定回路６１２の判定結果に基づきＲ画素のゲインであるＲゲイン６２１とＢ画素のゲインであるＢゲイン６２２を決定する。Ｇ画素アンプ６１４、Ｒ画素アンプ６１５、Ｂ画素アンプ６１６は、ゲイン計算回路６１３から出力されるゲインをそれぞれＧ画素、Ｒ画素、Ｂ画素に掛け合わせる。
【００５５】
マトリクス回路６１７は、上記ゲインを掛けられたＧ画素、Ｒ画素、Ｂ画素から輝度信号Ｙを計算する。ＬＰＦ（ローパスフィルタ）回路６１８は、マトリクス回路６１７から出力される輝度信号Ｙの低域成分だけを通過させ、低域輝度信号ＹＬを出力する。比較回路６１９は、ＬＰＦ回路６１８から出力される低域輝度信号ＹＬとＷ画素の値を比較する。積分回路６２０は、比較回路６１９の比較結果を積分する。
【００５６】
Ｒゲイン６２１は、ゲイン計算回路６１３から出力されるホワイトバランス調整のためのＲ画素のゲインである。Ｂゲイン６２２は、ゲイン計算回路６１３から出力されるホワイトバランス調整のためのＢ画素のゲインである。
【００５７】
ホワイトバランス処理回路６３０は、撮像された画像データの画面領域全体を分割した領域毎にホワイトバランスを決めるＲゲイン６４１とＢゲイン６４２を計算する。ホワイトバランス処理回路６３０は以下に示す回路を含む。
【００５８】
積分回路６３１は、画面領域全体のＲ画素、Ｇ画素、Ｂ画素をそれぞれ積分する。白判定回路６３２は、分割領域毎に分割領域内で白領域を検出する。ゲイン計算回路６３３は、白判定回路６３２の判定結果に基づきＲ画素のゲインであるＲゲイン６４１とＢ画素のゲインである６４２を決定する。Ｇ画素アンプ６３４、Ｒ画素アンプ６３５、Ｂ画素アンプ６３６は、ゲイン計算回路６３３から出力されるゲインをそれぞれＧ画素、Ｒ画素、Ｂ画素に掛け合わせる。
【００５９】
マトリクス回路６３７は、上記ゲインを掛けられたＲ画素、Ｇ画素、Ｂ画素から輝度信号Ｙを計算する。ＬＰＦ回路６３８は、マトリクス回路６３７から出力される輝度信号Ｙに対して周波数の低域成分だけを通過させ、低域輝度信号ＹＬを出力する。比較回路６３９は、ＬＰＦ回路６３８から出力される低域輝度信号ＹＬとＷ画素の値を比較する。積分回路６４０は、比較回路６３９の比較結果を積分する。
【００６０】
Ｒゲイン６４１は、ゲイン計算回路６１３から出力されるホワイトバランス調整のためのＲ画素のゲインである。Ｂゲイン６４２は、ゲイン計算回路６１３から出力されるホワイトバランス調整のためのＢ画素のゲインである。
【００６１】
選択回路６５０は、ホワイトバランス処理回路６１０から出力される積分結果とホワイトバランス処理回路６３０から出力される積分結果とを分割領域毎に比較し、どちらのホワイトバランス処理回路の積分結果を使用するかを選択する。
【００６２】
Ｒゲインセレクタ６５１は、選択回路６５０の出力に基づいて画面領域全体から得られたＲゲインと分割領域毎に得られたＲゲインのどちらかを出力する。Ｂゲインセレクタ６５２は、選択回路６５０の出力に基づいて画面領域全体から得られたＢゲインと分割領域毎に得られたＢゲインのどちらかを出力する。Ｇ画素アンプ６５３、Ｒ画素アンプ６５４、Ｂ画素アンプ６５５は、それぞれＧ画素、Ｒ画素、Ｂ画素にゲインを掛けて、色調整を行う。
【００６３】
次に、上記構成を有する本実施の形態の撮像装置の動作を図６及び図７を参照しながら説明する。
【００６４】
図７は、撮像装置のホワイトバランス処理を示すフローチャートである。
【００６５】
図７において、本処理はＣＰＵ（不図示）により開始され実行される（ステップＳ７０１）。撮像素子６０２からの出力を分離回路６０３によりＲ画素・Ｇ画素・Ｂ画素とＷ画素に分離する（ステップＳ７０２）。本実施の形態では、ホワイトバランス係数を求める回路として、画面全体で１種類のホワイトバランス係数を求めるホワイトバランス処理回路６１０と、分割領域毎にホワイトバランス係数を求めるホワイトバランス処理回路６３０の２種類の回路がある。２つのホワイトバランス処理回路６１０とホワイトバランス処理回路６３０は同時に（並列に）動作する。
【００６６】
まず、ホワイトバランス処理回路６１０について説明する。分離回路６０３により分離されたＲ画素、Ｇ画素、Ｂ画素は、積分回路６１１に入力される。積分回路６１１は、Ｒ画素、Ｇ画素、Ｂ画素を画面領域全体でそれぞれ積分する（ステップＳ７１０）。次に、白判定回路６１２は、積分回路６１１から出力される積分結果と分離回路６０３で分離されたＷ画素を用いて白判定を行う（ステップＳ７１１）。
【００６７】
上述したように、図４では、（Ｒ−Ｙ）／Ｙを縦軸に、（Ｂ−Ｙ）／Ｙを横軸にとり、２次元平面に光源の色温度の変化を白色温度変化軌線４０１で表している。従って、白色温度変化軌線４０１に近くにプロットされる画素ほど白色に近いと判断できる。
【００６８】
上記の白判定処理では、画面全体を複数の領域に分け、下記の式２０１、式２０２の値が所定の範囲内に収まる領域を白検出領域として採用する。尚、Ｗaは領域内のＷ画素値の平均値である。
【００６９】
（Ｒ−Ｙ）/Ｗa＋（Ｂ−Ｙ）/Ｗa                      （式201）
（Ｒ−Ｙ）/Ｗa−（Ｂ−Ｙ）/Ｗa                      （式202）
式２０１が所定の範囲内に収まる領域とは、図４の境界線４０２と境界線４０３に挟まれた領域であり、式２０２が所定の範囲内の収まる領域とは、境界線４０４と境界線４０５に挟まれた領域であり、白色温度変化軌線４０１を内部に含む。
【００７０】
上記式２０１、式２０２の輝度信号Ｙは、下記の式２０３により計算される。
【００７１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式203）
色差信号Ｒ−Ｙ、Ｂ−ＹをＷaで割って輝度レベルで正規化することで、白判定が輝度レベルに依存することがなくなる。また、適切なホワイトバランス処理が行われていないＲ画素、Ｇ画素、Ｂ画素から計算された輝度信号Ｙは、実際の輝度に対して明るくなったり暗くなったりしてしまう。そのため、輝度信号Ｙを用いて正規化しても色差信号の輝度レベルへの依存性を十分に除去できず、白とみなす領域の判定を誤る可能性がある。しかし、Ｗ画素値を用いることで、輝度信号Ｙを用いるよりも色差信号の輝度レベルへの依存性を除去することができる。
【００７２】
ゲイン計算回路６１３は、白判定回路６１２の出力に基づき、Ｒ画素のゲインであるＲゲイン６２１と、Ｂ画素のゲインであるＢゲイン６２２を計算する（ステップＳ７１２）。Ｒゲイン６２１、Ｂゲイン６２２は、それぞれ下記のように計算される。
【００７３】
[Ｒゲイン６２１]＝[輝度信号Ｙを積分した値]/[Ｒ画素値を積分した値]  （式204）
[Ｂゲイン６２２]＝[輝度信号Ｙを積分した値]/[Ｂ画素値を積分した値]  （式205）
上記で積分する範囲は、白判定回路６１２で計算された白検出領域である。Ｒゲイン６２１とＢゲイン６２２の計算にそれぞれ用いたＲ画素値、Ｂ画素値は、記憶素子６０４に記録される。また、計算されたＲゲイン６２１とＢゲイン６２２は、記憶素子６２３に記録される。
【００７４】
次に、記憶素子６０４に記憶されているＲ画素値、Ｂ画素値に対し、記憶素子６２３に記憶されたＲゲイン６２１、Ｂゲイン６２２をＲ画素アンプ６１５、Ｂ画素アンプ６１６により掛け合わせ、マトリックス回路６１７に入力する。マトリックス回路６１７は、下記の式２０６によりＲ画素値、Ｇ画素値、Ｂ画素値から輝度信号Ｙを計算する（ステップＳ７１３）。
【００７５】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式206）
次に、比較回路６１９は、輝度信号Ｙと分離回路６０３で分離されたＷ画素を比較し、Ｒゲイン６２１とＢゲイン６２２の精度を判定する（ステップＳ７１４）。Ｗ画素は、撮像素子６０２における白色フィルタを設けた画素である。従って、Ｒゲイン６２１及びＢゲイン６２２の値が適切で、ホワイトバランス処理が適切に行われていれば、ホワイトバランス処理後のＲ画素値、Ｇ画素値、Ｂ画素値から計算された輝度信号ＹとＷ画素の値は近い値になる。
【００７６】
ただし、画面領域内のＲ画素値、Ｇ画素値、Ｂ画素値から計算され画面の全領域で値を持つ輝度信号Ｙに比べて、Ｗ画素は撮像素子６０２上に離散的に存在しているため、輝度信号Ｙの帯域の方がＷ画素の持つ帯域より広い。そこで、輝度信号Ｙの帯域がＷ画素と同じになるようにＬＰＦ回路６１８で輝度信号Ｙの低域成分だけを通過させた輝度信号ＹＬを生成し、比較回路６１９で輝度信号ＹＬとＷ画素の値を比較する。
【００７７】
次に、輝度信号ＹＬと画面全体のＷ画素値の平均値Ｗaとの差分をとり、積分回路６２０により差分を画像の全領域で積分し、積分結果を記憶素子６０５に記録する（ステップＳ７１５）。
【００７８】
次に、ホワイトバランス処理回路６３０について説明する。分離回路６０３により分離されたＲ画素、Ｇ画素、Ｂ画素は、積分回路６３１に入力される。積分回路６３１は、Ｒ画素、Ｇ画素、Ｂ画素を分割領域毎に画素それぞれについて積分する（ステップＳ７２０）。白判定回路６３２は、積分回路６３１から出力される積分結果と分離回路６０３で分離されたＷ画素を用いて白判定を行う（ステップＳ７２１）。
【００７９】
上記の白判定処理では、分割領域毎に下記の式２１０、式２１１の値が所定の範囲内に収まる領域を白検出領域として採用する。尚、Ｗaは領域内のＷ画素値の平均値である。
【００８０】
（Ｒ−Ｙ）/Ｗa＋（Ｂ−Ｙ）/Ｗa                      （式210）
（Ｒ−Ｙ）/Ｗa−（Ｂ−Ｙ）/Ｗa                      （式211）
式２１０が所定の範囲内に収まる領域とは、図４の境界線４０２と境界線４０３に挟まれた領域であり、式２１１が所定の範囲内の収まる領域とは、境界線４０４と境界線４０５に挟まれた領域であり、白色温度変化軌線４０１を内部に含む。
【００８１】
上記式２１０、式２１１の輝度信号Ｙは、下記の式２１２により計算される。
【００８２】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式212）
色差信号Ｒ−Ｙ、Ｂ−ＹをＷaで割って輝度レベルで正規化することで、白判定が輝度レベルに依存することがなくなる。また、正しくホワイトバランス処理が行われていないＲ画素、Ｇ画素、Ｂ画素から計算された輝度信号Ｙは、実際の輝度より明るくなったり暗くなったりしてしまう。そのため、輝度信号Ｙを用いて正規化しても色差信号の輝度レベルへの依存性を十分に除去できず、白とみなす領域の判定を誤る可能性がある。しかし、Ｗ画素値を用いることで、輝度信号Ｙを用いるよりは色差信号の輝度レベルへの依存性を除去することができる。
【００８３】
ゲイン計算回路６３３は、白判定回路６３２の出力に基づき、Ｒ画素のゲインであるＲゲイン６３１と、Ｂ画素のゲインであるＢゲイン６３２を計算する（ステップＳ７２２）。Ｒゲイン６３１、Ｂゲイン６３２は、それぞれ下記のように計算される。
【００８４】
[Ｒゲイン６４１]＝[輝度信号Ｙを積分した値]/[Ｒ画素値を積分した値]  （式213）
[Ｂゲイン６４２]＝[輝度信号Ｙを積分した値]/[Ｂ画素値を積分した値]  （式214）
上記で積分する範囲は、白判定回路６３２で計算された白検出領域である。計算されたＲゲイン６４１とＢゲイン６４２は、記憶素子６４３に記録される。
【００８５】
次に、記憶素子６０４に記憶されているＲ画素値、Ｂ画素値に対し、記憶素子６４３に記憶されたＲゲイン６４１、Ｂゲイン６４２をそれぞれＲ画素アンプ６３５、Ｂ画素アンプ６３６により掛け合わせ、マトリックス回路６３７に入力する。マトリックス回路６３７は、下記の式２１５によりＲ画素値、Ｇ画素値、Ｂ画素値から輝度信号Ｙを計算する（ステップＳ７２３）。
【００８６】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式215）
次に、比較回路６１９は、計算された輝度信号Ｙと分離回路６０３で分離されたＷ画素を比較し、Ｒゲイン６４１とＢゲイン６４２の精度を判定する（ステップＳ７２４）。Ｗ画素は撮像素子６０２上に白色フィルタを設けた画素である。従って、ホワイトバランス処理が適切に行われていれば、ホワイトバランス後のＲ画素値、Ｇ画素値、Ｂ画素値から計算された輝度信号ＹとＷ画素の値は近い値になる。
【００８７】
ただし、画面領域内のＲ画素値、Ｇ画素値、Ｂ画素値から計算され画面全体に値を持つ輝度信号Ｙに比べて、Ｗ画素は撮像素子６０２上に離散的に存在しているため、輝度信号Ｙの帯域の方がＷ画素の持つ帯域より広い。そのため、輝度信号Ｙの帯域がＷ画素と同じになるようにＬＰＦ回路６３８で輝度信号Ｙの低域成分だけを通過させた輝度信号ＹＬを生成し、比較回路６１９で輝度信号ＹＬとＷ画素の値を比較する。
【００８８】
次に、分割領域内の低域のみの輝度信号ＹＬと分割領域内に存在するＷ画素値の平均値Ｗaとの差分をとり、積分回路６４０により差分を積分し、積分結果を記憶素子６０５に記録する（ステップＳ７２５）。差分の積分は分割領域毎に行う。
【００８９】
選択回路６５０は、ホワイトバランス処理回路６１０の出力である積分結果とホワイトバランス処理回路６３０の出力である積分結果を記憶素子６０５から読み出し、分割領域毎に比較する（ステップＳ７３０）。
【００９０】
また、ホワイトバランス処理回路６１０の積分結果は画面全体で行って得られた値であるのに対し、ホワイトバランス処理回路６３０の積分結果は分割領域内で行って得られた値である。そのため、ホワイトバランス処理回路６１０の値を領域分割数で割って正規化した値とホワイトバランス処理回路６３０の積分結果を、分割領域毎に比較する。
【００９１】
積分結果の値が小さいほど、分割領域内でＷ画素から得られた白色の値とホワイトバランス処理後のＲ画素、Ｇ画素、Ｂ画素から計算された輝度信号が近いことになり、ホワイトバランス処理が適切に行われていると判断することができる。
【００９２】
また、撮像素子６０２上に離散的に全領域に渡ってＷ画素を配置することで、画面上の一部の領域が低輝度で白検出が難しい場合においても、画面全体の情報を使ってホワイトバランス処理を行うことができる。
【００９３】
選択回路６５０は、ある分割領域においてホワイトバランス処理回路６１０の積分結果が、ホワイトバランス処理回路６３０の積分結果よりも小さいときは、ホワイトバランス処理回路６１０でのホワイトバランス処理の方が適切であったと判断する。これに伴い、Ｒゲインセレクタ６５１、Ｂゲインセレクタ６５２の出力としてそれぞれＲゲイン６２１、Ｂゲイン６２２を選択する（ステップＳ７３１）。
【００９４】
また、選択回路６５０は、ある分割領域においてホワイトバランス処理回路６３０の積分結果が、ホワイトバランス処理回路６１０の積分結果よりも小さいときは、ホワイトバランス処理回路６３０でのホワイトバランス処理の方が適切であったと判断する。これに伴い、Ｒゲインセレクタ６５１、Ｂゲインセレクタ６５２の出力としてそれぞれＲゲイン６４１、Ｂゲイン６４２を選択する（ステップＳ７３１）。
【００９５】
Ｒゲインセレクタ６５１、Ｂゲインセレクタ６５２から出力されるゲインをＲ画素アンプ６５４、Ｂ画素アンプ６５５でそれぞれＲ画素値、Ｂ画素値に掛け合わせることでＲ画素値、Ｂ画素値を調整し、ホワイトバランス処理を行う（ステップＳ７３２）。以上でホワイトバランス処理を終了する（ステップＳ７４０）。
【００９６】
上述したように２つのホワイトバランス処理回路６１０、６３０を並列に動作させることで、２つのホワイトバランス処理を行った場合においても処理時間は１つのホワイトバランス処理を行った場合と変わらないという利点がある。
【００９７】
他方、ＡＦ回路６６０は、分離回路６０３により分離され出力されるＷ画素値を利用して位相差ＡＦ処理を行う（ステップＳ７０３）。即ち、上記第１の実施の形態の図５で説明したように、撮像光学系のデフォーカスに伴う画像信号の位相差を検出し、位相差から撮像光学系のデフォーカス量を推定することにより焦点調節を行う。
【００９８】
本実施の形態では、Ｗ画素から得られた画像信号をホワイトバランス処理回路６１０とホワイトバランス処理回路６３０とＡＦ回路６６０で使用する。これにより、ホワイトバランス処理専用の画素とＡＦ処理専用の画素を個別に設ける必要がなくなり、コストを低減することができる。
【００９９】
尚、本実施の形態では、撮像装置が備える２つのホワイトバランス処理回路６１０、６３０の積分結果から適切なものを選択しているが、以下のようにしてもよい。即ち、撮像装置に３つ以上のホワイトバランス処理回路を設け、これら３つ以上のホワイトバランス処理回路の積分結果から適切なものを選択してもよい。
【０１００】
また、本実施の形態では、分割領域毎にＲゲインとＢゲインを選択しているが、以下のようにしてもよい。即ち、ホワイトバランス処理回路６３０で分割領域毎に求めたＲゲインとＢゲインの中で積分回路６４０の出力が最も小さい分割領域のＲゲインとＢゲインを、ホワイトバランス処理回路６１０のＲゲインとＢゲインとする。この値を用いて画面領域全体で積分回路６２０で計算した積分結果と、画面全体から求めたＲゲインとＢゲインを用いて積分回路６４０で計算した積分結果を、選択回路６５０で比較してもよい。
【０１０１】
以上説明したように、本実施の形態によれば、２つのホワイトバランス処理回路６１０、６３０を並列に動作させることで２つのホワイトバランス処理を行う。これにより、上記第１の実施の形態と同様に適切なホワイトバランス係数を選択することが可能となる。
【０１０２】
［第３の実施の形態］
図８は、本発明の第３の実施の形態に係る撮像装置の構成を示すブロック図である。
【０１０３】
図８において、撮像装置８００は、撮像レンズ８０１、撮像素子８０２、ホワイトバランス処理回路８１０、選択回路８２５、ＡＦ回路８５０、ＣＰＵ（不図示）等を備えている。尚、本実施の形態で上記第１の実施の形態と共通する構成は説明を省略または簡略化する。
【０１０４】
分離回路８０３は、撮像素子８０２から出力されるＲ画素・Ｇ画素・Ｂ画素とＷ画素を分離して後段の回路へ出力する。ＡＦ回路８５０は、分離回路８０３から出力されるＷ画素の値を基に位相差ＡＦ処理を行う。メモリ８０４は、分離回路８０３で分離されたＲ画素・Ｇ画素・Ｂ画素とＷ画素の値を１画面分記録する。アドレス生成回路８０５は、メモリ８０４からＲ画素・Ｇ画素・Ｂ画素とＷ画素を読み出すためのアドレスを生成する。
【０１０５】
ホワイトバランス処理回路８１０は、画面領域全体からホワイトバランスを決めるＲゲイン８１４、Ｂゲイン８１５を計算する。ホワイトバランス処理回路８１０は以下に示す回路を含む。
【０１０６】
積分回路８１１は、画面領域全体のＲ画素、Ｇ画素、Ｂ画素をそれぞれ積分する。白判定回路８１２は、画面領域全体から白領域（白色領域）を検出する。ゲイン計算回路８１３は、白判定回路８１２の結果に基づきＲ画素のゲインであるＲゲイン８１４とＢ画素のゲインであるＢゲイン８１５を決定する。Ｒゲイン８１４、Ｂゲイン８１５は、ゲイン計算回路８１３からそれぞれ出力されるＲ画素のゲイン、Ｂ画素のゲインである。Ｇ画素アンプ８１７、Ｒ画素アンプ８１８、Ｂ画素アンプ８１９は、ゲイン計算回路８１３から出力されるゲインをそれぞれＧ画素、Ｒ画素、Ｂ画素に掛け合わせる。
【０１０７】
マトリクス回路８２０は、ゲインを掛けられたＲ画素、Ｇ画素、Ｂ画素から輝度信号Ｙを計算する。ＬＰＦ回路８２１は、マトリクス回路８２０から出力される輝度信号Ｙの低域成分だけを通過させ、低域輝度信号ＹＬを出力する。比較回路８２２は、ＬＰＦ回路８２１から出力される低域輝度信号ＹＬとＷ画素の値を比較する。積分回路８２３は、比較回路８２２の比較結果を積分する。
【０１０８】
選択回路８２５は、ホワイトバランス処理回路８１０から出力される積分結果を比較する。Ｒゲインセレクタ８２６は、選択回路８２５の出力に基づいて画面領域全体から得られたＲゲインと分割領域毎に得られたＲゲインのどちらかを出力する。Ｂゲインセレクタ８２７は、選択回路８２６の出力に基づいて画面領域全体から得られたＢゲインと分割領域毎に得られたＢゲインのどちらかを出力する。Ｇ画素アンプ８２８、Ｒ画素アンプ８２９、Ｂ画素アンプ８３０は、それぞれＧ画素、Ｒ画素、Ｂ画素にゲインを掛けて色調整を行う。
【０１０９】
次に、上記構成を有する本実施の形態の撮像装置の動作を図８及び図９を参照しながら説明する。
【０１１０】
図９は、撮像装置のホワイトバランス処理を示すフローチャートである。
【０１１１】
図９において、本処理はＣＰＵ（不図示）により開始され実行される（ステップＳ９０１）。撮像素子８０２からの出力を分離回路８０３によりＲ画素・Ｇ画素・Ｂ画素とＷ画素に分離し、１画面分をメモリ８０４に記録する（ステップＳ９０２）。本実施の形態では、ホワイトバランス処理回路８１０は、画面全体で１種類のホワイトバランス係数を求める処理と、分割領域毎にホワイトバランス係数を求める処理を行うことができる。
【０１１２】
まず、ホワイトバランス処理回路８１０で画面全体で１つのホワイトバランス係数を求める処理について説明する。メモリ８０４に記憶されたＲ画素、Ｇ画素、Ｂ画素は、アドレス生成回路８０５で生成されたアドレスに従って画面左上から右下に向かって順に読み出され、積分回路８１１に入力される。積分回路８１１は、画面領域全体でＲ画素、Ｇ画素、Ｂ画素をそれぞれ積分する（ステップＳ９１０）。白判定回路８１２は、積分回路８１１から出力される積分結果と分離回路８０３で分離されたＷ画素を用いて白判定を行う（ステップＳ９１１）。
【０１１３】
上述したように、図４では、（Ｒ−Ｙ）／Ｙを縦軸に、（Ｂ−Ｙ）／Ｙを横軸にとり、２次元平面に光源の色温度の変化を白色温度変化軌線４０１で表している。従って、白色温度変化軌線４０１に近くにプロットされる画素ほど白色に近いと判断することができる。
【０１１４】
上記の白判定処理では、画面全体を複数の領域に分け、下記の式３２１、式３２２の値が所定の範囲内に収まる領域を白検出領域として採用する。尚、Ｗaは領域内のＷ画素値の平均値である。
【０１１５】
（Ｒ−Ｙ）/Ｗa＋（Ｂ−Ｙ）/Ｗa                      （式321）
（Ｒ−Ｙ）/Ｗa−（Ｂ−Ｙ）/Ｗa                      （式322）
式３２１が所定の範囲内に収まる領域とは、境界線４０２と境界線４０３に挟まれた領域であり、式３２２が所定の範囲内の収まる領域とは、境界線４０４と境界線４０５に挟まれた領域であり、白色温度変化軌線４０１を内部に含む。
【０１１６】
上記式３２１、式３２２の輝度信号Ｙは、下記の式３２３により計算される。
【０１１７】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式323）
色差信号Ｒ−Ｙ、Ｂ−ＹをＷaで割って輝度レベルで正規化することで、白判定が輝度レベルに依存することがなくなる。また、適切なホワイトバランス処理が行われていないＲ画素、Ｇ画素、Ｂ画素から計算された輝度信号Ｙは、実際の輝度に対して明るくなったり暗くなったりしてしまう。そのため、輝度信号Ｙを用いて正規化しても色差信号の輝度レベルへの依存性を十分に除去できず、白とみなす領域の判定を誤る可能性がある。しかし、Ｗ画素値を用いることで、輝度信号Ｙを用いるよりも色差信号の輝度レベルへの依存性を除去することができる。
【０１１８】
ゲイン計算回路８１３は、白判定回路８１２の出力に基づき、Ｒ画素のゲインであるＲゲイン８１４と、Ｂ画素のゲインであるＢゲイン８１５を計算する（ステップＳ９１２）。Ｒゲイン８１４、Ｂゲイン８１５は、それぞれ下記のように計算される。
【０１１９】
[Ｒゲイン８１４]＝[輝度信号Ｙを積分した値]/[Ｒ画素値を積分した値]  （式324）
[Ｂゲイン８１５]＝[輝度信号Ｙを積分した値]/[Ｂ画素値を積分した値]  （式325）
上記で積分する範囲は、白判定回路８１２で計算された白検出領域である。Ｒゲイン８１４とＢゲイン８１５は、記憶素子８１６に記録される。
【０１２０】
次に、メモリ８０４に記憶されている画面全体のＲ画素値、Ｂ画素値を読み出し、記憶素子８１６に記憶されたＲゲイン８１４、Ｂゲイン８１５をＲ画素アンプ８１８、Ｂ画素アンプ画素８１９により掛け合わせ、マトリックス回路８２０に入力する。マトリックス回路８２０は、下記の式３２６によりＲ画素値、Ｇ画素値、Ｂ画素値から輝度信号Ｙを計算する（ステップＳ９１３）。
【０１２１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式326）
比較回路８２２は、輝度信号Ｙと分離回路８０３で分離されたＷ画素を比較し、Ｒゲイン８１４とＢゲイン８１５の精度を判定する（ステップＳ９１４）。Ｗ画素は、撮像素子８０２における白色フィルタを設けた画素である。従って、Ｒゲイン８１４及びＢゲイン８１５の値が適切でホワイトバランス処理が適切に行われていれば、ホワイトバランス処理後のＲ画素値、Ｇ画素値、Ｂ画素値から計算された輝度信号ＹとＷ画素の値は近い値になる。
【０１２２】
ただし、画面領域内のＲ画素値、Ｇ画素値、Ｂ画素値から計算され画面の全領域で値を持つ輝度信号Ｙに比べて、Ｗ画素は撮像素子８０２上に離散的に存在しているため、輝度信号Ｙの帯域の方がＷ画素の持つ帯域より広い。そのため、輝度信号Ｙの帯域がＷ画素と同じになるようにＬＰＦ回路８２１で輝度信号Ｙの低域成分だけを通過させた輝度信号ＹＬを生成し、比較回路８２２で輝度信号ＹＬとＷ画素の値を比較する。
【０１２３】
次に、低域の輝度信号ＹＬと画面全体のＷ画素値の平均値Ｗaとの差分をとり、積分回路８２３により差分を画像の全領域で積分し、積分結果を記憶素子８２４に記録する（ステップＳ９１５）。
【０１２４】
次に、ホワイトバランス処理回路８１０で分割領域毎にホワイトバランス係数を求める処理について説明する。メモリ８０４に記憶されたＲＧＢ画素は、アドレス生成回路８０５で生成されたアドレスに従って分割領域ごとに読み出され、積分回路８１１に入力される。積分回路８１１は、分割領域毎にＲ画素、Ｇ画素、Ｂ画素それぞれについて積分する（ステップＳ９２０）。白判定回路８１２は、積分回路８１１から出力される積分結果と分離回路１０３で分離されたＷ画素を用いて白判定を行う（ステップＳ９２１）。
【０１２５】
上記の白判定処理では、分割領域毎に下記の式３３０、式３３１の値が所定の範囲内に収まる領域を白検出領域として採用する。尚、Ｗaは領域内のＷ画素値の平均値である。
【０１２６】
（Ｒ−Ｙ）/Ｗa＋（Ｂ−Ｙ）/Ｗa                      （式330）
（Ｒ−Ｙ）/Ｗa−（Ｂ−Ｙ）/Ｗa                      （式331）
式３３０が所定の範囲内に収まる領域とは、図４の境界線４０２と境界線４０３に挟まれた領域であり、式３３１が所定の範囲内の収まる領域とは、境界線４０４と境界線４０５に挟まれた領域であり、白色温度変化軌線４０１を内部に含む。
【０１２７】
上記式３３０、式３３１の輝度信号Ｙは、下記の式３３２により計算される。
【０１２８】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式332）
色差信号Ｒ−Ｙ、Ｂ−ＹをＷaで割って輝度レベルで正規化することで、白判定が輝度レベルに依存することがなくなる。また、正しくホワイトバランス処理が行われていないＲ画素、Ｇ画素、Ｂ画素から計算された輝度信号Ｙは、実際の輝度より明るくなったり暗くなったりしてしまう。そのため、輝度信号Ｙを用いて正規化しても色差信号の輝度レベルへの依存性を十分に除去できず、白とみなす領域の判定を誤る可能性がある。しかし、Ｗ画素値を用いることでより、輝度信号Ｙを用いるよりは色差信号の輝度レベルへの依存性を除去することができる。
【０１２９】
ゲイン計算回路８１３は、白判定回路８１２の出力に基づき、Ｒ画素のゲインであるＲゲイン８１４と、Ｂ画素のゲインであるＢゲイン８１５を計算する（ステップＳ９２２）。Ｒゲイン８１４、Ｂゲイン８１５は、それぞれ下記の式３３３、３３４のように計算される。
【０１３０】
[Ｒゲイン８１４]＝[輝度信号Ｙを積分した値]/[Ｒ画素値を積分した値]  （式333）
[Ｂゲイン８１５]＝[輝度信号Ｙを積分した値]/[Ｂ画素値を積分した値]  （式334）
上記の積分する範囲は、白判定回路８１２で計算された白検出領域である。計算されたＲゲイン８１４とＢゲイン８１５は、記憶素子８１６に記録される。
【０１３１】
次に、メモリ８０４に記憶されている画面全体のＲ画素値、Ｂ画素値に対し、記憶素子８１６に記憶されたＲゲイン８１４、Ｂゲイン８１５をそれぞれＲ画素アンプ８１８、Ｂ画素アンプ８１９で掛け合わせ、マトリックス回路８２０に入力する。マトリックス回路８２０は、下記の式３３５によりＲＧＢ画素値から輝度信号Ｙを計算する（ステップＳ９２３）。
【０１３２】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        （式335）
比較回路８２２は、計算された輝度信号Ｙと分離回路１０３で分離されたＷ画素を比較し、Ｒゲイン８１４とＢゲイン８１５の精度を判定する（ステップＳ９２４）。Ｗ画素は撮像素子８０２上に白色フィルタを設けた画素である。従って、ホワイトバランス処理が適切に行われていれば、ホワイトバランス処理後のＲ画素値、Ｇ画素値、Ｂ画素値から計算された輝度信号ＹとＷ画素の値は近い値になる。
【０１３３】
ただし、画面領域内のＲ画素値、Ｇ画素値、Ｂ画素値から計算され画面全体に値を持つ輝度信号Ｙに比べて、Ｗ画素は撮像素子８０２上に離散的に存在しているため、輝度信号Ｙの帯域の方がＷ画素の持つ帯域より広い。そのため、輝度信号Ｙの帯域がＷ画素と同じになるようにＬＰＦ回路８２１で輝度信号Ｙの低域成分だけを通過させた輝度信号ＹＬを生成し、比較回路８２２で輝度信号ＹＬとＷ画素を比較する。
【０１３４】
また、輝度信号ＹＬとＷ画素と画素数が異なるので、低域のみの輝度信号ＹＬを更に正規化する。分割領域内の低域のみの輝度信号ＹＬと分割領域内に存在するＷ画素値の平均値Ｗaとの差分をとり、積分回路８２３により差分を積分し、積分結果を記憶素子８２４に記録する（ステップＳ９２５）。差分の積分は分割領域毎に行う。
【０１３５】
選択回路８２５は、ホワイトバランス処理回路８１０で画面全体から求めた１つのホワイトバランス係数の精度を表す積分結果と、分割領域毎に求めたホワイトバランス係数の精度を表す積分結果を、記憶素子８２４からそれぞれ読み出す。そして、選択回路８２５は、前者の積分結果と後者の積分結果を分割領域毎に比較する（ステップＳ９３０）。
【０１３６】
ただし、前者の積分結果は画面全体で行って得られた積分結果であるのに対し、後者の積分結果は分割領域内で行って得られた積分結果であり、積分領域が異なる。そのため、前者の積分結果を後者の領域分割数で割って正規化した値と後者の積分結果を分割領域毎に比較する。
【０１３７】
積分結果の値が小さいほど、分割領域内でＷ画素から得られた白色の値とホワイトバランス後のＲＧＢ画素から計算された輝度信号が近いことになり、ホワイトバランス処理が適切に行われていると判断することができる。
【０１３８】
また、撮像素子８０２上に離散的に全領域に渡ってＷ画素を配置することで、画面上の一部の領域が低輝度で白検出が難しい場合においても、画面全体の情報を使ってホワイトバランス処理を行うことができる。
【０１３９】
選択回路８２５は、ある分割領域において画面全体から求めた積分結果が、分割領域毎に求めた積分結果よりも小さいときは、画面全体から求めたホワイトバランス係数の方が適切であったと判断する。これに伴い、Ｒゲインセレクタ８２６、Ｂゲインセレクタ８２７の出力としてそれぞれＲゲイン、Ｂゲインを選択する（ステップＳ９３１）。
【０１４０】
また、選択回路８２５は、ある分割領域においてホワイトバランス処理回路１３０の積分結果が、ホワイトバランス処理回路１１０の積分結果よりも小さいときは、ホワイトバランス処理回路１３０でのホワイトバランス処理の方が適切であったと判断する。これに伴い、Ｒゲインセレクタ８２６、Ｂゲインセレクタ８２７の出力としてそれぞれＲゲイン、Ｂゲインを選択する（ステップＳ９３１）。
【０１４１】
Ｒゲインセレクタ８２６、Ｂゲインセレクタ８２７から出力されるゲインをＲ画素アンプ８２９、Ｂ画素アンプ８３０でそれぞれＲ画素値、Ｂ画素値に掛け合わせることでＲ画素値、Ｂ画素値を調整し、ホワイトバランス処理を行う（ステップＳ９３２）。以上でホワイトバランス処理を終了する（ステップＳ９３３）。
【０１４２】
上述したように１つのホワイトバランス処理回路８１０で上記２つの処理を順番に行うことで、２種類のホワイトバランス処理を行った場合においても回路規模は１つのホワイトバランス処理を行った場合と変わらないという利点がある。これにより、コストを削減することができる。
【０１４３】
他方、ＡＦ回路８５０は、分離回路８０３で分離され出力されるＷ画素値を利用して位相差ＡＦ処理を行う（ステップＳ９０３）。ＡＦ回路８５０の処理は、上記第２の実施の形態と同じであるため説明を省略する。
【０１４４】
尚、本実施の形態では、２つのホワイトバランス処理を順に実行して適切なものを選択しているが、以下のようにしてもよい。即ち、ホワイトバランス処理回路８１０で３つ以上のホワイトバランス処理を実行可能とし、これら３つ以上のホワイトバランス処理を順に実行して適切なものを選択してもよい。
【０１４５】
また、本実施の形態では、分割領域毎にＲゲインとＢゲインを選択しているが、以下のようにしてもよい。即ち、分割領域毎に求めたＲゲインとＢゲインの中で積分回路８２３の出力が最も小さい分割領域のＲゲインとＢゲインを画面を分割して計算して求めたＲゲインとＢゲインとする。この値を画面領域全体で用いて積分回路８２３で計算した積分結果と、画面全体から求めたＲゲインとＢゲインから積分回路８２３で計算した積分結果を、選択回路８２５で比較してもよい。
【０１４６】
以上説明したように、本実施の形態によれば、ホワイトバランス処理回路８１０で２つのホワイトバランス処理を順番に行う。これにより、上記第１の実施の形態と同様に適切なホワイトバランス係数を選択することが可能となる。
【図面の簡単な説明】
【０１４７】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】撮像素子の画素配列を示す図である。
【図３】撮像装置のホワイトバランス処理を示すフローチャートである。
【図４】白領域を説明する図である。
【図５】撮像素子のＷ１画素の構造を示す図であり、（ａ）は、Ｗ１画素の上面図、（ｂ）は、（ａ）の矢視Ａ−Ａ’線に沿う断面図である。
【図６】本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図である。
【図７】撮像装置のホワイトバランス処理を示すフローチャートである。
【図８】本発明の第３の実施の形態に係る撮像装置の構成を示すブロック図である。
【図９】撮像装置のホワイトバランス処理を示すフローチャートである。
【符号の説明】
【０１４８】
１００、６００、８００  撮像装置
１０２、６０２、８０２  撮像素子
１０５、６６０、８５０  ＡＦ回路
１０６  ホワイトバランス検出回路
１０７  ホワイトバランス補正回路
１０８  ＣＰＵ
６１０、６３０  ホワイトバランス処理回路
８１０  ホワイトバランス処理回路
【図１】
0005116389.tif 000002
【図２】
0005116389.tif 000003
【図３】
0005116389.tif 000004
【図４】
0005116389.tif 000005
【図５】
0005116389.tif 000006
【図６】
0005116389.tif 000007
【図７】
0005116389.tif 000008
【図８】
0005116389.tif 000009
【図９】
0005116389.tif 000010