(57)【特許請求の範囲】
【請求項１】
カラーフィルタを備えた撮像素子を用いて撮像された映像信号を処理する画像処理装置であって、
前記映像信号の撮像時に用いられた絞り値を取得する取得手段と、
前記映像信号のホワイトバランス処理に用いる白検出領域を設定する設定手段と、
前記設定手段が設定した白検出領域を用いて前記映像信号にホワイトバランス処理を適用する補正手段とを有し、
前記設定手段は、絞り値に依存した前記映像信号の混色によって生じる前記撮像素子の分光感度特性の変化を補正するよう、前記取得手段が取得した絞り値に応じた白検出領域を設定することを特徴とする画像処理装置。
【請求項２】
複数の絞り値の各々について、対応する白検出領域を規定する情報を予め記憶した第１の記憶手段をさらに有し、
前記設定手段は、
前記取得手段が取得した絞り値に対応した白検出領域を規定する情報が前記第１の記憶手段に記憶されていれば、当該対応した白検出領域を規定する情報を用いて前記白検出領域を設定し、
前記取得手段が取得した絞り値に対応した白検出領域を規定する情報が前記第１の記憶手段に記憶されていなければ、前記第１の記憶手段に記憶されている情報のうち、前記取得手段が取得した絞り値より大きな絞り値に対応した白検出領域を規定する情報と、前記取得手段が取得した絞り値より小さな絞り値に対応した白検出領域を規定する情報とを補間して、前記取得手段が取得した絞り値に対応した白検出領域を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記カラーフィルタが赤、緑、青のフィルタを含み、
前記白検出領域が色度空間における領域であり、
前記設定手段が、前記取得手段が取得した絞り値が小さいほど、前記色度空間内でマゼンタ方向に位置する白検出領域を設定することを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項４】
予め算出されたホワイトバランス係数と、当該ホワイトバランス係数の算出に用いられた映像信号の撮像時に用いられた絞り値とを記憶する第２の記憶手段をさらに有し、
前記補正手段が、前記第２の記憶手段に記憶された絞り値と、前記取得手段が取得した絞り値とが異なる場合に、前記第２の記憶手段に記憶された絞り値に対応する白検出領域と、前記取得手段が取得した絞り値に対応する白検出領域との前記色度空間における位置の差に応じて、前記第２の記憶手段に記憶されたホワイトバランス係数を前記取得手段が取得した絞り値に対応する係数に補正し、前記ホワイトバランス処理に用いることを特徴とする請求項３記載の画像処理装置。
【請求項５】
カラーフィルタを備えた撮像素子と、
前記撮像素子を用いて撮像された映像信号を処理するための、請求項１乃至請求項４のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項６】
カラーフィルタを備えた撮像素子を用いて撮像された映像信号を処理する画像処理装置の制御方法であって、
取得手段が、前記映像信号の撮像時に用いられた絞り値を取得する取得工程と、
設定手段が、前記映像信号のホワイトバランス処理に用いる白検出領域を設定する設定工程と、
補正手段が、前記設定工程によって設定された白検出領域を用いて前記映像信号にホワイトバランス処理を適用する補正工程とを有し、
前記設定手段は前記設定工程において、絞り値に依存した前記映像信号の混色によって生じる前記撮像素子の分光感度特性の変化を補正するよう、前記取得工程で取得された絞り値に応じた白検出領域を設定することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特には、撮像素子で撮像された画像における混色を抑制するための画像処理装置およびその制御方法に関する。
本発明はまた、本発明に係る画像処理装置を用いた撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置に搭載されている撮像素子は、光電変換素子を有する画素が２次元配列された構成を有し、光学系が結像する被写体像を画素ごとに電気信号に変換する。このような構成の撮像素子の課題として、斜めに入射した光が所定画素だけでなく、隣の画素にも入射することによる「混色」がある。
【０００３】
また、混色の大きさは画素の色（画素に設けられたカラーフィルタの色）によって異なり、透過率の高い色のカラーフィルタ（一般には緑）に隣接する他色の画素において大きくなる。例えば一般的なベイヤ配列のカラーフィルタが設けられている撮像素子では、赤、緑、青の画素のうち、緑画素に斜めに入射し、緑のカラーフィルタを通過してから隣接する青又は赤の画素に入射する混色が相対的に大きくなる。このような混色により、緑画素に隣接する青や赤の画素の緑の波長に対する感度が相対的に上昇し、緑の画素の感度が相対的に低下する。
【０００４】
混色の問題に対処するための技術として、特許文献１では、混色成分に基づいて決定される補正係数を保持し、撮像素子が出力する映像信号中に含まれる混色成分を、補正係数を用いて補正する技術を開示している。
【０００５】
また特許文献２には、混色補正の量を撮像時の絞り値またはズーム位置または撮像感度設定のいずれかによって変更する技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２７１５１９号公報
【特許文献２】特開２００９−１８８４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、特許文献１および特許文献２に記載されるように、発生する混色を補正するための補正係数を予め用意し、映像信号を補正する技術が用いられてきた。これらの方法では、混色により生じる感度の相対的なずれを補正するゲインを各色画素に適用して映像信号を補正するものである。そのため、混色が大きい場合（感度のずれが大きい場合）には大きなゲインを適用する必要があり、Ｓ／Ｎ特性の悪化や、過補正及び補正不足による画質の劣化が生じやすいという問題があった。また、赤、緑、青の画素の色ごとに異なるゲインを適用する場合、赤：緑：青＝３：６：１で表わされる輝度構成比が変化することで輝度値が変化してしまい、混色補正によって撮像画像の露出が変動してしまうという問題もあった。
【０００８】
さらに、映像信号の全ての画素に対して補正ゲインを適用する場合、撮像素子の画素数の増大に伴い、補正処理に要する時間が増大してしまうという問題もあった。
【０００９】
本発明はこのような従来技術の課題の少なくとも１つを解決することを目的としたものであり、簡便な方法により混色を効果的に補正することの可能な画像処理装置およびその制御方法、並びに撮像装置を提供する。
【課題を解決するための手段】
【００１０】
上述の目的は、例えば、カラーフィルタを備えた撮像素子を用いて撮像された映像信号を処理する画像処理装置であって、映像信号の撮像時に用いられた絞り値を取得する取得手段と、映像信号のホワイトバランス処理に用いる白検出領域を設定する設定手段と、設定手段が設定した白検出領域を用いて映像信号にホワイトバランス処理を適用する補正手段とを有し、設定手段は、絞り値に依存した映像信号の混色によって生じる撮像素子の分光感度特性の変化を補正するよう、取得手段が取得した絞り値に応じた白検出領域を設定することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１１】
このような構成により、本発明によれば、簡便な方法により混色を効果的に補正することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図。
【図２】実施形態に係る撮像装置の全体的な動作を説明するためのフローチャート。
【図３】実施形態に係る撮像装置の全体的な動作を説明するためのフローチャート。
【図４】実施形態に係る撮像装置の、スルー画像表示状態における静止画撮像時の動作を説明するためのフローチャート。
【図５】実施形態において設定される白検出領域と絞り値との関係の例を示す図。
【図６】実施形態に係る撮像装置の、プリセットホワイトバランス係数を補正する動作を説明するためのフローチャート。
【図７】実施形態に係る撮像装置の、マニュアルホワイトバランス係数を補正する動作を説明するためのフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図である。
１０は撮像レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の撮像素子、１６は撮像素子１４から読み出されるアナログ映像信号をディジタル映像信号に変換するＡ／Ｄ変換器である。
【００１４】
タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
画像処理部２０は、Ａ／Ｄ変換器１６からの映像信号あるいはメモリ制御部２２からの映像信号に対して所定の画素補間処理や色変換処理を行う。
【００１５】
また、画像処理部２０においては、撮像された映像信号を用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
【００１６】
さらに、画像処理部２０においては、撮像された映像信号を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。画像処理部２０は、ホワイトバランス処理において、撮像された映像信号からなる画像を複数のブロックに分け、各ブロックに含まれる画素の積分値を色ごとに得るブロック積分を行う。また、画像処理部２０は、各画素の値を色度座標に展開し、色度座標内の予め定められた白検出領域に含まれる画素値の積分値を得る白サーチ積分も行う。なお、白サーチ積分に使用する色度座標中の白検出領域の設定は、画像処理部２０内に保持するものとする。
【００１７】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
【００１８】
Ａ／Ｄ変換器１６の出力する映像信号が画像処理部２０、メモリ制御部２２を介して、あるいはＡ／Ｄ変換器１６の出力する映像信号が直接メモリ制御部２２を介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。
【００１９】
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像された映像信号を画像表示部２８で逐次表示すれば、電子ビューファインダー（ＥＶＦ）機能を実現することが可能である。
【００２０】
また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
【００２１】
メモリ３０は撮像した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２２】
圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。
【００２３】
測距制御部４２は撮像レンズ１０のフォーカシングを制御し、ズーム制御部４４は撮像レンズ１０のズーミングを制御する。バリア制御部４６は撮像レンズ１０の保護を行うためのレンズバリアである保護部１０２の動作を制御する。
【００２４】
フラッシュ４８は撮像時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像された映像信号を画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００２５】
システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することにより撮像装置１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。メモリ５２はまた、ＡＥ制御で用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径（または絞り値）とシャッター速度の制御値の関係を定義したテーブルである。
【００２６】
表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４は撮像装置１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２７】
モードダイヤル６０、シャッタースイッチ６２及び６４、及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段を構成する。これらは、ボタン、スイッチ、ダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２８】
ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮像モード、プログラム撮像モード、パノラマ撮像モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。
【００２９】
第１シャッタースイッチＳＷ１（６２）は、撮像装置１００に設けられたシャッターボタン（図示せず）の操作途中（半押し）でＯＮとなる。これにより、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を関係するブロックに指示する。
【００３０】
第２シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了（全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して映像信号をメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理がシステム制御部５０の制御により行われる。更に、メモリ３０から現像済みの映像信号を読み出し、圧縮伸長部３２で圧縮を行い、メモリカード２００や２１０に画像ファイルとして書き込む記録処理が行われる。
【００３１】
操作部７０はスイッチ、ボタン、回転ダイヤルスイッチ、タッチパネル等の操作部材を有するユーザインターフェースである。撮像画像の画像記録モード、圧縮率、画質等は、操作部７０で選択できる。
【００３２】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、これらの検出の結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００及び２１０を含む各部へ供給する。
【００３３】
電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によって撮像装置１００に取り付けられる。
【００３４】
メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、撮像装置１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６と撮像装置１００側のコネクタ９２、９６とを介して撮像装置１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２１０、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。
【００３５】
なお、本実施形態では撮像装置１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
バリア１０２は、撮像装置１００の、レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００３６】
光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮像を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などの情報表示がなされる。
【００３７】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。
【００３８】
次に、図２〜図４に示すフローチャートを用いて、撮像装置１００の主な動作を説明する。図２および図３は、撮像装置１００の全体的な動作を説明するためのフローチャートである
電池交換等の電源投入により、システム制御部５０はフラグや制御変数等を初期化し（Ｓ２０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ２０２）。
【００３９】
システム制御部５０は、モードダイヤル６０の設定位置を判断し、モードダイヤル６０が電源ＯＦＦに設定されていたならば（Ｓ２０３）、所定の終了処理を行った後（Ｓ２０５）、Ｓ２０３に処理を戻す。ここで、終了処理には、例えば以下のような処理が含まれる。各表示部の表示を終了状態とする処理、レンズバリア１０２を閉じる処理。また、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する処理。電源制御部８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する処理。
【００４０】
一方、Ｓ２０３でモードダイヤル６０がその他のモードに設定されていたならば、システム制御部５０は選択されたモードに応じた処理を実行し（Ｓ２０４）、処理をＳ２０３に戻す。
【００４１】
Ｓ２０３でモードダイヤル６０が撮像モードに設定されていたならば、システム制御部５０は、電源制御部８０により、電池等で構成される電源８６の残容量や動作情況を調べる（Ｓ２０６）。そして、電源８６が撮像装置１００が動作する上で問題を有するか否かを判断する。問題があれば、システム制御部５０は表示部５４を用いて画像や音声により所定の警告表示を行い（Ｓ２０８）、処理をＳ２０３に戻す。
【００４２】
電源８６に問題が無いならば（Ｓ２０６）、システム制御部５０は記録媒体２００或いは２１０が撮像装置１００の動作、特に記録再生動作において問題があるか否かを判断する（Ｓ２０７）。そして、問題があるならば、システム制御部５０は表示部５４を用いて画像や音声により所定の警告表示を行い（Ｓ２０８）、処理をＳ２０３に戻す。
【００４３】
記録媒体２００或いは２１０に問題が無いならば、システム制御部５０はＳ２０９でＯＶＦ（光学ビューファインダー）モードであるか、ＥＶＦ（電子ビューファインダー）モードであるか判定する。ＯＶＦモードに設定されている場合、スルー画像の表示は行わないため、システム制御部５０は図３のＳ３０１へ処理を移行させる。
【００４４】
ＥＶＦモードであれば、システム制御部５０は、画像表示部２８をファインダーとして機能させるため初期化処理をＳ２１０で行う。具体的には、システム制御部５０は、撮像素子１４、画像処理部２０、メモリ制御部２２等の、スルー表示用の撮像画像（スルー画像）を生成するために必要な構成要素を、撮像した映像信号を逐次表示するスルー画像表示状態に設定する。
【００４５】
撮像準備が完了したら、システム制御部５０は動画撮像を開始し、スルー画像を画像表示部２８に表示開始する（Ｓ２１１）。
【００４６】
スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、画像表示メモリ２４に逐次書き込まれた映像信号を、メモリ制御部２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、画像表示部２８を電子ビューファインダー（ＥＶＦ）として機能させることができる。
【００４７】
次に、撮像装置１００の、スルー画像表示状態における静止画撮像時の動作について図３、図４のフローチャートを参照しながら説明する。
Ｓ３０１で、システム制御部５０はモードダイヤル６０の設定が変更されたかどうか確認する。設定の変更が検出された場合、システム制御部５０は処理をＳ２０３に戻し、モードダイヤル６０の状態に応じて処理を行う。変更されていなければ、システム制御部５０はＳ３０２で、Ｓ２０９と同様にファインダーのモードを判定し、ＥＶＦモードであればＳ３０３に、ＯＶＦモードであればＳ３０６にそれぞれ処理を進める。
【００４８】
Ｓ３０３でシステム制御部５０は、スルー画像の撮像で用いる露出条件を自動設定するＡＥ処理を行う。具体的には、画像処理部２０が撮像素子１４から得られた信号に対して所定の測光演算を行いその演算結果をメモリ３０に格納する。そして、システム制御部５０は、メモリ３０に格納された演算結果を元に、露光制御部４０を用いてスルー画像の撮像における自動露出制御処理を行う。
【００４９】
さらにＳ３０４でシステム制御部５０は、スルー画像に対するＷＢ処理を行う。具体的には、画像処理部２０が撮像素子１４から得られた信号に対して所定のＷＢ演算を行い、その演算結果をメモリ３０に格納する。そして、システム制御部５０は、メモリ３０に格納された演算結果を元に、画像処理部２０にＷＢ制御値を設定する。画像処理部２０は設定されたＷＢ制御値に応じてスルー画像に対するＷＢ処理を行う。システム制御部５０は、ＷＢ処理後のスルー画像を画像表示部２８に表示させ（Ｓ３０５）、Ｓ３０６に処理を進める。
【００５０】
Ｓ３０６でシステム制御部５０は、シャッタースイッチＳＷ１（６２）の状態を調べ、ＯＮでなければ処理をＳ２０３に戻し、ＯＮであれば処理をＳ３０７に進める。
【００５１】
Ｓ３０７で画像処理部２０が撮像素子１４から得られた信号に対して所定の測距演算を行いその演算結果をメモリ３０に格納する。システム制御部５０はこの測距演算結果を元に測距制御部４２を用いてＡＦ処理を行い、撮像レンズ１０の焦点を被写体に合わせる。その後、システム制御部５０はスルー画像を画像表示部２８に表示させ（Ｓ３０８）、処理をＳ３０９に進める。
【００５２】
Ｓ３０９およびＳ３１０でシステム制御部５０は、シャッタースイッチＳＷ２（６４）及びシャッタースイッチＳＷ１（６２）の状態を調べる。シャッタースイッチＳＷ２（６４）がＯＦＦで、さらにシャッタースイッチＳＷ１（６２）もＯＦＦになった場合、システム制御部５０は処理をＳ２０３に戻す。シャッタースイッチＳＷ２（６４）がＯＦＦで、シャッタースイッチＳＷ１（６２）がＯＮのままであれば、システム制御部５０はＳ３０８の処理を継続して実行する。シャッタースイッチＳＷ２（６４）がＯＮになったなら、システム制御部５０は処理をＳ３１１に進める。
【００５３】
Ｓ３１１からＳ３１３では、静止画撮像処理を実行する。
Ｓ３１１でシステム制御部５０は、図４を参照して後述する方法によって静止画の撮像処理が実行する。Ｓ３１１でシステム制御部５０は、メモリ３０に保存された圧縮映像信号を、静止画ファイルとして記録媒体２００へ書き込む（Ｓ３１２）。Ｓ３１３でシステム制御部５０は、Ｓ３１１で撮像された画像をレビュー画像として画像表示部２８に表示して、静止画撮像の処理を完了する。
【００５４】
Ｓ３１４でシステム制御部５０はシャッタースイッチＳＷ１（６２）の状態を調べ、ＯＮでなければ処理をＳ２０３に戻し、ＯＮであれば処理をＳ３０８に戻してスルー画像を表示し撮像待機状態に復帰する。
【００５５】
図４は、撮像装置１００の静止画撮像時の動作を説明するためのフローチャートである。
Ｓ４０１ではタイミング発生部１８に同期した撮像素子１４から映像信号の読み出しを開始する。このとき、Ｓ３０３のＡＥ処理の結果、フラッシュ４８を点灯させることが決定されていれば、システム制御部５０はフラッシュ４８をシャッター１２の先幕或いは後幕に同期して発光させる。撮像素子１４から逐次読み出されたアナログ映像信号をＡ／Ｄ変換器１６でデジタル映像信号に変換し、メモリ３０に逐次格納する。
【００５６】
Ｓ４０２でシステム制御部５０は、Ｓ３０３のＡＥ処理で決定した絞り値を取得する。
Ｓ４０３でシステム制御部５０は、ホワイトバランス処理のための白検出領域を、画像処理部２０に設定する。ホワイトバランス処理では、所定の色度座標空間において、黒体放射軸を基準に白検出領域を設定する。白検出領域は、白色物体を特性（色温度など）の異なる環境光源下で予め撮像し、算出した色評価値をプロットしたものである。そして、白検出領域内には、予め環境光源に応じた白評価値の範囲が設定されている。そのため、色評価値が白検出領域に含まれる画素の色成分ごとの積分値から、環境光源を推定することができる。本実施形態では、混色成分の量が絞りの大きさに依存することから、絞り値（Ｆ値）に応じて白検出領域を切り替える。白検出領域の切り替えに関しては図５を用いて後述する。
【００５７】
Ｓ４０３でシステム制御部５０は、Ｓ４０２で取得した絞り値をもとに、第１の記憶手段としての不揮発性メモリ５６に予め記憶された白検出領域を特定する情報から１つを選択し、画像処理部２０に白検出領域を設定する。
【００５８】
Ｓ４０４で画像処理部２０は、Ｓ４０１で読み出した映像信号に対してホワイトバランス処理のためのブロック積分処理を行う。具体的には、ブロックに含まれる画素値を各色画素ごとに加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、さらに以下の式を用いてブロックごとに色評価値（Cx[i]、Cy[i]）を算出する。
Cx[i] =（R[i] − B[i]）/  Y[i] × 1024
Cy[i] =（R[i] + B[i] − ２G[i]）/ Y[i] × 1024
ただし、Y[i] = R[i] + ２G[i] + B[i]、i=1...m  （ｍはブロック数）
【００５９】
画像処理部２０は、白検出領域に色評価値（Cx[i]、Cy[i]）が含まれるブロックは白色ブロックであると判定する。そして、画像処理部２０は、白色ブロックに含まれる赤画素、緑画素、青画素の積分値SumR、SumG、SumBを算出（白サーチ積分）して結果をメモリ３０に格納する。
【００６０】
Ｓ４０５で画像処理部２０は、Ｓ４０４で実行した積分結果をメモリ３０から読み出し、例えば以下の式に基づいてホワイトバランス係数（WBCo_R,WBCo_G,WBCo_B）を算出する。
WBCo_R = SumY × 1024 / sumR
WBCo_G = SumY × 1024 / sumG
WBCo_B = SumY × 1024 / sumB
ただし、SumY = （sumR + 2 × sumG + SumB） /4
【００６１】
画像処理部２０は、算出した静止画用のホワイトバランス制御値（ホワイトバランス係数）をメモリ３０に格納する。
【００６２】
Ｓ４０６で画像処理部２０は、現像処理を実行する。現像処理に色補間処理やホワイトバランス処理といった処理が含まれる。また、記録形式に応じて、圧縮伸長部３２による符号化処理や記録用のファイル生成なども行う。現像処理後の映像信号は、画像データとしてメモリ３０内に保存される。
【００６３】
図５は、本実施形態において設定される白検出領域と絞り値との関係の例を示す図である。
図５において、白検出領域は、色温度とマゼンタ／グリーンの直交する色度空間における領域として示されている。色度空間において、Ｘ軸は色温度（色評価値Cx[i]）を表わしており、正方向が低色温度側すなわち赤色方向であり、負方向が高色温度側すなわち青色方向である。また、Ｙ軸はマゼンタ／グリーンの軸（色評価値Cy[i]）であり、正方向がマゼンタ方向、負方向がグリーン方向を表わしている。
【００６４】
上述したように、白検出領域は、黒体放射軸をもとに、各種光源下の白色物体の色評価値が存在する領域を定義したものである。撮像素子の内部構成やカラーフィルターなどの撮像系と、レンズの構成やコーティング及びフィルターなどの光学系の複合要素によって、カラーフィルターの色ごとの感度は異なるため、色度空間上における白検出領域の位置や大きさが異なってくる。撮像素子に斜めに入射した光が、所定画素のみならず隣接画素にも入射する混色現象が発生している状況では、光線の入射角度に依存して混色の状態も変化する。撮像素子に入射する光の角度、特に光軸に対する最大入射角は絞りの大きさに依存し、絞りが大きい（絞り値またはＦ値が小さい）ほど、撮像素子に対して斜めに入射可能な光線が多くなる。そのため、各色画素の相対的な感度は絞り値に依存し、その結果、白検出領域の色度空間における位置や大きさも、絞り値に依存する。
【００６５】
上述の通り、光線の透過率の高い色の画素に隣接する他の色の画素において、光線の透過率の高い色の波長の感度が上昇し、その結果、光線の透過率の高い色の画素の感度が相対的に低下する。これにより、撮像素子の分光感度特性は混色が存在しない場合と存在する場合とで変化し、混色が存在する場合としない場合とでは画像のカラーバランスが変化する。また、混色が大きくなればカラーバランスの変化も大きくなる。従って、本実施形態では、混色によるカラーバランスの変化を補正するような白検出領域を設定してホワイトバランス処理を行うことにより、撮像画像における混色を簡便かつ効果的に補正する。具体的には、撮像時に用いた絞り値に応じて、撮像画像のホワイトバランス処理に用いる白検出領域を動的に設定する。
【００６６】
図５には、Ｆ２．０時の白検出領域と、Ｆ８．０時の白検出領域の例を示している。Ｆ２．０時とＦ８．０時では、カラーフィルターを構成する赤、青、緑のフィルタの透過率と透過波長の違いから、Ｆ２．０時は混色が大きく、青方向の感度が向上し、緑方向の感度低下が発生する。そのため、光検出領域が高色温度方向に延び、またマゼンタ方向（マゼンタより）に位置している。一方、Ｆ８．０時はＦ２．０時と比較して斜め光線の入射が減少し、混色の発生が抑えられることから、マゼンタ／グリーン方向の感度が大幅に変わり、同時に青方向の感度が少し変化する。
【００６７】
具体的には、混色により分光感度特性が変化するので、白検出領域の元となる黒体放射軸の位置が、絞り値によって変化する。従って、白検出領域の位置は、絞り値に応じた黒体放射軸の位置に応じて設定する。また、混色が大きい場合には、緑のカラーフィルタを通過してから隣接する青又は赤の画素に入射する混色が相対的に大きくなるため、グリーンの波長付近の色評価値が正しくない可能性が高い。従って、絞り値が小さく、混色が大きい場合には、グリーン成分が白検出範囲に含まれる割合を混色が小さい場合よりも少なくした大きさの検出領域を小さく設定する。
【００６８】
絞り値に応じたホワイトバランスの変化量は、白検出領域の重心の移動ベクトルから簡易的に求めることができる。この変化量は、例えば、太陽光や電球など、プリセットホワイトバランスと呼ばれる固定値のホワイトバランスを有する光源について、絞り値に応じたホワイトバランスの変化量を補正するために用いることが可能である。プリセットホワイトバランスの補正方法については図６を用いて後述する。
【００６９】
本実施形態では、処理を簡易化するため、絞り開放の状態においてＦ２．０用の白検出領域を使用し、Ｆ８．０以上の小絞りにおいてＦ８．０用の白検出領域を使用するものとする。また、開放と小絞りの間の絞り値（Ｆ４．０やＦ５．６など）に対する白検出領域を予め用意しておいてもよいが、線形補間や一次変換などの方法を用いて、Ｆ２．０用とＦ８．０用の検出領域から求めてもよい。なお、撮像装置１００がレンズ交換可能である場合、レンズの口径などによっても混色の特性は変化するため、レンズに対応した白検出領域の情報を複数の絞り値について記憶しておくこともできる。
【００７０】
図６は太陽光や電球などの光源に対して予め定められたプリセットホワイトバランス係数を補正する動作を説明するためのフローチャートである。
Ｓ５０１でシステム制御部５０は、太陽光や電球など、光源に応じてプリセットされている既定のホワイトバランス係数と、当該ホワイトバランス係数を求める際に使用した絞り値を第２の記憶手段としての不揮発性メモリ５６から読み出す。なお、既定のホワイトバランス係数と絞り値とは不揮発性メモリ５６以外の記憶装置（図示せず）に記憶されていてもよい。
【００７１】
Ｓ５０２でシステム制御部５０は、Ｓ５０１で取得した既定のホワイトバランス係数に対応する絞り値について、現在の絞り値と比較する。既定のホワイトバランス係数の算出時に用いた絞り値と、現在の絞り値が同一である場合、ホワイトバランス係数を補正する必要がないため、システム制御部５０は処理を終了する。一方、絞り値が異なる場合、システム制御部５０は、不揮発性メモリ５６に記憶されている、白検出領域を規定する情報を取得する（Ｓ５０３）。
【００７２】
本実施形態では、シャッター１２に設定可能な絞り値のうち、Ｆ２．０とＦ８．０に対応する白検出領域を規定する情報（および対応する重心位置）のみが不揮発性メモリ５６に記憶されている。そして、Ｓ５０３でシステム制御部５０は、Ｆ２．０とＦ８．０用の白検出領域を規定する情報を不揮発性メモリ５６から読み出し、メモリ３０に格納する。
【００７３】
Ｓ５０４でシステム制御部５０は、既定のホワイトバランス係数の算出時に用いられた絞り値に対応する白検出領域と、現在の絞り値に対応する白検出領域とを求める。既定のホワイトバランス係数の算出時に用いられた絞り値がＦ２．０とＦ８．０の間の値であれば、システム制御部５０は対応する白検出領域をＦ２．０用とＦ８．０用の白検出領域を規定する情報から補間計算によって求める。現在の絞り値がＦ２．０とＦ８．０の間の値である場合もシステム制御部５０は同様にして対応する白検出領域を求める。そして、システム制御部５０は、補間計算で求めた夫々の白検出領域の情報はメモリ３０に格納する。なお、現在の絞り値と、既定のホワイトバランス係数の算出時に用いられた絞り値が、Ｆ２．０またはＦ８．０であれば、補間演算の必要がないことはいうまでもない。
【００７４】
Ｓ５０５でシステム制御部５０は、現在の絞り値と、既定のホワイトバランス係数の算出時に用いられた絞り値とに対応する白検出領域の重心（色度空間における座標）を計算する。設計値として予め検出領域の重心が求めてある場合には、不揮発性メモリ５６には重心位置も同時に記憶されているため、再計算は不要である。
【００７５】
Ｓ５０６でシステム制御部５０は、現在の絞り値と、既定のホワイトバランス係数の算出時に用いられた絞り値とに対応する白検出領域の重心の移動ベクトルを求める。そして、システム制御部５０は、重心の色温度方向及びマゼンタ／グリーン方向の移動量をもとに、既定のホワイトバランス係数を補正する。具体的には、システム制御部５０は現在の絞り値に対応した白検出領域で検出される白色画素が白色に補正されるようにホワイトバランス係数を補正する。システム制御部５０は、補正後のホワイトバランス係数をプリセットホワイトバランスにおける既定のホワイトバランス係数としてメモリ３０に記憶する。
【００７６】
図７はマニュアルホワイトバランス処理で設定されるホワイトバランス係数を補正する動作を説明するためのフローチャートである。
マニュアルホワイトバランスは、撮像者が白く撮像したい物体を撮像装置で撮像（白取り込み）し、撮像装置が撮像画像からホワイトバランス係数を生成する機能である。本実施形態において、システム制御部５０は、マニュアルホワイトバランス機能によって生成したホワイトバランス係数と、白取り込み時の絞り値とを不揮発性メモリ５６に保存しておく。
【００７７】
Ｓ６０１でシステム制御部５０は、マニュアルホワイトバランス設定機能によって生成したホワイトバランス係数と、白取り込み時の絞り値とを不揮発性メモリ５６から読み出す。
【００７８】
Ｓ６０２でシステム制御部５０は、Ｓ６０１で取得した絞り値と、現在設定されている絞り値とを比較する。白取り込み時の絞り値と現在の絞り値とが同一である場合には補正の必要がないため、システム制御部５０は補正処理を終了する。一方、絞り値が異なる場合にはＳ６０３以降の処理でホワイトバランス係数を補正する。
【００７９】
Ｓ６０３からＳ６０６は、図６のＳ５０３からＳ５０６で説明した処理と同様である。システム制御部５０は、白検出領域の絞り値に応じた変化を白検出領域の重心の移動量として求め、現在の絞り値に対応する白検出領域に対応したホワイトバランスが調整されるよう、マニュアルホワイトバランスのホワイトバランス係数を補正する。また、システム制御部５０は補正後のホワイトバランス係数をメモリ３０に格納し、補正処理を終了する。
【００８０】
以上説明したように、本実施形態によれば、絞り値に依存した混色が発生している状況において、混色の特性に応じた最適なホワイトバランスの白検出領域を用いたホワイトバランス処理を行うことで、簡便な方法で混色を補正することができる。
【００８１】
より具体的には、ホワイトバランス処理のための白検出領域を絞り値に応じて予め複数記憶しておき、露光時の絞り値に対応する白検出領域を設定してホワイトバランス処理を行う。これにより、絞り値に依存した混色によって撮像素子の分光感度特性が変化しても、混色を十分に補正して画像のホワイトバランスを取ることが可能になる。混色によるカラーバランス（分光感度特性）の変化を補正するような白検出領域を設定してホワイトバランス処理を行うので、映像信号に補正ゲインを適用した場合のＳ／Ｎ悪化や露出変動などの弊害がなく、正しいカラーバランスを表現することが可能になる。その結果、ホワイトバランス処理とは別に混色補正のためのゲインを適用する従来技術と比較して簡便な処理で、より良好な画質の画像を得ることが可能である。
【００８２】
なお、本実施形態においては、静止画撮像時に用いる絞り値に応じた最適なホワイトバランスの白検出領域を用いる方法について説明したが、静止画撮像に限定されるものではなく、スルー画像表示状態で実行してもよい。つまり、露光時のＦ値に応じた最適なホワイトバランスの白検出領域を用いるため、スルー画像表示状態や動画記録状態など、露光とホワイトバランス処理が実行されるケースにおいて適用可能である。また、Ｓ３０３において本撮影の画像とは異なるスルー画像でのＡＥ処理で絞り値を取得する例のみを示したが、本発明は、これとは異なるタイミングで取得してもよい。例えば、ＯＶＦモードではＳ３０３のスルー画像でのＡＥ処理ができないので、ＳＷ２の後のＳ３１１の本撮影時にＡＥ処理を行い、その時に絞り値を取得するようにしても良い。
【００８３】
以上、特定の実施形態について本発明を説明したが、上述の実施形態は本発明の理解を助けるための例示を目的としたものであり、本発明を限定するものではない。当業者は本発明の範囲内で上述の実施形態に対して様々な変更を適用しうる。
【００８４】
例えば、上述の実施形態では本発明に係る画像処理装置を撮像装置に適用した場合について説明したが、撮像、記録機能は本発明に必須でない。カラーフィルタを備える撮像素子で撮像された画像を処理する機能を有する任意の機器において本発明を実施することが可能である。例えば、携帯電話機やＰＤＡ(Personal Digital Assistant)、あるいはその他のカメラ機能を備えた様々な情報機器はもちろん、撮像画像データを読み込んで処理可能な情報処理装置に対しても本発明を適用することができる。
【００８５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005513244.tif 000002
【図２】
0005513244.tif 000003
【図３】
0005513244.tif 000004
【図４】
0005513244.tif 000005
【図５】
0005513244.tif 000006
【図６】
0005513244.tif 000007
【図７】
0005513244.tif 000008