(57)【特許請求の範囲】
【請求項１】
撮像光学系で結像された被写体像を撮像素子で撮像した動画像のホワイトバランス処理を行う画像処理装置であって、
ホワイトバランス係数を、前記動画像に含まれるフレーム画像に適用する適用手段と、
前記撮像光学系に関するパラメータの少なくとも２つに対応して利用可能な白検出範囲の情報を記憶する記憶手段と、
前記撮像光学系に関するパラメータを決定する決定手段と、
前記決定されたパラメータを用いて撮影された前記動画像に含まれるフレーム画像と、前記記憶手段に記憶された、前記決定されたパラメータに対応して利用可能な白検出範囲の情報と、から求められる第１白検出範囲を用いて、第１ホワイトバランス係数を求める算出手段と、
前記第１白検出範囲と、前記第１白検出範囲とは異なる第２白検出範囲とを用いて補正量を求め、該補正量を用いて前記第１ホワイトバランス係数を補正することにより予測ホワイトバランス係数を求める予測手段と、
前記決定されたパラメータが変化した場合、前記動画像に含まれるフレーム画像に対し、前記予測手段により求められた前記予測ホワイトバランス係数を適用した後、前記算出手段により求められた前記第１ホワイトバランス係数を適用するように前記適用手段を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記決定されたパラメータが変化した場合、変化後のパラメータを用いて撮影された前記動画像に含まれるフレーム画像を用いた前記第１ホワイトバランス係数が前記算出手段によって求められるまで前記予測ホワイトバランス係数を適用するように前記適用手段を制御することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像光学系は絞り値が可変の絞り機構を備えており、前記撮像光学系に関するパラメータが絞り値であることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記記憶手段は、前記白検出範囲の情報として、絞り値に対応する白検出範囲の色度空間における重心位置を記憶し、
前記予測手段は、前記決定手段により決定された絞り値が変化する前の絞り値に対応する白検出範囲の重心位置と、変化した後の絞り値に対応する白検出範囲の重心位置との移動ベクトルを求め、前記重心位置の色温度方向及びマゼンタ／グリーン方向の移動量を前記補正量として用いて前記第１ホワイトバランス係数を補正することにより前記予測ホワイトバランス係数を求める、
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
絞り値が可変の絞り機構を備えた撮像光学系と、
前記撮像光学系で結像された被写体像を撮像する撮像素子と、
前記撮像素子で撮像された動画像を処理するための請求項１乃至請求項４のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項６】
撮像光学系で結像された被写体像を撮像素子で撮像した動画像のホワイトバランス処理を行う画像処理装置の制御方法であって、
前記画像処理装置は、
前記撮像光学系に関するパラメータの少なくとも２つに対応して利用可能な白検出範囲の情報を記憶する記憶手段を有し、
前記画像処理装置の制御方法が、
決定手段が、前記撮像光学系に関するパラメータを決定する決定工程と、
算出手段が、前記決定されたパラメータを用いて撮影された前記動画像に含まれるフレーム画像と、前記記憶手段に記憶された、前記決定されたパラメータに対応して利用可能な白検出範囲の情報と、から求められる第１白検出範囲を用いて、第１ホワイトバランス係数を求める算出工程と、
予測手段が、前記第１白検出範囲と、前記第１白検出範囲とは異なる第２白検出範囲とを用いて補正量を求め、該補正量を用いて前記第１ホワイトバランス係数を補正することにより予測ホワイトバランス係数を求める予測工程と、
制御手段が、前記決定されたパラメータが変化した場合、前記動画像に含まれるフレーム画像に対し、前記予測工程で求められた前記予測ホワイトバランス係数を適用した後、前記算出工程により求められた前記第１ホワイトバランス係数を適用するように制御する制御工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特には、撮像素子で撮像された画像における混色を抑制するための画像処理装置およびその制御方法に関する。
本発明はまた、本発明に係る画像処理装置を用いた撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置に搭載されている撮像素子は、光電変換素子を有する画素が２次元配列された構成を有し、光学系が結像する被写体像を画素ごとに電気信号に変換する。このような構成の撮像素子の課題として、斜めに入射した光が所定画素だけでなく、隣の画素にも入射することによる「混色」がある。
【０００３】
また、混色の大きさは画素の色（画素に設けられたカラーフィルタの色）によって異なり、透過率の高い色のカラーフィルタ（一般には緑）に隣接する他色の画素において大きくなる。例えば一般的なベイヤ配列のカラーフィルタが設けられている撮像素子では、赤、緑、青の画素のうち、緑画素に斜めに入射し、緑のカラーフィルタを通過してから隣接する青又は赤の画素に入射する混色が相対的に大きくなる。このような混色により、緑画素に隣接する青や赤の画素の緑の波長に対する感度が相対的に上昇し、緑の画素の感度が相対的に低下する。
【０００４】
混色の問題に対処するための技術として、特許文献１では、混色成分に基づいて決定される補正係数を保持し、撮像素子が出力する映像信号中に含まれる混色成分を、補正係数を用いて補正する技術を開示している。
【０００５】
また、特許文献２にはズームレンズの焦点距離（画角）変更操作によるＦ値の変化量を推定し、シャッター速度やフレームレートの制御を行うことにより、動作撮像中にズーム操作がなされた場合の露出過剰や露出不足を防止する技術が開示されている。
【０００６】
また、特許文献３には、ビデオカメラ等において、ステッピングモータによる絞り駆動と、電子シャッタースピードの制御とを組み合わせることで、絞りのステップ数を増やすことなく、微細な光量調節を可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２７１５１９号公報
【特許文献２】特開２００８−２６３４９２号公報
【特許文献３】特開平１１−１９４３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載されるような、発生する混色を補正するための補正係数を予め用意し、映像信号を補正する方法は、混色により生じる感度の相対的なずれを補正するゲインを各色画素に適用して映像信号を補正するものである。そのため、混色が大きい場合（感度のずれが大きい場合）には大きなゲインを適用する必要があり、Ｓ／Ｎ特性の悪化や、過補正及び補正不足による画質の劣化が生じやすいという問題があった。また、赤、緑、青の画素の色ごとに異なるゲインを適用する場合、赤：緑：青＝３：６：１で表わされる輝度構成比が変化することで輝度値が変化してしまい、混色補正によって撮像画像の露出が変動してしまうという問題もあった。
【０００９】
そのため、絞り値の変化により混色の程度が変化した場合にはホワイトバランス係数を取得し直す必要がある。しかし、特許文献２，３に記載された技術では、動画撮像中に絞り値が変化した場合に、変化後の絞り値に対応するホワイトバランス係数が得られるまでの期間にホワイトバランス処理されるフレーム画像については、混色による色被りを補正することができない。
【００１０】
本発明はこのような従来技術の課題の少なくとも１つを解決することを目的としたものであり、簡便な方法により、動画撮像時の混色を効果的に補正することの可能な画像処理装置およびその制御方法、並びに撮像装置を提供する。
【課題を解決するための手段】
【００１１】
上述の目的は、撮像光学系で結像された被写体像を撮像素子で撮像した動画像のホワイトバランス処理を行う画像処理装置であって、ホワイトバランス係数を、動画像に含まれるフレーム画像に適用する適用手段と、撮像光学系に関するパラメータの少なくとも２つに対応して利用可能な白検出範囲の情報を記憶する記憶手段と、撮像光学系に関するパラメータを決定する決定手段と、決定されたパラメータを用いて撮影された動画像に含まれるフレーム画像と、記憶手段に記憶された、決定されたパラメータに対応して利用可能な白検出範囲の情報と、から求められる第１白検出範囲を用いて、第１ホワイトバランス係数を求める算出手段と、第１白検出範囲と、第１白検出範囲とは異なる第２白検出範囲とを用いて補正量を求め、補正量を用いて第１ホワイトバランス係数を補正することにより予測ホワイトバランス係数を求める予測手段と、決定されたパラメータが変化した場合、動画像に含まれるフレーム画像に対し、予測手段により求められた予測ホワイトバランス係数を適用した後、算出手段により求められた第１ホワイトバランス係数を適用するように適用手段を制御する制御手段と、を有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１２】
このような構成により、本発明によれば、簡便な方法により、動画撮像時の混色を効果的に補正することの可能な画像処理装置およびその制御方法、並びに撮像装置が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図。
【図２】実施形態に係る撮像装置の全体的な動作を説明するためのフローチャート。
【図３】実施形態に係る撮像装置の動画記録開始動作を説明するためのフローチャート。
【図４】実施形態に係る撮像装置の動画撮像動作を説明するためのフローチャート。
【図５】実施形態において設定される白検出領域と絞り値との関係の例を示す図。
【図６】実施形態に係る撮像装置の、予測ホワイトバランス係数算出動作を説明するためのフローチャート。
【図７】実施形態に係る撮像装置のタイミングチャート。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例の機能構成を示すブロック図である。
１０は撮像レンズ、１２は絞り値が可変な絞り機構を備えるシャッターであり、撮像レンズ１０及びシャッター１２は撮像光学系を構成する。１４は撮像光学系が結像する被写体像を撮像し、電気信号に変換するＣＣＤやＣＭＯＳセンサ等の撮像素子である。１６は撮像素子１４から読み出されるアナログ映像信号をディジタル映像信号に変換するＡ／Ｄ変換器である。
【００１５】
タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
画像処理部２０は、Ａ／Ｄ変換器１６からの映像信号あるいはメモリ制御部２２からの映像信号に対して所定の画素補間処理や色変換処理を行う。
【００１６】
また、画像処理部２０においては、撮像された映像信号を用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
【００１７】
さらに、画像処理部２０においては、撮像された映像信号を用いて所定の演算処理を行い、得られた演算結果（ホワイトバランス係数）を映像信号に適用することによりＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。画像処理部２０は、ホワイトバランス処理において、撮像された映像信号からなる画像を複数のブロックに分け、各ブロックに含まれる画素の積分値を色ごとに得るブロック積分を行う。また、画像処理部２０は、各画素の値を色度空間の座標に展開し、色度空間において予め定められた白検出領域に含まれる画素値の積分値を得る白サーチ積分も行う。なお、白サーチ積分に使用する色度空間内の白検出領域の設定は、画像処理部２０内に保持するものとする。
【００１８】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
【００１９】
Ａ／Ｄ変換器１６の出力する映像信号が画像処理部２０、メモリ制御部２２を介して、あるいはＡ／Ｄ変換器１６の出力する映像信号が直接メモリ制御部２２を介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。
【００２０】
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像された映像信号を画像表示部２８で逐次表示すれば、電子ビューファインダー（ＥＶＦ）機能を実現することが可能である。
【００２１】
また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
【００２２】
メモリ３０は撮像した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２３】
圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機構を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。シャッター１２の絞り機構は、露光制御部４０がシャッター１２に絞り値を設定することで制御される。絞り値はシステム制御部５０が実現するＡＥ機能により決定され、露光制御部４０に指示される。
【００２４】
測距制御部４２は撮像レンズ１０のフォーカシングを制御し、ズーム制御部４４は撮像レンズ１０のズーミングを制御する。バリア制御部４６は撮像レンズ１０の保護を行うためのレンズバリア１０２の動作を制御する。
【００２５】
フラッシュ４８は撮像時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されている。具体的には、撮像された映像信号に対して予め定められた演算を画像処理部２０によって適用し、演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００２６】
システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することにより撮像装置１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。メモリ５２はまた、ＡＥ制御で用いるプログラム線図も格納している。プログラム線図は、測光値（ＥＶ値）に対する絞り開口径（または絞り値）とシャッター速度の制御値の関係を定義したテーブルである。
【００２７】
表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４は撮像装置１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００２８】
モードダイヤル６０、シャッタースイッチ６２及び６４、及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段を構成する。これらは、ボタン、スイッチ、ダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２９】
ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮像モード、プログラム撮像モード、パノラマ撮像モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。
【００３０】
第１シャッタースイッチＳＷ１（６２）は、撮像装置１００に設けられたシャッターボタン（図示せず）の操作途中（半押し）でＯＮとなる。これにより、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を関係するブロックに指示する。
【００３１】
第２シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了（全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して映像信号をメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理がシステム制御部５０の制御により行われる。更に、メモリ３０から現像済みの映像信号を読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００や２１０に画像ファイルとして書き込む記録処理が行われる。
【００３２】
操作部７０はスイッチ、ボタン、回転ダイヤルスイッチ、タッチパネル等の操作部材を有するユーザインターフェースである。撮像画像の画像記録モード、圧縮率、画質等は、操作部７０で選択できる。また、本実施形態では、撮像モードにおいてユーザが動画撮像の開始、終了を指示するための動画ボタンが操作部７０に含まれているものとする。ただし、動画撮像の開始、終了を指示するための方法に特に制限はなく、任意の方法を採用することができる。例えば、モードダイヤル６０で動画撮像モードを選択し、第２シャッターＳＷ２のＯＮ，ＯＦＦで動画撮像も開始、終了を指示するようにしてもよい。
【００３３】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、これらの検出の結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００及び２１０を含む各部へ供給する。
【００３４】
電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によって撮像装置１００に取り付けられる。
【００３５】
メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、撮像装置１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６と撮像装置１００側のコネクタ９２、９６とを介して撮像装置１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２１０、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。
【００３６】
なお、本実施形態では撮像装置１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
レンズバリア１０２は、撮像装置１００の、撮像レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００３７】
光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いて撮像レンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮像を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などの情報表示がなされる。
【００３８】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。
【００３９】
次に、図２〜図５を用いて、撮像装置１００の主な動作を説明する。図２および図３は、撮像装置１００の全体的な動作を説明するためのフローチャートである
電池交換等の電源投入により、システム制御部５０はフラグや制御変数等を初期化し（Ｓ２０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ２０２）。
【００４０】
システム制御部５０は、モードダイヤル６０の設定位置を判断し、モードダイヤル６０が電源ＯＦＦに設定されていたならば（Ｓ２０３）、所定の終了処理を行った後（Ｓ２０５）、Ｓ２０３に処理を戻す。ここで、終了処理には、例えば以下のような処理が含まれる。各表示部の表示を終了状態とする処理、レンズバリア１０２を閉じる処理。また、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する処理。電源制御部８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する処理。
【００４１】
一方、Ｓ２０３でモードダイヤル６０がその他のモードに設定されていたならば、システム制御部５０は選択されたモードに応じた処理を実行し（Ｓ２０４）、処理をＳ２０３に戻す。
【００４２】
Ｓ２０３でモードダイヤル６０が撮像モードに設定されていたならば、システム制御部５０は、電源制御部８０により、電池等で構成される電源８６の残容量や動作情況を調べる（Ｓ２０６）。そして、電源８６が撮像装置１００が動作する上で問題を有するか否かを判断する。問題があれば、システム制御部５０は表示部５４を用いて画像や音声により所定の警告表示を行い（Ｓ２０８）、処理をＳ２０３に戻す。
【００４３】
電源８６に問題が無いならば（Ｓ２０６）、システム制御部５０は記録媒体２００或いは２１０が撮像装置１００の動作、特に記録再生動作において問題があるか否かを判断する（Ｓ２０７）。そして、問題があるなら、システム制御部５０は表示部５４を用いて画像や音声により所定の警告表示を行い（Ｓ２０８）、処理をＳ２０３に戻す。
【００４４】
記録媒体２００或いは２１０に問題が無いならば、システム制御部５０はＳ２０９でＯＶＦ（光学ビューファインダー）モードであるか、ＥＶＦ（電子ビューファインダー）モードであるか判定する。ＯＶＦモードに設定されている場合、スルー画像の表示は行わないため、システム制御部５０は図３のＳ３０１へ処理を移行させる。
【００４５】
ＥＶＦモードであれば、システム制御部５０は、画像表示部２８をファインダーとして機能させるため初期化処理をＳ２１０で行う。具体的には、システム制御部５０は、撮像素子１４、画像処理部２０、メモリ制御部２２等の、スルー表示用の撮像画像（スルー画像）を生成するために必要な構成要素を、撮像した映像信号を逐次表示するスルー画像表示状態に設定する。すなわち、スルー画像表示状態は表示用の動画撮像に相当する。
【００４６】
撮像準備が完了したら、システム制御部５０は動画撮像を開始し、スルー画像を画像表示部２８に表示開始する（Ｓ２１１）。
【００４７】
スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、画像表示メモリ２４に逐次書き込まれた映像信号を、メモリ制御部２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、画像表示部２８を電子ビューファインダー（ＥＶＦ）として機能させることができる。
【００４８】
次に、撮像装置１００の、スルー画像表示状態における動画撮像時の動作について図３〜図５を参照しながら説明する。
まず、図３を参照して、撮像装置１００の動画撮像開始時の動作を説明する。Ｓ３０１で、システム制御部５０はモードダイヤル６０の設定が変更されたかどうか確認する。設定の変更が検出された場合、システム制御部５０は処理をＳ２０３に戻し、モードダイヤル６０の状態に応じて処理を行う。変更されていなければ、システム制御部５０はＳ３０２で動画ボタンの状態を判定し、動画ボタンがＯＮ状態であればＳ３０５に、ＯＦＦ状態であればＳ３０３にそれぞれ処理を進める。なお、本実施形態において、動画ボタンは押される毎にＯＮ状態とＯＦＦ状態が切り替わるトグルスイッチである。
【００４９】
動画ボタンがＯＦＦ状態であれば、Ｓ３０３でシステム制御部５０は、スルー画像表示を継続して行うための所定の処理を行う。また、画像処理部２０は撮像素子１４から得られた信号に対して所定の測光演算を行いその演算結果をメモリ３０に格納する。システム制御部５０は測光演算結果を元に露光制御部４０を用いてスルー画像の撮像に対するＡＥ処理を行い、絞り値、シャッタースピード等の撮像条件を決定し（Ｓ３０４）、処理をＳ３０１に戻す。
【００５０】
一方、Ｓ３０２で動画ボタンがＯＮ状態であれば、Ｓ３０５でＡＦ処理が行われる。具体的には、画像処理部２０が撮像素子１４から得られた信号に対して所定の測距演算を行いその演算結果をメモリ３０に格納する。システム制御部５０はこの測距演算結果を元に測距制御部４２を用いてＡＦ処理を行い、撮像レンズ１０の焦点を被写体に合わせる。
【００５１】
Ｓ３０６でシステム制御部５０は、撮像素子１４から得られた信号に対して画像処理部２０を使って積分処理および所定のＷＢ演算を実行し、動画撮像用のＷＢ係数を求める。システム制御部５０は、動画撮像用のＷＢ係数をメモリ３０に格納するとともに画像処理部２０に設定する。
【００５２】
Ｓ３０７でシステム制御部５０は、１フレーム分の動画撮像処理を実行する。撮像処理後、メモリ３０には、撮像素子１４からＡ／Ｄ変換器１６を通して読み出された信号処理前のフレーム画像の映像信号が保存されている。システム制御部５０は、画像処理部２０を用い、信号処理前の映像信号に対し、画像処理部２０を用いて現像処理を実行する。現像処理に色補間処理やホワイトバランス処理といった処理が含まれる。また、記録形式に応じて、圧縮伸長部３２による符号化処理や記録用のファイル生成なども行う。現像処理後の映像信号は、画像データとしてメモリ３０内に保存される。そして、システム制御部５０は、メモリ３０に保存された画像データを動画ファイルとして記録媒体２００へ書き込む。
【００５３】
Ｓ３０８でシステム制御部５０は、Ｓ３０７で撮像されたフレーム画像をスルー画像として画像表示部２８に表示して、動画撮像の開始処理を完了し、図４の処理に移行する。
【００５４】
次に、図４のフローチャートを参照して、撮像装置１００の動画撮像処理中の処理を説明する。Ｓ４０１で、システム制御部５０はモードダイヤル６０の設定が変更されたかどうか確認する。設定の変更が検出された場合、システム制御部５０は処理をＳ２０３に戻し、モードダイヤル６０の状態に応じて処理を行う。変更されていなければ、システム制御部５０はＳ４０２で、動画ボタンの状態を判定する。
【００５５】
動画撮像開始後に動画ボタンが再度押されてＯＦＦ状態となっていれば、システム制御部５０は動作撮像処理を終了し、処理をＳ２０３に戻す。
動作撮像開始後に動画ボタンが押されておらず、動画ボタンがＯＮ状態であれば、システム制御部５０は処理をＳ４０３に進め、動画撮像処理を継続する。
【００５６】
Ｓ４０３でシステム制御部５０は、１フレーム分の動画撮像処理を実行する。動作撮像処理により、メモリ３０には、撮像素子１４からＡ／Ｄ変換器１６を通して読み出された信号処理前のフレーム画像の映像信号が保存される。
【００５７】
Ｓ４０４でシステム制御部５０は、メモリ３０内の映像信号に対し、画像処理部２０を用いて所定の測光演算を適用して演算結果をメモリ３０に格納する。
【００５８】
Ｓ４０５でシステム制御部５０は、Ｓ４０４で求めた測光演算結果を参照し、電子シャッタースピードおよび絞り値を含む現在の露出設定値のうち、絞り値を変更するかどうか判定する。この判定は予め定められたプログラム線図などを用いるなど、公知の任意の方法によって行うことができる。システム制御部５０は、絞り値を変更すると判定した場合には目標の絞り値を取得して処理をＳ４０６ヘ進め、絞り値を変更しないと判定した場合には処理をＳ４０７に進める。
【００５９】
Ｓ４０６でシステム制御部５０は、画像処理部２０を用いてＷＢ補正処理を行う。ＷＢ補正処理は、絞り値が変更された際のホワイトバランスの変化を計算で求める処理である。システム制御部５０は、メモリ３０に格納されている現在のＷＢ係数と、現在の絞り値と、目標の絞り値と、不揮発性メモリ５６に予め記憶された補正情報とをもとに、目標の絞り値に対応するＷＢ係数を画像処理部２０を用いて計算する。補正後のＷＢ係数は画像処理部２０に設定されるとともに、メモリ３０に格納される。なお、Ｓ４０６におけるＷＢ補正処理の詳細については、図６を参照して後述する。
【００６０】
Ｓ４０７でシステム制御部５０は、Ｓ４０４の測光演算結果を元に露光制御部４０を用いてＡＥ処理を行う。
【００６１】
Ｓ４０８でシステム制御部５０は、画像処理部２０を用いてフレーム画像に基づくＷＢ処理を行う。Ｓ４０８でシステム制御部５０は、ＷＢ処理のうち、積分処理と演算処理のどちらか一方を画像処理部２０によって実行する。積分処理が実行されていない場合、あるいはＳ４０５によって絞りを動かすと判定された場合は、メモリ３０に格納されている信号処理前の映像信号に対し、ＷＢ処理のための積分処理を行う。
【００６２】
具体的には、画像処理部２０は、撮像された映像信号からなるフレーム画像を複数のブロックに分ける。そして、画像処理部２０は、ブロックに含まれる画素値を各色画素ごとに加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、さらに以下の式を用いてブロックごとに色評価値（Cx[i]、Cy[i]）を算出する。
Cx[i] =（R[i] − B[i]）/  Y[i] × 1024
Cy[i] =（R[i] + B[i] − ２G[i]）/ Y[i] × 1024
ただし、Y[i] = R[i] + ２G[i] + B[i]、i=1...m  （ｍはブロック数）
【００６３】
画像処理部２０は、目標絞り値に対する白検出領域に色評価値（Cx[i]、Cy[i]）が含まれるブロックは白色ブロックであると判定する。そして、画像処理部２０は、白色ブロックに含まれる赤画素、緑画素、青画素の積分値SumR、SumG、SumBを算出（白サーチ積分）して結果をメモリ３０に格納する。なお、目標絞り値に対する白検出領域の情報は絞り値ごとに予め不揮発性メモリ５６などに記憶しておいても良いし、ある絞り値に対する白検出領域の情報と予め用意した計算式から都度算出して求めてもよい。
【００６４】
フレーム画像に対するこれらの積分処理には一定の時間を要するため、積分処理を行う場合、システム制御部５０は積分処理を開始させるとその終了を待たずに処理をＳ４０９に進める。
【００６５】
一方、積分処理が完了している場合、システム制御部５０は画像処理部２０を用いてＷＢ演算処理を実行する。
画像処理部２０は、積分結果をメモリ３０から読み出し、例えば以下の式に基づいてホワイトバランス係数（WBCo_R,WBCo_G,WBCo_B）を算出する。
WBCo_R = SumY × 1024 / sumR
WBCo_G = SumY × 1024 / sumG
WBCo_B = SumY × 1024 / sumB
ただし、SumY = （sumR + 2 × sumG + SumB） /4
画像処理部２０は、算出した動画撮像用のホワイトバランス係数（ホワイトバランス制御値）を自身に設定し、またメモリ３０に格納する。
【００６６】
Ｓ４０９でシステム制御部５０は、画像処理部２０を用い、Ｓ４０３で撮像され、メモリ３０に格納された未処理画像データに対し、画像処理部２０を用いて現像処理を実行する。現像処理に色補間処理やホワイトバランス処理といった処理が含まれる。また、記録形式に応じて、圧縮伸長部３２による符号化処理や記録用のファイル生成なども行う。現像処理後の映像信号は、画像データとしてメモリ３０内に保存される。そして、システム制御部５０は、画像データを用いてスルー画像を画像表示部２８に表示する。
Ｓ４１０でシステム制御部５０は、メモリ３０に保存された画像データを動画ファイルとして記録媒体２００へ書き込み、処理をＳ４０１へ戻して動画撮像処理を継続する。
【００６７】
図５は、本実施形態において設定される白検出領域と絞り値との関係の例を示す図である。
図５において、白検出領域は、色温度とマゼンタ／グリーンの直交する色度空間における領域として示されている。色度空間において、Ｘ軸は色温度（色評価値Cx[i]）を表わしており、正方向が低色温度側すなわち赤色方向であり、負方向が高色温度側すなわち青色方向である。また、Ｙ軸はマゼンタ／グリーンの軸（色評価値Cy[i]）であり、正方向がマゼンタ方向、負方向がグリーン方向を表わしている。
【００６８】
上述したように、白検出領域は、黒体放射軸をもとに、各種光源下の白色物体の色評価値が存在する領域を定義したものである。撮像素子の内部構成やカラーフィルタなどの撮像系と、レンズの構成やコーティング及びフィルタなどの光学系の複合要素によって、カラーフィルタの色ごとの感度は異なるため、色度空間上における白検出領域の位置や大きさが異なってくる。撮像素子に斜めに入射した光が、所定画素のみならず隣接画素にも入射する混色現象が発生している状況では、光線の入射角度に依存して混色の状態も変化する。撮像素子に入射する光の角度、特に光軸に対する最大入射角は絞りの大きさに依存し、絞りが大きい（絞り値またはＦ値が小さい）ほど、撮像素子に対して斜めに入射可能な光線が多くなる。そのため、各色画素の相対的な感度は絞り値に依存し、その結果、白検出領域の色度空間における位置や大きさも、絞り値に依存する。
【００６９】
上述の通り、光線の透過率の高い色の画素に隣接する他の色の画素において、光線の透過率の高い色の波長の感度が上昇し、その結果、光線の透過率の高い色の画素の感度が相対的に低下する。これにより、撮像素子の分光感度特性は混色が存在しない場合と存在する場合とで変化し、混色が存在する場合としない場合とでは画像のカラーバランスが変化する。また、混色が大きくなればカラーバランスの変化も大きくなる。従って、本実施形態では、混色によるカラーバランスの変化を補正するような白検出領域を設定して上述のホワイトバランス処理を行うことにより、撮像画像における混色を簡便かつ効果的に補正する。具体的には、Ｓ４０５で取得した目標の絞り値に応じて、撮像画像のホワイトバランス処理に用いる白検出領域を動的に設定する。
【００７０】
図５には、Ｆ２．０時の白検出領域と、Ｆ８．０時の白検出領域の例を示している。Ｆ２．０時とＦ８．０時では、カラーフィルタを構成する赤、青、緑のフィルタの透過率と透過波長の違いから、Ｆ２．０時は混色が大きく、青方向の感度が向上し、緑方向の感度低下が発生する。そのため、光検出領域が高色温度方向に延び、またマゼンタ方向（マゼンタより）に位置している。一方、Ｆ８．０時はＦ２．０時と比較して斜め光線の入射が減少し、混色の発生が抑えられることから、マゼンタ／グリーン方向の感度が大幅に変わり、同時に青方向の感度が少し変化する。
【００７１】
具体的には、混色により分光感度特性が変化するので、白検出領域の元となる黒体放射軸の位置が、絞り値によって変化する。従って、白検出領域の位置は、絞り値に応じた黒体放射軸の位置に応じて設定する。また、混色が大きい場合には、緑のカラーフィルタを通過してから隣接する青又は赤の画素に入射する混色が相対的に大きくなるため、グリーンの波長付近の色評価値が正しくない可能性が高い。従って、絞り値が小さく、混色が大きい場合には、グリーン成分が白検出範囲に含まれる割合を混色が小さい場合よりも少なくした大きさの検出領域を小さく設定する。
【００７２】
絞り値に応じたホワイトバランスの変化量は、白検出領域の重心の移動ベクトルから簡易的に求めることができる。この変化量は、例えば、太陽光や電球など、プリセットホワイトバランスと呼ばれる固定値のホワイトバランスを有する光源について、絞り値に応じたホワイトバランスの変化量を補正するために用いることが可能である。
【００７３】
本実施形態では、処理を簡易化するため、絞り開放の状態においてＦ２．０用の白検出領域を使用し、Ｆ８．０以上の小絞りにおいてＦ８．０用の白検出領域を使用するものとする。また、開放と小絞りの間の絞り値（Ｆ４．０やＦ５．６など）に対する白検出領域を予め用意しておいてもよいが、線形補間や一次変換などの方法を用いて、Ｆ２．０用とＦ８．０用の検出領域から求めてもよい。なお、撮像装置１００がレンズ交換可能である場合、レンズの口径などによっても混色の特性は変化するため、レンズに対応した白検出領域の情報を複数の絞り値について記憶しておくこともできる。
【００７４】
図６はＳ４０６で行うホワイトバランス係数の補正する動作を説明するためのフローチャートである。
Ｓ５０１でシステム制御部５０は、現在使用しているホワイトバランス係数と、当該ホワイトバランス係数を求める際に使用した絞り値（現在の絞り値）を取得する。
【００７５】
Ｓ５０３でシステム制御部５０は、不揮発性メモリ５６に記憶されている、白検出領域を規定する情報を取得する。
本実施形態では、シャッター１２に設定可能な絞り値のうち、Ｆ２．０とＦ８．０に対応する白検出領域を規定する情報（および対応する重心位置）のみが不揮発性メモリ５６に記憶されている。そして、Ｓ５０３でシステム制御部５０は、Ｆ２．０とＦ８．０用の白検出領域を規定する情報を不揮発性メモリ５６から読み出し、メモリ３０に格納する。
【００７６】
Ｓ５０４でシステム制御部５０は、現在の絞り値に対応する白検出領域と、目標の絞り値に対応する白検出領域とを求める。現在の絞り値がＦ２．０とＦ８．０の間の値であれば、システム制御部５０は対応する白検出領域をＦ２．０用とＦ８．０用の白検出領域を規定する情報から補間計算によって求める。目標の絞り値がＦ２．０とＦ８．０の間の値である場合もシステム制御部５０は同様にして対応する白検出領域を求める。そして、システム制御部５０は、補間計算で求めた夫々の白検出領域の情報はメモリ３０に格納する。なお、現在の絞り値と目標の絞り値のうち、Ｆ２．０またはＦ８．０のものがあれば、それについては補間演算の必要がないことはいうまでもない。
【００７７】
Ｓ５０５でシステム制御部５０は、現在の絞り値に対応する白検出範囲の重心と、目標の絞り値とに対応する白検出領域の重心を計算する。重心は、色度空間における座標として求める。設計値として予め検出領域の重心が求めてある場合には、不揮発性メモリ５６には重心位置も同時に記憶されているため、再計算は不要である。
【００７８】
Ｓ５０６でシステム制御部５０は、現在の絞り値と、目標の絞り値とに対応する白検出領域の重心の移動ベクトルを求める。そして、システム制御部５０は、重心の色温度方向及びマゼンタ／グリーン方向の移動量をもとに、現在のホワイトバランス係数を補正する。具体的には、システム制御部５０は目標の絞り値に対応した白検出領域で検出される白色画素が白色に補正されるようにホワイトバランス係数を補正する。システム制御部５０は、補正後のホワイトバランス係数を、色評価値に基づくホワイトバランス係数が算出されるまでの間に用いる予測ホワイトバランス係数として画像処理部２０に設定するとともにメモリ３０に記憶する。
【００７９】
予測ホワイトバランス係数は、現在の絞り値に対応する白検出範囲の重心位置と、目標の絞り値に対応する白検出範囲の重心位置との変化量（移動量）に基づいて現在のホワイトバランス係数を計算により補正することで求めることができる。従って、上述した積分処理に基づくホワイトバランス係数の取り直し処理で得られるホワイトバランス係数とは異なり、変更後の（目標の）絞り値で撮像された最初の画像に対する現像処理から用いることができる。予測ホワイトバランス係数の精度は取り直したホワイトバランス係数より低いが、絞り値の変化による混色の影響を補正する効果はある。そのため、絞り値が変更された後で撮像された画像から取得したホワイトバランス係数が得られるまでの間、予測ホワイトバランス係数を用いて現像処理を行うことで、色被りの影響を抑制することができる。
【００８０】
図７は本実施形態の撮像装置１００における、映像信号の画像処理と絞り制御との処理タイミングの例を示すタイミングチャートである。
図７においてＶＤは垂直同期信号を表わしており、露光や読み出しのタイミングの基準として用いられ、垂直同期信号の周期をＶＤ期間と称することがある。露光動作(1)によって撮像素子１４に蓄積された電荷（映像信号）は、次のＶＤ期間に読み出される。読み出しと同時にＡ／Ｄ変換された映像信号(1)は、読み出し開始から少し遅れて、読み出し動作と並行して現像処理(1)される。現像処理によって生成された表示用の画像データ(1)は、さらに次のＶＤ期間に表示される。
【００８１】
映像信号の読み出しが終わるとＷＢ積分(1)が実行され、ＷＢ積分(1)が完了すると、ＷＢ演算処理(1)が実行され、ＷＢ係数が画像処理部２０に設定される。ここで設定されたＷＢ係数は、画像処理部２０によって次の現像処理を実行するときに適用される。
【００８２】
図７の例では、ＷＢ演算(1)が完了した時点ですでに次のフレームの映像信号(2)の現像処理(2)が開始されているため、ＷＢ演算(1)で求めたＷＢ係数を映像信号(2)の現像処理に反映することはできない。ＷＢ演算(1)で求めたＷＢ係数は、映像信号(3)の現像処理に反映される。つまり、ＷＢ積分処理とＷＢ演算処理によってホワイトバランスを取り直す処理には２ＶＤ期間を要する。
【００８３】
一方、絞り値の制御は、垂直同期期間の開始直後に絞りの駆動が開始され、直後の露光動作(1)には、制御後の絞り値が反映される。従って、絞り値が変更された直後に撮像された画像から、絞りの開口径が変化することによる混色の状態変化が影響する。
【００８４】
本実施形態では、図６を用いて説明したように、測光処理結果によって絞り値を変更する場合には目標の絞り値を取得し、現在のＷＢ係数を補正することにより目標の絞り値に対応した予測ＷＢ係数を算出して画像処理部２０に設定する。この補正処理には映像信号の積分処理も積分値に基づく演算処理も不要であるため、絞り値の変更が反映された撮像処理(1)で得られた映像信号(1)の現像処理(1)に適用することができる。
【００８５】
本実施形態によれば、絞り値を変更してからＷＢ係数が再度得られるまでの期間に撮像された映像信号に対しては、現在のＷＢ係数を目標絞り値に応じて補正した予測ＷＢ係数を用いて現像処理することで混色補正を実現する。また、絞り値が変更されると、変更後の絞り値で撮像された画像からのＷＢ係数取得処理も行い、取得され次第そのＷＢ係数を用いるので、その後はより精度の高い混色補正が可能になる。
【００８６】
以上説明したように、本実施形態によれば、絞り値に依存した混色が発生している状況において、動画撮影中に絞り値が変更された場合には、ホワイトバランス係数の再取得を行う。また、再取得が完了するまでの間は、絞り値の変化に応じて現在のホワイトバランス係数を補正した予測ホワイトバランス係数を用いる。そのため、絞り値が変更されてからホワイトバランス係数の再取得が完了するまでに撮像された画像に対しても混色を補正することができる。
【００８７】
なお、本実施形態においては、動画記録中の絞り制御に伴う混色の色被りを抑える方法について説明したが、当該方法の適用は動画記録中に限定されるものではなく、動画および静止画撮像の待機状態でおこなわれるＥＶＦ用の動画撮像に適用してもよい。つまり、絞りの制御に応じたホワイトバランス制御が必要な場合について適用可能である。
【００８８】
（変形例）
上述の実施形態では、目標の絞り値が決定された場合、直ちに目標の絞り値への変更が行われるものであった。しかし、絞り値の変化を滑らかにする場合や、例えば１ＶＤ期間での絞り値の最大変化量に制限がある場合など、目標の絞り値への変更が段階的に行われる場合も考えられる。
この場合、予測ホワイトバランス係数の算出は、各ＶＤ期間の開始時点で段階的に行い、ホワイトバランス係数の再取得動作は、目標の絞り値での撮像が開始してから開始するように構成することができる。
【００８９】
例えば、現在の絞り値がＦ２．０であり、目標の絞り値がＦ８．０であり、１ＶＤ期間での絞り値の最大変化量が１段である場合、最初のＶＤ期間の露光前にＦ２．０からＦ４．０への変更を行う。そして、Ｆ４．０に対する予測ホワイトバランス係数を求めて、Ｆ４．０で撮像された動画像のフレーム画像に対して適用する。次のＶＤ期間の露光前にＦ４．０からＦ８．０への変更を行い、Ｆ８．０に対する予測ホワイトバランス係数を求めて、Ｆ８．０で撮像された動画像のフレーム画像に対して適用する。また、Ｆ８．０で撮像された動画像のフレーム画像に対してホワイトバランス係数の再取得処理を開始させる。
一方、上記実施形態どおりに予測をしたとして、ホワイトバランス係数の再取得が可能なタイミングにおいても係数の切り替わりをできるだけ滑らかにしたいことがある。この場合、上記タイミングの後である所定の期間は、予測ホワイトバランス係数と再取得したホワイトバランス係数を重み付けした係数を用いて徐々に再取得したホワイトバランス係数に近づけるようにしても良い。
【００９０】
以上、特定の実施形態について本発明を説明したが、上述の実施形態は本発明の理解を助けるための例示を目的としたものであり、本発明を限定するものではない。当業者は本発明の範囲内で上述の実施形態に対して様々な変更を適用しうる。
【００９１】
例えば、上述の実施形態では本発明に係る画像処理装置を撮像装置に適用した場合について説明したが、撮像、記録機能は本発明に必須でない。カラーフィルタを備える撮像素子で撮像された画像を処理する機能を有する任意の機器において本発明を実施することが可能である。例えば、携帯電話機やＰＤＡ(Personal Digital Assistant)、あるいはその他のカメラ機能を備えた様々な情報機器はもちろん、撮像画像データを読み込んで処理可能な情報処理装置に対しても本発明を適用することができる。
【００９２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005576706.tif 000002
【図２】
0005576706.tif 000003
【図３】
0005576706.tif 000004
【図４】
0005576706.tif 000005
【図５】
0005576706.tif 000006
【図６】
0005576706.tif 000007
【図７】
0005576706.tif 000008