(57)【要約】【課題】画像信号処理の対象となるブロックを、混色の発生を抑えるために細かく分割しても処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置を提供すること。【解決手段】撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割手段と、第１ブロックをさらにＭ個の第２ブロックに分割する第２分割手段と、演算対象の第２ブロックをフレーム毎に変化させる位置変更手段と、位置変更手段が変化させた第２ブロックに対する演算処理をフレーム毎に実行する演算手段と、演算手段の演算結果を用いて画像信号の光源を推定する光源推定手段と、を備える撮像装置が提供される。【選択図】図１
2010119050.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割手段と、
前記第１ブロックをさらにＭ個の第２ブロックに分割する第２分割手段と、
演算対象の前記第２ブロックをフレーム毎に変化させる位置変更手段と、
前記位置変更手段が変化させた前記第２ブロックに対する演算処理をフレーム毎に実行する演算手段と、
前記演算手段の演算結果を用いて前記画像信号の光源を推定する光源推定手段と、
を備える撮像装置。
【請求項２】
前記光源推定手段の光源推定結果を少なくともＭフレーム分記憶する記憶手段と、
前記記憶手段で記憶した直近Ｍフレーム分の光源推定結果を用いてホワイトバランスを補正するゲインを算出するゲイン算出手段と、
をさらに備える、請求項１に記載の撮像装置。
【請求項３】
前記ゲイン算出手段は、前記記憶手段で記憶した直近Ｍフレーム分の光源推定結果を加重平均して前記ゲインを算出する、請求項２に記載の撮像装置。
【請求項４】
前記演算手段の演算結果を少なくともＭフレーム分記憶する記憶手段をさらに備え、
前記光源推定手段は、前記記憶手段に記憶された直近Ｍフレーム分の演算結果を用いて前記画像信号の光源を推定する、請求項１に記載の撮像装置。
【請求項５】
撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割ステップと、
前記第１ブロックをさらにＭ個の第２ブロックに分割する第２分割ステップと、
演算対象の前記第２ブロックをフレーム毎に変化させる位置変更ステップと、
前記位置変更ステップで変化させた前記第２ブロックに対して演算処理をフレーム毎に実行する演算ステップと、
前記演算ステップの演算結果を用いて前記画像信号の光源を推定する光源推定ステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラなど、被写体を電子的に撮影する電子的撮像装置においては、照明の光源にかかわらず、白い被写体が白く撮影されるように、ホワイトバランスを補正する画像信号処理（ホワイトバランス補正処理）が、一般的に組み込まれている。ホワイトバランス補正処理は、照明光源によっては、肉眼で観察した被写体像と、撮影された画像との間に色彩上の差異が生じる。この場合に、特に白色の被写体が白く再現されるようにするための補正処理である。例えば、日光などの自然光と、蛍光灯などの人工光とでは、両光源の色温度に相違があり、この結果、撮影された画像の白色再現性に大きな影響を及ぼすこととなる。従って、ホワイトバランス補正処理を施すことにより、撮像装置によって再現される画像に違和感が生じないようにすることができる。
【０００３】
ホワイトバランスの補正は、撮像素子より得られた画像信号を複数のブロックに分割し、分割したブロック毎にＲ（赤色）、Ｇ（緑色）、Ｂ（青色）などの色別積算値を求め、無彩色として制御するか有彩色として処理をするか判断する。そして、無彩色と判断したブロックにおける積算値がＲ＝Ｇ＝Ｂとなるように、ホワイトバランス制御を行うことが一般的である。
【０００４】
ところが、分割したブロックにおいて複数の色が存在することにより混色が発生すると、正しく有彩色・無彩色の判断ができなくなってしまう。そこで、ブロックを細かく分割することで混色の発生を出来るだけ抑えて、ホワイトバランスの判断が正常になされるような技術が開示されている（例えば特許文献１〜４参照）。
【０００５】
【特許文献１】特開２００７−３３６１０７号公報
【特許文献２】特開２００７−２２８５１６号公報
【特許文献３】特開２００６−２１１４４０号公報
【特許文献４】特開２００５−１２７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、混色の発生を抑えるために、画像信号処理の対象となるブロックを細かく分割すると、その分ホワイトバランス制御の処理時間が長くなり、１フレーム内に処理を終えることができないという問題があった。特に、撮像素子から得られる画像を撮像装置に備えられたモニタに逐次表示するライブビュー時においては、ホワイトバランスゲインの算出時間が延びると、実際に眼で見ているシーンと、モニタにライブビュー表示されているシーンとに時間差が発生してしまう。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像信号処理の対象となるブロックを、混色の発生を抑えるために細かく分割しても、処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割手段と、第１ブロックをさらにＭ個の第２ブロックに分割する第２分割手段と、演算対象の第２ブロックをフレーム毎に変化させる位置変更手段と、位置変更手段が変化させた第２ブロックに対する演算処理をフレーム毎に実行する演算手段と、演算手段の演算結果を用いて画像信号の光源を推定する光源推定手段と、を備える撮像装置が提供される。
【０００９】
かかる構成によれば、第１分割手段は撮像素子より得られた画像信号を複数の第１ブロックに分割し、第２分割手段は第１ブロックをさらにＭ個の第２ブロックに分割する。そして、位置変更手段は演算対象の第２ブロックをフレーム毎に変化させ、演算手段は位置変更手段が変化させた第２ブロックに対する演算処理をフレーム毎に実行し、光源推定手段は演算手段の演算結果を用いて画像信号の光源を推定する。その結果、画像信号処理の対象となるブロックを、混色の発生を抑えるために第２ブロックとして細かく分割しても処理負荷を増やさずに画像信号処理が可能となる。
【００１０】
光源推定手段の光源推定結果を少なくともＭフレーム分記憶する記憶手段と、記憶手段で記憶した直近Ｍフレーム分の光源推定結果を用いてホワイトバランスを補正するゲインを算出するゲイン算出手段と、をさらに備えていてもよい。
【００１１】
ゲイン算出手段は、記憶手段で記憶した直近Ｍフレーム分の光源推定結果を加重平均してゲインを算出するようにしてもよい。
【００１２】
演算手段の演算結果を少なくともＭフレーム分記憶する記憶手段をさらに備え、光源推定手段は、記憶手段に記憶された直近Ｍフレーム分の演算結果を用いて画像信号の光源を推定するようにしてもよい。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割ステップと、第１ブロックをさらにＭ個の第２ブロックに分割する第２分割ステップと、演算対象の第２ブロックをフレーム毎に変化させる位置変更ステップと、位置変更ステップで変化させた第２ブロックに対して演算処理をフレーム毎に実行する演算ステップと、演算ステップの演算結果を用いて画像信号の光源を推定する光源推定ステップと、を備える画像処理方法が提供される。
【発明の効果】
【００１４】
以上説明したように本発明によれば、画像信号処理の対象となるブロックを、混色の発生を抑えるために細かく分割しても、処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
まず、本発明の好適な実施の形態について説明する前に、従来技術の問題点について図面を参照しながら説明する。
【００１７】
図７は、従来のホワイトバランス補正処理におけるブロック分割について説明する説明図である。従来のホワイトバランス補正処理は、図７に示したように、ＣＣＤやＣＭＯＳ等の撮像素子より取り出された画像信号を、複数のブロックに分割し、分割したそれぞれのブロックに対し、Ｒ、Ｇ、Ｂ各色の画素の積算値（ΣＲ、ΣＧ、ΣＢ）を算出する。このＲ、Ｇ、Ｂ各色の画素の積算値（ΣＲ、ΣＧ、ΣＢ）を算出すると、ブロック毎に、当該ブロックを無彩色として制御するか、または有彩色として処理をするか等を判断し、適切なホワイトバランスゲイン（Ｋｒ、Ｋｇ、Ｋｂ）を算出するという方法が一般的である。
【００１８】
ここで、分割したブロック内に複数の色が混在する場合には、混色が発生しホワイトバランス補正処理を正しく判断することができなくなる。また、分割するブロックの面積を大きくすると、混色が発生する頻度が高くなる。
【００１９】
図８は、ホワイトバランス補正処理の対象となる、ＣＣＤやＣＭＯＳ等の撮像素子より取り出された画像信号から得られる画像の一例を示す説明図であり、図９は、図８に示した画像が得られる画像信号を横４ブロック×縦３ブロックに分割した場合を示す説明図であり、図１０は、図８に示した画像が得られる画像信号を横１２ブロック×縦９ブロックに分割した場合を示す説明図である。通常のホワイトバランス補正処理においては、画像中の赤い花びらの部分及び緑の葉の部分は光源とは見なされずに有彩色と判断される。しかし、各ブロックでの積算処理時に、ブロック内で赤色と緑色が混在していると、混色が発生し、（赤色と緑色が混ざって）黄色の被写体であると誤判断される。この黄色の被写体が、タングステン光などの光源と同じカラーバランスであった場合、光源色（無彩色）と判断されてしまい、ホワイトバランスを誤って判断してしまう。そこで、混色の発生頻度を減らすために、ブロックの数を多くしてブロックの面積を減らす手法がある。
【００２０】
図１１は、画像信号を横４ブロック×縦３ブロックに分割した場合に、混色によって黄色い被写体であると誤って判断されたブロックの配置を示す説明図であり、図１２は、画像信号を横１２ブロック×縦９ブロックに分割した場合に、混色によって黄色い被写体であると誤って判断されたブロックの配置を示す説明図である。
【００２１】
図１１および図１２に示した場合では、４×３に分割した場合には８３％のブロックが黄色い被写体であると誤判断されたのに対し、１２×９に分割した場合には２８％が黄色い被写体であると誤判断されている。このように、ブロックの数を多くして、１ブロックあたりの面積を小さくすることで混色の発生頻度を抑えることができる。
【００２２】
しかし、ブロックの数を多くすると、１度に処理を行わなければならないデータ数が増え、ホワイトバランスゲインを算出するまでの処理時間が増大してしまい、１フレーム内に処理を終えることができなくなってしまうという問題があった。特に、撮像素子から得られる画像を撮像装置に備えられたモニタに逐次表示するライブビュー時においては、ホワイトバランスゲインの算出時間が延びると、実際に眼で見ているシーンと、モニタにライブビュー表示されているシーンとに時間差が生じてしまう。
【００２３】
そこで、以下で説明する本発明の好適な実施形態においては、混色の発生頻度を抑えるためにブロックの面積を小さくしながらも、処理時間の増大を抑えることを特徴とする撮像装置および画像処理方法について説明する。
【００２４】
まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図１は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。
【００２５】
図１に示したように、本発明の一実施形態に係る撮像装置１００は、ズームレンズ１０２と、絞り１０４と、フォーカスレンズ１０６と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）素子１０８と、アンプ一体型のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路１１０と、Ａ／Ｄ変換器１１２と、画像入力コントローラ１１４と、画像信号処理部１１６と、圧縮処理部１２０と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）ドライバ１２２と、ＬＣＤ１２４と、タイミングジェネレータ１２６と、モータドライバ１４２ａ、１４２ｂ、１４２ｃと、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２８と、操作部１３２と、メモリ１３４と、ＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３６と、メディアコントローラ１３８と、記録メディア１４０とを含む。
【００２６】
ズームレンズ１０２と、絞り１０４と、フォーカスレンズ１０６と、ＣＣＤ素子１０８とで露光部を構成する。本実施形態ではＣＣＤ素子１０８を用いて露光部を構成しているが、本発明は係る例に限定されず、ＣＣＤ素子の代わりにＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を用いてもよい。ＣＭＯＳ素子は、ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像を記録するまでの時間を短縮することができる。
【００２７】
ズームレンズ１０２は、光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り１０４は、画像を撮影する際に、ＣＣＤ素子１０８に入ってくる光量の調節を行う。フォーカスレンズ１０６は、光軸方向に前後して移動させることで被写体のピントを調節するものである。
【００２８】
モータドライバ１４２ａ、１４２ｂ、１４２ｃはズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させるモータの制御を行う。モータドライバ１４２ａ、１４２ｂ、１４２ｃを介してズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させることで、被写体の大きさや光の量、ピントの調節を行う。
【００２９】
ＣＣＤ素子１０８は、ズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。
【００３０】
ＣＤＳ回路１１０は、ＣＣＤ素子１０８から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いて撮像装置１００を構成しているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。
【００３１】
Ａ／Ｄ変換器１１２は、ＣＣＤ素子１０８で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。
【００３２】
画像信号処理部１１６は、Ａ／Ｄ変換器１１２で生成された画像の生データに対する各種信号処理を行う回路である。
【００３３】
圧縮処理部１２０は、画像信号処理部１１６で信号処理が施されたデータを、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。
【００３４】
ＬＣＤ１２４は、撮影操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２４への表示は、ＬＣＤドライバ１２２を介して行われる。
【００３５】
タイミングジェネレータ１２６は、ＣＣＤ素子１０８にタイミング信号を入力する。タイミングジェネレータ１２６からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１２６からのタイミング信号によりＣＣＤ素子１０８の駆動が制御され、ＣＣＤ素子１０８が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。
【００３６】
ＣＰＵ１２８は、ＣＣＤ素子１０８やＣＤＳ回路１１０などに対して信号系の命令を行ったり、操作部１３２の操作に対する操作系の命令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、本発明においては、信号系の命令と操作系の命令とを別々のＣＰＵやＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）で行うようにしてもよい。
【００３７】
操作部１３２は、撮影モード選択部としての機能を含み、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部１３２に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン、撮影操作を開始するシャッタボタン等が配置される。
【００３８】
メモリ１３４は、撮影した画像や画像信号処理部１１６で信号処理が施された画像を一時的に記憶するものである。メモリ１３４は、複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１４によって制御される。
【００３９】
ＶＲＡＭ１３６は、ＬＣＤ１２４に表示する内容を保持するものであり、ＬＣＤ１２４の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。
【００４０】
記録メディア１４０は、撮影した画像を記録するものである。記録メディア１４０への入出力は、メディアコントローラ１３８によって制御される。記録メディア１４０には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。
【００４１】
以上、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００に含まれる、画像信号処理部１１６の構成について説明する。
【００４２】
図２は、本発明の一実施形態にかかる撮像装置１００に含まれる、画像信号処理部１１６の構成について説明する説明図である。以下、図２を用いて、本発明の一実施形態にかかる撮像装置１００に含まれる、画像信号処理部１１６の構成について説明する。
【００４３】
図２に示したように、本発明の一実施形態にかかる画像信号処理部１１６は、イメージフロントプロセス処理部１５２と、画像評価部１５４と、ホワイトバランスゲイン算出部１５６と、ホワイトバランス補正部１５８と、デモザイク処理部１６０と、色補正処理部１６２と、ガンマ補正処理部１６４と、を含んで構成される。
【００４４】
イメージフロントプロセス処理部１５２は、ＣＣＤ素子１０８で光電変換され、Ａ／Ｄ変換器でデジタル信号に変換された画像信号に対して、欠陥画素補正や黒レベル補正などのイメージフロントプロセス処理を実行するものである。イメージフロントプロセス処理部１５２でイメージフロントプロセス処理が施された画像信号は、画像評価部１５４およびホワイトバランス補正部１５８に送られる。
【００４５】
画像評価部１５４は、イメージフロントプロセス処理部１５２でイメージフロントプロセス処理が施された画像信号に対して、ホワイトバランスゲイン算出部１５６でホワイトバランスを補正するためのホワイトバランスゲインを算出するために、画像評価処理を実行するものである。画像評価部１５４では、イメージフロントプロセス処理が施された画像信号を複数のブロックに分割し、分割したそれぞれのブロックに対してＲＧＢ画素の積算値（ΣＲ、ΣＧ、ΣＢ）を求めたり、ＲＧＢ画素の積算値に基づいて光源を推定したりする。画像評価部１５４の構成については後に詳述する。画像評価部１５４での画像評価処理の結果はホワイトバランスゲイン算出部１５６に送られる。
【００４６】
ホワイトバランスゲイン算出部１５６は、画像評価部１５４での画像評価処理の結果に基づいて、ホワイトバランスゲイン（Ｋｒ、Ｋｇ、Ｋｂ）を算出するものである。ホワイトバランスゲイン算出部１５６で算出されたホワイトバランスゲインはホワイトバランス補正部１５８に送られる。
【００４７】
ホワイトバランス補正部１５８は、イメージフロントプロセス処理部１５２でイメージフロントプロセス処理が施された画像信号に対して、ホワイトバランスゲイン算出部１５６で算出されたホワイトバランスゲインを掛けるものである。ホワイトバランス補正部１５８で、画像信号にホワイトバランスゲインを掛けることで、画像信号に対するホワイトバランス補正処理を実行することができる。ホワイトバランス補正処理が施された画像信号はデモザイク処理部１６０に送られる。
【００４８】
デモザイク処理部１６０は、ホワイトバランス補正処理が施された画像信号に対して色補完処理（デモザイク処理）を施すものである。ホワイトバランス補正処理が施された画像信号に対して、デモザイク処理部１６０でデモザイク処理を施すことでカラー画像を生成することができるが、デモザイク処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。デモザイク処理が施された画像信号は、色補正処理部１６２に送られる。
【００４９】
色補正処理部１６２は、デモザイク処理部１６０で補完処理（デモザイク処理）が施された画像信号に対して色補正処理を施すものである。色補正処理部１６２で色補正処理を施すことで適切なカラー画像を生成することができるが、色補正処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。色補正処理が施された画像信号は、ガンマ補正処理部１６４に送られる。
【００５０】
ガンマ補正処理部１６４は、色補正処理部１６２で色補正処理が施された画像信号に対してガンマ補正処理を施すものである。ガンマ補正処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。ガンマ補正処理が施された画像信号は、圧縮処理部１２０に送られて圧縮処理が施されたり、記録メディア１４０に記録されたり、ＬＣＤ１２４に表示されたりする。
【００５１】
以上、本発明の一実施形態にかかる画像信号処理部１１６の構成について説明した。次に、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明する。
【００５２】
図３は、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明する説明図である。以下、図３を用いて、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明する。
【００５３】
図３に示したように、本発明の一実施形態にかかる画像評価部１５４は、第１ブロック分割部１７２と、第２ブロック分割部１７４と、ブロック位置変更部１７６と、積算処理部１７８と、記憶部１８０と、光源推定部１８２と、を含んで構成される。
【００５４】
第１ブロック分割部１７２は、画像評価部１５４に送られる画像信号を所定のサイズのブロック（大ブロック）に分割するものである。第１ブロック分割部１７２は、画像信号を例えば上述したように、横４ブロック×縦３ブロックに分割してもよく、横１２ブロック×縦９ブロックに分割してもよい。もちろん、分割数はこれらの例に限られないことは言うまでも無い。また、分割する際の大ブロックの形状は、正方形であってもよく、長方形であってもよく、その他の形状であってもよい。
【００５５】
第２ブロック分割部１７４は、第１ブロック分割部１７２が分割した各大ブロックを、さらに所定のサイズのブロック（小ブロック）に分割するものである。例えば、第１ブロック分割部１７２で、画像信号を横４ブロック×縦３ブロックの大ブロックに分割し、さらにそれぞれの大ブロックに対して、第２ブロック分割部１７４において横３ブロック×縦３ブロックの小ブロックに分割する。もちろん、分割数はかかる例に限られないことは言うまでも無い。また、分割する際の小ブロックの形状は、正方形であってもよく、長方形であってもよく、その他の形状であってもよい。なお、以下の説明においては、１つの大ブロックを横３ブロック×縦３ブロックの９つの小ブロックに分割したものとして説明する。
【００５６】
図４は、第２ブロック分割部１７４において、１つの大ブロックを横３ブロック×縦３ブロックの小ブロックに分割した場合について示す説明図である。図４では、説明の便宜上、小ブロックにＡ〜Ｉのアルファベットを付して示している。
【００５７】
ブロック位置変更部１７６は、後述の積算処理部１７８の処理対象の小ブロックを、フレームごとに変更するものである。例えば、第２ブロック分割部１７４で１つの大ブロックを図４のように横３ブロック×縦３ブロックの９つの小ブロックに分割すると、ブロック位置変更部１７６は、フレーム毎にＡ〜Ｉの小ブロックから１つの小ブロックをサイクリックに選択する。
【００５８】
図５は、ブロック位置変更部１７６におけるブロック位置の変更処理を説明する説明図である。図５では、第２ブロック分割部１７４で分割したＡ〜Ｉの小ブロックから、処理対象の小ブロックをフレーム毎に、変化させている例を示している。なお、図５では、小ブロックを、Ａ→Ｅ→Ｇ→Ｃ→Ｈ→Ｆ→Ｂ→Ｄ→Ｉ→Ａ→・・・、の順に変化させている場合について示している。もちろん、順番は図５に示したものに限られないことは言うまでも無い。また、本実施形態では、ブロック位置変更部１７６は小フレームをサイクリックに変化させているが、本発明では積算処理部１７８の処理対象となる小ブロックをランダムに変更してもよい。
【００５９】
積算処理部１７８は、ブロック位置変更部１７６によって指定された小ブロックに含まれているＲ、Ｇ、Ｂそれぞれの色の画素に対して、ホワイトバランスゲインを求めるためのＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを求めるものである。ＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを求めることで、当該小ブロックにおける彩色を判定することができる。積算処理部１７８において求められたＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢや、当該小ブロックにおける彩色の判定結果は、記憶部１８０に一時的に記憶しても良い。そして、積算処理部１７８において求められたＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢは、光源推定部１８２に送られて、光源推定部１８２における光源推定処理に用いられる。
【００６０】
光源推定部１８２は、積算処理部１７８で求められたＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを用いて、光源を推定する光源推定処理を実行するものである。光源推定部１８２における光源推定処理の結果は記憶部１８０に一時的に記憶しても良い。光源推定部１８２における光源推定処理の結果は、ホワイトバランスゲイン算出部１５６に送られて、ホワイトバランスゲインの算出に用いられる。
【００６１】
なお、本実施形態では、光源推定部１８２を画像評価部１５４に含めた構成について説明したが、本発明はかかる例に限定されないことは言うまでも無い。例えば、光源推定部１８２の機能をホワイトバランスゲイン算出部１５６に含めるようにしてもよい。
【００６２】
以上、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明した。次に、本発明の一実施形態にかかる画像処理方法について説明する。
【００６３】
図６は、本発明の一実施形態にかかる画像処理方法について説明する流れ図である。図６は、撮像装置１００がＣＣＤ素子１０８で得た画像信号をＬＣＤ１２４にライブビュー表示する場合について示したものである。以下、図６を用いて本発明の一実施形態にかかる画像処理方法について説明する。
【００６４】
まず、ブロック位置変更部１７６において、ホワイトバランスの評価対象となる小ブロックを選択する（ステップＳ１０２）。上述したように、ブロック位置変更部１７６が選択するホワイトバランスの評価対象となる小ブロックは、１フレーム毎に変化させる。
【００６５】
上記ステップＳ１０２で、ブロック位置変更部１７６がホワイトバランスの評価対象となる小ブロックを選択すると、当該小ブロックにおけるＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを積算処理部１７８で算出する（ステップＳ１０４）。ステップＳ１０４でＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを積算処理部１７８で算出すると、次に、光源推定部１８２において、ＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを用いて、当該小ブロックの彩色を判定する（ステップＳ１０６）。
【００６６】
上記ステップＳ１０６において、ＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを用いて、当該小ブロックの彩色を光源推定部１８２で判定すると、続いて、当該小ブロックの彩色判定結果を用いて、当該小ブロックの光源を光源推定部１８２で推定し、当該小ブロックが有彩色であるか無彩色であるかを判断する（ステップＳ１０８）。有彩色であるか無彩色であるかの情報は、２値であってもよいし、３段階以上の値であってもよい。そして、ステップＳ１０８で当該小ブロックの光源を光源推定部１８２で推定すると、推定結果を記憶部１８０に記憶する（ステップＳ１１０）。
【００６７】
上記ステップＳ１１０で、光源の推定結果が記憶部１８０に記憶されると、記憶部１８０に記憶された推定結果を用いて、ホワイトバランスゲインを算出する。まず、ホワイトバランスゲイン算出部１５６は、記憶部１８０に記憶された直近のフレームにおける推定結果を読み出す（ステップＳ１１２）。本実施形態では、１つの大ブロックを９つの小ブロックに分割しているので、ステップＳ１１２では、ホワイトバランスゲイン算出部１６は、直近９フレーム分の推定結果を記憶部１８０から読み出す。
【００６８】
上記ステップＳ１１２で、記憶部１８０に記憶された直近のフレームにおける推定結果を読み出すと、ホワイトバランスゲイン算出部１５６は、読み出した推定結果を加重平均する（ステップＳ１１４）。ここでは、加重平均の一例を説明する。評価フレームをｆ、各フレームで無彩色として扱うブロックの数をｎ、無彩色として扱うブロックのＲＧＢ積算値をｒ、ｇ、ｂとすると、９フレーム分のカラーバランスＣｒ、Ｃｇ、Ｃｂは、以下の数式１で求めることができる。
【００６９】
【数１】
2010119050.tif 000003
【００７０】
上記数式１のように９フレーム分のカラーバランスＣｒ、Ｃｇ、Ｃｂを求めると、続いてホワイトバランスゲイン算出部１５６は、求めたカラーバランスＣｒ、Ｃｇ、Ｃｂを用いて、画像信号に対するホワイトバランスゲインを算出する（ステップＳ１１６）。ホワイトバランスゲインＫｒ、Ｋｇ、Ｋｂは、以下の数式２で求めることができる。
【００７１】
【数２】
2010119050.tif 000004
【００７２】
なお、上記数式２は、カラーバランスＣｒ、Ｃｇ、Ｃｂの中でＣｇの値が最も大きい場合の算出式であり、その他の色の値が大きい場合にはその色のホワイトバランスゲインが１となるように上記数式を適宜変更する。
【００７３】
上記ステップＳ１１６でホワイトバランスゲインを算出すると、上記ステップＳ１０２に戻り、ブロック位置変更部１７６において、ホワイトバランスの評価対象となる小ブロックを選択する。
【００７４】
このように、複数フレームにまたがって、位置が異なるブロックに対する信号処理を実行する事で、１フレームあたりの処理負荷を増加させることなく、より小さいブロック分割が行うことが可能となり、混色発生を抑制することができる。
【００７５】
なお、上述したホワイトバランスゲインの算出方法は、本発明の画像処理方法の一例であり、本発明においてはかかる例に限定されないことは言うまでも無い。例えば、上記ステップＳ１０８における判定処理の結果、有彩色と判定された小ブロックには、予め求めておいた基準のゲインを適用する処理を実行しても良い。また例えば、上記数式１では、単純に９フレーム分のＲＧＢ積算値を加算して平均をとる加重平均によってカラーバランスＣｒ、Ｃｇ、Ｃｂを求めていたが、本発明はかかる例に限定されず、例えば、過去のフレームは値が小さく、直近のフレームになるに連れて値が大きくなるような重みをＲＧＢ積算値に掛け合わせる重み付き加重平均によってカラーバランスＣｒ、Ｃｇ、Ｃｂを求めても良い。この場合、重みは２次関数的に大きくなるようなものであってもよい。
【００７６】
以上説明したように本発明の一実施形態によれば、ホワイトバランスを補正するために、画像信号を複数の大ブロックに分割し、大ブロックをさらに複数の小ブロックに分割する。そして、分割した小ブロックのそれぞれに対して光源を推定するが、その際には１フレームずつ処理対象の小ブロックを変化させる。そして、１つの大ブロックに含まれる全ての小ブロックに対する光源推定結果を用いてホワイトバランスゲインを算出する。このようにホワイトバランスゲインを算出することで、ブロックを小さくすることによる混色の発生頻度の低減と、処理負荷の増大の防止という２つの効果をもたらすことができる。
【００７７】
なお、上述した撮像装置１００の動作は、撮像装置１００の内部にコンピュータプログラムを記憶させ、当該コンピュータプログラムをＣＰＵ１２８が読み出して順次実行することによってなされるようにしてもよい。
【００７８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００７９】
本発明は、撮像装置及び画像処理方法に適用可能であり、特に被写体を電子的に撮影する電子的撮像装置及び電子的撮像装置を用いた及び画像処理方法に適用可能である。
【図面の簡単な説明】
【００８０】
【図１】本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。
【図２】画像信号処理部１１６の構成について説明する説明図である。
【図３】画像評価部１５４の構成について説明する説明図である。
【図４】１つの大ブロックを横３ブロック×縦３ブロックの小ブロックに分割した場合について示す説明図である。
【図５】ブロック位置変更部１７６におけるブロック位置の変更処理を説明する説明図である。
【図６】本発明の一実施形態にかかる画像処理方法について説明する流れ図である。
【図７】従来のホワイトバランス補正処理におけるブロック分割について説明する説明図である。
【図８】ホワイトバランス補正処理の対象となる、ＣＣＤやＣＭＯＳ等の撮像素子より取り出された画像信号から得られる画像の一例を示す説明図である。
【図９】図８に示した画像が得られる画像信号を横４ブロック×縦３ブロックに分割した場合を示す説明図である。
【図１０】図８に示した画像が得られる画像信号を横１２ブロック×縦９ブロックに分割した場合を示す説明図である。
【図１１】画像信号を横４ブロック×縦３ブロックに分割した場合の混色の発生の一例を示す説明図である。
【図１２】画像信号を横１２ブロック×縦９ブロックに分割した場合の混色の発生の一例を示す説明図である。
【符号の説明】
【００８１】
１００    撮像装置
１０２    ズームレンズ
１０４    絞り
１０６    フォーカスレンズ
１０８    ＣＣＤ素子
１１０    ＣＤＳ回路
１１２    Ａ／Ｄ変換器
１１４    画像入力コントローラ
１１６    画像信号処理部
１２０    圧縮処理部
１２２    ＬＣＤドライバ
１２４    ＬＣＤ
１２６    タイミングジェネレータ
１２８    ＣＰＵ
１３２    操作部
１３４    メモリ
１３８    メディアコントローラ
１４０    記録メディア
１４２ａ、１４２ｂ、１４２ｃ    モータドライバ
１５２    イメージフロントプロセス処理部
１５４    画像評価部
１５６    ホワイトバランスゲイン算出部
１５８    ホワイトバランス補正部
１６０    デモザイク処理部
１６２    色補正処理部
１６４    ガンマ補正処理部
１７２    第１ブロック分割部
１７４    第２ブロック分割部
１７６    ブロック位置変更部
１７８    積算処理部
１８０    記憶部
１８２    光源推定部
【図１】
2010119050.tif 000005
【図２】
2010119050.tif 000006
【図３】
2010119050.tif 000007
【図４】
2010119050.tif 000008
【図５】
2010119050.tif 000009
【図６】
2010119050.tif 000010
【図７】
2010119050.tif 000011
【図８】
2010119050.tif 000012
【図９】
2010119050.tif 000013
【図１０】
2010119050.tif 000014
【図１１】
2010119050.tif 000015
【図１２】
2010119050.tif 000016