(57)【要約】【課題】  低コストでかつ、高速で撮影画像の色バランスを適正化することができる技術を提供する。【解決手段】  ＣＣＤ１１が、第１の画像データを取得するとともに、その後第２の画像データを取得する際に、まず、ＡＷＢ設定部３７で、第１の画像データに基づいて、各色成分に対応するホワイトバランス（ＷＢ）ゲインを算出する。そして、ＣＣＤ１１における特定色成分の飽和レベルとＷＢゲインとに基づいて、各色成分に対応する上限値を設定する。更に、第２の画像データに係る各色成分の画素値のうち、各色成分に対応する上限値を超える値を、当該各色成分に対応する所定の閾値に変更することにより、第２の画像データに基づいて変更後画像データを生成する。次に、ＡＷＢ設定部３７で、変更後画像データに基づいて算出されるＷＢゲインに基づいて画像データに対するＷＢ補正処理を行う。【選択図】        図１
2005064853.tif 000002
【特許請求の範囲】
【請求項１】
被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置であって、
前記第１の画像データに基づいて、前記第２の画像データの各色成分に対する所定の閾値をそれぞれ設定する設定手段と、
前記第２の画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記第２の画像データに基づいて、変更後画像データを生成する生成手段と、
前記変更後画像データに基づいて、変更後色バランス補正値を算出する算出手段と、
を備え、
前記補正手段が、
前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記算出手段が、
前記第１の画像データに基づいて、変更前色バランス補正値を算出し、
前記設定手段が、
前記変更前色バランス補正値に基づいて、前記各色成分に対応する前記所定の閾値をそれぞれ設定することを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置であって、
前記設定手段が、
前記撮像手段における特定色成分の飽和レベルに基づいて、前記各色成分に対応する前記所定の閾値をそれぞれ設定することを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれかに記載の撮像装置であって、
前記撮像手段によって順次取得される画像データに基づいて、順次露出制御値を変更する露出制御手段、
を備えることを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれかに記載の撮像装置であって、
前記生成手段によって生成された前記変更後画像データに対して画素補間処理を行うことで、カラー画像データを生成する画素補間手段、
を備えることを特徴とする撮像装置。
【請求項６】
請求項１から請求項４のいずれかに記載の撮像装置であって、
前記生成手段が、
画素補間処理が施された前記第２の画像データに基づいて、前記変更後画像データを生成することを特徴とする撮像装置。
【請求項７】
被写体に係る光学像に基づいて画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置であって、
前記画像データに係る各色成分の画素値に基づいて、前記画像データの各色成分に対する所定の閾値をそれぞれ設定する設定手段と、
前記画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記画像データに基づいて変更後画像データを生成する生成手段と、
前記変更後画像データに基づいて、変更後色バランス補正値を算出する算出手段と、
を備え、
前記補正手段が、
前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うことを特徴とする撮像装置。
【請求項８】
撮像装置に含まれるコンピュータによって実行されることにより、前記撮像装置を、請求項１から請求項７のいずれかに記載の画像処理装置として機能させるプログラム。
【請求項９】
被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置における色バランス補正方法であって、
(a)  前記第１の画像データに基づいて、前記第２の画像データの各色成分に対する所定の閾値をそれぞれ設定するステップと、
(b)  前記第２の画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記第２の画像データに基づいて、変更後画像データを生成するステップと、
(c)  前記変更後画像データに基づいて、変更後色バランス補正値を算出するステップと、
(d)  前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うステップと、
を備えることを特徴とする色バランス補正方法。
【請求項１０】
被写体に係る光学像に基づいて画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置における色バランス補正方法であって、
(e)  前記画像データに係る各色成分の画素値に基づいて、前記画像データの各色成分に対する所定の閾値をそれぞれ設定するステップと、
(f)  前記画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記画像データに基づいて変更後画像データを生成するステップと、
(g)  前記変更後画像データに基づいて、変更後色バランス補正値を算出するステップと、
(h)  前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うステップと、
を備えることを特徴とする色バランス補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の色バランスの補正技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラでは、ＲＧＢ（レッド、グリーン、ブルー）の色フィルタを市松模様に配列した撮像素子などが用いられる。この撮像素子では、被写体に係る光学像を光電変換することで生じる信号電荷を画像信号として出力する。そして、一般的に、画像信号に基づく撮影画像の色バランスを適正なものとするために、画像信号における各色成分の画素値に対して適正なゲインを乗じる色バランス補正を行う。
【０００３】
このようなデジタルカメラでは、ＲＧＢのうち、特定色成分の輝度が高いシーンを撮影する際に、その特定色成分について、撮像素子の電荷蓄積容量を超える信号電荷が光電変換によって生じる。このとき、撮像素子の電荷蓄積容量を超える信号電荷は撮像素子の基板などに排出され、得られる画像信号では、実際のシーンと比較して、特定色成分の画素値がその他の色成分の画素値に比べて相対的に低い値となってしまう。そして、色バランス補正において、特定色以外の色成分に対するゲインが低く設定されてしまう。その結果、特定色成分の輝度が、色バランス補正によって、実際のシーンよりも強められてしまうため、撮影画像の色バランスが適正なものとはならない。
【０００４】
このような問題に対して、撮像素子の電荷蓄積容量を超える信号電荷が生じて、取り扱い可能な信号レベルの上限（飽和レベル）に達した画素について、色バランス調整後、画素値が飽和レベルに納まるように、全色成分に対して一律に色バランス調整用の重みを乗じる撮像装置が提案されている（例えば、特許文献１）。
【０００５】
このような技術に関する先行技術文献としては、以下のようなものがある。
【特許文献１】特開２０００−３５４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記撮像装置では、飽和レベルに達した画素の全色成分に対して、一律に色バランス調整用の重みを乗じるために、非常に煩雑なデータ処理が必要となる。特に、動画撮影を行う際には、シーンの変化に対して色バランスが適正化されるまでタイムラグを生じることとなる。また、煩雑なデータ処理を極力短時間で行うためには、特別なハードウェア資源などを設ける必要があり、コストアップを招くことにもなる。
【０００７】
本発明は上記課題に鑑みてなされたものであり、低コストでかつ、高速で撮影画像の色バランスを適正化することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１の発明は、被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置であって、前記第１の画像データに基づいて、前記第２の画像データの各色成分に対する所定の閾値をそれぞれ設定する設定手段と、前記第２の画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記第２の画像データに基づいて、変更後画像データを生成する生成手段と、前記変更後画像データに基づいて、変更後色バランス補正値を算出する算出手段とを備え、前記補正手段が、前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うことを特徴とする。
【０００９】
また、請求項２の発明は、請求項１に記載の撮像装置であって、前記算出手段が、前記第１の画像データに基づいて、変更前色バランス補正値を算出し、前記設定手段が、前記変更前色バランス補正値に基づいて、前記各色成分に対応する前記所定の閾値をそれぞれ設定することを特徴とする。
【００１０】
また、請求項３の発明は、請求項１または請求項２に記載の撮像装置であって、前記設定手段が、前記撮像手段における特定色成分の飽和レベルに基づいて、前記各色成分に対応する前記所定の閾値をそれぞれ設定することを特徴とする。
【００１１】
また、請求項４の発明は、請求項１から請求項３のいずれかに記載の撮像装置であって、前記撮像手段によって順次取得される画像データに基づいて、順次露出制御値を変更する露出制御手段を備えることを特徴とする。
【００１２】
また、請求項５の発明は、請求項１から請求項４のいずれかに記載の撮像装置であって、前記生成手段によって生成された前記変更後画像データに対して画素補間処理を行うことで、カラー画像データを生成する画素補間手段を備えることを特徴とする。
【００１３】
また、請求項６の発明は、請求項１から請求項４のいずれかに記載の撮像装置であって、前記生成手段が、画素補間処理が施された前記第２の画像データに基づいて、前記変更後画像データを生成することを特徴とする。
【００１４】
また、請求項７の発明は、被写体に係る光学像に基づいて画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置であって、前記画像データに係る各色成分の画素値に基づいて、前記画像データの各色成分に対する所定の閾値をそれぞれ設定する設定手段と、前記画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記画像データに基づいて変更後画像データを生成する生成手段と、前記変更後画像データに基づいて、変更後色バランス補正値を算出する算出手段とを備え、前記補正手段が、前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うことを特徴とする。
【００１５】
また、請求項８の発明は、撮像装置に含まれるコンピュータによって実行されることにより、前記撮像装置を、請求項１から請求項７のいずれかに記載の画像処理装置として機能させるプログラムである。
【００１６】
また、請求項９の発明は、被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置における色バランス補正方法であって、(a)前記第１の画像データに基づいて、前記第２の画像データの各色成分に対する所定の閾値をそれぞれ設定するステップと、(b)前記第２の画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記第２の画像データに基づいて、変更後画像データを生成するステップと、(c)前記変更後画像データに基づいて、変更後色バランス補正値を算出するステップと、(d)前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うステップとを備えることを特徴とする。
【００１７】
また、請求項１０の発明は、被写体に係る光学像に基づいて画像データを取得する撮像手段と、色バランス補正用の色バランス補正値に基づいて画像データに対して色バランス補正を行う補正手段とを有する撮像装置における色バランス補正方法であって、(e)前記画像データに係る各色成分の画素値に基づいて、前記画像データの各色成分に対する所定の閾値をそれぞれ設定するステップと、(f)前記画像データに係る各色成分の画素値のうち、前記各色成分に対応する前記所定の閾値を超える値を、当該各色成分に対応する前記所定の閾値に変更することにより、前記画像データに基づいて変更後画像データを生成するステップと、(g)前記変更後画像データに基づいて、変更後色バランス補正値を算出するステップと、(h)前記撮像手段によって取得される画像データに対し、前記変更後色バランス補正値に基づいて、色バランス補正を行うステップとを備えることを特徴とする。
【発明の効果】
【００１８】
請求項１に記載の発明によれば、被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得しつつ、第１の画像データに基づいて、各色成分に対する所定の閾値をそれぞれ設定し、第２の画像データに係る各色成分の画素値のうち、各色成分に対応する所定の閾値を超える値を、当該各色成分に対応する所定の閾値に変更することにより、第２の画像データに基づいて、変更後画像データを生成し、当該変更後画像データに基づいて算出される色バランス補正値に基づいて画像データに対する色バランス補正を行うことで、低コストでかつ、高速で撮影画像の色バランスを適正化することができる。
【００１９】
また、請求項２に記載の発明によれば、第１の画像データに基づいて算出される色バランス補正値に基づいて、各色成分に対応する所定の閾値を設定するため、簡便かつ、より高速で色バランスの適正化を図ることができる。
【００２０】
また、請求項３に記載の発明によれば、撮像手段における特定色成分の飽和レベルに基づいて、各色成分に対応する所定の閾値を設定することで、切り捨てられるデータを極力少なくすることができるため、撮影画像の色バランスをより適正化することができる。
【００２１】
また、請求項４に記載の発明によれば、順次、画像データに基づいて露出制御を行うことで、撮影画像における色バランスのずれの低減と、データ処理の高速化とを図ることができる。
【００２２】
また、請求項５に記載の発明によれば、各色成分に対応する所定の閾値に基づいて変更された画像データに対して画素補間処理を行うことで、カラー画像データを生成するような構成とすることにより、汎用の撮像装置の構成に対して、画素値が変更された画像データを生成する回路を簡単に付加することができ、その結果、設計の簡略化や低コスト化に資することができる。
【００２３】
また、請求項６に記載の発明によれば、画素補間処理後に、所定の閾値に基づいて画素値を変更することで画像データを生成するような構成とすることにより、所定の閾値に基づいて画素値を変更して画像データを生成する回路の構成をより簡略化することができ、その結果、低コスト化に資することができる。
【００２４】
また、請求項７に記載の発明によれば、画像データに係る各色成分の画素値に基づいて、各色成分に対する所定の閾値をそれぞれ設定し、画像データに係る各色成分の画素値のうち、各色成分に対応する所定の閾値を超える値を、当該各色成分に対応する所定の閾値に変更することで変更後画像データを生成し、その変更後画像データに基づいて算出された色バランス補正値に基づいて画像データに対する色バランス補正を行うため、低コストでかつ、高速で撮影画像の色バランスを適正化することができる。
【００２５】
また、請求項８に記載の発明によれば、請求項１から請求項７に記載の発明と同様な効果を得ることができる。
【００２６】
また、請求項９に記載の発明によれば、請求項１に記載の発明と同様な効果を得ることができる。
【００２７】
また、請求項１０の発明によれば、請求項７に記載の発明と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態を図面に基づいて説明する。
【００２９】
＜撮像装置の機能構成＞
図１は、本発明の実施形態に係る撮像装置１の主な機能構成を示すブロック図である。
【００３０】
撮像装置１は、主に、被写体に係るデジタル画像データを取得するカメラユニット１０と、最終的に取得される撮影画像データの色バランスが適正となるようにデジタル画像データを処理する飽和抑制部２０と、各種画像処理を行う画像処理ユニット３０と、撮像装置１の各部を統括制御するカメラ制御部４０とを備えたデジタルカメラとして構成される。
【００３１】
カメラユニット１０は、ＣＣＤ撮像素子（以下、「ＣＣＤ」と略称）１１と、ＣＤＳ（相関二重サンプリング）回路１２と、Ａ／Ｄ変換器１３とを備えて構成される。
【００３２】
ＣＣＤ１１が、被写体に係る光学像を、ＣＣＤ１１の受光部１１ａに結像して、光電変換を行うことで、アナログ電気信号（アナログ画像信号）に置き換え、ＣＤＳ回路１２に出力する。ＣＣＤ１１は、動画像を取得する際には、例えば、１／３０秒ごとに画像信号（画像データ）を取得し、出力する。一方、静止画像を取得する際には、記録用の撮影画像（画像データ）を取得する本撮影前に、構図を決めるためのライブビュー用の画像信号を１／３０秒ごとに取得し、出力する。
【００３３】
つまり、ＣＣＤ１１が、被写体に係る光学像に基づいて、画像データを時間的に連続して取得する手段として機能する。なお、動画取得時や、ライブビュー用の画像データの取得を含む静止画像取得時において、ＣＣＤ１１は、時間的に連続して複数フレーム分の画像データを取得する際に、第１の画像データを取得するとともに、その後第２の画像データを取得する。すなわち、ＣＣＤ１１によって、第１の画像データが取得された所定時間後に、第２の画像データが取得される。
【００３４】
図２は、ＣＣＤ１１の受光部１１ａの構成の一部を例示する図である。図２に示すように、受光部１１ａには、Ｒ(赤)、Ｇｒ，Ｇｂ(緑)、Ｂ(青)の原色透過フィルターが市松状に配列され、ＣＣＤ１１が、単板の画素配列を有するエリアセンサとして構成されている。よって、ＣＣＤ１１で取得されるアナログ画像信号（画像データ）は、ＲＧＢの各色成分に対応する画素値によって構成される。
【００３５】
ＣＤＳ回路１２が、リファレンスノイズを除去することにより、アナログ画像信号のノイズを低減し、Ａ／Ｄ変換器１３において、アナログ画像信号を例えば、８ビットのデジタルデータ（ＲＡＷデータ）に変換し、飽和抑制部２０に出力する。つまり、ここでは、各画素について、輝度の高低に対応する０から２５５階調の画素値に変換される。
【００３６】
なお、Ａ／Ｄ変換器１３においては、アナログデータからデジタルデータへの変換（Ａ／Ｄ変換）に先だって、ＡＧＣ（オートゲインコントロール）によって、後述するＡＥ設定部３６で設定されるアナログゲイン（以下、「ＡＧＣゲイン」）に基づいて、アナログ画像信号を増幅する。
【００３７】
飽和抑制部２０は、ＲＡＷデータの各色成分の画素値が、設定された上限値（Ｒ色成分の上限値（Ｒ上限値ｍａｘＲ）、Ｇ色成分の上限値（Ｇ上限値ｍａｘＧ）、Ｂ色成分の上限値（Ｂ上限値ｍａｘＢ））を超えないように、各画素値を抑制する処理（以下、「画素値抑制処理」と称する）を画像データに対して行い、画像処理ユニット３０に出力することで、ＷＢ補正処理を適正化するためのものである。
【００３８】
なお、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢは、ＣＣＤ１１で取得される画像データに基づいて算出されるホワイトバランス（ＷＢ）補正用のゲイン（以下、「ＷＢゲイン」と称する）に基づいて算出・設定されるため、動画撮影開始時やライブビュー用の画像データ取得開始時に取得される初めの一から数フレーム分のＲＡＷデータについては、Ａ／Ｄ変換器１３から入力されるＲＡＷデータをそのままＷＢ補正回路３２やＡＷＢ設定部３７に出力する。上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢの設定、および各画素値の抑制方法については、後程詳述する。
【００３９】
画像処理ユニット３０は、画素補間回路３１、ホワイトバランス（ＷＢ）補正回路３２、画素補正部３３、表色系変換部３４、画像圧縮部３５、自動露光制御（ＡＥ）設定部３６、およびオートホワイトバランス（ＡＷＢ）設定部３７を備えて構成される。
【００４０】
画素補間回路３１は、飽和抑制部２０によって画素値抑制処理がなされたＲＡＷデータ（抑制後ＲＡＷデータ）について、各画素に対して欠落した色の情報を周辺の画素値を基に推測することによって補間処理を行い、補間処理が行われた画像データをＷＢ補正回路３２およびＡＷＢ設定部３７に出力する。
【００４１】
ＷＢ補正回路３２は、画素補間回路３１において補間処理が行われた画像データについて、各色成分の画素値に各々のＷＢ補正用のゲイン（ＷＢゲイン）を乗じて、画像全体のカラーバランス（色バランス）を整える。つまり、ＷＢ補正回路３２が、色バランス補正用の色バランス補正値（ここでは、「ＷＢゲイン」）に基づいて画像データに対して色バランス補正を行う手段として機能する。
【００４２】
各色成分に対するＷＢゲインは、画像全域において一定の値であり、後述するＡＷＢ設定部３７によって設定される。ＷＢ補正回路３２において色バランスが整えられた画像データは、画素補正部３３に出力される。
【００４３】
画素補正部３３は、各色成分の階調補正（γ補正）、オフセット補正、ノイズ除去などの画像処理によって、画像データの補正を行う。
【００４４】
表色系変換部３４は、ＲＧＢ表色系の各色成分の画素値によって構成される画像データを、ＪＰＥＧ方式の画像圧縮処理などで一般的に取り扱われるＹＣｂＣｒ表色系の画像データに変換し、画像圧縮部３５に出力する。
【００４５】
画像圧縮部３５は、ＹＣｂＣｒ表色系の画像データに対してＪＰＥＧ方式の画像圧縮処理を施しつつ、画像データ（撮影画像）を画像ファイルの形式でメモリカードＭＣに記憶させる。なお、メモリカードＭＣは、撮像装置１に対して着脱自在に装着される記録媒体の一例であり、圧縮後のデータは、通信回線を通じて外部の通信装置などに送信するようにしても良い。
【００４６】
ＡＥ設定部３６は、例えば、画像全体を評価対象の領域として、画素補間回路３１から出力される画像データのうち、Ｇ色成分の画素値を取得して、Ｇ色成分の画素値の平均値を、被写体の輝度を示す値（被写体輝度値）として算出する。そして、被写体輝度値が所定の値となるように、露光時間や、ＡＧＣゲインなどの露出を制御する値（露出制御値）を算出・設定する。
【００４７】
なお、ここでは、画像データを８ビット（０〜２５５階調）のデジタルデータとして取り扱うため、例えば、所定の値は、１２８階調と設定される。つまり、ここでは、被写体輝度値が１２８階調となるように、露出制御値が算出・設定される。ＡＥ設定部３６による露出制御値の算出・設定動作は、ライブビュー用の画像データの取得中や、動画撮影中において一定時間毎に繰り返される。つまり、ＡＥ設定部３６が、ＣＣＤ１１によって順次取得される画像データに基づいて、順次露出制御値の算出・設定動作を行うことで、露出制御値を変更する。
【００４８】
そして、ＡＥ設定部３６で設定された露光時間にしたがって、ＣＣＤ１１の電子シャッタ機能による信号電荷の蓄積時間が制御される。また、ＡＥ設定部３６で設定されたＡＧＣゲインにしたがって、Ａ／Ｄ変換器１３における画像信号の増幅率が制御される。
【００４９】
ＡＷＢ設定部３７は、画像全体を評価対象の領域として、画素補間回路３１から出力される画像データに基づいて、ＷＢゲインを算出し、ＷＢ補正回路３２において用いられるＷＢゲインとして設定する。また、ＡＷＢ設定部３７は、ＷＢゲインに基づいて、飽和抑制部２０において用いる上限値（「飽和抑制閾値」とも称する）ｍａｘＲ，ｍａｘＧ，ｍａｘＢを算出・設定する。
【００５０】
ＡＷＢ設定部３７では、ＣＣＤ１１によって第１および第２の画像データを含む複数の画像データを時間的に連続して取得しつつ、それら複数の画像データに基づいて、それぞれＷＢゲインを算出し、ＷＢゲインを順次変更する。なお、以下では、第１の画像データに基づいて算出されるＷＢゲインを「変更前色バランス補正値」とも称し、第２の画像データに基づいて算出されるＷＢゲインを「変更後色バランス補正値」とも称する。ＷＢゲインの算出、および上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢの算出については、後程詳述する。
【００５１】
カメラ制御部４０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えて構成され、例えば、ＲＯＭ内に格納されたプログラムをＣＰＵが読み込むことで、各種制御を実現する。
【００５２】
＜ＷＢゲインおよび上限値の算出＞
ＡＷＢ設定部３７におけるＷＢゲインおよび上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢの算出について以下説明する。
【００５３】
画素補間回路３１から入力される画像データ（画像）全体について、各色成分の画素値の総和（Ｒtotal，Ｇtotal，Ｂtotal）を算出する。ただし、本実施形態では、図２に示すＣＣＤ１１の受光部１１ａにおけるＧｒ，Ｇｂの双方の画素を同じＧ色成分の画素として、各色成分の画素値を取り扱うため、Ｇｒ色とＧｂ色成分の画素値の総和の１／２をＧ色成分の画素値の総和（Ｇtotal）とする。なお、Ｇｒ，Ｇｂ色成分の画素値の総和の１／２の代わりに、ＧｒまたはＧｂ色成分の画素値の総和をＧ色成分の画素値としても良い。
【００５４】
次に、各色成分の画素値の総和（Ｒtotal，Ｇtotal，Ｂtotal）のうちの最大値を判定する。なお、以下では、Ｇ色成分の画素値の総和Ｇtotalが最大となった場合を例にとって説明する。
【００５５】
画素値の総和が最大となるＧ色成分に対するＷＢゲイン（ｗｂｇＧ）を基準として、ｗｂｇＧと、Ｒ，Ｂ色成分に対するＷＢゲイン（ｗｂｇＲ，ｗｂｇＢ）とが下式に示すような関係となるように算出・設定される。
【００５６】
ｗｂｇＧ＝１                 ・・・（１）。
【００５７】
ｗｂｇＲ＝１×（Ｇtotal／Ｒtotal）・・・（２）。
【００５８】
ｗｂｇＢ＝１×（Ｇtotal／Ｂtotal）・・・（３）。
【００５９】
つまり、ＡＷＢ設定部３７が、画像データ（第１の画像データ）に基づいて、変更前色バランス補正値（ここでは、ＷＢゲイン）を算出する。
【００６０】
なお、以上の各色成分に対するＷＢゲインを算出・設定する処理には、ＣＣＤ１１において取り扱い可能な信号レベルの上限（飽和レベル）に達した画素数を検出する必要が無く、画素単位の判定は不要である。つまり、判定の増加に伴って、パイプライン処理化による演算の高速化を阻害することがない。すなわち、特に、撮像装置における一般的な処理能力のＭＰＵなどによって連続して画像を処理することができるといった効果を生ずる。
【００６１】
続いて、ＡＷＢ設定部３７において、ｗｂｇＲ，ｗｂｇＧ，ｗｂｇＢのうちの最小値を判定し、ＷＢゲインが最小となる色成分に対する上限値をＣＣＤ１１の飽和レベルに対応する階調の値に設定する。そして、ＷＢゲインが最小となる特定色成分に対する上限値、すなわち、その特定色成分の飽和レベルに、特定色成分に対するＷＢゲインと各色成分に対するＷＢゲインとの比を乗じることで、各色成分に対する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを算出する。
【００６２】
具体的には、例えば、上述したように、ｗｂｇＲ，ｗｂｇＧ，ｗｂｇＢのうちｗｂｇＧが１で最小となっており、デジタルデータが８ビットのデータであるとすると、ＣＣＤ１１の飽和レベルに対応する階調の値は２５５となるため、Ｒ，Ｇ，Ｂ色成分にそれぞれ対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢが、下式に示すような関係となるように算出・設定される。
【００６３】
ｍａｘＧ＝２５５                        ・・・（４）。
【００６４】
ｍａｘＲ＝２５５×（ｗｂｇＧ／ｗｂｇＲ）・・・（５）。
【００６５】
ｍａｘＢ＝２５５×（ｗｂｇＧ／ｗｂｇＢ）・・・（６）。
【００６６】
なお、ここでは、ｗｂｇＲ，ｗｂｇＧ，ｗｂｇＢのうちｗｂｇＧが最小の場合を例にとって説明したが、他のＷＢゲインが最小となった場合においても同様にして、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを求めることができる。
【００６７】
このように、ここでは、ＡＷＢ設定部３７が、画像データ（第１の画像データ）に基づいて、ＣＣＤ１１で取得される画像データ（第２の画像データ）の各色成分に対する所定の閾値（ここでは、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢ）をそれぞれ設定する手段として機能する。そして、ここでは、ＡＷＢ設定部３７が、第１の画像データに基づいて算出された変更前色バランス補正値（ここでは、ＷＢゲイン）に基づいて、各色成分に対応する所定の閾値（ここでは、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢ）をそれぞれ設定する。また、ＡＷＢ設定部３７が、ＣＣＤ１１における特定色成分（例えば、Ｇ色成分）の飽和レベルに基づいて、各色成分に対応する所定の閾値（ここでは、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢ）をそれぞれ設定する。
【００６８】
＜飽和抑制部の機能構成および画素値抑制処理＞
図３は、飽和抑制部２０の機能構成を示すブロック図である。
【００６９】
飽和抑制部２０では、画素補間処理がなされていないＲＡＷデータが入力されるため、現在入力中のＲＡＷデータの画素値がどの色成分のものであるのかを判定する必要があり、その画素値が、その色成分にそれぞれ対応する上限値（ｍａｘＧ又はｍａｘＲ又はｍａｘＢ）を超える場合には、対応する上限値（ｍａｘＧ又はｍａｘＲ又はｍａｘＢ）に置き換える。
【００７０】
以下、飽和抑制部２０の機能構成について、具体的に説明する。
【００７１】
ラインカウンタ２１は、カメラ制御部４０によって制御されるＨＤ（垂直同期）信号に基づいて、現在飽和抑制部２０に入力されているＲＡＷデータのライン番号（１フレーム分の画像において並ぶ水平ラインに対して順次付される番号）をカウントする。そして、ラインカウンタ２１は、カメラ制御部４０によって制御されるＶＤ（垂直同期）信号によりライン番号のカウントをリセットし、次の画像データの先頭ラインから再度、ライン番号のカウントを行う。
【００７２】
ピクセルカウンタ２２は、ＰＣＬＫ（画素クロック）信号により、現在飽和抑制部２０に入力されているＲＡＷデータの画素番号をカウントする。このピクセルカウンタ２２のカウント状況は、ＨＤ（水平同期）信号によりリセットされ、次の水平ラインの先頭画素から再度カウントが開始される。
【００７３】
ｍａｘＲレジスタ２３、ｍａｘＧレジスタ２４、ｍａｘＢレジスタ２５は、ＡＷＢ設定部３７によって算出・設定された上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを受け取り、記憶する。ＡＷＢ設定部３７とのデータ交信のインターフェースは、例えば、通常のメモリＩＣデータバスや、シリアルＩＯや、その他の専用のデータラインのいずれであっても良い。
【００７４】
Ｒ／Ｇ／Ｂ画素判定部２６は、ラインカウンタ２１においてカウントされるライン番号と、ピクセルカウンタ２２においてカウントされる画素番号とから、現在、飽和抑制部２０に入力されている画素がどの色成分の画素かを判定する。例えば、図２に示すような受光部１１ａについては、偶数番目のラインにおける偶数番目の画素であればＲ色成分の画素、偶数番目のラインにおける奇数番目の画素であればＧ色成分の画素、奇数番目のラインにおける偶数番目の画素であればＧ色成分の画素、奇数番目のラインにおける奇数番目の画素であればＢ色成分の画素であると判定する。
【００７５】
ｍａｘＲ／ｍａｘＧ／ｍａｘＢ選択ＳＷ（ｍａｘＲ／Ｇ／Ｂ選択ＳＷ）２７は、ｍａｘＲ，Ｇ，Ｂレジスタ２３，２４，２５のうち、Ｒ／Ｇ／Ｂ画素判定部２６において判定された色成分に対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを保持しているレジスタを選択する。例えば、Ｒ／Ｇ／Ｂ画素判定部２６によって判定された色成分がＲ色成分であれば、ｍａｘＲレジスタ２３を選択する。
【００７６】
比較器２８は、ｍａｘＲ／Ｇ／Ｂ選択ＳＷ２７によって選択されたレジスタに記憶される上限値を読み出して、現在飽和抑制部２０に入力されているＲＡＷデータの画素値と比較する。そして、画素値が上限値以下ならば”０”の信号を、画素値が上限値よりも大きければ”１”の信号を、上限値／ＲＡＷ選択ＳＷ２９に出力する。
【００７７】
上限値／ＲＡＷ選択ＳＷ２９は、比較器２８における比較結果に基づいて、”１”の信号を受け取った場合には、ＲＡＷデータの画素値を上限値（ｍａｘＲ／Ｇ／Ｂ）に置き換えてデータ出力する。具体的には、Ｒ色成分のＲＡＷデータの画素値を上限値ｍａｘＲに置き換えたり、Ｂ色成分のＲＡＷデータの画素値の上限値ｍａｘＢに置き換えてデータを出力する。一方、”０”の信号を受け取った場合には、上限値／ＲＡＷ選択ＳＷ２９は、その画素のＲＡＷデータをそのまま出力する。
【００７８】
つまり、飽和抑制部２０が、画像データ（ここでは、第２の画像データ）に係る各色成分の画素値のうち、各色成分に対応する所定の閾値（ここでは、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢ）を超える値を、各色成分に対応する所定の閾値に変更することにより、第２の画像データに基づいて、画像データ（「変更後画像データ」とも称する）を生成する手段として機能する。言い換えれば、飽和抑制部２０が、第２の画像データに係る各色成分の画素値のうち、各色成分に対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを超える値を、各色成分に対応する上限値に変更することにより、第２の画像データを変更後画像データに変換する。このようにして、飽和抑制部２０における画素値抑制処理が行われる。
【００７９】
なお、ここでは、画素補間回路３１における補間処理前に、ＲＡＷデータ内におけるデータの順番やデータ幅を変えることがないため、汎用のカメラユニットと汎用の画像処理ユニット（ＷＢ補正回路、画素補間回路、画素補正回路、表色系変換回路などの処理回路、およびカメラ制御部などを備えるユニット）を使用できるメリットがある。
【００８０】
言い換えれば、ここでは、カメラユニット１０と画像処理ユニット３０との間に飽和抑制部２０を設けている。そして、画素補間回路３１が、飽和抑制部２０において生成された変更後画像データに対して画素補間処理を行うことで、カラー画像データを生成する手段として機能する。このような構成とすることで、汎用の撮像装置の機能構成に対して、画素値が変更された変更後画像データを生成する飽和抑制部２０を簡単に付加することができる。その結果、設計の簡略化や低コスト化に資することができる。
【００８１】
また、飽和抑制部２０は、簡単な回路構成であるため、ＰＬＤ（Programmable Logic Device）などで回路を作成して外付けとすることも比較的容易に行える。
【００８２】
＜飽和抑制部における画素値の抑制による色補正処理の適正化＞
例えば、ＣＣＤ１１で取得される画像データにおいて、非常に輝度が高い部分については、図４に示すように、各色成分の画素値が、ＣＣＤ１１で取り扱い可能な画素値の飽和レベルＳＬに達している。このように画素値が飽和レベルＳＬに達すると、実際には各色成分の輝度がより高い状況であるのに対して、適正に画素値に反映させることができなくなる。
【００８３】
ＣＣＤ１１で取得される画像データにおいて、輝度が高い部分では、一般に、Ｇ色成分の輝度が高い場合が多いため、以下、Ｇ色成分の輝度が最も高い場合を例にとって説明する。
【００８４】
実際にはＧ色成分の輝度が高い場合でも、図４に示すように、各色成分の画素値が飽和レベルＳＬに達していると、各色成分の画素値があたかも同じレベルＳＬにあるようなものとして認識されてしまう。そうすると、一般的なＷＢ補正を行う際には、各色成分の画素値が飽和レベルＳＬに達している部分に引っ張られて、画像全体として、実際の被写体よりも、Ｇ色成分の輝度が低いものとして認識してしまう。
【００８５】
そして、１フレームの画像上において、このようにＧ色成分の画素値が飽和レベルＳＬまで達している部分が大きくなればなる程、画像全体として、実際よりもＧ色成分の輝度が低いものとして認識してしまう。そして、Ｇ色成分に乗じるＷＢゲインに対して、相対的にＲおよびＢ色成分に乗じるＷＢゲインを小さく算出・設定してしまい、その結果、画像全体が緑がかった像となってしまう。
【００８６】
このような一般的なＷＢ補正で生じる問題に対して、本実施形態では、飽和抑制部２０において、各色成分の画素値を適宜抑制することで、ＷＢ補正の適正化を図ることができる。
【００８７】
以下、各色成分の画素値の総和（Ｒtotal，Ｇtotal，Ｂtotal）のうち、Ｇ色成分の画素値の総和Ｇtotalが最大となった場合を例にとって、ＷＢ補正の適正化について説明する。
【００８８】
図５は、各色成分に対する上限値（ｍａｘＲ又はｍａｘＧ又はｍａｘＢ）について説明する図である。ここでは、各色成分に対する飽和抑制値は、上式（４）〜（６）によって算出・設定される。ここでは、各色成分の画素値の総和のうち、Ｇ色成分の画素値の総和Ｇtotalが最大であるため、図５に示すように、ｍａｘＧが飽和レベルＳＬとなり、ｍａｘＲ、ｍａｘＢが、ｍａｘＧよりも相対的に小さな値に設定される。
【００８９】
このように、画像データ（第１の画像データ）に基づいて、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを設定し、引き続いてＣＣＤ１１で取得される画像データ（第２の画像データ）が飽和抑制部２０に入力されると、第２の画像データの各色成分の画素値のうち、各色成分に対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを超える画素については、それぞれ各色成分に対する上限値ｍａｘＲ，ｍａｘＢに置き換える。
【００９０】
そうすると、例えば、図４に示すように、各色成分の画素値が飽和レベルＳＬに達しているような部分がなくなり、画像全体として、実際の被写体よりもＧ色成分の輝度が低いものとして認識されるようなこともなくなる。その結果、相対的にＲおよびＧ色成分に乗じるＷＢゲインが小さく算出・設定されてしまって画像全体が緑がかった像となってしまうようなことも防止することができる。
【００９１】
そして、ここでは、連続してＣＣＤ１１で取得される画像データに基づいて、算出・設定されるＷＢゲインに基づいて、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを順次更新設定していく。
【００９２】
つまり、ここでは、第１および第２の画像データについて、まず、第１の画像データに基づいて算出される上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢにしたがって、飽和抑制部２０が、第２の画像データに基づいて変更後画像データを生成する。そして、ＡＷＢ設定部３７が、変更後画像データに基づいて、ＷＢゲイン、すなわち、色バランス補正値（「変更後色バランス補正値」とも称する）を算出する。
【００９３】
すなわち、ＡＷＢ設定部３７が、変更後画像データに基づいて、変更後色バランス補正値を算出する手段として機能する。そして、ＷＢ補正回路３２が、ＣＣＤ１１によって取得される画像データ（例えば、ＣＣＤ１１によって、第２の画像データが取得された後に、取得される１フレーム分の画像データ）に対し、変更後色バランス補正値に基づいて、色バランス補正を行う。
【００９４】
＜ＡＥによる色バランスの適正化＞
仮に、ＣＣＤ１１で取得される画像データにおいて、図４に示すように、各色成分の画素値が飽和レベルＳＬに達しているような画素数が多ければ、飽和抑制部２０で、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢに基づいてＲＡＷデータに係る画素値が変更される画素数が多くなる。そして、このような画素値が変更される画素数が極めて多くなると、実際の被写体の色や輝度と、ＷＢゲインを算出するために用いる画像データにおける色情報や輝度との間に乖離が生じてしまう。そうすると、当然ながら、適切なＷＢゲインを算出・設定することができず、撮影画像の色バランスを適正化することができないこととなる。
【００９５】
しかし、本実施形態に係る撮像装置１では、上述したように、ＡＥ設定部３６による露出制御値の算出・設定動作は、ライブビュー用の画像データの取得中や、動画撮影中において一定時間毎に繰り返される。そうすると、一旦、各色成分の画素値が飽和レベルＳＬに達している画素数が極めて多いような画像となっても、露出制御値の算出・設定動作が再度行われることで、画像全体として、各色成分の画素値が飽和レベルＳＬに達している画素数を抑制することができる。
【００９６】
つまり、順次、画像データに基づいて露出制御を行うことで、１フレームの画像のうち、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを超える画素値が切り捨てられるような画素数を低減することができるため、撮影画像における色バランスのずれの低減と、データ処理の高速化とを図ることができる。
【００９７】
また、ここでは、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢによって、画素値が切り捨てられ、変更されることがないＧ色成分の画素値に基づいて、ＡＥ設定部３６によって、露出制御値が算出・設定される。よって、適正に露出制御を行うことが可能となる。
【００９８】
ここで、もしも、画素値が飽和レベルＳＬに達している各色成分の画素値をそれぞれ減少させるような変更をした場合には、減少した画素値に基づいて露出制御値を算出・設定すると、適正な露光条件とならない可能性がある。そのため、このような場合には、画素値が飽和レベルＳＬに達している画素を判別し、その画素の画素値を除いて画像全体の輝度を評価して、露出制御値を算出・設定しなければならない。その結果、判定処理の増加に伴って、パイプライン処理化による演算の高速化を阻害する。
【００９９】
しかし、本実施形態に係る撮像装置１では、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢによって画素値が切り捨てられ、変更されることがない特定色成分（上述した例では、Ｇ色成分）の画素値に基づいて、露出制御値が算出設定されるため、判定処理が増加せず、パイプライン処理化による演算の高速化が阻害されない。すなわち、特に、撮像装置において一般的な処理能力のＭＰＵなどによって連続して画像を処理することができるといった効果を生ずる。
【０１００】
以上、説明したように、被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得しつつ、第１の画像データに基づいて、各色成分に対する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢをそれぞれ設定する。そして、第２の画像データに係る各色成分の画素値のうち、各色成分に対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを超える値を、当該各色成分に対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢに変更することにより、第２の画像データに基づいて変更後画像データを生成する。更に、変更後画像データに基づいて算出される色バランス補正値に基づいて画像データに対する色バランス補正を行う。その結果、低コストでかつ、高速で撮影画像の色バランスを適正化することができる。したがって、撮影環境の変化により、急に被写体の輝度が高くなったような場合にも、撮影画像における色バランスの崩れを素早く防ぐことができる。
【０１０１】
また、第１の画像データに基づいて算出される色バランス補正値に基づいて、各色成分に対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを設定するため、簡便かつ、より高速で撮影画像の色バランスを適正化することができる。そして、ＡＷＢ設定部３７で算出されるＷＢゲインは、ＷＢ補正回路３２におけるＷＢ補正用と、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢの算出用とに兼用されるため、簡便かつ、少ない計算量で、撮影画像の色バランスを適正化することができる。
【０１０２】
また、上述したように、例えば、各色成分の画素値の総和（Ｒtotal，Ｇtotal，Ｂtotal）のうち、Ｇ色成分の画素値の総和Ｇtotalが最大となった場合には、Ｇ色成分に対するＧ上限値ｍａｘＧを飽和レベルＳＬとし、Ｇ色成分の飽和レベルＳＬにそれぞれ対応するＷＢゲインの比を乗じることで、その他の色成分に対応する上限値ｍａｘＲ，ｍａｘＢを算出・設定する。
【０１０３】
その結果、色バランスを適正化するための上限値ｍａｘＧ，ｍａｘＲ，ｍａｘＢを各色成分について極力高めに設定することができる。つまり、飽和抑制部２０において、画素値を抑制する際に、ＣＣＤ１１において取得される画像データのうち、切り捨てられるデータを極力少なくすることができる。そうすると、画素値が抑制された画像データに基づいてＷＢゲインを算出する際に、より実際の被写体の色情報を反映した画像データに基づいて、適正なＷＢゲインを算出することができる。したがって、撮影画像の色バランスをより適正化することができる。
【０１０４】
＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１０５】
◎例えば、上述した実施形態では、ＡＷＢ設定部３７において、ＷＢ補正前の画像データに基づいて露出補正値を算出・設定したが、これに限られるものではなく、ＷＢ補正後の画像データに基づいて露出補正値を算出・設定しても良い。
【０１０６】
◎また、上述した実施形態では、カメラユニット１０と画素補間回路３１との間に飽和抑制部２０を設けたが、これに限られるものではなく、例えば、画素補間回路３１の後側に、飽和抑制部２０Ａを設けても良い。つまり、画像処理ユニット中に飽和抑制部２０Ａを設けた画像処理ユニット３０Ａを用いても良い。つまり、飽和抑制部２０Ａが、第２の画像データに対する画素補間処理後に、画素補間処理が施された第２の画像データに基づいて、変更後画像データを生成するようにしても良い。
【０１０７】
図６は、画素補間回路３１の後側に飽和抑制部２０Ａを設けた撮像装置１Ａの機能構成を例示するブロック図である。図６では、図１で示す撮像装置１と同様な部分がほとんどであるため、それら同様な部分については、同じ符合を付して説明を省略する。以下、撮像装置１Ａと撮像装置１との機能構成が異なる点について説明する。
【０１０８】
図６に示す撮像装置１Ａでは、カメラユニット１０のＡ／Ｄ変換器１３から出力されるＲＡＷデータが画素補間回路３１に入力され、画素補間回路３１で画素補間処理が行われた画像データが飽和抑制部２０Ａを介して、ＷＢ補正回路３２およびＡＷＢ設定部３７に入力される。
【０１０９】
飽和抑制部２０Ａは、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢは、ＣＣＤ１１で取得される画像データに基づいて算出されるＷＢゲインに基づいて算出・設定されるため、動画撮影開始時やライブビュー用の画像データ取得開始時に取得される初めの一から数フレーム分のＲＡＷデータについては、画素補間回路３１から入力される画像データをそのままＷＢ補正回路３２やＡＷＢ設定部３７に出力する。
【０１１０】
飽和抑制部２０Ａでは、画素補間処理後の画像データに対して画素値抑制処理を行うため、飽和抑制部２０とは、画素値抑制処理の手法が異なる。そこで、以下、飽和抑制部２０Ａにおける各画素値の画素値抑制処理の方法について説明する。なお、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢの設定方法については、第１実施形態におけるものと同様であるため、説明を省略する。
【０１１１】
図７は、変形例に係る飽和抑制部２０Ａの機能構成を示すブロック図である。図７においても、図３と同様な構成については同じ符合を付している。
【０１１２】
飽和抑制部２０Ａでは、上述した実施形態と同様に、ｍａｘＲレジスタ２３、ｍａｘＧレジスタ２４、ｍａｘＢレジスタ２５が、ＡＷＢ設定部３７によって算出・設定された上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢそれぞれを受け取り、記憶する。そして、現在入力中のＲＧＢデータの各画素値が、対応する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢを超える場合は、その画素値を上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢに置き換え、変更する。
【０１１３】
なお、ここでは、画素補間処理後の画像データが入力されるため、各画素ごとに、ＲＧＢの３色成分の画素値を有する。よって、特に、各画素ごとにどの色成分に対応するのかを判別する必要性はなく、各色成分ごとに同様な回路（Ｒ抑制回路、Ｇ抑制回路、Ｂ抑制回路）２０Ｒ，２０Ｇ，２０Ｂによって、画素値抑制処理が行われる。
【０１１４】
図７に示すように、Ｒ抑制回路２０Ｒは、ｍａｘＲレジスタ２３、比較器２８Ｒ、および上限値／Ｒ選択ＳＷ２９Ｒを備えて構成され、Ｇ抑制回路２０Ｇは、ｍａｘＧレジスタ２４、比較器２８Ｇ、および上限値／Ｇ選択ＳＷ２９Ｇを備えて構成され、Ｂ抑制回路２０Ｂは、ｍａｘＢレジスタ２５、比較器２８Ｂ、および上限値／Ｂ選択ＳＷ２９Ｂを備えて構成される。そして、Ｒ，Ｇ，Ｂ抑制回路２０Ｒ，２０Ｇ，２０Ｂは、各々同様なデータ（信号）処理を行うため、以下では、Ｒ抑制回路２０Ｒにおけるデータ処理を例にとって説明し、Ｇ抑制回路２０Ｇ、およびＢ抑制回路２０Ｂにおけるデータ処理については説明を省略する。
【０１１５】
Ｒ抑制回路２０Ｒでは、比較器２８Ｒにおいて、画素補間回路３１から現在入力されているＲ色成分の画素値と、ｍａｘＲレジスタ２３に記憶されるＲ上限値ｍａｘＲとを比較する。そして、画素値がＲ上限値ｍａｘＲ以下ならば”０”の信号を、画素値がＲ上限値ｍａｘＲよりも大きければ”１”の信号を、上限値／Ｒ選択ＳＷ２９Ｒに出力する。
【０１１６】
上限値／Ｒ選択ＳＷ２９Ｒは、比較器２８Ｒにおける比較結果に基づいて、”１”の信号を受け取った場合には、画素補間回路３１から現在入力されているＲ色成分の画素値をＲ上限値ｍａｘＲに置き換えてデータ出力する。また、”０”の信号を受け取った場合には、その画素のデータをそのまま出力する。
【０１１７】
ここでは、図３に示す飽和抑制部２０よりも、図７に示す飽和抑制部２０Ａの方が、回路の構成が簡単なものとなる。つまり、画素補間処理後に、上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢに基づいて画素値を変更することで変更後画像データを生成するような構成とすることにより、飽和抑制部の構成をより簡略化することができる。その結果、低コスト化に資することができる。言い換えれば、低コストで、簡単な回路を付加することにより、低コストでかつ、高速で撮影画像の色バランスを適正化することができる。
【０１１８】
◎また、飽和抑制部２０，２０Ａおよび画像処理ユニット３０，３０Ａの各部を適宜専用の電子回路として良いが、これに限られるものではなく、飽和抑制部２０，２０Ａおよび画像処理ユニット３０，３０Ａの各部の全てまたは一部の機能を適宜、ＣＰＵにプログラムが読み込まれることで実現するような構成としても良い。
【０１１９】
◎また、上述した実施形態では、被写体に係る光学像に基づいて、第１の画像データを取得するとともに、その後第２の画像データを取得しつつ、第１の画像データに基づいて算出されるＷＢゲインに基づいて、各色成分に対する上限値ｍａｘＲ，ｍａｘＧ，ｍａｘＢをそれぞれ設定し、第２の画像データに係る各色成分の画素値のうち、各色成分に対応する上限値を超える値を、当該各色成分に対応する上限値に変更することによって、変更後画像データを生成したが、これに限られるものではなく、例えば、１フレーム分の所定の画像データに基づいて上限値を求め、その１フレーム分の所定の画像データに係る各色成分の画素値のうち、各色成分に対応する上限値を超える値を、当該各色成分に対応する上限値に変更することによって、変更後画像データを生成するようにしても良い。
【０１２０】
具体的には、以下のような構成としても良い。
【０１２１】
ＡＷＢ設定手段３７が、ＣＣＤ１１によって取得される１フレーム分の所定の画像データに係る各色成分の画素値に基づいて、当該所定の画像データの各色成分に対する所定の閾値（ここでは、上限値）をそれぞれ設定する。そして、飽和抑制部２０，２０Ａが、上限値を算出するのに用いた１フレーム分の前記所定の画像データに係る各色成分のうち、各色成分に対応する上限値を超える値を、当該各色成分に対応する上限値に変更することにより、前記所定の画像データに基づいて変更後画像データを生成する。さらに、変更後画像データに基づいて、変更後色バランス補正値を算出する。そして、ＷＢ補正回路３２が、ＣＣＤ１１によって取得される画像データに対し、変更後色バランス補正値に基づいて色バランス補正を行う。
【０１２２】
つまり、上述した実施形態では、第１の画像データに基づいて設定された上限値を用いて、第２の画像データに対する画素値抑制処理を行ったが、画像データに対して施される画素値抑制処理に用いられる上限値を、画素値抑制処理が施されるその画像データ自体に基づいて算出・設定するようにしても良い。
【０１２３】
このような構成とすることによっても、低コストでかつ、高速で撮影画像の色バランスを適正化することができる。
【図面の簡単な説明】
【０１２４】
【図１】本発明の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図２】ＣＣＤの受光部の構成を例示する図である。
【図３】飽和抑制部の機能構成を示すブロック図である。
【図４】画素値が飽和している場合の各色成分の画素値を例示する図である。
【図５】各色成分の画素値に対する上限値について説明する図である。
【図６】変形例に係る撮像装置の機能構成を示すブロック図である。
【図７】変形例に係る飽和抑制部の機能構成を示すブロック図である。
【符号の説明】
【０１２５】
１，１Ａ  撮像装置
１０  カメラユニット
１１  ＣＣＤ
２０，２０Ａ  飽和抑制部
３０，３０Ａ  画像処理ユニット
３１  画素補間回路
３２  ＷＢ補正回路
３６  ＡＥ設定部
３７  ＡＷＢ設定部
４０  カメラ制御部
【図１】
2005064853.tif 000003
【図２】
2005064853.tif 000004
【図３】
2005064853.tif 000005
【図４】
2005064853.tif 000006
【図５】
2005064853.tif 000007
【図６】
2005064853.tif 000008
【図７】
2005064853.tif 000009