(57)【要約】【課題】暗電流のノイズレベルを含んだ画像信号であっても、適切なホワイトバランス調整処理が行える【解決手段】画像信号演算器２と補正データ演算器４と補正器５とを備える。画像信号演算器２は、画像信号を構成する各色毎に画像信号のゲインを制御することで画像信号のホワイトバランスを調整する。補正データ演算器４は、画像信号演算器２の出力を補正するための補正データを作成する。補正器５は、補正データ演算器４が作成する補正データに基づいて画像信号演算器２の出力をさらに補正する。【選択図】  図１
2005354669.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子が出力する画像信号のホワイトバランスを調整する画像処理方法であって、
前記画像信号を構成する各色毎に前記画像信号のゲインを制御することで前記画像信号のホワイトバランスを調整する調整ステップと、
前記ホワイトバランス調整済の画像信号に含まれる暗電流の影響を当該ホワイトバランス調整済の画像信号から排除する補正データを作成したうえで、この補正データに基づいて当該ホワイトバランス調整済の画像信号をさらに補正する補正ステップと、
を含む画像処理方法。
【請求項２】
前記補正ステップは、
前記補正データとして、前記固体撮像素子のラインそれぞれにおいて前記画像信号のゲインを揃える補正データを作成するステップと、
前記ホワイトバランス調整済の画像信号に、前記補正データを加算することで、前記固体撮像素子のライン毎に前記画像信号のゲインを揃えるステップと、
前記固体撮像素子のライン毎にゲインが揃えられた前記画像信号から、前記固体撮像素子の各ラインどうしで前記画像信号のゲインを揃えるための減算用補正データを減算することで、前記固体撮像素子の各ラインどうしで前記画像信号のゲインを揃えるステップと、
を含む、
請求項１の画像処理方法。
【請求項３】
前記補正ステップでは、
前記ホワイトバランス調整済の画像信号から、前記画像信号に含まれる暗電流の影響を当該ホワイトバランス調整済の画像信号から排除する補正データを減算することで、前記固体撮像素子のライン毎に前記画像信号のゲインを揃えるともに前記固体撮像素子の各ラインどうしで前記画像信号のゲインを揃える、
請求項２の画像処理方法。
【請求項４】
固体撮像素子が出力する画像信号のホワイトバランスを調整する画像処理装置であって、
前記画像信号を構成する各色毎に前記画像信号のゲインを制御することで前記画像信号のホワイトバランスを調整する画像信号演算器と、
前記画像信号演算器の出力を補正するための補正データを作成する補正データ演算器と、
前記補正データ演算器が作成する前記補正データに基づいて前記画像信号演算器の出力を補正する補正器と、
を備える画像処理装置。
【請求項５】
前記補正データ演算器は、前記画像信号に含まれる暗電流の影響を前記画像信号演算器の出力から排除する補正データを作成する、
請求項４の画像処理装置。
【請求項６】
前記補正データ演算器は、前記固体撮像素子のラインそれぞれにおいて前記画像信号のゲインを揃える補正データを作成するものであり、
前記補正器は、
前記画像信号演算器の出力に、前記補正データ演算器が作成する前記補正データを加算することで、前記固体撮像素子のライン毎に前記画像信号のゲインを揃える加算器と、
前記固体撮像素子の各ラインどうしで前記画像信号のゲインを揃えるための減算用補正データを記憶する減算用補正データ記憶器と、
前記加算器の出力から、減算用補正データ記憶器で記憶している前記減算用補正データを減算することで、前記固体撮像素子の各ラインどうしで前記画像信号のゲインを揃える減算器と、
を備える、
請求項５の画像処理装置。
【請求項７】
前記補正器は、
前記画像信号演算器の出力から、前記補正データ演算器が演算する前記補正データを減算することで、前記固体撮像素子のライン毎に前記画像信号のゲインを揃えるともに前記固体撮像素子の各ラインどうしで前記画像信号のゲインを揃える、
請求項５の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特にホワイトバランス調整に関する。
【背景技術】
【０００２】
ＣＣＤ撮像素子,ＣＭＯＳ撮像素子等の固体撮像素子を用いて被写体の撮像を行う場合、白熱灯等の色温度が低い光源で撮像するとその被写体に含まれる白色は画面全体で赤色側に移動した状態で色表示され、太陽光等の色温度が高い光源で撮像するとその被写体に含まれる白色は画面全体で青色側に移動した状態で色表示される。
【０００３】
上記色再現異常を補正するため、画像処理装置では、光源の色温度に対する依存性を排除するホワイトバランス調整処理が実施される。
【０００４】
図７はホワイトバランス調整処理を行う従来の画像処理装置の構成の一例である。図７において、１０１は画像入力部であり、１１１は乗算器であり、１２０はクリップ回路であり、１０６は画像出力部であり、１１２は各色のゲインデータであり、１１３はセレクタである。
【０００５】
なお、この例では、図２に示すように、Ｒ（赤）、Ｂ（青）、Ｇｒ（赤と同じラインにある緑）、Ｇｂ（青と同じラインにある緑）のカラーフィルタをモザイク状に配列した、所謂ベイヤー配列された単板の固体撮像素子から画像信号が入力するものとする。ベイヤー配列された単板の固体撮像素子では、Ｒライン（Ｒが配置された画素列）では、Ｒ信号,Ｇｒ信号,Ｒ信号,Ｇｒ信号・．．．が交互に入力され、Ｂライン（Ｂが配置された画素列）ではＧｂ信号,Ｂ信号,Ｇｂ信号,Ｂ信号・．．．が交互に入力される。
【０００６】
乗算器１１１は、画像入力部１０１より入力された画像信号と、入力された画像信号の色に応じてセレクタ１１３で選択されたゲインデータ１１２とを乗算する。即ち、Ｒ信号にはＲゲインを、Ｇｒ信号にはＧｒゲインを、Ｇｂ信号にはＧｂゲインを、Ｂ信号にはＢゲインを乗算する。各色のゲインデータは、光源の色温度に応じて予め算出されて記憶されており、各色のゲインを乗算することにより、白色の被写体が無彩色の白色として映し出されるように画像信号レベルが補正される。
【０００７】
ゲインを乗算された後の画像信号レベルは、ゲイン設定や入力する画像信号レベルによってはオーバーフローすることがある。そのため、補正した画像信号レベルの上限および下限はクリップ回路１２０により制限される。以上のようにしてゲイン補正を掛けたうえでクリップ処理された画像信号が、ホワイトバランス調整処理された画像信号として画像出力部１０６から出力される。
【０００８】
図８は上述したホワイトバランス調整処理による理想的な信号レベル補正を模式的に示したものである。まず、白色の被写体の入力信号レベルが光源の色温度により、図８における（ａ）に示すようにＲ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝３：６：６：２で入力されたものとする。これに対して、Ｒゲイン＝２,Ｇｒゲイン＝Ｇｂゲイン＝１,Ｂゲイン＝３を設定してホワイトバランス調整処理される。補正後のＲ信号,Ｇｒ信号,Ｇｂ信号,Ｂ信号を各々Ｒ’信号,Ｇｒ’信号,Ｇｂ’信号,Ｂ’信号とすると、
Ｒ’＝３×２＝６          
Ｇｒ’＝Ｇｂ’＝６×１＝６  
Ｂ’＝２×３＝６          
となる。つまり、図８における（ｂ）に示すように補正後の画像信号は全て同じレベルになって、白色の被写体が無彩色の白色として色表示される。このようなホワイトバランス調整処理を行う例として、特許文献１に示す方法がある。
【０００９】
ところで、固体撮像素子においては、光の入射してない状態でも若干の電気信号が存在する。このような雑音電流を暗電流という。そのため、固体撮像素子から出力する画像信号には、暗電流に起因するノイズが重畳される。画像信号の信号レベルが高い場合には、Ｓ／Ｎ比が上がるためにそれ程問題とはならないが、画像信号の信号レベルが低い場合には、Ｓ／Ｎ比が下がるために暗電流の影響が顕著になってホワイトバランス調整処理に悪影響が生じる。以下、このことを図９を参照して説明する。
【００１０】
図９においても、白色の被写体の入力信号レベルが光源の色温度により、Ｒ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝３：６：６：２で入力されたとする。しかしながら、この場合、暗電流のノイズレベルが１の割合で重畳されているとすると、暗電流のノイズを含めた入力信号レベルは図９における（ａ）に示すように、Ｒ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝４：７：７：３となる。
【００１１】
暗電流が重畳した状態の画像信号に図８の処理と同様に、Ｒゲイン＝２,Ｇｒゲイン＝Ｇｂゲイン＝１,Ｂゲイン＝３を設定してホワイトバランス調整処理すると、補正後のＲ’信号,Ｇｒ’信号,Ｇｂ’信号,Ｂ’信号は、
Ｒ’＝４×２＝８
（画像信号レベルは６、ノイズレベルは２）
Ｇｒ’＝Ｇｂ’＝７×１＝７
（画像信号レベルは６、ノイズレベルは１）
Ｂ’＝３×３＝９
（画像信号レベルは６、ノイズレベルは３）
となる。
【００１２】
つまり、図９における（ｂ）に示すように、補正後の画像信号は同一レベルに揃わない。したがって、ホワイトバランス調整後も、無彩色の白色を表示できない。
【特許文献１】特開２００４−２３２０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
このような不具合を解消するために、従来から、ホワイトバランス調整処理する前に暗電流のレベルを減算する方法がある。しかしながら、減算値が高いと画像信号の低いレベルも同時に除去されて被写体の微妙な陰影が失われてしまう。反対に減算値が低いと暗電流のノイズを除去しきれない。このように、暗電流のレベルを減算する方法では、正確に暗電流の影響を排除することはできない。
【００１４】
したがって、本発明の主たる目的は、暗電流のノイズレベルを含んだ画像信号であっても、適切なホワイトバランス調整処理が行える画像処理装置を提供することである。
【課題を解決するための手段】
【００１５】
上記課題を解決するために本発明は、固体撮像素子が出力する画像信号のホワイトバランスを調整する画像処理装置において、次のように構成する。
【００１６】
本発明の画像処理装置は、前記画像信号を構成する各色毎に前記画像信号のゲインを制御することで前記画像信号のホワイトバランスを調整する画像信号演算器と、前記画像信号演算器の出力を補正するための補正データを作成する補正データ演算器と、前記補正データ演算器が作成する前記補正データに基づいて前記画像信号演算器の出力を補正する補正器とを備える。
【発明の効果】
【００１７】
この発明によれば、暗電流のノイズレベルを含んだ画像信号であっても、被写体の微妙な陰影を失うことなく、適切なホワイトバランス調整処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好ましい具体例について図面を参照して説明する。まず、本発明の２つの実施形態に共通する画像処理装置のブロック図を、図１を参照して説明する。なお、図１に示されるブロック図は、あくまで以下で説明する２つの実施形態で共通するものに過ぎず、本発明は、その趣旨を変えない範囲で改変された構成で実現することができるのはいうまでもない。
【００１９】
図１において、１は画像入力部であり、２は画像信号演算器であり、３は補正データ入力部であり、４は補正データ演算器であり、５は補正器であり、６は画像出力部である。
【００２０】
以下、この画像処理装置の動作を説明する。画像入力部１より画像信号が入力される。ゲイン選択器７は入力される画像信号の色に応じたゲインを画像信号演算器２に出力する。画像信号演算器２は入力されたゲインに応じた演算を画像信号に実施する。
【００２１】
上記演算処理だけでは暗電流の影響を除去できない。そのため、この画像処理装置では、補正データ演算器４が、補正データ入力部３から入力される補正データと、ゲイン選択器７が出力するゲインとに基づいて補正値を演算したうえで、その補正値を補正器５に出力する。
【００２２】
補正器５は補正データ演算器４が出力する補正値に基づいて補正を行い、精度高くホワイトバランス調整された画像信号を、画像出力部６から出力する。
【００２３】
第１の実施形態と第２の実施形態とでは固体撮像素子の前面に配されるカラーフィルタとして、図２に示すようなベイヤー配列のカラーフィルタが用いられる。ベイヤー配列では、Ｒ（赤）ライン（Ｒ（赤）が配置された画素列）ではＲ（赤）信号,Ｇｒ（緑）信号,Ｒ（赤）信号,Ｇｒ（緑）信号・．．．が交互に配置され、Ｂ（青）ライン（Ｂ（青）が配置された画素列）ではＧｂ（緑）信号,Ｂ（青）信号,Ｇｂ（緑）信号,Ｂ信号・．．．が交互に配置される。
【００２４】
（第１の実施形態）
本発明の第１の実施形態について詳細に説明する。図３は第１の実施形態に係る画像処理装置を詳細に説明した図である。図１における補正データは図３の加算用補正データに対応する。加算用補正データは、予め設定されたうえで加算用補正データ記憶器１４に記録されている。画像信号演算器２は乗算器１１から構成される。補正データ演算器４は乗算器１５から構成される。ゲイン選択器７はゲインデータ記憶器１２とセレクタ１３とから構成される。補正器５は、加算器１６と減算器１９と減算用補正データ記憶器１８とセレクタ１７とクリップ回路２０とから構成される。
【００２５】
以下、本実施形態の画像処理装置の動作を説明する。まず、画像入力部１から、ベイヤー配列された単板の固体撮像素子の画像信号が入力される。この画像信号のＲラインでは、Ｒ信号、Ｇｒ信号、Ｒ信号，Ｇｒ信号・．．．が交互に入力され、ＢラインではＧｂ信号，Ｂ信号，Ｇｂ信号，Ｂ信号・．．．が交互に入力される。この画像信号には暗電流が重畳している。
【００２６】
乗算器１１は、入力される画像信号にゲインを乗算する。即ち、Ｒ信号にはＲゲインが、Ｇｒ信号にはＧｒゲインが、Ｂ信号にはＢゲインが、Ｇｂ信号にはＧｂゲインが、それぞれ乗算される。ここで乗算されるゲインは、入力される画像信号の色に応じてセレクタ１３によって選択されてゲイン記録器１２から読み出される。
【００２７】
上記ゲイン乗算処理を、図４を参照して説明する。白色の被写体の入力信号レベルが光源の色温度により、Ｒ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝３：６：６：２で入力されるものとする。しかしながら、ここに暗電流のノイズレベルが１の割合で重畳され、暗電流のノイズを含めた画像信号の入力信号レベルは図４における（ａ）に示すように、Ｒ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝４：７：７：３となる。ここで、Ｒゲイン＝２,Ｇｒゲイン＝Ｇｂゲイン＝１,Ｂゲイン＝３を設定して画像信号に乗算する。ゲイン乗算後のＲ信号,Ｇｒ信号,Ｇｂ信号,Ｂ信号を各々Ｒ１信号,Ｇｒ１信号,Ｇｂ１信号,Ｂ１信号とすると、
Ｒ１＝４×２＝８
（画像信号レベルは６、ノイズレベルは２）
Ｇｒ１＝Ｇｂ１＝７×１＝７
（画像信号レベルは６、ノイズレベルは１）
Ｂ１＝３×３＝９
（画像信号レベルは６、ノイズレベルは３）
となる。
【００２８】
したがって、乗算器１１の出力は図４における（ｂ）に示すようになる。
【００２９】
図３に戻って説明を続ける。加算用補正データＣ０１が加算用補正データ記憶器１４から読み出されて乗算器１５に入力される。加算用補正データＣ０１は想定される暗電流のノイズレベルに応じ設定されて予め加算用補正データ記憶器１４に記憶されている。乗算器１５は、入力される加算用補正データＣ０１に、ゲインを乗算する。ここで乗算されるゲインは、入力される画像信号の色に応じてセレクタ１３によって選択されてゲインデータ記憶器１２から読み出される。但し、この乗算処理は入力画像信号に対応するゲインを乗算する演算ではなく、同じライン上に位置するもう一つの色（画像信号）のゲインを乗算する演算となる。具体的には、Ｒ信号の場合にはＧｒゲインを、Ｇｒ信号の場合にはＲゲインを、Ｇｂ信号の場合にはＢゲインを、Ｂ信号の場合にはＧｂゲインを、それぞれ加算用補正データＣ０１に乗算する。
【００３０】
上記乗算処理を、図４における（ｃ）,（ｄ）を参照して説明する。加算用補正データＣ０１は暗電流のノイズレベルに応じて１とされる（図４における（ｃ）参照）。乗算後の加算用補正データをＲｃ１１,Ｇｒｃ１１,Ｇｂｃ１１,Ｂｃ１１とすると、
Ｒｃ１１＝Ｃ０１×Ｇｒゲイン＝１×１＝１
Ｇｒｃ１１＝Ｃ０１×Ｒゲイン＝１×２＝２
Ｇｂｃ１１＝Ｃ０１×Ｂゲイン＝１×３＝３
Ｂｃ１１＝Ｃ０１×Ｇｂゲイン＝１×１＝１
となる。
【００３１】
したがって、乗算器１５の出力は図４における（ｄ）に示すようになる。
【００３２】
図３に戻って説明を続ける。加算器１６は、乗算器１１で演算される画像信号に、乗算器１５で演算される加算用補正データＲｃ１１,Ｇｒｃ１１,Ｇｂｃ１１,Ｂｃ１１を加算する。これにより、乗算器１１で演算される画像信号に含まれる暗電流のノイズレベルのアンバランスを、乗算器１５で演算される加算用補正データＲｃ１１,Ｇｒｃ１１,Ｇｂｃ１１,Ｂｃ１１で打ち消して、画像信号以外の信号レベルをライン毎に等しくすることが出来る。
【００３３】
このことを図４における（ｅ）を参照して説明する。加算処理後のＲ信号,Ｇｒ信号,Ｇｂ信号,Ｂ信号を各々Ｒ２信号,Ｇｒ２信号,Ｇｂ２信号,Ｂ２信号とすると、
Ｒ２＝Ｒ１＋Ｒｃ１１＝８＋１＝９
（画像信号レベルは６、［ノイズ＋補正］レベルは３）                                                    
Ｇｒ２＝Ｇｒ１＋Ｇｒｃ１１＝７＋２＝９
（画像信号レベルは６、［ノイズ＋補正］レベルは３）
Ｇｂ２＝Ｇｂ１＋Ｇｂｃ１１＝７＋３＝１０
（画像信号レベルは６、［ノイズ＋補正］レベルは４）
Ｂ２＝Ｂ１＋Ｂｃ１１＝９＋１＝１０
（画像信号レベルは６、［ノイズ＋補正］レベルは４）
となる。
【００３４】
即ち、Ｒラインでは、Ｒ信号,Ｇｒ信号とも、画像信号レベルが６となり、［ノイズ＋補正］レベルが３になる。Ｂラインでは、Ｇｂ信号,Ｂ信号とも、画像信号レベルが６となり、［ノイズ＋補正］レベルが４になる。したがって、加算器１６の出力は図４における（ｅ）に示すようになる。
【００３５】
図３に戻って説明を続ける。ここまでの処理を実施することで、画像信号以外の信号レベル、即ち暗電流の［ノイズ＋補正］レベルをライン毎に一定にしたうえで画像信号にゲインを乗算することで、ホワイトバランスの調整を実現することが出来る。しかしながら、加算用補正データＲｃ１１,Ｇｒｃ１１,Ｇｂｃ１１,Ｂｃ１１を加算することで、結果として［ノイズ＋補正］レベルは高くなっている。また、Ｒラインにおける［ノイズ＋補正］レベルとＢラインにおける［ノイズ＋補正］レベルは互いに異なるレベルになっている。
【００３６】
そこで、画像信号以外の信号レベル（［ノイズ＋補正］レベル）を低くするため、及びＲラインとＢラインとの間で画像信号以外の信号レベルを揃えるために次の処理を行う。即ち、ライン毎にセレクタ１７で選択された減算用補正データＣ１,Ｃ２を減算器１９で減算する。なお、減算用補正データＣ１,Ｃ２は各色のゲインや想定される暗電流のノイズレベルに応じて予め設定されて減算用補正データ記憶器１８に記憶されている。
【００３７】
上記処理を、図４における（ｆ）,（ｇ）を参照して説明する。図４に示す例においては、その（ｆ）に示すように、Ｒラインの減算用補正データＣ１をレベル２とし、Ｂラインの減算用補正データＣ２をレベル３とする。そうすると、減算器１９における減算処理後のＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号を各々Ｒ３信号、Ｇｒ３信号、Ｇｂ３信号、Ｂ３信号とすると、
Ｒ３＝Ｒ２−Ｃ１＝９−２＝７
（画像信号レベルは６、［ノイズ＋補正］レベルは１）
Ｇｒ３＝Ｇｒ２−Ｃ１＝９−２＝７
（画像信号レベルは６、［ノイズ＋補正］レベルは１）
Ｇｂ３＝Ｇｂ２−Ｃ２＝１０−３＝７
（画像信号レベルは６、［ノイズ＋補正］レベルは１）
Ｂ３＝Ｂ２−Ｃ２＝１０−３＝７
（画像信号レベルは６、［ノイズ＋補正］レベルは１）
となる。
【００３８】
したがって、減算器１９の出力は図４における（ｇ）に示すようになる。
【００３９】
図３に戻って説明を続ける。ここまでの処理で、暗電流を含んだ画像信号のホワイトバランスを精度高く補正することが出来たが、演算処理した画像信号レベルは、演算値や入力する画像信号レベルによってはオーバーフロー或いはアンダーフローすることがある。そのため、補正後の画像信号レベルの上限及び下限をクリップ回路２０で制限する。クリップ回路２０でクリップ処理された画像信号は画像出力部６から出力される。
【００４０】
以上の処理によって、暗電流のノイズレベルを含んだ画像信号であっても、適切なホワイトバランス調整が行える。また、ホワイトバランス調整のためのゲイン乗算前にノイズレベルを減算するのではなく、ホワイトバランス調整のためのゲイン乗算後にノイズレベルを調整して信号レベルを揃えているために、被写体の微妙な陰影を失うことなくホワイトバランス調整処理を行うことが可能となる。
【００４１】
尚、本発明は単板の固体撮像素子について説明したが、複数の固体撮像素子を用いた画像処理装置に対応することも可能である。また、ベイヤー配列に限られずあらゆる配列のカラーフィルタにおけるホワイトバランス調整処理に適用可能である。
【００４２】
（第２の実施形態）
本発明の第２の実施形態について、図面を参照しながら説明する。図５は第２の実施形態に係る画像処理装置を詳細に説明した図である。図１における補正データ３は図５においては減算用補正データに対応する。減算用補正データは予め設定されたうえで減算用補正データ記憶器２１に記憶されている。画像信号演算器２は乗算器１１から構成される。補正データ演算器４は乗算器１５から構成される。ゲイン選択器７はゲインデータ記憶器１２とセレクタ１３とから構成される。補正器５は減算器１９とクリップ回路２０とから構成される。
【００４３】
以下、本実施形態の画像処理装置の動作を説明する。まず、画像入力部１から、ベイヤー配列された単板の固体撮像素子の画像信号が入力される。この画像信号のＲラインではＲ信号,Ｇｒ信号,Ｒ信号,Ｇｒ信号・．．．が交互に入力され、Ｂラインでは、Ｇｂ信号，Ｂ信号，Ｇｂ信号，Ｂ信号・．．．が交互に入力される。この画像信号には暗電流のノイズが重畳している。
【００４４】
乗算器１１は、入力される画像信号にゲインを乗算する。即ち、Ｒ信号にはＲゲインが、Ｇｒ信号にはＧｒゲインが、Ｂ信号にはＢゲインが、Ｇｂ信号にはＧｂゲインがそれぞれ乗算される。ここで乗算されるゲインは、入力される画像信号の色に応じてセレクタ１３によって選択されてゲインデータ記憶器１２から読み出される。
【００４５】
上記ゲイン乗算処理を、図６を参照して説明する。白色の被写体の入力信号レベルが光源の色温度により、Ｒ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝３：６：６：２で入力されるものとする。しかしながら、ここに暗電流のノイズレベルが１の割合で重畳され、暗電流のノイズを含めた画像信号の入力信号レベルは図６における（ａ）に示すように、Ｒ信号：Ｇｒ信号：Ｇｂ信号：Ｂ信号＝４：７：７：３となる。ここで、Ｒゲイン＝２,Ｇｒゲイン＝Ｇｂゲイン＝１,Ｂゲイン＝３を設定して画像信号に乗算する。ゲイン乗算後のＲ信号,Ｇｒ信号,Ｇｂ信号,Ｂ信号を各々Ｒ１信号,Ｇｒ１信号,Ｇｂ１信号,Ｂ１信号とすると、
Ｒ１＝４×２＝８
（画像信号レベルは６、ノイズレベルは２）
Ｇｒ１＝Ｇｂ１＝７×１＝７
（画像信号レベルは６、ノイズレベルが１）
Ｂ１＝３×３＝９
（画像信号レベルは６、ノイズレベルが３）
となる。
【００４６】
したがって、乗算器１１の出力は図６における（ｂ）に示すようになる。
【００４７】
図５に戻って説明を続ける。減算用補正データＣ０２が減算用補正データ記憶器２１から読み出されて乗算器１５に入力される。減算用補正データＣ０２は想定される暗電流のノイズレベルに応じて予め減算用補正データ記憶器２１に記憶されている。乗算器１５は、入力される減算用補正データＣ０２に、ゲインを乗算する。ここで乗算されるゲインは、入力される画像信号の色に応じてセレクタ１３によって選択されてゲインデータ記憶器１２から読み出される。但し、この乗算処理は入力画像信号に対応するゲインを乗算する演算ではなく、入力画像信号に対応するゲインとして予め設定されているゲインから１を減算したゲインを乗算する演算となる。具体的には、Ｒ信号の場合には［Ｒゲイン−１］を、Ｇｒ信号の場合には［Ｇｒゲイン−１］を、Ｇｂ信号の場合には［Ｇｂゲイン−１］を、Ｂ信号の場合には［Ｂゲイン−１］を、それぞれ減算用補正データＣ０２に乗算する。
【００４８】
上記乗算処理を、図６における（ｃ）,（ｄ）を参照して説明する。減算用補正データＣ０２は暗電流のノイズレベルに応じて１とされる（図６における（ｃ）参照）。乗算後の減算用補正データをＲｃ１２,Ｇｒｃ１２,Ｇｂｃ１２,Ｂｃ１２とすると、
Ｒｃ１２＝Ｃ０２×（Ｒゲイン−１）＝１×１＝１
Ｇｒｃ１２＝Ｃ０２×（Ｇｒゲイン−１）＝１×０＝０  
Ｇｂｃ１２＝Ｃ０２×（Ｇｂゲイン−１）＝１×０＝０
Ｂｃ１２＝Ｃ０２×（Ｂゲイン−１）＝１×２＝２
となる。
【００４９】
したがって、乗算器１５の出力は図６における（ｄ）に示すようになる。
【００５０】
図５に戻って説明を続ける。減算器１９は、乗算器１１で演算された画像信号から、乗算器１５で演算された減算用補正データＲｃ１２,Ｇｒｃ１２,Ｇｂｃ１２,Ｂｃ１２を減算する。これにより、乗算器１１で演算される画像信号に含まれる暗電流のノイズレベルのアンバランスを、乗算器１５で演算される減算用補正データＲｃ１２,Ｇｒｃ１２,Ｇｂｃ１２,Ｂｃ１２で打ち消して、画像信号以外の信号レベルを等しくすることが出来る。
【００５１】
このことを、図６における（ｅ）を参照して説明する。減算処理後のＲ信号,Ｇｒ信号,Ｇｂ信号,Ｂ信号を各々Ｒ３信号,Ｇｒ３信号,Ｇｂ３信号,Ｂ３信号とすると、
Ｒ３＝Ｒ１−Ｒｃ１２＝８−１＝７
（画像信号レベルは６、［ノイズ＋補正］レベルは１）
Ｇｒ３＝Ｇｒ１−Ｇｒｃ１２＝７−０＝７
（画像信号レベルは６、［ノイズ＋補正］は１）
Ｇｂ３＝Ｇｂ１−Ｇｂｃ１２＝７−０＝７
（画像信号レベルは６、［ノイズ＋補正］は１）
Ｂ３＝Ｂ１−Ｂｃ１２＝９−２＝７
（画像信号レベルは６、［ノイズ＋補正］は１）
となる。
【００５２】
即ち、減算器１９の出力は図６における（ｅ）に示すようになる。
【００５３】
図５に戻って説明を続ける。ここまでの処理を実施することで、暗電流を含んだ画像信号のホワイトバランスの調整を実現することが出来る。しかしながら、減算用補正データＲｃ１２,Ｇｒｃ１２,Ｇｂｃ１２,Ｂｃ１２を減算処理した画像信号レベルは、演算値や入力する画像信号レベルによってはオーバーフロー或いはアンダーフローすることがある。そのため、補正後の画像信号レベルの上限及び下限をクリップ回路２０で制限する。クリップ回路２０でクリップ処理された画像信号は画像出力部６から出力される。
【００５４】
以上の処理によって、暗電流のノイズレベルを含んだ画像信号であっても、適切なホワイトバランス調整処理が行える。また、ホワイトバランスのためのゲイン乗算前にノイズレベルを減算するのではなく、ホワイトバランスのためのゲイン乗算後にノイズレベルを調整して信号レベルを揃えているために、被写体の微妙な陰影を失うことなくホワイトバランス調整処理を行うことが可能となる。
【００５５】
尚、本発明は単板の固体撮像素子について説明したが、複数の固体撮像素子を用いた画像処理装置に対応することも可能である。また、ベイヤー配列に限られずあらゆる配列のカラーフィルタにおけるホワイトバランス調整処理に適用可能である。
【産業上の利用可能性】
【００５６】
本発明の画像処理装置によれば、最適なホワイトバランス調整処理を行うことが可能となるので、固体撮像素子を用いたカメラ（デジタルスチルカメラ、カメラ付き携帯等）に利用可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の画像処理装置の概略を示すブロック図である。
【図２】単板の固体撮像素子のカラーフィルタ配列例を示す図である。
【図３】本発明の画像処理装置の一例を示すブロック図である。
【図４】本発明の画像処理装置の処理を示す図である。
【図５】本発明の画像処理装置の別の一例を示すブロック図である。
【図６】本発明の画像処理装置の別の処理を示す図である。
【図７】従来の画像処理装置を示すブロック図である。
【図８】従来の画像処理装置の処理を示す図である。
【図９】従来の画像処理装置の不具合発生状態を示す図である。
【符号の説明】
【００５８】
１  画像入力          ２  画像信号演算器  ３  補正データ
４  補正データ演算器  ５  補正器          ６  画像出力
１１  乗算器          １２  ゲインデータ  １３  セレクタ
１４  加算用補正データ                    １５  乗算器
１６  加算器          １７  セレクタ      １８  減算用補正データ
１９  減算器          ２０  クリップ回路  ２１  減算用補正データ
【図１】
2005354669.tif 000003
【図２】
2005354669.tif 000004
【図３】
2005354669.tif 000005
【図４】
2005354669.tif 000006
【図５】
2005354669.tif 000007
【図６】
2005354669.tif 000008
【図７】
2005354669.tif 000009
【図８】
2005354669.tif 000010
【図９】
2005354669.tif 000011