(57)【要約】      （修正有）【課題】画像に色ノイズが含まれている場合でも、適正なホワイトバランスの画像が得られる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置は、撮像素子１０と、ＷＢゲイン部２０と、ＯＢ色差取得部３０と、画像色差取得部４０と、白抽出部５０と、ＷＢ制御部６０を有する。ＷＢゲイン部は、撮像素子の出力信号に対して、ホワイトバランスゲインをかける処理を行う。ＯＢ色差取得部は、光学的に遮光されたＯＢ領域１１の出力信号から色差情報を取得する。画像色差取得部は、有効領域１２の撮像画像から色差情報を取得する。白抽出部は、有効領域の色差情報とＯＢ領域の色差情報とに基づいて、有効領域の撮像画像内で無彩色領域と推測される領域を抽出する。ＷＢ制御部は、ＯＢ領域の色差情報を参照し、白抽出部にて抽出された白領域が白色になるようなＷＢゲイン及びＷＢ制御範囲を決定する。【選択図】図１
2020182067.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子上で光学的に遮光された第１の領域の出力信号から色差情報を取得する取得手段と、
前記色差情報に基づいて、前記撮像素子上で光学像を撮像する第２の領域の出力信号から無彩色領域を抽出する範囲と、前記第２の領域の出力信号のホワイトバランスを制御する範囲との、少なくともいずれかの範囲を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記第２の領域の出力信号から輝度情報を取得し、前記取得した輝度情報をも用いて、前記範囲を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、
前記第２の領域の輝度ごとに発生する色ノイズと前記色差情報との相関を示す第１の相関テーブルを有し、
前記取得した輝度情報と前記色差情報とを用いて前記第１の相関テーブルから参照した色ノイズに基づいて、前記範囲を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像が行われた際の撮影条件を取得する条件取得手段を有し、
前記決定手段は、前記撮影条件をも用いて、前記範囲を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記撮影条件と前記第２の領域の輝度ごとに発生する色ノイズと前記色差情報との相関を示す第２の相関テーブルを有し、
前記第２の領域の出力信号から輝度情報を取得し、前記取得した撮影条件と前記取得した輝度情報と前記色差情報とを用いて前記第２の相関テーブルから参照した色ノイズに基づいて、前記範囲を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮影条件は、前記撮像素子の出力信号を増幅するゲインと、前記撮像の際のシャッタースピードと、前記撮像する際の温度との、少なくともいずれかを含むことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
撮影環境の照度を取得する照度取得手段を有し、
前記決定手段は、前記撮影環境の照度をも用いて、前記範囲を決定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記決定手段は、前記撮影環境の照度が所定の照度未満である場合に、前記色差情報に基づいて前記範囲を決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮影環境の色温度を取得する色温度取得手段を有し、
前記決定手段は、前記撮影環境の色温度をも用いて、前記範囲を決定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記決定手段は、予め設定されたホワイトバランス制御範囲を、前記色差情報に基づいて変動させた範囲を、前記ホワイトバランスを制御する範囲として決定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記決定手段は、無彩色領域の白色を中心として設定された白抽出範囲を前記色差情報に基づいて変動させた範囲を、前記無彩色領域を抽出する範囲として決定することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定された前記ホワイトバランスを制御する範囲内で、前記決定された前記無彩色領域を抽出する範囲の色を白にするホワイトバランスゲインを決定する制御手段と、
前記決定されたホワイトバランスゲインを用いて、前記第２の領域の出力信号にホワイトバランスゲイン処理を行うゲイン処理手段と、
を有することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
撮像素子を備えた撮像装置に含まれることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
画像処理装置が実行する画像処理方法であって、
撮像素子上で光学的に遮光された第１の領域の出力信号から色差情報を取得する取得工程と、
前記色差情報に基づいて、前記撮像素子上で光学像を撮像する第２の領域の出力信号から無彩色領域を抽出する範囲と、前記第２の領域の出力信号のホワイトバランスを制御する範囲との、少なくともいずれかの範囲を決定する決定工程と、
を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のホワイトバランスを制御する画像処理技術に関する。
【背景技術】
【０００２】
低照度環境下のように撮像素子への入力レベルが低い場合には、撮像素子の出力信号にゲインを大きくかけて信号を増幅することで適正な信号レベルを得るような方法が、一般的に用いられる。しかし、ゲインを大きくかけた場合、撮像素子から出力される暗電流などのノイズ成分まで増幅されてしまい、本来は存在しない色のノイズが出力されてしまうことがある。撮像素子から出力された信号を画像処理装置で評価する場合、該画像処理装置は、その信号がノイズを含まない信号なのか、ノイズを含む信号なのかを判断することができず、その結果としてノイズに影響された画像を出力してしまうことがある。
【０００３】
また、特許文献１には、撮像素子のオプティカルブラック（ＯＢ）領域から出力される信号を基にホワイトバランスゲインを補正することにより、色のついたノイズを低減可能にする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０９６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術のように、ホワイトバランスゲインを調整して色ノイズを低減させた場合、本来のホワイトバランスゲインとは異なった状態となるため、適正なホワイトバランスを得ることができない。例えば、色ノイズが何かの色に偏っていた場合、それを打ち消すためのホワイトバランスゲインをかけることになるため、全体の色が、本来の色とは別の色に寄ってしまうことになる。
【０００６】
また、画像処理装置は、ホワイトバランスを制御する際、撮像素子から出力された信号をすべて評価するため、色ノイズの信号まで含めて評価してしまう。このように色ノイズの信号まで含めて評価が行われた場合、本来は無彩色領域として抽出すべき領域が有彩色と誤判定されることがある。また、画像処理装置に入力される信号に色ノイズが大きく含まれていた場合、その信号による色は、本来入力される信号レベルによる色とは大きく異なった色となる。また、自動でホワイトバランスを制御した場合において、例えば色ノイズによって画像の色が大きく異なっていると、ホワイトバランスの制御範囲が、本来の制御範囲を超えてしまうことがある。この場合、適正なホワイトバランスの画像が得られなくなる。
【０００７】
そこで、本発明は、画像に色ノイズが含まれている場合であっても、適正なホワイトバランスの画像が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、撮像素子上で光学的に遮光された第１の領域の出力信号から色差情報を取得する取得手段と、前記色差情報に基づいて、前記撮像素子上で光学像を撮像する第２の領域の出力信号から無彩色領域を抽出する範囲と、前記第２の領域の出力信号のホワイトバランスを制御する範囲との、少なくともいずれかの範囲を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像に色ノイズが含まれている場合であっても、適正なホワイトバランスの画像が得られるようになる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成例を示す図である。
【図２】画像処理部における処理のフローチャートである。
【図３】ＯＢ領域に生じた色差の例を示す図である。
【図４】第１の実施形態における白抽出領域の変動例を示す図である。
【図５】ＷＢ制御範囲の変動例を示す図である。
【図６】輝度と色ノイズの関係を示す図である。
【図７】輝度に連動させた白抽出領域の変動例を示す図である。
【図８】輝度と色ノイズの関係例を示す図である。
【図９】撮影条件における輝度と色ノイズの相関例を示す図である。
【図１０】撮影条件に連動させた白抽出領域の変動例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１（Ａ）は、本発明の画像処理装置の一適用例である画像処理部１００と、撮像素子１０とを備えた、第１の実施形態の撮像装置の構成例を示す図である。なお、図１（Ａ）では図示していないが、本実施形態の撮像装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置が通常備えている各種の構成も有している。
【００１２】
第１の実施形態の撮像装置において、撮像素子１０は、不図示の光学系等によって結像された被写体等の光学像を撮像して出力するイメージセンサーである。撮像素子１０は、当該撮像素子上において光学像を撮像して撮像画像を取得可能な有効領域１２と、当該撮像素子上において光学的に遮光された領域であるオプティカルブラック領域（以下、ＯＢ領域１１とする）とを有している。撮像素子１０は、有効領域１２から出力された撮像画像の信号と、ＯＢ領域１１からの出力信号とを、画像処理部１００に送出する。なお、撮像素子１０は、一般的なイメージセンサーと同様にＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色のカラーフィルタも備えている。また、撮像素子１０からの出力信号は、不図示の増幅回路により増幅された後にＡＤ変換器によりデジタル変換されてから画像処理部１００に送られるとする。
【００１３】
画像処理部１００は、ＷＢゲイン部２０、ＯＢ色差取得部３０、画像色差取得部４０、白抽出部５０、及びＷＢ制御部６０を有している。
ＷＢゲイン部２０は、撮像素子１０の出力信号に対して、ホワイトバランスゲインをかけるホワイトバランスゲイン処理を行う。なお、本実施形態の説明では、ホワイトバランスを適宜、ＷＢと表記している。本実施形態の場合、ＷＢゲイン部２０は、撮像素子１０のＯＢ領域１１からの出力信号と有効領域１２から出力された撮像画像の信号とに対し、それぞれＷＢゲインをかける。本実施形態の場合、ＷＢゲイン部２０がＷＢゲインをかける際のＷＢゲイン及びホワイトバランス制御範囲（ＷＢ制御範囲）は、後述するようにしてＷＢ制御部６０により決定される。そして、ＷＢゲイン部２０は、ＯＢ領域１１からの出力信号にＷＢゲインをかけた信号を、ＯＢ色差取得部３０に出力し、有効領域１２からの撮像画像の信号にＷＢゲインをかけた信号を、画像色差取得部４０に出力する。
【００１４】
ＯＢ色差取得部３０は、ＯＢ領域１１の出力信号にＷＢゲインがかけられた信号から、色差情報を取得する。以下、ＯＢ色差取得部３０にて取得された色差情報を、ＯＢ領域の色差情報と表記する。ＯＢ色差取得部３０は、そのＯＢ領域の色差情報を、白抽出部５０とＷＢ制御部６０とに出力する。
画像色差取得部４０は、有効領域１２の撮像画像の信号にＷＢゲインがかけられた信号から、色差情報を取得する。以下、画像色差取得部４０にて取得された色差情報を、有効領域の色差情報と表記する。画像色差取得部４０は、有効領域の色差情報と撮像画像の信号とを、白抽出部５０に出力する。
【００１５】
白抽出部５０は、有効領域の色差情報とＯＢ領域の色差情報とに基づいて、画像色差取得部４０を介して入力された撮像画像から、有効領域１２の撮像画像内で無彩色領域と推測される領域を抽出する。ここで、白抽出部５０は、ＯＢ領域の色差情報を基に、撮像素子１０における色ノイズの信号量を推測して取得する。さらに白抽出部５０は、その取得した色ノイズの信号量と有効領域の色差情報とに基づいて、撮像画像内で無彩色領域を抽出する際に用いる色差の範囲を決定する。そして、白抽出部５０は、無彩色領域を抽出するための色差の範囲を基に、有効領域１２による撮像画像から無彩色領域を抽出する。本実施形態の場合、白抽出部５０は、白色から黒色までの無彩色領域のうち、白領域を抽出するための色差の範囲を決定し、その決定した色差の範囲を基に、撮像画像から白領域を抽出する。以下、白領域を抽出するための色差の範囲を、白抽出範囲と表記する。色ノイズの信号量の推定処理、白抽出範囲の決定処理、及び、白領域の抽出処理の詳細は後述する。そして白抽出部５０は、前述のようにして抽出した白領域を示す情報と、画像色差取得部４０を介して入力された撮像画像の信号とを、ＷＢ制御部６０に出力する。
【００１６】
ＷＢ制御部６０は、ＯＢ色差取得部３０から送られてきたＯＢ領域の色差情報を参照し、白抽出部５０にて抽出された白領域が白色になるようなＷＢゲイン及びＷＢ制御範囲を決定する。ＷＢ制御範囲の詳細は後述する。そして、ＷＢ制御部６０は、それら決定したＷＢゲイン及びＷＢ制御範囲によるＷＢゲイン処理が行われるように、ＷＢゲイン部２０を制御する。これにより、ＷＢゲイン部２０では、ＷＢ制御部６０で決定されたＷＢゲイン及びＷＢ制御範囲に基づくＷＢゲイン処理が行われ、ＷＢゲイン部２０からは、適正なＷＢの撮像画像の信号が出力されることになる。また、ＷＢ制御部６０は、白抽出部５０を介して入力された撮像画像の信号を、後段の不図示の回路等に出力する。
【００１７】
図２は、本実施形態の画像処理部１００において、前述のように色差情報を取得して色ノイズの信号量を推測し、さらに白抽出範囲とＷＢ制御範囲を決定してＷＢゲイン処理を行うまでの処理の流れを示したフローチャートである。
ステップＳ１０において、画像処理部１００のＯＢ色差取得部３０は、撮像素子１０のＯＢ領域１１の出力信号から色差情報を取得する。また、ステップＳ１０において、画像色差取得部４０は、有効領域１２の撮像画像の信号から色差情報を取得する。
【００１８】
次にステップＳ１１において、白抽出部５０は、ＯＢ領域の色差情報を基に、無彩色領域の白領域を抽出する際に用いる色差の範囲である白抽出範囲を、後述するようにして決定する。
そして次のステップＳ１２において、白抽出部５０は、ステップＳ１１で決定した白抽出範囲に基づいて、有効領域１２の撮像画像から白領域を抽出する。
【００１９】
次にステップＳ１３において、ＷＢ制御部６０は、ＯＢ色差取得部３０で取得されたＯＢ領域の色差情報を基に、ＷＢゲインの上限値及び下限値を決定し、後述するようにしてＷＢ制御範囲を決定する。
次にステップＳ１４において、ＷＢ制御部６０は、ステップＳ１３で決定したＷＢ制御範囲内において、ステップＳ１２で得られた白領域を適正な白色にするためにＷＢゲインを制御する。
【００２０】
図３は、図１（Ａ）の画像処理部１００のＯＢ色差取得部３０が、図２のステップＳ１０で取得するＯＢ領域の色差の説明に用いる図である。図３は、いわゆるＬ＊ａ＊ｂ空間における色差（Δａｂ）を表した図であり、ＯＢ領域１１の信号から得られた色差３００の例を示している。ＯＢ領域１１は遮光されている領域であるため、本来ならば完全な黒色であり色差は存在しないはずであるが、図３の例では撮像素子１０の色ノイズによって色差３００が発生しているとする。
【００２１】
図４は、図３に示したようにＯＢ領域に色差３００が発生している場合において、図１（Ａ）の白抽出部５０が図２のステップＳ１１で白領域を抽出する際の白抽出範囲の決定例を示した図である。図４は、図３と同様にＬ＊ａ＊ｂ空間における色差を表した図である。ここで、白領域を抽出する際の白抽出範囲は、本来は無彩色領域の白色を中心とした一定の範囲が設定される。図４の例では、点線矩形で示した領域４００が、無彩色領域の白色を中心とした一定の範囲に設定された白抽出領域を表している。ただし、例えば撮像素子１０の色ノイズに起因した色差が発生していた場合、白抽出領域が無彩色領域の白色を中心とした一定範囲の領域４００であると、撮像画像において本来無彩色領域とされるべき領域が有彩色として誤って判定されることがある。この場合、有効領域１２の撮像画像の信号にＷＢゲイン処理を行った際に色が大きく変化してしまう。
【００２２】
このため、本実施形態では、撮像素子１０の色ノイズに起因した色差の方向に、白抽出領域を変動（移動）させるようにする。本実施形態では、ＯＢ領域１１の色差情報を基に、撮像素子１０の色ノイズを推定し、その推定した色ノイズに基づいて白抽出領域を変動させる。例えば図３に示したように色ノイズによってＯＢ領域に色差３００が発生している場合、白抽出部５０は、その色ノイズに起因する色差３００の方向に対応させて、図４中の矢印４１０で示す方向に変動させた白抽出領域４０１を決定する。すなわち白抽出部５０は、無彩色領域の白色を中心とした一定の範囲に設定された白抽出領域４００を、色ノイズに起因する色差３００の方向に対応させて移動させるように補正することで白抽出領域４０１を決定する。これにより、撮像素子１０に色ノイズが発生している場合においても、白抽出部５０は、有彩色の領域を誤って白領域として抽出することなく、無彩色の領域を白領域として抽出することが可能となる。
【００２３】
図５は、図３に示したように色ノイズによってＯＢ領域に色差３００が発生している場合において、図１（Ａ）のＷＢ制御部６０が図２のステップＳ１３で決定するＷＢ制御範囲の例を示した図である。図５の例は、ＷＢゲイン処理として、ＲＧＢの三原色の信号のうち、例えばＲとＢの信号にゲインをかける処理が行われる場合のＷＢ制御範囲を表している。ＷＢ制御範囲は、一般的に、ＷＢゲイン処理によって有彩色を無彩色にまで引き込んでしまわないような範囲となされている。図５の例では、点線で囲った範囲５００が一般的に設定されるＷＢ制御範囲を表しているとする。ここで、撮像素子１０に色ノイズが発生していて、撮像画像の信号に色ノイズが乗った状態になると、その色ノイズを無くす方向にＷＢゲインが制御されることになる。しかしながら、ＷＢ制御範囲が図５に示した範囲５００のように固定された範囲であると、例えばＷＢ制御範囲の端部で十分にＷＢゲインを制御することができなくなる場合がある。
【００２４】
このため、本実施形態では、撮像素子１０の色ノイズ、つまりＯＢ領域１１の色差情報から推測される色ノイズを基に、ＷＢ制御範囲を変動（移動）させる。例えば図３に示したように色ノイズによってＯＢ領域に色差３００が発生している場合、ＷＢ制御部６０は、その色ノイズに起因する色差３００の方向に対応させて、図５中の矢印５１０で示す方向に変動させたＷＢ制御範囲５０１を決定する。すなわちＷＢ制御部６０は、図５に示した固定されたＷＢ制御範囲５００を、色ノイズに起因する色差３００の方向に対応させて移動させるように補正することでＷＢ制御範囲５０１を決定する。これにより、撮像素子１０に色ノイズが発生していても、ＷＢ制御部６０は、ＷＢゲイン部２０において適正なＷＢが得られるまで、ＷＢゲインを制御することが可能となる。
【００２５】
なお本実施形態では、ＯＢ領域１１の色差情報から推測される色ノイズを基に、白抽出領域とＷＢ制御範囲とを変動させる例を挙げたが、白抽出領域とＷＢ制御範囲の一方のみを変動させてもよい。すなわち画像処理部１００は、無彩色領域の白色を中心とした一定の範囲を変動させるように補正して白抽出範囲を決定する処理と、予め設定された固定のＷＢ制御範囲を変動させるように補正してＷＢ制御範囲を決定する処理との、少なくともいずれかを行う。
【００２６】
以上説明したように本実施形態の画像処理部１００は、撮像素子１０のＯＢ領域１１の出力信号から色差を取得し、その色差から撮像素子１０における色ノイズの信号量を推測する。そして、画像処理部１００は、その推測した色ノイズの信号量を基に、無彩色領域（白領域）の抽出範囲とＷＢ制御範囲とを決定する。これにより、本実施形態によれば、適正なＷＢの画像の取得が可能となる。
【００２７】
＜第２の実施形態＞
以下、図６及び図７を参照して、本発明に係る第２の実施形態の画像処理装置について説明する。第２の実施形態の画像処理装置の構成は、図１（Ａ）に示した撮像装置の画像処理部１００と同様であるため、構成の図示と説明は省略する。また第２の実施形態の画像処理部１００において、ＯＢ領域１１の色差情報から色ノイズの信号量を推測し、白抽出範囲とＷＢ制御範囲を決定してＷＢゲイン処理を行うまでの流れは、基本的に図２のフローチャートと同様であるため、その説明も省略する。
【００２８】
第２の実施形態の画像処理部１００は、ＯＢ領域１１の信号から色差情報を取得するのに加え、有効領域１２の撮像画像の信号から輝度情報をも取得し、その輝度情報も加味して色ノイズの信号量を推測し、白抽出範囲とＷＢ制御範囲とを決定する。なお、ＷＢゲイン処理については第１の実施形態と同様であるためその説明は省略する。
【００２９】
図６は、撮像素子１０の撮像画像における輝度Ｌのレベルと、色ノイズにおける色差Δａｂのレベルとの関係を示した図である。図６において、点線で示した矩形部分６０１は、撮像素子１０の色ノイズにおける、輝度Ｌと色差Δａｂのレベルの関係を表している。色ノイズは、前述した第１の実施形態同様にＯＢ領域１１の色差情報から推測可能である。ここで、輝度と色ノイズとには関係性があり、図６に示すように、ＯＢ領域１１のような暗部領域では色ノイズが多く出る傾向にあり、一方、有効領域１２では直線６１０で示すように輝度が高くなるほど色ノイズが少なくなる傾向にある。すなわち、色ノイズによる影響は、暗部領域では相対的に大きくなり、一方、輝度が高くなるほど相対的に小さくなる。第２の実施形態の場合、輝度Ｌのレベルごとに発生する色ノイズと、ＯＢ領域１１の色差Δａｂのレベルとの関係を表す情報を、相関テーブルとして保持しておく。
【００３０】
そして、白抽出範囲を決定する際に、白抽出部５０は、画像色差取得部４０を介した撮像画像の信号から輝度を取得し、その輝度とＯＢ領域１１の色差情報とを基に相関テーブルを参照することで、輝度Ｌのレベルに応じた色ノイズの信号量を取得する。そして、白抽出部５０は、その輝度Ｌのレベルに応じた色ノイズの信号量を基に、色抽出範囲を変動させる際の変動量を調整する。例えば、輝度Ｌのレベルが高くなるほど色ノイズの信号量は相対的に小さくなるため、白抽出部５０は、輝度Ｌのレベルが高くなるほど白抽出範囲を変動させる際の変動量を相対的に小さくする。逆に、輝度Ｌのレベルが低くなるほど色ノイズの信号量は相対的に大きくなるため、白抽出部５０は、輝度Ｌのレベルが低くなるほど白抽出範囲を変動させる際の変動量を相対的に大きくする。つまり、白抽出部５０は、輝度Ｌのレベルが低くなるほど、色抽出範囲の変動量を、前述した第１の実施形態で説明したようにＯＢ領域１１の色差情報に応じた変動量に近づけるように調整する。逆に、白抽出部５０は、輝度Ｌのレベルが高くなるほど、色抽出範囲の変動量を、ＯＢ領域１１の色差情報に応じた変動量から減らすように調整する。
【００３１】
図７は、第２の実施形態において、輝度に連動させて白抽出範囲を変動させる様子を示した図である。図７は前述した図４と同様に表される図であり、図中の点線矩形で示した領域７００が、無彩色領域の白色を中心とした一定の範囲に設定された白抽出領域を表している。また図７の矢印７１０は白抽出範囲の変動方向を示している。そして図７中に実線矩形で示した二つの領域７０１と領域７０２のうち、領域７０１は輝度Ｌのレベルが高い場合の白抽出領域を表し、領域７０２は輝度Ｌのレベルが低い場合の白抽出領域を表している。すなわち輝度Ｌのレベルが低い場合には色ノイズの信号量が相対的に大きくなるため、輝度Ｌのレベルが低い場合の白抽出領域７０２は、輝度Ｌのレベルが高い場合の白抽出領域７０１よりも点線矩形の白抽出領域７００からの変動量が相対的に大きくなっている。逆に、輝度Ｌのレベルが高い場合には色ノイズの信号量が相対的に小さくなるため、輝度Ｌのレベルが高い場合の白抽出領域７０１は、輝度Ｌのレベルが低い場合の白抽出領域７０２よりも、点線矩形の白抽出領域７００からの変動量が相対的に小さくなる。
【００３２】
ここまでの説明では、白抽出領域の決定処理を例に挙げたが、本実施形態では、ＷＢ制御部６０においてＷＢ制御範囲を決定する際にも前述同様に輝度Ｌのレベルを加味する。なお、ＷＢ制御部６０は、白抽出部５０から輝度の情報を受け取っても良いし、撮像画像の信号から輝度を取得してもよい。また、ＷＢ制御範囲を決定する際にも、前述同様の輝度レベルと色ノイズのレベルとの関係を表す相関テーブルを用いることができる。
【００３３】
すなわち、ＷＢ制御部６０は、ＷＢ制御範囲を決定する際、輝度ＬのレベルとＯＢ領域１１の色差情報とに基づいて、輝度Ｌのレベルに応じた色ノイズの信号量を取得し、その色ノイズの信号量を基に、ＷＢ制御範囲を変動させる際の変動量を調整する。例えば、輝度Ｌのレベルが高くなるほど色ノイズの信号量は相対的に小さくなるため、ＷＢ制御部６０は、輝度Ｌのレベルが高くなるほどＷＢ制御範囲を変動させる際の変動量を相対的に小さくする。一方、輝度Ｌのレベルが低くなるほど色ノイズの信号量は相対的に大きくなるため、ＷＢ制御部６０は、輝度Ｌのレベルが低くなるほどＷＢ制御範囲を変動させる際の変動量を相対的に大きくする。つまり、ＷＢ制御部６０は、輝度Ｌのレベルが低くなるほど、ＷＢ制御範囲の変動量を、前述した第１の実施形態で説明したように、ＯＢ領域１１の色差情報に応じた変動量に近づけるように調整する。逆に、輝度Ｌのレベルが高くなるほど、ＷＢ制御部６０は、ＷＢ制御範囲の変動量を、ＯＢ領域１１の色差情報に応じた変動量から減らすように調整する。
【００３４】
なお、第２の実施形態においても第１の実施形態と同様に、画像処理部１００は、白抽出領域とＷＢ制御範囲とのいずれか一方のみを変動させてもよい。
前述したように第２の実施形態の場合、画像処理部１００は、撮像素子１０のＯＢ領域１１の色差情報に、有効領域１２の撮像画像の輝度情報を加味して、色ノイズの信号量を推測し、白抽出範囲とＷＢ制御範囲とを決定する。第２の実施形態によれば、輝度Ｌのレベルに応じて白抽出領域とＷＢ制御範囲とが決定するため、第１の実施形態の場合よりもさらに適正なＷＢ制御が可能となる。
【００３５】
＜第３の実施形態＞
以下、図１（Ｂ）を参照して、本発明に係る第３の実施形態の画像処理装置について説明する。第３の実施形態において、図１（Ｂ）の各構成要素のうち、図１（Ａ）と同じ構成要素には同一の参照符号を付して、それらの説明は省略する。
第３の実施形態に係る画像処理部１００は、前述した実施形態の構成に加えて、照度取得部７０と色温度取得部８０の少なくとも一方を備えている。
【００３６】
照度取得部７０は、本実施形態の撮像装置の撮影環境における照度を取得する。なお、照度取得部７０は、撮像装置に備えられている照度センサーが検出した照度を取得してもよいし、撮像素子１０の有効領域１２の出力信号を基に照度を計測して取得してもよい。そして、照度取得部７０は、取得した照度の情報を、白抽出部５０及びＷＢ制御部６０に出力する。
【００３７】
色温度取得部８０は、本実施形態の撮像装置の撮影環境における光源の色温度を取得する。なお、色温度取得部８０は、撮像素子１０の有効領域１２の出力信号から色温度を取得してもよいし、例えば撮像装置に用意されている光源選択メニューの中からユーザが選択した光源に応じた色温度の情報を取得してもよい。そして、色温度取得部８０は、取得した色温度の情報を、白抽出部５０及びＷＢ制御部６０に出力する。
なお、これら照度の取得と光源の色温度の取得は、例えば白抽出部５０が行ってもよい。
【００３８】
第３の実施形態の白抽出部５０は、照度の情報が入力された場合、その照度の情報をも用いて、白抽出領域を決定する。第３の実施形態の場合の白抽出部５０は、照度の情報を基に、撮影環境の照度が、適正な露出及び適正なホワイトバランスを得るのに十分な所定の照度以上であるかを判定する。そして、白抽出部５０は、撮影環境の照度が適正な露出及び適正なホワイトバランスを得るのに十分な照度である場合には、前述した無彩色領域の白色を中心とした一定の範囲に設定された領域を、白抽出領域として決定する。一方、白抽出部５０は、照度が適正な露出及び適正なホワイトバランスを得るのに十分な所定の照度未満である場合には、前述の実施形態で説明したようにＯＢ領域の色差情報と有効領域の色差情報等に基づいて白抽出領域を決定する。
【００３９】
また、第３の実施形態のＷＢ制御部６０は、照度の情報が入力された場合、その照度の情報をも用いて、ＷＢ制御範囲を決定する。第３の実施形態の場合のＷＢ制御部６０は、照度の情報を基に、撮影環境の照度が適正な露出及び適正なホワイトバランスを得るのに十分な照度であるかを判定する。そして、ＷＢ制御部６０は、撮影環境の照度が適正な露出及び適正なホワイトバランスを得るのに十分な照度である場合、前述した予め設定されている固定の範囲をＷＢ制御範囲として決定する。一方、ＷＢ制御部６０は、照度が適正な露出及び適正なホワイトバランスを得るのに十分な照度でない場合には、前述の実施形態で説明したようにＯＢ領域の色差情報と有効領域の色差情報等に基づいてＷＢ制御範囲を決定する。
【００４０】
また第３の実施形態において、白抽出部５０は、光源の色温度の情報が供給された場合、無彩色領域の白色を中心として設定される一定の範囲の白抽出領域として、その色温度に適応した白抽出範囲を用いる。そして、白抽出部５０は、光源の色温度に適応した白抽出範囲を、前述したＯＢ領域の色差情報に基づいて変動させるように補正した白抽出範囲を決定する。なお、白抽出部５０は、照度と色温度の両方の情報が供給された場合には、それら照度と色温度の両情報を基に、白抽出領域を決定してもよい。
【００４１】
またＷＢ制御部６０は、光源の色温度の情報が供給された場合、予め設定された固定のＷＢ制御範囲として、その色温度に適応したＷＢ制御範囲を用いる。そして本実施形態のＷＢ制御部６０は、この光源の色温度に適応したＷＢ制御範囲を、前述したＯＢ領域の色差情報に基づいて変動させるように補正したＷＢ制御範囲を決定する。なお、ＷＢ制御部６０は、照度と色温度の両方の情報が供給された場合には、それら照度と色温度の両情報を基に、白抽出領域を決定してもよい。
【００４２】
なお、前述した照度の情報に基づく白抽出領域の決定とＷＢ制御範囲の決定は、いずれか一方のみが行われてもよいし、両方が行われてもよい。また、色温度の情報に基づく白抽出領域の決定とＷＢ制御範囲の決定は、いずれか一方のみが行われてもよいし、両方が行われてもよい。さらに、前述した照度の情報に基づく白抽出領域とＷＢ制御範囲の決定と、色温度の情報に基づく白抽出領域とＷＢ制御範囲の決定は、いずれか一方のみが行われてもよい。
【００４３】
以上説明したように、第３の実施形態の場合、画像処理部１００は、照度と光源の色温度をも加味して白抽出範囲とＷＢ制御範囲の決定を行う。第３の実施形態によれば、照度と光源の色温度をも加味した適正なＷＢ制御が可能となる。
【００４４】
＜第４の実施形態＞
以下、図１（Ｃ）と図８、図９及び図１０を参照して、本発明に係る第４の実施形態の画像処理装置について説明する。第４の実施形態において、図１（Ｃ）の各構成要素のうち、前述した図１（Ａ）又は図１（Ｂ）と同じ構成要素には同一の参照符号を付して、それらの説明は省略する。
第４の実施形態に係る画像処理部１００は、前述した実施形態の構成に加えて、さらに条件取得部９０を備えている。なお、図１（Ｃ）の構成は図１（Ｂ）と同様の照度取得部７０と色温度取得部８０も備えているが、第４の実施形態の画像処理部１００はそれらを備えていなくてもよい。条件取得部９０は、撮像装置の撮影条件として、撮像素子１０の出力信号を増幅する際のゲイン値、撮影時におけるシャッタースピード、及び、撮像素子の表面もしくは近傍の温度を取得する。
【００４５】
第４の実施形態の画像処理部１００は、前述の各実施形態で説明した色差、輝度、照度、及び色温度の情報に、さらに条件取得部９０が取得した撮影条件をも加味して、色ノイズの信号量を推測して、白抽出範囲とＷＢ制御範囲を決定する。ＷＢゲイン処理については第１の実施形態と同様であるためその説明は省略する。
【００４６】
図８は、ゲイン値、シャッタースピード、及び温度の撮影条件のうちいずれか一つの条件もしくは二つ以上の条件が組み合わされた、ある撮影条件において、輝度と色ノイズレベルの関係例を示した図である。図８において、点線で示した矩形部分８０１は、撮像素子１０の色ノイズにおける輝度Ｌと色差Δａｂのレベルを表している。色ノイズは、第１の実施形態同様にＯＢ領域１１の色差情報から推測可能である。ここで、撮像素子１０の有効領域１２から得られた撮像画像に含まれる色ノイズの傾向は、撮影条件によって異なる。前述した第２の実施形態では、図６に示した輝度Ｌと色ノイズの関係からわかるように、輝度Ｌが上がれば色ノイズが少なくなるため、有効領域１２の輝度Ｌに応じた制御を行っている。しかしながら、撮影条件によっては、輝度と色ノイズのレベルの関係は、前述の図６の直線６１０で表されるような関係にならないことがある。すなわち撮影条件よって、輝度と色ノイズのレベルの関係は、図８中の曲線８１０で表されるような関係になることがある。
【００４７】
図９は、ある撮影条件において、輝度Ｌと色ノイズの色差Δａｂと相関関係を表した図である。図９中の曲線９１０は、ある撮影条件において、図中に白丸で示した輝度毎の色ノイズの色差の傾向を表している。第４の実施形態の場合、白抽出部５０とＷＢ制御部６０は、条件取得部９０が取得可能な各撮影条件のそれぞれについて、図９の曲線９１０で表されるような輝度Ｌと色ノイズの色差Δａｂと相関関係の情報を格納した相関テーブルを事前に保持している。
【００４８】
第４の実施形態の場合、白抽出部５０は、その相関テーブルの情報を参照して、取得した撮影条件において有効領域１２の撮像画像に色ノイズがどの程度含まれているかを推測し、その推測した色ノイズに応じて前述の実施形態同様に白抽出範囲を変動させる。同様に、ＷＢ制御部６０は、相関テーブルの情報を参照することで、取得した撮影条件において有効領域１２の撮像画像に色ノイズがどの程度含まれているかを推測し、その推測した色ノイズに応じて前述の実施形態同様にＷＢ制御範囲を変動させる。
【００４９】
図１０（Ａ）と図１０（Ｂ）は、取得した撮影条件に連動して白抽出領域の変動させた例を示した図である。また図１０（Ａ）と図１０（Ｂ）中の点線矩形で示した領域１０００は、無彩色領域の白色を中心とした一定の範囲に設定された白抽出領域を表している。図１０（Ｂ）は、ある撮影条件において、有効領域１２による撮像画像の輝度がＯＢ領域１１に近い低輝度であった場合の白抽出領域の変動例を示している。図１０（Ｂ）の場合、色ノイズの傾向がＯＢ領域１１における色差の傾向と変化がないため、白抽出部５０は、前述した実施形態と同様に、色ノイズに応じて、白抽出領域１０００からの変動量が相対的に大きい白抽出領域１００２を決定する。なお、図１０（Ｂ）の矢印１０１０は白抽出領域の変動方向を示している。一方、図１０（Ａ）は、ある撮影条件において、有効領域１２による撮像画像の輝度がＯＢ領域１１より高い輝度であった場合の白抽出領域の変動例を示している。図１０（Ａ）の場合、色ノイズの傾向とＯＢ領域１１における色差傾向とが異なるため、白抽出部５０は、ＯＢ領域１１の色差情報に加え、図９に示したような撮影条件と輝度に応じた色ノイズの色差の傾向を基に、白抽出範囲を決定する。なお、図１０（Ｂ）の矢印１０１０は白抽出領域の変動方向を示している。
【００５０】
ここまでの説明では、白抽出領域の決定処理を例に挙げたが、ＷＢ制御範囲を決定する際にも前述同様に撮影条件を加味する。すなわち、ＷＢ制御範囲を決定する際、ＷＢ制御部６０は、撮影条件を加味して、ＷＢ制御範囲を決定する。
また、これら撮影条件を加味した白抽出領域の決定とＷＢ制御範囲の決定は、いずれか一方のみが行われてもよいし、両方が行われてもよい。
以上説明したように、第４の実施形態の場合、画像処理部１００は、撮影条件を加味して白抽出範囲の決定とＷＢ制御範囲の決定とを行うことで、撮影条件をも加味した適正なＷＢ制御が可能となる。
【００５１】
以上、本発明の各実施形態について詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
前述した各実施形態の画像処理部に係る各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェアモジュールとして構成されていてもよい。また、一部がハードウェア構成で残りがソフトウェアモジュールとして構成されていてもよい。このソフトウェアモジュールを構成するためのプログラムは、予め用意されて内部メモリ等に記憶されている場合だけでなく、外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
前述の実施形態の撮像装置は、デジタルカメラやデジタルビデオカメラの他に、監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、スマートフォンやタブレット端末のカメラ等に適用可能である。
【００５２】
本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５３】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５４】
１０：撮像素子、１１：ＯＢ領域、１２：有効領域、２０：ＷＢゲイン部、３０：ＯＢ色差取得部、４０：画像色差取得部、５０：白抽出部、６０：ＷＢ制御部
【図１】
2020182067.tif 000003
【図２】
2020182067.tif 000004
【図３】
2020182067.tif 000005
【図４】
2020182067.tif 000006
【図５】
2020182067.tif 000007
【図６】
2020182067.tif 000008
【図７】
2020182067.tif 000009
【図８】
2020182067.tif 000010
【図９】
2020182067.tif 000011
【図１０】
2020182067.tif 000012