(57)【要約】【課題】種々の撮影環境においてホワイトバランスの補正精度を向上させる撮像装置を提供する。【解決手段】撮像装置は、撮像手段と、第１の判定手段と、第２の判定手段と、色補正手段と、を備える。第１の判定手段は、撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する。第２の判定手段は、撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する。色補正手段は、第１の判定手段の判定結果と第２の判定手段の判定結果に基づき可視光画像の色補正に用いる画素を選択して、可視光画像の色を補正する。【選択図】図１
2014216897.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する第１の判定手段と、
前記撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する第２の判定手段と、
前記第１の判定手段の判定結果と前記第２の判定手段の判定結果に基づき前記可視光画像の色補正に用いる画素を選択して、前記可視光画像の色を補正する色補正手段と、
を備える撮像装置。
【請求項２】
前記色補正手段は、前記可視光画像のホワイトバランスを補正する請求項１の撮像装置。
【請求項３】
前記第１の判定手段は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定手段は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正手段は、前記除外色領域と前記除外赤外線輝度領域の重複領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する請求項２の撮像装置。
【請求項４】
前記第１の判定手段は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定手段は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正手段は、前記除外色領域と前記除外赤外線輝度領域の少なくともいずれかに含まれる領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する請求項２の撮像装置。
【請求項５】
前記色補正手段は、
前記除外領域が除外された前記可視光画像を構成する画素それぞれの色信号レベルを、それぞれの色ごとに積算し、前記色ごとの積算値から得られる平均値が一致するように、それぞれの色ごとの調整ゲインを生成する請求項３又は４の撮像装置。
【請求項６】
前記色補正手段は、前記可視光画像を構成する画素それぞれの色信号レベルに、対応する前記調整ゲインを乗ずることで、前記可視光画像のホワイトバランスを補正する請求項５の撮像装置。
【請求項７】
前記撮像手段は、レンズより入射される可視光から前記可視光画像を生成する撮像素子と、レンズより入射される赤外光から前記赤外光画像を生成する撮像素子と、を含んで構成される請求項１乃至６のいずれか一項に記載の撮像装置。
【請求項８】
撮像手段を備える撮像装置を制御する制御方法であって、
前記撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する第１の判定工程と、
前記撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する第２の判定工程と、
前記第１の判定工程の判定結果と前記第２の判定工程の判定結果に基づき、前記可視光画像の色補正に用いる画素を選択して、前記可視光画像の色を補正する色補正工程と、
を含む撮像装置の制御方法。
【請求項９】
前記色補正工程は、前記可視光画像のホワイトバランスを補正する請求項８の撮像装置の制御方法。
【請求項１０】
撮像手段を備える撮像装置を制御するコンピュータに実行させるプログラムであって、
前記撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する第１の判定処理と、
前記撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する第２の判定処理と、
前記第１の判定処理の判定結果と前記第２の判定処理の判定結果に基づき、前記可視光画像の色補正に用いる画素を選択して、前記可視光画像の色を補正する色補正処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。特に、ホワイトバランスを自動的に調整する撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置には、ホワイトバランスを補正する機能が必要である。
【０００３】
ここで、ホワイトバランスを補正する方法の１つとして、グレーワールド仮説に基づいたホワイトバランス補正の方法（以下、グレーワールド方式と表記する）が存在する。グレーワールド仮説とは、撮影される１画面中の色を平均すれば、無彩色（フラット）に近づくという仮説である。グレーワールド方式では、画面全体の色成分を用いてその平均値を計算し、各色成分に適切なゲインを与えることで、各色成分の平均値が等しくするように制御する。
【０００４】
また、特許文献１において、白色もしくは白色に近い被写体からの信号を用いるホワイトバランス補正方法（以下、白色領域検出方法と表記する）が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０６−０９８３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
【０００７】
上述のグレーワールド方式は、撮影シーンに存在する被写体の色が平均的にはフラットに近いというグレーワールドと呼ばれる仮定の下では有効である。即ち、撮像装置の画面に映る色に偏りがなければ、グレーワールド方式によるホワイトバランスの補正は高い精度で行える。しかし、被写体や撮影時の環境によっては、グレーワールド仮説は成立しないため、ホワイトバランスの補正にずれが生じる（ホワイトバランスの補正精度が悪い）。
【０００８】
また、特許文献１が開示する白色領域検出方法では、完全な白色領域を特定するのが困難という問題がある。白色に近い色であっても、それは完全な白色ではなく、また、光源の色温度は、光源ごとに異なるためである。従って、完全な白色ではない色を基準とすれば、ホワイトバランスの補正にずれが生じる。さらに、被写体によっては、白色領域が少ない場合もある。このような場合には、白色領域検出方法は使用できない。
【０００９】
以上の状況を鑑み、本発明は、種々の撮影環境においてホワイトバランスの補正精度を向上させることに寄与する撮像装置、撮像装置の制御方法及びプログラムを、提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の視点によれば、撮像手段と、前記撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する第１の判定手段と、前記撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する第２の判定手段と、前記第１の判定手段の判定結果と前記第２の判定手段の判定結果に基づき前記可視光画像の色補正に用いる画素を選択して、前記可視光画像の色を補正する色補正手段と、を備える撮像装置が提供される。
【００１１】
本発明の第２の視点によれば、撮像手段を備える撮像装置を制御する制御方法であって、前記撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する第１の判定工程と、前記撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する第２の判定工程と、前記第１の判定工程の判定結果と前記第２の判定工程の判定結果に基づき、前記可視光画像の色補正に用いる画素を選択して、前記可視光画像の色を補正する色補正工程と、を含む撮像装置の制御方法が提供される。
なお、本方法は、撮像手段を備える撮像装置の制御方法という、特定の機械に結びつけられている。
【００１２】
本発明の第３の視点によれば、撮像手段を備える撮像装置を制御するコンピュータに実行させるプログラムであって、前記撮像手段が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する第１の判定処理と、前記撮像手段が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する第２の判定処理と、前記第１の判定処理の判定結果と前記第２の判定処理の判定結果に基づき、前記可視光画像の色補正に用いる画素を選択して、前記可視光画像の色を補正する色補正処理と、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【００１３】
本発明の各視点によれば、種々の撮影環境においてホワイトバランスの補正精度を向上させることに寄与する撮像装置、撮像装置の制御方法及びプログラムが、提供される。
【図面の簡単な説明】
【００１４】
【図１】一実施形態の概要を説明するための図である。
【図２】第１の実施形態に係る撮像装置１０の正面図の一例を示す図である。
【図３】撮像装置１０の内部構成の一例を示す図である。
【図４】画像信号処理部５０の内部構成の一例を示す図である。
【図５】画像信号処理部５０における画像信号生成プロセスの一例を示すフローチャートである。
【図６】除外領域信号の生成プロセスの一例を示すフローチャートである。
【図７】除外領域の一例を示す図である。
【発明を実施するための形態】
【００１５】
初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
【００１６】
上述のように、種々の撮影環境においてホワイトバランスの補正精度を向上させる撮像装置が望まれる。
【００１７】
そこで、一例として図１に示す撮像装置１００を提供する。撮像装置１００は、撮像手段１０１と、第１の判定手段１０２と、第２の判定手段１０３と、色補正手段１０４と、を備える。第１の判定手段１０２は、撮像手段１０１が出力する可視光画像に基づき、色補正から除外する画素の位置を判定する。第２の判定手段１０３は、撮像手段１０１が出力する赤外光画像に基づき、色補正から除外する画素の位置を判定する。色補正手段１０４は、第１の判定手段１０２の判定結果と第２の判定手段１０３の判定結果に基づき可視光画像の色補正に用いる画素を選択して、可視光画像の色を補正する。
【００１８】
撮像装置１００は、可視光から可視光画像を生成する可視光カメラと、赤外線から赤外光画像を生成する赤外線カメラを併用し、色補正（例えば、ホワイトバランスの補正）の精度を悪化させる被写体領域を抽出する。その後、撮像装置１００は、色補正の精度を悪化させる被写体領域を除外した後の可視光画像を用いて色補正を行う。例えば、青空は赤（Ｒ）成分が、他の成分（緑（Ｇ）成分、青（Ｂ）成分）と比較して少ないので、被写体領域に青空を含む画像にグレーワールド方式を適用するとホワイトバランスの補正をした結果の画像は赤味方向にずれてしまう。一方、青空には、近赤外線成分を吸収し易いという特徴がある（赤外線輝度が低いという特徴がある）。そこで、撮像装置１００では、第１の判定手段１０２と第２の判定手段１０３を用いて、可視光画像の色彩が「青」であり、赤外線の輝度が低い領域を特定し、当該領域をホワイトバランスの補正から除外する。青空を除外した後の可視光画像からホワイトバランスを補正する調整ゲインを生成すれば、グレーワールド方式にて生じるような赤味方向へのずれを抑制できる。
【００１９】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
【００２０】
［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。
【００２１】
図２は、本実施形態に係る撮像装置１０の正面図の一例を示す図である。撮像装置１０は、カメラ機能を備えており、表示パネル２０の背面側の筐体に位置するレンズ（図示せず）を用いた撮影が可能である。ユーザは、表示パネル２０を視認することで、レンズから得られる画像の確認ができる。なお、撮像装置１０は、タッチパネル等の操作デバイスを備えており、表示パネル２０と一体となり配置されている。
【００２２】
図３は、撮像装置１０の内部構成の一例を示す図である。撮像装置１０は、表示部３０と、撮像部４０と、画像信号処理部５０と、制御部６０と、記憶部７０と、を含んで構成される。
【００２３】
表示部３０は、表示パネル２０、表示パネル２０を駆動するドライバ回路及び操作デバイスを制御するドライバ回路等を含んで構成される。表示部３０は、撮影画像やメニュー画面を表示する。
【００２４】
撮像部４０は、レンズ２０１と、赤外線カットフィルタ２０２と、カメラセンサ２０３と、を含んで構成されるカメラモジュールである。
【００２５】
赤外線カットフィルタ２０２は、レンズ２０１からの入力波から、近赤外線（約０．７μｍ〜２．５μｍ）よりも波長の長い赤外線をカットするフィルタである。
【００２６】
カメラセンサ２０３は、入力波を電気信号に変換（光電変換）する手段である。カメラセンサ２０３に含まれるカラーフィルタの配列は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３原色に加えて、近赤外線を透過する赤外線透過フィルタを備えている。即ち、カメラセンサ２０３は、レンズ２０１より入射される可視光から画像を生成する撮像素子と、レンズ２０１より入射される赤外光から画像を生成する撮像素子と、を含んで構成される。撮像部４０は、ＲＧＢ画素から生成された画像信号（可視光画像）と、ＩＲ（Infrared）画素から生成された画像信号（赤外光画像）と、を画像信号処理部５０に出力する。
【００２７】
なお、カメラセンサ２０３が備える赤外線透過フィルタのベイヤ配列は、通常２個存在する緑画素（Ｇ画素）のうちの１つに代えて、近赤外線画素（ＩＲ画素）を追加している。例えば、カメラセンサ２０３には、「http://panasonic.co.jp/ptj/v5404/pdf/p0105.pdf」に開示されているセンサを用いることができる。
【００２８】
画像信号処理部５０は、カメラセンサ２０３が出力する可視光画像に対する信号処理を実施する。また、画像信号処理部５０は、カメラセンサ２０３に対して制御信号を出力することで、カメラセンサ２０３を制御する。さらに、画像信号処理部５０は、可視光画像に対して信号処理した後の画像信号を、ＹＵＶフォーマットやＪＰＥＧ（Joint Photographic Experts Group）フォーマットにより、制御部６０に出力する。なお、画像信号処理部５０は、例えば、ＩＳＰ（Image Signal Processor）やＤＳＰ（Digital Signal Processor）を用いて実現できる。
【００２９】
制御部６０は、撮像装置１０の全体を制御すると共に、図３に示す各部を制御する。より具体的には、制御部６０は、画像信号処理部５０の起動・停止に係る制御、又は、画像信号処理部５０における信号処理の内容を指示する。また、制御部６０は、画像信号処理部５０が出力する画像信号を入力し、当該画像信号を表示部３０に出力する。表示部３０は、受け付けた画像信号に係る表示画面を生成し、表示パネル２０に表示する（プレビュー画像を表示する）。
【００３０】
また、制御部６０は、画像信号処理部５０が出力する画像信号を記憶部７０に保存する。あるいは、制御部６０は、記憶部７０から保存した画像信号を読み出し、表示部３０に出力する（保存画像を表示する）。なお、制御部６０は、例えば、ＣＰＵ（Central Processing Unit）を用いて実現できる。
【００３１】
記憶部７０は、ハードディスク等のストレージデバイスにより構成され、制御部６０が出力する画像信号に加えて、ＣＰＵ等に実行させるプログラムを記憶する。
【００３２】
図４は、画像信号処理部５０の内部構成の一例を示す図である。
【００３３】
画像信号処理部５０は、可視光画像と赤外光画像に係る画像信号を入力する。画像信号処理部５０は、可視光画像に対する信号処理を実行し、信号処理を実行した後の画像信号を、制御部６０に出力する。なお、画像信号処理部５０は、赤外光画像を、可視光画像のホワイトバランスの補正に使用する。
【００３４】
画像信号処理部５０は、概略、図５に示すフローチャートに従った動作を行う。
【００３５】
図５に示すステップＳ１０１において、第１の信号処理部３０１が、可視光画像に対して、キズ補正、シェーディング補正、ベイヤノイズリダクション等の処理を実行する（第１の信号処理を実行する）。
【００３６】
ステップＳ１０２において、画素補間部３０２が、本来存在しない画素を生成し、画素の補間を行う。
【００３７】
ステップＳ１０３において、ホワイトバランス補正部（ＷＢ補正部）３０３が、ホワイトバランスの補正を行う。その際、ホワイトバランスゲイン生成部（ＷＢゲイン生成部）３０６が出力するＲＧＢ各色の調整ゲインを使用して、ホワイトバランスの補正を行う。赤色に対する調整ゲインをＲゲイン、緑色に対する調整ゲインをＧゲイン、青色に対する調整ゲインをＢゲインと表記する。
【００３８】
ホワイトバランス補正部３０３は、可視光画像を構成する画素それぞれの色信号レベルに対応する色の調整ゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）を乗ずることにより、ホワイトバランスの補正を行う（色補正を行う）。なお、除外領域信号生成部３０９、ホワイトバランスゲイン生成部３０６及びホワイトバランス補正部３０３が、上述の色補正手段１０４に相当する。
【００３９】
ステップＳ１０４において、第２の信号処理部３０４が、ガンマ補正、画像信号のフォーマット変換（ＲＧＢフォーマットからＹＵＶフォーマットへ変換）、色彩の補正、輪郭強調、ＹＵＶノイズリダクション、ＪＰＥＧ圧縮等の処理を実行する（第２の信号処理を実行する）。画像信号処理部５０は、第２の信号処理までが終了した画像信号を制御部６０に出力する。但し、画像信号処理部５０は、制御部６０から画像信号の圧縮は不要である旨の指示を受けている場合には、ＪＰＥＧ圧縮を行わない。
【００４０】
次に、ホワイトバランス補正部３０３が使用する色（Ｒ、Ｇ、Ｂ）ごとの調整ゲインの生成について説明する。
【００４１】
図４を参照すると、領域フィルタ部３０５は、可視光画像と、除外領域信号生成部３０９が出力する除外領域信号と、を入力する。領域フィルタ部３０５は、可視光画像を構成する複数の画素のうち、除外領域信号が規定する領域を構成する画素を除外し、残余の画素をホワイトバランスゲイン生成部３０６に出力する。除外領域信号が規定する領域を、除外領域と表記する。
【００４２】
ホワイトバランスゲイン生成部３０６は、除外領域が除かれた後の可視光画像を構成する複数の画素からホワイトバランスの補正に用いるホワイトバランス調整ゲインを生成する。より具体的には、ホワイトバランスゲイン生成部３０６は、除外領域が除かれた後の可視光画像を構成する画素それぞれの色信号レベルを、それぞれの色（Ｒ、Ｇ、Ｂ）ごとに積算し、色ごとの積算値から得られる平均値が一致するように、それぞれの色ごとの調整ゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）を生成する。
【００４３】
次に、除外領域信号の生成について説明する。図６は、除外領域信号の生成プロセスの一例を示すフローチャートである。
【００４４】
ステップＳ２０１において、色フィルタ部３０７は、ホワイトバランスを補正した後の可視光画像から、制御部６０が指示する色を持つ画素群からなる領域を抽出する。なお、ホワイトバランスを補正した後の可視光画像を除外領域信号の生成に用いることで、光源色の影響がなくなり、可視光画像の色情報に関する精度の向上が期待できる。また、以降の説明において、制御部６０が指示する色を持つ画素群からなる領域を除外色領域と表記する。
【００４５】
色フィルタ部３０７（上述の第１の判定手段１０２に相当）は、撮像部４０が出力する可視光画像に基づき、ホワイトバランスの補正から除外する画素の位置を判定する手段である。より具体的には、色フィルタ部３０７は、以下の式（１）〜（３）を満たす画素の集合を、除外色領域に定める。
ｒ１  ≦  Ｒ  ≦  ｒ２  ・・・（１）
ｇ１  ≦  Ｇ  ≦  ｇ２  ・・・（２）
ｂ１  ≦  Ｂ  ≦  ｂ２  ・・・（３）
なお、式（１）〜（３）の各パラメータ（ｒ１、ｒ２、ｇ１、ｇ２、ｂ１、ｂ２）は、除外しようとする色に基づいて定まるパラメータである。このように、色フィルタ部３０７は、可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素（例えば、予め定めた範囲に色信号レベルがある画素）からなる領域を除外色領域として算出する。なお、式（１）〜（３）の判断式における各パラメータは、カメラセンサ２０３の画素値の最小単位（ＬＳＢ；Least Significant Bit）を単位として使用するのが望ましい。色フィルタ部３０７は、式（１）〜（３）の判断式に合致する各画素のアドレスを、図示しないメモリやレジスタ等に記憶する。
【００４６】
ステップＳ２０２において、赤外線輝度フィルタ部３０８は、赤外光画像から、制御部６０が指示する赤外線輝度を持つ画素群からなる領域を抽出する。なお、以降の説明において、制御部６０が指示する赤外線輝度を持つ画素群からなる領域を除外赤外線輝度領域と表記する。
【００４７】
赤外線輝度フィルタ部３０８（上述の第２の判定手段１０３に相当）は、撮像部４０が出力する赤外光画像に基づき、ホワイトバランスの補正から除外する画素の位置を判定する手段である。より具体的には、赤外線輝度フィルタ部３０８は、以下の式（４）を満たす画素の集合を、除外赤外線輝度領域に定める。
ｙ１  ≦  Ｙ  ≦  ｙ２  ・・・（４）
なお、式（４）のパラメータ（ｙ１、ｙ２）は、除外しようとする赤外線輝度に基づいて定まるパラメータである。このように、赤外線輝度フィルタ部３０８は、赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素（例えば、予め定めた範囲に輝度がある画素）からなる領域を除外赤外線輝度領域として算出する。赤外線輝度フィルタ部３０８は、式（４）の判断式に合致する各画素のアドレスを、図示しないメモリやレジスタ等に記憶する。
【００４８】
ステップＳ２０３において、除外領域信号生成部３０９は、除外色領域と除外赤外線輝度領域とから除外領域信号を生成する。より具体的には、除外領域信号生成部３０９は、除外色領域と除外赤外線輝度領域が重複する領域を、除外領域と定め、除外領域を規定するアドレス信号を、除外領域信号として領域フィルタ部３０５に出力する。
【００４９】
図７は、除外領域の一例を示す図である。図７を参照すると、除外領域４０３は、除外色領域４０１と除外赤外線輝度領域４０２が重複する黒色の領域である。
【００５０】
ここで、除外色領域と除外赤外線輝度領域を適切に定めることで、ホワイトバランスの補正精度が向上する。即ち、式（１）〜（４）の各パラメータを適切に定めることで、ホワイトバランスの補正精度が向上する。
【００５１】
例えば、屋外での撮影において、ホワイトバランスの補正が有効に働かない要因の１つとして、撮像画像に含まれる青空が挙げられる。グレーワールド仮説では、青空の領域が大きいと、赤成分（Ｒ成分）が足りないと判断され、Ｒゲインが大きくなる。その結果、ホワイトバランスは赤味方向にずれることになる。また、白色領域検出方法であっても、白っぽい青空の場合には、当該領域は白色領域と判断される場合がある。しかし、実際には青空の領域であるため、青成分（Ｂ成分）が強く、グレーワールド方式と同様に、ホワイトバランスは赤味方向にずれることになる。
【００５２】
一方、空（青空）は近赤外線成分を吸収しやすいため、赤外線輝度が低くなる特徴を有する（画面には暗く映る）。そこで、本実施形態に係る撮像装置１０では、このような青空の持つ特性を利用し、青空と判断できる領域は、ホワイトバランスを補正する上で誤差の原因となる領域と判断し、除外する。つまり、青空と判断できる範囲（各色の色信号レベル）を予め定め、式（１）〜（３）を用いて、青色の領域を抽出する。また、青空と判断できる赤外線輝度を予め定め、式（４）を用いて、赤外線輝度の低い領域を抽出する。その後、除外領域信号生成部３０９は、青色の領域と赤外線輝度の低い領域が重複する領域を算出し、当該算出された領域は青空と判断し、各色の調整ゲインの生成には使用しない。その結果、撮像装置１０は、ホワイトバランスの赤味方向へのずれを抑制できる。
【００５３】
なお、上記の説明は、各色の調整ゲインの生成から除外する対象を「青空」に限定する趣旨ではない。例えば、植物の「葉」を各色の調整ゲインの生成から除外してもよい。植物の葉はクロロフィルという赤外線を反射する成分が含まれており、赤外線輝度が高くなる特徴を有する（画面には白く映る）。そこで、除外領域信号生成部３０９では、緑色の領域と赤外線輝度の高い領域が重複する領域を算出し、当該算出された領域を、各色の調整ゲインの生成から除外する。その結果、撮像装置１０は、ホワイトバランスのマゼンダ方向へのずれを抑制できる。
【００５４】
また、除外領域信号生成部３０９は、除外色領域及び除外赤外線輝度領域の少なくとも一方に属する領域を除外領域と定めてもよい。例えば、図７を参照すると、除外色領域４０１と除外赤外線輝度領域４０２のどちらかに属する画素の集合を除外領域と定めてもよい。即ち、除外領域信号生成部３０９は、除外色領域と除外赤外線輝度領域の少なくともいずれかに含まれる領域を除外領域と定める。その後、領域フィルタ部３０５が、可視光画像を構成する複数の画素から除外領域を構成する画素を除外し、残余の画素をホワイトバランスゲイン生成部３０６に出力する。ホワイトバランスゲイン生成部３０６は、除外領域が除かれた後の可視光画像を構成する複数の画素からホワイトバランスの補正に用いるホワイトバランス調整ゲインを生成してもよい。
【００５５】
さらにまた、除外色領域を定める際に、色信号レベルが式（１）〜（３）を判断式に用いる場合について説明したが、予め定めた範囲の外にある色信号レベルを持つ画素の集合を除外色領域と定めることができる。より具体的には、下記の式（５）〜（７）を満たす画素の集合を、除外色領域に定めることができる。
Ｒ  ≦  ｒ３、又は、Ｒ  ≧  ｒ４  ・・・（５）
Ｇ  ≦  ｇ３、又は、Ｇ  ≧  ｇ４  ・・・（６）
Ｂ  ≦  ｂ３、又は、Ｂ  ≧  ｂ４  ・・・（７）
ただし、式（５）〜（７）の各種パラメータ間には、ｒ３＜ｒ４、ｇ３＜ｇ４、ｂ３＜ｂ４の関係がある。除外赤外線輝度領域についても、同様に、予め定めた範囲の外にある赤外線輝度を持つ画素の集合を除外赤外線輝度領域と定めることができる。より具体的には、下記の式（８）を満たす画素の集合を、除外赤外線輝度領域に定めることができる。
Ｙ  ≦  ｙ３、又は、Ｙ  ≧  ｙ４  ・・・（８）
ただし、式（８）に示すｙ３とｙ４の間には、ｙ３＜ｙ４の関係がある。
【００５６】
また、白熱灯は、赤外線成分を多く放射する性質がある。さらに、白熱灯のある室内では赤外線を吸収する物質は少ないと考えられる。そこで、撮像装置１０では、画面全体において赤外線輝度が高いと判断した場合に、撮像装置１０による撮影は屋内で行われていると判断し、ホワイトバランスの補正に利用することもできる。つまり、撮像装置１０は、色フィルタ部３０７による判定結果と赤外線輝度フィルタ部３０８による判定結果の重複領域のみならず、いずれか一方の判定手段による判定結果を用いて、ホワイトバランスの補正をすることもできる。
【００５７】
なお、本実施形態では、各色の調整ゲインの生成の際に、ホワイトバランスの補正精度を低下させる要因となる領域（被写体領域）を除外することを説明した。しかし、ホワイトバランスの補正が容易な領域（例えば、雲やアスファルトの道路等）を抽出し、当該領域を用いたホワイトバランスの補正を行い、補正精度を高めることもできる。即ち、撮像装置１０では、予め定めた色の領域と赤外線輝度の領域が重複する領域を算出し、当該算出された領域を、各色の調整ゲインの生成から除外するのではなく、当該算出された領域を用いてホワイトバランスを補正してもよい。
【００５８】
なお、画像信号処理部５０が行う処理の一部、又は、全部を制御部６０が行うものであってもよい。あるいは、制御部６０が行う処理の一部、又は、全部を画像信号処理部５０が行うものであってもよい。即ち、画像信号処理部５０、制御部６０が行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。
【００５９】
本実施形態に係る撮像装置１０は、デジタルカメラやデジタルビデオカメラに限定されず、カメラ機能（可視光カメラ及び／又は赤外線カメラ）を備える装置であればよい。例えば、撮像装置１０は、携帯電話、スマートフォン、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＰＤＡ（Personal Data Assistants；携帯情報端末）等であってもよい。
【００６０】
以上のように、本実施形態に係る撮像装置１０は、色フィルタ部３０７の判定結果及び赤外線輝度フィルタ部３０８の少なくともいずれかの判定結果に基づいて、可視光画像の色補正に用いる領域を抽出（可視光画像の色補正に用いる画素を選択）した後、可視光画像のホワイトバランスを補正する。その結果、例えば、ホワイトバランスの補正精度を悪化させる被写体領域が除外されているため、ホワイトバランスの補正精度が向上する。
【００６１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【００６２】
［付記１］
上述の第１の視点に係る撮像装置のとおりである。
［付記２］
前記色補正手段は、前記可視光画像のホワイトバランスを補正する付記１の撮像装置。
［付記３］
前記第１の判定手段は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定手段は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正手段は、前記除外色領域と前記除外赤外線輝度領域の重複領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する付記２の撮像装置。
［付記４］
前記第１の判定手段は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定手段は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正手段は、前記除外色領域と前記除外赤外線輝度領域の少なくともいずれかに含まれる領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する付記２の撮像装置。
［付記５］
前記色補正手段は、
前記除外領域が除外された前記可視光画像を構成する画素それぞれの色信号レベルを、それぞれの色ごとに積算し、前記色ごとの積算値から得られる平均値が一致するように、それぞれの色ごとの調整ゲインを生成する付記３又は４の撮像装置。
［付記６］
前記色補正手段は、前記可視光画像を構成する画素それぞれの色信号レベルに、対応する前記調整ゲインを乗ずることで、前記可視光画像のホワイトバランスを補正する付記５の撮像装置。
［付記７］
前記撮像手段は、レンズより入射される可視光から前記可視光画像を生成する撮像素子と、レンズより入射される赤外光から前記赤外光画像を生成する撮像素子と、を含んで構成される付記１乃至６のいずれか一に記載の撮像装置。
［付記８］
上述の第２の視点に係る撮像装置の制御方法のとおりである。
［付記９］
前記色補正工程は、前記可視光画像のホワイトバランスを補正する付記８の撮像装置の制御方法。
［付記１０］
前記第１の判定工程は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定工程は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正工程は、前記除外色領域と前記除外赤外線輝度領域の重複領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する付記９の撮像装置の制御方法。
［付記１１］
前記第１の判定工程は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定工程は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正工程は、前記除外色領域と前記除外赤外線輝度領域の少なくともいずれかに含まれる領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する付記９の撮像装置の制御方法。
［付記１２］
前記色補正工程は、
前記除外領域が除外された前記可視光画像を構成する画素それぞれの色信号レベルを、それぞれの色ごとに積算し、前記色ごとの積算値から得られる平均値が一致するように、それぞれの色ごとの調整ゲインを生成する付記１０又は１１の撮像装置の制御方法。
［付記１３］
前記色補正工程は、前記可視光画像を構成する画素それぞれの色信号レベルに、対応する前記調整ゲインを乗ずることで、前記可視光画像のホワイトバランスを補正する付記１２の撮像装置の制御方法。
［付記１４］
上述の第３の視点に係るプログラムのとおりである。
［付記１５］
前記色補正処理は、前記可視光画像のホワイトバランスを補正する付記１４のプログラム。
［付記１６］
前記第１の判定処理は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定処理は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正処理は、前記除外色領域と前記除外赤外線輝度領域の重複領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する付記１５のプログラム。
［付記１７］
前記第１の判定処理は、前記可視光画像を構成する複数の画素のうち、所定の色信号レベルに対応する画素からなる領域を除外色領域として算出し、
前記第２の判定処理は、前記赤外光画像を構成する複数の画素のうち、所定の輝度に対応する画素からなる領域を除外赤外線輝度領域として算出し、
前記色補正処理は、前記除外色領域と前記除外赤外線輝度領域の少なくともいずれかに含まれる領域を除外領域と定めると共に、前記可視光画像を構成する複数の画素から前記除外領域を構成する画素を除外し、前記除外領域が除外された前記可視光画像を構成する複数の画素から得られるホワイトバランス調整ゲインを用いて、前記可視光画像のホワイトバランスを補正する付記１５のプログラム。
［付記１８］
前記色補正処理は、
前記除外領域が除外された前記可視光画像を構成する画素それぞれの色信号レベルを、それぞれの色ごとに積算し、前記色ごとの積算値から得られる平均値が一致するように、それぞれの色ごとの調整ゲインを生成する付記１６又は１７のプログラム。
［付記１９］
前記色補正処理は、前記可視光画像を構成する画素それぞれの色信号レベルに、対応する前記調整ゲインを乗ずることで、前記可視光画像のホワイトバランスを補正する付記１８のプログラム。
【００６３】
なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【００６４】
１０、１００  撮像装置
２０  表示パネル
３０  表示部
４０  撮像部
５０  画像信号処理部
６０  制御部
７０  記憶部
１０１  撮像手段
１０２  第１の判定手段
１０３  第２の判定手段
１０４  色補正手段
２０１  レンズ
２０２  赤外線カットフィルタ
２０３  カメラセンサ
３０１  第１の信号処理部
３０２  画素補間部
３０３  ホワイトバランス補正部
３０４  第２の信号処理部
３０５  領域フィルタ部
３０６  ホワイトバランスゲイン生成部
３０７  色フィルタ部
３０８  赤外線輝度フィルタ部
３０９  除外領域信号生成部
４０１  除外色領域
４０２  除外赤外線輝度領域
４０３  除外領域
【図１】
2014216897.tif 000003
【図２】
2014216897.tif 000004
【図３】
2014216897.tif 000005
【図４】
2014216897.tif 000006
【図５】
2014216897.tif 000007
【図６】
2014216897.tif 000008
【図７】
2014216897.tif 000009