(57)【要約】  撮像部２３は撮像画の画像信号を生成する。光センサ部２５は、撮像部２３以上の画角であり、撮像画を取得したときの分光特性に応じたセンサ信号を生成する。制御部５０は、撮像部２３で生成された画像信号に基づく光源推定結果の信頼性を、光センサ部２５で生成されたセンサ信号に基づく光源推定結果を用いて判別する。制御部５０は、例えば画像信号に基づく光源推定結果を、センサ信号に基づき推定可能な光源のカテゴリに分類して、分類後のカテゴリとセンサ信号に基づいて推定した光源を比較する。分類後のカテゴリが変化したときセンサ信号に基づき推定した光源が変化していない場合、画像信号に基づく光源推定結果の信頼性がないとして、ホワイトバランス調整の調整値を更新しないようにする。精度よく安定してホワイトバランス調整を行えるようになる。
2020026561.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部
を備える画像処理装置。
【請求項２】
前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性を、前記センサ信号に基づく光源推定結果を用いて判別して、前記信頼性の判別結果に基づいて前記ホワイトバランス調整値を設定する
請求項１に記載の画像処理装置。
【請求項３】
前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果を、前記センサ信号に基づいて推定可能な複数の光源のカテゴリのうちのいずれかのカテゴリに分類し、分類されたカテゴリと前記センサ信号に基づいて推定した光源とを比較することで、前記画像信号に基づく光源推定結果の信頼性を判別する
請求項２に記載の画像処理装置。
【請求項４】
前記ホワイトバランス設定部は、今回分類されたカテゴリが前回に分類されたカテゴリから変化しているが、前記センサ信号に基づいて推定した光源が、前記今回分類されたカテゴリと等しい光源に変化していない場合、前記画像信号に基づく光源推定結果は信頼性がないと判断し、前記ホワイトバランス調整値を更新しない
請求項３に記載の画像処理装置。
【請求項５】
前記ホワイトバランス設定部は、今回分類されたカテゴリと前記センサ信号に基づいて推定した光源が等しい場合、前記画像信号に基づく光源推定結果は信頼性があると判断し、前記画像信号に基づく今回の光源推定結果に応じて前記ホワイトバランス調整値を更新する
請求項３に記載の画像処理装置。
【請求項６】
前記ホワイトバランス設定部は、前記撮像素子で画像信号を画像単位で複数回連続して生成する場合、２回目以降の前記画像信号に基づく光源推定結果について信頼性の判別を行う
請求項２に記載の画像処理装置。
【請求項７】
前記ホワイトバランス設定部は、前記撮像画の画角と前記光センサ部の画角との画角差が所定値以上である場合、前記画像信号に基づく光源推定結果の信頼性を判別する
請求項２に記載の画像処理装置。
【請求項８】
前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性の判定を行わない場合、前記画像信号に基づく光源推定結果に応じて前記ホワイトバランス調整値を設定する
請求項２に記載の画像処理装置。
【請求項９】
前記光センサ部は、少なくとも赤外線領域に感度を有する
請求項１に記載の画像処理装置。
【請求項１０】
前記光センサ部の画角は、前記撮像画の画角を包含する
請求項１に記載の画像処理装置。
【請求項１１】
前記ホワイトバランス調整値に基づいて前記画像信号に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備える
請求項１に記載の画像処理装置。
【請求項１２】
前記ホワイトバランス設定部は、前記撮像画の画角が光学的なズームにより前記センサ信号の画角より所定値以上広い場合に、前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記ホワイトバランス調整値を設定する
請求項１に記載の画像処理装置。
【請求項１３】
被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定をホワイトバランス設定部で行うこと
を含む画像処理方法。
【請求項１４】
ホワイトバランス調整をコンピュータで実行させるプログラムであって、
被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果を取得する手順と、
前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果を取得する手順と、
前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行う手順と
を前記コンピュータで実行させるプログラム。
【請求項１５】
被写体からの光を光電変換して撮像画の画像信号を生成する撮像部と、
前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部と、
前記撮像部で生成された画像信号のホワイトバランス調整を行うホワイトバランス調整部と、
前記撮像画の画像信号に基づく光源推定結果と、前記光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法とプログラムおよび撮像装置に関し、より正確なホワイトバランス調整を安定して行えるようにする。
【背景技術】
【０００２】
従来、撮像装置では、太陽や蛍光灯などの撮像時の光源に応じた制御値を用いてホワイトバランス調整が行われている。例えば、特許文献１では、撮像画を複数のブロック領域に分割して、ブロック領域で検出した赤外線量等に基づき推定された色温度に応じてホワイトバランス調整が行われている。また、特許文献２では、撮像範囲が撮像素子の撮像範囲と同一である光センサを用いて、第１の分光感度特性である撮像素子で被写体光を光電変換して得られた第１の光電変換信号と第２の分光感度特性である光センサで被写体光を光電変換して得られた第２の光電変換信号とにより算出した色補正の制御値を用いて、第１の光電変換信号のホワイトバランス調整が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２８５４６号公報
【特許文献２】特開２０１７−１２３５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像画あるいは撮像範囲の被写体光に基づいてホワイトバランス調整を行う場合、画角の違いによって撮像画に写り込む背景の範囲が変化する。また、動物体を撮像する場合、画角が狭いと撮像画に写り込む背景の変化が大きい。このため、写り込む背景の変化によって、ホワイトバランス調整のばらつきを生じるおそれがある。【０００５】
そこで、この技術ではより正確なホワイトバランス調整を安定して行うことができる、画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部
を備える画像処理装置にある。【０００７】
この技術において、ホワイトバランス設定部は、被写体からの光を撮像素子で光電変換して生成された画像信号に基づく光源推定結果を、撮像環境の分光特性を検出する光センサ部で生成されたセンサ信号に基づいて推定可能な光源のカテゴリに分類する。光センサ部は、撮像画より広い画角で、撮像素子と異なる領域に分光感度を有している。例えば、撮像画の画角を包含し、かつ撮像画よりも広い画角で、少なくとも赤外線領域に感度を有している。ホワイトバランス設定部は、分類後のカテゴリとセンサ信号に基づいて推定した光源との比較結果から、画像信号に基づく光源推定結果の信頼性を判別する。画像信号に基づく光源推定結果の信頼性の判別は、撮像素子で画像信号を画像単位で複数回連続して生成する場合、２回目以降の画像信号に基づく光源推定結果に対して行う。また、画像信号に基づく光源推定結果の信頼性の判別は、撮像光学系の画角と光センサ部の画角との差が所定値以上である場合に行うようにしてもよい。ホワイトバランス設定部は、画像信号に基づく光源推定結果の信頼性の判別において、例えば分類後のカテゴリが変化したとき、センサ信号に基づいて推定した光源が変化後のカテゴリと等しい光源に変化していない場合、画像信号に基づく光源推定結果は信頼性がないとして、ホワイトバランス調整値を更新しない。また、ホワイトバランス設定部は、分類後のカテゴリとセンサ信号に基づいて推定した光源が等しい場合、画像信号に基づく光源推定結果は信頼性があるとして、画像信号に基づく光源推定結果に応じてホワイトバランス調整の調整値を設定する。さらに、ホワイトバランス設定部は、画像信号に基づく光源推定結果の信頼性の判別を行わない場合、画像信号に基づく光源推定結果に応じてホワイトバランス調整の調整値を設定する。また、ホワイトバランス調整値に基づいて画像信号に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備えてもよく、ホワイトバランス設定部は、撮像画の画角が光学的なズームにより前記センサ信号の画角より所定値以上広い場合に、画像信号に基づく光源推定結果とセンサ信号に基づく光源推定結果とを用いて、ホワイトバランス調整値を設定してもよい。【０００８】
この技術の第２の側面は、
被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定をホワイトバランス設定部で行うこと
を含む画像処理方法にある。【０００９】
この技術の第３の側面は、
ホワイトバランス調整をコンピュータで実行させるプログラムであって、
被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果を取得する手順と、
前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果を取得する手順と、
前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行う手順と
を前記コンピュータで実行させるプログラムにある。【００１０】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。【００１１】
この技術の第４の側面は、
被写体からの光を光電変換して撮像画の画像信号を生成する撮像部と、
前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部と、
前記撮像部で生成された画像信号のホワイトバランス調整を行うホワイトバランス調整部と、
前記撮像画の画像信号に基づく光源推定結果と、前記光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部と
を備える撮像装置にある。
【発明の効果】
【００１２】
この技術によれば、被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、撮像画より広い画角で、撮像素子と異なる領域に分光感度を有する光センサ部によって生成された撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、画像信号のホワイトバランス調整値の設定が行われる。したがって、画像信号に基づく光源推定結果のみに基づいてホワイトバランス調整値を設定する場合よりも精度よく安定してホワイトバランス調整を行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】撮像装置の構成を例示した図である。
【図２】分光特性と分光感度を示した図である。
【図３】ホワイトバランス制御動作を例示したフローチャートである。
【図４】検出可能な光源を例示した図である。
【図５】カテゴライズ処理を示す図である。
【図６】ホワイトバランス調整の制御動作の具体例を示した図である。
【図７】具体例の光源推定結果を示す図である。
【図８】他の具体例を示す図である。
【図９】ホワイトバランス調整の制御動作の他の具体例を示した図である。
【図１０】他の具体例の光源推定結果を示す図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
３．変形例
【００１５】
＜１．撮像装置の構成＞
図１は、本技術の撮像装置の構成を例示している。撮像装置１０は、撮像光学系２１、撮像光学系駆動部２２、撮像部２３、発光部２４、光センサ部２５、画像処理部３０、記録部４１、通信部４２、ビューファインダ（ＶＦ）部４３、表示部４４、ユーザインタフェース部４５、制御部５０を有している。
【００１６】
撮像光学系２１は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系２１は、撮像光学系駆動部２２からの駆動信号に基づきフォーカスレンズやズームレンズ等を駆動して、被写体光学像を撮像部２３の撮像面に結像させる。また、撮像光学系２１には、アイリス（絞り）機構やシャッタ機構等が設けられて、撮像光学系駆動部２２からの駆動信号に基づき各機構を駆動する構成であってもよい。また、撮像光学系２１は、レンズ位置やアイリス位置を示す設定情報を撮像光学系駆動部２２あるいは制御部５０へ出力してもよい。また、撮像光学系２１は、異なる光学特性の撮像光学系２１を使用できるように、着脱可能とされてもよい。
【００１７】
撮像部２３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２３は、被写体からの光のうち可視光領域に応じた分光特性、即ち、可視光領域に分光感度を有する撮像素子で光電変換してＲＡＷデータである撮像画の画像信号を生成する。撮像部２３は、生成した画像信号を画像処理部３０へ出力する。また、発光部２４は、制御部５０からの制御信号に基づき照明光を出射する。
【００１８】
光センサ部２５は、被写体からの光のうち、非可視光領域を含む撮像環境に応じた分光特性、即ち、非可視光領域に分光感度を有するセンサであって、撮像部２３の撮像素子と異なる分光感度を有するセンサでセンサ信号を生成する。光センサ部２５は、センシング範囲である画角が、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角とされている。光センサ部２５は、撮像時における画角内の分光特性に応じて生成されたセンサ信号を制御部５０へ出力する。
【００１９】
図２は分光特性と分光感度を例示している。なお、図２の（ａ）は光源の分光特性、図２の（ｂ）は撮像部２３で用いられている撮像素子の分光感度、図２の（ｃ）は光センサ部２５で用いられているセンサの分光感度をそれぞれ例示している。
【００２０】
図２の（ａ）に示すように、例えば自然光（太陽光）と非自然光（例えば白色光源や電球色光源）は、赤外線領域でパワーが相違する。撮像部２３は、例えば赤色領域と青色領域と緑色領域のそれぞれに感度を有しており、赤，緑，青からなる三原色の画像信号を生成する。光センサ部２５は、図２の（ｃ）に示すように、少なくとも赤外線領域に感度を有して、センサ信号に基づき図２の（ａ）に示す自然光と非自然光の判別を可能とする。さらに、光センサ部２５は、赤外線領域だけでなく可視領域に感度を有すれば、白色光源や電球色光源の判別等も可能となる。
【００２１】
撮像部２３は、例えば赤色領域と青色領域と緑色領域のそれぞれに感度を有していることから、画像信号に基づいて光源を細かく分類できる。しかし、画角が狭く撮像画に写り込む例えば背景の変化が大きくなると後述するように光源が変化していなくとも光源推定結果が変化する場合がある。また、光センサ部２５は、撮像部２３よりも画角が広いことから、画像信号に基づく光源推定結果に比べて、光源に対応した光源推定結果を得られやすい。しかし、光センサ部２５で生成されたセンサ信号に基づいた光源の推定では、画像信号に基づいて光源を推定する場合に比べて光源を細かく分類できない。そこで、画像処理部３０は、画像信号に基づく光源推定結果とセンサ信号に基づく光源推定結果とを用いて、より正確なホワイトバランス調整を安定して行う。
【００２２】
画像処理部３０は、前処理部３１、デモザイク処理部３２、リニアマトリクス変換部３３、ホワイトバランス（ＷＢ）調整部３４、アパーチャ補正部３５、信号加算部３６、γ補正部３７、信号変換部３８を有している。
【００２３】
前処理部３１は、撮像部２３で生成された画像信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正等を行う。前処理部３１は、処理後の画像信号をデモザイク処理部３２へ出力する。
【００２４】
デモザイク処理部３２は、前処理部３１で処理されたＲＡＷデータである画像信号を用いてデモザイク処理を行い、１画素が１つの色成分を示す画像信号から１画素が各色成分を示す画像信号、例えば三原色の画像信号を生成する。デモザイク処理部３２は、生成した画像信号をリニアマトリクス変換部３３とアパーチャ補正部３５へ出力する。なお、デモザイクは色分離処理の一例であって、モザイクカラーフィルタ以外の例えばストライプカラーフィルタを備えた撮像素子を用いた場合は異なる方式の色分離処理が行われる。
【００２５】
リニアマトリクス変換部３３は、デモザイク処理部３２から出力された画像信号に対してマトリクス演算を行い、目標色調の画像信号を生成してホワイトバランス調整部３４へ出力する。
【００２６】
ホワイトバランス調整部３４は、光源の違い等による色間のアンバランスを補正する。ホワイトバランス調整部３４は、リニアマトリクス変換部３３から出力された例えば赤，緑，青からなる三原色の画像信号に対して、制御部５０から供給された調整値に基づきゲイン調整を行い、被写体の無彩色部分の色バランスが無彩色として再現できるようにする。ホワイトバランス調整部３４は、処理後の画像信号を信号加算部３６へ出力する。
【００２７】
アパーチャ補正部３５は、デモザイク処理部３２から供給された画像信号から高域成分の抽出や抽出した信号のレベル調整等を行い、輪郭補正信号を生成して信号加算部３６へ出力する。
【００２８】
信号加算部３６は、ホワイトバランス調整部３４から供給された画像信号にアパーチャ補正部３５から供給された輪郭補正信号を加算して、輪郭補正処理が行われた画像信号を生成してγ補正部３７へ出力する。
【００２９】
γ補正部３７は、信号加算部３６から供給された画像信号に対してγ補正を行い、補正後の画像信号を信号変換部３８へ出力する。
【００３０】
信号変換部３８は、γ補正後の画像信号を画像記録に応じた信号に変換する。例えば、信号変換部３８は、γ補正後の三原色の画像信号を輝度信号と色差信号に変換したのち符号化処理して記録部４１へ出力する。また、信号変換部３８は、記録部４１から供給された信号の復号処理を行い、得られた輝度信号と色差信号を三原色の画像信号に変換する。また、信号変換部３８は、画像信号を外部機器に出力する場合、γ補正後の三原色の画像信号を通信に適した信号に変換する。例えば、信号変換部３８は、γ補正後の三原色の画像信号を輝度信号と色差信号に変換して符号化して通信部４２へ出力する。さらに、信号変換部３８は、γ補正後の画像信号や記録部４１から供給された信号の復号等を行って得られた画像信号を、ビューファインダ部４３や表示部４４の表示解像度に応じた画像信号に変換する。信号変換部３８は、解像度変換後の画像信号をビューファインダ部４３や表示部４４へ出力する。
【００３１】
記録部４１には記録媒体４１０が固定あるいは着脱可能に設けられている。記録部４１は、信号変換部３８から供給された符号化信号を記録媒体４１０に記憶する。また、記録部４１は、記録媒体４１０に記録されている信号を読み出して信号変換部３８へ出力する。
【００３２】
通信部４２は、外部機器と通信を行い、例えば信号変換部３８から供給された信号を外部機器へ出力する。また、通信部４２は外部機器から供給された通信信号を制御部５０へ出力する。
【００３３】
ビューファインダ部４３および表示部４４は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。ビューファインダ部４３および表示部４４は信号変換部３８から供給された画像信号に基づき、撮像部２３で取得した撮像画や記録媒体４１０に記録されている撮像画を表示する。また、ビューファインダ部４３および表示部４４は、制御部５０から供給された表示信号に基づき撮像装置１０の機能や動作などの各種設定画面や各種情報等を表示する。
【００３４】
ユーザインタフェース部４５は、操作スイッチや操作ボタン、操作ダイヤル、リモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を生成して制御部５０へ出力する。
【００３５】
制御部５０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部４５からの操作信号や通信部４２で受信した外部機器からの通信信号等に基づき、ユーザ操作や外部機器からの要求に応じた動作が撮像装置１０で行われるように各部を制御する。
【００３６】
また、制御部５０は、ホワイトバランス処理前の画像信号に基づいた光源推定を行う。画像信号に基づいた光源推定では、既存の種々の技術を用いることができる。例えば特開２００４−１６５９３２号公報に記載されているように、制御部５０は、センサ応答値に対して、既知である撮像部の分光感度特性と仮定したテスト光源の分光特性とから測色的に近似可能な演算を行い、撮像時の光源に依存しない評価空間へ投影して、投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することで光源を推定する。また、制御部５０は、信号成分検出を行い、その検波結果に基づいて光源を推定してもよく、色信号の分布から光源を推定してもよい。
【００３７】
また、制御部５０は、光センサ部２５から供給されたセンサ信号に基づいて光源推定を行う。例えば図２に示す光源の分光特性から明らかなように、自然光（太陽光）と非自然光（例えば白色光源や電球色光源）では、赤外線領域でパワーが相違する。したがって、赤外線領域に感度を有する光センサ部を用いれば、センサ信号の信号レベルに応じて光源が自然光と非自然光のいずれであるか判別できる。また、光センサ部として、可視領域に複数の感度領域を設ければ、光センサ部からのセンサ信号における各感度領域のパワーの違い、例えば緑色成分に対する青色成分の比率と緑色成分に対する赤い成分の比率の違い等に基づき白色光源や電球色光源の判別も可能となる。
【００３８】
さらに、制御部５０は、撮像画の画像信号に基づく光源推定結果と撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、画像信号のホワイトバランス調整の制御を行い、正確なホワイトバランス調整を行う。例えば、制御部５０は、撮像部２３で画像信号を画像単位で複数回連続して生成する場合、２回目以降の画像信号に基づく光源推定結果が信頼性のある光源推定結果であるかをセンサ信号に基づく光源推定結果を利用して判別する。さらに、制御部５０は、信頼性のある光源推定結果に基づいてホワイトバランス調整の調整値を決定して、決定した調整値をホワイトバランス調整部３４へ出力することで、正確なホワイトバランス調整を安定して行えるようにする。また、制御部５０は、撮像画の画角と光センサ部２５の画角との差が所定値以上である場合、即ち、光センサ部２５の画角が撮像画の画角より所定値よりも広い場合に、画像信号に基づく光源推定結果が信頼できるか判別してもよい。ここで所定値は光センサ部２５の画角が撮像画の画角より、少しでも広い場合や、予め設定された比率以上大きい時などが考えられる。なお、画像信号に基づく光源推定とセンサ信号に基づく光源推定、画像信号に基づく光源推定結果の使用判別結果に基づいたホワイトバランス調整の調整値の設定は、制御部５０に限らずホワイトバランス調整部３４で行ってもよい。
【００３９】
撮像装置１０は、図１に示す構成に限らず、図に示されていない構成が含まれてもよく、また図に示す構成の一部が除かれた構成であってもよい。例えば、撮像部２３には、三原色の色成分毎に撮像素子が設けてもよい。この場合には、デモザイク処理部３２を設ける必要がない。また、撮像装置１０は、ＲＡＷデータや光源検出結果等を記録媒体４１０に記録する機能や外部機器に送信する機能を有してもよい。
【００４０】
＜２．撮像装置の動作＞
図３は、撮像装置のホワイトバランス制御動作を例示したフローチャートである。ステップＳＴ１で制御部はオートホワイトバランス（ＡＷＢ）モードであるか判別する。制御部５０は撮像装置１０の動作設定がオートホワイトバランスモードに設定されている場合はステップＳＴ２に進み、オートホワイトバランスモードに設定されていない場合はホワイトバランス制御動作を行わずに終了する。なお、ステップＳＴ１からステップＳＴ１０の処理のループは、例えばフレーム毎や複数フレーム毎などホワイトバランス調整の更新期間単位ごとに行われる。
【００４１】
ステップＳＴ２で制御部は画像信号に基づく光源推定を行う。制御部５０は、ホワイトバランス処理前の画像信号に基づき光源を推定してステップＳＴ３に進む。
【００４２】
ステップＳＴ３で制御部はセンサ信号に基づく光源推定を行う。制御部５０は、光センサ部２５から供給されたセンサ信号に基づき光源を推定してステップＳＴ４に進む。なお、センサ信号に基づき推定した光源をセンサ推定光源ともいう。
【００４３】
ステップＳＴ４で制御部は安定化処理を実施するか判別する。制御部５０は、複数枚の撮像画を取得する動作モード例えば動画モードあるいは連写モードであり、撮影開始から２枚目以降の撮像を行う場合、安定化処理を実施すると判別する。つまり、安定化処理は１枚目の撮像画（フレーム）以降に撮像される撮像画（フレーム）に対して行われる。定化処理は常に行っても良いが、常に行わなくても良い。例えば、画像を記録しない場合は安定化処理を省いても良い。撮像装置本体や撮像装置と有線又は無線で接続され撮像装置本体から画像を受信して記録する外部機器の少なくとも一方で画像を記録している場合は安定化処理を行うことが望ましい。よってスルー画の表示を行うのみで、撮像画を記録していない場合は安定化処理を省いても良い。また、制御部５０は、撮像画の画角と光センサ部２５の画角との差が所定値以上である場合に安定化処理を実施するようにすれば、撮像画の画角が光学的なズームにより広画角とされて、写り込む背景の変化によってホワイトバランス調整のばらつきを生じるおそれがない場合には安定化処理を行わないようにできる。制御部５０は、安定化処理を実施すると判別した場合にステップＳＴ５に進み、安定化処理を実施しないと判別した場合、例えば動画モードあるいは連写モードにおける１枚目の撮像時あるいは単写モードである場合にステップＳＴ１０に進む。
【００４４】
ステップＳＴ５で制御部はカテゴライズ処理を行う。制御部５０は、ステップＳＴ２で画像信号に基づき推定した光源を、ステップＳＴ３の光源推定で推定可能な光源のカテゴリの１つに分類してステップＳＴ６に進む。
【００４５】
ステップＳＴ６で制御部はカテゴリ変化があるか判別する。制御部５０は、ステップＳＴ５で分類されたカテゴリが後述するステップＳＴ９で前回記憶したカテゴリと等しい場合にカテゴリ変化がないと判別してステップＳＴ７に進み、異なる場合にカテゴリ変化があると判別してステップＳＴ８に進む。
【００４６】
ステップＳＴ７で制御部はセンサ推定光源の変化があるか判別する。制御部５０は、ステップＳＴ３でセンサ信号に基づき推定したセンサ推定光源が後述するステップＳＴ９で前回記憶したセンサ推定光源から変化している場合はステップＳＴ８に進み、変化していない場合はステップＳＴ９に進む。
【００４７】
ステップＳＴ８で制御部はセンサ推定光源とカテゴリが一致するか判別する。制御部５０は、今回の処理ループのステップＳＴ７でセンサ信号に基づき推定したセンサ推定光源と、今回の処理ループのステップＳＴ５のカテゴライズ処理によって分類された画像信号に基づく光源のカテゴリが等しいか判別する。制御部５０は、センサ推定光源とカテゴリが等しいと判別した場合、画像信号に基づく光源推定結果は信頼性があると判別してステップＳＴ９に進む。また、制御部５０は、センサ推定光源とカテゴリが等しくないと判別した場合、画像信号に基づく光源推定結果は信頼性がないと判別してステップＳＴ１に戻る。ここで、ステップＳＴ８からステップＳＴ１に戻ることで、今回の処理ループではステップＳＴ１０の処理が行われない。これにより、ホワイトバランス推定及ホワイトバランス調整が安定化される。
【００４８】
ステップＳＴ９で制御部は、センサ推定光源とカテゴリを記憶する。制御部５０は、その後にステップＳＴ６，７の処理が繰り返されたとき、過去の最後にホワイトバランス調整の調整値を設定したときのセンサ推定光源およびカテゴリを示す情報を用いて、ステップＳＴ６でカテゴリ変化とステップＳＴ７でセンサ推定光源の変化を判別できるように、センサ推定光源とカテゴリを示す情報を記憶（上書き）してステップＳＴ１０に進む。
【００４９】
ステップＳＴ１０で制御部はホワイトバランス調整の調整値を設定することでホワイトバランス調整の調整値を更新する。制御部５０は、例えばユーザからの指示等に基づき安定化処理を実施しない場合、あるいは単写モード、つまり１枚の静止画のみを撮影する静止画撮影モードであるため安定化処理を行わない場合、または画像信号に基づく光源推定結果のカテゴリが変化していない場合、今回の処理のループ、即ち、直前に行われたＳＴ２の処理による画像信号に基づく光源推定結果に応じて、ホワイトバランス調整の調整値を設定する。また、制御部５０は、画像信号に基づく光源推定結果のカテゴリが変化し、かつ、画像信号に基づく光源推定結果に信頼性があると判別した場合、すなわち、画像信号に基づく光源推定結果のカテゴリとセンサ信号に基づく光源推定結果が等しい場合、直前に行われたＳＴ２の処理による画像信号に基づく光源推定結果に応じてホワイトバランス調整の調整値を設定する。なお、安定化処理を実施した結果、画像信号に基づく光源推定結果のカテゴリに変化を生じているが、画像信号に基づく光源推定結果は信頼性がないと判別した場合、上述のステップＳＴ８の処理からステップＳＴ１の処理に進み、ステップＳＴ９の処理を行わないため、ホワイトバランス調整の調整値はカテゴリ変化前の値が保持される。これにより、ホワイトバランス推定及びホワイトバランス調整の安定化がなされることになる。制御部５０は、生成した調整値をホワイトバランス調整部３４へ出力してステップＳＴ１に戻る。これにより、ホワイトバランス調整部３４は、制御部５０から出力された調整値に基づいて画像信号に対してホワイトバランス調整を行うことになる。
【００５０】
纏めると、制御部５０は、安定化処理を実施する場合、センサ推定光源とカテゴリがともに変化し、変化した結果が一致した場合のみ、今回の処理ループのステップＳＴ２の画像信号に基づく光源推定結果に基づいて、ホワイトバランス調整の調整値を新たに設定し、それ以外の場合はこれまで設定していたホワイトバランス調整の調整値を用いる。これによりホワイトバランス推定及びホワイトバランス調整の調整値が安定化される。
【００５１】
また、撮像装置のホワイトバランス制御動作は、図３に示す処理順序に限られない。例えば、ステップＳＴ２やステップＳＴ３で推定された光源が変化した場合に、ステップＳＴ５乃至ステップＳＴ９の処理を行うようにしてもよい。即ち、ステップＳＴ４の処理は無くても良い。
【００５２】
次に、ホワイトバランス調整の制御動作について具体例を説明する。図４は、検出可能な光源を例示している。図４の（ａ）は、画像信号に基づき検出可能な光源を例示しており、図４の（ｂ）は、センサ信号に基づき検出可能な光源を例示している。例えば制御部５０は、画像信号に基づき太陽光下の日向，日陰，曇り、および電球色光源、白色光源、昼白色光源、昼光色光源、水銀灯を判別可能とする。また、制御部５０は、センサ信号に基づき自然光と非自然光を判別可能とする。なお、図４の（a）や図４の（ｂ）に示すように一般的に画像信号に基づき検出可能な光源の種類は、センサ信号に基づき検出可能な光源の種類より多い。
【００５３】
図５は、制御部５０で行われるカテゴライズ処理を示しており、図４の（ａ）に示す光源を図４の（ｂ）に示す光源に区分する。例えば、画像信号に基づき検出可能な光源である「太陽光下の日向，日陰，曇り」を自然光のカテゴリに区分して、「電球色光源、白色光源、昼白色光源、昼光色光源、水銀灯」を非自然光のカテゴリに区分する。このカテゴライズ処理は、画像信号に基づき推定可能な光源とセンサ信号に基づき推定可能な光源の違いを吸収するためのものである。
【００５４】
図６は、ホワイトバランス調整の制御動作について具体例を示しており、例えばレース場のオートバイを撮像する場合である。オートバイＯＢはコースを走行しており、オートバイＯＢの動きに合わせて撮像装置１０の撮像向きを移動させて、例えば位置ＰＳ1〜ＰＳ6において破線で示す各領域を撮像して複数の画像を取得する。また、光センサ部２５の画角は、例えば位置ＰＳ1では一点鎖線で示す範囲ＰＲ1，位置ＰＳ4では一点鎖線で示す範囲ＰＲ4であり、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角とされている。光センサ部２５は、図２の（ｃ）に示すように、少なくとも赤外線領域に感度を有しており、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角であり、光センサ部２５の画角が例えば範囲ＰＲ1および範囲ＰＲ4のいずれでも、センサ信号に基づいて検出された光源Ｌ2は「自然光」と判別される。
【００５５】
図７は、図６に示す具体例の光源推定結果を示している。なお、図７では、画像信号に基づいて検出された光源を光源Ｌ1、センサ信号に基づいて検出された光源を光源Ｌ2、光源Ｌ1のカテゴライズ処理を行って検出された光源Ｌ1のカテゴリをカテゴリＬＣ1とする。また、天候は晴れの状態であって、例えばコースはアスファルトで舗装されており、コースを除く部分は草地とされている。また、草地が緑色で撮像範囲に多く含まれると、太陽光下の日向であっても光源推定では白色光源と推定されてしまうおそれがある。
【００５６】
位置ＰＳ1〜ＰＳ3では、破線で示す撮像範囲内にオートバイＯＢとコースと草地が含まれており、コースの割合が大きい。このような場合、画像信号に基づいて検出された光源Ｌ1は「日向」、センサ信号に基づいて検出された光源Ｌ2は「自然光」と判別される。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。位置ＰＳ1〜ＰＳ3では、光源Ｌ2とカテゴリＬＣ1が一致している。したがって、制御部５０は、光源Ｌ1の推定結果は信頼性があると判別して、光源Ｌ1の推定結果すなわち光源が「日向」であるとしてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
【００５７】
その後、位置ＰＳ4になると、撮像範囲内は草地の割合が多くなり、画像信号に基づいて検出された光源Ｌ1は「日向」から例えば「白色照明」に変化したとする。また、光源Ｌ1は「白色照明」であることからカテゴリＬＣ1は「非自然光」となる。このように光源Ｌ1のカテゴリＬＣ1が変化した場合、光源Ｌ2もカテゴリＬＣ1と同じ光源に変化していない場合、光源Ｌ1の光源推定結果は信頼性がないと判別して、ホワイトバランス調整の調整値は変更されることがない。また、位置ＰＳ5，ＰＳ6でも位置ＰＳ4と同様に光源Ｌ1が「白色光源」と推定されると、光源Ｌ1のカテゴリＬＣ1と光源Ｌ2が引き続き相違しており、光源Ｌ1の推定結果は信頼性がないと判別して、ホワイトバランス調整の調整値は変更されることがない。したがって、本技術によれば、位置ＰＳ1〜ＰＳ3に対して位置ＰＳ4〜ＰＳ6で推定された光源Ｌ1が変化しても、ホワイトバランス調整は光源Ｌ1の推定結果にかかわらずカテゴリ変化前の調整値を用いて行われる。このため、撮像装置１０は、ホワイトバランス調整を安定して行うことができるようになる。また、画像信号に基づく光源推定結果の信頼性があると判別されたされた場合、画像信号に基づく光源推定結果に応じてホワイトバランス調整が行われるので、センサ信号に基づく光源推定結果を用いる場合よりも正確なホワイトバランス調整を行うことができる。
【００５８】
図８は、他の具体例を示している。例えば白い鳥ＢＲの動きに合わせて撮像装置１０の向きを移動させて、破線の領域内を撮像して複数の画像を連続して取得する場合、位置ＰＳ11〜ＰＳ13では背景が異なる。例えば位置ＰＳ11における背景は「海」、位置ＰＳ12における背景は「山」、位置ＰＳ13における背景は「空」となっている。このような場合、画像信号に基づいて調整値を設定すると、鳥ＢＲの色が背景の違いによって赤みを帯びた白色や青みを帯びた白色等に変化するおそれがある。しかし、本技術によれば、画像信号に基づく光源推定結果の信頼性がないと判定された場合には、調整値を光源推定結果の変化前の状態に保つことが可能となり、背景の違いよって鳥ＢＲの色が変化してしまうことを防止できる。
【００５９】
図９は、ホワイトバランス調整の制御動作についての他の具体例を示しており、例えばトンネル内を走行中の車両ＭＯから前方を撮像する場合である。車両ＭＯに対して画角が固定されている撮像装置１０を取り付けた車両ＭＯは、電球色照明が行われているトンネル内から、晴れの状態であるトンネル外に向けて走行しており、車両ＭＯの移動に伴い光センサ部２５の一点鎖線で示す画角領域が移動して、例えば位置ＰＳ21〜ＰＳ26で撮像を行い複数の画像を取得する。なお、図９では、撮像部２３の画角を示していないが、撮像部２３の画角は光センサ部２５の画角よりも狭い範囲とされている。
【００６０】
図１０は、図９に示す他の具体例の光源推定結果を示している。なお、図１０では、画像信号に基づいて検出された光源を光源Ｌ1、センサ信号に基づいて検出された光源を光源Ｌ2、光源Ｌ1のカテゴライズ処理を行って検出された光源Ｌ1のカテゴリをカテゴリＬＣ1とする。
【００６１】
位置ＰＳ21，ＰＳ22では、一点鎖線で示す光センサ部２５の画角範囲にトンネル内の領域が多く含まれており、センサ信号に基づいて検出された光源Ｌ2は「非自然光」と判別されている。また、撮像部２３の画角内にトンネル内の領域が多く含まれており、画像信号に基づいて検出された光源Ｌ1は「電球色照明」と判別されている。また、カテゴリＬＣ1は、光源Ｌ1が「電球色照明」であることから「非自然光」となる。このように、位置ＰＳ21，ＰＳ22では、光源Ｌ2とカテゴリＬＣ1が一致していることから、光源Ｌ1の推定結果は信頼性があると判別して、制御部５０は、光源Ｌ1の推定結果である「電球色照明」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
【００６２】
位置ＰＳ23では、一点鎖線で示す光センサ部２５の画角範囲にトンネル内の領域が多く含まれており、センサ信号に基づいて検出された光源Ｌ2は「非自然光」と判別されている。また、撮像部２３の画角内にトンネル外の領域が多く含まれるようになり、画像信号に基づいて検出された光源Ｌ1は「電球色照明」から「日向」に変更される。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。このように、位置ＰＳ23では、光源Ｌ2とカテゴリＬＣ1が異なることから、光源Ｌ1の推定結果は信頼性がないと判別して、制御部５０は、光源Ｌ1の推定結果のカテゴリ変化前の「電球色照明」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
【００６３】
位置ＰＳ24となると、一点鎖線で示す光センサ部２５の画角範囲にトンネル外の領域が多く含まれるようになり、センサ信号に基づいて検出された光源Ｌ2は「自然光」に変更される。また、撮像部２３の画角内にはトンネル外の領域が多く含まれていることから、画像信号に基づいて検出された光源Ｌ1は「日向」と判別されている。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。このように、位置ＰＳ24では、光源Ｌ2とカテゴリＬＣ1が一致していることから、光源Ｌ1の推定結果は信頼性があると判別して、制御部５０は、光源Ｌ1の推定結果である「日向」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
【００６４】
位置ＰＳ25，ＰＳ26では、一点鎖線で示す光センサ部２５の画角範囲にトンネル外の領域が多く含まれており、センサ信号に基づいて検出された光源Ｌ2は「自然光」と判別されている。また、撮像部２３の画角内にトンネル外の領域が多く含まれており、画像信号に基づいて検出された光源Ｌ1は「日向」と判別されている。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。このように、位置ＰＳ25，ＰＳ26では、光源Ｌ2とカテゴリＬＣ1が一致していることから、光源Ｌ1の推定結果は信頼性があると判別して、制御部５０は、光源Ｌ1の推定結果である「日向」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。したがって、本技術によれば、位置ＰＳ23で光源Ｌ1のみが変化しても、ホワイトバランス調整は光源Ｌ1の推定結果にかかわらずカテゴリ変化前の調整値を用いて行われる。また、位置ＰＳ24で光源Ｌ2が変化して、光源Ｌ2とカテゴリＬＣ1が一致するとき、光源Ｌ1の推定結果は信頼性があると判別して、画像信号に基づく光源推定結果に応じて画像信号のバランス調整が行われる。このため、撮像装置１０では、撮像時に用いられている光源の切り替えも考慮して、より正確なホワイトバランス調整を安定して行うことができるようになる。
【００６５】
＜３．変形例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの移動体に搭載される装置として実現されてもよい。また、スマートフォン等の携帯電子機器に搭載される装置として実現されてもよく、監視カメラ等に適用されてもよい。このように光源が変化する環境下で使用可能な撮像機能を有する機器に適用すれば、ホワイトバランス調整が安定して行われることから、移動体の周辺に位置する被写体や撮影対象の被写体、監視対象の被写体の色が背景等の影響によって不安定に変化することを防止できる。
【００６６】
また、ＲＡＷデータあるいはホワイトバランス調整前の画像信号とセンサ信号を関連付ける、即ち同じ記録媒体に記録する、あるいは通信部を介して双方を関連付けて出力すれば、記録媒体に記録された信号や通信部を介して出力された信号を用いて、画像信号およびセンサ信号に基づく光源推定結果に基づく上述のホワイトバランス制御をオフライン処理、即ち、撮像時以降に当該撮像装置や他の撮像装置、さらには撮像機能を持たない画像処理装置で行うことができる。
【００６７】
また、ＲＡＷデータやホワイトバランス前の画像信号と、画像信号に基づく光源推定結果及びセンサ信号に基づく光源推定結果を関連付けておけば、オフライン処理でホワイトバランス調整を行うことができる。
【００６８】
さらに、光センサ部２５は、センシング範囲である画角が、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角とするとしたが、これに限らず、光センサ部２５の画角が、撮像素子の画角より常に広くない場合にも適用することができる。この場合、ズームレンズを駆動して光学的にズームインすることに、撮像画の画角が光センサのセンシング範囲である画角より（所定値以上）狭くなった場合に、本技術によるホワイトバランス調整の調整値の設定の動作を行うようにしても良い。
【００６９】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００７０】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００７１】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００７２】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【００７３】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部
を備える画像処理装置。
（２）  前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性を、前記センサ信号に基づく光源推定結果を用いて判別して、前記信頼性の判別結果に基づいて前記ホワイトバランス調整値を設定する（１）に記載の画像処理装置。
（３）  前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果を、前記センサ信号に基づいて推定可能な複数の光源のカテゴリのうちのいずれかのカテゴリに分類し、分類されたカテゴリと前記センサ信号に基づいて推定した光源とを比較することで、前記画像信号に基づく光源推定結果の信頼性を判別する（２）に記載の画像処理装置。
（４）  前記ホワイトバランス設定部は、今回分類されたカテゴリが前回に分類されたカテゴリから変化しているが、前記センサ信号に基づいて推定した光源が、前記今回分類されたカテゴリと等しい光源に変化していない場合、前記画像信号に基づく光源推定結果は信頼性がないと判断し、前記ホワイトバランス調整値を更新しない（３）に記載の画像処理装置。
（５）  前記ホワイトバランス設定部は、今回分類されたカテゴリと前記センサ信号に基づいて推定した光源が等しい場合、前記画像信号に基づく光源推定結果は信頼性があると判断し、前記画像信号に基づく今回の光源推定結果に応じて前記ホワイトバランス調整値を更新する（３）または（４）に記載の画像処理装置。
（６）  前記ホワイトバランス設定部は、前記撮像素子で画像信号を画像単位で複数回連続して生成する場合、２回目以降の前記画像信号に基づく光源推定結果について信頼性の判別を行う（２）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記ホワイトバランス設定部は、前記撮像画の画角と前記光センサ部の画角との画角差が所定値以上である場合、前記画像信号に基づく光源推定結果の信頼性を判別する（２）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性の判定を行わない場合、前記画像信号に基づく光源推定結果に応じて前記ホワイトバランス調整値を設定する（７）に記載の画像処理装置。
（９）  前記光センサ部は、少なくとも赤外線領域に感度を有する（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記光センサ部の画角は、前記撮像画の画角を包含する（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記ホワイトバランス調整値に基づいて前記画像信号に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備える（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記ホワイトバランス設定部は、前記撮像画の画角が光学的なズームにより前記センサ信号の画角より所定値以上広い場合に、前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記ホワイトバランス調整値を設定する（１）乃至（１１）のいずれかに記載の画像処理装置。
【産業上の利用可能性】
【００７４】
この技術の画像処理装置と画像処理方法とプログラムおよび撮像装置によれば、被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、撮像画より広い画角で、撮像素子と異なる領域に分光感度を有する光センサ部によって生成された撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、画像信号のホワイトバランス調整値の設定が行われる。このため、画像信号に基づく光源推定結果のみに基づいてホワイトバランス調整値を設定する場合よりも安定してホワイトバランス調整を行うことができる。したがって、光源の変化が生じる環境下で使用可能な撮像機能を有する機器に適している。
【符号の説明】
【００７５】
１０・・・撮像装置
２１・・・撮像光学系
２２・・・撮像光学系駆動部
２３・・・撮像部
２４・・・発光部
２５・・・光センサ部
３０・・・画像処理部
３１・・・前処理部
３２・・・デモザイク処理部
３３・・・リニアマトリクス変換部
３４・・・ホワイトバランス（ＷＢ）調整部
３５・・・アパーチャ補正部
３６・・・信号加算部
３７・・・γ補正部
３８・・・信号変換部
４１・・・記録部
４２・・・通信部
４３・・・ビューファインダ部
４４・・・表示部
４５・・・ユーザインタフェース部
５０・・・制御部
４１０・・・記録媒体
【図１】
2020026561.tif 000003
【図２】
2020026561.tif 000004
【図３】
2020026561.tif 000005
【図４】
2020026561.tif 000006
【図５】
2020026561.tif 000007
【図６】
2020026561.tif 000008
【図７】
2020026561.tif 000009
【図８】
2020026561.tif 000010
【図９】
2020026561.tif 000011
【図１０】
2020026561.tif 000012
【国際調査報告】
2020026561.tif 000013
2020026561.tif 000014
2020026561.tif 000015
2020026561.tif 000016