(57)【要約】【課題】霧を含む画像の画質を向上させる。【解決手段】混合領域検出部と撮像条件更新部とを備える信号処理装置において、混合領域検出部は、所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する。撮像条件更新部は、検出された領域における非可視光画像信号に基づいて非可視光画像信号における撮像条件を新たに生成して所定の撮像条件を更新する。これにより、霧等が含まれる領域が検出され、当該領域において可視光画像信号と非可視光画像信号とが混合されるとともに、当該領域における非可視光画像信号の撮像条件が更新される。【選択図】図３
2017157902.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する信号処理装置。
【請求項２】
前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号および前記可視光画像信号が略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する請求項１記載の信号処理装置。
【請求項３】
前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号と前記検出された領域以外の領域における前記可視光画像信号とが略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する請求項１記載の信号処理装置。
【請求項４】
前記混合領域検出部は、前記可視光画像信号に撮像された霧の透過率に基づいて前記領域を検出する請求項１記載の信号処理装置。
【請求項５】
前記混合領域検出部は、前記霧の透過率が所定の閾値より小さい領域を前記領域として検出する請求項４記載の信号処理装置。
【請求項６】
前記混合領域検出部は、前記可視光画像信号に含まれる顔の領域を前記領域として検出する請求項１記載の信号処理装置。
【請求項７】
前記混合領域検出部は、前記可視光画像信号が所定の閾値より大きい領域を前記領域として検出する請求項１記載の信号処理装置。
【請求項８】
前記混合領域検出部は、前記可視光画像信号が所定の閾値より小さい領域を前記領域として検出する請求項１記載の信号処理装置。
【請求項９】
前記混合における混合比率を前記検出された領域における前記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、
前記撮像条件更新部は、前記生成された混合比率に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する
請求項１記載の信号処理装置。
【請求項１０】
前記撮像条件に基づいて前記非可視光画像信号のレベルを調整する増幅部をさらに具備する請求項１記載の信号処理装置。
【請求項１１】
前記非可視光画像信号は、赤外光に対応する赤外光画像信号である請求項１記載の信号処理装置。
【請求項１２】
所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、
前記非可視光画像信号および前記可視光画像信号の混合を行う領域を検出する混合領域検出部と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する撮像装置。
【請求項１３】
所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出手順と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新手順と
を具備する信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、可視光画像信号および非可視光画像信号の混合を行う信号処理装置、撮像装置および信号処理方法に関する。
【背景技術】
【０００２】
従来、撮像を行う際、霧が発生しているか否かを検出して、画像のコントラストを拡大することにより、画質の向上を図る撮像装置が使用されている。例えば、第１および第２の２台のカメラを備え、第１のカメラにより霧を含む画像の撮像を行い、第２のカメラにより霧部分の撮像を行うシステムが提案されている（例えば、特許文献１参照。）。この従来技術では、まず第２のカメラにより撮像された画像から濃霧らしさが検知される。次に、検知された濃霧らしさに基づいて、第１のカメラにより撮像された画像のコントラストの拡大や輝度および色の補正等の補正処理を行う。これにより、霧を含む画像の画質を向上させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１８００２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術は、可視光のみにより撮像された画像を使用している。この可視光は霧等により散乱され易く、霧の背後に存在する画像の撮像を十分に行うことができないという問題がある。このため、撮像後に濃霧らしさに基づいてコントラストの拡大等を行っても、霧の背後に存在する画像を再現することができず、霧を含む画像の画質を十分に向上させることができないという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、霧による散乱の影響を受け難い赤外光画像信号を可視光画像信号に混合して画像を生成するとともに赤外光画像信号の撮像条件を最適化して、霧を含む画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、上記検出された領域における上記非可視光画像信号に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新する撮像条件更新部とを具備する信号処理装置および信号処理方法である。これにより、非可視光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における非可視光画像信号の撮像条件が更新されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記撮像条件更新部は、上記検出された領域における上記非可視光画像信号および上記可視光画像信号が略等しくなる撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、上記検出された領域における上記非可視光画像信号および上記可視光画像信号が略等しくなる撮像条件が新たに生成されて更新されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記撮像条件更新部は、上記検出された領域における上記非可視光画像信号と上記検出された領域以外の領域における上記可視光画像信号とが略等しくなる撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、上記検出された領域における上記非可視光画像信号と上記検出された領域以外の領域における上記可視光画像信号とが略等しくなる撮像条件が新たに生成されて更新されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号に撮像された霧の透過率に基づいて上記領域を検出してもよい。これにより、可視光画像信号に撮像された霧の透過率に基づいて領域が検出されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記混合領域検出部は、上記霧の透過率が所定の閾値より小さい領域を上記領域として検出してもよい。これにより、霧の透過率が所定の閾値より小さい領域が上記領域として検出されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号に含まれる顔の領域を上記領域として検出してもよい。これにより、顔の領域が上記領域として検出されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号が所定の閾値より大きい領域を上記領域として検出してもよい。これにより、可視光画像信号が所定の閾値より大きい領域が上記領域として検出されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記混合領域検出部は、上記可視光画像信号が所定の閾値より小さい領域を上記領域として検出してもよい。これにより、可視光画像信号が所定の閾値より小さい領域が上記領域として検出されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記混合における混合比率を上記検出された領域における上記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、上記撮像条件更新部は、上記生成された混合比率に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新してもよい。これにより、検出された領域における非可視光画像信号に基づいて生成混合比率が生成され、この混合比率に基づいて非可視光画像信号における撮像条件が新たに生成されて更新されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記撮像条件に基づいて上記非可視光画像信号のレベルを調整する増幅部をさらに具備してもよい。これにより、撮像条件に基づいて非可視光画像信号のレベルが調整されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記非可視光画像信号は、赤外光に対応する赤外光画像信号であってもよい。これにより、赤外光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における赤外光画像信号の撮像条件が更新されるという作用をもたらす。
【００１７】
また、本技術の第２の側面は、所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、上記非可視光画像信号および上記可視光画像信号の混合を行う領域を検出する混合領域検出部と、上記検出された領域における上記非可視光画像信号に基づいて上記非可視光画像信号における撮像条件を新たに生成して上記所定の撮像条件を更新する撮像条件更新部とを具備する撮像装置である。これにより、非可視光画像信号および可視光画像信号の混合を行う領域が検出され、この領域における非可視光画像信号の撮像条件が更新されるという作用をもたらす。
【発明の効果】
【００１８】
本技術によれば、霧による散乱の影響を受け難い赤外光画像信号を可視光画像信号に混合して画像を生成するとともに赤外光画像信号の撮像条件を最適化して、霧を含む画像の画質を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術の第１の実施の形態における撮像装置１０の構成例を示す図である。
【図２】本技術の第１の実施の形態における信号処理部２００の構成例を示す図である。
【図３】本技術の第１の実施の形態における処理条件生成部２４０の構成例を示す図である。
【図４】本技術の第１の実施の形態における混合比率の生成の一例を示す図である。
【図５】本技術の第１の実施の形態における可視光画像撮像条件更新処理の処理手順の一例を示す図である。
【図６】本技術の第１の実施の形態における赤外光画像撮像条件更新処理の処理手順の一例を示す図である。
【図７】本技術の第１の実施の形態における赤外光測光重みの生成の一例を示す図である。
【図８】本技術の第１の実施の形態における信号処理の処理手順の一例を示す図である。
【図９】本技術の第２の実施の形態における処理条件生成部２４０の構成例を示す図である。
【図１０】本技術の第３の実施の形態における処理条件生成部２４０の構成例を示す図である。
【図１１】本技術の第４の実施の形態における処理条件生成部２４０の構成例を示す図である。
【図１２】本技術の第５の実施の形態における撮像装置１０の構成例を示す図である。
【図１３】本技術の第５の実施の形態における信号処理部２００の構成例を示す図である。
【図１４】本技術の第６の実施の形態における信号処理部２００の構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（霧の透過率に基づいて可視光画像信号および赤外光画像信号を混合する領域を検出する場合の例）
２．第２の実施の形態（顔領域を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
３．第３の実施の形態（画像の暗部を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
４．第４の実施の形態（画像の飽和領域を検出して可視光画像信号および赤外光画像信号を混合する場合の例）
５．第５の実施の形態（２つの撮像素子を備える場合の例）
６．第６の実施の形態（赤外光画像信号増幅部を備える場合の例）
７．変形例
【００２１】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の第１の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、撮像素子１００と、信号処理部２００と、制御部３００とを備える。
【００２２】
撮像素子１００は、被写体の撮像を行うことにより可視光画像信号および赤外光画像信号を生成するものである。この撮像素子１００は、外光を受光する面に画像信号を生成する画素が２次元に配置されて構成される。この画素として、赤色光に対応する画像信号（Ｒ信号）を生成する画素（Ｒ画素）、緑色光に対応する画像信号（Ｇ信号）を生成する画素（Ｇ画素）および青色光に対応する画像信号（Ｂ信号）を生成する画素（Ｂ画素）が受光面に配置されている。また、赤外光に対応する画像信号（ＩＲ信号）を生成する画素（ＩＲ画素）がさらに配置される。これらの画素は、撮像素子１００の受光面に所定のパターンに基づいて配置される。例えば、ベイヤー配列における２つのＧ画素のうちの１つをＩＲ画素に置き換えた配列により受光面に繰返し配置される。
【００２３】
Ｒ画素、Ｇ画素およびＢ画素から可視光画像信号が生成される。すなわち、可視光画像信号は、Ｒ信号、Ｇ信号およびＢ信号により構成される。一方、ＩＲ画素からは、ＩＲ信号により構成された赤外光画像信号が生成される。これら可視光画像信号および赤外光画像信号の生成が交互に行われて、同一被写体に対する可視光画像および赤外光画像が生成される。後述する信号処理部２００において可視光画像信号および赤外光画像信号が混合されて１フレームの画像が生成される。ここで、フレームとは、１画面分の画像信号である。撮像素子１００による撮像が連続して行われることにより、フレームが連続して生成されて、動画が形成される。また、静止画を取得する場合においては、連写を行う際に撮像素子１００による撮像が連続して行われる。後述する信号処理部２００は、撮像が連続する際に撮像条件を更新し、撮像条件の最適化を図る。
【００２４】
また、撮像素子１００は、撮像条件に基づいて撮像を行う。ここで、撮像条件とは、撮像の際の条件であり、例えば、露光時間や画像信号の信号レベルを調整するための利得が該当する。この撮像条件は、信号処理部２００により生成され、制御部３００により撮像素子１００に対して設定される。
【００２５】
信号処理部２００は、撮像素子１００により生成された画像信号の処理を行うものである。この画像信号の処理として、例えば、撮像素子１００により生成された可視光画像信号および赤外光画像信号を混合する処理を行うことができる。信号処理部２００により処理された画像信号は、撮像装置１０の出力画像信号として撮像装置１０の外部に出力される。また、信号処理部２００は、可視光画像信号および赤外光画像信号に基づいて、撮像条件を生成し、制御部３００に対して出力する。この撮像条件は、可視光画像信号および赤外光画像信号毎に生成される。
【００２６】
制御部３００は、撮像素子１００における可視光画像信号および赤外光画像信号の生成の制御を行うものである。この制御は、信号処理部２００により生成された可視光画像信号および赤外光画像信号の撮像条件を撮像素子１００に対して交互に設定し、撮像素子１００を制御する。また、制御部３００は、撮像装置１０の全体の制御をさらに行う。
【００２７】
［信号処理部の構成］
図２は、本技術の第１の実施の形態における信号処理部２００の構成例を示す図である。この信号処理部２００は、デモザイク部２５０と、分離部２１０と、輝度色差信号生成部２２０と、混合部２３０と、処理条件生成部２４０とを備える。
【００２８】
デモザイク部２５０は、撮像素子１００により生成された画像信号にデモザイク処理を行い、分離部２１０に対して出力するものである。ここで、デモザイク処理とは、撮像素子１００により生成された単色の画像信号に対して不足する画像信号を補完する処理である。このデモザイク処理により、１画素当たりの画像信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号の４つに増加する。
【００２９】
分離部２１０は、撮像素子１００により生成された可視光画像信号および赤外光画像信号を分離するものである。分離された可視光画像信号は、輝度色差信号生成部２２０に対して出力される。一方、分離された赤外光画像信号は、混合部２３０に対して出力される。
【００３０】
輝度色差信号生成部２２０は、分離部２１０から出力された可視光画像信号であるＲ信号、Ｇ信号およびＢ信号を輝度信号（Ｙ信号）および色差信号（Ｃｒ信号およびＣｂ信号）に変換するものである。Ｃｒ信号はＲ信号とＹ信号との差分に基づく信号であり、Ｃｂ信号は、Ｂ信号とＹ信号との差分に基づく信号である。この変換には、公知の変換式を使用することができる。変換後のＹ信号、Ｃｂ信号およびＣｒ信号は、混合部２３０に対して出力される。
【００３１】
混合部２３０は、可視光画像信号と赤外光画像信号とを混合して１フレームの画像信号を生成するものである。この混合部２３０は、フレームを複数の領域に分割し、分割されたフレームのそれぞれの領域毎に混合を行う。その際、後述する処理条件生成部２４０により生成された領域毎の混合比率に基づいて混合が行われる。このフレームの分割は、例えば、縦方向に７分割し、横方向に９分割して６３の領域に分割する方式を採用することができる。同図の混合部２３０は、輝度色差信号生成部２２０により出力されたＹ信号と分離部２１０から出力されたＩＲ信号とを混合する。混合は、例えば、次式に基づいて行うことができる。
Ｙ'＝ＩＲ×α＋Ｙ×（１−α）
ここで、Ｙ'は、混合後のＹ信号を表す。また、αは、混合比率を表す。混合後のＹ'信号ならびにＣｒ信号およびＣｂ信号は、撮像装置１０の出力画像信号となる。混合部２３０における混合の詳細については後述する。
【００３２】
処理条件生成部２４０は、可視光画像信号および赤外光画像信号に基づいて処理条件を生成するものである。この処理条件生成部２４０は、輝度色差信号生成部２２０から出力されたＹ信号と分離部２１０から出力されたＩＲ信号とに基づいて処理条件を生成する。前述した撮像条件および混合比率αがこの処理条件として生成される。処理条件生成部２４０の構成の詳細については後述する。
【００３３】
［処理条件生成部の構成］
図３は、本技術の第１の実施の形態における処理条件生成部２４０の構成例を示す図である。この処理条件生成部２４０は、可視光画像信号平均生成部２４１と、霧透過率生成部２４２と、赤外光画像信号平均生成部２４３と、混合比率生成部２４４と可視光画像撮像条件保持部２４５と、可視光画像撮像条件更新部２４６とを備える。また、この処理条件生成部２４０は、赤外光画像撮像条件更新部２４７と、赤外光画像撮像条件保持部２４８をさらに備える。
【００３４】
可視光画像信号平均生成部２４１は、１画面分の可視光画像信号を複数の領域に分割するとともに分割された領域における可視光画像信号（Ｙ信号）の平均を領域毎に生成するものである。この領域の分割には、図２において説明した混合部２３０における分割方式を採用することができる。
【００３５】
可視光画像撮像条件保持部２４５は、可視光画像信号の撮像条件である可視光画像撮像条件を保持するものである。この可視光画像撮像条件保持部２４５には、所定の撮像条件が初期条件として保持される。
【００３６】
可視光画像撮像条件更新部２４６は、可視光画像撮像条件保持部２４５に保持された可視光画像の撮像条件を更新するものである。この可視光画像撮像条件更新部２４６は、可視光画像信号平均生成部２４１により生成されたＹ信号の平均に基づいて新たな撮像条件を生成し、制御部３００に対して出力する。この際、霧透過率生成部２４２により検出された領域における赤外光画像信号および可視光画像信号の明るさが略等しくなる赤外光画像撮像条件が生成される。また、可視光画像撮像条件更新部２４６は、生成した新たな撮像条件を可視光画像撮像条件保持部２４５に保持させることにより、更新を行う。この更新の処理の詳細については後述する。
【００３７】
霧透過率生成部２４２は、可視光画像信号に基づいて霧透過率を生成するものである。この霧透過率生成部２４２は、前述した混合部２３０により分割された領域毎に霧の透過率を生成し、混合比率生成部２４４に対して出力する。霧の透過率の検出には、公知の方法を使用することができる。例えば、画像信号の領域毎の霧の密度の推定を行い、この推定された霧の密度をソフトマッティング法等により透過率に変換する方法を使用することができる。
【００３８】
撮像素子１００により生成された画像のうち、霧等が撮像された領域では、可視光が散乱されるため、視認性が低下する。そこで、そのような領域においては、赤外光画像信号を可視光画像信号に混合する。赤外光は、霧等による散乱の影響を受けにくいため、この混合を行うことにより、視認性を向上させることができる。霧透過率生成部２４２は、霧の透過率に基づいて混合を行う領域の検出を行う。同図の霧透過率生成部２４２においては、領域毎の霧透過率を生成して混合比率生成部２４４に対して出力する。後述するように、混合比率生成部２４４は、霧の透過率が低い領域に対して混合する赤外光画像信号の比率を高くした混合比率を生成する。このように、霧透過率生成部２４２による混合を行う領域の検出が行われる。なお、霧の透過率が所定の閾値より低い領域を検出して混合比率生成部２４４に対して出力する方式にすることも可能である。なお、霧透過率生成部２４２は、特許請求の範囲に記載の混合領域検出部の一例である。
【００３９】
混合比率検出部２４４、霧透過率生成部２４２により検出された領域における赤外光画像信号に基づいて混合比率αを生成するものである。混合比率αの生成の詳細については後述する。
【００４０】
赤外光画像信号平均生成部２４３は、１画面分の赤外光画像信号を複数の領域に分割するとともに分割された領域における赤外光画像信号（ＩＲ信号）の平均を領域毎に生成するものである。この領域の分割には、可視光画像信号平均生成部２４１と同様に、混合部２３０における分割方式を採用することができる。
【００４１】
赤外光画像撮像条件保持部２４８は、赤外光画像信号の撮像条件である赤外光撮像条件を保持するものである。この赤外光画像撮像条件保持部２４８には、所定の撮像条件が初期条件として保持される。
【００４２】
赤外光画像撮像条件更新部２４７は、赤外光画像撮像条件保持部２４８に保持された赤外光の撮像条件を更新するものである。この赤外光画像撮像条件更新部２４７には、可視光画像信号平均生成部２４１により生成されたＹ信号の平均、赤外光画像信号平均生成部２４３により生成されたＩＲ信号の平均および混合比率生成部２４４により生成された混合比率αが入力される。赤外光画像撮像条件更新部２４７は、これらの信号に基づいて新たな撮像条件を生成し、制御部３００に対して出力する。また、赤外光画像撮像条件更新部２４７は、生成した新たな撮像条件を赤外光画像撮像条件保持部２４８に保持させることにより、更新を行う。この更新の処理の詳細については後述する。
【００４３】
［混合比率の生成］
図４は、本技術の第１の実施の形態における混合比率の生成の一例を示す図である。同図は、混合比率生成部２４４における混合比率αの生成を表したものである。同図に表したように、混合比率生成部２４４は、霧透過率生成部２４２から出力された透過率を混合比率αに変換する。同図において、α＿ＭＡＸおよびα＿ＭＩＮは、それぞれ混合比率αの最大値および最小値に該当する。例えば、α＿ＭＡＸおよびα＿ＭＩＮとして、それぞれ値「１」および「０」を採用することができる。透過率の値が０乃至閾値ＴＨ１の場合には、α＿ＭＡＸが混合比率αとして出力される。透過率の値が閾値ＴＨ１乃至ＴＨ２の場合には、混合比率αをα＿ＭＡＸからα＿ＭＩＮまで直線的に変化させる。透過率の値が閾値ＴＨ２を超える場合には、α＿ＭＩＮが混合比率αとして出力される。
【００４４】
なお、混合比率αの生成はこの例に限られず、例えば、閾値ＴＨ１を境にして、α＿ＭＡＸまたはα＿ＭＩＮの何れかを出力する方式にすることも可能である。
【００４５】
［可視光画像撮像条件更新処理］
図５は、本技術の第１の実施の形態における可視光画像撮像条件更新処理の処理手順の一例を示す図である。同図は、可視光画像撮像条件更新部２４６における可視光画像撮像条件の更新処理を表したものである。
【００４６】
まず、可視光測光重みが設定される（ステップＳ９１１）。ここで、可視光測光重みとは、領域毎に設定された重みである。この可視光測光重みは、後述する明るさ評価値の算出の際に使用される。優先して明るさを合わせる領域、例えば、画面の中心領域に対して、大きな重みが生成される。その後、明るさ評価値の算出の際に当該領域に対する重み付けが行われる。
【００４７】
次に、可視光測光ターゲットが設定される（ステップＳ９１２）。ここで、可視光測光ターゲットとは、可視光画像の明るさの目標値である。
【００４８】
次に、明るさ評価値の算出が行われる（ステップＳ９１３）。これは、次のように行うことができる。まず、可視光画像信号平均生成部２４１により出力された領域毎の可視光画像信号の平均に対してステップＳ９１１において設定された重み付きの平均が算出される。この算出された平均とステップＳ９１２において生成された可視光測光ターゲットとの差分を明るさ評価値とする。
【００４９】
次に、可視光画像撮像条件が更新される（ステップＳ９１４）。これは、次のように行うことができる。まず、ステップＳ９１３において生成された明るさ評価値に基づいて可視光画像撮像条件保持部２４５に保持された可視光画像撮像条件を調整することにより、新たな可視光画像撮像条件が生成される。次に、新たな可視光画像撮像条件が可視光画像撮像条件保持部２４５に保持される。
【００５０】
その後、可視光画像撮像条件更新処理は終了する。なお、新たに生成された可視光画像撮像条件は、次のフレームにおける撮像条件として制御部３００に対して出力される。
【００５１】
［赤外光画像撮像条件更新処理］
図６は、本技術の第１の実施の形態における赤外光画像撮像条件更新処理の処理手順の一例を示す図である。同図は、赤外光画像撮像条件更新部２４７における赤外光画像撮像条件の更新処理を表したものである。
【００５２】
まず、赤外光測光重みが設定される（ステップＳ９２１）。ここで、赤外光測光重みとは、領域毎に設定された重みである。上述の可視光測光重みと同様に、優先して明るさを合わせる領域に対して、大きな重みが生成される。この赤外光測光重みは、混合比率生成部２４４により生成された領域毎の混合比率に基づいて生成される。この赤外光測光重みの生成の詳細については後述する。
【００５３】
次に、赤外光測光ターゲットが設定される（ステップＳ９２２）。ここで、赤外光測光ターゲットとは、赤外光画像の明るさの目標値である。可視光画像信号平均生成部２４１により出力された領域毎の可視光画像信号の平均に対してステップＳ９２１により設定された赤外光測光重み付きの平均を算出することにより、赤外光測光ターゲットを設定することができる。これにより、高い混合比率が設定された領域における赤外光および可視光の明るさを近い値にすることができる。
【００５４】
次に、明るさ評価値の算出が行われる（ステップＳ９２３）。これは、次のように行うことができる。まず、赤外光画像信号平均生成部２４３により出力された領域毎の赤外光画像信号の平均に対してステップＳ９２１において設定された赤外光測光重み付きの平均が算出される。この算出された平均とステップＳ９２２において生成された赤外光測光ターゲットとの差分を明るさ評価値とする。
【００５５】
次に、赤外光画像撮像条件が更新される（ステップＳ９２４）。これは、次のように行うことができる。まず、ステップＳ９２３において生成された明るさ評価値に基づいて赤外光画像撮像条件保持部２４８に保持された赤外光画像撮像条件を調整することにより、新たな赤外光画像撮像条件が生成される。次に、新たな赤外光画像撮像条件が赤外光画像撮像条件保持部２４８に保持される。
【００５６】
その後、赤外光画像撮像条件更新処理は終了する。なお、新たに生成された赤外光画像撮像条件は、次のフレームにおける撮像条件として制御部３００に対して出力される。
【００５７】
［赤外光測光重みの生成］
図７は、本技術の第１の実施の形態における赤外光測光重みの生成の一例を示す図である。同図は、赤外光画像撮像条件更新部２４７における赤外光測光重みの生成を表したものであり、図６において説明したステップＳ９２１において行われる処理である。同図に表したように、赤外光画像撮像条件更新部２４７は、混合比率生成部２４４から出力された混合比率αを赤外光測光重みに変換する。同図において、ＭＡＸおよびＭＩＮは、それぞれ赤外光測光重みの最大値および最小値に該当する。混合比率αの値が０乃至閾値ＴＨ３の場合には、ＭＩＮが赤外光測光重みとして出力される。混合比率αの値が閾値ＴＨ３乃至ＴＨ４の場合には、赤外光測光重みをＭＩＮからＭＡＸまで直線的に変化させる。混合比率αの値が閾値ＴＨ４を超える場合には、ＭＡＸが赤外光測光重みとして出力される。
【００５８】
このように、霧透過率生成部２４２により霧の透過率が生成され、混合比率生成部２４４により霧の透過率が低い領域に対して高い混合比率αが生成される。これにより、霧の透過率が低い領域に多くの赤外光画像信号が混合され、視認性を向上させることができる。さらに、赤外光画像撮像条件更新部２４７により、混合比率αが大きい領域に対して大きな赤外光測光重みが設定されて赤外光測光ターゲットが生成される。これにより、霧の透過率が低い領域における赤外光と可視光の明るさを近い値にする赤外光画像撮像条件が生成される。この生成された赤外光画像撮像条件に基づいて、次のフレームの撮像を行うことにより、霧の透過率が低い領域における赤外光画像信号の信号レベルを当該領域における可視光画像信号と略同じにすることができる。これにより、混合された領域および他の領域の輝度が略等しくなり、画質を向上させることができる。
【００５９】
［処理条件設定］
図８は、本技術の第１の実施の形態における信号処理の処理手順の一例を示す図である。同図は、処理条件生成部２４０における信号処理を表したものである。同図の処理は、撮像素子１００により、可視光画像信号および赤外光画像信号が生成されて、処理条件生成部２４０にこれらが入力された場合に実行される。まず、混合領域検出が行われる（ステップＳ９０１）。これは、霧透過率生成部２４２が霧の透過率を生成することにより行われる。次に、混合比率生成部２４４により混合比率が生成される（ステップＳ９０２）。次に、図５において説明した可視光画像撮像条件更新が行われる（ステップＳ９１０）。最後に、図６において説明した赤外光画像撮像条件更新が行われ（ステップＳ９２０）、処理条件生成部２４０は、信号処理を終了する。
【００６０】
このように、本技術の第１の実施の形態では、霧の透過率が低い領域において、可視光画像信号および赤外光画像信号が混合された画像が生成される。この際、当該領域における赤外光画像信号および可視光画像信号の明るさを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。撮像が連続する場合、更新された撮像条件に基づいて次の撮像が行われる。これにより、霧の透過率が低い領域におけるこれらの画像信号の明るさを略等しくすることができ、霧を含む画像の画質を向上させることができる。
【００６１】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、霧の透過率を算出することにより、赤外光画像信号および可視光画像信号を混合する領域の検出を行っていた。これに対し、本技術の第２の実施の形態では、人物の顔領域の検出を行う。これにより、顔領域における画質を向上させることができる。
【００６２】
［処理条件生成部の構成］
図９は、本技術の第２の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、霧透過率生成部２４２の代わりに顔領域検出部２４９を備える点で、図３において説明した処理条件生成部２４０と異なる。
【００６３】
顔領域検出部２４９は、可視光画像信号に基づいて顔領域を検出するものである。この顔領域の検出には、公知の方法を使用することができる。顔領域検出部２４９は、例えば、顔が含まれている領域を検出結果として混合比率生成部２４４に対して出力することができる。また、顔領域検出部２４９は、例えば、分割された画像のそれぞれの領域毎の顔領域である確率を検出結果として出力することができる。なお、顔領域検出部２４９は、特許請求の範囲に記載の混合領域検出部の一例である。
【００６４】
同図の混合比率生成部２４４は、顔領域検出部２４９からの出力に基づいて、混合比率を生成する。例えば、顔領域検出部２４９から顔が含まれている領域が検出結果として出力される場合には、当該領域に対して高い混合比率を生成することができる。また、顔領域検出部２４９から顔である確率が領域毎に出力される場合には、例えば、この確率に比例した混合比率を生成することができる。赤外光と可視光とは人物の肌への浸透特性が異なっており、赤外光により撮像された画像は肌のシミ等が少ない画像になる。このため、顔領域に赤外光画像信号を混合することにより、シミ等の少ない顔の画像にすることができる。この際、赤外光画像撮像条件更新部２４７により、顔領域における赤外光画像信号および可視光画像信号の明るさをほぼ等しくする撮像条件が生成され、次のフレームの撮像に適用される。
【００６５】
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
【００６６】
このように、本技術の第２の実施の形態では、検出された顔領域において、赤外光画像信号および可視光画像信号が混合した画像が生成される。この際、当該領域における赤外光画像信号と可視光画像信号の明るさを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、顔領域の赤外光画像信号および可視光画像信号の明るさを略等しくすることができ、画質を向上させることができる。
【００６７】
［変形例］
上述の第２の実施の形態では、顔領域を検出していたが、ユーザが指定する領域を検出し、当該領域における混合画像信号を生成してもよい。例えば、顔領域検出部２４９において、顔領域の代わりにユーザが指定する領域を検出し、混合比率生成部２４４に対して出力する方式にすることができる。この場合、ユーザが顔領域として認識した領域が顔領域検出部２４９により検出された顔領域となる。これにより、ユーザが指定する領域の画質を向上させることができる。
【００６８】
これ以外の撮像装置１０の構成は本技術の第２の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
【００６９】
このように、本技術の第２の実施の形態の変形例によれば、ユーザが指定した領域の画質を向上させることができる。
【００７０】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、霧の透過率を算出することにより、赤外光画像信号および可視光画像信号を混合する領域の検出を行っていた。これに対し、本技術の第３の実施の形態では、赤外光画像信号および可視光画像信号を混合する領域として、黒潰れを生じた領域の検出を行う。これにより、黒潰れ領域における画質を向上させることができる。
【００７１】
［処理条件生成部の構成］
図１０は、本技術の第３の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、霧透過率生成部２４２の代わりに暗部検出部６０１を備える点で、図３において説明した処理条件生成部２４０と異なる。
【００７２】
暗部検出部６０１は、可視光画像信号に基づいて暗部を検出するものである。ここで、暗部とは、いわゆる黒潰れを生じた領域である。逆光状態において撮像を行う場合のように高いダイナミックレンジの画像を撮像する際に、暗部が発生する。暗部の検出には、例えば、可視光画像信号が所定の閾値より小さい領域を検出する方式を採ることができる。この暗部検出部６０１は、暗部に該当する領域を混合比率生成部２４４に対して出力する。なお、暗部検出部６０１は、特許請求の範囲に記載の混合領域検出部の一例である。
【００７３】
同図の混合比率生成部２４４は、暗部検出部６０１により検出された暗部の混合比率を生成する。例えば、暗部に対して所定の混合比率を生成することができる。また、これ以外の領域に対して混合比率を値「０」にすることができる。この混合比率に基づいて赤外光画像信号の混合が行われることにより、視認性を向上させることができる。
【００７４】
同図の赤外光画像撮像条件更新部２４７は、暗部検出部６０１により検出された領域における赤外光画像信号の明るさと暗部検出部６０１により検出された領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像撮像条件を生成する。すなわち、暗部における赤外光画像信号の明るさと暗部以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像撮像条件が生成される。
【００７５】
このため、図６において説明したステップＳ９２２において、領域毎の可視光画像信号の平均に対する平均を算出し、これを赤外光測光ターゲットにする。この赤外光測光ターゲットに基づいて赤外光画像撮像条件が生成され、次のフレームの撮像に適用される。これにより、暗部における赤外光画像信号と暗部以外の領域における可視光画像信号とを略等しい明るさにすることができる。これ以外の赤外光画像撮像条件更新処理の処理手順は図６において説明した処理手順と同様であるため、説明を省略する。
【００７６】
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
【００７７】
このように、本技術の第３の実施の形態では、検出された暗部において、赤外光画像信号および可視光画像信号が混合された画像が生成される。この際、暗部における赤外光画像信号と暗部以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、高いダイナミックレンジの画像における画質を向上させることができる。
【００７８】
＜４．第４の実施の形態＞
上述の第３の実施の形態では、黒潰れ領域の検出を行っていた。これに対し、本技術の第４の実施の形態では、白飛びを生じた領域の検出を行う。これにより、白飛び領域における画質を向上させることができる。
【００７９】
［処理条件生成部の構成］
図１１は、本技術の第４の実施の形態における処理条件生成部２４０の構成例を示す図である。同図の処理条件生成部２４０は、暗部検出部６０１の代わりに飽和領域検出部６０２を備える点で、図１０において説明した処理条件生成部２４０と異なる。
【００８０】
飽和領域検出部６０２は、可視光画像信号に基づいて飽和領域を検出するものである。ここで、飽和領域とは、いわゆる白飛びを生じた領域である。黒潰れと同様に高いダイナミックレンジの画像を撮像する場合、例えば、室内から屋外を含む画像の撮像を行う場合に、この飽和領域が発生する。飽和領域の検出には、例えば、可視光画像信号が所定の閾値より大きい領域を検出する方式を採ることができる。この飽和領域検出部６０２は、飽和領域に該当する領域を混合比率生成部２４４に対して出力する。なお、飽和領域検出部６０２は、特許請求の範囲に記載の混合領域検出部の一例である。
【００８１】
同図の混合比率生成部２４４は、飽和領域検出部６０２により検出された飽和領域の混合比率を生成する。例えば、飽和領域に対して所定の混合比率を生成することができる。また、これ以外の領域に対して混合比率を値「０」にすることができる。この混合比率に基づいて赤外光画像信号の混合が行われることにより、視認性を向上させることができる。
【００８２】
同図の赤外光画像撮像条件更新部２４７は、飽和領域検出部６０２により検出された領域における赤外光画像信号の明るさと飽和領域検出部６０２により検出された領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光撮像条件を生成する。すなわち、飽和領域における赤外光画像信号の明るさと飽和領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光撮像条件を生成する。これにより、飽和領域における赤外光画像信号と飽和領域以外の領域における可視光画像信号とを略等しい明るさにすることができる。なお、赤外光画像撮像条件更新処理の処理手順は本技術の第３の実施の形態において説明した処理手順と同様であるため、説明を省略する。
【００８３】
これ以外の撮像装置１０の構成は本技術の第３の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
【００８４】
このように、本技術の第４の実施の形態では、検出された飽和領域において、赤外光画像信号および可視光画像信号が混合された画像が生成される。この際、飽和領域における赤外光画像信号と飽和領域以外の領域における可視光画像信号の明るさとを略等しくする赤外光画像信号の撮像条件が新たに生成されて、撮像条件が更新される。この更新された撮像条件に基づいて次の撮像が行われる。このため、高いダイナミックレンジの画像における画質を向上させることができる。
【００８５】
＜５．第５の実施の形態＞
上述の第１の実施の形態では、１つの撮像素子により可視光画像信号および赤外光画像信号の生成を行っていた。これに対し、本技術の第５の実施の形態では、可視光画像信号を生成する撮像素子および赤外光画像信号を生成する撮像素子の２つを使用して撮像を行う。これにより、撮像に要する時間を短縮することができる。
【００８６】
［撮像装置の構成］
図１２は、本技術の第５の実施の形態における撮像装置１０の構成例を示す図である。同図の撮像装置１０は、撮像素子１００の代わりに撮像素子４００および５００を備える点で、図１において説明した撮像装置１０と異なる。
【００８７】
撮像素子４００および５００は、それぞれ可視光画像信号および赤外光画像信号を同時に生成し、信号処理部２００に対して出力する。
【００８８】
［信号処理部の構成］
図１３は、本技術の第５の実施の形態における信号処理部２００の構成例を示す図である。同図の信号処理部２００は、図２において説明した信号処理部２００と比較して、分離部２１０を備える必要はない。また、同図のデモザイク部は、撮像素子４００により出力された可視光画像信号のデモザイク処理を行う。そして、デモザイク処理後の可視光画像信号を輝度色差信号生成部２２０に対して出力する。また、撮像素子５００により生成された赤外光画像信号は、混合部２３０に対して出力される。また、制御部３００は、撮像素子４００および５００の制御を行い、可視光画像信号および赤外光画像信号を同時に生成させる。
【００８９】
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
【００９０】
このように、本技術の第５の実施の形態によれば、２つの撮像素子により、可視光画像信号および赤外光画像信号が同時に生成されるため、撮像に要する時間を短縮することができる。
【００９１】
＜６．第６の実施の形態＞
上述の第１の実施の形態では、撮像素子が画像信号のレベルの調整を行っていた。これに対し、本技術の第６の実施の形態では、信号処理装置が画像信号のレベルの調整を行う。これにより、撮像素子の構成を簡略化することができる。
【００９２】
［信号処理部の構成］
図１４は、本技術の第６の実施の形態における信号処理部２００の構成例を示す図である。同図の信号処理部２００は、可視光画像信号増幅部２６０と、赤外光画像信号増幅部２７０とをさらに備える点で、図２において説明した信号処理部２００と異なる。
【００９３】
可視光画像信号増幅部２６０は、分離部２１０から出力された可視光画像信号のレベルを調整するものである。この可視光画像信号増幅部２６０は、処理条件生成部２４０から出力された撮像条件のうちの利得に基づいて可視光画像信号のレベルを調整する。
【００９４】
赤外光画像信号増幅部２７０は、分離部２１０から出力された赤外光画像信号のレベルを調整するものである。この赤外光画像信号増幅部２７０は、処理条件生成部２４０から出力された撮像条件のうちの利得に基づいて赤外光画像信号のレベルを調整する。なお、赤外光画像信号増幅部２７０は、特許請求の範囲に記載の増幅部の一例である。
【００９５】
同図の処理条件生成部２４０は、生成した撮像条件のうち、利得を可視光画像信号増幅部２６０および赤外光画像信号増幅部２７０に対して出力し、露光時間を制御部３００に対して出力する。なお、撮像素子１００は、撮像条件として露光時間のみが入力される。画像信号のレベルを調整する必要がないため、撮像素子１００の構成を簡略化することができる。
【００９６】
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。
【００９７】
このように、本技術の第６の実施の形態によれば、露光時間のみに基づいて撮像素子における撮像が制御されるため、撮像素子１００の構成を簡略化することができる。
【００９８】
＜変形例＞
上述の実施の形態では、可視光画像信号と赤外光画像信号とを混合していたが、赤外光画像信号以外の非可視光画像信号を混合してもよい。例えば、紫外光による画像信号を非可視光画像信号として混合することができる。
【００９９】
このように、本技術の実施の形態によれば、可視光画像信号および非可視光画像信号を混合して画像を生成するとともに非可視光画像信号の撮像条件を最適化することにより、霧を含む画像やダイナミックレンジが広い画像の画質を向上させることができる。
【０１００】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１０１】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１０２】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１０３】
なお、本技術は以下のような構成もとることができる。
（１）所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出部と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する信号処理装置。
（２）前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号および前記可視光画像信号が略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する前記（１）に記載の信号処理装置。
（３）前記撮像条件更新部は、前記検出された領域における前記非可視光画像信号と前記検出された領域以外の領域における前記可視光画像信号とが略等しくなる撮像条件を新たに生成して前記所定の撮像条件を更新する前記（１）に記載の信号処理装置。
（４）前記混合領域検出部は、前記可視光画像信号に撮像された霧の透過率に基づいて前記領域を検出する前記（１）または（２）に記載の信号処理装置。
（５）前記混合領域検出部は、前記霧の透過率が所定の閾値より小さい領域を前記領域として検出する前記（４）に記載の信号処理装置。
（６）前記混合領域検出部は、前記可視光画像信号に含まれる顔の領域を前記領域として検出する前記（１）または（２）に記載の信号処理装置。
（７）前記混合領域検出部は、前記可視光画像信号が所定の閾値より大きい領域を前記領域として検出する前記（１）または（３）に記載の信号処理装置。
（８）前記混合領域検出部は、前記可視光画像信号が所定の閾値より小さい領域を前記領域として検出する前記（１）または（３）に記載の信号処理装置。
（９）前記混合における混合比率を前記検出された領域における前記非可視光画像信号に基づいて生成する混合比率生成部をさらに具備し、
前記撮像条件更新部は、前記生成された混合比率に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する
前記（１）から（８）のいずれかに記載の信号処理装置。
（１０）前記撮像条件に基づいて前記非可視光画像信号のレベルを調整する増幅部をさらに具備する前記（１）から（９）のいずれかに記載の信号処理装置。
（１１）前記非可視光画像信号は、赤外光に対応する赤外光画像信号である前記（１）から（１０）のいずれかに記載の信号処理装置。
（１２）所定の撮像条件に基づいて繰返し撮像することにより非可視光画像信号および可視光画像信号を生成する撮像素子と、
前記非可視光画像信号および前記可視光画像信号の混合を行う領域を検出する混合領域検出部と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新部と
を具備する撮像装置。
（１３）所定の撮像条件に基づいて繰返し撮像された非可視光画像信号および可視光画像信号の混合を行う領域を検出する混合領域検出手順と、
前記検出された領域における前記非可視光画像信号に基づいて前記非可視光画像信号における撮像条件を新たに生成して前記所定の撮像条件を更新する撮像条件更新手順と
を具備する信号処理方法。
【符号の説明】
【０１０４】
１０  撮像装置
１００、４００、５００  撮像素子
２００  信号処理部
２１０  分離部
２２０  輝度色差信号生成部
２３０  混合部
２４０  処理条件生成部
２４１  可視光画像信号平均生成部
２４２  霧透過率生成部
２４３  赤外光画像信号平均生成部
２４４  混合比率生成部
２４５  可視光画像撮像条件保持部
２４６  可視光画像撮像条件更新部
２４７  赤外光画像撮像条件更新部
２４８  赤外光画像撮像条件保持部
２４９  顔領域検出部
２５０  デモザイク部
２６０  可視光画像信号増幅部
２７０  赤外光画像信号増幅部
３００  制御部
６０１  暗部検出部
６０２  飽和領域検出部
【図１】
2017157902.tif 000003
【図２】
2017157902.tif 000004
【図３】
2017157902.tif 000005
【図４】
2017157902.tif 000006
【図５】
2017157902.tif 000007
【図６】
2017157902.tif 000008
【図７】
2017157902.tif 000009
【図８】
2017157902.tif 000010
【図９】
2017157902.tif 000011
【図１０】
2017157902.tif 000012
【図１１】
2017157902.tif 000013
【図１２】
2017157902.tif 000014
【図１３】
2017157902.tif 000015
【図１４】
2017157902.tif 000016