(57)【特許請求の範囲】
【請求項１】
遠赤外光に感度を有する撮像素子に基づいて得られた第一の画像、および、少なくとも近赤外光に感度を有する撮像素子に基づいて得られた第二の画像に基づき、前記第二の画像における、補正対象領域および当該補正対象領域の領域種別を特定する領域特定部と、
前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う補正部と、
を備え、
前記領域特定部は、
前記第一の画像から特定される前記第一の画像における各位置の被写体温度と前記第二の画像における各位置の明度とに基づいて、前記第二の画像における検出対象領域を特定するとともに、複数の物体種別の中から前記検出対象領域の検出物体種別を決定し、
前記検出物体種別に対応した物体検出動作により、前記検出対象領域から前記検出物体種別に応じた物体領域を検出し、
前記物体領域に基づいて、前記補正対象領域を特定し、
前記補正対象領域の前記領域種別は、前記検出物体種別である、画像処理装置。
【請求項２】
前記領域特定部は、前記第二の画像における各位置の明度に基づき、前記補正対象領域を特定する、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、前記第二の画像から抽出された画像特徴情報のバッファリングを行うバッファ部をさらに備え、
前記領域特定部は、第一の時刻に得られた前記第一の画像と、前記第一の時刻に得られた前記第二の画像から抽出され、前記バッファ部にバッファリングされた前記画像特徴情報とに基づき、前記補正対象領域および前記領域種別を特定する、請求項１に記載の画像処理装置。
【請求項４】
前記領域特定部は、前記第一の時刻に得られた前記第一の画像と、前記第一の時刻に得られた前記第二の画像から抽出され、前記バッファ部にバッファリングされた前記画像特徴情報とに基づき、参照領域を特定し、前記第一の時刻より後の第二の時刻に得られた前記第二の画像から抽出された前記画像特徴情報と、前記第一の時刻に得られた前記第二の画像から抽出された前記画像特徴情報に基づいた動き予測を行い、予測された動きに基づいて前記参照領域を補正して得られた領域を、前記補正対象領域として特定し、
前記補正部は、前記第二の時刻に得られた前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う、請求項３に記載の画像処理装置。
【請求項５】
所定時間に得られる前記第一の画像の数より、前記所定時間に得られる前記第二の画像の数の方が多い、請求項３に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記第二の画像からエッジを検出するエッジ検出部をさらに備え、
前記領域特定部は、前記エッジに基づいて、前記物体領域を検出する、請求項１に記載の画像処理装置。
【請求項７】
前記補正部は、前記エッジ検出部により前記エッジが検出されなかった場合に、前記第二の画像の全体または一部に対して、前記エッジが検出された場合に行われる前記色補正または前記輝度補正よりも輝度と彩度を低下させる補正を行う、請求項６に記載の画像処理装置。
【請求項８】
前記色補正の方法は、前記補正対象領域の色相と彩度を前記領域種別に応じた色相彩度目標値に補正することを含む、請求項１に記載の画像処理装置。
【請求項９】
前記輝度補正の方法は、前記領域種別に応じた前記補正対象領域の明度の補正と、前記領域種別に応じた前記補正対象領域のコントラストの補正を行うことを含む、請求項１に記載の画像処理装置。
【請求項１０】
前記第二の画像は、少なくとも可視光と近赤外光に感度を有する前記撮像素子に基づいて得られる、請求項１に記載の画像処理装置。
【請求項１１】
前記第二の画像は、少なくとも可視光と近赤外光に感度を有する前記撮像素子により得られた、青、緑、赤を示す複数の信号のうち、赤を示す信号が減衰補正された、前記複数の信号に対するホワイトバランス調整に基づいて得られる、請求項１０に記載の画像処理装置。
【請求項１２】
遠赤外光に感度を有する撮像素子に基づいて得られた第一の画像、および、少なくとも近赤外光に感度を有する撮像素子に基づいて得られた第二の画像に基づき、前記第二の画像における、補正対象領域および領域種別を特定することと、
プロセッサが、前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行うことと、
を含み、
前記特定することは、
前記第一の画像から特定される前記第一の画像における各位置の被写体温度と前記第二の画像における各位置の明度とに基づいて、前記第二の画像における検出対象領域を特定するとともに、複数の物体種別の中から前記検出対象領域の検出物体種別を決定することと、
前記検出物体種別に対応した物体検出動作により、前記検出対象領域から前記検出物体種別に応じた物体領域を検出することと、
前記物体領域に基づいて、前記補正対象領域を特定することと、
を含み、
前記補正対象領域の前記領域種別は、前記検出物体種別である、画像処理方法。
【請求項１３】
遠赤外光に感度を有する第一の撮像素子と、
少なくとも近赤外光に感度を有する第二の撮像素子と、
前記第一の撮像素子に基づいて得られた第一の画像、および、前記第二の撮像素子に基づいて得られた第二の画像に基づき、前記第二の画像における、補正対象領域および領域種別を特定する領域特定部と、
前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う補正部と、
を含み、
、
前記領域特定部は、
前記第一の画像から特定される前記第一の画像における各位置の被写体温度と前記第二の画像における各位置の明度とに基づいて、前記第二の画像における検出対象領域を特定するとともに、複数の物体種別の中から前記検出対象領域の検出物体種別を決定し、
前記検出物体種別に対応した物体検出動作により、前記検出対象領域から前記検出物体種別に応じた物体領域を検出し、
前記物体領域に基づいて、前記補正対象領域を特定し、
前記補正対象領域の前記領域種別は、前記検出物体種別である、撮像システム。
【請求項１４】
前記撮像システムは、前記第二の撮像素子と同期して強度を変えながら近赤外光を発光する、近赤外光発光部をさらに備え、
前記領域特定部は、さらに前記近赤外光発光部が発光した近赤外光の前記強度に基づき、前記補正対象領域および前記領域種別を特定する、請求項１３に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及び撮像システムに関する。
【背景技術】
【０００２】
カメラなどの撮像装置を用いて撮影を行う場合、照明条件は重要な要素であるが、撮影環境によって照明条件は大きく変化する。また、照明条件に応じて適切な画像処理方法が異なるため、例えば特許文献１のように照明条件のばらつきを考慮した顔領域抽出技術が開示されている。
【０００３】
一方、セキュリティカメラや車載カメラなどの分野では、暗い照明条件の場所（暗所）でも明るい映像を撮影したいという需要がある。暗所でも明るく撮影するためには可視光（波長が４００ｎｍ〜７００ｎｍの光）による撮像だけでは困難である。ここで、多くの物体は、近赤外光（波長が７００ｎｍ〜２．５μｍの光）を可視光と同程度または可視光以上に強く反射する。また、生物などの熱源は遠赤外光（波長が８．０以上μｍの光）を放射している。そこで、暗所での撮影に赤外光を受光可能な撮像素子を備えたカメラが用いられる場合があり、その結果取得される赤外光画像の処理技術も研究されている（例えば特許文献２）。
【０００４】
ところで、一般に可視光撮影に用いられるカメラの撮像素子は、可視光だけでなく近赤外光にも強い受光感度を有するが、通常は赤外光除去フィルタ（ＩＲＣＦ）により、上記のような撮像素子は赤外光を受光せず、可視光のみを受光している。カメラからＩＲＣＦを外して撮影を行うと、撮像素子が可視光だけでなく近赤外光も受光するため、暗所でもより明るく撮影することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１９２１２９号公報
【特許文献２】特開平１０−２６００７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、可視光とは異なり、近赤外光には色の区別がなく、また、一般に物体の近赤外光に対する反射特性は可視光に対する反射特性とは異なる。したがって、近赤外光を受光可能な撮像素子を用いて取得された画像の色や輝度は、人間の目には不自然に見えることがあった。また、上記のような可視光と近赤外光を受光可能な撮像素子を用いた場合であっても、近赤外光の影響により色や輝度のバランスが崩れ、やはり人間の目には不自然に見える画像が取得される場合があった。
【０００７】
そこで、本開示では、近赤外光に感度を有する撮像素子に基づいて得られた画像の色、または輝度を補正することが可能な画像処理装置、画像処理方法、及び撮像システムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、遠赤外光に感度を有する撮像素子に基づいて得られた第一の画像に基づき、少なくとも近赤外光に感度を有する撮像素子に基づいて得られた第二の画像における、補正対象領域および当該補正対象領域の領域種別を特定する領域特定部と、前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う補正部と、を備える、画像処理装置が提供される。
【０００９】
また、本開示によれば、遠赤外光に感度を有する撮像素子に基づいて得られた第一の画像に基づき、少なくとも近赤外光に感度を有する撮像素子に基づいて得られた第二の画像における、補正対象領域および領域種別を特定することと、プロセッサが前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行うことと、を含む、画像処理方法が提供される。
【００１０】
また、本開示によれば、遠赤外光に感度を有する第一の撮像素子と、少なくとも近赤外光に感度を有する第二の撮像素子と、前記第一の撮像素子に基づいて得られた第一の画像に基づき、前記第二の撮像素子に基づいて得られた第二の画像における、補正対象領域および領域種別を特定する領域特定部と、前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う補正部と、を含む、撮像システムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、近赤外光に感度を有する撮像素子に基づいて得られた画像の色、または輝度を補正することが可能である。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態にかかる撮像システムの概要を示す説明図である。
【図２】本開示の関連技術にかかるＣＭＯＳ撮像装置の構成例を示す説明図である。
【図３】ＣＭＯＳセンサのＲＧＢ画素分光感度特性を示す説明図である。
【図４】ＣＭＯＳセンサによる撮像における被写体反射特性を示す説明図である。
【図５】本実施形態にかかる撮像システムの構成を示す説明図である。
【図６】本実施形態にかかるＷＢ部によるＲ画素ゲインの減衰補正の概略を示す説明図である。
【図７】本実施形態にかかる遠赤外撮像装置による撮像における被写体熱線放射特性を示す説明図である。
【図８】本実施形態にかかる輝度再現部による輝度補正処理の概略を示す説明図である。
【図９】本実施形態にかかる色差再現部による色補正処理の概略を示す説明図である。
【図１０】本実施形態にかかる物体領域検出部が検出する物体の例を示す説明図である。
【図１１】本実施形態にかかる領域特定処理と補正処理の関係を示す表である。
【図１２】本実施形態にかかるＣＭＯＳ撮像装置と遠赤外撮像装置のフレームレートと同期間隔の関係を示す表である。
【図１３】本実施形態にかかるＣＭＯＳ撮像装置と遠赤外撮像装置の同期タイミングを示す説明図である。
【図１４】本実施形態にかかる動き予測処理の概略を示す説明図である。
【図１５】本実施形態にかかる空間補正処理の概略を示す説明図である。
【図１６】本実施形態にかかる撮像システムの準備シーケンスでの動作を示す説明図である。
【図１７】本実施形態にかかる撮像システムの遠赤外画像処理シーケンスでの動作を示す説明図である。
【図１８】本実施形態にかかる撮像システムの補正シーケンスでの動作を示す説明図である。
【図１９】本実施形態の変形例にかかるＣＭＯＳ撮像装置にノッチフィルタが挿入された場合のＣＭＯＳセンサの分光感度特性を示す説明図である。
【図２０】本実施形態の変形例にかかる撮像システムの構成を示す説明図である。
【図２１】本実施形態の変形例にかかる近赤外光発光部の発光強度を示す説明図である。
【図２２】本実施形態にかかる画像処理装置のハードウェア構成を示す説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態による撮像システムの概要
２．背景
２−１．関連技術
２−２．分光感度特性と被写体反射特性
３．構成
３−１．ＣＭＯＳ撮像装置の構成
３−２．遠赤外撮像装置の構成
３−３．画像処理装置の構成
４．動作
４−１．準備シーケンスでの動作
４−２．遠赤外画像処理シーケンスでの動作
４−３．補正シーケンスでの動作
５．変形例
５−１．第一の変形例
５−２．第二の変形例
６．画像処理装置のハードウェア構成
７．むすび
【００１６】
＜＜１．本開示の一実施形態による撮像システムの概要＞＞
まず、本開示の一実施形態による撮像システムの概要について図１を参照して説明する。
【００１７】
図１は、本開示の一実施形態にかかる撮像システムの概要を示す説明図である。図１に示したように、本実施形態による撮像システム１は、ＣＭＯＳ撮像装置１０、遠赤外撮像装置２０、画像処理装置３０を有する撮像システムである。
【００１８】
ＣＭＯＳ撮像装置１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ
Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いた撮像素子（ＣＭＯＳセンサ）を備える撮像装置である。ＣＭＯＳセンサは可視光と近赤外光に感度を有する撮像素子の一例である。なお、本開示による撮像システムが備える可視光と近赤外光に感度を有する撮像素子は、ＣＭＯＳセンサに限定されず、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサであってもよい。ＣＭＯＳ撮像装置１０は、画像処理装置３０から同期信号を受け取ると、可視光と近赤外光を受光し、撮像した信号、すなわち、可視光と近赤外光を可視近赤外画像（第二の画像）に変換した信号を画像処理装置３０に提供する。
【００１９】
遠赤外撮像装置２０は、遠赤外光に感度を有する撮像素子を備える撮像装置である。本開示による撮像システムが備える遠赤外光に感度を有する撮像素子は、その構成や特性に関して限定されないが、本実施形態における遠赤外撮像装置２０は、絶対０度以上の物質が自ら放出する遠赤外光を、遠赤外画像（第一の画像）として撮像可能な撮像素子を備える。遠赤外画像は、画像内の各位置の値が当該位置の被写体温度を示した画像である。遠赤外撮像装置２０は、画像処理装置３０から同期信号を受け取ると、遠赤外光を受光し、撮像した信号、すなわち、遠赤外光を遠赤外画像に変換した信号を画像処理装置３０に提供する。なお、遠赤外撮像装置２０はＣＭＯＳ撮像装置１０と略同一位置に配置され、略同一方向を向き、略同一空間を撮像する。なお、遠赤外撮像装置２０とＣＭＯＳ撮像装置１０の画角が異なる場合、画角が広い方の撮像装置の出力のうち一部が切り出されることで、両者の画角が対応付けられてもよい。
【００２０】
画像処理装置３０は、画像処理機能を有する情報処理装置である。画像処理装置３０は、ＣＭＯＳ撮像装置１０、及び遠赤外撮像装置２０に同期信号を送り、ＣＭＯＳ撮像装置１０、及び遠赤外撮像装置２０から画像信号を受け取る。また、画像処理装置３０は、受け取った可視近赤外画像と、遠赤外画像に基づいて、可視近赤外画像の補正を行う。画像処理装置３０によって補正された画像は、モニタへの出力や記録メディアへの記録、あるいはネットワーク送出が行われる（図示せず）。
【００２１】
なお、図１では撮像システム１がＣＭＯＳ撮像装置１０、遠赤外撮像装置２０、画像処理装置３０を備える例を示したが、本開示による撮像システムの構成はこれに限定されない。例えば、本開示による撮像システムは、可視近赤外画像の撮像機能、遠赤外画像の撮像機能、及び画像処理機能の一部またはすべてを備えて一体化された装置を用いて実現されてもよい。
【００２２】
＜＜２．背景＞＞
以上、本開示の一実施形態による撮像システムの概要を説明した。続いて、本実施形態による撮像システムの創作に至った背景を説明する。
【００２３】
＜２−１．関連技術＞
本実施形態の理解を容易にするために、まず、図２を参照して本開示の関連技術について説明する。図２は、本開示の関連技術にかかる撮像装置８０の構成例を示す説明図である。
【００２４】
図２を参照すると、撮像装置８０は、撮像素子８２、クランプ部８４、ＷＢ部８６、信号処理部８８、現像部８３、輪郭認識部８５、肌色検出部８７、被写体検出部８９を備える撮像装置である。撮像装置８０は撮像機能と、取得された画像から顔（被写体）領域を検出する機能を備える。
【００２５】
撮像素子８２は、被写体を撮像（被写体の光を画像信号に変換）し、画像信号をクランプ部８４に提供するＣＭＯＳセンサである。通常、撮像装置８０は図示しないＩＲＣＦを備え、撮像素子８２は可視光のみを受光する。
【００２６】
クランプ部８４は、撮像素子８２から受け取った画像信号から不要なオフセット成分を除去する。ＷＢ部８６は、オフセット成分が除去された画像信号から、内部にもつ黒体放射色温度推定テーブルを参照して撮影環境の照明光源色温度を推定し、推定した色温度に基づいて画像信号に対してＷＢ（ホワイトバランス）調整を行う。信号処理部８８は、ＷＢ調整が行われた画像信号に対してデモザイキング、ガンマ補正などの信号処理を行い、信号処理の結果生成されたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）信号を現像部８３に提供する。
【００２７】
現像部８３は、輝度再現部８３２と色差再現部８３４を備える。現像部８３は、ＲＧＢ信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂに分け、それぞれ輝度再現部８３２、色差再現部８３４による処理を行い、人間にとって自然な画像になるように補正する。
【００２８】
輪郭認識部８５は、輝度再現部８３２から補正された輝度信号を受け取り、顔領域の検出に必要な輪郭情報の認識を行う。肌色検出部８７は、色差再現部８３４から補正された色差信号を受け取り、顔領域の検出に必要な肌色領域の検出を行う。被写体検出部８９は輪郭認識部８５、肌色検出部８７からそれぞれ輪郭情報、肌色領域の情報を受け取り、顔領域を検出する。
【００２９】
ここで、撮像装置８０が図示しないＩＲＣＦを備えて撮像した場合、撮像素子８２は可視光のみを受光し、撮像装置８０の各部は上記のような処理を行うことが可能である。しかし、暗所で撮影を行う場合、可視光だけでは非常に暗い画像が撮像されていた。多くの物体は近赤外光を強く反射するため、ＩＲＣＦを備えない撮像装置により、可視近赤外光撮影を行うことは、特に、セキュリティカメラや車載カメラの分野において有用であると考えられる。
【００３０】
しかし、撮像装置８０にＩＲＣＦを取り付けずに撮像した場合、撮像素子８２は可視光と近赤外光を受光するため、近赤外光の影響を受けた画像信号を出力する。近赤外光の影響を受けた画像信号は、典型的には全体的にマゼンタがかり、また、コントラストが低下した画像信号になる。ここで、近赤外光の影響を受けた画像信号からＷＢ部８６が光源色温度推定を行うのは困難であり、その結果、ＷＢ部８６は、正常なＷＢ調整を行うことができない。また、現像部８３も撮像装置８０がＩＲＣＦを備えた場合の補正を行うため、撮像装置８０がＩＲＣＦを備えない場合には、現像部８３は受け取った画像信号を人間にとって自然な画像に補正することができない。さらに、この場合、輪郭認識部８５、肌色検出部８７の認識、検出精度が低下するため、被写体検出部８９による顔領域検出精度も低下する。
【００３１】
上記のように、撮像装置８０が近赤外光を受光した場合、撮像装置８０の各部は本来の効果を発揮することができない恐れがある。以下では、その原因を解明するため、図３、４を参照してＣＭＯＳセンサの分光感度特性、及び被写体反射特性について説明する。
【００３２】
＜２−２．分光感度特性と被写体反射特性＞
図３は、ＣＭＯＳセンサのＲＧＢ画素分光感度特性を示す説明図である。図３に示したグラフにおいて、実線はＲ（赤）画素の分光感度特性、点線はＧ（緑）画素の分光感度特性、一点鎖線はＢ（青）画素の分光感度特性をそれぞれ示す。図３に示したように、ＣＭＯＳセンサは、ＩＲＣＦを通して光を受光した場合には、破線で囲まれた可視光域のみを受光するが、ＩＲＣＦを通さない場合、近赤外光（７００ｎｍ〜）にも受光感度を持つ。
【００３３】
図３に示したように、Ｒ画素は、７００ｎｍ〜８００ｎｍ程度の近赤外光に対して、Ｇ画素、Ｂ画素の数倍の受光感度を有する。また、Ｒ画素、Ｇ画素、及びＢ画素は、８００ｎｍ以上の近赤外光に対して、共に同程度の受光感度を有する。
【００３４】
したがって、７００ｎｍ〜８００ｎｍ程度の近赤外光の強度に対応して、赤色に偏った画像信号がＣＭＯＳセンサから出力される。また、８００ｎｍ以上の近赤外光に対応して、輝度が高く、色が薄く、コントラストの低い画像信号がＣＭＯＳセンサから出力される。
【００３５】
図４は、ＣＭＯＳセンサが撮像する可視近赤外光範囲での各種被写体反射の特性を示す説明図である。図４に示したグラフにおいて、破線は人肌の反射特性、実線は赤い塗料の反射特性、一点鎖線は青い塗料の反射特性、二点鎖線は黒皮革の反射特性、長破線は乾いた土の反射特性、点線は稲穂や木々の緑の葉の反射特性を、それぞれ示す。以下では、図３の分光感度特性と図４の被写体反射特性に従って、ＣＭＯＳセンサによって各種被写体が撮像された結果出力される画像信号の特徴を説明する。
【００３６】
図４に示したように、人肌の反射率は近赤外光域（７００ｎｍ〜）において高いという特徴を持つ。なお、人肌は人種によって明暗の差異はあるが色相は同じである。人肌の反射率は近赤外光域において高いため、例えば、人の顔の可視近赤外光撮影では、輝度が飽和し、可視光撮影の場合と比較してコントラストが低下する。
【００３７】
図４に示したように、赤い塗料の反射率は、可視光では赤分光帯域において高く、また、近赤外光においても高い。したがって、赤い塗料の可視近赤外光撮影では、赤い色相は残るが、輝度が飽和するので色が薄まる。また、青い塗料の反射率は可視光では青分光帯域に最も大きなピーク（３０％程度）を有するが、近赤外光域においても１００％近くであり、近赤外光域における青い塗料の反射率の方が青分光帯域における青い塗料の反射率よりもはるかに大きい。上述したとおり、７００ｎｍ〜８００ｎｍ程度の近赤外光において、Ｒ画素の受光感度はＢ画素の受光感度より大きいため、青い塗料の可視近赤外光撮影では、色相が青から赤紫にシフトし、輝度が飽和して色が薄まる。したがって、例えば、可視近赤外光撮影において、赤い塗料や青い塗料で塗装された道路標識の文字や記号、サインの情報は、非常に視認しづらくなってしまう。
【００３８】
動物の皮膚である黒皮革の可視光域での反射率は１０％以下である一方で、当該黒皮革の近赤外光域での反射率は５０％前後である。このため、可視近赤外光撮影では、可視光撮影の場合よりも黒皮革が明るく映り、周囲とのコントラストが低下する。
【００３９】
乾いた土の反射率は、可視光帯域において長波長側に単調増加する特性を有し、可視光撮影における乾いた土は赤みをもったやや明度の低い色である。一方、乾いた土の近赤外光域での反射率は５０％程度に達するため、乾いた土は、可視近赤外光撮影において、可視光撮影の場合よりも明るく撮像される。
【００４０】
稲穂や木々の緑の葉の反射率は、可視光帯域の５５０ｎｍ中心に２５％程度のピークを有する一方、近赤外光域では５０％程度に達する。稲穂や木々の緑の葉の可視光撮影では、比較的明度が低く（暗く）、色相は緑色に撮像される。しかし、上述のとおり、７００ｎｍ〜８００ｎｍ程度の近赤外光において、Ｒ画素の受光感度はＧ画素の受光感度より大きいため、稲穂や木々の緑の葉の可視近赤外光撮影では、色相が緑色から赤色にシフトし、輝度が高いため、人間にとっては違和感がある。人間の色相感覚を正しく表すとされる均等色空間ＣＩＥＬＡＢでは、赤の反対色は緑であるため、緑色で記憶している葉が赤色で表示されると、人間は色相が逆転したように感じる。
【００４１】
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、近赤外光の影響を受けた画像の色、または輝度を補正することが可能である。以下、このような効果を有する本実施形態の構成について詳細に説明する。
【００４２】
＜＜３．構成＞＞
図５は、本実施形態にかかる撮像システム１の構成を示す説明図である。以下、ＣＭＯＳ撮像装置１０、遠赤外撮像装置２０、画像処理装置３０の構成を順次詳細に説明する。
【００４３】
＜３−１．ＣＭＯＳ撮像装置の構成＞
図５に示したように、ＣＭＯＳ撮像装置１０は、撮像素子１２（第二の撮像素子）、クランプ部１４、ＷＢ部１６、及び信号処理部１８を備える。ここで、クランプ部１４、信号処理部１８は、それぞれ図２を参照して説明したクランプ部８４、信号処理部８８と同様の機能を有するため、説明を省略する。なお、図示されないが、ＣＭＯＳ撮像装置１０は可視光と近赤外光を透過する透明ガラスあるいはプラスチックレンズを備える。
【００４４】
撮像素子１２は、図２を参照して説明した撮像素子８２と同様に、光を画像信号に変換するＣＭＯＳセンサである。本実施形態による撮像装置１０はＩＲＣＦを備えず、撮像素子１２は可視光と近赤外光を受光する。また、撮像素子１２は画像処理装置３０から同期信号を受け取ると、画像信号をクランプ部１４に提供する。なお、本実施形態による撮像素子１２は、例えば３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓなどのフレームレートで駆動し、また、シネマモードとして２４ｆｐｓで駆動してもよい。
【００４５】
ＷＢ部１６は、図２を参照して説明したＷＢ部８６と同様に、光源色温度推定の機能と、ＷＢ調整の機能を有し、ＷＢ部１６はさらにＲ（赤）画素ゲインの減衰補正（オフセット）機能を備える。図６は、ＷＢ部１６によるＲ画素ゲインの減衰補正の概略を示す説明図である。図６に示したグラフにおいて、破線はＷＢ部１６が光源色温度を推定可能な範囲のマゼンタ色側の限界を示し、点線はＷＢ部１６が光源色温度を推定可能な範囲の緑色側の限界を示す。また、図６に示したグラフにおいて一点鎖線は黒体放射を推定光源として色温度を変化させた場合の白中心の軌跡（黒体放射線）を示し、二点鎖線は、可視近赤外撮像時にＲ画素の受光量が増大したことでズレが生じた黒体放射線を示す。
【００４６】
ＣＭＯＳセンサである撮像素子１２が、近赤外光を受光した場合、上述したようにＲ画素の受光量が増大しやすく、図６のグラフに二点鎖線で示したように黒体放射色温度の白の特性は、（Ｒ＋Ｂ）／Ｇの増大方向（マゼンタ色方向）に大きくずれている。この状態で画像信号が入力された場合、画像信号は、図６のＴ１で示される領域に分布し、図６のグラフに実線で示した白検出範囲のマゼンタ色側限界線より外側に位置するため、通常のＷＢ制御では本来の黒体放射色温度の白に引き込むことができない。
【００４７】
ここで、Ｒ画素の受光感度が増大している撮像状態での黒体放射色温度の白の特性ズレを踏まえ、ＷＢ部１６は、図６に示すＴ１の領域がＴ２の領域に移動するようにＲ画素ゲインを減衰補正（減衰方向にオフセット）する。例えば、ＷＢ部１６はＲ画素ゲインを半分に減衰させる補正を行ってもよい。また、ＷＢ部１６はＲ画素ゲインを減衰補正して色温度推定テーブルに入力することで、正常な光源色温度の推定、及びＷＢ調整を行う。
【００４８】
なお、ＷＢ調整が正常に行われたとしても、上述した明度、色相が変化した画像信号はＷＢ調整では補正できず、被写体毎に対応して補正することが望ましい。そこで、後述する画像処理装置３０により、被写体（物体）領域毎にそれぞれ対応する補正が行われる。
【００４９】
＜３−２．遠赤外撮像装置の構成＞
図５に示したように、遠赤外撮像装置２０は、撮像素子２２（第一の撮像素子）を備える。なお、図示されないが、遠赤外撮像装置２０は、遠赤外光を透過する材質のレンズを備える。遠赤外光を透過する材質としては、例えば、高級品種では高級なゲルマニウム、廉価なＺｎＳ、カルコゲナイト、あるいはさらに廉価な半導体シリコンなどが挙げられる。
【００５０】
撮像素子２２は、遠赤外光に感度を有し、絶対０度以上の物質が自ら放出する遠赤外光を、遠赤外画像として撮像可能な撮像素子である。撮像素子２２としては、例えばＭＥＭＳ構造内部に真空構造の画素面配列をもつマイクロボロメータを採用することが可能である。
【００５１】
撮像素子２２は、例えば、６０ｆｐｓで駆動するマイクロボロメータとして実現することも可能であるが、市販される遠赤外光を撮像可能な遠赤外センサは、軍事転用を防ぐため、性能が法により制限されている。現状、画素数２５万画素以下、及びフレームレート９ｆｐｓ以下の制限を満たす遠赤外センサだけが市場流通している。そこで、本実施形態における撮像素子２２も上記の制限に従う撮像素子とする。
【００５２】
図７は撮像素子２２による撮像における、被写体熱線放射特性を示す説明図である。図７に示すグラフにおいて、破線は３５℃の黒体が放射する遠赤外光の特性を示し、実線は人体が放射する遠赤外光の特性を示す。あらゆる物質は、当該物質が持つ温度に相当する電磁波、すなわち熱線（遠赤外光）を放射している。撮像素子２２で撮像するのは物体の放射熱であり、その熱線波長分布はその温度の黒体放射に近似する。図７に示したように、例えば人体や生きている哺乳類恒温動物の遠赤外放射分布は主に８μｍ〜１２μｍの波長範囲であり、体温に相当する３５℃程度の黒体放射分布に近く、黒体放射以下の分光エネルギー放射の分布特性を持つ。撮像素子２２はこの熱線（遠赤外光）を撮像し、画像内の各位置の値が当該位置の被写体の温度を示す遠赤外画像の信号に変換する。後述する画像処理装置３０は、遠赤外画像の各画素を熱源有り領域と熱源無し領域に分類する。
【００５３】
また、撮像素子２２は、画像処理装置３０から同期信号を受け取ると、遠赤外画像信号を画像処理装置３０に提供する。ここで、本実施形態においては、所定時間に得られる遠赤外画像の数より、当該所定時間に得られる近距離画像の数の方が多い。上述したとおり、本実施形態において遠赤外撮像装置２０のフレームレートは９ｆｐｓ以下であり、ＣＭＯＳ撮像装置１０のフレームレートは２４〜２４０ｆｐｓである。そこで、撮像素子２２は、同期信号を所定回数受け取る度に一度、遠赤外画像信号の提供を行う。
【００５４】
＜３−３．画像処理装置の構成＞
図５に示したように、画像処理装置３０は、現像部３２、超解像部３４、領域特定部３６、同期制御部３８、を備える。
【００５５】
（現像部）
現像部３２は、輝度再現部３２２、色差再現部３２４、エッジ検出部３２６、バッファ部３２８を備える。信号処理部１８から現像部３２に入力されたＲＧＢ信号は、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに分けられ、それぞれ輝度再現部３２２、色差再現部３２４に入力される。
【００５６】
輝度再現部３２２は、輝度信号をエッジ検出部３２６に提供する。また、輝度再現部３２２は、輝度信号に対して輝度補正を行う補正部としての機能を備える。ここで、輝度再現部３２２は、後述する領域特定部３６から受け取った補正対象領域の領域種別の情報に応じて、当該補正対象領域の明度とコントラストを補正する方法により輝度補正を行う。
【００５７】
図８は輝度再現部３２２による輝度補正処理の概略を示す説明図である。本実施形態に係る輝度再現部３２２は、補正対象領域に対し、当該補正対象領域の領域種別に応じて、２種類（２つの特性）の輝度補正のうちいずれかを行う。図８に示すグラフにおいて、実線は第一の特性である特性＃１の輝度補正による、輝度の入力と出力の関係を示し、一点鎖線は第二の特性である特性＃２の輝度補正による、輝度の入力と出力の関係を示す。領域種別と各特性の対応については後述する。補正対象領域が特性＃１と対応する領域種別の場合、図８に示したように当該領域の輝度コントラストが向上し、当該領域の大部分において明度も向上しやすい補正が当該領域に対して行われる。一方、補正対象領域が特性＃２と対応する領域種別の場合、図８に示したように当該領域の輝度コントラストが向上し、当該領域の大部分において明度は低下しやすい補正が当該領域に対して行われる。
【００５８】
色差再現部３２４は、色差信号に対して色補正を行う補正部としての機能を備える。まず、色差再現部３２４は、後述する領域特定部３６から受け取った補正対象領域の領域種別の情報に応じて、色相彩度目標値の有無を判別する。さらに、色差再現部３２４は、当該補正対象領域の色相と彩度を当該色相彩度目標値または当該色相彩度目標値に基づく一定範囲内に補正する方法により色補正を行う。
【００５９】
なお、本実施形態にかかる色差再現部３２４は、色差信号を、Ｌ＊ａ＊ｂ＊表色系のＣＩＥＬＡＢ均等色空間に色空間変換し、当該色空間において補正を行う。
【００６０】
図９は、本実施形態にかかる色差再現部３２４による色補正の概略を示す説明図である。図９において、ａ＊は赤色、−ａ＊は緑色、ｂ＊は黄色、及び−ｂ＊は青色を示し、円の外周に向かって彩度が上がる。本実施形態において、色相彩度目標値には肌色範囲Ｈ１と緑色範囲Ｈ２内の値が用いられる。
【００６１】
なお、輝度再現部３２２、及び色差再現部３２４によって補正された画像は、モニタへの出力や記録メディアへの記録、あるいはネットワーク送出が行われる（図示せず）。上記のモニタへの出力などが行われる場合、画像信号は、映像信号規格として定義されるＧａｍｕｔ色域に３Ｄ−ＬＵＴにより変換された後に、出力などが行われてもよい。また、輝度再現部３２２、及び色差再現部３２４による補正は、Ｇａｍｕｔ色域の範囲内に収まるように行われてもよい。
【００６２】
また、後述するエッジ検出部３２６がエッジ検出に失敗し、エッジが検出されなかったフレームにおいて、輝度再現部３２２は、当該フレームの画像の全体または一部に対し、上記の輝度補正処理よりも、輝度を低下させる補正を行う。また、色差再現部３２４は、当該フレームの画像の全体または一部に対し、上記の色補正よりも、彩度を低下させる補正を行う。この補正により、撮像被写体の移動が高速なためにブレが発生していた場合や、フォーカスがずれていた場合の見え方を再現する効果がある。
【００６３】
エッジ検出部３２６は、輝度再現部３２２から受け取った輝度信号の各画像を複数のマクロブロックに分割した明度画像を生成し、明度画像から分割により得られたマクロブロックごとにエッジを検出する。また、エッジ検出部３２６は、マクロブロックに分割済みの明度画像と、検出されたエッジ情報を、可視近赤外画像から抽出された画像特徴情報としてバッファ部３２８に提供する。
【００６４】
なお、画像処理装置３０は複数のＤＳＰ（Ｄｉｇｉｔａｌ
Ｓｉｇｎａｌ Ｐｏｃｅｓｓｏｒ）または、複数のプロセッサ・コアを含むＤＳＰを備えてもよい。複数のＤＳＰ、または複数のプロセッサ・コアを含むＤＳＰを備えた画像処理装置３０は、上記の複数のマクロブロックに対してＤＳＰによる並列処理を適用することで、上記のエッジ検出などの処理を高速に行うことが可能である。
【００６５】
バッファ部３２８は、エッジ検出部３２６から画像特徴情報である明度画像と、エッジ情報を受け取り、バッファリングする。また、バッファ部３２８は、同期制御部３８により指定されたフレームにおける明度画像とエッジ情報を領域特定部３６に提供する。
【００６６】
（超解像部）
超解像部３４は、遠赤外撮像装置２０から遠赤外画像を受け取り、遠赤外画像の解像度を高める超解像処理を行う。また、超解像部３４は、超解像済みの遠赤外画像を領域特定部３６に提供する。超解像部３４はあるフレームの遠赤外画像に対して超解像処理を行う場合、当該遠赤外画像と、遠赤外撮像装置２０の撮像において当該フレームの次のフレームの遠赤外画像との差分情報を用いて超解像処理を行う。したがって、超解像部３４の超解像処理により、最短でも遠赤外撮像装置２０の撮像における１フレーム分の遅延が発生する。
【００６７】
遠赤外撮像装置２０が出力する遠赤外画像は、上述のとおり画素数２５万画素以下であるため、上記の超解像処理により遠赤外画像の解像度が高められることで、後述の遠赤外画像に対する処理の精度が向上する。また、遠赤外画像の画素数が少ない程、遠赤外撮像装置２０の製造コストが安価になるため、遠赤外画像の画素数を抑え、必要な解像度を超解像処理で補うことで、遠赤外撮像装置２０の製造コストを下げる効果が得られる。
【００６８】
（領域特定部）
領域特定部３６は、遠赤外画像における各位置の被写体温度、可視近赤外画像における各位置の明度、及びバッファ部３２８にバッファリングされた画像特徴情報に基づき、可視近赤外画像における補正対象領域と当該補正対象領域の領域種別を特定する。例えば、領域特定部３６は、遠赤外画像と可視近赤外画像に基づき、可視近赤外画像における検出対象領域と検出物体種別を特定し、特定された検出対象領域から検出物体種別に応じた物体領域を検出し、検出された物体領域に基づいて補正対象領域を特定する。さらに、領域特定部３６は、第一の時刻に得られた可視近赤外画像から抽出された画像特徴情報と、第一の時刻より後の第二の時刻に得られた可視近赤外画像から抽出された画像特徴情報とに基づいて動き予測を行う。そして、領域特定部３６は、第一の時刻に得られた可視近赤外画像において検出（特定）された物体領域（参照領域）を、予測された動きに基づいて補正して得られた領域を補正対象領域として特定してもよい。以下、上記の処理を実現するために領域特定部３６が備える、熱源領域分類部３６２、明度領域分類部３６４、物体領域検出部３６６、空間補正部３６８について順次説明する。
【００６９】
熱源領域分類部３６２は、超解像部３４から超解像済みの遠赤外画像を受け取り、超解像済みの遠赤外画像の各画素を熱源有り領域と熱源無し領域に分類する。本実施形態において、熱源領域分類部３６２は、遠赤外画像の当該位置の示す温度が所定閾値以上の領域を熱源有り領域、遠赤外画像の当該位置の示す温度が所定閾値未満の領域を熱源無し領域に分類する。所定閾値は、例えば、２０℃としてもよい。また、熱源領域分類部３６２は、あるフレームに対して熱源領域分類処理が完了したことと、当該フレームが撮像された時刻の情報を同期制御部３８に通知する。
【００７０】
明度領域分類部３６４は、バッファ部から受けとった明度画像に基づいて、明度画像を領域の重複を許して複数の領域に分類する。本実施形態において明度領域分類部３６４は、第一の閾値と、第一の閾値よりも大きい第二の閾値を用いて、第一の閾値よりも大きい明度を持つ領域を明度が大〜中の領域とし、第二の閾値よりも小さい明度を持つ領域を明度が中〜小の領域として分類する。
【００７１】
また、明度領域分類部３６４は、熱源領域分類部３６２から遠赤外画像の熱源領域分類結果を受け取り、当該分類結果を明度画像に対応させた明度画像における熱源領域分類結果を、明度画像の明度領域分類結果と合わせて物体領域検出部３６６に提供する。
【００７２】
物体領域検出部３６６は、明度領域分類部３６４から受け取った熱源領域分類結果と、明度領域分類結果に応じて、検出物体種別を決定し、バッファ部３２８から受け取ったエッジ情報に基づいて、物体領域を検出する。図１０は、本実施形態において物体領域検出部３６６が検出する物体種別（検出物体種別）を示す説明図である。図１０に示したように、物体領域検出部３６６は、可視近赤外撮影において、輝度が飽和して色が失われる（白くなる）人の顔、コントラストが低下する動物、輝度が高く色相が逆転したように感じられる葉、輝度が飽和する道路標識、の物体領域の検出を行う。なお、本実施形態では上記の４つの種別の物体について物体領域の検出を行うこととしたが、物体領域検出部３６６は、他の種別の物体について物体領域の検出を行ってもよい。
【００７３】
図１１は、熱源領域分類結果と、明度領域分類結果に応じた検出物体種別、及び当該種別の物体領域が検出された場合の輝度補正処理と色差補正（色補正）処理を示す表である。物体領域検出部３６６は、図１１の表を参照して、検出物体種別を決定する。画像全体に対してエッジ情報に基づいた物体領域検出を行うと、誤検出が生じやすいため、熱源領域分類と、明度領域分類を行った後、その結果に応じて存在が期待される種別の物体の検出を行うことで、物体領域検出の精度を向上させる効果が得られる。なお、検出物体種別ごとの補正処理とその効果は以下のとおりである。
【００７４】
顔特徴パターン検出動作によって顔が検出された領域に対しては、コントラストを上げて明度を下げる特性＃２の輝度補正処理と、肌色が色相彩度目標値として指定された色差補正処理が行われる。これにより、コントラストや明度諧調が改善し、また顔の記憶色（人間がイメージとして記憶している色）である肌色が復活する。
【００７５】
動物形状特徴パターン検出動作によって動物が検出された領域に対しては、コントラストを上げて明度も上げる特性＃１の輝度補正処理が行われる。これにより、動物の毛皮の近赤外光光反射率が低いために劣っていた動物の視認性が改善する。
【００７６】
道路標識特徴（外形が丸、四角など）パターン検出動作によって道路標識が検出された領域に対しては、コントラストを上げて明度を下げる特性＃２の輝度補正処理が行われる。これにより、道路標識の塗料は近赤外光反射率が１００％に近く輝度が飽和状態だったために、記号やサインが判別困難だった道路標識の視認性が改善される。なお、図１１では道路標識が検出された領域に対して色差補正処理は「なし」としたが、色相彩度目標値が指定されて色差補正処理が行われてもよい。例えば、物体領域検出部が複数種別の道路標識パターンを区別して検出し、道路標識の種別に応じた色相彩度目標値（青や赤など）が指定されて、色差補正処理が行われてもよい。
【００７７】
植物の葉の形状特徴テクスチャパターン検出動作によって葉が検出された領域に対しては、コントラストを上げて明度を下げる特性＃２の輝度補正処理と、緑色が色相彩度目標値として指定された色差補正（色補正）処理が行われる。これにより、葉の近赤外光に対する高い反射率と可視光に対する低い反射率との乖離による違和感が改善され、また、葉の記憶色である緑色が復活する。
【００７８】
空間補正部３６８は、現在のフレーム（第二の時刻Ｔ）のエッジ情報と、物体領域検出部３６６が物体領域検出を完了したフレーム（第一の時刻Ｔ-Δt）のエッジ情報を比較して動き予測を行う。また、空間補正部３６８は、時刻Ｔ−Δtのエッジ情報（画像特徴情報）に基づいて物体領域検出部３６６によって特定された物体領域（参照領域）を、上記で予測された動きに基づいて空間的に補正する。以下、空間補正部３６８に関して、時刻Ｔと時刻Ｔ-Δｔの関係について説明した後、動き予測の説明と、空間補正の説明を順次行う。
【００７９】
前述したとおり、ＣＭＯＳ撮像装置１０と遠赤外撮像装置２０はフレームレートが異なるため、超解像処理による遅延と、異なるフレームレートを同期させるための同期遅延の合計が遅延Δｔになる。上記のように遅延Δｔが生じているにも関わらず、空間補正部３６８の空間補正により、現在のフレームの物体領域と物体種別が得られるため、空間補正には、リアルタイムな輝度再現処理、色差再現処理を可能にするという効果がある。
【００８０】
図１２は、ＣＭＯＳ撮像装置１０と遠赤外撮像装置２０を、異なるフレームレート同士で同期駆動撮像させた場合のフレームレートと同期間隔の例を示す表である。ここで、遠赤外撮像装置２０のフレームレートは、上述した通り９ｆｐｓ以下に制限されている。図１２に示したように、例えばＣＭＯＳ撮像装置１０が３０ｆｐｓで駆動する場合、遠赤外撮像装置２０は６ｆｐｓで駆動し、両者はＣＭＯＳ撮像装置１０における５フレームごとに同期し、その同期間隔は０．１６７秒（１／６秒）である。以下ではこのＣＭＯＳ撮像装置１０が３０ｆｐｓで駆動する場合を例に説明する。
【００８１】
図１３は、ＣＭＯＳ撮像装置１０と遠赤外撮像装置２０の同期タイミングを示す説明図である。図１３に示したように、両者はＣＭＯＳ撮像装置１０における５フレームごとに同期する。例えば、図１３において、ＣＭＯＳ撮像装置１０がフレームＮ５を撮像すると同時に遠赤外撮像装置２０はフレームＦ１を撮像し、ＣＭＯＳ撮像装置１０がフレームＮ１０を撮像すると同時に遠赤外撮像装置２０はフレームＦ２を撮像する。ここで、フレームＦ１の遠赤外画像が超解像処理されるためにフレームＦ２の遠赤外画像を必要とするため、超解像遅延は１／６秒（遠赤外撮像装置２０における１フレーム相当）より大きくなる。同期遅延はＣＭＯＳ撮像装置１０の最新のフレームと、超解像済の赤外画像の最新のフレームを同期させるための遅延であるため、同期遅延は最大で１／６秒となる。したがって、例えば、超解像処理が１／３０秒（ＣＭＯＳ撮像装置１０における１フレーム相当）より短い処理時間で行われる場合、両者の合計の遅延時間Δｔは、１／６秒より大きく、最大で１／３秒（遠赤外撮像装置２０における２フレーム相当）以下である。
【００８２】
図１４は、空間補正部３６８による動き予測処理の概略を示す説明図である。ＣＭＯＳ撮像装置１０から出力された画像信号のうち輝度信号は、画像ごとにマクロブロック化されて、エッジ検出されたエッジ情報がバッファ部３２８に蓄積（バッファリング）されている。空間補正部３６８は、現在時刻Ｔにおけるエッジ情報と、遅延Δｔ（超解像遅延＋同期遅延）を考慮した時刻Ｔ−Δｔにおけるエッジ情報をバッファ部３２８から受け取り、両者を比較してマクロブロックごとにエッジ動き方向と動き量を算出（予測）する。
【００８３】
図１５は、空間補正部３６８による空間補正処理の概略を示す説明図である。図１５では、説明を簡単にするため、左右方向の一次元での空間補正処理を例として示した。図１５上段のグラフは、ＣＭＯＳ撮像装置１０により時刻Ｔに撮像された画像における、物体領域の重心の時間経過での軌跡を示している。図１５上段のグラフにおいて、白抜きの四角は遠赤外撮像装置と同期していないフレームを、黒い四角は遠赤外撮像装置と同期した時刻Ｔのフレームを示す。図１５下段のグラフは、遠赤外撮像装置と同期してＣＭＯＳ撮像装置１０により時刻Ｔ-Δｔに撮像された画像における物体領域の重心の時間経過での軌跡（破線）、フィルタリング後の軌跡（実線）、及び当該物体領域の空間補正後の当該重心の軌跡（点線）を示している。上記のフィルタリングは、ノイズ除去などを行うフィルタリングである。また、フィルタリング後の軌跡における黒い四角は遠赤外撮像装置と同期した時刻Ｔ−Δｔのフレームを示す。また、空間補正後の軌跡は、上記の動き予測処理により得られた、時刻Ｔ−Δｔと時刻Ｔとの間のエッジの動き方向と動き量に応じて、図１５下段のグラフの矢印で示すように空間的な位置を補正することで得られる。
【００８４】
（同期制御部３８）
同期制御部３８は、同期信号を生成し、ＣＭＯＳ撮像装置１０の撮像素子１２と、遠赤外撮像装置２０の撮像素子２２に同期信号を送信する。また、同期制御部３８は、熱源領域分類部３６２から熱源領域分類の完了通知を受け、遅延時間Δｔを算出し、バッファ部３２８に対して領域特定部３６に提供すべきフレームの指定を行う。
【００８５】
＜＜４．動作＞＞
以上、本開示の一実施形態にかかる撮像システム１に含まれるＣＭＯＳ撮像装置１０、遠赤外撮像装置２０、及び画像処理装置３０の構成を説明した。続いて、本実施形態にかかる撮像システム１の動作を説明する。以下では、撮像システム１の動作を準備シーケンス、遠赤外画像処理シーケンス、及び補正シーケンスの三つに分けて順次説明を行う。
【００８６】
＜４−１．準備シーケンスでの動作＞
図１６は本実施形態にかかる撮像システム１の準備シーケンスでの動作を示す説明図である。準備シーケンスの説明では、ＣＭＯＳ撮像装置１０による撮像から、明度画像とエッジ情報がバッファ部Ｓ１２６に蓄積（バッファリング）されるまでの動作を説明する。
【００８７】
まず、同期制御部３８が同期信号をＣＭＯＳ撮像装置１０に送る（Ｓ１００）。ＣＭＯＳ撮像装置１０は、同期信号を受け取ると、撮像を行い可視光と近赤外光を電気信号（画像信号）に変換する（Ｓ１０２）。次にＣＭＯＳ撮像装置１０は、図６を参照して説明したようにＲ画素ゲインを減衰方向にオフセットして色温度推定テーブルに入力する（Ｓ１０４）。続いて、ＣＭＯＳ撮像装置１０は、オフセットされた色温度推定テーブルを参照して照明光源色温度を推定し（Ｓ１０６）、推定された照明光源色温度に基づいてＷＢ（ホワイトバランス）調整を行う（Ｓ１０８）。最後にＣＭＯＳ撮像装置１０は、デモザイキング、ガンマ補正などの信号処理を行ってＲＧＢ信号を生成し（Ｓ１１０）、生成されたＲＧＢ信号を画像処理装置３０に出力する（Ｓ１１２）。
【００８８】
ＣＭＯＳ撮像装置１０が出力したＲＧＢ信号から、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂが生成され、それぞれ輝度再現部３２２、色差再現部３２４に入力される（Ｓ１１４，Ｓ１１６）。続いて、輝度信号Ｙがエッジ検出部３２６に入力され（Ｓ１１８）、エッジ検出部３２６によりマクロブロック化された明度画像が生成される（Ｓ１２０）。エッジ検出部３２６は明度画像からエッジ検出を行い（Ｓ１２２）、明度画像と検出されたエッジ情報をバッファ部３２８に出力する（Ｓ１２４）。最後に、バッファ部３２８が明度画像とエッジ情報を蓄積する（Ｓ１２６）。上述のステップＳ１００〜Ｓ１２６の処理は、繰り返し継続して行われ、バッファ部３２８には明度画像とエッジ情報が継続して蓄積される。
【００８９】
＜４−２．遠赤外画像処理シーケンスでの動作＞
図１７は、本実施形態にかかる撮像システム１の遠赤外画像処理シーケンスでの動作を示す説明図である。遠赤外画像処理シーケンスの説明では、遠赤外撮像装置２０による撮像から、熱源領域分類部３６２による熱源領域の分類までの動作を説明する。
【００９０】
まず、同期制御部３８が同期信号を遠赤外撮像装置２０に送る（Ｓ２００）。上述したようにＣＭＯＳ撮像装置１０と遠赤外撮像装置２０とではフレームレートが異なるため、遠赤外撮像装置２０は、同期信号を所定回数受け取る度に一度、撮像を行う（Ｓ２０２）。遠赤外撮像装置２０の撮像により取得された遠赤外画像Ｆ１は、超解像部３４に入力され（Ｓ２０４）、超解像部３４は次のフレームの遠赤外画像の入力を待つ。
【００９１】
続いて、遠赤外撮像装置２０が同期制御部３８から受け取った同期信号が再度所定回数に達すると（Ｓ２０６）、遠赤外撮像装置２０は再度撮像を行い（Ｓ２０８）、遠赤外画像Ｆ２を超解像部３４に出力する（Ｓ２１０）。超解像部３４は、遠赤外画像Ｆ１、及びＦ２の差分情報を用いて、遠赤外画像Ｆ１の超解像処理を行う（Ｓ２１２）。超解像処理済の遠赤外画像Ｆ１は熱源領域分類部３６２に入力され（Ｓ２１４）、熱源領域分類部３６２によって、熱源有り領域と熱源無し領域に分類される（Ｓ２１６）。上述のステップＳ２００〜Ｓ２１６の処理は、繰り返し継続して行われ、また、上述の準備シーケンスと並列に行われる。
【００９２】
＜４−３．補正シーケンスでの動作＞
図１８は、本実施形態にかかる撮像システム１の補正シーケンスでの動作を示す説明図である。補正シーケンスの説明では、バッファ部３２８に明度画像とエッジ情報が蓄積済みで、熱源領域分類部３６２が遠赤外画像の熱源領域の分類を完了した状態から、輝度再現部３２２と色差再現部３２４による輝度補正と色差補正までの動作を説明する。
【００９３】
まず、補正シーケンスは、バッファ部３２８には既に現時点までのフレームの明度画像とエッジ情報が蓄積されている状態を前提とし、熱源領域分類部３６２が遠赤外画像の熱源領域分類の完了を同期制御部３８に通知するステップから開始する（Ｓ３００）。同期制御部３８は、熱源領域分類の完了通知を受け取ると、熱源領域分類が完了したフレームの撮像時刻Ｔ-Δｔと現在の時刻Ｔをバッファ部に対して通知する（Ｓ３０２、Ｓ３０４）。
【００９４】
次に、明度領域分類部３６４は、バッファ部３２８から時刻Ｔ-Δｔの明度画像を受け取り（Ｓ３０６）、明度画像を領域の重複を許して明度が大〜中の領域と中〜小の領域に分類する（Ｓ３０８）。物体領域検出部３６６は熱源領域分類結果、明度領域分類結果、及び時刻Ｔ−Δｔのエッジ情報を受け取り（Ｓ３１０、Ｓ３１２、Ｓ３１３）、受け取った２つの領域分類結果に基づいて決定された検出物体種別に対応した物体検出動作を行い、各物体領域を検出する（Ｓ３１４）。
【００９５】
続いて、空間補正部３６８は各物体領域と、時刻Ｔ-Δｔ、及び時刻Ｔのエッジ情報を受け取る（Ｓ３１６、Ｓ３１８、Ｓ３２０）。ここで、空間補正部３６８は時刻Ｔにエッジが検出されていたか否かを判別し、時刻Ｔにエッジが検出されていなかった場合（Ｓ３２２においてＮＯ）、当該フレームにエッジが無いことを輝度再現部３２２と色差再現部３２４に通知する（Ｓ３２４）。また、空間補正部３６８は、時刻Ｔにエッジが検出されていた場合には（Ｓ３２２においてＹＥＳ）、図１４、１５を参照して説明したように時刻Ｔ−Δｔのエッジ情報と時刻Ｔのエッジ情報の間の動き予測に基づいて各物体領域の空間補正を行う（Ｓ３２６）。最後に空間補正部３６８は、空間補正済の各物体領域（補正対象領域）と当該物体領域の検出物体種別（領域種別）の情報を輝度再現部３２２と色差再現部３２４に提供する（Ｓ３２８）。
【００９６】
輝度再現部３２２は、図８、１１を参照して説明したように、検出物体種別（領域種別）に応じた特性に基づいて、各物体領域の輝度の諧調とコントラストを補正する（Ｓ３３０）。また、色差再現部３２４は、図９、１１を参照して説明したように、検出物体種別（領域種別）に応じて各物体領域の色相と彩度を補正する（Ｓ３３２）。なお、当該フレームにおいてエッジが検出されていなかった場合（Ｓ３２２においてＮＯ）、輝度再現部３２２は上記の輝度補正処理よりも、輝度を低下させる補正を行い、色差再現部３２４は上記の色補正よりも、彩度を低下させる補正を行う。
【００９７】
＜＜５．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
【００９８】
＜５−１．第一の変形例＞
上記では、Ｒ画素の受光量が増大した画像信号に対してＷＢ部１６が光源色温度推定を正常に行うために、Ｒ画素ゲインを減衰補正して色温度推定テーブルに入力する例を説明したが、本開示はかかる例に限定されない。
【００９９】
例えば、本開示にかかる撮像システムは、７００ｎｍ〜８００ｎｍの光を除去するノッチフィルタ（例えば蒸着膜など）をＣＭＯＳ撮像装置１０に挿入することで、Ｒ画素の受光量増大を防いでもよい。図１９は、ＣＭＯＳ撮像装置１０にノッチフィルタが挿入された場合のＣＭＯＳセンサの分光感度特性を示す説明図である。図１９に示すグラフにおける実線、点線、一点鎖線については、図３と同様であるため説明を省略する。図１９に示すグラフにおける二点鎖線は、ノッチフィルタの特性を示す。図１９に示したように、近赤外光域（７００ｎｍ〜）において、Ｇ画素、Ｂ画素と比較してＲ画素の受光感度が非常に高い（図３参照）７００ｎｍ〜８００ｎｍの光は、ノッチフィルタにより除去される。その結果、図１９に示したように、近赤外光域内では、Ｒ画素、Ｇ画素、Ｂ画素の受光感度がほぼ同等の近赤外光（８００ｎｍ〜）が受光される。
【０１００】
上記の構成をＲ画素ゲインの減衰補正に代えて用いることで、ＷＢ部がＲ画素ゲインの減衰補正機能を備えないため、処理負荷の軽減が期待できる。または、上記の構成をＲ画素ゲインの減衰補正に追加的に適用することで、ＷＢ部はさらに安定して光源色温度の推定とＷＢ調整を行うことができる。
【０１０１】
また、上記ではＣＭＯＳ撮像の有する撮像素子が可視光と近赤外光の両方を受光する例を説明したが、可視光除去フィルタなどを用いて、当該撮像素子は近赤外光のみを受光してもよい。かかる構成によれば、当該撮像素子は色のある可視光を受光せず、近赤外光の強度に応じた濃淡画像（グレースケール画像）を出力するため、上記のようなＲ画素の受光量増大の影響を防ぐ処理や構成を必要としない。
【０１０２】
＜５−２．第二の変形例＞
上記では、撮像システム１に光源が含まれない例を説明したが、以下に示す変形例のように、本開示にかかる撮像システムは、例えば近赤外光の光源を含んでも良い。
【０１０３】
図２０は、近赤外光の光源である近赤外光発光部４０を含む撮像システム１’の構成を示す説明図である。近赤外光発光部４０以外の構成は図５を参照して説明した撮像システム１と同様であるため、適宜説明を省略する。
【０１０４】
近赤外光発光部４０は、ＣＭＯＳ撮像装置１０の撮像範囲に対して、撮像素子１２が受光可能な近赤外光（例えば８５０ｎｍの光）を発光する発光装置である。撮像システム１’は、近赤外光発光部４０を備え、近赤外光発光部４０が発光した近赤外光の反射光を撮像することで、より明るい撮像を行うことが可能になる。
【０１０５】
また、近赤外光発光部４０は、同期制御部３８から同期信号を受け取り、ＣＭＯＳ撮像装置１０の撮像時刻と同期して、発光してもよい。さらに、近赤外光発光部４０は、ＣＭＯＳ撮像装置１０の撮像時刻と同期し、発光強度を変えながら発光し、各時刻の発光強度の情報をバッファ部３２８に蓄積してもよい。
【０１０６】
図２１は近赤外光発光部４０の発光強度の時間変化を示す説明図である。図２１の時刻ｔ０においてＣＭＯＳ撮像装置１０が撮像を開始すると共に、近赤外光発光部４０が発光を開始している。時刻ｔ１、ｔ２、ｔ３において、近赤外光発光部４０は同期信号を受け取り、それぞれ発光強度を強、中、弱、と変更しながら発光している。また、ｔ１、ｔ２、ｔ３において、近赤外光発光部４０は発光強度の情報をバッファ部３２８に提供している。
【０１０７】
ここで、明度領域分類部３６４は、バッファ部３２８から受け取った明度画像と発光強度に基づいて、被写体の近赤外光帯域の反射率の高低を判断し、より高精度な明度領域分類を行う。かかる構成によれば、明度領域の分類が高精度になることで、物体領域検出や輝度再現、色差再現の精度の向上が期待できる。
【０１０８】
＜＜６．画像処理装置のハードウェア構成＞＞
図２２は、画像処理装置３０のハードウェア構成を示した説明図である。図２２に示したように、画像処理装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１と、ＤＳＰ（Ｄｉｇｉｔａｌ
Ｓｉｇｎａｌ Ｐｏｃｅｓｓｏｒ）３０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０４と、入力装置３０８と、出力装置３０９と、ストレージ装置３１０と、ドライブ３１１と、通信装置３１２とを備える。
【０１０９】
ＣＰＵ３０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置３０内の動作全般を制御する。また、ＣＰＵ３０１は、マイクロプロセッサであってもよい。ＤＳＰ３０２は、信号処理装置として機能し、例えば本実施形態にかかる画像処理装置３０のエッジ検出部３２６の機能であるエッジ検出処理などを行う。また、ＤＳＰ３０２はマイクロプロセッサであってもよい。ＲＯＭ３０３は、ＣＰＵ３０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ３０４は、ＣＰＵ３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【０１１０】
入力装置３０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ３０１に出力する入力制御回路などから構成されている。画像処理装置３０のユーザは、該入力装置３０８を操作することにより、画像処理装置３０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１１】
出力装置３０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置３０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
【０１１２】
ストレージ装置３１０は、本実施形態にかかる画像処理装置３０のバッファ部３２８の一例として構成されたデータ格納用の装置である。ストレージ装置３１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置３１０は、ＣＰＵ３０１が実行するプログラムや各種データを格納する。
【０１１３】
ドライブ３１１は、記憶媒体用リーダライタであり、画像処理装置３０に内蔵、あるいは外付けされる。ドライブ３１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ３０４に出力する。また、ドライブ３１１は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１１４】
通信装置３１２は、通信デバイスなどで構成された通信インタフェースである。また、通信装置３１２、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【０１１５】
＜＜７．むすび＞＞
以上説明したように、本開示の実施形態によれば、可視近赤外画像と、遠赤外画像に基づいて、可視近赤外画像の補正対象領域と領域種別が特定され、当該補正対象領域に対して領域種別に応じて輝度のコントラストと、色の色相、彩度などが補正される。なお、本開示の実施形態は、例えば車載カメラやセキュリティカメラに適用可能である。
【０１１６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１７】
例えば、上記実施形態では、近赤外光を受光可能な撮像素子として、原色である赤・緑・青（ＲＧＢ）による原色フィルタ（ＲＧＢ）を有するＣＭＯＳセンサが用いられた例を説明したが、これは撮像素子の一例であり、本技術はかかる例に限定されない。例えば、ＣＭＯＳセンサの代わりに、ＣＣＤセンサが用いられてもよい。また、例えば、原色フィルタを有する撮像素子の代わりに、補色であるシアン・マゼンタ・イエロー・グリーン（ＣＭＹＧ）による補色フィルタを有する撮像素子が用いられてもよい。
【０１１８】
また、例えば、上記実施形態では、画像処理装置は同期制御部を備え、ＣＭＯＳ撮像装置と遠赤外撮像装置が一定間隔で同期撮像する例を説明したが、本技術はかかる例に限定されない。例えば、同期撮像されない代わりに、遠赤外画像にタイムコードが付与され、バッファ部はタイムコードに基づいて最も近い時刻に撮影された可視近赤外画像を領域特定部に提供してもよい。
【０１１９】
また、例えば、上記実施形態では、画像処理装置は超解像部を備え、遠赤外画像の超解像処理を行う例を説明したが、本技術はかかる例に限定されない。例えば、画像処理装置は超解像処理を行わず、遠赤外撮像装置から受け取った遠赤外画像に対して熱源領域分類の処理を行ってもよい。
【０１２０】
また、例えば、上記実施形態では、ＣＭＯＳ撮像装置がＩＲＣＦを備えない例を説明したが、本技術はかかる例に限定されない。例えば、撮像システムがＩＲＣＦと、ＩＲＣＦを着脱する機構を備え、ＩＲＣＦを装着して撮像する場合には一般的な可視光撮影システムとして機能し、ＩＲＣＦを取り外して撮像する場合には上記実施形態で説明したように輝度・色差補正を行ってもよい。
【０１２１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
遠赤外光に感度を有する撮像素子に基づいて得られた第一の画像に基づき、少なくとも近赤外光に感度を有する撮像素子に基づいて得られた第二の画像における、補正対象領域および当該補正対象領域の領域種別を特定する領域特定部と、
前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う補正部と、
を備える、画像処理装置。
（２）
前記領域特定部は、さらに前記第二の画像に基づき、前記補正対象領域および前記領域種別を特定する、前記（１）に記載の画像処理装置。
（３）
前記領域特定部は、前記第一の画像から特定される、前記第一の画像における各位置の被写体温度に基づき、前記補正対象領域を特定する、前記（１）または（２）に記載の画像処理装置。
（４）
前記領域特定部は、前記第二の画像における各位置の明度に基づき、前記補正対象領域を特定する、前記（２）または（３）に記載の画像処理装置。
（５）
前記画像処理装置は、前記第二の画像から抽出された画像特徴情報のバッファリングを行うバッファ部をさらに備え、
前記領域特定部は、第一の時刻に得られた前記第一の画像と、前記第一の時刻に得られた前記第二の画像から抽出され、前記バッファ部にバッファリングされた前記画像特徴情報とに基づき、前記補正対象領域および前記領域種別を特定する、前記（２）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記領域特定部は、前記第一の時刻に得られた前記第一の画像と、前記第一の時刻に得られた前記第二の画像から抽出され、前記バッファ部にバッファリングされた前記画像特徴情報とに基づき、参照領域を特定し、前記第一の時刻より後の第二の時刻に得られた前記第二の画像から抽出された前記画像特徴情報と、前記第一の時刻に得られた前記第二の画像から抽出された前記画像特徴情報に基づいた動き予測を行い、予測された動きに基づいて前記参照領域を補正して得られた領域を、前記補正対象領域として特定し、
前記補正部は、前記第二の時刻に得られた前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う、前記（５）に記載の画像処理装置。
（７）
所定時間に得られる前記第一の画像の数より、前記所定時間に得られる前記第二の画像の数の方が多い、前記（５）または（６）に記載の画像処理装置。
（８）
前記領域特定部は、前記第一の画像と前記第二の画像に基づき、前記第二の画像における、検出対象領域と検出物体種別を特定し、特定された前記検出対象領域から前記検出物体種別に応じた物体領域を検出し、検出された前記物体領域に基づいて、前記補正対象領域として特定する、前記（２）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記画像処理装置は、前記第二の画像からエッジを検出するエッジ検出部をさらに備え、
前記領域特定部は、前記エッジに基づいて、前記物体領域を検出する、前記（８）に記載の画像処理装置。
（１０）
前記補正部は、前記エッジ検出部により前記エッジが検出されなかった場合に、前記第二の画像の全体または一部に対して、前記エッジが検出された場合に行われる前記色補正または前記輝度補正よりも輝度と彩度を低下させる補正を行う、前記（９）に記載の画像処理装置。
（１１）
前記色補正の方法は、前記補正対象領域の色相と彩度を前記領域種別に応じた色相彩度目標値に補正することを含む、前記（１）〜（９）のいずれか一項に記載の画像処理装置。
（１２）
前記輝度補正の方法は、前記領域種別に応じた前記補正対象領域の明度の補正と、前記領域種別に応じた前記補正対象領域のコントラストの補正を行うことを含む、前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１３）
前記第二の画像は、少なくとも可視光と近赤外光に感度を有する前記撮像素子に基づいて得られる、前記（１）〜（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記第二の画像は、少なくとも可視光と近赤外光に感度を有する前記撮像素子により得られた、青、緑、赤を示す複数の信号のうち、赤を示す信号が減衰補正された、前記複数の信号に対するホワイトバランス調整に基づいて得られる、前記（１３）に記載の画像処理装置。
（１５）
遠赤外光に感度を有する撮像素子に基づいて得られた第一の画像に基づき、少なくとも
近赤外光に感度を有する撮像素子に基づいて得られた第二の画像における、補正対象領域および領域種別を特定することと、
プロセッサが前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行うことと、
を含む、画像処理方法。
（１６）
遠赤外光に感度を有する第一の撮像素子と、
少なくとも近赤外光に感度を有する第二の撮像素子と、
前記第一の撮像素子に基づいて得られた第一の画像に基づき、前記第二の撮像素子に基づいて得られた第二の画像における、補正対象領域および領域種別を特定する領域特定部と、
前記領域特定部により特定された前記補正対象領域に対して、前記領域種別に応じた色補正または輝度補正の少なくとも一方を行う補正部と、
を含む、撮像システム。
（１７）
前記撮像システムは、前記第二の撮像素子と同期して強度を変えながら近赤外光を発光する、近赤外光発光部をさらに備え、
前記領域特定部は、さらに前記近赤外光発光部が発光した近赤外光の前記強度に基づき、前記補正対象領域および前記領域種別を特定する、前記（１６）に記載の撮像システム。
【符号の説明】
【０１２３】
１  撮像システム
１０  撮像装置
１２  撮像素子
１４  クランプ部
１６  ＷＢ部
１８  信号処理部
２０  遠赤外撮像装置
２２  撮像素子
３０  画像処理装置
３２  現像部
３４  超解像部
３６  領域特定部
３８  同期制御部
４０  近赤外光発光部
３２２  輝度再現部
３２４  色差再現部
３２６  エッジ検出部
３２８  バッファ部
３６２  熱源領域分類部
３６４  明度領域分類部
３６６  物体領域検出部
３６８  空間補正部
【図１】
0006394338.tif 000002
【図２】
0006394338.tif 000003
【図３】
0006394338.tif 000004
【図４】
0006394338.tif 000005
【図５】
0006394338.tif 000006
【図６】
0006394338.tif 000007
【図７】
0006394338.tif 000008
【図８】
0006394338.tif 000009
【図９】
0006394338.tif 000010
【図１０】
0006394338.tif 000011
【図１１】
0006394338.tif 000012
【図１２】
0006394338.tif 000013
【図１３】
0006394338.tif 000014
【図１４】
0006394338.tif 000015
【図１５】
0006394338.tif 000016
【図１６】
0006394338.tif 000017
【図１７】
0006394338.tif 000018
【図１８】
0006394338.tif 000019
【図１９】
0006394338.tif 000020
【図２０】
0006394338.tif 000021
【図２１】
0006394338.tif 000022
【図２２】
0006394338.tif 000023