"主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置。前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する請求項1に記載の画像処理装置。前記分光補正部は、分光特性補正行列Mを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する請求項2に記載の画像処理装置。前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Aと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Bと、前記分光特性補正行列Mとの積MBとの差分を小さくする行列Mを算出して、前記行列演算を実行する請求項3に記載の画像処理装置。前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する請求項1に記載の画像処理装置。前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する請求項1に記載の画像処理装置。前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う請求項1に記載の画像処理装置。主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置。画像処理装置において実行する画像処理方法であり、分光補正部が、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正ステップと、コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調ステップを実行する画像処理方法。画像処理装置において画像処理を実行させるプログラムであり、分光補正部に、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成させる分光補正ステップと、コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成させるコントラスト強調ステップを実行させるプログラム。本開示は、例えば上記問題点に鑑みてなされたものであり、可視光成分と非可視光成分の高精度な分離処理を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。本開示の一実施例においては、可視光成分と非可視光成分の高精度な分離処理を実現して、例えば非可視光撮影画像に基づく被写体距離情報や三次元形状計測などの画像解析をより正確に行うことを可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。本開示の第1の側面は、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記分光補正部は、分光特性補正行列Mを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Aと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Bと、前記分光特性補正行列Mとの積MBとの差分を小さくする行列Mを算出して、前記行列演算を実行する。さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う。さらに、本開示の第2の側面は、主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置にある。さらに、本開示の第3の側面は、画像処理装置において実行する画像処理方法であり、分光補正部が、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正ステップと、コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調ステップを実行する画像処理方法にある。さらに、本開示の第4の側面は、画像処理装置において画像処理を実行させるプログラムであり、分光補正部に、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成させる分光補正ステップと、コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成させるコントラスト強調ステップを実行させるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータシステム上でプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例の構成によれば、可視光と非可視光の分光特性を向上させ、可視光成分の少ない非可視光成分画像を生成する構成が実現される。具体的には、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Mを適用した行列演算により分光特性補正画像を生成する。本構成により、可視光成分の少ない非可視光成分画像を生成することが可能となり、例えば赤外光などの非可視光成分光を用いたパターン光照射による被写体距離や被写体形状を計測する構成において、より高精度な処理が可能となる。以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。1.画像処理装置の構成例について2.撮像デバイスの構成について3.画像処理の詳細について3-1画像処理の全体シーケンスについて3-2画像処理の個別の処理の詳細について3-2-1.補間部の処理について3-2-2.分光補正部の処理について3-2-3.コントラスト強調部の処理について4.画像処理シーケンスについて5.その他の実施例について6.本開示の構成のまとめ[1.画像処理装置の構成例について]まず、図1を参照して本開示の画像処理装置の一構成例について説明する。図1は、本開示の画像処理装置の一例である撮像装置の構成例を示す図である。図1は、非可視光を用いた3D計測と可視光の撮像を同時に行う撮像装置100の構成を示すブロックダイアグラムである。図1に示すように、撮像装置100は、発光部Emitter102、レンズ103、絞り104、撮像デバイス105、相関2重サンプリング回路CDS:CorrellatedDoubleSampling106、A/Dコンバータ107、DSPDigitalSignalProcessorブロック108、タイミングジェネレータTG109、メモリ110、CPU111を有する。DSPブロック108は信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロックを単にDSPと呼ぶ。発光部Emitter102はレーザーや投光光学系からなり、被写体Object10に3次元計測用の非可視光パターンを投影する。発光部Emitter102は、例えば赤外光や紫外光等、可視光領域の波長以外の波長光の非可視光からなるパターン光、例えば、縞模様のパターン等のパターン光を照射する。発光部Emitter102の照射する非可視光パターンは被写体10で反射し、レンズ103、絞り104を通過して、例えばCCD等によって構成される撮像デバイス105に到達する。反射光は、撮像デバイス105の撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関2重サンプリング回路CDS106によってノイズ除去が行われ、A/Dコンバータ107によってデジタルデータに変換、すなわちデジタイズされた後、DSPブロック108中の画像メモリに格納される。DSPブロック108は、DSPブロック108中の画像メモリに格納された画像信号に対する信号処理を実行する。撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータTG109が信号処理系を制御するようになっている。DSPブロック108へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれる。DSPブロック108からは可視光と非可視光の画像が出力され、メモリ110に格納される。DSPブロック108から出力される非可視光成分画像はCPU111でさらに処理が加えられ、例えば被写体の3次元形状が算出される。以上が本実施例の撮像装置100の全体の説明である。[2.撮像デバイスの構成について]次に、図1に示す撮像装置100の撮像デバイス105の詳細構成例と特性について説明する。図1に示す撮像装置100の撮像デバイス105は、例えば可視光と非可視光を同時に撮影できる単板カラー撮像素子を有する。DSPブロック108は、この単板カラー撮像素子からなる撮像デバイス105の撮影する可視光成分画像と非可視光成分画像に対する処理を実行して分光レベルの高い高画質な非可視光成分画像を生成する。DSPブロック108における具体的な処理については後述するが、本開示の画像処理装置は、例えば、非可視光のパターンを投射して被写体の三次元形状を測定するパターン投影法を行う際に、コントラストの高い非可視光パターンを検出する処理に応用できる技術である。なお、本明細書においては、コントラストという単語を、注目している画像領域とそれ以外の画像領域との輝度差という意味で用いる。図1に示す撮像装置100の撮像デバイス105は、可視光に感度を持つ画素と、非可視光に感度を持つ画素を持つ単板カラー撮像素子を有する。このような撮像素子は、例えば図2に示される色配列のカラーフィルタをモノクロの撮像素子上に形成することで作ることができる。図2においてR,G,Bは可視光を撮影するためのカラーフィルタであり、IRは非可視光を撮影するためのカラーフィルタである。R,G,Bは、可視光R,G,Bに対応する波長光を透過する。IRは、例えば赤外光や紫外光等の可視光領域以外の非可視光IRに対応する波長光を透過する。図1に示す撮像装置100の撮像デバイス105は、例えば図2に示すカラーフィルタを介して被写体光を入射する。この結果RGBの設定された画素は、可視光R,G,Bに対応する波長光に応じた電気信号を生成する可視光撮影画素となる。また、IRの設定された画素は、非可視光IRに対応する波長光に応じた電気信号を生成する非可視光撮影画素となる。なお、図2に示すような一層のカラーフィルタだけを使うのではなく、複数層のカラーフィルタを用いることで、各画素対応の感度R,G,B,IRを作り出す構成としてもよい。なお、図2に示すカラーフィルタの配列は一例であり、図2に示す構成に限らず、可視光と非可視光の撮影画素が混在した構成であれば、本開示の処理は適用可能である。図2に示すフィルタのIRは、赤外光、あるいは紫外光など可視光波長領域以外の波長光を透過する設定とすればよいが、以下の実施例では、IRは、赤外光を透過する構成であるものとして説明する。図3は、図2の色配列を持つフィルタを備えた撮像デバイスの理想的な分光透過率の例を表す図である。横軸が波長、縦軸が分光透過率を示している。B画素分光は、図2に示すカラーフィルタのB画素領域の分光特性分光透過率であり、B青色近傍の波長光に対応する短波長領域の光を選択的に透過する。G画素分光は、図2に示すカラーフィルタのG画素領域の分光特性分光透過率であり、G緑色近傍の波長光に対応する中波長領域の光を選択的に透過する。R画素分光は、図2に示すカラーフィルタのR画素領域の分光特性分光透過率であり、R赤色近傍の波長光に対応する長波長領域の光を選択的に透過する。IR画素分光は、図2に示すカラーフィルタのIR画素領域の分光特性分光透過率であり、IR赤外光近傍の波長光に対応する極超波長領域の光を選択的に透過する。図3に示す分光特性図は、理想的な特性を示している。しかし、例えば図2に示すカラーフィルタを備えた撮像デバイスを実際に製造しても、図3に示すような理想的な分光特性を得ることは難しい。実際に製造される撮像デバイスの分光特性の例を図4に示す。図3と同様、横軸が波長、縦軸が分光透過率を示している。図2の色配列を持つフィルタを備えた撮像デバイスとして実際に製造される撮像デバイスの分光特性は、図4に示すように可視光を撮影するための画素が赤外光に感度を持ったり、赤外光を撮影するための画素が可視光に感度を持ったりするという問題が発生する。本開示の画像処理装置は、例えば図4に示すような分光特性、すなわち不完全な分光特性を持つ撮像デバイスによって撮影された画像信号を入力し、以下に説明する信号処理を実行して高画質な可視光と非可視光成分画像を得ることを可能としている。[3.画像処理の詳細について]次に、本開示の画像処理装置において実行する画像処理の詳細について説明する。以下において説明する画像処理は、例えば図1に示す撮像装置100のDSPブロック108において実行される。DSPブロック108では、信号の高周波成分まで復元できる補間処理と、行列演算による分光補正処理と非可視光成分画像のコントラスト強調処理を行う。以下、まず、図5を参照して、可視光成分画像RGB画像と、非可視光成分画像IR画像の生成処理の全体処理の概要を説明し、次に、図5に示す各処理部の詳細について説明する。以下の項目に従って説明する。3-1画像処理の全体シーケンスについて3-2画像処理の個別の処理の詳細について3-1画像処理の全体シーケンスについてまず、図5を参照して本開示の画像処理装置において実行する画像処理、すなわち、可視光成分画像RGB画像と、非可視光成分画像IR画像の生成処理の全体シーケンスについて説明する。図5は、図1に示す撮像装置100の画像処理部としてのDSPブロック108において実行する処理について説明する図である。図5には、DSPブロック108において実行する複数の処理の各々について、各処理単位の処理部を示している。図5に示すように、画像処理部DSPブロック108は、補間部202、分光補正部203、コントラスト強調部204を有する。RGBIRモザイク画像201は、図1に示す撮像デバイス105の撮影したモザイク画像である。すなわち各画素に対してR、G、B、IRのいずれか1つの波長光信号のみが設定されたモザイク画像である。すなわち、図2に示す可視光R,G,Bと非可視光IRを透過するカラーフィルタの配列を備えた撮像デバイス105の撮影したモザイク画像であり、相関2重サンプリング回路CDS106によってノイズ除去が行われ、A/Dコンバータ107によってデジタルデータに変換、すなわちデジタイズされた後、DSPブロック108中の画像メモリに格納された画像である。補間部202は、R、G、B、IRのいずれか1つの画素値のみが設定されたRGBIRモザイク画像201の各画素に対して、RGBIRの全ての画素値を設定する補間処理を実行する。例えば、Rのカラーフィルタが存在する画素位置に、G,B,IRの画素値を補間、Gのカラーフィルタが存在する画素位置に、R,B,IRの画素値を補間、Bのカラーフィルタが存在する画素位置に、R,G,IRの画素値を補間、IRのカラーフィルタが存在する画素位置に、R,G,Bの画素値を補間、これらの画素値補間処理を実行する。補間部202は、例えば、モザイク信号に含まれるどの色よりも高い解像度を持つ輝度信号を生成し、その輝度信号をリファレンスとして色信号の補間を行う。なお、輝度信号は、補間がぞ地を設定する注目画素位置近傍に存在する複数の色信号を合成することによって得られる。通常、撮像された複数の色信号間には強い相関が存在する。この相関を利用して複数の色信号を合成することができ、単一の色信号よりも解像度の高い輝度信号を生成することができる。さらに輝度信号と色信号の間の強い相関を利用して、全ての色について高周波成分まで復元された補間値を得ることができる。分光補正部203は補間部202が生成した補間画像である全画素に全ての色の画素値がそろったRGBIR画像を入力とし、それぞれの画素位置において存在する4色R,G,B,IRの画素値に対して別個に行列演算を行うことで、分光が補正された新たな4色の画素値を算出する。この処理は従来のカメラ信号処理で色再現の向上のために用いられてきた演算を拡張したものである。例えば通常のカメラで撮影される可視光の3色R,G,Bに対して3x3行列を適用して新たな3色を算出する演算により、色再現の向上が図られる。本開示の構成では3色の可視光と1色の非可視光の計4色に対して4x4行列を適用することになる。分光が補正されたR,G,Bの画素では非可視光成分が抑制され、分光が補正されたIRの画素では可視光成分が抑制される。分光補正部203の出力は可視光成分からなるRGB画像205と非可視光成分からなるIR画像に分けられる。分光補正部203より出力されたIR画像はコントラスト強調部204に入力され、非可視光成分が強調され、可視光成分が抑制されたIR画像206として出力される。なお、本開示の画像処理装置では、非可視光を3次元計測のために用いるということを想定している。従って、被写体には非可視光のパターンが、先に図1を参照して説明した発光部102から投影されている。このパターンは輝点や輝線から構成されており、コントラストの高いテクスチャになっている。そのため、被写体においてコントラストの高いテクスチャは非可視光成分が支配的となり、コントラストの低いテクスチャは可視光が支配的となる。さらに、一般的にはレンズには軸上色収差が存在することから、非可視光に対してピントを合わせると、可視光に対してはボケが生じる。このような光学的な現象も非可視光成分が高いコントラストを持つ一因となる。つまり、分光補正部203より出力されたIR画像をコントラスト成分と非コントラスト成分に分離するということは、ほぼ、非可視光成分と可視光成分に分離するということに等しくなる。なお、コントラストの強調には従来から用いられているコントラスト強調技術を用いればよい。例えば、ヒストグラムストレッチやトーンカーブのような実空間における信号の補正であっても、高周波成分の強調のような周波数空間での信号の補正であってもよい。トーンカーブを用いるのであれば、暗部をより暗く、明部をより明るくするS字型のトーンカーブを用いれば良い。これは、分光補正部203より出力されたIR画像には可視光が混入しているとはいっても、非可視光の信号の方が支配的であり、より明るく撮像されているためである。なお、本開示の画像処理装置において効果的なコントラスト強調手法としては、エッジ保存平滑化フィルタを用いた手法が挙げられる。エッジ保存平滑化フィルタは被写体の細かいテクスチャ小面積で高周波成分を含む信号を平滑化し、大きなテクスチャのみを残す平滑化手法であり、代表的な手法としてバイラテラルBilateralフィルタが知られている。非可視光の投影パターンは可視光の背景と比べて細かいテクスチャであることが多く、エッジ保存平滑化フィルタによってこれらを分離することができる。分離した可視光と非可視光の2つの画像に対してゲインやトーンカーブを適用することで、可視光を抑制し、非可視光を強調することができる。3-2画像処理の個別の処理の詳細について次に、図5に示す各処理部において実行する処理の詳細ついて、順次説明する。3-2-1.補間部の処理についてまず、図5に示す補間部202の詳細について説明する。補間部202の詳細なブロック図を図6に示す。図6に示すように、補間部202は、輝度算出部303、局所平均値算出部304、色補間部305を有する。以下、各処理部の実行する処理について説明する。[輝度算出部について]輝度算出部303では、図2に示すカラーフィルタに含まれる4つの色R,G,B,IRよりも画素数が多く、より高い周波数成分を持つ輝度信号Yを算出する。具体的には、例えば以下に示す式1を適用して輝度成分Yを算出する。式1上記式1において、x,yは画素位置を表し、MosaicはRGBIRモザイク画像図6に示すRGBIRモザイク画像302を表す。上記式における輝度成分Yの算出処理例について図7を参照して説明する。上記式1に従って算出される輝度、Yx0.5,y0.5は、図7における点Pの輝度に対応する。注目画素の画素位置を中心の画素251、すなわち、B画素x,yとすると、輝度Yは、注目画素からx,y方向にそれぞれ半画素ずれた位置、すなわち、座標位置=x0.5,y0.5の位置の輝度として算出される。図7における点Pの輝度Yx0.5,y0.5を算出するために、図7に示す4つの画素、すなわち、画素251:B画素x,yの画素値[Mosaicx,y]、画素252:G画素x1,yの画素値[Mosaicx1,y]、画素253:IR画素x,y1の画素値[Mosaicx,y1]、画素254:R画素x1,y1の画素値[Mosaicx1,y1]、これらの4つの各画素値を利用した演算を行う。輝度算出部303では、補間部202に入力するモザイク画像を構成する画素を、順次、4画素単位で選択して、上記式1に従って輝度Yを算出し、輝度画像を生成する。[局所平均値算出部について]次に、図6に示す補間部202の局所平均値算出部304の処理について説明する。局所平均値算出部304では注目画素を中心とした局所領域に含まれているR,G,B,IRの画素値の重み付き平均値を算出する。以下、R,G,B,IR各色の平均値を、各々mR、mG、mB、mIRと表す。輝度算出部303では、先に、図7を参照して説明したように、輝度YをMosaic画像に対して半画素ずれた位置に算出しているので、平均値も、注目画素位置x,yから半画素ずれた位置x0.5,y0.5に算出する。例えば、図7に示すように、中心のB画素位置をx,yとすると、mRx0.5,y0.5、mGx0.5,y0.5、mBx0.5,y0.5、mIRx0.5,y0.5、これらの各色対応の平均値は、以下に示す式2を用いて算出できる。式2[色補間部について]次に、図6に示す補間部202の色補間部305の処理について説明する。色補間部305では、以下に示す式3に従って、画素位置x0.5,y0.5における不明な色の画素値[C]を補間する。ただし、C=RまたはGまたはBまたはIRである。式3上記式3において、CはR,G,B,IRの何れかの色を示す。Cx0.5,y0.5は、注目画素位置x,yから方向にそれぞれ0.5画素分ずれた位置のR,G,B,IRの画素値を示している。mYは輝度の平均値を表す。上記の式3は局所領域において輝度信号と色信号が強い正の相関を持つことを利用した補間式であり、2つの信号の平均値の比率が2つの信号の比率とほぼ等しくなることを利用している。色補間部305において補間されたRGBIR画像306は、補間部202に対する入力画像であるモザイク画像302に対してx,y方向に半画素ずれた位置に算出される。この補間画像は、そのこの処理において、そのまま用いても良いし、バイキュービックBicubic補間等を用いて、この半画素のずれを補正してから後段の処理部に入力する構成としてもよい。いずれにしても、補間された画像の画素位置をx,yと表すこととして説明を続ける。3-2-2.分光補正部の処理について次に、図5に示す分光補正部203の詳細について説明する。先に説明したように、分光補正部203は、補間部202が生成した補間画像である全画素に全ての色の画素値がそろったRGBIR画像を入力とし、それぞれの画素位置において存在する4色R,G,B,IRの画素値に対して別個に行列演算を行うことで、分光が補正された新たな4色の画素値を算出する。本開示の構成では3色の可視光と1色の非可視光の計4色に対して4x4行列を適用することになる。分光が補正されたR,G,Bの画素では非可視光成分が抑制され、分光が補正されたIRの画素では可視光成分が抑制される。分光補正部203の出力は可視光成分からなるRGB画像205と非可視光成分からなるIR画像に分けられる。分光補正部203は、以下に示す式4の行列演算を用いて分光の補正を行う。式4上記式4において、R,G,B,IRは、図6に示す補間部202内の色補間部305において補間された4つの色の画素値を表し、R,G,B,IRは分光補正された画素値を表す。上記式4に示す行列の要素m00~m33を求める方法の例を以下に述べる。先に図3、図4を参照して、理想的な撮像デバイスの分光特性図3、現実の撮像デバイス分光特性図4、これらの各分光特性について説明した。図3を参照して説明した理想的な分光特性に対応する4色R,G,B,IR各々の各波長lに対応する分光透過率を、rl,gl,bl,irlとする。ここでlエルは波長を表す。また、図4を参照して説明した現実の撮像デバイスに対応する4色R,G,B,IR各々の各波長lに対応する分光透過率を、rl,gl,bl,irlとする。ここでlエルは波長を表す。これらの分光透過率を波長lに関して離散化すると、以下に示す式5が得られる。式5上記式5において、lxは、離散化された波長を表す。なお、上記式ではl0~lNまでのN1個に離散化した例を示している。この式5を、最小二乗法を用いて解くと、先に式4で示した行列の要素、m00~m33が得られる。すなわち、図3を参照して説明した理想的な分光特性に対応する4色R,G,B,IR各々の各波長lに対応する分光透過率:rl,gl,bl,irlからなる行列をA、図4を参照して説明した現実の撮像デバイスに対応する4色R,G,B,IR各々の各波長lに対応する分光透過率:rl,gl,bl,irlからなる行列をB、式4に示す補間画素値:R,G,B,IRを、分光補正された画素値:R,G,B,IRに変換する要素m00~m33からなる行列をM、としたとき、Aと、MBとの差を最小とする行列Mを、例えば最小二乗法を用いて算出することで、先に式4で示した行列Mの要素、m00~m33が得られる。このように、式4に示す行列要素:m00~m33は、図3を参照して説明した理想の分光特性に対応する分光透過率と、図4を参照して説明した現実の撮像デバイスの分光特性に対応する分光透過率とを行列要素:m00~m33によって関係付けた関係式式5を、最小二乗法を適用して解くことで算出する。ただし、最小二乗法を解くためには十分に小さな波長幅で離散化する必要がある。3-2-3.コントラスト強調部の処理について次に、図5に示すコントラスト強調部204の詳細について説明する。コントラスト強調部204は、分光補正部203より出力されたIR画像に対して、非可視光成分の強調処理を実行して可視光成分を抑制したIR画像206を生成して出力する。コントラスト強調部204の詳細なブロック図を図8に示す。図8に示すように、コントラスト強調部204は、大局輝度圧縮部403、エッジ強調部404、トーンカーブ適用部405を有する。以下、これらの各構成部の処理について、順次説明する。[大局輝度圧縮部について]まず、図8に示す大局輝度圧縮部403の実行する処理について説明する。大局輝度圧縮部403は、分光補正部203から入力する非可視光成分画像であるIR画像402を、大局輝度成分と、コントラスト成分と、に分離し、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。ここで、大局輝度成分はIR画像402にエッジ保存平滑化フィルタをかけた画像であり、コントラスト成分はIR画像402から大局輝度成分を引いた差分画像である。エッジ保存平滑化処理の一例としては、バイラテラルBilateralフィルタの適用処理があり、例えば、以下に示す式6に従って、平滑化処理後の画像IRsを生成することができる。式6上記式6において、dx,dyは局所領域を表す変数であり、σd、σrは平滑化の程度を調整するチューニングパラメータ、である。平滑化後のIR画像はIRsで表される。大局輝度成分の圧縮とコントラスト成分の強調処理は、上記の平滑化処理後の画像IRsを用いて、以下に示す式7を適用して実行され、大局輝度成分の圧縮とコントラスト成分の強調処理後の画像IRGLCが生成される。式7上記式7において、GainSupは、大局輝度成分の圧縮の程度を調整するチューニングパラメータ、GainEnhはコントラスト成分の強調の程度を調整するチューニングパラメータ、である。IRGLCは、大局輝度成分の圧縮とコントラスト成分の強調処理後の画像である。[エッジ強調部について]次に、図8に示すエッジ強調部404の実行する処理について説明する。エッジ強調部404は、大局輝度圧縮部403の生成した非可視光成分画像であるIR画像402に基づいて生成された、大局輝度成分圧縮とコントラスト成分強調処理が施されたIR画像IRGLCを入力して、このIR画像の高周波成分の強調処理を行う。まず、例えば、以下の式8に示されるハイパスフィルタを適用して高周波成分IRHの算出を行う。式8上記式8において、3×3の行列がハイパスフィルタに相当し、IRHは、IR画像IRGLCにハイパスフィルタを適用した結果としての高周波成分を表す。さらに、エッジ強調部404は、上記式8によって算出したIR画像IRGLCを入力して、このIR画像の高周波成分IRHの強調処理、すなわちエッジ強調処理を、以下の式9を適用して実行しエッジ強調IR画像IREEを生成する。式9上記式9において、GainHはエッジの強調の程度を調整するチューニングパラメータである。IREEは、エッジ強調後の非可視光成分画像IR画像を示す。[トーンカーブ適用部について]次に、図8に示すトーンカーブ適用部405の実行する処理について説明する。トーンカーブ適用部405は、エッジ強調部404の生成したエッジ強調後の非可視光成分画像IR画像、すなわち、上記式9によって算出される画像IREEを入力して、コントラスト強調を実行する。例えば、図9に示されるS字型のトーンカーブを用いてコントラスト強調を行う。図9において、横軸は、入力画素値=上記式9によって算出される画像IREEの画素値縦軸は、出力画素値=トーンカーブ適用部405における処理によって生成される画像の画素値である。なお、トーンカーブ適用部405は、図9に示すようなS字型のトーンカーブデータを固定形状のものとしてあらかじめメモリに用意しておいてもよいし、画像毎に適応的に作っても良い。例えば、適応的にS字型カーブを作る例として、シグモイド関数を用いた例がある。具体的には、例えば、以下に示す式10に示すシグモイド関数を用いコントラスト強調を実行することができる。式10なお、上記式10において、画素値は、[0,1]の範囲に存在するものとする。iは入力される画素値、jは出力される画素値、aはカーブの形状を調整するためのチューニングパラメータ、である。Minは入力画像における画素値を暗い画素値から明るい画素値へと順に並べた際に、暗い側から画素数の1程度の位置にある画素値を選べばよいし、Maxは明るい側から画素数の1程度の位置にある画素値を選べば良い。また、MinとMaxの位置でトーンカーブが極端に非連続にならないようにaを選ぶと良い。以上、説明した実施例に従えば、例えば図2に示すような可視光を透過する画素と非可視光を透過する画素領域を持つカラーフィルタ配列を用いた単板式カラー撮像素子によって撮像されたモザイク画像から十分な解像度とコントラストを持った非可視光成分画像IR画像を得ることができる。[4.画像処理シーケンスについて]次に、図1に示す撮像装置100のDSPブロック108において実行する処理シーケンスについて、図10に示すフローチャートを参照して説明する。図10に示すフローチャートの処理は、図1に示す撮像装置のDSPブロック108において実行される。例えば、DSPブロック108のCPU等の演算ユニットが、入力されル画像信号のストリームに対してメモリに格納されたプログラムに従って演算を順次実行することで処理が行われる。図10に示すフローの各ステップの処理について説明する。まず、ステップS101において、補間処理を実行する。これは、図5に示す補間部202の処理に対応する。補間部202は、モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する。補間部202は、DSPブロック108に入力するモザイク画像、すなわち、可視光成分画素と非可視光成分画素からなるモザイク画像の補間処理デモザイクにより、各画素に全ての色成分を設定した画像RGBIR画像を生成する。具体的には、先に図6を参照して説明したように、以下の処理によって、各画素に全ての色成分を設定した画像RGBIR画像を生成する。処理1輝度算出部303において、入力モザイク画像に基づいて、前述した式1を適用して輝度成分Yを算出する。処理2局所平均値算出部304において、入力モザイク画像に基づいて、前述した式2を適用して各色R,G,BIR対応の平均値mR,mG.mB,mIRを算出する。処理3色補間部305において、前述した式3を適用して、各画素位置対応の全ての色R,G,B,IRの画素値を算出する。これらの処理によって、モザイク画像に基づく補間処理デモザイク処理を実行して、各画素対応のすべての色R,G,B,IRの画素値を設定したRGBIR画像を生成する。次に、ステップS102において分光補正処理を実行する。これは、図5に示す分光補正部203の処理に対応する。分光補正部203は、分光補正部203は、補間部202が生成した補間画像である全画素に全ての色の画素値がそろったRGBIR画像を入力とし、それぞれの画素位置において存在する4色R,G,B,IRの画素値に対して別個に行列演算を行うことで、分光が補正された新たな4色の画素値を算出し、これらの分光特性補正画素値からなる分光特性補正画像を生成する。なお、分光補正部203の出力は可視光成分からなるRGB画像205と非可視光成分からなるIR画像に分けられる。分光補正部203は、先に説明した式4の行列演算を用いて分光の補正を行う。なお、式4に示す行列要素:m00~m33は、先に説明した理想の分光特性に対応する分光透過率と、現実の撮像デバイスの分光特性に対応する分光透過率とを行列要素:m00~m33によって関係付けた関係式式5を、最小二乗法を適用して解くことで算出する。次に、ステップS103において、非可視光成分画像に対するコントラスト強調処理を実行する。この処理は、図5に示すコントラスト強調部204の実行する処理である。コントラスト強調部204は、分光補正部203の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成する。すなわち、コントラスト強調部204は、ステップS102において、分光補正処理によって生成された分光補正された非可視光成分画像IR画像を入力し、非可視光成分の強調処理を実行して可視光成分を抑制したIR画像を生成する。具体的には、図8を参照して説明したように、以下の処理:処理1~処理3を実行して非可視光成分の強調処理を実行して可視光成分を抑制したIR画像を生成する。処理1大局輝度圧縮部403において、分光補正された非可視光成分画像IR画像を入力し、大局輝度成分と、コントラスト成分とに分離し、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。具体的には、前述の式6によるバイラテラルBilateralフィルタを適用したエッジ保存平滑化処理画像IRsの生成、さらに、前述の式7を適用した大局輝度成分の圧縮とコントラスト成分の強調処理後の画像IRGLCの生成処理が実行される。処理2図8に示すエッジ強調部404において、大局輝度成分圧縮とコントラスト成分強調処理が施されたIR画像IRGLCを入力して、高周波成分の強調処理を行う。具体的には、前述の式8により、IR画像IRGLCの高周波成分IRHの算出を行い、さらに、前述の式9を適用してエッジ強調IR画像IREEを生成する。処理3図8に示すトーンカーブ適用部405において、エッジ強調部404の生成したエッジ強調後の非可視光成分画像IR画像、すなわち、上記式9によって算出される画像IREEを入力して、コントラスト強調を実行する。例えば、図9に示されるS字型のトーンカーブを用いてコントラスト強調を行う。あるいは、前述した式10に従ったシグモイド関数を用いコントラスト強調を実行することができる。ステップS101~S102の処理によって、可視光成分画像RGB画像が生成され、ステップS101~S103の処理によって十分な解像度とコントラストを持った非可視光成分画像IR画像を得ることができる。なお、図10を参照して説明した処理は、図1に示すDSPブロック内において、予め図10に示す処理シーケンスを記述したプログラムを実行することで行うことが可能あるが、プログラムという形態以外にも、図5、図6、図8を参照して説明したブロックと同等の処理を実現するハードウェア回路によって実現することも可能である。[5.その他の実施例について]次に、上述した実施例の変形例について説明する。上述の実施例では、図6を参照して説明した補間部202の輝度算出部303において、輝度信号Yを算出する際に、前記の式1に従って、単に注目画素の画素位置x,yの近傍のR,G,B,IRの画素値の加算平均している。この輝度信号Y算出処理は、このような処理に限らず、例えば、エッジ方向を考慮した処理など、複雑な方法を用いる構成としてもよい。すなわち、エッジ方向を考慮して、注目画素の輝度により近い輝度を持つ近傍画素の輝度値に大きな重みを設定して輝度信号Yを算出するといった処理を実行してもよい。また、上述した実施例において、補間部202では、図7を参照して説明したように、注目画素の画素位置x,yからx,y各方向に半画素ずれた位置x0.5,y0.5の画素値を算出しているが、補間部で用いられているフィルタの係数を変えることで画素位置にずれを起こさないような設定としてもよい。また、前述の実施例では、図5に示すコントラスト強調部204の処理として、図8を参照して説明したように、大局輝度圧縮部403、エッジ強調部404、トーンカーブ適用部405、これらコントラスト強調のために3つの異なる手法を用いているが、これは一例に過ぎない。異なる適用順序であっても構わないし、これら3つ以外の手法を用いても良い。また、エッジ強調部ではノイズの強調を抑えるために、大局輝度圧縮部403の生成画像IRHに対してコアリング処理を適用してもよい。また1帯域のハイパスフィルタのみを用いるのではなく、複数の異なる帯域のハイパスフィルタを用いるようにしてもよい。また、前記の実施例では、トーンカーブ適用部405において、トーンカーブとして図9に示したような単純なS字型のカーブを用いているが、より複雑な形状のトーンカーブを用いてもよい。[6.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。1主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置。2前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する前記1に記載の画像処理装置。3前記分光補正部は、分光特性補正行列Mを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する前記2に記載の画像処理装置。4前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Aと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Bと、前記分光特性補正行列Mとの積MBとの差分を小さくする行列Mを算出して、前記行列演算を実行する前記3に記載の画像処理装置。5前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する前記1~4いずれかに記載の画像処理装置。6前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する前記1~5いずれかに記載の画像処理装置。7前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う前記1~6いずれかに記載の画像処理装置。8主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置。さらに、前記2~7に記載の構成を有する撮像装置。さらに、上記した装置やシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"