(57)【要約】【課題】高精度な画像処理を可能にすることができるようにする。【解決手段】画像処理装置は、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する。本技術は、例えば、ビューイング用途やセンシング用途の画像を処理する画像処理装置に適用することができる。【選択図】図３
2017126954.tif 000002
【特許請求の範囲】
【請求項１】
非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える
画像処理装置。
【請求項２】
投光される光の投光波長は、前記被写体を撮像する撮像素子の各色フィルタの非可視光側の分光特性に応じた波長帯からなる
請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記信号処理部は、
前記高解像度画像からエッジ情報を抽出し、
前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
前記色画像から非可視光の成分を除去し、
非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
ことで、前記出力画像を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
請求項５に記載の画像処理装置。
【請求項７】
前記信号処理部は、
前記高解像度画像を用いて、前記色画像で生じる折り返りの量を推定し、
推定された折り返りの量に応じて、前記色画像で生じている折り返りを相殺する
ことで、偽色の発生を抑制する
請求項６に記載の画像処理装置。
【請求項８】
前記画像生成部は、同時に処理すべき前記投光画像と前記非投光画像との位置ずれを補正した後に、前記投光画像の分光成分と、前記非投光画像の分光成分との差分により得られる差分画像に応じた前記高解像度画像を生成する
請求項３に記載の画像処理装置。
【請求項９】
前記画像生成部は、前記差分画像を処理して、前記色フィルタごとの分光特性のずれを補正する
請求項８に記載の画像処理装置。
【請求項１０】
前記画像生成部は、前記色フィルタの分光特性のずれが補正された前記差分画像を処理して、前記差分画像に残ったパターン模様を除去する
請求項９に記載の画像処理装置。
【請求項１１】
前記投光画像又は前記非投光画像を保持して、同時に処理すべき前記投光画像と前記非投光画像との処理のタイミングを合わせるバッファをさらに備える
請求項８に記載の画像処理装置。
【請求項１２】
前記可視光は、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）の成分の光を含み、
前記非可視光は、赤外光である
請求項１に記載の画像処理装置。
【請求項１３】
前記出力画像は、ビューイング用のカラー画像である
請求項４に記載の画像処理装置。
【請求項１４】
前記高解像度画像は、センシング用の白黒画像である
請求項１に記載の画像処理装置。
【請求項１５】
画像処理装置の画像処理方法において、
前記画像処理装置が、
非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する
ステップを含む画像処理方法。
【請求項１６】
各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、
前記色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光を前記被写体に投光する投光部と、
前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部と
を備える撮像装置。
【請求項１７】
前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
請求項１６に記載の撮像装置。
【請求項１８】
生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
請求項１７に記載の撮像装置。
【請求項１９】
前記信号処理部は、
前記高解像度画像からエッジ情報を抽出し、
前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
前記色画像から非可視光の成分を除去し、
非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
ことで、前記出力画像を生成する
請求項１８に記載の撮像装置。
【請求項２０】
前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
請求項１９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、撮像装置に関し、特に、高精度な画像処理を可能にすることができるようにした画像処理装置、画像処理方法、及び、撮像装置に関する。
【背景技術】
【０００２】
従来より、可視光による画像信号だけでなく、赤外光による画像信号を用いて画像処理を行う手法が提案されている（例えば、特許文献１参照）。
【０００３】
ここで、画像処理の分野では、実際には存在しない色が再現される偽色が知られている。特許文献１に提案されている手法においても、その原理上、偽色が発生することを避けることはできない。また、画像処理によっては、処理した画像に、実際とは異なる模様が現れるアーチファクトが発生する場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２３３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、偽色やアーチファクトが発生すると、その画像を見たユーザに対して、不快感を与えてしまうほか、近年開発の進んでいるセンシング用途では、センシング性能の低下の要因となることが想定される。そのため、偽色やアーチファクト等の発生を抑制するための高精度な画像処理を可能にするための技術が求められていた。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、高精度な画像処理を可能にすることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える画像処理装置である。
【０００８】
本技術の第１の側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、本技術の第１の側面の画像処理方法は、上述した本技術の第１の側面の画素処理装置に対応する画像処理方法である。
【０００９】
本技術の第１の側面の画像処理装置及び画像処理方法においては、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像が生成される。
【００１０】
本技術の第２の側面の撮像装置は、各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、前記色フィルタの非可視光側の分光特性に応じた投光波長の光を前記被写体に投光する投光部と、前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部とを備える撮像装置である。
【００１１】
本技術の第２の側面の撮像装置においては、被写体が撮像され、撮像素子の各色の非可視光側の分光特性が揃っている色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光が前記被写体に投光され、前記投光波長の光が前記被写体に投光されることで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像が生成される。
【００１２】
本技術の第２の側面の撮像装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【発明の効果】
【００１３】
本技術の第１の側面及び第２の側面によれば、高精度な画像処理を可能にすることができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】偽色の例を示す図である。
【図２】アーチファクトの例を示す図である。
【図３】本技術を適用した撮像装置の一実施の形態の構成を示す図である。
【図４】投光器により投光される光の投光波長の例を示す図である。
【図５】投光器により投光される光の投光タイミングを示すタイミングチャートである。
【図６】撮像素子の色フィルタ配列の例を示す図である。
【図７】撮像素子の色フィルタの分光特性の例を示す図である。
【図８】フル解像度画像生成部の第１の構成例を示す図である。
【図９】差分処理の概要を示す図である。
【図１０】色フィルタ別感度ずれ補正処理の概要を示す図である。
【図１１】フル解像度画像生成部の第２の構成例を示す図である。
【図１２】フル解像度画像生成部の第３の構成例を示す図である。
【図１３】従来の信号処理部の構成を示す図である。
【図１４】図１３の輝度生成部による輝度生成方法を示す図である。
【図１５】本技術の信号処理部の構成を示す図である。
【図１６】本技術の画像処理の流れを説明するフローチャートである。
【図１７】図１６のフル解像度画像生成処理の流れを説明するフローチャートである。
【図１８】フル解像度画像におけるアーチファクト除去の例を示す図である。
【図１９】フル解像度画像におけるアーチファクト除去の例を示す図である。
【図２０】図１６の信号処理の流れを説明するフローチャートである。
【図２１】撮像装置の第１の他の構成例を示す図である。
【図２２】撮像装置の第２の他の構成例を示す図である。
【図２３】撮像装置の第３の他の構成例を示す図である。
【図２４】撮像装置の第４の他の構成例を示す図である。
【図２５】撮像装置の第５の他の構成例を示す図である。
【図２６】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００１７】
１．偽色とアーチファクトの原理
２．システムの構成
（１）全体の構成
（２）投光器１０２の投光の動作
（３）撮像素子１０３の詳細な構成
（４）フル解像度画像生成部１０５の詳細な構成
（５）信号処理部１０６の詳細な構成
３．処理の流れ
４．変形例
５．コンピュータの構成
【００１８】
＜１．偽色とアーチファクトの原理＞
【００１９】
上述したように、所定の画像処理が施された画像に、実際には存在しない色が再現される偽色が発生する場合がある。図１は、偽色の例を示す図である。図１においては、枠Ａ，枠Ｂ，及び枠Ｃで囲まれた領域内に、実際には存在しない色が再現されている。
【００２０】
また、画像処理によっては、処理した画像に、実際とは異なる模様が現れるアーチファクトが発生する場合がある。図２は、アーチファクトの例を示す図である。図２においては、枠Ａで囲まれた領域内に、実際とは異なる模様が現れている。
【００２１】
このような偽色やアーチファクトが発生すると、その画像を見たユーザに対して、不快感を与えるほか、近年開発の進んでいるセンシング用途では、センシング性能の低下の要因となるため、偽色やアーチファクトの発生を抑制する必要がある。
【００２２】
そこで、本技術では、図１に示した偽色や、図２に示したアーチファクトの発生を抑制するための高精度な画像処理の手法を提案する。以下、本技術による偽色やアーチファクトの発生を抑制するための画像処理の手法について説明する。
【００２３】
＜２．システムの構成＞
【００２４】
（１）全体の構成
【００２５】
（撮像装置の構成例）
図３は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。
【００２６】
撮像装置１０は、例えば、デジタルスチルカメラやデジタルビデオカメラ、スマートフォン、携帯電話機、タブレット端末装置などの撮像機能を有する電子機器である。
【００２７】
図３において、撮像装置１０は、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。また、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６により、画像処理部１００が構成される。
【００２８】
制御部１０１は、撮像装置１０の各部の動作を制御する。また、制御部１０１は、投光器１０２による投光の動作と、撮像素子１０３による撮像の動作とを同期させるための同期信号を生成し、投光器１０２及び撮像素子１０３にそれぞれ出力する。
【００２９】
投光器１０２は、制御部１０１からの同期信号に従い、撮像素子１０３と同期して、各色フィルタの非可視光側の分光特性の揃っている波長（以下、投光波長という）帯の光を明滅投光する。この投光波長は、例えば、赤外光（IR光）の波長など、可視光とは別の波長帯（非可視光の波長帯）かならる。なお、投光器１０２による投光の動作の詳細については、図４及び図５を参照して後述する。
【００３０】
撮像素子１０３は、被写体から反射した光（反射光）を受光し、その光を電気信号に変換して、画像信号を生成する。撮像素子１０３としては、例えば、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサを用いることができる。
【００３１】
この撮像素子１０３には、二次元格子状に配列される複数の画素に対応して、各色の色フィルタ１１１が設けられている。例えば、色フィルタ１１１には、Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）及びＷ（White：白）の各色の色フィルタが二次元状に配列されている。撮像素子１０３においては、この色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じたＲ画素、Ｇ画素、Ｂ画素及びＷ画素が、二次元格子状に配列されることになる。
【００３２】
撮像素子１０３においては、これらの画素のそれぞれで光電変換したアナログの電気信号を、A/D(Analog to Digital)変換して、画素ごとにデジタル信号を画素信号として生成し、これらの画素信号を含む画像信号を生成する。
【００３３】
また、撮像素子１０３は、制御部１０１からの同期信号に従い、投光器１０２と同期して、撮像の動作を行う。ここで、投光器１０２は、非可視光の波長帯の光（例えば赤外光）を明滅投光しているので、撮像素子１０３では、投光器１０２が点灯しているときに得られる画像（以下、投光画像という）と、投光器１０２が消灯しているときに得られる画像（以下、非投光画像という）の画像信号が生成される。
【００３４】
撮像素子１０３においては、制御部１０１からの同期信号に従い、投光画像と非投光画像（の画像信号）が交互に生成され、順次、画像処理部１００（の遅延調整バッファ１０４）に出力される。なお、撮像素子１０３の詳細な構成については、図６及び図７を参照して後述する。
【００３５】
また、撮像素子１０３においては、非可視光の波長帯域の光（例えば赤外光）に応じた画像信号を生成する必要があるため、通常のカメラで設けられている非可視光の波長帯域の光をカットするフィルタ（例えばIRカットフィルタ）を設ける必要はない。
【００３６】
画像処理部１００において、遅延調整バッファ１０４には、撮像素子１０３により生成された投光画像と非投光画像（の画像信号）が、順次書き込まれる。遅延調整バッファ１０４は、そこに書き込まれた投光画像と非投光画像の少なくとも一方を保持することで、同時に処理すべき投光画像と非投光画像の処理のタイミングを合わせる。
【００３７】
このようにしてタイミングが合わされた投光画像と非投光画像は、後段のフル解像度画像生成部１０５により同時に読み出される。また、同時に読み出される投光画像と非投光画像のうち、非投光画像が、信号処理部１０６に供給される。ただし、後述するように、非投光画像の代わりに、投光画像が、信号処理部１０６に供給されるようにしてもよい。
【００３８】
フル解像度画像生成部１０５は、遅延調整バッファ１０４から同時に読み出した投光画像と非投光画像を処理して、可視光の波長帯域の分光成分から得られる被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度の画像（以下、フル解像度画像という）を生成し、信号処理部１０６に供給する。
【００３９】
ここで、フル解像度画像生成部１０５においては、例えば、投光画像（の分光成分）と非投光画像（の分光成分）との差分をとることで、投光成分のみの画像が得られるので、この画像を、フル解像度画像とすることができる。すなわち、投光画像と非投光画像は、投光器１０２が、非可視光の波長帯域（例えば赤外光の帯域）で、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性の揃っている波長帯を投光波長として、光を明滅投光することで得られる画像であるため、フル解像度画像は、色フィルタ１１１における全ての色のフィルタを通過した光（赤外光）から得られる画素信号によって生成されることになる。
【００４０】
そして、このようにして生成されるフル解像度画像は、各色フィルタの色成分ごとの画像（例えば、Ｒ，Ｇ，Ｂ，Ｗの画素信号に応じた画像）と比べて、解像度の高い画像となる。なお、フル解像度画像生成部１０５の詳細な構成については、図８乃至図１２を参照して後述する。
【００４１】
信号処理部１０６には、遅延調整バッファ１０４から読み出される非投光画像と、フル解像度画像生成部１０５から出力されるフル解像度画像が同時に入力される。ここでは、フル解像度画像を生成するために用いられた非投光画像が、当該フル解像度画像と同時に入力されることになる。
【００４２】
信号処理部１０６は、フル解像度画像に基づいて、非投光画像を処理して、出力画像を生成し、後段の回路（不図示）に出力する。例えば、出力画像は、ビューイング用途の（高解像度化された）カラー画像とすることができる。
【００４３】
ここで、信号処理部１０６においては、非投光画像から得られる輝度画像（輝度信号）ではなく、フル解像度画像を用いることで、アーチファクトの発生を抑制することができる。また、信号処理部１０６では、フル解像度画像を用いて、非投光画像から得られる色画像に対する偽色の発生を抑制するための処理が行われる。したがって、信号処理部１０６から出力される出力画像は、偽色やアーチファクトの発生が抑制された画像となる。なお、信号処理部１０６の詳細な構成については、図１３乃至図１５を参照して後述する。
【００４４】
撮像装置１０は、以上のように構成される。
【００４５】
なお、図３の構成では、画像処理部１００が、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成されるとして説明したが、画像処理部１００を別装置として捉えるようにしてもよい。すなわち、画像処理部１００は、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６を有する画像処理装置とすることができる。ただし、この画像処理装置において、遅延調整バッファ１０４は必須ではなく、フル解像度画像生成部１０５に、同時に処理すべき投光画像と非投光画像が、所定のタイミングで入力されればよい。
【００４６】
次に、図４乃至図１５を参照して、図３の撮像装置１０を構成する各部の詳細な処理内容について説明する。
【００４７】
（２）投光器１０２の投光の動作
【００４８】
まず、図４及び図５を参照して、図３の投光器１０２による投光の動作について説明する。
【００４９】
（投光波長の例）
図４は、投光器１０２により投光される光（赤外光）の投光波長の例を示す図である。図４において、横軸は波長λ(ｎｍ)を表しており、図中の左側から右側に向かうにつれて、その値が大きくなる。また、縦軸は、撮像素子１０３の色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光透過率（％）（分光特性）を表している。
【００５０】
図４において、色フィルタ１１１のうち、Ｂフィルタは、短波長側の光を透過させる。ここで、短波長は、例えば、450〜500ｎｍや400〜500ｎｍ等の波長帯を表している。また、色フィルタ１１１のうち、Ｇフィルタは、中波長の光を透過させる。ここで、中波長は、例えば500〜600ｎｍ等の波長帯を表している。さらに、色フィルタ１１１のうち、Ｒフィルタは、長波長側の光を透過させる。ここで、長波長は、例えば、600〜650ｎｍや550〜650ｎｍなどの波長帯を表している。
【００５１】
また、色フィルタ１１１のうち、Ｗフィルタは、380〜650ｎｍ等の波長帯の光（可視光）を透過させる。一方で、色フィルタ１１１の各色のフィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）は、非可視光側、すなわち、可視光よりも波長の長い赤外光の850ｎｍ近辺での分光特性が類似している（図中の四角の枠Ａ）。すなわち、色フィルタ１１１においては、可視光以外の帯域（赤外光の帯域）で、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタの分光特性が揃っている。
【００５２】
投光器１０２は、このような色フィルタ１１１の各色フィルタの分光特性に合わせて、投光波長として850ｎｍ近辺の波長帯の赤外光が投光されるようにする。例えば、投光器１０２は、非可視光の波長帯域の光を透過するフィルタ（例えばIRバンドパスフィルタ）により、分光特性が揃っている波長帯を生成し、さらに、その波長帯に絞った赤外光を投光することができる。なお、単に、フル解像度画像を得るだけの目的であれば、IRバンドパスフィルタは不要で、単に分光特性が揃っている波長に限定した光を投光すればよい。
【００５３】
（投光タイミングの例）
図５は、投光器１０２により投光される光（赤外光）の投光タイミングを示すタイミングチャートである。なお、図５において、時間の方向は、図中の左側から右側に向かう方向とされる。
【００５４】
図５には、図５Ａ乃至図５Ｃのタイミングチャートによって、３種類の投光タイミングを例示している。ただし、投光器１０２による投光のタイミングと、撮像素子１０３の露光のタイミングは、制御部１０１からの同期信号によって、同期しているものとする。
【００５５】
撮像素子１０３においては、時刻t1乃至時刻t5や、時刻t5乃至時刻t9などの1/30秒（33.3ミリ秒）の期間ごとに、露光期間と（電荷の）読み出し期間とが繰り返される。一方で、投光器１０２は、撮像素子１０３の露光のタイミングに一致するように、赤外光（投光波長の波長帯の光）を投光（明滅投光）する。
【００５６】
したがって、図５Ａ乃至図５Ｃのタイミングチャートにおいて、露光期間が、図中の白い部分（濃淡が付けられていない部分）で表され、読み出し期間が、図中の濃淡の部分で表されるとすれば、投光器１０２が赤外光を投光する期間（図中の「IR投光」に対応する斜線の領域）は、露光期間内に行われることになる。
【００５７】
このように、露光期間内に、赤外光を投光（明滅投光）することで、投光器１０２が点灯しているときの被写体と、投光器１０２が消灯しているときの被写体とが交互に撮像されることになる。ここで、投光器１０２の点灯（オン）と消灯（オフ）のタイムラグは可能な限り小さいほうが好ましいが、例えば、1/30秒（33.3ミリ秒）の間に、高速に、投光器１０２の点灯と消灯を行い、それぞれのタイミングで得られる信号を、異なるメモリ部（バッファ）に加算蓄積することにより、投光器１０２の点灯と消灯のタイムラグを微小に抑えることができる。
【００５８】
なお、複数の画素が二次元状に配列された撮像素子１０３においては、全画素同時に露光を開始し、全画素同時に露光を終了し、フォトダイオードに蓄積された電荷を、メモリ部や浮遊拡散領域へ順次転送することで、いわゆるグローバル露光が実現される。このグローバル露光により、全画素一致した露光期間による撮像が可能となって、いわゆるフォーカルプレーン歪みの発生を抑制することができる。
【００５９】
以上のように、投光器１０２による投光のタイミングと、撮像素子１０３による露光のタイミングとが同期することで、撮像素子１０３により、投光器１０２が点灯しているときに得られる投光画像（の画像信号）と、投光器１０２が消灯しているときに得られる非投光画像（の画像信号）とが交互に生成されることになる。
【００６０】
なお、図５のタイミングチャートに示した投光器１０２による投光のタイミングは一例であって、他のタイミングで、投光器１０２から赤外光が投光されるようにしてもよい。
【００６１】
（３）撮像素子１０３の詳細な構成
【００６２】
次に、図６及び図７を参照して、図３の撮像素子１０３のより詳細な構成について説明する。
【００６３】
（色フィルタの配列の例）
図６は、撮像素子１０３の色フィルタ１１１の各色フィルタの配列の例を示す図である。
【００６４】
色フィルタ１１１は、図６Ａ乃至図６Ｇに示すように、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタを少なくとも含み、さらにＷフィルタ又はIRフィルタを含めることも可能で、それらのフィルタが所定の規則に従い配列されている。なお、本実施の形態においては、色フィルタ１１１として、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタが配列されている場合を中心に説明している。
【００６５】
（Ａ）第１の色配列
図６Ａの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ及びＧフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。
【００６６】
ここで、図７の各色フィルタ１１１の分光特性に示すように、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）では、各色成分の光が透過されるだけでなく、投光器１０２から投光される赤外光も透過されることになる。すなわち、上述したように、投光器１０２では、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性（図７）に合わせて、例えば850ｎｍ近辺の波長帯の赤外光が投光されるため、撮像素子１０３では、分光特性が揃っている各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）によって、投光器１０２からの赤外光を透過することが可能となる。
【００６７】
これにより、図６Ａの色フィルタ１１１において、Ｒフィルタを透過した光（赤色光と赤外光）から、ＲとIRの画素信号を得ることができる（図中の「R+IR」）。同様に、Ｇフィルタを透過した光（緑色光と赤外光）から、ＧとIRの画素信号を得ることができる（図中の「G+IR」）。
【００６８】
また、Ｂフィルタを透過した光（青色光と赤外光）から、ＢとIRの画素信号を得ることができる（図中の「B+IR」）。同様に、Ｗフィルタを透過した光（白色光と赤外光）から、ＷとIRの画素信号を得ることができる（図中の「W+IR」）。
【００６９】
このように、色フィルタ１１１として、図６Ａの配列を採用することで、撮像素子１０３では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じた画素から得られる各色成分（可視光の波長帯域の分光成分）の画素信号とともに、全ての画素から得られる赤外光の成分（非可視光の波長帯域の分光成分）の画素信号を生成することが可能となる。そして、この赤外光の成分の画素信号は、撮像素子１０３にて二次元状に配列された全ての画素から得られる画素信号であるため、この画素信号を含んで生成される画像信号は、高い解像度の画像とされる。
【００７０】
（Ｂ）第２の色配列
図６Ｂの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタからなる第１の行と、Ｇフィルタ及びIRフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。
【００７１】
図６Ｂの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。ただし、IRフィルタでは、可視光は遮断され、投光器１０２からの赤外光のみが透過される。したがって、図６Ｂの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
【００７２】
（Ｃ）第３の色配列
図６Ｃの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ、IRフィルタ、及び、Ｇフィルタからなる第２の行とが、交互に配列されている。また、図６Ｃの色フィルタ１１１において、第１の行では、ＲフィルタとＢフィルタとが交互に配列され、かつ、第２の行では、IRフィルタとＧフィルタとが交互に配列されている。
【００７３】
図６Ｃの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６Ｃの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
【００７４】
（Ｄ）第４の色配列
図６Ｄの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ及びＧフィルタからなる第２の行とが、交互に配列されている。また、図６Ｄの色フィルタ１１１において、第１の行では、ＲフィルタとＢフィルタとが交互に配列され、かつ、第２の行では、ＷフィルタとＧフィルタとが交互に配列されている。
【００７５】
図６Ｄの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６Ｄの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
【００７６】
（Ｅ）第５の色配列
図６Ｅの色フィルタ１１１においては、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタからなる第１の行と、全てがＧフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。
【００７７】
図６Ｅの色フィルタ１１１においては、第１の色配列（図６Ａ）の場合と同様に、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６Ｅの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
【００７８】
以上のように、撮像素子１０３においては、例えば、上述した第１の色配列乃至第５の色配列のいずれかの色配列を有する色フィルタ１１１を設けることで、色フィルタ１１１の各色に応じた画素から得られる各色成分（可視光の波長帯域の分光成分）の画素信号とともに、全ての画素から得られる赤外光の成分（非可視光の波長帯域の分光成分）の画素信号を生成することが可能となる。このとき、赤外光の成分の画素信号を含んで生成される画像信号は、高い解像度の画像とされる。
【００７９】
なお、上述した第１の色配列乃至第５の色配列で示した色配列は一例であって、色フィルタ１１１では、他の色配列を採用するようにしてもよい。ただし、色フィルタ１１１においては、各色のフィルタの可視光以外の帯域（赤外光の帯域）で、分光特性が揃っていることが（必須の）要件となるが、それ以外は、各色のフィルタの配列に、アルゴリズム上の制限はない。
【００８０】
（４）フル解像度画像生成部１０５の詳細な構成
【００８１】
次に、図８乃至図１２を参照して、図３のフル解像度画像生成部１０５の詳細な構成について説明する。ここでは、フル解像度画像を生成するフル解像度画像生成部１０５の一例として、フル解像度画像生成部１０５Ａ乃至１０５Ｃの構成を説明する。
【００８２】
（Ａ）第１の構成
図８は、フル解像度画像生成部１０５Ａの構成例を示す図である。
【００８３】
図８において、フル解像度画像生成部１０５Ａは、差分処理部１２１及び色フィルタ別感度ずれ補正部１２２から構成される。
【００８４】
フル解像度画像生成部１０５Ａにおいては、同時に処理すべき投光画像と非投光画像が、遅延調整バッファ１０４（図３）から読み出され、差分処理部１２１に入力される。差分処理部１２１は、投光画像（の分光成分）と、非投光画像（の分光成分）との差分を求めることで、環境光の影響を取り除いた投光画像（以下、ピュア投光画像という）を生成し、色フィルタ別感度ずれ補正部１２２に供給する。
【００８５】
ここで、図９Ａに示すように、投光画像は、撮像素子１０３（図３）の色フィルタ１１１のＲフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタにより透過される可視光側の各色成分の光（可視光の波長帯域の分光成分）から得られる画素信号と、非可視光側の赤外光（非可視光の波長帯域の分光成分）から得られる画素信号を用いて生成されることになる。また、非可視光側の赤外光には、投光器１０２から投光された赤外光の成分（図中の「投光IR」）だけでなく、環境光に含まれる赤外光の成分（図中の「環境IR」）が含まれている。
【００８６】
一方で、図９Ｂに示すように、非投光画像は、色フィルタ１１１のＲフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタにより透過される可視光側の各色成分の光から得られる画素信号と、非可視光側の赤外光から得られる画素信号を用いて生成されるが、投光器１０２からの赤外光が投光されていないため、非可視光側の赤外光には、環境光に含まれる赤外光の成分（図中の「環境IR」）のみが含まれることになる。
【００８７】
そして、図９Ａの投光画像（の分光成分）と、図９Ｂの非投光画像（の分光成分）との差分を求めれば、図９Ｃに示すように、ピュア投光画像（の分光成分）において、可視光側の各色成分の光は、打ち消される一方で、非可視光側の赤外光は、環境光に含まれる赤外光の成分が取り除かれて、投光器１０２から投光された赤外光の成分（図中の「投光IR」）のみからなる。
【００８８】
このように、差分処理を行うことで、環境光の影響を取り除くことができるが、これは、後段の色フィルタ別感度ずれ補正部１２２により実行される色フィルタ別感度ずれ補正処理において、環境光が、アーチファクトとして現れる場合があるため、このアーチファクトを除去することなどを目的としている。
【００８９】
図８の説明に戻り、色フィルタ別感度ずれ補正部１２２は、差分処理部１２１から供給されるピュア投光画像に対して、色フィルタ別感度ずれ補正処理を行う。色フィルタ別感度ずれ補正部１２２は、色フィルタ別感度ずれ補正処理の結果得られる画像を、フル解像度画像として、信号処理部１０６（図３）に出力する。
【００９０】
この色フィルタ別感度ずれ補正処理では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じた各色成分の画素ごとの感度のずれを除去するために、色フィルタごとのゲイン処理が行われる。例えば、上述した図９Ｃのピュア投光画像（の分光成分）においては、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタの分光特性がずれている場合があるので、これらの色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれを、色フィルタ別ゲイン処理により補正することになる。すなわち、当該色フィルタ別ゲイン処理を実行することで、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性を、同一（又は許容範囲内）の分光特性に合わせこむことができる。
【００９１】
例えば、図１０に示すように、色フィルタ別感度ずれ補正部１２２では、図１０Ａのピュア投光画像に対して、色フィルタ別感度ずれ補正処理の一例である色フィルタ別ゲイン処理を施すことで、図１０Ｂのピュア投光画像が得られる。図１０Ｂのピュア投光画像は、図１０Ａのピュア投光画像と比べて、色フィルタ別ゲイン処理により、色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）ごとの微妙な感度比が補償された画像となる。
【００９２】
以上のように、フル解像度画像生成部１０５Ａにおいては、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、さらに、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれが補正されることで、フル解像度画像が生成される。
【００９３】
なお、差分処理部１２１により差分処理が実行されることで、環境光の影響を取り除き、ひいては、アーチファクトを除去することが可能となるが、例えば、環境光に対して、投光器１０２により投光される光（赤外光）が十分に明るいことが、ユースケース上担保できるのであれば、当該差分処理は不要となる。
【００９４】
ただし、通常、可視光以外の波長の光の投光を用いた光彩認証などのアプリケーションは、環境光が強力な屋外などで環境光の影響を受けて正しく動作できなくなるが、この差分処理を実行すれば、環境光が大きい場合でも、その影響を除去でき、環境光の影響を受けることなく、適切な動作を行うことができる。また、例えば、比較的画質を重視するアプリケーションを用いる場合などにおいては、環境光が強いときに、アーチファクトが生じるリスクは回避せざるをえないという事情があるため、当該差分処理を実行することが望ましい。
【００９５】
また、色フィルタ別感度ずれ補正部１２２により色フィルタ別感度ずれ補正処理が実行されることで、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれを補正することが可能となるが、例えば、色フィルタ１１１の各色フィルタの感度がずれていない理想的な状況を想定すれば、当然に当該補正処理は不要となる。ここで、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度がずれないようにするためには、例えば、色フィルタ１１１の材料を限定することが想定されるが、利用可能なアプリケーションの範囲を極端に狭めないようにするために、色フィルタ１１１の材料を限定しない場合には、当該補正処理を実行することが望ましい。
【００９６】
（Ｂ）第２の構成
図１１は、フル解像度画像生成部１０５Ｂの構成例を示す図である。
【００９７】
図１１において、フル解像度画像生成部１０５Ｂは、差分処理部１２１、色フィルタ別感度ずれ補正部１２２、及び、残パターン除去フィルタ１２３から構成される。なお、図１１のフル解像度画像生成部１０５Ｂにおいて、図８のフル解像度画像生成部１０５Ａと同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【００９８】
すなわち、図１１のフル解像度画像生成部１０５Ｂにおいては、図８のフル解像度画像生成部１０５Ａと比べて、色フィルタ別感度ずれ補正部１２２の後段に、残パターン除去フィルタ１２３が、新たに設けられている。
【００９９】
この残パターン除去フィルタ１２３には、色フィルタ別感度ずれ補正部１２２から、色フィルタ別感度ずれ補正処理が施されたピュア投光画像が入力される。残パターン除去フィルタ１２３は、色フィルタ別感度ずれ補正後のピュア投光画像に対して、（わずかに）残ったパターン模様を除去するための残パターン除去処理をさらに実行する。
【０１００】
この残パターン除去処理では、色フィルタ別感度ずれ補正後のピュア投光画像に対して、例えば、高周波の成分を失わないように、エッジ方向に応じた狭い範囲（例えば３タップ程度）のフィルタをかけることで、（わずかに）残ったパターンが除去されることになる。
【０１０１】
以上のように、フル解像度画像生成部１０５Ｂにおいては、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタの感度のずれが補正され、さらに、残パターン除去処理により、色フィルタ別感度ずれ補正後のピュア投光画像にわずかに残るパターン模様が除去されることで、フル解像度画像が生成される。
【０１０２】
なお、さらに画質に強いこだわりがあるアプリケーションを用いる場合などにおいては、上述した色フィルタ別感度ずれ補正処理に加えて、この残パターン除去処理を実行することが望ましい。
【０１０３】
（Ｃ）第３の構成
図１２は、フル解像度画像生成部１０５Ｃの構成例を示す図である。
【０１０４】
図１２において、フル解像度画像生成部１０５Ｃは、差分処理部１２１、色フィルタ別感度ずれ補正部１２２、残パターン除去フィルタ１２３、及び、位置ずれ補正処理部１２４から構成される。なお、図１２のフル解像度画像生成部１０５Ｃにおいて、図１１のフル解像度画像生成部１０５Ｂと同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１０５】
すなわち、図１２のフル解像度画像生成部１０５Ｃにおいては、図１１のフル解像度画像生成部１０５Ｂと比べて、差分処理部１２１の前段に、位置ずれ補正処理部１２４が、新たに設けられている。
【０１０６】
フル解像度画像生成部１０５Ｃにおいては、同時に処理すべき投光画像と非投光画像が、遅延調整バッファ１０４（図３）から読み出され、位置ずれ補正処理部１２４に入力される。位置ずれ補正処理部１２４は、遅延調整バッファ１０４から読み出された投光画像と非投光画像との位置ずれを補正し、差分処理部１２１に供給する。
【０１０７】
この位置ずれ補正処理では、例えば、投光画像及び非投光画像に対して、所定の領域からなるブロック単位でのマッチングを行い、対象のブロックごとに画像を変形することで動きを相殺する手法や、マッチングの結果を統合して画像全体のずれ量を算出して除去する手法などを用いることで、投光画像と非投光画像の位置ずれが補正されることになる。
【０１０８】
なお、このブロックマッチングで用いられるブロックの単位としては、公知の技術と比べて比較的限定した領域とすることができる。また、このブロックマッチングを用いた手法は、位置ずれ補正処理の一例であって、他の公知の技術を用いて、位置ずれ補正処理が行われるようにしてもよい。
【０１０９】
以上のように、フル解像度画像生成部１０５Ｃにおいては、位置ずれ補正処理により、投光画像と非投光画像の位置ずれが補正された後に、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタの感度のずれが補正され、さらに、残パターン除去処理により、色フィルタ別感度ずれ補正後のピュア投光画像にわずかに残るパターン模様が除去されることで、フル解像度画像が生成される。
【０１１０】
なお、位置ずれ補正処理部１２４により位置ずれ補正処理が実行されることで、投光画像と非投光画像との位置ずれを除去することが可能となるが、これは、位置ずれを無視できるほどの微小なタイムラグで、投光画像と非投光画像を取得するのが困難であるため、コストが許容される場合には、当該位置ずれ補正処理を実行することが望ましい。ただし、例えば、位置ずれを無視できるほどの微小なタイムラグで、投光画像と非投光画像を取得することができる場合などには、位置ずれ補正処理部１２４は、不要である。
【０１１１】
以上、図３のフル解像度画像生成部１０５として、フル解像度画像生成部１０５Ａ乃至１０５Ｃの構成を説明したが、これらの構成は一例であって、投光画像と非投光画像を用いて、フル解像度画像（白黒画像）を生成可能な構成であれば、上述した構成以外の他の構成を採用するようにしてもよい。
【０１１２】
（５）信号処理部１０６の詳細な構成
【０１１３】
次に、図１３乃至図１５を参照して、図３の信号処理部１０６の詳細な構成について説明する。なお、ここでは、比較のため、図１３及び図１４を参照して、従来の信号処理部１０６Ｐについて説明した後に、図１５を参照して、本技術の信号処理部１０６（図３）について説明する。
【０１１４】
（従来の構成）
図１３は、従来の信号処理部１０６Ｐの構成を示す図である。
【０１１５】
図１３において、信号処理部１０６Ｐは、輝度生成部１３１、エッジ抽出部１３２、各色同時化部１３３、環境IR除去部１３４、エッジ合成部１３５、及び、カメラ信号処理部１３６から構成される。
【０１１６】
信号処理部１０６Ｐにおいては、輝度画像（輝度信号）のエッジ成分を抽出するための上側のパスと、低周波成分となる色画像（画像信号）から、環境光に含まれる赤外光の成分（環境IR）を除去するための下側のパスとに分けられ、それぞれのパスに対して、前段から非投光画像が入力される。
【０１１７】
上側のパスには、輝度生成部１３１とエッジ抽出部１３２が含まれる。輝度生成部１３１は、非投光画像に基づいて、輝度画像（輝度信号）を生成し、エッジ抽出部１３２に供給する。
【０１１８】
ここで、図１４に示すように、撮像素子１０３においては、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）のうち、Ｗフィルタが市松模様状に配列されているものとする。この場合に、輝度生成部１３１は、Ｗフィルタに対応するＷ画素が存在する座標では、当該Ｗ画素から得られるＷ画素信号を用いる一方で、Ｗ画素が存在しない座標では、所定の補間処理を適用することで、Ｗ画素信号（輝度信号）を求める。
【０１１９】
例えば、図１４において、３×３画素のうち、中心のＧ画素に注目すれば、当該Ｇ画素の座標では、上下左右方向に配列されたＷ画素（ＷA画素、ＷB画素、ＷC画素、及び、ＷD画素）から得られるＷ画素信号を用いて、例えば、下記の式（１）を演算することで、当該Ｇ画素の座標のＷ画素信号（輝度信号）が求められる。
【０１２０】
Ｗ' ＝（ＷA＋ＷB＋ＷC＋ＷD）／４      ・・・（１）
【０１２１】
なお、上述した式（１）は、補間処理の一例であり、例えば、画質をより向上させるために、注目画素の周囲のＷ画素からエッジ方向に並ぶ２つの画素を選択して、その平均値を求める手法などを用いるようにしてもよい。
【０１２２】
また、ここでは、図１４に示した３×３画素の中心のＧ画素を一例に説明したが、Ｗ画素以外のＲ画素やＢ画素、他のＧ画素についても同様に、対象の画素の周辺のＷ画素のＷ画素信号を用いた所定の演算を行うことで、対象の画素に応じた座標のＷ画素信号（輝度信号）を求めることができる。このようにして生成される輝度画像（輝度信号）は、エッジ抽出部１３２に供給される。
【０１２３】
図１３の説明に戻り、エッジ抽出部１３２は、輝度生成部１３１から供給される輝度画像（輝度信号）に対して、ハイパスフィルタ処理を施すことで高周波成分のエッジを抽出し、そのエッジ抽出結果（エッジ情報）を、エッジ合成部１３５に供給する。
【０１２４】
一方で、下側のパスには、各色同時化部１３３と環境IR除去部１３４が含まれる。各色同時化部１３３は、非投光画像に基づいて、色フィルタ１１１の各色フィルタに対応する各色画素から得られる画素信号に対して、同色のみを用いたローパスフィルタ処理を施す。このローパスフィルタ処理で得られる、低周波成分の各色画像は、環境IR除去部１３４に供給される。
【０１２５】
環境IR除去部１３４は、各色同時化部１３３から供給される各色画像に対して、所定の演算（行列演算）を行うことで、各色画像から、環境光に含まれる赤外光の成分（環境IR）を除去する。赤外光の成分が除去された各色画像は、エッジ合成部１３５に供給される。
【０１２６】
エッジ合成部１３５には、エッジ抽出部１３２からのエッジ情報と、環境IR除去部１３４からの（赤外光の成分が除去された）各色画像が入力される。エッジ合成部１３５は、各色画像の色成分（低周波成分）に、エッジ情報を合成することで、高解像度化された高解像度化画像（画像信号）を生成し、カメラ信号処理部１３６に供給する。
【０１２７】
カメラ信号処理部１３６は、エッジ合成部１３５から供給される高解像度化画像（画像信号）に対して、一般的なカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などが行われる。そして、このカメラ信号処理を施すことで得られる出力画像は、後段の回路に出力される。
【０１２８】
従来の信号処理部１０６Ｐにおいては、以上のような信号処理が行われ、非投光画像から出力画像が生成されることになるが、輝度生成部１３１により輝度画像（輝度信号）が生成される際に、アーチファクトが発生する可能性がある。また、従来の信号処理部１０６Ｐにおいては、偽色を抑制するための処理が行われていないため、偽色が発生する可能性がある。一方で、本技術の信号処理部１０６では、偽色やアーチファクトの発生を抑制するための対策が施されている。次に、そのような対策が施された構成を有する本技術の信号処理部１０６について説明する。
【０１２９】
（本技術の構成）
図１５は、本技術の信号処理部１０６（図３）の構成を示す図である。
【０１３０】
図１５において、信号処理部１０６は、エッジ抽出部１４１、各色同時化部１４２、偽色抑制部１４３、非可視光成分除去部１４４、エッジ合成部１４５、及び、カメラ信号処理部１４６から構成される。
【０１３１】
信号処理部１０６においては、フル解像度画像生成部１０５から入力されるフル解像度画像のエッジ成分を抽出するための上側のパスと、非投光画像から得られる各色画像（画像信号）に対して、偽色を抑制する処理と、非可視光の成分を除去する処理を行うための下側のパスとに分けられる。
【０１３２】
上側のパスには、エッジ抽出部１４１が含まれる。エッジ抽出部１４１は、フル解像度画像に対して、ハイパスフィルタ処理を施すことで高周波成分のエッジを抽出し、そのエッジ抽出結果（エッジ情報）を、エッジ合成部１４５に供給する。
【０１３３】
ここで、上述した従来の信号処理部１０６Ｐ（図１３）では、輝度生成部１３１により輝度画像（輝度信号）が生成される際にアーチファクトが発生する可能性があるが、本技術の信号処理部１０６（図１５）においては、輝度画像（輝度信号）の代わりに、フル解像度画像生成部１０５から入力されるフル解像度画像を用いてエッジを抽出しているので、アーチファクトの発生を抑制することができる。
【０１３４】
一方で、下側のパスには、各色同時化部１４２、偽色抑制部１４３、及び、非可視光成分除去部１４４が含まれる。各色同時化部１４２は、遅延調整バッファ１０４から読み出される非投光画像に基づいて、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に対応する各色画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）から得られる画素信号（R+IR，G+IR，B+IR，W+IR）に対して、同色のみを用いたローパスフィルタ処理を施す。このローパスフィルタ処理で得られる、低周波成分の各色画像は、偽色抑制部１４３に供給される。
【０１３５】
偽色抑制部１４３には、各色同時化部１４２からの各色画像と、フル解像度画像生成部１０５（図３）からのフル解像度画像が入力される。偽色抑制部１４３は、フル解像度画像を用いて各色画像を処理することで、偽色の発生を抑制する偽色抑制処理を行う。
【０１３６】
ここで、偽色は、画素が間引かれることで、高周波成分が、低周波側に「折り返る」ことで発生するものである。したがって、各色画像では、「折り返り」が発生する場合がある。一方で、フル解像度画像は、全ての画素が揃っているため、「折り返り」が発生することはない。
【０１３７】
偽色抑制処理では、フル解像度画像と各色画像の模様が類似しているという仮定を前提して、フル解像度画像を各色画像と同じように間引いて、各色画像で発生している「折り返り」と同一の「折り返り」をわざと発生させて、その折り返りの量を計測（推定）する。そして、偽色抑制処理では、計測（推定）された折り返りの量に応じて、各色画像で発生している「折り返り」を相殺することで、偽色の発生を抑制することが可能となる。
【０１３８】
偽色抑制部１４３により処理された各色画像は、非可視光成分除去部１４４に供給される。非可視光成分除去部１４４は、各色画像における非可視光の成分を除去する非可視光成分除去処理を行う。この非可視光成分除去処理では、例えば、信号処理部１０６に、非投光画像が入力された場合、非可視光としては、環境光に含まれる赤外光があるので、各色画像に対して、所定の演算（行列演算）を行うことで、この環境光の赤外光の成分（環境IR）が除去される。非可視光成分除去処理によって非可視光の成分が除去された各色画像は、エッジ合成部１４５に供給される。
【０１３９】
なお、非可視光成分除去部１４４により非可視光成分除去処理を行い、各色画像における非可視光の成分を除去する理由であるが、次の通りである。すなわち、上述したように、撮像素子１０３（図３）において、非可視光の波長帯域の光（例えば赤外光）に応じた画像信号を生成する必要があるため、通常のカメラで設けられている非可視光の波長帯域の光をカットするフィルタ（例えばIRカットフィルタ）を設けることができないため、ここでは、信号処理によって非可視光成分が除去されるようにしている。
【０１４０】
また、詳細は、図２５を参照して後述するが、信号処理部１０６には、非投光画像の代わりに、投光画像が入力される場合もあり、この場合の非可視光としては、環境光に含まれる赤外光のほかに、投光器１０２から投光された赤外光もあるので、この場合には、環境光の赤外光の成分（環境IR）と、投光された赤外光の成分（投光IR）が除去されることになる。
【０１４１】
エッジ合成部１４５には、エッジ抽出部１４１からのエッジ情報と、非可視光成分除去部１４４からの（非可視光成分が除去された）各色画像が入力される。エッジ合成部１４５は、各色画像の色成分（低周波成分）に、エッジ情報を合成することで、高解像度化された高解像度化画像（画像信号）を生成し、カメラ信号処理部１３６に供給する。なお、エッジ合成部１４５の出力としては、例えば、RGBの画像信号や、ベイヤー配列の画像信号などとすることができる。
【０１４２】
カメラ信号処理部１４６は、エッジ合成部１４５から供給される高解像度化画像（画像信号）に対して、一般的なカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などが行われる。そして、このカメラ信号処理を施すことで得られる出力画像は、後段の回路に出力される。なお、信号処理部１０６においては、カメラ信号処理部１４６を含めない構成としてもよい。
【０１４３】
以上のように、本技術の信号処理部１０６においては、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）を用いるのではなく、フル解像度画像生成部１０５から入力されるフル解像度画像を用いてエッジを抽出しているので、アーチファクトの発生を抑制することができる。また、本技術の信号処理部１０６においては、偽色抑制部１４３によって、フル解像度画像生成部１０５から入力されるフル解像度画像を用いて各色画像が処理されることで偽色抑制処理が行われるので、偽色の発生を抑制することができる。
【０１４４】
なお、従来の輝度生成部１３１（図１３）による輝度生成処理において、フル解像度画像生成部１０５により生成されるフル解像度画像（ピュア投光画像）をガイドとして用いることで、アーチファクトの発生を抑制するようにしてもよい。
【０１４５】
例えば、従来の輝度生成部１３１（図１３）においては、注目画素の周囲のＷ画素からエッジ方向に並ぶ画素を選択してフィルタをかけることにより、Ｗ画素が補間されるが、高周波成分の模様があると、エッジ方向が判定できなくなり、その結果としてアーチファクトを発生させてしまう場合がある。この場合において、Ｗ画素を補間する際のエッジ方向の検波用に、フル解像度画像を用いることで、正しいエッジ方向を求めることができる。このように、フル解像度画像を、いわばガイドとして用いてエッジ方向を求めて、Ｗ画素を補間することで、アーチファクトの発生を抑制し、画質を向上させることができる。
【０１４６】
＜３．処理の流れ＞
【０１４７】
（画像処理の流れ）
次に、図１６のフローチャートを参照して、図３の撮像装置１０により実行される画像処理の流れについて説明する。
【０１４８】
ステップＳ１０１において、投光器１０２は、制御部１０１からの制御に従い、赤外光の投光のタイミングであるかどうかを判定する。
【０１４９】
ステップＳ１０１において、赤外光の投光のタイミングであると判定された場合、処理は、ステップＳ１０２に進められる。ステップＳ１０２において、投光器１０２は、制御部１０１からの同期信号に従い、赤外光を投光する。すなわち、この場合、投光器１０２による赤外光の投光がオンされる。
【０１５０】
一方、ステップＳ１０１において、赤外光の投光のタイミングではないと判定された場合、処理は、ステップＳ１０３に進められる。ステップＳ１０３において、投光器１０２は、制御部１０１からの同期信号に従い、赤外光の投光を停止する。すなわち、この場合、投光器１０２による赤外光の投光がオフされる。
【０１５１】
すなわち、ステップＳ１０１の判定結果に応じて、投光器１０２がオン／オフされることで（Ｓ１０２，Ｓ１０３）、投光波長の波長帯の光が、投光器１０２から明滅投光されることになる。ステップＳ１０２又はステップＳ１０３の処理が終了すると、処理は、ステップＳ１０４に進められる。
【０１５２】
ステップＳ１０４において、撮像素子１０３は、制御部１０１からの同期信号に従い、被写体の撮像を行う。ステップＳ１０５においては、ステップＳ１０４の処理で撮像された撮像画像が１フレーム目であるかどうかが判定される。
【０１５３】
ステップＳ１０５において、撮像画像が１フレーム目であると判定された場合、すなわち、遅延調整バッファ１０４に、同時に処理すべき投光画像と非投光画像が保持されていないと判定された場合、処理は、ステップＳ１０６に進められる。ステップＳ１０６において、撮像素子１０３は、遅延調整バッファ１０４に、ステップＳ１０４の処理で撮像された撮像画像を上書きする。これにより、遅延調整バッファ１０４には、投光画像又は非投光画像のいずれか一方が保持される。
【０１５４】
ステップＳ１０５の処理が終了すると、処理は、ステップＳ１１０に進められる。ステップＳ１１０において、処理を継続すると判定された場合、処理は、ステップＳ１０１に戻り、上述した処理が繰り返される。
【０１５５】
そして、ステップＳ１０５において、撮像画像が１フレーム目ではないと判定された場合、処理は、ステップＳ１０７に進められる。この場合、遅延調整バッファ１０４には、ステップＳ１０４の処理で撮像された撮像画像が書き込まれ、同時に処理すべき投光画像と非投光画像が保持されていることになる。
【０１５６】
ステップＳ１０７において、フル解像度画像生成部１０５は、遅延調整バッファ１０４から、同時に処理すべき投光画像と非投光画像を読み出す。
【０１５７】
ステップＳ１０８において、フル解像度画像生成部１０５は、ステップＳ１０７の処理で読み出した投光画像と非投光画像を用いて、フル解像度画像生成処理を行う。このフル解像度画像生成処理では、例えば、投光画像（の分光成分）と非投光画像（の分光成分）との差分を求める差分処理などが行われることで、フル解像度画像が生成される。なお、このフル解像度画像生成処理の詳細な内容については、図１７のフローチャートを参照して後述する。
【０１５８】
ステップＳ１０９において、信号処理部１０６は、ステップＳ１０８の処理で生成されたフル解像度画像を用いて、非投光画像（又は投光画像）を処理する信号処理を行う。この信号処理では、例えば、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から、出力画像が生成される。なお、この信号処理の詳細な内容については、図２０のフローチャートを参照して後述する。
【０１５９】
ステップＳ１０９の処理が終了すると、処理は、ステップＳ１１０に進められる。ステップＳ１１０において、処理を継続すると判定された場合、処理は、ステップＳ１０１に戻り、上述した処理が繰り返される。そして、ステップＳ１１０において、処理を終了すると判定された場合、図１６の画像処理は終了される。
【０１６０】
以上、画像処理の流れについて説明した。この画像処理においては、フル解像度画像生成処理（Ｓ１０８）によって、投光画像と非投光画像からフル解像度画像が生成され、信号処理（Ｓ１０９）によって、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から出力画像が生成される。
【０１６１】
すなわち、フル解像度画像を用いたエッジの抽出処理を行うことで、アーチファクトの発生を抑制することができる。また、フル解像度画像を用いた偽色抑制処理を行うことで、偽色の発生を抑制することができる。このように、図１６の画像処理においては、偽色やアーチファクトの発生を抑制するための高精度な画像処理が行われるため、画像（出力画像）を見たユーザに対して不快感を与えることはない。また、例えば、近年開発の進んでいるセンシング用途で、フル解像度画像を利用すれば、センシング性能の低下を抑制することができる。
【０１６２】
（フル解像度画像生成処理の流れ）
ここで、図１７のフローチャートを参照して、図１６のステップＳ１０８の処理に対応するフル解像度画像生成処理の詳細な処理内容について説明する。
【０１６３】
ステップＳ１２１において、位置ずれ補正処理部１２４は、ステップＳ１０７の処理（図１６）で遅延調整バッファ１０４から読み出された投光画像と非投光画像の位置ずれを補正する位置ずれ補正処理を行う。
【０１６４】
この位置ずれ補正処理では、例えば、投光画像及び非投光画像に対するブロック単位でのマッチングが行われ、対象のブロックごとに画像を変形することで動きを相殺する手法や、マッチングの結果を統合して画像全体のずれ量を算出して除去する手法などが用いられることで、投光画像と非投光画像の位置ずれが補正される。
【０１６５】
ステップＳ１２２において、差分処理部１２１は、ステップＳ１２１の処理で位置ずれが補正された投光画像（の分光成分）と非投光画像（の分光成分）との差分を求める差分処理を行う。
【０１６６】
この差分処理では、例えば、上述した図９に示したように、投光画像（の分光成分）と非投光画像（の分光成分）との差分を求めることで、環境光の影響が取り除かれたピュア投光画像が生成される。
【０１６７】
ステップＳ１２３において、色フィルタ別感度ずれ補正部１２２は、ステップＳ１２２の処理で生成されたピュア投光画像に対して、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）応じた各色成分の画素ごとの感度のずれを除去する色フィルタ別感度ずれ補正処理を行う。
【０１６８】
この色フィルタ別感度ずれ補正処理では、例えば、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性を同一（又は許容範囲内）の分光特性に合わせこむ色フィルタ別ゲイン処理が行われる。これにより、ピュア投光画像は、色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）ごとの微妙な感度比が補償された画像となる。
【０１６９】
ステップＳ１２４において、残パターン除去フィルタ１２３は、ステップＳ１２３の処理で補正されたピュア投光画像に対して、（わずかに）残ったパターンを除去する残パターン除去処理を行う。
【０１７０】
この残パターン除去処理では、例えば、高周波の成分を失わないように、エッジ方向に応じた狭い範囲（例えば３タップ程度）のフィルタをかけることで、（わずかに）残ったパターンが除去される。なお、ステップＳ１２４の処理が終了すると、処理は、図１６のステップＳ１０８に戻り、それ以降の処理が実行される。
【０１７１】
以上、フル解像度画像生成処理の流れについて説明した。このフル解像度画像生成処理においては、位置ずれ補正処理、差分処理、色フィルタ別感度ずれ補正処理、及び、残パターン除去処理が実行されることで、投光画像と非投光画像から、フル解像度画像が生成される。
【０１７２】
図１８及び図１９には、図１７のフル解像度画像生成処理を実行することで、フル解像度画像として生成されるピュア投光画像の例を示している。なお、図１８及び図１９には、比較のため、従来の信号処理部１０６Ｐ（図１３）の輝度生成部１３１で生成される輝度画像（輝度信号）が図示されている。
【０１７３】
図１８において、図１８Ａは、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）であり、図中の多重の円における密度が高い側の半円には、実際とは異なる模様が現れ、アーチファクトが発生している。一方で、図１８Ｂは、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）であるが、図中の多重の円における密度が高い側の半円においても、正確な模様が現れている。
【０１７４】
また、図１９において、図１９Ａは、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）であり、図中の帯状に記された複数の線種からなる多数の線の一部には、実際とは異なる模様が現れ、アーチファクトが発生している。一方で、図１９Ｂは、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）であるが、図中の帯状に記された多数の線が、正確に現れている。
【０１７５】
このように、従来の信号処理部１０６Ｐ（図１３）において、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）には、アーチファクトが発生していたが、本技術の信号処理部１０６においては、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）を用いてエッジ情報を抽出するため、アーチファクトの発生を抑制することができる。
【０１７６】
なお、上述したように、位置ずれ補正処理、差分処理、色フィルタ別感度ずれ補正処理、及び、残パターン除去処理は、フル解像度画像生成処理の一例であって、それらの処理の全てを実行する必要はなく、また、他の処理が行われるようにしてもよい。
【０１７７】
（信号処理の流れ）
次に、図２０のフローチャートを参照して、図１６のステップＳ１０９の処理に対応する信号処理の詳細な処理内容について説明する。
【０１７８】
ステップＳ１３１において、エッジ抽出部１４１は、ステップＳ１０８の処理（図１６）で生成されたフル解像度画像からエッジ情報を抽出するエッジ抽出処理を行う。このエッジ抽出処理では、フル解像度画像に対して、ハイパスフィルタ処理が施され、高周波成分のエッジが抽出されることで、エッジ情報が得られる。
【０１７９】
ステップＳ１３２において、各色同時化部１４２は、ステップＳ１０７の処理（図１６）で読み出された非投光画像を用いて、各色同時化処理を行う。この各色同時化処理では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に対応する各色画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）から得られる画素信号（R+IR，G+IR，B+IR，W+IR）に対して、同色のみを用いたローパスフィルタ処理を施すことで、低周波成分の各色画像が得られる。
【０１８０】
ステップＳ１３３において、偽色抑制部１４３は、ステップＳ１０８の処理（図１６）で生成されたフル解像度画像を用いて、ステップＳ１３２の処理で得られる各色画像を処理することで、偽色の発生を抑制する偽色抑制処理を行う。例えば、この偽色抑制処理では、フル解像度画像を用いて、各色画像で生じる折り返りの量を推定し、その推定された折り返りの量に応じて、各色画像で生じている折り返りを相殺することで、偽色の発生を抑制する。
【０１８１】
ステップＳ１３４において、非可視光成分除去部１４４は、ステップＳ１３３の処理で偽色の発生が抑制された各色画像における非可視光の成分を除去する非可視光成分除去処理を行う。この非可視光成分除去処理では、偽色の発生が抑制された各色画像に対して、所定の演算（行列演算）を行うことで、環境光に含まれる赤外光の成分（環境IR）が除去される。
【０１８２】
ステップＳ１３５において、エッジ合成部１４５は、ステップＳ１３４の処理で非可視光成分が除去された各色画像の色成分（低周波成分）に、ステップＳ１３１の処理で抽出されたエッジ情報を合成するエッジ合成処理を行うことで、高解像度化された高解像度化画像（画像信号）を生成する。
【０１８３】
ステップＳ１３６において、カメラ信号処理部１４６は、ステップＳ１３５の処理で得られた高解像度化画像（画像信号）に対するカメラ信号処理を行うことで、出力画像を生成する。このカメラ信号処理では、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などの一般的なカメラ信号処理が行われる。なお、ステップＳ１３６の処理が終了すると、処理は、図１６のステップＳ１０９に戻り、それ以降の処理が実行される。
【０１８４】
以上、信号処理の流れについて説明した。この信号処理においては、フル解像度画像を用いたエッジの抽出処理（Ｓ１３１）や、フル解像度画像を用いた偽色抑制処理（Ｓ１３３）などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から出力画像が生成される。ここでは、フル解像度画像を用いたエッジの抽出処理（Ｓ１３１）を行うことで、アーチファクトの発生を抑制することができる。また、フル解像度画像を用いた偽色抑制処理（Ｓ１３３）を行うことで、偽色の発生を抑制することができる。
【０１８５】
＜４．変形例＞
【０１８６】
ところで、上述した撮像装置１０は、図３に示した構成に限らず、他の構成を採用するようにしてもよい。そこで、次に、図２１乃至図２５を参照して、図３の撮像装置１０の変形例について説明する。
【０１８７】
（Ａ）第１の他の構成
図２１は、撮像装置１０Ａの構成例を示す図である。なお、図２１の撮像装置１０Ａにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１８８】
図２１において、撮像装置１０Ａは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、及び、フル解像度画像生成部１０５から構成される。すなわち、図２１の撮像装置１０Ａにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５の後段に設けられていた信号処理部１０６が取り除かれている点が異なっている。
【０１８９】
ここで、カラー画像を生成してビューイング用途に用いるのではなく、例えば、センシング用途での白黒画像（輝度画像）を生成するのであれば、信号処理部１０６による信号処理を行わずに、フル解像度画像（白黒画像）をそのまま出力すればよいので、撮像装置１０Ａにおいては、フル解像度画像生成部１０５により生成されるフル解像度画像が出力されるようにしている。
【０１９０】
以上のように、撮像装置１０Ａにおいては、センシング用途で用いられる白黒画像（輝度画像）として、アーチファクトの発生が抑制されたフル解像度画像が出力されるようにすることで、センシング性能の低下を抑制することができる。なお、センシング用途でのフル解像度画像を生成する場合、投光器１０２において、投光波長に対するフィルタ（IRバンドパスフィルタ）は不要となる。
【０１９１】
（Ｂ）第２の他の構成
図２２は、撮像装置１０Ｂの構成例を示す図である。なお、図２２の撮像装置１０Ｂにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１９２】
図２２において、撮像装置１０Ｂは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。
【０１９３】
すなわち、図２２の撮像装置１０Ｂにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５が、遅延調整バッファ１０４から、同時に処理すべき投光画像と非投光画像を読み出すに際して、１枚の投光画像ではなく、２枚以上の投光画像が読み出される点が異なっている。フル解像度画像生成部１０５では、複数枚の投光画像を用いて投光画像の精度を上げることで、結果として、生成されるフル解像度画像の精度を向上させることができる。
【０１９４】
フル解像度画像生成部１０５は、遅延調整バッファ１０４から読み出される、複数枚の投光画像と１枚の非投光画像を処理して、フル解像度画像を生成する。ここでは、例えば、複数枚の投光画像から平均的な投光画像を求めて、その平均的な投光画像（の分光成分）と非投光画像（の分光成分）との差分処理などを行うことで、フル解像度画像が生成される。
【０１９５】
以上のように、撮像装置１０Ｂにおいては、複数枚の投光画像を用いて、より精度の高いフル解像度画像を生成することができるので、より高精度に、偽色やアーチファクトを除去することができる。なお、撮像装置１０Ｂにおいては、複数枚の投光画像を用いる場合の例を示したが、複数枚の非投光画像を用いてフル解像度画像が生成されるようにしてもよい。つまり、フル解像度画像が生成される際に用いられる投光画像と非投光画像の枚数は任意である。
【０１９６】
（Ｃ）第３の他の構成
図２３は、撮像装置１０Ｃの構成例を示す図である。なお、図２３の撮像装置１０Ｃにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１９７】
図２３において、撮像装置１０Ｃは、図３の撮像装置１０と比べて、撮像素子１０３の代わりに、撮像素子１０３−１及び撮像素子１０３−２が設けられ、さらに、撮像素子１０３−２の光（反射光）の入射側に、IRカットフィルタ１１２が設けられる点が異なっている。また、撮像装置１０Ｃでは、フル解像度画像生成部１０５の前段に設けられていた遅延調整バッファ１０４が取り除かれている。
【０１９８】
撮像素子１０３−１は、投光器１０２から投光される赤外光を含む光（反射光）から得られる投光画像を生成し、フル解像度画像生成部１０５に出力する。一方で、撮像素子１０３−２は、IRカットフィルタ１１２により赤外光がカットされた光（反射光）から得られる非投光画像を生成し、フル解像度画像生成部１０５に出力する。
【０１９９】
フル解像度画像生成部１０５には、撮像素子１０３−１からの投光画像と、撮像素子１０３−２からの非投光画像が入力される。フル解像度画像生成部１０５は、異なる撮像素子１０３（１０３−１，１０３−２）から入力される投光画像と非投光画像を処理して、フル解像度画像を生成する。
【０２００】
以上のように、撮像装置１０Ｃにおいては、撮像素子１０３−１により生成される投光画像と、撮像素子１０３−２により生成される非投光画像が、同一のタイミングで、フル解像度画像生成部１０５に入力されるため、遅延調整バッファ１０４（図３）は不要となる。また、図３の撮像装置１０では、投光画像と非投光画像とが交互に生成されていたため、同時に処理される投光画像と非投光画像とのタイムラグを小さくする必要があったが、撮像装置１０Ｃでは、投光画像と非投光画像とが異なる撮像素子１０３（１０３−１，１０３−２）で生成されるため、フル解像度画像生成部１０５に入力される投光画像と非投光画像とを、高精度に同期させることができる。
【０２０１】
（Ｄ）第４の他の構成
図２４は、撮像装置１０Ｄの構成例を示す図である。なお、図２４の撮像装置１０Ｄにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０２０２】
図２４において、撮像装置１０Ｄは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。
【０２０３】
すなわち、図２４の撮像装置１０Ｄにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５により生成されたフル解像度画像が、遅延調整バッファ１０４にフィードバックされる点が異なっている。フル解像度画像生成部１０５では、遅延調整バッファ１０４から（フィードバックされた）フル解像度画像を読み出して処理することで、それ以降に生成されるフル解像度画像の精度を向上させることができる。
【０２０４】
以上のように、撮像装置１０Ｄにおいては、フィードバックされたフル解像度画像を用いて、より精度の高いフル解像度画像を生成することができるので、より高精度に、偽色やアーチファクトを除去することができる。
【０２０５】
（Ｅ）第５の他の構成
図２５は、撮像装置１０Ｅの構成例を示す図である。なお、図２５の撮像装置１０Ｅにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０２０６】
図２５において、撮像装置１０Ｅは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。
【０２０７】
すなわち、図２５の撮像装置１０Ｅにおいては、図３の撮像装置１０と比べて、信号処理部１０６に対して、非投光画像の代わりに、投光画像が入力される点が異なっている。信号処理部１０６は、フル解像度画像生成部１０５から入力されるフル解像度画像を用いて、遅延調整バッファ１０４から読み出された投光画像を処理する信号処理を行う。この信号処理では、例えば、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と投光画像から、出力画像が生成される。
【０２０８】
以上のように、撮像装置１０Ｅにおいては、信号処理部１０６によって、フル解像度画像と投光画像を用いた信号処理が行われ、偽色やアーチファクトの発生が抑制された出力画像が出力されることになる。ここでは、フル解像度画像を用いたエッジの抽出処理を行うことで、アーチファクトの発生が抑制される。また、フル解像度画像を用いた偽色抑制処理を行うことで、偽色の発生が抑制される。
【０２０９】
（Ｆ）その他の構成
なお、図２１乃至図２５に示した撮像装置１０（図３）の変形例は一例であって、さらに他の構成を採用することもできる。例えば、投光器１０２と撮像素子１０３とは、制御部１０１からの同期信号に従い、同期して動作するが、撮像素子１０３において二次元格子状に配列される画素ごとに、投光器１０２から投光される光の波長を変えるようにしてもよい。この場合、画素ごとに、投光器１０２の点灯（オン）と消灯（オフ）を切り替えることができる。また、この場合には、色フィルタ１１１の各色フィルタ（例えば、Ｒ，Ｇ，Ｂ，Ｗフィルタ）の非可視光側の分光特性を揃えなくてもよい。
【０２１０】
＜５．コンピュータの構成＞
【０２１１】
上述した一連の処理（図１６の画像処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２１２】
図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２１３】
コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０２１４】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０２１５】
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記憶されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２１６】
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【０２１７】
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
【０２１８】
なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１９】
ここで、本明細書において、コンピュータ１０００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２０】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０２２１】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２３】
なお、本技術は、以下のような構成をとることができる。
【０２２４】
（１）
非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える
画像処理装置。
（２）
投光される光の投光波長は、前記被写体を撮像する撮像素子の各色フィルタの非可視光側の分光特性に応じた波長帯からなる
（１）に記載の画像処理装置。
（３）
前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
（２）に記載の画像処理装置。
（４）
生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
（３）に記載の画像処理装置。
（５）
前記信号処理部は、
前記高解像度画像からエッジ情報を抽出し、
前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
前記色画像から非可視光の成分を除去し、
非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
ことで、前記出力画像を生成する
（４）に記載の画像処理装置。
（６）
前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
（５）に記載の画像処理装置。
（７）
前記信号処理部は、
前記高解像度画像を用いて、前記色画像で生じる折り返りの量を推定し、
推定された折り返りの量に応じて、前記色画像で生じている折り返りを相殺する
ことで、偽色の発生を抑制する
（６）に記載の画像処理装置。
（８）
前記画像生成部は、同時に処理すべき前記投光画像と前記非投光画像との位置ずれを補正した後に、前記投光画像の分光成分と、前記非投光画像の分光成分との差分により得られる差分画像に応じた前記高解像度画像を生成する
（３）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記画像生成部は、前記差分画像を処理して、前記色フィルタごとの分光特性のずれを補正する
（８）に記載の画像処理装置。
（１０）
前記画像生成部は、前記色フィルタの分光特性のずれが補正された前記差分画像を処理して、前記差分画像に残ったパターン模様を除去する
（９）に記載の画像処理装置。
（１１）
前記投光画像又は前記非投光画像を保持して、同時に処理すべき前記投光画像と前記非投光画像との処理のタイミングを合わせるバッファをさらに備える
（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記可視光は、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）の成分の光を含み、
前記非可視光は、赤外光である
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記出力画像は、ビューイング用のカラー画像である
（４）に記載の画像処理装置。
（１４）
前記高解像度画像は、センシング用の白黒画像である
（１）に記載の画像処理装置。
（１５）
画像処理装置の画像処理方法において、
前記画像処理装置が、
非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する
ステップを含む画像処理方法。
（１６）
各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、
前記色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光を前記被写体に投光する投光部と、
前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部と
を備える撮像装置。
（１７）
前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
（１６）に記載の撮像装置。
（１８）
生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
（１７）に記載の撮像装置。
（１９）
前記信号処理部は、
前記高解像度画像からエッジ情報を抽出し、
前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
前記色画像から非可視光の成分を除去し、
非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
ことで、前記出力画像を生成する
（１８）に記載の撮像装置。
（２０）
前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
（１９）に記載の撮像装置。
【符号の説明】
【０２２５】
１０，１０Ａ乃至１０Ｅ  撮像装置，  １００  画像処理部，  １０１  制御部，  １０２  投光器，  １０３，１０３−１，１０３−２  撮像素子，  １０４  遅延調整バッファ，  １０５，１０５Ａ乃至１０５Ｃ  フル解像度画像生成部，  １０６  信号処理部，  １１１，１１１−１，１１１−２  色フィルタ，  １１２  IRカットフィルタ，  １２１  差分処理部，  １２２  色フィルタ別感度ずれ補正部，  １２３  残パターン除去フィルタ，  １２４  位置ずれ補正処理部，  １４１  エッジ抽出部，  １４２  各色同時化部，  １４３  偽色抑制部，  １４４  非可視光成分除去部，  １４５  エッジ合成部，  １４６  カメラ信号処理部，  １０００  コンピュータ，  １００１  CPU
【図１】
2017126954.tif 000003
【図２】
2017126954.tif 000004
【図３】
2017126954.tif 000005
【図４】
2017126954.tif 000006
【図５】
2017126954.tif 000007
【図６】
2017126954.tif 000008
【図７】
2017126954.tif 000009
【図８】
2017126954.tif 000010
【図９】
2017126954.tif 000011
【図１０】
2017126954.tif 000012
【図１１】
2017126954.tif 000013
【図１２】
2017126954.tif 000014
【図１３】
2017126954.tif 000015
【図１４】
2017126954.tif 000016
【図１５】
2017126954.tif 000017
【図１６】
2017126954.tif 000018
【図１７】
2017126954.tif 000019
【図１８】
2017126954.tif 000020
【図１９】
2017126954.tif 000021
【図２０】
2017126954.tif 000022
【図２１】
2017126954.tif 000023
【図２２】
2017126954.tif 000024
【図２３】
2017126954.tif 000025
【図２４】
2017126954.tif 000026
【図２５】
2017126954.tif 000027
【図２６】
2017126954.tif 000028