(57)【要約】【課題】赤外光画像と可視光（ＲＧＢ）画像を併せて取得し、高品質なＲＧＢ画像を生成化膿とした構成を実現する。【解決手段】可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタによって構成されるカラーフィルタを介する撮像素子の受光信号の処理を行なう。具体的には可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、算出パラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去して高品質な可視光（ＲＧＢ）画像を生成する。【選択図】図９
2008288629.tif 000002
【特許請求の範囲】
【請求項１】
可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を入力する撮像素子と、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行する赤外光成分除去部と、
を有することを特徴とする画像信号処理装置。
【請求項２】
前記赤外光成分除去部は、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、
算出したパラメータを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去した可視光成分からなる色信号を生成する処理を実行する構成を有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記カラーフィルタを構成する可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの各々は、赤外光領域における透過率がほぼ一定である性質を持つロングパスフィルタであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
前記カラーフィルタは、
紫外線領域のみをカットする可視光領域と赤外光領域を透過させる（ＡＬＬ）ロングパスフィルタと、
黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、
赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、
主に赤外光領域を通過させる赤外光透過ロングパスフィルタと、
によって構成されるフィルタであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
前記カラーフィルタは、
可視光領域と赤外光領域を含む全透過型のフィルタと、
黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、
赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、
主に赤外光領域を通過させる赤外光透過ロングパスフィルタと、
によって構成されるフィルタであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
前記画像信号処理装置は、
前記撮像素子の出力として得られるモザイク画像に対するデモザイク処理を実行するデモザイク処理部を有し、
前記赤外光成分除去部は、
前記デモザイク処理部の生成したデモザイクデータを入力し、赤外光成分を除去した可視光成分からなる色信号を各画素に対応して生成する処理を実行する構成であることを特徴とする請求項１に記載の画像信号処理装置。
【請求項７】
前記画像信号処理装置は、
前記カラーフィルタに含まれる可視光透過型ロングパスフィルタの透過データによって生成されるモザイク画像に対する補間処理により可視光および赤外光成分を含む画像の生成処理を実行する補間処理部を有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項８】
前記画像信号処理装置は、
前記カラーフィルタに含まれる赤外光透過ロングパスフィルタの透過データによって生成されるモザイク画像に対するデコード処理により赤外光通信データの生成処理を実行するデコード処理部を有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項９】
可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を受光する構成を有することを特徴とする撮像素子。
【請求項１０】
前記カラーフィルタを構成する可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの各々は、赤外光領域における透過率がほぼ一定である性質を持つロングパスフィルタであることを特徴とする請求項９に記載の撮像素子。
【請求項１１】
前記カラーフィルタは、
紫外線領域のみをカットする可視光領域と赤外光領域を透過させる（ＡＬＬ）ロングパスフィルタと、
黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、
赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、
主に赤外光領域を通過させる赤外光透過ロングパスフィルタと、
によって構成されるフィルタであることを特徴とする請求項９に記載の撮像素子。
【請求項１２】
前記カラーフィルタは、
可視光領域と赤外光領域を含む全透過型のフィルタと、
黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、
赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、
主に赤外光領域を通過させる赤外光透過ロングパスフィルタと、
によって構成されるフィルタであることを特徴とする請求項９に記載の撮像素子。
【請求項１３】
画像信号処理装置において実行する画像信号処理方法であり、
撮像部が、可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を受光する撮像ステップと、
赤外光成分除去部が、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行する赤外光成分除去ステップと、
を有することを特徴とする画像信号処理方法。
【請求項１４】
前記赤外光成分除去ステップは、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出するステップと、
算出したパラメータを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去した可視光成分からなる色信号を生成する処理を実行するステップと、
を有することを特徴とする請求項１３に記載の画像信号処理方法。
【請求項１５】
画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
撮像部に、可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を受光させる撮像ステップと、
赤外光成分除去部に、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行させる赤外光成分除去ステップと、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラムに関する。さらに詳細にはロングパスフィルタの組み合わせからなるカラーフィルタを有する画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
監視カメラや民生用ビデオカメラなどでは、明るい昼間は自然光の下で可視光を利用して可視光画像を撮影し、夜間は赤外光投光器などを利用して撮影対象から反射する赤外光を利用した赤外光画像の撮影が行われることが多い。例えば自然光の下で撮影を行なう場合には赤外光カットフィルタをカメラに装着して撮影を行い、赤外光による撮影を行なう場合は赤外光カットフィルタをカメラからはずして撮影を行なうといった処理が行われる。このようなカメラについては、例えば特許文献１（特開２００２−０８４４５１）に示されている。しかしながら、このような赤外光カットフィルタの切り替えを機械的に行おうとすると、カメラの光学系にフィルタの着脱のための可動部分を付加することが必要となり、システムのコストアップにつながる。
【０００３】
また、フィルタの切り替えを行なう方式では、赤外光画像を撮影するか、可視光画像を撮影するかの二者択一の撮影となり、赤外光画像と可視光画像とを同時に撮影することができない。
【０００４】
赤外光をデータ通信に利用し、通信データに応じて点滅させた赤外光を受信して通信データの解析を行なうシステムが特許文献２（特開２００４−０５６３４３）に示されている。このシステムは、撮像素子を用いて赤外光を受信して通信を行なうシステムである。このようなシステムにおいて、赤外光の受信と、可視光の撮影データを併せて取得しようとした場合は、赤外光の着脱構成は利用できない。
【０００５】
一般的なカラーフィルタ配列としては、例えば、図１（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現する色配列や、図１（ｂ）に示すように、輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列などが用いられる。このような配列を備えた撮像素子では、赤外光の多い光源下で光学赤外カットフィルタ無しの撮影を行なうと、赤外光成分が多く撮りこまれてしまい、色再現性の劣化が生じ、良好な画像を得ることができなくなるという問題が発生する。
【０００６】
赤外光と可視光それぞれを撮影する構成を開示した従来として特許文献３（特開平１１−１４４０３１）がある。これは、赤外光を用いて背景識別を行なうアプリケーションである。しかし、この開示構成は赤外光と可視光それぞれを撮影する目的で複数のイメージセンサを用いる構成でありコストアップが発生するという問題がある。
【０００７】
赤外光画像と色再現性の高いカラー画像の同時取得は、例えばフィルム傷除去、肌色検出、ノイズ除去などのさまざまなアプリケーションにおいて有用であり、赤外光撮影と色再現性の高いカラー撮像を同時に両立させられる撮像および画像処理構成の確立が望まれている。
【０００８】
このような撮像および画像処理構成の一案として、例えば図１に示すような既存のカラーフィルタアレイのフィルタに赤外光透過画素を追加して、画像処理によって赤外光成分を除去する方法が考えられる。しかしながら、赤外光透過フィルタを適用した画素から得られた信号を利用しても、全ての色成分の赤外光を十分に除去することはできない。その理由はカラーフィルタアレイとして用いられるフィルタの特性が理想的でないためである。
【０００９】
撮像素子における画素のカラーフィルタ配列は、青、緑、シアン、マゼンタなどのうちから１種類または複数種類のバンドパスフィルタ、すなわちある波長区間（バンド）の光を通過させるバンドパスフィルタと、赤や黄色などのロングパスフィルタ、すなわちある波長以上の光を通過させるロングパスフィルタとが組み合わせて使用されるのが一般的である。先に図１を参照して説明したカラーフィルタは、このようなバンドパスフィルタとロングパスフィルタによって構成されたものである。これらのうちバンドパスフィルタは、画像の色再現に必要な波長の範囲だけを透過して、それより長い波長や短い波長を遮断するのが理想的である。
【００１０】
しかし、実際のカラーフィルタアレイ上でバンドパスフィルタとして多く用いられる材料がバンドパスフィルタとして機能するのは可視光の波長域のみにおいてであり、不可視光である赤外光ではバンドパスフィルタとしての条件を満たさず、赤外光の一部を透過させてしまう。そのうえ、透過する赤外光の波長ごとの透過特性はバンドパスフィルタの種類によってそれぞれ異なる。
【００１１】
このようなバンドパスフィルタを用いて撮影された信号の処理により赤外光成分を除去する従来技術として、カラーフィルタアレイに赤外光透過画素を追加して、受光した赤外光を算出して、各バンドパスフィルタを透過した赤外光量を推定してこれらの推定に基づいて赤外光成分を除去する方法が提案されている。
【００１２】
しかし、赤外光透過画素に使用するフィルタはロングパスフィルタであり、赤外光の透過帯域における透過特性は波長に依存せずほぼ一定となる。一方、青、緑、シアン、マゼンタなどの１種類または複数種類の光を選択的に透過させるバンドパスフィルタの各々の赤外光透過特性は、各バンドパスフィルタに応じて異なる特性となる。従って唯一の赤外光透過画素によって取得した信号を利用して、特性がそれぞれ異なるバンドパスフィルタから正確に赤外光成分だけを除去することは困難であり、色再現性の高いカラー画像を撮影するために必要な赤外光成分除去性能を得ることはできないという問題がある。
【特許文献１】特開２００２−０８４４５１号公報
【特許文献２】特開２００４−０５６３４３号公報
【特許文献３】特開平１１−１４４０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、上述の問題点に鑑みてなされたものであり、赤外光画像および可視光画像を併せて取得可能とするとともに、赤外光成分を含まない色再現性の高いカラー画像の生成を実現する画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の第１の側面は、
可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を入力する撮像素子と、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行する赤外光成分除去部と、
を有することを特徴とする画像信号処理装置にある。
【００１５】
さらに、本発明の画像信号処理装置の一実施態様において、前記赤外光成分除去部は、前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、
算出したパラメータを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去した可視光成分からなる色信号を生成する処理を実行する構成を有することを特徴とする。
【００１６】
さらに、本発明の画像信号処理装置の一実施態様において、前記カラーフィルタを構成する可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの各々は、赤外光領域における透過率がほぼ一定である性質を持つロングパスフィルタであることを特徴とする。
【００１７】
さらに、本発明の画像信号処理装置の一実施態様において、前記カラーフィルタは、紫外線領域のみをカットする可視光領域と赤外光領域を透過させる（ＡＬＬ）ロングパスフィルタと、黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光領域を通過させる赤外光透過ロングパスフィルタと、によって構成されるフィルタであることを特徴とする。
【００１８】
さらに、本発明の画像信号処理装置の一実施態様において、前記カラーフィルタは、可視光領域と赤外光領域を含む全透過型のフィルタと、黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光領域を通過させる赤外光透過ロングパスフィルタとによって構成されるフィルタであることを特徴とする。
【００１９】
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、前記撮像素子の出力として得られるモザイク画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記赤外光成分除去部は、前記デモザイク処理部の生成したデモザイクデータを入力し、赤外光成分を除去した可視光成分からなる色信号を各画素に対応して生成する処理を実行する構成であることを特徴とする。
【００２０】
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、前記カラーフィルタに含まれる可視光透過型ロングパスフィルタの透過データによって生成されるモザイク画像に対する補間処理により可視光および赤外光成分を含む画像の生成処理を実行する補間処理部を有することを特徴とする。
【００２１】
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、前記カラーフィルタに含まれる赤外光透過ロングパスフィルタの透過データによって生成されるモザイク画像に対するデコード処理により赤外光通信データの生成処理を実行するデコード処理部を有することを特徴とする。
【００２２】
さらに、本発明の第２の側面は、
可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を受光する構成を有することを特徴とする撮像素子にある。
【００２３】
さらに、本発明の撮像素子の一実施態様において、前記カラーフィルタを構成する可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの各々は、赤外光領域における透過率がほぼ一定である性質を持つロングパスフィルタであることを特徴とする。
【００２４】
さらに、本発明の撮像素子の一実施態様において、前記カラーフィルタは、紫外線領域のみをカットする可視光領域と赤外光領域を透過させる（ＡＬＬ）ロングパスフィルタと、黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光領域を通過させる赤外光透過ロングパスフィルタとによって構成されるフィルタであることを特徴とする。
【００２５】
さらに、本発明の撮像素子の一実施態様において、前記カラーフィルタは、可視光領域と赤外光領域を含む全透過型のフィルタと、黄色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｙｅ＋ＩＲ）ロングパスフィルタと、赤色以上の波長に対応する可視光領域と赤外光領域を透過させる（Ｒ＋ＩＲ）ロングパスフィルタと、主に赤外光領域を通過させる赤外光透過ロングパスフィルタとによって構成されるフィルタであることを特徴とする。
【００２６】
さらに、本発明の第３の側面は、
画像信号処理装置において実行する画像信号処理方法であり、
撮像部が、可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を受光する撮像ステップと、
赤外光成分除去部が、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行する赤外光成分除去ステップと、
を有することを特徴とする画像信号処理方法にある。
【００２７】
さらに、本発明の画像信号処理方法の一実施態様において、前記赤外光成分除去ステップは、前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出するステップと、算出したパラメータを適用して前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去した可視光成分からなる色信号を生成する処理を実行するステップと、を有することを特徴とする。
【００２８】
さらに、本発明の第４の側面は、
画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
撮像部に、可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を受光させる撮像ステップと、
赤外光成分除去部に、
前記可視光透過型ロングパスフィルタと、前記赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、前記可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行させる赤外光成分除去ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００２９】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３１】
本発明の一実施例の構成によれば、ＲＧＢ信号等の可視光信号と赤外光信号を透過させる可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を撮像素子において受光し、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行してＲＧＢ画像信号を生成する構成とした。ロングパスフィルタは、赤外光領域においてほぼフラットな光透過率を有するので、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出して算出したパラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去することで、正確な赤外光成分除去が可能となり、高品質なＲＧＢ画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら、本発明の画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラムについて説明する。
【００３３】
本発明の画像信号処理装置は、例えばスチルカメラやビデオカメラなどの撮像装置によって構成され、赤外光画像および可視光画像を併せて取得するとともに、色再現性の高いカラー画像の生成を行う。本発明の画像信号処理装置は、特定のカットオフ波長より長い波長の光を透過するロングパスフィルタを複数組み合わせて構成したカラーフィルタを介する光を撮像素子において受光し、受光信号の信号処理によって、高品質の可視光画像や赤外光画像を生成する。すなわち、ロングパスフィルタの組み合わせからなるカラーフィルタを用いた撮影信号の信号処理を実行して赤外光画像や可視光画像を生成する構成である。
【００３４】
本発明の処理の説明の前に、まず図２以下を参照して一般的なカラーフィルタを利用した撮影信号の信号処理例について説明する。なお、以下はＵＳＰ６，２１１，５２１に記載された処理例である。図２は、ＲＧＢ各波長光を通過させるフィルタ（Ｒ，Ｇ，Ｂ）と、赤外光を透過させるフィルタ（ＩＲ）の組み合わせからなるカラーフィルタである。フィルタ（ＩＲ）は、Ｒ対応のフィルタとＢ対応のフィルタの組み合わせによって構成されている。赤外光透過フィルタ（ＩＲ）を通過して受光した赤外光量を算出して、各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）を透過した赤外光量を推定してこれらの推定に基づいて赤外光成分を除去する。
【００３５】
図２に示すカラーフィルタのフィルタ（Ｒ，Ｇ，Ｂ）の分光特性は図３に示すようになる。青［Ｂ：ＢＬＵＥ］と緑［Ｇ：ＧＲＥＥＮ］はそれぞれ、青または緑の各波長に対応する一定区間（バンド）の波長光を透過させるバンドパスフィルタの特性を持つが、赤外領域（約７８０ｎｍ以上）においても一部を透過させてしまう。特に７００ｎｍから８００ｎｍの間では、青［Ｂ：ＢＬＵＥ］と緑［Ｇ：ＧＲＥＥＮ］で大幅に違う通過特性を示す。
【００３６】
一方、赤［Ｒ：ＲＥＤ］は遮断領域にリプルがあるものの６００ｎｍにカットオフ波長をもつロングパスフィルタ、すなわち、ほぼ６００ｎｍ以上の波長光を透過させるロングパスフィルタの特性を示す。このように、青［Ｂ：ＢＬＵＥ］と緑［Ｇ：ＧＲＥＥＮ］はバンドパスフィルタ、赤［Ｒ：ＲＥＤ］はロングパスフィルタとして構成し、さらに図２に示すように赤外光透過フィルタ［ＩＲ］が追加されている。
【００３７】
図４に、赤外光透過フィルタ［ＩＲ］の分光特性を示す。赤外光透過フィルタ［ＩＲ］は、赤［Ｒ：ＲＥＤ］対応のフィルタと青［Ｂ：ＢＬＵＥ］対応のフィルタの組み合わせによって構成され、６００ｎｍ前後にリップルがあるものの７８０ｎｍのカットオフ波長を持つロングパスフィルタとみなすことができる。
【００３８】
このように４種類の異なる特性を持つフィルタ（Ｒ，Ｇ，Ｂ，ＩＲ）の各フィルタの透過光に基づいて可視光成分のみからなる出力画像を得る場合、ＲＧＢフィルタの透過光から赤外成分を除去するための信号処理が実行される。具体的には赤外光対応のフィルタ（ＩＲ）を通過して受光した赤外光量を算出して、算出した赤外光量を各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）を透過した赤外光量として推定してこれらの推定に基づいて赤外光成分を除去する。例えば図５に示すように、各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）の通過光は、それぞれ、同じ量の赤外光を含む光、すなわち、
Ｒ＋ＩＲ
Ｇ＋ＩＲ
Ｂ＋ＩＲ
とみなして、赤外光対応のフィルタ（ＩＲ）を通過して受光した赤外光量を減算するといった処理によって可視光成分のみからなる出力を得る信号処理を行なう。
【００３９】
この信号処理演算は、以下の式に基づくものとなる。
【数１】
2008288629.tif 000003
【００４０】
上記式中、式（１）は、各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）の通過光に含まれる赤外光成分中、波長の長い赤外成分（８２０ｎｍ〜１０００ｎｍ）を除去する演算式である。
式（１）において、
Ｒ８２０−１０００：赤［Ｒ：ＲＥＤ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
Ｇ８２０−１０００：緑［Ｇ：ＧＲＥＥＮ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
Ｂ８２０−１０００：青［Ｂ：ＢＬＵＥ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
ＩＲ８２０−１０００：赤外光［ＩＲ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
を示している。
【００４１】
各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）の通過光から赤外光透過フィルタ（ＩＲ）を通して得られた成分に係数ｋｒ、ｋｇ、ｋｂを掛けたものを減算して、赤外光成分（８２０ｎｍ〜１０００ｎｍ）を除去した場合の残成分、
ｒ８２０−１０００、
ｇ８２０−１０００、
ｂ８２０−１０００、
これらをすべて０とするための係数ｋｒ、ｋｇ、ｋｂを算出する。
【００４２】
各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）と赤外光対応のフィルタ（ＩＲ）それぞれの赤外成分（８２０ｎｍ〜１０００ｎｍ）の透過率は、式（２）に示すとおり、すべて０．９５、すなわち、
ＩＲ８２０−１０００＝０．９５、
Ｒ８２０−１０００＝０．９５、
Ｇ８２０−１０００＝０．９５、
Ｂ８２０−１０００＝０．９５、
であり、この条件下で、式（１）を満たす係数の条件は式（３）で表される。すなわち、パラメータ（係数）ｋｒ、ｋｇ、ｋｂは、
ｋｒ＝１、
ｋｇ＝１、
ｋｂ＝１、
となる。
【００４３】
上記演算は、赤外光成分の長波長領域（８２０〜１０００ｎｍ）の除去処理として実行されている。しかしながら、画像の色再現性に悪影響を及ぼす近赤外光は、６８０ｎｍないし８２０ｎｍの深赤から近赤外領域の光も含まれる。特に洋服などの被写体では、近赤外光の反射率の高い染料が使われており、色再現性を高めるためにはカットオフ波長６６５ｎｍ程度の赤外光カットフィルタを用いて深赤から近赤外までの比較的短い波長もカットしなくてはならない。
【００４４】
そこで、８２０ｎｍないし１０００ｎｍに加え、比較的短い波長の赤外光成分（７５０ｎｍ付近）においても、ＲＧＢの各フィルタを通過した赤外光を同時に除去することを考える。この目的を達するためには係数をｊｒ、ｊｇ、ｊｂとおいたときに、いかに示す式（４）が満たされなくてはならない。
【数２】
2008288629.tif 000004
【００４５】
上記式中、式（４）は、各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）の通過光に含まれる赤外光成分中、波長の長い赤外成分（８２０ｎｍ〜１０００ｎｍ）を除去する演算式である。
式（１）において、
Ｒ８２０−１０００：赤［Ｒ：ＲＥＤ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
Ｇ８２０−１０００：緑［Ｇ：ＧＲＥＥＮ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
Ｂ８２０−１０００：青［Ｂ：ＢＬＵＥ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
Ｒ７５０：赤［Ｒ：ＲＥＤ］対応のフィルタの透過光中の赤外成分（７５０ｎｍ）、
Ｇ７５０：緑［Ｇ：ＧＲＥＥＮ］対応のフィルタの透過光中の赤外成分（７５０ｎｍ）、
Ｂ７５０：青［Ｂ：ＢＬＵＥ］対応のフィルタの透過光中の赤外成分（７５０ｎｍ）、
ＩＲ８２０−１０００：赤外光［ＩＲ］対応のフィルタの透過光中の赤外成分（８２０ｎｍ〜１０００ｎｍ）、
ＩＲ７５０：赤外光［ＩＲ］対応のフィルタの透過光中の赤外成分（７５０ｎｍ）、
を示している。
【００４６】
各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）の通過光から赤外光透過フィルタ（ＩＲ）を通して得られた成分に係数ｊｒ、ｊｇ、ｊｂを掛けたものを減算して、赤外光成分（８２０ｎｍ〜１０００ｎｍ）、赤外光成分（７５０ｎｍ）を除去した場合の残成分、
ｒ８２０−１０００、
ｇ８２０−１０００、
ｂ８２０−１０００、
ｒ７５０、
ｇ７５０、
ｂ７５０、
これらをすべて０とするための係数ｊｒ、ｊｇ、ｊｂを算出する。
【００４７】
各可視光対応のフィルタ（Ｒ，Ｇ，Ｂ）と赤外光対応のフィルタ（ＩＲ）それぞれの赤外成分（８２０ｎｍ〜１０００ｎｍ）と赤外成分（７５０ｎｍ）の透過率は、式（５）に示すとおりである。すなわち、
ＩＲ８２０−１０００＝０．９５、
Ｒ８２０−１０００＝０．９５、
Ｇ８２０−１０００＝０．９５、
Ｂ８２０−１０００＝０．９５、
ＩＲ７５０＝０．９５、
Ｒ７５０＝０．９５、
Ｇ７５０＝０．３２、
Ｂ７５０＝０．１５、
である。
【００４８】
ここで、式（４）の１列目と４列目、すなわち、
（ｒ８２０−１０００）＝（Ｒ８２０−１００００）−（（ＩＲ８２０−１０００）・ｊｒ）
（ｒ７５０）＝（Ｒ７５０）−（（ＩＲ７５０）・ｊｒ）
これらは線形従属であるが、それ以外は全て線形独立であるので、線形独立な式が５個で未知数が３個となり式（４）を満たす係数ｊｒ、ｊｇ、ｊｂの解を求めることはできないことになる。
【００４９】
これはすなわち、減算における係数をどのように選んでもＲＧＢ全てのチャネルで８２０ｎｍないし１０００ｎｍで赤外を除去するのと同時に７５０ｎｍの赤外光を除去できないことを意味する。
【００５０】
さらに、実際に除去したい赤外光成分はこれらだけではなく、図３に示されるＲＧＢフィルタの透過率を示すグラフでは、６８０ｎｍないし８２０ｎｍのそれぞれの波長ごとに透過率が異なる。このため、上記波長以外において赤外光を除去することは未知数の数を変えずに線形独立な方程式を増やすのと等価であり、これらＲＧＢ各フィルタを通過する赤外成分を、赤外光［ＩＲ］対応のフィルタの透過光情報のみを適用して正確に算出することはできないという結論が得られる。
【００５１】
先に図４を参照して説明したように、赤外光［ＩＲ］対応のフィルタは、ほぼ７８０ｎｍ以上の光を透過させるロングパスフィルタであり、赤外光の透過帯域における透過特性は波長に依存せずほぼ一定（約０．９５）となる。一方、図３を参照して説明したように、青［Ｂ：ＢＬＵＥ］と緑［Ｇ：ＧＲＥＥＮ］はそれぞれ、青または緑の各波長に対応する一定区間（バンド）の波長光を透過させるバンドパスフィルタであり、青、緑に限らず、シアン、マゼンタ対応のフィルタは、多くの場合、１種類または複数種類の光を選択的に透過させるバンドパスフィルタが利用され、これらのバンドパスフィルタ各々の赤外光透過特性は、各バンドパスフィルタに応じて異なる特性となる。
【００５２】
従って唯一の赤外光透過画素によって取得した信号を利用して、特性がそれぞれ異なるバンドパスフィルタから正確に赤外光成分だけを除去することは困難であり、バンドパスフィルタと赤外光［ＩＲ］対応のフィルタの組み合わせによって取得したデータからは、正確な赤外光成分除去ができず、色再現性の高いカラー画像を得ることはできない。
【００５３】
本発明は、上記の問題を解決するものであり、カラーフィルタとして特定の範囲の波長のみを透過させるバンドパスフィルタを使用せず、すべてロングパスフィルタのみ、あるいはロングパスフィルタと素通しフィルタの組み合わせからなるカラーフィルタを用いて撮像素子のカラーフィルタアレイを構成する。
【００５４】
このようなカラーフィルタアレイを利用した撮影画像の信号処理によって、各ロングパスフィルタの透過光から正確に赤外成分を除去して色再現性の高いカラー画像を得ることを可能としたものである。
【００５５】
前述したようにロングパスフィルタは、あるカットオフ波長より短い波長を遮断して、それより長い波長を透過する。従って長波長領域である赤外光成分は透過する。このため赤外光の波長ごとの透過特性はフィルタの種類によらずほぼ一定であり、得られた信号の線形演算によって、赤外光成分を容易に除去することができる。たとえば赤外光のみを通すフィルタを通した画素から得られた信号を赤と赤外光をどちらも透過する画素から得られた信号から減算することにより、赤のみを透過するバンドパス特性を合成することができる。
【００５６】
図６に本発明に従ったカラーフィルタアレイ（配列）の構成例を示す。図６に示すカラーフィルタアレイは、以下の構成要素を持つ。
紫外線カットフィルタ（ＡＬＬ）：カットオフ波長≒３８０とした紫外線（３８０ｎｍ以下）のみをカットし、約３８０ｎｍ以上の波長光を通過させるロングパスフィルタ。
黄色フィルタ（Ｙｅ＋ＩＲ）：カットオフ波長≒５００ｎｍとした約５００ｎｍ以上の波長光を通過させるロングパスフィルタ。
赤フィルタ（Ｒ＋ＩＲ）：カットオフ波長≒５８０ｎｍとした約５８０ｎｍ以上の波長光を通過させるロングパスフィルタ。
赤外光透過フィルタ（ＩＲ）：カットオフ波長≒６６０ｎｍとした約６６０ｎｍ以上の波長光を通過させるロングパスフィルタ。
【００５７】
図６に示すカラーフィルタアレイ（配列）は、異なる４種類のロングパスフィルタによって構成したカラーフィルタ配列の一例である。紫外線カットフィルタ（ＡＬＬ）と、黄色フィルタ（Ｙｅ＋ＩＲ）と、赤フィルタ（Ｒ＋ＩＲ）は可視光成分と赤外光成分を透過する可視光透過型ロングパスフィルタであり、赤外光透過フィルタ（ＩＲ）は、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタである。本発明の構成では、このように、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを適用する。
【００５８】
図６に示すカラーフィルタアレイ（配列）は、紫外線カットフィルタ適用画素（ＡＬＬ）が１６画素中、市松配列で８個、黄色＋赤外透過フィルタ画素（Ｙｅ＋ＩＲ）が縦横ひとつ飛ばしで４個、赤＋赤外透過フィルタ画素（Ｒ＋ＩＲ）が２個、赤外透過フィルタを備えた画素（ＩＲ）が２個によって構成された例である。
【００５９】
図６に示すカラーフィルタアレイ（配列）に含まれる４種類のロングパスフィルタ各々の感度特性を図７に示す。図７のグラフの縦軸は透過率（％）であり、横軸は波長（ｎｍ）である。紫外線カットフィルタ（ＡＬＬ）、黄色フィルタ（Ｙｅ＋ＩＲ）、赤フィルタ（Ｒ＋ＩＲ）はいずれもカットオフ波長より長い波長を全て透過するロングパスフィルタであり、全て赤外光を透過する。
【００６０】
紫外線カットフィルタ（ＡＬＬ）のカットオフ波長は、例えば３８０ｎｍであり、３５０ｎｍから４００ｎｍの間で透過率が大幅に変化する。３５０ｎｍより短い波長はほぼ遮断、４００ｎｍより長い波長はほぼ透過する。赤外光透過率Ｌ６８０−１０００はほぼ一定値約０．９５である。
【００６１】
同様に黄色フィルタ（Ｙｅ＋ＩＲ）のカットオフ波長は例えば５００ｎｍであり、４８０ｎｍから５２０ｎｍの間で透過率が大幅に変化する。４８０ｎｍより短い波長はほぼ遮断、５２０ｎｍより長い波長はほぼ透過であり赤外光透過率Ｙ６８０−１０００はほぼ一定値約０．９８である。
【００６２】
また、赤フィルタ（Ｒ＋ＩＲ）のカットオフ波長は、例えば５８０ｎｍであり、５６０ｎｍから６００ｎｍの間で透過率が大幅に変化する。５６０ｎｍより短い波長はほぼ遮断、６００ｎｍより長い波長はほぼ透過であり赤外光の透過率Ｒ６８０−１０００はほぼ一定値０．９６である。
【００６３】
さらに、赤外光透過フィルタ（ＩＲ）のカットオフ波長は、例えば６６０ｎｍであり、６４０ｎｍより短い波長はほぼ遮断し、約６８０ｎｍより長い波長はほぼ透過で透過率ＩＲ６８０−１０００はほぼ一定値０．９７である。
【００６４】
図７に示すように、これら４種類のロングパスフィルタの感度特性は、いずれも、波長の長い領域、具体的には、ほぼ赤外光領域に相当する６８０ｎｍ以上の波長領域において、その透過率は０．９５〜０．９８であり大きな変化を発生させることなく安定したほぼ一定の透過率となっている。
【００６５】
本発明は、このようなロングパスフィルタの特性を利用して、これら４種類の分光フィルタを通した得られる信号を入力して、６８０ｎｍから１０００ｎｍまでの赤外光の除去処理を実行して、正確な３原色信号を得る。
【００６６】
図６に示す４種類のロングパスフィルタ、すなわち、
紫外線カットフィルタ（ＡＬＬ）
黄色フィルタ（Ｙｅ＋ＩＲ）
赤フィルタ（Ｒ＋ＩＲ）
赤外光透過フィルタ（ＩＲ）
これらのフィルタを介して得られる４つの信号から、赤外光成分（６８０ｎｍ〜１０００ｎｍ）の赤外光を除去するためのパラメータ（係数）：ｍｒ、ｍｇ、ｍｂを求めるための条件式は、以下に示す式（６）となる。
【００６７】
【数３】
2008288629.tif 000005
【００６８】
上記式（６）において、
Ｒ６８０−１０００：赤対応ロングパスフィルタ（Ｒ＋ＩＲ）の透過光中の赤外成分（６８０ｎｍ〜１０００ｎｍ）、
Ｙ６８０−１０００：黄色対応ロングパスフィルタ（Ｙｅ＋Ｒ）の透過光中の赤外成分（６８０ｎｍ〜１０００ｎｍ）、
Ｌ６８０−１０００：素通しロングパスフィルタ（ＡＬＬ）の透過光中の赤外成分（６８０ｎｍ〜１０００ｎｍ）、
ＩＲ６８０−１０００：赤外光［ＩＲ］対応のロングパスフィルタの透過光中の赤外成分（６２０ｎｍ〜１０００ｎｍ）、
を示している。
【００６９】
各可視光成分を透過させるロングパスフィルタ（Ｒ＋ＩＲ，Ｙｅ＋ＩＲ，ＡＬＬ）、これらのフィルタの通過光から赤外光透過フィルタ（ＩＲ）を通して得られた成分に係数ｍｒ、ｍｇ、ｍｂを掛けたものを減算して、赤外光成分（６８０ｎｍ〜１０００ｎｍ）を除去した場合の残成分、
ｒ６８０−１０００、
ｇ６８０−１０００、
ｂ６８０−１０００、
これらをすべて０とするための係数ｍｒ、ｍｇ、ｍｂを算出する。
【００７０】
各可視光成分を通過させるロングパスフィルタ（Ｒ＋ＩＲ，Ｙｅ＋ＩＲ，ＡＬＬ）と赤外光対応のフィルタ（ＩＲ）それぞれの赤外成分（６８０ｎｍ〜１０００ｎｍ）の透過率は、先に、図７を参照して説明したように、式（７）に示すとおりである。すなわち、
ＩＲ６８０−１０００＝０．９７、
Ｒ６８０−１０００＝０．９６、
Ｙ６８０−１０００＝０．９８、
Ｌ６８０−１０００＝０．９５、
であり、この条件下で、式（６）を満たす係数の条件は式（８）で表される。すなわち、パラメータ（係数）ｍｒ、ｍｇ、ｍｂは、
ｍｒ＝０．９６／０．９７、
ｍｇ＝０．９８／０．９６、
ｍｂ＝０．９５／０．９８、
となる。
【００７１】
上記式（８）に基づいたパラメータ（係数）、
ｍｒ＝０．９６／０．９７、
ｍｇ＝０．９８／０．９６、
ｍｂ＝０．９５／０．９８、
これらを式（９）に代入して計算すると、画像処理によって合成したｒ、ｇ、ｂの分光透過率を求めることができる。
【００７２】
なお、
赤（ｒ）は、赤対応のロングパスフィルタ（Ｒ＋ＩＲ）から、赤外光透過フィルタ（ＩＲ）にパラメータ（ｍｒ）を乗算した値を減算することによって求められ、
緑（ｇ）は、黄色対応のロングパスフィルタ（Ｙｅ＋ＩＲ）から、赤外光透過フィルタ（ＩＲ）にパラメータ（ｍｇ）を乗算した値を減算することによって求められ、
青（ｂ）は、素通しロングパスフィルタ（ＡＬＬ）から、赤外光透過フィルタ（ＩＲ）にパラメータ（ｍｂ）を乗算した値を減算することによって求められる。
すなわち、
赤（ｒ）＝（Ｒ＋ＩＲ）−（ＩＲ・ｍｒ）
緑（ｇ）＝（Ｙｅ＋ＩＲ）−（ＩＲ・ｍｇ）
青（ｂ）＝（ＡＬＬ）−（ＩＲ・ｍｂ）
として算出される。パラメータ（係数）は、
ｍｒ＝０．９６／０．９７、
ｍｇ＝０．９８／０．９６、
ｍｂ＝０．９５／０．９８、
である。
【００７３】
図８に、上述した演算によって算出したパラメータ（係数）ｍｒ、ｍｇ、ｍｂを適用して、上記の式（９）によって算出したｒ，ｇ，ｂ各成分光の透過率を示す。図８に示すように、ｒ，ｇ，ｂそれぞれが赤（ｒ）、緑（ｇ）、青（ｂ）各々に対応する特定波長領域のみの光成分の光として設定され、余分な波長成分を含まない光成分の抽出が実現されることが分かる。
【００７４】
次に、図９を参照して上記のロングパスフィルタによって構成されるカラーフィルタを適用した撮像処理および赤外光成分の除去処理としての信号処理を実行する撮像装置の構成例について説明する。
【００７５】
図９に示す撮像装置１００は、例えば先に図６、図７を参照して説明した４種類のロングパスフィルタ、すなわち、
紫外線カットフィルタ（ＡＬＬ）
黄色フィルタ（Ｙｅ＋ＩＲ）
赤フィルタ（Ｒ＋ＩＲ）
赤外光透過フィルタ（ＩＲ）
これらの４種類のロングパスフィルタを介する入射光を受光するイメージセンサ（撮像素子）１１１を有する。
【００７６】
イメージセンサ１１１で撮影した画像は、図６を参照して説明したカラーフィルタ配列に対応したモザイク画像１２１として入力される。すなわち、各画素の各について、４種類（ＡＬＬ，Ｙｅ＋ＩＲ，Ｒ＋ＩＲ，ＩＲ）のいずれか１つの信号のみが割り当てられたモザイク画像１２１が得られる。デモザイク処理部１２２は、このモザイク画像に基づいてデモザイク処理、すなわち、すべての画素に４種類（ＡＬＬ，Ｙｅ＋ＩＲ，Ｒ＋ＩＲ，ＩＲ）の信号成分を割り付ける処理を行なう。例えば、ＡＬＬ画素の高解像度信号を利用し色ごとに全ての画素をそろえる補間処理を行う。
【００７７】
次に赤外光成分（ＩＲ）除去部１２３において、先に説明した式（６）〜（９）に従って、赤外光除去パラメータｍｒ，ｍｇ，ｍｂを算出して、算出した赤外光除去パラメータｍｒ，ｍｇ，ｍｂを適用した演算（式（９））を適用して、赤外光除去後のｒ，ｇ，ｂ各信号成分の抽出としての赤外光（ＩＲ）成分除去処理を行う。
【００７８】
赤外光成分（ＩＲ）除去部１２３は、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行する。具体的には、先に式（６）〜（９）を参照して説明したように、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータ（ｍｒ，ｍｇ，ｍｂ）を算出し、算出したパラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去した可視光成分からなる色信号を生成する処理を実行する。
【００７９】
さらに、必要に応じてノイズ除去部１２４においてノイズ除去処理を実行する。例えば、ＡＬＬ画像を利用したエッジ保存フィルタなどのノイズ除去処理を行い、結果としてＲＧＢ画像２０１を得る。なお、ノイズ除去部１２４の実行するノイズ除去処理は、例えば、文献［Ｇｅｏｒｇ  Ｐｅｔｓｃｈｎｉｇｇ，Ｍａｎｅｅｓｈ  Ａｇａｒａｗａｌａ，Ｈｕｇｕｅｓ  Ｈｏｐｐｅ，Ｒｉｃｈａｒｄ  Ｓｚｅｌｉｓｋｉ，Ｍｉｃｈｅｌ  Ｃｏｈｅｎ，Ａｎｄ  Ｋｅｎｔａｒｏ  Ｔｏｙａｍａ．"Ｄｉｇｉｔａｌ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  Ｆｌａｓｈ  ａｎｄ  Ｎｏ−Ｆｌａｓｈ  Ｉｍａｇｅ  Ｐａｉｒｓ"，  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ２００４，  Ｖｏｌｕｍｅ  ２３  Ｉｓｓｕｅ  ３  ＰＰ．６６４−６７２］において開示されているノイズ除去処理、すなわち上記文献中の式（４）で定義された  Ｊｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒ  を使用することができる。
【００８０】
このＪｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒの使用によるノイズ除去処理は、上記文献の図３に示す通り、色あいが適切でノイズが多いＮｏ−Ｆｌａｓｈ  Ｉｍａｇｅ  を第１の入力とし、色あいが撮影者の意図とは異なるが信号レベルが高くノイズが少ない  Ｆｌａｓｈ  Ｉｍａｇｅ  を第２の入力とすることにより、ノイズ除去結果ＡＮＲを得るものである。なお、Ｊｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒ  を本発明に適用する場合は、赤外光成分除去によって適切な色味が得られたＲＧＢ画像を第１の入力として用い、赤外光成分を含み高い信号レベルが得られるためノイズが少ないＡＬＬ画像を第２の入力として用いることにより、ノイズ除去結果画像を得ることができる。
【００８１】
ＲＧＢ画像２０１は、先に、図８を参照して説明したように赤外光成分がきれいに取り除かれた赤（ｒ），緑（ｇ），青（ｂ）の信号成分をより多く含む高品質なＲＧＢ信号となり、高品質なＲＧＢ画像となる。
【００８２】
また、イメージセンサ１１１に適用されているフィルタは、図６、図７を参照して説明したように、すべての画素において赤外光成分を通過させるロングパスフィルタであり、例えば自然の赤外光を利用した撮影、あるいは赤外光投光器１０１によって赤外光を投光して撮影することで、すべての画素に赤外光成分を受光した撮影画像が取得できることになり、これをそのまま赤外光画像２０２として出力することができる。
【００８３】
さらに、図６に示したようにイメージセンサ１１１に適用されているフィルタには、紫外線のみをカットする紫外線カットフィルタ（ＡＬＬ）が利用され、このＡＬＬのモザイク画像１３１のみを取り出して補間部１３２において補完して全画素に対応するＡＬＬ信号を生成することにより、赤外光を含んだ全波長を透過したＡＬＬ（可視光＋赤外光）画像２０３を生成することもできる。
【００８４】
さらに、図６に示したようにイメージセンサ１１１に適用されているフィルタには、赤外光透過フィルタ（ＩＲ）が利用され、この赤外光（ＩＲ）のモザイク画像１４１のみを取り出して、予め定めたアルゴリズムに従ったデコード処理をデコード処理部１４２において実行して、通信データ２０４を生成することも可能である。すなわちこの場合、撮像装置１００は赤外光通信における受信手段として機能する。さらに、図示していないが、ＡＬＬとＩＲのみを用い、赤外光を除去した白黒画像を生成することも可能である。
【００８５】
なお、赤外光投光器１０１は、監視カメラなどの夜間撮影において赤外光画像を取得するために有効となる。また、弱い可視光照明がある場合には、自然の赤外光または赤外光投光器１０１を併用した照明を利用して、デモザイクの精度を向上させたりノイズ除去の効果を高めたりすることが可能である。また、可視光照明が非常に弱い場合、カラー画像と同時または切り替えて白黒画像またはＡＬＬ画像を出力する構成としてもよい。
【００８６】
なお、ロングパスフィルタからなるカラーフィルタの構成例として、図６に示す例を説明したが、この図６に示す配列以外にも、様々な配列が可能である。たとえば、図６に示す例では、紫外線カットフィルタ（ＡＬＬ）を利用した礼として説明したが、この紫外線カットフィルタ（ＡＬＬ）を、紫外線をカットしない全波長透過型フィルタに置き換えても、上述と同様の処理が可能となる。
【００８７】
また、図１０に示すように、Ｙｅ＋ＩＲの画素とＡＬＬ画素の比率を逆転させてもデモザイクアルゴリズムの詳細部分が異なるのみで作用は同じである。図１０に示すカラーフィルタ配列は、４×４＝１６画素の配分を、
紫外線カットまたは全透過フィルタ（ＡＬＬ）：４
黄色フィルタ（Ｙｅ＋ＩＲ）：８
赤フィルタ（Ｒ＋ＩＲ）：２
赤外光透過フィルタ（ＩＲ）：２
とした例であり、
ＡＬＬからｒ，ｇ，ｂ全成分が取得可能であり、Ｙｅ＝ｇ＋ｒであるので、緑（ｇ）について、多くの画素から正確なデータが取得可能となり特に緑（ｇ）の解像度を高めることが可能な配列である。
【００８８】
さらに、図１１に示すように画素数の比率を変えても作用は同じである。図１１に示すカラーフィルタ配列は、４×４＝１６画素の配分を、
紫外線カットまたは全透過フィルタ（ＡＬＬ）：４
黄色フィルタ（Ｙｅ＋ＩＲ）：４
赤フィルタ（Ｒ＋ＩＲ）：４
赤外光透過フィルタ（ＩＲ）：４
とした例であり、
ｒ，ｇ，ｂ全成分についてほぼ均一のデータが取得可能であり、ｒｇｂ各色の解像度をほぼ同一に設定することが可能な配列である。
【００８９】
なお、上述の実施は例において説明した例では、赤外成分を除去したＲＧＢの各色成分の算出式として、前述の式（６）〜（９）を利用した例について説明したが、上記式（６）〜（９）は、ＲＧＢ信号のみならず、例えばシアンや黄色などの色情報を得る場合も同様の処理が適用可能である。また、ロングパスフィルタとして、通過域・遮断域における透過率の小変化、すなわち「リプル」が存在するタイプのものを使用することも可能である。この場合はリプルの影響によって誤差が生じるが、透過率の小変化に起因する誤差は十分小さく無視できるので上述の実施例とほぼ同様の作用が実現される。
【００９０】
このように、本発明の撮像装置および画像処理においては、カラーフィルタに赤外光を通過させる複数の異なるロングパスフィルタを適用した構成とし、赤外光領域での透過率がほぼ均一になる特性を持つロングパスフィルタの特性を用いて赤外光成分の除去を正確に行なうことを可能として、より品質の高い色再現性の高いカラー画像を取得可能とした。
【００９１】
本発明の構成に基づく具体的な効果としては、例えば以下の効果がある。
（効果１）
撮像素子にロングパスフィルタのみからなるカラーフィルタアレイを適用した構成、または撮像素子にロングパスフィルタとフィルタを適用しない画素からなるカラーフィルタアレイを適用した構成により、赤外光成分の透過特性を全てのチャネルでほぼ同等または相似にすることが可能となった。その結果として、外付け赤外光カットフィルタを適用すること無しに、画像処理によって正確に赤外光成分を除去することが可能となった。
【００９２】
（効果２）
撮像素子に入射した赤外光成分を画像処理によって除去する構成としたことにより、赤外光を含む画像と、赤外光を含まない色再現性の高いカラー画像を同時に撮影することができる。その結果として、リアルタイムに発光する赤外光を利用した空間光通信などの付加機能と、色再現性の高いカラー撮像を同時に両立することができる。
【００９３】
（効果３）
赤外光成分を含み、Ｓ／Ｎ比の良い信号を利用して解像度を高めるデモザイク処理を行う構成により、デモザイク処理におけるエッジ方向検出の精度を高め、その結果として欠けた画素の補間処理の補間方向の精度を高めることができる。補間方向精度の向上は、デモザイク後に赤外光除去処理を行う構成により、色再現性の高さをまったく損なわずに実現することができる。
【００９４】
（効果４）
赤外光成分を含み、Ｓ／Ｎ比の良い信号を利用して画像のノイズリダクション処理を行う構成により、ノイズリダクションのためのエッジ検出精度を高めることができる。その結果としてエッジ保存フィルタにおけるエッジの境界がノイズに乱されない、効果的なノイズリダクション結果が得られる。また、ノイズリダクションの前または後に画像処理による赤外光成分除去を行う構成により、色再現性の高さとノイズリダクション効果の両立を実現することができる。
【００９５】
（効果５）
撮像素子に入射した赤外光成分を画像処理によって除去を行う機能、例えば図９に示す赤外光成分（ＩＲ）除去部１２３の処理の可否を電子的に切り替える構成とすることで、例えば監視カメラなど赤外光の使用可否を夜昼で切り替えて撮影するようなアプリケーションにおいて、赤外カットフィルタの機械的な切り替えが不要となる。その結果として、赤外カットフィルタの設定／解除を行う機構が不要となりコスト削減が可能となるとともに、機械的な機構に伴う磨耗部が発生することなく耐久性を高めることができる。
【００９６】
（効果６）
撮像素子に入射した赤外光成分を画像処理によって除去する構成としたことで、赤外光投光器や赤外光フラッシュ等を併用して撮影するアプリケーションにおいて、赤外光投光器の光むらをキャンセルすることができる。
【００９７】
（効果７）
例えば、図６、図１０、図１１に示すカラーフィルタ配列には、ＲＧＢのすべての波長光を入射するＡＬＬ画素が含まれ、さらに、ＲとＧの波長光を入射するＹｅ画素が多く含まれる設定、例えば、ＡＬＬ画素を市松配列にする配置、またはＹ画素を市松配列にするカラーフィルタアレイであるので、より多くの情報が取得でき、解像度の高い画像を得ることが可能となる。
【００９８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１００】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０１】
以上、説明したように、本発明の一実施例の構成によれば、ＲＧＢ信号等の可視光信号と赤外光信号を透過させる可視光透過型ロングパスフィルタと、赤外光成分を選択的に透過する赤外光透過ロングパスフィルタを含み、ロングパスフィルタのみ、またはロングパスフィルタと全透過型フィルタのみによって構成されるカラーフィルタを介した光を撮像素子において受光し、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して、可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分の除去処理を実行してＲＧＢ画像信号を生成する構成とした。ロングパスフィルタは赤外光領域においてほぼフラットな光透過率を有するので、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出して算出したパラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去することで、正確な赤外光成分除去が可能となり、高品質なＲＧＢ画像を生成することが可能となる。
【図面の簡単な説明】
【０１０２】
【図１】一般的なカラーフィルタで用いられる色配列の例について説明する図である。
【図２】赤外光透過フィルタを含むカラーフィルタアレイについて説明する図である。
【図３】Ｒ，Ｇ，Ｂフィルタの分光特性を示す図である。
【図４】赤外光透過フィルタ［ＩＲ］の分光特性を示す図である。
【図５】赤外光対応のフィルタ（ＩＲ）を通過して受光した赤外光量を減算するといった処理によって可視光成分のみからなる出力を得る信号処理回路の例について説明する図である。
【図６】本発明において適用するカラーフィルタの色配列の一例について説明する図である。
【図７】図６に示すカラーフィルタアレイ（配列）に含まれる４種類のロングパスフィルタ各々の感度特性を示す図である。
【図８】演算によって算出したパラメータ（係数）ｍｒ、ｍｇ、ｍｂを適用して算出したｒ，ｇ，ｂ各成分光の透過率を示す図である。
【図９】本発明の一実施例に係る撮像装置の構成および処理について説明する図である。
【図１０】本発明において適用するカラーフィルタの色配列の一例について説明する図である。
【図１１】本発明において適用するカラーフィルタの色配列の一例について説明する図である。
【符号の説明】
【０１０３】
１００  撮像装置
１０１  赤外光投光器
１１１  イメージセンサ
１２１  モザイク画像
１２２  デモザイク処理部
１２３  赤外光成分（ＩＲ）除去部
１２４  ノイズ除去部
１３１  ＡＬＬモザイク画像
１３２  補間処理部
１４１  ＩＲモザイク画像
１４２  デコード処理部
２０１  ＲＧＢ画像
２０２  赤外光画像
２０３  ＡＬＬ画像
２０４  通信データ
【図１】
2008288629.tif 000006
【図２】
2008288629.tif 000007
【図３】
2008288629.tif 000008
【図４】
2008288629.tif 000009
【図５】
2008288629.tif 000010
【図６】
2008288629.tif 000011
【図７】
2008288629.tif 000012
【図８】
2008288629.tif 000013
【図９】
2008288629.tif 000014
【図１０】
2008288629.tif 000015
【図１１】
2008288629.tif 000016