(57)【要約】  低ノイズのカラー画像を提供するための方法および撮像システムが開示される。この方法は、可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含む画像センサを、上記可視スペクトルのエネルギーおよび上記非可視スペクトルのエネルギーに露出するステップと、第1の画像データおよび第2の画像データを生成するステップと、上記第1の画像データをローパスフィルタにかけ、上記第2の画像データをハイパスフィルタにかけるステップと、上記第2の画像データの高周波数成分の少なくとも一部を、上記第1の画像データの低周波数成分の少なくとも一部に加えることによってカラー画像を形成するステップとを含む。
2013503527.tif 000002
【特許請求の範囲】
【請求項１】
低ノイズのカラー画像を提供する方法であって、
可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含む画像センサを、前記可視スペクトルのエネルギーおよび前記非可視スペクトルのエネルギーに露出するステップと、
第1の画像データおよび第2の画像データを生成するステップと、
前記第1の画像データをローパスフィルタにかけ、前記第2の画像データをハイパスフィルタにかけるステップと、
前記第2の画像データの高周波数成分の少なくとも一部を、前記第1の画像データの低周波数成分の少なくとも一部に加えることによってカラー画像を形成するステップと
を含む方法。
【請求項２】
前記第1の画像データを得るための前記ピクセルが、前記可視スペクトルのエネルギーの少なくとも一部を透過させるように構成された1つまたは複数のカラーピクセルフィルタを含む、請求項1に記載の方法。
【請求項３】
前記第2の画像データを得るための前記ピクセルが、前記非可視スペクトルのエネルギーの実質的な部分を透過させ、前記可視スペクトルのエネルギーの実質的な部分を遮断するように構成された1つまたは複数の赤外線透過ピクセルフィルタを含む、請求項1または2に記載の方法。
【請求項４】
第1の画像データおよび第2の画像データを得るための前記ピクセルが、縦方向に積み重ねられた2つ以上のフォトセンサを含み、前記フォトセンサの少なくとも1つが、前記可視スペクトルのエネルギーの所定部分に反応し、前記フォトセンサの少なくとも1つが、前記非可視スペクトルの所定部分に反応する、請求項1に記載の方法。
【請求項５】
前記画像センサが、少なくとも第1の絞りを使用して前記可視スペクトルのエネルギーに露出され、少なくとも第2の絞りを使用して前記非可視スペクトルのエネルギーに露出される、請求項1から4のいずれか1項に記載の方法。
【請求項６】
前記第1の絞りが、前記非可視スペクトルのエネルギーの少なくとも一部に対する前記画像センサの露出を調節するように適合されており、前記第2の絞りが、前記可視スペクトルのエネルギーの少なくとも一部に対する前記画像センサの露出を調節するように適合されている、請求項5に記載の方法。
【請求項７】
前記第2の画像データのフィルタにかけられた高周波数成分を、前記第2の絞りに対する前記第1の絞りの比に比例して増幅するステップをさらに含む、請求項5または6に記載の方法。
【請求項８】
少なくとも第1のISO感度に従って、前記可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅し、少なくとも第2のISO感度に従って、前記非可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅するステップをさらに含み、前記第1のISO感度が、前記第2のISO感度より大きく、好ましくは、前記第1のISOの値と前記第2のISOの値との比がおよそ2と8の間である、請求項1から7のいずれか1項に記載の方法。
【請求項９】
前記非可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間を、前記可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間より低い値に設定するステップをさらに含む、請求項1から8のいずれか1項に記載の方法。
【請求項１０】
前記画像センサによって生成されたモザイク画像データを提供するステップと、
前記画像データに基づいて、1つまたは複数のカラーピクセルに関連する少なくとも1つまたは複数の第1のカラー画像データと、前記赤外線ピクセルに関連する第2の画像データとを、デモザイキングアルゴリズムを用いて生成するステップと
をさらに含む、請求項1から3のいずれか1項に記載の方法。
【請求項１１】
可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに画像センサを露出することによって生成される画像データを受信するための入力部であって、前記画像データが、可視スペクトルのエネルギーに関連する第1の画像データ、および、非可視スペクトルのエネルギーに関連する第2の画像データを含む、入力部と、
前記第1の画像データをローパスフィルタにかけ、前記第2の画像データをハイパスフィルタにかけるように構成されたノイズ低減部と、
前記ハイパスフィルタにかけられた赤外線画像データを、前記ローパスフィルタにかけられたカラー画像データに加えるための混合部と
を含む、画像処理装置。
【請求項１２】
可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに露出するように構成され、前記可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、前記非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含み、絞り系が、前記可視スペクトルのエネルギーおよび前記非可視スペクトルのエネルギーへの画像センサの露出を調節するように適合されている、画像センサと、
請求項11に記載の画像処理装置と
を含む、撮像システム。
【請求項１３】
前記絞り系が、前記非可視スペクトルのエネルギーの少なくとも一部への画像センサの露出を調節するように適合されている少なくとも第1の絞りと、前記可視スペクトルのエネルギーの少なくとも一部への前記画像センサの露出を調節するように適合されている少なくとも第2の絞りとを含む、請求項12に記載の撮像システム。
【請求項１４】
好ましくは2次元のピクセルアレイであり、可視スペクトルのエネルギーに感光性のある1つまたは複数のカラーピクセルと、非可視スペクトルのエネルギーに感光性のある1つまたは複数の赤外線ピクセルとを定めるピクセルアレイと、
前記カラーピクセルに関連するISO感度を第1のISO感度の値に設定するための、前記カラーピクセルの少なくとも一部に関連する少なくとも1つの第1の増幅器と、前記赤外線ピクセルに関連するISO感度を第2のISO感度の値に設定するための、前記赤外線ピクセルの少なくとも一部に関連する第2の増幅器とを含み、前記第1のISO感度の値が前記第2のISO感度の値より大きく、好ましくは、前記第1のISO感度の値と前記第2のISO感度の値の比が、およそ2と8の間で調節されうるように前記第1の増幅器および前記第2の増幅器が構成されている、請求項12または13に記載の撮像システムで用いるための画像センサ。
【請求項１５】
コンピュータシステムのメモリにおいて動作する際に、請求項1から10のいずれか1項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を含む、カラー画像を処理するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像のノイズを低減することに関し、詳細には、限定しないが、低ノイズのカラー画像を提供するための方法およびシステム、そのようなシステムで用いるための画像処理装置および画像センサ、ならびに、そのような方法を用いるコンピュータプログラム製品に関する。
【背景技術】
【０００２】
従来のデジタルカメラでは、できるだけ実際のシーンに一致するカラー画像を再現するために、フィルタ、例えばレンズと画像センサの間に配置されるカラーフィルタアレイ(CFA)や、レンズの前の赤外線遮断フィルタが用いられる。しかし、フィルタを使用すると画像センサに届く光量が少なくなり、それによってカメラの信号対雑音比(SNR)が実質的に劣化する。さらに、ピクセルのサイズを小さくすることによってセンサの解像度を上げることなど、デジタルカメラ技術における最近の傾向と、光の少ない条件で画像を取り込むために高いISO感度で向上した画像品質を得たいという要求によって、SNRがさらに劣化する恐れがある。
【０００３】
露出時間を長くするか、または絞りを大きくして、より多くの光に画像センサを露出するなどの、SNRを向上させるための方法は、動きによるぶれ、および/または、被写界深度(DOF)の短縮をまねく場合があり、したがって本当の改善をもたらさない。他の選択肢は、ISO感度を上げること(すなわち、画像センサのゲインを増やすこと)である。しかし、ISO感度を上げることによって、画像ノイズが著しく増える。したがって、光の少ない条件において、かつ/または、ピクセルサイズの小さい画像センサを用いる場合において、SNRを向上させる、または所望のレベルに少なくとも維持するために、ノイズを低減するための技術はますます重要となる。
【０００４】
デジタルカメラのSNRを向上させる方法の1つは、広いスペクトル感度を有する画像センサを用いることでありうる。例えば、米国特許出願公開第2007/0153335号では、RGBピクセルと、フィルタのない(透明な)ピクセルとを含む画像センサの使用が記載されている。透明ピクセルの信号はノイズ低減方式で使用され、透明ピクセルの信号に含まれるエッジ情報に基づいて、比較的高ノイズのRGBピクセルの信号がフィルタにかけられる。しかし、このノイズ低減方式は、かなり複雑であり、エッジ保存フィルタリングに依拠している。エッジ保存フィルタ(例えば、メディアンフィルタ、バイラテラルフィルタなど)の使用に関する問題は、このようなフィルタが、鋭いエッジまたは明瞭なエッジに関係しない細部に対して、ノイズと実際の画像細部との違いを判別することが根本的にできないことである。
【０００５】
したがって、当技術分野では、SNRを向上させたカラー画像をもたらす簡単で効率的な方法を提供するための方法およびシステムが必要である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第2007/0153335号
【特許文献２】米国特許出願公開第2009/0159799号
【特許文献３】米国特許出願公開第2007/0145273号
【特許文献４】WO2007/015982
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、従来技術において知られている欠点の少なくとも1つを低減する、または、なくすことである。第1の態様では、本発明は、カラー画像を処理する方法に関しうる。
【課題を解決するための手段】
【０００８】
本方法は、可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含む画像センサを、上記可視スペクトルのエネルギーおよび上記非可視スペクトルのエネルギーに露出するステップと、第1の画像データおよび第2の画像データを生成するステップと、上記第1の画像データをローパスフィルタにかけ、上記第2の画像データをハイパスフィルタにかけるステップと、上記第2の画像データの高周波数成分の少なくとも一部を、上記第1の画像データの低周波数成分の少なくとも一部に加えることによってカラー画像を形成するステップとを含むことができる。
【０００９】
可視スペクトルのエネルギーに関連する第1の画像データ、および、非可視スペクトルのエネルギーに関連する第2の画像データを生成するための様々な画像センサを用いることができる。一実施形態では、上記第1の画像データを得るための上記ピクセルは、上記可視スペクトルのエネルギーの少なくとも一部を透過させるように構成された1つまたは複数のカラーピクセルフィルタを含むことができる。別の実施形態では、上記第2の画像データを得るための上記ピクセルは、上記非可視スペクトルのエネルギーの実質的な部分を透過させ、上記可視スペクトのエネルギーの実質的な部分を遮断するように構成された1つまたは複数の赤外線透過ピクセルフィルタを含むことができる。さらに別の実施形態では、第1の画像データおよび第2の画像データを得るための上記ピクセルは、縦方向に積み重ねられた2つ以上のフォトセンサを含み、上記フォトセンサの少なくとも1つは、上記可視スペクトルのエネルギーの所定部分に反応し、また上記フォトセンサの少なくとも1つは、上記非可視スペクトルの所定部分に反応する。
【００１０】
したがって、公知のノイズ低減方式とは対照的に、本発明によるノイズ低減処理では、「複合の」低ノイズのカラー画像が生成され、カラー情報は、RGBピクセルによって生成されるRGB画像データの低周波数成分によって提供され、画像細部の情報は、赤外線ピクセルによって生成される赤外線画像データの高周波数成分によって提供される。カラー画像は、低周波数のRGB画像データを、高周波数の赤外線画像データに単に加えることによって得られる。本発明は、カラー画像における効果的なノイズ抑圧を可能とする、カラー画像のSNRを実質的に向上させる比較的低ノイズの赤外線ピクセルの信号を、画像センサが生成する点に基づいている。
【００１１】
一実施形態では、画像センサは、少なくとも第1の絞りを使用して上記可視スペクトルのエネルギーに露出され、また、少なくとも第2の絞りを使用して上記非可視スペクトルのエネルギーに露出されうる。別の実施形態では、上記第1の絞りは、上記非可視スペクトルのエネルギーの少なくとも一部に対する画像センサの露出を調節するように適合することができ、上記第2の絞りは、上記可視スペクトルのエネルギーの少なくとも一部に対する上記画像センサの露出を調節するように適合することができる。さらなる実施形態では、本方法は、上記第2の画像データのフィルタにかけられた高周波数成分を、第2の絞りに対する第1の絞りの比に比例して増幅するステップをさらに含む。二重絞りを用いることによって、絞りが大きく、したがって光の少ない状況において効果的に動作すると同時に、鮮鋭な写真をもたらす向上したDOFとSNRを有する、固定焦点のレンズをもつ撮像システム(例えば、携帯電話のカメラ)が提供される。
【００１２】
一変形形態では、本方法は、少なくとも第1のISO感度に従って、上記可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅し、少なくとも第2のISO感度に従って、上記非可視スペクトルのエネルギーに関連する1つまたは複数の画像センサ信号を増幅するステップをさらに含むことができ、上記第1のISO感度は、上記第2のISO感度より大きい。一実施形態では、上記第1のISOの値と上記第2のISOの値との比は、およそ2と8の間に設定することができる。2つのISOの設定を用いることによって、光の少ない条件において、向上したカラー画像を得ることができる。
【００１３】
別の変形形態では、本方法は、上記非可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間を、上記可視スペクトルのエネルギーに関連する1つまたは複数のピクセルを露出するための露出時間より低い値に設定するステップをさらに含むことができる。赤外線ピクセルに対して比較的短い露出時間を用いることによって、ぶれの少ないカラー画像を得ることができる。
【００１４】
さらなる変形形態では、本方法は、補正されたカラー画像データを形成するために、上記第1のデータの少なくとも一部から、上記第2の画像データの少なくとも一部を引くステップをさらに含むことができる。したがって、赤外線画像データは、カラーピクセルによって生成された信号における赤外線成分を効率的に除くために用いることができる。
【００１５】
さらに別の実施形態では、本方法は、上記画像センサによって生成されたモザイク画像データを提供するステップと、上記画像データに基づいて、1つまたは複数のカラーピクセルに関連する少なくとも1つまたは複数の第1のカラー画像データと、上記赤外線ピクセルに関連する第2の画像データとを、デモザイキングアルゴリズムを用いて生成するステップとをさらに含むことができる。
【００１６】
さらなる態様では、本発明は、可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに画像センサを露出することによって生成される画像データを受信するための入力部であって、上記画像データが、可視スペクトルのエネルギーに関連する第1の画像データ、および、非可視スペクトルのエネルギーに関連する第2の画像データを含む、入力部と、上記第1の画像データをローパスフィルタにかけ、上記第2の画像データをハイパスフィルタにかけるように構成されたノイズ低減部と、上記ハイパスフィルタにかけられた赤外線画像データを、上記ローパスフィルタにかけられたカラー画像データに加えるための混合部とを含む画像処理装置に関しうる。
【００１７】
一実施形態では、本装置は、画像センサによって生成されるモザイク画像データであって、1つまたは複数のカラーピクセルフィルタに関連する第1のモザイク画像データと、1つまたは複数の赤外線ピクセルフィルタに関連する第2のモザイク画像データとを含む、モザイク画像データを受信するためのデモザイク処理部をさらに含むことができる。
【００１８】
別の実施形態では、本処理装置は、上記デモザイク処理部からの入力を受信するように構成され、1つまたは複数のカラーピクセルフィルタに関連する上記第1のデモザイク処理された画像データから、1つまたは複数の赤外線ピクセルフィルタに関連する第2のデモザイク処理された画像データを引くように構成されたカラー補正部をさらに含むことができる。
【００１９】
別の態様では、本発明は、可視スペクトルのエネルギーおよび非可視スペクトルのエネルギーに露出するように構成され、上記可視スペクトルのエネルギーに関連する第1の画像データを得るためのピクセルと、上記非可視スペクトルのエネルギーに関連する第2の画像データを得るためのピクセルとを含み、絞り系が、可視スペクトルのエネルギーおよび非可視スペクトルエネルギーへの画像センサの露出を調節するように適合されている、画像センサと、上記で説明した画像処理装置とを含む撮像システムに関しうる。
【００２０】
一実施形態では、上記絞り系は、上記非可視スペクトルのエネルギーの少なくとも一部への画像センサの露出を調節するように適合されている少なくとも第1の絞りと、上記可視スペクトルのエネルギーの少なくとも一部への上記画像センサの露出を調節するように適合されている少なくとも第2の絞りとを含む。
【００２１】
本発明は、上記説明による撮像システムで用いるための画像センサにさらに関し、本センサは、好ましくは2次元のピクセルアレイであり、可視スペクトルのエネルギーに感光性のある1つまたは複数のカラーピクセルと、非可視スペクトルのエネルギーに感光性のある1つまたは複数の赤外線ピクセルとを定めるピクセルアレイと、上記カラーピクセルに関連するISO感度を第1のISO感度の値に設定するための、上記カラーピクセルの少なくとも一部に関連する少なくとも1つの第1の増幅器と、上記赤外線ピクセルに関連するISO感度を第2のISO感度の値に設定するための、上記赤外線ピクセルの少なくとも一部に関連する第2の増幅器とを含み、上記第1のISO感度の値は上記第2のISO感度の値より大きく、好ましくは、上記第1の増幅器および上記第2の増幅器は、上記第1のISO感度の値と上記第2のISO感度の値の比が、およそ2と8の間で調節されうるように構成されている。
【００２２】
さらなる実施形態では、本画像センサは、上記カラーピクセルに関連する露出時間を第1の露出値に設定するための、上記カラーピクセルの少なくとも1つに関連する第1の電子シャッタと、上記赤外線ピクセルに関連する露出時間を第2の露出時間の値に設定するための、上記赤外線ピクセルの少なくとも1つに関連する第2の電子シャッタとをさらに含むことができる。したがって、本実施形態では、この画像センサは、赤外線ピクセルによって生成された赤外線信号の高周波数成分を用いてカラー画像のノイズを効果的に低減するための画像処理装置と一緒に使用することに特に適合されている。さらに、この画像センサは、光の少ない条件のもとでSNRを向上させ、かつ/または、動きによるぶれを少なくするために、撮像システムが2つのISOおよび/または2つの露出モードを用いることができるように、カラーピクセルと赤外線ピクセルの信号ゲイン(ISO感度)と露出時間を独立して設定することができる。
【００２３】
さらに、本発明は、カラー画像を処理するためのコンピュータプログラム製品に関する場合があり、上記コンピュータプログラム製品は、コンピュータシステムのメモリにおいて動作する際に、上記で説明した方法ステップを実行するように構成されたソフトウェアコード部分を含む。また本発明は、コンピュータシステムの伝送ライン、および/または、コンピュータシステムに接続されているデータネットワークを介して伝わる搬送波に含まれるデータ信号に関する場合があり、上記データ信号は、上記で説明したコンピュータプログラム製品の少なくとも一部を符号化するデータを含む。また本発明は、コンピュータシステムによって読み取ることができ、上記で説明したコンピュータシステムの1つまたは複数のリソースへの安全なアクセスを管理するためにコンピュータプログラム製品を符号化しているコンピュータプログラム記憶媒体に関する場合がある。
【００２４】
本発明による実施形態を概略的に示す添付図面を参照して、本発明をさらに例示する。本発明は、いかなる方法においてもこれらの具体的な実施形態に限定されないことが理解されよう。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態による撮像システムを示す図である。
【図２】赤外線遮断フィルタのないデジタルカメラの典型的なカラー応答を示す図である。
【図３】シリコンおよび赤外線遮断フィルタの光応答を示す図である。
【図４】赤外線/カラーフィルタアレイの概略図(A)と、積み重ねられたフォトダイオードの構造の概略図(B)とを示す図である。
【図５】本発明の一実施形態によるノイズ低減方式の流れ図である。
【図６】本発明の一実施形態による撮像システムで用いるための二重絞りを示す図である。
【図７】二重絞りを用いて撮像システムのDOFを向上させる原理を示す図である。
【発明を実施するための形態】
【００２６】
図1は、本発明の一実施形態による撮像システム100を示す。この撮像システムは、画像センサ102、画像センサの撮像面にシーンの被写体の焦点を合わせるためのレンズ系104、シャッタ106、および、電磁スペクトルにおける可視部分(例えば、RGB)と非可視部分(例えば、赤外線)からなる光(電磁放射線)が撮像システムに入ることを可能にするための少なくとも1つの絞りを含む絞り系108を含む。この撮像システムは、デジタルカメラの一部でもよく、または、画像取り込み機能を必要とする携帯電話、ウェブカメラ、および別のマルチメディアデバイスに組み込まれていてもよい。
【００２７】
光に対する画像センサの露出は、シャッタと絞りによって調節される。シャッタが開いたとき、絞りは、光量と、画像センサを露光する光のコリメーションの度合いとを調節する。シャッタは、機械式シャッタでもよく、あるいは、画像センサと一体になっている電子シャッタでもよい。画像センサは、2次元のピクセルアレイを形成する感光性部分(ピクセル)の行と列を含む。画像センサは、CMOS(相補型金属酸化膜半導体)のアクティブピクセルセンサでもよく、または、CCD(電荷結合デバイス)の画像センサでもよい。
【００２８】
レンズ系によって光が画像センサに投影されると、それぞれのピクセルは、そのピクセルに入射した電磁放射線(エネルギー)に比例した電気信号を生成する。カラー情報を取得し、画像センサの撮像面に投影される画像のカラー成分を分離するために、レンズと画像センサの間にカラーフィルタアレイ  (CFA) 120が一般に配置される。このカラーフィルタアレイは、画像センサのそれぞれのピクセルが、対応するピクセルフィルタを有するように画像センサと一体化していてもよい。それぞれのカラーフィルタは、所定のカラーバンドの光をピクセルの方に通過させるように適合されている。一般には、赤、緑、および青(RGB)のフィルタの組み合わせが用いられるが、CYGM(シアン、黄、緑、マジェンダ)、RGBE(赤、緑、青、エメラルド)などの他のフィルタ方式も可能である。
【００２９】
露出した画像センサの各ピクセルは、ピクセルに関連するカラーフィルタを通過した電磁放射線に比例した電気信号を生成する。したがって、ピクセルのアレイは、カラーフィルタアレイを通過した電磁エネルギー(放射線)の空間分布を表す画像データ(フレーム)を生成する。ピクセルから受信された信号は、1つまたは複数の、オンチップ増幅器を用いて増幅することができる。一実施形態では、画像センサのそれぞれのカラーチャネルは、別々の増幅器を用いて増幅することができ、それによって、異なる色に対するISO感度を個別に調節することが可能となる。
【００３０】
さらに、ピクセル信号は、画像センサのチップに組み込むことができる1つまたは複数のアナログ-デジタル(A/D)コンバータ110を用いて、サンプリングし、量子化し、また、デジタルフォーマットのワードに変換することができる。デジタル化された画像データは、補間、フィルタリング、ホワイトバランス、輝度補正、データ圧縮技術(例えば、MPEGまたはJPEGタイプの技術)などの信号処理機能を実行するように構成された、画像センサに結合しているデジタル信号プロセッサ(DSP)112によって処理される。DSPは、中央処理装置114と、取り込まれた画像を記憶するための記憶装置116と、画像データを処理するためのDSPによって用いられるか、もしくは、撮像システムの動作を管理するための中央処理装置によって用いられる1つもしくは複数のソフトウェアプログラムを含むEEPROMまたは別の種類の不揮発性メモリなどのプログラムメモリ118とに結合している。
【００３１】
撮像システムの感度を上げるために、レンズ系は、可視光と、赤外線または赤外線の少なくとも一部との両方が撮像システムに入ることを可能とするように構成されている。そのため、撮像システムは、すべての赤外線の入射を遮断する、レンズ系の前にあるフィルタを含まない。したがって、レンズ系を通って撮像システムに入る電磁放射線122は、光のスペクトルの可視部分に関連する放射線と、赤外線部分に関連する放射線との両方を含むことができ、それによって、画像センサの光応答は赤外線まで広がる。
【００３２】
図2には、従来のCFAのカラー画像センサにおける赤外線遮断フィルタ(がないこと)の効果が示されている。グラフAおよびグラフBにおけるカーブ202は、赤外線遮断フィルタ(熱線反射フィルタ(hot  mirror  filter))をもたないデジタルカメラの典型的なカラー応答を表す。グラフAは、熱線反射フィルタを使用した効果を示す。熱線反射フィルタの応答210によって、画像センサのスペクトル応答が可視スペクトルに制限されるため、画像センサの全体的な感度は実質的に制限される。熱線反射フィルタが除かれると、赤外線の一部がカラーピクセルフィルタを通過することになる。この効果は、青のピクセルフィルタ204、緑のピクセルフィルタ206、および赤のピクセルフィルタ208を含むカラーピクセルの光応答を示すグラフBによって示されている。特に赤のピクセルフィルタである、カラーピクセルフィルタは、ピクセル信号の一部が赤外線に起因しうるように赤外線を(部分的に)透過させる。これらの赤外線の寄与は、カラーバランスを歪める場合があり、いわゆる偽色(false  color)を含む画像をもたらす。
【００３３】
図3は、熱線反射フィルタの応答302と、シリコン、すなわち、デジタルカメラで用いられる画像センサの主要な半導体コンポーネントの応答304とを含むグラフを示す。このグラフでは、赤外線に対するシリコンの画像センサの感度が、可視光に対するシリコンの画像センサの感度よりおよそ4倍高くなることが明らかに示されている。
【００３４】
したがって、画像センサによってもたらされるスペクトル感度をうまく利用するために、図1の撮像システムにおける画像センサ102は、赤外線スペクトルのエネルギーに関連するピクセル信号を取り出すための1つまたは複数のピクセルを含み、それによって、撮像システムは、RGBのカラー画像と、比較的低ノイズの赤外線画像とを生成することが可能となる。図4には、このような画像センサの例が示されている。図4(A)には、画像センサが、カラーピクセルと共に1つまたは複数の赤外線ピクセル(I)を含む実施形態が示されている。このような赤外線ピクセルは、可視光を実質的に遮断する、好ましくは約700nmから約1100nmの範囲内の赤外線を実質的に透過させるフィルタ材料で、光部分(photo-site)を覆うことによって実現することができる。このような赤外線/カラーフィルタアレイ(ICFA)における赤外線透過ピクセルフィルタは、「DARC  400」の商標でBrewer  Scienceによって販売されている黒のポリイミド材料などの、スペクトルにおける赤外線帯域の波長に対して高い透過率を有する周知のフィルタ材料を用いて実現することができる。このようなフィルタを実現する方法は、米国特許出願公開第2009/0159799号に記載されている。ICFAは、2×2ピクセルなどの、ピクセルのブロックを含むことができ、それぞれのブロックは、赤、緑、青、および赤外線のピクセルを含む。露出されると、このようなICFAのカラー画像センサは、RGBのカラー情報と赤外線情報を含む生のモザイク画像を生成することができる。周知のデモザイキングアルゴリズム(demosaicking  algorithm)を用いて生のモザイク画像を処理した後、RGBのカラー画像と赤外線画像が得られる。このようなICFAのカラー画像センサにおける赤外線に対する感度は、ブロックにおける赤外線ピクセルの数を増やすことによって上げることができる。構成の1つ(図示せず)では、画像センサのフィルタアレイは、例えば4個のカラーピクセルRGGBと12個の赤外線ピクセルとを含む、16個のピクセルからなるブロックを含むことができる。
【００３５】
さらに別の実施形態では、画像センサは、光部分のアレイを含むことができ、それぞれの光部分は、複数の積み重ねられたフォトダイオードを含む。積み重ねられた光部分(stacked  photo-site)は、少なくとも原色RGBと赤外線とにそれぞれ反応する少なくとも4つの、積み重ねられたフォトダイオードを含むことが好ましい。これらの積み重ねられたフォトダイオードは、画像センサのシリコン基板に組み込むことができる。図4(B)は、このような積み重ねられた光部分の概略図を示す。フォトダイオード404、406、408、410は、スペクトルの異なる部分にそれぞれのフォトダイオードが反応するように、画像センサにおけるシリコン基板の異なる深さの所に配置されている。波長が長いほど、光はシリコン基板の深くに入り込むことになる。したがって、画像センサの受光面402に最も近いフォトダイオード404は、青のスペクトル応答を有することになるため、青(色)のピクセルを形成する。一方、受光面402から最も遠くに移されているフォトダイオード410は、赤外線のスペクトル応答を有することになるため、赤外線ピクセル(I)を形成する。縦方向に積み重ねられたフォトダイオードを含むこのようなRGBIの画像センサでは、カラーピクセルの信号によって、デモザイキングを必要とせずにRGBカラー画像と赤外線画像が直接形成されるという利点がもたらされる。
【００３６】
画像センサは、カラーピクセルと、赤外線ピクセルおよび/または透明ピクセルとのピクセル信号を増幅するための1つまたは複数の増幅器、および、所定の露出時間にわたってピクセルを露出するための1つまたは複数の電子シャッタを含むことができる。通常、増幅器およびシャッタの電子回路は、画像センサのチップに組み込むことができる。一実施形態では、カラーピクセルは、カラーピクセルに関連するISO感度および/または露出時間を設定するための増幅器および/または電子シャッタを有することができる。同様に、赤外線ピクセルは、赤外線ピクセルに関連するISO感度および/または露出時間を設定するための増幅器および/または電子シャッタを有することができる。
【００３７】
図4に示されている画像センサの赤外線ピクセルにより生成された赤外線画像データは、SNR特性が向上したカラー画像を生成するために用いることができる。図5には、このような処理に関する一実施形態がより詳細に示されている。本実施形態では、ICFAのカラー画像センサを含む撮像システムが用いられる。処理における第1のステップでは、画像センサは、その画像センサの受光部分に入射する、カラー(RGB)スペクトルと赤外線スペクトルにおける光子のエネルギーの分布を表すモザイクを含む生の画像データを生成する(ステップ502)。次に、モザイクの画像データは、周知のデモザイキングアルゴリズムを用いて、3つのカラー画像(R’G’B’)と、赤外線画像とにデモザイク処理される(ステップ504)。このR’G’B’のカラー画像は、望ましくない赤外線情報を含んだままである可能性があるが、その赤外線情報は、カラー画像から赤外線画像を引くことによって除くことができ、それによって、補償された(本来の)RGBカラー画像が作られる(ステップ506)。あるいは、R’G’B’のカラー画像は、周知のホワイトバランスの技法を用いて補正することもできる。その後、RGBのカラー画像は、有限入力応答フィルタ(finite  input  response  filter)またはエッジ保存フィルタなどのローパスフィルタにかけられ、それによって、ぼやけた画像、または少なくとも部分的にぼやけた画像が効果的に作られ、コントラスト情報と高周波数のノイズとは抑圧される(ステップ508)。赤外線画像データは、赤外線画像のコントラスト情報を含む、赤外線画像ピクセルの信号における高周波数成分を抽出するためにハイパスフィルタにかけられる(ステップ510)。一実施形態(図示せず)では、赤外線画像をエッジ保存フィルタリングのステップにさらにかけることができる。このようなエッジ保存フィルタリングのステップでは、赤外線画像データのコントラスト情報がさらに強調されうる。次に、ハイパスフィルタにかけられた赤外線画像データと、ローパスフィルタにかけられたカラー画像データとは、フルカラーのRGB画像を形成するために加えられる(混ぜられる)(ステップ512)。したがって、公知のノイズ低減方式とは対照的に、本発明によるノイズ低減処理では、「複合の」低ノイズのカラー画像が生
成され、カラー情報は、RGBピクセルによって生成されたRGB画像データの低周波数成分によって提供され、画像細部の情報は、赤外線ピクセルによって生成された赤外線画像データの高周波数成分によって提供される。カラー画像は、低周波数のRGB画像データを高周波数の赤外線画像データに単に加えることによって得られる。本発明は、画像センサが比較的低ノイズの赤外線ピクセルの信号を生成する点に基づいている。この方法は、カラー画像におけるノイズの効果的な抑圧を可能にし、カラー画像のSNRを実質的に向上させることができる。一変形形態では、国際照明委員会によって定義され、人間の視覚に近づけるように設計されたCIE  1931  XYZの色空間に基づくLAB色空間などの適切な色空間に、RGBカラー画像をさらに変換することができる。その後、高周波数の赤外線成分は、LABカラー画像のL成分(明度(lightness  contrast))に加えられる。
【００３８】
本方法は、撮像システムのDSPにおけるノイズ抑圧機能として実装することができる。典型的には、本方法は、ソフトウェアプログラム、または、ハードウェア回路とソフトウェアプログラムの組み合わせとして実施されることになる。
【００３９】
図5に示されている方法は、赤外線画像データを得るためにICFAタイプの画像センサを用いて説明されているが、本発明は、他の画像センサと共に用いられてもよい。一実施形態では、図5に示されている方法は、図4(B)を参照して説明した、縦方向に積み重ねられたフォトダイオードを含むRGBIの画像センサと共に用いられてもよい。このような画像センサを用いることによって、図5を参照して説明したデモザイキングのステップ504と、カラー補償のステップ506とが必要でなくなるという利点がもたらされる。
【００４０】
さらなる実施形態(図示せず)では、1つまたは複数のパンクロピクセル(panchromatic  pixel)または透明ピクセルを含むカラー画像センサを用いることができる。このようなカラー画像センサは、例えば、米国特許出願公開第2007/0153335号、米国特許出願公開第2007/0145273号、またはWO2007/015982から公知であり、RGBピクセルと、可視スペクトルおよび非可視(赤外線)スペクトルの両方に感光性のある1つもしくは複数の透明ピクセル(T)またはパンクロピクセルと(のブロック)を含む。このような画像センサを用いて生の画像データを取り込んだ後、例えば米国特許出願公開第2007/0153335号に開示されている公知のホワイトバランス技法を用いて、取り込んだRGBデータのカラーバランスをまず元に戻すことができる。その後、RGB画像データは、ローパスフィルタを用いてフィルタにかけられ、(RGB部分と赤外線部分の両方を含む)透明ピクセルに関連する画像データは、ハイパスフィルタを用いてフィルタにかけられる。次に、SNRが向上したカラー画像を形成するために、透明ピクセルの信号における高周波数成分は、ローパスフィルタにかけられたRGB画像データに加えられる。
【００４１】
このノイズ低減方法によって、(目に見える)光の少ない条件における画像品質のさらなる向上が可能となる。そのため、さらなる実施形態では、画像センサのカラーピクセルは、光の少ない条件のもとで高ノイズのカラー画像を提供するために、例えば3200と6400の間である、(例えば、ISO規格12232:2006によって定義されている)高いISO感度に設定することができる。カラーピクセルを高いISOレーティング(ISO  rating)に効果的に設定することは、そのカラーピクセルに関連する増幅器の信号ゲインが増すことを意味する。
【００４２】
画像センサの赤外線ピクセルは、低ノイズの赤外線画像を生成するために、例えば400と1600の間である、低いISO感度に設定することができる。一実施形態では、高いISOの値と低いISOの値との比を、2と8の間に設定することができる。図5を参照して説明した方法を用いて、光の少ない条件のもとで2つのISOモードの画像センサによって取り込まれた生の画像データの後段の処理によって、SNRが向上したカラー画像がもたらされることになる。本方法は、画像センサにおける本来備わっている赤外線感度を最適に利用することを可能にし、また複雑な処理を必要としない。
【００４３】
さらなる実施形態では、図5における方法は、特に比較的長い露出時間を使う場合に、カメラのぶれによる影響を少なくするために用いることができる。その場合、感光性のある赤外線ピクセルは、カラーピクセルと同じ感度(同じISO感度)に設定することができる。しかし、赤外線ピクセルの露出時間は、カラーピクセルの露出時間に比べて著しく低減されうる。例えば、カラーピクセルの露出時間が1/4秒に設定される場合、赤外線ピクセルの露出時間は1/60秒に設定され、それによってコントラストの高い赤外線画像が提供される。図5に示されている方法を用いる画像センサによって生成される生の画像データの後段の処理によって、ぶれの少ないカラー画像がもたらされることになる。
【００４４】
カラーピクセルの露出時間と赤外線ピクセルの露出時間は、カラーピクセル用の第1の電子シャッタと、赤外線ピクセル用の第2の電子シャッタとによって調節することができる。あるいは、カラー画像と赤外線画像は、次の2つの画像、すなわち比較的長い露出時間に関連する第1の画像と、比較的短い露出時間に関連する第2の画像とを、時間を合わせて取り込むことによって得ることもできる。
【００４５】
したがって、光の少ない条件のもとでSNRを向上させ、かつ/または、動きによるぶれを少なくするために、カラーピクセルと赤外線ピクセルの信号ゲイン(ISO感度)と露出時間をそれぞれ独立して調節するように構成された画像センサと組み合わせたノイズ低減方法を用いることによって、撮像システムが2つのISOおよび/または2つの露出モードを用いることが可能となる。
【００４６】
その上さらなる実施形態では、このノイズ低減方法は、二重絞りを含む撮像システムにおいて用いることができる。このような二重絞りは、カメラの被写界深度(DOF)を向上させるために用いることができる。DOFによって、画像が取り込まれる際に焦点の合う、カメラからの距離範囲が求められる。絞りが大きいほど(受光が多いほど)、DOFは制限される。図6には、このような二重絞りに関する一実施形態が概略的に示されている。二重絞り系600は、中央に開口部602(例えば、円形穴)を有する基板604を含む。基板の材料は、少なくとも可視放射線に対して透過性とすることができ、誘電体フィルタなどの薄膜のフィルタ材料606によって覆われていてもよい。一実施形態では、この基板は、赤外線スペクトルの放射線を反射し、可視スペクトルの放射線を透過させるダイクロイックフィルタで覆われている。干渉フィルタとも呼ばれるダイクロイックフィルタは、当技術分野では周知であり、一般に、赤外線(例えば、約750ナノメートルから約1250ナノメートルの間の波長を有する放射線)を反射し、スペクトルの可視部分における放射線を透過させるように構成された特定の厚さの、複数の薄膜誘電体層を含む。
【００４７】
基板は、不透明材料からなるホルダ606を用いて、撮像システムのレンズの前に配置することができる。このホルダは、円形の開口部608を含み、ホルダの円形開口部の中心に基板の開口部が配置されるように、基板を受け、その基板を位置決めするように構成されている。ホルダの開口部の直径は基板の開口部の直径より大きいため、フィルタで覆われた基板の一部は、レンズを通って撮像システムに入る放射線に露出している。この露出部分によって、基板の穴のまわりに同心円のリング612が形成される。
【００４８】
多重絞りは、光学的配置において、第1の円形フィルタの皮膜を含む第1の透明基板と共に、第2の円形フィルタを含む第2の透明基板、および、光学系における1つまたは複数のレンズなどの、いくつかの別々の絞り部品によって形成することができ、それによって、図6に関して説明した二重絞り系と同じ効果が有効に提供される。あるいは、絞り系は、絞り系を形成する第1および第2のフィルタ被膜の基板としてレンズを用いることによって、レンズと一体化することもできる。
【００４９】
変形形態では、二重絞り系は、第1の絞り系に関連する第1のレンズ系と、第2の絞り系に関連する第2のレンズ系などの、2つ以上のレンズ系によって形成されてもよい。
【００５０】
可視スペクトルのエネルギーと非可視(赤外線)スペクトルのエネルギーは、二重絞り系を通って撮像システムに入る。絞り系で用いられる赤外線遮断フィルタが可視光に対して透過性であるため、撮像システムに入る可視スペクトルの放射線の量は、ホルダの開口部の直径によって調節される。他方、フィルタが、赤外線のすべて、または少なくともその実質的な部分を遮断するため、撮像システムに入る赤外線スペクトルの放射線の量は、ホルダの開口部の直径より小さい、基板の開口部の直径によって調節される。
【００５１】
したがって、単一の絞りを含む撮像システムとは反対に、二重絞りの撮像システムでは、画像センサを露光する、異なる帯域のスペクトルにおける放射線の量とコリメーションとを調節するために、異なるサイズの2つ(または3つ以上)の絞りを含む絞り系が用いられる。二重絞りは、f値が通常7(例えば、7mmの焦点距離fと1mmの直径)である携帯電話のシンプルなカメラのそのDOFを、f値が例えば0.5mmの直径に対する14から0.2mm以下の直径に対する最大70以上の間で変化する第2の絞りによって改善することを可能にし、このときf値は、焦点距離fと、絞りの有効径との比によって定義される。好ましい実装形態は、近くの被写体の鮮鋭度を向上させるための、約2から約4までの可視放射線用のf値を、遠くの被写体の鮮鋭度を向上させるための、約16から約22までの赤外線の絞り用のf値と組み合わせて含む光学系を含む。
【００５２】
絞り系は、2つの異なる薄膜フィルタ、すなわち、スペクトルの第1の帯域における放射線を透過させる第1の開口部を基板の中央に形成する第1の円形薄膜フィルタと、スペクトルの第2の帯域における放射線を透過させる、第1のフィルタのまわりに(例えば、同心円のリング状に)形成された第2の薄膜フィルタとを有する透明基板を含むことができる。第1のフィルタは、可視放射線と赤外線の両方を透過させるように構成することができ、第2のフィルタは、赤外線を反射させ、可視放射線を透過させるように構成することができる。外側の同心円のリングの外径は、不透明絞りホルダの開口部によって定められてもよく、あるいは、赤外線と可視放射線の両方を遮断する、基板上に堆積した不透明薄膜層によって画定された開口部によって定められてもよい。
【００５３】
図6に示されている二重絞り系は、撮像システムのDOFを向上させるために用いることができる。図7には、DOFを向上させる原理が概略的に示されている。可視スペクトルのエネルギーと赤外線スペクトルのエネルギーは、所定の直径の円形穴702を有する、フィルタで覆われた透明基板700を含む二重絞り系を通って撮像システムに入る。フィルタの皮膜704は、可視放射線を透過させ、赤外線を反射させることができる。不透明カバー706は、穴702の直径より大きい直径を有する円形の開口部を含むことができる。このカバーは、赤外線と可視放射線の両方を反射する薄膜の皮膜を含んでもよく、または、光学系において基板700を保持し、位置決めするためのホルダの一部でもよい。可視スペクトルのエネルギーと赤外線スペクトルのエネルギーは、絞り系を通過し、次に、ICFAのカラー画像アレイなどの、可視スペクトルのエネルギーに関連する画像データを得るためのピクセルと、非可視(赤外線)スペクトルのエネルギーに関連する画像データを得るためのピクセルとを含む画像センサ、または、積み重ねられたRGBIの光部分を含む画像センサの撮像面714にレンズ712によって投影される。したがって、画像センサのピクセルは、DOFの大きい、赤外線スペクトルのエネルギーに関連する絞りの小さい第2の画像信号718に重なる、可視スペクトルのエネルギーに関連するDOFが制限された(比較的)絞りの大きい第1の画像信号716を受けることができる。したがって、レンズにおける焦点fの面に近い被写体714は、可視放射線によって比較的焦点ぼけの少ない状態で画像面に投影され、焦点の面から遠くに位置している被写体716は、赤外線によって比較的焦点ぼけの少ない状態で画像面に投影される。
【００５４】
露出時には、画像センサは、可視画像信号と赤外線画像信号の両方を1枚の画像フレームに同時に取り込む。ICFAのカラー画像センサが用いられる場合、DSPは、例えばデモザイキングアルゴリズム(図示せず)を用いて、取り込まれた生のモザイク画像におけるカラーピクセル信号と赤外線ピクセル信号を分離することができる。その後、(可視)カラー画像データと(非可視)赤外線画像データは、図5を参照して説明したノイズ低減方法にかけることができ、それによって、DOFとSNRが向上したカラー画像が作られる。図7に示された原理は、当業者によって、焦点面からの様々な距離における焦点ぼけの少ない被写体を画像センサの画像面に投影するように構成可能な多重絞り系に容易に拡張されうる。
【００５５】
図6および図7を参照して説明した二重絞りを含む撮像システムを用いる場合、画像センサによって受けられる赤外線は、主に赤のピクセルフィルタと赤外線のピクセルフィルタによって透過する。したがって、取り込まれた画像フレームにおける赤のカラー成分は、高振幅の可視赤信号と、鮮鋭で低振幅の非可視赤外線信号との両方を含む。一般に、赤外線成分は、可視赤成分より8倍から6倍低くなる。赤外線の存在によって生じるわずかな歪みを補償するために、レッドバランス(red  balance)を調整することができる。鮮鋭で、絞りの小さい赤外線画像の信号は、赤ピクセルにおけるハイパスフィルタにかけられた成分と、赤外線ピクセルの信号とから得ることができる。この信号は、カラー画像のDOFとSNRの両方を向上させるために用いることができる。
【００５６】
画像センサの赤外線ピクセルによって生成された赤外線画像信号は、カラー画像信号におけるそれぞれのカラー成分から赤外線画像信号を引くことによって、赤外線によって生じたカラーピクセルの色歪みを効率的に除去するために用いることができる。したがって、RGBIのフィルタアレイを有する画像センサ、または、積み重ねられたRGBIの画像センサを多重絞り系と組み合わせて用いることによって、DOFおよびSNRおよびカラーバランスが向上したカラー画像の生成が可能となる。
【００５７】
さらなる実施形態においては、図6および図7を参照して説明した二重絞りの撮像システムでは、カラーピクセルと、透明ピクセルまたはパンクロピクセルとを含むカラー画像センサも使用されうる。絞りの小さい赤外線信号は、絞りの大きいカラー信号に比べて比較的低振幅の信号であるため、カラーピクセル信号における赤外線の寄与は、比較的小さいものとなる。透明ピクセルによって生成される画像データにおける支配的なカラー成分を除くために、カラーピクセルによって生成されるカラー画像データを用いることができる。透明ピクセルによって生成された画像データからカラー画像データを引くことによって、図5を参照して説明したノイズ低減方法で使用するのに適した赤外線画像データが得られる。
【００５８】
さらに、赤外線用絞りが比較的小さいことによって比較的小さい赤外線画像信号が生成されるため、フィルタにかけられた高周波数の成分は、赤外線用絞りに対する可視光用絞りの比に比例して増幅することができる。
【００５９】
図6および図7を参照して説明した二重絞りを、図5を参照して説明したノイズ低減方式と組み合わせることによって、絞りが大きく、したがって光の少ない状況において効果的に動作すると同時に、鮮鋭な写真をもたらす向上したDOFとSNRを有する、固定焦点のレンズをもつ撮像システム(例えば、携帯電話のカメラ)が提供される。
【００６０】
いずれか1つの実施形態に関して説明した任意の特徴は、単独で用いられてもよく、または、説明した他の特徴と組み合わせて用いられてもよく、また、任意の他の実施形態の1つまたは複数の特徴と組み合わせて用いられてもよく、または、任意の他の実施形態と任意に組み合わせて用いられてもよい。さらに、上記で説明されていない等価物および変形が、添付の特許請求の範囲で定義されている本発明の範囲から逸脱することなく用いられてもよい。
【符号の説明】
【００６１】
100  撮像システム
102  画像センサ
104  レンズ系
106  シャッタ
108  絞り系
120  カラーフィルタアレイ
122  電磁放射線
202  カーブ
204  青のピクセルフィルタ
206  緑のピクセルフィルタ
208  赤のピクセルフィルタ
210  熱線反射フィルタの応答
302  熱線反射フィルタの応答
304  シリコンの応答
402  受光面
404  フォトダイオード
406  フォトダイオード
408  フォトダイオード
410  フォトダイオード
600  二重絞り系
602  開口部
604  基板
606  薄膜のフィルタ材料
608  開口部
612  同心円のリング
700  透明な基板
702  円形穴
704  フィルタの皮膜
706  不透明カバー
712  レンズ
714  被写体
716  被写体
【図１】
2013503527.tif 000003
【図２】
2013503527.tif 000004
【図３】
2013503527.tif 000005
【図４（Ａ）】
2013503527.tif 000006
【図４（Ｂ）】
2013503527.tif 000007
【図５】
2013503527.tif 000008
【図６】
2013503527.tif 000009
【図７】
2013503527.tif 000010
【国際調査報告】
2013503527.tif 000011
2013503527.tif 000012
2013503527.tif 000013