(57)【要約】高感度の単一チップ低光レベル撮像装置が提供される。本発明の撮像装置は、まばらな色サンプリングを用いて、集められた輝度情報を最大にする。より詳しくは、色情報は、イメージセンサーに含まれたピクセルの小部分によって集められ、残りのピクセルが全スペクトル感度で動作する。本発明は、物体の正しい色相が決定されるようにする一方で、光景の中の利用可能な輝度情報を高感度に感知する。更に、本発明は、近赤外線波長および赤外線波長を含むスペクトルに渡って集められた輝度データとの組み合わせにおいてさえも、色相情報が光景内の物体に帰するようにする。
2005525052.tif 000002
【特許請求の範囲】
【請求項１】
低光レベルカメラを提供するための方法であって、
複数のピクセルからなるイメージセンサーを提供するステップと、
選択された第１スペクトル領域を感知するための前記ピクセルの第１部分へイメージ情報をフィルタリングするステップと、
選択された第２スペクトル領域を感知するための前記ピクセルの第２部分へイメージ情報をフィルタリングするステップとを備え、前記イメージセンサーピクセルの前記ピクセルの半分未満がフィルタリングされたイメージ情報を受け取ることを特徴とする方法。
【請求項２】
前記イメージセンサーの前記ピクセルの半分以上は、フィルタリングされていないイメージ情報を受け取り、前記ピクセルの半分以上分は、約７８０ナノメータより大きい波長の光を感知することを特徴とする請求項１に記載の方法。
【請求項３】
前記フィルタリングされていないイメージ情報は輝度信号からなり、前記フィルタリングされたイメージ情報はクロミナンス信号からなることを特徴とする請求項２に記載の方法。
【請求項４】
選択された第３スペクトル領域を感知するための前記ピクセルの第３部分へイメージ情報をフィルタリングするステップを更に備え、前記イメージセンサーピクセルの半分未満がフィルタリングされたイメージ情報を受け取ることを特徴とする請求項１に記載の方法。
【請求項５】
前記第１スペクトル領域と第２スペクトル領域とは重複していることを特徴とする請求項１に記載の方法。
【請求項６】
前記ピクセルの第１部分と前記ピクセルの第２部分とは前記イメージセンサーのすべてのピクセル中に無作為に分配されていることを特徴とする請求項１に記載の方法。
【請求項７】
前記ピクセル第１部分と前記ピクセル第２部分とは前記イメージセンサーのすべてのピクセル中に擬似無作為に分配されていることを特徴とする請求項１に記載の方法。
【請求項８】
前記ピクセル第１部分と前記ピクセル第２部分とは前記イメージセンサーの辺に平行でない線の周りに分配されていることを特徴とする請求項１に記載の方法。
【請求項９】
４つの前記イメージセンサーピクセルに対して４つのフィルタユニットを備える複数の素子が形成されており、前記素子のそれぞれに対して、第１のフィルタユニットおよび第２のフィルタユニットが前記第１スペクトル領域内のエネルギーを通し、第３のフィルタユニットが前記第２スペクトル領域内のエネルギーを通し、第４のフィルタユニットが前記第３スペクトル領域内のエネルギーを通すことを特徴とする請求項４に記載の方法。
【請求項１０】
前記素子は前記イメージセンサーの前記ピクセルの中に無作為に分配されていることを特徴とする請求項９に記載の方法。
【請求項１１】
前記素子は前記イメージセンサーの辺に平行でない線の周りに分配されていることを特徴とする請求項９に記載の方法。
【請求項１２】
前記低光レベルカメラによって感知されたイメージを出力するステップを更に備え、フィルタリングされていないイメージ情報を受け取るピクセルからなる前記イメージの少なくとも第１領域に、前記少なくとも第１領域内または同領域の近傍の少なくともいずれか
に位置するフィルタリングされたイメージ情報を受け取る少なくとも第１ピクセルから得られたクロミナンス情報を供給することを特徴とする請求項３に記載の方法。
【請求項１３】
前記低光レベルカメラによって検知されたイメージを出力するステップを更に備え、フィルタリングされていないイメージ情報を受け取るピクセルからなる前記イメージの少なくとも第１領域に、フィルタリングされたイメージ情報を受け取る複数のピクセルから得られたクロミナンス情報を供給することを特徴とする請求項３に記載の方法。
【請求項１４】
前記クロミナンス信号に関する利得を調節するステップを更に備えたことを特徴とする請求項３に記載の方法。
【請求項１５】
前記クロミナンス信号の信号対雑音比の減少に応じて、前記利得を減らすことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記クロミナンス信号のフレームおよびフィールドの少なくとも一方を、前記クロミナンス信号のフレームおよびフィールドの対応する少なくとも一方に対して遅延させるステップと、
前記クロミナンス信号に関して信号処理動作を行うステップとを更に備えることを特徴とする請求項３に記載の方法。
【請求項１７】
前記クロミナンス信号の複数のフレームおよびフィールドの少なくとも一方の平均をとるステップを更に備えたことを特徴とする請求項３に記載の方法。
【請求項１８】
前記イメージセンサーは、第１フレームからなる第１ピクセルセットと、第２フレームからなる第２ピクセルセットとを備え、
前記第２フレームではなく前記第１フレームに関して前記クロミナンス信号を生成するステップを更に備えたことを特徴とする請求項３に記載の方法。
【請求項１９】
第１動作モードにおいて前記クロミナンス信号を処理および表示し、第２動作モードにおいて前記クロミナンス信号を処理および表示しないことを特徴とする請求項３に記載の方法。
【請求項２０】
低光レベル状態でカラー撮像する装置であって、イメージセンサーを備え、該イメージセンサーは、
特に輝度を感知し得る第１複数ピクセルと、
特にクロミナンスを感知し得る第２複数ピクセルとからなり、
前記第１複数ピクセルは、前記イメージセンサーのピクセルの全数の半分より多いピクセルからなることを特徴とする装置。
【請求項２１】
前記第２複数ピクセルは３個づつのグループに構成され、前記グループのそれぞれは、第１スペクトル帯域を感知する第１ピクセルと、第２スペクトル帯域を感知する第２ピクセルと、第３スペクトル帯域を感知する第３ピクセルとからなることを特徴とする請求項２０に記載の装置。
【請求項２２】
前記第２複数ピクセルは４個づつのグループに構成され、前記グループのそれぞれは、第１スペクトル帯域を感知する第１および第２ピクセルと、第２スペクトル帯域を感知する第３ピクセルと、第３スペクトル帯域を感知する第４ピクセルとからなることを特徴とする請求項２０に記載の装置。
【請求項２３】
前記第２複数ピクセルは前記イメージセンサーに関して擬似無作為に分配されているこ
とを特徴とする請求項２０に記載の装置。
【請求項２４】
前記第２複数ピクセルは前記イメージセンサーの辺に平行でない線の周りに重み付けされていることを特徴とする請求項２０に記載の装置。
【請求項２５】
前記第２複数ピクセルは前記イメージセンサーの対角線の周りに分配されていることを特徴とする請求項２０に記載の装置。
【請求項２６】
複数のフィルタを更に備え、第１フィルタタイプは前記第１スペクトル帯域内の光を前記第１および第２ピクセルに到達させ、第２フィルタタイプは前記第２スペクトル帯域内の光を前記第３ピクセルに到達させ、第３フィルタタイプは前記第３スペクトル帯域内の光を前記第４ピクセルに到達させることを特徴とする請求項２０に記載の装置。
【請求項２７】
スイッチを更に備え、該スイッチは前記第２複数ピクセルからの信号を選択的に消すように動作可能であることを特徴とする請求項２０に記載の装置。
【請求項２８】
前記第２複数ピクセルは前記イメージセンサーのピクセルの全数の４％未満からなることを特徴とする請求項２０に記載の装置。
【請求項２９】
複数のピクセルからなるイメージセンサーと、
色フィルタとを備え、前記ピクセルのうちの第１複数ピクセルには、第１帯域通過フィルタによって規定された第１スペクトル内にフィルタリングされたイメージ情報が供給され、前記ピクセルのうちの第２複数ピクセルには、第２帯域通過フィルタによって規定された第２スペクトル内にフィルタリングされたイメージ情報が供給され、前記ピクセルのうちの第３複数ピクセルには、第３帯域通過フィルタによって規定された第３スペクトル内にフィルタリングされたイメージ情報が供給され、フィルタリングされたイメージ情報が供給される前記第１複数ピクセル、第２複数ピクセル、および第３複数ピクセルは、前記イメージセンサーの前記ピクセルの全数の半分未満を構成することを特徴とする低光レベルイメージセンサー。
【請求項３０】
前記イメージセンサーの前記ピクセルの大半は７８０ナノメータより大きい波長でイメージ情報を受け取ることを特徴とする請求項２９に記載の低光レベルイメージセンサー。
【請求項３１】
フィルタリングされたイメージ情報が供給される前記第１複数ピクセル、第２複数ピクセル、および第３複数ピクセルは、前記イメージセンサーの前記ピクセルの中に無作為に分配されることを特徴とする請求項２９に記載の低光レベルイメージセンサー。
【請求項３２】
フィルタリングされたイメージ情報が供給される前記第１複数ピクセル、第２複数ピクセル、および第３複数ピクセルは、前記第１複数ピクセルと第２複数ピクセルと第３複数ピクセルのそれぞれの少なくとも一つからなるグループ毎に前記イメージセンサーに関して分配されていることを特徴とする請求項２９に記載の低光レベルイメージセンサー。
【請求項３３】
スイッチを更に備え、前記第１複数ピクセルと第２複数ピクセルと第３複数ピクセルからの信号を選択的にオフにすることができることを特徴とする請求項２９に記載の低光レベルイメージセンサー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低光レベル撮像装置に関する。より詳しくは、本発明は、赤外線波長を感知すると共に色情報を提供することができる電子式低光レベル撮像装置に関する。
【背景技術】
【０００２】
低光レベル撮像装置はいろいろな応用に役立つ。例えば、低光レベル撮像装置は夜間監視活動に役立つ。低光レベル状態においては、センサーはすべての利用可能な光子を利用することが重要である。低光レベル状態において人が知覚できるイメージを提供するアプローチは、イメージインテンシファイアの使用を含んでいた。低光レベル状態においてイメージを提供する他のアプローチは、可視スペクトル外の波長の光の検出を利用していた。そのようなアプローチは、人の目で見ることができない光景についての人が知覚できるイメージを提供するのに成功していたが、低光レベルにおいて高感度を保ちながらクロミナンス情報を提供することはできなかった。
【０００３】
イメージインテンシファイアは一般にマイクロチャンネルプレートを用いて形成される。特に、光電陰極は電圧傾度が課される小チャンネル（またはマイクロチャンネル）のハニカムの近くに置かれる。光子が光電陰極と衝突すると、電子が放出され、チャンネルに沿って加速される。この電子は蛍光面上に集められ、この蛍光面は、マイクロチャンネルによって放出された電子によって衝撃が与えられと光子を生成する。蛍光面上に生じたイメージは、直接見ることができるか、あるいは、荷電結合素子（ＣＣＤ）などの撮像素子によってディジタル情報に変換することができる。
【０００４】
イメージインテンシファイアによって行われる光の増幅は、低光レベルにおける光景を見るのに効果的である。しかしながら、蛍光面を使用すると単色イメージとなる。更に、マイクロチャンネル素子の解像度が限られていることによって、蛍光面において可能なイメージ解像度が制限される。また、電子がチャンネルのマウスに当たって跳ね返り、隣のチャンネルに衝突するとき、「ハロー」効果が生じることがある。更に、イメージインテンシファイアは、動作のために比較的高い電圧を必要とし、寿命が限られる。
【０００５】
低光状態における高感度撮像装置を提供するもう一つのアプローチは、人の視力の通常範囲外の光を検出することができるイメージセンサーを利用することである。例えば、一般的な夜間光景は、赤外光波長が比較的豊富である。それ故、赤外線波長を検出し、検出した赤外線情報を、人が知覚できる表示のための輝度情報として提供することによって、高感度を得ることができる。しかしながら、赤外線波長を感知するイメージャを利用するシステムは、撮像された光景の中にある物体の色に関する情報を提供しない。
【０００６】
更なる代案として、色情報を検出するための３つのイメージセンサーまたはチップと、輝度情報を検出すための第４のチップとを用いた撮像装置またはカメラが提案されている。しかしながら、マルチチップ設計は製造および実施にとって困難である。更に、４つの異なるイメージャの中の装置レンズ系によって集められた光を分けることによって、高感度を提供するためのそのような設計の能力が損なわれる。また、４つの別々のイメージセンサーの使用により、全体パッケージは相対的に大きくなり製造するのに高価となる。
【０００７】
消費者応用および軍事応用において、比較的小さくて軽く、比較的電力を使用しない撮像装置を提供することが望ましい。従って、ほとんどの消費者撮像装置および軍事用に設計された多くの撮像装置は単一のイメージセンサーを使用している。その結果、色情報を提供する既存の撮像装置は低光状態において比較的感度が悪く、また、高感度および低光
状態に対して最適化された撮像装置は一般的に単色イメージを提供する。
【０００８】
見る者に色情報が提供されるならば、検出と認識の視覚的作業を大変助けることができる。色情報を提供することができる撮像装置は、一般的に、スペクトルの赤と緑と青の部分に中心がある色の帯域を有する光を別々にサンプリングすることによって、それを行う。しかしながら、光のフィルタリングは、フィルタに入射する光の少なくともいくつかの要素の排除を必要とするので、フィルタリングは、そうでなければ撮像装置から得ることができる感度を減少させる。カラー撮像装置と共に使用されるイメージセンサーの光感度を増やすための一つのアプローチが、特許文献１の中でバイエル（Ｂａｙｅｒ）によって述べられている。ここに開示されているバイエルフィルタとして知られているフィルタは、イメージセンサー内のピクセルの全体配列に渡って分配されたピクセルサブセットを設けている。各ピクセルサブセットは、赤色光を通すフィルタを有する一つのピクセルと、青色光を通すフィルタを有する一つのピクセルと、緑色光を通すフィルタを有する二つのピクセルからなっている。緑色が光景内の輝度情報に主に貢献するので、バイエルフィルタは緑色フィルタ素子を推奨している。クロミナンス情報に対するこの輝度情報の選択は、より高い感度および解像度を有するイメージセンサーを提供する。しかしながら、光子がイメージセンサーのピクセルに到達する前に、少なくとも何らかのフィルタリングが行われるので、バイエルフィルタを用いた装置の感度は改善することが可能である。
【特許文献１】米国特許第３，９７１，０６５号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
高感度の電子式カラー撮像装置を提供することが望まれる。更に、単一イメージセンサーを用いたそのような装置を提供することは有益である。また、実施するのに比較的安価で製造が容易であるそのような装置を提供することは望ましい。
【課題を解決するための手段】
【００１０】
本発明によれば、カラーカメラを含む、単一チップ低光レベル撮像装置が提供される。本発明の実施態様によれば、装置のイメージセンサーを構成するピクセルの半分以上がフィルタリングされていない光を受け取る。また、イメージセンサーのピクセルの半分未満がフィルタリングされた光を受け取ってユーザに色情報を提供する。本発明の実施態様によれば、フィルタリングされていないイメージ情報を受け取るイメージセンサーのピクセルは、可視スペクトルを超えて近赤外線波長および赤外線波長にまで及ぶ波長の光を感知する。
【００１１】
本発明の実施態様によれば、フィルタリングされた光を受け取るピクセルの数は、フィルタリングされていない光を受け取るピクセルの数に比べて少ない。例えば、本発明の実施態様によれば、イメージセンサーのピクセルの約１０パーセント未満にフィルタリングされた光が供給される。本発明の別の実施態様によれば、イメージセンサーのピクセルの約４パーセント未満にフィルタリングされた光が供給される。
【００１２】
本発明のもう一つの実施態様によれば、フィルタリングされた光を受け取るピクセルによって得られた色情報は、補間によって、フィルタリングされていない光を受け取るピクセルに割り当てられる。本発明の更にもう一つの実施態様によれば、適当なカーネルによって、フィルタリングされた光を受け取るピクセルによって得られる信号を絡み合わせることによって、色情報はフィルタリングされていない光を受け取るピクセルと関係づけられる。
【００１３】
本発明の更なる実施態様によれば、フィルタリングされた光を受け取るピクセルは、イメージセンサーのピクセルの中に分配される。例えば、イメージセンサーは、複数のピク
セルサブセットと見なすことができる。各ピクセルサブセットは、ｎ行とｍ列を有するピクセルグループを備える。各サブセット内で、ピクセルグループにフィルタリングされた光が供給される。例えば、第１ピクセルに赤色光が供給され、第２ピクセルに緑色光が供給され、第３ピクセルに青色光が供給され。更なる例として、前記ピクセルの第１ピクセルおよび第２ピクセルに緑色光が供給され、第３ピクセルに赤色光が供給され、第４ピクセルに青色光が供給される。フィルタリングされた光を受け取るピクセルによって感知された色値は、次に、ピクセルサブセットに含まれるピクセルのすべてに割り当てることができる。本発明の実施態様によれば、フィルタリングされた光を受け取るピクセルは、ピクセルサブセットの中心またはその近傍に配置される。本発明の更なる実施態様によれば、ピクセルサブセットは、観察された光景内の色特徴のエイリアシングを減らすために、イメージセンサーに対して互い違いに配置される。本発明のもう一つの実施態様において、フィルタリングされた情報を受け取るピクセルは、イメージセンサーに対して無作為または擬似無作為に分配される。
【００１４】
本発明によれば、低光環境においてカラーイメージを提供する方法が提供される。本発明の実施態様によれば、イメージセンサーの一部として含まれるピクセルの小部分に供給する光をフィルタに通して色信号を得る。このようして得た色信号を、フィルタリングされていないイメージ情報を受け取るピクセルに対応するイメージの領域に割り当てる。本発明の更なる利点は、以下の説明から、特にそれが添付図面と共になされたときに、すぐに明らかとなる。
【発明を実施するための最良の形態】
【００１５】
本発明によれば、単一チップの低光レベルカラー撮像装置またはカメラが提供される。
図１に、本発明に関する使用に適したディジタル撮像装置１００の構成を示す。図１に示すように、物体１０４は光を反射し、この光は、レンズまたはレンズ系１１２によって、イメージセンサー１１６上にイメージオブジェクト１２０として集光される。イメージセンサー１１６は、複数の感光素子またはピクセル１２４で構成されている。ピクセル１２４は、イメージセンサー１１６の表面上に２次元配列で分配されている。ピクセル１２４は一般に、レンズ１１２によってイメージセンサー１１６の表面上に集められた光（即ち、イメージオブジェクト１２０）を電子信号に変換する。
【００１６】
従来のカラー撮像装置においては、イメージセンサー１１６のピクセル１２４のそれぞれが、３つの重畳した周波数帯域の一つの帯域内の光を受け取る。異なる周波数帯域のそれぞれが表されるピクセルグループの中に含まれた個々のピクセル１２４によって受け取られた光の相対強度により、イメージセンサー１１６は色情報を提供することができる。また、輝度情報を特に感知するピクセル１２４（即ち、緑色光を受け取るピクセル）によって受け取られたイメージ情報により、イメージセンサー１１６はイメージオブジェクト１２０の詳細に対応した信号を提供することができる。以下に詳細に説明するように、本発明による撮像装置１００は、従来装置よりも、ピクセル１２４のより大きな部分が輝度情報に寄与することを可能にし、色情報を提供し続けるとともに、装置の感度を増大させる。
【００１７】
図２に、撮像装置１００の主要な機能的要素を表すブロック図を示す。図１に関連して上に述べたように、ディジタル撮像装置またはカメラ１００は一般に、レンズまたはレンズ系１１２の形態の、イメージによって反射された光をイメージセンサー１１６上に焦光するための系を有している。ディジタル撮像装置またはカメラ１００を含む本発明によるディジタルイメージ装置１００は、図２に示すようなレンズまたはレンズ系１１２およびイメージセンサー１１６の他に、制御装置２０４、プリアンプ２０８、および、記憶装置および／または表示装置２１２を有することができる。一般に、制御装置２０４は、装置１００内に含まれた電子部品（例えば、イメージセンサー１１６、プリアンプ２０８、並
びに記憶装置および／または表示装置２１２）の動作を制御する。イメージセンサー１１６に関しては、制御装置２０４は、フレーム率を制御し、そのフレーム率でイメージ情報がイメージセンサー１１６によって電子形態に変換される。イメージセンサー１１６によって生成されたイメージオブジェクト１２０に関する電子情報は、増幅用プリアンプ２０８に供給される。制御装置２０４は、プリアンプ２０８によって受信された電子イメージ信号２１６にプリアンプ２０８によって付与される利得量を制御することができる。次に、増幅されたイメージ信号２２０は、記憶装置および／または表示装置２１２に供給することができる。本発明による、記憶装置および／または表示装置２１２によって記憶または表示される情報は、制御装置２０４によって計算された情報を含んでいる。そのような情報は、ピクセルに関する色情報を含んでいる。特に、制御装置２０４は、色情報が電子イメージ信号の一部として供給されないイメージセンサー１１６の領域に関する色情報を決定することができる。この色情報を決定する制御装置２０４の機能を、以下に更に詳細に説明する。
【００１８】
図３に、本発明の実施態様によるイメージセンサー１１６の撮像表面３０４を示す。図３に示すように、イメージセンサー１１６の撮像表面３０４を構成するピクセル１２４が、撮像表面全体に渡って行と列に分配されている。しかしながら、ピクセル１２４の他の配置を使用できることは明らかである。例えば、第１行のピクセルの位置が第２行のピクセルの位置と互い違い配置になるようにして、ピクセルが連続した列に配置されないパターンを作成することができる。
【００１９】
図４に、個々のピクセル１２４の断面を示す。図４に示すピクセル１２４は電荷結合素子である。電荷結合素子型ピクセル１２４は、ピクセル１２４の作用面に入射した光４０４を電子電荷に変換する。この電子電荷は、正電圧が加えられるゲート電極４１６を介してシリコン基板４１２に電圧を加えることによって生じるポテンシャル井戸４０８に集められる。この電子は、バリア電極４２４に負電圧を加えることによって生成されるポテンシャル障壁４２０によって、暴露期間の間、この井戸４０８に閉じ込められる。一般的な装置においては、電極４１６，４２４は二酸化珪素層４２８によって基板４１２から絶縁されている。
【００２０】
図４にはまた、フィルタ素子またはマイクロフィルタ４３２が示されている。フィルタ素子４３２は、選択されたピクセル１２４に関連付けられて、イメージセンサー１１６が色情報を提供できるようにする。フィルタ素子４３２は一般に、３つのスペクトル領域（即ち、色）のうちの一つをピクセル１２４へ通過させるように働く。
【００２１】
望ましい暴露期間が過ぎた後、障壁４２０が下げられ、集められた電荷がシリアルレジスタへ転送される。一般に、ピクセル１２４の列毎に集められた電荷がシリアルレジスタへ移される。あるいは、ピクセル１２４の全配列を、イメージの読み出しの間、等しいサイズの記憶アレイへ移すこともできる。
【００２２】
図５に、従来技術によるイメージセンサー１１６と共に色情報を提供するフィルタ５０４を示す。一般に、フィルタ５０４は複数のマイクロフィルタ素子５０８を有している。一般に、単一フィルタ素子５０８が、イメージセンサー１１６の各ピクセル１２４（図３参照）に対して設けられる。従って、各ピクセル１２４は選択された周波数帯域内の光を受け取る。色情報を提供する別の方法によれば、フィルタ５０４が順に動作してピクセル１２４に第１の色（例えば、緑）を提供することができ、その第１周波数帯域が有効な間に提供された情報が読み出される。次に、フィルタ５０４は、第２周波数帯域（例えば、赤）内のフィルタリングされた光を提供することができ、第２周波数帯域を提供するフィルタモードの動作中に得られた情報がピクセル１２４から読み出される。最後に、フィルタ５０４は、第３フィルタモードに入って、ピクセル１２４に第３周波数帯域（例えば、
青）を提供することができる。どちらのスキームのもとでも、従来技術によるカラーカメラにおいては、イメージセンサー１１６のピクセル１２４は常にフィルタリングされた光情報を受け取ることは明らかである。それ故、そのようなカメラの動作中、イメージセンサー１１６を構成するピクセルにとってそうでなければ利用可能な光からいくつかの利用可能な光子が除去される。
【００２３】
図５に示すフィルタスキームは、ピクセル１２４のサブグループを用いている。そのようなサブグループ６０４は図６に一般的に示されている。図６から、各サブグループ６０４は４つのフィルタ素子５０８を含んでいることは明らかである。一つのフィルタ素子は赤色光を通過させ、もう一つのフィルタ素子５０８は青色光を通過させる。更に、二つのフィルタ素子が緑色光を通過させる。輝度情報を提供するには緑色光が重要であり、また、色情報は、使用可能な帯域幅の比較的狭い部分を使用して十分に伝送できるので、サブグループ６０４当たり二つの緑フィルタ素子５０８の使用は、比較的大量の色情報を維持しながら、イメージセンサー１１６の感度を改善する傾向がある。
【００２４】
本発明の発明者は、フィルタリングされた光を受け取るピクセルの数を減らすことによって、ピクセル１２４にとって利用可能な光景内のイメージから反射される光子をより多くすることができるならば、イメージセンサー１１６の感度を低光応用における使用に対して更に改善できることに気づいた。また、本発明者は、イメージセンサー１１６のピクセル１２４の非常にわずかな部分に、フィルタリングされた光を提供することによって、物体認識の助けとなるのに十分な色情報を供給することができるということを認識した。
【００２５】
図７に、本発明の実施態様によるイメージセンサー１１６の撮像表面全体に渡るピクセル１２４の配置を示す。一般に、ピクセル１２４は複数のサブセット７０４内に配置される。分かりやすくするためにイメージセンサー１１６のピクセル１２４のいくつかだけが図７に示されていることは明らかである。
【００２６】
図７Ｂに、ピクセルサブセット７０４を示す。図７Ｂに示すように、色情報ピクセルグループ７０８は、色フィルタまたは色フィルタ素子４３２と関連づけられている。あるいは、周波数帯域（即ち、色）を選択するように、限定された光に反応するピクセル１２４が、色情報ピクセルグループ７０８を構成することができる。図７Ｂの例において、ピクセルグループ７０８は３つのピクセルで構成され、その一つは赤色フィルタ４３２を通過する光を受け取り、もう一つのピクセルは緑色フィルタ４３２を通過する光を受け取り、第３のピクセルは青色フィルタ４３２を通過する光を受け取る。また、ピクセルサブセット７０４に含まれるピクセルの大半は、フィルタリングされた光を受け取らないことは明らかである。例えば、図７Ｂに示すピクセルサブセット例７０４においては、８１個のピクセルがあり、その内の７９個はフィルタリングされていない光を受け取り、３個（または４％未満）はフィルタリングされた光を受け取る。従って、ピクセルサブセット７０４内のピクセル１２４の大半は、フィルタリングされていない光が供給される。よって、この例においては、ピクセルサブセット７０４内のピクセル１２４の９６％は全スペクトル分布の光を感知し、その結果、色情報ピクセルグループ７０８による撮像装置１００の感度への影響は極めて僅かとなる。
【００２７】
本発明の実施態様によれば、フィルタリングされた光を受け取るピクセルグループ７０８の中にないピクセル１２４は、約４００ｎｍから約１０５０ｎｍの波長の光を感知する。本発明の更なる実施態様によれば、赤色フィルタリングされた光を受け取る、ピクセルグループ７０８内に含まれる色情報ピクセルには、約５４０ｎｍから約７８０ｎｍの波長の光が供給され、緑色フィルタリングされた光を受け取るピクセルには、約４７０ｎｍから約６１０ｎｍの波長の光が供給され、青色フィルタリングされた光を受け取るピクセルには、約３８０ｎｍから約５１０ｎｍの波長の光が供給される。
【００２８】
図７Ｃに、本発明のもう一つの実施態様による色情報ピクセルグループ７０８を有するピクセルサブセット７０４を示す。図７Ｃのピクセルサブセットは、ピクセル１２４の９×９配列で配置されており、色情報ピクセルのそれぞれは、関連した色フィルタ素子４３２を有している。あるいは、周波数帯域を選択するように、限定された光に反応するピクセル１２４が、色情報ピクセルグループ７０８を構成することができる。図７Ｃの例において、ピクセルグループ７０８は、赤色光に反応する一つのピクセル１２４と、緑色光に反応する第２のピクセル１２４と、青色光に反応する第３のピクセル１２４とで構成される。また、色情報を受け取るピクセル１２４は、その隣の色情報ピクセル１２４から斜め方向に配置される。図７Ｂのピクセルサブセット例７０４におけるように、図７Ｃのピクセルサブセット７０４におけるピクセルの大半は、カラーフィルタリングされていない光を受け取る。従って、ピクセル１２４の大半は、高感度のために、フィルタリングされていない輝度情報あるいは全スペクトル輝度情報を提供する。図７Ｃに示す実施態様においては、ピクセルサブセット７０４内のピクセルの４％未満が、フィルタリングされた光を受け取る。
【００２９】
図７Ｄに、本発明のもう一つの実施態様によるピクセルサブセット７０４内に含まれる色情報ピクセルグループ７０８を示す。図７Ｄに示す色情報ピクセルグループ７０８は、図７Ｂおよび図７Ｃに示す色情報ピクセルグループ７０８とは、図７Ｄに示す色情報ピクセルグループ７０８がバイエルフィルタを実現する点において異なる。撮像された物体１２０に関する色情報は、色情報ピクセルグループ７０８内のそれらのピクセルからのみ得られる。それ故、選択された周波数帯域内にフィルタリングされた光を受け取る色情報ピクセルグループ７０８は、ピクセルサブセット７０４内の全ピクセル１２４の僅かな部分（即ち、半分未満）を表す。ピクセル１２４の残りの部分は輝度情報を提供する。この配置は、従来技術システムと比べて、フィルタリングされた光を受け取るピクセル１２４の数を制限することによって高い感度を提供する。
【００３０】
明らかなように、色情報ピクセルグループ７０８は、緑色光を感知する少なくとも一つのピクセル１２４と、赤色光を感知する少なくとも一つのピクセル１２４と、青色光を感知する少なくとも一つのピクセル１２４とを含むのが好ましい。更に明らかなように、色情報ピクセルグループ７０８の個々のピクセル１２４を互いに近接してグループ化することが一般的に望ましい。しかしながら、色情報ピクセルグループ７０８におけるピクセル１２４の特定の間隔および幾何学的関係は変更可能である。
【００３１】
制御装置２０４内にスイッチを追加するか、または撮像装置１００に関する他の処理電子回路を追加することによって、赤、緑、および青のクロミナンス信号を消すことができ、システムはカラーフィルタリングを行わない白黒カメラのそれとほぼ等しく作動する。そのようなスイッチは、色識別が望まれるかまたはその価値がある場合のみ、表示されるイメージに色情報を与えるように機能し得る。クロミナンス信号を無効にすることができるスイッチは、ノイズを減らすために使用することもできる。例えば、光レベルが非常に低く、クロミナンス信号の信号利得が高い場合、高利得レベルに伴うノイズは、色情報ピクセル７０８からクロミナンス信号を消すことによって除去することができる。クロミナンス信号が消される場合、影響を受けたピクセルに対する輝度情報は、全スペクトル分布光を受け取る隣接ピクセル１２４によって供給され続けることができる。
【００３２】
ここに述べられた説明は、ＲＧＢ色スキームなどの加色スキームで構成された色情報ピクセル７０８の例を含んでいるが、本発明は補色スキームを利用することもできることは明らかである。例えば、色情報ピクセル７０８は、シアン・マゼンタ・黄色（ＣＭＹ）などの減色スキームで構成することもできる。減色スキームを用いるピクセルサブセット７０４は、少なくとも一つのピクセル１２４がシアン光を感知し、少なくとも一つのピクセ
ル１２４がマゼンタ光を感知し、少なくとも一つのピクセル１２４が黄色光を感知する色情報ピクセルグループ７０８を含むことができる。ピクセルサブセット７０４に含まれるピクセルの大半を構成する残りのピクセル１２４は輝度情報を提供する。
【００３３】
図８に、ピクセルサブセットの別の配置を示す。特に、図８に示すイメージセンサー１１６は、正方形のピクセルサブセット８０４と長方形のピクセルサブセット８０８とで構成されている。長方形ピクセルサブセット８０８は、ピクセルサブセット８０４を互いに互い違いに配置したためにピクセルサブセット８０４の連続列が形成されない結果生じたものである。ピクセルサブセット８０４，８０８はそれぞれ、カラーフィルタリングされた光を受け取るピクセルグループ７０８を含んでいる。ピクセルグループ７０８は、ピクセルサブセット８０４，８０８内の利用可能なピクセル１２４の全数のうちのわずかな部分（即ち、半分未満）を表している。ピクセルサブセット８０４，８０８を互い違いに配置することによって、ピクセルグループ７０８によって得られる色情報は、本発明によるイメージセンサー１１６によって得られる比較的まばらな色情報の結果として生じることがあるエイリアシングを減らすことができる。
【００３４】
図９に、本発明の更にもう一つの実施態様によるイメージセンサー１１６の表面を示す。図９において、赤色フィルタリングされた光が供給される一つのピクセルと、緑色フィルタリングされた光が供給される一つのピクセルと、青色フィルタリングされた光が供給される一つのピクセルとで構成される色情報ピクセルグループ７０８は、イメージセンサー１１６の表面を横切る対角線の周りに分配されている。この配置は、色情報のエイリアシングの影響を減らすこともできる。
【００３５】
いま図１０に、本発明の実施態様による更にもう一つのイメージセンサー１１６を示す。図１０において、カラーフィルタリングされた光を受け取る色情報ピクセルグループ７０８は、イメージセンサー１１６の表面の至るところに無作為に配置されている。本発明の別の実施態様によれば、色情報ピクセルグループは、イメージセンサー１１６の表面の至るところに擬似無作為に分布されている。一般に、ほとんどの物体に見られる主要な水平線と垂直線のエイリアシングを最少にするためには、水平線と垂直線における色情報ピクセルグループの分布を最少にしなければならない。本発明の実施態様によれば、イメージセンサー１１６のピクセル１２４の１０％未満が、カラーフィルタリングされた光を受け取る。本発明の更なる実施態様によれば、イメージセンサー１１６のピクセル１２４の５％未満が、カラーフィルタリングされた光を受け取る。
【００３６】
本発明は、ピクセル１２４の大半が全スペクトル光を受け取るので、色情報をアンダーサンプリングする。図１１は、全スペクトル光を受け取る（即ち、カラーフィルタリングされた光を受け取らない）ピクセル１２４で構成されるイメージセンサー１１６の領域と合致するイメージ１２０の領域に色がどのように割り当てられるかを示す図である。本発明の色過少サンプリングから生じる目に見えるアーティファクトを抑制するために、受け取られる色信号は、イメージセンサー１１６の縦軸および横軸の両方に沿ってフィルタリングされるか、またはスムーシングされなければならない。フィルタリングは、適当なカーネルで色チャンネル信号を絡み合わせることによって実現することができる。コンピュータによらない強力なアプローチは、色信号の直線補間の形式を提供することである。そうすることによって、色情報をイメージモーションスミア（ｉｍａｇｅ  ｍｏｒｔｉｏｎ
ｓｍｅａｒ）による大きな劣化なしに遅延させることができるという点において、全システムの限定された解像度と比べて、比較的低解像度の色を利用することができる。即ち、色情報またはクロミナンス情報のフレーム遅延が著しく強い影響を受けるほどイメージモーションが十分大きい場合には、輝度信号は有用性が疑わしくなるほど劣化する。
【００３７】
直線補間アプローチの一つの実施を図１１に示す。図１１において、分かりやすくする
ために、単一の色チャンネルと関連するピクセル１１０４とが示されている。色サンプルは、ピクセルサブセット７０４の寸法に等しいピッチ（Ｐ）を有する正方形グリッド上にとられる。即ち、ピッチはそれが色情報に関係するとき、隣接する色情報ピクセルグループ７０８（単一の色情報ピクセル１１０４によって表されている）の間の距離に等しい。各グループ７０８に対するディジタル化された中心値は、水平方向の二つの隣接グループ７０８に対してはＡ（ｉ，ｊ）、Ａ（ｉ＋ｐ，ｊ）として示され、垂直方向に対してはＡ（ｉ，ｊ），Ａ（ｉ，ｊ＋ｐ）として示されている。順次走査装置においては、イメージがイメージセンサー１１６から読み取られているとき、中心色値を提供するピクセルグループ７０８の間にあるピクセル１２４列に対する色値が、適当なアルゴリズムによって推定される。例えば、Ａ（ｉ，ｊ）とＡ（ｉ，ｊ＋ｐ）の間の列にあるピクセルに対する色値は以下の式によって推定することができる。
【００３８】
【数１】
2005525052.tif 000003
上記式中、
【００３９】
【数２】
2005525052.tif 000004
従って、Ａ（ｉ，ｊ）とＡ（ｉ，ｊ＋ｐ）との間の列値は前記アルゴリズムを用いて計算される。同様に、Ａ（ｉ＋ｐ，ｊ）とＡ（ｉ＋ｐ，ｊ＋ｐ）との間の列値も前記アルゴリズムを用いて決定される。
【００４０】
次のフレームが読み取られるとき、色情報を提供するピクセルを含む列の間の色値のすべてが、同様のアルゴリズムによって推定される。即ち、Ａ（ｉ＋１，ｊ）とＡ（ｉ＋（ｐ−１），ｊ）との間の値であり、ｉは１からｐ−１までであり、従って、Ａ（ｉ＋１，ｊ）とＡ（ｉ＋１，ｊ＋（ｐ−１））との間の任意のライン値を示す。これらの行色値が補間されるとき、読み取られている現在フレームの列値も計算される。一般に、補間は、各色チャンネルに対して並行して行われ、スムーシングまたはフィルタリングされたクロミナンス信号として用いられる。外側ブロックに対する端値は、適宜、最も近い隣の計算された中心値またはディジタル化された中心値を使用する。フィルタリングされた光を受け取らないピクセル１２４の色値は、高解像度輝度信号を提供するために用いられる。色感知ピクセル７０８（即ち、フィルタリングされた光を受け取るピクセル）によって占められる場所に対する輝度信号値は、隣の輝度値から補間することができる。
【００４１】
従来のカラー撮像装置と比較して、本発明によるカラー撮像装置１００の改善された感度の例として、１０００ピクセル行と１０００ピクセル列とで構成されたイメージセンサー１１６を考える。また、水平軸と垂直軸の両方において１００個の独立した色サンプルをとると仮定する。この例のために、バイエルフィルタ型のピクセルグループ７０８を、色情報を得るために使用することができる。従って、色情報を受け取るピクセルは合計１００×１００＝１０，０００個となる。色情報を受け取るこれらのピクセルが、イメージセンサー１１６によって供給される輝度信号に寄与しないとみなされる場合、イメージセンサー１１６によって提供される全光子補足領域の４パーセントだけが失われている。従って、本発明によるイメージセンサー１１６の感度は、単色イメージセンサーの感度とほ
ぼ同じである。しかしながら、本発明は色情報を提供する。更に、本発明によるイメージセンサーは、赤外線波長にまで及ぶ光から輝度情報を提供することができ、また、従来のカラー撮像システムよりも大きい感度を提供することができる。また、色感知ピクセルグループから色情報を得ることによって、および、残りのピクセルを輝度情報源として用いることによって、本発明による撮像装置１００は、色の飽和度がしばしば不正確となるけれども、正しい色相を提供する。
【００４２】
本発明の実施態様によれば、輝度信号値は、選択されたスペクトル帯域を感知するか隣接ピクセルからの色を感知するピクセル１２４に関して提供される。例えば、フィルタリングされた光を受け取るピクセル１２４に対する輝度信号は、フィルタリングされていない光を受け取る一つまたはそれ以上の隣接ピクセルから補間することができる。例えば、図７Ｃに示すピクセルサブセット７０４配置に関連して、各色情報ピクセルに対する輝度値は、式（Ｌleft＋Ｌright ）／２（Ｌは輝度値）を用いて、左右のピクセル１２４に対する輝度値から導くことができる。更なる例として、色情報ピクセル１２４に先行するピクセル１２４に対する輝度値は、サンプルホールド回路を用いて簡単に繰り返すことができる。
【００４３】
図１２に、理想的なカラー撮像システムに対する色度図を示す。この理想システムの表示は、シーン照明が、６５００ケルビンの色温度を有する黒体のそれであるかのように、設定される。表示原色は、ＨＤＴＶ用仕様Ｒｅｃ．７０９に定義されているようなものである。この例の理想システムによって再生することができる色の全域は三角形１２０４内に入る。図１２に、１３テスト色の色相と飽和度が、１から１３の番号が付された印によって示されている。１３テスト色のそれぞれに対してこの理想システムによって提供される出力は、この理想システムによって再生できる色の範囲外にあって再生原色が与えられるテストサンプル番号５を除いて、これらのテスト色と正確に対応している。従って、サンプル番号５の色は、参照番号５の隣の「＋」によって示されるような、色の実際の色度座標から発するベクトルによって示されるように、基準の白１２０８に従って、三角形の端において再生される。即ち、色はベクトルの端で再生される。これは、前記理想システムがその色に対して提供できる最善の表現である。
【００４４】
図１２に関して参照されるこの理想システムにおいて、このシミュレーションにおいて用いられるテスト色のスペクトル範囲は、スペクトルの可視部分とその近くの赤外線部分の両方を含む４００ｎｍから１１００ｎｍである。カメラの赤・緑・青（ＲＧＢ）取得特性は、７８０ｎｍよりは長い波長に対しては存在しないスペクトルの可視部分だけをカバーしている。このシステムに対する輝度信号は、ＮＴＳＣテレビ放送信号においてなされるように、適切な部分におけるＲＧＢ信号を合計することによって得られる。
【００４５】
図１３に、全スペクトル（例えば、４００ｎｍから１１００ｎｍまで）応答性によって生成される輝度信号を提供する本発明による撮像システム１００の性能を示す。例えば、そのような応答性は、カラーフィルタリングされていない光が供給される１４ミクロンのエピタキシャル厚みを持った薄い後方照明ＣＣＤを用いて得ることができる。図１３に示すテスト結果のために、クロミナンス信号の利得は輝度信号の数倍である。撮像システム１１００によって再生できる色の全領域は三角形１３０４内にある。テスト色１から１３までの殆どは、撮像システム１１００によって誤って再生されるということが注目される。しかしながら、このテスト色は、正しい色相で撮像システム１１００によって再生されるということも注目される。このことは、このテスト色のそれぞれに関するベクトルの方向によって示され、このベクトルは基準の白１２０８に従っている。誤りは一般に、テスト色の飽和度に関して発生する。それにもかかわらず、正しい色相を提供することによって、本発明による撮像システム１００は、物体認識の作業に役立つ十分な色情報を提供する一方で、良好な低光レベル性能（即ち、高感度）を提供することができる。また、全ス
ペクトル帯域幅（即ち、スペクトルの赤外線部分を含む）でピクセルを動作させる間でさえも、色情報が提供されて、均一なより高い感度が得られる。
【００４６】
図１４は、本発明の実施態様によるインターレース撮像装置１００の態様を示す。そのような装置においては、収集した情報の中心を、イメージデータのフレームを構成する第１フィールドと第２フィールドの間で移動させる。信号収集サイト中心の移動のために、色情報を提供するピクセルに関連して必要な色マイクロフィルタの配置に対する要求が、場合によっては問題である。
【００４７】
図１４に、擬似インターレースシステムを用いた本発明の実施態様に関連して色情報を提供するための一つの解決法を示す。図１４において、４相装置が説明のために用いられている。第１フィールド１４０４は、第１相１４０８を、第２相１４２０、第３相１４２４、および第４相１４２８によって収集される信号１４１６に対する障壁相１４１２として用いる。色マイクロフィルタ４３２は、縦軸における第１フィールド１４０４収集サイト上に中心が置かれている。マイクロフィルタ４３２の他にスペクトルフィルタはないので、全スペクトルが他のピクセル上に落ちる。第２フィールド１４３６において、マイクロフィルタ４３２の配置は、全スペクトル情報を受け取らない二つの収集サイト１４４０，１４４４を生じる。従って、収集サイト１４４０，１４４４は、第２フィールド１４３６と共に提供される信号から捨てられ、色サンプルだけが第１フィールド１４０４に関して受け取られる。
【００４８】
本発明の実施態様によれば、クロミナンス信号利得量は、光景内で利用可能な光レベルに従って調整することができる。例えば、非常に低い光レベルにおいては、ノイズを減らすためにクロミナンス信号利得を減らすことができる。自動利得制御（ＡＧＣ）回路と接続して信号利得を変化させることができる。
【００４９】
更に、本発明によって提供される、輝度信号と比べて比較的低い解像度のクロミンナンス信号は、提供されたイメージの劣化が殆どあるいは全くなしに、色チャンネル情報に関してフレーム遅延を可能にする。フレーム遅延を行うことにより、信号処理およびクロミナンス信号の空間フィルタリングに対し、時間を追加することができる。クロミナンス信号を多数のフレームに渡って平均化して、色情報の信号対ノイズ比を改善することもできる。
【００５０】
本発明の前述の議論は、例示と説明のために提示されてきた。また、その説明は、本発明をここに開示された形態に制限するものではない。従って、関連技術の熟練と知識の範囲内の、前記教示と同等の変形例および変更は、本発明の範囲内にある。上に説明した実施態様は、更に、本発明を実施する現在知られている最善の態様を説明すると共に、当業者がそのような実施態様または他の実施態様において、および、その特定の応用または本発明の使用によって要求される種々の変更と共に、本発明を使用できるようにするためのものである。添付特許請求の範囲は従来技術によって許容される程度まで代替実施態様を含むと見なされることが意図されている。
【図面の簡単な説明】
【００５１】
【図１】電子式撮像装置の構成を示す図。
【図２】電子式撮像装置の主要部品を示すブロック図。
【図３】イメージセンサーの撮像表面を示す図。
【図４】イメージセンサーのピクセルを示す図。
【図５】従来技術によるフィルタを示す図。
【図６】従来技術によるフィルタ素子を示す図。
【図７Ａ】本発明の実施態様によるイメージセンサーを示す図。
【図７Ｂ】本発明の実施態様によるピクセルサブセットを示す図。
【図７Ｃ】本発明の別の実施態様によるピクセルサブセットを示す図。
【図７Ｄ】本発明の別の実施態様によるピクセルサブセットを示す図。
【図８】本発明の別の実施態様によるイメージセンサーを示す図。
【図９】本発明の別の実施態様によるイメージセンサーを示す図。
【図１０】本発明の別の実施態様によるイメージセンサーを示す図。
【図１１】本発明の実施態様による色情報の決定を示す図。
【図１２】理想的なカラー撮像装置の色度図。
【図１３】本発明の実施態様によるカラー撮像装置に対する色度図。
【図１４】本発明の実施態様によるインターレース撮像装置センサーの側面を示す図。
【図１】
2005525052.tif 000005
【図２】
2005525052.tif 000006
【図３】
2005525052.tif 000007
【図４】
2005525052.tif 000008
【図５】
2005525052.tif 000009
【図６】
2005525052.tif 000010
2005525052.tif 000011
【図８】
2005525052.tif 000012
【図９】
2005525052.tif 000013
【図１０】
2005525052.tif 000014
【図１１】
2005525052.tif 000015
【図１２】
2005525052.tif 000016
【図１３】
2005525052.tif 000017
【図１４】
2005525052.tif 000018
【国際調査報告】
2005525052.tif 000019
2005525052.tif 000020