(57)【特許請求の範囲】
【請求項１】
イメージセンサであって：
画素の２次元アレイを有するセンサアレイであって、該センサアレイの前記画素の各々は、あるシーンの画像を表す画素データとしてディジタル信号を出力し、前記ディジタル信号は各画素に当たる光強度を表すシリアルビットストリームであり、該センサアレイは、複数の露光時間による複数の画像表現を表す複数の画素データ群を生成するセンサアレイ；
前記センサアレイと通信し、前記画素各々に対する前記画素データを格納するデータメモリであって、前記画素各々に対する前記画素データは、前記複数の露光時間の１つで得られた画像表現に関連付けられ、前記データメモリは当該イメージセンサにおけるオンチップメモリであるため、当該イメージセンサから前記データメモリへのデータ伝送は妨げられない、メモリ；及び
前記センサアレイと通信し、前記画素各々に対する閾値フラグを格納する閾値メモリであって、前記閾値フラグは、画素に関連する前記画素データが所定の閾値を越える場合に第１の値をとり且つ前記画素データが前記所定の閾値を越えなかった場合に第２の値をとり、前記閾値フラグは、前記複数の露光時間の１つで前記第１の値に設定されると、前記複数の露光時間の残りの露光時間中、前記第１の値に保持される閾値メモリ；
を有し、
前記画素各々に関連する前記閾値メモリ中の前記閾値フラグが前記第２の値をとる場合、前記データメモリは、前記複数の露光時間の各々による画像表現に関連する画素各々について画素データを格納し、
前記センサアレイ、前記データメモリ及び前記閾値メモリは集積回路内に形成されるようにしたイメージセンサであり、
何れかの飽和された値がデータメモリにおいて有用な情報を上書きしないように、前記データメモリにおけるデータセルの各々に又は前記センサアレイにおける光検出器の各々に印が与えられ、前記有用な画像が正確に再生されるように、時間インデックスメモリにおける内容が個別に使用され、故に、前記データメモリの内容が更なる露光時間の後に正しく更新される又はデータのフレームが正しく組み合わされることが可能である、
イメージセンサ。
【請求項２】
前記センサアレイはＮ×Ｍ個の画素を含み、画素データをｋビットで提供し、前記データメモリはＮ×Ｍ×ｋビットであり、前記閾値メモリはＮ×Ｍビットである請求項１記載のイメージセンサ。
【請求項３】
前記センサアレイはＮ×Ｍ個の画素を含み、画素データをｋビットで提供し、前記データメモリはＮ×Ｍ×ｋビットであり、前記閾値メモリはＮ×Ｍビットであり、前記時間インデックスメモリはＮ×Ｍ×ｍビットであり、ｍは時間解像度である請求項１記載のイメージセンサ。
【請求項４】
前記複数の露光時間は、前記画像中の強い照度の領域に関連する画像情報を捕捉するための比較的短い露光時間、前記画像中の弱い照度の領域に関連する画像情報を捕捉するための比較的長い露光時間、及び前記画像中の徐々に増加する照度の領域に関連する画像情報を捕捉するための中間の露光時間のいずれかであり、
複数の露光時間による前記複数の画像表現の組み合わせが、前記センサアレイのための広いダイナミックレンジをもたらすようにした請求項１記載のイメージセンサ。
【請求項５】
前記データメモリが、第１露光時間で及び以後の各露光時間で、第１の画像表現に関する画素各々について画素データを格納し、各画素に関連する前記閾値メモリ中の前記閾値フラグが前記第２の値を有する場合にのみ、前記データメモリは、後続の画像表現に関する画素についての画素データを更新する請求項１記載のイメージセンサ。
【請求項６】
ディジタル画像センサで画像を表す電気信号を生成する方法であって、
複数の露光時間で画素データとしてディジタル信号を生成するステップであって、生成される複数の画素データ群は、前記複数の露光時間による複数の画素表現を表し、前記ディジタル信号は、集積回路に形成される画素のセンサアレイ中の各画素で生成されるシリアルビットストリームであり且つ該画素に当たる光強度を表すアナログ信号レベルに対応するステップ；
複数の閾値フラグを含む同じ集積回路で閾値メモリを、各閾値フラグが前記センサアレイ中の画素に関連するように準備するステップと、
前記閾値メモリ中の各閾値フラグを第１の値に設定するステップと、
前記複数の露光時間の内の最後の露光時間に至る前の各露光時間において、前記センサアレイ中の第１の画素の前記画素データが所定の閾値を越えているか否かを確認するステップと、
前記画素データが前記所定の閾値を越えており且つ前記第１の画素に関連する前記閾値フラグが第１の値を有する場合、前記第１の画素に関連する前記同じ集積回路に用意されたデータメモリ中のロケーションに前記画素データを格納し、前記第１の画素に関連する前記閾値フラグを第２の値に設定するステップであって、前記閾値フラグは前記第１の画素に対する画素データの更なる更新を防ぐために前記第２の値をとり、前記閾値フラグは、前記複数の露光時間の１つで前記第２の値に設定されると、前記複数の露光時間の残りの露光時間中、前記第２の値に保持され、前記データメモリは前記ディジタル画像センサにおけるオンチップメモリであるため、前記ディジタル画像センサから前記データメモリへのデータ伝送は妨げられない、ステップ；及び
前記画素データが前記所定の閾値を越えておらず且つ前記第１の画素に関連する前記閾値フラグが第１の値を有する場合、前記第１の画素に対する前記画素データを、前記データメモリ中の前記ロケーションに格納するステップと、
を有する方法であり、
何れかの飽和された値がデータメモリにおいて有用な情報を上書きしないように、前記データメモリにおけるデータセルの各々に又は前記センサアレイにおける光検出器の各々に印が与えられ、前記有用な画像が正確に再生されるように、時間インデックスメモリにおける内容が個別に使用され、故に、前記データメモリの内容が更なる露光時間の後に正しく更新される又はデータのフレームが正しく組み合わされることが可能である、
方法。
【請求項７】
前記第１の画素の前記画素データが、前記最後の露光時間の前に前記所定の閾値を越えていなかった場合、前記最後の露光時間に記録された前記第１の画素の前記画素データを、前記データメモリに格納するステップを更に有する請求項６記載の方法。
【請求項８】
前記複数の露光時間は、前記画像中の強い照度の領域に関連する画像情報を捕捉するための比較的短い露光時間、前記画像中の弱い照度の領域に関連する画像情報を捕捉するための比較的長い露光時間、及び前記画像中の徐々に増加する照度の領域に関連する画像情報を捕捉するための中間の露光時間のいずれかであり、
複数の露光時間による前記複数の画像表現の組み合わせが、前記センサアレイのための広いダイナミックレンジをもたらすようにした請求項６記載の方法。
【請求項９】
ディジタル画像センサで画像を表す電気信号を生成する方法であって、
複数の露光時間で画素データとしてディジタル信号を生成するステップであって、生成される複数の画素データ群は、前記複数の露光時間による複数の画素表現を表し、前記ディジタル信号は、集積回路に形成される画素のセンサアレイ中の各画素で生成されるシリアルビットストリームであり且つ該画素に当たる光強度を表すアナログ信号レベルに対応するステップ；
複数の閾値フラグを含む同じ集積回路で閾値メモリを、各閾値フラグが前記センサアレイ中の画素に関連するように準備するステップと、
前記閾値メモリ中の各閾値フラグを第１の値に設定するステップと、
第１の露光時間において、前記センサアレイの前記画素各々についての前記画素データを、同じ集積回路上のデータメモリに格納するステップであって、前記データメモリは前記ディジタル画像センサにおけるオンチップメモリであるため、前記ディジタル画像センサから前記データメモリへのデータ伝送は妨げられない、ステップと、
前記画素各々の画素データが所定の閾値を越えているか否かを確認するステップと、
ある画素の前記画素データが前記所定の閾値を越えていた場合、前記画素に関連する前記閾値フラグを第２の値に設定するステップであって、前記画素に対する画素データの更なる更新を防ぐ際、前記閾値フラグは前記第２の値をとり、前記閾値フラグは、前記閾値フラグは、前記第１の露光時間で前記第２の値に設定されると、前記複数の露光時間の残りの露光時間中、前記第２の値に保持されるステップ；
前記第１の露光時間後の各露光時間において、前記画素各々の画素データが前記所定の閾値を越えているか否かを確認するステップと、
ある画素の前記画素データが前記所定の閾値を越えており且つ前記画素に関連する前記閾値フラグが第１の値を有する場合、前記第１の画素に関連する前記データメモリ中のロケーションに前記画素データを格納し、前記画素に関連する前記フラグ閾値を前記第２の値に設定するステップと、
ある画素の前記画素データが前記所定の閾値を越えておらず且つ前記画素に関連する前記閾値フラグが第１の値を有する場合、前記画素に対する前記画素データを、前記データメモリ中の前記ロケーションに格納するステップと、
を有する方法であり、
何れかの飽和された値がデータメモリにおいて有用な情報を上書きしないように、前記データメモリにおけるデータセルの各々に又は前記センサアレイにおける光検出器の各々に印が与えられ、前記有用な画像が正確に再生されるように、時間インデックスメモリにおける内容が個別に使用され、故に、前記データメモリの内容が更なる露光時間の後に正しく更新される又はデータのフレームが正しく組み合わされることが可能である、
方法。
【請求項１０】
前記複数の露光時間は、前記画像中の強い照度の領域に関連する画像情報を捕捉するための比較的短い露光時間、前記画像中の弱い照度の領域に関連する画像情報を捕捉するための比較的長い露光時間、及び前記画像中の徐々に増加する照度の領域に関連する画像情報を捕捉するための中間の露光時間のいずれかであり、
複数の露光時間による前記複数の画像表現の組み合わせが、前記センサアレイのための広いダイナミックレンジをもたらすようにした請求項９記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサシステムに関する。更に特定的には、本発明は広いダイナミックレンジを達成するために時間インデックスアプローチを用いて画像多サンプリングを容易とするイメージセンサの構造及び関連する方法に関する。
【０００２】
【従来の技術】
ディジタル写真技術は、２０世紀中に出現した最も興味深い技術のうちの１つである。適当なハードウエア及びソフトウエア（及び少しの知識）で、誰でもディジタル写真技術の原理を用いることができる。例えば、ディジタルカメラはディジタル写真技術の最先端の技術である。近年の製品の導入、技術的な進歩、価格の低下は、電子メール及びワールドワイドウェブ（ＷＷＷ）の出現と共に、ディジタルカメラを消費者電子製品の最も新しいカテゴリのうちの１つとさせている。
【０００３】
しかしながら、ディジタルカメラは、従来のフィルム式カメラと同様には動作しない。実際、ディジタルカメラは、コンピュータスキャナ、コピー装置、又はファクシミリ装置により密接に関連付けられている。殆どのディジタルカメラは、シーンを感知するために電荷結合素子（ＣＣＤ）又は相補性金属酸化膜半導体（ＣＭＯＳ）といったイメージセンサ又は感光装置を使用する。感光装置は、シーンから反射される光に反応し、その反応の強さを数値的なものに変換しうる。光を例えば赤、緑、及び青のフィルタに通すことにより、反応は各別々の色スペクトルについて測定されうる。読み出された値がソフトウエアによって組み合わされ評価されると、カメラはピクチャの各素子の特定の色を決定しうる。画像は実際は数値データの集合であるため、容易にコンピュータからダウンロードされ、更なる美的効果のために操作されうる。
【０００４】
それでもなお、今日のディジタルカメラの中のイメージセンサの限られた解像度により、ディジタルカメラが使用されえない多くの場合がある。フィルム式の写真は、ディジタルカメラよりも遙かに高い解像度を有する。従来のフィルム式の技術は、一般的には１０００万画素の解像度を有するが、消費者が購入しうる価格で製造されるディジタルカメラ中のイメージセンサは今日では１００万画素をわずかに越える程度である。
【０００５】
ディジタルカメラ中で使用されるイメージセンサについては、ダイナミックレンジは他の重要な事項である。イメージセンサのダイナミックレンジは、しばしばハイライトと暗い影の両方でシーンを捕捉するのには十分に広くない。これは、特に、一般的にＣＣＤよりも低いダイナミックレンジを有するＣＭＯＳセンサの場合にあてはまる。これらの装置のダイナミックレンジを広くするために以前に提案されている解決策は、以下の３つのカテゴリ、即ち、
・応答曲線の圧縮、
・多サンプリング、
・蓄積時間の制御、
に分けられる。応答曲線は対数的な応答を有するセンサを用いることによって圧縮される。
【０００６】
これを行なうには２つの方法がある。
【０００７】
第１のアプローチは、瞬間的な電流読み出しモードで動作するＣＭＯＳセンサを使用することである。このモードでは、光検出器によって発生される光電流は、センサ伝達曲線を圧縮するために例えばＭＯＳトランジスタに接続されるダイオードといった対数的な応答を有する装置に供給される。このスキームは、非常に広いダイナミックレンジを達成することができるが、結果として生ずる画質は、低い信号対雑音比（ＳＮＲ）のため、一般的に低い。
【０００８】
応答曲線を圧縮するための第２のアプローチは、井戸容量調整と称される技術を用いるものである。ここでは、ダイナミックレンジは露光時間中に井戸容量を１倍以上増加させることによって高められる。蓄積中、井戸容量はその最大値まで単調増加される。光によって発生された過剰な電荷は、あふれゲートを介してドレインされる。しかしながらこのスキームは、大きな固定のパターン雑音及びＳＮＲの低下という問題がある。
【０００９】
多サンプリングでは、シーンは異なる露光時間において数回撮像され、データは高いダイナミックレンジの画像を構成するために結合される。このアプローチが適当な捕捉回数で動作するには、読み出し処理は通常のアクティブ画素センサ（ＡＰＳ）速度よりもはるかに速い速度で実行されねばならない。多サンプリングスキームは、効果的に広いダイナミックレンジを達成する。現実には、多くのデータが読み出される必要があり、これは多くの種類のイメージセンサにおいて特に負担となる。
【００１０】
第３の方法は、蓄積時間を制御することであり、これは他の方法と比較して幾つかの見込みのある点を有する。本質的に、各画素の露光時間は、各蓄積期間の終了時に飽和しないよう個々に調整される。これを達成するには多くの手法がある。
【００１１】
１つの手法は、局所的な露光制御を行なうために蓄積開始時間を制御するよう各画素にセット・リセットフリップフロップ及びＡＮＤゲートを配置することである。しかしながら、このアプローチには以下の欠点がある。
【００１２】
・各画素は、フリップフロップ及びＡＮＤゲートを含んだことにより大きくなる。
【００１３】
・全ての画素の露光時間を記憶するために大きい「タイムスタンプ」メモリが必要となる。各画素の露光時間は、様々な露光時間を試すことによって決定されうる。動きのあるシーンを捕捉するとき、露光時間は変化し、従って「タイムスタンプ」メモリが更新されねばならず、これは負担が大きいだけでなく画像の遅延を生じさせる。
【００１４】
・更に、画素の読み出しに使用される列デコーダ及び行デコーダだけでなく、フリップフロップを制御するのに必要とされる他の列デコーダ及び行デコーダが使用される。
【００１５】
第２の手法は、局所的な露光制御を達成するための個々の画素リセット（ＩＰＲ）について知られているものであり、各画素の蓄積開始時間が外部的に制御されうるよう、標準の３トランジスタＡＰＳ設計に第２のリセットトランジスタが加えられる。第２の手法は、画素寸法を小さく維持するが、全ての画素の露光時間を記憶するために大きい外部メモリを必要とし、更にメモリのリフレッシュ動作と追加的な列デコーダ及び行デコーダを必要とする。更に、リセット期間に亘って各画素に対して多数のリセットパルスが印加される必要がある場合がある。パルスをリセットするための時間制御は、かなり複雑であることがある。
【００１６】
【発明が解決しようとする課題】
従って、上述の欠点のうちの幾つかを克服し、特に広いダイナミックレンジを有する画像データを出力する広いダイナミックレンジのイメージセンサに対する要請が高まっている。更に、センサは、露光時間を制御するのに外部タイムスタンプメモリ及び制御論理を必要とすべきでない。
【００１７】
【課題を解決するための手段】
本発明は、記録されるべき被写体のサンプルが他のサンプルとは異なる間隔に亘って取られるよう各サンプルを取ることによって、センサのダイナミックレンジが増加されるようなディジタル画素センサの構造を提供する。異なる記録間隔を用いることにより、閾値に対して光検出器信号を蓄積すること、及び画像中の画素を飽和させることなく光検出器のダイナミックレンジを拡張することを可能とする。
【００１８】
本発明の望ましい実施例では、画素のアレイは集積回路上に形成される。各画素はディジタル信号を出力し、光検出器とアナログ・ディジタル変換器とを含む。光検出器は、アナログ・ディジタル変換器と一体化される。
【００１９】
夫々が画素のうちの１つに対応する閾値メモリセルのアレイもまた提供される。閾値メモリは、特定の閾値メモリセルに対応する画素が閾値を超過せず、従って画素に対して飽和された信号を供給しないことを確実とする。或いは、閾値メモリは、特定の閾値メモリセルに対応する画素中の信号が、信号が特定の閾値メモリセル中の値を超過したときにのみ読み出されることを確実とする。本質的には、閾値メモリは、メモリセルへの不必要な値の読み出しを防止する（以下説明する）。
【００２０】
夫々が画素のうちの１つに対応する時間メモリセルのアレイは、多数のサンプルの夫々について各画素のための異なる露光時間を確立する。
【００２１】
夫々が画素のうちの１つに結合されるメモリ素子のアレイもまた提供される。メモリ要素もまた、集積回路上に形成される。メモリ要素は、閾値メモリセルのうちの対応するものの中の内容が許す場合にのみ、対応する１つの画素から値を受け取る。このようにして、光検出器のダイナミックレンジを拡張するために、記録されるべき被写体についての多数のサンプルが収集されうる。
【００２２】
この機構を同一の集積回路上で実施するために光検出器とメモリを一体化することにより、外部メモリが使用された場合に経験されるであろう待ち時間が回避される。
【００２３】
【発明の実施の形態】
本発明の以下の詳細な説明では、本発明の現時点において望ましい実施例が完全に理解されるよう幾つかの特定的な詳細について述べる。しかしながら、当業者によれば、本願に記載される特定的な詳細を用いずに本発明が実施されうることが明らかとなろう。本発明を不必要に不明瞭としないよう、周知の方法、手順、構成要素、及び回路については詳細には説明していない。
【００２４】
以下の説明では、幾つかの図面を通じて同様の番号は同様の部分について参照するために用いられる。
【００２５】
図１Ａは、本発明が実施されうるイメージセンサ又は感光チップ１００を示す図である。イメージセンサ１００は、静止写真又はビデオ写真のいずれかのための画像捕捉装置（例えばディジタルカメラ）を使用し、ディジタル画像データを生成しうる。典型的にはＣＭＯＳといった基板上に形成される感光チップ１００は、アレイとして配列される複数の光検出器を含む。色アプリケーションでは、選択的に透過性のフィルタのモザイクは各光検出器と位置合わせされて重畳され、それにより光検出器の第１、第２、及び第３の選択的なグループは夫々、例えば可視スペクトルの赤、緑、及び青の範囲といった３つの異なる色範囲を感知するようにされる。感光チップ１００中の多数の光検出器は、一般的にはそこから生ずるディジタル画像の解像度を決定する。水平解像度は行１０２中の光検出器の数の関数であり、垂直解像度は列１０４中の光検出器の数の関数である。
【００２６】
各光検出器は、露光されたときに電子信号を生成する光センサを含む。一般的に、光センサは、光ダイオード又はＣＭＯＳセンサ中の光ゲートである。図１Ｂは、電流源１２２及びコンデンサ１２４としてモデル化される光ダイオード１２０を示す。Ｒｅｓｅｔ端子１３０にリセット信号が印加されると、コンデンサ１２４はトランジスタ１２８を通じてＶｃｃによってＶｃｃの近くまで完全に充電され、この時点で光ダイオード１２０は光蓄積のための準備ができている。
【００２７】
リセット信号が降下した途端に（即ち電圧レベルが変化すると）、光蓄積が開始する。光１２６からより多くの入射光子が光ダイオード１２０の表面に衝突するため、電流源１２２の電流は増加する。コンデンサ１２４は、電流源１２２を通じて放電を開始する。一般的には、光ダイオードはより高い光子強度についてはより多くの光子を収集し、結果として抵抗器１２２の抵抗は低下する。従って、より速い放電信号Ｖｏｕｔが生成される。換言すれば、Ｖｏｕｔからの信号は光ダイオード１２０に衝突する入射光子に比例する。この信号は、本願では電子信号又は画素電荷信号とも称される。任意に、電子信号Ｖｏｕｔを所望のレベルまで高め、それにより出力、即ち画素電荷信号が続く回路に効果的に結合されるように、回路１３０が使用されうる。
【００２８】
イメージセンサの動作は以下の２つの処理、即ち、
・上述のような光蓄積処理、及び
・読み出し処理
である。この２つの処理は夫々、制御された時間間隔に亘って持続される。光蓄積処理では、各光検出器は、光の入射光子を蓄積し始め、蓄積されたものは画素電荷信号として反射される。光蓄積処理の後、光検出器は読み出し処理を開始し、その間、各光検出器中の画素電荷信号は読み出し回路を介してデータバス又はビデオバスへ読み出される。光蓄積処理が進行している間隔は、露光制御又は電子シャッタ処理と称され、各光ダイオードによってどれだけの電荷が蓄積されるかを制御する。
【００２９】
図２は、米国特許第５，４６１，４２５号の図１と同じ図であり、各光検出器１４が光センサのほかにもＡ／Ｄ変換器を含むことを示す。各光検出器は、センサ画素或いはセンサ素子、又は、ディジタル画素と称される。これは、本願に記載される光検出器が、従来のイメージセンサに通常用いられる光検出器とは異なってアナログ・ディジタル変換回路を含み、また、光センサを含み、アナログ信号を生成することを示す。更に、本願に記載される画素素子は、従来のイメージセンサにおいて読み出されうるアナログ信号よりも遙かに速い速度で読み出されうるディジタル信号を出力するため、従来のイメージセンサとは異なるものである。従って、結果として得られるイメージセンサは、ディジタル画素センサ（ＤＰＳ）であると考えられる。本発明の望ましい実施例は、センサ素子が光センサ及びアナログ・ディジタル変換回路を含むアーキテクチャに基づく。
【００３０】
図２のイメージセンサは、単一の集積回路チップ１０上に形成される。イメージセンサコア１２は、光検出素子の２次元アレイを含み、各光検出素子は光検出素子のアナログ出力のビット表現のストリームを出力する専用Ａ／Ｄ変換器に接続される。光検出素子とＡ／Ｄ変換器の組合せは、単一の画素素子１４を構成する。各画素素子１４は、全く同じ回路を含む。チップ１０上のディジタルフィルタ１６は、各画素素子１４からディジタルストリームを受け取るよう接続され、各ディジタルストリームを夫々の画素素子１４によって検出される光強度の２５６レベルのうちの１つを表わす８ビットバイトに変換する。
【００３１】
動作上、画像は、合焦された画像の異なる部分が各画素素子１４に当たるようイメージセンサコア１２に合焦される。各光検出素子は光トランジスタを含み、光トランジスタの導電性は光トランジスタのベースに当たる光の強度に関連付けられる。このように光トランジスタを通るアナログ電流は光トランジスタに当たる光の強度に対応する。コア１２中の全ての光トランジスタからのアナログ信号は、共通クロックドライバ１８を用いてクロックされる専用Ａ／Ｄ変換器から出力される直列ビットストリームへ同時に変換される。直列ビットストリームはある時間期間に亘って、即ちフレーム期間に亘って、光トランジスタ上に当たる光の強度を表わす信号を導出するようフィルタ１６（オンチップ又はオフチップ）によって処理されうる。
【００３２】
各クロックサイクル後、各画素素子１４中のＡ／Ｄ変換器の出力において１ビットがラッチされる。ここで各クロックサイクル後に画素素子１４によって発生された各ビットをフィルタ１６へ転送するために、画素素子１４の全ての行がアドレス指定されるまで、画素素子１４の各行は行デコーダ２０を用いて順次にアドレス指定される。各行をアドレス指定すると、アドレス指定された行の各画素素子１４の１ビット出力は対応するビットライン２２に結合される。フィルタ１６は各画素素子１４からのビットストリームを処理し、そのフレーム期間に亘って夫々の画素素子１４に当たる光の平均強度に対応する画素素子１４当たり８ビットの値を発生する。これらの８ビット値は、適当なマルチプレクサ又はシフトレジスタを用いてチップ１０から出力され、ビットマッピングされたメモリ２４に一時的に記憶される。するとメモリ２４はフレームバッファとして作用し、メモリ２４中の光強度値はモニタ中の対応する画素の光出力を制御するために順次にアドレス指定される。
【００３３】
図２の特定的な実施例では、ビットストリームを変換するために６４の別個のフィルタ１６が使用されると想定すると、６４のビットライン２２上に８ビット値へ出力する。（コア１２の出力にマルチプレクサを設けることにより必要とされるフィルタの数は例えば１６まで減らされうる）。フィルタ１６とメモリ２４の望ましい相互作用は以下の通りである。画素素子１４の行がアドレス指定された直後、制御回路２６は行デコーダ２０で発生されたアドレスを用いて、アドレス指定された行の各画素素子１４についてメモリ２４中に格納された以前の（又は仮の）８ビット値を取り出し、この以前の値を、その画素素子１４から新しいビットをまさに受信しようとしている６４のフィルタ１６のうちの正しいフィルタにロードする。この処理のために従来のメモリアドレス指定技術及び回路が使用されうる。次にアドレス指定された画素素子１４中の夫々のＡ／Ｄ変換器の単一ビット出力は、その画素素子１４についての以前の８ビット値を含む６４ビットフィルタ１６の夫々に印加される。次に、各フィルタ１６は以前の８ビット値を情報の新しい単一のビットによって更新し、新しい仮の値を発生する。各フィルタ１６によって発生された更新された８ビット値は、制御回路２６の制御下でメモリ２４へ戻るよう転送される。
【００３４】
図３を参照するに、本発明の１つの実施例によるディジタル画素センサに基づくイメージセンサ３００が示される。ディジタル画素センサ３０２は、米国特許第５，４６１，２４５号又は米国特許第５，８０１，６５７号に従って実施されえ、シーンの１つ以上の画像を表わすディジタル信号を出力する。検出増幅器及びラッチ３０４は、ディジタル画素センサ３０２からのディジタル信号の読み出しを容易とするようディジタル画素センサ３０２に結合される。従来技術とは異なり、本発明による画像センサ３００は、閾値を格納するメモリ３０４（本願では閾値メモリと称する）、時間インデックス値を記憶するメモリ３０８（本願では時間インデックスメモリと称する）、及びセンサ３０２からの画像データのフレームを収容するのに十分大きいディジタル又はデータメモリ３１０とを含む。
【００３５】
本発明の１つの実施例によれば、センサ３０２はＮ×Ｍ画素であり、ｋ個のビットを有すると想定される。このように、閾値メモリ３０６のサイズはＮ×Ｍビットであり、時間インデックスメモリ３０８のサイズはＮ×Ｍ×ｍビットであり、但しｍは時間解像度である。現時点において望ましいセンサ３０２の画素解像度は１０ビットで１０００×１０００である。このように、閾値メモリ３０６は１メガビットメモリであり、時間インデックスメモリ３０８は時間インデックスがＴ、２Ｔ、４Ｔ、及び８Ｔ（即ち２ビット解像度であるときは）２メガビットメモリであり、ディジタルメモリ３０６は望ましくは少なくとも１．２メガバイトのサイズを有する。
【００３６】
上述のメモリ構成により、センサ３０２中の各画素素子は、閾値メモリ３０６、時間インデックスメモリ３０８、及びデータメモリ３１０中の各メモリセルによって印が付されうる。
【００３７】
動作上、各時間インデックス、例えばＴ、２Ｔ、４Ｔ、及び８Ｔにおいて、センサ３０２は多数回（例えば４回）ターゲットに露光され、それにより４の異なる露光時間における４つの画像が得られる。図４は、多数露光の例を示す図である。図４に示されるように、フレーム１は時間Ｔの後に作成され、フレーム２は時間２Ｔの後に作成され、フレーム３は時間４Ｔの後に作成され、フレーム４は時間８Ｔの後に作成される。同一のターゲットの多数の画像を有することの１つの利点は、このようにして捕捉された画像のダイナミックレンジを拡張することが可能となることである。比較的短い露光時間であるため、フレーム１は典型的にはターゲット中の高い照度の領域に関連する情報を捕捉する。同様に、比較的長い露光時間であるため、フレーム４は典型的にはターゲット中の低い照度の領域に関連する情報を捕捉する。フレーム２及びフレーム３は、このようにしてターゲット中の徐々に照度が増加する領域に関連する情報を捕捉する。
【００３８】
一般的に、各フレームはメモリへ読み出され、それによりフレームを組み合わせるための続く処理が可能となる。図２に示されるアーキテクチャは、画像データが複数のライン（例えばセンサ１０のピン）を通じてメモリ２４へ読み出されることを示す。露光時間が所与のとき、発生される画像データは、後続するフレームに影響を及ぼさないよう十分に高速に読み出されねばならない。周知のとおり、ラインの数は実際のパッケージ化が可能である範囲に制限され、要求される速度を達成するには遙かに少ない。従って、ラインの数が制限されているということは、センサ１４からメモリ２４へのデータ伝送の妨げとなる。
【００３９】
本発明の１つの特徴は、イメージセンサ中に図３中にデータメモリ３１０として示されるオンチップメモリを配置することである。これにより、センサ３０２からメモリ３１０へのデータ伝送に対するボトルネックは存在しない。動作上、１回の露光時間後、データフレームはメモリ３１０から直ぐに読み出されうる。
【００４０】
本発明の１つの面によれば、第１のデータフレームがメモリ３１０に読み出された後、メモリ３１０の中に含まれる画素値を改善し、更新し、又は強調するために、第２のデータフレームがメモリ３１０へ選択的に読み出される。選択は、対応する閾値メモリ３０６の内容によって制御される。
【００４１】
図５Ａは、典型的な閾値メモリセル５０２及び５０４、典型的なインデックスメモリセル５０６及び５０８、及び典型的な対応するデータメモリセル５１０及び５１２の対を示す図である。図５Ｂに示されるように第１の露光時間Ｔの後、結果としての信号５１４は所定の閾値Ｖ１を越えることがわかる。このように、例えば閾値Ｖ１を越えたことを表わす２進値「１」といったフラグがセル５０２に格納され、露光時間Ｔはセル５０６に格納され、結果としての信号又はその表現（例えば８ビット精度での値２４０）はセル５１０の中に格納される。閾値Ｖ１の値は、通常は、結果としての信号５１４を生じさせる光センサへの更なる露光により光センサが飽和されるよう決定される。従って、セル５０２中のフラグについては、第１の露光時間Ｔの後にセル５１０の中に格納された値を高める必要はない。現実には、セル５１０は更に更新されることにより、これは次の値が飽和された値となることが明らかであるため、その中のデータの損失を生じさせる。
【００４２】
ここで、図５Ｃに示されるように、隣接する光検出器によって生成される結果としての信号５１６は閾値Ｖ１を下回る。従って、動作の開始時にセル５０４が「０」にリセットされていたと想定すると、セル５０４はフラグ「１」を格納しない。これは、対応するデータセル５１２が、次の露光から生ずる新しい値によって更新されるか高められることを可能とする。尚、セル５０２、５０４、５０６、又は５０８に格納される内容は、実施上の好みに大きく依存する。
【００４３】
本発明の１つの重要な特徴は、メモリ３１０中の有用な情報が飽和された値によって上書きされないよう、センサ３０２中の各光検出器又はメモリ３１０中の各データセルに印を与えることである。時間インデックスメモリの内容は、最終画像が正しく再生されるよう、通常は個々に使用される。これは、更なる露光時間の後にメモリ３１０中の内容が正しく更新されることを可能にするか、又はデータのフレームが正しく組み合わされることを可能とする。
【００４４】
【発明の効果】
以下のように、イメージセンサ３００によって多くの利点及び利益がもたらされる。
【００４５】
１つの利点は、米国特許第５，４６１，４２５号の構造に現れるデータ伝送の妨げが排除されることである。
【００４６】
第２に、オンチップメモリ３１０をディジタル画素センサ３０２と一体化することは、ディジタル画素センサ３０２のパフォーマンスに影響を与えるものではなく、むしろ、イメージセンサ３００の全体のパフォーマンスをかなり改善させるものである。このような改善には、ディジタル画素センサ３０２からディジタル信号を読み出すときに帯域幅が整合されることも含まれる。
【００４７】
第３に、データメモリから不必要な値を読み出すことを防止するために閾値メモリが使用される。
【００４８】
更に、拡張されたダイナミックレンジを有する最終ディジタル画像を生成するために、データのフレームを正しく組み合わせるための（重み付けされた）サポート情報を供給するために使用される。
【００４９】
本発明の１つの実施例によれば、アーキテクチャ２００はＣＭＯＳイメージセンサ中で実施されることが望ましい。結果として得られるイメージセンサは、フィルムの画質に対して優った又は同等の画質を与えうるディジタルカメラ中で有利に使用されうる。
【００５０】
本願では、本発明について望ましい実施例を参照して説明したが、当業者は本発明の精神及び範囲を逸脱することなく上述のものに代わる他の適用を容易に認めるであろう。
【００５１】
従って、本発明は請求の範囲によってのみ限定されるべきである。
【図面の簡単な説明】
【図１Ａ】本発明が実施されうるＣＭＯＳイメージセンサ又は感光チップを示すブロック図である。
【図１Ｂ】電流源及びコンデンサとしてモデル化された光ダイオードを示すブロック図である。
【図２】米国特許第５，４６１，４２５号に記載されるようなディジタル画素センサのアーキテクチャを示すブロック図である。
【図３】本発明による閾値メモリ、時間インデックスメモリ、及び別のデータメモリを含み、各メモリ及びディジタル画素センサが同一センサ上に集積されたイメージセンサを示すブロック図である。
【図４】多数の露光の例を示すグラフである。
【図５Ａ】本発明による典型的な閾値メモリセル、時間インデックスメモリセル、及び対応するデータメモリセルの対を示すブロック図である。
【図５Ｂ】本発明による時間蓄積処理を示すグラフである。
【図５Ｃ】図５Ｂのグラフに対応する本発明による時間蓄積処理を示す図である。
【符号の説明】
３００    イメージセンサ
３０２    ＤＰＳセンサアレイ
３０４    検出増幅器及びラッチ
３０６    閾値メモリ
３０８    時間インデックスメモリ
３１０    ディジタルメモリ
３１２    デコーダ
３１４    他の回路
【図１Ａ】
0004928674.tif 000002
【図１Ｂ】
0004928674.tif 000003
【図２】
0004928674.tif 000004
【図３】
0004928674.tif 000005
【図４】
0004928674.tif 000006
【図５Ａ】
0004928674.tif 000007
【図５Ｂ】
0004928674.tif 000008
【図５Ｃ】
0004928674.tif 000009