(57)【要約】  ＣＭＯＳ撮像素子の画素セル（５）をリセットして読み出すための回路が提案される。この回路によって、主積分間隔中に少なくとも２回画素セルの読み出しが可能になり、それによって少なくとも２つのピクセル信号（ＶｌｅｓｓｅｒＢｒｉｇｈｔ、ＶＢｒｉｇｈｔ）が生成される。この回路は、少なくとも２つのピクセル信号を結合して出力信号にするための手段をさらに含む。この結合手段は、画素セルの飽和レベルに依存した重み付けで少なくとも２つのピクセル信号を結合するように動作可能である。撮像素子を読み出すための回路を制御するための方法も提案される。
2009538075.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の実際および／または仮想の画素セル（５）をリセットして読み出すための回路であって、
前記画素セルをリセット（Ｒｓｔ）するための手段であって、前記画素セルの第１のリセットと第２のリセットの間の時間間隔が主積分期間（Ｔｉｎｔ）として定義される手段と、
前記主積分期間中に前記画素セルを複数回読み出すための手段であって、前記回路が前記主積分期間（Ｔｉｎｔ）中に少なくとも２回（Ｓｅｌ１、Ｓｅｌ２）前記画素セルを読み出して、少なくとも２つのピクセル信号（ＶｌｅｅｓｅｒＢｒｉｇｈｔ、Ｖｂｒｉｇｈｔ）を生成するように動作可能である手段と、
前記少なくとも２つのピクセル信号を結合して１つの出力信号にするための手段とを含む回路において、
結合するための前記手段が、前記画素セルの飽和レベルに依存して重み付けした形で前記少なくとも２つのピクセル信号を結合するように動作可能であることを特徴とする回路。
【請求項２】
前記回路またはその一部分は、ＣＭＯＳ回路として実現されることを特徴とする請求項１に記載の回路。
【請求項３】
前記複数回読み出す手段は、第１の露光時間によるそれほど明るくない信号（ＶｌｅｅｓｅｒＢｒｉｇｈｔ）を得るために前記ピクセルを読み出し、第２の露光時間による明るい信号（ＶＢｒｉｇｈｔ）を得るためにその後もう１回前記ピクセルを読み出すように動作可能であり、前記第１の露光時間は、前記第２の露光時間より短いことを特徴とする請求項１または２に記載の回路。
【請求項４】
前記複数回読み出す手段は、暗い信号（Ｖｄａｒｋ）を得るために前記主積分期間中に前記ピクセルを読み出すように動作可能であり、前記暗い信号（Ｖｄａｒｋ）は、前記主積分期間の始めに読み出されることが好ましいことを特徴とする前記請求項の一項に記載の回路。
【請求項５】
前記それほど明るくない信号（Ｖｌｅｓｓｅｒｂｒｉｇｈｔ）から、および／または前記明るい信号（ＶＢｒｉｇｈｔ）から前記暗い信号（Ｖｄａｒｋ）を減算するように動作可能な、前記信号を前処理するための手段を備えることを特徴とする請求項４に記載の回路。
【請求項６】
前記結合手段は、前記それほど明るくない信号の短縮された露光時間を補償するように動作可能であり、前記それほど明るくない信号は、前記主積分期間（Ｔｉｎｔ）と、第１のリセットと前記それほど明るくない信号の前記読み出し（Ｔｓｅｌ２）の間の時間間隔との比に依存する係数だけ増幅されることを特徴とする請求項３から５の一項に記載の回路。
【請求項７】
前記結合手段は、拡張された遷移区間を含む重み関数を使用するように動作可能であり、前記それほど明るくない信号（ＶｌｅｅｓｅｒＢｒｉｇｈｔ）および前記明るい信号（Ｖｂｒｉｇｈｔ）は、それぞれ、それほど明るくない利得および明るい利得によって増幅されることを特徴とする前記請求項の一項に記載の回路。
【請求項８】
前記遷移領域は、前記明るい信号の最大読み出し値に相当する閾値において、またはそれより下で終了することを特徴とする請求項７に記載の回路。
【請求項９】
行および列の形で配置された複数の画素セルを有する撮像素子をリセットして読み出すための前記請求項の一項に記載の回路であって、列の形で配置された画素セルは、前記撮像素子に当たった光に対応する値を読み出すために、共通ラインに選択的に接続することができ、リセットするためにピクセルのラインをアドレス指定するための第１のシフトレジスタを備え、前記撮像素子のフレームレートに対応する前記主積分期間（Ｔｉｎｔ）の終わりに、前記画素セルから値を読み出すために画素セルのラインをアドレス指定するための第２のシフトレジスタを備え、前記ピクセルのリセットと前記主積分期間（Ｔｉｎｔ）の終わりの間の異なる時期において、値を読み出すために画素セルのラインをアドレス指定するための第３および第４のシフトレジスタを備えることを特徴とする回路。
【請求項１０】
自動ダイナミックレンジアルゴリズムを実行するように動作可能な設定手段を含み、前記それほど明るくない信号（ＶｌｅｓｓｅｒＢｒｉｇｈｔ）を読み出すための時間、および／または前記明るい信号（Ｖｂｒｉｇｈｔ）を読み出すための時間は、所定の値を超える全画像にわたるそれほど明るくない信号および／または明るい信号の数に依存にして設定されることを特徴とする請求項９に記載の回路。
【請求項１１】
行と列の形で配置された複数の実際の画素セルを有する撮像素子をリセットして読み出すように動作可能である回路であって、複数の実際の画素セルの信号は、結合して仮想画素セルの対応する信号にすることを特徴とする前記請求項のいずれか一項に記載の回路。
【請求項１２】
水平または垂直に隣接して配置された実際の画素セルは、結合して前記仮想画素セルの１つにすることを特徴とする請求項１１に記載の回路。
【請求項１３】
それほど明るくない信号および明るい信号の値を有する隣接して配置された行列要素を含む中間画像を生成するように動作可能であることを特徴とする請求項１１から１２の一項に記載の回路。
【請求項１４】
前記それほど明るくない信号の値を有する前記行列要素は、列または行の形で配置され、および／または前記明るい信号の値を有する前記行列要素は、列または行の形で配置されることを特徴とする請求項１３に記載の回路。
【請求項１５】
前記それほど明るくない信号の値を有する行列要素の２つの列または行は、それぞれ、前記明るい信号の値を有する行列要素を含む２つの列または行によって交互になるように配置されることを特徴とする請求項１４に記載の回路。
【請求項１６】
前記それほど明るくない信号の値が埋められた行列要素および前記明るい信号の値が埋められた行列要素は、市松模様状のパターンで配置されることを特徴とする請求項１３に記載の回路。
【請求項１７】
前記回路は、前記撮像素子の信号値を含む２つのフルフィールドを読み出すように動作可能であり、前記信号値は、１つの単一の積分期間および／または１つのフレーム期間に関することを特徴とする前記請求項の一項に記載の回路。
【請求項１８】
前記２つのフルフィールドを結合して前記中間画像にするように動作可能であることを特徴とする請求項１７に記載の回路。
【請求項１９】
前記２つのフルフィールドは、暗い信号の値が埋められた行列要素を有する暗い信号の行を含むことを特徴とする請求項１７または１８に記載の回路。
【請求項２０】
各第２の行は、暗い信号の行であることを特徴とする請求項１９に記載の回路。
【請求項２１】
前記２つのフルフィールドは、それほど明るくない信号の値が埋められたそれほど明るくない信号の行、および明るい信号の値が埋められた明るい信号の行を含むことを特徴とする請求項１７から２０の一項に記載の回路。
【請求項２２】
残された行は、それほど明るくない信号の行と明るい信号の行の間で変化することを特徴とする請求項２０に関連した請求項２１に記載の回路。
【請求項２３】
前記２つのフルフィールドは、混在した信号の行を有し、各混在した信号の行は、前記それほど明るくない信号の値と、前記明るい信号の値が交互に埋められた行列要素を有することを特徴とする請求項１７から２０の一項に記載の回路。
【請求項２４】
前記残された行の前記行列要素は、それほど明るくない信号および明るい信号が市松模様状に埋められることを特徴とする請求項２０に関した請求項２３に記載の回路。
【請求項２５】
その後のラインおよび／または列中の実際のピクセルは、１つのフレーム期間中、第１または第２の積分時間の後に交互に読み出すことを特徴とする前記請求項の一項に記載の回路。
【請求項２６】
撮像素子をアドレス指定するための方法であって、
仮想および／または実際の画素セルをリセットするステップと、
リセットされた画素セルに対応する値を読み取るステップと、
前記撮像素子のフレームレートに対応する時間間隔であることが好ましい全露光期間の間、露光された画素セルに対応する値を読み取るステップとを含む方法において、
前記全露光期間内のある時期に値を読み取るステップと、
前記全露光期間内に読まれた値と前記全露光期間内の前記ある時期に読まれた値を、前記画素セルの飽和レベルによって重み付けて結合するステップとをさらに含むことを特徴とする方法。
【請求項２７】
前記全露光期間と、前記画素セルがリセット後読み出される前に露光される間の時間との比に基づき、前記全露光期間内に読み出された値から補正された値を算出するステップを含むことを特徴とする請求項１１に記載の方法。
【請求項２８】
前記撮像素子および／または請求項１から２５の一項に記載の回路を使用することを特徴とする請求項２６または２７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子のピクセルをリセットして読み出すための回路および方法に関し、詳しくはＣＭＯＳ技術による撮像素子に関する。
【背景技術】
【０００２】
撮像素子、特にＣＭＯＳ撮像素子は、ビデオカメラ、監視カメラや測定機器の分野、または携帯電話の拡張機能としての分野で広く使用されている。さらに、この種の撮像素子は、専門家用のビデオカメラの用途、たとえば放送や長編映画の用途にますます使用されている。
【０００３】
通常のＣＭＯＳ撮像素子は、それぞれのピクセル上に当たった光を電圧信号に変換し、従来は行と列の形で配置された複数の画素セルを備える。より正確には、ピクセルは、リセット信号によってリセットされ、当たった光子が電子に変換され、その電子を積分期間にわたって収集または積分し、その結果得られた電圧信号が増加または減少する経過を示し、その勾配が変換された光子量によって決まる。積分期間の終わりに電圧信号を読み出し、その電圧信号は、ピクセルの輝度値を表す。
【０００４】
当技術分野における一般的な要望は、ＣＭＯＳ撮像素子のダイナミックレンジを高め、同時に信号ノイズのような悪影響を低減することである。
【０００５】
この目的を達成するため、撮像素子の改良またはそれに関する改良が開示されており（たとえば特許文献１参照）、それによると、短い積分期間の後にピクセルアレイの奇数行を読み出し、より長い積分期間の後に偶数行を読み出す。両方の読み出し処理の後、２つの隣接するピクセル行、すなわち１つの偶数行と１つの奇数行を互いにつなぎ合わせて、広いダイナミックレンジを有する単一の出力ラインを形成する。その結果得られた画像の分解能が失われるという犠牲で、広いダイナミックレンジが得られると特許文献１自体が認めている。
【０００６】
フレーム期間中に複数回ピクセルを読み出してリセットして、極めて小さいピクセルサイズのセンサとともに使用する低ノイズの画像検知システムおよび方法が提案されている（たとえば特許文献２参照）。連続的なステップで、フレーム期間の読み出し値を積分、または加算して、そのフレーム期間から得られるピクセルの輝度値を生成する。
【０００７】
高ダイナミックレンジのＣＭＯＳ撮像素子を得るためのさらなる解決策が、たとえば特許文献３に記載され、それによると、フレーム期間中、高出力を有するピクセルだけがリセットされるように、ピクセルのリセットが適応される。
【０００８】
高ダイナミックレンジの線形出力を有する撮像素子が開示されている（たとえば特許文献４参照）。高ダイナミックレンジを実現するため、フレーム期間中、複数回、撮像素子の単一のピクセルを読み出し、読み出した値を蓄積して高分解能の出力値を生成する。一実施形態では、フレーム期間中に１回だけピクセルをリセットすることを意味する非破壊読み出し方法を使用することが提案されている。
【０００９】
【特許文献１】欧州特許出願公開第１６４１２４９号明細書
【特許文献２】米国特許出願第２００５／００７８２０５  Ａ１号明細書
【特許文献３】欧州特許出願公開第１２３３６１３号明細書
【特許文献４】欧州特許第０８６２８２９号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
高ダイナミックレンジを達成するための解決策はあるが、ダイナミックレンジをさらに向上させ、撮像素子の読み出し中、悪影響をできるだけ少なくするという当技術分野における一般的な要望が依然として残される。
【課題を解決するための手段】
【００１１】
この目的は、請求項１の特徴を有する回路および請求項２６の特徴を有する方法によって達成される。本発明の有利な、または好ましい実施形態は、従属請求項、説明および図に開示される。
【００１２】
回路は、撮像素子の仮想または実際の画素セルをリセットして読み出すように、動作可能である。好ましくは、撮像素子は複数の画素セルを備え、それは、行と列の形で、または他の配置で、たとえば同心円状の輪の形で配置される。通常、撮像素子は、可視スペクトルの光を感知するが、ＵＶ、ＮＩＲおよび／またはＩＲのスペクトルだけを感知する撮像素子も本発明の範囲に含まれる。実際の画素セルは、１つの単一の物理的なピクセルを備えた回路のサブユニットとして定義され、したがって実際の画素セルは、１つの単一の光ダイオードまたは光感知素子を備えていることが好ましい。実際の画素セルは、能動ピクセル、たとえば光ダイオードＣＭＯＳ  ＡＰＳやピン光ダイオードＣＭＯＳ  ＡＰＳ、または受動ピクセルとして実現されることが好ましい。仮想の画素セルは、２つまたはそれ以上の実際の画素セルの論理上の結合として定義される。撮像素子は、たとえば、ビデオカメラ、デジタルスチルカメラ、携帯電話や測定装置中に使用される。説明および請求項に関し、画素セルは、実際の画素セル、または仮想画素セルとして解釈すべきである。
【００１３】
回路は、画素セルをリセットするための手段を備え、画素セルの第１のリセットとその後のリセットの間の時間間隔が主積分期間と定義される。リセットは、それぞれの主積分期間の始めを指示する。リセットは、定期的な間隔で行われ、その間では、さらにリセットされない。主積分期間は、撮像素子のフレームレートに相当することが好ましい。それゆえ、１つの主積分期間当たり、リセットは、１回だけである。画素セルをリセットするステップは、たとえば、積分期間中に蓄積または積分された電子を空にすることによって実施され、または画素セルを所定の状態、たとえば電圧などに設定することによって実施される。
【００１４】
さらに、積分期間中に複数回ピクセルを読み出すための手段を備え、それは、主積分期間中に２回、３回、またはそれ以上それぞれの画素セルを読み出すように動作可能である。すでに上記で明らかにしたように、読み出しは、非破壊的である、すなわち主積分間隔または期間内で、さらにリセットされない。
【００１５】
また、回路は、少なくとも２つのピクセル信号から出力信号を生成するための手段も備え、その出力信号が、積分期間および／またはフレーム期間中のピクセルの照度（ｉｌｌｕｍｉｎａｔｉｏｎ）をそれぞれ表す。
【００１６】
本発明によれば、蓄積手段は、出力信号を生成するため、少なくとも２つのピクセル信号を、ピクセルの飽和レベルによって重みを付けて結合するように動作可能である。飽和レベルは、画素セルの飽和の実際の値であり、それは、少なくとも２つのピクセル信号の１つとして読み出されることが好ましい。それゆえ、少なくとも２つのピクセル信号は、従来技術から知られているように加算によって結合するだけでなく、第１のステップでピクセルの実際の飽和レベルによって重み付けし、第２のステップで結合する。
【００１７】
本発明の１つの発見事項は、読み出し値の単純加算は、画素セルまたは撮像素子の達成可能なダイナミックレンジにわたって満足できる結果をもたらさないということである。したがって、特に妨害するノイズの作用をできるだけ小さくするため、飽和レベルが低い場合、出力値を生成するためのより長い積分時間による読み出し値を使用し、飽和レベルが高い場合、より短い積分時間による読み出し値を使用し、より高い飽和レベルとより低い飽和レベルの間の遷移領域では、飽和レベルによって重み付けて２つの読み出し値を混合することが有利であるように見える。
【００１８】
本明細書で使用される、ピクセル信号、暗い信号およびさらなる信号などの用語は、それぞれの時間依存信号の最小値、最大値または極値に相当することが好ましい。
【００１９】
最も好ましい実施形態では、回路および／またはその一部分は、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ−ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）技術で実現され、および／またはオンチップ集積回路として実現される。
【００２０】
有利な実施形態では、複数回読み出すための手段は、それほど明るくない信号を得るためにピクセルを読み出し、そして明るい信号を得るためにその後もう１回ピクセルを読み出し、第１の読み出しと第２の読み出しの間に画素セルにはリセットを加えないように、動作可能である。したがって、撮像装置のピクセルは、第１および第２の露光時間の後に読み出され、第１の露光時間は、第２の露光時間より短い。画素セルの飽和レベルは、積分期間中、単調動作を示すので、それほど明るくない信号の振幅の絶対値は、明るい信号の振幅の絶対値に等しい、またはそれより低い。
【００２１】
複数回読み出すための手段は、暗い信号を得るため、積分期間中にピクセルを読み出すように動作可能であることがさらに好ましい。暗い信号は、積分期間の始めに画素セルをリセットした直後に読み出すことが好ましい。暗い信号は、画素セルのｋＴＣノイズを表し、１つの画素セルと他の画素セルでは異なることが時々ある画素セルのリセットレベルについての情報をさらに含む。
【００２２】
暗い信号を減算することによる、読み出したピクセル信号の補償は、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ  ｄｏｕｂｌｅ  ｓａｍｐｌｉｎｇ）と呼ばれる。多くのＣＭＯＳ撮像装置は、ＣＤＳを実装することが求められているが、実際に知られているシステムは、１つの積分期間からピクセル信号を読み出し、次の積分期間から暗い信号を読み出している。したがって、測定されたｋＴＣは、現在のフレームからのピクセル信号とは無関係である。好ましい実施形態によれば、ピクセル信号（単数または複数）および暗い信号は、１つの同じフレームの間、別々に読み出される。暗い信号の値は、同じフレーム間で対応する値を有することができるように、外部に、たとえばフレーム格納部に格納されることが好ましい。したがって、ピクセル信号（単数または複数）および暗い信号は、同じリセット時、またはフレーム期間または積分期間を参照し、正確なｋＴＣノイズレベルが減算される。この方法は、バリアブルデジタル二重サンプリング（ｖａｒｉａｂｌｅ  ｄｉｇｉｔａｌ  ｄｏｕｂｌｅ  ｓａｍｐｌｉｎｇ）またはＶＤＤＳと呼ばれることがある。ＶＤＤＳは、特に画像の暗い領域においてＳ／Ｎ（ｓｉｇｎａｌ／ｎｏｉｓｅ）性能を向上させるために使用することができる。
【００２３】
さらなる実施形態では、ＶＤＤＳが実装され、したがってすべてのラインのピクセルの黒色値または暗い信号が格納される。その結果として、ピクセル間の閾値電圧差を補償するために、ＶＤＤＳ中で行われる減算を使用することもできる。さらに、垂直および水平のシェーディング（ｓｈａｄｉｎｇ）またはブルーミング（ｂｌｏｏｍｉｎｇ）が抑制される。
【００２４】
さらなる好ましい実施形態では、結合手段は、それほど明るくない信号の短縮された露光時間を補償するように動作可能である。提案する補償は、少なくとも２つのピクセル信号を同じスケールに合わせるために有効であり、したがってそれらは、適切に蓄積することができる。好ましくは、それほど明るくない信号が、フレーム期間または積分期間と、第１のリセットとそれほど明るくない信号の読み出しの間の時間間隔との比による係数だけ増幅される。しかし、たとえば明るい信号に前述の係数の逆数の値を掛けることによって、明るい信号を補償することも可能である。より一般的に言うと、ｎ個のピクセル信号の場合、ｎ−１個のピクセル信号の露光時間を補償することが可能であり、したがってすべてのｎ個のピクセル信号が同じスケールで参照される。
【００２５】
さらなる好ましい実施形態では、蓄積手段は、拡張された遷移区間を含む重み関数を使用するように動作可能であり、それほど明るくない信号および明るい信号が、それほど明るくない利得および明るい利得によってそれぞれ増幅される。実際には、たとえば、少なくとも２つのピクセル信号について輝度または飽和レベルに依存する利得を有する伝達関数を実装することによって実現され、その伝達関数は、出力信号が、少なくとも２つのピクセル信号の重み付けられた平均値である拡張された遷移領域を含む。したがって、遷移領域中では、レベル依存利得が両方の信号に適用され、両方の信号は結合される。一般に、依存関係は、比例の依存関係または他の任意の依存関係として表すことができ、遷移領域中では、少なくとも２つ、３つまたはもっと多くの異なる利得値が使用される。両方の信号の利得の合計は、正規化する、および／または１に相当することが好ましい。結合手段は、対応する計算ソフトウェアを実行するマイクロプロセッサまたはＤＳＰを含むことができる。
【００２６】
遷移領域は、明るい信号の最大読み出し値に相当する閾値で、またはそれより下で終了することが好ましい。最大読み出し値は、たとえば、画素セルのフルウェル容量（ｆｕｌｌ−ｗｅｌｌ  ｃａｐａｃｉｔｙ）によって、またはピクセル信号をデジタルデータに変換するＡＤＣ（ａｎａｌｏｇｕｅ−ｔｏ−ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）の最大値によって限定される。したがって、閾値は、ボルトで、またはデジタル数字、たとえば１２ビット分解能のＡＤＣでは４０９５によって表すことができる。
【００２７】
本発明のさらなる実施形態では、回路は、行と列の形で配置された複数の画素セルを有する撮像素子をリセットして読み出すように動作可能であり、列で配置された画素セルは、撮像素子に当たった光に対応する値を読み出すために共通ラインに選択的に接続することができ、リセットするためにピクセルのラインをアドレス指定するための第１のシフトレジスタを備え、撮像素子のフレームレートに対応する積分期間の終わりに画素セルから値を読むため、画素セルのラインをアドレス指定するための第２のシフトレジスタを備え、ピクセルのリセットと積分期間の終了時の間の異なる時期に値を読み出すため、画素セルのラインをアドレス指定するための第３および第４のシフトレジスタを備える。この実施形態では、リセット手段が第１のシフトレジスタとして実装され、複数回の読み出し手段が第２、第３および第４のシフトレジスタとして実装され、それは、積分期間中に複数回読み出すように動作可能である。
【００２８】
さらなる設定手段を任意選択で備え、それは、自動的ダイナミックレンジアルゴリズムを実行するように動作可能であり、それほど明るくない信号を読み出すための時間および／または明るい信号を読み出すための時間は、全画像にわたってクリップ（ｃｌｉｐ）されたそれほど明るくない信号の数および／またはクリップされた明るい信号の数に依存して設定される。一般に、積分期間中に読み出すためのすべてのタイミングの時期は、調節可能であり、したがって異なる拡張されたダイナミックレンジの設定が可能であり、その設定は、写真に撮る光景に、特にその光景の照度に適応させることができる。これらの設定は、自動的に調節されることが好ましいが、ユーザによる手動の調節も可能である。自動ダイナミックレンジアルゴリズムは、たとえば少なくとも２つのピクセル信号の１つのクリップされた値に依存して、タイミングの時期を設定する。クリップされた値は、限界値を超える、すなわち画素セルのフルウェル容量を超える、および／またはＡＤＣの最大分解能を超えるピクセルの値として定義される。たとえば、設定は、全画像のそれほど明るくない信号が約１０％のクリップされた値を含み、全画像の明るい信号が約５０％のクリップされた値を含むように調節される。しかし、ユーザの要件または他の要件によって、この条件を設定することができる。
【００２９】
上記に説明したように、それぞれの画素セルの極端なダイナミックレンジの情報を生成するために、各画素セルの暗い信号の値、それほど明るくない信号の値および明るい信号の値を使用すると、暗い信号の値および明るい信号の値だけを使用する回路に比較して、データストリームの増加につながることに気がついた。ついでに、データストリームは、３／２の係数で増加させる必要がある。一方、これは、高ダイナミックレンジの画像を得るために、許容可能である。他方、いくつかの用途では、データストリームを減少したいという要望がある。特にこれらの用途について、本発明では、画像のダイナミックレンジの情報と分解能の間のトレードオフを提案し、したがってデータストリームを減少することができる。
【００３０】
そのように、本発明の１つの発見事項は、実際のピクセルが論理上結合されて仮想ピクセルにされ、各仮想ピクセルについて、１つのピクセルの値だけが、高ダイナミックレンジの画像中に出力される。仮想画素セルの概念は、高ダイナミックレンジの画像の垂直および／または水平方向の分解能の減少につながる。
【００３１】
好ましい実施形態では、隣接して配置された実際の画素セルを結合して仮想セルの１つにする。１つの仮想画素セルに結合された実際の画素セルは、任意の順序で配置することができるが、好ましくは、１つの仮想画素セルの実際の画素セルが、共通の行および／または共通の列として参照される。
【００３２】
仮想画素セルの概念の実現を簡単にするため、回路は、行列要素を有する中間画像を生成し、隣接して位置する行列要素が、それほど明るくない信号および明るい信号の値を埋められるように、動作可能であることが好ましい。特に、それほど明るくない信号および明るい信号の値は、たとえばそれぞれの暗い信号の値を減算することによって、補償された暗い信号である。
【００３３】
仮想画素セルの概念に従うと、各仮想画素セルは、それほど明るくない信号が埋められた行列要素の少なくとも１つ、および明るい信号の値が埋められた行列フィールド（ｍａｔｒｉｘ−ｆｉｅｌｄｓ）の少なくとも１つを含むことが好ましい。それゆえ、仮想画素セルの高ダイナミックレンジの値は、たとえば前に述べたように少なくとも２つの信号値を結合することによって導き出すことができ、その少なくとも２つの信号値は、少なくとも２つの異なる実際の画素セルが参照される。
【００３４】
本発明の好ましい開発では、回路は、行列要素を有する中間画像を生成し、それは、それほど明るくない信号および明るい信号の値が埋められるように実現される。行列要素の数は、撮像素子の（使用される）実際の画素セルの数に対応する。好ましくは、それらの値は、そのように分散され、したがって、果隣接して配置された行列要素の値を結合して、仮想画素セルの高ダイナミックレンジの値を形成することができる。
【００３５】
さらに、好ましい実施形態では、それぞれ、それほど明るくない信号の値は、行または列の形で配置され、明るい信号の値は、他の行または列の形で配置される。
【００３６】
可能な代替実施形態は、それほど明るくない信号の値の２つの行（列）が、明るい信号の値の２つの行（列）と交互になるように、値の配置を実施する。この代替実施形態は、垂直（水平）方向のより低いまたは低減された分解能にふさわしい中間画像を与える。他の可能な代替実施形態は、市松模様状のパターンで値の配置を実施し、それによって最終画像の水平または垂直方向の分解能の低減がもたらされる。
【００３７】
本発明の実装では、回路は、１つの積分期間内で、および／または１つのフレーム期間内で２回、撮像素子を読み出すように動作可能である。これによって、それぞれが１つの実際の画素セル当たり１つの信号値を含む２つのフルフィールド（ｆｕｌｌ−ｆｉｅｌｄ）が読み出され、２つのフルフィールドは、中間画像を２つのフルフィールドから導き出せるように、実現される。
【００３８】
本発明のさらなる開発では、フルフィールドは構造化され、したがって、これらのそれぞれは暗い信号の行を含み、暗い信号の行は、暗い信号の値だけが、または排他的にそれが埋められる。好ましくは、フルフィールドのそれぞれの第２の行が暗い信号の行であり、より好ましくは、暗い信号の行は、各実際の画素セルについて、暗い値を読み出すように配置される。
【００３９】
１つの可能な実装では、２つのフルフィールドのそれぞれは、それほど明るくない信号の値が排他的に、またはそれだけが埋められた、それほど明るくない信号の行、および明るい信号の値が排他的に、またはそれだけが埋められた明るい信号の行を含む。それによって、暗い信号の行の間の行が、それほど明るくない信号の行と明るい信号の行の間に交互になることが殊に好ましい。
【００４０】
他の可能な実装では、暗い信号の行のそばの行は、市松模様状に、それほど明るくない信号の値および明るい信号の値が埋められる。したがって、各行は、それほど明るくない信号の値と明るい信号の値が交互になり、列は、同様に交互になる。
【００４１】
また、本発明は、撮像素子を制御するための方法にも関し、その方法は、後に続くラインまたは列中のピクセルが、１つのフレーム期間中に第１の積分時間間隔または第２の積分時間間隔の後に交互に読み出されることを特徴とする。任意選択で、後に続くラインまたは列は、１つのフレーム期間中、第１、第２そして第ｎ番目の積分時間後に読み出される。さらに任意選択で、ｎ個の完全な画像またはフルフィールドが、１つのフレーム期間中、異なる積分時間によって読み出される。特に、厳密に、２つの画像またはフルフィールドが、１つのフレーム期間中に読み出され、１つがフレーム期間または全積分時間の間、露光され、他がそれより短い時間間隔にわたって、露光される。
【００４２】
本発明は、請求項２６に記載の撮像素子をアドレス指定するための方法をさらに含み、この方法は、
−画素セルをリセットするステップと、
−撮像素子のフレームレートに対応する時間間隔である全露光期間の間、露光された画素セルに対応する値を読み取るステップとを含み、
−全露光期間内のある時期に値を読み取るステップと、
−全露光期間内に読み出された値と全露光期間内のある時期に読み出された値を、画素セルの飽和レベルによって重み付けて結合するステップとをさらに含むことを特徴とする。
【００４３】
この方法は、任意選択で、リセットされた画素セルに対応する値を読み取るステップも含むことができる。好ましくは、この方法は、上記または添付の装置請求項に規定された回路を使用する。特に、リセットするステップがリセット手段によって実施され、複数回読み出すステップが複数回の読み出し手段によって実施され、結合するステップが結合手段によって実施される。
【００４４】
好ましい実施形態では、方法は、全露光期間と、画素セルがリセット後に露光され、それが読み出される前までの時間との比に基づき、全露光期間内に読み出された値から補正された値を算出するステップを含む。このステップは、好ましくは、結合手段によって実施され、上記に述べたように光が当たる様々な時間に適応するために使用される。
【００４５】
本発明のさらなる特徴、利点および／または効果は、本発明の好ましい実施形態の以下の詳細な説明および図によって開示する。
【００４６】
同一または同等の構成要素は、同じ参照番号によって参照する。
【発明を実施するための最良の形態】
【００４７】
図１に、画素セル、たとえばＣＭＯＳ  ＡＰＳの最大ダイナミックレンジおよび制限係数を座標系１によって示す。
【００４８】
座標系１の水平軸２は、画素セルの照度を表し、垂直軸３は、照度に依存した信号レベルを表す。信号レベルは、軸２の照度が低い端ではノイズフロア（ｎｏｉｓｅ  ｆｌｏｏｒ）によって拘束され、軸２の照度が高い端では飽和レベルによって拘束される。この図の照度は、時間にわたって積分された照度を表すことに留意すべきである。画素セルのダイナミックレンジは、ノイズフロアのレベルに対する飽和レベルの比によって決定され、写真に撮られる光景の光景内（ｉｎｔｒａ−ｓｃｅｎｅ）および／または光景間（ｉｎｔｅｒ−ｓｃｅｎｅ）のダイナミックレンジをカバーすることに関与する。光景内のダイナミックレンジは、１つの画像内の比を言い、一方、光景間のダイナミックレンジは、連続する画像間の比を言う。
【００４９】
照度レベルの関数４のグラフは、水平軸２に平行な第１の区間、第２の線形に増加する区間、および水平軸２に平行である第３の区間を含む。
【００５０】
第１の区間は、最小の検出可能な信号を表し、それは、電子雑音によって生じるノイズフロアによって決定され、かつ最小の照度の信号を決定する。ノイズフロアは、ノイズ相当の照度としても表すことができる。
【００５１】
第３の区間は、最大の検出可能な信号を表し、電子に関する撮像素子または画素セルのフルウェル容量によって決定される。最大信号は、全飽和信号に対応し、次いでそれは、露光時間を乗じた対応する全飽和の照度に対応する。
【００５２】
図２に、接続図として、本発明に関連して使用されるピクセル回路５の例を示す。ピクセルまたは光ダイオードＰＤ１は、光子が当たることによって照明される。当たった電子は、光電効果によって電子に変換される。これらの電子は、コンデンサＣ中に蓄積される。コンデンサＣを空にする、またはリセットするために、選択パルスをノードＲＳＴに加えることができる。コンデンサＣを読み出すために、選択パルスをノードＳＥＬに加える。
【００５３】
図３に、図２の画素セル中の電荷の生成およびＶＤＤＳ技術を説明するため、時間依存信号の曲線を示す。上側のラインが図２のコンデンサＣの帯電ライン６を表す。帯電ライン６は、フレーム区間に分割され、それは、フレーム１、フレーム２、フレーム３などと言い、それぞれのフレーム区間は、１つのフレームの時間間隔を例として表す。
【００５４】
フレーム区間の始めに、ピクセル回路５は、ノードＲＳＴに選択パルスを加えることによってリセットされる。選択パルスは、図３で、Ｒｓｔライン７によって表され、それは、フレーム区間の始め毎の長方形のリセットパルス８として示されている。リセットパルス８に応答して、コンデンサＣ、それゆえ帯電ライン６がリセットされてリセットレベルＶｒｅｓｅｔになり、それは、画素セル５のｋＴＣノイズフロアに対応する。撮像素子または光ダイオードＰＤ１に当たる光の積分時間Ｔｉｎｔ中に、光ダイオードＰＤ１において、またはコンデンサＣにおける電圧は、レベルＶｗｈｉｔｅに達するまで帯電ライン６の線形の減少として示されたように低下し、そのレベルＶｗｈｉｔｅは、最大積分時間後の映像レベルに対応する。
【００５５】
さらに、Ｔｉｎｔ中で２つの異なる時期に読み出すために選択するための選択ライン９および１０（Ｓｅｌ１、Ｓｅｌ２）を示す。読み出すための第１の選択Ｓｅｌ１は、通常、時期Ｔｓｅｌ１で取るリセット値または暗い値Ｖｓｅｌ１を読み出すためのものであり、一方、読み出すための第２の選択Ｓｅｌ２は、時期Ｔｓｅｌ２において、明るい値または露光後の値Ｖｓｅｌ２を読み出すためのものである。時期Ｔｓｅｌ１およびＴｓｅｌ２は、図３に、選択パルスによって、および／または矢印Ｓｅｌ１およびＳｅｌ２によってそれぞれ示す。
【００５６】
ｋＴＣノイズを抑制するために、Ｖｓｅｌ２の値からＶｓｅｌ１の値を減算することによって、出力の映像値を算出する。暗い値Ｖｓｅｌ１および明るい値Ｖｓｅｌ２は、実際のフレームの間に結果として得られる出力の値を算出するために結合され、１つの同じフレームから取られることを強調すべきである。この技術は、ＶＤＤＳ（ｖａｒｉａｂｌｅ  ｄｉｇｉｔａｌ  ｄｏｕｂｌｅ  ｓａｍｐｌｉｎｇ）と言われることがある。
【００５７】
時間Ｔｓｅｌ１における出力は、Ｖｒｅｓｅｔに対応し、一方、時間Ｔｓｅｌ２における出力は、Ｖｒｅｓｅｔ＋Ｖｗｈｉｔｅに対応する。Ｔｓｅｌ２／Ｔｉｎｔの比は、可能な最大の積分時間に対して、白色値をとる時点を示す。最大の可能な積分時間は、ライン中のすべてのピクセルを同時に読み出すためにアドレス指定する場合、フレームレートおよびフレーム中のライン数によって決定される。たとえば、１秒当たりのフレーム２４、３０、５０、５９、９４がよく知られたレートであるが、一般には、他の任意のフレームレートも可能である。
【００５８】
明るい領域を得るため撮像素子の性能を向上させるために、以下に説明する変更した読み出し方法を使用することができる。光ダイオードＰＤ１がＶｓｅｌ１の読み出し前およびその間に照明されるので、コンデンサＣ中に電荷が蓄積される。したがって、Ｖｓｅｌ２を読み出すときに撮像素子または画素セルが飽和している場合、すなわちＶｓｅｌ２を読み出すための信号がクリップされているとき、この値Ｖｓｅｌ１が映像レベルを算出するために使用することができる。Ｖｓｅｌ１は、通常リセット後のできるだけ短い、通常極めて短い積分時間による測定値であるが、この瞬間をＶｓｅｌ１ａにシフトして、一定時間だけ読み出しを遅らせることも可能である。しかし、この変更された読み出し方法には、暗い値がもう厳密にリセット時に結びついていないので、ｋＴＣノイズ抑制とダイナミックレンジの間のトレードオフが必要になる。その結果として得られる出力値は、図５以下を参照して後で説明するように、算出することが好ましく、それによれば値Ｖｓｅｌ１または値Ｖｓｅｌ１ａがそれほど明るくない信号として使用され、値Ｖｓｅｌ２が明るい信号として使用され、それによって暗い信号（ｋＴＣ）の補償が省略される。
【００５９】
優れたｋＴＣノイズ抑制ならびに高められたダイナミックレンジをともに達成するため、読み出すために画素セルをアドレス指定するため、第３の垂直シフトレジスタを使用することが好ましい。
【００６０】
図４に、シフトレジスタ信号Ｓｅｌ３として実現された追加の選択ライン１１を加えた、さらなる時間依存信号のグラフを示す。帯電ライン６は、本発明による撮像素子中に蓄積される電荷と、映像信号をリセットして読み出すための対応するアドレスパルスＲｓｔ、Ｓｅｌ１、Ｓｅｌ２およびＳｅｌ３を示す。図では極めて明るい照明が想定されており、それによって撮像素子は、最大積分時間Ｔｉｎｔの中間で飽和している。対応する白色値は、曲線を外挿した点線で示してある。しかし、信号は、所定のレベルＶｃｌｉｐでクリップされるので、その照度および積分時間に実際に対応する白色値には到達することができない。
【００６１】
たとえば、５０Ｈｚのフレームレートに対応して積分時間をＴｉｎｔ＝２０ｍｓに設定し、選択パルスＳｅｌ２によって光ダイオードＰＤ１をアドレス指定する、および／または読み出すための時期は、Ｔｓｅｌ２＝５ｍｓに設定し、選択パルスＳｅｌ３によって光ダイオードＰＤ１をアドレス指定する、および／または読み出すための時期は、Ｔｓｅｌ３＝２０ｍｓに設定する。Ｖｓｅｌ３は、Ｖｃｌｉｐでクリップされるので、Ｖｓｅｌ２が、次のようにＶｗｈｉｔｅを外挿するために使用されて、Ｖｗｈｉｔｅ＝Ｖｓｅｌ２×Ｔｉｎｔ／Ｔｓｅｌ２になる。したがって、異なる選択トークン信号のための３つの垂直シフトレジスタを有した構造において、向上した黒色画像応答ならびに拡張されたダイナミックレンジ機能性をともに実現することができる。
【００６２】
図５に、選択パルスＳｅｌ１、Ｓｅｌ２、およびＳｅｌ３を印加することによって生成される信号曲線を示し、したがって暗い信号Ｖｄａｒｋ、明るい信号Ｖｂｒｉｇｈｔ、およびそれほど明るくない信号ＶｌｅｓｓｅｒＢｒｉｇｈｔがそれぞれ生成される。上部から下部への信号のシーケンスは、信号を得るシーケンスには一致していないことに留意すべきである。第１の処理ステップでは、固定パターンノイズ（ｆｉｘｅｄ  ｐａｔｔｅｒｎ  ｎｏｉｓｅ：ＦＰＮ）およびｋＴＣを補正または補償するため、ＶｂｒｉｇｈｔおよびＶｌｅｓｓｅｒｂｒｉｇｈｔからＶｄａｒｋを減算する。Ｖｌｅｓｓｅｒｂｒｉｇｈｔを得るための利得係数は、総積分時間ＴｉｎｔとＶｌｅｓｓｅｒｂｒｉｇｈｔの値を読み出す前に撮像装置が露光されていた間の時間Ｔｓｅｌ２との商として算出することができる。撮像素子が飽和していない場合、読み出されるはずになる値を決定するために、この利得係数は、Ｖｌｅｓｓｅｒｂｒｉｇｈｔの読み出された値に適用される。
【００６３】
図６に、利得係数によって補正されたＶｌｅｓｓｅｒｂｒｉｇｈｔの値に対応した、信号によって補償された図５の信号を例示する。各フレームの補正されたＶｌｅｓｓｅｒＢｒｉｇｈｔの最大レベルは、それぞれのフレームについて外挿されたＶｗｈｉｔｅに対応する。
【００６４】
本発明の好ましい実施形態では、明るい値を読み出して取得された信号およびそれほど明るくない値ＶｌｅｓｓｅｒＢｒｉｇｈｔを読み出し補正して取得された信号が、それぞれの値に依存して結合される。
【００６５】
一般的に言うと、画像のより暗い領域では、明るい値の信号だけを使用することが好ましい、というのはこの信号は、より暗い領域について最も正確な値を保持しているからである。他方、画像の極めて明るい領域では、補正された信号ＶｌｅｓｓｅｒＢｒｉｇｈｔだけを使用することが好ましい、というのは明るい値は、クリップされていることがあり、それほど明るくない値は、画像のダイナミックスについて情報を保持しているからである。
【００６６】
遷移領域では、両方の信号にレベル依存利得を適用し、両方の信号を結合する。両方の信号の利得の合計は、１に相当するように調節することが好ましい。
【００６７】
図７に、伝達関数または利得関数として、明るい値（実線）およびそれほど明るくない値（点線）の利得の例示の値を示す。水平軸に、デジタル数で表されたピクセルの蓄積された照度を示し、垂直軸に、利得係数を示す。この図では、ＤＮｔｈが閾値に対応する。この閾値からそれほど明るくない信号に、増加する形で利得が適用される。この図では、値４０９５が、この例で使用される例示のＡＤＣの１２ビットの分解能に対応する。
【実施例】
【００６８】
Ｔｉｎｔ／Ｔｓｅｌ２＝１０
Ｔｉｎｔ＝１６．６ｍｓ（＠フレームレート６０Ｈｚ）
Ｔｓｅｌ２＝１／１０×Ｔｉｎｔ＝１．６６ｍｓ
【００６９】
それほど明るくない信号の範囲は、０から１０×４０９５＝４０９５０である。その結果得られる出力は、ｌｏｇ（４０９５０）／ｌｏｇ（２）＝１６ビットの分解能に対応する。
【００７０】
暗い領域の分解能は、１２ビットのＶｂｒｉｇｈｔ信号によって決定され、明るい領域の仮想分解能は、利得補正されたＶｌｅｓｓｅｒＢｒｉｇｈｔ信号から算出される。
【００７１】
遷移領域で適切に動作するため、結合された信号を１０ビットの分解能を有する信号に戻すためのアークタンジェント曲線が、提案されている。これは、ハイライト（ｈｉｇｈ−ｌｉｇｈｔ）圧縮、ニー関数（Ｋｎｅｅ  ｆｕｎｃｔｉｏｎ）または対数伝達曲線と考えられる。図８に、例示の曲線を示す。アークタンジェント曲線は、小さい値には利得が１であり、暗いピクセルを表す値に対応し、そしてより高い値には、より高い輝度のピクセルに対応して、利得が減少し、それによって対応するアークタンジェント値だけ入力値を減衰させる。
【００７２】
すべてのタイミングの時期は、Ｔｉｎｔの範囲内で調節可能であり、すなわち、信号がサンプルされる時期は、Ｔｉｎｔ内で調節することができる。このようにして、様々な拡張されるダイナミックレンジの設定は、写真に撮る光景に依存して、ユーザによって、または自動ダイナミックレンジアルゴリズムによって実施し調節することができる。
【００７３】
本発明によれば、自動ダイナミックレンジアルゴリズムには、全画像にわたってＴｓｅｌ２で取得された信号の平均映像レベルを測定するステップと、全画像にわたってＴｓｅｌ３で取得された信号の平均映像レベルを測定するステップとが含まれる。これらの２つのパラメータＴｓｅｌ２および／またはＴｓｅｌ３を使用して、Ｔｓｅｌ３で取得された信号が約５０％のクリップされた値を含み、Ｔｓｅｌ２で取得された信号が約１０％のクリップされた値を含むように、調節することができる。時期Ｔｓｅｌ２およびＴｓｅｌ３でいくつのクリップされた値をサンプルするかの設定は、例示の値だけとして与えてある。それらは、ユーザの要件または他の要件に依存して設定することができる。
【００７４】
現状では、ＣＭＯＳ撮像装置のダイナミックレンジは、約４００％である。Ｖｓｅｌ２の余分の測定によって、ダイナミックレンジは、次のように向上する。
【００７５】
実施例１
Ｔｓｅｌ２＝５ｍｓ：Ｔｉｎｔ／Ｔｓｅｌ２＝２０ｍｓ／５ｍｓ＝４×高い＝＞１６００％
【００７６】
実施例２
Ｔｓｅｌ２＝２ｍｓ：２０ｍｓ／２ｍｓ＝１０×
【００７７】
実施例３
Ｔｓｅｌ２＝２００μｓ：２０ｍｓ／２００μｓ＝１００×
【００７８】
実施例４
Ｔｓｅｌ２＝２０μｓ：２０ｍｓ／２０μｓ＝１０００×
【００７９】
実施例５
Ｔｓｅｌ２＝２μｓ：２０ｍｓ／２μｓ＝１００００×
【００８０】
実施例６
Ｔｓｅｌ２＝２００ｎｓ：２０ｍｓ／２００ｎｓ＝１０００００×
したがって、Ｔｓｅｌ２＝２００ｎｓの場合、理論的には、１００，０００×４００％＝４０，０００，０００％のダイナミックレンジが得られる。
【００８１】
これらの実施例によって、最大積分時間と、Ｔｓｅｌ２において取得する信号の値をサンプルする時間との間の関係を示す。
【００８２】
Ｔｓｅｌ２において取得される信号がクリップされていない限り、Ｔｓｅｌ１において取得される信号は、ＡＤＣへの追加のビットとして考えることができる。
【００８３】
ＶＤＤＳを実施し、拡張されたダイナミックレンジをもたらすために、一実施形態では、撮像装置が、所望のフレームレートで３回実行される。１０８０Ｐ３０／１０８０１６０のビデオフォーマットには、これは、出力データレートが７４×３＝２２２Ｍサンプル／ｓｅｃになることを意味する。撮像装置に２つ、すなわち奇数ピクセル用に１つ、偶数ピクセル用に１つのＡＤＣがある場合、各ＡＤＣは、１１１ＭＨｚで動作させる必要があることになる。さらにＡＤＣを加えてこの周波数を低減し、それによって必要な動作周波数を追加のＡＤＣの数によって線形に低減することは、もちろん可能である。
【００８４】
また、ダイナミックレンジを向上し補正された二重サンプリングを実施するための方法は、ｋＴＣノイズおよびシェーディングの副作用を抑制するために、Ｔｓｅｌ２で取得される信号およびＴｓｅｌ３で取得される信号からＴｓｅｌ１で取得される信号（リセット値）を減算するステップを含む。さらに、Ｔｉｎｔ／Ｔｓｅｌ２に対応するＴｓｅｌ２で取得される信号の利得係数が算出され、Ｔｓｅｌ２で取得される信号に適用される。次いで、Ｔｓｅｌ２で取得される信号およびＴｓｅｌ３で取得される信号が、Ｔｓｅｌ２で取得される信号に依存する重み付け係数によって結合される。
【００８５】
一開発において、Ｔｓｅｌ２で取得される信号およびＴｓｅｌ３で取得される信号は、加算される。Ｔｓｅｌ３で取得される信号がクリップされていない限り、加算は、２の平方根の係数だけ一時的なノイズを低減する。
【００８６】
図９に、本発明によって使用される３つのシフトレジスタの概略ブロック図を示す。好ましくは、シフトレジスタが、垂直シフトレジスタとして実装される。本実施形態の場合、図３に関して説明したようなＶｌｅｓｓｅｒＢｒｉｇｈｔおよびＶｂｒｉｇｈｔの値を生成するための方法を実現することができ、また、シフトレジスタの１つをフレーム期間中に２回使用して、図４に関して説明したようなＶｄａｒｋ、ＶｌｅｓｓｅｒＢｒｉｇｈｔおよびＶｂｒｉｇｈｔの値を生成するための方法を実現することができる。
【００８７】
図１０に、本発明の他の開発の概略ブロック図を示し、それによれば、読み出すためにピクセル回路を選択するための３つのシフトレジスタを備え、それぞれのピクセル回路を独立にリセットするための２つのシフトレジスタを備える。従来技術に比べて、読み出しのために選択するための２つの追加のシフトレジスタとリセットするための１つの任意選択で追加のシフトレジスタを備える。
【００８８】
本発明の本開発による構成を使用すると、以下の様々な読み出しモードが可能である。
１．アナログ二重サンプリングモード
２．デジタル二重サンプリングモード
３．高ダイナミックレンジモード
４．黒色ライン読み出しのための２回目のリセット
【００８９】
前述の第１の読み出しモードを実施するために、１回のリセットと１つの選択レジスタだけが必要である。しかし、このモードには、いくつかの欠点が生じる。第１に、測定されたｋＴＣノイズが、実際には次の積分期間に属し、固定パターンノイズ、すなわちＦＰＮしか抑制されないことになる。第２に、積分時間が短縮された場合、誤ったラインに属する固定パターンノイズが補正のために使用されて、たとえあったとしても、固定パターンノイズが不正に補正されることになる。
【００９０】
第２のモードでは、読み出しフレームレートが２の係数だけ増加されたとき、明るい値および暗い値は、各ピクセル回路から読み出すことができる。デジタル二重サンプリングを実施するための方法によれば、暗い値は、フレーム格納部に格納され、積分時間の短縮を補償するため、利得で補正される。
【００９１】
図１１に、第２のモードを実施するための回路の例示のブロック図を示す。このモードおよびこの回路によって、相関値を使用したｋＴＣノイズの補償が可能になる。さらに、水平および垂直のシェーディングの副作用が抑制される。さらにまた、各ピクセルからの固定パターンノイズが測定され、独立に補正される。さらに、この回路では、フレーム格納部からの読み出しの合図を変更することによって、柔軟な積分時間の設定が可能になる。
【００９２】
第３のモードは、上記でさらに説明しており、再び詳細に言及しない。
【００９３】
第４のモードでは、列の固定パターンノイズの抑制を可能にするため、黒色ラインが読み出される。あるいは、列の固定パターンノイズを補正するために画像の１ラインだけを読み出すことができる。
【００９４】
図１２に、本発明による撮像素子の基本的なブロック図を示す。撮像素子は、たとえば行と列の形で配置された複数の画素セルを有する撮像装置を含む。たとえば図１０に示すようにシフトレジスタからなるシステムとして実装されるトークン制御ロジックが、読み出すために画素セルをアドレス指定する。読み出し値は、マルチプレクサＭｕｘユニットを通って転送され、３つのチャネルに分けられ、そこでは第１のチャネルが、リセットレベルの値Ｖｓｅｌ１を第１のフレーム格納部に導き、第２のチャネルが、Ｔｓｅｌ２後の映像レベルの値、すなわちそれほど明るくない値を第２のフレーム格納部に導く。フレーム期間を終了した後、両方のフレーム格納部は、蓄積ユニット中にそれらの値を出して空になり、そこに、第３のチャネルが、Ｔｓｅｌ３後の映像レベルの値、すなわち明るい値も導き、終了する。この図では、Ｖｓｅｌ１は、暗い値すなわちＶｄａｒｋに対応し、Ｖｓｅｌ２は、Ｔｓｅｌ２における映像レベル、すなわちそれほど明るくない値に対応し、Ｖｓｅｌ３は、最も長い、好ましくは最大の積分時間における映像レベル、すなわち明るい値に対応する。蓄積ユニットでは、ＶＤＤＳおよびさらに極端なダイナミックレンジアルゴリズムは、すでに述べたように、出力される映像を生成するために実行される。
【００９５】
補正された高ダイナミックな映像出力、すなわち１つが公称の画像であり１つが高ダイナミックレンジである２つのデータストリームを選択して出力することができる。
【００９６】
図１３に、奇数および偶数のピクセルが一直線に並んで交互に配置された、例示のピクセル格子を示す。文字「Ｏ」および「Ｅ」は、奇数および偶数をそれぞれ表す。
【００９７】
本発明の実施形態によれば、隣接するラインすなわち行は、異なる積分時間の後に読み出される。たとえば、奇数および偶数の番号が付けられた行は、異なる積分時間で読み出される。
【００９８】
３つのシフトレジスタを有する回路を使用して、第１のシフトレジスタから来る第１の選択信号は、奇数行の明るい値および偶数行のそれほど明るくない値を読み出すために使用される。第２のシフトレジスタから来る第２の選択信号は、奇数行の暗い値を読み出すために使用される。第３のシフトレジスタから来る第３の選択信号は、偶数行の暗い値を読み出すために使用される。
【００９９】
図１４に、ピクセルの行の読み出しパターンを示し、それに続く行が、異なる積分時間の後に読み出される。文字「Ｄ」は、暗い値を表し、文字「Ｌ」は、短縮された積分時間の後に読み出された、それほど明るくない値を表し、文字「Ｂ」は、最大積分時間の後に読み出された明るい値を表す。例示のピクセル格子は、図１３に提示したものと同じである。第１のフィールドの第１の行が、読み出されて暗い値が生成される。第１のフィールドの第２の行が、読み出されてそれほど明るくない値が生成される。第１のフィールドの第３の行が、読み出されて再び暗い値が生成され、第１のフィールドの第４の行が、読み出されて明るい値が生成される。第１のフィールドが完全に読み出されるまで、上記のシーケンスが繰り返される。次いで、第２のフィールドを読み出すために、１つの行だけシーケンスがシフトされる。第２のフィールドでは、第１の行が読み出されてそれほど明るくない値が生成される。次の行、すなわち第２の行が読み出されて暗い値が生成される。第３の行が読み出されて明るい値が生成され、第４の行が読み出されて再び暗い値が生成される。第２のフィールドが完全に読み出されるまで、このシーケンスが繰り返される。さらに図１４の右側に、第１および第２のフィールドが１つのフレームにどのように再構成されるのかを示す。第１および第２の行は、それほど明るくない値を含み、第３および第４の行は、明るい値を含んでいることが分かる。このシーケンスは、フレームの終わりまで継続される。この方法の本実施形態では、恐らく垂直分解能が低下するという犠牲を払って、向上したダイナミックレンジがもたらされる。
【０１００】
他の実施形態では、恐らく水平分解能が低下するという犠牲を払って、向上したダイナミックレンジが達成される。図１５に、対応するパターンを示す。この場合、第１の実施形態で提示したように、２行毎の暗い値の読み出しが維持される。しかし、明るい値およびそれほど明るくない値を交互に読み出すためのタイミングが、奇数および偶数の列に適用される。第１の実施形態と同様に、読み出しパターンがその後に続くフィールドの間でシフトされる。しかし、列の読み出しパターンがやはりその後に続くフィールドの間でシフトされる。図１５の右側に、再構成されたフレームを示す。ピクセルの市松模様状のパターンで、それほど明るくない値および明るい値が保持されていることが分かる。
【０１０１】
本発明の第２の実施形態によって撮像素子を読み出すために、読み出された値を格納している列のコンデンサへの選択入力が必要になることがある。この目的で、列のコンデンサの分割部分に、２つの出力、すなわち奇数および偶数の列のスイッチを設けることが可能である。
【０１０２】
この実施形態では、全画像が、２つのフィールド中でインターレースモードによって読み出される。しかし、全画像、または漸進的な映像を読み出すために、交互に読み出す方式を適応させることも恐らく可能である。本明細書での用語「フィールド」は、インターレースされる映像の半分の画像について使用される。用語「フレーム」は、漸進的な映像の全画像に使用される。
【０１０３】
すべてのタイミングの時期は、積分時間Ｔｉｎｔの範囲内で調節可能である、すなわち、それほど明るくない値の信号をサンプルする時間のインスタンスは、Ｔｉｎｔ内で調節することができる。このように、様々な拡張ダイナミックレンジの設定は、写真に撮る光景に依存して、ユーザによって、または自動ダイナミックレンジアルゴリズムによって実施し調節することができる。
【０１０４】
本発明の１つの開発によると、自動ダイナミックレンジアルゴリズムは、全画像にわたってＶｓｅｌ２について平均の映像レベルを測定するステップと、全画像にわたってＶｓｅｌ３について平均の映像レベルを測定するステップと、を含む。これらの２つのパラメータを使用すると、Ｖｓｅｌ２は、Ｖｓｅｌ３が±５０％のクリップされた値を含み、Ｖｓｅｌ２が±１０％のクリップされた値を含むように、調節することができる。Ｖｓｅｌ２およびＶｓｅｌ３についてクリップされた値をいくつサンプルするかの設定は、例示の値だけとして与えてある。それらは、ユーザの要件または他の要件に依存して設定することができる。
【０１０５】
図１６に、列コンデンサのスイッチを駆動するための可能なマルチプレクサを示す。この図では、ラベル「ＣＯＬ＿Ｏ＿Ｅｎ」は、奇数または偶数の列を選択するためのマルチプレクサへの入力を表す。ラベル「ＳＷ＿Ｂ＿ＣＯＬ＿ｃｏｎｔｒｏｌ＿Ｏｄｄ（２．．）」は、ＳＰＩレジスタを介して制御するマルチプレクサへの入力を表す。以下の表に、マルチプレクサの論理テーブルを示す。
【０１０６】
マルチプレクサの論理テーブル
ＳＷ＿Ｂ＿ＣＯＬ＿ｃｏｎｔｒｏｌ＿Ｏｄｄ（２．．０）    ＝＞ＳＷ＿Ｂ＿ＣＯＬ＿Ｏｄｄ（２．．０）
０００＝  ＝＞ＳＷ＿Ｂ
００１＝  ＝＞ＳＷ＿Ｄ
０１０＝  ＝＞Ｌｏｇｉｃ  ｌｏｗ
０１１＝  ＝＞Ｌｏｇｉｃ  ｈｉｇｈ
１００＝  ＝＞ＳＷ＿Ｂ  ＡＮＤ  ＣＯＬ＿Ｏ＿Ｅｎ
１０１＝  ＝＞ＳＷ＿Ｄ  ＡＮＤ  ＣＯＬ＿Ｏ＿Ｅｎ
１１０＝  ＝＞予備
１１１＝  ＝＞予備
【０１０７】
マルチプレクサは、列毎に暗い値および明るい値のための格納手段を選択し、奇数および偶数のピクセルを選択し、基準電圧としての信号の読み出しを選択するために使用される。組合せは、全部で次のように考えられる。
ＳＷ＿Ｂ＿ＣＯＬ＿Ｏｄｄ（例に示す）
ＳＷ＿Ｂ＿ＣＯＬ＿Ｅｖｅｎ
ＳＷ＿Ｄ＿ＣＯＬ＿Ｏｄｄ
ＳＷ＿Ｄ＿ＣＯＬ＿Ｅｖｅｎ
ＳＷ＿Ｂ＿ＲＥＦ＿Ｏｄｄ
ＳＷ＿Ｂ＿ＲＥＦ＿Ｅｖｅｎ
ＳＷ＿Ｄ＿ＲＥＦ＿Ｏｄｄ
ＳＷ＿Ｄ＿ＲＥＦ＿Ｅｖｅｎ
【０１０８】
列のためのマルチプレクサを使用して、ラインすなわち行内の奇数および偶数のピクセルを選択的に読み出すことが可能であるので、フレームレートは、増加することもできる。
【０１０９】
本発明は、読み出し用の３つのシフトレジスタを有する撮像素子をとりわけ参照して説明したが、もっと少ない数のシフトレジスタを有する撮像装置を用いて本発明を使用することも可能である。この場合、シフトレジスタに可変クロックレートでのクロックの印加が可能であることは、有利になり得る。
【図面の簡単な説明】
【０１１０】
【図１】ＣＭＯＳ撮像素子の最大有効ダイナミックレンジおよび制限係数を示す図である。
【図２】本発明による実際の画素セルの接続図である。
【図３】図２の画素セル中の電荷の生成およびＶＤＤＳ技術を説明するために、時間依存信号のグラフを示す図である。
【図４】追加のシフトレジスタ信号を有した、さらなる時間依存信号のグラフを示す図である。
【図５】図２の画素セルの動作中に生成される例示の信号を示す図である。
【図６】前処理ステップ後の図５の信号を示す図である。
【図７】図５または６の信号の利得を得るための伝達関数を示す図である。
【図８】ハイライト（ｈｉｇｈ−ｌｉｇｈｔ）圧縮のための例示の曲線を示す図である。
【図９】本発明の第１の実施形態によって使用されるシフトレジスタの概略ブロック図である。
【図１０】本発明の第２の実施形態によって使用されるシフトレジスタの概略ブロック図である。
【図１１】ＶＤＤＳを使用する、撮像素子のブロック図である。
【図１２】本発明の第３の実施形態としての撮像素子のブロック図である。
【図１３】撮像素子の実際の画素セルを表す行列要素を有する行列を示す図である。
【図１４】本発明による可能な代替の読み出し方法を示す図である。
【図１５】本発明によるさらなる代替の読み出し方法を示す図である。
【図１６】読み出し方法のさらなる代替実施形態に適合されたマルチプレクサを示す図である。
【図１】
2009538075.tif 000003
【図２】
2009538075.tif 000004
【図３】
2009538075.tif 000005
【図４】
2009538075.tif 000006
【図５】
2009538075.tif 000007
【図６】
2009538075.tif 000008
【図７】
2009538075.tif 000009
【図８】
2009538075.tif 000010
【図９】
2009538075.tif 000011
【図１０】
2009538075.tif 000012
【図１１】
2009538075.tif 000013
【図１２】
2009538075.tif 000014
【図１３】
2009538075.tif 000015
【図１４】
2009538075.tif 000016
【図１５】
2009538075.tif 000017
【図１６】
2009538075.tif 000018
【国際調査報告】
2009538075.tif 000019
2009538075.tif 000020
2009538075.tif 000021
2009538075.tif 000022
2009538075.tif 000023