(57)【要約】多数の画素を含む画像センサ（２０２）のダイナミック・レンジを圧縮する方法。この方法は、画素の各々を光に露出し、光露出を表す画素毎の関連する光電流を生成するステップを含む。次に、画素毎に、当該画素の各々の関連する光電流の単調増加凸関数に基づいて、画素の各々の露出時間を制御する。
2004507910.tif 000002
【特許請求の範囲】
【請求項１】
多数の画素から成る画像センサのダイナミック・レンジを圧縮する方法であって、
前記画素の各々を光に露出し、前記光の露出を表す画素毎の関連する光電流を生成するステップと、
画素毎に、各前記画素の前記関連する光電流の単調増加凸関数に基づいて、各前記画素の露出時間を制御するステップと、
から成るダイナミック・レンジ圧縮方法。
【請求項２】
請求項１記載の方法であって、更に、前記単調増加凸関数に基づいて、各前記画素の前記露出時間を計算するステップを含むこと、を特徴とするダイナミック・レンジ圧縮方法。
【請求項３】
請求項１記載の方法であって、更に、前記関連する光電流に基づいて、各前記画素の前記露出時間を計算するステップを含むこと、を特徴とするダイナミック・レンジ圧縮方法。
【請求項４】
請求項２記載の方法において、前記制御するステップが、
画素毎に前記計算した露出を格納するステップと、
前記格納した露出時間を前記メモリからアクセスするステップと、
前記アクセスした露出時間にしたがって前記画素をプログラムするステップと、
から成ること、を特徴とするダイナミック・レンジ圧縮方法。
【請求項５】
請求項１記載の方法であって、更に、各前記画素の前記露出時間の所望の感度に基づいて、前記単調増加凸関数の一次導関数を計算するステップを含むこと、を特徴とするダイナミック・レンジ圧縮方法。
【請求項６】
請求項１記載の方法であって、更に、
前記光電流をほぼ線形的に表す電荷を蓄積するステップと、
前記光電流を前記蓄積電荷の積として計算するステップと、
を特徴とするダイナミック・レンジ圧縮方法。
【請求項７】
多数の画像から成る画像センサにおいて用いる露出制御装置であって、
計算した露出時間値を格納するメモリと、
前記画素のローカル・パラメータを収容する画素単位パラメータ表と、
１組の集束判断基準に基づいて前記格納した露出時間値および前記パラメータを組み合わせ、画素毎に、当該画素の露出時間を決定するプロセッサと、
を備えている露出制御装置。
【請求項８】
請求項７記載の露出制御装置において、前記１組の集束判断基準は、前記単調増加凸関数に基づいて各画素に適切な露出時間を導出可能な１組のアルゴリズムに基づくこと、を特徴とする露出制御装置。
【請求項９】
請求項８記載の露出制御装置において、前記１組のアルゴリズムは、前記画素の微調整露出時間を導出可能であること、を特徴とする露出制御装置。
【請求項１０】
請求項７記載の露出制御装置において、前記露出制御装置が、前記画像センサ外部のチップ・セットであること、を特徴とする露出制御装置。
【請求項１１】
請求項７記載の露出制御装置において、前記画像センサと同じ基板上に少なくとも部分的に前記露出制御装置を集積したこと、を特徴とする露出制御装置。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、一般に画像センサにおいて、特に画素単位操作（ｐｅｒ ｐｉｘｅｌ ｍａｎｉｐｕｌａｔｉｏｎ）において画素を制御する方法および装置に関する。
（発明の背景）
図１は、視覚センサ（図示せず）のｉ番目の行およびｊ番目の列に位置する、従来技術の電荷集積画素（ｃｈａｒｇｅ ｉｎｔｅｇｒａｔｉｏｎ ｐｉｘｅｌ）１０を示す。画素１０は、電流源Ｉｐｈ（ｉ，ｊ）で表した光検出器、スイッチ１２、コンデンサ１４、および読み出し回路１６から成る。スイッチ１２は、いずれのタイプのサンプルでもよく、半導体のようなデバイスを保持することができる。コンデンサ１４は、蓄積デバイス、具体的には集積コンデンサとして機能する。
【０００２】
画素１０は、光検出器に入射する光の強度にほぼ比例する光電流Ｉｐｈ（ｉ，ｊ）を発生する。スイッチ１２を閉じると、光電流Ｉｐｈ（ｉ，ｊ）を導通させ、コンデンサ１４を充電する。実施形態によっては、電荷集積の前に、コンデンサを完全に放電する。この場合、コンデンサ１４間の初期電圧Ｖｉｎｉｔｉａｌは０であり、電荷の蓄積に伴って線形に増加する。
【０００３】
光電流Ｉｐｈ （ｉ，ｊ）が電荷集積中時間的に変化し、露出時間ｔ＝ｔＥ（ｉ，ｊ）の間スイッチ１２が閉じているとすると、蓄積電荷Ｑａは式（１）のように計算することができる。
【０００４】
【数１】
2004507910.tif 000003
【０００５】
コンデンサ１４間の蓄積電圧ＶＣ（ｉ，ｊ）は次のようになる。
【０００６】
【数２】
2004507910.tif 000004
【０００７】
ここで、Ｃ１はコンデンサ１４の容量である。
以下に対する証明は、添付した補足資料において完全に説明する。ここでは、本発明を理解するために必要な式の一部を示す。理解を容易にするために、明細書における式の番号を補足資料における式に対応させている。
【０００８】
飽和電圧ＶｃＳａｔと遮断電圧ＶｃＣＯとの比率は、電気信号ダイナミック・レンジＤＲＳとして、式（５）で定義される。
【０００９】
【数３】
2004507910.tif 000005
【００１０】
補足資料から、露出時間の設定をグローバルに行う従来のセンサでは、捕獲画像のダイナミック・レンジＤＲＬは式（１２）のように定義することができる。
【００１１】
【数４】
2004507910.tif 000006
【００１２】
露出時間の設定をグローバルに行う従来のセンサでは、捕獲画像のダイナミック・レンジＤＲＬは、電気信号のダイナミック・レンジＤＲＳに等しく、露出時間には係わらず不変である。
【００１３】
米国特許出願第０９／４２６，４５２号”Ｉｍａｇｅ Ｓｅｎｓｏｒ’ｓ Ｕｎｉｔ Ｃｅｌｌ ｗｉｔｈ Ｉｎｄｉｖｉｄｕａｌｌｙ Ｃｏｎｔｒｏｌｌａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｓｈｕｔｔｅｒ Ｃｉｒｃｕｉｔ”（個々に制御可能な電子シャッタ回路を有するセンサの単位セル）および第０９／５１６，１６８号”Ｉｍａｇｅ Ｓｅｎｓｏｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｐｅｒ−Ｐｉｘｅｌ Ｃｈａｒｇｅ Ｉｎｔｅｇｒａｔｉｏｎ Ｃｏｎｔｒｏｌ”（画素単位電荷集積制御用画像センサ・アーキテクチャ）に開示されているように、画像センサには、画素毎に個々に制御可能な電子シャッタを有するものもある。これらの画像センサでは、捕獲画像のダイナミック・レンジは式（１７）で示すことができる。
【００１４】
【数５】
2004507910.tif 000007
【００１５】
ここで、シャッタ即ち露出時間のダイナミック・レンジＤＲＴは、最大および最小露出時間ＴＥの比である。
【００１６】
【数６】
2004507910.tif 000008
【００１７】
（１２）および（１７）から得られる結果は、画素毎に制御可能な電子シャッタを有する画像センサでは、捕獲場面のダイナミック・レンジＤＲＬは、従来技術の画像センサのダイナミック・レンジよりもせいぜい電子信号のダイナミック・レンジＤＲＳ倍だけ良いに過ぎないということである。例えば、電気信号のダイナミック・レンジＤＲＳが１，０００：１であり、露出時間の設定が同一である場合、捕獲場面のダイナミック・レンジＤＲＬは、１，０００，０００：１即ち約１２０ｄｂにはなり得る。つまり、電気信号のダイナミック・レンジを改善する余地が未だ残っているのである。何故なら、これは、画素毎に制御可能な電子シャッタを有する画像センサでは、直接結果に影響を及ぼすからである。
【００１８】
画素毎に露出時間が制御可能な画像センサでは、ダイナミック・レンジに時間依存性があり、露出時間ｔＥの効率的な管理によって大幅な改善が可能であるので、セルまたは画素毎にほぼ最適な露出時間を規定する方法および装置を開発することが求められている。
（摘要）
したがって、本発明の一実施形態によれば、多数の画素を含む画像センサのダイナミック・レンジを圧縮する方法を提供する。この方法は、画素の各々を光に露出し、光露出を表す画素毎の関連する光電流を生成するステップを含む。次に、画素毎に、当該画素の各々の関連する光電流の単調増加凸関数に基づいて、画素の各々の露出時間を制御する。
【００１９】
本方法は、更に、前記単調増加凸関数に基づいて各前記画素の前記露出時間を計算するステップ、および前記関連する光電流に基づいて各前記画素の前記露出時間を計算するステップの一方または双方を含むようにできる。また、本方法は、各前記画素の前記露出時間の所望の感度に基づいて、前記単調増加凸関数の一次導関数を計算するステップを含むようにできる。
【００２０】
制御するステップは、画素毎に計算した露出時間を格納し、格納した露出時間をメモリからアクセスし、アクセスした露出時間にしたがって画素をプログラムするステップを含むこともできる。
【００２１】
更に、本方法は、光電流をほぼ線形的に表す電荷を蓄積し、蓄積電荷の積として光電流を計算するステップを含むこともできる。
したがって、本発明の一実施形態によれば、多数の画素を含む画像センサにおいて用いる露出制御装置を提供する。この制御装置は、メモリ、画素単位のパラメータ、およびプロセッサを含むことができる。メモリは、計算した露出時間値を格納することができる。画素単位パラメータ表は、画素のローカル・パラメータを収容することができる。プロセッサは、１組の集束判断基準に基づいて、格納した露出時間値およびパラメータを組み合わせ、画素毎に、当該画素の露出時間を決定することができる。
【００２２】
１組の集束判断基準は、単調増加凸関数に基づいて、各画素に適切な露出時間を導出することができる１組のアルゴリズムに基づくことができる。１組のアルゴリズムは、画素の微調整露出時間を導出できるようにするとよい。
【００２３】
露出制御装置は、画像センサ外部のチップ・セットとすることもでき、あるいは、画像センサと同じ基板上に少なくとも部分的に集積することもできる。
（詳細な説明）
図面に関連付けた以下の詳細な説明から、本発明を一層深く理解し、その真価が認められよう。
【００２４】
本発明は、単調増加凸関数を使用してダイナミック・レンジの圧縮を制御する方法である。本明細書は、１組の方法、分析および作表機能、ならびに画像捕獲アルゴリズムの概要を説明する。ここに記載する方法およびアルゴリズムは、米国特許出願第０９／４２６，４５２号”Ｉｍａｇｅ Ｓｅｎｓｏｒ’ｓ Ｕｎｉｔ Ｃｅｌｌ ｗｉｔｈ Ｉｎｄｉｖｉｄｕａｌｌｙ Ｃｏｎｔｒｏｌｌａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｓｈｕｔｔｅｒ Ｃｉｒｃｕｉｔ”（個々に制御可能な電子シャッタ回路を有するセンサの単位セル）および第０９／５１６，１６８号”Ｉｍａｇｅ Ｓｅｎｓｏｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｐｅｒ−Ｐｉｘｅｌ Ｃｈａｒｇｅ Ｉｎｔｅｇｒａｔｉｏｎ Ｃｏｎｔｒｏｌ”（画素単位電荷集積制御用画像センサ・アーキテクチャ）に記載されている画像センサ、あるいは画素毎に電子シャッタを制御可能なその他の画像センサと共に用いることができる。本発明は、一般的なダイナミック・レンジの圧縮にも適用することができる。
【００２５】
本発明の一実施形態では、各画素の露出を光電流に基づいて制御し、所望のダイナミック・レンジ圧縮関数を実現可能とするようにこれを行う。
本発明の別の実施形態は、画素単位露出制御ハードウエア／ファームウエア／ソフトウエア装置および露出時間プロセッサであり、画素毎に電子シャッタ値を導出するために使用可能である。
【００２６】
本発明は、ほぼ無限の関数集合から選択可能な、あるクラスのダイナミック・レンジ圧縮関数を規定する。圧縮専用に用いられるこの関数クラスは、数学的には、単調増加凸関数、または以下の条件を満足する関数として定義する。Ｉｐｈ１＞Ｉｐｈ２に対して ｆ（Ｉ ｐｈ１）＞ｆ（Ｉ ｐｈ２）およびｆ’（Ｉ ｐｈ１）＜ｆ’（Ｉ ｐｈ２）となる。ここで、ｆ’は関数ｆのその引数Ｉｐｈによる一次導関数である。したがって、微分関数は単調減少関数となる。
【００２７】
無限の可能性範囲から、ｆ（Ｉｐｈ）＝ｃ１＋ｃ２・ｌｏｇ１０（Ｉｐｈ）という種類の指数関数のみが従来技術の画像センサに用いられることは公知である。この関数は指数センサに実施されており、したがって、センサは指数的応答が可能であるが、画素毎に個々に電子シャッタを制御することはできない。
【００２８】
図３は、露出時間ｔＥを変化させる３種類の異なる関数を示し、画素即ち単位セルにおける応答を整形する際に用いることができるダイナミック・レンジ圧縮関数Ｖｃ＝ｆ（Ｉｐｈ）の図を含む。この関数は、通例では、Ｉｐｈの単調増加凸関数とすることができる。
【００２９】
線表示３０は、露出時間ｔＥ＝ｔＥＭＩＮのときの蓄積電圧Ｖｃを示す。線表示３４は、露出時間ｔＥ＝ｔＥＭＡＸのときの蓄積電圧Ｖｃを示す。最後に、線表示３２は、単調増加凸関数にしたがう蓄積電圧Ｖｃを示す。表示３２では、光電流Ｉ ｐｈ１＞Ｉ ｐｈ２が、切断光電流ＩｐｈＣＯないし飽和光電流ＩｐｈＳａｔの範囲にある場合、
【００３０】
【数７】
2004507910.tif 000009
【００３１】
および
【００３２】
【数８】
2004507910.tif 000010
【００３３】
となる。
関数の単調増加特性によって、元の場面の特徴が確実に保存される。
一次導関数の単調減少特性のために、切断光電流ＩｐｈＣＯに近づくに連れて、光電流Ｉｐｈの蓄積電圧Ｖｃの増加分が大きくなる。これは、光強度信号が弱くなることに等しい。逆に、光電流Ｉｐｈが飽和光電流ＩｐｈＳａｔに近づくに連れて、電圧Ｖｃの増加分は小さくなる。その結果、切断光電流ＩｐｈＣＯのレベル付近では、信号が弱まるに連れて、発生する信号の振幅が大きくなり、飽和光電流ＩｐｈＳａｔ付近では、信号が強まるに連れて、発生する信号の振幅は小さくなる。
【００３４】
このように、前述の関数の一次導関数は、光電流Ｉｐｈの変化の結果として、蓄積電圧Ｖｃの変化をもたらし、感度関数Ｓ（Ｉｐｈ）として定義することができる。ここで、
【００３５】
【数９】
2004507910.tif 000011
【００３６】
となる。
用途によっては、遮断光電流ＩｐｈＣＯまたはこの付近において感度が高いことが望ましい場合もある。その利点は、飽和光電流ＩｐｈＳａｔに近づく程感度が低下するが、見返りとして、光強度振幅の増大が見込まれることである。
【００３７】
尚、式（１７）および（１８）で論証したように、感度自体は圧縮関数に依存するが、最大捕獲場面ダイナミック・レンジＤＲＬはそうではないことに留意されたい。
【００３８】
単調増加凸関数の別の特徴は、蓄積電圧Ｖｃ関数値と光電流Ｉｐｈ関数との間に１対１の対応があることである。単調増加凸関数は、カットオフおよび飽和光電流ＩｐｈＣＯおよびＩｐｈＳａｔ間の範囲においてのみ逆となる。これが意味するのは、次の式に対して関数ｆ−１が存在するということである。
【００３９】
【数１０】
2004507910.tif 000012
この特徴によって、測定可能電圧Ｖｃ（図１）に基づいて光電流Ｉｐｈの計算が可能となることに注目するのは重要である。この内転（ｉｎ−ｔｕｒｎ）によって、画素毎に露出時間ｔＥを判定することが可能になる。これについて以下に説明する。
【００４０】
ダイナミック・レンジ圧縮関数は、要求性能または観察者の好みを満たすように選択することができる。本発明の範囲には、別の適用可能な単調増加凸型の関数も含まれ、分析的形式または表形式のいずれかで提示することができる。従来技術は対数関数の使用を強調しているが、単調増加凸関数のような代替関数が適用可能であると断言する。
【００４１】
人間の目の網膜の応答が従うような対数関数は、周知であり、広く用いられている。対数関数は、ダイナミック・レンジ全域に及び、次の式で証明することができる。
【００４２】
【数１１】
2004507910.tif 000013
【００４３】
および
【００４４】
【数１２】
2004507910.tif 000014
【００４５】
このように、対数ダイナミック・レンジ圧縮関数では、感度Ｓが光電流Ｉｐｈに反比例する、即ち、光強度に反比例する。
ダイナミック・レンジを整形し、要求圧縮関数を満たすようにする方法についてこれより説明する。本発明は、画素毎に露出時間ｔＥを設定し、一方では選択したダイナミック・レンジ圧縮関数に従い、他方では捕獲場面に従う、高ダイナミック・レンジを達成する方法および装置について記載する。
【００４６】
露出時間の設定は、２つの部分、即ち、図４Ａ／４Ｂおよび図５にそれぞれ示す、初期設定および微調整に分割することができる。
ここで図４Ａ／４Ｂを参照し、初期設定プロセス４０のブロック図を示す。プロセス４０は３つのフェーズ、即ち、電荷集積フェーズ（ステップ４２ないし５６）、常時オフ画素識別フェーズ（ステップ５８ないし８０）、および常時オン画素識別フェーズ（ステップ８２ないし１０２）から成る。
【００４７】
電荷集積フェーズ：プロセス４０は（ステップ４２にて）開始すると、位置（ｉ＝０， ｊ＝０）における画素を選択する（ステップ４４）。（ｉ＝０， ｊ＝０）における画素の時間露出ｔＥをｔＥＭＩＮに設定する（ステップ４６）。ステップ４８ないし５４において、プロセス４０はＶ軸およびＨ軸に沿って画素から画素に進み、各画素の時間露出ｔＥをｔＥＭＩＮに設定する。ステップ４６ないし５４のループが完了するのは、位置（ｉ＝Ｈ−１， ｊ＝Ｖ−１）における最後の画素の時間露出ｔＥをｔＥＭＩＮに設定したとき（それぞれ、ステップ４８および５４）である。ステップ５６において、画像を捕獲し、全ての画素の電荷集積が行われる。
【００４８】
尚、同様に、プロセス４０は、開始時に、ｔＥｍｉｎではなくｔＥｍａｘに全ての画素を初期化することも可能であることを注記しておく。
「常時オフ画素」（常時飽和）の識別。このフェーズが開始すると、位置（ｉ＝０， ｊ＝０）における画素を選択する（ステップ５８）。ステップ６０において、画素の電圧Ｖｃを読み取る。蓄積電圧Ｖｃ（露出時間ｔＥｍｉｎの間）が飽和値ＶｃＳａｔよりも大きい場合（ステップ６２）、その露出設定を不変のままｔＥｍｉｎにしておく。
【００４９】
尚、集積コンデンサ上の電圧Ｖｃ （ｉ，ｊ）は直接測定可能であると想定していることを注記しておく。あるいは、この想定がない場合でも、出力電圧ＶＯｕｔ（ｉ，ｊ）−ビデオ出力信号はＶｃ （ｉ，ｊ）を表すことができる。また、ＶｃＣＯおよびＶｃＳａｔに対応するＶＯｕｔ値もある。
【００５０】
電圧Ｖｃ （ｉ，ｊ）が線形範囲にある画素では、例えば、ＶｃＣＯ≦Ｖｃ （ｉ，ｊ）≦ＶｃＳａｔの場合（ステップ６４）、光電流Ｉｐｈを計算し（ステップ６６）、露出時間ｔＥを調節して（ステップ６８）ダイナミック・レンジ圧縮関数ｆ（Ｉｐｈ）と一致するようにする。カットオフ未満であった画素（ステップ６４）には、最大露出時間ｔＥｍａｘを割り当てる（ステップ７０）。
【００５１】
ステップ７２ないし７８では、プロセス４０はＶ軸およびＨ軸双方に沿って画素から画素へ進み、位置（ｉ＝Ｈ−１， ｊ＝Ｖ−１）における最後の画素に露出時間を割り当てるまで（それぞれ、ステップ７２および７８）、適宜ステップ６０ないし７０を繰り返す。ステップ８０において、画像を捕獲し、全ての画素の電荷集積が行われる。
【００５２】
「常時オン」画素の識別。このフェーズが開始すると、位置（ｉ＝０， ｊ＝０）における画素を選択する（ステップ８２）。ステップ７０において、前回のサイクルにおいて切断であった画素、例えば、露出時間がｔＥｍａｘに設定された画素だけをチェックする。別の実施形態では、全ての画素を再チェックしてもよい。
【００５３】
ステップ８４において、画素の電圧Ｖｃを読み取る。測定したＶｃ （ｉ，ｊ）がカットオフ未満である場合（Ｖｃ （ｉ，ｊ）＜ＶｃＣＯ）（ステップ８８）、露出時間を最大、即ち、ｔＥｍａｘのままにしておく。測定値が線形範囲内にある場合（ステップ８８）、光電流Ｉｐｈを計算し（ステップ９０）、電圧Ｖｃ （ｉ，ｊ）を調節して（ステップ９２）ダイナミック・レンジ圧縮関数ｆ（Ｉｐｈ）と一致するようにする。
【００５４】
ステップ９４ないし１００において、プロセス４０はＶ軸およびＨ軸双方に沿って画素から画素に進み、位置（ｉ＝Ｈ−１， ｊ＝Ｖ−１）における最後の画素に露出時間を割り当てるまで（それぞれ、ステップ９４および１００）、適宜ステップ８４ないし９２を繰り返す。プロセス４０はステップ１０２にて終了する。
【００５５】
ここで図５を参照し、微調整プロセス１１０のブロック図を示す。プロセス１１０の間、線形動作範囲に該当する画素に対して補正を行う。この補正は、全ての画素に対して巡回的に行い、ダイナミック・レンジ圧縮関数との一致度（ｍａｔｃｈ−ｕｐ）を高めるようにする。この補正は、所望の集束を達成したとき、または別の判断基準または検討事項に基づいて中断することも可能である。
【００５６】
理論上、画像センサは線形に動作し、集積コンデンサの電圧は、カットオフおよび飽和光電流ＩｐｈＣＯおよびＩｐｈＳａｔ間の一定光電流Ｉｐｈに対して、時間と共に線形に増加する。この場合、初期設定プロセス４０の間に得られた光電流Ｉｐｈはほぼ正確と言ってもよい。また、所望のダイナミック・レンジ圧縮関数に一致するように導出する露出時間ｔＥは、一般に正確である。
【００５７】
実際には、この線形の仮定は、１次近似に対してはほぼ正しいと言える。また、集積コンデンサ値Ｃ１は、電圧Ｖｃおよび画素の位置によって多少変動する場合もある。
【００５８】
図５に記載する方法は、低精度を考慮し、露出時間ｔＥを微調整して非線形性およびスキューを補償するように構成されている。この方法は、ダイナミック・レンジ圧縮関数の電圧Ｖｃによる正確な追跡に基づく。
【００５９】
この方法は、測定した集積コンデンサの電圧Ｖｃとダイナミック・レンジ圧縮関数値との間の差異が所望の精度に達するまで、露出時間ｔＥを補正する。
尚、ｆ（Ｉｐｈ）関数値が測定電圧Ｖｃ （ｉ，ｊ）に等しくなったとき、現露出時間ｔＥ （ｉ，ｊ）および新たな計算露出時間ｔＥｎｅｗは同一となることを注記しておく。また、この方法は、露出時間ｔＥ （ｉ，ｊ）の調整プロセスの間、蓄積電圧Ｖｃ （ｉ，ｊ）が「線形」範囲を超過することも考慮に入れ、それに応じて露出時間ｔＥを補正する。
【００６０】
プロセス１１０が開始する際（ステップ１１２）、各画素の露出時間はプロセス４０において説明したように初期設定されていることを想定している。次に、画像の捕獲、例えば、電荷集積が行われる（ステップ１１４）。ステップ１１６において、プロセスは位置（ｉ＝０， ｊ＝０）における画素から開始して、電圧 Ｖｃを読み取る（ステップ１１８）。Ｖｃ （ｉ，ｊ）が線形範囲に該当する場合（ステップ１２０）、露出時間ｔＥの補正を行う（ステップ１２２ないし１２４）。まず、測定値Ｖｃ （ｉ，ｊ）および集積コンデンサの容量Ｃ１に基づいて光電流Ｉｐｈを計算する（ステップ１２２）。次に、新たな露出時間ｔＥｎｅｗを計算し、測定した集積コンデンサの電圧Ｖｃに対する調節を行う（ステップ１２４）。
【００６１】
新たな露出時間ｔＥｎｅｗをチェックし、これが露出時間範囲［ｔＥｍｉｎ， ｔＥｍａｘ］以内に入るか否か確かめる（ステップ１２６）。新たに計算した露出時間が最小値未満である場合（ステップ１２８）、これをｔＥｍｉｎに設定する（ステップ１３０）。最大値を超過する場合、これをｔＥｍａｘに設定する（ステップ１３１）。露出時間ｔＥｎｅｗが露出時間範囲［ｔＥｍｉｎ， ｔＥｍａｘ］以内にあり、露出時間ｔＥｎｅｗおよび現在値ｔＥ間の差が∈ｔＥよりも大きい場合（ステップ１３４）、現露出時間ｔＥ値に代わって、新たに計算した値ｔＥｎｅｗを用いる。∈ｔＥは経験的に設定したプログラム可能な値である。
【００６２】
アレイ全体を走査した後（ステップ１３８ないし１４２は画素を進める際に用いられ、ステップ１１８ないし１３８を全ての画素について繰り返す）、微調整プロセスを継続するか中止するか（ステップ１４４）判断を下す（ステップ１４２）。この判断は、所望の集束判断基準への到達、平均、または最悪の場合に基づいて行うことができる。また、この判断は、観察者の主観的印象に基づいてもよい。
【００６３】
露出時間微調整方法１１０は、多くの潜在的な変種を代表する１つであり、その全ては本発明の原理に含まれることとする。本発明の代替または変更方法を以下に示す。
【００６４】
画素単位パラメータ表：容量ｃ１、飽和電圧ＶｃＳａｔ、カットオフ電圧ＶｃＣＯ、および画素位置と共に変動する可能性があるその他のパラメータは、画素毎に判定し、画像センサの画素関連メモリ表（図示せず）に格納しておくことができる。ここで前述した方法および同様の方法も、これに応じて変更することができる。
【００６５】
光電流Ｉｐｈおよび露出時間ｔＥを計算する際に、グローバル定数ではなく、ローカル・パラメータを用いてもよい。即ち、容量Ｃ１、飽和電圧ＶｃＳａｔ、カットオフ電圧ＶｃＣＯの代わりに、Ｃ１ （ｉ，ｊ）、ＶｃＳａｔ （ｉ，ｊ）、およびＶｃＣＯ （ｉ，ｊ）をそれぞれ用いてもよい。その結果、集束が速くなる可能性がある。
【００６６】
ノイズの考慮：ノイズのために、露出時間ｔＥが変動する場合がある。ノイズに依存する変動を低減するために、新たな露出時間ｔＥｎｅｗの評価を次のように変更することができる。
【００６７】
【数１３】
2004507910.tif 000015
【００６８】
ここで、Ｎ（ｉ，ｊ）は、集積コンデンサの電圧Ｖｃが線形範囲にある（ｉ，ｊ）位置における画素毎の画像取得繰り返し回数である。
集束判断基準：標準偏差に基づく集束判断基準を用いることができる。
【００６９】
【数１４】
2004507910.tif 000016
【００７０】
ここで、σｔＥ （ｉ，ｊ）は、Ｎ−１回目の繰り返し後のｔＥ （ｉ，ｊ）における標準偏差であり、σｔＥｎｅｗ （ｉ，ｊ）は現在の繰り返し後に計算した新たな標準偏差である。任意のｉまたはｊに対する最悪の場合のσｔＥ （ｉ，ｊ）が、あるσｔＥ値未満である場合、即ち、
【００７１】
【数１５】
2004507910.tif 000017
これ以上の露出時間の繰り返しを停止することができる。
【００７２】
あるいは、あるσｔＥ値未満未満の平均露出時間偏差を、微調整終了判断基準として用いることができる。即ち、
【００７３】
【数１６】
2004507910.tif 000018
【００７４】
２つの集束判断基準を組み合わせてもよい。また、得られた結果に満足するときに関して、集束判断基準を観察者の主観的判断と組み合わせてもよい。
これより図６を参照し、図４および図５に示した検討事項および方法に基づく、画素電子シャッタ制御システム２００および関連する画像センサのブロック図を示す。システム２００は、各ピクセルを個々に制御するのを容易にする。
【００７５】
システム２００は、画像センサ２０２、アナログ−ディジタル（Ａ／Ｄ）変換器２０４、露出制御部２０６、露出メモリ・アレイ２０８、および任意の画素パラメータ・メモリ・アレイ２０９を備えることができる。
【００７６】
Ａ／Ｄ変換器２０４は、アナログ入力を備え、これを画像センサ２０２のビデオ出力に接続してアナログ・ビデオＶｏｕｔを受けることができる。変換器２０４は、ビデオ画素出力レートと同期してビデオ出力Ｖｏｕｔをサンプリングし、アナログ・ビデオＶｏｕｔをディジタル・ビデオＤＶｏｕｔに変換する。ディジタル・ビデオＤＶｏｕｔは、ｎビットのＤＶＯｕｔ上で変換器２０４から出力することができる。ここで、ｎは、ディジタル状で格納した露出時間ｔＥ （ｉ，ｊ）値のビット数であるｑ以上とするとよい。
【００７７】
露出制御部２０６は、変換器２０４からディジタル・ビデオＤＶＯｕｔを受け取り、新たな１組の露出時間値ｔＥ （ｉ，ｊ）を計算する。露出制御プログラム２１４は、内部または外部のプログラム・メモリ２１０に格納することができる。
【００７８】
制御部２０６は、ディジタル・ビデオＤＶｏｕｔに基づいて、光電流Ｉｐｈを計算することができる。ディジタル・ビデオＤＶｏｕｔは電圧Ｖｃに対応し、一方電圧Ｖｃはコンデンサに溜まった集積電荷Ｑａに対応する。
【００７９】
また、制御部２０６は、初期および微調整露出時間値ｔＥ （ｉ，ｊ）を計算し、各画素毎に個別に選択したダイナミック・レンジ圧縮関数ｆ（Ｉｐｈ）に一致させることもできる。これらの計算は、プロセス４０および１１０に基づいて行うことができる。あるいは、ダイナミック・レンジ圧縮関数ｆ（Ｉｐｈ）は、パラメータ表２１２のような、ダイナミック・レンジ圧縮関数メニューから選択することも可能である。
【００８０】
次に、制御部２０６は、計算したｑビット幅のｔＥ （ｉ，ｊ）値を露出時間メモリ２０８に格納する。この格納は、画素ビデオ・レートで行うことができる。
次に、メモリ２０８は新たな露出時間ｔＥを画像センサ２０２にロードする。制御部２０６がこのロードを制御することもできる。
【００８１】
ロードを行うのは、次に用いる露出時間値を計算し、それらを露出メモリ２０８に格納し終えた後とするとよい。あるいは、ｔＥ （ｉ，ｊ）の計算、それらのメモリ２０８への格納、およびそれらの画像センサ２０２へのロードを同時に行ってもよい。これは、特に、ビデオ・フレーム・レートに追従しなければならないリアル・タイム画像センサには有用である。
【００８２】
制御部２０６は、画像捕獲および後続の露出時間計算の繰り返しを継続するかまたは停止するかについて判断する。
メモリ２０８は、ＨＸＶメモリ・アレイとし、ｑビットのｔＥ （ｉ，ｊ）値を格納することができる。
【００８３】
アレイにアドレスするには、列、行−、および−ｉ、ｊインデックスを用いるとよい。電荷蓄積プロセスの間、画像センサ・アレイ全体に対して１回のバッチで、次に長さＴ１の積分が行われるｋ番目の露出時間ビットをロードすることによって、画像センサをプログラムする。尚、積分時間はいかなる長さでも可能であることを注記しておく。
【００８４】
ｋ番目のビットに対する積分と同時に、ｉ番目のビットの積分のために画像センサをプログラムする。ｋ番目のビットに対応する積分が完了した後、ｉ番目のビットに対する積分を開始することができる。尚、ｑビット面全てのプログラミング／積分はいずれの順序でも行うことができ、面ビット（ｐｌａｎｅ ｂｉｔ）は１ラインずつ一度にｐビットだけロードするとよいことを注記しておく。
【００８５】
尚、前述の機能の各々を画像センサと同じダイ上に集積することができ、あるいは別個のチップの一部とすることもできることを注記しておく。
画素単位露出時間プロセッサは、画像センサの外部にチップ・セットの形態で実現することができ、あるいは部分的または全体的に画素と同じ基板上に集積することもできる。
【００８６】
新たな露出値ｔＥｎｅｗ （ｉ，ｊ）の計算アルゴリズムは、式（２９）に定式化した画素単位パラメータ表に基づくことができる。尚、Ｎ（ｉ，ｊ）値を格納するためには追加のメモリが必要となる場合もあることを注記しておく。
【００８７】
式（３０）において定式化した露出時間の標準偏差σｔＥ （ｉ，ｊ）の計算アルゴリズムでも、Ｎ（ｉ，ｊ）の格納にアレイが必要となる。
画素毎に電子シャッタの制御を行う画像センサは、各画素の露出時間を個々に制御することができ、したがって、ダイナミック・レンジの圧縮を実現できるだけでなく、多くのその他の有用な効果も得ることができる。したがって、ここに記載した装置を用いれば、画像センサは、分析的形式または表形式で与えられた種々の関数を選択し、それを用いて種々の効果を得ることができる。
【００８８】
尚、本発明は、先に特定的に示し説明したことに限定される訳ではないことは、当業者には認められよう。むしろ、本発明の範囲は、特許請求の範囲によって規定されることとする。
（補足資料）
蓄積電圧Ｖｃ （ｉ，ｊ）は、低い方のカットオフ電圧ＶｃＣＯおよび高い方の飽和電圧ＶｃＳａｔ間の領域において、式（２）に従う。
【００８９】
カットオフ電圧ＶｃＣＯは、通例では、ノイズから分離することができる最も低い電圧であり、絶対的潜在値で表す。カットオフ値未満では、信号は小さすぎて意味のある情報を表現することができず、カットオフ領域にあると見なされる。飽和電圧ＶｃＳａｔは、信号クリッピングを生じずに得られる内で最も高い電圧であり、絶対的潜在値で表す。
【００９０】
現在の分析では、飽和電圧ＶｃＳａｔおよびカットオフ電圧ＶｃＣＯは、個々のセンサ各々のダイ、位置、およびプロセス依存スキューによっては、多少変動することもあるが、ＶｃＳａｔおよびＶｃＣＯの値は一定であると想定する。
【００９１】
式（２）に基づき、特定の露出時間ｔＥに対して飽和およびカットオフを生ずる飽和光電流ＩｐｈＳａｔ （ｉ，ｊ）およびカットオフ光電流ＩｐｈＣＯ （ｉ，ｊ）は、それぞれ、次のようになる。
【００９２】
【数１７】
2004507910.tif 000019
【００９３】
【数１８】
2004507910.tif 000020
【００９４】
飽和光電流ＩｐｈＳａｔ （ｉ，ｊ）およびカットオフ光電流ＩｐｈＣＯ （ｉ，ｊ）の値は、特定の露出時間ｔＥに対して、画像センサの動作領域を規定する光電流Ｉｐｈの境界を規定し、更に検知回路の電子的限界も規定する。尚、各画像センサの境界値は異なることもあり、光学部品の品質、量子効率の度合い、センサを製造するために用いたプロセスの選択、および回路設計の相違のような変数（ｖａｒｉａｂｌｅ）のために生じることを注記しておく。
【００９５】
飽和光電流ＩｐｈＳａｔ （ｉ，ｊ）およびカットオフ光電流ＩｐｈＣＯ （ｉ，ｊ）間の比率は、電気信号のダイナミック・レンジＤＲＳとして、式５で定義される。
【００９６】
【数１９】
2004507910.tif 000021
【００９７】
典型的な画像センサの電気信号ダイナミック・レンジＤＲＳは、１０００：１程度である。ダイナミック・レンジＤＲＳを、次のように、デシベル単位で記述することもある。
【００９８】
【数２０】
2004507910.tif 000022
【００９９】
典型的な画像センサでは、そしてデシベル単位では、電気信号のダイナミック・レンジＤＲＳは約６０ｄＢである。
尚、電気信号のダイナミック・レンジＤＲＳは、捕獲画像のダイナミック・レンジＤＲＬではないが、これら２つの値はある共通タイプの画像センサでは同一となる場合もあることを注記しておく。捕獲画像のダイナミック・レンジＤＲＬは次のように定義される。
【０１００】
【数２１】
2004507910.tif 000023
【０１０１】
ここで、ＤＲＬは、０≦ｉ≦Ｖ−１および０≦ｊ≦Ｈ−１の範囲における任意の（ｉ，ｊ）に対する、最大飽和光電流ＩｐｈＳａｔ （ｉ，ｊ）および最小カットオフ光電流ＩｐｈＣＯ （ｉ，ｊ）間の光強度ダイナミック・レンジ、または比率である。
【０１０２】
従来技術の画像センサでは、全画素を同じ露出時間ｔＥだけ露出する。露出時間ｔＥは、ｔＥｍｉｎからｔＥｍａｘの範囲で変更することができる。ここで、
ｔＥｍｉｎは、画像センサの最短露出時間、
ｔＥｍａｘは、画像センサの最長露出時間である。
【０１０３】
尚、従来技術の画像センサでは、露出時間ｔＥを変更することはできるが、全ての画素で一緒に変更され、その電荷集積は同一であることを注記しておく。
分析の目的のため、注目［？？］場面のダイナミック・レンジが非常に広く（無限）、画像センサの能力によってのみ制限されると想定する。従来技術の画像センサでは、露出時間をｔＥｍｉｎに設定すると、対応する飽和およびカットオフ光電流ＩｐｈＳａｔおよびＩｐｈＣＯは次のようになる。
【０１０４】
【数２２】
2004507910.tif 000024
【０１０５】
【数２３】
2004507910.tif 000025
【０１０６】
この特定的な状況では、（８）および（９）から得られる捕獲画像のダイナミック・レンジＤＲは次のようになる。
【０１０７】
【数２４】
2004507910.tif 000026
【０１０８】
同様に、最大露出に対して、ダイナミック・レンジが
【０１０９】
【数２５】
2004507910.tif 000027
【０１１０】
であることを導出でき、最大および最小の間に設定したいずれの露出時間ｔＥに対しても、従来技術の画像センサでは、捕獲画像のダイナミック・レンジＤＲが
【０１１１】
【数２６】
2004507910.tif 000028
【０１１２】
となり、グローバルに設定した露出時間ｔＥでは、捕獲画像のダイナミック・レンジＤＲＬは電気信号のダイナミック・レンジＤＲＳに等しく、露出時間に係わらず不変である。
【０１１３】
ここで図２を参照し、式１２をグラフで示す。図１２は、光電流Ｉｐｈと、３つの異なる電圧Ｖｃに対する露出時間ｔＥとの関数としての蓄積電圧Ｖｃを示す。線表示２０は、露出時間がｔＥ＝ｔＥＭＩＮのときの蓄積電圧Ｖｃを示す。線表示２２は、露出時間がｔＥＭＩＮ＜ｔＥ＜ｔＥＭＡＸのときの蓄積電圧Ｖｃを示す。線表示２４は、蓄積電圧がｔＥ＝ｔＥＭＡＸのときの蓄積電圧Ｖｃを示す。
【０１１４】
基本的には、蓄積電圧Ｖｃの関数は、露出時間ｔＥの関数として変化するが、関数の傾きは不変であり、したがって、捕獲場面のダイナミック・レンジも不変であることがわかる。
【０１１５】
画像センサの画素単位電子シャッタでは、各画素の露出時間ｔＥをｔＥｍｉｎからｔＥｍａｘまでの露出時間の範囲以内で個々に設定することができ、光電流Ｉ ｐｈ１ （ｉ，ｊ）＞Ｉ ｐｈ２ （ｉ，ｊ）のとき、露出時間ｔＥ２（ｉ，ｊ）＜ｔＥ１（ｉ，ｊ）、および蓄積電圧Ｖｃ２＞Ｖｃ１となるようにする。
【０１１６】
これらの想定に基づいて、画像センサの最大飽和光電流ＩＳａｔｐｈは、
【０１１７】
【数２７】
2004507910.tif 000029
【０１１８】
となり、最小カットオフ光電流ＩＣＯｐｈは、
【０１１９】
【数２８】
2004507910.tif 000030
【０１２０】
となる。
したがって、画素単位の電子シャッタを有する画像センサでは、捕獲場面のダイナミック・レンジＤＲＬは、シャッタを（１３）および（１４）にしたがって設定した場合、次のようになる。
【０１２１】
【数２９】
2004507910.tif 000031
【０１２２】
または
【０１２３】
【数３０】
2004507910.tif 000032
【０１２４】
または
【０１２５】
【数３１】
2004507910.tif 000033
【０１２６】
ここで、
【０１２７】
【数３２】
2004507910.tif 000034
【０１２８】
したがって、画素毎に個別に電子シャットを制御する画像センサでは、シャッタ即ち露出時間のダイナミック・レンジＤＲＴは、露出時間ｔＥの最大対最小の比となる。電子シャッタの値は、露出時間の範囲内で設定することができる。
【０１２９】
最大露出時間ダイナミック・レンジＤＲＴは、このタイプの画像センサにとっては品質指標となる。電気信号のダイナミック・レンジＤＲＳと共に、これは捕獲場面のダイナミック・レンジＤＲＬを決定する。
【０１３０】
リアル・タイム・ビデオをサポートする画像センサでは、ＤＲＴを１，０００：１にすることが可能である。このタイプの静止ビデオ画像センサでは、ＤＲＴは理論上無制限である。何故なら、露出時間のプログラム全体に何等制約がないからである。しかしながら、ＤＲＴには実際に使用できる限度がある。
【０１３１】
ＤＲＴには＞ＤＲＳであり、得られる電気信号を最大限活用すると想定すると、ｔＥｍｉｎに対してＶｃ＝ＶｃＣＯとなり、ｔＥｍａｘに対してＶｃ＝ＶｃＳａｔとなる。この設定によって、線形領域全域を完全に利用することが可能となる。つまり、ＤＲＴ＝ＤＲＳとなる。ｔＥ≦ｔＥｍｉｎ、そしてｔＥ∃ｔＥｍａｘ、Ｖｃ≦ＶｃＳａｔの場合、Ｖｃの範囲は、Ｖｃ∃ＶｃＣＯおよびＶｃ≦ＶｃＳａｔとなるように設定しなければならない。そうでないと、出力信号は飽和および／またはカットオフ領域にそれぞれ侵入する。したがって、
【０１３２】
【数３３】
2004507910.tif 000035
【０１３３】
したがって、
【０１３４】
【数３４】
2004507910.tif 000036
【０１３５】
となる。
（１９）および（２０）の結果として、画素毎に電子シャッタを制御する画像センサでは、捕獲場面のダイナミック・レンジＤＲＬは、従来技術の画像センサのダイナミック・レンジよりも、せいぜい電気信号のダイナミック・レンジＤＲＳ倍広くすることができるにすぎない。例えば、電気信号のダイナミック・レンジＤＲＳが１，０００：１であり、露出時間の設定が同じである場合、捕獲場面のダイナミック・レンジＤＲＬは１，０００，０００：１、即ち、約１２０ｄｂにはなり得る。つまり、電気信号のダイナミック・レンジを改善する余地が未だ残っているのである。何故なら、これは、画素毎に制御可能な電子シャッタを有する画像センサでは、直接結果に影響を及ぼすからである。
【０１３６】
ダイナミック・レンジは、デシベル単位では次のように表すことができる。
【０１３７】
【数３５】
2004507910.tif 000037
【０１３８】
画素毎に露出時間を制御する画像センサでは、次の式が成り立つ。
【０１３９】
【数３６】
2004507910.tif 000038
【図面の簡単な説明】
【図１】
図１は、従来技術の視覚センサのｉ番目の行およびｊ番目の列に位置する電荷集積画素を示す。
【図２】
図２は、Ｉｐｈおよび露出時間ＴＥの関数として電圧Ｖｃを示すグラフ（従来技術）である。
【図３】
図３は、ダイナミック・レンジ圧縮関数Ｖｃ＝ｆ（Ｉｐｈ）を示す。
【図４Ａ】
図４Ａは、初期設定アルゴリズムの一実施形態を詳細に示す。
【図４Ｂ】
図４Ｂは、初期設定アルゴリズムの一実施形態を詳細に示す。
【図５】
図５は、図４のアルゴリズムと共に用いる、微調整アルゴリズムの一実施形態を詳細に示す。
【図６】
図６は、画像の個別制御を容易に行う画像センサ上に構成し動作するものとして本発明を示すブロック図である。
【図１】
2004507910.tif 000039
【図２】
2004507910.tif 000040
【図４Ａ】
2004507910.tif 000041
【図４Ｂ】
2004507910.tif 000042
【図５】
2004507910.tif 000043
【図６】
2004507910.tif 000044
【国際公開パンフレット】
2004507910.tif 000045
2004507910.tif 000046
2004507910.tif 000047
2004507910.tif 000048
2004507910.tif 000049
2004507910.tif 000050
2004507910.tif 000051
2004507910.tif 000052
2004507910.tif 000053
2004507910.tif 000054
2004507910.tif 000055
2004507910.tif 000056
2004507910.tif 000057
2004507910.tif 000058
2004507910.tif 000059
2004507910.tif 000060
2004507910.tif 000061
2004507910.tif 000062
2004507910.tif 000063
2004507910.tif 000064
2004507910.tif 000065
2004507910.tif 000066
2004507910.tif 000067
2004507910.tif 000068
2004507910.tif 000069
2004507910.tif 000070
2004507910.tif 000071
2004507910.tif 000072
2004507910.tif 000073
2004507910.tif 000074
2004507910.tif 000075
【国際公開パンフレット（コレクトバージョン）】
2004507910.tif 000076
2004507910.tif 000077
【国際調査報告】
2004507910.tif 000078
2004507910.tif 000079
2004507910.tif 000080