(57)【特許請求の範囲】
【請求項１】
ピクセルに照射される照度に応じて、ピクセル毎に露光時間を可変設定できるピクセル回路と、
選択されたピクセルから出力される第１のピクセル値に前記第１のピクセル値に応じた所定の利得を乗じて第２のピクセル値を算出する読み出し回路と
を具備する画像情報処理装置であって、
露光時間Ｔ及び利得Ｇは、ピクセルに照射される照度Ｅと、それを基に成立する露光時間Ｔ及び利得Ｇとの各関係式のパラメータｍ、ｎが下式を同時に満足することにより定まることを特徴とする画像情報処理装置
露光時間Ｔを、
Ｔ＝Ｔ０×２ｎ（ｎ＝０，１，２，…）
利得Ｇを、
Ｇ＝２ｍ（ｍ＝０，１，２，…）
と、変化させるときに、照度Ｅを、
Ｅ＝Ｖ×２−（ｎ＋ｍ）
ここで、Ｔ０は最小露光時間、Ｖは前記第２のピクセル値。
【請求項２】
請求項１に記載の画像情報処理装置において、
前記第１のピクセル値に応じてランプ波形信号の傾きを変えることにより前記第１のピクセル値をＰＷＭ信号に変換し、前記利得を得ることを特徴とする画像情報処理装置。
【請求項３】
請求項２に記載の画像情報処理装置において、
予め傾きの異なる複数のランプ波形信号を用意し、前記第１のピクセル値に応じていずれかのランプ波形信号を選択することを特徴とする画像情報処理装置。
【請求項４】
請求項１に記載の画像情報処理装置において、
ピクセル毎の、前記露光時間、前記利得及び前記第２のピクセル値を記憶するメモリ回路を設けたことを特徴とする画像情報処理装置。
【請求項５】
請求項１に記載の画像情報処理装置において、
ピクセル毎の、前記露光時間を記憶するメモリ回路を設けたことを特徴とする画像情報処理装置。
【請求項６】
請求項１に記載の画像情報処理装置において、
選択されたピクセルからの出力値から、リセット雑音を除去する雑音除去回路を介して前記第１のピクセル値を得ることを特徴とする画像情報処理装置。
【請求項７】
請求項６に記載の画像情報処理装置において、
前記雑音除去回路が、ＣＤＳ回路であることを特徴とする画像情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像情報処理装置に係り、特にイメージセンサ部のダイナミックレンジを拡大することのできる画像情報処理装置に関する。
【０００２】
【従来の技術】
一般に画像情報処理装置では撮像部にイメージセンサが用いられており、このようなイメージセンサは通常ＣＭＯＳ回路技術により作成されている。
現在、画像情報処理装置にはＣＭＯＳイメージセンサを用いるのが主流となっているが、これらのイメージセンサでは全ピクセルに対して同一の露光時間で画像を撮像するため、ダイナミックレンジが約６０〜７０ｄＢと小さい。これは読み出し回路の雑音や、消費電力削減のために電源電圧を下げることによる信号の飽和レベルの低下によって、イメージセンサ中の光検出器自体のダイナミックレンジを生かしきれていないためである。
そのため、逆光中での被写体や、室内から見た窓辺など光量差の大きい被写体を撮像すると、ピクセル回路のダイナミックレンジの限界からハイライト入射部が飽和してしまい、画像領域全体の被写体を十分な階調で撮像することができないという問題がある。
【０００３】
ヤング(Yang)らはこのような問題を解決するために、露光時間を各ピクセル毎に照度に応じて変化させ、イメージセンサに入射した光の照度を浮動小数点表示する方法を下記の文献に開示している。
D. Yang, A. E1 Gamal, B Fowler, H Tian, "A 640×512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC", IEEE J. Solid-State Circuits, vol. 34, pp.1821-1834, Dec 1999.
このヤングらの方法の特徴は、ピクセルに照射される照度に応じてピクセル毎に露光時間を可変設定することのできるピクセル回路を備えた点である。
【０００４】
即ち、照度が小さい場合には露光時間を長くし、照度が大きい場合には露光時間を短くするようにピクセル毎に露光時間を可変設定する。
ここで、指数部を露光時間（Ｔ）、仮数部をピクセルの出力電圧（Ｖ）とし、露光時間（Ｔ）及び照度（Ｅ）を式（１）のように表わす。
Ｔ＝Ｔ０×２ｎ
Ｅ＝Ｖ×２-ｎ            （１）
ここで、Ｅは照度、Ｖは時刻Ｔでの出力電圧、Ｔは露光時間をそれぞれ表わす。
すなわち式（１）においては、出力電圧Ｖを、その出力をしたピクセルの露光時間Ｔを用いて浮動小数点表現することにより表現できる照度の値の範囲を広げている。したがって、ダイナミックレンジを拡大することができる。
【０００５】
【発明が解決しようとする課題】
このようにヤングらの方法では、露光時間を照度に応じて変えることによりダイナミックレンジを拡大している。
しかしピクセル毎に露光時間のみを可変設定する方法では、暗い部分を撮像するためには露光時間を長くする必要がある。この場合、移動する物体等のように比較的短い露光時間で撮像する必要がある場合、対象物をはっきりと撮像することが困難になるという問題がある。
本発明は上述した課題を解決するためになされたもので、撮像領域内に含まれる被写体の明暗の差が大きい場合において、比較的短い露光時間で撮像しても被写体を十分な階調で撮像可能とする画像情報処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像情報処理装置は、ピクセルに照射される照度に応じて、ピクセル毎に露光時間を可変設定できるピクセル回路と、選択されたピクセルから出力される第１のピクセル値に前記第１のピクセル値に応じた所定の利得を乗じて第２のピクセル値を算出する読み出し回路とを具備することを特徴とする。
また、本発明は、画像情報処理装置において、ピクセルに照射される照度Ｅを下式により算出することを特徴とする。
露光時間Ｔを、
Ｔ＝Ｔ０×２ｎ（ｎ＝０，１，２，…）
利得Ｇを、
Ｇ＝２ｍ（ｍ＝０，１，２，…）
と、変化させるときに、照度Ｅを、
Ｅ＝Ｖ×２−（ｎ＋ｍ）
ここで、Ｔ０は最小露光時間、Ｖは前記第２のピクセル値。
【０００７】
さらに、本発明の画像情報処理装置において、前記第１のピクセル値に応じてランプ波形信号の傾きを変えることにより前記第１のピクセル値をＰＷＭ信号に変換し、前記利得を得ることを特徴とする。
本発明の画像情報処理装置において、予め傾きの異なる複数のランプ波形信号を用意し、前記第１のピクセル値に応じていずれかランプ波形信号を選択することを特徴とする。
また、本発明の画像情報処理装置において、ピクセル毎の、前記露光時間、前記利得及び前記第２のピクセル値又は前記露光時間のみを記憶するメモリ回路を設けたことを特徴とする。
また、本発明の画像情報処理装置において、選択されたピクセルからの出力値から、リセット雑音を除去する雑音除去回路を介して前記第１のピクセル値を得ることを特徴とする。
さらに、本発明の画像情報処理装置において、前記雑音除去回路が、ＣＤＳ回路であることを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
本発明の特徴は、従来のイメージセンサが全ピクセルに対して同一の露光時間で照度を設定しているのに対して、ピクセルに照射される照度に応じてピクセル毎に露光時間を可変設定し、さらに各ピクセル値の読み出しに際してはピクセル値に合わせて読み出し回路の利得（ゲイン）を変化させて読み出すようにした点にある。
ここで、ゲインをｎ倍にすると露光時間をｎ倍にするのと同様の効果がある。すなわち、各ピクセル毎に露光時間及びゲインの両方を変化させることにより露光時間の増大を抑えつつ、イメージセンサのダイナミックレンジを拡大することができる。
【０００９】
図１は本発明の画像情報処理装置のイメージセンサ部の全体ブロック構成を示す図である。
イメージセンサ部は、ピクセル回路２１と読み出し回路２２とメモリ回路２３とから構成されている。
ピクセル回路２１はリセット回路１１、光検出器（ＰＤ）１２、Ｉ−Ｖ変換回路１３、露光時間判定回路１４及び出力アンプ１５から構成される。
リセット回路１１は各ピクセル回路内部に保持しているピクセル値を初期化する。ＰＤ１２はピクセルに照射される照度に応じた光電流を発生し、その光電流はＩ−Ｖ変換回路１３によって電圧値に変換され露光時間判定回路１４に出力される。この電圧値と予め設定された閾値との大小が露光時間判定回路１４で比較され、各ピクセル回路毎に露光時間が決定される。各ピクセル毎に決定された露光時間は出力アンプ１５を介してメモリ回路２３に書き込まれて記憶される。
【００１０】
読み出し回路２２はＣＤＳ回路１６、ＡＧＣ回路１７及びＡＤ変換回路１８から構成される。各ピクセル値を読み出す際には、まず目的のピクセルを選択し、出力アンプ１５を動作させてピクセル値を読み出す。通常、ピクセルはアレイ状に配列されているので、このピクセルアレイの列または行末にあるＣＤＳ（Correlated Double Sampling： 相関二重サンプリング）回路１６によりピクセル毎のリセット雑音を除去する。雑音除去後の出力値を基にＡＧＣ（Auto Gain Control）回路１７でピクセル値に応じた所定利得を乗じてゲイン（利得）調整を行なう。ここで設定したゲインはメモリ回路２３に書き込まれて記憶される。
ついで、ＡＧＣ回路１７の出力値をＡ／Ｄ変換回路１８でＡ／Ｄ変換し、メモリ回路２３に書き込む。
なお、ＣＤＳ回路１６はピクセル回路間の雑音を除去するために必要に応じて用いられるもので、必ずしも必要とされるものではない。
【００１１】
このようにして各ピクセル毎にピクセル値、露光時間、ゲインの３種類の情報を得ることができる。この３種類の情報に基づいて下式を用いて入射光の照度を求めることによりピクセル出力電圧のみを用いた場合に比べてイメージセンサのダイナミックレンジを拡大することが可能となる。
露光時間Ｔを、
Ｔ＝Ｔ０×２ｎ（ｎ＝０，１，２，…）
利得Ｇを、
Ｇ＝２ｍ（ｍ＝０，１，２，…）
と、変化させるときに、照度Ｅを、
Ｅ＝Ｖ×２−（ｎ＋ｍ）
ここで、Ｔ０は最小露光時間、Ｖは前記第２のピクセル値である。
【００１２】
図２は本発明の画像情報処理装置の第１の実施形態の配置図を示したものである。ピクセル回路２１が２次元マトリックス上に配置され、各行または列毎に読み出し回路２２が配置されている。ピクセルアレイの周辺にはＸ方向アドレス生成回路２４及びＹ方向アドレス生成回路２５が配置され、所定のアドレス信号を印加することにより所定のピクセルが選択され、選択されたピクセル毎にピクセル値、露光時間、ゲインがメモリ回路２３に書き込まれる。外部へのデータ読み出しはメモリ回路２３を介して行なわれる。
【００１３】
図３はピクセル回路２１の構成例を示す回路図、図４は読み出し回路２２の構成例を示す回路図である。
また、図５はＣＤＳ回路１６の構成例を示す回路図、図６はＡＧＣ回路１７の構成例を示す回路図である。
さらに、図７は図１乃至図６の動作タイミングチャートを示している。図１乃至７を参照して第１の実施の形態の動作を説明する。
【００１４】
動作は大きく二つのフェーズに分けることができる。第１のフェーズは全ピクセルに光を入射し露光を行いながら、各ピクセルの露光時間を設定し、その値（タイムスタンプ：Time stamp）をメモリ回路２３に書き込むフェーズである。
第２のフェーズは各ピクセル毎に設定されたゲインで増幅した後、その出力をＡ／Ｄ変換し、ピクセル値とし設定されたゲインと共にメモリ回路２３に書き込むフェーズである。
露光時間を決定しタイムスタンプをメモリ回路に書き込むフェーズは図７にｔ１〜ｔ９として示されている。この第１のフェーズではシャッタ（SHUTTER）信号をアクティブにし、各ピクセル回路２１及び読み出し回路２２内にあるモード切替スイッチ３１，４１を図３、図４に示すように露光時間読み出しモードにする。
【００１５】
また、リセット（RESET）信号もアクティブにし、リセットスイッチ３２をＯＮして各ピクセル内部のサンプル容量３３に保持している値を全ピクセル同時にBIAS RESETに初期化する。また読み出し回路にあるレジスタ４２の値も初期化する。続いて、リセット信号がアクティブかつ、Sampling Clkもアクティブであるｔ２〜ｔ３の期間で、スイッチ３７がＯＮし、ＰＤ１２（Ｖpd３５）部分も同様に初期化する。
なお、図８には読み出し回路２２の他の構成例が示されているが、この構成例においても、初期化時にレジスタ４２及びカウンタ８３の値を初期化する。図４、図８中のレジスタ４２は、図２の読み出し回路２２にそれぞれなくても、全てに対して１つ設けておけばよい。
【００１６】
初期化の終了するタイミングｔ３以降、ＰＤ１２に入射する光量に従って光電流が流れ、サンプル容量３３の端子間の電圧Ｖsample３４が減少する。コンパレータ３６を用いてＶsample３４を２n間隔のサンプリングクロック（Sampling Clk）のタイミング毎（ｔ４〜ｔ７）に閾値（Ｖｔｈ）と比較する。電圧Ｖsampleが閾値Ｖｔｈよりも低くなっていればその時間でコンパレータ３６の出力が反転し、スイッチ３７がＯＦＦとなり、そのピクセルの露光は終了する。
また、同時にスイッチ３８がＯＮし、ＰＤ１２の端子電圧Ｖpd３５を初期電圧BIAS RESETに固定する。最大露光時間（ｔ８）経過後は、全ピクセル露光を終了させるため閾値Ｖｔｈをリセット電圧（BIAS RESET）よりも高い値にして、前述の比較動作を行う。
【００１７】
その後、Ｘ方向アドレス生成回路２４及びＹ方向アドレス生成回路２５を用いて、そのピクセルを選択するリード（READ）信号をアクティブにし、選択したピクセルの露光が終了していれば、読み出し回路２２内部にある露光時間をカウントしているレジスタ４２の値をメモリ回路２３に書き込む。このようにして最大露光時間が経過するまで（ｔ３〜ｔ８）、電圧Ｖsampleと閾値Ｖｔｈとの比較を繰り返す。なお、メモリ回路２３への書き込みコンパレータ３６が反転した直後の比較時のみに行なうために、選択したピクセルのメモリ回路２３の内容が初期値なのかそれ以外の値なのかを確認しながら、タイムスタンプを書き込む。
【００１８】
なお上述した実施例においては、２n間隔のサンプリングクロックを用いたが、露光時間の間隔を２nにすると、後に説明するＡ／Ｄ変換結果を露光時間を使って補正する場合に２-n倍するだけで良くなる。これはデジタル値を１ビットシフトする操作で簡単に実現できるのでこのように設定したものである。
最大露光時間（ｔ８）が経過するとシャッタ信号をノンアクティブにし、露光を終了（ｔ９）する。これにより第１フェーズは完了する。次いで、各ピクセル回路２１及び読み出し回路２２内部にあるモード切替スイッチ３１，４１をピクセル値読み出しモード（露光時間読み出しモードの逆）にする。これにより第２フェーズが開始される。まず読み出すピクセルを選択し、リードスイッチ３８をＯＮにする。次に選択されたピクセルのピクセル値を読み出す。この時、ＣＤＳ回路１６を用いて読み出したピクセル値とリセット時のピクセル値との差を取ることにより各ピクセル間のリセット雑音を除くことが可能となる。
【００１９】
図５はＣＤＳ回路１６の一構成例を示す回路図である。ｔ１０のタイミングでＣＤＳ１スイッチ５１をＯＮし、ＣＤＳ２スイッチ５２をＯＦＦとして、露光後のピクセル値をＶｉｎから読み出す。次にｔ１１のタイミングでＣＤＳ１スイッチ５１をＯＦＦし、ＣＤＳ２スイッチ５２をＯＮとして、リセット時のピクセル値を同様にＶｉｎから読み出す（ｔ１２〜ｔ１３）ことによりリセット雑音等を除去した、露光後のピクセル値とリセット時のピクセル値との差をＶｏｕｔから読み出す。
なお、ＣＤＳ回路１６は図５に示す構成例の他に種々の変形が可能である。
【００２０】
次に、図６に示すＡＧＣ回路１７に信号Ｖｉｎを入力する。ＡＧＣ回路は入力される信号の大きさを判定する電圧判定部と複数のゲインを設定できる増幅部とから構成されている。
電圧判定部では入力信号Ｖｉｎと何種類かの閾値Ｖｔｈ▲１▼、Ｖｔｈ▲２▼との大小をコンパレータ６１，６２を用いて比較し、次段の増幅回路のゲインを決定してメモリ回路２３へ出力する。図６では、ゲインが１、２、４倍のとき、メモリには１１、０１、００の値が書き込まれる。設定したゲインに応じてスイッチ６３，６４，６５を切り換えて入力信号を増幅し（ｔ１３〜ｔ１４）、この増幅された信号ＶｏｕｔをＡ／Ｄ変換してディジタル値に変換し、メモリ回路２３に書き込む。
【００２１】
このようにしてイメージセンサのダイナミックレンジを拡大するために必要な露光時間、ゲイン、ピクセル値という３つの情報を得ることができる。ここで露光時間を５段階（３ビット）、ゲインを３段階（２ビット）、ピクセル値を２５６段階（８ビット）で表わすと仮定する。露光時間が長くなるにつれて露光時間を表わすタイムスタンプは１００〜０００へと変化する。またゲインもゲインが大きくなるにつれて１１〜００へと変化する。ピクセル値は照度に応じて００００００００〜１１１１１１１１へと変化する。このようにして得られたタイムスタンプを用いて、８ビットのピクセル値を２ｎ倍し、ゲインについては、００→２０、０１→２１、１１→２２倍にすることで、ピクセル値のみを用いた８ビットの濃淡情報以上の情報を表わすことが可能となる。即ち、ダイナミックレンジを拡大した画像を得ることができる。
【００２２】
次に本発明の第２の実施の形態を説明する。
第２の実施の形態では、第１の実施の形態の場合に比較してＡＧＣ回路１７と読み出し回路２２との構成が異なっている。
図８は第２の実施の形態で用いられる読み出し回路の一構成例を示す回路図である。
また図９はＡＧＣ回路の構成例を示す回路図である。
【００２３】
第２の実施の形態では、選択されたピクセルから出力されるピクセル値をその値に応じてランプ波形信号の傾きを選択することによりＰＷＭ信号に変換し、ゲインを得ることを特徴としている。すなわち入力電圧をランプ波形信号を用いてその大きさに比例したＰＷＭ（Palse Width Modulation）信号に変換し、その時間をクロック信号でカウントする。するとカウントされた値（ディジタル値）は入力電圧値（アナログ値）に比例した値となりＡＤ変換を行なうことができる。
【００２４】
図１０はランプ波形発生回路の構成例を示す図、また図１１はランプ波形の傾きとカウンタ部への入力パルスの関係を示す図である。読み出し回路ではＣＤＳ処理後の信号（入力信号）とランプ波形信号の大小をコンパレータ８１により比較することでアナログ信号をＰＷＭ信号に変換する。その後、論理積回路８２でクロックとの論理積をとり、カウンタ８３で計数してディジタル値に変換する。その結果はメモリ回路２３に書き込まれる。図１０に示すランプ波形発生回路はキャパシタ１０１とリセット用スイッチ１０２と定電流源１０３とから構成される。まずリセットスイッチ１０２をＯＮすることによりキャパシタ１０１にリセット電圧（BIAS RAMP RESET）を充電する。
【００２５】
次にリセットスイッチ１０２をＯＦＦすることにより定電流源１０３の電流量に応じてキャパシタに電荷を充電する。その結果、出力には電流量に応じた傾きをもつ右肩上がりの波形（ランプ波形）信号が図１１に示すように出力される。図９に示すＡＧＣ回路において入力信号の大きさによりスイッチ９１，９２，９３を逐次切り換え、ランプ波形の傾きを図１１に示すようにａ，ｂ，ｃから選択することで、実効的に入力信号のゲインを加減することができる。今回の構成では右肩上がりのランプ波形を用いているが、ＣＤＳ回路の構成によっては右肩下がりのランプ波形を用いることもできる。
【００２６】
このように第２の実施形態においては、選択されたピクセルから出力されるピクセル値をＰＷＭ信号に変換し、そのパルス幅をクロック信号でカウントしてＡ／Ｄ変換を行なっている。なお、第１、第２の実施形態（図３，４，８）では、ピクセルからの出力線が１本で、それをスイッチで切り換えて利用しているが、それぞれの出力に対して１本ずつ（計２本）出力線を使い、スイッチによる切り換えを行わない構成としてもよい。
【００２７】
【発明の効果】
以上実施の形態に基づいて詳細に説明したように、本発明ではピクセル毎に露光時間とゲインとを可変設定できるピクセル回路と読み出し回路とを設けたことにより、これらの値を用いてイメージセンサのダイナミックレンジを拡大することができる。したがって、撮像領域内に含まれる被写体の明暗の差が大きい場合においても、また移動体であっても各被写体を十分な階調で撮像可能とする画像情報処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像情報処理装置に用いられるイメージセンサ部の全体構成を示すブロック図。
【図２】本発明の第１の実施の形態におけるイメージセンサ部の配置を示す図。
【図３】第１の実施の形態で用いられる各ピクセル回路の構成例を示す回路図。
【図４】第１の実施の形態で用いられる読み出し回路の構成例を示す回路図。
【図５】第１の実施の形態で用いられるＣＤＳ回路の構成例を示す回路図。
【図６】第１の実施の形態で用いられるＡＧＣ回路の構成例を示す回路図。
【図７】図１〜図６の回路動作を示す動作タイミングチャート。
【図８】本発明の第２の実施の形態に用いられる読み出し回路の構成例を示す回路図。
【図９】本発明の第２の実施の形態に用いられるＡＧＣ回路の構成例を示す回路図。
【図１０】本発明の第２の実施の形態に用いられるランプ波形発生回路の構成例を示す回路図。
【図１１】本発明の第２の実施の形態の動作原理を説明するためのランプ波形の傾きとカウンタ部への入力パルス数の関係を示す図。
【符号の説明】
１１    リセット回路
１２    光検出器
１３    Ｉ−Ｖ変換回路
１４    露光時間判定回路
１５    出力アンプ
１６    ＣＤＳ回路
１７    ＡＧＣ回路
１８    Ａ／Ｄ変換回路
２１    ピクセル回路
２２    読み出し回路
２３    メモリ
【図１】
0004057814.tif 000002
【図２】
0004057814.tif 000003
【図３】
0004057814.tif 000004
【図４】
0004057814.tif 000005
【図５】
0004057814.tif 000006
【図６】
0004057814.tif 000007
【図７】
0004057814.tif 000008
【図８】
0004057814.tif 000009
【図９】
0004057814.tif 000010
【図１０】
0004057814.tif 000011
【図１１】
0004057814.tif 000012