(57)【要約】撮像装置内で飽和パクセルの積分時間を減少させる方法であって、当該方法は、捕捉画像からの場面データに従って撮像装置内で前記飽和パクセルの積分時間を減少させるステップを有する。
2008506308.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置内で飽和パクセルの積分時間を減少させる方法であって、
捕捉画像からの場面データに従って撮像装置内で前記飽和パクセルの積分時間を減少させるステップを有する方法。
【請求項２】
前記飽和パクセルは、前記捕捉画像内でのパクセルのＸ−Ｙアドレス指定によって地理的に位置付けられる、ことを特徴とする請求項１記載の方法。
【請求項３】
前記減少した積分時間の大きさは、前記飽和パクセルの量に関連する、ことを特徴とする請求項１記載の方法。
【請求項４】
大量の前記飽和パクセルは、前記減少した積分時間の大きさを大きくする、ことを特徴とする請求項３記載の方法。
【請求項５】
少量の前記飽和パクセルは、前記減少した積分時間の大きさを小さくする、ことを特徴とする請求項３記載の方法。
【請求項６】
撮像システムでＸ−Ｙパクセルをアドレス指定する方法であって、
ａ）  第１の画像を捕捉するステップと、
ｂ）  互いに地理的に関連付けられた画素のグループであるパクセルごとに基づいて、飽和に関して前記第１の画像を検査するステップと、
ｃ）  前記第１の画像内の夫々の飽和パクセルに関してＸ−Ｙアドレスを記録するステップと、
ｄ）  飽和パクセルの数を決定するステップと、
ｅ）  前記飽和パクセルの数が零よりも大きい場合に、前記飽和パクセルの数を定数Ｎと比較するステップと、
ｆ）  前記飽和パクセルの数が前記定数Ｎよりも大きい又は小さいことに従って、前記飽和パクセルの積分時間を変更するステップと、
を有する方法。
【請求項７】
パクセルの独立した積分時間制御と、前記パクセルの正確な積分時間をそれらの飽和レベルに基づいて決定するためのアルゴリズムとを可能にする撮像装置を有する電子画像捕捉システム。
【請求項８】
飽和パクセルの前記積分時間を決定するための複数の手段を用いる、請求項７記載の電子画像捕捉システム。
【請求項９】
像を捕捉する時間を減少させるよう連続的に動作する、請求項７記載の電子画像捕捉システム。
【請求項１０】
２段階のシャッター・リリース・スイッチを用い、
該スイッチは、最終の画像を捕捉するよう当該電子画像捕捉システムを初期化する、ことを特徴とする請求項７記載の電子画像捕捉システム。
【請求項１１】
前記撮像装置は、パクセルの独立した積分時間制御と、前記パクセルの正確な積分時間を、捕捉画像内でのそれらの地理的位置及び前記捕捉画像から記録された光に基づいて決定するためのアルゴリズムとを可能にする、ことを特徴とする請求項７記載の電子画像捕捉システム。
【請求項１２】
前記撮像装置は、多重信号出力を有しており、それによって画像捕捉時間を減少させる、ことを特徴とする請求項１１記載の電子画像捕捉システム。
【請求項１３】
パクセルの独立した積分時間制御と、前記パクセルの正確な積分時間を捕捉画像内でのそれらの地理的位置に基づいて決定するためのアルゴリズムとを可能にする粗解像度撮像装置を有する、請求項７記載の電子画像捕捉システム。
【請求項１４】
前記撮像装置は、カメラの露出決定アルゴリズムのために場面露出情報を集める、ことを特徴とする請求項１３記載の電子画像捕捉システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、画像化の分野、具体的には、プログラム可能な積分時間に基づく、画素アドレスを備える電子撮像装置による画像化に関する。
【背景技術】
【０００２】
撮像装置、特に、ＣＭＯＳ撮像装置には、従来、場面の一部がその中に強調表示を有する程に高いダイナミックレンジを有する場面に関する問題がある。これは、場面露出寛容度と呼ばれる。画像のこれらの強調表示された部分において、センサの画素は、デジタル画素出力が全て１であるように飽和する。従って、センサの画素は、捕捉された場面が、例えば、公園で太陽に背を向けて立っているカップルといった、通常捕捉され得るよりも広いダイナミックレンジを含む場合に、特に飽和する。通常の場面は、６から７絞り（ｓｔｏｐｓ）のダイナミックレンジを有することができる。太陽の画像は、ダイナミックレンジの他の１０絞りを導入する。当該技術分野のカメラの現状は、カップルを捕捉するための露出レベルを設定し、太陽が、結果として得られる像において画像を飽和させることを許容する。似たような状況は、例えば、金属の車のバンパーに反射する太陽といった、正反射を含む画像に存在する。捕捉すべき１つの他の例となる厄介な場面は、夜の駐車場における車を含む。車を正確に露光させる結果、車のヘッドライト及び駐車場を照らす街灯は、結局のところ画像を飽和させうる。結果として、従来の撮像システムに関して、露出を決定する際の非常に僅かなエラーは、場面のダイナミックレンジが画像捕捉システムのダイナミックレンジに近い又は等しい場合に許容されうる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
必要とされるものは、捕捉された場面よりも大きなダイナミックレンジを常に有する画像捕捉システムである。
【課題を解決するための手段】
【０００４】
前出の必要物は、撮像装置内で飽和パクセルの積分時間を減少させる方法であって、捕捉画像からの場面データに従って撮像装置内で前記飽和パクセルの積分時間を減少させるステップを有する方法を提供することにより、本発明によって扱われる。本発明の他の態様は、パクセルの独立した積分時間制御と、前記パクセルの正確な積分時間をそれらの飽和レベルに基づいて決定するためのアルゴリズムとを可能にする撮像装置を有する電子画像捕捉システムを備える。
【発明の効果】
【０００５】
複数の画像捕捉を通して、パクセルの積分時間は、場面のダイナミックレンジと、捕捉された場面の信号対雑音比との間の理想的な妥協に達するよう調整される。
【０００６】
本発明は、挙げられている問題を正し、より大きな場面露出寛容度を有するシステムをもたらしうる。従って、本発明は、一層大きな場面ダイナミックレンジを捕捉する能力を有する画像捕捉システムをもたらしうる。
【発明を実施するための最良の形態】
【０００７】
以下の記載で、本発明は、制御装置としてマイクロプロセッサを用い、また、パクセル積分時間アルゴリズムを実行する好ましい実施例において説明される。当業者には明らかなように、このシステムの等価なものは、また、ハードウェアのみで構成されても良い。
【０００８】
本発明は、画像の明るい又は強調表示された領域の地理的位置を決定する。本発明によって用いられる適応性露出アルゴリズムは、画像の強調表示領域におけるパクセルの積分時間を、これらのパクセルが正確に、即ち、飽和近くに、しかし飽和しないよう露光されるように、減少させる。このようにして、従来の方法を用いて捕捉されうるよりも広いダイナミックレンジを有する場面を捕捉することが可能となる。更なるダイナミックレンジは、減少した積分時間を有するパクセルによって捕捉されたダイナミックレンジである。本発明は、Ｒｏｂｅｒｔ  Ｍ．Ｇｕｉｄａｓｈの名において２００３年９月３日に出願された米国特許整理番号１０／６５４，３１３に更に詳細に説明され、且つ、本願に援用されているような、互いに独立に撮像装置内でパクセルの積分時間をプログラミングする能力を活用する。
【０００９】
ダイナミックレンジの問題を解決するために、実施例では、本発明は、個々の画素レベルを有効にするＣＭＯＳ撮像センサを用いて、画素のＸ−Ｙアドレスに基づいて積分時間のプログラミングを行う。１度の露出で、積分時間を変更するとともに画素の交互に並んだ行を有することが可能である。また、小さなＸ−Ｙグループで画素をグループ化することも可能である。このような小さなＸ−Ｙグループは、パクセルと呼ばれる。これらのパクセルのＸ−Ｙサイズは、動的に変化しうる。通常、これらのパクセルは、画像において異なる色を検出するために使用されるカラーフィルタアレイパターンに基づく。例えば、ベイヤーカラーフィルタアレイパターン（ＣＦＡ）は、最初のラインで交互に並ぶ緑−赤を有し、次のラインで交互に並ぶ青−緑を有する。このＣＦＡフィルタは、撮像装置内の全てのラインに関して繰り返される。著しく異なる積分時間を有する撮像装置の交互に並んだ行が設定されても良い。本発明は、画素のブロック、即ち、同様に、パクセルを利用する。幾つかのブロックは、長い積分時間を有しても良く、また、幾つかは、短い積分時間を有しても良い。
【００１０】
本発明の一実施例では、撮像装置により捕捉された場面データは、画素ごとに基づいて、飽和に関して解析及び評価をなされる。撮像装置は、個々のＸ−Ｙアドレス指定可能な積分時間を有する撮像装置である。ここで、積分時間は、撮像装置が捕捉過程の間に画像を取り込むことができる時間の量として決定される。本発明に関しては、飽和パクセルのみの積分時間が減少する。更なる画像は、飽和パクセルがほぼ零となるまで、異なる積分時間の下、繰り返し、捕捉、解析及び評価をなされる。
【００１１】
図１を参照すると、本発明の一実施例は、マイクロプロセッサ１２０によって制御される光学フラッシュ１１０を有するカメラシステム１００を示す。マイクロプロセッサ１２０は、また、シャッター１３０と、撮像装置１４０と、画像メモリ１５０と、フラッシュ不揮発性メモリ１６０とを制御する。２段階、２接触シャッター・リリース・スイッチ１７０は、信号をマイクロプロセッサ１２０へ入力する。当業者には明らかなように、本発明は、また、１段階、１接触シャッター・リリース・スイッチ１７０を用いても実施可能である。
【００１２】
マイクロプロセッサ１２０は、カメラシステム１００向けのマイクロプロセッサ１２０の既知の機能に加えて、撮像装置１４０と画像メモリ１５０との間の関係を制御する、図３に示されるパクセル積分時間アルゴリズムを実行する。一般に、画像は、撮像装置１４０から画像メモリ１５０へと捕捉され、図３で示されるパクセル積分時間アルゴリズムは、最終の画像において夫々のパクセルの正確な積分時間を決定する。
【００１３】
撮像装置１４０は、パクセルとして知られる画素のグループの独立したＸ−Ｙアドレス指定可能な積分時間を有するＣＭＯＳ撮像装置又はＣＣＤ撮像装置でありうる。ここに記載されている実施例では、フラッシュ不揮発性メモリ１６０が使用されているが、当業者には明らかなように、ＥＰＲＯＭ、バッテリー支援ＲＡＭ及びヒュージブルリンクＲＯＭは、本発明による使用の代わりに用いられ得る幾つかの他のメモリ選択肢である。
【００１４】
第２の実施例は、図２に示される電子撮像システム２００を用いる（このシステムは、電子静止カメラ、モーション・キャプチャシステム、若しくはマシンビジョンシステム、又は撮像機能を用いる如何なる装置であっても良い。）。図２は、カメラシステム２００が、パクセルのプログラム可能な積分機能を有するＣＭＯＳ撮像装置２４０を有することを表す。ＣＭＯＳ撮像装置２４０は、また、複数の並列なデータ信号出力２９０を有する。これらの複数の並列なデータ信号出力２９０は、ＣＭＯＳ撮像装置２４０の読取レートを向上させる。結果として、最終の像までの時間は減少する。他の全ての点で、動作は、図１に示された第１の実施例と同じである。
【００１５】
図３を参照すると、パクセル積分時間アルゴリズム３００は、捕捉画像からの場面データに従って撮像装置内で飽和パクセルの積分時間を減少させるために示される。図１及び図２で示されるシャッター・リリース・スイッチ１７０を動作させるためのシャッター動作３１０は、カメラシステム１００及び２００の全体的な露出を決定するために使用される。画像捕捉動作３２０で、第１の画像は、（図１又は図２のいずれか一方に従って）メモリ１５０又は２５０へと捕捉される。夫々のパクセルは、動作３３０で飽和を検査される。全てのパクセル値は、夫々のパクセルを構成する４つの画素を１つの値に平均化することによって導出される。その値が最大値（Ｋ）に等しい又はそれより大きいならば、対応するパクセルは、飽和しているとみなされる。動作３３０が完了すると、飽和パクセルのＸ−Ｙ位置は、動作３４０で記録される。その後、飽和パクセルは、動作３５０で合計される。条件付き動作３６０は、飽和パクセルの個数が０であるならば、画像が動作３６５で不揮発性フラッシュメモリへ書き込まれることを決定する。代替的に、条件付き動作３６０に関して、飽和パクセルの個数が０ではないならば、飽和パクセルの個数は、動作３７０で数えられる。随意的な条件付き動作３６２は、２段階シャッター・リリース・スイッチ１７０又は２７０がカメラ１００又は２００に対して夫々使用される場合に、条件付き動作３６０と書き込み動作３６５との間に組み入れられる。
【００１６】
第２の条件付き動作である動作３７５は、飽和パクセルの個数が定数Ｎよりも大きいかどうかを決定する。動作３８５において、飽和パクセルの積分時間は、大きなインクリメント（本例では、１／４の露出時間又は２絞り）だけ減少させられる。１絞りは、信号の半減又は２倍の低減である。２絞りは、信号における４倍の低減である。大きなインクリメントは、全体的なダイナックレンジがより大きい正確に露光された画像を得るために必要とされる捕捉の数を減らすために使用される（積分時間における大幅な低減は、正確な積分時間が実現されるまで使用される。その場合に、積分時間におけるより小さなインクリメント低減は、より高い精度のために使用される。）。飽和パクセルの個数が動作３８０で定数Ｎよりも小さいならば、飽和パクセルの積分時間は、より少ないインクリメント（本例では、１／２の露出時間又は１絞り）だけ減少する。
【００１７】
動作３９０は、動作３５０で使用されたパクセルカウンタをリセットする。動作３９５は、パクセルの積分時間を記録する。新しい画像は、動作３２０で捕捉され、アルゴリズムは、「０個の飽和パクセル」という規準が動作３６０で満たされるまで繰り返される。拡張されたダイナミックレンジの画像は、その場合に、動作３６５で、それらの夫々のパクセルに関連する積分時間と、パクセルのＸ−Ｙ位置とともに記録される。この情報は、たとえ次の捕捉の間であっても、画像再構成過程で使用される。
【００１８】
飽和パクセルの個数が定数Ｎに等しい又はそれよりも小さく、且つ、定数Ｍよりも大きいならば、飽和パクセルの積分時間は、小さいインクリメント（本例では、３／４の露出時間又は１／２の絞り）だけ減少する。小さいインクリメントは、システムが、露光されすぎたパクセルを大幅に露出不足としないように使用される。飽和パクセルが定数Ｍに等しい又はそれよりも小さいならば、露出は正確であるとみなされ、画像は捕捉される。
【００１９】
どちらの積分時間も、これが、下流の画像再構成アルゴリズムのために必要とされる情報であるので、記録される。その前提は、飽和パクセルの個数が多くなればなるほど、画像はますます飽和することである。第２の画像は捕捉され、処理は繰り返される。これは、飽和パクセルが存在しなくなるまで続く。像メモリに記憶された画像は、目下、フラッシュメモリへ書き込まれている。二重の積分時間選択は、システムが、より少ない回数の画像捕捉で正確な全体露出に達することを可能にする。この方法は、飽和パクセルの積分時間において複数の変更個所を伴って複数の決定点へと拡張され得る。
【００２０】
画素を単一の値へと平均化することにより、夫々のパクセルが導出される（例えば、２×２パクセルがある。しかし、パクセルサイズは変更可能である。）。図４及びパクセルダイアグラム４００を参照すると、幾つかのパクセル配列が示されている。例えば、２×２多色パクセル４２０及び４×４多色パクセル４３０がある。また、２×２緑色パクセル４４０、２×２赤色パクセル４５０、２×２青色パクセル４６０、及び４×４緑色パクセル４７０が示されている。撮像装置による実施のためにベイヤーカラーフィルタアレイパターンとともに使用されるパクセル４１０も示されている。
【００２１】
本発明の代わりの実施例を検討する。例えば、一実施例では、電子撮像システムは、連続的に動作しており、パクセルのプログラム可能な積分機能を有するＣＭＯＳ撮像装置２４０を含む。電子撮像システム２００は、連続的に動作する。シャッター・リリース・ボタンが押されると、最初の０飽和パクセル画像が記憶される。像捕捉までの時間は減少する。他の全ての点で、それは、先に述べた実施例と同様に動作する。
【００２２】
他の実施例は、２段階シャッター・リリース・スイッチを使用する電子静止カメラ撮像システム２００である。第１のスイッチが閉じられると、カメラが動作し始める。本発明は、通常の飽和パクセルに関して正確な積分時間を求める。第２のスイッチが閉じられると、飽和画像を含まない第１の画像は、不揮発性フラッシュメモリ２６０に記憶される。本発明は、パクセルのプログラム可能な積分機能を有するＣＭＯＳ撮像装置２４０を有する。像捕捉までの時間は減少する。
【００２３】
更なる他の実施例は、パクセルのプログラム可能な積分機能を有するＣＭＯＳ撮像装置２４０を有する撮像システム１０である。このシステムは、前出の実施例に含まれている考えの幾つか又は全てを使用する。本実施例の第１の目的は、カメラ露出決定システムのためのセンサを形成することである。それは、フィルムカメラ又は電子カメラとともに使用可能である。本実施例は、低解像度のセンサを用いることができ、従って、動作面で高速であって、コスト面で安価でありうる。
【００２４】
明らかであるように、本発明は、電子シャッターを有する撮像装置１４０及び２４０と協働しうる。また、明らかであるように、本発明は、機械又は電子機械のシャッターを必要とする撮像装置と協働する。
【００２５】
従って、本発明は、その、ある好ましい実施例への具体的な言及により詳細に記載されているが、当然のことながら、変形及び変更が、本発明の精神及び適用範囲の範囲内で実行可能である。
【図面の簡単な説明】
【００２６】
【図１】本発明を用いる例となるカメラのブロック図である。
【図２】本発明を用いる例となる電子撮像システムのブロック図である。
【図３】本発明のパクセル積分時間調整アルゴリズムの例となるフローチャートである。
【図４Ａ】本発明に従ってベイヤーカラーフィルタアレイパターンとともに使用されるパクセルの一例である。
【図４Ｂ】本発明に従ってベイヤーカラーフィルタアレイパターンとともに使用されるパクセルの一例である。
【図１】
2008506308.tif 000003
【図２】
2008506308.tif 000004
【図３】
2008506308.tif 000005
【図４Ａ】
2008506308.tif 000006
【図４Ｂ】
2008506308.tif 000007
【国際調査報告】
2008506308.tif 000008
2008506308.tif 000009
2008506308.tif 000010
2008506308.tif 000011