(57)【要約】光センサのダイナミックレンジを動的に制御して、特に画像の暗領域及び明領域において画像細部を改善する。少なくとも１つのリセットしきい値と１つのリセット値が設定される。フレーム積分の終了時に、平均画素値とリセットされなかった最明画素値とが決定され、それに基づいて、リセットしきい値とリセット値との少なくとも１つを変化させる。変化により、より多い・より少ない画素をリセットするようにリセットしきい値を減少・増加させる、リセット値を減少・増加させることで、画素をより小さい・より大きい値にリセットさせる、又はリセットのタイミングを変化させる。一部の実施形態において、リセットしきい値及びリセット値のための演算値は前のＮフレームの演算値と平均され、結果を次のフレームに適用する。【選択図】図１
2019522442.tif 000002
【特許請求の範囲】
【請求項１】
光センサの出力信号の積分を動的に制御する方法であって、
積分期間ｔｆにおいて前記光子センサの各画素に対して前記出力信号を連続的に積分するフレームを開始するステップと、
前記積分期間ｔｆより短い第１リセット時間ｔ１を定めるステップと、
それを超える画素がリセットされる値を定める第１リセットしきい値を設定するステップと、
画素がリセットされる値を定める第１リセット値を設定するステップと、
前記第１リセット時間において、前記第１リセットしきい値よりも大きい値を有するすべての画素を前記第１リセット値にリセットするステップと、
前記積分期間の終了時に平均画素値を決定するステップと、
前記平均画素値に基づいて、次のフレームのための前記第１リセットしきい値と前記第１リセット値との少なくとも１つに新しい値を設定するかどうかを判定するステップと、を含む方法。
【請求項２】
前記第１リセットしきい値に新しい値を設定することは、前記フレームの終了時の平均画素値に等しくなるように前記第１リセットしきい値を設定することを含む、請求項１に記載の方法。
【請求項３】
前記第１リセットしきい値に新しい値を設定することは、前記フレームの終了時のリセットされなかった最明画素値に等しくなるように前記第１リセットしきい値を設定することを含む、請求項１に記載の方法。
【請求項４】
前記第１リセットしきい値に新しい値を設定することは、前記平均画素値をビンの総数で除算することで平均画素値比率を演算すること、前記平均画素値比率を１から減算してミラー化平均画素値比率を得ること、及び前記ミラー化平均画素値比率を前記ビンの総数で乗算することを含む、請求項１に記載の方法。
【請求項５】
前記第１リセット値に新しい値を設定することは、前記フレームのヒストグラムにおいて、最暗画素値からリセットされなかった最明画素値までの直線上にある画素値を演算することを含む、請求項１に記載の方法。
【請求項６】
前記第１リセット値に新しい値を設定することは、前記フレームのヒストグラムにおいて、時間ｔ１と、最暗画素値からリセットされなかった最明画素値までの直線との交点上の画素値を演算することを含む、請求項１に記載の方法。
【請求項７】
スケール因子を設定すること、及び、次のフレームのための前記第１リセットしきい値と前記第１リセット値との少なくとも１つを変化させる必要があると判定したとき、次のフレームのための前記第１リセットしきい値と前記第１リセット値との少なくとも１つに前記スケール因子を適用することをさらに含む、請求項１に記載の方法。
【請求項８】
次のフレームのための前記第１リセットしきい値と前記第１リセット値との少なくとも１つを変化させる必要があると判定したとき、前記第１リセット時間ｔ１の値を変更することをさらに含む、請求項１に記載の方法。
【請求項９】
次のフレームのための前記第１リセットしきい値と前記第１リセット値との少なくとも１つを変化させると判定したとき、ヒステリシスを適用することをさらに含む、請求項１に記載の方法。
【請求項１０】
ヒステリシスを適用することは移動平均を適用することを含む、請求項１に記載の方法。
【請求項１１】
前記積分期間ｔｆより短いが前記第１リセット時間ｔ１より長い第２リセット時間ｔ２を定めること、
第２リセットしきい値を定めること、
第２リセット値を定めること、及び
前記積分期間の終了時に、次のフレームのための前記第２リセットしきい値と前記第２リセット値との少なくとも１つに新しい値を設定するかどうかを判定することをさらに含む、請求項１に記載の方法。
【請求項１２】
前記第２リセットしきい値に新しい値を設定することは、前記第１リセットしきい値より大きい値を有する画素のみを使用して演算した平均画素値に相当する第２の平均画素値に基づいて前記第２リセットしきい値を設定することを含む、請求項１１に記載の方法。
【請求項１３】
前記第２リセットしきい値に新しい値を設定することは、前記フレームの終了時の１回のみリセットされた最明画素値に等しくなるように前記第２リセットしきい値を設定することを含む、請求項１１に記載の方法。
【請求項１４】
前記第２リセットしきい値に新しい値を設定することは、前記第２の平均画素値をビンの総数で除算して第２の平均画素値比率を得ることをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記第２の平均画素値比率を前記第１リセットしきい値より大きい値のビンの総数で乗算することをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記第２の平均画素値比率を１から減算してミラー化比率を得ること、及び前記ミラー化比率を前記第１リセットしきい値より大きい値のビンの総数で乗算することをさらに含む、請求項１４に記載の方法。
【請求項１７】
前記第１リセットしきい値に等しいオフセット値を加算することをさらに含む、請求項１６に記載の方法。
【請求項１８】
光学センサを動的に制御する方法であって、
フレームを開始して、期間ｔｆにおいて前記センサのすべての画素の出力信号を積分するステップと、
前記フレームの終了前に、プリセット時間ｔ１において、リセットしきい値Ｒ１よりも大きい輝度値を有するすべての画素をＲ１よりも小さいリセット値Ｒ´１にリセットするステップと、
期間ｔｆに達すると前記すべての画素の出力信号の積分を終了して、前記フレームの平均画素値を演算するステップと、
前記平均画素値に基づいてＲ１とＲ´１との少なくとも１つのための新しい値を演算するステップと、を含むステップを再帰的に行うことでなされる方法。
【請求項１９】
前記平均画素値が明画像に相当するとき、Ｒ１とＲ´１との少なくとも１つのための新しい値を演算することは、現在の値より小さい値を演算することを含む、請求項１８に記載の方法。
【請求項２０】
前記平均画素値が暗画像に相当するとき、Ｒ１とＲ´１との少なくとも１つのための新しい値を演算することは、現在の値より大きい値を演算することを含む、請求項１８に記載の方法。
【請求項２１】
前記平均画素値が明画像に相当するとき、前記方法は、時間ｔ１のためのより小さい値を演算することをさらに含む、請求項１８に記載の方法。
【請求項２２】
前記平均画素値が暗画像に相当するとき、前記方法は、時間ｔ１のためのより大きい値を演算することをさらに含む、請求項１８に記載の方法。
【請求項２３】
時間ｔ１の後だが期間ｔｆよりも前である第２プリセット時間ｔ２において、Ｒ１よりも大きいものである第２リセットしきい値Ｒ２よりも大きい輝度値を有するすべての画素を第２リセット値Ｒ´２にリセットすること、及び
期間ｔｆの後、Ｒ１よりも大きい値を有する画素のみを使用して演算した第２の平均画素値に基づいてＲ２とＲ´２との少なくとも１つのための新しい値を演算することをさらに含む、請求項１８に記載の方法。
【請求項２４】
Ｒ１のための新しい値を演算することは、
【数１】
2019522442.tif 000031
又は
【数２】
2019522442.tif 000032
又は
【数３】
2019522442.tif 000033
の関係のうちの１つを使用して行われ、Ｒ２のための新しい値を演算することは、
【数４】
2019522442.tif 000034
又は
【数５】
2019522442.tif 000035
又は
【数６】
2019522442.tif 000036
の関係のうちの１つを使用して行われ、Ｌは前記センサのビンの総数であり、Ｓ１及びＳ２はスケール因子を含む、請求項２３に記載の方法。
【請求項２５】
Ｒ´１のための新しい値を演算することは、
【数７】
2019522442.tif 000037
の関係を使用して行われ、Ｒ´２のための新しい値を演算することは、
【数８】
2019522442.tif 000038
の関係を使用して行われ、Ｏ平均は、前記センサの最暗画素値である、請求項２４に記載の方法。
【請求項２６】
前記新しい値を、Ｎ個の前のフレームに対して演算した新しい値と平均して、平均の新しい値を得ること、及び前記平均の新しい値を次のフレームに適用することをさらに含む、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本願は、２０１６年７月２８日に出願した米国仮出願第６２／３６８，１４２号の優先権を主張し、その開示のすべてが本明細書に援用される。
【背景技術】
【０００２】
［１．技術分野］
本発明は、特に低光量において、有用な画像をイメージング又は検出するソフトウエア、デバイス、及び方法に関する。画像は、任意のデジタルカメラの任意の光センサを使用して取得することができる。低光での利用において、画像は、低光量、すなわち暗視で検出又はイメージングするために光電陰極を用いて電子衝撃モードで受動型画素センサを使用して取得することができる。
【０００３】
［２．関連技術］
イメージングセンサは、フレーム期間に入射信号又は信号のアレイ（画素）を積分することで画像を構成する。この期間に、信号がデバイス内に捕集されると、各画素の読み出しレベルが変化し、画素によって検知された光の相対量を示す。
【０００４】
最小測定可能信号は、累積信号の読み取りに使用されるセンサの感度（感度しきい値）及びデバイスの精度によって制限される。感度の増大はより小さい信号の検出を可能にする一方で、精度は異なる信号レベルを解像するセンサの性能に対応する。最大積分信号は、この捕集信号を記憶するセンサの容量によって制限される。より大きな信号はより早く累積し、積分期間によってはそれを測定する画素の能力を超えることがある。最大信号量を記憶するとセンサは飽和したとされ、任意のさらなる信号は失われる。したがって、センサは、用途に基づいて、感度しきい値と、読み出し精度と、容量との均衡をはかる必要がある。
【０００５】
Intevac Silicon Imaging Engine(ＩＳＩＥ)は、フレーム内部分リセット機能を取り入れている。この「ソフトリセット」は、所定の段階において飽和値を上げる効果がある。一般に、リセットという用語は画素がゼロにリセットされるときに使用される。しかしながら本記載の文脈では、「リセット」という省略表現は、「ソフトリセット」を指すように使用され、画素がゼロにリセットされるのではなく、現在の値より小さいゼロでない値にリセットされることを意味する。例えば、標準の２５６グレーレベルにおいて、積分期間終了前のある時点で、例えば１８０を超える値を有するすべての画素は、すべての画素の積分を継続しながら、例えば１２０にリセットすることができる。
【０００６】
ソフトリセット後、ＩＳＩＥセンサは、全積分期間の残りにおいて積分を継続する。ソフトリセットしきい値を超えた画素は、オフセットとしてのリセットしきい値からこの新しい積分期間を開始する。ソフトリセットより低い画素は信号の正常な捕集を継続する。複数リセットレベルと分数積分期間は単一フレーム内に配置することができる。特定数の積分期間後、カメラはこれらの積分を画像空間にマッピングする。積分期間とリセットレベルとが既知である限り、マッピングは複雑ではない。
【０００７】
例えば、懐中電灯を持つひとが別の暗いシーンに入る場合、懐中電灯に照らされるすべての画素は飽和する。センサ画素は、コンデンサに光電子を捕集する。明光源がコンデンサをその容量が許容するよりも多い光電子で飽和させると、さらなる信号情報は失われる。つまり、懐中電灯で照らされた物体は画像において細部を失う。積分期間を短くする、又はより暗いレンズを使用する場合、明領域の細部は解像され得るが、暗領域の細部は失われるか又は得られにくくなる。さらに、懐中電灯自体は、それが照らすシーンよりも１００〜１０００倍明るく、これはレンズフレア、鏡面曇り（specular haze）、又は他のグレア関連アーチファクトをもたらし得る。
【０００８】
既知のフレーム分数でソフトリセットを実行することで、センサは、シーンの暗部分の細部を保持し、またより明るい領域に対してより短い期間、信号の捕集を継続し、同じシーンの連続的により明るい部分に対して再びリセットと積分とを行うことができると考えられる。
【０００９】
ＩＳＩＥを用いたセンサは、信号を積分するためのリセットレベルと時間定数とを利用して、種々の照度レベルのシーンのダイナミックレンジを増大可能である。これは、センサの精度を上げるわけではないが、特定の積分期間に記憶した信号の大きさに時間成分を加えて、有効な画素容量をスケーリング可能にする。
【００１０】
デジタルカメラなどのデジタル画像デバイスのダイナミックレンジは、デバイスが正確に測定できるとともに固有画像雑音（電気、熱など）から区別できる最小光量に対する、デバイスが飽和せずに撮像できる最大光量の比率である。
【００１１】
通常の画像センサでは、積分期間後の各フレームの終了時、画像センサはコンデンサ電圧をリセットして次のフレームの光電子を受け取る。この構成において、画素は飽和になり得る。拡張ダイナミックレンジ（extended dynamic range、ＸＤＲ）センサは、フレームの積分期間が完了する前に、光ダイオードにおける電圧レベルが所定の電圧しきい値を超えたときのみ、画素電圧を部分的にリセットすることで、失われた信号を取得するために使用される。これらの部分リセットの目的は、明光源が画素を飽和させるとき、これらの飽和画素の積分時間を延長して、さらなる光電子を捕集することである。リセット電圧を制御する可能な方法は、リセット電圧をスケーリングするためにデジタル−アナログ変換器（ＤＡＣ）を使用することであり得る。
【００１２】
標準ＸＤＲでは、ＸＤＲパラメータは固定され、フレームごとに変化しない。固定ＸＤＲの主な不利な点は、シーンが変わるときにＸＤＲパラメータは最適でないことがあり、リセットピクセルが多くなるか少なくなって、不十分なコントラスト又は非常に雑音の多い画像を生成することである。つまり、シーンは実験室では十分にキャリブレーションされているが、現場に持っていくと所望の画像を描写できないことがある。例えば、すべての可能な偶発性に適する最良のＸＤＲパラメータにより、適度な町の明かりで照らされて平坦で不自然に見えるシーンとなる。他の例では、カメラは直線性ダイナミックレンジを最大化するように構成されて、所定の画素に対する十分なダイナミックレンジを配分できなかったということである。このため、例えば明光源に近接した領域がウォッシュアウトされ、画像の細部が失われた、「コットンボール効果」をもたらす低コントラストの領域が生成され得る。
【００１３】
さらなる情報を得るため、読者には特許文献１及び特許文献２、及び特許文献３を提示する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】米国特許第６，３０７，５８６号明細書
【特許文献２】米国特許第７，４１１，１６８号明細書
【特許文献３】米国特許出願公開第２０１４／０００２６９４号明細書
【発明の概要】
【００１５】
以下の発明の概要は、本発明におけるいくつかの態様及び特徴の基本的な理解を得るために含まれる。この発明の概要は本発明の広範囲の概略ではなく、それ自体特に本発明の不可欠又は重要な要素を特定すること、又は本発明の範囲を詳述することを意図しない。その唯一の目的は、以下に記載されるより詳細な説明の前置きとして簡易な形態の本発明のいくつかの概念を提示することにある。
【００１６】
本発明の実施形態では、画像センサのリセットパラメータの動的な（実行中の）調節が可能になる。これらの実施形態では、画像の非常に明るい領域又は非常に暗い領域を、特に、画像シーケンスが生成されるときこれらの明るい及び／又は暗い領域が経時で変化し得る場合に扱う画像センサの性能が向上する。一例は、画像が主にダイナミックレンジのローエンドの画素からなるような、暗い部屋に入ることであり、懐中電灯を点灯すると、主にダイナミックレンジのハイエンドの画素を有する画像が生成され得る。ＸＤＲパラメータの動的制御を使用して、暗画像と明画像との細部を向上させることができる。
【００１７】
開示の実施形態において、光センサのダイナミックレンジは、特に画像の暗領域と明領域において画像細部を改善するために動的に制御される。少なくとも１つのリセットしきい値と１つのリセット値とが設定される。フレーム積分の終了時に、平均画素値とリセットされなかった最明画素値とが決定され、それに基づいて、リセットしきい値とリセット値との少なくとも１つを変化させる。変化により、より多い・より少ない画素をリセットするようにリセットしきい値を減少・増加させる、リセット値を減少・増加させることで、画素をより小さい・より大きい値にリセットさせる、又はリセットのタイミングを変化させる。一部の実施形態において、リセットしきい値及びリセット値のための演算値は前のＮフレームの演算値と平均し、結果を次のフレームに適用する。
【００１８】
開示の実施形態において、光子センサの出力信号の積分を動的に制御する方法が提供され、積分期間ｔｆにおいて光子センサの各画素に対して出力信号を連続的に積分するフレームを開始するステップと、積分期間ｔｆより短い第１リセット時間ｔ１を定めるステップと、それを超える画素がリセットされる値を定める第１リセットしきい値を設定するステップと、画素がリセットされる値を定める第１リセット値を設定するステップと、第１リセット時間において、第１リセットしきい値よりも大きい値を有するすべての画素を第１リセット値にリセットするステップと、積分期間の終了時に、平均画素値を決定するステップと、平均画素値に基づいて、次のフレームのための第１リセットしきい値と第１リセット値との少なくとも１つに新しい値を設定するかどうかを判定するステップと、を含む。第１リセットしきい値に新しい値を設定することは、フレームの終了時の平均画素値に等しくなるように、又はフレームの終了時のリセットされなかった最明画素値に等しくなるように、第１リセットしきい値を設定することを含むことができる。第１リセットしきい値に新しい値を設定する方法は、平均画素値をビンの総数で除算することで平均画素値比率を演算すること、平均画素値比率を１から減算してミラー化平均画素値比率を得ること、及びミラー化平均画素値比率をビンの総数で乗算すること、を含むことができる。第１リセット値に新しい値を設定する方法は、フレームのヒストグラムにおいて、最暗画素値からリセットされなかった最明画素値までの直線上にある画素値を演算すること、又は、フレームのヒストグラムにおいて、第１リセット時間ｔ１と、最暗画素値からリセットされていない最明画素値までの直線との交点上の画素値を演算すること、を含むことができる。該方法は、スケール因子を設定すること、及び、次のフレームのための第１リセットしきい値と第１リセット値との少なくとも１つを変化させる必要があると判定したとき、次のフレームのための第１リセットしきい値と第１リセット値との少なくとも１つにスケール因子を適用することをさらに含むことができる。該方法は、次のフレームのための第１リセットしきい値と第１リセット値との少なくとも１つを変化させる必要があると判定したとき、第１リセット時間ｔ１の値を変更することをさらに含むことができる。該方法は、ヒステリシスしきい値を設定すること、及び、次のフレームのための第１リセットしきい値と第１リセット値との少なくとも１つを変化させると判定したとき、変化値を算出して、変化値がヒステリシスしきい値を超える場合のみ第１リセットしきい値と第１リセット値との少なくとも１つを変化させることさらに含むことができる。
【００１９】
該方法は、積分期間ｔｆより短いが第１リセット時間ｔ１よりも長い第２リセット時間ｔ２を定めること、第２リセットしきい値を定めることと、第２リセット値を定めること、積分期間の終了時に、第２の平均画素値を決定すること、及び第２の平均画素値に基づいて、次のフレームのための第２リセットしきい値と第２リセット値との少なくとも１つに新しい値を設定するかどうかを判定すること、を含む。第２リセットしきい値に新しい値を設定することは、第１リセットしきい値より大きい値を有する画素のみを使用して演算した平均画素値に相当する第２の平均画素値に基づいて第２リセットしきい値を設定すること、又は、フレームの終了時の１回のみリセットされた最明画素値に等しくなるように第２リセットしきい値を設定することを含むことができる。第２リセットしきい値に新しい値を設定することは、第２の平均画素値をビンの総数で除算して第２の平均画素値比率を得ること、及び第２の平均画素値比率を第１リセットしきい値より大きい値のビンの総数で乗算すること、をさらに含むことができる。該方法は、第２の平均画素値比率を１から減算してミラー化第２比率を得ること、及びミラー化第２比率を第１リセットしきい値より大きい値のビンの総数で乗算すること、をさらに含むことができる。該方法は、第１リセットしきい値に等しいオフセット値を加算することをさらに含むことができる。
【００２０】
さらなる開示の態様において、光学センサを動的に制御する方法は、フレームを開始して、期間ｔｆにおいて、センサのすべての画素の出力信号を積分するステップと、フレームの終了前に、プリセット時間ｔ１において、リセットしきい値Ｒ１よりも大きい輝度値を有するすべての画素をＲ１よりも小さいリセット値Ｒ´１にリセットするステップと、期間ｔｆに達するとすべての画素の出力信号の積分を終了してフレームの平均画素値を演算するステップと、平均画素値に基づいてＲ１とＲ´１との少なくとも１つのための新しい値を演算するステップと、を含むステップを再帰的に行うことでなされる。該方法において、平均画素値が明画像に相当するとき、Ｒ１とＲ´１との少なくとも１つのための新しい値を演算することは、現在の値より小さい値を演算することを含み、平均画素値が暗画像に相当するとき、Ｒ１とＲ´１との少なくとも１つのための新しい値を演算することは、現在の値より大きい値を演算することを含む。また、該方法は、平均画素値が明画像に相当するとき、時間ｔ１のためのより小さい値を演算すること、平均画素値が暗画像に相当するとき、時間ｔ１のためのより大きい値を演算することをさらに含むことができる。
【００２１】
該方法は、時間ｔ１の後だが期間ｔｆよりも前である第２プリセット時間ｔ２において、Ｒ１よりも大きいものである第２リセットしきい値Ｒ２よりも大きい輝度値を有するすべての画素を第２リセット値Ｒ´２にリセットすること、及び期間ｔｆの後、Ｒ１よりも大きい値を有する画素のみを使用して演算した第２の平均画素値に基づいてＲ２とＲ´２との少なくとも１つのための新しい値を演算することをさらに含むことができる。
【００２２】
該方法において、Ｒ１のための新しい値を演算することは、
【数１】
2019522442.tif 000003
又は
【数２】
2019522442.tif 000004
又は
【数３】
2019522442.tif 000005
の関係のうちの１つを使用して行うことができ、
Ｒ２のための新しい値を演算することは、
【数４】
2019522442.tif 000006
又は
【数５】
2019522442.tif 000007
又は
【数６】
2019522442.tif 000008
の関係のうちの１つを使用して行うことができ、
Ｌはセンサのビンの総数であり、Ｓ１及びＳ２はスケール因子を含む。
また、Ｒ´１のための新しい値を演算することは、
【数７】
2019522442.tif 000009
の関係を使用して行うことができ、
Ｒ´２のための新しい値は、
【数８】
2019522442.tif 000010
の関係を使用して得ることができ、
Ｏ平均は、センサの最暗画素値である。
【００２３】
該方法は、新しい値を、Ｎ個の前のフレームに対して演算した新しい値と平均して、平均の新しい値を得ること、及び平均の新しい値を次のフレームに適用することをさらに含むことができる。
【００２４】
この明細書に含まれるともにこの明細書の一部をなす添付の図面は、本発明の実施形態を例示するものであり、詳細な説明とともに、本発明の原理を記載して示す役割を担う。図面は、概略的に例示の実施形態の主な特徴を示すことを意図する。図面は、実際の実施形態のすべての特徴も示される要素の相対的寸法も示すことを意図するものではなく、正確な縮尺で描かれていない。
【図面の簡単な説明】
【００２５】
【図１】図１は、デュアルスロープ領域において狭いダイナミックレンジを有する画像のヒストグラムを示す。
【図２】図２は、デュアルスロープ領域においてダイナミックレンジの増大したヒストグラムを示す。
【図３】図３において、図３Ａは、ダイナミックレンジの減少した最初の固定ＸＤＲヒストグラムを示し、図３Ｂは、ダイナミックレンジの増大した適応的ＸＤＲヒストグラムを示す。
【図４】図４は、フレーム期間における、リセットしきい値及びリセット平均値対積分時間を示す。
【図５】図５は、一実施形態における光センサ回路を示す。
【発明を実施するための形態】
【００２６】
ここで、創意に富んだ適応的ＸＤＲの実施形態を図面に関して記載する。種々の実施形態又はそれらの組合せは、異なる用途に、又は異なる有利性を得るために、用いることができる。得ようとする結果によって、本明細書に開示の種々の特徴を、部分的に又はそのすべて、単独又は他の特徴と組み合わせて使用して、利点を要件や制約と両立させることができる。ゆえに、特定の有利性が種々の実施形態において強調されるが、開示の実施形態に限定されるわけではない。すなわち、本明細書に開示の特徴は、それらが記載される実施形態に限定されるわけではなく、他の特徴と「様々に組み合わせられ」て、他の実施形態に組み込むことができる。また、特に記載されないが、すべての実施形態において、光センサの出力は最終的にスクリーンに表示される。
【００２７】
種々の画像のヒストグラムが図１〜図３Ｂに示される。Ｘ軸は、特定のグレーレベルの画素ビン（例えば、標準のＬ＝２５６グレーレベルでは、ゼロは黒色で軸であり、２５５は白色で右側である）であり、Ｙ軸は、特定のグレーレベルで読み取ったセンサの画素数である。ヒストグラムにおいて、０〜Ｒ１の領域はシングルスロープ領域と呼ばれ、Ｒ１は第１リセットしきい値である。Ｒ１より大きい値を有する画素は第１の時間にリセットされる。第１リセットに含まれる画素はＲ１〜Ｒ２である。Ｒ１〜Ｒ２の領域は、デュアルスロープ領域と呼ばれる。デュアルスロープ領域の画素は、シングルスロープ領域の画素より低いＳＮＲを有する。Ｒ２より大きい値を有する画素は第２の時間にリセットされる。第２リセットに含まれる画素はＲ２〜Ｌ（標準グレーレベルスケールではＬ＝２５６、又は、より高解像度のシステムでは１０２４などより大きい数である）である。Ｒ２〜Ｌの領域は、トリプルスロープ領域と呼ばれる。トリプルスロープ領域の画素は、デュアルスロープ領域の画素より低いＳＮＲを有する。
【００２８】
図１は、不十分なコントラストの像を含むウォッシュアウト領域をもたらす懐中電灯のヒストグラムを示す。これは、いわゆる「コットンボール効果」の例である。開示の実施形態において、この課題を解決する手段は、動的シーンに適応するように動的にＸＤＲパラメータを変えることである。この適応的ＸＤＲ方法は、シーンにおいて必要なときダイナミックレンジを増大させ、また、できるだけ少ない画素をリセットすることで、全体的な信号対雑音比（ＳＮＲ）を大きくすることができる。一部の開示の実施形態では、これはＲ１及びＲ２の値を動的に変化させて行われる一方、他の実施形態では、Ｒ´１及びＲ´２の値並びに／又はリセットのタイミングも変化させることができる。他の変形は、特定の実施例に関して以下に記載する。
【００２９】
開示の実施形態において、ＸＤＲパラメータの動的制御は、すべての画素にリアルタイムで行うことができる。この文脈において、「リアルタイム」という用語は、画像又は画像データを受信又は撮像すると直ちに画像を処理することを指す。つまり、リアルタイムとは、画像を受信する（又は撮像する）のと少なくとも同じ速度で画像を処理することを指す。例えば、３０ｆｐｓの速度では、ＸＤＲパラメータは３０回演算されるが、各フレームに変化は必要ない、又は適用されないことがある。一方で、一部の適用では、ＸＤＲパラメータの動的制御はリアルタイムである必要はなく、例えばｘ個のフレーム毎後に、又はヒストグラムにおける変化がプリセットしきい値を超えたときのみなど、むしろより遅い速度で行われる。他の選択肢は、変化を前のＮ個のフレームの変化と平均するために、変化毎に変化を演算して、移行を滑らかにすることである。実施形態の操作は、以下のようになされ得る。
【００３０】
時間ｔ０とする、フレーム捕捉開始時に、すべての画素はゼロのビンにある（雑音より大きくてシステムが判別できる最暗レベル）。暴露時間に、画素は輝度を積分して、その対応するビンに分散し始める。所定のプリセット時間ｔ１において、リセットしきい値Ｒ１を超える（すなわちより明るい）すべての画素は、Ｒ´１とされる、より小さい値にリセットされる（図１の点線矢印で示す）。積分がさらに進行すると、ｔ２とされる第２の時間において、Ｒ２を超えるすべての画素はより小さい値Ｒ´２にリセットされる。フレーム終了時、すなわち積分時間ｔｆ終了時に、図１に示すヒストグラムが得られる。
【００３１】
フレームから得られたヒストグラムには、デュアルスロープ領域において大きいピークがあるので、デュアルスロープ領域のピークに起因する高照度のため、画像の多くの細部が失われる。開示の実施形態において、画像のダイナミックレンジを調節することで画像を向上させる。これは、ＸＤＲパラメータの値を調節することで行うことができる。
【００３２】
図２は、Ｒ１及びＲ２の値を移動させることでダイナミックレンジをさらにウォッシュアウト領域に配分して、コントラストを増大し、さらなる細部を与えることを示す。この例では、Ｒ１は左に移動した（設定点減少）。Ｒ２の値も少量だが減少して、Ｒ１とＲ２との距離が長くなった、すなわち、２重スロープ領域の距離が大きくなった。つまり、この実施形態を考える１つの方法は以下のとおりである。光センサのダイナミックレンジを向上させる方法は、フレーム期間ｔｆにおいて、光センサのすべての画素の出力信号を積分すること、第１リセットしきい値Ｒ１と第２リセットしきい値Ｒ２とを設定して、第１リセットしきい値Ｒ１と第２リセットしきい値Ｒ２との間の幅を有するスロープ領域を定めること、スロープ領域における画素の集中度を判定すること、及び第１リセットしきい値Ｒ１と第２リセットしきい値Ｒ２との少なくとも１つを調節してスロープ領域の幅を変化させることを含む。また、実施形態は光センサのダイナミックレンジを向上させる方法として記載されることができ、フレーム期間ｔｆにおいて、光センサのすべての画素の出力信号を積分すること、０〜Ｎの値を有する複数の輝度ビンを設定すること、０〜Ｎの値を有する第１リセットしきい値Ｒ１とＲ１〜Ｎの値を有する第２リセットしきい値Ｒ２とを設定して、０〜Ｒ１の幅を有する第１スロープ領域とＲ１〜Ｒ２の幅を有する第２スロープ領域とＲ２〜Ｎの幅を有する第３スロープ領域とを定めること、第１スロープ領域と第２スロープ領域と第３スロープ領域とにおける画素の集中度を判定すること、及び第１リセットしきい値Ｒ１と第２リセットしきい値Ｒ２との少なくとも１つを調節して第１スロープ領域と第２スロープ領域と第３スロープ領域との少なくとも１つの幅を変化させることを含む。
【００３３】
以下の数値例はこの操作の理解を助けるものである。図１のフレームのものについてみると、Ｒ１は１３０に設定され、Ｒ２は２２０に設定された。また、Ｒ´１は１１０に設定され、Ｒ´２は２００に設定された。時間ｔ１において、１３０よりも明るいすべての画素は１１０にリセットされる。そして、ｔ２において、２２０よりも明るいすべての画素は２００にリセットされる。図１の例の特定の場合に、いわゆる「コットンボール効果」になる。この効果を避けるため、次のフレームに対して値が調節され、例えばＲ１を１００に設定し（すなわち第１リセットは図１のリセットには含まれないいくつかの画素を含む）、第１スロープ領域の幅が狭くなる。Ｒ２の値は２００に設定されて、第３スロープ領域の幅が広くなる。Ｒ２も左に移動するが、Ｒ１の移動より少ないビン数だけ移動して、Ｒ１とＲ２との距離、すなわち第２スロープ領域の幅が９０から１００に広がる。また、この例において、Ｒ´１の値は８０に設定され、Ｒ´２の値は１８０に設定される。本質的に、この方法の効果は、各リセットの際にリセットされる画素数を動的に変化させることである。さらに、この方法は、各リセットの際にリセット値を動的に変化させるために使用することができる。すなわち、Ｒ１及びＲ２の値は、リセットの際にリセットされる画素数を制御する一方で、Ｒ´１及びＲ´２の値は、リセットの際にリセット画素がとるリセット値を制御する。本発明の実施形態において、カットオフビンの値（リセットしきい値Ｒ１及びＲ２）とリセット値（Ｒ´１及びＲ´２）とのいずれか又は両方を動的に変化させることができる。
【００３４】
本方法の操作のさらなる例は以下のとおりである。例えば、任意の明光源をシーンに含まない場合、全体的なＳＮＲとダイナミックレンジとを増大させることから、シングルスロープ領域内の領域を最大化することが望ましいことがある。例えば、センサが影の多い暗領域をイメージングするとき、画像の多くの細部が失われ得る。図３ｂは、原画像である図３ａと比較して、適応的ＸＤＲがダイナミックレンジを増大させた場合を示す。この特定の場合に、Ｒ１の値は大きくしたがＲ２の値は小さくした。Ｒ１の値を大きくすることにより、より多くの画素がリセットされることなく信号を積分する、又は少なくとも第１リセットを回避することができた。すなわち、第１スロープ領域の幅が広くなる。Ｒ２の値を小さくすることにより、いくつかの画素をトリプルスロープ領域に入れることができて、全般的に画像が明るくなるが、飽和を避けることができる。Ｒ１とＲ２との距離が狭くなる、すなわち、２重スロープ領域が狭くなるので、Ｒ１の増加によりいくつかの画素が飽和になる可能性がある場合に、第２リセットにそれらの画素を含むこと、すなわち第３スロープ領域の幅を広くすることによりそうした結果を避けることができる。
【００３５】
経時でシーンが変わって、センサから異なる反応を得るようになり得るので、開示の実施形態では、Ｒ１及びＲ２並びに／又はＲ´１及びＲ´２を実行中に調節することでセンサを動的に最適化する。このように、画像を生成するとき各シーンに対して最適リセットレベルを得ること、又は、例えば、設定しきい値を超えてヒストグラムの変化をもたらす量だけシーンの全般的な照明が変わるとき適切な変化を行うことができる。
【００３６】
以下は、ＸＤＲニーポイント（すなわちＲ１及びＲ２のカットオフビン値）を動的に得るための例示の実施形態を提示するものである。種々の状況の実施例としていくつかの実施形態が示されるが、実施形態のいずれか１つ又は組合せを実施することができることが理解される必要がある。
【実施例】
【００３７】
ＸＤＲニー、実施例１
この実施形態は、これらに限定されないが、薄暗い、鏡面の、又は拡散した照明などの状況において使用することができる。この実施例では、Ｒ１及びＲ２の２つのニーポイント（リセットしきい値）を使用する。Ｒ１の目的は、影を光から分けることである。例えば、以下に示すようにＲ１及びＲ２を演算することで、２つのリセットしきい値の場合を実施することができる。
【００３８】
第１ニーポイント（リセットしきい値としても言及されることがある）Ｒ１は、
【数９】
2019522442.tif 000011
によって得られる。Ｌ＝ビン総数（例えば、標準グレースケールでは２５６、拡張グレースケールでは１０２４など）である。総画素数で除算した全画素値の合計は、フレームの平均画素値を表す。そして、平均画素値をビン総数であるＬで除算して、０〜１の値を生成する。この結果は平均画素値比率を表す。この特定の実施例において、１と比率との相違を計算して比率をミラー化し、これがＲ１を暗いシーンに関して上へと移動させ、明るいシーンに関して下に移動させることを可能にする。すなわち、平均画素値比率の値が０．５未満である場合（より暗いシーンを表す）、ミラー化することでＲ１の値を右に移動する一方で、平均画素値比率の値が０．５を超える場合（より明るいシーンを表す）、ミラー化することでＲ１の値を左に移動する。最後に、単に０〜１の比率の数であるミラー化した結果を、Ｌで乗算することでデジタル数に変換する。
【００３９】
Ｒ２の目的は、直射光源を鏡面光又は減衰光から分けることである。第２リセットしきい値を得るために、Ｒ１より大きい画素値のみが使用される。ゆえに、Ｒ２の値はＲ１によってオフセットされ、
【数１０】
2019522442.tif 000012
によって得られる。
【００４０】
平均画素値は、Ｒ１より大きい値を有する画素のみを使用して演算される。結果をＬで除算して、Ｒ１より大きい値を有するすべての画素に対して平均画素値比率を取得する。この実施例において、１と比率との相違を計算して比率をミラー化する。そして、ミラー化した比率を（Ｌ−Ｒ１）で乗算することで、比率をＲ１〜Ｌのビン範囲に合わせるようにスケーリングする。最後に、オフセット値としてオフセットＲ１を加算する。
【００４１】
この実施例において、平均画素値が４００であり、１０２４ビンの高解像度センサである場合、４００／Ｌ＝０．３９１である。この値をミラー化すると１−０．３９１＝０．６０９となる。しかし、画素値は０〜Ｌの範囲であるので、これを可能な画素値の範囲にスケーリングして戻す必要がある。これは、Ｒ２を演算する場合に（Ｌ−Ｒ１）で、Ｒ１を演算する場合にＬで乗算することで行われる。実施例では、Ｒ２を演算するとき、Ｒ１＝３００とする。すると、０．３９１×（１０２３−３００）＝２８２.６９３となり、この特定の実施例では過大包含（over inclusive）とするために２８２に切り下げられる。しかしながら、この値はＲ１からオフセットされる必要があり、オフセットとしてＲ１を加算して、Ｒ２＝２８２＋３００＝５８２を得る。
【００４２】
Ｒ１及びＲ２の値は、１）直射源が存在しないときシングルスロープ領域においてダイナミックレンジを増大するため（すなわち、第１スロープ領域の幅を広くする）、２）薄暗い光源のみが存在して直射照明がないときデュアルスロープ領域においてダイナミックレンジを増大するため（すなわち、第２スロープ領域の幅を広くする）、及び３）Ｒ１より大きい値を有する画素の平均画素値が飽和に近いとき高い値の画素をより積極的に減衰させるため（すなわち、第３スロープ領域の幅を広くする）、の状況の少なくとも１つのために設計されている。
【００４３】
本明細書に記載するこの実施例又は任意の他の実施例において実施され得る他の特徴において、１つ以上のスケール因子を追加することができる。一部の実施形態では、カメラ操作者がその好ましい使用状況に対してアルゴリズムを微調整又は較正することができるように、スケール因子の制御をカメラ操作者が利用可能になっている。スケール因子は、平均画素値比率を生成するときに適用することができる。そうした適用において、単に平均画素値をＬで除算するのではなく、平均画素値をまたスケール因子で乗算する。実施例１の実施形態では、これは、
【数１１】
2019522442.tif 000013
及び
【数１２】
2019522442.tif 000014
のとおり適用可能であり、Ｓ１及びＳ２は同じ又は異なるスケール因子であってもよい。記載されるように、これは例示の実施例のいずれにも適用可能であって、比率１／Ｌがこの説明に出てきたときはいつでもＳｘ／Ｌの選択肢を含むものとして考えられ、ｘは、異なるスケール因子を用いるときに異なるしきい値に適用されるスケール因子を区別するために使用することができる。
【００４４】
ＸＤＲニー、実施例２
この実施形態は、これらに限定されないが、直射光、低光、又は光学系がレンズフレア、ベーリンググレア、又は鏡面曇りなどのアーチファクトを生成する場合などの状況において使用することができる。例えば、２つのリセットしきい値の場合を以下のように実施することができる。
【００４５】
第１リセットしきい値Ｒ１は、
【数１３】
2019522442.tif 000015
によって得られ、Ｌ＝ビン総数である。
【００４６】
Ｒ１の目的は、影を光から分けることである。画素値合計と画素総数との比率は、ビン総数であるＬで除算したとき、０〜１の値を生成する。この結果は平均画素値比率を表す。そして、１と比率との相違を計算して比率をミラー化し、これがＲ１を暗いシーンに関して上へと移動させ、明るいシーンに関して下に移動させることを可能にする。最後に、ミラー化した結果をＬで乗算することでデジタル数に変換する。
【００４７】
Ｒ１によってオフセットされる第２リセットしきい値Ｒ２は、
【数１４】
2019522442.tif 000016
によって得られる。
【００４８】
Ｒ２の目的は、直射光源を鏡面光又は減衰光から分けることである。第２リセットしきい値を得るために、Ｒ１より大きい画素値のみが使用される。Ｒ１より大きい値を有する画素の平均画素値比率を得た後、比率をＲ１〜Ｌのビン範囲に合わせるようにスケーリングする。この実施例ではミラー化されないということが言及される。最後に、オフセット値としてオフセットＲ１を加算する。例えば、Ｒ１＝１５６及びＬ＝２５６である場合、ビン範囲は１００であり、平均画素値を０〜１００にスケーリングする。平均画素値比率＝０．５である場合、Ｒ１に加算する平均画素値は５０であり、Ｒ２＝２０６である。
【００４９】
この実施例では、Ｒ１及びＲ２は、１）直射光源が存在しないときシングルスロープ領域においてダイナミックレンジを増大するため（すなわち、第１スロープ領域の幅を広くする）、２）「コットンボール効果」など、直射光源の存在下でデュアルスロープ領域においてダイナミックレンジを増大するため（すなわち、第２スロープ領域の幅を広くする）、及び３）全体的なＳＮＲを大きくするため雑音の多いトリプルスロープ領域において画素数を制限するため（すなわち、第３スロープ領域の幅を狭くする）、の状況の少なくとも１つのために設計されている。
【００５０】
ＸＤＲニー、実施例３
この実施形態は、これらに限定されないが、シングルスロープのダイナミックレンジを最大化する必要があるとき又は雑音を最小に維持する必要があるときなどの状況において使用することができる。例えば、２つのリセットしきい値の場合を以下のように実施することができる。
【００５１】
第１リセットしきい値Ｒ１は、
【数１５】
2019522442.tif 000017
によって得られ、Ｌ＝ビン総数である。
【００５２】
Ｒ１の目的は、影を光から分けることである。画素値合計と画素総数との比率は、ビン総数であるＬで除算したとき、０〜１の値を生成する。この結果は平均画素値比率を表す。結果は、Ｌで乗算することでデジタル数に変換される。つまり、本質的に、この実施例においてＲ１の値は平均画素値に設定されている。
【００５３】
Ｒ１によってオフセットされる第２リセットしきい値Ｒ２は、
【数１６】
2019522442.tif 000018
によって得られる。
【００５４】
Ｒ２の目的は、直射光源を鏡面光又は減衰光から分けることである。第２リセットしきい値を得るために、Ｒ１より大きい画素値のみが使用される。Ｒ１より大きい値を有する画素の平均画素値比率を得た後、比率をＲ１〜Ｌのビン範囲に合わせるようにスケーリングする。最後に、オフセット値としてオフセットＲ１を加算する。例えば、Ｒ１＝１５６及びＬ＝２５６である場合、ビン範囲は１００であり、平均画素値を０〜１００にスケーリングする。平均画素値比率＝０．４である場合、Ｒ１に加算する平均画素値は４０であり、Ｒ２＝１９６である。一方、平均画素値比率＝０．６である場合、Ｒ１に加算する平均画素値は６０であり、Ｒ２＝２１６である。
【００５５】
この実施例では、Ｒ１及びＲ２は、多くの照明条件においてシングルスロープ領域のダイナミックレンジを増大させて、全体的なＳＮＲを大きくする状況のために設計されている。
【００５６】
ＸＤＲニー、実施例４
この実施形態は、これらに限定されないが、直射光及び鏡面光などの状況において使用することができる。例えば、２つのリセットしきい値の場合を以下のように実施することができる。
第１リセットしきい値Ｒ１は、
【数１７】
2019522442.tif 000019
によって得られ、Ｌ＝ビン総数である。
【００５７】
Ｒ１の目的は、影を光から分けることである。画素値合計と画素総数との比率は、ビン総数であるＬで除算したとき、０〜１の値を生成する。この結果は平均画素値比率を表す。結果は、Ｌで乗算することでデジタル数に変換される。因数Ｌは分数１／Ｌを相殺するので、この実施例においてＲ１は事実上平均画素値になるように設定されている。
【００５８】
Ｒ１によってオフセットされる第２リセットしきい値Ｒ２は、
【数１８】
2019522442.tif 000020
によって得られる。
【００５９】
Ｒ２の目的は、直射光源を鏡面光又は減衰光から分けることである。第２リセットしきい値を得るために、Ｒ１より大きい画素値のみが使用される。Ｒ１より大きい値を有する画素の平均画素値比率を得た後、１と比率の相違を計算して比率をミラー化する。結果をＲ１〜Ｌのビン範囲に合うようにスケーリングして、値Ｒ１をオフセット値として加算する。例えば、Ｒ１＝１５６及びＬ＝２５６である場合、ビン範囲は１００であり、平均画素値を０〜１００にスケーリングする。平均画素値比率＝０．４である場合、Ｒ１に加算する平均画素値は６０であり、Ｒ２＝２１６である。一方、平均画素値比率＝０．６である場合、Ｒ１に加算する平均画素値は４０であり、Ｒ２＝１９６である。
【００６０】
この実施例では、Ｒ１及びＲ２は、１）シングルスロープ領域においてダイナミックレンジを増大するため、２）鏡面光源及び直射光源を積極的に減衰させるため、及び３）直射光源からさらに細部を解像可能であるようにトリプルスロープ領域においてダイナミックレンジ増大させるため、の状況の少なくとも１つのために設計されている。
【００６１】
１つのＸＤＲニー、実施例５
ここで、１つのフレームの積分プロットを示す図４を参照する。ｘ軸は任意単位の積分時間であり、ｙ軸は任意単位の積分信号である。時間ｔ１は第１リセットが実施される時間であり、時間ｔ２は第２リセットが実施される時間であり、時間ｔｆは積分終了時間であり、フレームが読み取られる。Ｒ１とｔｆとの交点は、リセットされなかった最明画素値を示し、Ｒ２とｔｆとの交点は、１回のみ、すなわちｔ１においてリセットされた最明画素値を示す。
【００６２】
上述のように、開示の実施形態において、リセット画素はゼロにリセットされないが、その現在の値より小さい値にリセットされる。Ｒ´１とｔ１との交点は、すべての画素が時間ｔ１でリセットされる値を示す。ゆえに、Ｒ´１とｔ１との交点はまた、第１リセット時間ｔ１における最明画素の値を示す。Ｒ´２とｔ２との交点は、Ｒ２より大きいすべての画素が時間ｔ２でリセットされる値を示す。ゆえに、Ｒ´２とｔ２との交点はまた、第２リセット時間ｔ２における最明画素の値を示す。
【００６３】
センサが雑音レベルを超えて感知できるゼロ値であるとともにフレームの積分を始める前に画素を開始する値である初期値から、リセットされなかった最明画素値である最大値に延びる直線上にあるようにＲ１の値を演算すると、最良の結果が得られることが本発明者らにより見出された。
【００６４】
リセットパルス時における最大未リセット画素の値は全積分が完了するまで読み取ることができないので、これは前のフレームから外挿する必要がある。この値にはＲ１´の値を割り当てる。Ｒ１´は、
【数１９】
2019522442.tif 000021
として規定され、
・値「ｔ１」は、第１リセットパルスが発生するフレーム内の時間であり、
・値「ｔｆ」は、フルフレーム積分時間であり、
・Ｏ平均は、センサの平均暗値（すなわち、光のない平坦な画像又は最暗画素値）である。
【００６５】
Ｒ１−Ｏ平均の値は最大値の値を与え、総積分時間と第１リセットの時間との比率、すなわちｔ１／ｔｆで乗算すると、Ｏ平均からｔｆの直線におけるリセット時間ｔ１の最明画素の値を与える。しかしながら、Ｏ平均を加算することで画素の最小感度のためのオフセットを再導入する必要がある。画像を適切に表現するために、
・最新のフレームの平均輝度、
・リセットされた直後のリセット画素の平均輝度、
・リセットが実行されるフルフレーム期間の分数、
・フレームの期間、
・暗いシーンの「輝度」、の情報を使用する。
【００６６】
最新のフレームの平均輝度は、上述のように、以前に導出されている。
【数２０】
2019522442.tif 000022
【００６７】
上述のように、Ｒ値は、現在のフレームにおけるリセット画素の平均輝度に相当する。これらが求められる方法は、ユーザのニーズによりよく対応するため前述のように変更されてもよい。
【００６８】
適切なリセットレベル及びスケール因子を割り当てるため、最大未リセット画素のフルフレーム輝度をバックアウトする必要がある。これは、リセットをする直前及び直後の両方でリセットしきい値に等しい画素に相当する。この値を超えるものすべてはリセット後積分期間に照らしてスケーリングされる。すなわち、積分期間終了時に、Ｒより大きい値を有する任意の画素は必然的にリセットされている。ゆえに、その真値（すなわちリセットされていない場合）を得るために、画素は、リセットの影響を「取り除く」ためにスケーリングし戻す必要がある。このように、Ｒより大きい値ｐを有する画素の真値は、Q=(p-R)*((1-tn/tf)-1)+Rとして演算可能である。
【００６９】
この適用は、１）視野にはない電灯で照らされた暗い通り、又は２）月の出又は月の入りの地平線シーンなどの、明光源を含む単一シーン、である明確な照明領域の少なくとも１つがあるシーンに有用である。
【００７０】
この実施例において、時間ｔ１は、シーンの照明領域に十分な積分時間を与えるように調節されることができる、又は月などの明光源がシーンの残りの部分の細部を覆わないように設定することができる。
【００７１】
２つのＸＤＲニー、実施例６
実施例５において、第１リセット値を導出する方法が示され、これは１つのリセットのみが使用される場合に、又は１つ以上のリセット値を使用するときに第１リセット値として、用いることができる。以下の記載は、少なくとも２つのリセットがある場合にどのようにリセット値Ｒ´２を導出するかを示す。
【００７２】
第２リセットにおいて、値は、
【数２１】
2019522442.tif 000023
であり、
・Ｒ２は、例えば実施例１〜４における、上述の実施例のいずれかを使用して導出され、
・Ｒ１´は、実施例５に示す方法を使用して導出され、
・Ｒ２´は、全積分後にＲ２と等しくなり、かつ時間ｔ２において所望のリセットしきい値に相当する画素値であり、
・値「ｔ１」は、第１リセットパルスが発生するフレーム内の時間であり、
・値「ｔ２」は、第２リセットパルスが発生するフレーム内の時間であり、
・値「ｔｆ」は、フルフレーム積分時間である。
画像を適切に表現するために、
・最新のフレームの平均輝度、
・リセットされた直後のリセット画素の平均輝度、
・リセットが実行されるフルフレーム期間の分数、
・フレームの期間、
・暗いシーンの「輝度」、すなわちＯ平均、の情報を使用する。
【００７３】
最新のフレームの平均輝度は、上述のように、以前に導出されている。
【数２２】
2019522442.tif 000024
【００７４】
上述のように、Ｒ値は、現在のフレームにおけるリセット画素の平均輝度に相当する。これらが求められる方法は、ユーザのニーズによりよく対応するため前述のように変更されてもよい。
【００７５】
適切なリセットレベル及びスケール因子を割り当てるため、最大未リセット画素のフルフレーム輝度をバックアウトする必要がある。これは、リセットをする直前及び直後の両方でリセットしきい値に等しい画素に相当する。この値を超えるものすべてはリセット後積分期間に照らしてスケーリングされる。
【００７６】
遠くに見えるシーンは、街、空港、及び駐車場など、暗領域と照明領域とを含み得る。これらのシーンは街灯や滑走路灯、又は車のライトなど、照明の直射源を含むことがある。この条件で、暗い地域及び照明地域のためのダイナミックレンジと直射源の減衰との両方を提供するために、センサを２回リセットすることができる。この実施例において、前述のように、ｔ値もまた状況によりよく対応するために変更することができる。例えば、第１リセットｔ１までの時間を短くすることは、直射光源が画素を飽和させる又は周囲領域の画像のウォッシュアウトすることを避けるのに利用することができる。一方で、第１リセットｔ１のタイミングを遅延させることは、極端な暗領域からより多くの光子を捕集するのに利用することができる。アレイ上のすべての画素は同時に、また個別にリセットすることができるので、Ｒ´値を超える画素のみをその対応するリセット時間にリセットする。
【００７７】
複数のＸＤＲニー、実施例７
本発明の態様は、１つ又は２つのリセットに限定されるものではなく、任意の数のリセットがなされる。前述の方法を使用して、センサが許容する限りの多くのＸＤＲニーを含むことができる。
【数２３】
2019522442.tif 000025
・Ｒｎは、Ｒ２と類似することが理解され（実施例１〜４を参照）、Ｒｎ−１を超える画素の平均を用いて決定する。
・Ｒｎ−１´は、Ｒ２と同様に、前述の式から導出される。
・Ｒｎ´は、全積分後にＲｎと等しくなり、かつ時間ｔｎにおいて所望のリセットしきい値に相当する画素値である。
・値「ｔｎ−１」は、対象のパルスの前のリセットパルスが発生するフレーム内の時間である。
・値「ｔｎ」は、ｎ回目のリセットパルスが発生するフレーム内の時間である。
・値「ｔｆ」は、フルフレーム積分時間である。
画像を適切に表現するために、
・最新のフレームの平均輝度、
・リセットされた直後のリセット画素の平均輝度、
・リセットが実行されるフルフレーム期間の分数、
・フレームの期間、
・暗いシーンの「輝度」、の情報を使用する。
【００７８】
最新のフレームの平均輝度は、上述のように、以前に導出されている。
【数２４】
2019522442.tif 000026
【００７９】
上述のように、Ｒ値は、現在のフレームにおけるリセット画素の平均輝度に相当する。これらが求められる方法は、ユーザのニーズによりよく対応するため前述のように変更されてもよい。
【００８０】
適切なリセットレベル及びスケール因子を割り当てるため、最大未リセット画素のフルフレーム輝度をバックアウトする必要がある。これは、リセットをする直前及び直後の両方でリセットしきい値に等しい画素に相当する。この値を超えるものすべてはリセット後積分期間に照らしてスケーリングされる。
【００８１】
この方法は、明るいシーンの上限の維持に有用であると理解できる。複数のリセットパルスを実行してリセット間の時間を変化させることで、センサは、明光源、又は特定のしきい値を超えるすべてを制限するように設定することができる。このため、センサは極端な明光源によってウォッシュアウトされることなく複数の照明領域を解像することができるが、センサ自体がそれら光源によって損傷されることはない。
【００８２】
この意味で、この実施形態は、フレームｔｆの積分期間を設定するステップと、複数のｎ個のリセット期間ｔｎを設定し、ｎは正の自然数であるステップと、複数のｎ個のリセット値Ｒ´ｎを設定するステップと、ｉ）時間ｔｎにおいてリセット値Ｒ´ｎを用いてリセット操作を行いながら、積分期間において光センサのすべての画素の出力信号を積分することで、積分信号を得るステップ、ｉｉ）積分信号をスクリーンに表示するステップ、ｉｉｉ）積分信号から、時間ｎ−１でリセットされなかった最明画素値として規定される最大値Ｒｎを演算するステップ、及びｎ個のリセット値Ｒ´ｎのそれぞれを
【数２５】
2019522442.tif 000027
の関係に基づいて演算するステップを再帰的に行うステップとを含む、光センサのダイナミックレンジを向上させる方法として規定することができる。
【００８３】
複数スロープ（MULTISLOPE、ＭＳ）レベル
複数スロープ（ＭＳ）レベルは、デジタル−アナログ変換器（ＤＡＣ）によってアナログリセット電圧に変換することができるデジタル数である。センサは、一般に、８ビット（Ｌ＝２５６）、１０ビット（Ｌ＝１０２４）、１２ビット（Ｌ＝４０９５）などのビット深度を有することができる。一方、ＤＡＣは、例えば６ビットなどの異なるビット深度を有し得る。ゆえに、センサのビット深度がＭＳレベルのビット深度と異なる場合のため、以下において、（この特定の実施例では２つの画素リセットレベルに対して）センサのビット深度からＭＳレベルのビット深度への変換を示す。
【数２６】
2019522442.tif 000028
【数２７】
2019522442.tif 000029
Δｂは、センサとＭＳレベルとの間のビット深度の違いである（例えば、１０ビットのビット深度を有するセンサと６ビットのビット深度を有するＤＡＣとではΔｂ＝１０−６＝４）。ＭＳレベルの数（上述の実施例では２）は、画素リセットの数と等しい。言い換えると、ＤＡＣがより小さいビット深度を有する場合、リセット値の利用可能な数は、センサの利用可能なビン（Ｌ）の数にマッピングされる。上述の実施例を用いて説明すると、センサは１０ビット深度を有する一方で、ＤＡＣは６ビット深度を有するのみであるので、Δｂ＝４である。例えば、Ｒ´１は７２０、Ｒ´２は９６０になるように演算される。上述の関係を用いて、Ｒ´１はｍｓ１＝４５に、及びＲ´２はｍｓ２＝６０にマッピングされる。このように、実際のリセット値の粒度をいくらか下げて、センサで利用可能な粒度を生成する。しかしながら、リセット値の変化は、ＤＡＣが有する粒度を超えるまで発生しないので、これは固有フィルタとして機能することができる。
【００８４】
Ｎタップ無限インパルス応答（ＩＩＲ）移動平均フィルタは、特定の条件下で振動を引き起こす可能性があるＭＳレベルの大きな動きに対応するために使用することができる。各ＭＳレベルは、それ自体のＮタップＩＩＲ移動平均フィルタを有する。最後のＮ−１ファーストイン・ファーストアウト（ＦＩＦＯ）値は前のフレームから保存されて、ＭＳレベルを以下のようにともに平均する。
【数２８】
2019522442.tif 000030
【００８５】
改良したリセット処理を実施する回路の実施形態を図５に示す。図５の図面は１画素のみを示すが、同じ回路が各画素に対して繰り返される。すべての画素からの信号は最終的にスクリーン５００に表示するために送信される。センサの画素Ｐｉは、グランドレベルと積分トランジスタＴｉのゲートとの間、及びにグランドレベルとリセットトランジスタＴｒのドレインとの間に接続されている。両方のトランジスタＴｒ及びＴｉのソースはＶｃｃに接続されている。光が画素にあたると、画素Ｐｉの出力は、積分信号Ｓｉが出力されて積分可能になるように（図示せず）、積分トランジスタＴｉのゲートを開く。画素をリセットすることが望ましいとき、ＤＡＣからリセットトランジスタＴｒのゲートに電位を与える。しかしながら、それぞれ演算したリセット信号をＤＡＣに単に与えることで画像に不要な人工的効果をもたらすということが発明者らにより見出されている。ゆえに、図５の実施形態において、ＤＡＣの上流にヒステリシスゲートＨを挿入する。一実施形態において、ヒステリシスゲートはソフトウエア上で実行されるとともにしきい値として機能して、ｍｓ信号がしきい値を下回る場合に信号がＤＡＣに供給されず、画素がリセットされないというようになる。上述のように、ヒステリシスはまた、各リセット値に対して移動平均を用いて導入することもできる。一方、ヒステリシスゲートは、ハードウェアで実行される場合、インダクタを用いて実行することができる。また、それぞれ演算したｍｓｎを与えるのではなく、演算したＮ個の複数スロープを平均することもできる。
【００８６】
本明細書に記載の処理や技術は本質的に任意の特定の装置に関するものではなく、任意の適切な構成要素の組合せによって実施することができる、ということが理解される必要がある。さらに、本明細書の記載に従って、種々のタイプの汎用デバイスを使用することができる。本発明は、特定の実施形態に関して記載されているが、これらはあらゆる点で限定ではなく例示を目的としている。本発明の実施に数多くの異なる組合せが適するということを当業者は理解するであろう。
【００８７】
さらに、本発明の他の態様は、本明細書を考慮し、本明細書に開示の本発明を実施することから、当業者には明らかになる。記載の実施形態の種々の態様及び／又は構成要素は単独で又は任意の組合せで使用することができる。明細書及び実施例は例示のみとして考慮され、本発明の真の範囲及び趣旨は以下の特許請求の範囲によって示されるということが意図されている。
【図１】
2019522442.tif 000039
【図２】
2019522442.tif 000040
【図３】
2019522442.tif 000041
【図４】
2019522442.tif 000042
【図５】
2019522442.tif 000043
【国際調査報告】
2019522442.tif 000044