(57)【要約】  １つの例では、装置は、光の第１の成分を第１の電荷に変換するように構成された第１のフォトダイオードと、光の第２の成分を第２の電荷に変換するように構成された第２のフォトダイオードと、第１の結果および第２の結果をそれぞれ生成するために、第１の電荷の第１の量子化および第２の量子化を実行することであって、第１の量子化および第２の量子化が、異なる光強度範囲に関連付けられる、実行すること、ピクセルの第１の成分の強度を表すために、第１の結果または第２の結果のうちの１つを提供すること、第３の結果および第４の結果をそれぞれ生成するために、第２の電荷の第１の量子化および第２の量子化を実行すること、ならびにピクセルの第２の成分の強度を表すために、第３の結果または第４の結果のうちの１つを提供することを行うように構成された、インターフェース回路とを備える。【選択図】図１８
2021519011.tif 000002
【特許請求の範囲】
【請求項１】
光の第１の成分を第１の電荷に変換するように構成された第１のフォトダイオードと、
前記光の第２の成分を第２の電荷に変換するように構成された第２のフォトダイオードと、
インターフェース回路であって、
第１の結果および第２の結果をそれぞれ生成するために、前記第１の電荷の第１の量子化および第２の量子化を実行することであって、前記第１の量子化が、強度の閾値より高い第１の強度に関連付けられ、前記第２の量子化が、前記強度の閾値より低い第２の強度に関連付けられる、前記第１の電荷の第１の量子化および第２の量子化を実行すること、
ピクセルの前記第１の成分の強度を表すために、前記第１の成分の強度が前記強度の閾値を超えたかどうかに基づいて、前記第１の結果または前記第２の結果のうちの１つを提供すること、
第３の結果および第４の結果をそれぞれ生成するために、前記第２の電荷の前記第１の量子化および前記第２の量子化を実行すること、ならびに
前記ピクセルの前記第２の成分の強度を表すために、前記第２の成分の強度が前記強度の閾値を超えたかどうかに基づいて、前記第３の結果または前記第４の結果のうちの１つを提供すること
を行うように構成された、インターフェース回路と
を備える、装置。
【請求項２】
前記第１のフォトダイオードおよび前記第２のフォトダイオードが、（ａ）前記光が前記第２のフォトダイオードを横切って前記第１のフォトダイオードに達するように、または（ｂ）前記光が前記第１のフォトダイオードを横切って前記第２のフォトダイオードに達するように、半導体基板内の前記光の伝搬方向と平行な軸に沿って前記半導体基板にスタック構造を形成する、請求項１に記載の装置。
【請求項３】
裏面照射型デバイスであり、
前記光の前記第１の成分が、赤外線の波長範囲内にあり、
前記光の前記第２の成分が、可視光の波長範囲内にある、
請求項１に記載の装置。
【請求項４】
前面照射型デバイスであり、
前記光の前記第１の成分が、可視光の波長範囲内にあり、
前記光の前記第２の成分が、赤外線の波長範囲内にある、
請求項１に記載の装置。
【請求項５】
前記第１のフォトダイオードに連結された電荷貯蔵デバイス
をさらに備え、
前記第１のフォトダイオードが、第１の残留電荷を蓄えるように構成され、前記第１の残留電荷が、前記第１のフォトダイオードによって生成された前記第１の電荷の一部であり、
前記電荷貯蔵デバイスが、第１のオーバーフロー電荷を蓄えるように構成され、前記第１のオーバーフロー電荷が、前記光の前記第１の成分の強度が前記強度の閾値を超えた場合に、前記第１のフォトダイオードによって生成された前記第１の電荷の一部であり、
前記第１の量子化が、前記第１のオーバーフロー電荷の量を測定するように構成され、
前記第２の量子化が、前記第１の残留電荷の量を測定するように構成される、
請求項２に記載の装置。
【請求項６】
前記第１のフォトダイオードが、前記第２のフォトダイオードから前記電荷貯蔵デバイスへの電荷移動経路に沿っており、
前記インターフェース回路が、第２の残留電荷として前記第２の電荷を前記第１のフォトダイオードが蓄えられるようにするため、および、前記光の前記第２の成分の強度が前記強度の閾値を超えた場合に、第２のオーバーフロー電荷として前記第２の電荷の一部を前記電荷貯蔵デバイスが蓄えられるようにするために、前記第２の電荷を前記第１のフォトダイオードに移動させるように前記第２のフォトダイオードを制御するように構成され、
前記第１の量子化が、前記第２のオーバーフロー電荷の量を測定するように構成され、
前記第２の量子化が、前記第２の残留電荷の量を測定するように構成される、
請求項５に記載の装置。
【請求項７】
前記半導体基板が、前記第２のフォトダイオードから前記第１のフォトダイオードへの電荷の流れを制御するために、前記第１のフォトダイオードと前記第２のフォトダイオードの間に挟まれた障壁層を含む、請求項６に記載の装置。
【請求項８】
前記障壁層が、前記障壁層に印加された第１のバイアス電圧、または、前記半導体基板に印加された第２のバイアス電圧のうちの少なくとも１つに基づいて、前記第２のフォトダイオードから前記第１のフォトダイオードへの電荷の前記流れを制御するように構成される、請求項７に記載の装置。
【請求項９】
前記第１のフォトダイオードが、前記第１の残留電荷の第１の最大量を蓄えるように構成され、
前記第２のフォトダイオードが、前記第２の残留電荷の第２の最大量を蓄えるように構成され、
前記第２の最大量が、前記第１の最大量より大きい、
請求項６に記載の装置。
【請求項１０】
前記第２の最大量が、前記光の前記第２の成分の最大強度に基づいて、前記装置で測定されるように構成される、請求項９に記載の装置。
【請求項１１】
前記第１のフォトダイオードが、第１の量子井戸容量を有するように構成され、
前記第２のフォトダイオードが、前記第１の量子井戸容量より大きい第２の量子井戸容量を有するように構成され、
前記第１の最大量が、前記第１の量子井戸容量に基づいて構成され、
前記第２の最大量が、前記第２の量子井戸容量に基づいて構成される、
請求項９に記載の装置。
【請求項１２】
前記第２の最大量が、前記半導体基板に印加された電位に基づいて構成される、請求項９に記載の装置。
【請求項１３】
前記インターフェース回路が、
クロック信号に基づいてカウント値を出力するように構成されたカウンタと、
前記電荷貯蔵デバイスの電圧を１つまたは複数の閾値と比較して判定を生成するように構成された比較器と、
前記カウンタおよび前記比較器と連結されたメモリであって、前記比較器の前記判定に基づいて、前記カウンタからのカウント値を記憶するように制御される、メモリと
をさらに備え、
前記第１の結果、前記第２の結果、前記第３の結果、および前記第４の結果が、前記記憶したカウント値に基づいて生成される、
請求項６に記載の装置。
【請求項１４】
前記インターフェース回路が、
前記電荷貯蔵デバイスが、前記第１のオーバーフロー電荷か、又は前記第２のオーバーフロー電荷を蓄えたことを示す前記第１の判定を生成するために、前記比較器を使用して、前記電荷貯蔵デバイスにおける第１の電圧をランプの閾値と比較することと、
前記第１の判定に基づいて、前記第１の電荷の前記第１の量子化の前記第１の結果として、または、前記第２の電荷の前記第１の量子化の前記第３の結果として、前記カウンタからの第１のカウント値を記憶するように前記メモリを制御することと
を含んだ、前記第１の量子化を実行するように構成された、請求項１３に記載の装置。
【請求項１５】
前記インターフェース回路が、
前記電荷貯蔵デバイスにおける第２の電圧を生じるように、前記第１の残留電荷または前記第２の残留電荷を前記第１のフォトダイオードから前記電荷貯蔵デバイスに移動させることと、
第２の判定を生成するために、前記比較器を使用して、前記第２の電圧をランプの閾値と比較することと、
前記第２の判定に基づいて、および、前記電荷貯蔵デバイスが前記第１のオーバーフロー電荷も前記第２のオーバーフロー電荷も蓄えていないことを前記第１の判定が示すことに基づいて、前記第１の電荷の前記第２の量子化の前記第２の結果として、または、前記第２の電荷の前記第２の量子化の前記第４の結果として、前記カウンタからの第２のカウント値を記憶するように前記メモリを制御することと
を含んだ、前記第２の量子化を実行するように構成された、請求項１４に記載の装置。
【請求項１６】
前記インターフェース回路が、前記第１の量子化の前に、
前記第１のオーバーフロー電荷が前記電荷貯蔵デバイスを飽和させたかどうかを示す第３の判定を生成するために、前記比較器を使用して、前記第１の電圧を静的閾値と比較すること、
前記第１のオーバーフロー電荷が前記電荷貯蔵デバイスを飽和させたことを前記第３の判定が示すことに基づいて、
前記カウンタからの第３のカウント値に基づいて、前記電荷貯蔵デバイスの飽和時間を測定すること、
前記第３のカウント値を記憶するように前記メモリを制御すること、
前記第１のカウント値も前記第２のカウント値も記憶しないように前記メモリを制御すること、および、
ピクセルの前記第１の成分の前記強度を表すために、前記メモリに記憶した前記第３のカウント値を提供すること、
を行うように構成された、請求項１５に記載の装置。
【請求項１７】
前記第１のフォトダイオードおよび前記第２のフォトダイオードが、ピン型フォトダイオードである、請求項１に記載の装置。
【請求項１８】
第１のフォトダイオードを使用して、光の第１の成分を第１の電荷に変換することと、
第２のフォトダイオードを使用して、前記光の第２の成分を第２の電荷に変換することと、
第１の結果および第２の結果をそれぞれ生成するために、前記第１の電荷の第１の量子化および第２の量子化を実行することであって、前記第１の量子化が、強度の閾値より高い第１の強度に関連付けられ、前記第２の量子化が、前記強度の閾値より低い第２の強度に関連付けられる、前記第１の電荷の第１の量子化および第２の量子化を実行することと、
ピクセルの前記第１の成分の強度を表すために、前記第１の成分の強度が前記強度の閾値を超えたかどうかに基づいて、前記第１の結果または前記第２の結果のうちの１つを提供することと、
第３の結果および第４の結果をそれぞれ生成するために、前記第２の電荷の前記第１の量子化および前記第２の量子化を実行することと、
前記ピクセルの前記第２の成分の強度を表すために、前記第２の成分の強度が前記強度の閾値を超えたかどうかに基づいて、前記第３の結果または前記第４の結果のうちの１つを提供することと
を含む、方法。
【請求項１９】
前記第１のフォトダイオードおよび前記第２のフォトダイオードが、ピン型フォトダイオードである、請求項１８に記載の方法。
【請求項２０】
前記第１のフォトダイオードおよび前記第２のフォトダイオードが、（ａ）前記光が前記第２のフォトダイオードを横切って前記第１のフォトダイオードに達するように、または（ｂ）前記光が前記第１のフォトダイオードを横切って前記第２のフォトダイオードに達するように、半導体基板内の前記光の伝搬方向と平行な軸に沿って前記半導体基板にスタック構造を形成する、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、イメージセンサに関し、より詳細には、複数のフォトダイオードを含むピクセルセルに関する。
【背景技術】
【０００２】
イメージセンサの典型的なピクセルは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。電荷は、露光期間中にフォトダイオードに一時的に蓄えることができる。ノイズおよび暗電流性能を改善するため、光子を電荷に変換するためのピクセルにピン型フォトダイオードを含めることができる。ピクセルは、フォトダイオードから電荷を集め、電荷を電圧に変換するためのキャパシタ（例えば、浮遊拡散（ｆｌｏａｔｉｎｇ  ｄｉｆｆｕｓｉｏｎ））をさらに含めることができる。シーンの画像は、ピクセルのアレイのキャパシタで生じた電圧から得ることができる。
【発明の概要】
【０００３】
本開示は、イメージセンサに関する。より詳細には、また、限定することなく、本開示は、ピクセルセルのアレイを有するイメージセンサに関する。いくつかの実施形態では、各ピクセルセルは、第１のフォトダイオード、第２のフォトダイオード、およびインターフェース回路を含む。第１のフォトダイオードは、光の第１の成分を第１の電荷に変換するように構成される。第２のフォトダイオードは、光の第２の成分を第２の電荷に変換するように構成される。インターフェース回路は、第１の結果および第２の結果をそれぞれ生成するために、第１の電荷の第１の量子化および第２の量子化を実行することができ、第１の量子化が、第１の強度範囲に関連付けられ、第２の量子化が、第２の強度範囲に関連付けられる。インターフェース回路は、ピクセルの第１の成分を表すために、第１の成分の強度範囲に基づいて、第１の結果または第２の結果のうちの１つを提供することができる。インターフェース回路は、第３の結果および第４の結果をそれぞれ生成するために、第２の電荷の第１の量子化および第２の量子化をさらに実行することができる。インターフェース回路は、ピクセルの第２の成分を表すために、第２の成分の強度範囲に基づいて、第３の結果または第４の結果のうちの１つをさらに提供することができる。
【０００４】
いくつかの例では、装置を提供する。装置は、光の第１の成分を第１の電荷に変換するように構成された第１のフォトダイオードと、光の第２の成分を第２の電荷に変換するように構成された第２のフォトダイオードと、インターフェース回路であって、第１の結果および第２の結果をそれぞれ生成するために、第１の電荷の第１の量子化および第２の量子化を実行することであって、第１の量子化が、強度の閾値より高い第１の強度に関連付けられ、第２の量子化が、強度の閾値より低い第２の強度に関連付けられる、実行すること、ピクセルの第１の成分の強度を表すために、第１の成分の強度が強度の閾値を超えたかどうかに基づいて、第１の結果または第２の結果のうちの１つを提供すること、第３の結果および第４の結果をそれぞれ生成するために、第２の電荷の第１の量子化および第２の量子化を実行すること、ならびにピクセルの第２の成分の強度を表すために、第２の成分の強度が強度の閾値を超えたかどうかに基づいて、第３の結果または第４の結果のうちの１つを提供することを行うように構成された、インターフェース回路とを備える。
【０００５】
１つの態様では、第１のフォトダイオードおよび第２のフォトダイオードは、（ａ）光が第２のフォトダイオードを横切って第１のフォトダイオードに達するように、または（ｂ）光が第１のフォトダイオードを横切って第２のフォトダイオードに達するように、半導体基板内の光の伝搬方向と平行な軸に沿って半導体基板にスタック構造を形成する。
【０００６】
１つの態様では、装置は、裏面照射型デバイスである。光の第１の成分は、赤外線の波長範囲内にある。光の第２の成分は、可視光の波長範囲内にある。
【０００７】
１つの態様では、装置は、前面照射型デバイスである。光の第１の成分は、可視光の波長範囲内にある。光の第２の成分は、赤外線の波長範囲内にある。
【０００８】
１つの態様では、装置は、第１のフォトダイオードに連結された電荷貯蔵デバイスをさらに備える。第１のフォトダイオードは、第１の残留電荷を蓄えるように構成され、第１の残留電荷は、第１のフォトダイオードによって生成された第１の電荷の一部である。電荷貯蔵デバイスは、第１のオーバーフロー電荷を蓄えるように構成され、第１のオーバーフロー電荷は、光の第１の成分の強度が強度の閾値を超えた場合に、第１のフォトダイオードによって生成された第１の電荷の一部である。第１の量子化は、第１のオーバーフロー電荷の量を測定するように構成される。第２の量子化は、第１の残留電荷の量を測定するように構成される。
【０００９】
１つの態様では、第１のフォトダイオードは、第２のフォトダイオードから電荷貯蔵デバイスへの電荷移動経路に沿っている。インターフェース回路は、第２の残留電荷として第２の電荷を第１のフォトダイオードが蓄えられるようにするため、および、光の第２の成分の強度が強度の閾値を超えた場合に、第２のオーバーフロー電荷として第２の電荷の一部を電荷貯蔵デバイスが蓄えられるようにするために、第２の電荷を第１のフォトダイオードに移動させるように第２のフォトダイオードを制御するように構成される。第１の量子化は、第２のオーバーフロー電荷の量を測定するように構成される。第２の量子化は、第２の残留電荷の量を測定するように構成される。
【００１０】
１つの態様では、半導体基板は、第２のフォトダイオードから第１のフォトダイオードへの電荷の流れを制御するために、第１のフォトダイオードと第２のフォトダイオードの間に挟まれた障壁層を含む。
【００１１】
１つの態様では、障壁層は、障壁層に印加された第１のバイアス電圧、または、半導体基板に印加された第２のバイアス電圧のうちの少なくとも１つに基づいて、第２のフォトダイオードから第１のフォトダイオードへの電荷の流れを制御するように構成される。
【００１２】
１つの態様では、第１のフォトダイオードは、第１の残留電荷の第１の最大量を蓄えるように構成される。第２のフォトダイオードは、第２の残留電荷の第２の最大量を蓄えるように構成される。第２の最大量は、第１の最大量より大きい。
【００１３】
１つの態様では、第２の最大量は、光の第２の成分の最大強度に基づいて、装置で測定されるように構成される。
【００１４】
１つの態様では、第１のフォトダイオードは、第１の量子井戸容量を有するように構成され、第２のフォトダイオードは、第１の量子井戸容量より大きい第２の量子井戸容量を有するように構成され、第１の最大量は、第１の量子井戸容量に基づいて構成され、第２の最大量は、第２の量子井戸容量に基づいて構成される。
【００１５】
１つの態様では、第２の最大量は、半導体基板に印加された電位に基づいて構成される。
【００１６】
１つの態様では、インターフェース回路は、クロック信号に基づいてカウント値を出力するように構成されたカウンタと、電荷貯蔵デバイスの電圧を１つまたは複数の閾値と比較して判定を生成するように構成された比較器と、カウンタおよび比較器と連結されたメモリであって、比較器の判定に基づいて、カウンタからのカウント値を記憶するように制御される、メモリとをさらに備える。第１の結果、第２の結果、第３の結果、および第４の結果は、記憶したカウント値に基づいて生成される。
【００１７】
１つの態様では、インターフェース回路は、電荷貯蔵デバイスが、第１のオーバーフロー電荷か、又は第２のオーバーフロー電荷を蓄えたことを示す第１の判定を生成するために、比較器を使用して、電荷貯蔵デバイスにおける第１の電圧をランプの閾値（ｒａｍｐｉｎｇ  ｔｈｒｅｓｈｏｌｄ）と比較することと、第１の判定に基づいて、第１の電荷の第１の量子化の第１の結果として、または、第２の電荷の第１の量子化の第３の結果として、カウンタからの第１のカウント値を記憶するようにメモリを制御することとを含んだ、第１の量子化を実行するように構成される。
【００１８】
１つの態様では、インターフェース回路は、電荷貯蔵デバイスにおける第２の電圧を生じるように、第１の残留電荷または第２の残留電荷を第１のフォトダイオードから電荷貯蔵デバイスに移動させることと、第２の判定を生成するために、比較器を使用して、第２の電圧をランプの閾値と比較することと、第２の判定に基づいて、および、電荷貯蔵デバイスが第１のオーバーフロー電荷も第２のオーバーフロー電荷も蓄えていないことを第１の判定が示すことに基づいて、第１の電荷の第２の量子化の第２の結果として、または、第２の電荷の第２の量子化の第４の結果として、カウンタからの第２のカウント値を記憶するようにメモリを制御することとを含んだ、第２の量子化を実行するように構成される。
【００１９】
１つの態様では、インターフェース回路は、第１の量子化の前に、第１のオーバーフロー電荷が電荷貯蔵デバイスを飽和させたかどうかを示す第３の判定を生成するために、比較器を使用して、第１の電圧を静的閾値と比較すること、第１のオーバーフロー電荷が電荷貯蔵デバイスを飽和させたことを第３の判定が示すことに基づいて、カウンタからの第３のカウント値に基づいて、電荷貯蔵デバイスの飽和時間（ｔｉｍｅ−ｔｏ−ｓａｔｕｒａｔｉｏｎ）を測定すること、第３のカウント値を記憶するようにメモリを制御すること、第１のカウント値も第２のカウント値も記憶しないようにメモリを制御すること、および、ピクセルの第１の成分の強度を表すために、メモリに記憶した第３のカウント値を提供することを行うように構成される。
【００２０】
１つの態様では、第１のフォトダイオードおよび第２のフォトダイオードは、ピン型フォトダイオードである。
【００２１】
いくつかの例では、方法を提供する。方法は、第１のフォトダイオードを使用して、光の第１の成分を第１の電荷に変換することと、第２のフォトダイオードを使用して、光の第２の成分を第２の電荷に変換することと、第１の結果および第２の結果をそれぞれ生成するために、第１の電荷の第１の量子化および第２の量子化を実行することであって、第１の量子化が、強度の閾値より高い第１の強度に関連付けられ、第２の量子化が、強度の閾値より低い第２の強度に関連付けられる、実行することと、ピクセルの第１の成分の強度を表すために、第１の成分の強度が強度の閾値を超えたかどうかに基づいて、第１の結果または第２の結果のうちの１つを提供することと、第３の結果および第４の結果をそれぞれ生成するために、第２の電荷の第１の量子化および第２の量子化を実行することと、ピクセルの第２の成分の強度を表すために、第２の成分の強度が強度の閾値を超えたかどうかに基づいて、第３の結果または第４の結果のうちの１つを提供することとを含む。
【００２２】
例証的な実施形態を、以下の図を参照しながら説明する。
【図面の簡単な説明】
【００２３】
【図１Ａ】ニアアイディスプレイの実施形態の図である。
【図１Ｂ】ニアアイディスプレイの実施形態の図である。
【図２】ニアアイディスプレイの横断面の実施形態の図である。
【図３】導波路ディスプレイの実施形態の等角図である。
【図４】導波路ディスプレイの実施形態の横断面を示す図である。
【図５】ニアアイディスプレイを含むシステムの実施形態のブロック図である。
【図６】マルチフォトダイオードピクセルセルを含むイメージセンサの例を示す図である。
【図７Ａ】図６のイメージセンサの動作の例を示す図である。
【図７Ｂ】図６のイメージセンサの動作の例を示す図である。
【図８】図６のイメージセンサの一部であることが可能なピクセルセルのアレイの例を示す図である。
【図９Ａ】図８のピクセルセルのアレイの内部構成要素の例を示す図である。
【図９Ｂ】図８のピクセルセルのアレイの内部構成要素の例を示す図である。
【図１０Ａ】図８のピクセルセルのアレイからの電荷の読出しのための電位分布の例を示す図である。
【図１０Ｂ】図８のピクセルセルのアレイからの電荷の読出しのための電位分布の例を示す図である。
【図１１Ａ】図８のピクセルセルのアレイでの電荷の読出しのための電位の変調のための実例の構造を示す図である。
【図１１Ｂ】図８のピクセルセルのアレイでの電荷の読出しのための電位の変調のための実例の構造を示す図である。
【図１２】図８のピクセルセルの実例の概略図を示す図である。
【図１３Ａ】異なる強度範囲に対する図８のピクセルセルの動作を示す図である。
【図１３Ｂ】異なる強度範囲に対する図８のピクセルセルの動作を示す図である。
【図１３Ｃ】異なる強度範囲に対する図８のピクセルセルの動作を示す図である。
【図１４】図８のピクセルセルからの電荷の読出しおよび量子化の実例のシーケンスを示す図である。
【図１５Ａ】図８のピクセルセルからの電荷の読出しおよび量子化の実例のシーケンスを示す図である。
【図１５Ｂ】図８のピクセルセルからの電荷の読出しおよび量子化の実例のシーケンスを示す図である。
【図１６】図８のピクセルセルからの電荷の読出しおよび量子化の実例のシーケンスを示す図である。
【図１７Ａ】図８のピクセルセルの実例の内部構成要素、および内部構成要素の動作を示す図である。
【図１７Ｂ】図８のピクセルセルの実例の内部構成要素、および内部構成要素の動作を示す図である。
【図１８】光強度を測定する実例の方法の流れ図である。
【発明を実施するための形態】
【００２４】
図は、例証のためだけに本開示の実施形態を描写する。本開示の原理、または勧められた利益から逸脱することなく、示した構造および方法の代替実施形態が採用されてもよいということを、当業者は以下の説明から容易に認識するであろう。
【００２５】
添付の図では、類似の構成要素および／または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素は、類似の構成要素の間で区別するダッシュおよび第２のラベルが参照ラベルに続くことによって区別することがある。第１の参照ラベルだけが本明細書で使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する類似の構成要素のうちの任意の１つに適用することができる。
【００２６】
以下の説明では、説明のために、一定の発明の実施形態を完全に理解するために、具体的詳細が示される。しかし、これらの具体的詳細がなくても、様々な実施形態を実践できるということが明らかであろう。図および説明は、限定的であることを意図するものではない。
【００２７】
典型的なイメージセンサは、典型的には、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを有することができる。ノイズおよび暗電流性能を改善するために、光子を電荷に変換するためのピクセルにピン型フォトダイオードを含めることができる。電荷は、露光期間中にフォトダイオードに一時的に蓄えることができる。各ピクセルセルは、電荷を電圧に変換するための浮遊拡散ノードも含むことができる。ピクセル値は、電圧に基づいて生成することができる。ピクセル値は、ピクセルセルが受け取った光の強度を表すことができる。ピクセルのアレイを含む画像は、ピクセルセルのアレイによって出力された電圧のデジタル出力から得ることができる。
【００２８】
２Ｄ検知および３Ｄ検知など、画像化の異なるモードを実行するために、イメージセンサを使用することができる。２Ｄ検知および３Ｄ検知は、異なる波長範囲の光に基づいて行うことができる。例えば、２Ｄ検知のために可視光を使用することができ、その一方で、３Ｄ検知のために不可視光（例えば、赤外光）を使用することができる。イメージセンサは、光学フィルタアレイを含み、異なる光学波長範囲および色の可視光（例えば、赤色、緑色、および青色）を、２Ｄ検知のために割り当てられたピクセルセルの第１のセットに配分し、不可視光を、３Ｄ検知のために割り当てられたピクセルセルの第２のセットに配分する。
【００２９】
２Ｄ検知を実行するために、ピクセルセルのフォトダイオードは、ピクセルセルに入射した可視光の強度に比例した割合で電荷を生成することができ、露光期間に蓄積された電荷の量は、可視光（または、可視光の一定の色成分）の強度を表すために使用することができる。電荷は、フォトダイオードに一時的に蓄え、次に、キャパシタ（例えば、浮遊拡散）に移動させて、電圧を生じることができる。電圧は、アナログデジタルコンバータ（ＡＤＣ：ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）でサンプリングして量子化し、可視光の強度に相当する出力を生成することができる。可視光の異なる色成分（例えば、赤色、緑色、および青色）を検知するように構成された複数のピクセルセルからの出力に基づいて、画像のピクセル値を生成することができる。
【００３０】
さらに、３Ｄ検知を実行するために、異なる波長範囲の光（例えば、赤外光）をオブジェクトに投射することができ、反射した光は、ピクセルセルによって検出することができる。光は、構造光、光パルス、等を含むことができる。ピクセルセルの出力は、例えば、反射した構造光のパターンの検出、光パルスの飛行時間の測定、等に基づいて、深度検知動作を実行するために使用することができる。反射した構造光のパターンを検出するために、露光時間中にピクセルセルによって生成された電荷の量の分布を判定することができ、電荷の量に相当する電圧に基づいてピクセル値を生成することができる。飛行時間測定のために、ピクセルセルのフォトダイオードでの電荷の生成のタイミングは、反射した光パルスをピクセルセルで受光した時間を表すように決定することができる。光パルスをオブジェクトに投射した時間と、反射した光パルスをピクセルセルで受光した時間との間の時間差を、飛行時間測定を行うために使用することができる。
【００３１】
ピクセルセルアレイは、シーンの情報を生成するために使用することができる。いくつかの例では、アレイ内のピクセルセルのサブセット（例えば、第１のセット）を、シーンの２Ｄ検知を実行するために使用することができ、アレイ内のピクセルセルの別のサブセット（例えば、第２のセット）を、シーンの３Ｄ検知を実行するために使用することができる。２Ｄ画像化データと３Ｄ画像化データの融合は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ−ｒｅａｌｉｔｙ）体験、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ−ｒｅａｌｉｔｙ）体験、および／または複合現実（ＭＲ：ｍｉｘｅｄ  ｒｅａｌｉｔｙ）体験をもたらす多くの用途に有用である。例えば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、システムのユーザがいる環境のシーンを再現することができる。再現したシーンに基づいて、ＶＲ／ＡＲ／ＭＲは、双方向体験をもたらすための表示効果を生成することができる。シーンを再現するために、ピクセルセルアレイ内のピクセルセルのサブセットは、３Ｄ検知を実行して、例えば、環境内の物理オブジェクトのセットを識別し、物理オブジェクトとユーザとの間の距離を判定することができる。ピクセルセルアレイ内のピクセルセルの別のサブセットは、２Ｄ検知を実行して、例えば、これらの物理オブジェクトのテクスチャ、色、および反射率を含む視覚属性をキャプチャすることができる。シーンの２Ｄ画像データおよび３Ｄ画像データは、次に、例えば、オブジェクトの視覚属性を含むシーンの３Ｄモデルを作成するためにマージすることができる。別の例として、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、２Ｄ画像データと３Ｄ画像データの融合に基づいて、頭部追跡動作も実行することができる。例えば、２Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、一定の画像特徴を抽出して、オブジェクトを識別することができる。３Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、ユーザが身につけているウェアラブルデバイスに対する識別したオブジェクトの位置を追跡することができる。ＶＲ／ＡＲ／ＡＲシステムは、例えば、ユーザの頭が動くときの、識別したオブジェクトのウェアラブルデバイスに対する位置の変化を追跡することに基づいて、頭の動きを追跡することができる。
【００３２】
しかし、２Ｄ画像化および３Ｄ画像化のためにピクセルの異なるセットを使用すると、いくつかの難題を引き起こす恐れがある。第１に、２Ｄ画像化または３Ｄ画像化を実行するために、アレイのピクセルセルのサブセットだけが使用されるので、２Ｄ画像と３Ｄ画像の両方の空間分解能は、ピクセルセルアレイで利用できる最大空間分解能より小さくなる。分解能は、より多くのピクセルセルを含めることによって改善することができるが、このようなアプローチは、イメージセンサのフォームファクタ、および、電力消費量を大きくする恐れがあり、これらは両方、ウェアラブルデバイスにとって特に望ましくない。
【００３３】
さらに、（２Ｄ画像化および３Ｄ画像化のために）異なる波長範囲の光を測定するために割り当てられたピクセルセルを一所に置かないので、シーンの異なるスポットの情報を異なるピクセルセルがキャプチャする可能性があり、２Ｄ画像と３Ｄ画像の間のマッピングを複雑にする恐れがある。例えば、（２Ｄ画像化のために）可視光の一定の色成分を受光するピクセルセル、および、（３Ｄ画像化のために）不可視光を受光するピクセルセルは、シーンの異なるスポットの情報もキャプチャする可能性がある。これらのピクセルセルの出力は、２Ｄ画像および３Ｄ画像を生成するために単純にマージすることができない。ピクセルセルの異なる位置によるピクセルセルの出力の間の対応関係の欠如は、動いているオブジェクトの２Ｄ画像および３Ｄ画像をピクセルセルアレイが取り込んでいるときに悪化する恐れがある。２Ｄ画像のためのピクセルを生成するために異なるピクセルセルの出力を相関させるため、および、２Ｄ画像と３Ｄ画像の間で相関させるために利用できる処理技法（例えば、補間）があるが、これらの技法は、典型的には、計算負荷が大きく、電力消費量も増加させる恐れがある。
【００３４】
本開示は、ピクセルセルのアレイを有するイメージセンサに関する。各ピクセルセルは、第１のフォトダイオード、第２のフォトダイオード、およびインターフェース回路を含むことができる。第１のフォトダイオードは、光の第１の成分を第１の電荷に変換するように構成される。第２のフォトダイオードは、光の第２の成分を第２の電荷に変換するように構成される。第１のフォトダイオードと第２のフォトダイオードの両方は、ピン型フォトダイオードであることが可能である。インターフェース回路は、第１の結果および第２の結果をそれぞれ生成するために、第１の電荷の第１の量子化および第２の量子化を実行することができ、第１の量子化が、第１の強度範囲に関連付けられ、第２の量子化が、第２の強度範囲に関連付けられる。インターフェース回路は、ピクセルの第１の成分を表すために、第１の成分の強度範囲に基づいて、第１の結果または第２の結果のうちの１つを提供することができる。インターフェース回路は、第３の結果および第４の結果をそれぞれ生成するために、第２の電荷の第１の量子化および第２の量子化をさらに実行することができる。インターフェース回路は、ピクセルの第２の成分を表すために、第２の成分の強度範囲に基づいて、第３の結果または第４の結果のうちの１つをさらに提供することができる。
【００３５】
具体的には、各ピクセルセルは、入射光を受光するための受光面を有する。第１のフォトダイオードおよび第２のフォトダイオードは、受光面に垂直な軸に沿ってスタック構造を形成することができ、各フォトダイオードは、異なる距離で受光面から隔てられており、これにより、第１のフォトダイオードおよび第２のフォトダイオードは、入射光の種々の成分を電荷に変換することができる。第１のフォトダイオードは、第２のフォトダイオードより受光面からさらに離れて位置してもよく、３Ｄ画像化のために、入射光の赤外光成分を第１の電荷に変換することができる。第２のフォトダイオードは、２Ｄ画像化のために、入射光の可視光成分（例えば、赤色、緑色、または青色のうちの１つ）を第２の電荷に変換することができる。
【００３６】
各ピクセルセルは、電荷貯蔵デバイスをさらに含み、電荷貯蔵デバイスは、浮遊ドレイン（ＦＤ：ｆｌｏａｔｉｎｇ  ｄｒａｉｎ）および補助キャパシタ（例えば、金属キャパシタ）を備えた構成可能なキャパシタであることが可能である。電荷貯蔵デバイスは、第１のフォトダイオードおよび第２のフォトダイオードの量子井戸とともに、読出しおよび量子化のための第１の電荷および第２の電荷の貯蔵装置を提供する。具体的には、第１のフォトダイオードは、光の第１の成分が低強度範囲内にある場合、第１のフォトダイオードの量子井戸に、第１の残留電荷として第１の電荷を蓄えることができる。第１の構成要素が中強度範囲および高強度範囲内にある場合、第１の電荷は、量子井戸を飽和させる可能性があり、第１の電荷の残りは、第１のオーバーフロー電荷として電荷貯蔵デバイスにオーバーフローさせることができる。さらに、第２のフォトダイオードは、第２の電荷の全体を蓄えることができる。装置は、第１のフォトダイオードと第２のフォトダイオードの間に障壁層をさらに含み、第１のフォトダイオードから第２のフォトダイオードに第１の電荷が流れるのを防ぐ。下記で説明されるように、障壁層は、第２のフォトダイオードから第１のフォトダイオードへの第２の電荷の流れをさらに調節することができる。
【００３７】
第１の成分の測定のために、障壁層は、第２のフォトダイオードから第１のフォトダイオードへの第２の電荷の流れを防ぐように制御することができる。中強度範囲および高強度範囲での第１の成分の測定のために、電荷貯蔵デバイスの容量は、（例えば、浮遊ドレインと補助キャパシタを並行に接続することによって）増加させることができる。インターフェース回路は、拡張された電荷貯蔵デバイスに蓄えられた第１のオーバーフロー電荷を量子化して、第１の結果を生成することができる。低強度範囲での第１の成分の測定のために、インターフェースは、電荷貯蔵デバイスをリセットし、（例えば、浮遊ドレインから補助キャパシタを切断することによって）電荷貯蔵デバイスの容量を減らし、その後、第１のフォトダイオードから貯蔵デバイスに第１の残留電荷を移動させることができる。インターフェース回路は、（電荷貯蔵デバイスに現在蓄えられている）第１の残留電荷を量子化して、第２の結果を生成することができる。インターフェース回路は、第１のフォトダイオードが飽和したかどうかに基づいて、第１の成分の強度範囲を決定し、第１の結果または第２の結果のうちの１つを選択して、ピクセルの第１の成分の強度を表すことができる。
【００３８】
低強度範囲と中強度範囲の両方の測定のために、インターフェース回路は、第１の残留電荷の量および第１のオーバーフロー電荷の量を、それぞれの量に相当する電圧とランプの閾値を比較することによって、それぞれ量子化することができる。ピクセルの第１の成分の強度を表すために、電圧に最も近い閾値を表すコードを出力することができる。下記で説明されるように、第１の残留電荷の量に相当する電圧の量子化は、「ＰＤ  ＡＤＣ」動作で行うことができ、その一方で、第１のオーバーフロー電荷の量に相当する電圧の量子化は、「ＦＤ  ＡＤＣ」動作で行うことができる。高強度範囲の測定のために、第１のオーバーフロー電荷は、電荷貯蔵デバイスを飽和させる可能性がある。インターフェース回路は、飽和時間（ＴＴＳ：ｔｉｍｅ−ｔｏ−ｓａｔｕｒａｔｉｏｎ）測定を行って、電荷貯蔵デバイスが飽和するのにかかる時間を測定し、ピクセルの第１の成分の強度を表すための出力としてＴＴＳ測定値を提供することができる。
【００３９】
第１の電荷の読出しおよび量子化の後、インターフェース回路は、第１のフォトダイオードおよび電荷貯蔵デバイスをリセットし、その後、障壁層を制御して、第２のフォトダイオードから第１のフォトダイオードに第２の電荷が移動できるようにすることができる。（第２の成分の強度を反映した）第２の電荷の量、および、第１のフォトダイオードの量子井戸容量に応じて、第２の電荷は、第２の残留電荷として第１のフォトダイオードに全面的に蓄えることができ、または、第２のオーバーフロー電荷として電荷貯蔵デバイスにオーバーフローさせることができる。移動の後、インターフェース回路は、第２のオーバーフロー電荷に対してＰＤ  ＡＤＣ動作を実行して第３の結果を生成し、第２の残留電荷に対してＦＤ  ＡＤＣ動作を実行して第４の結果を生成することができる。第１のフォトダイオードが飽和したかどうかに応じて、インターフェース回路は、ピクセルの第２の成分の強度を表すために、第３の結果または第４の結果のうちの１つを提供することができる。
【００４０】
本開示の例によれば、ピクセルセルは、ピン型フォトダイオードを使用して、２Ｄ画像化および３Ｄ画像化動作のために光子電荷変換（ｐｈｏｔｏｎ−ｔｏ−ｃｈａｒｇｅ  ｃｏｎｖｅｒｓｉｏｎ）を行うことができる。ピン型フォトダイオードは、暗電流およびノイズの観点で優れた性能をもたらすことができるので、ピクセルセルは、低強度の光をより正確に測定することができ、低い光強度の環境におけるイメージセンサの感度および性能を改善することができる。さらに、２Ｄ検知と３Ｄ検知の両方を実行するためにピクセルセルの同じセットを有すると、特に、各ピクセルセルのピン型フォトダイオードが、同じ露光期間内に異なる波長の光を同時に検出して測定する場合、ピクセルセルによって生成された２Ｄ画像と３Ｄ画像の間の対応関係を助長させることができる。さらに、２Ｄ画像または３Ｄ画像を生成するために、ピクセルセルアレイのあらゆるピクセルセルを使用できることを考慮すると、ピクセルセルアレイの完全な空間分解能を利用することができる。結果として、画像の空間分解能をさらに改善できる一方で、イメージセンサのフォームファクタおよび電力消費量を減らすことができる。
【００４１】
さらに、異なる強度範囲のための異なる量子化動作（例えば、高強度範囲のためのＴＴＳ、中強度範囲のためのＦＤ  ＡＤＣ、低強度範囲のためのＰＤ  ＡＤＣ、等）は、イメージセンサのダイナミックレンジを拡大させることができる。例えば、電圧自体を測定するのではなく、電荷貯蔵装置で電圧のＴＴＳを実行することによって、測定結果は、電荷貯蔵デバイスが飽和したときでも、また、電荷貯蔵デバイスの電圧がもはや光強度で変化しないときでも、光強度に依然として線形的に関連させることができ、測定できる光強度の上限値を増加させることができる。さらに、低強度範囲のためのＰＤ  ＡＤＣモードで残留電荷を測定することによって、残留電荷がフォトダイオードに蓄積され、暗電流の影響が小さくなるので、測定に対する暗電流の影響を減らすことができる。さらに、ＰＤ  ＡＤＣモードでの電荷貯蔵デバイスの容量を減らすことによって、電荷電圧変換率（ｃｈａｒｇｅ−ｔｏ−ｖｏｌｔａｇｅ  ｃｏｎｖｅｒｓｉｏｎ  ｒａｔｅ）を向上させることができ、量子化処理の感度を改善し、量子化ノイズの影響を減らすことができ、測定できる光強度の低い方の限界をさらに下げることができる。これら全ては、イメージセンサのダイナミックレンジおよび応用範囲を拡大させることができる。
【００４２】
本開示の例は、人工現実システムを含むことができ、または、人工現実システムと共に実現することができる。人工現実は、ユーザに提示する前に何らかの方法で調節された現実の形であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、または、これらのいくつかの組合せおよび／もしくは派生物を含むことができる。人工現実のコンテンツは、完全に生成したコンテンツ、または、キャプチャした（例えば、現実世界の）コンテンツと組み合わせて生成したコンテンツを含むことができる。人工現実のコンテンツは、動画、音声、触感フィードバック、または、これらのいくつかの組合せを含むことができ、これらのいずれかは、単一のチャネルで、または、（視聴者に対して３次元効果を生み出すステレオ動画などの）複数のチャネルで提示することができる。さらに、いくつかの実施形態では、アプリケーション、製品、アクセサリ、サービス、または、これらのいくつかの組合せに人工現実をさらに関連付けることができ、これらは、例えば、人工現実においてコンテンツを作成するために使用され、および／または、そうでなければ、人工現実において使用される（例えば、人工現実において活動を行う）。人工現実のコンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または、他の任意のハードウェアプラットフォームを含む様々なプラットフォームで実現することができ、１人または複数の視聴者に人工現実のコンテンツを提供することができる。
【００４３】
図１Ａは、ニアアイディスプレイ１００の例の図である。ニアアイディスプレイ１００は、ユーザに媒体を提示する。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの実施形態では、音声は、ニアアイディスプレイ１００、コンソール、または両方から音声情報を受け取り、音声情報に基づいて音声データを提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。ニアアイディスプレイ１００は、一般に、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。
【００４４】
ニアアイディスプレイ１００は、フレーム１０５およびディスプレイ１１０を含む。フレーム１０５は、１つまたは複数の光学素子に連結される。ディスプレイ１１０は、ニアアイディスプレイ１００によって提示されたコンテンツをユーザが見えるように構成される。いくつかの実施形態では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを備える。
【００４５】
ニアアイディスプレイ１００は、イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄのそれぞれは、ピクセルセルのアレイを備え、異なる方向に沿った異なる視界に相当する画像データを生成するように構成されたピクセルセルアレイを含むことができる。例えば、センサ１２０ａおよび１２０ｂは、Ｚ軸に沿って方向Ａに向いた２つの視界に相当する画像データを提供するように構成することができ、その一方で、センサ１２０ｃは、Ｘ軸に沿って方向Ｂに向いた視界に相当する画像データを提供するように構成することができ、センサ１２０ｄは、Ｘ軸に沿って方向Ｃに向いた視界に相当する画像データを提供するように構成することができる。
【００４６】
いくつかの実施形態では、センサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を着用したユーザに対話式ＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００の表示コンテンツを制御する、または影響を与えるための入力デバイスとして構成することができる。例えば、センサ１２０ａ〜１２０ｄは、ユーザがいる実際の環境の実際の画像データを生成することができる。実際の画像データは、実際の環境におけるユーザの動きの位置および／または経路を追跡するための位置追跡システムに提供することができる。システムは、次に、双方向体験を提供するために、例えば、ユーザの位置および方向に基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの実施形態では、位置追跡システムは、ＳＬＡＭアルゴリズムを動作させて、実際の環境の中をユーザが動くときの、実際の環境における、また、ユーザのフィールドのビュー内の、オブジェクトのセットを追跡することができる。位置追跡システムは、オブジェクトのセットに基づいて、実際の環境のマップを構築して更新し、マップ内のユーザの位置を追跡することができる。複数の視界に対応する画像データを提供することによって、センサ１２０ａ〜１２０ｄは、実際の環境のより全体的な景色を位置追跡システムに提供することができ、マップの構築および更新時に、より多くのオブジェクトが含まれるようにすることができる。このような配置により、実際の環境内のユーザの位置の追跡の正確さおよび堅牢性を改善することができる。
【００４７】
いくつかの実施形態では、ニアアイディスプレイ１００は、実際の環境に光を投射するための１つまたは複数のアクティブ照射器１３０をさらに含むことができる。投射した光は、異なる周波数スペクトル（例えば、可視光、赤外光、紫外光、等）に関連付けることができ、様々な目的を満たすことができる。例えば、照射器１３０は、暗い環境内の異なるオブジェクトの３Ｄ画像をセンサ１２０ａ〜１２０ｄがキャプチャするのを支援するために、暗い環境に（または、赤外光、紫外光、等の低強度の環境に）光および／または光のパターンを投射することができる。３Ｄ画像は、例えば、オブジェクトとニアアイディスプレイ１００との間の距離を表すピクセルデータを含むことができる。距離情報は、例えば、シーンの３Ｄモデルを構築するため、ユーザの頭の動きを追跡するため、ユーザの位置を追跡するため、等に使用することができる。下記でより詳細に論じるように、センサ１２０ａ〜１２０ｄは、その時々において、２Ｄ検知のために第１のモードで、また、３Ｄ検知のために第２のモードで動作することができる。２Ｄ画像データおよび３Ｄ画像データは、例えば、ユーザの位置、ユーザの頭の動き、等のより堅牢な追跡を行うために、システムにマージして提供することができる。
【００４８】
図１Ｂは、ニアアイディスプレイ１００の別の実施形態の図である。図１Ｂは、ニアアイディスプレイ１００を着用したユーザの眼球１３５に面したニアアイディスプレイ１００の側面を示す。図１Ｂに示したように、ニアアイディスプレイ１００は、複数の照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含むことができる。ニアアイディスプレイ１００は、複数のイメージセンサ１５０ａおよび１５０ｂをさらに含む。照射器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａとは逆の）方向Ｄに向けて一定の光周波数範囲の光（例えば、ＮＩＲ）を放つことができる。放った光は、一定のパターンに関連付けたものであってもよく、ユーザの左の眼球で反射させることができる。センサ１５０ａは、反射した光を受光し、反射パターンの画像を生成するためのピクセルセルアレイを含むことができる。同様に、照射器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを運ぶＮＩＲ光を放つことができる。ＮＩＲ光は、ユーザの右の眼球で反射させることができ、センサ１５０ｂで受光することができる。センサ１５０ｂは、反射パターンの画像を生成するためのピクセルセルアレイをさらに含むことができる。センサ１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を判定し、判定した注視点に基づいて、ディスプレイ１００に提供された画像データを更新して、ユーザに双方向体験を提供することができる。いくつかの例では、イメージセンサ１５０ａおよび１５０ｂは、センサ１２０ａ〜１２０ｄと同じピクセルセルを含むことができる。
【００４９】
図２は、図１に示したニアアイディスプレイ１００の横断面２００の実施形態である。ディスプレイ１１０は、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ニアアイディスプレイ１００をユーザが着用したとき、アイボックス領域にユーザの片方の眼球２２０がある位置である。例証のために、図２は、眼球２２０および単一の導波路ディスプレイアセンブリ２１０に関連付けられた横断面２００を示すが、ユーザの第２の目のために、第２の導波路ディスプレイを使用する。
【００５０】
導波路ディスプレイアセンブリ２１０は、射出瞳２３０にあるアイボックスに、また、眼球２２０に、画像光を向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率を有する１つまたは複数の材料（例えば、プラスチック、ガラス、等）から成ることができる。いくつかの実施形態では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学素子を含む。
【００５１】
いくつかの実施形態では、導波路ディスプレイアセンブリ２１０は、１つまたは複数の導波路ディスプレイのスタックを含み、スタック型導波路ディスプレイ、可変焦点導波路ディスプレイ、等を含むがこれらに限定されない。スタック型導波路ディスプレイは、それぞれの単色源が異なる色のものである導波路ディスプレイをスタックすることによって作り出された多色ディスプレイ（例えば、赤−緑−青（ＲＧＢ）ディスプレイ）である。また、スタック型導波路ディスプレイは、複数の平面に投射できる多色ディスプレイ（例えば、マルチプラナー着色ディスプレイ（ｍｕｌｔｉ−ｐｌａｎａｒ  ｃｏｌｏｒｅｄ  ｄｉｓｐｌａｙ））である。いくつかの構成では、スタック型導波路ディスプレイは、複数の平面に投射できる単色ディスプレイ（例えば、マルチプラナー単色ディスプレイ（ｍｕｌｔｉ−ｐｌａｎａｒ  ｍｏｎｏｃｈｒｏｍａｔｉｃ  ｄｉｓｐｌａｙ））である。可変焦点導波路ディスプレイは、導波路ディスプレイから放たれた画像光の焦点位置を調節できるディスプレイである。代替実施形態では、導波路ディスプレイアセンブリ２１０は、スタック型導波路ディスプレイおよび可変焦点導波路ディスプレイを含むことができる。
【００５２】
図３は、導波路ディスプレイ３００の実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（例えば、導波路ディスプレイアセンブリ２１０）である。いくつかの実施形態では、導波路ディスプレイ３００は、他のいくつかのニアアイディスプレイ、または、画像光を特定の位置に向ける他のシステムの一部である。
【００５３】
導波路ディスプレイ３００は、ソースアセンブリ３１０、出力導波路３２０、照射器３２５、およびコントローラ３３０を含む。照射器３２５は、図１Ａの照射器１３０を含むことができる。例証のために、図３は、片方の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの実施形態では、導波路ディスプレイ３００とは別個の、または部分的に別個の、別の導波路ディスプレイが、ユーザのもう一方の目に画像光を提供する。
【００５４】
ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１にある連結要素３５０に出力する。出力導波路３２０は、ユーザの眼球２２０に拡大した画像光３４０を出力する光導波路である。出力導波路３２０は、第１の側面３７０−１にある１つまたは複数の連結要素３５０で画像光３５５を受光し、受光した入力画像光３５５を配向要素（ｄｉｒｅｃｔｉｎｇ  ｅｌｅｍｅｎｔ）３６０に誘導する。いくつかの実施形態では、連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。
【００５５】
配向要素３６０は、受光した入力画像光３５５の向きを分離要素３６５の方に変え、その結果、受光した入力画像光３５５は、分離要素３６５を介して出力導波路３２０から分離される。配向要素３６０は、出力導波路３２０の第１の側面３７０−１の一部である、または、第１の側面３７０−１に貼られる。分離要素３６５は、出力導波路３２０の第２の側面３７０−２の一部である、または、第２の側面３７０−２に貼られ、その結果、配向要素３６０は、分離要素３６５と向かい合う。配向要素３６０および／または分離要素３６５は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。
【００５６】
第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面に相当する。出力導波路３２０は、画像光３５５の全内部反射を助長する１つまたは複数の材料から成ることができる。出力導波路３２０は、例えば、シリコン、プラスチック、ガラス、および／またはポリマーから成ることができる。出力導波路３２０は、比較的小さいフォームファクタを有する。例えば、出力導波路３２０は、およそ、ｘ次元に沿って５０ｍｍ広く、ｙ次元に沿って３０ｍｍ長く、また、ｚ次元に沿って０．５ｍｍ〜１ｍｍ厚くてもよい。
【００５７】
コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０に対するスキャン命令を決定する。いくつかの実施形態では、出力導波路３２０は、視界（ＦＯＶ：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）が広いユーザの眼球２２０に、拡大した画像光３４０を出力する。例えば、拡大した画像光３４０は、（ｘおよびｙにおける）対角線ＦＯＶが６０度以上、および／または、１５０度以下のユーザの眼球２２０に提供される。出力導波路３２０は、長さ２０ｍｍ以上および／もしくは５０ｍｍ以下、ならびに／または、幅１０ｍｍ以上および／または５０ｍｍ以下のアイボックスを提供するように構成される。
【００５８】
さらに、コントローラ３３０は、イメージセンサ３７０によって提供された画像データに基づいて、ソースアセンブリ３１０によって生成された画像光３５５も制御する。イメージセンサ３７０は、第１の側面３７０−１にあってもよく、例えば、図１Ａのイメージセンサ１２０ａ〜１２０ｄを含んでもよい。イメージセンサ１２０ａ〜１２０ｄは、例えば、ユーザの前にある（例えば、第１の側面３７０−１に面した）オブジェクト３７２の、２Ｄ検知および３Ｄ検知を実行するように動作することができる。２Ｄ検知のために、イメージセンサ１２０ａ〜１２０ｄの各ピクセルセルは、光源３７６によって生成され、オブジェクト３７２から反射した光３７４の強度を表すピクセルデータを生成するように動作することができる。３Ｄ検知のために、イメージセンサ１２０ａ〜１２０ｄの各ピクセルセルは、照射器３２５によって生成された光３７８の飛行時間測定値を表すピクセルデータを生成するように動作することができる。例えば、イメージセンサ１２０ａ〜１２０ｄの各ピクセルセルは、照射器３２５が光３７８を投射できるようになった第１の時間、および、オブジェクト３７２から反射した光３７８をピクセルセルが検出した第２の時間を判定することができる。第１の時間と第２の時間との間の差は、イメージセンサ１２０ａ〜１２０ｄとオブジェクト３７２との間の光３７８の飛行時間を示すことができ、飛行時間情報は、イメージセンサ１２０ａ〜１２０ｄとオブジェクト３７２との間の距離を判定するために使用することができる。イメージセンサ１２０ａ〜１２０ｄは、２Ｄ検知および３Ｄ検知をその時々において実行し、２Ｄ画像データおよび３Ｄ画像データをリモートコンソール３９０に提供するように動作することができ、リモートコンソール３９０は導波路ディスプレイ３００内にあってもよい（または、なくてもよい）。リモートコンソールは、２Ｄ画像と３Ｄ画像を組み合わせて、例えば、ユーザがいる環境の３Ｄモデルを生成すること、ユーザの位置および／または方向を追跡すること、等を行うことができる。リモートコンソールは、２Ｄ画像および３Ｄ画像から得られた情報に基づいて、ユーザに表示することになる画像のコンテンツを決定することができる。リモートコンソールは、決定したコンテンツに関する命令をコントローラ３３０に伝送することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御して、ユーザに双方向体験を提供することができる。
【００５９】
図４は、導波路ディスプレイ３００の横断面４００の実施形態を示す。横断面４００は、ソースアセンブリ３１０、出力導波路３２０、およびイメージセンサ３７０を含む。図４の例では、イメージセンサ３７０は、ユーザの前にある実際の環境の画像を生成するための、第１の側面３７０−１にあるピクセルセル４０２のセットを含むことができる。いくつかの実施形態では、ピクセルセル４０２のセットと実際の環境との間に介在する機械シャッター４０４および光学フィルタアレイ４０６が存在することができる。機械シャッター４０４は、ピクセルセル４０２のセットの露光を制御することができる。いくつかの実施形態では、機械シャッター４０４は、下記で論じるように、電子シャッターゲートで置き替えることができる。光学フィルタアレイ４０６は、下記で論じるように、ピクセルセル４０２のセットを露光する光の光学波長範囲を制御することができる。ピクセルセル４０２のそれぞれは、画像の１つのピクセルに対応させることができる。図４に示されていないが、ピクセルセル４０２のそれぞれは、ピクセルセルによって検知されることになる光の光学波長範囲を制御するためにフィルタをさらに被せてもよいということがわかる。
【００６０】
リモートコンソールから命令を受け取った後、機械シャッター４０４が開き、露光期間内にピクセルセル４０２のセットを露光させることができる。露光期間中、イメージセンサ３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。イメージセンサ３７０は、次に、リモートコンソールに画像データを送り、リモートコンソールは、表示コンテンツを決定し、表示コンテンツ情報をコントローラ３３０に送ることができる。コントローラ３３０は、次に、表示コンテンツ情報に基づいて画像光３５５を決定することができる。
【００６１】
ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、発光源４１０および光学システム４１５を含む。発光源４１０は、干渉性の、または部分的に干渉性の、光を生成する光源である。発光源４１０は、例えば、レーザダイオード、垂直キャビティ面発光レーザ、および／または発光ダイオードであってもよい。
【００６２】
光学システム４１５は、発光源４１０からの光を調整する１つまたは複数の光学部品を含む。発光源４１０からの光を調整することは、例えば、コントローラ３３０からの命令に従って方向を拡大すること、コリメートすること、および／または調節することを含むことができる。１つまたは複数の光学部品は、１つまたは複数のレンズ、液体レンズ、ミラー、開口部、および／または回折格子を含むことができる。いくつかの実施形態では、光学システム４１５は、スキャン角度の閾値で光のビームをスキャンして、液体レンズの外側の領域に光のビームをシフトさせることができる複数の電極を有する液体レンズを含む。光学システム４１５（および、さらにソースアセンブリ３１０）から放たれた光は、画像光３５５と呼ばれる。
【００６３】
出力導波路３２０は、画像光３５５を受光する。連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０が回折格子である実施形態では、出力導波路３２０内で全内部反射が発生し、（例えば、全内部反射によって）出力導波路３２０の内部で画像光３５５が分離要素３６５に向けて伝搬するように、回折格子のピッチを選ぶ。
【００６４】
配向要素３６０は、出力導波路３２０から分離させるために画像光３５５の向きを分離要素３６５の方に変える。配向要素３６０が回折格子である実施形態では、分離要素３６５の表面に対する傾斜角で、入射した画像光３５５が出力導波路３２０を出るように、回折格子のピッチを選ぶ。
【００６５】
いくつかの実施形態では、配向要素３６０および／または分離要素３６５は構造的に似ている。出力導波路３２０を出た拡大した画像光３４０は、１つまたは複数の次元に沿って拡大される（例えば、ｘ次元に沿って延びてもよい）。いくつかの実施形態では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０、および、複数の出力導波路３２０を含む。ソースアセンブリ３１０のそれぞれは、原色（例えば、赤、緑、または青）に対応する特定の波長帯域の単色画像光を放つ。出力導波路３２０のそれぞれは、多色の拡大した画像光３４０を出力するための分離距離で一緒にスタックすることができる。
【００６６】
図５は、ニアアイディスプレイ１００を含むシステム５００の実施形態のブロック図である。システム５００は、ニアアイディスプレイ１００、画像化デバイス５３５、入出力インターフェース５４０、ならびにイメージセンサ１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂを備え、これらは、制御回路機器５１０にそれぞれ連結される。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイス、等として構成することができる。
【００６７】
ニアアイディスプレイ１００は、ユーザに媒体を提示するディスプレイである。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの実施形態では、音声は、ニアアイディスプレイ１００および／または制御回路機器５１０から音声情報を受け取り、音声情報に基づく音声データをユーザに提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。いくつかの実施形態では、ニアアイディスプレイ１００は、ＡＲ眼鏡（ＡＲ  ｅｙｅｗｅａｒ  ｇｌａｓｓ）としてさらに機能させることができる。いくつかの実施形態では、ニアアイディスプレイ１００は、コンピュータ生成要素（例えば、画像、動画、音、等）で実際の現実世界環境の景色を拡大する。
【００６８】
ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数のポジションセンサ５２５、および／または慣性計測ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０、出力導波路３２０、およびコントローラ３３０を含む。
【００６９】
ＩＭＵ５３０は、ポジションセンサ５２５の１つまたは複数から受け取った測定信号に基づいて、ニアアイディスプレイ１００の最初の位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。
【００７０】
画像化デバイス５３５は、様々な用途のための画像データを生成することができる。例えば、画像化デバイス５３５は、制御回路機器５１０から受け取った較正パラメータに従って低速較正データを提供するための画像データを生成することができる。画像化デバイス５３５は、ユーザの位置および頭の動きを追跡するために、ユーザがいる実際の環境の２Ｄ画像データおよび３Ｄ画像データを生成するための、例えば、図１Ａのイメージセンサ１２０ａ〜１２０ｄを含むことができる。画像化デバイス５３５は、ユーザの関心のあるオブジェクトを識別するために、ユーザの注視点を決定するための画像データ（例えば、２Ｄ画像データ）を生成するための、例えば、図１Ｂのイメージセンサ１５０ａ〜１５０ｂをさらに含むことができる。
【００７１】
入出力インターフェース５４０は、制御回路機器５１０にアクション要求をユーザが送ることができるデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了させること、または、アプリケーション内の特定のアクションを実行することであってもよい。
【００７２】
制御回路機器５１０は、画像化デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０の１つまたは複数から受け取った情報に従ってユーザに提示するために、ニアアイディスプレイ１００に媒体を提供する。いくつかの例では、制御回路機器５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収納することができる。いくつかの例では、制御回路機器５１０は、システム５００の他の構成要素と通信連結されたスタンドアロンのコンソールデバイスであることが可能である。図５に示した例では、制御回路機器５１０は、アプリケーション記憶装置５４５、追跡モジュール５５０、およびエンジン５５５を含む。
【００７３】
アプリケーション記憶装置５４５は、制御回路機器５１０による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは命令のグループであり、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の適切なアプリケーションを含む。
【００７４】
追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、１つまたは複数の較正パラメータを調節して、ニアアイディスプレイ１００の位置を決定する際の誤差を減らすことができる。
【００７５】
追跡モジュール５５０は、画像化デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の動きを追跡する。追跡モジュール５５０は、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置をさらに決定する。
【００７６】
エンジン５５５は、システム５００内のアプリケーションを実行し、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または、将来の予測位置を、追跡モジュール５５０から受け取る。いくつかの実施形態では、エンジン５５５によって受け取った情報は、導波路ディスプレイアセンブリ２１０への信号（例えば、表示命令）を生み出すために使用することができ、ユーザに提示されるコンテンツの種類を決定する。例えば、双方向体験を提供するために、エンジン５５５は、（例えば、追跡モジュール５５０によって提供された）ユーザの位置、（例えば、画像化デバイス５３５によって提供された画像データに基づく）ユーザの注視点、（例えば、画像化デバイス５３５によって提供された画像データに基づく）オブジェクトとユーザとの間の距離に基づいて、ユーザに提示されることになるコンテンツを決定することができる。
【００７７】
図６は、イメージセンサ６００の例を示す。イメージセンサ６００は、２Ｄ検知と３Ｄ検知の両方のために同じピクセルセルを使用することができる。例えば、同じピクセルセルは、２Ｄ検知のために可視光の色成分（例えば、赤色、緑色、または青色）を検出すること、および、３Ｄ検知のために赤外光を検出することを行うように構成することができる。イメージセンサ６００は、ニアアイディスプレイ１００の一部であることが可能であり、ニアアイディスプレイ１００の表示コンテンツを制御するために、図５の制御回路機器５１０に２Ｄ画像データおよび３Ｄ画像データを提供することができる。図６の例では、イメージセンサ６００は、照射器６０２、光学フィルタアレイ６０４、ピクセルセル６０６ａを含むピクセルセルアレイ６０６、およびデジタイザモジュール６０８を含むことができる。
【００７８】
照射器６０２は、３Ｄ検知のために赤外光を投射できるレーザ、発光ダイオード（ＬＥＤ）、等などの赤外線照射器であってもよい。投射光は、例えば、構造光、光パルス、等を含むことができる。光学フィルタアレイ６０４は、フィルタエレメントのアレイを含むことができ、各フィルタエレメントは、ピクセルセルアレイ６０６のピクセルセル（例えば、ピクセルセル６０６ａ）に相当する。各フィルタエレメントは、入射光の一定の波長範囲を吸収し、対応するピクセルセルに光の残りを伝送するように構成することができる。入射光は、周囲の可視光、および、照射器６０２によって投射され、オブジェクトによって反射された赤外光を含むことができる。例えば、１つのフィルタエレメントは、可視光の緑成分、および、赤外光をピクセルセルに伝送することができ、その一方で、もう１つのフィルタエレメントは、可視光の青成分、および、赤外光を別のピクセルセルに伝送することができる。いくつかの例では、光学フィルタアレイ６０４は、赤外光と共に伝送されることになる可視光の色成分を選択するように構成可能であってもよく、その結果、ピクセルセル６０６ａは、可視光の種々の色成分、および、赤外光を検出するために使用することができる。
【００７９】
さらに、ピクセルセル６０６ａは、入射光の可視光の種々の色成分、および、赤外光を検出するための複数のフォトダイオードを含むことができる。例えば、図６に示したように、ピクセルセル６０６ａは、フォトダイオード６１２およびフォトダイオード６１４を含むことができる。フォトダイオード６１２およびフォトダイオード６１４は、ピン型フォトダイオードであってもよい。フォトダイオード６１２は、露光期間内に、第１の波長範囲の入射光の第１の成分（例えば、可視光の赤色、青色、または緑色のうちの１つ）を検出し、検出した光子を電荷に変換し、この電荷を蓄えることができる。さらに、フォトダイオード６１４は、同じまたは別の露光期間内に、第２の波長範囲の入射光の第２の成分（例えば、赤外光）を検出し、検出した光子を電荷に変換し、この電荷を蓄えることができる。ピクセルセル６０６ａは、電荷貯蔵デバイス６１６をさらに含むことができ、電荷貯蔵デバイス６１６は、浮遊ドレインノード、金属キャパシタ、または、両方の組合せを含むことができる。露光期間の終わりに、フォトダイオード６１２および６１４に蓄えられた電荷は、電荷貯蔵デバイス６１６に移動させて、２Ｄ検知および３Ｄ検知のための電圧を生じることができる。
【００８０】
イメージセンサ６００は、測定モジュール６０８をさらに含む。測定モジュール６０８は、フォトダイオード６１２によって生成された電荷に基づいて２Ｄ画像化動作を実行するための２Ｄ測定モジュール６２２をさらに含むことができる。２Ｄ画像化動作は、例えば、電荷貯蔵デバイス６１６で生じた電圧の大きさに基づいてピクセル値を生成することを含むことができ、ピクセル値は、露光期間中にフォトダイオード６１２に蓄えられた電荷の総量を反映する。測定モジュール６０８は、フォトダイオード６１４によって生成された電荷に基づいて３Ｄ画像化動作を実行するための３Ｄ測定モジュール６２４を含むことができる。３Ｄ画像化動作は、例えば、オブジェクトの表面で反射した構造光のパターンを検出し、照射器６０２によって投射された構造光のパターンと、検出したパターンを比較して、ピクセルセルアレイに対する、表面の種々のポイントの深度を決定することを含むことができる。反射した光のパターンの検出のために、３Ｄ測定モジュール６２４は、電荷貯蔵デバイス６１６で生じた電圧の大きさに基づいてピクセル値を生成することができ、ピクセル値は、露光期間中にフォトダイオード６１４に蓄えられた電荷の総量を反映する。別の例として、３Ｄ測定モジュール６２４は、照射器６０２が伝送し、オブジェクトが反射した光パルスの飛行時間測定値を表すピクセル値を生成することができる。
【００８１】
イメージセンサ６００は、イメージセンサ６００の種々の構成要素を制御して、オブジェクトの２Ｄ画像化および３Ｄ画像化を実行するための検知コントローラ６１０をさらに含む。ここで、図７Ａおよび図７Ｂを参照し、２Ｄ画像化および３Ｄ画像化のためのイメージセンサ６００の動作の例を示す。図７Ａは、２Ｄ画像化のための動作の例を示す。２Ｄ画像化のために、ピクセルセルアレイ６０６は、オブジェクトで反射した可視光を含む、環境内の可視光を検出することができる。例えば、図７Ａを参照すると、可視光源７００（例えば、電球、太陽、または、周囲の可視光の他の発生源）は、可視光７０２をオブジェクト７０４に投射することができる。可視光７０６は、オブジェクト７０４のスポット７０８で反射させることができる。可視光７０６は、光学フィルタアレイ６０４でフィルタにかけて、反射した可視光７０６の所定の波長範囲ｗ０を通し、フィルタを通った光７１０ａを生み出すことができる。波長範囲ｗ０は、スポット７０８で反射した可視光７０６の第１の色成分（例えば、６２０〜７５０ナノメートル（ｎｍ）の波長範囲を有する赤色成分）に相当することができる。フィルタを通った光７１０ａは、露光期間内に、ピクセルセル６０６ａの第１のフォトダイオード６１２でキャプチャし、第１の電荷を生成して蓄積することができる。露光期間の終わりに、検知コントローラ６１０は、第１の電荷を電荷貯蔵デバイス６１６に向かわせて、第１の色成分の強度に相当する電圧を生じ、２Ｄ測定モジュール６２２に第１の電圧を提供することができる。２Ｄ測定モジュール６２２は、アナログデジタルコンバータ（ＡＤＣ）を含むことができ、第１の電圧をサンプリングして量子化し、可視光７０６の第１の色成分の強度に相当するデジタル値を生成するように、検知コントローラ６１０で制御することができる。
【００８２】
さらに、イメージセンサ６００は、オブジェクト７０４の３Ｄ画像化をさらに実行することができる。図７Ｂを参照すると、検知コントローラ６１０は、オブジェクト７０４に赤外光７２８を投射するように照射器６０２を制御することができ、赤外光７２８は、光パルス、構造光、等を含むことができる。赤外光７２８は、７００ナノメートル（ｎｍ）から１ミリメートル（ｍｍ）の波長範囲を有することができる。赤外光子７３０は、オブジェクト７０４で反射し、ピクセルセルアレイ６０６に向けて伝搬し、光学フィルタ６０４を通過することができる。いくつかの例では、ピクセルセル６０６ａの第２のフォトダイオード６１４は、赤外光子７３０を第２の電荷に変換することができる。第２のフォトダイオード６１４による赤外光子７３０の検出および変換は、第１のフォトダイオード６１２による可視光７０６の検出および変換と同じ露光期間内に行うことができる。このように配置すると、各ピクセルセルは、オブジェクトの同じスポットの２Ｄ画像化および３Ｄ画像化を実行することができ、２Ｄ画像と３Ｄ画像の間の対応関係を改善させることができる。検知コントローラ６１０は、第２の電荷を電荷貯蔵デバイス６１６に向かわせて、ピクセルセルで受光した赤外光の強度に相当する電圧を生じることができる。
【００８３】
３Ｄ測定モジュール６２４は、オブジェクト７０４に投射した光７２８のタイプに基づいて、種々のタイプの深度検知動作を実行することができる。構造光７２８がオブジェクト７０４に投射されるケースでは、３Ｄ測定モジュール６２４は、ＡＤＣを含むことができ、第２の電圧をサンプリングして量子化し、スポット７０８で反射した赤外光の強度に相当するデジタル値を生成するように、検知コントローラ６１０で制御することができる。オブジェクト７０４で反射した赤外光強度のパターンは、デジタル値から取得することができる。パターンは、照射器６０２によって投射された構造光のパターンと比較して、ピクセルセルアレイ６０６に対する、スポット７０８を含んだオブジェクト７０４の表面の種々のスポットの深度を決定することができる。赤外光７２８が光パルスを含むケースでは、３Ｄ測定モジュール６２４は、第２のフォトダイオード６１４に蓄えられた電荷の変化を検出することができる。赤外光パルスの飛行時間は、光パルスが照射器６０２を出たときと、第２のフォトダイオード６１４に蓄えられた電荷の変化を検出したときとの間の時間差に基づいて決定することができる。各ピクセルセルによって提供された情報に基づいて、オブジェクト７０４の３Ｄ画像を生成することができる。
【００８４】
図８は、ピクセルセル８００のアレイの例（例えば、ピクセルセル８００ａ、８００ｂ、８００ｃ、および８００ｄ）を示し、ピクセルセル８００のアレイは、２Ｄ画像および３Ｄ画像検知を並べて実行することができ、イメージセンサ６００の一部であってもよい。図８に示したように、ピクセルセル８００のそれぞれは、第１の半導体基板８０２、第２の半導体基板８０４、および、これらの基板に挟まれた金属層８０５を含むことができる。第１の半導体基板８０２は、受光面８０６、第１のフォトダイオード８０８、第２のフォトダイオード８１０、および電荷貯蔵デバイス６１６を含むことができ、その一方で、第２の半導体基板８０４は、インターフェース回路８５０を含むことができる。第１のフォトダイオード８０８および第２のフォトダイオード８１０は、受光面８０６に垂直な軸に沿って（例えば、ｚ軸に沿って）スタックを形成することができる。第２のフォトダイオード８１０は、可視光検知フォトダイオード（「ＶＩＳ  ＰＤ」）として構成することができ、その一方で、第１のフォトダイオード８０８は、赤外光検知フォトダイオード（「ＩＲ  ＰＤ」）として構成することができる。特に、第２のフォトダイオード８１０は、第１のフォトダイオード８０８より受光面８０６の近くにあってもよい。光８２０が受光面８０６を介して入り、第１の半導体基板８０２内を伝搬するとき、比較的長いインフラ光の波長範囲を有する光８２０の第１の光成分８２２は、第２のフォトダイオード８１０を通って伝搬して達することができ、第１のフォトダイオード８０８に吸収させることができる。さらに、比較的短い可視光波長範囲を有する光８２０の第２の光成分８２４は、第２のフォトダイオード８１０で止まり、第２のフォトダイオード８１０に吸収させることができる。
【００８５】
ピクセルセル８００のそれぞれは、光８２０の第１の光成分８２２および第２の光成分８２４の性質を制御するための光学部品をさらに含む。例えば、ピクセルセル８００のそれぞれは、光８２０の焦点を合わせるためのマイクロレンズ８３２、および、例えば、第２のフォトダイオード８１０によって吸収される／測定されることになる第２の光成分８２４の波長範囲（例えば、赤色、緑色、または青色のうちの１つ）を選択するための光学フィルタ８３４を含む。図８に示したように、ピクセルセル８００ａ、８００ｂ、８００ｃ、および８００ｄのそれぞれは、第１の光成分８２２として赤外光を受光するが、色フィルタ８３４の構成に基づいて、第２の光成分８２４として別の波長範囲の可視光を受光することができる。図８の例では、ピクセルセル８００ａは、第２の光成分８２４として赤色光を受光することができ、ピクセルセル８００ｂおよび８００ｄは、第２の光成分８２４として緑色光を受光することができ、その一方で、ピクセルセル８００ｃは、第２の光成分８２４として青色光を受光することができる。
【００８６】
第１のフォトダイオード８０８および第２のフォトダイオード８１０のそれぞれは、第１の光成分８２２および第２の光成分８２４に応答して、それぞれ電荷を生成することができる。各フォトダイオードによる電荷生成の割合は、第１の光成分８２２および第２の光成分８２４の強度に相当することができる。第１のフォトダイオード８０８および第２のフォトダイオード８１０によって生成された電荷は、電荷貯蔵デバイス６１６に蓄えることができ、電荷貯蔵デバイス６１６は、図８の例では、第１の半導体基板８０２における浮遊ドレインノード８１８、および、金属層８０５における補助金属キャパシタ８２０を含むことができる。電荷貯蔵デバイス６１６に蓄積した電荷の量、および、電荷貯蔵デバイス６１６における電荷累積の割合は、インターフェース回路８５０で測定することができる。インターフェース回路８５０は、例えば、第１の光成分８２２および第２の光成分８２４の強度を決定するための、図６の測定モジュール６０８を含むことができる。金属層１０５は、浮遊ドレインノード８１８および補助金属キャパシタ８２０を、第２の半導体基板８０４の測定モジュール６０８と連結できる金属相互接続８３０をさらに含む。金属相互接続８３０は、上述のような２Ｄ画像および３Ｄ画像の検知動作のための測定を実行するために、第１のフォトダイオード８０８および第２のフォトダイオード８１０によって生成された電荷に相当する電荷貯蔵デバイス６１６で生じた電圧を、測定モジュール６０８に伝送することができる。
【００８７】
図８は、ピクセルセル８００の第１のフォトダイオード８０８および第２のフォトダイオード８１０が、２つのフォトダイオードが異なる光成分を検知できるスタック構造を形成することを示すが、ピクセルセル８００は、光成分を分離するための他の構成を採用することができる。例えば、２つのフォトダイオードは、受光面８０６と平行な軸に沿って（例えば、ｘ軸またはｙ軸に沿って）互いに隣に配置することができ、光成分を分け、異なる光成分をフォトダイオードに投射する／向けるための光学構造を受光面８０６に用意することができる。
【００８８】
ここで、図９Ａおよび図９Ｂを参照し、図８に示していない半導体基板８０２の他の構成要素の例を示す。図９Ａおよび図９Ｂは、Ｐ型の半導体基板８０２に形成したピクセルセル８００を示す。図９Ａおよび図９Ｂでは、半導体基板８０２は、前側表面９０２および裏側表面９０４を有することができる。前側表面９０２は、ポリシリコンゲート９１８の形成、第１のフォトダイオード８０８、第２のフォトダイオード８１０、浮遊ドレインノード８１８、ピン層９１５、等を形成するためのドーピングおよび／またはイオン注入などの、さらなる半導体処理の場所である。図９Ａでは、ピクセルセル８００は、裏面照射型デバイスとして構成することができ、裏側表面９０４を受光面８０６として構成し、マイクロレンズ８３２および光学フィルタ８３４は、光８２０の第１の光成分８２２および第２の光成分８２４の性質を制御するために裏面９０４の表面に置くことができる。図９Ｂでは、ピクセルセル８００は、前面照射型デバイスとして構成することができ、前側表面９０２を受光面８０６として構成する。絶縁層９５２は、前側表面９０２のポリシリコンゲート９１８および酸化被膜９１６の上に置くことができ、マイクロレンズ８３２および光学フィルタ８３４は、光８２０の第１の光成分８２２および第２の光成分８２４の性質を制御するために絶縁層９５２に置くことができる。
【００８９】
図９Ａおよび図９Ｂの例では、第１のフォトダイオード８０８および第２のフォトダイオード８１０は、ピン型フォトダイオードとして構成することができる。図９Ａでは、第２のピン型フォトダイオード８１０は、Ｐ型半導体基板８０２内に埋め込まれたＮ型領域９０６を含めることによって形成することができる。ピクセルセル８００は、Ｐウェル９０８、および、Ｐウェル９０８内に埋め込まれたＮ型領域９１２を第１のピン型フォトダイオード８０８にさらに含める。図９Ａでは、Ｎ型領域９１２は、Ｎ型領域９０６より（受光面８０６として構成された）裏側表面９０４からさらに離れており、これにより、第１のピン型フォトダイオード８０８は、光８２０の赤外線成分（例えば、第１の光成分８２２）を主に検出することができ、第２のピン型フォトダイオード８１０は、光８２４の可視光成分（例えば、第２の光成分８２４）を主に検出することができる。図９Ｂでは、第１のピン型フォトダイオード８０８および第２のピン型フォトダイオード８１０の位置は反転させることができ、第１のピン型フォトダイオード８０８が、Ｎ型領域９０６から形成され、その一方で、第２のピン型フォトダイオード８１０が、Ｎ型領域９１２から形成される。図９Ｂでは、Ｎ型領域９１２は、Ｎ型領域９０６より（受光面８０６として構成された）前側表面９０２の近くにあり、これにより、第１のピン型フォトダイオード８０８および第２のピン型フォトダイオード８１０は、図９Ａのように、異なる波長の成分を検出することができる。第１のピン型フォトダイオード８０８および第２のピン型フォトダイオード８１０は、同じまたは別のピン電圧（例えば、フォトダイオードの両端間の最大電圧差）を有することができる。第１のピン型フォトダイオード８０８と第２のピン型フォトダイオード８１０の両方において、Ｐ型基板９０１およびＰウェル９０８内のＮ型領域９０６とＮ型領域９１２を完全に絶縁すると、暗電流およびノイズ性能をより良くすることができる。
【００９０】
図９Ａと図９Ｂの両方において、第１のピン型フォトダイオード８０８と第２のピン型フォトダイオード８１０との間に障壁層９１４がさらに形成され、第１のピン型フォトダイオード８０８、障壁層９１４、および第２のピン型フォトダイオード８１０は、Ｐ型半導体基板８０２内の光の伝搬方向に沿って（例えば、ｚ軸に沿って）スタックを形成することができる。下記でより詳細に説明するように、障壁層９１４は、第１のピン型フォトダイオード８０８に蓄えられた電荷が、第２のピン型フォトダイオード８１０に入るのを防ぐことができる。また、障壁層９１４は、読出しおよび量子化のために、第２のピン型フォトダイオード８１０から第１のピン型フォトダイオード８０８への電荷の流れを調節することができる。いくつかの例では、障壁層９１４は、Ｐ型層であること、および、Ｐウェル９０８（またはＰ型半導体基板８０２）の一部であることが可能であり、または、より高いＰ型ドーピング濃度のＰ＋領域の一部であることが可能である。いくつかの例では、障壁層９１４は、（例えば、Ｎ型領域９０６とＮ型領域９１２の両方より低いＮ型ドーピング濃度を有する）Ｎ型層であることも可能である。
【００９１】
上述のように、ピクセルセル８００は、ピン層９１５、酸化被膜９１６、ポリシリコンゲート９１８、および浮遊ドレイン８１８を前側表面９０２にさらに含む。ピン層９１５は、酸化被膜９１６と基板との間の接触において表面正孔の結合によって生じる暗電流を減らすために、酸化被膜９１６との直接的な接触からＮ型領域９１２を隔てるように構成することができ、第１のピン型フォトダイオードの暗電流性能をさらに改善させることができる。いくつかの例では、ピン層９１５は、Ｎ型領域９１２を有する第２のピン型フォトダイオードを形成することができ、Ｐウェル９０８は、デバイス９００から除去することができる。ポリシリコンゲート９１８は、Ｎ型領域９１２と浮遊ドレイン８１８との間のチャネル領域９２２にチャネルを作り出すために、酸化被膜９１６を介して電圧を受け取り、電界を及ぼすことができる。チャネルは、第１のフォトダイオード８０８または第２のフォトダイオード８１０のうちの１つによって生成された電荷を読み出すために作り出すことができる。
【００９２】
図１０Ａおよび図１０Ｂは、第１または第２のフォトダイオード８０８および８１０からの電荷の読出しのための第１の半導体基板８０２内の電位分布の例を示す。図１０Ａは、読出しを実行するために、障壁層９１４の電位が時間に対して変調される例を示す。図１０Ａを参照すると、時間１０００において、Ｎ型領域９１２およびＮ型領域９０６は、第１および第２の光成分８２２および８２４に応答して生成された、帯電した陰電気を含み、それぞれが、電位Ｐｃｈａｒｇｅを有することができる。電位Ｐｃｈａｒｇｅは、電荷の量、Ｎ型領域９１２およびＮ型領域９０６の量子井戸の容量、ならびに、これらの量子井戸が空であるＰｅｍｐｔｙのときの量子井戸の電位に基づいて定義することができる。一方で、チャネル領域９２２は、オフ状態であることが可能であり、チャネルは、チャネル領域９２２にまだ作り出されていない。チャネル領域９２２における電位は、Ｐｃｈａｒｇｅより低い電位におけるものであることが可能である。さらに、障壁層９１４は、オフ状態であることが可能であり、Ｎ型領域９１２とＮ型領域９０６との間を電荷が流れるのを防ぐように電位を設定することができ、Ｎ型領域９１２における電位は、Ｐｃｈａｒｇｅより低い電位におけるものであることも可能である。図１０Ａでは、チャネル領域９２２および障壁層９１４における電位は、Ｐｓｕｂに似ていることが可能である。
【００９３】
時間１０００において、Ｎ型領域９１２とＮ型領域９０６の両方の貯蔵容量は、最大値におけるものであることが可能である。Ｎ型領域９１２に蓄えることができる電荷の最大量は、Ｎ型領域９１２の量子井戸容量、ならびに、チャネル領域９１２およびバリア基板９１４の、両方がオフ状態のときの電位に基づいて定義することができる。このような配置により、電荷の最大量がＮ型領域９１２に蓄えられると、Ｐｃｈａｒｇｅは、Ｎ型領域９１２における電荷をトラップするために、バリア基板９１４とチャネル領域９１２の両方の電位より高くとどめることができる。下記で詳細に説明されるように、チャネル領域９２２における電位は、Ｎ型領域９１２の貯蔵容量をセットするように構成することができる。さらに、Ｎ型領域９０６に蓄えることができる電荷の最大量は、電荷の最大量がＮ型領域９０６に蓄えられたとき、Ｎ型領域９０６における電荷をトラップするために、Ｐｃｈａｒｇｅが、第１の半導体基板８０２と障壁層９１４の両方の電位より高くとどまるように、Ｎ型領域９０６の量子井戸容量、第１の半導体基板８０２の電位Ｐｓｕｂ、および、オフ状態のバリア基板９１４の電位、ならびに、Ｐｅｍｐｔｙに基づいて定義することができる。
【００９４】
時間１００２において、Ｎ型領域９１２に蓄えられた電荷を読み出すことができる。電荷を読み出すために、チャネル領域９２２における電位は、チャネル領域９２２にチャネルを形成するために、ポリシリコンゲート９１８に電圧を印加することによってＰｃｈａｎｎｅｌ−ｏｎに増加させることができる。Ｎ型領域９１２に蓄えられた負電荷は、チャネル領域９２２に、次いで、浮遊ドレイン８１８に流れることができる。一方で、障壁９１４の電位は、Ｎ型領域９０６に蓄えられた電荷の電位Ｐｃｈａｒｇｅより低いＰｓｕｂのままである。結果として、Ｎ型領域９０６に蓄えられた電荷は、この領域にトラップされたままである。
【００９５】
時間１００４において、障壁層９１４の電位は、Ｐｃｈａｒｇｅ以上になるように増加させることができる。Ｎ型領域９０６に蓄えられた電荷は、Ｎ型領域９１２に流すことができる。図１０Ａの例では、チャネル領域９２２における電位は、Ｐｃｈａｎｎｅｌ−ｏｎに維持することができ、Ｎ型領域９０６からの電荷の全てを、浮遊ドレイン８１８に移動させることができる。いくつかの例では、下記で説明されるように、Ｎ型領域９０６に蓄えられた電荷は、異なる光強度の測定動作のために複数のステップで浮遊ドレイン８１８に移動させることができる。
【００９６】
図１０Ｂは、障壁層９１４の電位が一定に保たれるが、Ｎ型領域９０６における電荷の読出しを実行するために、第１の半導体基板８０２の電位が変調される別の例を示す。図１０Ｂに示したように、負の電位は、時間１０１２において第１の半導体基板８０２に印加することができ、これにより、障壁層９１４の電位は、第１の半導体基板８０２の電位より高くなる。Ｎ型領域９０６に蓄えられた負の電荷は、次に、障壁層９１４、ならびにその後、チャネル領域９２２および浮遊ドレイン８１８を横切って流れることができ、これらの全ては、第１の半導体基板８０２に負の電位が印加されたときに、Ｎ型領域９０６より高い電位を有することができる。
【００９７】
図１１Ａおよび図１１Ｂは、障壁層９１４および第１の半導体基板８０２の電位の変調のためのピクセルセル８００の実例の構造を示す。図１１Ａに示したように、ピクセルセル８００は、１つまたは複数のディープトレンチアイソレーション（ＤＴＩ：ｄｅｅｐ  ｔｒｅｎｃｈ  ｉｓｏｌａｔｉｏｎ）構造１１０２を含むことができる。ＤＴＩ構造は、隣のピクセルセルデバイス（例えば、ｘおよびｙ軸に沿って互いに隣に置かれたピクセルセル）の間の連結を減らし、基板内のＮ型領域の絶縁をさらに改善するための絶縁体として機能させることができる。各ＤＴＩ構造は、酸化ケイ素で作られ、充填材を充填した１つまたは複数の側壁１１０３を含むことができる。充填材は、金属またはドープ型ポリシリコンを含むことができ、伝導性であることが可能である。充填材は、電界を生成するために電圧信号を受け取ることができる。
【００９８】
ＤＴＩ構造１１０２は、障壁層９１４を制御するために使用することができる。例えば、ＤＴＩ構造１１０２は、障壁層９１４を横切る電界１１０６を含む電界を生成するために電圧信号を受け取ることができる。電界は、図１０Ａで上記に示されたように、障壁層９１４内の電荷キャリアの分布を変えることができ、第１の半導体基板８０２に対する障壁層９１４の電位を変えることができる。
【００９９】
いくつかのケースでは、ＤＴＩ構造１１０２の電位を一定に維持することが望ましい可能性がある。例えば、暗電流をさらに抑制するために、ＤＴＩ構造１１０２は、Ｓｉ−ＳＯ２インターフェースの近くに正孔を蓄積するために、負バイアスを印加することによって能動的に制止することができる。このようなケースでは、第１の半導体基板８０２の電位は、Ｎ型領域９０６からの電荷の読出しを制御するために、図１０Ｂで上記に示されたように、変調することができる。図１１Ｂは、第１の半導体基板８０２の電位の変調をサポートするための、ピクセルセル８００の実例の構造を示す。図１１Ｂに示したように、１つまたは複数のＰ＋領域１１１４を形成することができ、Ｐ＋領域１１１４は、前面から伸びてＤＴＩ構造１１０２と平行に走り、（裏側表面９０４に向けて）裏面の基板８０２に達する。Ｐ＋領域１１１４は、接点１１１６をさらに含む。接点１１１６を介してＰ＋領域１１１４にアクセスするために、金属相互接続１１２０を前側表面９０２に用意することができ、図１０Ｂに示したような第１の半導体基板８０２の電位を変調するために、金属相互接続１１２０に負バイアスを印加することができる。
【０１００】
図１２は、ピクセルセル８００の様々な回路の実例の概略図を示す。図１２に示したように、ピクセルセル８００は、スイッチＭ０、Ｍ１、Ｍ２、Ｍ６、ＭＢのセット、第１のフォトダイオード８０８、第２のフォトダイオード８１０、電荷貯蔵デバイス６１６、電圧バッファ１２０２、アナログデジタルコンバータ（ＡＤＣ）１２０４、およびコントローラ１２０６を含む。第１のフォトダイオード８０８、第２のフォトダイオード８１０、電荷貯蔵デバイス６１６、および電圧バッファ１２０２は、第１の半導体基板８０２に実装することができ、その一方で、ＡＤＣ１２０４およびコントローラ１２０６は、第２の半導体基板８０４に実装することができる。第１のフォトダイオード８０８および第２のフォトダイオード８１０は、入射光８２０の種々の成分を電荷に主に変換するように構成することができる。電荷は、電荷貯蔵デバイス６１６に読み出して蓄え、（「ＶＯＦ」とラベルを付けた）電圧を生じることができ、電圧は、電圧バッファ１２０２でバッファして、（「Ｖｐｉｘｅｌｏｕｔ」とラベルを付けた）ピクセル出力電圧になることができる。ピクセル出力電圧は、デジタル出力を生成するために、ＡＤＣ１２０４によって量子化することができる。コントローラ１２０６は、読出しおよび量子化処理を実行するために、スイッチおよびＡＤＣ１２０４を制御することができる。
【０１０１】
第１のフォトダイオード８０８および第２のフォトダイオード８１０は、ピクセルセル８００の構成に基づいて、入射光８２０の種々の成分を電荷に主に変換するように構成することができる。例えば、ピクセルセル８００が裏面照射型（ＦＳＩ）デバイスであり、第２のフォトダイオード８１０が第１のフォトダイオード８０８より受光面８０６に近いケースでは、第１のフォトダイオード８０８は、第１の光成分８２２として赤外光を検出するように構成することができ、その一方で、第２のフォトダイオード８１０は、第２の光成分８２４として可視光（例えば、赤色、緑色、または青色のうちの１つ）を検出するように構成することができる。ピクセルセル８００が前面照射型（ＢＳＩ）デバイスであり、第１のフォトダイオード８０８が第２のフォトダイオード８１０より受光面８０６に近いケースでは、第１のフォトダイオード８０８は、第１の光成分８２２として可視光（例えば、赤色、緑色、または青色のうちの１つ）を検出するように構成することができ、その一方で、第２のフォトダイオード８１０は、第２の光成分８２４として可視光（例えば、赤色、緑色、または青色のうちの１つ）を検出するように構成することができる。第１のフォトダイオード８０８および第２のフォトダイオード８１０のそれぞれは、第１の光成分８２２および第２の光成分８２４にそれぞれ応答して生成された電荷を蓄えるための量子井戸を有する。
【０１０２】
さらに、電荷貯蔵デバイス６１６は、第１のフォトダイオード８０８および第２のフォトダイオード８１０に蓄えられた電荷の読出しのための貯蔵装置を提供することができる。新しい測定の前に、電荷貯蔵デバイス６１６は、Ｍ２リセットスイッチによってリセットすることができ、Ｍ２リセットスイッチは、ＲＳＴ信号によって有効になり、電荷貯蔵デバイス６１６を電荷シンクに接続して、電荷貯蔵デバイス６１６に蓄えられた電荷を除去することができる。電荷は、次に、第１のフォトダイオード８０８または第２のフォトダイオード８１０から移動スイッチＭ１を介して読み出し、その後の量子化処理のために電荷貯蔵デバイス６１６に蓄えることができる。電荷貯蔵デバイス６１６は、（図１２Ａに「ＣＦＤ」で表した）浮遊ドレイン８１８、および、（図１２に「ＣＡＵＸ」で表した）補助キャパシタ８２０を含み、これらは、可変結合静電容量（ｖａｒｉａｂｌｅ  ｃｏｍｂｉｎｅｄ  ｃａｐａｃｉｔａｎｃｅ）を提供するために組み合わせることができる。具体的には、浮遊ドレイン８１８および補助キャパシタ８２０は、スイッチＭ６と連結され、スイッチＭ６は、信号ＬＧによって制御されたトランジスタであることが可能である。スイッチＭ６が有効になると、電荷貯蔵デバイス６１６は、電荷を蓄えるために、浮遊ドレイン８１８と補助キャパシタ８２０の結合静電容量を有することができる。スイッチＭ６が無効になると、電荷貯蔵デバイス６１６は、電荷を蓄えるために、浮遊ドレイン８１８の静電容量を含むだけである。下記で説明するように、電荷貯蔵デバイス６１６の静電容量は、異なる量子化動作のために調節することができる。電荷貯蔵デバイス６１６は、蓄えられた電荷の量に基づいて、ＶＯＦ電圧を生じることができ、ＶＯＦ電圧は、電圧バッファ１２０２でバッファして、ピクセル出力電圧Ｖｐｉｘｅｌｏｕｔになることができる。ピクセル出力電圧Ｖｐｉｘｅｌｏｕｔは、デジタル出力を生成するために、ＡＤＣ１２０４で量子化することができる。
【０１０３】
スイッチＭ０、Ｍ１、およびＭＢは、読出しおよび量子化動作のために、第１のフォトダイオード８０８および第２のフォトダイオード８１０から電荷貯蔵デバイス６１６への電荷の生成および移動を制御することができる。バリアスイッチＭＢは、読出しのために、第２のフォトダイオード８１０から第１のフォトダイオード８０８への電荷の流れを制御することができる。バリアスイッチＭＢは、障壁層９１４に相当することができ、ｂａｒｒｉｅｒ＿ｓｗｉｔｃｈ信号で制御することができる。ｂａｒｒｉｅｒ＿ｓｗｉｔｃｈ信号は、障壁層９１４と第１の半導体基板８０２との間の電位差を表すことができ、例えば、ＤＴＩ構造を介して（例えば、図１０Ａで説明したような）障壁層９１４に正電位を印加すること、（例えば、図１０Ｂで説明したような）第１の半導体基板８０２に負バイアス電圧を印加すること、または両方の組合せに基づいて構成することができる。
【０１０４】
さらに、スイッチＭ０は、シャッタースイッチであることが可能である。シャッタースイッチＭ０は、ＡＢ信号で制御され、入射光８２０に応答して生成された電荷を第１のフォトダイオード８０８が蓄積できる露光期間の開始および終了を制御することができる。シャッタースイッチＭ０を無効にすると、第１のフォトダイオード８０８と第２のフォトダイオード８１０の両方のための露光期間を開始することができ、その一方で、シャッタースイッチＭ０を有効にすると、第１のフォトダイオード８０８をリセットし、第１のフォトダイオード８０８のための露光期間を終了することができる。一方で、第２のフォトダイオード８１０は、シャッタースイッチＭ０が有効になった後でも電荷の蓄積を続けることができる。第２のフォトダイオード８１０のための露光期間は、第２のフォトダイオード８１０から電荷貯蔵デバイス６１６に電荷を移動させるために、バリアスイッチＭＢが有効になるとき、および／または、移動スイッチＭ１が有効になるとき、終了することができる。シャッタースイッチＭ０は、特に、強い環境光のある環境でイメージセンサが動作するときに、第１のフォトダイオード８０８（および／または第２のフォトダイオード８１０）によって生成された電荷がイメージセンサの他のピクセルセルに漏れるのを防ぐために、アンチブルーミング機能を提供するようにさらに構成することができる。
【０１０５】
さらに、移動スイッチＭ１は、チャネル領域９２２の電位をセットするようにＴＧ信号で制御することができ、電荷貯蔵デバイス６１６への電荷の流れを制御することができる。例えば、ＴＧ信号は、第１のフォトダイオード８０８に蓄えられた電荷の量が閾値を超えるまで、残留電荷として第１のフォトダイオード８０８に電荷を蓄積できるように、部分的にオン状態で移動スイッチＭ１を構成することができる。移動スイッチＭ１は、第１のフォトダイオード８０８によって生成されたさらなる電荷を、オーバーフロー電荷として電荷貯蔵デバイス６１６に流すことができる。さらに、ＴＧ信号は、読出しおよび量子化のために、第１のフォトダイオード８０８に蓄えられた残留電荷を電荷貯蔵デバイス６１６に移動させるように、完全にオン状態で移動スイッチＭ１をさらに構成することができる。
【０１０６】
移動スイッチＭ１およびバリアスイッチＭＢは、第１のフォトダイオード８０８および第２のフォトダイオード８１０からの電荷の読出しおよび量子化を制御することができる。第１の読出しにおいて、バリアスイッチＭＢは無効にすることができる。移動スイッチＭ１は、第１のフォトダイオード８０８からの電荷（「第１の電荷」）を電荷貯蔵デバイス６１６に移動させるように、完全にオン状態で構成することができる。移動させた第１の電荷は電荷貯蔵デバイス６１６に蓄え、第１のデジタル出力を生成するためにＡＤＣ１２０４で量子化することができる。第１のフォトダイオード８０８と電荷貯蔵デバイス６１６の両方は、次に、量子化が完了した後、リセットすることができる。第２の読出しを続けることができ、ここで、バリアスイッチＭＢを有効にすることができる。フォトダイオード８１０に蓄えられた電荷（「第２の電荷」）は、次に、バリアスイッチＭＢを介してフォトダイオード８０８に移動させることができる。移動スイッチＭ１は、第２のデジタル出力を生成するための、ＡＤＣ１２０４によるその後の量子化のために、フォトダイオード８０８からの第２の電荷を電荷貯蔵デバイス６１６に移動させるように、完全にオン状態でさらに構成することができる。
【０１０７】
ピクセルセル８００は、第１の電荷および第２の電荷のマルチステージ読出しおよび量子化処理を実行するように構成することができる。読出しおよび量子化処理の各ステージは、第１のフォトダイオード８０８または第２のフォトダイオード８１０のそれぞれによって検知されることになる第１の光成分８２２または第２の光成分８２４の特定の強度範囲に関連付けることができる。各強度範囲は、それぞれのフォトダイオードによって生成されることになる第１の電荷または第２の電荷の最大量、それぞれのフォトダイオードの貯蔵容量、ならびに、電荷貯蔵デバイス６１６の貯蔵容量によって定義することができる。
【０１０８】
ここで図１３Ａを参照すると、異なる光強度範囲についての、時間に関する、第１のフォトダイオード８０８によって生成された第１の電荷の累積量を示す。第１の電荷の累積量は、露光期間中に第１のフォトダイオード８０８が受光した第１の光成分８２２の強度を反映する。露光期間は、図１２のシャッタースイッチＭ０を無効にすることによって開始し、シャッタースイッチＭ０を有効にすることによって終了することができる。閾値１３０２および閾値１３０４は、第１の光成分８２２の強度について、低強度範囲１３０６、中強度範囲１２０８、および高強度範囲１３１０を定義することができる。例えば、第１の電荷の累積合計が閾値１３０２を下回る場合（例えば、Ｑ１）、第１の光成分８２２の強度は、低強度範囲１３０６内にあるはずである。蓄積した全体の第１の電荷が、閾値１３０４と閾値１３０２との間である場合（例えば、Ｑ２）、第１の光成分８２２の強度は、中間の光強度範囲１３０８内にあるはずである。蓄積した全体の第１の電荷が閾値１３０４を上回る場合、第１の光成分の強度は、高強度範囲１３１０内にあるはずである。
【０１０９】
低強度範囲１３０４、中強度範囲１３０８、および高強度範囲１３１０、ならびに、閾値１３０２および閾値１３０４の定義は、第１のフォトダイオード８０８および電荷貯蔵デバイス６１６の電荷貯蔵装置の容量に基づくことができる。例えば、低い光強度範囲１３０６は、露光期間内に第１のフォトダイオード８０８によって生成された第１の電荷の総量が、第１のフォトダイオード８０８の貯蔵容量以下になるように定義することができる。このような量は、閾値１３０２によって表すことができる。図１０Ａを再び参照すると、閾値１３０２は、第１のフォトダイオード８０８のＮ型領域９１２に蓄えられた電荷の最大量に相当し、Ｎ型領域９１２の量子井戸容量、オーバーフロー電荷が流れることになるチャネル領域９２２の電位の閾値を設定できる部分的にオン状態での移動スイッチＭ１のバイアス電圧ＴＧ、および、オフ状態での障壁基板９１４の電位に基づいて定義することができる。第１の光成分８２２の強度が低強度範囲１３０６内にある場合、露光期間内に第１のフォトダイオード８０８によって生成された第１の電荷の全てを第１の残留電荷として第１のフォトダイオード８０８の量子井戸に蓄えることができる。第１のフォトダイオード８０８がまだ一杯になっていないとき、第１のフォトダイオード８０８に蓄えられた第１の残留電荷の量は、第１の光成分８２２の強度と相関するはずであり、第１の光成分８２２の強度は、第１の残留電荷の量を測定することによって測定することができる。
【０１１０】
第１の光成分８２２の強度が低強度範囲１３０６を超え、中強度範囲１２０８にあるか、高強度範囲１３１０にある場合、第１の電荷の累積合計は、閾値１３０２を超える。第１の電荷の中には、第１のフォトダイオード８０８が一杯の時、第１のフォトダイオード８０８に蓄えることができないものもあるが、第１のオーバーフロー電荷として電荷貯蔵デバイス６１６に流すことができる。中強度範囲１２０８は、電荷貯蔵デバイス６１６に蓄えられた第１のオーバーフロー電荷の総量は、電荷貯蔵デバイス６１６の貯蔵容量内になるように定義することができる。このようなケースにおいて、電荷貯蔵デバイス６１６に蓄えられた第１のオーバーフロー電荷の量は、第１の光成分８２２の強度と相関させることができ、第１の光成分８２２の強度は、第１のオーバーフロー電荷の量を測定することによって測定することができる。
【０１１１】
入射光強度が高強度範囲１３１０内にある場合、電荷貯蔵デバイス６１６に蓄積された全体のオーバーフロー電荷は、露光期間が終わる前に閾値１３０４を超える可能性がある。さらなる電荷が蓄積されると、電荷貯蔵デバイス６１６は、露光期間が終わる前に一杯になる可能性があり、その後、電荷の漏出が発生する可能性がある。結果として、電荷貯蔵デバイス６１６に蓄えられた第１のオーバーフロー電荷の量は、第１の光成分８２２の強度と相関しない可能性がある。電荷貯蔵デバイス６１６が一杯になることによって生じる測定誤差を避けるために、飽和時間測定を行って、電荷貯蔵デバイス６１６に蓄積された第１のオーバーフロー電荷が閾値１３０４に達するのにかかる時間を測定することができる。電荷貯蔵デバイス６１６における電荷累積の割合は、閾値１３０４と飽和時間との間の比に基づいて決定することができ、（キャパシタの容量に限界がない場合）露光期間の終わりに電荷貯蔵デバイス６１６に蓄積されるはずの仮定の電荷量（Ｑ３）は、電荷累積の割合に応じて外挿法によって決定することができる。仮定の電荷量（Ｑ３）は、高強度範囲１３１０内の入射光強度を無理なく正確に表現することができる。
【０１１２】
上述のように、ピクセルセル８００は、第１の電荷のマルチステージ読出しおよび量子化を実行することができ、各ステージは、低強度範囲１３０６、中強度範囲１３０８、または高強度範囲１３１０のうちの１つに相当する。ピクセルセル８００は、異なる読出しおよび量子化ステージのための異なる構成を有することができる。例えば、中強度範囲および高強度範囲での、第１の光成分８２２に対する第１のオーバーフロー電荷の読出しを実行するために、電荷貯蔵デバイス６１６の静電容量は、電荷貯蔵デバイス６１６が飽和するまで、第１のフォトダイオード８０８からのより多くの第１のオーバーフロー電荷を蓄えるために、（例えば、制御スイッチＭ６を有効にすることによって）拡大することができ、図１３Ａの閾値１３０４である中強度範囲の上限値を増加させることができる。さらに、第１のフォトダイオード８０８に蓄えられた第１の残留電荷の読出しを実行するために、移動スイッチＭ１は、第１の残留電荷を電荷貯蔵デバイス６１６に移動させるために、完全にオン状態にセットすることができる。さらに、電荷貯蔵デバイス６１６の静電容量は、電荷電圧変換率を増加させるために、（例えば、制御スイッチＭ６を無効にすることによって）減らすことができ、量子化処理の感度を改善し、量子化ノイズの影響を減らすことができ、測定できる光強度の低い方の限界をさらに低くすることができる。
【０１１３】
さらに、ＡＤＣ１２０４は、異なる強度範囲に対する第１の電荷の異なる量子化処理を実行することができる。図１３Ｂおよび図１３Ｃは、異なる量子化処理の例を示す。図１３Ｂを参照すると、高強度範囲での第１の電荷の量子化のために、ＡＤＣ１２０４は、飽和時間測定を実行することができる。ＡＤＣは、Ｖｐｉｘｅｌｏｕｔ（電荷貯蔵デバイス６１６のバッファした電圧）を、例えば、電荷貯蔵デバイス６１６が飽和するケースに相当することができる図１３Ａの閾値１３０４に相当する静的閾値電圧と比較することができる。電荷貯蔵デバイス６１６が飽和したことを示した、ＶＯＵＴが作動するときの時間に基づいて、ＡＤＣ１２０４は、飽和時間測定値を取得することができる。飽和時間測定値は、例えば、露光期間が始まるとカウントし始め、電荷貯蔵デバイス６１６の飽和を検出するとカウントを止めるカウンタのカウント値に基づくことができる。さらに、図１３Ｃを参照すると、低強度範囲および中強度範囲での第１の電荷の量子化について、ＡＤＣ１２０４は、Ｖｐｉｘｅｌｏｕｔをランプの閾値電圧と比較して、Ｖｐｉｘｅｌｏｕｔに最も近い閾値電圧を見つけることができる。いくつかの例では、ランプの閾値電圧は、自走カウンタ（ｆｒｅｅ  ｒｕｎｎｉｎｇ  ｃｏｕｎｔｅｒ）からのカウンタ値に基づいて、デジタルアナログコンバータ（ＤＡＣ）によって生成することができ、閾値電圧ランプ内の各閾値電圧レベルは、カウント値に関連付けられる。最も近い閾値電圧のカウント値は、第１の光成分８２２の強度を表すためのデジタル出力として出力することができる。
【０１１４】
図１４は、第１の電荷の読出しおよび量子化の実例のシーケンスと、第１のフォトダイオード８０８、移動スイッチＭ１、キャパシタＣＦＤおよびＣＡＵＸ、ならびに、制御スイッチＭ６の間の電位の対応する分布とを示す。時間１４００において、移動スイッチＭ１は、第１のキャパシタ８０８の量子井戸が、第１の残留電荷１４０２を保持できるようにするために、部分的にオン状態になるようにＴＧによって制御することができる。さらに、ＣＦＤおよびＣＡＵＸキャパシタの並列結合を電荷貯蔵デバイス６１６が含むように、電荷貯蔵デバイス６１６の静電容量を増加させるために、Ｍ６制御スイッチを有効にする。拡大した電荷貯蔵デバイス６１６は、ＶＯＦ１電圧を出力するために、第１のオーバーフロー電荷１４０４を蓄えることができる。ＡＤＣ１２０４は、バッファしたＶＯＦ１電圧と閾値１３０４と比較して、第１のオーバーフロー電荷１４０４が電荷貯蔵デバイス６１６を飽和させたかどうかを判定することができる。第１のオーバーフロー電荷１４０４が電荷貯蔵デバイス６１６を飽和させた場合、ＡＤＣ１２０４は、飽和時間（ＴＴＳ）動作を実行して、飽和が発生した時間を判定し、飽和時間測定値を表す第１の出力を生成することができる。第１のオーバーフロー電荷１４０４が電荷貯蔵デバイス６１６を飽和させなかった場合、ＡＤＣ１２０４は、閾値１３０２と閾値１３０４との間に及ぶランプの閾値とバッファしたＶＯＦ１電圧を比較することによって、電荷貯蔵デバイス６１６内の第１のオーバーフロー電荷１４０４の量を測定して、ＶＯＦ１に最も近い閾値を見つけ、最も近い閾値に相当する第２の出力を生成することができる。ランプの閾値は、例えば、カウンタからのカウント値をＤＡＣに提供することによって生成することができ、第２の出力は、最も近い閾値を（ＤＡＣを介して）生成するカウント値であることが可能である。いくつかの例では、電荷貯蔵デバイス６１６における第１のオーバーフロー電荷１４０４の測定は、「ＦＤ  ＡＤＣ」動作と呼ぶことができる。
【０１１５】
時間１４１０において、時間１４００におけるＴＴＳおよびＦＤ  ＡＤＣ動作の後、電荷貯蔵デバイス６１６は、オーバーフロー電荷１４０４を除去するためにリセットすることができる。
【０１１６】
時間１４２０において、残留電荷１４０２を電荷貯蔵デバイス６１６に移動させる。移動の前に、電荷貯蔵デバイス６１６の静電容量は、電荷貯蔵デバイス６１６がＣＦＤキャパシタだけを含むように、制御スイッチＭ６を無効にすることによって縮小させて、電荷電圧比（ｃｈａｒｇｅ−ｔｏ−ｖｏｌｔａｇｅ  ｒａｔｅ）を増加させ、上述のように、量子化ノイズの影響を減らすことができる。移動スイッチＭ１は、次に、完全なオン状態になるようにＴＧ信号を制御して、第１の残留電荷１４０２をＣＦＤキャパシタに移動させることができ、ＣＦＤキャパシタは、ＶＯＦ２電圧を出力することができる。暗電流の影響をあまり受けない第１のフォトダイオード８０８に残留電荷が蓄積されると、低強度範囲の測定に対する暗電流の影響を減らすことができる。これらの全てが、低強度範囲の測定の正確さを改善することを可能にする。
【０１１７】
時間１４３０において、第１の残留電荷１４０２の移動が完了した後、移動スイッチＭ１は、完全なオフ状態になるようにＴＧ信号によって制御して、ＣＦＤキャパシタ内の第１の残留電荷１４０２を絶縁することができる。ＡＤＣ１２０４は、バッファしたＶＯＦ２電圧を別のランプの閾値と比較することによって、ＣＦＤキャパシタ内の第１の残留電荷１４０２を測定して、第３の出力を生成することができる。いくつかの例では、第１の残留電荷１４０２の測定は、「ＰＤ  ＡＤＣ」動作と呼ぶことができる。ＡＤＣ１２０４は、第１の光成分８２２の強度範囲に基づいて、第１の出力、第２の出力、または第３の出力のうちの１つを出力することができる。
【０１１８】
第１の電荷の読出しおよび量子化の後、ピクセルセル８００は、第２の電荷のマルチステージ読出しおよび量子化をさらに実行することができる。第２の電荷は、露光期間が終わった後、第１のフォトダイオード８０８に移動させることができる。第１のフォトダイオード８０８および第２のフォトダイオード８１０が、同じ露光期間内に光の異なる成分を受け取ると、第１のフォトダイオード８０８は、露光期間中に第１の電荷が第１のフォトダイオード８０８を飽和させた場合、電荷貯蔵デバイス６１６に第１のオーバーフロー電荷を出力することができるが、第２のフォトダイオード８１０は、露光期間内にバリアスイッチＭＢによって電荷貯蔵デバイス６１６（および第１のフォトダイオード８０８）から絶縁される。したがって、第２のフォトダイオード８１０の貯蔵容量は、同じ露光期間内に第２のフォトダイオード８１０によって生成された第２の電荷の全てを蓄えるのに十分大きくなければならない。したがって、第２のフォトダイオード８１０の貯蔵容量は、第１のフォトダイオード８０８のものよりずっと大きくなるように、量子井戸のサイズを設定すること、第１の半導体基板８０２および障壁層９１４の電位に基づいて構成することができる。例えば、第２のフォトダイオード８１０の貯蔵容量は、露光期間内に第２のフォトダイオード８１０によって生成された第２の電荷の最大量に貯蔵容量が一致するか、超えるように、露光期間の長さ、および、イメージセンサによって測定されることになる第２の光成分８２４の最大強度に基づいて構成することができる。
【０１１９】
さらに、第１のフォトダイオード８０８の貯蔵容量が第２のフォトダイオード８１０より小さいと、第２のフォトダイオード８１０から第１のフォトダイオード８０８に移動した電荷は、第２の残留電荷として第１のフォトダイオード８０８に全面的に蓄えるか、第２のオーバーフロー電荷として電荷貯蔵デバイス６１６にオーバーフローさせることができる。露光期間が終了した後、第２のフォトダイオード８１０から第１のフォトダイオード８０８に第２の電荷が移動するので、ＴＴＳ測定は、第２の電荷に対して実行されず、第２の電荷の移動率は、第２の光成分８２４の強度を反映しない。それでも、ＡＤＣ１２０４は、次に、ＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ動作の同じシーケンスを実行して、第２のオーバーフロー電荷および第２の残留電荷をそれぞれ測定し、２つの出力を生成すること、同じ閾値１３０２を使用して第２の光成分８２４の強度範囲を識別すること、および、識別した強度範囲に基づいて２つの出力のうちの１つを提供することができる。ＡＤＣ１２０４は、第１の電荷および第２の電荷に対して同じ量子化動作を実行することができるので、ＡＤＣ１２０４の制御は、より簡素化されるようになる可能性がある。
【０１２０】
図１５Ａおよび図１５Ｂは、第２の電荷の読出しおよび量子化の実例のシーケンスと、第２のフォトダイオード８１０、第１のフォトダイオード８０８、移動スイッチＭ１、キャパシタＣＦＤおよびＣＡＵＸ、ならびに制御スイッチＭ６の間の対応する電位分布とを示す。図１５Ａは、第１のフォトダイオード８０８を第２の電荷が飽和させない例を示し、その一方で、図１５Ｂは、第１のフォトダイオード８０８を第２の電荷が飽和させる例を示す。図１５Ａと図１５Ｂの両方に示したように、第２のフォトダイオード８１０の量子井戸は、第１のフォトダイオード８０８の量子井戸より大きくてもよい。
【０１２１】
図１５Ａを参照すると、時間１５００において、第２の電荷１５０２は、露光期間の終わりに第２のフォトダイオード８１０に蓄えることができる。第１のフォトダイオード８０８ならびに（キャパシタＣＦＤおよびＣＡＵＸを備える）電荷貯蔵デバイス６１６は、第１の電荷の読出しおよび量子化の後、リセットされた。ＭＢスイッチは、第１のフォトダイオード８０８に第２の電荷が流れるのを防ぐため、および、第２のフォトダイオード８１０に第１の電荷が流れるのを防ぐために無効状態になっている。
【０１２２】
時間１５１０において、ＭＢスイッチは、例えば、図１０Ａのように障壁層９１４の電位を減らすこと、図１０Ｂのように第１の半導体基板８０２に負バイアスを導入すること、等によって、有効状態にセットすることができる。第２の電荷１５０２は、第２のフォトダイオード８１０から第１のフォトダイオード８０８に移動させ、第２の残留電荷１５１２として第１のフォトダイオード８０８に蓄えることができる。移動スイッチＭ１は、部分的にオン状態になるようにＴＧによって制御して、第１のキャパシタ８０８の量子井戸が第２の残留電荷１５１２を保持できるようにすることができる。さらに、Ｍ６制御スイッチを有効にして、電荷貯蔵デバイス６１６の静電容量を増加させ、ＦＤ  ＡＤＣ測定のために、第１のキャパシタ８０８からの、もしあれば、第１のフォトダイオード８０８からの（図１５Ａになし）オーバーフロー電荷を蓄えることができる。
【０１２３】
時間１５２０において、ＭＢスイッチは、無効状態にセットして、第１のフォトダイオード８０８内の残留電荷１５１２を絶縁することができ、一方で、移動スイッチＭ１は、部分的にオン状態のままである。ＡＤＣ１２０４は、ＦＤ  ＡＤＣ測定を行って、第１の出力を生成することができる。ＡＤＣ１２０４は、オーバーフロー電荷が電荷貯蔵デバイス６１６に蓄えられていないこと、および、第２の光成分８２４が低強度範囲内であることをさらに判定することができる。
【０１２４】
時間１５３０において、電荷貯蔵デバイス６１６をリセットすることができる。電荷貯蔵デバイス６１６の静電容量は、上述のように、電荷電圧比を増加させ、量子化ノイズの影響を減らすために、電荷貯蔵デバイス６１６がＣＦＤキャパシタだけを含むように、制御スイッチＭ６を無効にすることによって縮小させることができる。移動スイッチＭ１は、完全なオン状態になるようにＴＧ信号によって制御して、第２の残留電荷１５１２をＣＦＤキャパシタに移動させることができ、ＣＦＤキャパシタは、ＶＯＦ２電圧を出力することができる。
【０１２５】
時間１５４０において、第２の残留電荷１５１２の移動が完了した後、移動スイッチＭ１は、完全なオフ状態になるようにＴＧ信号によって制御して、ＣＦＤキャパシタ内の第２の残留電荷１５１２を絶縁することができる。ＡＤＣ１２０４は、ＰＤ  ＡＤＣ動作中にＣＦＤキャパシタに蓄えられた第２の残留電荷１５１２を測定して、第２の出力を生成することができる。ＡＤＣ１２０４は、時間１５２０において判定したように、オーバーフロー電荷が電荷貯蔵デバイス６１６に蓄えられていないことに基づいて、第２の光成分８２４が低強度範囲内にあることをさらに判定することができる。このような判定に基づいて、ＡＤＣ１２０４は、第２の光成分８２４の強度を表すために、ＦＤ  ＡＤＣ動作の第１の出力の代わりに、ＰＤ  ＡＤＣ動作の第２の出力を提供することができる。
【０１２６】
図１５Ｂは、第１のフォトダイオード８０８を第２の電荷が飽和させる例を示す。時間１５００、１５１０、１５２０、１５３０、および１５４０における、スイッチ、フォトダイオード、および電荷貯蔵デバイス６１６の構成は図１５Ａと同一であり、これらの説明の中には、ここで繰り返さないものもある。
【０１２７】
図１５Ｂを参照すると、時間１５００において、第２の電荷１５５２は、露光期間の終わりに第２のフォトダイオード８１０に蓄えることができる。第２の電荷１５５２の量は、図１５Ａの第２の電荷１５０２の量より大きく、第１のフォトダイオード８０８を飽和させることができる。
【０１２８】
時間１５１０において、第２の電荷１５５２は、ＭＢスイッチを有効にすることによって第２のフォトダイオード８１０から移動させる。第２の電荷１５５２の一部は、第２の残留電荷１５６０として第１のフォトダイオード８０８に蓄えることができ、第２の電荷１５５２の残りは、第２のオーバーフロー電荷１５６２として（ＣＦＤキャパシタとＣＡＵＸキャパシタの組合せを有する）電荷貯蔵デバイス６１６に蓄えることができる。
【０１２９】
時間１５２０において、ＡＤＣ１２０４は、ＦＤ  ＡＤＣ測定を行って第１の出力を生成することができる。図１５Ｂでは、ＡＤＣ１２０４は、第２のオーバーフロー電荷１５６２が電荷貯蔵デバイス６１６に蓄えられていること、および、第２の光成分８２４が中強度範囲内にあることを判定することができる。
【０１３０】
時間１５３０において、電荷貯蔵デバイス６１６をリセットすることができる。電荷貯蔵デバイス６１６の静電容量は、縮小させることができる。第２の残留電荷１５６０は、ＣＦＤキャパシタに移動させることができ、ＣＦＤキャパシタは、ＶＯＦ２電圧を出力することができる。
【０１３１】
時間１５４０において、ＡＤＣ１２０４は、ＰＤ  ＡＤＣ動作を実行して、ＣＦＤキャパシタに蓄えられた第２の残留電荷１５６０を測定し、第２の出力を生成することができる。ＡＤＣ１２０４は、時間１５２０において判定したように、第２のオーバーフロー電荷１５６２が電荷貯蔵デバイス６１６に蓄えられていることに基づいて、第２の光成分８２４が中強度範囲内にあるとさらに判定することができる。このような判定に基づいて、ＡＤＣ１２０４は、第２の光成分８２４の強度を表すために、ＰＤ  ＡＤＣ動作の第２の出力の代わりに、ＦＤ  ＡＤＣ動作の第１の出力を提供することができる。
【０１３２】
いくつかの例では、第１のフォトダイオード８０８および第２のフォトダイオード８１０は、例えば、製造プロセスの限界により、同じ（または実質的に同じ）量子井戸容量を有する可能性がある。このような例では、第１のフォトダイオード８０８は、移動スイッチＭ１を通じて電荷貯蔵デバイス６１６に電荷が漏れる前に、第１のフォトダイオード８０８に蓄えられた電荷の最大量を制御するために、（例えば、移動スイッチＭ１に提供されたＴＧ信号に基づく）チャネル領域９２２のバイアス電圧、チャネル領域９２２の閾値電圧、等を制御することに基づいて、より少ない電荷貯蔵装置の容量を有するように構成することができる。図１６は、第２の電荷の読出しおよび量子化のシーケンスの一部の例を示す。図１６の時間１５００において、第２のフォトダイオード８１０は第２の電荷１６０２を蓄えることができ、バリアスイッチＭＢは、第１のフォトダイオード８０８に第２の電荷１６０２が流れるのを防ぐため、および、第１のフォトダイオード８０８から第２のフォトダイオード８１０に電荷が流れるのを防ぐために、無効状態になっている。スイッチを部分的にオン状態にセットするために移動スイッチＭ１に提供されるＴＧ信号のレベルは、図１５Ａおよび図１５ＢのＴＧ信号のレベルより低くすることができ、第１のフォトダイオード８０８の貯蔵容量を減らす。時間１５１０において、ＭＢスイッチを有効にすることができ、第２の電荷１６０２は、第１のフォトダイオード８０８に移動させることができる。第２の電荷１６０２の一部は、第２の残留電荷１６１２として第１のフォトダイオード８０８に蓄えることができ、電荷の量は、ＴＧ信号のレベルに基づいてセットされる。第２の電荷１６０２をリセットすると、第２のオーバーフロー電荷１６１８として電荷貯蔵デバイス６１６に蓄えることができる。その後の読出しおよび量子化動作は、図１５Ｂで説明したような、時間１５２０、１５３０、および１５４０における動作に似ていてもよい。
【０１３３】
図１７Ａは、ＡＤＣ１２０４の構成要素の例を示し、その一方で、図１７Ｂは、ピクセルセル８００の制御信号のシーケンスを示す。図１７Ａに示したように、ＡＤＣ１２０４は、ＣＣキャパシタ、比較器リセットスイッチＭ５によってリセットすることができるリセット可能比較器１７０２、レジスタ１７１０および１７１２、ＮＯＲゲート１７１４、カウンタ１７１６、ならびにメモリ１７１８を含む。ＣＣキャップは、Ｖｐｉｘｅｌｏｕｔを追跡し、ＶＲＥＦと比較するためにＶｃｏｍｐｉｎ電圧を比較器１７０２に提供する（比較器１７０２の１つの入力における）電圧Ｖｃｏｍｐｉｎを生成するためのサンプリングキャパシタとして構成される。ＶＲＥＦは、上述のように、（高い光強度範囲に対する）ＴＴＳ測定動作のための静的な電圧、または、（低い光強度範囲および中間の光強度範囲に対する）ＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ動作のためのランプ電圧であることが可能である。（図１７Ａで「ｃｎｔ」とラベルを付けた）カウント値は、カウンタ１７１６によって生成することができ、カウンタ１７１６は、ＴＴＳ、ＦＤ  ＡＤＣ、およびＰＤ  ＡＤＣ動作のそれぞれで開始することができ、クロックに基づいてカウント値を周期的に更新することができる。比較器１７０２によって生成された比較結果（ＶＯＵＴ）は、ＮＯＲゲート１７１４に供給して、メモリ１７１８を制御するためのラッチ信号を生成することができる。Ｖｃｏｍｐｉｎ電圧がＶＲＥＦを超えると、ＶＯＵＴ信号が作動することができ、ラッチ信号も作動する。ラッチ信号が作動すると、メモリ１７１８は、作動時にカウンタ１７１６によって出力されたカウント値を記憶することができる。第１のフォトダイオード８０８または第２のフォトダイオード８１０によって生成された第１の電荷に対して測定が行われたかどうかに応じて、メモリ１７１８に記憶したカウント値は、第１の光成分８２２または第２の光成分８２４の強度のデジタル表現として出力することができる。いくつかの例では、カウンタ１７１６およびメモリ１７１８は、ＡＤＣ１２０４の外部にあることが可能であり、複数のピクセルセルの間で共有することができる。
【０１３４】
ＡＤＣ１２０４は、入射光強度判定の正確さをさらに改善することができる特徴を含む。例えば、ＣＣキャパシタ、比較器リセットスイッチＭ５、およびリセットスイッチＭ２の組合せは、比較器１７０２によってもたらされた測定誤差（例えば、比較器オフセット）、および、例えば、リセットスイッチＭ２によって電荷貯蔵デバイス６１６にもたらされたリセットノイズなどの他の誤差信号を補償するように動作することができる。特に、第１のサンプリング動作中、Ｍ２およびＭ５は、電荷貯蔵デバイス６１６および比較器１７０２をそれぞれリセットするために、閉じることができる。電荷貯蔵デバイス６１６がリセットされると、ＣＣキャパシタは、リセット動作によってもたらされたノイズ電荷を蓄えることができる。さらに、Ｍ５を閉じると、比較器１７０２の負極の電圧（Ｖｃｏｍｐｉｎ）は、比較器１７０２の正極の電圧を追跡することができるが、比較器オフセットによって異なる。結果として、比較器オフセットを反映するノイズ電荷の量、および、リセットノイズは、ＣＣキャパシタの両端間の電圧差ＶＣＣを生じるようにＣＣキャパシタに蓄えることができ、ＶＣＣは、比較器オフセットおよびリセットノイズに相当する成分を含むことができる。
【０１３５】
第２のサンプリング動作では、Ｍ２およびＭ５は、電荷貯蔵デバイス６１６および比較器１７０２が、これらのそれぞれのリセット状態を出ることができるように、開くことができる。電荷貯蔵デバイス６１６は、図１４、図１５Ａ、図１５Ｂ、および図１６で上述したように、第１のフォトダイオード８０８または第２のフォトダイオード８１０の１つから電荷を受け取って、ＶＯＦを生じることができ、ＶＯＦは、電圧Ｖｐｉｘｅｌｏｕｔを生成するためにバッファ１２０２によってバッファすることができる。前のリセット動作でリセットスイッチＭ２によってもたらされたリセットノイズ電荷も電荷貯蔵デバイス６１６に残っており、したがって、Ｖｐｉｘｅｌｏｕｔは、リセットノイズの成分をさらに含む。交流結合を通じて、新しいＶｃｏｍｐｉｎを取得することができ、新しいＶｃｏｍｐｉｎは、ＶＣＣの追加に基づいてＶｐｉｘｅｌｏｕｔを追跡する。ＶＣＣはリセットノイズの成分も含むので、リセットノイズ成分は、比較器オフセットの成分をさらに含む新しいＶｃｏｍｐｉｎにおいて相殺することができる。比較器１１０２は、新しいＶｃｏｍｐｉｎ電圧をＶＲＥＦと比較して判定（ＶＯＵＴ）を生成し、カウンタ１７１６の出力をメモリ１７１８に記憶するべき時間を制御し、電荷貯蔵デバイス６１６に蓄えられた電荷の量を量子化することができる。新しいＶｃｏｍｐｉｎにおける比較器オフセット成分は、比較器１７０２の比較器オフセットの影響を相殺すること、または実質的に減らすことができる。
【０１３６】
第１のサンプリング動作および第２のサンプリング動作は、第１のフォトダイオード８０８によって生成された第１の電荷に対するＴＴＳ測定、ＦＤ  ＡＤＣ、およびＰＤ  ＡＤＣ動作の一部、ならびに、第２のフォトダイオード８１０によって生成された第２の電荷に対するＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ動作の一部であることが可能である。比較器オフセットとリセットノイズの両方が除かれる、または、少なくとも実質的に減らされるので、量子化処理の正確さを改善することができる。
【０１３７】
第１のフォトダイオード８０８および第２のフォトダイオード８１０の入射光への上述の露光、第１のフォトダイオード８０８の第１の電荷に対するＴＴＳ、ＦＤ  ＡＤＣ、およびＰＤ  ＡＤＣ動作、第２のフォトダイオード８１０から第１のフォトダイオード８０８への第２の電荷の移動、ならびに、第２のフォトダイオード８１０の第２の電荷に対するＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ動作は、コントローラ１２０６で制御することができる。コントローラ１２０６は、ＤＡＣ（図１７Ａに図示せず）をさらに含むことができ、ＤＡＣは、カウンタ１７１６からのカウント値（ｃｎｔ）に基づいてＶＲＥＦを生成することができる。さらに、コントローラ１２０６は、ＦＬＡＧ＿１レジスタ１７１０およびＦＬＡＧ＿２レジスタ１７１２に、（第１の電荷の量子化のための）ＴＴＳおよびＦＤ  ＡＤＣ動作からの、および、（第２の電荷の量子化のための）ＦＤ  ＡＤＣ動作からの比較器１７０２の前の判定を記憶し、記憶した判定を使用して、ＴＴＳ、ＦＤ  ＡＤＣ、またはＰＤ  ＡＤＣ動作のうちの１つのカウント値の出力を選択し、下記で説明するように、入射光強度を表すことができる。
【０１３８】
図１７Ｂは、第１のフォトダイオード８０８および第２のフォトダイオード８１０のマルチステージ読出しおよび量子化を実行するために、コントローラ１２０６によって提供されたピクセルセル８００の制御信号の実例のシーケンスを示す。図１７Ｂを参照すると、時間Ｔ０とＴ１の間で、コントローラ１２０６は、ピクセルセル８００をリセット状態にすることができる。リセット状態の一部として、ｂａｒｒｉｅｒ＿ｓｗｉｔｃｈ信号をデアサートして、障壁層９１４を有効にし、第１のフォトダイオード８０８と第２のフォトダイオード８１０との間で電荷を流せるようにすることができる。ＡＢ信号は、シャッタースイッチＭ０を有効にし、第１のフォトダイオード８０８と第２のフォトダイオード８１０の両方をリセットするために有効にすることができる。さらに、コントローラ１２０６は、ＲＳＴ信号をアサートして、リセットスイッチＭ２が電荷貯蔵デバイス６１６をリセットできるようにし、ＣＯＭＰ＿ＲＳＴ信号をアサートして、比較器１７０２をリセットすることができる。リセットスイッチＭ２およびＣＯＭＰ＿ＲＳＴ信号のデアサートの後、リセットノイズおよび比較器オフセット情報は、第１のサンプリング動作の一部としてＣＣキャパシタに記憶することができる。さらに、ＬＧ信号をアサートして、電荷貯蔵デバイス６１６の電荷貯蔵容量を最大化することができ、一方で、ＴＧ信号は、移動スイッチＭ１を部分的にオン状態にバイアスして、第１のフォトダイオード８０８の残留電荷貯蔵装置の容量をセットするようにセットすることができる。
【０１３９】
時間Ｔ１において、コントローラ１２０６は、ＡＢ信号をデアサートしてシャッタースイッチＭ０を無効にし、露光期間を開始することができ、露光期間の中で、第１のフォトダイオード８０８と第２のフォトダイオード８１０の両方は、第１の光成分８２２および第２の光成分８２４に応答して、第１の電荷および第２の電荷をそれぞれ生成することができる。
【０１４０】
時間Ｔ１とＴ２の間に、第１のフォトダイオード８０８は、第１の電荷を生成し、第１の残留電荷として第１の電荷の一部を蓄えることができ、一方で、残りの第１の電荷を第１のオーバーフロー電荷として電荷貯蔵デバイス６１６に出力する。ＡＤＣ１２０４は、ＴＴＳ動作を実行して、比較器１７０２を使用して、Ｖｃｏｍｐｉｎを静的なＶＲＥＦと比較することによって、電荷貯蔵デバイス６１６の飽和、および、そのタイミングを検出することができる。電荷貯蔵デバイス６１６が飽和すると、比較器の出力が作動することができる。時間Ｔ２において、電荷貯蔵デバイス６１６が飽和したことを比較器１７０２の出力が示す場合、メモリ１７１８は、比較器の出力が作動した時間にカウンタ１７１６によって出力されたカウント値を記憶することができる。コントローラ１２０６は、レジスタ１７１０内のＦＬＡＧ＿１信号をさらにアサートして、電荷貯蔵デバイス６１６が飽和したことを示すことができ、一方で、メモリ１７１８に記憶したカウント値を、その後のＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ動作が上書きするのを防ぐことができる。
【０１４１】
Ｔ２とＴ３の間に、ＡＤＣ１２０４は、ＦＤ  ＡＤＣ測定を行って、電荷貯蔵デバイス６１６における第１のオーバーフロー電荷の量を測定することができる。ＡＤＣ１２０４は、Ｖｃｏｍｐｉｎをランプの閾値と比較することに基づいて測定を行い、Ｖｃｏｍｐｉｎに最も近い閾値を見つけることができる。上記で説明したように、Ｖｃｏｍｐｉｎは、第２のサンプリング動作から取得することができ、ＣＣキャパシタの両端間のＶｐｉｘｅｌｏｕｔ（電荷貯蔵デバイス６１６のバッファしたＶＯＦ電圧）とＶＣＣ電圧の組合せに基づくことができる。Ｖｐｉｘｅｌｏｕｔは、電荷貯蔵デバイス６１６における第１のオーバーフロー電荷に相当し、リセットノイズ電荷を含み、その一方で、ＶＣＣは、リセットノイズおよび比較器オフセット情報を含む。この組合せは、リセットノイズをキャンセルし、ＶＲＥＦと比較したときの比較器１７０２のオフセットを補償する。ランプの閾値は、例えばカウンタ１７１６からの、カウント値に基づいてＤＡＣによって生成することができ、（第１のフォトダイオード８０８の飽和に相当することができる）閾値１３０２と、（電荷貯蔵デバイス６１６の飽和に相当することができる）閾値１３０４との間の電圧範囲を含むことができる。電荷貯蔵デバイス６１６が第１のオーバーフロー電荷を蓄えると、閾値１３０２を超えるＶｃｏｍｐｉｎ、および、比較器１７０２の出力が作動することができる。時間Ｔ３において、比較器１７０２の出力が作動し、ＦＬＡＧ＿１がデアサートされると（これは、ＴＴＳ動作中に電荷貯蔵デバイス６１６が飽和しないことを示す）、メモリ１７１８は、比較器１７０２の出力が作動した時間にカウンタ１７１６によって出力されたカウント値を記憶することができる。コントローラ１２０６は、レジスタ１７１２内のＦＬＡＧ＿２信号をさらにアサートし、電荷貯蔵デバイス６１６が第１のオーバーフロー電荷を蓄えたことを示すことができ、メモリ１７１８に記憶したカウント値を、その後のＰＤ  ＡＤＣ動作が上書きするのを防ぐことができる。
【０１４２】
時間Ｔ３とＴ４の間に、電荷貯蔵デバイス６１６および比較器１７０２は、その後のＰＤ  ＡＤＣ動作を準備するためにリセットすることができる。リセットノイズおよび比較器オフセットは、ＶＣＣ電圧の形でＣＣキャパシタにさらに蓄えられる。さらに、ＬＧ信号をデアサートして、ＣＦＤからＣＡＵＸを切断し、電荷貯蔵デバイス６１６の静電容量を減らし、その後のＰＤ  ＡＤＣ動作のために、電荷電圧変換率を増加させる。
【０１４３】
時間Ｔ４とＴ５の間に、ＴＧ信号をアサートして、移動スイッチＭ１を完全なオン状態にセットし、第１のフォトダイオード８０８から電荷貯蔵デバイス６１６に第１の残留電荷を移動させる。時間Ｔ５とＴ６の間に、ＡＤＣ１２０４は、ＰＤ  ＡＤＣ動作を実行して、電荷貯蔵デバイス６１６における第１の残留電荷の量を測定することができる。ＡＤＣ１２０４は、Ｖｃｏｍｐｉｎをランプの閾値と比較することに基づいて測定を行い、Ｖｃｏｍｐｉｎに最も近い閾値、および、最も近い閾値に対応するカウント値を見つけることができ、このポイントで、比較器１７０２の出力が作動する。リセットノイズと比較器オフセットの両方は、ＦＤ  ＡＤＣでのようにキャンセルされるか、少なくとも実質的に除かれる。時間Ｔ６において、ＦＬＡＧ＿１とＦＬＡＧ＿２の両方がデアサートされ、第１のオーバーフロー電荷がないことを示すことができる場合、比較器１７０２の出力が作動した時間におけるカウント値をメモリ１７１８に記憶することができる。時間Ｔ６においてメモリ１７１８に記憶したカウント値は、第１の光成分８２２の強度を表すためにデジタル出力として提供することができる。
【０１４４】
時間Ｔ６とＴ７の間に、電荷貯蔵デバイス６１６および比較器１７０２は、第２のフォトダイオード８１０からの第２の電荷のその後の読出しおよび量子化を準備するためにリセットされる。リセットノイズおよび比較器オフセットは、ＶＣＣ電圧の形でＣＣキャパシタにさらに蓄えられる。さらに、ＬＧ信号をアサートして、ＣＡＵＸをＣＦＤと接続し、オーバーフロー電荷を蓄えるための電荷貯蔵デバイス６１６の静電容量を増加させる。
【０１４５】
時間Ｔ７とＴ８の間に、ｂａｒｒｉｅｒ＿ｓｗｉｔｃｈをデアサートして、障壁層９１４を有効にし、第２のフォトダイオード８１０に蓄えられた第２の電荷を、読出しのために第１のフォトダイオード８０８に流せるようにすることができる。ＴＧ信号は、移動スイッチＭ１を部分的にオン状態にセットして、第１のフォトダイオード８１０の残留電荷貯蔵装置の容量をセットすることができる。第２の電荷は、第２の残留電荷として第１のフォトダイオード８０８に全面的に蓄えることができ、または、第２の電荷の一部は、第２のオーバーフロー電荷として電荷貯蔵デバイス６１６に流すことができる。
【０１４６】
時間Ｔ８とＴ９の間に、ＡＤＣ１２０４は、ＦＤ  ＡＤＣ動作を実行して、電荷貯蔵デバイス６１６における第２のオーバーフロー電荷の量を測定することができる。第２のオーバーフロー電荷のＦＤ  ＡＤＣ動作は、時間Ｔ２とＴ３の間の第１のオーバーフロー電荷のＦＤ  ＡＤＣ動作と同一である。電荷貯蔵デバイス６１６が第２のオーバーフロー電荷を蓄えると、Ｖｃｏｍｐｉｎは閾値１３０２を超え、比較器１７０２の出力が作動することができる。時間Ｔ９において、比較器１７０２の出力が作動すると、メモリ１７１８は、比較器１７０２の出力が作動する時間にカウンタ１７１６によって出力されたカウント値を記憶することができる。コントローラ１２０６は、レジスタ１７１２内のＦＬＡＧ＿２信号をさらにアサートして、電荷貯蔵デバイス６１６が第１のオーバーフロー電荷を蓄えたことを示すことができ、メモリ１７１８に記憶したカウント値をその後のＰＤ  ＡＤＣ動作が上書きするのを防ぐことができる。一方で、ＴＴＳ動作は第２の電荷に対して実行されないので、レジスタ１７１２内のＦＬＡＧ＿１信号をデアサートすることができる。
【０１４７】
時間Ｔ９とＴ１０の間に、電荷貯蔵デバイス６１６および比較器１７０２は、その後のＰＤ  ＡＤＣ動作を準備するためにリセットされる。リセットノイズおよび比較器オフセットは、ＶＣＣ電圧の形でＣＣキャパシタにさらに蓄えられる。さらに、ＬＧ信号をデアサートして、ＣＦＤからＣＡＵＸを切断し、電荷貯蔵デバイス６１６の静電容量を減らし、その後のＰＤ  ＡＤＣ動作のための電荷電圧変換率を増加させる。
【０１４８】
時間Ｔ１０とＴ１１の間に、ＴＧ信号をアサートして、移動スイッチＭ１を完全なオン状態にセットし、第１のフォトダイオード８０８から電荷貯蔵デバイス６１６に第１の残留電荷を移動させる。時間Ｔ１１に、シャッタースイッチＭ０をさらに有効にして、露光期間を終了することができる。時間Ｔ１１とＴ１２の間に、ＡＤＣ１２０４は、ＰＤ  ＡＤＣ動作を実行して、電荷貯蔵デバイス６１６における第２の残留電荷の量を測定することができる。第２の残留電荷に対するＰＤ  ＡＤＣ動作は、時間Ｔ５とＴ６の間の第１の残留電荷に対するＰＤ  ＡＤＣ動作と同一であることが可能である。時間Ｔ１２において、ＦＬＡＧ＿２がデアサートされ、第２のオーバーフロー電荷がないことを示すことができる場合、比較器１７０２の出力が作動する時間におけるカウント値は、メモリ１７１８に記憶することができる。時間Ｔ１２にメモリ１７１８に記憶したカウント値は、第２の光成分８２４の強度を表すためのデジタル出力として提供することができる。
【０１４９】
図１８は、光強度を測定する実例の方法１８００の流れ図である。方法１８００は、例えばピクセルセル８００によって行うことができ、上述の技法に基づくことができる。
【０１５０】
ステップ１８０２において、第１のフォトダイオード（例えば、第１のフォトダイオード８０８）は、光の第１の成分（例えば、入射光８２０の赤外線成分）を第１の電荷に変換することができる。第１の電荷は、第１のフォトダイオードの量子井戸に残留電荷として蓄えることができる。第１のフォトダイオードが飽和した場合、第１の電荷の一部は、第１のフォトダイオードに連結された電荷貯蔵デバイス（例えば、電荷貯蔵デバイス６１６）にオーバーフロー電荷としてさらに蓄えることができる。
【０１５１】
ステップ１８０４において、第２のフォトダイオード（例えば、第２のフォトダイオード８１０）は、光の第２の成分（例えば、入射光の色の可視光成分８２０）を第２の電荷に変換することができる。第２の電荷は、第２のフォトダイオードの量子井戸に蓄えることができる。ステップ１８０２および１８０４は、並行に行うことができる。
【０１５２】
ステップ１８０６において、ピクセルセルのＡＤＣ（例えば、ＡＤＣ１２０４）は、第１の電荷の第１の量子化および第２の量子化を実行して、第１の結果および第２の結果をそれぞれ生成し、第１の量子化は、強度の閾値より高い第１の強度に関連付けられ、第２の量子化は、強度の閾値より低い第２の強度に関連付けられる。例えば、第１の量子化は、前述のＦＤ  ＡＤＣ処理であることが可能であり、ＡＤＣは、電荷貯蔵デバイス６１６に記憶した（もしあれば）オーバーフロー電荷を量子化することができる。ＡＤＣは、ＦＤ  ＡＤＣ処理のための電荷貯蔵デバイス６１６の貯蔵容量も増加させることができる。第１の量子化は、例えば、電荷貯蔵デバイス６１６における電圧をランプ電圧と比較して、第１の判定を生成することによって行うことができ、第１の判定は、自走カウンタを停止するために使用することができる。カウンタからのカウント値は、第１の結果を表す。ＡＤＣは、電荷貯蔵デバイス６１６においてオーバーフロー電荷を検出したかどうかを示すために、第１の判定に基づいてフラグ値（例えば、ＦＬＡＧ＿２）も記憶することができ、第１の光成分の強度が所定の低強度範囲（例えば、低強度範囲１３０６）を超えたことが原因で、第１のフォトダイオードが飽和したことを示す。第１の結果は、メモリに記憶することができる。
【０１５３】
第１の量子化の後、ＡＤＣは、第２の量子化を実行することができ、第２の量子化は前述のＰＤ  ＡＤＣ処理であることが可能であり、ＡＤＣは、電荷貯蔵デバイス６１６に蓄えられた残留電荷を量子化することができる。ＡＤＣは、ＰＤ  ＡＤＣ処理のための電荷貯蔵デバイス６１６の貯蔵容量を減らして、変換利得を増加させ、量子化誤差を減らすことができる。第２の量子化は、例えば、電荷貯蔵デバイス６１６における電圧をランプ電圧と比較して、第２の判定を生成することによって行うことができ、第２の判定は、自走カウンタを停止するために使用することができる。カウンタからのカウント値は、第２の結果を表す。
【０１５４】
ステップ１８０８において、ＡＤＣは、ピクセルの第１の成分の強度を表すために、第１の成分の強度が強度の閾値を超えたかどうかに基づいて、第１の結果または第２の結果のうちの１つを提供することができる。ステップ１８０６を再び参照すると、ＦＬＡＧ＿２のフラグ値に基づいて、ＡＤＣは、第１のフォトダイオードが飽和したかどうかを判定することができ、第１の光成分の強度が低強度範囲を超えたことを示す。第１のフォトダイオードが飽和しておらず、第１の光成分の強度が低強度範囲内にあることをフラグ値が示す場合、ＡＤＣは、第２の結果をメモリに記憶し、第１の光成分の強度を表すために、メモリから第２の結果を提供することができる。第１の光成分の強度が低強度範囲を超えたことをＦＬＡＧ＿２が示す場合、ＡＤＣは、第２の結果を放棄し、第１の光成分の強度を表すために、メモリから第１の結果を提供することができる。
【０１５５】
ステップ１８１０において、ＡＤＣは、第２の電荷の第１の量子化および第２の量子化を実行して、第３の結果および第４の結果をそれぞれ生成することができる。１つの例では、第１のフォトダイオードおよび第２のフォトダイオードは、スタック構造を形成することができる。第１のフォトダイオードは、第２のフォトダイオードから電荷貯蔵デバイス６１６への電荷移動経路上にあることができ、第２の電荷の流れを制御するために、第１のフォトダイオードと第２のフォトダイオードの間に、障壁層（例えば、障壁層９１４）を挟むことができる。第２の電荷の読出しおよび量子化を実行するために、（例えば、図１０Ａ〜図１１Ｂ、および、図１４〜図１５Ｂで説明した技法に基づいて）障壁層の電位を変化させ、第２のフォトダイオードから第１のフォトダイオードに第２の電荷を流せるようにすることができる。第２の電荷は、第１のフォトダイオードに残留電荷として蓄えることができる。第２の電荷の一部も、電荷貯蔵デバイス６１６にオーバーフロー電荷として蓄えることができる。オーバーフロー電荷および残留電荷は、次に、第３の結果および第４の結果を生成するために、上述のような第１の量子化および第２の量子化にそれぞれ基づいて、ＡＤＣで量子化することができる。第３の結果または第４の結果のうちの１つは、上述のように、メモリに記憶することができる。
【０１５６】
ステップ１８１２において、ＡＤＣは、ピクセルの第２の成分の強度を表すために、第２の成分の強度が強度の閾値を超えたかどうかに基づいて、第３の結果または第４の結果のうちの１つを提供することができる。例えば、ＦＬＡＧ＿２の値に基づいて、ＡＤＣは、第１のフォトダイオードが第２の電荷で飽和したかどうかを判定することができ、第２の光成分の強度が低強度範囲を超えたことを示す。第１のフォトダイオードが飽和したかどうかに基づいて、ＡＤＣは、次に、第２の光成分の強度を表すためにメモリから第３の結果を出力するか、メモリ内の第４の結果で第３の結果を上書きし、第２の光成分の強度を表すためにメモリから第４の結果を出力することができる。
【０１５７】
本開示の実施形態の前述の説明は、例証のために提示されてきたが、網羅的であること、または、開示した精密な形に本開示を限定することを意図するものではない。上記の開示の観点から多くの修正および変更が可能であるということを当業者は認識するはずである。
【０１５８】
本説明の部分の中には、情報に対する動作のアルゴリズムおよび記号表現の観点から本開示の実施形態を説明するものもある。これらのアルゴリズム的説明および表現は、当業者の作業の実体を効果的に当業者に伝えるために、当業者によって全体的に使用される。これらの動作は、機能的に、演算的に、または論理的に説明するが、コンピュータプログラム、または、同等の電気回路、マイクロコード、もしくは同様のものによって実現されることがわかる。さらに、一般性を失うことなく、動作のこれらの配置をモジュールと呼ぶことが時に便利であることも証明されてきた。説明した動作、および、これらに関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアで具体化することができる。
【０１５９】
説明したステップ、動作、または処理は、１つまたは複数のハードウェアまたはソフトウェアモジュール単独で、または、他のデバイスと組み合わせて実行すること、または実現することができる。いくつかの実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを収めるコンピュータ可読媒体を備えるコンピュータプログラム製品で実現され、コンピュータプログラムコードは、説明したステップ、動作、または処理のいずれかまたは全てを実行するために、コンピュータプロセッサで実行することができる。
【０１６０】
また、本開示の実施形態は、説明した動作を実行するための装置に関するものであってもよい。装置は、必要な目的のために特に構築することができ、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされた、または再構成された汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読ストレージ媒体、または、電子的な命令を記憶するのに適した任意のタイプの媒体に記憶することができ、これらの媒体は、コンピュータシステムバスに連結することができる。さらに、本明細書で引用したいずれかのコンピューティングシステムは、単一のプロセッサを含むことができ、または、計算能力を向上させるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。
【０１６１】
また、本開示の実施形態は、本明細書で説明した計算処理によって生み出された製品に関するものであってもよい。このような製品は、計算処理から生じた情報を含むことができ、ここで、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に記憶し、本明細書で説明したコンピュータプログラム製品、または、他のデータの組合せのいずれかの実施形態を含むことができる。
【０１６２】
本明細書で使用した言葉は、可読性および指示目的のために主に選択してきたが、発明の主題を正確に描写するため、または制限するために選択してこなかった可能性がある。したがって、本開示の範囲は、この「発明を実施するための形態」によってではなく、むしろ、本明細書に基づく用途に対して発行するいずれかの請求項によって限定されることを意図するものである。したがって、実施形態の本開示は、本開示の範囲を例証するためのものであるが、限定するものではなく、以下の特許請求の範囲に示す。
【図１Ａ】
2021519011.tif 000003
【図１Ｂ】
2021519011.tif 000004
【図２】
2021519011.tif 000005
【図３】
2021519011.tif 000006
【図４】
2021519011.tif 000007
【図５】
2021519011.tif 000008
【図６】
2021519011.tif 000009
【図７Ａ】
2021519011.tif 000010
【図７Ｂ】
2021519011.tif 000011
【図８】
2021519011.tif 000012
【図９Ａ】
2021519011.tif 000013
【図９Ｂ】
2021519011.tif 000014
【図１０Ａ】
2021519011.tif 000015
【図１０Ｂ】
2021519011.tif 000016
【図１１Ａ】
2021519011.tif 000017
【図１１Ｂ】
2021519011.tif 000018
【図１２】
2021519011.tif 000019
【図１３Ａ】
2021519011.tif 000020
【図１３Ｂ】
2021519011.tif 000021
【図１３Ｃ】
2021519011.tif 000022
【図１４】
2021519011.tif 000023
【図１５Ａ】
2021519011.tif 000024
【図１５Ｂ】
2021519011.tif 000025
【図１６】
2021519011.tif 000026
【図１７Ａ】
2021519011.tif 000027
【図１７Ｂ】
2021519011.tif 000028
【図１８】
2021519011.tif 000029
【国際調査報告】
2021519011.tif 000030
2021519011.tif 000031
2021519011.tif 000032