(57)【要約】  １つの例では、装置は、第１の電荷を生成するための第１のフォトダイオードと、第２の電荷を生成するための第２のフォトダイオードと、量子化器と、第１のメモリバンクおよび第２のメモリバンクと、量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷の第１の量子化動作および第２の量子化動作を行うことであって、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる、第１の電荷の第１の量子化動作および第２の量子化動作を行うこと、第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶すること、量子化器を制御して、第３のデジタル出力を生成するために第２の電荷の第３の量子化動作を行うことであって、第３の量子化動作は第１の量子化動作または第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる、第２の電荷の第３の量子化動作を行うこと、および、第３のデジタル出力を第２のメモリバンクに記憶すること、を行うように構成される、コントローラと、を備える。【選択図】図１４Ａ
2021536153.tif 000002
【特許請求の範囲】
【請求項１】
入射光に応答して第１の電荷を生成するための第１のフォトダイオードと、
前記入射光に応答して第２の電荷を生成するための第２のフォトダイオードと、
量子化器と、
第１のメモリバンクおよび第２のメモリバンクと、
コントローラであって、
前記量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために前記第１の電荷の第１の量子化動作および第２の量子化動作を行うことであって、前記第１の量子化動作および前記第２の量子化動作は異なる強度範囲に関連付けられる、前記第１の電荷の第１の量子化動作および第２の量子化動作を行うこと、
前記第１のデジタル出力および前記第２のデジタル出力のうちの１つを前記第１のメモリバンクに記憶すること、
前記量子化器を制御して、第３のデジタル出力を生成するために前記第２の電荷の第３の量子化動作を行うことであって、前記第３の量子化動作は前記第１の量子化動作または前記第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる、前記第２の電荷の第３の量子化動作を行うこと、および、
前記第３のデジタル出力を前記第２のメモリバンクに記憶すること、
を行うように構成される、コントローラと、
を備える、装置。
【請求項２】
前記量子化器は比較器を含み、前記比較器は、前記第１のフォトダイオードおよび前記第２のフォトダイオード、ならびに前記第１のメモリバンクおよび前記第２のメモリバンクと異なるタイプのトランジスタデバイスを含む、請求項１に記載の装置。
【請求項３】
前記第１のフォトダイオードおよび前記第２のフォトダイオードは第１の半導体基板上に形成され、
前記量子化器、前記第１のメモリバンク、および前記第２のメモリバンクは、第２の半導体基板上に形成され、
前記第１の半導体基板および前記第２の半導体基板はスタックを形成する、請求項１に記載の装置。
【請求項４】
キャパシタおよびバッファを含む電荷検知ユニットであって、前記バッファは前記量子化器に連結される、電荷検知ユニットと、
前記第１のフォトダイオードと前記キャパシタとの間で連結される第１の移動スイッチと、
前記第２のフォトダイオードと前記キャパシタとの間で連結される第２の移動スイッチと、をさらに含み、
前記コントローラは、
前記第１の移動スイッチを制御して、前記第２の移動スイッチを無効にしている間に、前記第１の電荷の第１のオーバーフロー電荷を前記第１のフォトダイオードから前記キャパシタに移動させて第１の電圧を生成すること、
前記量子化器を制御して、前記第１の電圧に基づいて、前記第１のデジタル出力として前記第１のオーバーフロー電荷による前記キャパシタの飽和時間を測定すること、
前記量子化器を制御して、前記第１の電圧に基づいて、前記第２のデジタル出力として前記第１のフォトダイオードによって移動させた前記第１のオーバーフロー電荷の量を測定すること、
前記第２の移動スイッチを制御して、前記第１の移動スイッチを無効にしている間に、前記第２の電荷の第２の残留電荷を前記第２のフォトダイオードから前記キャパシタに移動させて第２の電圧を生成すること、および、
前記量子化器を制御して、前記第２の電圧に基づいて、第３のデジタル出力として前記第２のフォトダイオードによって移動させた前記第２の残留電荷の量を測定すること、
を行うように構成される、請求項１に記載の装置。
【請求項５】
前記量子化器は、
第１の判定を生成するために静的閾値に対して前記第１の電圧を比較することに基づいて前記飽和時間を測定し、
第２の判定を生成するために第１のランプ電圧に対して前記第１の電圧を比較することに基づいて前記第１のフォトダイオードによって移動させた前記第１のオーバーフロー電荷の量を測定し、かつ、
第３の判定を生成するために第２のランプ電圧に対して前記第２の電圧を比較することに基づいて前記第２のフォトダイオードによって移動させた前記第２の残留電荷の量を測定するように構成され、
前記コントローラは、
前記第１のメモリバンクが、前記第１のデジタル出力または前記第２のデジタル出力としてカウンタからのカウント値を記憶する時の第１の時間を制御するために前記第１の判定および前記第２の判定を前記第１のメモリバンクに転送し、かつ、
前記第２のメモリバンクが、前記第３のデジタル出力として前記カウンタからのカウント値を記憶する時の第２の時間を制御するために前記第３の判定を前記第２のメモリバンクに転送するように構成される、請求項４に記載の装置。
【請求項６】
前記コントローラは、
前記第１の移動スイッチを制御して、第３の電圧を生成するために前記第１の電荷の第１の残留電荷を前記キャパシタに移動させ、
前記量子化器を制御して、前記第３の電圧に基づいて、第４のデジタル出力として前記第１のフォトダイオードによって移動させた前記第１の残留電荷の量を測定し、かつ、
前記第１のデジタル出力、前記第２のデジタル出力、または前記第４のデジタル出力のうちの１つを前記第１のメモリバンクに記憶するように構成される、請求項４に記載の装置。
【請求項７】
前記キャパシタは、主キャパシタおよび補助キャパシタを含み、
前記第１のオーバーフロー電荷は、前記主キャパシタおよび前記補助キャパシタの並列の組合せで蓄えられ、
前記第１の残留電荷および前記第２の残留電荷は、前記主キャパシタに蓄えられるが、前記補助キャパシタには蓄えられない、請求項６に記載の装置。
【請求項８】
第１のキャパシタおよび第１のバッファを含む第１の電荷検知ユニットであって、前記第１のバッファは前記量子化器に連結される、第１の電荷検知ユニットと、
第２のキャパシタおよび第２のバッファを含む第２の電荷検知ユニットであって、前記第２のバッファは前記量子化器に連結される、第２の電荷検知ユニットと、
前記第１のフォトダイオードと前記第１のキャパシタとの間で連結される第１の移動スイッチと、
前記第２のフォトダイオードと前記第２のキャパシタとの間で連結される第２の移動スイッチと、をさらに含み、
前記コントローラは、
前記第１の移動スイッチを制御して、前記第１の電荷の第１のオーバーフロー電荷を前記第１のフォトダイオードから前記第１のキャパシタに移動させて第１の電圧を生成し、
前記第２の移動スイッチを制御して、前記第２のフォトダイオードからの前記第２の電荷の第２のオーバーフロー電荷を、前記第２のフォトダイオードが飽和した後、前記第２のキャパシタに移動させて第２の電圧を生成し、
前記量子化器を制御して、前記第１の電圧に基づいて、前記第１のデジタル出力として前記第１のオーバーフロー電荷による前記第１のキャパシタの飽和時間を測定し、
前記量子化器を制御して、前記第１の電圧に基づいて、前記第２のデジタル出力として前記第１のフォトダイオードによって移動させた前記第１のオーバーフロー電荷の量を測定し、かつ、
前記量子化器を制御して、前記第２の電圧に基づいて、前記第３のデジタル出力として前記第２のフォトダイオードによって移動させた前記第２のオーバーフロー電荷の量を測定するように構成される、請求項１に記載の装置。
【請求項９】
前記量子化器は、
第１の判定を生成するために静的閾値に対して前記第１の電圧を比較することに基づいて前記飽和時間を測定し、
第２の判定を生成するために第１のランプ電圧に対して前記第１の電圧を比較することに基づいて前記第１のフォトダイオードによって移動させた前記第１のオーバーフロー電荷の量を測定し、かつ、
第３の判定を生成するために第２のランプ電圧に対して前記第２の電圧を比較することに基づいて前記第２のフォトダイオードによって移動させた前記第２のオーバーフロー電荷の量を測定するように構成され、
前記コントローラは、
前記第１のメモリバンクが、前記第１のデジタル出力または前記第２のデジタル出力としてカウンタからのカウント値を記憶する時の第１の時間を制御するために前記第１の判定および前記第２の判定を前記第１のメモリバンクに転送し、かつ、
前記第２のメモリバンクが、前記第３のデジタル出力として前記カウンタからのカウント値を記憶する時の第２の時間を制御するために前記第３の判定を前記第２のメモリバンクに転送するように構成される、請求項８に記載の装置。
【請求項１０】
前記コントローラは、
前記第１の移動スイッチを制御して、第３の電圧を生成するために前記第１の電荷の前記第１の残留電荷を前記第１のキャパシタに移動させ、
前記量子化器を制御して、前記第３の電圧に基づいて、第４のデジタル出力として前記第１のフォトダイオードによって移動させた前記第１の残留電荷の量を測定し、
前記第２の移動スイッチを制御して、第４の電圧を生成するために前記第２の電荷の第２の残留電荷を前記第２のキャパシタに移動させ、
前記量子化器を制御して、前記第４の電圧に基づいて、第５のデジタル出力として前記第２のフォトダイオードによって移動させた前記第２の残留電荷の量を測定し、
前記第１のデジタル出力、前記第２のデジタル出力、または前記第４のデジタル出力のうちの１つを前記第１のメモリバンクに記憶し、かつ、
前記第３のデジタル出力または前記第５のデジタル出力のうちの１つを前記第２のメモリバンクに記憶するように構成される、請求項８に記載の装置。
【請求項１１】
前記第１のフォトダイオードおよび第３のフォトダイオードを含むフォトダイオードの第１のグループであって、前記第３のフォトダイオードは第３の電荷を生成するように構成される、フォトダイオードの第１のグループと、
前記第２のフォトダイオードおよび第４のフォトダイオードを含むフォトダイオードの第２のグループであって、前記第４のフォトダイオードは第４の電荷を生成するように構成される、フォトダイオードの第２のグループと、をさらに含み、
前記コントローラは、
前記量子化器を制御して、第４のデジタル出力を生成するために前記第３の電荷を量子化し、
前記量子化器を制御して、第５のデジタル出力を生成するために前記第４の電荷を量子化し、
第１の時間に、
前記第１のデジタル出力または前記第２のデジタル出力のうちの１つを前記第１のメモリバンクに記憶し、
前記第３のデジタル出力を前記第２のメモリバンクに記憶することを行い、かつ、
第２の時間に、
前記第４のデジタル出力を前記第１のメモリバンクに記憶し、
前記第５のデジタル出力を前記第２のメモリバンクに記憶することを行うように構成される、請求項１に記載の装置。
【請求項１２】
前記第１のフォトダイオードおよび前記第２のフォトダイオードは、入射光の可視光成分を検出し、かつ第１の露光期間内に前記第１の電荷および前記第２の電荷をそれぞれ生成するように構成され、
前記第３のフォトダイオードおよび前記第４のフォトダイオードは、前記入射光の赤外光成分を検出し、かつ第２の露光期間内に前記第３の電荷および前記第４の電荷をそれぞれ生成するように構成される、請求項１１に記載の装置。
【請求項１３】
前記フォトダイオードの第１のグループは、前記第１のフォトダイオード、前記第３のフォトダイオード、第５のフォトダイオード、および第６のフォトダイオードを含み、前記第５のフォトダイオードは第５の電荷を生成するように構成され、前記第６のフォトダイオードは第６の電荷を生成するように構成され、
前記装置は、第３のメモリバンクおよび第４のメモリバンクをさらに含み、
前記コントローラは、
前記量子化器を制御して、第６のデジタル出力を生成するために前記第５の電荷を量子化し、
前記量子化器を制御して、第７のデジタル出力を生成するために前記第６の電荷を量子化し、
前記第１のデジタル出力または前記第２のデジタル出力のうちの１つを前記第１のメモリバンクに記憶し、
前記第６のデジタル出力を前記第３のメモリバンクに記憶し、かつ、
前記第７のデジタル出力を前記第４のメモリバンクに記憶するように構成される、請求項１１に記載の装置。
【請求項１４】
前記フォトダイオードの第１のグループおよび前記フォトダイオードの第２のグループは異なるピクセルセルの一部である、請求項１１に記載の装置。
【請求項１５】
第３のメモリバンクをさらに含み、
前記コントローラは、
第１の時間に、第２のデジタル出力を生成するために前記第１の電圧を量子化し、
第２の時間に、第４のデジタル出力を生成するために前記第１の電圧を量子化し、
前記第２のデジタル出力を前記第１のメモリバンクに記憶し、かつ、
前記第４のデジタル出力を前記第３のメモリバンクに記憶するように構成される、請求項１に記載の装置。
【請求項１６】
入射光に応答して第３の電荷を生成するための第３のフォトダイオードをさらに含み、
前記コントローラは、
前記量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために前記第１の電荷および前記第３の電荷の組合せの前記第１の量子化動作および前記第２の量子化動作を行うように構成され、前記第１の量子化動作および前記第２の量子化動作は異なる強度範囲に関連付けられる、請求項１に記載の装置。
【請求項１７】
前記第１のフォトダイオードおよび前記第３のフォトダイオードは前記入射光の同じ成分を検出するように構成される、請求項１６に記載の装置。
【請求項１８】
第１のフォトダイオードが入射光に応答して第１の電荷を生成できるようにすることと、
第２のフォトダイオードが前記入射光に応答して第２の電荷を生成できるようにすることと、
量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために前記第１の電荷の第１の量子化動作および第２の量子化動作を行うことであって、前記第１の量子化動作および前記第２の量子化動作は異なる強度範囲に関連付けられる、第１の量子化動作および第２の量子化動作を行うことと、
前記第１のデジタル出力または前記第２のデジタル出力のうちの１つを第１のメモリバンクに記憶することと、
前記量子化器を制御して、第３のデジタル出力を生成するために前記第２の電荷の第３の量子化動作を行うことであって、前記第３の量子化動作は前記第１の量子化動作または前記第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる、第３の量子化動作を行うことと、
前記第３のデジタル出力を第２のメモリバンクに記憶することと、
を含む、方法。
【請求項１９】
前記第１のフォトダイオードからの前記第１の電荷の第１のオーバーフロー電荷を、前記第１のフォトダイオードが飽和した後、キャパシタに移動させて第１の電圧を生成することと、
前記量子化器を制御して、前記第１の電圧に基づいて、前記第１のデジタル出力として前記第１のオーバーフロー電荷による前記キャパシタの飽和時間を測定することと、
前記量子化器を制御して、前記第１の電圧に基づいて、前記第２のデジタル出力として前記第１のフォトダイオードによって移動させた前記第１のオーバーフロー電荷の量を測定することと、
前記第２の電荷の第２の残留電荷を前記第２のフォトダイオードから前記キャパシタに移動させて第２の電圧を生成することと、
前記量子化器を制御して、前記第２の電圧に基づいて、前記第３のデジタル出力として前記第２のフォトダイオードによって移動させた前記第２の残留電荷の量を測定することと、
をさらに含む、請求項１８に記載の方法。
【請求項２０】
前記第１のフォトダイオードおよび前記第２のフォトダイオードは、前記入射光の異なる成分に応答して前記第１の電荷および前記第２の電荷をそれぞれ生成する、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本特許出願は、２０１８年８月２７日に出願された米国特許出願第６２／７２３，３７６号、および２０１９年８月２６日に出願された米国特許出願第１６／５５０，８５１号の優先権を主張するものである。米国特許出願第６２／７２３，３７６号および米国特許出願第１６／５５０，８５１号は、あらゆる目的でこれら全体が参照により本明細書に組み込まれている。
【背景技術】
【０００２】
本開示は、一般に、イメージセンサに関し、より具体的には、画像生成のための光強度を決定するためのインターフェース回路を含むピクセルセル構造に関する。
【０００３】
イメージセンサの典型的なピクセルは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。入射光は、２Ｄおよび３Ｄ検知などの異なる応用に対する異なる波長範囲の成分を含むことができる。また、画像歪みを低減するために、フォトダイオードのアレイのそれぞれのフォトダイオードが電荷を生成するためのグローバル露光期間に入射光を同時に検知するグローバルシャッター動作が行われ得る。電荷は、電圧に変換するための電荷検知ユニット（例えば、浮動拡散）によって変換可能である。ピクセルセルのアレイは、電荷検知ユニットによって変換される電圧に基づいて入射光の異なる成分を測定し、かつシーンの２Ｄおよび３Ｄ画像の生成に対する測定結果を提供することができる。
【発明の概要】
【０００４】
本開示はイメージセンサに関する。より具体的には、また、限定することなく、本開示はピクセルセルに関する。本開示はまた、入射光の強度のデジタル表現を生成するためにピクセルセルの回路を動作させることに関する。
【０００５】
１つの例では、装置が提供される。この装置は、入射光に応答して第１の電荷を生成するための第１のフォトダイオードと、入射光に応答して第２の電荷を生成するための第２のフォトダイオードと、量子化器と、第１のメモリバンクおよび第２のメモリバンクと、コントローラと、を含む。コントローラは、量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷の第１の量子化動作および第２の量子化動作を行うことであって、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる、第１の電荷の第１の量子化動作および第２の量子化動作を行うこと、第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶すること、量子化器を制御して、第３のデジタル出力を生成するために第２の電荷の第３の量子化動作を行うことであって、第３の量子化動作は第１の量子化動作または第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる、第２の電荷の第３の量子化動作を行うこと、および、第３のデジタル出力を第２のメモリバンクに記憶すること、を行うように構成される。
【０００６】
いくつかの態様では、量子化器は比較器を含む。比較器は、第１のフォトダイオードおよび第２のフォトダイオード、ならびに第１のメモリバンクおよび第２のメモリバンクと異なるタイプのトランジスタデバイスを含む。
【０００７】
いくつかの態様では、第１のフォトダイオードおよび第２のフォトダイオードは第１の半導体基板上に形成される。量子化器、第１のメモリバンク、および第２のメモリバンクは、第２の半導体基板上に形成される。第１の半導体基板および第２の半導体基板はスタックを形成する。
【０００８】
いくつかの態様では、装置は、キャパシタおよびバッファを含む電荷検知ユニットであって、バッファは量子化器に連結される、電荷検知ユニットと、第１のフォトダイオードとキャパシタとの間で連結される第１の移動スイッチと、第２のフォトダイオードとキャパシタとの間で連結される第２の移動スイッチと、をさらに含む。コントローラは、第１の移動スイッチを制御して、第２の移動スイッチを無効にしている間に、第１の電荷の第１のオーバーフロー電荷を第１のフォトダイオードからキャパシタに移動させて第１の電圧を生成すること、量子化器を制御して、第１の電圧に基づいて、第１のデジタル出力として第１のオーバーフロー電荷によるキャパシタの飽和時間を測定すること、量子化器を制御して、第１の電圧に基づいて、第２のデジタル出力として第１のフォトダイオードによって移動させた第１のオーバーフロー電荷の量を測定すること、第２の移動スイッチを制御して、第１の移動スイッチを無効にしている間に、第２の電荷の第２の残留電荷を第２のフォトダイオードからキャパシタに移動させて第２の電圧を生成すること、および、量子化器を制御して、第２の電圧に基づいて、第３のデジタル出力として第２のフォトダイオードによって移動させた第２の残留電荷の量を測定すること、を行うように構成される。
【０００９】
いくつかの態様では、量子化器は、第１の判定を生成するために静的閾値に対して第１の電圧を比較することに基づいて飽和時間を測定するように、第２の判定を生成するために第１のランプ電圧に対して第１の電圧を比較することに基づいて第１のフォトダイオードによって移動させた第１のオーバーフロー電荷の量を測定するように、および、第３の判定を生成するために第２のランプ電圧に対して第２の電圧を比較することに基づいて第２のフォトダイオードによって移動させた第２の残留電荷の量を測定するように構成される。コントローラは、第１のメモリバンクが、第１のデジタル出力または第２のデジタル出力としてカウンタからのカウント値を記憶する時の第１の時間を制御するために第１の判定および第２の判定を第１のメモリバンクに転送するように、および、第２のメモリバンクが、第３のデジタル出力としてカウンタからのカウント値を記憶する時の第２の時間を制御するために第３の判定を第２のメモリバンクに転送するように構成される。
【００１０】
いくつかの態様では、コントローラは、第１の移動スイッチを制御して、第３の電圧を生成するために第１の電荷の第１の残留電荷をキャパシタに移動させ、量子化器を制御して、第３の電圧に基づいて、第４のデジタル出力として第１のフォトダイオードによって移動させた第１の残留電荷の量を測定し、かつ、第１のデジタル出力、第２のデジタル出力、または第４のデジタル出力のうちの１つを第１のメモリバンクに記憶するように構成される。
【００１１】
いくつかの態様では、キャパシタは、主キャパシタおよび補助キャパシタを含む。第１のオーバーフロー電荷は、主キャパシタおよび補助キャパシタの並列の組合せで蓄えられる。第１の残留電荷および第２の残留電荷は、主キャパシタに蓄えられるが、補助キャパシタには蓄えられない。
【００１２】
いくつかの態様では、装置は、第１のキャパシタおよび第１のバッファを含む第１の電荷検知ユニットであって、第１のバッファは量子化器に連結される、第１の電荷検知ユニットと、第２のキャパシタおよび第２のバッファを含む第２の電荷検知ユニットであって、第２のバッファは量子化器に連結される、第２の電荷検知ユニットと、第１のフォトダイオードと第１のキャパシタとの間で連結される第１の移動スイッチと、第２のフォトダイオードと第２のキャパシタとの間で連結される第２の移動スイッチと、をさらに含む。コントローラは、第１の移動スイッチを制御して、第１の電荷の第１のオーバーフロー電荷を第１のフォトダイオードから第１のキャパシタに移動させて第１の電圧を生成し、第２の移動スイッチを制御して、第２のフォトダイオードからの第２の電荷の第２のオーバーフロー電荷を、第２のフォトダイオードが飽和した後、第２のキャパシタに移動させて第２の電圧を生成し、量子化器を制御して、第１の電圧に基づいて、第１のデジタル出力として第１のオーバーフロー電荷による第１のキャパシタの飽和時間を測定し、量子化器を制御して、第１の電圧に基づいて、第２のデジタル出力として第１のフォトダイオードによって移動させた第１のオーバーフロー電荷の量を測定し、かつ、量子化器を制御して、第２の電圧に基づいて、第３のデジタル出力として第２のフォトダイオードによって移動させた第２のオーバーフロー電荷の量を測定するように構成される。
【００１３】
いくつかの態様では、量子化器は、第１の判定を生成するために静的閾値に対して第１の電圧を比較することに基づいて飽和時間を測定するように、第２の判定を生成するために第１のランプ電圧に対して第１の電圧を比較することに基づいて第１のフォトダイオードによって移動させた第１のオーバーフロー電荷の量を測定するように、および、第３の判定を生成するために第２のランプ電圧に対して第２の電圧を比較することに基づいて第２のフォトダイオードによって移動させた第２のオーバーフロー電荷の量を測定するように構成される。コントローラは、第１のメモリバンクが、第１のデジタル出力または第２のデジタル出力としてカウンタからのカウント値を記憶する時の第１の時間を制御するために第１の判定および第２の判定を第１のメモリバンクに転送するように、および、第２のメモリバンクが、第３のデジタル出力としてカウンタからのカウント値を記憶する時の第２の時間を制御するために第３の判定を第２のメモリバンクに転送するように構成される。
【００１４】
いくつかの態様では、コントローラは、第１の移動スイッチを制御して、第３の電圧を生成するために第１の電荷の第１の残留電荷を第１のキャパシタに移動させ、量子化器を制御して、第３の電圧に基づいて、第４のデジタル出力として第１のフォトダイオードによって移動させた第１の残留電荷の量を測定し、第２の移動スイッチを制御して、第４の電圧を生成するために第２の電荷の第２の残留電荷を第２のキャパシタに移動させ、量子化器を制御して、第４の電圧に基づいて、第５のデジタル出力として第２のフォトダイオードによって移動させた第２の残留電荷の量を測定し、第１のデジタル出力、第２のデジタル出力、または第４のデジタル出力のうちの１つを第１のメモリバンクに記憶し、かつ、第３のデジタル出力または第５のデジタル出力のうちの１つを第２のメモリバンクに記憶するように構成される。
【００１５】
いくつかの態様では、装置は、第１のフォトダイオードおよび第３のフォトダイオードを含むフォトダイオードの第１のグループであって、第３のフォトダイオードは第３の電荷を生成するように構成される、フォトダイオードの第１のグループと、第２のフォトダイオードおよび第４のフォトダイオードを含むフォトダイオードの第２のグループであって、第４のフォトダイオードは第４の電荷を生成するように構成される、フォトダイオードの第２のグループと、をさらに含む。コントローラは、量子化器を制御して、第４のデジタル出力を生成するために第３の電荷を量子化し、量子化器を制御して、第５のデジタル出力を生成するために第４の電荷を量子化し、第１の時間に、第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶し、第３のデジタル出力を第２のメモリバンクに記憶することを行い、かつ、第２の時間に、第４のデジタル出力を第１のメモリバンクに記憶し、第５のデジタル出力を第２のメモリバンクに記憶することを行うように構成される。
【００１６】
いくつかの態様では、第１のフォトダイオードおよび第２のフォトダイオードは、入射光の可視光成分を検出するように、および第１の露光期間内に第１の電荷および第２の電荷をそれぞれ生成するように構成される。第３のフォトダイオードおよび第４のフォトダイオードは、入射光の赤外光成分を検出するように、および第２の露光期間内に第３の電荷および第４の電荷をそれぞれ生成するように構成される。
【００１７】
いくつかの態様では、フォトダイオードの第１のグループは、第１のフォトダイオード、第３のフォトダイオード、第５のフォトダイオード、および第６のフォトダイオードを含み、第５のフォトダイオードは第５の電荷を生成するように構成され、第６のフォトダイオードは第６の電荷を生成するように構成される。装置は、第３のメモリバンクおよび第４のメモリバンクをさらに含む。コントローラは、量子化器を制御して、第６のデジタル出力を生成するために第５の電荷を量子化し、量子化器を制御して、第７のデジタル出力を生成するために第６の電荷を量子化し、第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶し、第６のデジタル出力を第３のメモリバンクに記憶し、かつ、第７のデジタル出力を第４のメモリバンクに記憶するように構成される。
【００１８】
いくつかの態様では、フォトダイオードの第１のグループおよびフォトダイオードの第２のグループは異なるピクセルセルの一部である。
【００１９】
いくつかの態様では、装置は第３のメモリバンクをさらに含む。コントローラは、第１の時間に、第２のデジタル出力を生成するために第１の電圧を量子化するように、第２の時間に、第４のデジタル出力を生成するために第１の電圧を量子化するように、第２のデジタル出力を第１のメモリバンクに記憶するように、および、第４のデジタル出力を第３のメモリバンクに記憶するようにさらに構成される。
【００２０】
いくつかの態様では、装置は、入射光に応答して第３の電荷を生成するための第３のフォトダイオードをさらに含む。コントローラは、量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷および第３の電荷の組合せの第１の量子化動作および第２の量子化動作を行うように構成され、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる。
【００２１】
いくつかの態様では、第１のフォトダイオードおよび第３のフォトダイオードは入射光の同じ成分を検出するように構成される。
【００２２】
１つの例では、方法が提供される。方法は、第１のフォトダイオードが入射光に応答して第１の電荷を生成できるようにすることと、第２のフォトダイオードが入射光に応答して第２の電荷を生成できるようにすることと、量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷の第１の量子化動作および第２の量子化動作を行うことであって、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる、第１の量子化動作および第２の量子化動作を行うことと、第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶することと、量子化器を制御して、第３のデジタル出力を生成するために第２の電荷の第３の量子化動作を行うことであって、第３の量子化動作は第１の量子化動作または第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる、第３の量子化動作を行うことと、第３のデジタル出力を第２のメモリバンクに記憶することと、を含む。
【００２３】
いくつかの態様では、方法は、第１のフォトダイオードからの第１の電荷の第１のオーバーフロー電荷を、第１のフォトダイオードが飽和した後、キャパシタに移動させて第１の電圧を生成することと、量子化器を制御して、第１の電圧に基づいて、第１のデジタル出力として第１のオーバーフロー電荷によるキャパシタの飽和時間を測定することと、量子化器を制御して、第１の電圧に基づいて、第２のデジタル出力として第１のフォトダイオードによって移動させた第１のオーバーフロー電荷の量を測定することと、第２の電荷の第２の残留電荷を第２のフォトダイオードからキャパシタに移動させて第２の電圧を生成することと、量子化器を制御して、第２の電圧に基づいて、第３のデジタル出力として第２のフォトダイオードによって移動させた第２の残留電荷の量を測定することと、をさらに含む。
【００２４】
いくつかの態様では、第１のフォトダイオードおよび第２のフォトダイオードは、入射光の異なる成分に応答して第１の電荷および第２の電荷をそれぞれ生成する。
【００２５】
実例を、以下の図を参照しながら説明する。
【図面の簡単な説明】
【００２６】
【図１Ａ−Ｂ】ニアアイディスプレイの一例の図である。
【図２】ニアアイディスプレイの断面の一例を示す図である。
【図３】単一のソースアセンブリを有する導波路ディスプレイの一例の等角図である。
【図４】導波路ディスプレイの一例の断面を示す図である。
【図５】ニアアイディスプレイを含むシステムの一例のブロック図である。
【図６Ａ−Ｂ】イメージセンサおよびホストデバイスの例のブロック図である。
【図７Ａ−Ｃ】図６Ａの例示のイメージセンサによって異なる範囲の光強度を判定するための動作を示す図である。
【図８Ａ−Ｄ】図６Ａの例示のイメージセンサの例示のピクセルセルの内部構成要素の例を示す図である。
【図９Ａ−Ｃ】図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄの例示のピクセルセルの内部構成要素の例を示す図である。
【図１０】開示された技法によって測定される光強度の範囲の一例を示す図である。
【図１１Ａ−Ｄ】光強度を判定するための例示の方法を示す図である。
【図１２Ａ−Ｂ】マルチフォトダイオードピクセルセルの構造の例を示す図である。
【図１３Ａ−Ｂ】マルチフォトダイオードピクセルセルの例示の動作を示す図である。
【図１４Ａ−Ｃ】複数のメモリバンクを有するマルチフォトダイオードピクセルセル、およびこの動作の一例を示す図である。
【図１５Ａ−Ｂ】複数のメモリバンクを有するマルチフォトダイオードピクセルセルの別の例を示す図である。
【図１６Ａ−Ｂ】マルチフォトダイオードピクセルセルおよび複数のメモリバンクを有するイメージセンサの例を示す図である。
【図１７】複数のメモリバンクを有するピクセルセルの例示の応用を示す図である。
【図１８】光強度を測定するためのプロセス例のフローチャートである。
【発明を実施するための形態】
【００２７】
図は、例証のためだけに本開示の例を描写する。本開示の原理、または勧められた利益から逸脱することなく、示した構造および方法の代替例が採用されてもよいということを、当業者は以下の説明から容易に認識するであろう。
【００２８】
添付の図では、類似の構成要素および／または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素は、類似の構成要素の間で区別するダッシュおよび第２のラベルが参照ラベルに続くことによって区別することがある。第１の参照ラベルだけが本明細書で使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する類似の構成要素のうちの任意の１つに適用することができる。
【００２９】
以下の説明では、説明のために、一定の発明の例を完全に理解するために、具体的詳細が示される。しかし、これらの具体的詳細がなくても、様々な例を実践できるということが明らかであろう。図および説明は、限定的であることを意図するものではない。
【００３０】
典型的なイメージセンサはピクセルセルのアレイを含む。それぞれのピクセルセルは、光子を電荷（電子または正孔）に変換することによって入射光の強度を測定するためのフォトダイオードを含む。フォトダイオードによって生成される電荷は、浮遊ドレインノードを含むことができる電荷検知ユニットによって電圧に変換可能である。電圧は、アナログデジタルコンバータ（ＡＤＣ）によってデジタル値に量子化可能である。デジタル値は、ピクセルセルが受光した光の強度を表すことができ、かつシーンのスポットから受光した光に対応し得るピクセルを形成できる。ピクセルのアレイを含む画像は、ピクセルセルのアレイのデジタル出力から得ることができる。
【００３１】
２Ｄ検知および３Ｄ検知など、画像化の異なるモードを実行するために、イメージセンサを使用することができる。２Ｄ検知および３Ｄ検知は、異なる波長範囲の光に基づいて行うことができる。例えば、可視波長範囲内の光は２Ｄ検知に使用可能であるのに対し、可視波長範囲外の光（例えば、赤外光）は３Ｄ検知に使用可能である。イメージセンサは、異なる可視波長範囲および色（例えば、赤、緑、青、単色など）の光が２Ｄ検知のために割り当てられたピクセルセルの第１のセットに達することを可能にし、かつ、不可視波長範囲の光が３Ｄ検知のために割り当てられたピクセルセルの第２のセットに達することを可能にするための光学フィルタアレイを含んでよい。
【００３２】
２Ｄ検知を行うために、ピクセルセルのフォトダイオードは、可視光成分（例えば、赤、緑、青、単色など）の強度に比例した割合で電荷を生成することができ、露光期間に蓄積された電荷の量は、可視光（または、可視光の一定の色成分）の強度を表すために使用可能である。電荷は、フォトダイオードに一時的に蓄え、次に、キャパシタ（例えば、浮遊拡散）に移動させて、電圧を生じることができる。電圧は、アナログデジタルコンバータ（ＡＤＣ：ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）でサンプリングして量子化し、可視光の強度に相当する出力を生成することができる。可視光の異なる色成分（例えば、赤色、緑色、および青色）を検知するように構成された複数のピクセルセルからの出力に基づいて、画像のピクセル値を生成することができる。
【００３３】
さらに、３Ｄ検知を実行するために、異なる波長範囲の光（例えば、赤外光）をオブジェクトに投射することができ、反射した光は、ピクセルセルによって検出することができる。光は、構造光、光パルス、等を含むことができる。ピクセルセルの出力は、例えば、反射した構造光のパターンの検出、光パルスの飛行時間の測定、等に基づいて、深度検知動作を実行するために使用することができる。反射した構造光のパターンを検出するために、露光時間中にピクセルセルによって生成された電荷の量の分布を判定することができ、電荷の量に相当する電圧に基づいてピクセル値を生成することができる。飛行時間測定のために、ピクセルセルのフォトダイオードでの電荷の生成のタイミングは、反射した光パルスをピクセルセルで受光した時間を表すように決定することができる。光パルスをオブジェクトに投射した時間と、反射した光パルスをピクセルセルで受光した時間との間の時間差を、飛行時間測定を行うために使用することができる。
【００３４】
ピクセルセルアレイを使用して、シーンの情報を生成可能である。いくつかの例では、アレイ内のピクセルセルのサブセット（例えば、第１のセット）は、シーンの２Ｄ検知を行うために光の可視成分を検出でき、アレイ内のピクセルセルの別のサブセット（例えば、第２のセット）は、シーンの３Ｄ検知を行うために光の赤外線成分を検出できる。２Ｄ画像化データと３Ｄ画像化データの融合は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ−ｒｅａｌｉｔｙ）体験、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ−ｒｅａｌｉｔｙ）体験、および／または複合現実（ＭＲ：ｍｉｘｅｄ  ｒｅａｌｉｔｙ）体験をもたらす多くの用途に有用である。例えば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、システムのユーザがいる環境のシーンを再現することができる。再現したシーンに基づいて、ＶＲ／ＡＲ／ＭＲは、双方向体験をもたらすための表示効果を生成することができる。シーンを再現するために、ピクセルセルアレイ内のピクセルセルのサブセットは、３Ｄ検知を実行して、例えば、環境内の物理オブジェクトのセットを識別し、物理オブジェクトとユーザとの間の距離を判定することができる。ピクセルセルアレイ内のピクセルセルの別のサブセットは、２Ｄ検知を実行して、例えば、これらの物理オブジェクトのテクスチャ、色、および反射率を含む視覚属性をキャプチャすることができる。シーンの２Ｄ画像データおよび３Ｄ画像データは、次に、例えば、オブジェクトの視覚属性を含むシーンの３Ｄモデルを作成するためにマージすることができる。別の例として、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、２Ｄ画像データと３Ｄ画像データの融合に基づいて、頭部追跡動作も実行することができる。例えば、２Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、一定の画像特徴を抽出して、オブジェクトを識別することができる。３Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、ユーザが身につけているウェアラブルデバイスに対する識別したオブジェクトの位置を追跡することができる。ＶＲ／ＡＲ／ＡＲシステムは、例えば、ユーザの頭が動くときの、識別したオブジェクトのウェアラブルデバイスに対する位置の変化を追跡することに基づいて、頭の動きを追跡することができる。
【００３５】
２Ｄ画像データおよび３Ｄ画像データの相互関係を改善するために、ピクセルセルのアレイは、シーンのスポットからの入射光の異なる成分を並べて画像化できるように構成可能である。具体的には、それぞれのピクセルセルは、複数のフォトダイオード、および複数の対応する電荷検知ユニットを含むことができる。複数のフォトダイオードのそれぞれのフォトダイオードは、入射光の異なる光成分を電荷に変換するように構成される。フォトダイオードが入射光の種々の光成分を受けることができるように、フォトダイオードは、種々のフォトダイオードに対する入射光に種々の吸収距離を提供するスタックで形成可能である、または光学フィルタのアレイの下面に形成可能である。それぞれの電荷検知ユニットは、電荷を電圧に変換することによって対応するフォトダイオードの電荷を検知するための１つまたは複数のキャパシタを含み、この電圧は、それぞれのフォトダイオードによって変換された入射光成分の強度のデジタル表現を生成するためにＡＤＣによって量子化可能である。ＡＤＣは比較器を含む。量子化動作の一部として、比較器は、判定を出力するために電圧を基準値と比較することができる。比較器の出力は、メモリが自走カウンタからの値を記憶する時を制御することができる。この値は、電圧の量子化の結果を提供できる。
【００３６】
ダイナミックレンジ、電力、フレームレートなど、イメージセンサの様々な性能測定基準がある。ダイナミックレンジはイメージセンサによって測定可能な光強度の範囲を指すことができる。ダイナミックレンジについて、上限は、イメージセンサによって提供される光強度測定動作の直線性に基づいて定められ得るのに対し、下限は、光強度測定動作に影響するノイズ信号（例えば、暗電荷、熱雑音など）に基づいて定められ得る。他方では、様々な要因がフレームレートに影響する可能性がある。フレームレートは、イメージセンサが画像フレームを生成するのにかかる時間を指すことができる。該要因は、例えば、量子化動作の完了時間、量子化動作にもたらされる様々な遅延などを含んでよい。
【００３７】
光強度測定動作のダイナミックレンジを増大させるために、ＡＤＣは、種々の強度範囲に関連付けられる種々の量子化動作に基づいて電圧を量子化することができる。具体的には、それぞれのフォトダイオードは、露光期間内の、入射光強度を表す電荷の量を生成可能である。それぞれのフォトダイオードは、残留電荷として電荷の少なくとも一部を蓄えるための量子井戸も有する。量子井戸容量は、フォトダイオードと電荷検知ユニットとの間のスイッチ上のバイアス電圧に基づいて設定可能である。低い光強度範囲に対して、フォトダイオードは電荷全体を残留電荷として量子井戸に蓄えることができる。ＰＤ  ＡＤＣ量子化動作では、ＡＤＣは、低い光強度のデジタル表現を提供するために残留電荷の量を検知することから電荷検知ユニットによって生成される第１の電圧を量子化することができる。残留電荷は典型的には、フォトダイオードにおける暗電流の影響をはるかに受けにくいため、低い光強度測定のノイズフロアを低下させることができ、これによって、ダイナミックレンジの下限をさらに拡張させることができる。
【００３８】
さらに、中間の光強度範囲について、量子井戸は残留電荷によって飽和可能であり、フォトダイオードは、オーバーフロー電荷としての残留電荷を電荷検知ユニットに移動させることができ、電荷検知ユニットはオーバーフロー電荷の量を検知することから第２の電圧を生成可能である。ＦＤ  ＡＤＣ量子化動作では、ＡＤＣは中間の光強度のデジタル表現を提供するために第２の電圧を量子化できる。低い光強度および中間の光強度両方について、電荷検知ユニットにおける１つまたは複数のキャパシタはまだ飽和しておらず、第１の電圧および第２の電圧の大きさは光強度と相関する。それに応じて、低い光強度および中間の光強度両方について、ＡＤＣの比較器は、判定を生成するためにランプ電圧に対して第１の電圧または第２の電圧を比較することができる。この判定によって、残留電荷またはオーバーフロー電荷の量を表すことができるカウンタ値を記憶するようにメモリを制御することができる。
【００３９】
高い光強度範囲について、オーバーフロー電荷は電荷検知ユニットで１つまたは複数のキャパシタを飽和させることが可能である。結果として、第２の電圧の大きさはもはや光強度をたどらず、非直線性が光強度測定にもたらされ得る。キャパシタの飽和によって引き起こされた非直線性を低減させるために、ＡＤＣは、判定を生成するために第２の電圧を静的閾値と比較することによって飽和時間（ＴＴＳ）測定動作を行うことができ、この判定によって、メモリでカウンタ値を記憶するように制御可能である。カウンタ値は、第２の電圧が飽和閾値に達する時間を表すことができる。飽和時間は、電荷検知ユニットが飽和する範囲の光の強度を表すことができ、第２の電圧の値はもはや光の強度を反映しない。このような配置で、ダイナミックレンジの上限は拡張可能である。
【００４０】
他方では、イメージセンサの動作速度は、上述されるように、特に、複数の量子化動作がダイナミックレンジを改善するためにフォトダイオードによって生成される電荷に対して行われる場合に、ピクセルセルのフォトダイオード全てに対する量子化動作の完了時間を総体的に低減するなど、様々な技法に基づいて改善可能である。量子化動作の完了時間を総体的に低減するための１つのやり方は、例えば、ピクセルセルのそれぞれのフォトダイオードが複数の量子化動作を行うためにこれ自体の専用の比較器を有するように、ピクセルセルにおけるそれぞれのフォトダイオードに比較器を提供することによってそれぞれのフォトダイオードに対する並列量子化動作を可能にすることである。
【００４１】
イメージセンサのそれぞれのピクセルセルにおける複数の比較器を含むことによって、それぞれのピクセルセルに対する量子化動作の完了時間を総体的に低減し、かつイメージセンサの動作速度を改善することができるが、このような配置によって実質的に、電力消費およびピクセルセルのサイズを増大させる可能性があり、これら両方共は、特にウェアラブルアプリケーションには望ましくない。具体的には、比較器は典型的には、多量の静電流を消費するアナログ回路（例えば、差動対、バイアス回路、出力段など）を含む。また、これらのアナログ回路は典型的には、デジタル回路と異なるプロセスノードのトランジスタデバイス、およびピクセルセルのフォトダイオードデバイスを使用し、かつデジタル回路およびフォトダイオードデバイスよりはるかに多くの空間を占有する。プロセス技術の進歩によってフォトダイオードのサイズはさらに縮小し、分解能を改善するためにより多くのフォトダイオードをイメージセンサに含ませることができるため、比較器が必要とする電力および空間は、特に、それぞれのフォトダイオードが専用の比較器を有することになる場合に、どれくらいのフォトダイオードをイメージセンサに含むことができるかを限定するような障害になり得る。
【００４２】
ピクセルセルにおけるそれぞれのフォトダイオードに対する量子化動作を並列化することに加えて、イメージセンサの動作速度を改善するための別のやり方は、量子化動作にもたらされる様々な遅延を低減することである。遅延の１つの原因は、イメージセンサからの量子化結果（例えば、ピクセルデータ）を、量子化結果を消費するアプリケーションのホストデバイスに移動させる時間である可能性がある。例えば、後続の量子化動作は、ホストデバイスに移動させる先の量子化動作の量子化結果を待つために保留される場合がある。イメージセンサの動作速度は、後続の量子化動作のホールド時間が低減または最小化可能である場合に改善できる。
【００４３】
本開示は、上記の問題の少なくともいくつかに対処することによって、並べて行う２Ｄおよび３Ｄ画像化動作を改善し、かつグローバルシャッター動作を改善可能であるイメージセンサに関する。具体的には、イメージセンサは、第１のフォトダイオード、第２のフォトダイオード、量子化器、第１のメモリバンク、第２のメモリバンク、およびコントローラを含んでよい。第１のフォトダイオードは、入射光に応答して第１の電荷を生成可能であるのに対し、第２のフォトダイオードは、入射光に応答して第２の電荷を生成可能である。量子化器は、第１のフォトダイオードと第２のフォトダイオードとの間で共有される比較器を含む。コントローラは、量子化器を制御して、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷の第１の量子化動作および第２の量子化動作を行うことであって、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる、第１の電荷の第１の量子化動作および第２の量子化動作を行うこと、および第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶することを行うことができる。さらに、コントローラは、量子化器を制御して、第２の電荷の第３の量子化動作を行って第３のデジタル出力を生成し、かつ第３のデジタル出力を第２のメモリバンクに記憶することができる。第３の量子化動作は、第１の量子化動作または第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる。
【００４４】
１つの例では、イメージセンサは、第１のフォトダイオードと第２のフォトダイオードとの間で共有される電荷検知ユニットを含んでよく、量子化器は電荷検知ユニットの出力を量子化可能である。電荷検知ユニットは、第１の電荷および第２の電荷を、第１の電圧および第２の電圧にそれぞれ変換するためのキャパシタを含んでよく、これら電圧は量子化器によって量子化可能である。具体的には、露光時間内に、コントローラは、最初に、電荷検知ユニットを第１のフォトダイオードに接続して、第１の電荷の一部として第１のフォトダイオードから第１のオーバーフロー電荷を受け取ることができ、第１のフォトダイオードおよび第２のフォトダイオードは、（第１の電荷の一部として）第１の残留電荷を、および（第２の電荷の一部として）第２の残留電荷をそれぞれ蓄積する。露光期間の間、キャパシタに蓄えられる第１のオーバーフロー電荷は、第１の電圧を生じさせてよく、量子化器は、第１のデジタル出力を生成するために第１の電圧においてＴＴＳ動作またはＦＤ  ＡＤＣ動作のうちの少なくとも１つを行うことができる。
【００４５】
露光期間が終了した後、ＰＤ  ＡＤＣ動作は第１のフォトダイオードに対して行われ得る。この場合、第１のフォトダイオードで蓄積された第１の残留電荷は新しい第１の電圧を得るために電荷検知ユニットに移動させる。新しい第１の電圧は第２のデジタル出力を生成するために量子化器によって量子化可能である。電荷検知ユニットのキャパシタが第１のオーバーフロー電荷によって飽和するかどうか、および第１のフォトダイオードが第１の残留電荷によって飽和するかどうかに基づいて、（ＴＴＳ動作またはＦＤ  ＡＤＣ動作どちらかからの）第１のデジタル出力または（ＰＤ  ＡＤＣ動作からの）第２のデジタル出力のうちの１つは第１のメモリバンクに記憶され得る。第１のフォトダイオードに対するＰＤ  ＡＤＣ動作が完了した後、コントローラは、第２のフォトダイオードが、第２の残留電荷を電荷検知ユニットに移動させて第２の電圧を生成するように制御し、かつ量子化器を制御して、第２の電圧でＰＤ  ＡＤＣ動作を行って第３のデジタル出力を生成することができる。第３のデジタル出力は第２のメモリバンクに記憶可能である。
【００４６】
第１のフォトダイオードおよび第２のフォトダイオードは、イメージセンサの同じピクセルセルまたは異なるピクセルセルの一部とすることができる。第１のフォトダイオードおよび第２のフォトダイオードは、入射光の異なる成分を検出するように構成可能である。１つの例では、第１のフォトダイオードは、入射光の可視成分を検出して２Ｄ画像化のためのピクセルデータを生成するように構成可能であるのに対して、第２のフォトダイオードは、入射光の赤外線成分を検出して３Ｄ画像化のためのピクセルデータを生成するように構成可能である。第１のメモリバンクは２Ｄ画像フレームを記憶するための第１のメモリの一部とすることができるのに対し、第２のメモリバンクは３Ｄ画像フレームを記憶するための第２のメモリの一部とすることができる。
【００４７】
上記の配置によって、イメージセンサの性能が改善され、かつサイズおよび電力が低減され得る。具体的には、完了済みの量子化動作から生成される２Ｄ画像フレームおよび３Ｄ画像フレームを記憶するためにさらなるメモリバンクを提供することによって、２Ｄ画像フレームおよび３Ｄ画像フレームはメモリから読み出され、かつホストデバイスに移動させることができる一方、次のフレームに対する後続の量子化動作は進行中である。単一のメモリバンクが複数のフォトダイオードによって共有され、かつ１つのフォトダイオードの出力の量子化が、メモリバンクに記憶された量子化結果が読み出されかつ消去可能になるまで保留される必要がある場合と比較して、上記の配置によって、量子化動作によってもたらされる遅延は低減可能であり、かつイメージセンサの動作速度は改善可能である。また、フォトダイオードの間で比較器を共有することによって、典型的には、比較器のアナログ回路によって独占されるイメージセンサの電力およびサイズが低減可能である。他方では、メモリバンクが典型的には比較器よりはるかに少ない空間を占有しかつはるかに少ない電力を消費するデジタル回路として実装されると仮定して、さらなるメモリバンクを含むことによって、典型的には、特に、メモリバンクが進歩したプロセス技術で製作されるとき、イメージセンサのサイズおよび電力消費の実質的な増加は生じない。
【００４８】
イメージセンサは、さらなる電荷検知ユニットおよびさらなるメモリバンクを含むことができ、フォトダイオードとメモリバンクとの間のマッピングは、種々の応用に基づいて変化し得る。１つの例では、イメージセンサは２つのピクセルセルを含んでよく、それぞれのピクセルセルは、フォトダイオードおよび電荷検知ユニットの対を含む。（２つのピクセルセルの）２つの電荷検知ユニットは比較器を共有できる。第１のフォトダイオードは第１のピクセルセルとすることができるのに対し、第２のフォトダイオードは第２のピクセルセルとすることができる。比較器は、最初に、第１のピクセルセルの電荷検知ユニットに接続されて、第１のフォトダイオードに対するＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作を行い、かつ該動作のうちの１つの出力を第１のメモリバンクに記憶することができる。比較器はさらにまた、第２のピクセルセルの電荷検知ユニットに接続されて、第２のフォトダイオードに対するＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作を行い、かつ該動作のうちの１つの出力を第２のメモリバンクに記憶することができる。ピクセルセルにおける他のフォトダイオードに対して、ＰＤ  ＡＤＣ動作のみが行われ、ＰＤ  ＡＤＣ動作の結果は、第１のフォトダイオードおよび第２のフォトダイオードの出力が読み出された後に第１のメモリバンクおよび第２のメモリバンクに記憶可能である。
【００４９】
別の例として、イメージセンサのそれぞれのピクセルセルは、電荷検知ユニットを共有する４つのフォトダイオードを含んでよく、イメージセンサは４つのメモリバンクを含んでよい。いくつかの例では、メモリバンクは、第１のピクセルセルの出力を記憶するための２つのメモリバンク、および第２のピクセルセルの出力を記憶させるための他の２つのメモリバンクを有するなど、ピクセルセルの間で均等に分布させることができる。いくつかの例では、メモリバンクは、例えば、ピクセルセルが関心領域の一部であることに基づいてピクセルセルの出力を記憶するために優先的に割り当て可能であり、ピクセルセルの出力は、例えば、他のピクセルセルの露光時間を設定する、他のピクセルセルのある特定の量子化動作を有効／無効にするなど、他のピクセルセルの量子化動作を動的に変更するために、他のピクセルセルの前に読み出される必要がある。別の例として、複数のメモリバンクは、フォトダイオードの出力を記憶するために割り当て可能である。このような配置を使用して、残留電荷／オーバーフロー電荷の蓄積から生じる電荷検知ユニットにおける電圧の複数のサンプリングを可能にすることができ、これによって、量子化の分解能を改善することができる。このような例では、メモリバンクのそれぞれは、電圧のデジタルサンプルを記憶することができ、デジタルサンプルは、残留電荷／オーバーフロー電荷を表すデジタル出力を生成するために平均化して（あるいは後処理で）読み出し可能である。
【００５０】
開示された技法は、人工現実システムを含んでよい、またはこれと併せて実行可能である。人工現実は、ユーザに提示する前に何らかの方法で調節された現実の形であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、または、これらのいくつかの組合せおよび／もしくは派生物を含むことができる。人工現実のコンテンツは、完全に生成したコンテンツ、または、キャプチャした（例えば、現実世界の）コンテンツと組み合わせて生成したコンテンツを含むことができる。人工現実のコンテンツは、動画、音声、触感フィードバック、または、これらのいくつかの組合せを含むことができ、これらのいずれかは、単一のチャネルで、または、（視聴者に対して３次元効果を生み出すステレオ動画などの）複数のチャネルで提示することができる。さらに、いくつかの例では、アプリケーション、製品、アクセサリ、サービス、または、これらのいくつかの組合せに人工現実をさらに関連付けることができ、これらは、例えば、人工現実においてコンテンツを作成するために使用され、および／または、そうでなければ、人工現実において使用される（例えば、人工現実において活動を行う）。人工現実のコンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または、他の任意のハードウェアプラットフォームを含む様々なプラットフォームで実現することができ、１人または複数の視聴者に人工現実のコンテンツを提供することができる。
【００５１】
図１Ａは、ニアアイディスプレイ１００の例の図である。ニアアイディスプレイ１００は、ユーザに媒体を提示する。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの例では、音声は、ニアアイディスプレイ１００、コンソール、または両方から音声情報を受け取り、音声情報に基づいて音声データを提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。ニアアイディスプレイ１００は、一般に、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの例では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。
【００５２】
ニアアイディスプレイ１００は、フレーム１０５およびディスプレイ１１０を含む。フレーム１０５は、１つまたは複数の光学素子に連結される。ディスプレイ１１０は、ニアアイディスプレイ１００によって提示されたコンテンツをユーザが見えるように構成される。いくつかの例では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを備える。
【００５３】
ニアアイディスプレイ１００は、イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄのそれぞれは、ピクセルのアレイを備え、異なる方向に沿った異なる視界に相当する画像データを生成するように構成されたピクセルアレイを含むことができる。例えば、センサ１２０ａおよび１２０ｂは、Ｚ軸に沿って方向Ａに向いた２つの視界に相当する画像データを提供するように構成することができ、その一方で、センサ１２０ｃは、Ｘ軸に沿って方向Ｂに向いた視界に相当する画像データを提供するように構成することができ、センサ１２０ｄは、Ｘ軸に沿って方向Ｃに向いた視界に相当する画像データを提供するように構成することができる。
【００５４】
いくつかの例では、センサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を着用したユーザに対話式ＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００の表示コンテンツを制御する、または影響を与えるための入力デバイスとして構成することができる。例えば、センサ１２０ａ〜１２０ｄは、ユーザがいる実際の環境の実際の画像データを生成することができる。実際の画像データは、実際の環境におけるユーザの動きの位置および／または経路を追跡するための位置追跡システムに提供することができる。システムは、次に、双方向体験を提供するために、例えば、ユーザの位置および方向に基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの例では、位置追跡システムは、ＳＬＡＭアルゴリズムを動作させて、実際の環境の中をユーザが動くときの、実際の環境における、また、ユーザのフィールドのビュー内の、オブジェクトのセットを追跡することができる。位置追跡システムは、オブジェクトのセットに基づいて、実際の環境のマップを構築して更新し、マップ内のユーザの位置を追跡することができる。複数の視界に対応する画像データを提供することによって、センサ１２０ａ〜１２０ｄは、実際の環境のより全体的な景色を位置追跡システムに提供することができ、マップの構築および更新時に、より多くのオブジェクトが含まれるようにすることができる。このような配置により、実際の環境内のユーザの位置の追跡の正確さおよび堅牢性を改善することができる。
【００５５】
いくつかの例では、ニアアイディスプレイ１００は、実際の環境に光を投射するための１つまたは複数のアクティブ照射器１３０をさらに含むことができる。投射した光は、異なる周波数スペクトル（例えば、可視光、赤外光、紫外光など）に関連付けることができ、様々な目的を満たすことができる。例えば、照射器１３０は、例えば、ユーザの場所追跡を可能にするように、暗い環境内の異なるオブジェクトの画像をセンサ１２０ａ〜１２０ｄがキャプチャするのを支援するために、暗い環境に（または、赤外光、紫外光などの低強度の環境に）光を投射することができる。照射器１３０は、場所追跡システムがマップ構成／更新のためにオブジェクトを識別するのを支援するために、環境内のオブジェクトにある特定のマーカを投射してよい。
【００５６】
いくつかの例では、照射器１３０は立体画像化を可能にすることもできる。例えば、センサ１２０ａまたは１２０ｂの１つまたは複数は、可視光検知のための第１のピクセルアレイおよび赤外（ＩＲ）光検知のための第２のピクセルアレイ両方を含むことができる。第１のピクセルアレイは、色フィルタ（例えば、ベイヤーフィルタ）を被せることができ、第１のピクセルアレイのそれぞれのピクセルは特定の色（例えば、赤色、緑色、または青色のうちの１つ）に関連付けられる光の強度を測定するように構成される。（ＩＲ光検知のための）第２のピクセルアレイも、ＩＲ光のみを通すことを可能にするフィルタを被せることができ、第２のピクセルアレイのそれぞれのピクセルはＩＲ光の強度を測定するように構成される。ピクセルアレイは、オブジェクトのＲＧＢ画像およびＩＲ画像を生成可能であり、ＩＲ画像のそれぞれのピクセルは、ＲＧＢ画像のそれぞれのピクセルにマッピングされる。照射器１３０は、オブジェクト上にＩＲマーカのセットを投射してよく、この画像はＩＲピクセルアレイによってキャプチャ可能である。画像に示されるようなオブジェクトのＩＲマーカの分布に基づいて、システムは、ＩＲピクセルアレイからのオブジェクトの異なる部分の距離を推定し、かつ、この距離に基づいてオブジェクトの立体画像を生成することができる。オブジェクトの立体画像に基づいて、システムは、例えば、ユーザに対するオブジェクトの相対位置を決定することができ、かつ双方向体験を提供するために相対位置情報に基づいてディスプレイ１００に提供される画像データを更新することができる。
【００５７】
上で論じられるように、ニアアイディスプレイ１００は、光強度の非常に広い範囲に関連付けられた環境で動作させてよい。例えば、ニアアイディスプレイ１００は、屋内環境もしくは屋外環境で、および／または１日のうち異なる回数で動作させてよい。ニアアイディスプレイ１００はまた、アクティブ照射器１３０をオンにしてまたはオンにせずに動作させてよい。結果として、イメージセンサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００に対する異なる動作環境に関連付けられた光強度の非常に広い範囲にわたって正しく動作する（例えば、入射光の強度と相関する出力を生成する）ことができるように広いダイナミックレンジを有する必要がある場合がある。
【００５８】
図１Ｂは、ニアアイディスプレイ１００の別の例の図である。図１Ｂは、ニアアイディスプレイ１００を着用したユーザの眼球１３５に面したニアアイディスプレイ１００の側面を示す。図１Ｂに示したように、ニアアイディスプレイ１００は、複数の照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含むことができる。ニアアイディスプレイ１００は、複数のイメージセンサ１５０ａおよび１５０ｂをさらに含む。照射器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａとは逆の）方向Ｄに向けて一定の周波数範囲の光（例えば、ＮＩＲ）を放つことができる。放った光は、一定のパターンに関連付けたものであってもよく、ユーザの左の眼球で反射させることができる。センサ１５０ａは、反射した光を受光し、反射パターンの画像を生成するためのピクセルアレイを含むことができる。同様に、照射器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを運ぶＮＩＲ光を放つことができる。ＮＩＲ光は、ユーザの右の眼球で反射させることができ、センサ１５０ｂで受光することができる。センサ１５０ｂは、反射パターンの画像を生成するためのピクセルアレイをさらに含むことができる。センサ１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を判定し、判定した注視点に基づいて、ディスプレイ１００に提供された画像データを更新して、ユーザに双方向体験を提供することができる。
【００５９】
上で論じられるように、ユーザの眼球への損傷を回避するために、照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは典型的には、非常に低い強度の光を出力するように構成される。イメージセンサ１５０ａおよび１５０ｂが、図１Ａのイメージセンサ１２０ａ〜１２０ｄと同じセンサデバイスを含む場合、イメージセンサ１２０ａ〜１２０ｄは、入射光の強度が非常に低いときに入射光の強度と相関する出力を生成できるようにする必要がある場合があり、これによって、イメージセンサのダイナミックレンジ要件がさらに増大する場合がある。
【００６０】
また、イメージセンサ１２０ａ〜１２０ｄは、眼球の動きを追跡するために出力を高速で生成できるようにする必要があり得る。例えば、ユーザの眼球は、１つの眼球位置から別の眼球位置への急速な移行がある可能性がある非常に急速な動き（例えば、サッケード運動）を行うことができる。ユーザの眼球の急速な動きを追跡するために、イメージセンサ１２０ａ〜１２０ｄは、眼球の画像を高速で生成する必要がある。例えば、イメージセンサが画像フレームを生成する速度（フレームレート）は、眼球の動きの速度に少なくとも一致する必要がある。高いフレームレートは、画像フレームを生成するのに関与したピクセルセルの全てに対して短い総露光時間を、および、画像生成のためにセンサ出力をデジタル値に変換するために高速を必要とする。また、上で論じられるように、イメージセンサは、低い光強度の環境で動作できるようにする必要もある。
【００６１】
図２は、図１に示したニアアイディスプレイ１００の横断面２００の例である。ディスプレイ１１０は、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ニアアイディスプレイ１００をユーザが着用したとき、アイボックス領域にユーザの片方の眼球２２０がある位置である。例証のために、図２は、眼球２２０および単一の導波路ディスプレイアセンブリ２１０に関連付けられた横断面２００を示すが、ユーザの第２の目のために、第２の導波路ディスプレイを使用する。
【００６２】
導波路ディスプレイアセンブリ２１０は、射出瞳２３０にあるアイボックスに、また、眼球２２０に、画像光を向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率を有する１つまたは複数の材料（例えば、プラスチック、ガラスなど）から成ることができる。いくつかの例では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学素子を含む。
【００６３】
いくつかの例では、導波路ディスプレイアセンブリ２１０は、１つまたは複数の導波路ディスプレイのスタックを含み、スタック型導波路ディスプレイ、可変焦点導波路ディスプレイ、等を含むがこれらに限定されない。スタック型導波路ディスプレイは、それぞれの単色源が異なる色のものである導波路ディスプレイをスタックすることによって作り出された多色ディスプレイ（例えば、赤−緑−青（ＲＧＢ）ディスプレイ）である。また、スタック型導波路ディスプレイは、複数の平面に投射できる多色ディスプレイ（例えば、マルチプラナー着色ディスプレイ（ｍｕｌｔｉ−ｐｌａｎａｒ  ｃｏｌｏｒｅｄ  ｄｉｓｐｌａｙ））である。いくつかの構成では、スタック型導波路ディスプレイは、複数の平面に投射できる単色ディスプレイ（例えば、マルチプラナー単色ディスプレイ（ｍｕｌｔｉ−ｐｌａｎａｒ  ｍｏｎｏｃｈｒｏｍａｔｉｃ  ｄｉｓｐｌａｙ））である。可変焦点導波路ディスプレイは、導波路ディスプレイから放たれた画像光の焦点位置を調節できるディスプレイである。代替例では、導波路ディスプレイアセンブリ２１０は、スタック型導波路ディスプレイおよび可変焦点導波路ディスプレイを含むことができる。
【００６４】
図３は、導波路ディスプレイ３００の例の等角図を示す。いくつかの例では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（例えば、導波路ディスプレイアセンブリ２１０）である。いくつかの例では、導波路ディスプレイ３００は、他のいくつかのニアアイディスプレイ、または、画像光を特定の位置に向ける他のシステムの一部である。
【００６５】
導波路ディスプレイ３００は、ソースアセンブリ３１０、出力導波路３２０、およびコントローラ３３０を含む。例証のために、図３は、片方の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの例では、導波路ディスプレイ３００とは別個の、または部分的に別個の、別の導波路ディスプレイが、ユーザのもう一方の目に画像光を提供する。
【００６６】
ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１にある連結要素３５０に出力する。出力導波路３２０は、ユーザの眼球２２０に拡大した画像光３４０を出力する光導波路である。出力導波路３２０は、第１の側面３７０−１にある１つまたは複数の連結要素３５０で画像光３５５を受光し、受光した入力画像光３５５を配向要素（ｄｉｒｅｃｔｉｎｇ  ｅｌｅｍｅｎｔ）３６０に誘導する。いくつかの例では、連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。
【００６７】
配向要素３６０は、受光した入力画像光３５５の向きを分離要素３６５の方に変え、その結果、受光した入力画像光３５５は、分離要素３６５を介して出力導波路３２０から分離される。配向要素３６０は、出力導波路３２０の第１の側面３７０−１の一部である、または、第１の側面３７０−１に貼られる。分離要素３６５は、出力導波路３２０の第２の側面３７０−２の一部である、または、第２の側面３７０−２に貼られ、その結果、配向要素３６０は、分離要素３６５と向かい合う。配向要素３６０および／または分離要素３６５は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。
【００６８】
第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面に相当する。出力導波路３２０は、画像光３５５の全内部反射を助長する１つまたは複数の材料から成ることができる。出力導波路３２０は、例えば、シリコン、プラスチック、ガラス、および／またはポリマーから成ることができる。出力導波路３２０は、比較的小さいフォームファクタを有する。例えば、出力導波路３２０は、およそ、ｘ次元に沿って５０ｍｍ広く、ｙ次元に沿って３０ｍｍ長く、また、ｚ次元に沿って０．５ｍｍ〜１ｍｍ厚くてもよい。
【００６９】
コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０に対するスキャン命令を決定する。いくつかの例では、出力導波路３２０は、視界（ＦＯＶ：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）が広いユーザの眼球２２０に、拡大した画像光３４０を出力する。例えば、拡大した画像光３４０は、（ｘおよびｙにおける）対角線ＦＯＶが６０度以上、および／または、１５０度以下のユーザの眼球２２０に提供される。出力導波路３２０は、長さ２０ｍｍ以上および／もしくは５０ｍｍ以下、ならびに／または、幅１０ｍｍ以上および／または５０ｍｍ以下のアイボックスを提供するように構成される。
【００７０】
さらに、コントローラ３３０は、イメージセンサ３７０によって提供された画像データに基づいて、ソースアセンブリ３１０によって生成された画像光３５５も制御する。イメージセンサ３７０は、第１の側面３７０−１にあってよく、例えば、（例えば、場所決定のために）ユーザの正面の物理的環境の画像データを生成するために図１Ａのイメージセンサ１２０ａ〜１２０ｄを含んでよい。イメージセンサ３７０は、第２の側面３７０−２にあってもよく、ユーザの（例えば、注視点判定のために）眼球２２０の画像データを生成するために図１Ｂのイメージセンサ１５０ａおよび１５０ｂを含んでよい。イメージセンサ３７０は、導波路ディスプレイ３００内にないリモートコンソールとインターフェース接続してよい。イメージセンサ３７０は、例えば、ユーザの場所、ユーザの注視点などを判定し、かつユーザに表示される画像のコンテンツを判定することができるリモートコンソールに画像データを提供してよい。リモートコンソールは、決定したコンテンツに関する命令をコントローラ３３０に伝送することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。
【００７１】
図４は、導波路ディスプレイ３００の横断面４００の例を示す。横断面４００は、ソースアセンブリ３１０、出力導波路３２０、およびイメージセンサ３７０を含む。図４の例では、イメージセンサ３７０は、ユーザの前にある実際の環境の画像を生成するための、第１の側面３７０−１にあるピクセルセル４０２のセットを含むことができる。いくつかの例では、ピクセルセル４０２のセットと実際の環境との間に介在する機械シャッター４０４が存在することができ、ピクセルセル４０２のセットの露光を制御することができる。いくつかの例では、機械シャッター４０４は、下記で論じるように、電子シャッターゲートで置き替えることができる。ピクセルセル４０２のそれぞれは、画像の１つのピクセルに対応させることができる。図４に示されていないが、ピクセルセル４０２のそれぞれは、ピクセルセルによって検知されることになる光の周波数範囲を制御するためにフィルタをさらに被せてもよいということがわかる。
【００７２】
リモートコンソールから命令を受け取った後、機械シャッター４０４が開き、露光期間内にピクセルセル４０２のセットを露光させることができる。露光期間中、イメージセンサ３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。イメージセンサ３７０は、次に、リモートコンソールに画像データを送り、リモートコンソールは、表示コンテンツを決定し、表示コンテンツ情報をコントローラ３３０に送ることができる。コントローラ３３０は、次に、表示コンテンツ情報に基づいて画像光３５５を決定することができる。
【００７３】
ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、発光源４１０および光学システム４１５を含む。発光源４１０は、干渉性の、または部分的に干渉性の、光を生成する光源である。発光源４１０は、例えば、レーザダイオード、垂直キャビティ面発光レーザ、および／または発光ダイオードであってもよい。
【００７４】
光学システム４１５は、発光源４１０からの光を調整する１つまたは複数の光学部品を含む。発光源４１０からの光を調整することは、例えば、コントローラ３３０からの命令に従って方向を拡大すること、コリメートすること、および／または調節することを含むことができる。１つまたは複数の光学部品は、１つまたは複数のレンズ、液体レンズ、ミラー、開口部、および／または回折格子を含むことができる。いくつかの例では、光学システム４１５は、スキャン角度の閾値で光のビームをスキャンして、液体レンズの外側の領域に光のビームをシフトさせることができる複数の電極を有する液体レンズを含む。光学システム４１５（および、さらにソースアセンブリ３１０）から放たれた光は、画像光３５５と呼ばれる。
【００７５】
出力導波路３２０は、画像光３５５を受光する。連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０が回折格子である例では、出力導波路３２０内で全内部反射が発生し、（例えば、全内部反射によって）出力導波路３２０の内部で画像光３５５が分離要素３６５に向けて伝搬するように、回折格子のピッチを選ぶ。
【００７６】
配向要素３６０は、出力導波路３２０から分離させるために画像光３５５の向きを分離要素３６５の方に変える。配向要素３６０が回折格子である例では、分離要素３６５の表面に対する傾斜角で、入射した画像光３５５が出力導波路３２０を出るように、回折格子のピッチを選ぶ。
【００７７】
いくつかの例では、配向要素３６０および／または分離要素３６５は構造的に似ている。出力導波路３２０を出た拡大した画像光３４０は、１つまたは複数の次元に沿って拡大される（例えば、ｘ次元に沿って延びてもよい）。いくつかの例では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０、および、複数の出力導波路３２０を含む。ソースアセンブリ３１０のそれぞれは、原色（例えば、赤、緑、または青）に対応する特定の波長帯域の単色画像光を放つ。出力導波路３２０のそれぞれは、多色の拡大した画像光３４０を出力するための分離距離で一緒にスタックすることができる。
【００７８】
図５は、ニアアイディスプレイ１００を含むシステム５００の例のブロック図である。システム５００は、ニアアイディスプレイ１００、画像化デバイス５３５、入出力インターフェース５４０、ならびにイメージセンサ１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂを備え、これらは、制御回路５１０にそれぞれ連結される。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイス、等として構成することができる。
【００７９】
ニアアイディスプレイ１００は、ユーザに媒体を提示するディスプレイである。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの例では、音声は、ニアアイディスプレイ１００および／または制御回路５１０から音声情報を受け取り、音声情報に基づく音声データをユーザに提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。いくつかの例では、ニアアイディスプレイ１００は、ＡＲ眼鏡（ＡＲ  ｅｙｅｗｅａｒ  ｇｌａｓｓ）としてさらに機能させることができる。いくつかの例では、ニアアイディスプレイ１００は、コンピュータ生成要素（例えば、画像、動画、音など）で実際の現実世界環境の景色を拡大する。
【００８０】
ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数のポジションセンサ５２５、および／または慣性計測ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０、出力導波路３２０、およびコントローラ３３０を含む。
【００８１】
ＩＭＵ５３０は、ポジションセンサ５２５の１つまたは複数から受け取った測定信号に基づいて、ニアアイディスプレイ１００の最初の位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。
【００８２】
画像化デバイス５３５は、様々な用途のための画像データを生成することができる。例えば、画像化デバイス５３５は、制御回路５１０から受け取った較正パラメータに従って低速較正データを提供するための画像データを生成することができる。画像化デバイス５３５は、ユーザの位置追跡を実行するために、ユーザがいる実際の環境の画像データを生成するための、例えば、図１Ａのイメージセンサ１２０ａ〜１２０ｄを含むことができる。画像化デバイス５３５は、ユーザの関心のあるオブジェクトを識別するために、ユーザの注視点を決定するための画像データを生成するための、例えば、図１Ｂのイメージセンサ１５０ａ〜１５０ｂをさらに含むことができる。
【００８３】
入出力インターフェース５４０は、制御回路５１０にアクション要求をユーザが送ることができるデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了させること、または、アプリケーション内の特定のアクションを実行することであってもよい。
【００８４】
制御回路５１０は、画像化デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０の１つまたは複数から受け取った情報に従ってユーザに提示するために、ニアアイディスプレイ１００に媒体を提供する。いくつかの例では、制御回路５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収納することができる。いくつかの例では、制御回路５１０は、システム５００の他の構成要素と通信連結されたスタンドアロンのコンソールデバイスであることが可能である。図５に示した例では、制御回路５１０は、アプリケーション記憶装置５４５、追跡モジュール５５０、およびエンジン５５５を含む。
【００８５】
アプリケーション記憶装置５４５は、制御回路５１０による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは命令のグループであり、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の適切なアプリケーションを含む。
【００８６】
追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、１つまたは複数の較正パラメータを調節して、ニアアイディスプレイ１００の位置を決定する際の誤差を減らすことができる。
【００８７】
追跡モジュール５５０は、画像化デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の動きを追跡する。追跡モジュール５５０は、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置をさらに決定する。
【００８８】
エンジン５５５は、システム５００内のアプリケーションを実行し、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または、将来の予測位置を、追跡モジュール５５０から受け取る。いくつかの例では、エンジン５５５によって受け取った情報は、導波路ディスプレイアセンブリ２１０への信号（例えば、表示命令）を生み出すために使用することができ、ユーザに提示されるコンテンツの種類を決定する。例えば、双方向体験を提供するために、エンジン５５５は、（例えば、追跡モジュール５５０によって提供された）ユーザの位置、または（例えば、画像化デバイス５３５によって提供された画像データに基づく）ユーザの注視点、（例えば、画像化デバイス５３５によって提供された画像データに基づく）オブジェクトとユーザとの間の距離に基づいて、ユーザに提示されることになるコンテンツを決定することができる。
【００８９】
図６Ａは、イメージセンサ６００の例を示す。イメージセンサ６００は、ニアアイディスプレイ１００の一部であることが可能であり、ニアアイディスプレイ１００の表示コンテンツを制御するために、図５の制御回路５１０に２Ｄ画像データおよび３Ｄ画像データを提供することができる。図６Ａに示されるように、イメージセンサ６００は、ピクセルセル６０２ａを含むピクセルセル６０２のアレイを含んでよい。ピクセルセル６０２ａは、例えば、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄを含む複数のフォトダイオード６１２と、１つまたは複数の電荷検知ユニット６１４と、１つまたは複数のアナログデジタルコンバータ６１６とを含むことができる。複数のフォトダイオード６１２は、入射光の異なる成分を電荷に変換できる。例えば、フォトダイオード６１２ａ〜６１２ｃは、異なる可視光チャネルに対応することができ、ここでフォトダイオード６１２ａは、可視青色成分（例えば、４５０〜４９０ナノメートル（ｎｍ）の波長範囲）を電荷に変換できる。フォトダイオード６１２ｂは、可視緑色成分（例えば、５２０〜５６０ｎｍの波長範囲）を電荷に変換できる。フォトダイオード６１２ｃは、可視赤色成分（例えば、６３５〜７００ｎｍの波長範囲）を電荷に変換できる。また、フォトダイオード６１２ｄは、赤外線成分（例えば、７００〜１０００ｎｍ）を電荷に変換できる。１つまたは複数の電荷検知ユニット６１４のそれぞれは、フォトダイオード６１２ａ〜６１２ｄによって生成された電荷を電圧に変換するために電荷貯蔵デバイスおよびバッファを含むことができ、該電圧は１つまたは複数のＡＤＣ６１６によってデジタル値に量子化可能である。フォトダイオード６１２ａ〜６１２ｃから生成されたデジタル値は、ピクセルの異なる可視光成分を表すことができ、それぞれは、特定の可視光チャネルにおける２Ｄ検知に使用可能である。さらに、フォトダイオード６１２ｄから生成されたデジタル値は、同じピクセルの赤外光成分を表すことができ、かつ３Ｄ検知に使用可能である。図６Ａはピクセルセル６０２ａが４つのフォトダイオードを含むことを示すが、ピクセルセルが異なる数のフォトダイオード（例えば、２つ、３つなど）を含むことができることは理解されたい。
【００９０】
さらに、イメージセンサ６００は、照射器６２２、光学フィルタ６２４、画像化モジュール６２８、および検知コントローラ６４０も含む。照射器６２２は、３Ｄ検知のために赤外光を投射することができる、レーザ、発光ダイオード（ＬＥＤ）などの赤外線照射器であってよい。投射した光は、例えば、構造光、光パルスなどを含むことができる。光学フィルタ６２４は、ピクセルセル６０６ａを含むそれぞれのピクセルセルの複数のフォトダイオード６１２ａ〜６１２ｄに被せられるフィルタエレメントのアレイを含んでよい。それぞれのフィルタエレメントは、ピクセルセル６０６ａのそれぞれのフォトダイオードが受光した入射光の波長範囲を設定することができる。例えば、フォトダイオード６１２ａ上のフィルタエレメントは、可視青色光成分を伝送する一方、他の成分を遮断してよく、フォトダイオード６１２ｂ上のフィルタエレメントは可視緑色光成分を伝送してよく、フォトダイオード６１２ｃ上のフィルタエレメントは可視赤色光成分を伝送してよく、その一方で、フォトダイオード６１２ｄ上のフィルタエレメントは赤外光成分を伝送してよい。
【００９１】
イメージセンサ６００は画像化モジュール６２８およびメモリ６３０をさらに含む。画像化モジュール６２８は、２Ｄ画像化動作を行うための２Ｄ画像化モジュール６３２、および３Ｄ画像化動作を行うための３Ｄ画像化モジュール６３４をさらに含んでよい。これらの動作は、ＡＤＣ６１６によって提供されるデジタル値に基づくことができる。例えば、フォトダイオード６１２ａ〜６１２ｃのそれぞれからのデジタル値に基づいて、２Ｄ画像化モジュール６３２は、それぞれの可視カラーチャネルに対する入射光成分の強度を表すピクセル値のアレイを生成し、かつそれぞれの可視カラーチャネルに対する画像フレームを生成することができる。また、３Ｄ画像化モジュール６３４は、フォトダイオード６１２ｄからのデジタル値に基づいて３Ｄ画像を生成することができる。いくつかの例では、デジタル値に基づいて、３Ｄ画像化モジュール６３４は、オブジェクトの表面で反射した構造光のパターンを検出し、かつ検出したパターンを照射器６２２によって投射した構造光のパターンと比較して、ピクセルセルアレイに対する表面の種々のポイントの深度を決定することができる。反射した光のパターンの検出のために、３Ｄ画像化モジュール６３４は、ピクセルセルで受光した赤外光の強度に基づいてピクセル値を生成することができる。別の例として、３Ｄ画像化モジュール６３４は、照射器６２２によって伝送されかつオブジェクトで反射した赤外光の飛行時間に基づいてピクセル値を生成することができる。メモリ６３０は、２Ｄ画像化モジュール６３２および３Ｄ画像化モジュール６３４それぞれによって生成される２Ｄ画像および３Ｄ画像のピクセルデータの少なくとも一部を記憶できる。
【００９２】
イメージセンサ６００は、イメージセンサ６００の種々の構成要素を制御して、オブジェクトの２Ｄ画像化および３Ｄ画像化を実行するための検知コントローラ６４０をさらに含む。ここで、図７Ａ〜図７Ｃを参照し、２Ｄ画像化および３Ｄ画像化のためのイメージセンサ６００の動作の例を示す。図７Ａは、２Ｄ画像化のための動作の例を示す。２Ｄ画像化のために、ピクセルセルアレイ６０２は、オブジェクトで反射した可視光を含む、環境内の可視光を検出することができる。例えば、図７Ａを参照すると、可視光源７００（例えば、電球、太陽、または、周囲の可視光の他の発生源）は、可視光７０２をオブジェクト７０４に投射することができる。可視光７０６は、オブジェクト７０４のスポット７０８で反射させることができる。可視光７０６は、周囲の赤外光成分を含むこともできる。可視光７０６は、光学フィルタアレイ６２４でフィルタにかけて、波長範囲ｗ０、ｗ１、ｗ２、およびｗ３の可視光７０６の異なる成分を、ピクセルセル６０２ａのフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄにそれぞれ通すことができる。波長範囲ｗ０、ｗ１、ｗ２、およびｗ３は、青、緑、赤、および赤外線にそれぞれ対応することができる。図７Ａに示されるように、赤外線照射器６２２はオンにされないため、赤外線成分（ｗ３）の強度は、環境赤外光によるものであり、非常に低い可能性がある。さらに、可視光７０６の異なる可視成分は異なる強度を有することもできる。電荷検知ユニット６１４は、フォトダイオードによって生成された電荷を電圧に変換でき、該電圧は、スポット７０８を表すピクセルの赤、青、および緑の成分を表すデジタル値にＡＤＣ６１６により量子化可能である。図７Ｃを参照すると、デジタル値が生成された後、検知コントローラ６４０は２Ｄ画像化モジュール６３２が、デジタル値に基づいて、それぞれが、同じフレーム期間７１４でキャプチャされたシーンの赤色、青色、または緑色画像のうちの１つを表す、赤画像フレーム７１０ａ、青画像フレーム７１０ｂ、および緑画像フレーム７１０ｃを含む画像のセット７１０を含む画像のセットを生成するように制御可能である。赤画像（例えば、ピクセル７１２ａ）、青画像（例えば、ピクセル７１２ｂ）、および緑画像（例えば、ピクセル７１２ｃ）からのそれぞれのピクセルは、シーンの同じスポット（例えば、スポット７０８）からの光の可視成分を表すことができる。異なる画像のセット７２０は、後続のフレーム期間７２４で２Ｄ画像化モジュール６３２によって生成可能である。赤画像７１０ａ、青画像７１０ｂ、および緑画像７１０ｃのそれぞれは、特定のカラーチャネルにおけるシーンを表すことができ、かつ例えば、特定のカラーチャネルからの画像特徴を抽出するためのアプリケーションに提供可能である。それぞれの画像は同じシーンを表し、かつ画像のそれぞれの対応するピクセルはシーンの同じスポットからの光を表すため、異なるカラーチャネル間の画像の対応関係は改善可能である。
【００９３】
さらに、イメージセンサ６００は、オブジェクト７０４の３Ｄ画像化をさらに実行することができる。図７Ｂを参照すると、検知コントローラ６１０は、オブジェクト７０４に赤外光７３２を投射するように照射器６２２を制御することができ、赤外光７３２は、光パルス、構造光、等を含むことができる。赤外光７３２は、７００ナノメートル（ｎｍ）から１ミリメートル（ｍｍ）の波長範囲を有することができる。赤外光７３４は、オブジェクト７０４のスポット７０８に反射することができ、ピクセルセルアレイ６０２の方へ伝搬しかつ光学フィルタ６２４を通ることができ、これによって、（波長範囲ｗ３の）赤外線成分をフォトダイオード６１２ｄに与えて電荷に変換することができる。電荷検知ユニット６１４は、電荷を電圧に変換でき、この電圧はＡＤＣ６１６によってデジタル値に量子化可能である。図７Ｃを参照すると、デジタル値が生成された後、検知コントローラ６４０は、３Ｄ画像化モジュール６３４が、デジタル値に基づいて、露光期間７１４内にキャプチャされた画像７１０の一部としてシーンの赤外線画像７１０ｄを生成するように制御可能である。赤外線画像７１０ｄは赤外線チャネルにおいて同じシーンを表すことができ、かつ赤外線画像７１０ｄのピクセル（例えば、ピクセル７１２ｄ）は画像７１０内の他の画像における他の対応するピクセル（ピクセル７１２ａ〜７１２ｃ）と同じシーンのスポットからの光を表すため、２Ｄ画像化と３Ｄ画像化との間の対応関係も改善可能である。
【００９４】
いくつかの例では、図６Ｂに示されるように、イメージセンサ６００は、相互接続６５０を介して、アプリケーション６５４をホストするホストデバイス６５２に通信可能に連結可能である。イメージセンサ６００およびホストデバイス６５２は、ウェアラブルＶＲ／ＡＲ／ＭＲシステムの一部とすることができるのに対し、アプリケーション６５４は、システムのユーザがイメージセンサ６００によって提供される２Ｄおよび３Ｄ画像データに基づいて位置し、かつ、再現したシーンに基づいて双方向体験をもたらすための表示効果を生成することができる環境のシーン再現を行うことができる。いくつかの例では、相互接続６５０は、Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）のＣａｍｅｒａ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ（ＣＳＩ）規格に準拠しているシリアル相互接続とすることができる。イメージセンサ６００は、メモリ６３０からの２Ｄおよび／または３Ｄ画像データの読み出しを行い、かつ２Ｄおよび３Ｄ画像データを相互接続６５０を介してホストデバイス６５２に送信することができる。
【００９５】
図８Ａ〜図８Ｄは、ピクセルセルにおけるフォトダイオード６１２の配置の例を示す。図８Ａに示されるように、ピクセルセル６０２ａにおけるフォトダイオード６１２ａ〜６１２ｄは、ピクセルセル６０２ａがスポット８０４ａから入射光８０２を受光する受光面８００に垂直である軸に沿ってスタックを形成できる。例えば、フォトダイオード６１２ａ〜６１２ｄは、受光面８００がｘ軸およびｙ軸と平行であるときに垂直軸（例えば、ｚ軸）に沿ってスタックを形成することができる。それぞれのフォトダイオードは受光面８００から異なる距離を有することができ、この距離は、入射光８０２の成分が、それぞれのフォトダイオードによって吸収されかつ電荷に変換されるように設定可能である。例えば、フォトダイオード６１２ａは、受光面８００に最も近く、かつ青成分を吸収しかつ電荷に変換可能であり、これは他の成分の中で最も短い波長範囲を有する。光８１２は、光８０２の残りの成分（例えば、緑、赤、および赤外線）を含み、かつ緑成分を吸収しかつ変換できるフォトダイオード６１２ｂに伝搬可能である。光８２２は、光８１２の残りの成分（例えば、赤および赤外線）を含み、かつ、赤成分を吸収しかつ変換できるフォトダイオード６１２ｃに伝搬可能である。残りの赤外線成分８３２は、電荷に変換されるフォトダイオード６１２ｄに伝搬可能である。
【００９６】
フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄはそれぞれ、イメージセンサ６００を形成するためにスタック可能である別個の半導体基板に設けられ得る。例えば、フォトダイオード６１２ａは半導体基板８４０に設けられ得、フォトダイオード６１２ｂは半導体基板８４２に設けられ得、フォトダイオード６１２ｃは半導体基板８４４に設けられ得、その一方で、フォトダイオード６１２ｄは半導体基板８４６に設けられ得る。それぞれの半導体基板は、スポット８０４ｂから光を受光するためのピクセルセル６０２ｂなど、他のピクセルセルの他のフォトダイオードを含むことができる。イメージセンサ６００は、例えば、電荷検知ユニット６１４、ＡＤＣ６１６などを含むことができる、ピクセルセル処理回路８４９を含み得る別の半導体基板８４８を含むことができる。それぞれの半導体基板は、それぞれのフォトダイオードで生成された電荷を処理回路８４９に移動させるために、金属相互接続８５０、８５２、８５４、および８５６などの金属相互接続に接続可能である。
【００９７】
図８Ｂ〜図８Ｄは、フォトダイオード６１２の他の配置例を示す。図８Ｂ〜図８Ｄに示されるように、複数のフォトダイオード６１２は、受光面８００と平行に横方向に配置可能である。図８Ｂの上段はピクセルセル６０２ａの一例の側面図を示すのに対し、図８Ｂの下段はピクセルセル６０２ａを含むピクセルアレイ６０２の上面図を示す。図８Ｂに示されるように、受光面８００がｘ軸およびｙ軸と平行であることで、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄは、半導体基板８４０においてまたｘ軸およびｙ軸に沿って互いに隣接して配置可能である。ピクセルセル６０２ａは、フォトダイオードに被せられる光学フィルタアレイ８６０をさらに含む。光学フィルタアレイ８６０は光学フィルタ６２４の一部とすることができる。光学フィルタアレイ８６０は、対応するフォトダイオードが受光した入射光成分の波長範囲を設定するためにフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄのそれぞれに被せられるフィルタエレメントを含むことができる。例えば、フィルタエレメント８６０ａは、フォトダイオード６１２ａに被せられ、かつ可視青色光のみがフォトダイオード６１２ａに入ることを可能にすることができる。また、フィルタエレメント８６０ｂは、フォトダイオード６１２ｂに被せられ、かつ可視緑色光のみがフォトダイオード６１２ｂに入ることを可能にすることができる。さらに、フィルタエレメント８６０ｃは、フォトダイオード６１２ｃに被せられ、かつ可視赤色光のみがフォトダイオード６１２ｃに入ることを可能にすることができる。フィルタエレメント８６０ｄは、フォトダイオード６１２ｄに被せられ、かつ赤外光のみがフォトダイオード６１２ｄに入ることを可能にすることができる。ピクセルセル６０２ａは、光学フィルタアレイ８６０を介して受光面８００の異なる横位置にシーンのスポット（例えば、スポット８０４ａ）から光８６４を投射することができる１つまたは複数のマイクロレンズ８６２をさらに含み、これによって、それぞれのフォトダイオードは、ピクセルセル６０２ａのサブピクセルになることが可能になり、かつピクセルに対応する同じスポットから光の成分を受光することが可能になる。ピクセルセル６０２ａは、フォトダイオードによって生成される電荷からデジタル値を生成するための回路８４９（例えば、電荷検知ユニット６１４、ＡＤＣ６１６など）を含むことができる半導体基板８４８も含むことができる。半導体基板８４０および８４８は、スタックを形成可能であり、かつ相互接続８５６に接続可能である。
【００９８】
フォトダイオードが横方向に配置され、かつ光学フィルタアレイを使用してフォトダイオードが受光する光成分を制御する図８Ｂの配置は、多数の利点をもたらす可能性がある。例えば、スタックの数および半導体基板の数を減らすことができ、これによって、鉛直高さだけでなく、半導体基板の間の相互接続も減らすことができる。また、それぞれのフォトダイオードによって吸収される成分の波長範囲を設定するために光の伝搬距離ではなくフィルタエレメントに頼ることで、波長範囲を選択する際の柔軟性をもたらすことができる。図８Ｃの上段に示されるように、ピクセルセルアレイ６０２は異なるピクセルセルに対する異なる光学フィルタアレイ８６０を含むことができる。例えば、ピクセルセルアレイ６０２のそれぞれのピクセルセルは、フォトダイオード６１２ａおよび６１２ｂに対する（「Ｍ」のラベルを付けた）３８０〜７４０ｎｍの波長範囲の単色チャネル、および、フォトダイオード６１２ｄに対する（「ＮＩＲ」のラベルを付けた）７００〜１０００ｎｍの波長範囲の赤外線チャネルをもたらす光学フィルタアレイを有することができる。しかしながら、光学フィルタアレイは、異なるピクセルセルに対する異なる可視カラーチャネルももたらす場合がある。例えば、ピクセルセルアレイ６０２ａ、６０２ｂ、６０２ｃ、および６０２ｄに対する光学フィルタアレイ８６０は、（「Ｇ」のラベルを付けた）可視緑チャネル、（「Ｒ」のラベルを付けた）可視赤チャネル、（「Ｂ」のラベルを付けた）可視青チャネル、およびピクセルセルアレイのフォトダイオード６１２ｃに対する可視緑チャネルをそれぞれもたらすことができる。別の例として、図８Ｃの下段に示されるように、それぞれの光学フィルタアレイ８６０は、それぞれのピクセルセルアレイのフォトダイオード６１２ｂに対する３８０〜１０００ｎｍの波長範囲に及ぶ（「Ｍ＋ＮＩＲ」のラベルを付けた）単色および赤外線チャネルをもたらすことができる。
【００９９】
図８Ｄは、図８Ｃに示されるチャネル例を提供するための光学フィルタアレイ８６０の例を示す。図８Ｄに示されるように、光学フィルタアレイ８６０は、ピクセルセルアレイ内のそれぞれのフォトダイオードが受光した光の波長範囲を選択するために光学フィルタのスタックを含むことができる。例えば、図８Ｄの上段を参照すると、光学フィルタ８６０ａは、全通過エレメント（ａｌｌ−ｐａｓｓ  ｅｌｅｍｅｎｔ）８７０（例えば、可視光および赤外光両方を通す透明ガラス）、およびフォトダイオード６１２ａに単色チャネルをもたらすためにスタックを形成する赤外線遮断要素８７２を含むことができる。光学フィルタ８６０ｂも、さらにまたフォトダイオード６１２ｂに単色チャネルをもたらすために全通過エレメント８７４および赤外線遮断要素８７６を含むことができる。さらに、光学フィルタ８６０ｃは、フォトダイオード６１２ｃに緑チャネルをもたらすために、緑色可視光を通す（が他の可視光成分を阻止する）緑通過エレメント８７６、および赤外線遮断要素８７８を含むことができる。最後に、光学フィルタ８６０ｄは、フォトダイオード６１２ｄに赤外線チャネルをもたらすために、全通過エレメント８８０、および（可視光を遮断することができるが、赤外光を通過させることを可能にする）可視光遮断フィルタ８８２を含むことができる。別の例では、図８Ｄの下段に示されるように、光学フィルタ８６０ｂは、フォトダイオード６１２ｂに単色および赤外線チャネルをもたらすために全通過エレメント８７２のみを含むことができる。
【０１００】
ここで、電荷検知ユニット６１４およびＡＤＣ６１６の一例を含むピクセルセル６０２ａのさらなる構成要素を示す図９Ａ〜図９Ｃを参照する。図９Ａに示されるように、ピクセルセル６０２ａは、フォトダイオードＰＤ（例えば、フォトダイオード６１２ａ）と、シャッタースイッチＭ０と、移動スイッチＭ１と、電荷貯蔵デバイス９０２および切替可能バッファ９０４を含む電荷検知ユニット６１４と、ＣＣキャパシタ、比較器９０６、および出力論理回路９０８を含むＡＤＣ６１６と、を含むことができる。比較器９０６の出力は、出力論理回路９０８を介して、ピクセルセル６０２ａに内蔵され得るまたは外付けされ得るメモリ９１２およびカウンタ９１４に連結される。ピクセルセル６０２は、スイッチ、電荷検知ユニット６１４、およびＡＤＣ６１６を制御するためのコントローラ９２０をさらに含む。コントローラ９２０は、電荷検知ユニット６１４およびＡＤＣ６１６を制御して、入射光の強度のデジタル表現を生成するために異なる光強度範囲に関連付けられた複数の量子化動作を行うことができる。コントローラ９２０は、複数の量子化動作のうちのどれが行われるべきか（およびどれがスキップされるべきか）を選択する選択信号９２４を受信することができる。この選択は、入射光強度のデジタル表現を使用するアプリケーションをホストするホストデバイスによってもたらされ得る。出力論理回路９０８は、どの量子化動作出力がメモリ９１２に記憶されるのかおよび／またはピクセル値として出力されるのかを判定することができる。コントローラ９２０は、ピクセルセル６０２ａに内蔵され得るまたは検知コントローラ６４０の一部とすることができる。それぞれのスイッチは、例えば、金属酸化膜半導体電界効果トランジスタ（ＭＯＳＦＥＴ）、バイポーラ接合トランジスタ（ＢＪＴ）などのトランジスタとすることができる。
【０１０１】
具体的には、シャッタースイッチＭ０は、露光期間を開始するためにコントローラ９２０によって提供されるＡＢ信号によって無効にすることができ、ここで、フォトダイオードＰＤは、入射光に応答して電荷を生成しかつ蓄積することができる。移動スイッチＭ１は、電荷の一部を電荷貯蔵デバイス９０２に移動させるためにコントローラ９２０によって提供されるＴＧ信号によって制御可能である。１つの量子化動作では、移動スイッチＭ１は、フォトダイオードＰＤの量子井戸容量を設定するために部分的にオン状態でバイアスされ得、これによってまた、フォトダイオードＰＤに蓄えられた残留電荷の量が設定される。フォトダイオードＰＤが残留電荷によって飽和した後、オーバーフロー電荷は移動スイッチＭ１を通って電荷貯蔵デバイス９０２に流れることができる。別の量子化動作では、移動スイッチＭ１は、測定のために残留電荷をフォトダイオードＰＤから電荷貯蔵デバイスに移動させるために完全にオンにされ得る。
【０１０２】
電荷貯蔵デバイス９０２は、構成可能な静電容量を有し、かつＯＦノードにおいてスイッチＭ１から移動させた電荷を電圧に変換可能である。電荷貯蔵デバイス９０２は、Ｍ６スイッチによって接続されるＣＦＤキャパシタ（例えば、浮遊ドレイン）およびＣＥＸＴキャパシタ（例えば、ＭＯＳキャパシタ）を含む。Ｍ６スイッチは、ＬＧ信号によって、ＣＦＤキャパシタおよびＣＥＸＴキャパシタを並列に接続することによって電荷貯蔵デバイス９０２の静電容量を拡張するために、または該キャパシタを互いに切断することによって静電容量を減らすために有効にされ得る。電荷貯蔵デバイス９０２の静電容量は、電荷対電圧利得を増やしかつ量子化誤差を減らすように残留電荷の測定のために減らされ得る。さらに、電荷貯蔵デバイス９０２の静電容量はまた、飽和の可能性を減らしかつ非直線性を改善するようにオーバーフロー電荷の測定のために増やされ得る。後述されるように、電荷貯蔵デバイス９０２の静電容量は、異なる光強度範囲の測定のために調節可能である。電荷貯蔵デバイス９０２はまた、コントローラ９２０によって提供される、リセット信号ＲＳＴによって制御可能なリセットスイッチＭ２に連結されて、異なる量子化動作の間のＣＦＤキャパシタおよびＣＥＸＴキャパシタをリセットする。
【０１０３】
切替可能バッファ９０４は、ＯＦノードで電圧をバッファしてこの駆動強度を改善するためのソースフォロワとして構成されるスイッチＭ３を含むことができる。バッファした電圧は、ＡＤＣ６１６の入力ノードＰＩＸＥＬ＿ＯＵＴにおけるものとすることができる。Ｍ４トランジスタは、切替可能バッファ９０４に電流源を提供し、かつＶＢ信号によってバイアスされ得る。切替可能バッファ９０４はまた、ＳＥＬ信号によって有効または無効にされるスイッチＭ５を含む。スイッチＭ５が無効にされるとき、ソースフォロワＭ３はＰＩＸＥＬ＿ＯＵＴノードから切断可能である。後述されるように、ピクセルセル６０２ａは、それぞれが切替可能バッファ９０４を含む複数の電荷検知ユニット６１４を含んでよく、電荷検知ユニットのうちの１つは、ＳＥＬ信号に基づいて一度ＰＩＸＥＬ＿ＯＵＴ（およびＡＤＣ６１６）に連結可能である。
【０１０４】
上述されるように、露光期間内にフォトダイオードＰＤによって生成される電荷は、電荷貯蔵デバイス９０２に一時的に蓄えられ、かつ電圧に変換可能である。この電圧は、電荷と入射光強度との間の所定の関係に基づいて入射光の強度を表すために量子化可能である。ここで、異なる光強度範囲のための時間に対して蓄積された電荷の量を示す図１０を参照する。特定の時点で蓄積された電荷の総量は、露光期間内に図６のフォトダイオードＰＤに入射する光の強度を反映することが可能である。この量は露光期間が終了するとき測定可能である。閾値１００２および閾値１００４は、入射光の強度に対する、低い光強度範囲１００６、中間の光強度範囲１００８、および高い光強度範囲１０１０を定める電荷の閾値の量について定められ得る。例えば、総蓄積電荷が閾値１００２（例えば、Ｑ１）を下回る場合、入射光強度は低い光強度範囲１００６内にある。総蓄積電荷が閾値１００４と閾値１００２との間（例えば、Ｑ２）にある場合、入射光強度は中間の光強度範囲１００８内にある。総蓄積電荷が閾値１００４を上回る場合、入射光強度は中間の光強度範囲１０１０内にある。蓄積された電荷の量は、低い光強度範囲および中間の光強度範囲については、フォトダイオードが低い光強度範囲１００６全体内で飽和せず、かつ測定キャパシタが中間の光強度範囲１００８全体内で飽和しない場合、入射光の強度と相関する可能性がある。
【０１０５】
低い光強度範囲１００６および中間の光強度範囲１００８、ならびに閾値１００２および１００４の定義は、フォトダイオードＰＤの飽和容量および電荷貯蔵デバイス９０２の静電容量に基づくことができる。例えば、低い光強度範囲７０６は、露光期間の終わりにフォトダイオードＰＤに蓄えられる残留電荷の総量がフォトダイオードの貯蔵容量以下であるように定められ得、閾値１００２はフォトダイオードＰＤの飽和容量に基づくことができる。さらに、中間の光強度範囲１００８は、露光期間の終わりに電荷貯蔵デバイス９０２に蓄えられる電荷の総量が測定キャパシタの貯蔵容量以下であるように定められ得、閾値１００４は電荷貯蔵デバイス９０２の貯蔵容量に基づくことができる。典型的には、閾値１００４は、電荷貯蔵デバイス９０２に蓄えられる電荷の量が強度判定のために測定されるとき、測定キャパシタが飽和しておらず、かつ測定量がまた入射光強度に関連していることを徹底するように電荷貯蔵デバイス９０２のスケーリングされた貯蔵容量に基づくことができる。後述されるように、閾値１００２および１００４は、フォトダイオードＰＤおよび電荷貯蔵デバイス９０２が飽和しているかどうかを検出するために使用可能であり、これによって、入射光の強度範囲を決定することができる。
【０１０６】
さらに、入射光強度が高い光強度範囲１０１０内にある場合、電荷貯蔵デバイス９０２に蓄積された総オーバーフロー電荷は、露光期間が終わる前に閾値１００４を超える場合がある。さらなる電荷が蓄積されると、電荷貯蔵デバイス９０２は、露光期間が終わる前に一杯になる可能性があり、電荷の漏出が発生する可能性がある。電荷貯蔵デバイス９０２が一杯になることによって生じる測定誤差を避けるために、飽和時間（ＴＴＳ）測定を行って、電荷貯蔵デバイス９０２に蓄積された総オーバーフロー電荷が閾値１００４に達するのにかかる時間を測定することができる。電荷貯蔵デバイス９０２における電荷累積の割合は、閾値１００４と飽和時間との間の比に基づいて決定することができ、（キャパシタの容量に限界がない場合）露光期間の終わりに電荷貯蔵デバイス９０２に蓄積されるはずの仮定の電荷量（Ｑ３）は、電荷累積の割合に応じて外挿法によって決定することができる。仮定の電荷量（Ｑ３）は、高光強度範囲１０１０内の入射光強度を無理なく正確に表現することができる。
【０１０７】
図９Ａに戻って参照すると、高い光強度範囲１０１０および中間の光強度範囲１００８を測定するために、移動スイッチＭ１は部分的にオン状態でＴＧ信号によってバイアスされ得る。例えば、移動スイッチＭ１（ＴＧ）のゲート電圧は、フォトダイオードの飽和容量に対応するフォトダイオードＰＤで生じるターゲット電圧に基づいて設定可能である。このような配置構成によって、オーバーフロー電荷のみ（フォトダイオードが飽和した後にフォトダイオードによって生成される電荷）が移動スイッチＭ１を通して移動して電荷貯蔵デバイス９０２に達し、（高い光強度範囲１０１０に対する）飽和時間、および／または（中間の光強度範囲１００８に対する）電荷貯蔵デバイス９０２に蓄えられた電荷の量を測定する。中間の光強度範囲および高い光強度範囲の測定のために、（ＣＥＸＴおよびＣＦＤを接続することによる）電荷貯蔵デバイス９０２の静電容量はまた、閾値１００４を増大させるために最大化可能である。
【０１０８】
また、低い光強度範囲１００６を測定するために、移動スイッチＭ１は、フォトダイオードＰＤに蓄えられた残留電荷を電荷貯蔵デバイス９０２に移動させるために完全にオン状態で制御可能である。電荷貯蔵デバイス９０２に蓄えられたオーバーフロー電荷の量子化動作が完了した後に、および電荷貯蔵デバイス９０２がリセットされた後に、移動が生じ得る。さらに、電荷貯蔵デバイス９０２の静電容量を減らすことができる。上述されるように、電荷貯蔵デバイス９０２の静電容量を減らすことによって、より高い電圧が蓄えられた電荷の一定量に対して生じ得るように、電荷貯蔵デバイス９０２における電荷電圧変換率を高めることができる。より高い電荷電圧変換率によって、低い光強度判定の精度で後続の量子化動作によってもたらされた測定誤差（例えば、量子化誤差、比較器オフセットなど）の影響を低下させることができる。測定誤差は、量子化動作によって検出および／または区別可能である最小電圧差に対する限度を設定することができる。電荷電圧変換率を高めることによって、最小電圧差に対応する電荷の量を減らすことができ、これによってさらにまた、ピクセルセル６０２ａによる測定可能な光強度の下限が低減され、かつダイナミックレンジが拡張される。
【０１０９】
電荷貯蔵デバイス９０２に蓄積される電荷（残留電荷および／またはオーバーフロー電荷）は、ＯＦノードにおいてアナログ電圧を生じさせる可能性があり、該アナログ電圧は、ＰＩＸＥＬ＿ＯＵＴで切替可能バッファ９０４によってバッファされ、かつＡＤＣ６１６によって量子化され得る。図９Ａに示されるように、ＡＤＣ６１６は、スイッチＭ８によってリセット可能である比較器９０６、および出力論理回路９０８を含む。ＡＤＣ６１６はまた、メモリ９１２およびカウンタ９１４に連結される。カウンタ９１４は、自走クロック信号に基づいてカウント値のセットを生成することができるのに対し、メモリ９１２は、カウンタ９１４によって生成されるカウント値（例えば、最新のカウント値）を記憶するために出力論理回路９０８を介して比較器９０６によって制御可能である。メモリ９１２は、例えば、後述されるようなローカルピクセル値に基づいてカウント値を記憶するためのラッチ回路とすることができる。記憶されたカウント値は入射光強度を表すために出力可能である。メモリ９１２は図６Ａのメモリ６３０の一部とすることができる。
【０１１０】
比較器９０６は、閾値ＶＲＥＦに対して、ＣＣ比較器によってＰＩＸＥＬ＿ＯＵＴから得られるアナログ電圧ＣＯＭＰ＿ＩＮを比較し、かつ比較結果に基づいて判定ＶＯＵＴを生成することができる。ＣＣキャパシタは、リセットノイズ、およびＰＩＸＥＬ＿ＯＵＴ電圧に加えてＣＯＭＰ＿ＩＮ電圧を生成することができるＶＣＣ電圧における比較器オフセット情報を記憶して、ＰＩＸＥＬ＿ＯＵＴ電圧におけるリセットノイズ成分を相殺するためにノイズ／オフセット補償方式で使用可能である。オフセット成分はＣＯＭＰ＿ＩＮ電圧に残っており、比較器９０６が、判定ＶＯＵＴを生成するために閾値ＶＲＥＦに対してＣＯＭＰ＿ＩＮ電圧を比較するときに比較器９０６のオフセットによって相殺され得る。比較器９０６は、ＣＯＭＰ＿ＩＮ電圧がＶＲＥＦに等しいまたはこれを超える場合、ＶＯＵＴに対して論理１を生成することができる。比較器９０６はまた、ＣＯＭＰ＿ＩＮ電圧がＶＲＥＦを下回る場合、ＶＯＵＴに対して論理ゼロを生成することができる。ＶＯＵＴは、メモリ９１２がカウンタ９１４からカウント値を記憶するように制御するラッチ信号を制御することができる。
【０１１１】
図１１Ａは、ＡＤＣ６１６による飽和時間測定の一例を示す。飽和時間測定を行うために、（ピクセルセル６０２ａに外付け可能な）閾値生成器は固定ＶＲＥＦを生成できる。固定ＶＲＥＦは、電荷貯蔵デバイス９０２の飽和に対する電荷量閾値（例えば、図１０の閾値１００４）に対応する電圧で設定可能である。カウンタ９１４は、露光期間が開始した直後に（例えば、シャッタースイッチＭ０が無効になった直後に）カウントし始めることができる。電荷貯蔵デバイス９０２におけるオーバーフロー電荷の蓄積によりＣＯＭＰ＿ＩＮ電圧が下降する（または、実装形態に応じて上昇する）ため、クロック信号は、カウンタ９１４においてカウント値を更新するために切り換わり続ける。ＣＯＭＰ＿ＩＮ電圧はある特定の時点で固定ＶＲＥＦ閾値に達することができ、これによって、ＶＯＵＴは低から高に反転する。ＶＯＵＴの変化によってカウンタ９１４のカウントが停止されてよく、カウンタ９１４におけるカウント値は飽和時間を表すことができる。
【０１１２】
図１１Ｂは、電荷貯蔵デバイス９０２で蓄えられた電荷の量の測定の一例を示す。測定の開始後、閾値生成器は、実装形態に応じて（図１１Ｂの例では）上昇するまたは下降するのどちらかとすることができるランプＶＲＥＦを生成することができる。ランプレートは、カウンタ９１４に供給されるクロック信号の周波数に基づくことができる。オーバーフロー電荷が測定される場合、ランプＶＲＥＦの電圧範囲は、閾値１００４（電荷貯蔵デバイス９０２の飽和に対する電荷量閾値）と閾値１００２（フォトダイオードＰＤの飽和に対する電荷量閾値）との間とすることができ、これによって、中間の光強度範囲を定めることができる。残留電荷が測定される場合、ランプＶＲＥＦの電圧範囲は閾値１００２に基づくことができ、かつ、残留電荷測定のために電荷貯蔵デバイス９０２の減らした静電容量によってスケーリング可能である。図１１Ｂの例では、均一な量子化ステップによる量子化プロセスを行うことができ、ＶＲＥＦはそれぞれのクロック周期に対して同じ量で増加（または減少）する。ＶＲＥＦの増加（または減少）量は量子化ステップに対応する。ＣＯＭＰ＿ＩＮ電圧の１つの量子化ステップ内でＶＲＥＦに達するとき、比較器９０６のＶＯＵＴは反転し、これによってカウンタ９１４のカウントは停止可能であり、カウント値は、１つの量子化ステップ内で、ＣＯＭＰ＿ＩＮ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、電荷貯蔵デバイス９０２で貯蔵された電荷量のデジタル表現、および入射光強度のデジタル表現になり得る。
【０１１３】
図９Ａに戻ると、コントローラ９２０は、選択９２２に基づいて、ＴＴＳ量子化動作、オーバーフロー電荷の量を測定するための量子化動作（以降、「ＦＤ  ＡＤＣ」動作）、および、残留電荷の量を測定するための量子化動作（以降、「ＰＤ  ＡＤＣ」動作）を行うことができる。ＴＴＳ量子化動作は図１１Ａに説明される方式に基づくことができるのに対し、ＰＤ  ＡＤＣ量子化動作およびＦＤ  ＡＤＣ量子化動作は図１１Ｂに説明される方式に基づくことができる。コントローラ９２０は、量子化動作のうちの１つまたは複数をスキップすることもできる。出力論理回路９０８は、カウント値をメモリ９１２に記憶するための量子化動作はどれかを決定することができる。具体的には、図９Ｂを参照すると、出力論理回路９０８は、ＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号として量子化動作の決定出力を記憶するためのレジスタ９３２および９３４のセットを含む。ＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号に基づいて、コントローラ９２０は、入射光強度を表すために３つの段階のうちの１つで出力されたカウント値を選択可能である。選択されたカウント値はメモリ９１２に記憶可能であり、メモリ９１２は、後続の測定段階で、メモリ９１２において出力された選択されたＡＤＣコードを上書きしないように、ＮＯＲゲート９３６によってＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号の組合せに基づいてロック可能である。３段階測定プロセスの終わりに、コントローラ９２０は、メモリ９１２に記憶されたカウント値を抽出し、かつこのカウント値を、入射光強度を表すデジタル出力として提供することができる。いくつかの例では、図９Ｃを参照すると、比較器９０６による比較の対照性は、以下に詳細に説明されるように、ＰＤ  ＡＤＣ動作とＴＴＳ／ＦＤ  ＡＤＣ動作との間で正反対であり得る。このような例では、出力論理回路９０８は、レジスタ９３２および９３４ならびにＮＯＲゲート９３６に加えて、インバータチェーン９４２およびマルチプレクサデバイス９４６をさらに含んでよい。マルチプレクサデバイス９４６は、ＶＯＵＴまたはＶＯＵＴｂのどちらかをインバータチェーン９４２の異なるタップ点からレジスタ９３２および９３４ならびにＮＯＲゲート９３６に出力するために、ＬＧ信号など、ＴＴＳ／ＦＤ  ＡＤＣまたはＰＤ  ＡＤＣ動作が行われるかどうかに基づいて切り換える選択信号によって制御可能である。
【０１１４】
ここで、図９Ｂの出力論理回路９０８を含むピクセルセル６０２ａの制御信号のシーケンス例を示す図１１Ｃを参照する。制御信号のシーケンス例は、コントローラ９２０によって生成可能であり、かつ選択９２２に基づいてＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作を含むことができる。図１１Ｃは、時間に対するＡＢ、ＲＳＴ、ＣＯＭＰ＿ＲＳＴ、ＴＧ、ＬＧ、およびＶＲＥＦの変化を示す。図１１Ｃを参照すると、時間Ｔ０と時間Ｔ１との間の期間は第１のリセット段階に対応し得る。この段階では、電荷貯蔵デバイス９０２および比較器９０６は、ＲＳＴ信号およびＣＯＭＰ＿ＲＳＴ信号をアサートすることによってコントローラ９２０によってリセット状態になり得、シャッター信号ＡＢは、フォトダイオードＰＤによって生成された電荷が電荷貯蔵デバイス９０２に達しないようにするためにアサート可能である。ＲＳＴ信号およびＬＧ信号は両方共、ＰＩＸＥＬ＿ＯＵＴをリセットレベルで設定するためにＣＦＤキャパシタおよびＣＥＸＴキャパシタをリセットするようにアサートされる。ＣＯＭＰ＿ＲＳＴ信号がアサートされかつ比較器９０６の正極がＶｒｅｆ＿ｈｉｇｈに接続されることで、ＣＯＭＰ＿ＩＮは、Ｖｒｅｆ＿ｈｉｇｈおよび比較器オフセットＶｃｏｍｐ＿ｏｆｆｓｅｔの和に設定可能である。また、ＲＳＴ信号がアサートされると、ＰＩＸＥＬ＿ＯＵＴはリセットされた電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔを設定可能であり、かつリセットノイズＶσＫＴＣを含むことができる。以下のように、第１のサンプリング動作をＣＣキャップによって行って、比較器オフセット、リセットノイズ、および、リセットレベルでのＰＩＸＥＬ＿ＯＵＴ電圧の成分を含むＶＣＣ電圧を貯蔵することができる。
ＶＣＣ（Ｔ１）＝（Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ）−（Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋ＶσＫＴＣ）  （式１）
【０１１５】
時間Ｔ１では、ＲＳＴ信号、ＡＢ信号、およびＣＯＭＰ＿ＲＳＴ信号が放出され、これによって、フォトダイオードＰＤが電荷を蓄積しかつ移動させることができる（Ｔｅｘｐｏｓｕｒｅとラベルを付けた）露光期間が開始される。露光期間Ｔｅｘｐｏｓｕｒｅは時間Ｔ２で終了することができる。時間Ｔ１と時間Ｔ３との間で、ＴＧ信号はフォトダイオードＰＤが飽和する前にＰＤが残留電荷を蓄積できるように部分的にオン状態で移動スイッチＭ１を設定できる。図１０の中間の強度範囲または高い強度範囲における光強度の場合、フォトダイオードＰＤは、移動スイッチＭ１を介してオーバーフロー電荷を飽和させかつ移動させることができる。ＬＧ信号は、低利得モードで動作するようにアサートされたままとすることができ、ここで、ＣＦＤキャパシタおよびＣＥＸＴキャパシタは両方共、オーバーフロー電荷を蓄えるために電荷貯蔵デバイス９０２を形成するように並列に接続される。オーバーフロー電荷は、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１を生じさせる。ＣＣキャパシタは、リセットノイズおよび比較器オフセット成分を含むＶＣＣ電圧を追加することによって、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１をＣＯＭＰ＿ＩＮ電圧に交流結合することができる。新しいＰＩＸＥＬ＿ＯＵＴ電圧は、ＶＣＣ電圧のリセットノイズ成分によって相殺可能であるリセットノイズも含む。時間Ｔ１と時間Ｔ３との間の時間ＴｘでのＣＯＭＰ＿ＩＮ電圧は以下のようになり得る。
Ｖｃｏｍｐ＿ｉｎ（Ｔｘ）＝Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ  （式２）
【０１１６】
式２では、Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔの差は、電荷貯蔵デバイス９０２に蓄えられたオーバーフロー電荷の量を表す。ＣＯＭＰ＿ＩＮ電圧における比較器オフセットは、比較を行うときに比較器９０６によってもたらされた比較器オフセットを相殺することもできる。
【０１１７】
時間Ｔ１と時間Ｔ３との間に、ＣＯＭＰ＿ＩＮ電圧の測定の２つの段階を行うことができる。該段階は、高い光強度範囲１０１０に対する飽和時間（ＴＴＳ）測定段階、および中間の光強度１００８に対するオーバーフロー電荷の測定のためのＦＤ  ＡＤＣ段階を含む。時間Ｔ１と時間Ｔ２との間（Ｔｅｘｐｏｓｕｒｅ）に、比較器９０６によって、ＣＯＭＰ＿ＩＮ電圧を電荷貯蔵デバイス９０２の飽和レベルを表す静的Ｖｒｅｆ＿ｌｏｗと比較することによって、ＴＴＳ測定を行うことができる。ＰＩＸＥＬ＿ＯＵＴ電圧が静的ＶＲＥＦに達するとき、比較器９０６の出力（ＶＯＵＴ）は作動することができ、ＶＯＵＴが作動するときのカウンタ９１４からのカウント値はメモリ９１２に記憶可能である。時間Ｔ２では、または時間Ｔ２の前で、出力論理回路９０８は、ＴＴＳ段階の終わりに比較器９０６のＶＯＵＴの状態を判定でき、かつＶＯＵＴがアサートされる場合にＦＬＡＧ＿１信号をアサートできる。ＦＬＡＧ＿１信号のアサートは、電荷貯蔵デバイス９０２が飽和し、かつ後続の測定段階（ＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ）でメモリ９１２に記憶されるカウント値を上書きしないようにすることができることを指示することができる。ＴＴＳからのカウント値は、その後、積分期間中にフォトダイオードＰＤが受光した光の強度を表すために提供可能である。
【０１１８】
（ＴＦＤＡＤＣとラベルを付けた）時間Ｔ２と時間Ｔ３との間に、図１０に表されるように、ＣＯＭＰ＿ＩＮ電圧を、フォトダイオードＰＤの飽和レベル（例えば、閾値１００２）を表す、Ｖｒｅｆ＿ｌｏｗからＶｒｅｆ＿ｈｉｇｈまで上昇するランプＶＲＥＦ電圧と比較することによって、ＦＤ  ＡＤＣ動作を行うことができる。比較器９０６のＶＯＵＴがＦＤ  ＡＤＣ中に作動する場合、ＶＯＵＴが作動するときのカウンタ９１４のカウント値は、電荷貯蔵デバイス９０２が飽和しないことを指示する、ＦＬＡＧ＿１が低い場合、メモリ９１２に記憶可能である。露光期間は時間Ｔ２で終了するが、時間Ｔ２と時間Ｔ３との間に、フォトダイオードＰＤは、（飽和していない場合）残留電荷を蓄積すること、またはオーバーフロー電荷を電荷貯蔵デバイス９０２に移動させることが可能なままである。結果として、さらなる電荷は、ＴＴＳ動作後の時間Ｔ２と時間Ｔ３との間に電荷貯蔵デバイス９０２またはフォトダイオードＰＤに蓄積可能である。さらなる電荷は、ロールシャッター動作と同様の明るい高速で動くオブジェクトを画像化するときにモーションブラーおよびゆがみをもたらす可能性があり、これによって、イメージセンサのシャッター効率が低減する可能性がある。
【０１１９】
（ＴＰＤＡＤＣとラベルを付けた）時間Ｔ３と時間Ｔ５との間に、ＰＤ  ＡＤＣ動作を行うことができる。時間Ｔ３と時間Ｔ４との間は第２のリセット段階とすることができ、ここで、ＲＳＴ信号およびＣＯＭＰ＿ＲＳＴ信号は両方共、後続のＰＤ  ＡＤＣ動作を準備するために、（ＣＦＤキャパシタおよびＣＥＸＴキャパシタの並列組合せを含む）電荷貯蔵デバイス９０２および比較器９０６をリセットするためにアサートされる。ＶＣＣ電圧は、式１に従って設定可能である。
【０１２０】
ＲＳＴおよびＣＯＭＰ＿ＲＳＴが放出された後、ＬＧは、ＰＤ  ＡＤＣ動作のために電荷電圧変換率を増大させるためにＣＥＸＴをＣＦＤから切断するためにオフにされる。ＴＧは、フォトダイオードＰＤに蓄えられた残留電荷をＣＦＤに移動させるためにＭ１移動スイッチを完全にオンにするためのレベルで設定される。残留電荷は新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２を生じさせる。ＣＣキャパシタは、ＶＣＣ電圧を追加することによって、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２をＣＯＭＰ＿ＩＮ電圧に交流結合することができる。時間Ｔ３と時間Ｔ４との間に、フォトダイオードＰＤは、時間Ｔ１と時間Ｔ３との間に生成される電荷に加えてさらなる電荷を生成すること、およびさらなる電荷を電荷貯蔵デバイス９０２に移動させることが可能なままである。Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２はまた、時間Ｔ３と時間Ｔ４との間に移動させたさらなる電荷を表す。時間Ｔ４では、ＣＯＭＰ＿ＩＮ電圧は以下のようになり得る。
Ｖｃｏｍｐ＿ｉｎ（Ｔ４）＝Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ  （式３）
【０１２１】
式３では、Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔの差は、時間Ｔ３と時間Ｔ４との間にフォトダイオードによって電荷貯蔵デバイス９０２に移動させた電荷の量を表す。ＣＯＭＰ＿ＩＮ電圧での比較器オフセットはまた、比較を行うときに比較器９０６によってもたらされた比較器オフセットを相殺することができる。
【０１２２】
時間Ｔ４では、ＡＢ信号は、フォトダイオードＰＤがさらなる電荷を蓄積しかつ移動させないようにアサートされる。さらに、ＶＲＥＦは静的レベルＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎに設定可能である。比較器９０６は、ＣＯＭＰ＿ＩＮ電圧をＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎと比較して、フォトダイオードＰＤが飽和しているかどうかを判定することができる。Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎは、残留電荷の量が飽和レベルに近いが超えていないときに比較器９０６の誤差動を防止するためにフォトダイオードＰＤの飽和レベル（例えば、閾値１００２）を表すＶｒｅｆ＿ｌｏｗよりわずかに高い。出力論理回路９０８は、比較器９０６のＶＯＵＴの状態を判定することができ、かつフォトダイオードＰＤが飽和していることを指示するためにＶＯＵＴがアサートされる場合にＦＬＡＧ＿２をアサートできる。ＦＬＡＧ＿２がアサートされる場合、メモリ９１２は、（ＦＤ  ＡＤＣから）メモリ９１２に記憶されるカウント値を保存するためにロックされ得、かつメモリ９１２が後続のＰＤ  ＡＤＣ動作によって上書きされないようにする。
【０１２３】
時間Ｔ４と時間Ｔ５との間に、コントローラ９２０は、ＣＯＭＰ＿ＩＮ電圧を、Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎからＶｒｅｆ＿ｈｉｇｈまで開始するＶＲＥＦランプと比較することによってＰＤ  ＡＤＣ動作を行うことができる。ＰＤ  ＡＤＣ段階では、Ｖｒｅｆ＿ｈｉｇｈは、フォトダイオードＰＤに蓄えられた残留電荷の最小の検出可能な量を表すことができるのに対し、Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎは、上述されるように、暗電流を考慮するためのマージンを有するフォトダイオードＰＤの飽和閾値を表すことができる。ＦＬＡＧ＿１もＦＬＡＧ＿２もＰＤ  ＡＤＣの前にアサートされない場合、比較器９０６がＰＤ  ＡＤＣ中に作動するときに得られるカウント値は、メモリ９１２に記憶可能であり、ＰＤ  ＡＤＣからのカウント値は光の強度を表すために提供可能である。
【０１２４】
図１１Ｃは、ＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作が行われることを示すが、ＡＤＣ６１６（およびピクセルセル６０２ａ）がこれらの動作の全てを行う必要はなく、選択９２２に基づいてこれらの一部をスキップすることができることは理解されたい。後述されるように、量子化動作は、ピクセルセル６０２ａ内の種々のフォトダイオードに対して変わる場合がある。
【０１２５】
ここで、コントローラ９２０によって生成されるピクセルセル６０２ａの別の制御信号のシーケンス例を示す図１１Ｄを参照する。図１１Ｄでは、ＰＤ  ＡＤＣ動作は、ＴＴＳ動作とＦＤ  ＡＤＣ動作との間に行われ得、これによって、ＴＴＳ動作後の電荷貯蔵デバイス９０２またはフォトダイオードＰＤにおけるさらなる電荷の蓄積を減らすことができ、かつシャッター効率を改善することができる。図１１Ｄに示されるように、時間Ｔ０と時間Ｔ１との間は図１１Ｃにあるような第１のリセット段階であり、ここで、電荷貯蔵デバイス６０８および比較器９０６は両方共、ＲＳＴ信号およびＣＯＭＰ＿ＲＳＴ信号をアサートすることによってコントローラ１１１０によってリセット状態になり得る。さらに、ＣＦＤキャパシタおよびＣＥＸＴキャパシタをＲＳＴ信号によってリセット可能にするＬＧ信号がアサートされ、ＰＩＸＥＬ＿ＯＵＴ信号はリセットレベルで設定される。ＣＯＭＰ＿ＲＳＴ信号がアサートされ、かつ比較器９０６の正端子がＶｒｅｆ＿ｈｉｇｈに接続されると、ＣＯＭＰ＿ＩＮはＶｒｅｆ＿ｈｉｇｈおよび比較器オフセットＶｃｏｍｐ＿ｏｆｆｓｅｔの合計に設定可能である。また、ＲＳＴ信号がアサートされると、ＰＩＸＥＬ＿ＯＵＴはリセット電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔを設定でき、かつリセットノイズＶσＫＴＣを含むことができる。上記のように式１に説明されるように、第１のサンプリング動作をＣＣキャップによって行って、比較器オフセット、リセットノイズ、および、リセットレベルでのＰＩＸＥＬ＿ＯＵＴ電圧の成分を含むＶＣＣ電圧を蓄えることができる。
ＶＣＣ（Ｔ１）＝（Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ）−（Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋ＶσＫＴＣ）  （式１）
【０１２６】
さらに、シャッター信号ＡＢは、フォトダイオードＰＤによって生成される電荷が電荷貯蔵デバイス６０８に達しないようにアサート可能である。
【０１２７】
時間Ｔ１では、ＡＢ信号、ＣＯＭＰ＿ＲＳＴ信号、およびＲＳＴ信号は解除され、これによって、フォトダイオードＰＤが電荷を蓄積しかつ移動させることができる（Ｔｅｘｐｏｓｕｒｅとラベルを付けた）露光期間が開始する。ＴＧ信号は、ＰＤがオーバーフロー電荷を電荷貯蔵デバイス６０８に移動させることができるように部分的にオンの状態で移動スイッチＭ１を設定できる。ＬＧ信号は、低利得モードで動作するようにアサートされたままとすることができ、ここで、ＣＦＤキャパシタおよびＣＥＸＴキャパシタは両方共、オーバーフロー電荷を蓄えるために電荷貯蔵デバイス６０８を形成するように並列に接続される。オーバーフロー電荷は、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１を生じさせる。ＣＣキャパシタは、ＰＩＸＥＬ＿ＯＵＴ電圧を交流結合してＣＯＭＰ＿ＩＮ電圧になるようにすることができる。時間Ｔ１と時間Ｔ２との間のＣＯＭＰ＿ＩＮ電圧は上記の式１に基づいて設定可能である。
【０１２８】
時間Ｔ１と時間Ｔ２との間に、比較器９０６によって、ＣＯＭＰ＿ＩＮ電圧を静的Ｖｒｅｆ＿ｌｏｗと比較することによって飽和時間（ＴＴＳ）測定を行ってＶＯＵＴを生成することができる。時間Ｔ２では、コントローラ１１１０は、比較器９０６のＶＯＵＴの状態を判定する。ＶＯＵＴの状態は出力論理回路９０８に提供可能であり、この出力論理回路９０８は、ＶＯＵＴが、ＣＯＭＰ＿ＩＮ電圧がＶｒｅｆ＿ｌｏｗに達することを指示し、これによってさらには電荷貯蔵デバイス９０２が飽和していることが指示される場合に、カウンタ９１４からのカウント値を記憶するようにメモリ９１２を制御するためのラッチ信号を生成することができる。出力論理回路９０８は、電荷貯蔵デバイス９０２が飽和するこの内部状態（例えば、ＦＬＡＧ＿２）で、後続のＰＤ  ＡＤＣ動作およびＦＤ  ＡＤＣ動作でメモリ９１２にＴＴＳ出力を上書きしないように記憶することもできる。他方では、電荷貯蔵デバイス９０２が飽和しない場合、時間Ｔ２でメモリ９１２に記憶されることになるカウント値はなく、後続のＰＤ  ＡＤＣまたはＦＤ  ＡＤＣ動作からのカウント値はメモリ９１２に記憶され得る。
【０１２９】
ＴＴＳ測定後、時間Ｔ２と時間Ｔ５との間に、フォトダイオードＰＤに蓄えられた残留電荷を測定するためのＰＤ  ＡＤＣ動作を行うことができる。ＬＧ信号は、上述されるように、電荷電圧変換率を高めるためにＣＥＸＴをＣＦＤから切断するようにデアサートされる。オーバーフロー電荷（ある場合）はＣＦＤとＣＥＸＴとの間の静電容量の割合に基づいてＣＦＤとＣＥＸＴとの間で分割されることで、ＣＦＤがオーバーフロー電荷の第１の部分を蓄え、ＣＥＸＴがオーバーフロー電荷の第２の部分を蓄えるようにする。Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１は、ＣＦＤに蓄えられたオーバーフロー電荷の第１の部分に対応することができる。
【０１３０】
ＰＤ  ＡＤＣ動作を準備するために、時間Ｔ２と時間Ｔ３との間に、ＣＯＭＰ＿ＲＳＴ信号は比較器９０６をリセットするために再びアサートされる。比較器９０６をリセットすることによって、以下のように、リセット状態でのＶｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１と比較器９０６の出力との間の差に基づいてＣＣキャパシタにわたって新しいＶＣＣ電圧を設定することができる。
ＶＣＣ（Ｔ２）＝（Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ）−（Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１（Ｔ３）＋ＶσＫＴＣ）  （式４）
【０１３１】
オプションとして、ＲＳＴ信号は、時間Ｔ２と時間Ｔ３との間に、残留電荷の移動の前に、ＣＦＤをリセットし、かつオーバーフロー電荷の第１の部分を除去するためにアサート可能である。これによって、後続のＰＤ  ＡＤＣ動作によって、残留電荷およびオーバーフロー電荷の第１の部分の混合物ではなく、残留電荷のみを量子化することが可能である。このような配置によって、その他の場合はさらなる誤差をもたらす可能性がある（後続のＦＤ  ＡＤＣ動作の結果に基づく）オーバーフロー電荷成分を、ＰＤ  ＡＤＣ動作出力から除去する必要がないため、低い光強度の測定の精度が改善可能である。他方では、このような配置によって、ＰＤ  ＡＤＣ動作およびＦＤ  ＡＤＣ動作での冗長性をもたらし、かつこの両方の動作で残留電荷およびオーバーフロー電荷の混合物が測定されるため信号対雑音比が増大する可能性があるため、時間Ｔ２と時間Ｔ３との間にＲＳＴ信号をアサートしないことは有利であり得る。
【０１３２】
時間Ｔ３と時間Ｔ４との間に、ＣＯＭＰ＿ＲＳＴ信号が解除されることで、比較器９０６はリセット状態を終了する。また、ＴＧ信号は、残留電荷をＣＦＤに移動させるために完全にオンの状態で移動スイッチＭ１を設定することができる。残留電荷はＣＦＤに移動させることが可能であり、これによってＰＩＸＥＬ＿ＯＵＴ電圧はＶｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２に変更される。新しいＰＩＸＥＬ＿ＯＵＴ電圧は、以下のように、時間Ｔ４で新しいＣＯＭＰ＿ＩＮ電圧に交流結合可能である。
Ｖｃｏｍｐ＿ｉｎ（Ｔ４）＝Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇｌ＋Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ  （式５）
【０１３３】
式５では、Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１の差は、時間Ｔ３と時間Ｔ４との間にフォトダイオードによって電荷貯蔵デバイス６０８に移動させた残留電荷の量を表す。
【０１３４】
時間Ｔ３と時間Ｔ４との間にＴＧが完全にオンになった後、ＴＧはフォトダイオードＰＤをＣＦＤおよびＣＥＸＴから切断するためにデアサートされる。結果として、次の露光期間の開始まで時間Ｔ４の後にＣＦＤおよびＣＥＸＴに移動させるさらなる電荷はない。典型的には長時間かかるＦＤ  ＡＤＣ動作の間にさらなる電荷がフォトダイオードＰＤに蓄積可能である図１１Ｃの配置と比較して、図１１Ｄでは、リセット期間Ｔ２〜Ｔ３および移動期間Ｔ３〜Ｔ４の間にのみさらなる電荷は蓄積され、この期間は両方共典型的にはＦＤ  ＡＤＣ動作よりはるかに短い。また、Ｔ４の後、電荷貯蔵デバイス９０２に蓄積されるさらなるオーバーフロー電荷はない。結果として、ＦＤ  ＡＤＣおよびＰＤ  ＡＤＣは両方共、ＴＴＳ動作とほぼ同じ露光期間に蓄積された電荷を処理することができ、これによって、イメージセンサのシャッター効率を改善することができる。
【０１３５】
時間Ｔ４と時間Ｔ５との間に、コントローラ１１１０は、Ｖｒｅｆ＿ｈｉｇｈからＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎまで開始するＶＲＥＦランプとＣＯＭＰ＿ＩＮ電圧を比較することによってＰＤ  ＡＤＣ動作を行うことができる。ＰＤ  ＡＤＣ段階では、上述されるように、Ｖｒｅｆ＿ｈｉｇｈは、フォトダイオードＰＤに蓄えられた残留電荷の最小の検出可能な量を表すことができるのに対し、Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎは、暗電流を考慮するためのマージンを有するフォトダイオードＰＤの飽和閾値を表すことができる。
【０１３６】
時間Ｔ５では、コントローラ１１１０は、ＣＯＭＰ＿ＩＮ電圧がＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎを下回るかどうかをチェックすることができ、これによって、フォトダイオードＰＤが飽和しているかどうかを指示することができる。ＣＯＭＰ＿ＩＮ電圧がＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎを上回る（これによってフォトダイオードＰＤが飽和していることが指示される）場合、および、（出力論理回路９０８の内部状態に基づいて）メモリに記憶されるＴＴＳ出力がない場合、出力論理回路９０８は、ラッチ信号を生成して、カウンタ９１４からのカウント値を記憶するようにメモリ９１２を制御することができる。出力論理回路９０８はまた、内部状態の一部として、フォトダイオードＰＤが飽和しているという指示（例えば、ＦＬＡＧ＿１）を記憶することができることで、後続のＦＤ  ＡＤＣ動作で、メモリに記憶されるＰＤ  ＡＤＣ出力（またはＴＴＳ出力）を上書きできないようにする。ＣＯＭＰ＿ＩＮ電圧がＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎを下回る場合、時間Ｔ５にメモリ９１２に記憶されることになるカウント値はなく、後続のＦＤ  ＡＤＣ動作からのカウント値はメモリ９１２に記憶可能である。
【０１３７】
時間Ｔ５と時間Ｔ８との間に、ＦＤ  ＡＤＣ動作では、露光期間Ｔｅｘｐｏｓｕｒｅ内にフォトダイオードＰＤによって移動させたオーバーフロー電荷の測定が行われ得る。フォトダイオードＰＤはＣＦＤおよびＣＥＸＴから切断されたままであるため、ＣＦＤおよびＣＥＸＴに移動させるさらなる電荷はなく、ＣＦＤおよびＣＥＸＴに蓄えられる総電荷は、時間Ｔ３と時間Ｔ４との間にフォトダイオードによって生成されるさらなる電荷と共に露光期間Ｔｅｘｐｏｓｕｒｅに大部分が生成される。
【０１３８】
時間Ｔ５に、ＬＧ信号はＣＦＤをＣＥＸＴに接続するためにアサートされ、これによって、ＣＥＸＴに蓄えられたオーバーフロー電荷の第２の部分をＣＦＤに蓄えられた残留電荷（および、ＲＳＴが時間Ｔ２と時間Ｔ３との間にアサートされない場合はオーバーフロー電荷の第１の部分）と組み合わせることが可能になり、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３は、ＣＦＤおよびＣＥＸＴの並列組合せで生じ得、かつ量子化される。
【０１３９】
時間Ｔ５と時間Ｔ７との間に、ＦＤ  ＡＤＣ動作時にリセットノイズおよび比較器オフセットの影響を軽減するためにノイズサンプリング動作を行うことができる。時間Ｔ５と時間Ｔ６との間に、比較器９０６は第１のサンプリング動作の一部としてリセット可能である。比較器９０６の正端子はＶＲＥＦの下端Ｖｒｅｆ＿ｌｏｗに接続される。ＶＣＣ電圧は、上述されるように、リセットノイズおよび比較器オフセットの成分を含むことができる。ＶＣＣ電圧は以下のようになり得る。
Ｖｃｃ（Ｔ５）＝（Ｖｒｅｆ＿ｌｏｗ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ）−（Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３＋ＶσＫＴＣｌ）  （式６）
【０１４０】
時間Ｔ６と時間Ｔ７との間に、ＣＦＤおよびＣＥＸＴが両方共リセット可能である間、比較器９０６は、第２のサンプリング動作の一部としてリセット状態を終了する。リセットの結果として、ＰＩＸＥＬ＿ＯＵＴはリセット電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔにリセット可能である。また、ＶσＫＴＣ２によって表され得る第２のリセットノイズ電荷はまた、電荷貯蔵デバイス６０８にもたらされる。第２のリセットノイズ電荷は典型的には、第１のリセットノイズ電荷をたどる。時間Ｔ６では、第２のサンプリング動作の結果Ｖｐｉｘｅｌ＿ｏｕｔとして、以下のようになる。
Ｖｐｉｘｅｌ＿ｏｕｔ（Ｔ６）＝Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋ＶσＫＴＣ２  （式７）
【０１４１】
時間Ｔ７では、ＣＯＭＰ＿ＲＳＴは解除され、比較器９０６はリセット状態を終了する。交流結合によって、ＣＯＭＰ＿ＩＮ電圧は、以下のように、ＶＣＣ（Ｔ５）に加えてＶｐｉｘｅｌ＿ｏｕｔ（Ｔ６）をたどることができる。
Ｖｃｏｍｐ＿ｉｎ（Ｔ７）＝（Ｖｒｅｆ＿ｌｏｗ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ）＋（Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３）＋（ＶσＫＴＣ２−ＶσＫＴＣｌ）  （式８）
【０１４２】
第２のサンプリング動作の後に、ＣＯＭＰ＿ＩＮ電圧は、時間Ｔ７と時間Ｔ８との間にＶＲＥＦランプに対して比較することによって量子化可能である。ＶＲＥＦランプは、ＣＥＸＴおよびＣＦＤを含む電荷貯蔵デバイス６０８で検出可能なオーバーフロー電荷の最小量を表すことができるＶｒｅｆ＿ｌｏｗ、および電荷貯蔵デバイス６０８が飽和するときのオーバーフロー電荷の量を表すことができるＶｒｅｆ＿ｈｉｇｈから開始することができる。ＦＬＡＧ＿１もＦＬＡＧ＿２もアサートされない場合、ＶＯＵＴが作動する時のカウンタ９１４からのカウント値は、露光期間に受光した光の強度を表すためにメモリ９１２に記憶可能である。時間Ｔ８の後、メモリ９１２に記憶されたデジタル値は、時間Ｔ９に露光期間Ｔｅｘｐｏｓｕｒｅ内にフォトダイオードＰＤが受光した光の強度を表すために読み出され得る。１つの画像フレームが１フレーム期間に生成される場合、フレーム期間は時間Ｔ０から時間Ｔ８まで及ぶことができる。
【０１４３】
式５および式８に示されるように、Ｖｃｏｍｐ＿ｉｎがＶｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１を表す、ＰＤ  ＡＤＣ動作における比較の対照性は、Ｖｃｏｍｐ＿ｉｎがＶｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３を表す、ＦＤ  ＡＤＣ動作における比較の対照性と逆である。ＰＤ  ＡＤＣでは、図９Ａの比較器９０６のＶＯＵＴは、ＣＯＭＰ＿ＩＮ電圧がＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎより高いときに論理ゼロになり、これによって、フォトダイオードＰＤが飽和していないことが指示される。しかしながら、ＶＯＵＴが作動するときに、残留電荷の測定値を表すデジタル値をメモリ９１２に記憶するために、メモリ９１２は比較器９０６から正のＶＯＵＴを受ける必要がある。対照的に、ＦＤ  ＡＤＣでは、図９Ａの比較器９０６のＶＯＵＴは、ＣＯＭＰ＿ＩＮ電圧がＶｒｅｆ＿ｌｏｗより高いときに論理１になり、これによって、オーバーフロー電荷が最小検出可能レベルを超えることが指示される。ＦＤ  ＡＤＣ動作およびＴＴＳ動作の比較の対照性はまた同一である。図９Ｃに戻ると、図９Ｃの出力論理回路９０８は、（ＬＧ信号が低いときに）ＰＤ  ＡＤＣ動作において比較器９０６の反転出力をＮＯＲゲート９３６ならびにレジスタ９３２および９３４に送り、かつ（ＬＧ信号が高いときに）ＴＴＳ動作およびＦＤ  ＡＤＣ動作において比較器９０６の非反転出力を送ることができる。図９Ｃの配置は、ＴＴＳ／ＦＤ  ＡＤＣ動作とＰＤ  ＡＤＣ動作との間の比較の逆の対照性を受け入れることができる。
【０１４４】
図１１Ｃおよび図１１Ｄにおける複数の量子化動作は、完了するのに比較的長い時間を要する場合があり、画像フレームの生成に対する主要な障害になる可能性があり、フレームレートを低下させる可能性がある。イメージセンサの動作速度を改善するための１つのやり方は、例えば、ピクセルセルにおけるそれぞれのフォトダイオードに比較器を提供することによってそれぞれのフォトダイオードに対する並列量子化動作を可能にすることで、ピクセルセルのそれぞれのフォトダイオードが複数の量子化動作を行うためのこれ自体の専用の比較器を有するようにすることである。
【０１４５】
イメージセンサのそれぞれのピクセルセルにおいて複数の比較器を含むことによって、それぞれのピクセルセルに対する量子化動作の完了時間が総体的に低減され、かつイメージセンサの動作速度が改善可能であるが、このような配置によって、実質的に、ピクセルセルのサイズが増大する可能性がある。図１２Ａは、回路８４９の一部として、それぞれのフォトダイオードのための比較器９０６を含むピクセルセル６０２ａの例示の分解組立図を示す。例えば、ピクセルセル６０２ａは半導体基板８４０におけるフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄ、ならびに、半導体基板８４８における対応する比較器９０６ａ、９０６ｂ、９０６ｃ、および９０６ｄ、ならびにメモリ６３０を含んでよい。２つの基板は、（ｘ方向およびｙ方向に沿って）ピクセルセル６０２ａのフットプリントを低減させるためにスタック可能である。図１２Ａに示されるように、それぞれの比較器はこの対応するフォトダイオードのみならずメモリ６３０よりはるかに大きい。これは、比較器がフォトダイオードおよびメモリ６３０を実装するために使用されるデジタルトランジスタおよびデバイスよりはるかに大きいアナログトランジスタを含むアナログ回路（例えば、差動対、バイアス回路、出力段など）を含むことによる可能性がある。比較器は、結果としてピクセルセルのフットプリントを画定することができる。また、比較器は典型的には多量の電力を消費する。プロセス技術の進歩によってフォトダイオードのサイズはさらに縮小し、分解能を改善するためにより多くのフォトダイオードをイメージセンサに含ませることができるため、比較器が必要とする電力および空間は、特に、それぞれのフォトダイオードが専用の比較器を有することになる場合に、どれくらいのフォトダイオードをイメージセンサに含むことができるかを限定するような障害になり得る。
【０１４６】
ピクセルセル６０２ａのフットプリントを低減させるための１つのやり方は、ピクセルセルのフォトダイオードに比較器を共有させることである。例えば、図１２Ｂに示されるように、ピクセルセル６０２ａにおいて、それぞれのフォトダイオードに対して１つの比較器、合計４つの比較器を有する代わりに、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄのそれぞれによって生成される電荷を量子化するための１つの比較器９０６を設けることができる。図１２Ａと比較すると、図１２Ｂにおける配置によって、ピクセルセル６０２ａのフットプリントのみならず電力消費を大幅に低減することができる。しかしながら、フォトダイオードの間で比較器９０６を共有するため、それぞれのフォトダイオードは交代で比較器９０６にアクセスして量子化動作を行う必要があり、これによって、ピクセルセルのフォトダイオードの量子化動作の合計時間が増大する。量子化動作の合計時間の増大によって、イメージセンサの動作速度およびフレームレートが低減する可能性があり、これによって、高速のオブジェクト／シーンを画像化する際のこの能力が低下し、かつイメージセンサの応用が限定される可能性がある。
【０１４７】
イメージセンサの動作速度およびフレームレートを改善するための１つのやり方は、ピクセルセルのメモリ６３０のサイズを大きくしてピクセルセルのフォトダイオードの量子化結果のストレージを最大化することである。このような配置によって、メモリ６３０の読み出し動作数および量子化動作の中断を低減させることができる。図１３Ａは、メモリ６３０がフォトダイオード６１２ａ〜６１２ｄの量子化結果を記憶するための単一のメモリバンクのみを含む場合のピクセルセル６０２ａの量子化動作およびメモリ動作のシーケンス例１３００を示す。図１３Ａに示されるように、比較器９０６は、時間Ｔ０と時間Ｔ１との間にフォトダイオード６１２ａの電荷を量子化し、かつ第１の結果をメモリ６３０に記憶した後、時間Ｔ１と時間Ｔ２との間に第１の結果をメモリ６３０から読み出すように制御可能である。メモリ６３０は単一のメモリバンクのみを含むため、フォトダイオード６１２ｂの電荷の量子化動作の前に、第１の結果を読み出してホストデバイス（例えば、ホストデバイス６５２）に移動させる必要がある。第１の結果の読み出しおよび移動が完了した後、比較器９０６はさらにまた、時間Ｔ２と時間Ｔ３との間に、フォトダイオード６１２ｂの電荷を量子化し、かつメモリ６３０において第１の結果を第２の結果で上書きした後、時間Ｔ３と時間Ｔ４との間に、第２の結果の読み出しおよび移動を行うように制御可能である。それぞれのフォトダイオードに対する量子化動作および読み出し動作はシリアル化されるため、ピクセルセルおよび全体としてのイメージセンサの動作速度およびフレームレートは大幅に低減され得る。
【０１４８】
他方では、メモリ６３０が複数の（または全ての）フォトダイオードの量子化結果を同時に記憶することが可能である複数のメモリバンクを含む場合、読み出し動作数を低減することができ、これによって、ピクセルセルの動作速度およびフレームレートは改善可能である。図１３Ｂは、メモリ６３０が、それぞれがフォトダイオード６１２ａ〜６１２ｄのうちの１つの量子化結果を記憶する複数のメモリバンクを含む場合のピクセルセル６０２ａの量子化およびメモリ動作の別のシーケンス１３０２を示す。図１３Ｂに示されるように、比較器９０６は、時間Ｔ０と時間Ｔ１との間に、フォトダイオード６１２ａの電荷を量子化しかつ第１の結果をメモリ６３０に記憶した後、時間Ｔ１と時間Ｔ２との間に、フォトダイオード６１２ｂの電荷の量子化および第２の結果のメモリ６３０への記憶を行うように制御可能である。図１３Ａと比較して、メモリ６３０は第１の結果および第２の結果両方共を記憶することができるため、２つのフォトダイオードの量子動作の間で読み出しを行う必要はない。結果として、それぞれのフォトダイオードの量子化動作を完了することができ、その後時間Ｔ５で、全てのフォトダイオードの量子化結果を読み出し、かつこの量子化結果をホストデバイス６５２に移動させるための読み出し動作をメモリ６３０で行うことができる。図１３Ｂの配置によって、ピクセルセルの動作速度およびフレームレートを大幅に改善することができ、かつフォトダイオードの間で比較器を共有することによって引き起こされる速度低下を補償することができる。
【０１４９】
ここで、複数のフォトダイオードおよび複数のメモリバンクを含むピクセル６０２ａ、ならびにこの動作の例を示す図１４Ａ〜図１４Ｃを参照する。図１４Ａに示されるように、ピクセルセル６０２ａはＰＤ０、ＰＤ１、ＰＤｎなどを含む複数のフォトダイオードを含む。フォトダイオードＰＤ０、ＰＤ１、ＰＤｎは、フォトダイオード６１２ａ、６１２ｂ、および６１２ｃに対応することができる。ＰＤ０、ＰＤ１、およびＰＤｎは、単一の電荷検知ユニット６１４および単一のＡＤＣ６１６を共有することができる。それぞれのフォトダイオードは、交代で電荷検知ユニット６１４にアクセスして電荷を電圧に変換することができる。それぞれのフォトダイオードは、対応するシャッタースイッチおよび対応する移動スイッチに連結される。例えば、フォトダイオードＰＤ０は、シャッタースイッチＭ０ａおよび移動スイッチＭ１ａに連結され、フォトダイオードＰＤ１は、シャッタースイッチＭ０ｂおよび移動スイッチＭ１ｂに連結され、その一方で、フォトダイオードＰＤｎは、シャッタースイッチＭ０ｎおよび移動スイッチＭ１ｎに連結される。それぞれの移動スイッチは、電荷貯蔵デバイス９０２のＯＦノードに連結される。コントローラ９２０は、（シャッタースイッチＭ０ａ、Ｍ０ｂ、Ｍ０ｎに対する）制御信号ＡＢ０、ＡＢ１、およびＡＢｎのタイミング、および（移動スイッチＭ１ａ、Ｍ１ｂ、Ｍ１ｎに対する）制御信号ＴＧ０、ＴＧ１、およびＴＧｎのタイミングを制御して、個々にそれぞれのフォトダイオードが残留電荷を生成／蓄積すること、およびオーバーフロー電荷を電荷検知ユニット６１４に移動させることを可能にすることができる。
【０１５０】
さらに、ピクセルセル６０２ａは、単一のＡＤＣ６１６、および、メモリバンク１４００ａ、１４００ｂ、１４００ｃなどを含む複数のメモリバンク１４００を含むメモリ９１２を含む。ＡＤＣ６１６は、比較器９０６および出力論理回路８０８を含む。（簡略化のためＣＣキャパシタおよびＭ８スイッチが図１４Ａでは省略されている）比較器９０６は、電圧を、（例えば、ＴＴＳ動作用の）静的閾値または（例えば、ＰＤ  ＡＤＣ動作およびＦＤ  ＡＤＣ動作用の）ランプ電圧と比較して、判定を生成することができる。また、出力論理回路９０８は、メモリバンクがカウンタ９１４からのカウント値を記憶する時を制御する。カウント値は電圧の量子化結果を表すことができ、この電圧は、上述されるように、フォトダイオードによって生成されるオーバーフロー電荷または残留電荷を表す。それぞれのメモリバンクは、書き込みまたは読み出し動作のために関連付けられたメモリバンクを選択するためにマルチプレクサ選択信号１４０６（例えば、１４０６ａ、１４０６ｂ、１４０６ｃなど）を受信することができるマルチプレクサ１４０２（例えば、マルチプレクサ１４０２ａ、１４０２ｂ、１４０２ｃなど）を含む。例えば、書き込み動作について、マルチプレクサ選択信号１４０６は、どのメモリバンクが出力論理回路９０８からラッチ信号を受信して、メモリバンクがカウンタ９１４からのカウント値を記憶する時を制御するのかを選択することができる。読み出し動作について、マルチプレクサ選択信号１４０６は、どのメモリバンクが（図１４Ａで「読み出し」とラベルを付けた）リードイネーブル信号を受信して、記憶されたカウント値を出力するのかを選択することができる。いくつかの例では、それぞれのメモリバンク１４００はＳＲＡＭセルを含むことができ、関連のマルチプレクサ１４０２はＳＲＡＭセルのワード線（ＷＬ）を駆動することができる。図１４Ａの例では、それぞれのメモリバンクは１つのフォトダイオードの量子化結果を記憶することができる。例えば、メモリバンク１４００ａは、フォトダイオードＰＤ０（または６１２ａ）の量子化結果を記憶することができ、メモリバンク１４００ｂは、フォトダイオードＰＤ１（または６１２ｂ）の量子化結果を記憶することができるなどである。後述されるように、フォトダイオードとメモリバンクとの間の他の異なるマッピングは、種々の応用に採用可能である。また、いくつかの例では、ＡＤＣ６１６およびメモリバンク１４００は、ピクセルセル６０２ａに外付け可能であり、かつマルチピクセルセルによって共有可能である。
【０１５１】
図１４Ｂは、図１４Ａのピクセルセル６０２ａの動作のシーケンス例１４３０および１４４０を示す。両方のシーケンス１４３０および１４４０では、コントローラ９２０は、フォトダイオード（例えば、ＰＤ０）のうちの１つを電荷検知ユニット６１４およびＡＤＣ６１６に接続して、選択９２２に基づいて、ＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作を行うことができる。ＰＤ０の量子化動作が完了した後、他のフォトダイオード（例えば、ＰＤ１、ＰＤ２など）は、交代で電荷検知ユニット６１４およびＡＤＣ６１６にアクセスしてＰＤ  ＡＤＣ動作を行うことができる。いくつかの例では、フォトダイオードのいくつかは、共にビニングされ、かつ電荷検知ユニット６１４およびＡＤＣ６１６に同時にアクセスすることが可能になる。例えば、ＰＤ０を含む波長範囲の光（例えば、単色）を検出するように構成されるフォトダイオードは、共にビニングされ、かつ電荷検知ユニット６１４およびＡＤＣ６１６に同時にアクセスして選択９２２に基づいてＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作を行うことが可能になり得る。さらに、ＰＤ０と異なる波長範囲の光を検出する他のフォトダイオードはまた、共にビニングされてＰＤ  ＡＤＣ動作を行うことができる。生じる量子化結果は、露光期間内に同じビンのフォトダイオードによって生成された電荷を表すことができる。
【０１５２】
具体的には、シーケンス１４３０および１４４０両方の始めに、コントローラ９２０はフォトダイオードＰＤ０、ＰＤ１、およびＰＤｎに対する露光時間を開始するためにシャッタースイッチＭ０ａ、Ｍ０ｂ、およびＭ０ｎに対する制御信号ＡＢ０、ＡＢ１、およびＡＢｎをデアサートすることができることで、それぞれのフォトダイオードが入射光の成分に応答して電荷を生成しかつ蓄積することができるようにする。時間Ｔ０と時間Ｔ２との間に、コントローラ９２０は、ＣＦＤおよびＣＥＸＴキャパシタを並列に接続して最大容量で電荷貯蔵デバイス９０２を構成し、かつ部分的にオンの状態で移動スイッチＭ１ａにバイアスをかけることによって、フォトダイオードＰＤ０（および／またはＰＤ０とビニングされた他のフォトダイオード）によってオーバーフロー電荷を電荷検知ユニット６１４に移動できるようにする一方、Ｍ１ｂおよびＭ１ｎなどの他の移動スイッチを無効にしている間に、他のフォトダイオードがオーバーフロー電荷を電荷検知ユニット６１４に移動できないようにすることが可能である。マルチプレクサ選択信号１４０６ａは、マルチプレクサ１４０２ａがラッチ信号を出力論理回路９０８からメモリバンク１４００ａに転送できるようにすることによって書き込むためのメモリバンク１４００ａを選択して、ＴＴＳ動作のためにＴ１でカウンタ９１４からのカウント値の記憶を制御することができる。
【０１５３】
選択９２２に基づいて、コントローラ９２０は、ＡＤＣ６１６がＰＤ０に対して時間Ｔ０と時間Ｔ１との間にＴＴＳ動作を行うように制御可能である。電荷検知ユニット６１４がＰＤ０によって飽和する場合、出力論理回路９０８はラッチ信号をアサート可能であり、マルチプレクサ１４０２ａは、アサートされたラッチ信号をメモリバンク１４００ａに転送して、ＴＴＳ動作からの時間Ｔ１でカウンタ９１４からの値を記憶することができる。ＴＴＳ動作が完了した後、ＦＤ  ＡＤＣ動作またはＰＤ  ＡＤＣ動作を行うことができる。例えば、シーケンス１４３０では、時間Ｔ１と時間Ｔ２との間に、コントローラ９２０は、図１１Ｃに説明されるように、ＡＤＣ６１６がＦＤ  ＡＤＣ動作を行って電荷検知ユニット６１４におけるオーバーフロー電荷を測定するように制御できる。電荷検知デバイス９０２が飽和しない場合、出力論理回路９０８はラッチ信号をアサートでき、マルチプレクサ１４０２ａは、アサートされたラッチ信号をメモリバンク１４００ａに転送して、ＦＤ  ＡＤＣ動作からの時間Ｔ２でカウンタ９１４からの値を記憶することができる。ＦＤ  ＡＤＣ動作の後、時間Ｔ２と時間Ｔ３との間に、コントローラ９２０は、ＣＦＤキャパシタをＣＥＸＴキャパシタから切断して、電荷貯蔵デバイス９０２の容量を低減し、かつフォトダイオードＰＤ０が残留電荷をＣＦＤキャパシタに移動させるように制御することができる。コントローラ９２０はまた、フォトダイオードのシャッタースイッチＭ０ａに対する制御信号ＡＢ０をデアサートすることによって、フォトダイオードＰＤ０の露光を停止することができる。コントローラ９２０はさらにまた、ＡＤＣ６１６が、ＰＤ  ＡＤＣ動作を行って残留電荷を測定するように制御可能である。オーバーフロー電荷がない場合、出力論理回路９０８はラッチ信号をアサートでき、マルチプレクサ１４０２ａは、アサートされたラッチ信号をメモリバンク１４００ａに転送して、ＰＤ  ＡＤＣ動作に対する時間Ｔ３でカウンタ９１４からの値を記憶することができる。
【０１５４】
ＰＤ０に対するＴＴＳ、ＦＤ  ＡＤＣ、およびＰＤ  ＡＤＣ動作の完了後、時間Ｔ３と時間Ｔ４との間に、コントローラ９２０は、ＣＦＤキャパシタをリセットし、ＰＤ１（および／またはＰＤ１とビニングされた他のフォトダイオード）が残留電荷をＣＦＤキャパシタに移動させるように制御し、およびＡＤＣ６１６がＰＤ  ＡＤＣ動作を行って残留電荷を測定するように制御することができる。Ｔ３とＴ４との間に、マルチプレクサ選択信号１４０６ａは書き込みのためにメモリバンク１４００ａを選択解除可能である。さらに、マルチプレクサ選択信号１４０６ｂは、マルチプレクサ１４０２ｂがラッチ信号を出力論理回路９０８からメモリバンク１４００ｂに転送できるようにすることによって書き込み用のメモリバンク１４００ｂを選択して、ＰＤ  ＡＤＣ動作に対するＴ４でカウンタ９１４からのカウント値の記憶を制御することができる。コントローラ９２０はさらにまた、他のフォトダイオードに対するＰＤ  ＡＤＣ動作を行い、かつＰＤ  ＡＤＣ動作のカウント値を他のメモリバンクに記憶することができる。ＰＤ  ＡＤＣ動作が完了した後、コントローラ９２０は、時間Ｔｎ−１と時間Ｔｎの間に、全てのメモリバンクを選択して、全てのメモリバンクからカウント値を読み出す読み出し動作を行うことができる。カウント値は、２Ｄフレームおよび３Ｄフレームの一部を表してよい。
【０１５５】
他方では、ＴＴＳ動作の完了後のシーケンス１４４０では、時間Ｔ１では、ＣＦＤキャパシタは、オーバーフロー電荷の一部をＣＥＸＴキャパシタに保存するためにＣＥＸＴキャパシタから切断可能である。図１１Ｄに説明されるように、ＣＦＤキャパシタは、リセット可能であり、時間Ｔ１と時間Ｔ２との間に、フォトダイオードＰＤ０で蓄積された残留電荷をＣＦＤキャパシタに移動させた後、ＰＤ  ＡＤＣ動作を行うことができる。フォトダイオードＰＤ０が残留電荷によって飽和しない場合、出力論理回路９０８は、（比較器９０６の出力を反転させることによって）ラッチ信号をアサートすることができ、マルチプレクサ１４０２ａはまた、アサートされたラッチ信号をメモリバンク１４００ａに転送して、ＰＤ  ＡＤＣ動作に対する時間Ｔ２でカウンタ９１４からの値を記憶することができる。図１１Ｄに説明されるように、時間Ｔ２と時間Ｔ３との間に、ＣＦＤキャパシタはＣＥＸＴキャパシタに接続されてオーバーフロー電荷をキャパシタ間で再分配することができ、ＡＤＣ６１６は、ＦＤ  ＡＤＣ動作を行ってオーバーフロー電荷を測定することができる。オーバーフロー電荷があり、かつオーバーフロー電荷がＴＴＳ動作において電荷貯蔵デバイスを飽和させない場合、出力論理回路９０８はラッチ信号をアサートでき、マルチプレクサ１４０２ａは、アサートされたラッチ信号をメモリバンク１４００ａに転送して、ＦＤ  ＡＤＣ動作に対して時間Ｔ３でカウンタ９１４からの値を記憶することができる。ＦＤ  ＡＤＣ動作の完了後、シーケンス１４３０にあるように、コントローラ９２０はさらにまた、残りのフォトダイオードのそれぞれに対してＰＤ  ＡＤＣ動作を行った後、メモリバンクの読み出し動作を行うことができる。
【０１５６】
図１４Ｃは、図１４Ａのピクセルセル６０２のアレイを含むイメージセンサ６００の動作１４５０のシーケンス例を示す。図１４Ｃに示されるように、第１のフレーム期間Ｔｆｒａｍｅ１（例えば、図７Ｃのフレーム期間７１４）内に、イメージセンサ６００のそれぞれのピクセルセルのフォトダイオードは、露光させて電荷を生成後、図１４Ｂに説明されるように、フォトダイオードの電荷の多段量子化動作、およびフォトダイオードのそれぞれに対するそれぞれのメモリバンク１４００における量子化結果の記憶を行うことができる。第１のフレーム期間Ｔｆｒａｍｅ１の終わりに、メモリバンク１４００は、第１の画像（例えば、図７Ｃの画像７１０）の、１つまたは複数の２Ｄフレーム（例えば、赤画像７１０ａ、青画像７１０ｂ、緑画像７１０ｃ）および３Ｄフレーム（例えば、赤外線画像７１０ｄ）を記憶することができる。第２のフレーム期間Ｔｆｒａｍｅ２（例えば、図７Ｃのフレーム期間７２４）内に、上記の電荷生成および量子化動作は、第２の画像（例えば、図７Ｃの画像７２０）を生成するために繰り返され得る。しかしながら、画像７２０に対する電荷の生成と並列に、ホストデバイス６５２に対して画像７１０を読み出しかつ移動させるためにそれぞれのピクセルセルのメモリバンク１４００上で読み出し動作を行うことができる。さらに、第３のフレーム期間Ｔｆｒａｍｅ３内に、メモリからの第２の画像の読み出しを、第３の画像に対する電荷の生成と並列に行うことができる。図１３Ｂに説明されるように、それぞれのフォトダイオードの量子化動作の前に、メモリが読み出される必要がある場合と比較して、図１４Ｃの配置によって、フレーム期間が大幅に低減し、かつイメージセンサのフレームレートおよび動作速度両方共が改善可能である。フレームレートおよび動作速度の改善は、フォトダイオードの量子化結果を記憶するためにピクセルセルにさらなるメモリバンクを設けて、別のフォトダイオードに対する読み出し動作の完了を待機するためにフォトダイオードの量子化動作の保留を回避することによってなされる。
【０１５７】
ここで、複数のフォトダイオードおよび複数のメモリバンクを含むピクセル６０２ａ、およびこの動作の別の例を示す図１５Ａ〜図１５Ｂを参照する。図１５Ａに示されるように、ピクセルセル６０２ａは、ＰＤ０、ＰＤ１などを含む複数のフォトダイオード、および、電荷検知ユニット６１４ａ、６１４ｂなどを含む複数の電荷検知ユニット６１４を含む。電荷検知ユニット６１４ａは、電荷貯蔵デバイス９０２ａおよび切替可能バッファ９０４ａを含み、かつフォトダイオードＰＤ０から移動させた残留電荷およびオーバーフロー電荷を電圧に変換するように構成される。電荷検知ユニット６１４ｂは、電荷貯蔵デバイス９０２ｂおよび切替可能バッファ９０４ｂを含み、かつフォトダイオードＰＤ１から移動させた残留電荷およびオーバーフロー電荷を電圧に変換するように構成される。それぞれのフォトダイオードは、対応するシャッタースイッチおよび対応する移動スイッチに連結される。例えば、フォトダイオードＰＤ０は、シャッタースイッチＭ０ａおよび移動スイッチＭ１ａに連結されるのに対し、フォトダイオードＰＤ１は、シャッタースイッチＭ０ｂおよび移動スイッチＭ１ｂに連結される。コントローラ９２０は、（シャッタースイッチＭ０ａおよびＭ０ｂに対する）制御信号ＡＢ０およびＡＢ１、（移動スイッチＭ１ａおよびＭ１ｂに対する）制御信号ＴＧ０およびＴＧ１、ならびに、制御信号ＲＳＴ０、ＬＧ０、ＲＳＴ１、およびＬＧ１のタイミングを制御して、個々にそれぞれのフォトダイオードが残留電荷を生成／蓄積すること、およびオーバーフロー電荷を対応する電荷検知ユニット６１４に移動させることを可能にすることができる。さらに、コントローラ９２０は、選択信号９２２によって選択された量子化動作を行うように、それぞれの電荷検知ユニット６１４ａおよび６１４ｂがＡＤＣ６１６にアクセスできるように、制御信号ＳＥＬ０およびＳＥＬ１のタイミングを制御することもできる。さらに、ピクセルセル６０２ａは、図１４Ａにあるように、ＡＤＣ６１６に連結されるメモリバンク１４００およびマルチプレクサ１４０２を含む。それぞれのメモリバンク１４００は、図１４Ａにあるように、フォトダイオードの量子化結果を記憶することができる（例えば、ＰＤ０に対するメモリバンク１４００ａ、ＰＤ１に対するメモリバンク１４００ｂなど）。図１４Ａにあるように、図１５Ａにおけるフォトダイオードは、（例えば、同じ波長範囲の光を検出するフォトダイオードに基づいて）ビニング可能であることで、ビニングされたフォトダイオードの電荷検知ユニットがＡＤＣ６１６に同時にアクセスできるようにする。
【０１５８】
それぞれのフォトダイオードに対するさらなる電荷貯蔵検知ユニットは、同じ露光期間中に並列にそれぞれのフォトダイオードからオーバーフロー電荷を蓄積でき、これによって、それぞれのフォトダイオードによって生成されるオーバーフロー電荷を測定するためにピクセルセル内のそれぞれのフォトダイオードに対してＦＤ  ＡＤＣ動作を行うことができるが、露光期間中にＡＤＣ６１６に接続するフォトダイオード（例えば、ＰＤ０）のみがＴＴＳ動作を行うことができる。図１５Ｂは、図１５Ａのピクセルセル６０２ａの動作のシーケンス例１５０２および１５０４を示す。図１５Ｂにおける動作のシーケンスは、ＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作がそれぞれのフォトダイオードに対して行われ得ることを除いて、図１４Ｂのシーケンス１４３０および１４４０と同様である。シーケンス１５０２では、ＦＤ  ＡＤＣ動作はそれぞれのフォトダイオードに対するＰＤ  ＡＤＣ動作の後に行われ得るのに対し、シーケンス１５０４では、ＰＤ  ＡＤＣ動作はそれぞれのフォトダイオードに対するＦＤ  ＡＤＣ動作の後に行われ得る。
【０１５９】
図１６Ａおよび図１６Ｂはイメージセンサ６００の他の例を示す。図１６Ａでは、イメージセンサ６００は、電荷検知ユニット６１４を共有することができるフォトダイオードのグループを含み、電荷検知ユニットは単一のＡＤＣ６１６を共有できる。例えば、フォトダイオード（ＰＤ０およびＰＤ１）のグループ１６０２は、電荷検知ユニット６１４ａを共有するのに対し、フォトダイオード（ＰＤ２およびＰＤ３）のグループ１６０４は電荷検知ユニット６１４ｂを共有する。いくつかの例では、フォトダイオードのグループ１６０４および１６０６はピクセルセルの一部とすることができるのに対し、いくつかの例では、フォトダイオードの対は異なるピクセルセルとすることができる。また、図１６Ａでは、１つのメモリバンクは、フォトダイオードの対の量子化結果を記憶するために設けられる。例えば、メモリバンク１４００ａはグループ１６０４の量子化結果を記憶するために設けられるのに対し、メモリバンク１４００ｂはグループ１６０６の量子化結果を記憶するために設けられる。それぞれのマルチプレクサ１４０２（例えば、マルチプレクサ１４０２ａ、１４０２ｂなど）は、マルチプレクサ選択信号１４０６の一部である信号ＳＥＬ＿ＭＥＭおよびＳＥＬ＿ＭＥＭ＿＊＿ｎの対（例えば、ＳＥＬ＿ＭＥＭ＿１およびＳＥＬ＿ＭＥＭ＿１＿ｎ、ＳＥＬ＿ＭＥＭ＿２およびＳＥＬ＿ＭＥＭ＿２＿ｎなど）によって制御される図１６Ａにおけるスイッチの対によって表される。ＳＥＬ＿ＭＥＭ信号は、ラッチ信号をＡＤＣ６１６から転送することによって書き込み動作のためのメモリバンクを選択するのに対し、ＳＥＬ＿ＭＥＭ＿＊＿ｎ信号は、ＷＬ＿ＳＥＬ＊（例えば、ＷＬ＿ＳＥＬ１、ＷＬ＿ＳＥＬ２など）信号をメモリバンクに転送することによって読み出し動作のためのメモリバンクを選択する。カウンタ９１４の出力は、書き込みデータを供給するためにそれぞれのメモリバンクに接続されるＢＬ０〜ＢＬ９とラベルを付けたビット線に接続可能である。それぞれのメモリバンクはまた、読み出し動作中に記憶されたデータを出力するためにｎＢＬ０〜ｎＢＬ９とラベルを付けたビット線に接続される。ＡＤＣ６１６およびメモリバンク１４００は、ピクセルセルの一部とすることができる、またはピクセルセルに外付け可能である。
【０１６０】
図１６Ａでは、グループ１６０２からの１つのフォトダイオードおよびグループ１６０４からの１つのフォトダイオード（例えば、ＰＤ０およびＰＤ２）は、光強度の測定を同時に行うために第１の露光期間内に露光され得、各電荷検知ユニットはフォトダイオードからのオーバーフロー電荷（ある場合）を蓄えることができる。ＡＤＣ６１６は、図１４Ｂに説明されるように、フォトダイオードのうちの１つ（例えば、ＰＤ０）に対するＴＴＳ動作、ＰＤ  ＡＤＣ動作、およびＦＤ  ＡＤＣ動作を、さらにまた、フォトダイオードのその他（例えば、ＰＤ２）に対するＰＤ  ＡＤＣ動作およびＦＤ  ＡＤＣ動作を行うように制御可能である。２つのメモリバンク１４００ａおよび１４００ｂは、フォトダイオードの量子化結果を記憶することができる。メモリバンクの読み出し中、グループ１６０２および１６０４からのフォトダイオードの別のセット（例えば、ＰＤ１およびＰＤ３）は、光強度の測定を同時に行うために第２の露光期間内に露光され得、その後、ＰＤ０およびＰＤ２に対して同じ量子化動作およびメモリ書き込み動作が行われ得る。図１６Ａでは、ＰＤ０、ＰＤ１、ＰＤ２、およびＰＤ３は、（例えば、ある特定の波長範囲の光成分を測定するために）ある特定のスペクトル応答を有するように構成可能であるが、これはフォトダイオードの全てが光強度を同時に測定することを必要としない。一例として、ＰＤ０およびＰＤ２は、２Ｄフレームを構成するために使用可能である異なる色の画像（例えば、赤画像７１０ａおよび緑画像７１０ｃ）を生成するために可視光の異なる成分を同時に検出するように構成可能であるのに対し、ＰＤ１およびＰＤ３は３Ｄフレームを構成するために赤外光を検出するように構成可能である。このような場合、２Ｄおよび３Ｄフレームデータを使用する応用では、これらのフレームを、図１６Ａのイメージセンサ６００によってわずかに異なる露光期間で得ることができるようにしてよい。いくつかの例では、グループ１６０２および１６０４のフォトダイオードは同じ露光時間を有することもできる。このような場合、ＰＤ  ＡＤＣ動作は、ＰＤ０に対するＴＴＳおよび／またはＦＤ  ＡＤＣ動作、ならびにＰＤ２に対するＦＤ  ＡＤＣ動作それぞれの後にＰＤ１およびＰＤ３で行われ得る。
【０１６１】
図１６Ｂはイメージセンサ６００の別の例を示す。図１６Ｂでは、グループ１６０２および１６０４のそれぞれは４つのフォトダイオードを含むことができる。例えば、グループ１６０２はフォトダイオードＰＤ０、ＰＤ１、ＰＤ２、およびＰＤ３を含むことができるのに対し、グループ１６０４はフォトダイオードＰＤ４、ＰＤ５、ＰＤ６、およびＰＤ７を含むことができる。フォトダイオードのそれぞれのグループはピクセルセルのフォトダイオードとすることができ、図１６Ｂにおけるフォトダイオードの２つのグループは異なるピクセルセルのものとすることができる。フォトダイオードのそれぞれのグループは、図１６Ａにあるように、電荷検知ユニット（例えば、グループ１６０２に対する電荷検知ユニット６１４ａ、グループ１６０４に対する電荷検知ユニット６１４ｂなど）を共有し、電荷検知ユニットは単一のＡＤＣを共有する。さらに、４つのメモリバンク１４００（例えば、１４００ａ、１４００ｂ、１４００ｃ、および１４００ｄ）は、フォトダイオードの量子化結果を記憶するために設けられる。図１６Ａにあるように、図１６Ｂのイメージセンサ６００によって種々の露光方式をサポートすることができる。例えば、両方のグループ（例えば、ＰＤ０およびＰＤ４）からの１つのフォトダイオードは、第１の露光期間で同時に露光された後、第２の露光期間で両方のグループ（例えば、ＰＤ１およびＰＤ５）からの別のフォトダイオードを露光することなどが可能である。別の例として、全てのフォトダイオードは同じ露光期間で露光可能であり、ここで、グループ１６０２からの１つのフォトダイオード（例えば、ＰＤ０）はＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作を行うことが可能であり、グループ１６０４からの１つのフォトダイオード（例えば、ＰＤ４）はＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作を行うことが可能である一方、残りのフォトダイオードはＰＤ  ＡＤＣ動作を行うことが可能である。
【０１６２】
メモリバンクへのフォトダイオードの異なるマッピングもサポート可能である。例えば、１つの例では、メモリバンク１４００ａおよびメモリバンク１４００ｂはグループ１６０２の２つのフォトダイオードの量子化結果を記憶することができるのに対し、メモリバンク１４００ｃおよびメモリバンク１４００ｄはグループ１６０４の２つのフォトダイオードの量子化結果を記憶することができる。このような場合、それぞれのグループからの２つのフォトダイオード（例えば、グループ１６０２からのＰＤ０およびＰＤ１、ならびにグループ１６０４からのＰＤ４およびＰＤ５）の量子化動作の後、それぞれのグループからの他のフォトダイオード（例えば、グループ１６０２のＰＤ２およびＰＤ３、ならびにグループ１６０４のＰＤ６およびＰＤ７）の露光が進行中である間にメモリバンクの読み出し動作を行うことができる。別の例として、メモリバンク１４００ａ、１４００ｂ、および１４００ｃはグループ１６０２の３つのフォトダイオードの量子化結果を記憶できるのに対し、メモリバンク１４００ｄはグループ１６０４の１フォトダイオードの量子化結果を記憶できる。例えば、グループ１６０２のフォトダイオードが関心領域にあるピクセルセルの一部である、または（例えば、他のフォトダイオードの露光時間を動的に調節するために）他のフォトダイオードの光測定動作を構成できるフォトダイオードのグループの一部であるときにこのような配置をもたらすことができる。このような場合、より多くのメモリリソースをグループ１６０２に割り当てることによって、グループ１６０２の量子化結果の読み出しはイメージセンサ６００の他のフォトダイオードより早く生じる可能性があり、これによって、他のフォトダイオードの光測定動作の調節はメモリバンク１４００から読み出されたグループ１６０２の量子化結果に基づくことが可能になる。
【０１６３】
図１７は、図１４Ａ、図１５Ａのピクセルセル６０２ａ、および／または図１６Ａのイメージセンサ６００によって行うことができる別の動作例を示す。図１７では、量子化動作（例えば、ＴＴＳ、ＦＤ  ＡＤＣ、ＰＤ  ＡＤＣ）は、フォトダイオードに対するＣＯＭＰ＿ＩＮ電圧の測定の複数のサンプルを得るために数回繰り返され得る。複数のサンプルは、複数のＴＴＳ測定、オーバーフロー電荷の量の複数の測定、残留電荷の量の複数の測定などに対応することができる。測定は、平均を見つけること、変化率を見つけることなど、様々なやり方で後処理可能である。このような配置では、測定におけるノイズの影響（例えば、暗電流、熱雑音など）を低減し、かつフォトダイオードが測定中露光されたままである場合オーバーフロー電荷／残留電荷の変化を考慮することができる。これら全ては、信号対雑音比およびダイナミックレンジを改善させることができる。量子化動作の繰り返しを容易にするために、メモリバンクをフォトダイオードに割り当てる代わりに、それぞれのメモリバンクが測定のサンプルを記憶するように、フォトダイオードに複数のメモリバンクを割り当て可能である。
【０１６４】
図１８は、第１のフォトダイオードおよび第２のフォトダイオードを含む複数のフォトダイオードによって光強度測定を行うための方法１８００を示す。第１のフォトダイオードおよび第２のフォトダイオードは、図１４Ａ、図１５Ａ、および図１６Ａに示されるような同じピクセルセル６０２ａの一部とすることができる、または図１６Ｂに示されるような異なるピクセルセルのものとすることができる。第１のフォトダイオードおよび第２のフォトダイオードは、同じ波長範囲または異なる波長範囲の入射光成分を検出するように構成可能である。２つのフォトダイオードは、単一の電荷検知ユニットに結合され得る、または２つの異なる電荷検知ユニットに結合され得る。それぞれの電荷検知ユニットは、電荷貯蔵デバイス（例えば、電荷貯蔵デバイス９０２）、および切替可能バッファ（例えば、切替可能バッファ９０４）を含む。電荷貯蔵デバイスは、メインキャパシタ（例えば、ＣＦＤ）および補助キャパシタ（例えば、ＣＥＸＴ）を含むことができ、これらは、電荷貯蔵デバイスの静電容量を調節するために並列に接続、または互いから切断可能である。電荷検知ユニットの出力は、量子化器（例えば、ＡＤＣ６１６）に連結され、この量子化器はさらに、第１のメモリバンク（例えば、メモリバンク１４００ａ）および第２のメモリバンク（１４００ｂ）に連結される。方法１８００は、ピクセルセル６０２ａまたはイメージセンサ６００の他の構成要素と併せて、例えばコントローラ９２０によって行われ得る。
【０１６５】
方法１８００はステップ１８０２で開始し、ここで、第１のフォトダイオードは入射光に露光されて第１の電荷を生成する。いくつかの例では、第１のシャッタースイッチは、第１のフォトダイオードと電荷シンクとの間で連結され、第１のシャッタースイッチは、第１のフォトダイオードを入射光に露光させて第１の電荷を生成するようにオフに切り替え可能であり、第１のシャッタースイッチをオフに切り替えることによって、露光期間を開始することができる。
【０１６６】
ステップ１８０４では、第２のフォトダイオードは、入射光に露光させて第２の電荷を生成する。いくつかの例では、第２のシャッタースイッチは、第２のフォトダイオードと電荷シンクとの間で連結され、第２のシャッタースイッチは、第２のフォトダイオードを入射光に露光させて第２の電荷を生成するようにオフに切り替え可能である。いくつかの例では、第１のシャッタースイッチおよび第２のシャッタースイッチは同時にオフに切り替え可能であることで、第１のフォトダイオードおよび第２のフォトダイオード両方に対して露光期間が同時に開始する。
【０１６７】
ステップ１８０６では、量子化器は、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷の第１の量子化動作および第２の量子化動作を行うように制御可能であり、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる。いくつかの例では、図１４Ｂに説明されるように、第１の量子化動作はＴＴＳ動作とすることができるのに対し、第２の量子化動作はＦＤ  ＡＤＣまたはＰＤ  ＡＤＣ動作とすることができる。電荷検知ユニットは、第１のフォトダイオードが（入射光強度が図１０の中間のまたは高い強度範囲にある場合）第１の電圧に変換するために飽和した後第１のフォトダイオードから第１の電荷の第１のオーバーフロー電荷を受けることができ、この第１の電圧は第１のデジタル出力を生成するためにＴＴＳまたはＦＤ  ＡＤＣ動作によって量子化可能である。さらに、電荷検知ユニットは、第１のフォトダイオードから第１の電荷の第１の残留電荷を受けて第２の電圧に変換し、この第２の電圧は第２のデジタル出力を生成するためにＰＤ  ＡＤＣ動作によって量子化可能である。
【０１６８】
ステップ１８０８では、第１のデジタル出力または第２のデジタル出力のうちの１つは、第１のメモリバンクに記憶可能である。第１のデジタル出力または第２のデジタル出力が第１のメモリバンクに記憶されるのかどうかの判定は、入射光の強度範囲に基づくことができ、これは、第１のフォトダイオードが第１の残留電荷によって飽和するかどうか、および電荷検知ユニットが第１のオーバーフロー電荷によって飽和するかどうかによって指示可能である。第１のメモリバンクは、第１のメモリバンクがカウンタ（例えば、カウンタ９１４）からのカウント値を記憶する時を制御するために量子化器からの出力を受けるために選択可能であり、出力（例えば、ラッチ信号）は、第１のフォトダイオードが第１の残留電荷によって飽和するかどうか、および電荷検知ユニットが第１のオーバーフロー電荷によって飽和するかどうかに基づいて、量子化器の出力論理回路９０８によって生成可能である。
【０１６９】
ステップ１８１０では、量子化器は、第３のデジタル出力を生成するために第２の電荷（例えば、第２の残留電荷）の第３の量子化動作（例えば、ＰＤ  ＡＤＣ動作）を行うように制御可能である。第３の量子化動作は、第１の量子化動作（例えば、ＴＴＳ動作）または第２の量子化動作（例えば、ＦＤ  ＡＤＣ動作）のうちの少なくとも１つと異なる強度範囲に関連付けられる。第２のフォトダイオードが、第２のフォトダイオードからの（第２の電荷の）第２のオーバーフロー電荷を蓄えることができる第２の電荷検知ユニットに連結される場合、量子化器はまた、第２の電荷を測定するためにＦＤ  ＡＤＣ動作を行ってよい。
【０１７０】
ステップ１８１２では、第３のデジタル出力は第２のメモリバンクに記憶可能である。第２のメモリバンクは、第２のメモリバンクがカウンタからのカウント値を記憶する時を制御するように量子化器からの出力を受けるために選択可能である。
【０１７１】
本説明の部分の中には、情報に対する動作のアルゴリズムおよび記号表現の観点から本開示の例を説明するものもある。これらのアルゴリズム的説明および表現は、当業者の作業の実体を効果的に当業者に伝えるために、当業者によって全体的に使用される。これらの動作は、機能的に、演算的に、または論理的に説明するが、コンピュータプログラム、または、同等の電気回路、マイクロコード、もしくは同様のものによって実現されることがわかる。さらに、一般性を失うことなく、動作のこれらの配置をモジュールと呼ぶことが時に便利であることも証明されてきた。説明した動作、および、これらに関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアで具体化することができる。
【０１７２】
説明したステップ、動作、または処理は、１つまたは複数のハードウェアまたはソフトウェアモジュール単独で、または、他のデバイスと組み合わせて実行すること、または実現することができる。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを収めるコンピュータ可読媒体を備えるコンピュータプログラム製品で実現され、コンピュータプログラムコードは、説明したステップ、動作、または処理のいずれかまたは全てを実行するために、コンピュータプロセッサで実行することができる。
【０１７３】
また、本開示の例は、説明した動作を実行するための装置に関するものであってもよい。装置は、必要な目的のために特に構築することができ、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされた、または再構成された汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読ストレージ媒体、または、電子的な命令を記憶するのに適した任意のタイプの媒体に記憶することができ、これらの媒体は、コンピュータシステムバスに連結することができる。さらに、本明細書で引用したいずれかのコンピューティングシステムは、単一のプロセッサを含むことができ、または、計算能力を向上させるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。
【０１７４】
また、本開示の例は、本明細書で説明した計算処理によって生み出された製品に関するものであってもよい。このような製品は、計算処理から生じた情報を含むことができ、ここで、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に記憶し、本明細書で説明したコンピュータプログラム製品、または、他のデータの組合せのいずれかの例を含むことができる。
【０１７５】
本明細書で使用した言葉は、可読性および指示目的のために主に選択してきたが、発明の主題を正確に描写するため、または制限するために選択してこなかった可能性がある。したがって、本開示の範囲は、この「発明を実施するための形態」によってではなく、むしろ、本明細書に基づく用途に対して発行するいずれかの請求項によって限定されることを意図するものである。したがって、例の本開示は、本開示の範囲を例証するためのものであるが、限定するものではなく、以下の特許請求の範囲に示す。
【図１Ａ】
2021536153.tif 000003
【図１Ｂ】
2021536153.tif 000004
【図２】
2021536153.tif 000005
【図３】
2021536153.tif 000006
【図４】
2021536153.tif 000007
【図５】
2021536153.tif 000008
【図６Ａ】
2021536153.tif 000009
【図６Ｂ】
2021536153.tif 000010
【図７Ａ】
2021536153.tif 000011
【図７Ｂ】
2021536153.tif 000012
【図７Ｃ】
2021536153.tif 000013
【図８Ａ】
2021536153.tif 000014
【図８Ｂ】
2021536153.tif 000015
【図８Ｃ】
2021536153.tif 000016
【図８Ｄ】
2021536153.tif 000017
【図９Ａ】
2021536153.tif 000018
【図９Ｂ】
2021536153.tif 000019
【図９Ｃ】
2021536153.tif 000020
【図１０】
2021536153.tif 000021
【図１１Ａ】
2021536153.tif 000022
【図１１Ｂ】
2021536153.tif 000023
【図１１Ｃ】
2021536153.tif 000024
【図１１Ｄ】
2021536153.tif 000025
【図１２Ａ】
2021536153.tif 000026
【図１２Ｂ】
2021536153.tif 000027
【図１３Ａ】
2021536153.tif 000028
【図１３Ｂ】
2021536153.tif 000029
【図１４Ａ】
2021536153.tif 000030
【図１４Ｂ】
2021536153.tif 000031
【図１４Ｃ】
2021536153.tif 000032
【図１５Ａ】
2021536153.tif 000033
【図１５Ｂ】
2021536153.tif 000034
【図１６Ａ】
2021536153.tif 000035
【図１６Ｂ】
2021536153.tif 000036
【図１７】
2021536153.tif 000037
【図１８】
2021536153.tif 000038
【国際調査報告】
2021536153.tif 000039
2021536153.tif 000040
2021536153.tif 000041
2021536153.tif 000042