(57)【要約】  １つの例では、装置は、複数のフォトダイオードと、１つまたは複数の電荷検知ユニットと、１つまたは複数のアナログデジタルコンバータ（ＡＤＣ）と、コントローラと、を備える。コントローラは、それぞれのフォトダイオードが入射光の異なる成分に応答して電荷を生成できるようにすること、複数のフォトダイオードからの電荷を１つまたは複数の電荷検知ユニットに移動させて電圧に変換すること、複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受信すること、該選択に基づいて、１つまたは複数のＡＤＣを制御して、選択された１つまたは複数の量子化プロセスを行って、１つまたは複数の電荷検知ユニットからの電圧を、異なる波長範囲のピクセルの成分を表すデジタル値に量子化すること、およびデジタル値に基づいてピクセル値を生成すること、を行うように構成される。【選択図】図２
2021528890.tif 000002
【特許請求の範囲】
【請求項１】
複数のフォトダイオードであって、それぞれのフォトダイオードはある波長範囲の入射光の成分を電荷に変換するように構成される、複数のフォトダイオードと、
１つまたは複数の電荷検知ユニットと、
１つまたは複数のアナログデジタルコンバータ（ＡＤＣ）と、
メモリと、
コントローラであって、
前記それぞれのフォトダイオードが前記入射光の異なる成分に応答して電荷を生成できるようにすること、
前記複数のフォトダイオードからの前記電荷を前記１つまたは複数の電荷検知ユニットに移動させて電圧に変換すること、
複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受信すること、
前記選択に基づいて、前記１つまたは複数のＡＤＣを制御して、選択された前記１つまたは複数の量子化プロセスを行って、前記１つまたは複数の電荷検知ユニットからの前記電圧を、異なる波長範囲のピクセルの成分を表すデジタル値に量子化すること、
前記デジタル値の少なくともいくつかを前記メモリに記憶すること、および
前記メモリに記憶された前記デジタル値の前記少なくともいくつかに基づいてピクセル値を生成すること
を行うように構成されるコントローラと、
を備える、装置。
【請求項２】
前記それぞれのフォトダイオードは、積分期間内に、前記それぞれのフォトダイオードが飽和するまで前記電荷の少なくとも一部を残留電荷として蓄積するように、かつ前記フォトダイオードが飽和した後、オーバーフロー電荷としての残りの前記電荷を前記１つまたは複数の電荷検知ユニットに移動させるように構成され、
前記１つまたは複数の電荷検知ユニットは構成可能な静電容量を有する電荷貯蔵デバイスを含み、
前記複数の量子化動作は、
最大静電容量で構成される前記電荷貯蔵デバイスが受け取る前記オーバーフロー電荷の量を表す第１のデジタル値を生成するための第１の量子化動作であって、第１の強度範囲に関連付けられる、第１の量子化動作と、
前記残留電荷を、最小静電容量で構成される前記電荷貯蔵デバイスに移動させた後、前記電荷貯蔵デバイスに蓄えられた前記残留電荷の量を表す第２のデジタル値を生成するための第２の量子化動作であって、前記第１の強度範囲より低い第２の強度範囲に関連付けられる、第２の量子化動作と、
を含む、請求項１に記載の装置。
【請求項３】
前記複数の量子化動作は、前記オーバーフロー電荷によって引き起こされる前記電荷貯蔵デバイスの飽和時間を表す第３のデジタル値を生成するための第３の量子化動作を含む、請求項２に記載の装置。
【請求項４】
受光面であって、当該受光面を通して、前記複数のフォトダイオードが前記入射光を受光する、受光面をさらに含み、
前記複数のフォトダイオードは、前記それぞれのフォトダイオードが異なる距離によって前記受光面から分離されるように前記受光面に対するスタック構造を形成し、
前記それぞれのフォトダイオードによって変換された前記成分は、前記それぞれのフォトダイオードと前記受光面との間の対応する前記距離に基づく、請求項３に記載の装置。
【請求項５】
受光面と、
前記受光面の第１の側面におけるフィルタアレイであって、対応する場所で前記受光面に入る前記入射光の成分を設定するために前記受光面の前記第１の側面の複数の場所に位置するフィルタエレメントを有する、フィルタアレイと、
をさらに含み、
前記複数のフォトダイオードは、複数のサブピクセルに対応し、かつ前記入射光の各成分を受光するために前記受光面の第２の側面の複数の場所に位置する、請求項３に記載の装置。
【請求項６】
前記フィルタアレイを含み、かつ前記受光面の前記第１の側面の前記複数の場所に向かってシーンの１つのスポットから受光した前記入射光を投射するように構成される、複数のフィルタアレイにわたる単一マイクロレンズをさらに含む、請求項５に記載の装置。
【請求項７】
第１のマイクロレンズを含む複数のマイクロレンズをさらに含み、前記第１のマイクロレンズは、前記フィルタアレイを覆い、かつ前記受光面の前記第１の側面の前記複数の場所に向かってシーンの１つのスポットから受光した入射光を投射するように構成される、請求項５に記載の装置。
【請求項８】
前記１つまたは複数の検知ユニットは、単一の電荷検知ユニットを含み、
前記１つまたは複数のＡＤＣは前記単一の電荷検知ユニットの出力に連結される単一のＡＤＣを含み、
前記装置は、複数のスイッチをさらに含み、それぞれのスイッチは、前記複数のフォトダイオードのうちのフォトダイオードと前記単一の電荷検知ユニットの入力との間で連結され、
前記コントローラは、前記それぞれのフォトダイオードによって生成された前記電荷を前記単一の電荷検知ユニットに移動させて電圧に変換するように前記複数のスイッチを制御するように、かつ、前記単一のＡＤＣを制御して、前記単一の電荷検知ユニットによって生成された前記電圧を量子化するように構成される、請求項３に記載の装置。
【請求項９】
前記コントローラは、
前記複数のフォトダイオードのうちの第１のフォトダイオードからの第１のオーバーフロー電荷を前記単一の電荷検知ユニットに移動させて第１の電圧に変換するように前記複数のスイッチのうちの第１のスイッチを制御すること、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第１の電圧の第１の量子化動作または前記第３の量子化動作のうちの少なくとも１つを行って第１のデジタル値を生成すること、
前記第１のフォトダイオードからの第１の残留電荷を前記単一の電荷検知ユニットに移動させて第２の電圧に変換するように前記第１のスイッチを制御すること、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第２の電圧の前記第２の量子化動作を行って第２のデジタル値を生成すること、
前記複数のフォトダイオードのうちの第２のフォトダイオードからの第２の残留電荷を前記単一の電荷検知ユニットに移動させて第３の電圧に変換するように前記複数のスイッチのうちの第２のスイッチを制御すること、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第３の電圧の前記第２の量子化動作を行って第３のデジタル値を生成すること、ならびに、
第１のデジタル値および前記第２のデジタル値のうちの１つに基づいて生成した前記ピクセル値を前記メモリから出力すること、
を行うように構成される、請求項８に記載の装置。
【請求項１０】
前記フォトダイオードのそれぞれは、前記残留電荷を蓄えるための異なる飽和容量を有し、
前記コントローラは、
前記複数のフォトダイオードのそれぞれのフォトダイオードからのオーバーフロー電荷を単一の電荷貯蔵ユニットに同時に移動させて、第１の電圧を生成するように前記複数のスイッチを制御すること、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第１の量子化動作または前記第３の量子化動作のうちの少なくとも１つを使用して前記第１の電圧を量子化して第１のデジタル値を生成すること、
前記それぞれのフォトダイオードからの残留電荷を前記単一の電荷貯蔵ユニットに異なる時間に移動させて、前記それぞれのフォトダイオードからの対応する前記残留電荷に対応するそれぞれの第２の電圧を生成するように前記複数のスイッチを制御すること、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第２の量子化動作を使用して前記第２の電圧を量子化して第２のデジタル値を生成すること、ならびに、
前記第１のデジタル値および前記第２のデジタル値に基づいて前記ピクセル値を生成すること、
を行うように構成される、請求項８に記載の装置。
【請求項１１】
前記コントローラは、
前記複数のフォトダイオードのそれぞれのフォトダイオードからのオーバーフロー電荷を前記単一の電荷検知ユニットに異なる時間に移動させて、前記それぞれのフォトダイオードからの対応する前記オーバーフロー電荷に対応するそれぞれの第１の電圧を生成するように前記複数のスイッチを制御すること、および、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第１の量子化動作または前記第３の量子化動作のうちの少なくとも１つを使用して前記第１の電圧を量子化して第１のデジタル値を生成することを、
第１の期間内に行うように、
前記それぞれのフォトダイオードからの残留電荷を前記単一の電荷貯蔵ユニットに異なる時間に移動させて、前記それぞれのフォトダイオードからの対応する前記残留電荷に対応するそれぞれの第２の電圧を生成するように前記複数のスイッチを制御すること、および、
前記選択に基づいて、前記単一のＡＤＣを制御して、前記第２の量子化動作を使用して前記第２の電圧を量子化して第２のデジタル値を生成することを、
第２の期間内に行うように、ならびに、
前記第１のデジタル値および前記第２のデジタル値のうちの少なくともいくつかに基づいて前記ピクセル値を生成するように構成される、請求項８に記載の装置。
【請求項１２】
前記１つまたは複数の検知ユニットは、前記複数のフォトダイオードに対応する複数の電荷検知ユニットを含み、
前記装置は、前記複数の電荷検知ユニットのそれぞれの電荷検知ユニットと、前記複数のフォトダイオードのうちの対応するフォトダイオードとの間でそれぞれ連結される複数のスイッチをさらに含む、請求項３に記載の装置。
【請求項１３】
前記コントローラは、
前記複数のフォトダイオードのうちの第１のフォトダイオードが、第１の電荷を、前記複数の電荷検知ユニットのうちの第１の電荷検知ユニットに移動させて第１の電圧を生成できるようにすること、
前記複数のフォトダイオードのうちの第２のフォトダイオードが、第２の電荷を、前記複数の電荷検知ユニットのうちの第２の電荷検知ユニットに移動させて第２の電圧を生成できるようにすること、
前記選択に基づいて、前記１つまたは複数のＡＤＣを制御して、前記第１の電圧の前記第１の量子化動作を行って第１のデジタル値を生成後、前記第２の電圧の前記第２の量子化動作または前記第３の量子化動作を行って第２のデジタル値を生成すること、および、
前記第１のデジタル値および前記第２のデジタル値に基づいて前記ピクセル値を生成すること、
を行うように構成される、請求項１２に記載の装置。
【請求項１４】
前記コントローラは、
前記複数のフォトダイオードのうちの第１のフォトダイオードが前記入射光に応答して第１の電荷を生成できるようにすること、
前記第１のフォトダイオードが、前記第１の電荷の第１のオーバーフロー電荷を前記複数の電荷検知ユニットのうちの第１の電荷検知ユニットに移動させて第１の電圧を生成できるようにすること、および、
前記選択に基づいて、前記１つまたは複数のＡＤＣを制御して、前記第１の電圧の前記第３の量子化動作を行って、第１の飽和時間を表す第１のデジタル値を生成することを、
第１の期間内に行うように、
前記複数のフォトダイオードのうちの第２のフォトダイオードが前記入射光に応答して第２の電荷を生成できるようにすること、
前記第２のフォトダイオードが、前記第２の電荷の第２のオーバーフロー電荷を前記複数の電荷検知ユニットのうちの第２の電荷検知ユニットに移動させて第２の電圧を生成できるようにすること、および、
前記選択に基づいて、前記１つまたは複数のＡＤＣを制御して、前記第２の電圧の前記第３の量子化動作を行って、第２の飽和時間を表す第２のデジタル値を生成することを、
第２の期間内に行うように、ならびに、
前記第１のデジタル値および前記第２のデジタル値に基づいて前記ピクセル値を生成するように構成される、請求項１３に記載の装置。
【請求項１５】
前記複数の電荷検知ユニットは、第１の電荷検知ユニット、第２の電荷検知ユニット、第３の電荷検知ユニット、および第４の電荷検知ユニットを含み、
前記１つまたは複数のＡＤＣは第１のＡＤＣおよび第２のＡＤＣを含み、
前記コントローラは、
前記第１のＡＤＣを制御して、前記第１の電荷検知ユニットからの第１の電圧、および前記第２の電荷検知ユニットからの第２の電圧を量子化するように、かつ、
前記第２のＡＤＣを制御して、前記第３の電荷検知ユニットからの第３の電圧、および前記第２の電荷検知ユニットからの第３の電圧を量子化するように構成される、請求項１２に記載の装置。
【請求項１６】
前記コントローラは、前記デジタル値のそれぞれを前記メモリに記憶するように構成される、請求項１に記載の装置。
【請求項１７】
前記コントローラは、
前記１つまたは複数のＡＤＣを制御して、前記複数のフォトダイオードのうちの第１のフォトダイオードによって生成された電荷に対応する第１の電圧を量子化することに基づいて第１のデジタル値を生成すること、
前記第１のデジタル値を前記メモリに記憶すること、
前記第１のデジタル値を読み出して前記ピクセル値を計算すること、
前記１つまたは複数のＡＤＣを制御して、前記複数のフォトダイオードのうちの第２のフォトダイオードによって生成された電荷に対応する第２の電圧を量子化することに基づいて第２のデジタル値を生成すること、
前記メモリにおいて前記第１のデジタル値を前記第２のデジタル値で上書きすること、および、
前記第２のデジタル値を読み出して前記ピクセル値を計算すること、
を行うように構成される、請求項１に記載の装置。
【請求項１８】
ピクセルセルの複数のフォトダイオードのそれぞれのフォトダイオードが、前記ピクセルセルが受光した入射光の異なる成分に応答して電荷を生成できるようにすることと、
前記複数のフォトダイオードからの前記電荷を１つまたは複数の電荷検知ユニットに移動させて電圧に変換することと、
前記複数のフォトダイオードのそれぞれのフォトダイオードについて、複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受け取ることと、
前記選択に基づいて、１つまたは複数のＡＤＣを制御して、選択された前記１つまたは複数の量子化プロセスを行って前記１つまたは複数の電荷検知ユニットからの前記電圧を、異なる波長範囲のピクセルの成分を表すデジタル値に量子化することと、
前記デジタル値の少なくともいくつかをメモリに記憶することと、
前記メモリに記憶された前記デジタル値の前記少なくともいくつかに基づいてピクセル値を生成することと、を含む、方法。
【請求項１９】
複数の量子化プロセスは、前記複数のフォトダイオードのうちの第１のフォトダイオードで蓄積された残留電荷の量を前記第１のフォトダイオードが飽和する前に測定するための第１の量子化プロセスと、前記第１のフォトダイオードが飽和した後に前記第１のフォトダイオードによって移動させたオーバーフロー電荷の量を測定するための第２の量子化プロセスと、前記第１のフォトダイオードからの前記オーバーフロー電荷によって引き起こされた前記１つまたは複数の電荷検知ユニットの飽和時間を測定するための第３の量子化プロセスと、を含む、請求項１８に記載の方法。
【請求項２０】
前記１つまたは複数の電荷検知ユニットは、前記複数のフォトダイオードによって共有される単一の電荷検知ユニットを含む、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本特許出願は、「Ｐｉｘｅｌ  Ｓｅｎｓｏｒ  ｈａｖｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ｐｈｏｔｏｄｉｏｄｅｓ」という名称の、２０１９年６月２６日に出願された米国特許出願第１６／４５３，５３８号、および「Ｄｉｇｉｔａｌ  Ｐｉｘｅｌ  Ｓｅｎｓｏｒ  ｗｉｔｈ  Ｍｕｌｔｉｐｌｅ  Ｐｈｏｔｏｄｉｏｄｅｓ」という名称の、２０１８年６月２７日に出願された米国特許仮出願第６２／６９０，５７１号の優先権を主張するものであり、これら特許出願は本願譲受人に譲渡され、かつあらゆる目的でこれら全体が参照により本明細書に組み込まれている。
【０００２】
本開示は、一般に、イメージセンサに関し、より具体的には、画像生成のための光強度を決定するためのインターフェース回路機器を含むピクセルセル構造に関する。
【背景技術】
【０００３】
イメージセンサの典型的なピクセルは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。入射光は、２Ｄおよび３Ｄ検知などの異なる応用に対する異なる波長範囲の成分を含むことができる。また、画像歪みを低減するために、フォトダイオードのアレイのそれぞれのフォトダイオードが電荷を生成するためのグローバル露光期間に入射光を同時に検知するグローバルシャッター動作が行われ得る。電荷は、電圧に変換するための電荷検知ユニット（例えば、浮動拡散）によって変換可能である。ピクセルセルのアレイは、電荷検知ユニットによって変換される電圧に基づいて入射光の異なる成分を測定し、かつシーンの２Ｄおよび３Ｄ画像の生成に対する測定結果を提供することができる。
【発明の概要】
【０００４】
本開示はイメージセンサに関する。より具体的には、また、限定することなく、本開示はピクセルセルに関する。本開示はまた、入射光の強度のデジタル表現を生成するためにピクセルセルの回路機器を動作させることに関する。
【０００５】
１つの例では、装置は、複数のフォトダイオードであって、それぞれのフォトダイオードはある波長範囲の入射光の成分を電荷に変換するように構成される、複数のフォトダイオードと、１つまたは複数の電荷検知ユニットと、１つまたは複数のアナログデジタルコンバータ（ＡＤＣ）と、メモリと、コントローラであって、それぞれのフォトダイオードが入射光の異なる成分に応答して電荷を生成できるようにすること、複数のフォトダイオードからの電荷を１つまたは複数の電荷検知ユニットに移動させて電圧に変換すること、複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受信すること、該選択に基づいて、１つまたは複数のＡＤＣを制御して、選択された１つまたは複数の量子化プロセスを行って、１つまたは複数の電荷検知ユニットからの電圧を、異なる波長範囲のピクセルの成分を表すデジタル値に量子化すること、デジタル値の少なくともいくつかをメモリに記憶すること、およびメモリに記憶されたデジタル値の少なくともいくつかに基づいてピクセル値を生成すること、を行うように構成されるコントローラと、を備える。
【０００６】
いくつかの態様では、それぞれのフォトダイオードは、積分期間内に、それぞれのフォトダイオードが飽和するまで電荷の少なくとも一部を残留電荷として蓄積するように、かつフォトダイオードが飽和した後、オーバーフロー電荷としての残りの電荷を１つまたは複数の電荷検知ユニットに移動させるように構成される。１つまたは複数の電荷検知ユニットは構成可能な静電容量を有する電荷貯蔵デバイスを含む。複数の量子化動作は、最大静電容量で構成される電荷貯蔵デバイスが受け取るオーバーフロー電荷の量を表す第１のデジタル値を生成するための第１の量子化動作であって、第１の強度範囲に関連付けられる、第１の量子化動作と、残留電荷を、最小静電容量で構成される電荷貯蔵デバイスに移動させた後、電荷貯蔵デバイスに蓄えられた残留電荷の量を表す第２のデジタル値を生成するための第２の量子化動作であって、第１の強度範囲より低い第２の強度範囲に関連付けられる、第２の量子化動作と、を含む。
【０００７】
いくつかの態様では、複数の量子化動作は、オーバーフロー電荷によって引き起こされる電荷貯蔵デバイスの飽和時間を表す第３のデジタル値を生成するための第３の量子化動作を含む。
【０００８】
いくつかの態様では、装置は、受光面であって、当該受光面を通して、複数のフォトダイオードが入射光を受光する、受光面をさらに含む。複数のフォトダイオードは、それぞれのフォトダイオードが異なる距離によって受光面から分離されるように受光面に対するスタック構造を形成する。それぞれのフォトダイオードによって変換された成分は、それぞれのフォトダイオードと受光面との間の対応する距離に基づく。
【０００９】
いくつかの態様では、装置は、受光面の第１の側面におけるフィルタアレイであって、対応する場所で受光面に入る入射光の成分を設定するために受光面の第１の側面の複数の場所に位置するフィルタエレメントを有する、フィルタアレイをさらに含む。複数のフォトダイオードは、複数のサブピクセルに対応し、かつ入射光の各成分を受光するために受光面の第２の側面の複数の場所に位置する。
【００１０】
いくつかの態様では、装置は、フィルタアレイを含み、かつ受光面の第１の側面の複数の場所に向かってシーンの１つのスポットから受光した入射光を投射するように構成される、複数のフィルタアレイにわたる単一マイクロレンズをさらに含む。
【００１１】
いくつかの態様では、装置は、第１のマイクロレンズを含む複数のマイクロレンズをさらに含み、第１のマイクロレンズは、フィルタアレイを覆い、かつ受光面の第１の側面の複数の場所に向かってシーンの１つのスポットから受光した入射光を投射するように構成される。
【００１２】
いくつかの態様では、１つまたは複数の検知ユニットは、単一の電荷検知ユニットを含む。１つまたは複数のＡＤＣは単一の電荷検知ユニットの出力に連結される単一のＡＤＣを含む。装置は、複数のスイッチをさらに含み、それぞれのスイッチは、複数のフォトダイオードのうちのフォトダイオードと単一の電荷検知ユニットの入力との間で連結される。コントローラは、それぞれのフォトダイオードによって生成された電荷を単一の電荷検知ユニットに移動させて電圧に変換するように複数のスイッチを制御するように、かつ、単一のＡＤＣを制御して、単一の電荷検知ユニットによって生成された電圧を量子化するように構成される。
【００１３】
いくつかの態様では、コントローラは、複数のフォトダイオードのうちの第１のフォトダイオードからの第１のオーバーフロー電荷を単一の電荷検知ユニットに移動させて第１の電圧に変換するように複数のスイッチのうちの第１のスイッチを制御すること、選択に基づいて、単一のＡＤＣを制御して、第１の電圧の第１の量子化動作または第３の量子化動作のうちの少なくとも１つを行って第１のデジタル値を生成すること、第１のフォトダイオードからの第１の残留電荷を単一の電荷検知ユニットに移動させて第２の電圧に変換するように第１のスイッチを制御すること、選択に基づいて、単一のＡＤＣを制御して、第２の電圧の第２の量子化動作を行って第２のデジタル値を生成すること、複数のフォトダイオードのうちの第２のフォトダイオードからの第２の残留電荷を単一の電荷検知ユニットに移動させて第３の電圧に変換するように複数のスイッチのうちの第２のスイッチを制御すること、選択に基づいて、単一のＡＤＣを制御して、第３の電圧の第２の量子化動作を行って第３のデジタル値を生成すること、ならびに、第１のデジタル値および第２のデジタル値のうちの１つに基づいて生成したピクセル値をメモリから出力すること、を行うように構成される。
【００１４】
いくつかの態様では、フォトダイオードのそれぞれは、残留電荷を蓄えるための異なる飽和容量を有する。コントローラは、複数のフォトダイオードのそれぞれのフォトダイオードからのオーバーフロー電荷を単一の電荷貯蔵ユニットに同時に移動させて第１の電圧を生成するように複数のスイッチを制御すること、選択に基づいて、単一のＡＤＣを制御して、第１の量子化動作または第３の量子化動作のうちの少なくとも１つを使用して第１の電圧を量子化して第１のデジタル値を生成すること、それぞれのフォトダイオードからの残留電荷を単一の電荷貯蔵ユニットに異なる時間に移動させて、それぞれのフォトダイオードからの対応する残留電荷に対応するそれぞれの第２の電圧を生成するように複数のスイッチを制御すること、選択に基づいて、単一のＡＤＣを制御して、第２の量子化動作を使用して第２の電圧を量子化して第２のデジタル値を生成すること、ならびに、第１のデジタル値および第２のデジタル値に基づいてピクセル値を生成すること、を行うように構成される。
【００１５】
いくつかの態様では、コントローラは、複数のフォトダイオードのそれぞれのフォトダイオードからのオーバーフロー電荷を単一の電荷検知ユニットに異なる時間に移動させて、それぞれのフォトダイオードからの対応するオーバーフロー電荷に対応するそれぞれの第１の電圧を生成するように複数のスイッチを制御すること、および、選択に基づいて、単一のＡＤＣを制御して、第１の量子化動作または第３の量子化動作のうちの少なくとも１つを使用して第１の電圧を量子化して第１のデジタル値を生成することを、第１の期間内に行うように構成される。コントローラは、それぞれのフォトダイオードからの残留電荷を単一の電荷貯蔵ユニットに異なる時間に移動させて、それぞれのフォトダイオードからの対応する残留電荷に対応するそれぞれの第２の電圧を生成するように複数のスイッチを制御すること、および、選択に基づいて、単一のＡＤＣを制御して、第２の量子化動作を使用して第２の電圧を量子化して第２のデジタル値を生成することを、第２の期間内に行うように、ならびに、第１のデジタル値および第２のデジタル値のうちの少なくともいくつかに基づいてピクセル値を生成するようにさらに構成される。
【００１６】
いくつかの態様では、１つまたは複数の検知ユニットは、複数のフォトダイオードに対応する複数の電荷検知ユニットを含む。装置は、複数の電荷検知ユニットのそれぞれの電荷検知ユニットと、複数のフォトダイオードのうちの対応するフォトダイオードとの間でそれぞれ連結される複数のスイッチをさらに含む。
【００１７】
いくつかの態様では、コントローラは、複数のフォトダイオードのうちの第１のフォトダイオードが、第１の電荷を、複数の電荷検知ユニットのうちの第１の電荷検知ユニットに移動させて第１の電圧を生成できるようにすること、複数のフォトダイオードのうちの第２のフォトダイオードが、第２の電荷を、複数の電荷検知ユニットのうちの第２の電荷検知ユニットに移動させて第２の電圧を生成できるようにすること、選択に基づいて、１つまたは複数のＡＤＣを制御して、第１の電圧の第１の量子化動作を行って第１のデジタル値を生成後、第２の電圧の第２の量子化動作または第３の量子化動作を行って第２のデジタル値を生成すること、ならびに、第１のデジタル値および第２のデジタル値に基づいてピクセル値を生成すること、を行うように構成される。
【００１８】
いくつかの態様では、コントローラは、複数のフォトダイオードのうちの第１のフォトダイオードが入射光に応答して第１の電荷を生成できるようにすること、第１のフォトダイオードが、第１の電荷の第１のオーバーフロー電荷を複数の電荷検知ユニットのうちの第１の電荷検知ユニットに移動させて第１の電圧を生成できるようにすること、および、選択に基づいて、１つまたは複数のＡＤＣを制御して、第１の電圧の第３の量子化動作を行って、第１の飽和時間を表す第１のデジタル値を生成することを、第１の期間内に行うように構成される。コントローラは、複数のフォトダイオードのうちの第２のフォトダイオードが入射光に応答して第２の電荷を生成できるようにすること、第２のフォトダイオードが、第２の電荷の第２のオーバーフロー電荷を複数の電荷検知ユニットのうちの第２の電荷検知ユニットに移動させて第２の電圧を生成できるようにすること、および、選択に基づいて、１つまたは複数のＡＤＣを制御して、第２の電圧の第３の量子化動作を行って、第２の飽和時間を表す第２のデジタル値を生成することを、第２の期間内に行うようにさらに構成される。コントローラは、第１のデジタル値および第２のデジタル値に基づいてピクセル値を生成するようにさらに構成される。
【００１９】
いくつかの態様では、複数の電荷検知ユニットは、第１の電荷検知ユニット、第２の電荷検知ユニット、第３の電荷検知ユニット、および第４の電荷検知ユニットを含む。１つまたは複数のＡＤＣは第１のＡＤＣおよび第２のＡＤＣを含む。コントローラは、第１のＡＤＣを制御して、第１の電荷検知ユニットからの第１の電圧、および第２の電荷検知ユニットからの第２の電圧を量子化するように、かつ、第２のＡＤＣを制御して、第３の電荷検知ユニットからの第３の電圧、および第２の電荷検知ユニットからの第３の電圧を量子化するように構成される。
【００２０】
いくつかの態様では、コントローラは、デジタル値のそれぞれをメモリに記憶するように構成される。
【００２１】
いくつかの態様では、コントローラは、１つまたは複数のＡＤＣを制御して、複数のフォトダイオードのうちの第１のフォトダイオードによって生成された電荷に対応する第１の電圧を量子化することに基づいて第１のデジタル値を生成すること、第１のデジタル値をメモリに記憶すること、第１のデジタル値を読み出してピクセル値を計算すること、１つまたは複数のＡＤＣを制御して、複数のフォトダイオードのうちの第２のフォトダイオードによって生成された電荷に対応する第２の電圧を量子化することに基づいて第２のデジタル値を生成すること、メモリにおいて第１のデジタル値を第２のデジタル値で上書きすること、および、第２のデジタル値を読み出してピクセル値を計算することを行うように構成される。
【００２２】
１つの例では、方法が提供される。方法は、ピクセルセルの複数のフォトダイオードのそれぞれのフォトダイオードが、ピクセルセルが受光した入射光の異なる成分に応答して電荷を生成できるようにすることと、複数のフォトダイオードからの電荷を１つまたは複数の電荷検知ユニットに移動させて電圧に変換することと、複数のフォトダイオードのそれぞれのフォトダイオードについて、複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受け取ることと、選択に基づいて、１つまたは複数のＡＤＣを制御して、選択された１つまたは複数の量子化プロセスを行って１つまたは複数の電荷検知ユニットからの電圧を、異なる波長範囲のピクセルの成分を表すデジタル値に量子化することと、デジタル値の少なくともいくつかをメモリに記憶することと、メモリに記憶されたデジタル値の少なくともいくつかに基づいてピクセル値を生成することと、を含む。
【００２３】
いくつかの態様では、複数の量子化プロセスは、複数のフォトダイオードのうちの第１のフォトダイオードで蓄積された残留電荷の量を第１のフォトダイオードが飽和する前に測定するための第１の量子化プロセスと、第１のフォトダイオードが飽和した後に第１のフォトダイオードによって移動させたオーバーフロー電荷の量を測定するための第２の量子化プロセスと、第１のフォトダイオードからのオーバーフロー電荷によって引き起こされた１つまたは複数の電荷検知ユニットの飽和時間を測定するための第３の量子化プロセスと、を含む。
【００２４】
実例を、以下の図を参照しながら説明する。
【図面の簡単な説明】
【００２５】
【図１Ａ】ニアアイディスプレイの一例の図である。
【図１Ｂ】ニアアイディスプレイの一例の図である。
【図２】ニアアイディスプレイの断面の一例を示す図である。
【図３】単一のソースアセンブリを有する導波路ディスプレイの一例の等角図である。
【図４】導波路ディスプレイの一例の断面を示す図である。
【図５】ニアアイディスプレイを含むシステムの一例のブロック図である。
【図６】イメージセンサの例のブロック図である。
【図７Ａ】図６のイメージセンサによる動作例を示す図である。
【図７Ｂ】図６のイメージセンサによる動作例を示す図である。
【図７Ｃ】図６のイメージセンサによる動作例を示す図である。
【図８Ａ】図６のイメージセンサのフォトダイオードの配置構成の例を示す図である。
【図８Ｂ】図６のイメージセンサのフォトダイオードの配置構成の例を示す図である。
【図８Ｃ】図６のイメージセンサのフォトダイオードの配置構成の例を示す図である。
【図８Ｄ】図６のイメージセンサのフォトダイオードの配置構成の例を示す図である。
【図９】ピクセルセルの一例のブロック図である。
【図１０】図９のピクセルセルによる異なる光強度範囲の時間に対して蓄積された電荷の例を示す図である。
【図１１Ａ】量子化を行うための技法を示す図である。
【図１１Ｂ】量子化を行うための技法を示す図である。
【図１１Ｃ】量子化を行うための技法を示す図である。
【図１１Ｄ】量子化を行うための技法を示す図である。
【図１２】光強度測定を行うための制御信号のシーケンス例を示す図である。
【図１３Ａ】複数のフォトダイオードを有するピクセルセルおよびこの動作の一例のブロック図である。
【図１３Ｂ】複数のフォトダイオードを有するピクセルセルおよびこの動作の一例のブロック図である。
【図１４Ａ】複数のフォトダイオードを有するピクセルセルおよびこの動作の一例のブロック図である。
【図１４Ｂ】複数のフォトダイオードを有するピクセルセルおよびこの動作の一例のブロック図である。
【図１５】光強度を測定するためのプロセス例のフローチャートである。
【発明を実施するための形態】
【００２６】
図は、例証のためだけに本開示の例を描写する。本開示の原理、または勧められた利益から逸脱することなく、示した構造および方法の代替例が採用されてもよいということを、当業者は以下の説明から容易に認識するであろう。
【００２７】
添付の図では、類似の構成要素および／または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素は、類似の構成要素の間で区別するダッシュおよび第２のラベルが参照ラベルに続くことによって区別することがある。第１の参照ラベルだけが本明細書で使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する類似の構成要素のうちの任意の１つに適用することができる。
【００２８】
以下の説明では、説明のために、一定の発明の例を完全に理解するために、具体的詳細が示される。しかし、これらの具体的詳細がなくても、様々な例を実践できるということが明らかであろう。図および説明は、限定的であることを意図するものではない。
【００２９】
典型的なイメージセンサはピクセルセルのアレイを含む。それぞれのピクセルセルは、光子を電荷（電子または正孔）に変換することによって入射光の強度を測定するためのフォトダイオードを含む。フォトダイオードによって生成される電荷は、浮遊ドレインノードを含むことができる電荷検知ユニットによって電圧に変換可能である。電圧は、アナログデジタルコンバータ（ＡＤＣ）によってデジタル値に量子化可能である。デジタル値は、ピクセルセルが受光した光の強度を表すことができ、かつシーンのスポットから受光した光に対応し得るピクセルを形成できる。ピクセルのアレイを含む画像は、ピクセルセルのアレイのデジタル出力から得ることができる。
【００３０】
２Ｄ検知および３Ｄ検知など、画像化の異なるモードを実行するために、イメージセンサを使用することができる。２Ｄ検知および３Ｄ検知は、異なる波長範囲の光に基づいて行うことができる。例えば、２Ｄ検知のために可視光を使用することができ、その一方で、３Ｄ検知のために不可視光（例えば、赤外光）を使用することができる。イメージセンサは、光学フィルタアレイを含み、異なる光学波長範囲および色の可視光（例えば、赤色、緑色、青色、および単色など）を、２Ｄ検知のために割り当てられたピクセルセルの第１のセットに配分し、不可視光を、３Ｄ検知のために割り当てられたピクセルセルの第２のセットに配分する。
【００３１】
２Ｄ検知を行うために、ピクセルセルにおけるフォトダイオードは、可視光成分（例えば、赤、緑、青、単色など）の強度に比例した割合で電荷を生成することができ、露光期間に蓄積された電荷の量は、可視光（または、可視光の一定の色成分）の強度を表すために使用可能である。電荷は、フォトダイオードに一時的に蓄え、次に、キャパシタ（例えば、浮遊拡散）に移動させて、電圧を生じることができる。電圧は、アナログデジタルコンバータ（ＡＤＣ：ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）でサンプリングして量子化し、可視光の強度に相当する出力を生成することができる。可視光の異なる色成分（例えば、赤色、緑色、および青色）を検知するように構成された複数のピクセルセルからの出力に基づいて、画像のピクセル値を生成することができる。
【００３２】
さらに、３Ｄ検知を実行するために、異なる波長範囲の光（例えば、赤外光）をオブジェクトに投射することができ、反射した光は、ピクセルセルによって検出することができる。光は、構造光、光パルス、等を含むことができる。ピクセルセルの出力は、例えば、反射した構造光のパターンの検出、光パルスの飛行時間の測定、等に基づいて、深度検知動作を実行するために使用することができる。反射した構造光のパターンを検出するために、露光時間中にピクセルセルによって生成された電荷の量の分布を判定することができ、電荷の量に相当する電圧に基づいてピクセル値を生成することができる。飛行時間測定のために、ピクセルセルのフォトダイオードでの電荷の生成のタイミングは、反射した光パルスをピクセルセルで受光した時間を表すように決定することができる。光パルスをオブジェクトに投射した時間と、反射した光パルスをピクセルセルで受光した時間との間の時間差を、飛行時間測定を行うために使用することができる。
【００３３】
ピクセルセルアレイを使用して、シーンの情報を生成可能である。いくつかの例では、アレイ内のピクセルセルのサブセット（例えば、第１のセット）は、シーンの２Ｄ検知を行うために光の可視成分を検出でき、アレイ内のピクセルセルの別のサブセット（例えば、第２のセット）は、シーンの３Ｄ検知を行うために光の赤外線成分を検出できる。２Ｄ画像化データと３Ｄ画像化データの融合は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ−ｒｅａｌｉｔｙ）体験、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ−ｒｅａｌｉｔｙ）体験、および／または複合現実（ＭＲ：ｍｉｘｅｄ  ｒｅａｌｉｔｙ）体験をもたらす多くの用途に有用である。例えば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、システムのユーザがいる環境のシーンを再現することができる。再現したシーンに基づいて、ＶＲ／ＡＲ／ＭＲは、双方向体験をもたらすための表示効果を生成することができる。シーンを再現するために、ピクセルセルアレイ内のピクセルセルのサブセットは、３Ｄ検知を実行して、例えば、環境内の物理オブジェクトのセットを識別し、物理オブジェクトとユーザとの間の距離を判定することができる。ピクセルセルアレイ内のピクセルセルの別のサブセットは、２Ｄ検知を実行して、例えば、これらの物理オブジェクトのテクスチャ、色、および反射率を含む視覚属性をキャプチャすることができる。シーンの２Ｄ画像データおよび３Ｄ画像データは、次に、例えば、オブジェクトの視覚属性を含むシーンの３Ｄモデルを作成するためにマージすることができる。別の例として、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、２Ｄ画像データと３Ｄ画像データの融合に基づいて、頭部追跡動作も実行することができる。例えば、２Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、一定の画像特徴を抽出して、オブジェクトを識別することができる。３Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、ユーザが身につけているウェアラブルデバイスに対する識別したオブジェクトの位置を追跡することができる。ＶＲ／ＡＲ／ＡＲシステムは、例えば、ユーザの頭が動くときの、識別したオブジェクトのウェアラブルデバイスに対する位置の変化を追跡することに基づいて、頭の動きを追跡することができる。
【００３４】
異なる入射光成分（例えば、異なる可視光成分、可視光対赤外光など）を検知するためにピクセルセルの異なるセットを使用することによって、多数の課題がもたらされる可能性がある。最初に、アレイのピクセルセルのサブセットのみを使用して特定の入射光成分を測定するため、画像化の空間分解能は低減され得る。例えば、ピクセルセルの異なるサブセットが２Ｄ画像化または３Ｄ画像化に使用される場合、２Ｄ画像および３Ｄ画像の両方の空間分解能は、ピクセルセルアレイで利用可能な最大空間分解能より低い。同様に、特定の可視光成分の画像化のための空間分解能も、ピクセルセルアレイで利用可能な最大空間分解能より低い。分解能は、より多くのピクセルセルを含めることによって改善することができるが、このようなアプローチは、イメージセンサのフォームファクタ、および、電力消費量を大きくする恐れがあり、これらは両方、ウェアラブルデバイスにとって特に望ましくない。
【００３５】
さらに、異なる波長範囲の光を測定するために割り当てられたピクセルセルを一緒に置かないので、シーンの異なるスポットの情報を異なるピクセルセルがキャプチャする場合があることで、異なる入射光成分の画像の間のマッピングを複雑にする可能性がある。例えば、（２Ｄ画像化のために）可視光の一定の色成分を受光するピクセルセル、および、（３Ｄ画像化のために）不可視光を受光するピクセルセルは、シーンの異なるスポットの情報もキャプチャする可能性がある。これらのピクセルセルの出力は、２Ｄ画像および３Ｄ画像を生成するために単純にマージすることができない。ピクセルセルの異なる位置によるピクセルセルの出力の間の対応関係の欠如は、動いているオブジェクトの２Ｄ画像および３Ｄ画像をピクセルセルアレイが取り込んでいるときに悪化する恐れがある。２Ｄ画像のためのピクセルを生成するために異なるピクセルセルの出力を相関させるため、および、２Ｄ画像と３Ｄ画像の間で相関させるために利用できる処理技法（例えば、補間）があるが、これらの技法は、典型的には、計算負荷が大きく、電力消費量も増加させる恐れがある。２Ｄ画像の再構成のために異なる可視光成分に関連付けられたピクセルセルのマッピングにおいて同様の問題が生じる可能性がある。
【００３６】
本開示は、ピクセルセルのアレイを有し、かつシーンのスポットから入射光の異なる成分を並べて画像化できるイメージセンサ、および、グローバルシャッター動作を提供することに関する。具体的には、それぞれのピクセルセルは、複数のフォトダイオードと、１つまたは複数の電荷検知ユニットと、１つまたは複数のアナログデジタルコンバータ（ＡＤＣ）と、メモリと、コントローラと、を含むことができる。複数のフォトダイオードのそれぞれのフォトダイオードは入射光の成分を電荷に変換するように構成される。コントローラは、複数のフォトダイオードからの電荷を１つまたは複数の電荷検知ユニットに移動させて電圧に変換することができる。コントローラは、複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受信し、かつ、該選択に基づいて、ＡＤＣを制御して、選択された１つまたは複数の量子化プロセスを行って、１つまたは複数の電荷検知ユニットからの電圧を、シーンのスポットに対応し得る、ピクセルの成分を表すデジタル値に量子化することもできる。コントローラはまた、デジタル値の少なくともいくつかをメモリに記憶し、かつ、メモリに記憶されたデジタル値の少なくともいくつかに基づいてピクセル値を生成することができる。ピクセルセルのアレイからのピクセル値は、グローバルシャッター動作をサポートするためにグローバル露光期間内にそれぞれのピクセルセルが受光した入射光を表すことができる。
【００３７】
複数のフォトダイオードがシーンのスポットからの入射光の異なる成分を変換できるようにするための様々な技法が提案される。ピクセルセルは、受光面であって、当該受光面を通して、複数のフォトダイオードが入射光を受光する、受光面を含む。いくつかの例では、複数のフォトダイオードは、それぞれのフォトダイオードが異なる距離によって受光面から分離されるように受光面に対するスタック構造を形成する。入射光はスタック構造内を伝搬するため、異なる成分は、それぞれのフォトダイオードと受光面との間の対応する距離に基づいてそれぞれのフォトダイオードによって吸収されかつ変換され得る。いくつかの例では、それぞれのフォトダイオードは半導体基板で形成可能である。ピクセルセルは、スタックした半導体基板の最上部または底部に受光面が形成される複数のフォトダイオードを含む複数の半導体基板をスタックすることによって形成可能である。
【００３８】
いくつかの例では、複数のフォトダイオードは、それぞれのフォトダイオードがサブピクセルに対応しかつシーンの同じスポットから入射光を受光するように構成されるように、横方向に、および受光面から同じ距離で配置可能である。フィルタアレイはピクセルセルの受光面の第１の側面に位置することができる。フィルタアレイは、対応する場所で受光面に入る入射光の成分を設定するために受光面の第１の側面の複数の場所に位置するフィルタエレメントを含んでよい。複数のフォトダイオードは、単一の半導体基板にあり、かつ入射光の各成分を受光するために受光面の第２の側面の複数の場所に位置することができる。いくつかの例では、１つまたは複数のマイクロレンズは、フィルタアレイにわたって位置して、受光面の第１の側面の複数の場所に向かってシーンの同じスポットから受光した入射光を投射できることで、それぞれのフォトダイオードはサブピクセルとして同じスポットから入射光を受光することができる。
【００３９】
１つまたは複数の電荷検知ユニットは、構成可能な電荷貯蔵デバイス、および複数のフォトダイオードによって生成された電荷を電圧に変換するためのバッファを含んでよい。構成可能な電荷貯蔵デバイスは、複数のフォトダイオードからの電荷を蓄積して電圧を生成するための浮遊ドレインを含んでよい。補助キャパシタ（例えば、金属キャパシタ、金属酸化膜半導体（ＭＯＳ）キャパシタなど）は、電荷貯蔵デバイスの静電容量を拡張するまたは減らすために浮遊ドレインに対して接続または切断が可能である。バッファは、電荷貯蔵デバイスにおける電圧をこの駆動強度を高めるためにバッファすることができる。１つの例では、１つまたは複数の電荷検知ユニットは、電荷電圧変換（ｃｈａｒｇｅ−ｔｏ−ｖｏｌｔａｇｅ  ｃｏｎｖｅｒｓｉｏｎ）を行うために複数のフォトダイオードの間で共有可能である単一の電荷検知ユニットを含んでよい。１つの例では、１つまたは複数の電荷検知ユニットは、それぞれが、複数のフォトダイオードのうちのフォトダイオードに対応し、かつ対応するフォトダイオードによって生成された電荷を電圧に変換するように構成される複数の電荷検知ユニットを含んでよい。両方の例では、ピクセルセルは、複数のスイッチをさらに含み、それぞれのスイッチは、フォトダイオードと、共有された／対応する電荷検知ユニットとの間で連結され、フォトダイオードから電荷検知ユニットへの電荷の移動を制御するためのコントローラによって制御可能である。１つまたは複数のＡＤＣが複数の電荷検知ユニットの間で共有される場合、それぞれの電荷検知ユニットは、バッファと１つまたは複数のＡＤＣとの間で連結され、１つまたは複数のＡＤＣに出力電圧を提供するための電荷検知ユニットはどれかを選択するためにコントローラによって制御可能であるスイッチを含むこともできる。
【００４０】
コントローラは、１つまたは複数のＡＤＣを制御して１つまたは複数の電荷検知ユニットによって出力された出力電圧を量子化することができる。１つまたは複数のＡＤＣは、（ピクセルセルが複数の電荷検知ユニットを含む場合の）電荷検知ユニット間で共有可能である、またはピクセルセルの単一の電荷検知ユニットに連結される単一のＡＤＣを含んでよい。１つまたは複数のＡＤＣは、光強度測定動作のダイナミックレンジを増大させることができる、異なる強度範囲に関連付けられた異なる量子化動作に基づく電圧を量子化することができる。具体的には、それぞれのフォトダイオードは、露光期間内の、入射光強度を表す電荷の量を生成可能である。それぞれのフォトダイオードは、残留電荷として電荷の少なくとも一部を蓄えるための量子井戸も有する。低い光強度範囲に対して、フォトダイオードは、残留電荷としての全電荷を量子井戸に蓄えることができる。中間の光強度範囲に対して、量子井戸は、残留電荷によって飽和する可能性があり、フォトダイオードは、オーバーフロー電荷としての残りの電荷を１つまたは複数の電荷検知ユニットに移動させることができる。量子井戸容量は、フォトダイオードと電荷検知ユニットとの間のスイッチ上のバイアス電圧に基づいて設定可能である。高い光強度範囲に対して、１つまたは複数の電荷検知ユニットにおける電荷貯蔵デバイスは、オーバーフロー電荷によって飽和する可能性がある。コントローラは、１つまたは複数のＡＤＣが、オーバーフロー電荷および残留電荷を測定することに基づいて、高い強度範囲、中間の強度範囲、および低い強度範囲に対する異なる量子化動作を行うように制御可能である。
【００４１】
具体的には、高い光強度範囲の測定について、コントローラは、電荷貯蔵デバイスがオーバーフロー電荷によって飽和するのにかかる時間を量子化することによって、飽和時間（ＴＴＳ）測定動作を１つまたは複数のＡＤＣが行うように制御可能である。ＴＴＳ測定を露光時間内に行うことができ、フォトダイオードが電荷検知ユニットに連結されるとき、電荷検知ユニットの出力は１つまたは複数のＡＤＣに連結される。電荷貯蔵デバイスの容量は、ＴＴＳ動作のために浮遊ドレインを補助キャパシタと接続することによって最大化可能である。ＴＴＳ動作では、露光時間の開始時にカウンタを開始することができる。１つまたは複数のＡＤＣは、電荷検知ユニットの出力電圧を、判定を生成するために電荷貯蔵デバイスの飽和限界を表す静的閾値と比較することができる。判定が、電荷検知ユニットの出力が閾値に達することを指示するとき、カウンタからのカウント値は、飽和時間を表すためにメモリに記憶され得る。ＴＴＳ動作は、光強度が高くなり過ぎることで電荷貯蔵デバイスが飽和し、かつ電荷検知ユニットの出力がもはや、生成される電荷の量（および光強度）と相関しないことで、ダイナミックレンジの上限が拡張される可能性があるときに行われ得る。
【００４２】
電荷貯蔵デバイスがオーバーフロー電荷によって飽和しない中間の強度範囲の測定について、コントローラは、１つまたは複数のＡＤＣが電荷貯蔵デバイスに蓄えられたオーバーフロー電荷の量を測定するためにＦＤ  ＡＤＣ測定動作を行うように制御可能である。ＦＤ  ＡＤＣ測定は、露光期間内に行われ得、フォトダイオードが、オーバーフロー電荷を一時的に蓄えることができる電荷検知ユニットと連結されるとき、蓄えた電荷を第１の電圧に変換できる。１つまたは複数のＡＤＣは、判定を生成するために第１の電圧を第１のランプ電圧と比較することができる。カウンタは、ランプ電圧の開始点でカウントを開始でき、メモリは、第１のランプ電圧が第１の電圧に達するときカウント値を記憶することができる。記憶されたカウント値は、オーバーフロー電荷の量を表すことができる。複数の電荷検知ユニットがＡＤＣを共有する場合、ＡＤＣは、カウント値を生成するためにそれぞれの電荷検知ユニットによって出力された第１の電圧を連続してランプ電圧と比較することができる。
【００４３】
フォトダイオードの量子井戸が残留電荷によって飽和しない低い強度範囲の測定について、コントローラは、１つまたは複数のＡＤＣが、フォトダイオードに蓄えられた残留電荷の量を測定するためにＰＤ  ＡＤＣ測定動作を行うように制御可能である。ＰＤ  ＡＤＣ測定動作を行うために、コントローラは、フォトダイオードからの残留電荷を電荷貯蔵デバイスに移動させて第２の電圧に変換するようにフォトダイオードと電荷検知ユニットとの間のスイッチを制御可能である。電荷貯蔵デバイスの静電容量はまた、（例えば、補助キャパシタを切断することによって）電荷電圧変換利得を最大化するために減らすことが可能であり、これによって量子化誤差を減らすことができる。１つまたは複数のＡＤＣは、判定を生成するために第２の電圧を第２のランプ電圧と比較することができる。カウンタは、第２のランプ電圧の開始点でカウントを開始でき、メモリは、第２のランプ電圧が第２の電圧に達するときカウント値を記憶することができる。記憶されたカウント値は、残留電荷の量を表すことができる。ＰＤ  ＡＤＣ動作（および残留電荷の移動）は露光期間後に行われ得る。複数のフォトダイオードが電荷検知ユニットを共有する場合、コントローラは、それぞれのフォトダイオードに対するＰＤ  ＡＤＣ動作を連続して行うことができ、ここで、コントローラは、１つのフォトダイオードからの残留電荷を電荷検知ユニットに移動させて第２の電圧を生成するようにスイッチを制御し、かつＡＤＣが第２の電圧を量子化するように制御した後、他のフォトダイオードに対して動作を繰り返すことができる。残留電荷は典型的には、フォトダイオードにおける暗電流の影響をはるかに受けにくいため、低い光強度測定のノイズフロアを低下させることができ、これによって、ダイナミックレンジの下限をさらに拡張させることができる。
【００４４】
コントローラは、ＡＤＣが、量子化動作の選択と同様に、複数のフォトダイオードの間で１つまたは複数の電荷検知ユニットおよび１つまたは複数のＡＤＣの共有配置に基づいてそれぞれのフォトダイオードに対する前述の量子化動作の１つまたは複数を行うように制御できる。上述されるように、単一の電荷検知ユニットは、複数のフォトダイオードの間で共有可能である。いくつかの例では、コントローラは、それぞれのフォトダイオードが交代でオーバーフロー電荷を単一の電荷検知ユニットに移動させて第１の電圧を生成可能であるようにスイッチを制御可能であり、これによってさらにまた、選択に基づいてＴＴＳ動作および／またはＦＤ  ＡＤＣ動作においてＡＤＣによって量子化可能である。電荷検知ユニットは、フォトダイオードに対する量子化動作の開始の間でリセット可能である。その後、オーバーフロー電荷の量子化が完了すると、コントローラは、それぞれのフォトダイオードが交代で残留電荷を電荷検知ユニットに移動させた後、ＰＤ  ＡＤＣ動作を行って残留電荷を測定することができるようにスイッチを制御することができる。このような配置によって、それぞれのフォトダイオードは電荷検知ユニットへの同じアクセスを有することができ、かつそれぞれのフォトダイオードの出力に対して同じ量子化動作のセットを行うことができるが、それぞれのフォトダイオードはオーバーフロー電荷を蓄積するための異なる有効露光期間を有する場合があり、これによってグローバルシャッター動作が低下する可能性がある。
【００４５】
いくつかの例では、コントローラは、選択に基づいて、第１のフォトダイオードがオーバーフロー電荷を電荷検知ユニットに移動させて露光期間内にＴＴＳ動作およびＦＤ  ＡＤＣ動作を行うことができるようにすることも可能である。露光期間が終了した後、コントローラは、フォトダイオードの全てが交代で残留電荷を電荷検知ユニットに移動させかつＰＤ  ＡＤＣ動作を行うことを可能にするようにスイッチを制御することができる。このような配置は、例えば、特定の成分の強度が（例えば、３Ｄ検知のための強力な赤外線照射による暗い環境において）他の成分と比較して非常に高いときに使用可能である。同じ露光期間をそれぞれのフォトダイオードに対して設けて、強力な赤外線成分または他のはるかに弱くなった可視光成分のどちらかに対する電荷を蓄積することができる。ＴＴＳ動作およびＦＤ  ＡＤＣ動作は、強力な赤外線成分を検出するフォトダイオードの出力に対して行われ得、ＰＤ  ＡＤＣ動作は、他のフォトダイオードの出力に対して行われ得、これによって、（可視光に対する）低強度測定動作および（赤外光に対する）高強度測定動作両方のダイナミックレンジが改善可能である。
【００４６】
いくつかの例では、コントローラはまた、フォトダイオードのうちの一部または全てが、オーバーフロー電荷を電荷検知ユニットに同時に移動させるようにすることができる。例えば、同じ波長範囲を検出するように構成されるフォトダイオードは、オーバーフロー電荷を電荷検知ユニットに同時に移動させることができる。また、異なる波長範囲を検出するフォトダイオードについて、コントローラは、これらのフォトダイオードに対する異なる量子井戸容量を設定するようにこれらのスイッチのバイアスを設定することができる。例えば、コントローラは、他の波長範囲の間で最も強力であることが予想される特定の波長範囲に関連付けられたフォトダイオードに対する量子井戸容量を低下させることが可能であることで、このフォトダイオードが他のフォトダイオードより、オーバーフロー電荷を電荷検知ユニットに移動させる可能性が高くなる。このような配置は、上述される例のようにそれぞれのフォトダイオードに対して同じ露光期間を提供するだけでなく、光測定動作における柔軟性を高める。具体的には、ＴＴＳ／ＦＤ  ＡＤＣ動作出力は、入射光の予想される最も強力な成分の出力を表す可能性が高くなるが、動作条件が変更され、かつ他の成分の強度も増大するとき、ＴＴＳ／ＦＤ  ＡＤＣ動作出力は、入射光の他の高強度成分も同様に反映することができる。
【００４７】
それぞれのフォトダイオードが電荷検知ユニットを十分に利用できるが、電荷検知ユニットが１つまたは複数のＡＤＣを共有する場合、コントローラは、ＡＤＣの共有に基づいて量子化動作を適応させることもできる。例えば、選択に基づいて、コントローラは、フォトダイオードのうちの１つ（およびこの電荷検知ユニット）をＡＤＣに接続して積分期間内にＴＴＳ動作を行うように、電荷検知ユニットにおけるスイッチを制御することができる。ＴＴＳ動作が完了した後、コントローラは、ＡＤＣが、フォトダイオードのそれぞれおよび対応する電荷検知ユニットに対して（例えば、選択に基づいて）ＦＤ  ＡＤＣ動作および／またはＰＤ  ＡＤＣ動作を行うように制御することができる。いくつかの例では、コントローラはまた、交代でＡＤＣに接続してＴＴＳ動作を行うように、電荷検知ユニットにおけるスイッチを制御することができる。フォトダイオードの全てに対するＴＴＳ動作が完了した後、コントローラは、ＡＤＣを制御して、フォトダイオードのそれぞれに対するＦＤ  ＡＤＣ動作および／またはＰＤ  ＡＤＣ動作を連続して行うことができる。
【００４８】
メモリは、フォトダイオードのそれぞれに対する量子化結果を記憶するように構成可能である。いくつかの例では、メモリは、フォトダイオードの全てに対する量子化結果を同時に記憶するように構成可能である。いくつかの例では、それぞれのフォトダイオードの量子化結果はメモリに連続して記憶可能である。ピクセルセルの１つのフォトダイオードの量子化結果は、メモリに記憶され、ピクセル値の生成のために読み出され、さらにまた、ピクセルセルの別のフォトダイオードの量子化結果によって上書きされることが可能である。
【００４９】
本開示の例では、ピクセルセルは、入射光の異なる成分に対して並べて画像化でき、これによって、並べた２Ｄおよび３Ｄの画像化動作をサポートすることができる。ピクセルセルの同じセットに異なる成分の検知を行わせることによって、ピクセルセルによって生成される異なる成分の画像間の対応関係を円滑にすることができる。また、ピクセルセルアレイの全てのピクセルセルを使用して画像を生成することができると仮定すると、ピクセルセルアレイの十分な空間分解能を利用することができる。結果として、画像の空間分解能も改善できる。さらに、典型的には、ＡＤＣは、多くの電力を消費し、かつ多くの空間を占有する。それぞれのピクセルセルのフォトダイオードの間でＡＤＣを共有することによって、イメージセンサのフォームファクタおよび電力消費量も減らすことができ、ピクセルセルアレイのそれぞれのピクセルセルのＡＤＣは、画像歪みを減らすようにグローバルシャッター動作をサポートするために同じグローバル露光期間内にそれぞれのピクセルセルが受光した入射光に基づいてピクセル値を生成可能である。
【００５０】
開示された技法は、人工現実システムを含んでよい、またはこれと併せて実行可能である。人工現実は、ユーザに提示する前に何らかの方法で調節された現実の形であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、または、これらのいくつかの組合せおよび／もしくは派生物を含むことができる。人工現実のコンテンツは、完全に生成したコンテンツ、または、キャプチャした（例えば、現実世界の）コンテンツと組み合わせて生成したコンテンツを含むことができる。人工現実のコンテンツは、動画、音声、触感フィードバック、または、これらのいくつかの組合せを含むことができ、これらのいずれかは、単一のチャネルで、または、（視聴者に対して３次元効果を生み出すステレオ動画などの）複数のチャネルで提示することができる。さらに、いくつかの例では、アプリケーション、製品、アクセサリ、サービス、または、これらのいくつかの組合せに人工現実をさらに関連付けることができ、これらは、例えば、人工現実においてコンテンツを作成するために使用され、および／または、そうでなければ、人工現実において使用される（例えば、人工現実において活動を行う）。人工現実のコンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または、他の任意のハードウェアプラットフォームを含む様々なプラットフォームで実現することができ、１人または複数の視聴者に人工現実のコンテンツを提供することができる。
【００５１】
図１Ａは、ニアアイディスプレイ１００の例の図である。ニアアイディスプレイ１００は、ユーザに媒体を提示する。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの例では、音声は、ニアアイディスプレイ１００、コンソール、または両方から音声情報を受け取り、音声情報に基づいて音声データを提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。ニアアイディスプレイ１００は、一般に、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの例では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。
【００５２】
ニアアイディスプレイ１００は、フレーム１０５およびディスプレイ１１０を含む。フレーム１０５は、１つまたは複数の光学素子に連結される。ディスプレイ１１０は、ニアアイディスプレイ１００によって提示されたコンテンツをユーザが見えるように構成される。いくつかの例では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを備える。
【００５３】
ニアアイディスプレイ１００は、イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄのそれぞれは、ピクセルセルのアレイを備え、異なる方向に沿った異なる視界に相当する画像データを生成するように構成されたピクセルセルアレイを含むことができる。例えば、センサ１２０ａおよび１２０ｂは、Ｚ軸に沿って方向Ａに向いた２つの視界に相当する画像データを提供するように構成することができ、その一方で、センサ１２０ｃは、Ｘ軸に沿って方向Ｂに向いた視界に相当する画像データを提供するように構成することができ、センサ１２０ｄは、Ｘ軸に沿って方向Ｃに向いた視界に相当する画像データを提供するように構成することができる。
【００５４】
いくつかの例では、センサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を着用したユーザに対話式ＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００の表示コンテンツを制御する、または影響を与えるための入力デバイスとして構成することができる。例えば、センサ１２０ａ〜１２０ｄは、ユーザがいる実際の環境の実際の画像データを生成することができる。実際の画像データは、実際の環境におけるユーザの動きの位置および／または経路を追跡するための位置追跡システムに提供することができる。システムは、次に、双方向体験を提供するために、例えば、ユーザの位置および方向に基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの例では、位置追跡システムは、ＳＬＡＭアルゴリズムを動作させて、実際の環境の中をユーザが動くときの、実際の環境における、また、ユーザのフィールドのビュー内の、オブジェクトのセットを追跡することができる。位置追跡システムは、オブジェクトのセットに基づいて、実際の環境のマップを構築して更新し、マップ内のユーザの位置を追跡することができる。複数の視界に対応する画像データを提供することによって、センサ１２０ａ〜１２０ｄは、実際の環境のより全体的な景色を位置追跡システムに提供することができ、マップの構築および更新時に、より多くのオブジェクトが含まれるようにすることができる。このような配置により、実際の環境内のユーザの位置の追跡の正確さおよび堅牢性を改善することができる。
【００５５】
いくつかの例では、ニアアイディスプレイ１００は、実際の環境に光を投射するための１つまたは複数のアクティブ照射器１３０をさらに含むことができる。投射した光は、異なる周波数スペクトル（例えば、可視光、赤外光、紫外光など）に関連付けることができ、様々な目的を満たすことができる。例えば、照射器１３０は、例えば、ユーザの場所追跡を可能にするように、暗い環境内の異なるオブジェクトの画像をセンサ１２０ａ〜１２０ｄがキャプチャするのを支援するために、暗い環境に（または、赤外光、紫外光などの低強度の環境に）光を投射することができる。照射器１３０は、場所追跡システムがマップ構成／更新のためにオブジェクトを識別するのを支援するために、環境内のオブジェクトにある特定のマーカを投射してよい。
【００５６】
いくつかの例では、照射器１３０は立体画像化を可能にすることもできる。例えば、センサ１２０ａまたは１２０ｂの１つまたは複数は、可視光検知のための第１のピクセルセルアレイおよび赤外（ＩＲ）光検知のための第２のピクセルセルアレイ両方を含むことができる。第１のピクセルセルアレイは、色フィルタ（例えば、ベイヤーフィルタ）を被せることができ、第１のピクセルセルアレイのそれぞれのピクセルは特定の色（例えば、赤色、緑色、または青色のうちの１つ）に関連付けられる光の強度を測定するように構成される。（ＩＲ光検知のための）第２のピクセルセルアレイも、ＩＲ光のみを通すことを可能にするフィルタを被せることができ、第２のピクセルセルアレイのそれぞれのピクセルはＩＲ光の強度を測定するように構成される。ピクセルアレイは、オブジェクトのＲＧＢ画像およびＩＲ画像を生成可能であり、ＩＲ画像のそれぞれのピクセルは、ＲＧＢ画像のそれぞれのピクセルにマッピングされる。照射器１３０は、オブジェクト上にＩＲマーカのセットを投射してよく、この画像はＩＲピクセルセルアレイによってキャプチャ可能である。画像に示されるようなオブジェクトのＩＲマーカの分布に基づいて、システムは、ＩＲピクセルセルアレイからのオブジェクトの異なる部分の距離を推定し、かつ、この距離に基づいてオブジェクトの立体画像を生成することができる。オブジェクトの立体画像に基づいて、システムは、例えば、ユーザに対するオブジェクトの相対位置を決定することができ、かつ双方向体験を提供するために相対位置情報に基づいてディスプレイ１００に提供される画像データを更新することができる。
【００５７】
上で論じられるように、ニアアイディスプレイ１００は、光強度の非常に広い範囲に関連付けられた環境で動作させてよい。例えば、ニアアイディスプレイ１００は、屋内環境もしくは屋外環境で、および／または１日のうち異なる回数で動作させてよい。ニアアイディスプレイ１００はまた、アクティブ照射器１３０をオンにしてまたはオンにせずに動作させてよい。結果として、イメージセンサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００に対する異なる動作環境に関連付けられた光強度の非常に広い範囲にわたって正しく動作する（例えば、入射光の強度と相関する出力を生成する）ことができるように広いダイナミックレンジを有する必要がある場合がある。
【００５８】
図１Ｂは、ニアアイディスプレイ１００の別の例の図である。図１Ｂは、ニアアイディスプレイ１００を着用したユーザの眼球１３５に面したニアアイディスプレイ１００の側面を示す。図１Ｂに示したように、ニアアイディスプレイ１００は、複数の照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含むことができる。ニアアイディスプレイ１００は、複数のイメージセンサ１５０ａおよび１５０ｂをさらに含む。照射器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａとは逆の）方向Ｄに向けて一定の周波数範囲の光（例えば、ＮＩＲ）を放つことができる。放った光は、一定のパターンに関連付けたものであってもよく、ユーザの左の眼球で反射させることができる。センサ１５０ａは、反射した光を受光し、反射パターンの画像を生成するためのピクセルセルアレイを含むことができる。同様に、照射器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを運ぶＮＩＲ光を放つことができる。ＮＩＲ光は、ユーザの右の眼球で反射させることができ、センサ１５０ｂで受光することができる。センサ１５０ｂは、反射パターンの画像を生成するためのピクセルセルアレイをさらに含むことができる。センサ１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を判定し、判定した注視点に基づいて、ディスプレイ１００に提供された画像データを更新して、ユーザに双方向体験を提供することができる。
【００５９】
上で論じられるように、ユーザの眼球への損傷を回避するために、照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは典型的には、非常に低い強度の光を出力するように構成される。イメージセンサ１５０ａおよび１５０ｂが、図１Ａのイメージセンサ１２０ａ〜１２０ｄと同じセンサデバイスを含む場合、イメージセンサ１２０ａ〜１２０ｄは、入射光の強度が非常に低いときに入射光の強度と相関する出力を生成できるようにする必要がある場合があり、これによって、イメージセンサのダイナミックレンジ要件がさらに増大する場合がある。
【００６０】
また、イメージセンサ１２０ａ〜１２０ｄは、眼球の動きを追跡するために出力を高速で生成できるようにする必要があり得る。例えば、ユーザの眼球は、１つの眼球位置から別の眼球位置への急速な移行がある可能性がある非常に急速な動き（例えば、サッケード運動）を行うことができる。ユーザの眼球の急速な動きを追跡するために、イメージセンサ１２０ａ〜１２０ｄは、眼球の画像を高速で生成する必要がある。例えば、イメージセンサが画像フレームを生成する速度（フレームレート）は、眼球の動きの速度に少なくとも一致する必要がある。高いフレームレートは、画像フレームを生成するのに関与したピクセルセルの全てに対して短い総露光時間を、および、画像生成のためにセンサ出力をデジタル値に変換するために高速を必要とする。また、上で論じられるように、イメージセンサは、低い光強度の環境で動作できるようにする必要もある。
【００６１】
図２は、図１に示したニアアイディスプレイ１００の横断面２００の例である。ディスプレイ１１０は、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ニアアイディスプレイ１００をユーザが着用したとき、アイボックス領域にユーザの片方の眼球２２０がある位置である。例証のために、図２は、眼球２２０および単一の導波路ディスプレイアセンブリ２１０に関連付けられた横断面２００を示すが、ユーザの第２の目のために、第２の導波路ディスプレイを使用する。
【００６２】
導波路ディスプレイアセンブリ２１０は、射出瞳２３０にあるアイボックスに、また、眼球２２０に、画像光を向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率を有する１つまたは複数の材料（例えば、プラスチック、ガラスなど）から成ることができる。いくつかの例では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学素子を含む。
【００６３】
いくつかの例では、導波路ディスプレイアセンブリ２１０は、１つまたは複数の導波路ディスプレイのスタックを含み、スタック型導波路ディスプレイ、可変焦点導波路ディスプレイ、等を含むがこれらに限定されない。スタック型導波路ディスプレイは、それぞれの単色源が異なる色のものである導波路ディスプレイをスタックすることによって作り出された多色ディスプレイ（例えば、赤−緑−青（ＲＧＢ）ディスプレイ）である。また、スタック型導波路ディスプレイは、複数の平面に投射できる多色ディスプレイ（例えば、マルチプラナー着色ディスプレイ（ｍｕｌｔｉ−ｐｌａｎａｒ  ｃｏｌｏｒｅｄ  ｄｉｓｐｌａｙ））である。いくつかの構成では、スタック型導波路ディスプレイは、複数の平面に投射できる単色ディスプレイ（例えば、マルチプラナー単色ディスプレイ（ｍｕｌｔｉ−ｐｌａｎａｒ  ｍｏｎｏｃｈｒｏｍａｔｉｃ  ｄｉｓｐｌａｙ））である。可変焦点導波路ディスプレイは、導波路ディスプレイから放たれた画像光の焦点位置を調節できるディスプレイである。代替例では、導波路ディスプレイアセンブリ２１０は、スタック型導波路ディスプレイおよび可変焦点導波路ディスプレイを含むことができる。
【００６４】
図３は、導波路ディスプレイ３００の例の等角図を示す。いくつかの例では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（例えば、導波路ディスプレイアセンブリ２１０）である。いくつかの例では、導波路ディスプレイ３００は、他のいくつかのニアアイディスプレイ、または、画像光を特定の位置に向ける他のシステムの一部である。
【００６５】
導波路ディスプレイ３００は、ソースアセンブリ３１０、出力導波路３２０、およびコントローラ３３０を含む。例証のために、図３は、片方の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの例では、導波路ディスプレイ３００とは別個の、または部分的に別個の、別の導波路ディスプレイが、ユーザのもう一方の目に画像光を提供する。
【００６６】
ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１にある連結要素３５０に出力する。出力導波路３２０は、ユーザの眼球２２０に拡大した画像光３４０を出力する光導波路である。出力導波路３２０は、第１の側面３７０−１にある１つまたは複数の連結要素３５０で画像光３５５を受光し、受光した入力画像光３５５を配向要素（ｄｉｒｅｃｔｉｎｇ  ｅｌｅｍｅｎｔ）３６０に誘導する。いくつかの例では、連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。
【００６７】
配向要素３６０は、受光した入力画像光３５５の向きを分離要素３６５の方に変え、その結果、受光した入力画像光３５５は、分離要素３６５を介して出力導波路３２０から分離される。配向要素３６０は、出力導波路３２０の第１の側面３７０−１の一部である、または、第１の側面３７０−１に貼られる。分離要素３６５は、出力導波路３２０の第２の側面３７０−２の一部である、または、第２の側面３７０−２に貼られ、その結果、配向要素３６０は、分離要素３６５と向かい合う。配向要素３６０および／または分離要素３６５は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。
【００６８】
第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面に相当する。出力導波路３２０は、画像光３５５の全内部反射を助長する１つまたは複数の材料から成ることができる。出力導波路３２０は、例えば、シリコン、プラスチック、ガラス、および／またはポリマーから成ることができる。出力導波路３２０は、比較的小さいフォームファクタを有する。例えば、出力導波路３２０は、およそ、ｘ次元に沿って５０ｍｍ広く、ｙ次元に沿って３０ｍｍ長く、また、ｚ次元に沿って０．５ｍｍ〜１ｍｍ厚くてもよい。
【００６９】
コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０に対するスキャン命令を決定する。いくつかの例では、出力導波路３２０は、視界（ＦＯＶ：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）が広いユーザの眼球２２０に、拡大した画像光３４０を出力する。例えば、拡大した画像光３４０は、（ｘおよびｙにおける）対角線ＦＯＶが６０度以上、および／または、１５０度以下のユーザの眼球２２０に提供される。出力導波路３２０は、長さ２０ｍｍ以上および／もしくは５０ｍｍ以下、ならびに／または、幅１０ｍｍ以上および／または５０ｍｍ以下のアイボックスを提供するように構成される。
【００７０】
さらに、コントローラ３３０は、イメージセンサ３７０によって提供された画像データに基づいて、ソースアセンブリ３１０によって生成された画像光３５５も制御する。イメージセンサ３７０は、第１の側面３７０−１にあってよく、例えば、（例えば、場所決定のために）ユーザの正面の物理的環境の画像データを生成するために図１Ａのイメージセンサ１２０ａ〜１２０ｄを含んでよい。イメージセンサ３７０は、第２の側面３７０−２にあってもよく、ユーザの（例えば、注視点判定のために）眼球２２０の画像データを生成するために図１Ｂのイメージセンサ１５０ａおよび１５０ｂを含んでよい。イメージセンサ３７０は、導波路ディスプレイ３００内にないリモートコンソールとインターフェース接続してよい。イメージセンサ３７０は、例えば、ユーザの場所、ユーザの注視点などを判定し、かつユーザに表示される画像のコンテンツを判定することができるリモートコンソールに画像データを提供してよい。リモートコンソールは、決定したコンテンツに関する命令をコントローラ３３０に伝送することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。
【００７１】
図４は、導波路ディスプレイ３００の横断面４００の例を示す。横断面４００は、ソースアセンブリ３１０、出力導波路３２０、およびイメージセンサ３７０を含む。図４の例では、イメージセンサ３７０は、ユーザの前にある実際の環境の画像を生成するための、第１の側面３７０−１にあるピクセルセル４０２のセットを含むことができる。いくつかの例では、ピクセルセル４０２のセットと実際の環境との間に介在する機械シャッター４０４が存在することができ、ピクセルセル４０２のセットの露光を制御することができる。いくつかの例では、機械シャッター４０４は、下記で論じるように、電子シャッターゲートで置き替えることができる。ピクセルセル４０２のそれぞれは、画像の１つのピクセルに対応させることができる。図４に示されていないが、ピクセルセル４０２のそれぞれは、ピクセルセルによって検知されることになる光の周波数範囲を制御するためにフィルタをさらに被せてもよいということがわかる。
【００７２】
リモートコンソールから命令を受け取った後、機械シャッター４０４が開き、露光期間内にピクセルセル４０２のセットを露光させることができる。露光期間中、イメージセンサ３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。イメージセンサ３７０は、次に、リモートコンソールに画像データを送り、リモートコンソールは、表示コンテンツを決定し、表示コンテンツ情報をコントローラ３３０に送ることができる。コントローラ３３０は、次に、表示コンテンツ情報に基づいて画像光３５５を決定することができる。
【００７３】
ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、発光源４１０および光学システム４１５を含む。発光源４１０は、干渉性の、または部分的に干渉性の、光を生成する光源である。発光源４１０は、例えば、レーザダイオード、垂直キャビティ面発光レーザ、および／または発光ダイオードであってもよい。
【００７４】
光学システム４１５は、発光源４１０からの光を調整する１つまたは複数の光学部品を含む。発光源４１０からの光を調整することは、例えば、コントローラ３３０からの命令に従って方向を拡大すること、コリメートすること、および／または調節することを含むことができる。１つまたは複数の光学部品は、１つまたは複数のレンズ、液体レンズ、ミラー、開口部、および／または回折格子を含むことができる。いくつかの例では、光学システム４１５は、スキャン角度の閾値で光のビームをスキャンして、液体レンズの外側の領域に光のビームをシフトさせることができる複数の電極を有する液体レンズを含む。光学システム４１５（および、さらにソースアセンブリ３１０）から放たれた光は、画像光３５５と呼ばれる。
【００７５】
出力導波路３２０は、画像光３５５を受光する。連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０が回折格子である例では、出力導波路３２０内で全内部反射が発生し、（例えば、全内部反射によって）出力導波路３２０の内部で画像光３５５が分離要素３６５に向けて伝搬するように、回折格子のピッチを選ぶ。
【００７６】
配向要素３６０は、出力導波路３２０から分離させるために画像光３５５の向きを分離要素３６５の方に変える。配向要素３６０が回折格子である例では、分離要素３６５の表面に対する傾斜角で、入射した画像光３５５が出力導波路３２０を出るように、回折格子のピッチを選ぶ。
【００７７】
いくつかの例では、配向要素３６０および／または分離要素３６５は構造的に似ている。出力導波路３２０を出た拡大した画像光３４０は、１つまたは複数の次元に沿って拡大される（例えば、ｘ次元に沿って延びてもよい）。いくつかの例では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０、および、複数の出力導波路３２０を含む。ソースアセンブリ３１０のそれぞれは、原色（例えば、赤、緑、または青）に対応する特定の波長帯域の単色画像光を放つ。出力導波路３２０のそれぞれは、多色の拡大した画像光３４０を出力するための分離距離で一緒にスタックすることができる。
【００７８】
図５は、ニアアイディスプレイ１００を含むシステム５００の例のブロック図である。システム５００は、ニアアイディスプレイ１００、画像化デバイス５３５、入出力インターフェース５４０、ならびにイメージセンサ１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂを備え、これらは、制御回路機器５１０にそれぞれ連結される。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイス、等として構成することができる。
【００７９】
ニアアイディスプレイ１００は、ユーザに媒体を提示するディスプレイである。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの例では、音声は、ニアアイディスプレイ１００および／または制御回路機器５１０から音声情報を受け取り、音声情報に基づく音声データをユーザに提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。いくつかの例では、ニアアイディスプレイ１００は、ＡＲ眼鏡（ＡＲ  ｅｙｅｗｅａｒ  ｇｌａｓｓ）としてさらに機能させることができる。いくつかの例では、ニアアイディスプレイ１００は、コンピュータ生成要素（例えば、画像、動画、音など）で実際の現実世界環境の景色を拡大する。
【００８０】
ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数のポジションセンサ５２５、および／または慣性計測ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０、出力導波路３２０、およびコントローラ３３０を含む。
【００８１】
ＩＭＵ５３０は、ポジションセンサ５２５の１つまたは複数から受け取った測定信号に基づいて、ニアアイディスプレイ１００の最初の位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。
【００８２】
画像化デバイス５３５は、様々な用途のための画像データを生成することができる。例えば、画像化デバイス５３５は、制御回路機器５１０から受け取った較正パラメータに従って低速較正データを提供するための画像データを生成することができる。画像化デバイス５３５は、ユーザの位置追跡を実行するために、ユーザがいる実際の環境の画像データを生成するための、例えば、図１Ａのイメージセンサ１２０ａ〜１２０ｄを含むことができる。画像化デバイス５３５は、ユーザの関心のあるオブジェクトを識別するために、ユーザの注視点を決定するための画像データを生成するための、例えば、図１Ｂのイメージセンサ１５０ａ〜１５０ｂをさらに含むことができる。
【００８３】
入出力インターフェース５４０は、制御回路機器５１０にアクション要求をユーザが送ることができるデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了させること、または、アプリケーション内の特定のアクションを実行することであってもよい。
【００８４】
制御回路機器５１０は、画像化デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０の１つまたは複数から受け取った情報に従ってユーザに提示するために、ニアアイディスプレイ１００に媒体を提供する。いくつかの例では、制御回路機器５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収納することができる。いくつかの例では、制御回路機器５１０は、システム５００の他の構成要素と通信連結されたスタンドアロンのコンソールデバイスであることが可能である。図５に示した例では、制御回路機器５１０は、アプリケーション記憶装置５４５、追跡モジュール５５０、およびエンジン５５５を含む。
【００８５】
アプリケーション記憶装置５４５は、制御回路機器５１０による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは命令のグループであり、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の適切なアプリケーションを含む。
【００８６】
追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、１つまたは複数の較正パラメータを調節して、ニアアイディスプレイ１００の位置を決定する際の誤差を減らすことができる。
【００８７】
追跡モジュール５５０は、画像化デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の動きを追跡する。追跡モジュール５５０は、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置をさらに決定する。
【００８８】
エンジン５５５は、システム５００内のアプリケーションを実行し、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または、将来の予測位置を、追跡モジュール５５０から受け取る。いくつかの例では、エンジン５５５によって受け取った情報は、導波路ディスプレイアセンブリ２１０への信号（例えば、表示命令）を生み出すために使用することができ、ユーザに提示されるコンテンツの種類を決定する。例えば、双方向体験を提供するために、エンジン５５５は、（例えば、追跡モジュール５５０によって提供された）ユーザの位置、または（例えば、画像化デバイス５３５によって提供された画像データに基づく）ユーザの注視点、（例えば、画像化デバイス５３５によって提供された画像データに基づく）オブジェクトとユーザとの間の距離に基づいて、ユーザに提示されることになるコンテンツを決定することができる。
【００８９】
図６は、イメージセンサ６００の例を示す。イメージセンサ６００は、ニアアイディスプレイ１００の一部であることが可能であり、ニアアイディスプレイ１００の表示コンテンツを制御するために、図５の制御回路機器５１０に２Ｄ画像データおよび３Ｄ画像データを提供することができる。図６に示されるように、イメージセンサ６００は、ピクセルセル６０２ａを含むピクセルセル６０２のアレイを含んでよい。ピクセルセル６０２ａは、例えば、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄを含む複数のフォトダイオード６１２と、１つまたは複数の電荷検知ユニット６１４と、１つまたは複数のアナログデジタルコンバータ６１６とを含むことができる。複数のフォトダイオード６１２は、入射光の異なる成分を電荷に変換できる。例えば、フォトダイオード６１２ａ〜６１２ｃは、異なる可視光チャネルに対応することができ、ここでフォトダイオード６１２ａは、可視青色成分（例えば、４５０〜４９０ナノメートル（ｎｍ）の波長範囲）を電荷に変換できる。フォトダイオード６１２ｂは、可視緑色成分（例えば、５２０〜５６０ｎｍの波長範囲）を電荷に変換できる。フォトダイオード６１２ｃは、可視赤色成分（例えば、６３５〜７００ｎｍの波長範囲）を電荷に変換できる。また、フォトダイオード６１２ｄは、赤外線成分（例えば、７００〜１０００ｎｍ）を電荷に変換できる。１つまたは複数の電荷検知ユニット６１４のそれぞれは、フォトダイオード６１２ａ〜６１２ｄによって生成された電荷を電圧に変換するために電荷貯蔵デバイスおよびバッファを含むことができ、該電圧は１つまたは複数のＡＤＣ６１６によってデジタル値に量子化可能である。フォトダイオード６１２ａ〜６１２ｃから生成されたデジタル値は、ピクセルの異なる可視光成分を表すことができ、それぞれは、特定の可視光チャネルにおける２Ｄ検知に使用可能である。さらに、フォトダイオード６１２ｄから生成されたデジタル値は、同じピクセルの赤外光成分を表すことができ、かつ３Ｄ検知に使用可能である。図６はピクセルセル６０２ａが４つのフォトダイオードを含むことを示すが、ピクセルセルが異なる数のフォトダイオード（例えば、２つ、３つなど）を含むことができることは理解されたい。
【００９０】
さらに、イメージセンサ６００は、照射器６２２、光学フィルタ６２４、画像化モジュール６２８、および検知コントローラ６３０も含む。照射器６２２は、３Ｄ検知のために赤外光を投射することができる、レーザ、発光ダイオード（ＬＥＤ）などの赤外線照射器であってよい。投射した光は、例えば、構造光、光パルスなどを含むことができる。光学フィルタ６２４は、ピクセルセル６０６ａを含むそれぞれのピクセルセルの複数のフォトダイオード６１２ａ〜６１２ｄに被せられるフィルタエレメントのアレイを含んでよい。それぞれのフィルタエレメントは、ピクセルセル６０６ａのそれぞれのフォトダイオードが受光した入射光の波長範囲を設定することができる。例えば、フォトダイオード６１２ａ上のフィルタエレメントは、可視青色光成分を伝送する一方、他の成分を遮断してよく、フォトダイオード６１２ｂ上のフィルタエレメントは可視緑色光成分を伝送してよく、フォトダイオード６１２ｃ上のフィルタエレメントは可視赤色光成分を伝送してよく、その一方で、フォトダイオード６１２ｄ上のフィルタエレメントは赤外光成分を伝送してよい。
【００９１】
イメージセンサ６００は画像化モジュール６２８をさらに含む。画像化モジュール６２８は、２Ｄ画像化動作を行うための２Ｄ画像化モジュール６３２、および３Ｄ画像化動作を行うための３Ｄ画像化モジュール６３４をさらに含んでよい。これらの動作は、ＡＤＣ６１６によって提供されるデジタル値に基づくことができる。例えば、フォトダイオード６１２ａ〜６１２ｃのそれぞれからのデジタル値に基づいて、２Ｄ画像化モジュール６３２は、それぞれの可視カラーチャネルに対する入射光成分の強度を表すピクセル値のアレイを生成し、かつそれぞれの可視カラーチャネルに対する画像フレームを生成することができる。また、３Ｄ画像化モジュール６３４は、フォトダイオード６１２ｄからのデジタル値に基づいて３Ｄ画像を生成することができる。いくつかの例では、デジタル値に基づいて、３Ｄ画像化モジュール６３４は、オブジェクトの表面で反射した構造光のパターンを検出し、かつ検出したパターンを照射器６２２によって投射した構造光のパターンと比較して、ピクセルセルアレイに対する表面の種々のポイントの深度を決定することができる。反射した光のパターンの検出のために、３Ｄ画像化モジュール６３４は、ピクセルセルで受光した赤外光の強度に基づいてピクセル値を生成することができる。別の例として、３Ｄ画像化モジュール６３４は、照射器６２２によって伝送されかつオブジェクトで反射した赤外光の飛行時間に基づいてピクセル値を生成することができる。
【００９２】
イメージセンサ６００は、イメージセンサ６００の種々の構成要素を制御して、オブジェクトの２Ｄ画像化および３Ｄ画像化を実行するための検知コントローラ６４０をさらに含む。ここで、図７Ａ〜図７Ｃを参照し、２Ｄ画像化および３Ｄ画像化のためのイメージセンサ６００の動作の例を示す。図７Ａは、２Ｄ画像化のための動作の例を示す。２Ｄ画像化のために、ピクセルセルアレイ６０２は、オブジェクトで反射した可視光を含む、環境内の可視光を検出することができる。例えば、図７Ａを参照すると、可視光源７００（例えば、電球、太陽、または、周囲の可視光の他の発生源）は、可視光７０２をオブジェクト７０４に投射することができる。可視光７０６は、オブジェクト７０４のスポット７０８で反射させることができる。可視光７０６は、周囲の赤外光成分を含むこともできる。可視光７０６は、光学フィルタアレイ６２４でフィルタにかけて、波長範囲ｗ０、ｗ１、ｗ２、およびｗ３の可視光７０６の異なる成分を、ピクセルセル６０２ａのフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄにそれぞれ通すことができる。波長範囲ｗ０、ｗ１、ｗ２、およびｗ３は、青、緑、赤、および赤外線にそれぞれ対応することができる。図７Ａに示されるように、赤外線照射器６２２はオンにされないため、赤外線成分（ｗ３）の強度は、環境赤外光によるものであり、非常に低い可能性がある。さらに、可視光７０６の異なる可視成分は異なる強度を有することもできる。電荷検知ユニット６１４は、フォトダイオードによって生成された電荷を電圧に変換でき、該電圧は、スポット７０８を表すピクセルの赤、青、および緑の成分を表すデジタル値にＡＤＣ６１６により量子化可能である。図７Ｃを参照すると、デジタル値が生成された後、検知コントローラ６４０は２Ｄ画像化モジュール６３２が、デジタル値に基づいて、それぞれが、同じ露光期間７１４でキャプチャされたシーンの赤色、青色、または緑色画像のうちの１つを表す、赤画像フレーム７１０ａ、青画像フレーム７１０ｂ、および緑画像フレーム７１０ｃを含む画像のセット７１０を含む画像のセットを生成するように制御可能である。赤画像（例えば、ピクセル７１２ａ）、青画像（例えば、ピクセル７１２ｂ）、および緑画像（例えば、ピクセル７１２ｃ）からのそれぞれのピクセルは、シーンの同じスポット（例えば、スポット７０８）からの光の可視成分を表すことができる。異なる画像のセット７２０は、後続の露光期間７２４で２Ｄ画像化モジュール６３２によって生成可能である。赤画像７１０ａ、青画像７１０ｂ、および緑画像７１０ｃのそれぞれは、特定のカラーチャネルにおけるシーンを表すことができ、かつ例えば、特定のカラーチャネルからの画像特徴を抽出するためのアプリケーションに提供可能である。それぞれの画像は同じシーンを表し、かつ画像のそれぞれの対応するピクセルはシーンの同じスポットからの光を表すため、異なるカラーチャネル間の画像の対応関係は改善可能である。
【００９３】
さらに、イメージセンサ６００は、オブジェクト７０４の３Ｄ画像化をさらに実行することができる。図７Ｂを参照すると、検知コントローラ６１０は、オブジェクト７０４に赤外光７３２を投射するように照射器６２２を制御することができ、赤外光７３２は、光パルス、構造光、等を含むことができる。赤外光７３２は、７００ナノメートル（ｎｍ）から１ミリメートル（ｍｍ）の波長範囲を有することができる。赤外光７３４は、オブジェクト７０４のスポット７０８に反射することができ、ピクセルセルアレイ６０２の方へ伝搬しかつ光学フィルタ６２４を通ることができ、これによって、（波長範囲ｗ３の）赤外線成分をフォトダイオード６１２ｄに与えて電荷に変換することができる。電荷検知ユニット６１４は、電荷を電圧に変換でき、この電圧はＡＤＣ６１６によってデジタル値に量子化可能である。図７Ｃを参照すると、デジタル値が生成された後、検知コントローラ６４０は、３Ｄ画像化モジュール６３４が、デジタル値に基づいて、露光期間７１４内にキャプチャされた画像７１０の一部としてシーンの赤外線画像７１０ｄを生成するように制御可能である。赤外線画像７１０ｄは赤外線チャネルにおいて同じシーンを表すことができ、かつ赤外線画像７１０ｄのピクセル（例えば、ピクセル７１２ｄ）は画像７１０内の他の画像における他の対応するピクセル（ピクセル７１２ａ〜７１２ｃ）と同じシーンのスポットからの光を表すため、２Ｄ画像化と３Ｄ画像化との間の対応関係も改善可能である。
【００９４】
図８Ａ〜図８Ｄは、ピクセルセルにおけるフォトダイオード６１２の配置の例を示す。図８Ａに示されるように、ピクセルセル６０２ａにおけるフォトダイオード６１２ａ〜６１２ｄは、ピクセルセル６０２ａがスポット８０４ａから入射光８０２を受光する受光面８００に垂直である軸に沿ってスタックを形成できる。例えば、フォトダイオード６１２ａ〜６１２ｄは、受光面８００がｘ軸およびｙ軸と平行であるときに垂直軸（例えば、ｚ軸）に沿ってスタックを形成することができる。それぞれのフォトダイオードは受光面８００から異なる距離を有することができ、この距離は、入射光８０２の成分が、それぞれのフォトダイオードによって吸収されかつ電荷に変換されるように設定可能である。例えば、フォトダイオード６１２ａは、受光面８００に最も近く、かつ青成分を吸収しかつ電荷に変換可能であり、これは他の成分の中で最も短い波長範囲を有する。光８１２は、光８０２の残りの成分（例えば、緑、赤、および赤外線）を含み、かつ緑成分を吸収しかつ変換できるフォトダイオード６１２ｂに伝搬可能である。光８２２は、光８１２の残りの成分（例えば、赤および赤外線）を含み、かつ、赤成分を吸収しかつ変換できるフォトダイオード６１２ｃに伝搬可能である。残りの赤外線成分８３２は、電荷に変換されるフォトダイオード６１２ｄに伝搬可能である。
【００９５】
フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄはそれぞれ、イメージセンサ６００を形成するためにスタック可能である別個の半導体基板に設けられ得る。例えば、フォトダイオード６１２ａは半導体基板８４０に設けられ得、フォトダイオード６１２ｂは半導体基板８４２に設けられ得、フォトダイオード６１２ｃは半導体基板８４４に設けられ得、その一方で、フォトダイオード６１２ｄは半導体基板８４６に設けられ得る。それぞれの半導体基板は、スポット８０４ｂから光を受光するためのピクセルセル６０２ｂなど、他のピクセルセルの他のフォトダイオードを含むことができる。イメージセンサ６００は、例えば、電荷検知ユニット６１４、ＡＤＣ６１６などを含むことができる、ピクセルセル処理回路８４９を含み得る別の半導体基板８４８を含むことができる。それぞれの半導体基板は、それぞれのフォトダイオードで生成された電荷を処理回路８４９に移動させるために、金属相互接続８５０、８５２、８５４、および８５６などの金属相互接続に接続可能である。
【００９６】
図８Ｂ〜図８Ｄは、フォトダイオード６１２の他の配置例を示す。図８Ｂ〜図８Ｄに示されるように、複数のフォトダイオード６１２は、受光面８００と平行に横方向に配置可能である。図８Ｂの上段はピクセルセル６０２ａを含むピクセルセルアレイ６０２の一例の側面図を示すのに対し、図８Ｂの下段はピクセルセル６０２ａを含むピクセルセルアレイ６０２の上面図を示す。図８Ｂに示されるように、受光面８００がｘ軸およびｙ軸と平行であることで、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄは、半導体基板８４０においてまたｘ軸およびｙ軸に沿って互いに隣接して配置可能である。ピクセルセル６０２ａは、フォトダイオードに被せられる光学フィルタアレイ８６０をさらに含む。光学フィルタアレイ８６０は光学フィルタ６２４の一部とすることができる。光学フィルタアレイ８６０は、対応するフォトダイオードが受光した入射光成分の波長範囲を設定するためにフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄのそれぞれに被せられるフィルタエレメントを含むことができる。例えば、フィルタエレメント８６０ａは、フォトダイオード６１２ａに被せられ、かつ可視青色光のみがフォトダイオード６１２ａに入ることを可能にすることができる。また、フィルタエレメント８６０ｂは、フォトダイオード６１２ｂに被せられ、かつ可視緑色光のみがフォトダイオード６１２ｂに入ることを可能にすることができる。さらに、フィルタエレメント８６０ｃは、フォトダイオード６１２ｃに被せられ、かつ可視赤色光のみがフォトダイオード６１２ｃに入ることを可能にすることができる。フィルタエレメント８６０ｄは、フォトダイオード６１２ｄに被せられ、かつ赤外光のみがフォトダイオード６１２ｄに入ることを可能にすることができる。ピクセルセル６０２ａは、光学フィルタアレイ８６０を介して受光面８００の異なる横位置にシーンのスポット（例えば、スポット８０４ａ）から光８６４を投射することができる１つまたは複数のマイクロレンズ８６２をさらに含み、これによって、それぞれのフォトダイオードは、ピクセルセル６０２ａのサブピクセルになることが可能になり、かつピクセルに対応する同じスポットから光の成分を受光することが可能になる。いくつかの例では、１つまたは複数のマイクロレンズ８６２は、ピクセルセルアレイ６０２の全てのピクセルセルを覆うマイクロレンズを含むことができる。いくつかの例では、１つまたは複数のマイクロレンズ８６２は、それぞれのピクセルセルにわたるマイクロレンズを含むことができ、複数のマイクロレンズは複数のピクセルセルを覆う。ピクセルセル６０２ａは、フォトダイオードによって生成される電荷からデジタル値を生成するための回路８４９（例えば、電荷検知ユニット６１４、ＡＤＣ６１６など）を含むことができる半導体基板８４８も含むことができる。半導体基板８４０および８４８は、スタックを形成可能であり、かつ相互接続８５６に接続可能である。
【００９７】
フォトダイオードが横方向に配置され、かつ光学フィルタアレイを使用してフォトダイオードが受光する光成分を制御する図８Ｂの配置は、多数の利点をもたらす可能性がある。例えば、スタックの数および半導体基板の数を減らすことができ、これによって、鉛直高さだけでなく、半導体基板の間の相互接続も減らすことができる。また、それぞれのフォトダイオードによって吸収される成分の波長範囲を設定するために光の伝搬距離ではなくフィルタエレメントに頼ることで、波長範囲を選択する際の柔軟性をもたらすことができる。図８Ｃの上段に示されるように、ピクセルセルアレイ６０２は異なるピクセルセルに対する異なる光学フィルタアレイ８６０を含むことができる。例えば、ピクセルセルアレイ６０２のそれぞれのピクセルセルは、フォトダイオード６１２ａおよび６１２ｂに対する（「Ｍ」のラベルを付けた）３８０〜７４０ｎｍの波長範囲の単色チャネル、および、フォトダイオード６１２ｄに対する（「ＮＩＲ」のラベルを付けた）７００〜１０００ｎｍの波長範囲の赤外線チャネルをもたらす光学フィルタアレイを有することができる。しかしながら、光学フィルタアレイは、異なるピクセルセルに対する異なる可視カラーチャネルももたらす場合がある。例えば、ピクセルセルアレイ６０２ａ、６０２ｂ、６０２ｃ、および６０２ｄに対する光学フィルタアレイ８６０は、（「Ｇ」のラベルを付けた）可視緑チャネル、（「Ｒ」のラベルを付けた）可視赤チャネル、（「Ｂ」のラベルを付けた）可視青チャネル、およびピクセルセルアレイのフォトダイオード６１２ｃに対する可視緑チャネルをそれぞれもたらすことができる。別の例として、図８Ｃの下段に示されるように、それぞれの光学フィルタアレイ８６０は、それぞれのピクセルセルアレイのフォトダイオード６１２ｂに対する３８０〜１０００ｎｍの波長範囲に及ぶ（「Ｍ＋ＮＩＲ」のラベルを付けた）単色および赤外線チャネルをもたらすことができる。
【００９８】
図８Ｄは、図８Ｃに示されるチャネル例を提供するための光学フィルタアレイ８６０の例を示す。図８Ｄに示されるように、光学フィルタアレイ８６０は、ピクセルセルアレイ内のそれぞれのフォトダイオードが受光した光の波長範囲を選択するために光学フィルタのスタックを含むことができる。例えば、図８Ｄの上段を参照すると、光学フィルタ８６０ａは、全通過エレメント（ａｌｌ−ｐａｓｓ  ｅｌｅｍｅｎｔ）８７０（例えば、可視光および赤外光両方を通す透明ガラス）、およびフォトダイオード６１２ａに単色チャネルをもたらすためにスタックを形成する赤外線遮断要素８７２を含むことができる。光学フィルタ８６０ｂも、さらにまたフォトダイオード６１２ｂに単色チャネルをもたらすために全通過エレメント８７４および赤外線遮断要素８７６を含むことができる。さらに、光学フィルタ８６０ｃは、フォトダイオード６１２ｃに緑チャネルをもたらすために、緑色可視光を通す（が他の可視光成分を阻止する）緑通過エレメント８７６、および赤外線遮断要素８７８を含むことができる。最後に、光学フィルタ８６０ｄは、フォトダイオード６１２ｄに赤外線チャネルをもたらすために、全通過エレメント８８０、および（可視光を遮断することができるが、赤外光を通過させることを可能にする）可視光遮断フィルタ８８２を含むことができる。別の例では、図８Ｄの下段に示されるように、光学フィルタ８６０ｂは、フォトダイオード６１２ｂに単色および赤外線チャネルをもたらすために全通過エレメント８７２のみを含むことができる。
【００９９】
ここで、電荷検知ユニット６１４およびＡＤＣ６１６の一例を含むピクセルセル６０２ａのさらなる構成要素を示す図９Ａ〜図９Ｆを参照する。図９Ａに示されるように、ピクセルセル６０２ａは、フォトダイオードＰＤ（例えば、フォトダイオード６１２ａ）と、シャッタースイッチＭ０と、移動スイッチＭ１と、電荷貯蔵デバイス９０２および切替可能バッファ９０４を含む電荷検知ユニット６１４と、ＣＣキャパシタ、比較器９０６、および出力論理回路９０８を含むＡＤＣ６１６と、を含むことができる。比較器９０６の出力は、出力論理回路９０８を介して、ピクセルセル６０２ａに内蔵され得るまたは外付けされ得るメモリ９１２およびカウンタ９１４に連結される。ピクセルセル６０２は、スイッチ、電荷検知ユニット６１４、およびＡＤＣ６１６を制御するためのコントローラ９２０をさらに含む。後述されるように、コントローラ９２０は、入射光に基づいて電荷を蓄積するための露光期間を設定でき、かつ電荷検知ユニット６１４およびＡＤＣ６１６が、入射光の強度のデジタル表現を生成するために異なる光強度範囲に関連付けられた複数の量子化動作を行うように制御することができる。コントローラ９２０は、複数の量子化動作のうちのどれが行われるべきか（およびどれがスキップされるべきか）を選択する選択９２２を受信することができる。この選択は、入射光強度のデジタル表現を使用するアプリケーションをホストするホストデバイスによってもたらされ得る。コントローラ９２０は、ピクセルセル６０２ａに内蔵され得るまたは検知コントローラ６４０の一部とすることができる。それぞれのスイッチは、例えば、金属酸化膜半導体電界効果トランジスタ（ＭＯＳＦＥＴ）、バイポーラ接合トランジスタ（ＢＪＴ）などのトランジスタとすることができる。
【０１００】
具体的には、シャッタースイッチＭ０は、露光期間を開始するためにコントローラ９２０によって提供されるＡＢ信号によって制御可能であり、ここで、フォトダイオードＰＤは、入射光に応答して電荷を生成しかつ蓄積することができる。移動スイッチＭ１は、電荷の一部を電荷貯蔵デバイス９０２に移動させるためにコントローラ９２０によって提供されるＴＧ信号によって制御可能である。１つの量子化動作では、移動スイッチＭ１は、フォトダイオードＰＤの量子井戸容量を設定するために部分的にオン状態でバイアスされ得、これによってまた、フォトダイオードＰＤに蓄えられた残留電荷の量が設定される。フォトダイオードＰＤが残留電荷によって飽和した後、オーバーフロー電荷は移動スイッチＭ１を通って電荷貯蔵デバイス９０２に流れることができる。別の量子化動作では、移動スイッチＭ１は、測定のために残留電荷をフォトダイオードＰＤから電荷貯蔵デバイスに移動させるために完全にオンにされ得る。
【０１０１】
電荷貯蔵デバイス９０２は、構成可能な静電容量を有し、かつＯＦノードにおいてスイッチＭ１から移動させた電荷を電圧に変換可能である。電荷貯蔵デバイス９０２は、Ｍ６スイッチによって接続されるＣＦＤキャパシタ（例えば、浮遊ドレイン）およびＣＥＸＴキャパシタ（例えば、ＭＯＳキャパシタ）を含む。Ｍ６スイッチは、ＬＧ信号によって、ＣＦＤキャパシタおよびＣＥＸＴキャパシタを並列に接続することによって電荷貯蔵デバイス９０２の静電容量を拡張するために、または該キャパシタを互いに切断することによって静電容量を減らすために有効にされ得る。電荷貯蔵デバイス９０２の静電容量は、電荷対電圧利得を増やしかつ量子化誤差を減らすように残留電荷の測定のために減らされ得る。さらに、電荷貯蔵デバイス９０２の静電容量はまた、飽和の可能性を減らしかつ非直線性を改善するようにオーバーフロー電荷の測定のために増やされ得る。後述されるように、電荷貯蔵デバイス９０２の静電容量は、異なる光強度範囲の測定のために調節可能である。電荷貯蔵デバイス９０２はまた、コントローラ９２０によって提供される、リセット信号ＲＳＴによって制御可能なリセットスイッチＭ２に連結されて、異なる量子化動作の間のＣＦＤキャパシタおよびＣＥＸＴキャパシタをリセットする。
【０１０２】
切替可能バッファ９０４は、ＯＦノードで電圧をバッファしてこの駆動強度を改善するためのソースフォロワとして構成されるスイッチＭ３を含むことができる。バッファした電圧は、ＡＤＣ６１６の入力ノードＰＩＸＥＬ＿ＯＵＴにおけるものとすることができる。Ｍ４トランジスタは、切替可能バッファ９０４に電流源を提供し、かつＶＢ信号によってバイアスされ得る。切替可能バッファ９０４はまた、ＳＥＬ信号によって有効または無効にされるスイッチＭ５を含む。スイッチＭ５が無効にされるとき、ソースフォロワＭ３はＰＩＸＥＬ＿ＯＵＴノードから切断可能である。後述されるように、ピクセルセル６０２ａは、それぞれが切替可能バッファ９０４を含む複数の電荷検知ユニット６１４を含んでよく、電荷検知ユニットのうちの１つは、ＳＥＬ信号に基づいて一度ＰＩＸＥＬ＿ＯＵＴ（およびＡＤＣ６１６）に連結可能である。
【０１０３】
上述されるように、露光期間内にフォトダイオードＰＤによって生成される電荷は、電荷貯蔵デバイス９０２に一時的に蓄えられ、かつ電圧に変換可能である。この電圧は、電荷と入射光強度との間の所定の関係に基づいて入射光の強度を表すために量子化可能である。ここで、異なる光強度範囲のための時間に対して蓄積された電荷の量を示す図１０を参照する。特定の時点で蓄積された電荷の総量は、露光期間内に図６のフォトダイオードＰＤに入射する光の強度を反映することが可能である。この量は露光期間が終了するとき測定可能である。閾値１００２および閾値１００４は、入射光の強度に対する、低い光強度範囲１００６、中間の光強度範囲１００８、および高い光強度範囲１０１０を定める電荷の閾値の量について定められ得る。例えば、総蓄積電荷が閾値１００２（例えば、Ｑ１）を下回る場合、入射光強度は低い光強度範囲１００６内にある。総蓄積電荷が閾値１００４と閾値１００２との間（例えば、Ｑ２）にある場合、入射光強度は中間の光強度範囲１００８内にある。総蓄積電荷が閾値１００４を上回る場合、入射光強度は中間の光強度範囲１０１０内にある。蓄積された電荷の量は、低い光強度範囲および中間の光強度範囲については、フォトダイオードが低い光強度範囲１００６全体内で飽和せず、かつ測定キャパシタが中間の光強度範囲１００８全体内で飽和しない場合、入射光の強度と相関する可能性がある。
【０１０４】
低い光強度範囲１００６および中間の光強度範囲１００８、ならびに閾値１００２および１００４の定義は、フォトダイオードＰＤの飽和容量および電荷貯蔵デバイス９０２の静電容量に基づくことができる。例えば、低い光強度範囲７０６は、露光期間の終わりにフォトダイオードＰＤに蓄えられる残留電荷の総量がフォトダイオードの貯蔵容量以下であるように定められ得、閾値１００２はフォトダイオードＰＤの飽和容量に基づくことができる。さらに、中間の光強度範囲１００８は、露光期間の終わりに電荷貯蔵デバイス９０２に蓄えられる電荷の総量が測定キャパシタの貯蔵容量以下であるように定められ得、閾値１００４は電荷貯蔵デバイス９０２の貯蔵容量に基づくことができる。典型的には、閾値１００４は、電荷貯蔵デバイス９０２に蓄えられる電荷の量が強度判定のために測定されるとき、測定キャパシタが飽和しておらず、かつ測定量がまた入射光強度に関連していることを徹底するように電荷貯蔵デバイス９０２のスケーリングされた貯蔵容量に基づくことができる。後述されるように、閾値１００２および１００４は、フォトダイオードＰＤおよび電荷貯蔵デバイス９０２が飽和しているかどうかを検出するために使用可能であり、これによって、入射光の強度範囲を決定することができる。
【０１０５】
さらに、入射光強度が高い光強度範囲１０１０内にある場合、電荷貯蔵デバイス９０２に蓄積された総オーバーフロー電荷は、露光期間が終わる前に閾値１００４を超える場合がある。さらなる電荷が蓄積されると、電荷貯蔵デバイス９０２は、露光期間が終わる前に一杯になる可能性があり、電荷の漏出が発生する可能性がある。電荷貯蔵デバイス９０２が一杯になることによって生じる測定誤差を避けるために、飽和時間測定を行って、電荷貯蔵デバイス９０２に蓄積された総オーバーフロー電荷が閾値１００４に達するのにかかる時間を測定することができる。電荷貯蔵デバイス９０２における電荷累積の割合は、閾値１００４と飽和時間との間の比に基づいて決定することができ、（キャパシタの容量に限界がない場合）露光期間の終わりに電荷貯蔵デバイス９０２に蓄積されるはずの仮定の電荷量（Ｑ３）は、電荷累積の割合に応じて外挿法によって決定することができる。仮定の電荷量（Ｑ３）は、高光強度範囲１０１０内の入射光強度を無理なく正確に表現することができる。
【０１０６】
図９に戻って参照すると、高い光強度範囲１０１０および中間の光強度範囲１００８を測定するために、移動スイッチＭ１は部分的にオン状態でＴＧ信号によってバイアスされ得る。例えば、移動スイッチＭ１（ＴＧ）のゲート電圧は、フォトダイオードの飽和容量に対応するフォトダイオードＰＤで生じるターゲット電圧に基づいて設定可能である。このような配置構成によって、オーバーフロー電荷のみ（フォトダイオードが飽和した後にフォトダイオードによって生成される電荷）が移動スイッチＭ１を通して移動して電荷貯蔵デバイス９０２に達し、（高い光強度範囲１０１０に対する）飽和時間、および／または（中間の光強度範囲１００８に対する）電荷貯蔵デバイス９０２に蓄えられた電荷の量を測定する。中間の光強度範囲および高い光強度範囲の測定のために、（ＣＥＸＴおよびＣＦＤを接続することによる）電荷貯蔵デバイス９０２の静電容量はまた、閾値１００４を増大させるために最大化可能である。
【０１０７】
また、低い光強度範囲１００６を測定するために、移動スイッチＭ１は、フォトダイオードＰＤに蓄えられた残留電荷を電荷貯蔵デバイス９０２に移動させるために完全にオン状態で制御可能である。電荷貯蔵デバイス９０２に蓄えられたオーバーフロー電荷の量子化動作が完了した後に、および電荷貯蔵デバイス９０２がリセットされた後に、移動が生じ得る。さらに、電荷貯蔵デバイス９０２の静電容量を減らすことができる。上述されるように、電荷貯蔵デバイス９０２の静電容量を減らすことによって、より高い電圧が蓄えられた電荷の一定量に対して生じ得るように、電荷貯蔵デバイス９０２における電荷電圧変換率を高めることができる。より高い電荷電圧変換率によって、低い光強度判定の精度で後続の量子化動作によってもたらされた測定誤差（例えば、量子化誤差、比較器オフセットなど）の影響を低下させることができる。測定誤差は、量子化動作によって検出および／または区別可能である最小電圧差に対する限度を設定することができる。電荷電圧変換率を高めることによって、最小電圧差に対応する電荷の量を減らすことができ、これによってさらにまた、ピクセルセル６０２ａによる測定可能な光強度の下限が低減され、かつダイナミックレンジが拡張される。
【０１０８】
電荷貯蔵デバイス９０２に蓄積される電荷（残留電荷および／またはオーバーフロー電荷）は、ＯＦノードにおいてアナログ電圧を生じさせる可能性があり、該アナログ電圧は、ＰＩＸＥＬ＿ＯＵＴで切替可能バッファ９０４によってバッファされ、かつＡＤＣ６１６によって量子化され得る。図９に示されるように、ＡＤＣ６１６は、スイッチＭ８によってリセット可能である比較器９０６、および出力論理回路９０８を含む。ＡＤＣ６１６はまた、メモリ９１２およびカウンタ９１４に連結される。カウンタ９１４は、自走クロック信号に基づいてカウント値のセットを生成することができるのに対し、メモリ９１２は、カウンタ９１４によって生成されるカウント値（例えば、最新のカウント値）を記憶するために出力論理回路９０８を介して比較器９０６によって制御可能である。メモリ９１２は、例えば、後述されるようなローカルピクセル値に基づいてカウント値を記憶するためのラッチ回路とすることができる。記憶されたカウント値はピクセル出力バス８１６を介して出力可能である。
【０１０９】
比較器９０６は、閾値ＶＲＥＦに対して、ＣＣ比較器によってＰＩＸＥＬ＿ＯＵＴから得られるアナログ電圧ＣＯＭＰ＿ＩＮを比較し、かつ比較結果に基づいて判定ＶＯＵＴを生成することができる。ＣＣキャパシタは、リセットノイズ、およびＰＩＸＥＬ＿ＯＵＴ電圧に加えてＣＯＭＰ＿ＩＮ電圧を生成することができるＶＣＣ電圧における比較器オフセット情報を記憶して、ＰＩＸＥＬ＿ＯＵＴ電圧におけるリセットノイズ成分を相殺するためにノイズ／オフセット補償方式で使用可能である。オフセット成分はＣＯＭＰ＿ＩＮ電圧に残っており、比較器９０６が、判定ＶＯＵＴを生成するために閾値ＶＲＥＦに対してＣＯＭＰ＿ＩＮ電圧を比較するときに比較器９０６のオフセットによって相殺され得る。比較器９０６は、ＣＯＭＰ＿ＩＮ電圧がＶＲＥＦに等しいまたはこれを超える場合、ＶＯＵＴに対して論理１を生成することができる。比較器９０６はまた、ＣＯＭＰ＿ＩＮ電圧がＶＲＥＦを下回る場合、ＶＯＵＴに対して論理ゼロを生成することができる。ＶＯＵＴは、メモリ９１２がカウンタ９１４からカウント値を記憶するように制御するラッチ信号を制御することができる。
【０１１０】
図１１Ａは、ＡＤＣ６１６による飽和時間測定の一例を示す。飽和時間測定を行うために、（ピクセルセル６０２ａに外付け可能な）閾値生成器は固定ＶＲＥＦを生成できる。固定ＶＲＥＦは、電荷貯蔵デバイス９０２の飽和に対する電荷量閾値（例えば、図１０の閾値１００４）に対応する電圧で設定可能である。カウンタ９１４は、露光期間が開始した直後に（例えば、シャッタースイッチＭ０が無効になった直後に）カウントし始めることができる。電荷貯蔵デバイス９０２におけるオーバーフロー電荷の蓄積によりＣＯＭＰ＿ＩＮ電圧が下降する（または、実装形態に応じて上昇する）ため、クロック信号は、カウンタ９１４においてカウント値を更新するために切り換わり続ける。ＣＯＭＰ＿ＩＮ電圧はある特定の時点で固定ＶＲＥＦ閾値に達することができ、これによって、ＶＯＵＴは低から高に反転する。ＶＯＵＴの変化によってカウンタ９１４のカウントが停止されてよく、カウンタ９１４におけるカウント値は飽和時間を表すことができる。
【０１１１】
図１１Ｂは、電荷貯蔵デバイス９０２で蓄えられた電荷の量の測定の一例を示す。測定の開始後、閾値生成器は、実装形態に応じて（図１１Ｂの例では）上昇するまたは下降するのどちらかとすることができるランプＶＲＥＦを生成することができる。ランプレートは、カウンタ９１４に供給されるクロック信号の周波数に基づくことができる。オーバーフロー電荷が測定される場合、ランプＶＲＥＦの電圧範囲は、閾値１００４（電荷貯蔵デバイス９０２の飽和に対する電荷量閾値）と閾値１００２（フォトダイオードＰＤの飽和に対する電荷量閾値）との間とすることができ、これによって、中間の光強度範囲を定めることができる。残留電荷が測定される場合、ランプＶＲＥＦの電圧範囲は閾値１００２に基づくことができ、かつ、残留電荷測定のために電荷貯蔵デバイス９０２の減らした静電容量によってスケーリング可能である。図１１Ｂの例では、均一な量子化ステップによる量子化プロセスを行うことができ、ＶＲＥＦはそれぞれのクロック周期に対して同じ量で増加（または減少）する。ＶＲＥＦの増加（または減少）量は量子化ステップに対応する。ＣＯＭＰ＿ＩＮ電圧の１つの量子化ステップ内でＶＲＥＦに達するとき、比較器９０６のＶＯＵＴは反転し、これによってカウンタ９１４のカウントは停止可能であり、カウント値は、１つの量子化ステップ内で、ＣＯＭＰ＿ＩＮ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、電荷貯蔵デバイス９０２で貯蔵された電荷量のデジタル表現、および入射光強度のデジタル表現になり得る。
【０１１２】
上で論じられるように、ＡＤＣ６１６は、ＡＤＣ６１６によって出力された量レベルによって表される（例えば、量子化ステップの総数によって表される）電荷量と、ＡＤＣ８０８によって量レベルにマッピングされる実際の入力電荷量との間に不整合があるとき量子化誤差をもたらす可能性がある。量子化誤差は、より小さい量子化ステップサイズを使用することによって減らされ得る。図１１Ｂの例では、クロック周期ごとのＶＲＥＦの増加（または減少）量によって量子化誤差を減らすことができる。
【０１１３】
より小さい量子化ステップサイズを使用することによって量子化誤差を減らすことができるが、エリアおよびパフォーマンス速度は、量子化ステップがどれくらい低減され得るかを限定する場合がある。より小さい量子化ステップサイズでは、特定の範囲の電荷量（および光強度）を表すために必要である量子化ステップの総数は、増加し得る。増加した数の量子化ステップを表すために、より多くのデータビットが必要とされる場合がある（例えば、２５５ステップを表す８ビット、１２７ステップを表す７ビットなど）。より多数のデータビットは、追加のバスがピクセル出力バス８１６に追加される必要がある場合があり、これは、ピクセルセル６０１が非常に限られた空間を有するヘッドマウントデバイスまたは他のウェアラブルデバイス上で使用される場合、実行可能ではない場合がある。さらに、より大きい量子化ステップサイズでは、ＡＤＣ８０８は、（１つの量子化ステップと）一致する量子化レベルを見つける前に、より多い量子化ステップを循環する必要があり得、これによって、処理電力消費および時間が増大し、画像データを生成する速度が低下する。低下した速度は、高いフレームレートを必要とするいくつかのアプリケーション（例えば、眼球の動きを追跡するアプリケーション）では受け入れ不可能である場合がある。
【０１１４】
量子化誤差を減らすための１つのやり方は、量子化ステップが入力範囲にわたって均一でない不均一量子化方式を採用することによるものである。図１１Ｃは、不均一量子化プロセスおよび均一量子化プロセスのための、ＡＤＣコード（量子化プロセスの出力）と入力電荷量レベルとの間のマッピングの一例を示す。点線は不均一量子化プロセスに対するマッピングを示すのに対し、実線は均一量子化プロセスに対するマッピングを示す。均一量子化プロセスについて、（Δｌによって示される）量子化ステップサイズは入力電荷量の全範囲に対して同一である。対照的に、不均一量子化プロセスについて、量子化ステップサイズは入力電荷量に応じて異なっている。例えば、（ΔＳによって示される）低い入力電荷量に対する量子化ステップサイズは、（ΔＬによって示される）多くの入力電荷量に対する量子化ステップサイズより小さい。また、同じ低い入力電荷量について、不均一量子化プロセス（ΔＳ）に対する量子化ステップサイズを、均一量子化プロセス（Δｌ）に対する量子化ステップサイズより小さくすることができる。
【０１１５】
不均一量子化方式を採用する１つの利点は、低い入力電荷量を量子化するための量子化ステップを減らすことができ、これによって、さらにまた、低い入力電荷量を量子化するための量子化誤差が減り、ＡＤＣ６１６によって区別可能である最小入力電荷量を減らすことができることである。したがって、量子化誤差を減らすことによって、イメージセンサの測定可能な光強度の下限を押し下げることができ、ダイナミックレンジを増大させることができる。また、量子化誤差は高い入力電荷量に対して増加するが、量子化誤差は高い入力電荷量と比較すると小さいままであり得る。したがって、電荷の測定にもたらされる量子化誤差全体を減らすことができる。他方では、入力電荷量の全範囲を包含する量子化ステップの総数は、同じままであって（またはさらには低減させて）よく、量子化ステップの数が増えること（例えば、エリアの増大、処理速度の低下など）に関連付けられた前述の潜在的な問題を回避することができる。
【０１１６】
図１１Ｄは、不均一量子化プロセスを使用してピクセルＡＤＣ８０８によってアナログ電圧を量子化する一例を示す。（均一量子化プロセスを採用する）図１１Ｂと比較して、ＶＲＥＦは、最初はより緩やかな傾斜でその後より急峻な傾斜で、それぞれのクロック周期で非線形的に増大する。傾斜差は、一様ではない量子化ステップサイズに起因する。（より低い入力量範囲に対応する）より低いカウンタのカウント値については、量子化ステップはより小さくなるため、ＶＲＥＦはより遅い速度で増大する。（より高い入力量範囲に対応する）より高いカウンタのカウント値については、量子化ステップはより多くなるため、ＶＲＥＦが増大する速度は上昇する。不均一なＶＲＥＦ傾斜は、例えば、カウンタ８１４のカウントの頻度を変更すること、ＶＲＥＦ電圧とカウンタ９１４のカウント値との間の関係を変更することなどに基づいて、生成可能である。いくつかの例では、図１１Ｄの不均一量子化プロセスは、低い光強度範囲１００６および中間の光強度範囲１００８に対する光強度判定に採用可能である。
【０１１７】
図９に戻ると、コントローラ９２０は、選択９２２に基づいて、ＴＴＳ量子化動作、オーバーフロー電荷の量を測定するための量子化動作（以降、「ＦＤ  ＡＤＣ」動作）、および、残留電荷の量を測定するための量子化動作（以降、「ＰＤ  ＡＤＣ」動作）を行うことができる。コントローラ９２０は、量子化動作のうちの１つまたは複数をスキップすることもできる。出力論理回路９０８は、カウント値をメモリ９１２に記憶するための量子化動作はどれかを決定することができる。具体的には、出力論理回路９０８は、ＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号として量子化動作の決定出力を記憶するためのレジスタ９３２および９３４のセットを含む。ＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号に基づいて、コントローラ９２０は、入射光強度を表すために３つの段階のうちの１つで出力されたカウント値を選択可能である。選択されたカウント値はメモリ９１２に記憶可能であり、メモリ９１２は、後続の測定段階で、メモリ９１２において出力された選択されたＡＤＣコードを上書きしないように、ＮＯＲゲート９３６によってＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号の組合せに基づいてロック可能である。３段階測定プロセスの終わりに、コントローラ９２０は、メモリ９１２に記憶されたカウント値を抽出し、かつこのカウント値を、入射光強度を表すデジタル出力として提供することができる。
【０１１８】
ここで、コントローラ９２０によって生成されるピクセルセル６０２ａの一連の制御信号例を示す図１２を参照する。図１２は、時間に対するＡＢ、ＲＳＴ、ＣＯＭＰ＿ＲＳＴ、ＴＧ、ＬＧ、およびＶＲＥＦの変化を示す。図１２を参照すると、時間Ｔ０と時間Ｔ１との間の期間は第１のリセット段階に対応し得る。この段階では、電荷貯蔵デバイス９０２および比較器９０６は、ＲＳＴ信号およびＣＯＭＰ＿ＲＳＴ信号をアサートすることによってコントローラ９２０によってリセット状態になり得、シャッター信号ＡＢは、フォトダイオードＰＤによって生成された電荷が電荷貯蔵デバイス９０２に達しないようにするためにアサート可能である。ＲＳＴ信号およびＬＧ信号は両方共、ＰＩＸＥＬ＿ＯＵＴをリセットレベルで設定するためにＣＦＤキャパシタおよびＣＥＸＴキャパシタをリセットするようにアサートされる。ＣＯＭＰ＿ＲＳＴ信号がアサートされかつ比較器９０６の正極がＶｒｅｆ＿ｈｉｇｈに接続されることで、ＣＯＭＰ＿ＩＮは、Ｖｒｅｆ＿ｈｉｇｈおよび比較器オフセットＶｃｏｍｐ＿ｏｆｆｓｅｔの和に設定可能である。また、ＲＳＴ信号がアサートされると、ＰＩＸＥＬ＿ＯＵＴはリセットされた電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔを設定可能であり、かつリセットノイズＶσＫＴＣを含むことができる。以下のように、第１のサンプリング動作をＣＣキャップによって行って、比較器オフセット、リセットノイズ、および、リセットレベルでのＰＩＸＥＬ＿ＯＵＴ電圧の成分を含むＶＣＣ電圧を貯蔵することができる。
【０１１９】
ＶＣＣ（Ｔ１）＝（Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ）−（Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋ＶσＫＴＣ）  （式１）
【０１２０】
時間Ｔ１では、ＲＳＴ信号、ＡＢ信号、およびＣＯＭＰ＿ＲＳＴ信号が放出され、これによって、フォトダイオードＰＤが電荷を蓄積しかつ移動させることができる（Ｔｅｘｐｏｓｕｒｅとラベルを付けた）露光期間が開始される。露光期間Ｔｅｘｐｏｓｕｒｅは時間Ｔ２で終了することができる。時間Ｔ１と時間Ｔ３との間で、ＴＧ信号はフォトダイオードＰＤが飽和する前にＰＤが残留電荷を蓄積できるように部分的にオン状態で移動スイッチＭ１を設定できる。図７の中間の強度範囲または高い強度範囲における光強度の場合、フォトダイオードＰＤは、移動スイッチＭ１を介してオーバーフロー電荷を飽和させかつ移動させることができる。ＬＧ信号は、低利得モードで動作するようにアサートされたままとすることができ、ここで、ＣＦＤキャパシタおよびＣＥＸＴキャパシタは両方共、オーバーフロー電荷を蓄えるために電荷貯蔵デバイス９０２を形成するように並列に接続される。オーバーフロー電荷は、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１を生じさせる。ＣＣキャパシタは、リセットノイズおよび比較器オフセット成分を含むＶＣＣ電圧を追加することによって、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１をＣＯＭＰ＿ＩＮ電圧に交流結合することができる。新しいＰＩＸＥＬ＿ＯＵＴ電圧は、ＶＣＣ電圧のリセットノイズ成分によって相殺可能であるリセットノイズも含む。時間Ｔ１と時間Ｔ３との間の時間ＴｘでのＣＯＭＰ＿ＩＮ電圧は以下のようになり得る。
【０１２１】
Ｖｃｏｍｐ＿ｉｎ（Ｔｘ）＝Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ  （式２）
【０１２２】
式２では、Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔの差は、電荷貯蔵デバイス９０２に蓄えられたオーバーフロー電荷の量を表す。ＣＯＭＰ＿ＩＮ電圧における比較器オフセットは、比較を行うときに比較器９０６によってもたらされた比較器オフセットを相殺することもできる。
【０１２３】
時間Ｔ１と時間Ｔ３との間に、ＣＯＭＰ＿ＩＮ電圧の測定の２つの段階を行うことができる。該段階は、高い光強度範囲１０１０に対する飽和時間（ＴＴＳ）測定段階、および中間の光強度１００８に対するオーバーフロー電荷の測定のためのＦＤ  ＡＤＣ段階を含む。時間Ｔ１と時間Ｔ２との間（Ｔｅｘｐｏｓｕｒｅ）に、比較器９０６によって、ＣＯＭＰ＿ＩＮ電圧を電荷貯蔵デバイス９０２の飽和レベルを表す静的Ｖｒｅｆ＿ｌｏｗと比較することによって、ＴＴＳ測定を行うことができる。ＰＩＸＥＬ＿ＯＵＴ電圧が静的ＶＲＥＦに達するとき、比較器９０６の出力（ＶＯＵＴ）は作動することができ、ＶＯＵＴが作動するときのカウンタ９１４からのカウント値はメモリ９１２に記憶可能である。時間Ｔ２では、コントローラ９２０は、ＴＴＳ段階の終わりに比較器９０６のＶＯＵＴの状態を判定でき、かつＶＯＵＴがアサートされる場合にＦＬＡＧ＿１信号をアサートできる。ＦＬＡＧ＿１信号のアサートは、電荷貯蔵デバイス９０２が飽和し、かつ後続の測定段階（ＦＤ  ＡＤＣおよびＰＤ  ＡＤＣ）でメモリ９１２に記憶されるカウント値を上書きしないようにすることができることを指示することができる。ＴＴＳからのカウント値は、その後、積分期間中にフォトダイオードＰＤが受光した光の強度を表すために提供可能である。
【０１２４】
（ＴＦＤＡＤＣとラベルを付けた）時間Ｔ２と時間Ｔ３との間に、図９Ｂに表されるように、ＣＯＭＰ＿ＩＮ電圧を、フォトダイオードＰＤの飽和レベル（例えば、閾値１００２）を表す、Ｖｒｅｆ＿ｌｏｗからＶｒｅｆ＿ｈｉｇｈまで上昇するランプＶＲＥＦ電圧と比較することによって、ＦＤ  ＡＤＣ動作を行うことができる。比較器９０６のＶＯＵＴがＦＤ  ＡＤＣ中に作動する場合、ＶＯＵＴが作動するときのカウンタ９１４のカウント値は、電荷貯蔵デバイス９０２が飽和しないことを指示する、ＦＬＡＧ＿１が低い場合、メモリ９１２に記憶可能である。露光期間は時間Ｔ２で終了するが、時間Ｔ２と時間Ｔ３との間に、フォトダイオードＰＤは、（飽和していない場合）残留電荷を蓄積すること、またはオーバーフロー電荷を電荷貯蔵デバイス９０２に移動させることが可能なままである。
【０１２５】
（ＴＰＤＡＤＣ−ｔｒａｎｓｆｅｒとラベルを付けた）時間Ｔ３と時間Ｔ４との間は第２のリセット段階とすることができ、ここで、ＲＳＴ信号およびＣＯＭＰ＿ＲＳＴ信号は両方共、後続のＰＤ  ＡＤＣ動作を準備するために、（ＣＦＤキャパシタおよびＣＥＸＴキャパシタの並列組合せを含む）電荷貯蔵デバイス９０２および比較器９０６をリセットするためにアサートされる。ＶＣＣ電圧は、式１に従って設定可能である。
【０１２６】
ＲＳＴおよびＣＯＭＰ＿ＲＳＴが放出された後、ＬＧは、ＰＤ  ＡＤＣ動作のために電荷電圧変換率を増大させるためにＣＥＸＴをＣＦＤから切断するためにオフにされる。ＴＧは、フォトダイオードＰＤに蓄えられた残留電荷をＣＦＤに移動させるためにＭ１移動スイッチを完全にオンにするためのレベルで設定される。残留電荷は新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２を生じさせる。ＣＣキャパシタは、ＶＣＣ電圧を追加することによって、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２をＣＯＭＰ＿ＩＮ電圧に交流結合することができる。時間Ｔ３と時間Ｔ４との間に、フォトダイオードＰＤは、時間Ｔ１と時間Ｔ３との間に生成される電荷に加えてさらなる電荷を生成すること、およびさらなる電荷を電荷貯蔵デバイス９０２に移動させることが可能なままである。Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２はまた、時間Ｔ３と時間Ｔ４との間に移動させたさらなる電荷を表す。時間Ｔ４では、ＣＯＭＰ＿ＩＮ電圧は以下のようになり得る。
【０１２７】
Ｖｃｏｍｐ＿ｉｎ（Ｔ４）＝Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ＋Ｖｒｅｆ＿ｈｉｇｈ＋Ｖｃｏｍｐ＿ｏｆｆｓｅｔ  （式３）
【０１２８】
式３では、Ｖｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２−Ｖｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔの差は、時間Ｔ３と時間Ｔ４との間にフォトダイオードによって電荷貯蔵デバイス９０２に移動させた電荷の量を表す。ＣＯＭＰ＿ＩＮ電圧での比較器オフセットはまた、比較を行うときに比較器９０６によってもたらされた比較器オフセットを相殺することができる。
【０１２９】
時間Ｔ４では、ＡＢ信号は、フォトダイオードＰＤがさらなる電荷を蓄積しかつ移動させないようにアサートされる。さらに、ＶＲＥＦは静的レベルＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎに設定可能である。比較器９０６は、ＣＯＭＰ＿ＩＮ電圧をＶｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎと比較して、フォトダイオードＰＤが飽和しているかどうかを判定することができる。Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎは、残留電荷の量が飽和レベルに近いが超えていないときに比較器９０６の誤差動を防止するためにフォトダイオードＰＤの飽和レベル（例えば、閾値１００２）を表すＶｒｅｆ＿ｌｏｗよりわずかに高い。コントローラ９２０は、比較器９０６のＶＯＵＴの状態を判定することができ、かつフォトダイオードＰＤが飽和していることを指示するためにＶＯＵＴがアサートされる場合にＦＬＡＧ＿２をアサートできる。ＦＬＡＧ＿２がアサートされる場合、メモリ９１２は、（ＦＤ  ＡＤＣから）メモリ９１２に記憶されるカウント値を保存するためにロックされ得、かつメモリ９１２が後続のＰＤ  ＡＤＣ動作によって上書きされないようにする。
【０１３０】
時間Ｔ４と時間Ｔ５との間に、コントローラ９２０は、ＣＯＭＰ＿ＩＮ電圧を、Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎからＶｒｅｆ＿ｈｉｇｈまで開始するＶＲＥＦランプと比較することによってＰＤ  ＡＤＣ動作を行うことができる。ＰＤ  ＡＤＣ段階では、Ｖｒｅｆ＿ｈｉｇｈは、フォトダイオードＰＤに蓄えられた残留電荷の最小の検出可能な量を表すことができるのに対し、Ｖｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎは、上述されるように、暗電流を考慮するためのマージンを有するフォトダイオードＰＤの飽和閾値を表すことができる。ＦＬＡＧ＿１もＦＬＡＧ＿２もＰＤ  ＡＤＣの前にアサートされない場合、比較器９０６がＰＤ  ＡＤＣ中に作動するときに得られるカウント値は、メモリ９１２に記憶可能であり、ＰＤ  ＡＤＣからのカウント値は光の強度を表すために提供可能である。
【０１３１】
図１２は、ＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作が行われることを示すが、ＡＤＣ６１６（およびピクセルセル６０２ａ）がこれらの動作の全てを行う必要はなく、選択９２２に基づいてこれらの一部をスキップすることができることは理解されたい。後述されるように、量子化動作は、ピクセルセル６０２ａ内の種々のフォトダイオードに対して変わる場合がある。
【０１３２】
ここで、複数のフォトダイオードを含むピクセルセル６０２ａの一例を示す図１３Ａを参照する。図１３Ａに示されるように、ピクセルセル６０２ａは、ＰＤ０、ＰＤ１、ＰＤｎなどを含む複数のフォトダイオードを含む。ＰＤ０、ＰＤ１、ＰＤｎは、単一の電荷検知ユニット６１４および単一のＡＤＣ６１６を共有することができる。フォトダイオードＰＤ０、ＰＤ１、ＰＤｎは、フォトダイオード６１２ａ、６１２ｂ、および６１２ｃに対応することができる。それぞれのフォトダイオードは、対応するシャッタースイッチおよび対応する移動スイッチに連結される。例えば、フォトダイオードＰＤ０は、シャッタースイッチＭ０ａおよび移動スイッチＭ１ａに連結され、フォトダイオードＰＤ１は、シャッタースイッチＭ０ｂおよび移動スイッチＭ１ｂに連結され、その一方で、フォトダイオードＰＤｎは、シャッタースイッチＭ０ｎおよび移動スイッチＭ１ｎに連結される。それぞれの移動スイッチは、電荷貯蔵デバイス９０２のＯＦノードに連結される。コントローラ９２０は、（シャッタースイッチＭ０ａ、Ｍ０ｂ、Ｍ０ｎに対する）制御信号ＡＢ０、ＡＢ１、およびＡＢｎのタイミング、および（移動スイッチＭ１ａ、Ｍ１ｂ、Ｍ１ｎに対する）制御信号ＴＧ０、ＴＧ１、およびＴＧｎのタイミングを制御して、個々にそれぞれのフォトダイオードが残留電荷を生成／蓄積すること、およびオーバーフロー電荷を電荷検知ユニット６１４に移動させることを可能にすることができる。さらに、選択９２２に基づいて、コントローラ９２０はそれぞれのフォトダイオードに対して量子化動作を行うこともできる。
【０１３３】
図１３Ｂは、図１３Ａのピクセルセル６０２ａの動作例を示す。動作１３０２時に、コントローラ９２０は、シャッタースイッチＭ０ａ〜Ｍ０ｎおよび移動スイッチＭ１ａ〜Ｍ１ｎが、それぞれのフォトダイオードに、交代でオーバーフロー電荷を単一の電荷検知ユニットに移動させて第１の電圧を生成可能にすることで、さらにまた、選択９２２に基づいてＡＤＣ６１６によってＴＴＳ動作および／またはＦＤ  ＡＤＣ動作において量子化可能であるように制御可能である。例えば、動作１３０２において、コントローラ９２０は、シャッタースイッチＭ０ａ、Ｍ０ｂ、およびＭ０ｎに対する制御信号ＡＢ０、ＡＢ１、およびＡＢｎをデアサートして、フォトダイオードＰＤ０、ＰＤ１、およびＰＤｎに対する露光時間を開始可能であり、それによって、それぞれのフォトダイオードが入射光の成分に応答して電荷を生成しかつ蓄積することができるようにする。時間Ｔ０と時間Ｔ２との間に、コントローラ９２０は、電荷貯蔵デバイス９０２を最大容量で構成し、かつフォトダイオードＰＤ０が、部分的にオン状態で移動スイッチＭ１ａをバイアスすることによってオーバーフロー電荷を電荷検知ユニット６１４に移動可能にする一方で、他のフォトダイオードがオーバーフロー電荷を電荷検知ユニット６１４に移動させないようにするためにＭ１ｂおよびＭ１ｎなどの他の移動スイッチを無効にすることができる。選択９２２に基づいて、コントローラ９２０は、ＡＤＣ６１６が時間Ｔ０と時間Ｔ１との間にＴＴＳ動作を行った後に時間Ｔ１と時間Ｔ２との間にＦＤ  ＡＤＣ動作を行うように制御可能である。ＰＤ０に対するＴＴＳ動作またはＦＤ  ＡＤＣ動作の出力を表すデジタル値は、（最大容量で構成される）電荷貯蔵デバイス９０２が飽和しているかどうかに基づいてメモリ９１２に記憶可能である。コントローラ９２０は、時間Ｔ２と時間Ｔ３との間に電荷貯蔵デバイス９０２をリセットし、かつ時間Ｔ３と時間Ｔ５との間にＰＤ１に対して、その後他のフォトダイオードに対して前述の動作を繰り返すことができる。
【０１３４】
ＡＤＣ６１６がそれぞれのフォトダイオードからのオーバーフロー電荷の量子化動作を完了後、コントローラ９２０は、それぞれのフォトダイオードが交代で残留電荷を電荷検知ユニット６１４に移動させた後ＰＤ  ＡＤＣ動作を行うことを可能にすることができる。例えば、時間Ｔ７と時間Ｔ８との間に、コントローラ９２０は、電荷貯蔵デバイス９０２を最小容量で構成し、かつ移動スイッチＭ０ａを完全にオンの状態でバイアスして、残留電荷をＰＤ０から電荷検知ユニット６１４に移動させた後、ＰＤ  ＡＤＣ動作を行って、時間Ｔ８と時間Ｔ９との間に残留電荷を量子化することができる。コントローラ９２０は、時間Ｔ９と時間Ｔ１０との間に電荷貯蔵デバイス９０２をリセットして、残留電荷を除去後、時間Ｔ１０の後に他のフォトダイオード（例えば、ＰＤ１、ＰＤｎ）に対してこれらの動作を繰り返すことができる。
【０１３５】
動作１３０２の配置構成によって、それぞれのフォトダイオードは電荷検知ユニットへの同じアクセスを有することが可能になり、かつ量子化動作の同じセットをそれぞれのフォトダイオードの出力に対して行うことができるが、それぞれのフォトダイオードは、オーバーフロー電荷に対して異なる積分期間を有する場合があり、これによってグローバルシャッター動作が低下する可能性がある。例えば、フォトダイオードＰＤ０に対するオーバーフロー電荷の積分期間は時間Ｔ０と時間Ｔ２との間であるのに対し、フォトダイオードＰＤ１に対するオーバーフロー電荷の積分期間は時間Ｔ３と時間Ｔ５との間である。異なるフォトダイオードはイメージセンサが高速で動いているとき異なるスポットから光をキャプチャし得るため、異なる積分期間によってモーションブラーが引き起こされる可能性があり、これによって、画像が歪みかつグローバルシャッター動作が低下する可能性がある。
【０１３６】
他方では、動作１３０４において、コントローラ９２０は、シャッタースイッチＭ０ａ〜Ｍ０ｎおよび移動スイッチＭ１ａ〜Ｍ１ｎが、１つのフォトダイオードのみがオーバーフロー電荷を電荷検知ユニット６１４に移動させて、露光期間内にＴＴＳ動作およびＦＤ  ＡＤＣ動作を行うことができるように制御可能である。例えば、コントローラ９２０は、シャッタースイッチＭ０ａを部分的にオンの状態で設定してフォトダイオードＰＤ０が時間Ｔ０と時間Ｔ２との間にオーバーフロー電荷を移動できるようにし、ここで、ＡＤＣ６１６はＴＴＳ動作およびＦＤ  ＡＤＣ動作を行うことができる。コントローラ９２０は、時間Ｔ２と時間Ｔ３との間に電荷貯蔵デバイス９０２をリセットすることができる。時間Ｔ３の後、コントローラ９２０は、移動スイッチＭ１ａ〜Ｍ１ｎが、フォトダイオードの全てに交代で残留電荷を電荷検知ユニットに移動させかつＰＤ  ＡＤＣ動作を行わせることができるように制御することができる。例えば、時間Ｔ３と時間Ｔ５との間に、フォトダイオードＰＤ０は残留電荷を移動させた後、ＰＤ  ＡＤＣ動作を行うことができる。電荷貯蔵デバイス９０２が時間Ｔ５と時間Ｔ６との間にリセットされた後、別のフォトダイオードは残留電荷を移動させた後、別のＰＤ  ＡＤＣ動作を行うことができる。このような配置構成は、例えば、特定の成分の強度が（例えば、３Ｄ検知のための強力な赤外線照射による暗い環境において）他の成分と比較して非常に高いとき、使用可能である。強力な赤外線成分または他のはるかに弱い可視光成分のどちらかに対する電荷を蓄積するようにそれぞれのフォトダイオードに同じ露光期間を設けることができる。ＴＴＳ動作およびＦＤ  ＡＤＣ動作は、強力な赤外線成分を検出するフォトダイオード（例えば、フォトダイオードＰＤ０）の出力に対して行われ得、ＰＤ  ＡＤＣ動作は、他のフォトダイオードの出力に対して行われ得ることで、（可視光に対する）低強度測定動作および（赤外光に対する）高強度測定動作両方のダイナミックレンジを改善することができる。
【０１３７】
いくつかの例では、コントローラ９２０は、フォトダイオードの一部または全てが、オーバーフロー電荷または残留電荷を電荷検知ユニットに同時に移動可能にすることもできる。このような配置構成は、フォトダイオードの移動スイッチが入射光の同じ成分を検出する（例えば、図８Ｄのフォトダイオード６１２ａおよび６１２ｂで、この両方共が単色光を検出する）ように構成されるフォトダイオードの移動スイッチがオーバーフロー電荷または残留電荷を電荷検知ユニット６１４に同時に移動させるために部分的にまたは完全にオンになっている可能性があるビニング動作の一部とすることができる。このような配置構成によって、連続した量子化動作の数を減らすことができ、かつ処理を高速にすることができる。いくつかの例では、コントローラ９２０はまた、光の異なる成分を検出するフォトダイオードが、オーバーフロー電荷を電荷検知ユニット６１４に同時に移動可能にすることができるが、フォトダイオードに対する異なる量子井戸容量を設定するために移動スイッチのバイアスを設定することができる。例えば、コントローラは、他の波長範囲の間で最も強力であると予想される特定の波長範囲に関連付けられたフォトダイオードに対する量子井戸容量を低下させることができることで、そのフォトダイオードは他のフォトダイオードよりも、オーバーフロー電荷を電荷検知ユニットに移動させる可能性が高くなる。このような配置構成は、上述される例のようにそれぞれのフォトダイオードに対して同じ露光期間をもたらすだけでなく、光測定動作における柔軟性を高める。具体的には、ＴＴＳ／ＦＤ  ＡＤＣ動作出力は、動作状態が変わり、かつ他の成分の強度も増すときに、入射光の予想される最も強力な成分の出力を表す可能性が高くなるが、ＴＴＳ／ＦＤ  ＡＤＣ動作出力は入射光の他の高強度成分を反射することもできる。
【０１３８】
動作１３０２および１３０４の両方では、それぞれのフォトダイオードに対して行われた量子化動作は選択９２２に基づくことができる。例えば、動作１０２において、選択９２２に基づいて、ＰＤ０に対してＴＴＳ動作のみが行われる、ＰＤ１に対してＦＤ動作のみが行われるなどとすることができる。さらに、動作１３０４においてＴＴＳおよび／またはＦＤ  ＡＤＣ動作を行うためのＰＤ０の選択はまた、選択９２２に基づくことができる。
【０１３９】
ここで、複数のフォトダイオードを含むピクセルセル６０２ａの別の例を示す図１４Ａを参照する。図１４Ａに示されるように、ピクセルセル６０２ａは、ＰＤ０、ＰＤ１などを含む複数のフォトダイオード、および、電荷検知ユニット６１４ａ、６１４ｂなどを含む複数の電荷検知ユニット６１４を含む。電荷検知ユニット６１４ａは、電荷貯蔵デバイス９０２ａおよび切替可能バッファ９０４ａを含み、かつフォトダイオードＰＤ０から移動させた残留電荷およびオーバーフロー電荷を電圧に変換するように構成される。電荷検知ユニット６１４ｂは、電荷貯蔵デバイス９０２ｂおよび切替可能バッファ９０４ｂを含み、かつフォトダイオードＰＤ１から移動させた残留電荷およびオーバーフロー電荷を電圧に変換するように構成される。それぞれのフォトダイオードは、対応するシャッタースイッチおよび対応する移動スイッチに連結される。例えば、フォトダイオードＰＤ０は、シャッタースイッチＭ０ａおよび移動スイッチＭ１ａに連結されるのに対し、フォトダイオードＰＤ１は、シャッタースイッチＭ０ｂおよび移動スイッチＭ１ｂに連結される。コントローラ９２０は、（シャッタースイッチＭ０ａおよびＭ０ｂに対する）制御信号ＡＢ０およびＡＢ１、（移動スイッチＭ１ａおよびＭ１ｂに対する）制御信号ＴＧ０およびＴＧ１、ならびに、制御信号ＲＳＴ０、ＬＧ０、ＲＳＴ１、およびＬＧ１のタイミングを制御して、個々にそれぞれのフォトダイオードが残留電荷を生成／蓄積すること、およびオーバーフロー電荷を対応する電荷検知ユニット６１４に移動させることを可能にすることができる。さらに、選択９２２に基づいて、コントローラ９２０は、選択９２２によって選択された量子化動作を行うように、それぞれの電荷検知ユニット６１４ａおよび６１４ｂがＡＤＣ６１６にアクセスできるように、制御信号ＳＥＬ０およびＳＥＬ１のタイミングを制御することもできる。
【０１４０】
図１４Ｂは、図１３Ａのピクセルセル６０２ａの動作例を示す。動作１４０２において、コントローラ９２０は、それぞれのフォトダイオードがオーバーフロー電荷をこの対応する電荷検知ユニットに同時に移動させることができるようにシャッタースイッチＭ０ａ〜Ｍ０ｎおよび移動スイッチＭ１ａ〜Ｍ１ｎを制御可能である。例えば、コントローラ９２０は、シャッタースイッチＭ０ａおよびＭ０ｂに対する制御信号ＡＢ０およびＡＢ１をデアサートして、フォトダイオードＰＤ０およびＰＤ１に対する露光時間を開始可能であり、それによって、それぞれのフォトダイオードが入射光の成分に応答して電荷を生成しかつ蓄積することができるようにする。しかしながら、コントローラ９２０は、電荷検知ユニットのうちの１つのみをＡＤＣ６１６に接続してＴＴＳ動作を行う。例えば、時間Ｔ０と時間Ｔ１との間に、コントローラ９２０は、露光期間内に、電荷検知ユニット６１４ａの切替可能バッファ９０４をＡＤＣ６１６に接続してＴＴＳ動作を行うためにＳＥＬ０をアサートすることができる。Ｔ１の後、コントローラ９２０は、それぞれの電荷検知ユニットが交代でＡＤＣ６１６に接続するように制御することができる。電荷検知ユニットがＡＤＣ６１６に接続されるとき、ＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作を選択９２２に基づいて行うことができる。例えば、動作１４０２において示されるように、フォトダイオードＰＤ０に対して、時間Ｔ１と時間Ｔ２との間にＦＤ  ＡＤＣ動作が行われた後、時間Ｔ３と時間Ｔ４との間にＰＤ  ＡＤＣ動作が行われる。コントローラ９２０はさらにまた、電荷検知ユニット６１４Ｂの切替可能バッファ９０４をＡＤＣ６１６に接続して、フォトダイオードＰＤ１に対して、（時間Ｔ４と時間Ｔ５との間に）ＦＤ  ＡＤＣ動作および（時間Ｔ６と時間Ｔ７との間に）ＰＤ  ＡＤＣ動作を行うためにＳＥＬ１をアサートする（一方でＳＥＬ０をデアサートする）ことができる。動作１４０２の配置構成は、例えば、フォトダイオードのうちの１つ（例えば、ＰＤ０）が高強度光成分を受光することが予想され、かつこの電荷貯蔵デバイスがこの結果として飽和することが予想される一方で、他のフォトダイオードが中／低強度光成分を受光することが予想され、かつこれらの電荷貯蔵デバイスが飽和することが予想されないとき、使用可能である。
【０１４１】
動作１４０４では、コントローラ９２０は、それぞれのフォトダイオードが交代で、時間Ｔ０に開始する、露光期間中のＴＴＳ動作を行うことを可能にすることができる。例えば、時間Ｔ０と時間Ｔ１との間に、コントローラ９２０は、電荷検知ユニット６１４ａをＡＤＣ６１６に接続してＰＤ０に対するＴＴＳ動作を行うように制御信号ＳＥＬ０をアサートすることができる。また、時間Ｔ１と時間Ｔ２との間に、コントローラ９２０は、電荷検知ユニット６１４ｂをＡＤＣ６１６に接続してＰＤ１に対するＴＴＳ動作を行うように制御信号ＳＥＬ１をアサートすることができる。コントローラ９２０は、他のフォトダイオードに対してＴＴＳ動作を繰り返すことができる。時間Ｔ３に開始して、コントローラ９２０は、それぞれの電荷検知ユニットが交代でＡＤＣ６１６に接続してＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作を行うことができるようにＳＥＬ０信号およびＳＥＬ１信号のタイミングを制御することができる。例えば、ＦＤ  ＡＤＣ動作は時間Ｔ３と時間Ｔ４との間にＰＤ０に対して行われ、ＰＤ  ＡＤＣ動作は時間Ｔ５と時間Ｔ６との間にＰＤ０に対して行われた後、時間Ｔ６と時間Ｔ７との間にＰＤ１に対してＦＤ  ＡＤＣ動作が行われ、時間Ｔ７と時間Ｔ８との間にＰＤ１に対してＰＤ  ＡＤＣ動作が行われる。
【０１４２】
動作１４０２および１４０４の両方において、それぞれのフォトダイオードに対して行われる量子化動作は選択９２２に基づくことができる。例えば、動作１４０２において、選択９２２に基づいて、ＰＤ０に対してＴＴＳ動作のみが行われる、ＰＤ１に対してＦＤ動作のみが行われるなどとすることができる。さらに、動作１４０２においてＴＴＳおよび／またはＦＤ  ＡＤＣ動作を行うためのＰＤ０の選択はまた、選択９２２に基づくことができる。
【０１４３】
図１３Ａ〜図１４Ｂでは、メモリ９１２は、フォトダイオードのそれぞれに対する量子化結果を記憶するように構成可能である。いくつかの例では、メモリ９１２はフォトダイオードの全てに対する量子化結果を同時に記憶するように構成可能である。いくつかの例では、それぞれのフォトダイオードの量子化結果は連続してメモリ９１２に記憶可能である。具体的には、ピクセルセルの１つのフォトダイオードの量子化結果は、メモリに記憶され、ピクセル値の生成のために読み出され、さらにまた、ピクセルセルの別のフォトダイオードの量子化結果によって上書きされ得る。
【０１４４】
図１４ＡはＡＤＣ６１６が複数の電荷検知ユニットの間で共有されることを示しているが、ピクセルセルが電荷検知ユニットのサブセットによって共有される複数のＡＤＣを含むことができることは理解されたい。例えば、ピクセルセルが４つのフォトダイオードおよび４つの電荷検知ユニットを含む場合、電荷検知ユニットのそれぞれの対は１つのＡＤＣを共有可能であり、ピクセルセルは２つのＡＤＣを含むことができる。このような配置構成は、それぞれのＡＤＣによって行われる連続した量子化動作の数を減らすことができ、これによって、デジタル出力を生成するのにかかる時間を減らすことができ、かつフレームレートを増大させることができる。
【０１４５】
図１５は、光の異なる成分の強度を測定するための方法１５００のフローチャートを示す。方法１５００は、例えば、図１３Ａおよび図１４Ａに示されるように、ピクセルセル６０２ａ含むイメージセンサ６００の様々な構成要素、メモリ９１２、カウンタ９１４、およびコントローラ９２０によって行われ得る。
【０１４６】
方法１５０５はステップ１５０２で開始し、ここで、コントローラ９２０は、ピクセルセル６０２ａの複数のフォトダイオード（例えば、ＰＤ０、ＰＤ１、およびＰＤｎなど）のそれぞれのフォトダイオードが、入射光の異なる成分に応答して電荷を生成できるようにすることが可能である。上述されるように、ピクセルセル６０２ａは複数のフォトダイオードを含んでよい。いくつかの例では、図８Ａに示されるように、フォトダイオードは、それぞれのフォトダイオードによって吸収される光成分の波長を設定できる受光面から異なる距離を有するようにスタック可能である。いくつかの例では、図８Ｂ〜図８Ｃに示されるように、フォトダイオードはピクセルセルのサブピクセルを形成するように横方向に配置可能であり、かつそれぞれのフォトダイオードが受光した光成分の波長を選択するために１つまたは複数のマイクロレンズおよび１つまたは複数の光学フィルタアレイを被せることができる。コントローラは、それぞれのフォトダイオードが、それぞれのフォトダイオードに連結されるシャッタースイッチ（例えば、Ｍ０ａ、Ｍ０ｂなど）を無効にすることによって対応する光成分に応答して電荷を生成できるようにすることが可能である。
【０１４７】
ステップ１５０４では、コントローラは、複数のフォトダイオードによって生成された電荷を１つまたは複数の電荷検知ユニット６１４に移動させて電圧に変換することができる。電荷は、それぞれのフォトダイオードに蓄積された残留電荷、およびフォトダイオードが飽和した後にそれぞれのフォトダイオードによって移動させたオーバーフロー電荷を含んでよい。いくつかの例では、図１４Ａに示されるように、フォトダイオードは単一の電荷検知ユニット６１４を共有する。それぞれのフォトダイオードは移動スイッチ（例えば、Ｍ１ａ、Ｍ１ｂ、Ｍ１ｎなど）を介して単一の電荷検知ユニットに連結される。コントローラは、図１３Ｂに説明されるように、それぞれのフォトダイオードがオーバーフロー電荷を単一の電荷検知ユニットに移動させるときのタイミングを制御するように移動スイッチを制御することができる。いくつかの例では、図１４Ｂに示されるように、それぞれのフォトダイオードは対応する電荷検知ユニット６１４を有してよく、コントローラは、それぞれのフォトダイオードがオーバーフロー電荷をこの対応する電荷検知ユニット６１４に同時に移動可能にすることができる。
【０１４８】
ステップ１５０６では、コントローラは、複数のフォトダイオードのそれぞれのフォトダイオードに対して、複数の強度範囲に対応する複数の量子化プロセスのうちの１つまたは複数の量子化プロセスの選択を受信することができる。複数の量子化プロセスは、例えば、電荷検知ユニットがオーバーフロー電荷によって飽和するまでの時間を測定するための飽和時間（ＴＴＳ）測定動作、オーバーフロー電荷の量を測定するためのＦＤ  ＡＤＣ測定動作、および、残留電荷の量を測定するためのＰＤ  ＡＤＣ測定動作を含んでよい。ＴＴＳ動作は高い光強度範囲のためのものとすることができ、ＦＤ  ＡＤＣ測定動作は中間の光強度範囲のためのものとすることができ、その一方で、ＰＤ  ＡＤＣ測定動作は低い光強度範囲のためのものとすることができる。
【０１４９】
量子化動作の選択は、例えば、フォトダイオードの間で電荷検知ユニットの共有に固有のものであってよい。例えば、図１３Ｂを参照すると、選択は、異なる時間で、オーバーフロー電荷に基づいてＴＴＳ動作およびＦＤ  ＡＤＣ動作を行った後、それぞれのフォトダイオードに対して残留電荷の移動およびＰＤ  ＡＤＣ動作を行うようにそれぞれのフォトダイオードを選択することを含んでよい。選択は、フォトダイオードのうちの１つを選択して、このフォトダイオードからのオーバーフロー電荷に基づいてＴＴＳおよびＦＤ  ＡＤＣ動作を行った後、それぞれのフォトダイオードに対して残留電荷の移動およびＰＤ  ＡＤＣ動作を行うことも含んでよい。別の例として、図１４Ｂを参照すると、選択は、交代でＴＴＳ、ＦＤ  ＡＤＣ、およびＰＤ  ＡＤＣ動作を行うためのそれぞれのフォトダイオードを選択すること、交代でＴＴＳ動作を行った後、ＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作を行うためのそれぞれのフォトダイオードを選択することを含んでよい。
【０１５０】
ステップ１５０８では、コントローラは、１つまたは複数のＡＤＣ６１６が、選択された量子化動作を行って、１つまたは複数の電荷検知ユニットからの電圧を異なる波長範囲のピクセルの成分を表すデジタル値に量子化するように制御することができる。例えば、デジタル値は、ＴＴＳ動作、ＦＤ  ＡＤＣ動作、およびＰＤ  ＡＤＣ動作に基づいてフォトダイオードのうちの１つに対して生成可能であるのに対し、デジタル値はＦＤ  ＡＤＣ動作およびＰＤ  ＡＤＣ動作に基づいて他のフォトダイオードに対して生成可能である。量子化は、メモリ９１２がカウンタ９１４からのカウント値を記憶するときを制御するために、電圧を（ＴＴＳに対する）静的閾値または（ＦＤ  ＡＤＣおよびＰＤ  ＡＤＣに対する）ランプ閾値と比較する比較器（例えば、比較器９０６）によって行われ得る。カウント値はデジタル値とすることができる。
【０１５１】
ステップ１５１０では、コントローラは、デジタル値の少なくともいくつかをメモリ９１２に記憶することができる。いくつかの例では、メモリ９１２は、ピクセルの成分を表すそれぞれのフォトダイオードに対するデジタル値を記憶するのに十分な容量を有してよい。いくつかの例では、メモリ９１２は、１つのフォトダイオードのデジタル値を記憶し、このデジタル値を画像化モジュール（例えば、画像化モジュール６２８）に出力し、さらにまた、別のフォトダイオードのデジタル値を記憶してよい。画像化モジュールは、ステップ１５１２において、ピクセルのデジタル値を取得し、かつデジタル値に基づいてピクセルを構成することができる。
【０１５２】
本説明の部分の中には、情報に対する動作のアルゴリズムおよび記号表現の観点から本開示の例を説明するものもある。これらのアルゴリズム的説明および表現は、当業者の作業の実体を効果的に当業者に伝えるために、当業者によって全体的に使用される。これらの動作は、機能的に、演算的に、または論理的に説明するが、コンピュータプログラム、または、同等の電気回路、マイクロコード、もしくは同様のものによって実現されることがわかる。さらに、一般性を失うことなく、動作のこれらの配置をモジュールと呼ぶことが時に便利であることも証明されてきた。説明した動作、および、これらに関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアで具体化することができる。
【０１５３】
説明したステップ、動作、または処理は、１つまたは複数のハードウェアまたはソフトウェアモジュール単独で、または、他のデバイスと組み合わせて実行すること、または実現することができる。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを収めるコンピュータ可読媒体を備えるコンピュータプログラム製品で実現され、コンピュータプログラムコードは、説明したステップ、動作、または処理のいずれかまたは全てを実行するために、コンピュータプロセッサで実行することができる。
【０１５４】
また、本開示の例は、説明した動作を実行するための装置に関するものであってもよい。装置は、必要な目的のために特に構築することができ、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされた、または再構成された汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読ストレージ媒体、または、電子的な命令を記憶するのに適した任意のタイプの媒体に記憶することができ、これらの媒体は、コンピュータシステムバスに連結することができる。さらに、本明細書で引用したいずれかのコンピューティングシステムは、単一のプロセッサを含むことができ、または、計算能力を向上させるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。
【０１５５】
また、本開示の例は、本明細書で説明した計算処理によって生み出された製品に関するものであってもよい。このような製品は、計算処理から生じた情報を含むことができ、ここで、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に記憶し、本明細書で説明したコンピュータプログラム製品、または、他のデータの組合せのいずれかの例を含むことができる。
【０１５６】
本明細書で使用した言葉は、可読性および指示目的のために主に選択してきたが、発明の主題を正確に描写するため、または制限するために選択してこなかった可能性がある。したがって、本開示の範囲は、この「発明を実施するための形態」によってではなく、むしろ、本明細書に基づく用途に対して発行するいずれかの請求項によって限定されることを意図するものである。したがって、例の本開示は、本開示の範囲を例証するためのものであるが、限定するものではなく、以下の特許請求の範囲に示す。
【図１Ａ】
2021528890.tif 000003
【図１Ｂ】
2021528890.tif 000004
【図２】
2021528890.tif 000005
【図３】
2021528890.tif 000006
【図４】
2021528890.tif 000007
【図５】
2021528890.tif 000008
【図６】
2021528890.tif 000009
【図７Ａ】
2021528890.tif 000010
【図７Ｂ】
2021528890.tif 000011
【図７Ｃ】
2021528890.tif 000012
【図８Ａ】
2021528890.tif 000013
【図８Ｂ】
2021528890.tif 000014
【図８Ｃ】
2021528890.tif 000015
【図８Ｄ】
2021528890.tif 000016
【図９】
2021528890.tif 000017
【図１０】
2021528890.tif 000018
【図１１Ａ】
2021528890.tif 000019
【図１１Ｂ】
2021528890.tif 000020
【図１１Ｃ】
2021528890.tif 000021
【図１１Ｄ】
2021528890.tif 000022
【図１２】
2021528890.tif 000023
【図１３Ａ】
2021528890.tif 000024
【図１３Ｂ】
2021528890.tif 000025
【図１４Ａ】
2021528890.tif 000026
【図１４Ｂ】
2021528890.tif 000027
【図１５】
2021528890.tif 000028
【国際調査報告】
2021528890.tif 000029
2021528890.tif 000030