(57)【要約】  デジタル撮像のための技法が本明細書で開示される。デジタル画素画像センサは、複数の画素の各画素にデジタイザを含み、このデジタイザは、画素のフォトダイオードからのアナログ出力信号を比較器、グローバル参照信号、およびクロックカウンタを使用してデジタル化する。いくつかの実施形態では、比較器は、各画素の電力消費を低減するために、定バイアス回路ではなくプリチャージ回路を含む。いくつかの実施形態では、各画素は、ノイズを低減し高ダイナミックレンジを得るためのデジタルまたはアナログ相関二重サンプリング（ＣＤＳ）回路を含む。【選択図】図１０
2020526098.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を備えるデジタル画素画像センサであって、各画素は、
光信号に応答して電荷を生成するように構成されたフォトダイオードと、
前記フォトダイオードによって生成された前記電荷を貯蔵するように構成された電荷貯蔵デバイスであって、前記貯蔵された電荷により電圧信号が前記電荷貯蔵デバイスに生じる、電荷貯蔵デバイスと、
画素メモリと、
デジタイザとを備え、デジタイザは、
比較器であって、
ランプ信号および前記電圧信号を受け取るように構成され、前記ランプ信号の電圧レベルがクロック信号の各サイクル後に増加または低下し、さらに、
前記ランプ信号の前記電圧レベルが前記電圧信号の電圧レベルに達した後に前記比較器の出力状態を変化させるように構成された比較器と、
デジタル出力生成回路であって、前記比較器の出力状態が変化したときに、
前記ランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の前記クロック信号の総サイクル数に対応する第１の数を受け取るように、かつ
前記第１の数を前記画素メモリに保存するように構成され、前記第１の数が前記電圧信号の前記電圧レベルのデジタル値に対応する、デジタル出力生成回路と
を備える、デジタル画素画像センサ。
【請求項２】
前記ランプ信号が開始した後に受け取られた前記クロック信号の前記総サイクル数を数えるように、かつ
前記総サイクル数に対応するカウンタ値を複数の前記画素に送出するように
構成されたクロックカウンタをさらに備える、請求項１に記載のデジタル画素画像センサ。
【請求項３】
前記カウンタ値に基づいて前記ランプ信号を生成するように、かつ
前記ランプ信号を複数の前記画素に送出するように
構成された参照信号生成器をさらに備える、請求項２に記載のデジタル画素画像センサ。
【請求項４】
前記フォトダイオードおよび前記電荷貯蔵デバイスに結合された転送ゲートをさらに備え、
前記フォトダイオードが、露光時間期間中に前記電荷を蓄積するように構成され、
前記転送ゲートが、
前記露光時間期間中に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように、
前記露光時間期間の後に前記フォトダイオードを前記電荷貯蔵デバイスに接続して、前記蓄積された電荷を前記フォトダイオードから前記電荷貯蔵デバイスへ転送するように、かつ
前記蓄積された電荷を転送後に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように
構成されている、請求項１に記載のデジタル画素画像センサ。
【請求項５】
前記電荷貯蔵デバイスをリセット電圧レベルにリセットするように構成可能なリセット回路をさらに備える、請求項１に記載のデジタル画素画像センサ。
【請求項６】
前記比較器がさらに、前記電荷貯蔵デバイスがリセットされた後に、
第２のランプ信号を受け取るように構成され、前記第２のランプ信号の電圧レベルが、前記クロック信号の各サイクル後に増加または低下し、さらに、
前記第２のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に、前記比較器の出力状態を変化させるように構成され、
前記デジタル出力生成回路がさらに、前記第２のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に前記比較器の前記出力状態が変化したときに、
前記第２のランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の、前記クロック信号の総サイクル数に対応する第２の数を受け取るように、かつ
前記第２の数を前記画素メモリに保存するように構成され、前記第２の数が前記リセット電圧レベルのデジタル値に対応し、
前記第１の数と前記第２の数との差が前記光信号の強度に対応する、請求項５に記載のデジタル画素画像センサ。
【請求項７】
前記画素メモリが、
前記第２の数を記憶するように構成されたＭビットメモリブロックと、
前記第１の数を記憶するように構成されたＮビットメモリブロックとを備え、ＮがＭよりも大きい、請求項６に記載のデジタル画素画像センサ。
【請求項８】
前記フォトダイオードおよび前記電荷貯蔵デバイスに結合された転送ゲートをさらに備え、前記転送ゲートが、
露光時間期間中に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように、
前記露光時間期間の後に前記フォトダイオードを前記電荷貯蔵デバイスに接続して、電荷を前記フォトダイオードから前記電荷貯蔵デバイスへ転送するように、かつ
前記電荷を転送後に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように
構成されている、請求項６に記載のデジタル画素画像センサ。
【請求項９】
前記リセット回路が、前記露光時間期間の終了時で、かつ前記転送ゲートが前記フォトダイオードを前記電荷貯蔵デバイスに接続する前に、前記電荷貯蔵デバイスをリセットするように構成されている、請求項８に記載のデジタル画素画像センサ。
【請求項１０】
前記比較器が、前記比較器の出力ノードに結合されたプリチャージ回路を備え、前記プリチャージ回路が、前記比較器の前記出力ノードをあるＤＣレベルに充電するように構成されている、請求項１に記載のデジタル画素画像センサ。
【請求項１１】
前記比較器がさらに、ｐチャネル金属酸化膜半導体（ＰＭＯＳ）トランジスタを備え、
前記ＰＭＯＳトランジスタのゲートが前記電荷貯蔵デバイスに結合され、
前記ＰＭＯＳトランジスのソースが前記ランプ信号を受け取るように構成され、
前記比較器の前記出力ノードが前記ＰＭＯＳトランジスのドレインに結合されている、請求項１０に記載のデジタル画素画像センサ。
【請求項１２】
各画素がさらにシャッタゲートを備え、複数の前記画素の前記シャッタゲートが同一の露光イネーブル信号によって制御される、請求項１に記載のデジタル画素画像センサ。
【請求項１３】
画像センサ用のデジタル画素であって、前記デジタル画素が、
光信号に応答して電荷を生成するように構成されたフォトダイオードと、
前記フォトダイオードによって生成された前記電荷を貯蔵するように構成された電荷貯蔵デバイスであって、前記貯蔵された電荷により電圧信号が前記電荷貯蔵デバイスに生じる、電荷貯蔵デバイスと、
画素メモリと、
デジタイザとを備え、デジタイザは、
比較器であって、
ランプ信号および前記電圧信号を受け取るように構成され、前記ランプ信号の電圧レベルがクロック信号の各サイクル後に増加または低下し、さらに、
前記ランプ信号の前記電圧レベルが前記電圧信号の電圧レベルに達した後に前記比較器の出力状態を変化させるように構成された比較器と、
デジタル出力生成回路であって、前記比較器の出力状態が変化したときに、
前記ランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の前記クロック信号の総サイクル数に対応する第１の数を受け取るように、かつ
前記第１の数を前記画素メモリに保存するように構成され、前記第１の数が前記電圧信号の前記電圧レベルのデジタル値に対応する、デジタル出力生成回路と
を備える、デジタル画素。
【請求項１４】
前記電荷貯蔵デバイスをリセット電圧レベルにリセットするように構成可能なリセットゲートをさらに備え、
前記比較器がさらに、前記電荷貯蔵デバイスがリセットされた後に、
第２のランプ信号を受け取るように構成され、前記第２のランプ信号の電圧レベルが、前記クロック信号の各サイクル後に増加または低下し、さらに、
前記第２のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に、前記比較器の出力状態を変化させるように構成され、
前記デジタル出力生成回路がさらに、前記第２のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に前記比較器の前記出力状態が変化したときに、
前記第２のランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の、前記クロック信号の総サイクル数に対応する第２の数を受け取るように、かつ
前記第２の数を前記画素メモリに保存するように構成され、前記第２の数が前記リセット電圧レベルのデジタル値に対応し、
前記第１の数と前記第２の数との差が前記光信号の強度に対応する、請求項１３に記載のデジタル画素。
【請求項１５】
デジタル撮像の方法であって、
画像センサの画素のフォトダイオードによって露光期間中に光信号を受け取ること、
前記画素によって前記光信号を前記画素の電荷貯蔵デバイスへの電圧信号に変換すること、
クロック信号のクロックサイクル数を数えるクロックカウンタを始動すること、
前記画素の比較器によって前記電圧信号と、前記クロックサイクル数に合わせて電圧レベルが直線的に増加または低下するランプ信号とを比較すること、
前記ランプ信号の前記電圧レベルが前記電圧信号の電圧レベルに達したときに、前記比較器によって前記比較器の出力状態を変化させること、および
前記比較器の前記出力状態が変化したときの前記クロックサイクル数に対応する第１の数を前記画素の画素メモリに、前記電圧信号に対する第１のデジタル値として保存することを含む、デジタル撮像の方法。
【請求項１６】
前記電荷貯蔵デバイスを前記フォトダイオードから切り離すこと、
前記電荷貯蔵デバイスをあるＤＣ電圧レベルにリセットすること、
前記クロック信号の前記クロックサイクル数を数える前記クロックカウンタを始動すること、
前記画素の比較器によって前記ＤＣ電圧レベルと、前記クロックサイクル数に合わせて電圧レベルが直線的に増加または低下する第２のランプ信号とを比較すること、および
前記第２のランプ信号の前記電圧レベルが前記ＤＣ電圧レベルに達したときの、前記クロックサイクル数に対応する第２の数を前記画素メモリに第２のデジタル値として保存すること
をさらに含む、請求項１５に記載の方法。
【請求項１７】
前記電荷貯蔵デバイスを前記ＤＣ電圧レベルにリセットすることが、
前記電荷貯蔵デバイスを、前記露光期間の終了時に前記ＤＣ電圧レベルにリセットすることを含む、請求項１６に記載の方法。
【請求項１８】
前記光信号を前記電荷貯蔵デバイスへの前記電圧信号に変換することが、
前記電荷貯蔵デバイスを前記フォトダイオードから切り離すこと、
前記フォトダイオードによって、前記露光期間中に前記光信号を受け取ることに応答して電荷を生成すること、
前記露光期間中に前記電荷を前記フォトダイオードに蓄積すること、および
前記露光期間後に、前記電荷貯蔵デバイスを前記フォトダイオードに接続して前記蓄積された電荷を前記電荷貯蔵デバイスへ転送することを含み、前記転送された電荷により前記電荷貯蔵デバイスへの前記電圧信号が生じ、さらに、
前記電荷貯蔵デバイスを前記フォトダイオードから切り離すことを含む、請求項１５に記載の方法。
【請求項１９】
前記露光期間の前に、前記フォトダイオードおよび前記電荷貯蔵デバイスをリセットすることをさらに含む、請求項１５に記載の方法。
【請求項２０】
前記電圧信号と前記ランプ信号を比較する前に、
前記比較器の出力ノードをＤＣ電圧源に接続して前記比較器の前記出力ノードをプリチャージすること、および
前記比較器の前記出力ノードを前記ＤＣ電圧源から切り離すこと
をさらに含む、請求項１５に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
画像センサは、多くの異なる用途に使用される。たとえば、画像センサは、デジタル画像を取り込むためのデジタル撮像デバイス（たとえば、デジタルカメラ、スマートフォンなど）に見出すことができる。別の例として、仮想現実（ＶＲ）システム、拡張現実（ＡＲ）システム、および複合現実（ＭＲ）システムなどの人工現実システムでは、画像センサを使用して、ユーザが置かれている物理的環境の画像を取り込むことができ、次に、取り込まれた画像を使用して人工現実システムの表示コンテンツを制御したり、表示コンテンツに影響を及ぼしたりするなど、人工現実システムの動作を制御する、または動作に影響を及ぼすことができる。高速、高感度、高ダイナミックレンジ、低ノイズ、高密度、高解像度、および低電力消費である画像センサが、人工現実システムを含むこれらの用途の多くに望まれ得る。
【発明の概要】
【０００２】
本発明は、一般にデジタル画素画像センサに関する。より詳細には、本明細書で開示される技法は、各画素にデジタイザ（たとえば、ＡＤＣ）を含むデジタル画素画像センサに関し、このデジタイザは、画素のフォトダイオードからのアナログ出力を比較器、参照ランプ信号、およびカウンタを使用してデジタル化する。いくつかの実施形態では、各画素は、ノイズを低減し高ダイナミックレンジを得るためのデジタルまたはアナログ相関二重サンプリング（ＣＤＳ）回路を含むことができる。いくつかの実施形態では、比較器は、各デジタル画素の電力消費を低減するために、定バイアス回路ではなくプリチャージ回路を含むことができる。
【０００３】
いくつかの実施形態では、デジタル画素画像センサは複数の画素を含むことができる。各画素は、光信号に応答して電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を貯蔵するように構成された電荷貯蔵デバイスとを含むことができ、貯蔵された電荷により電圧信号が電荷貯蔵デバイスに生じ得る。各画素はまた、画素メモリおよびデジタイザを含むこともできる。デジタイザは、ランプ信号および電圧信号を受け取るように構成された比較器を含むことができ、ランプ信号の電圧レベルは、クロック信号の各サイクル後に増加または低下する。比較器はさらに、ランプ信号の電圧レベルが電圧信号の電圧レベルに達した後に比較器の出力状態を変化させるように構成され得る。デジタイザはまた、比較器の出力状態が変化したときに、ランプ信号が開始したときの時間と、比較器の出力状態が変化したときの時間との間のクロック信号の総サイクル数に対応する第１の数を受け取るように、かつ第１の数を画素メモリに保存するように構成されたデジタル出力生成回路を含むことができ、この第１の数は、電圧信号の電圧レベルのデジタル値に対応する。
【０００４】
特定の実施形態では、画像センサ用のデジタル画素が、光信号に応答して電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を貯蔵するように構成された電荷貯蔵デバイスとを含むことができ、貯蔵された電荷により電圧信号が電荷貯蔵デバイスに生じ得る。各画素はまた、画素メモリおよびデジタイザを含むこともできる。デジタイザは、ランプ信号および電圧信号を受け取るように構成された比較器を含むことができ、ランプ信号の電圧レベルは、クロック信号の各サイクル後に増加または低下する。比較器はさらに、ランプ信号の電圧レベルが電圧信号の電圧レベルに達した後に比較器の出力状態を変化させるように構成され得る。デジタイザはまた、比較器の出力状態が変化したときに、ランプ信号が開始したときの時間と、比較器の出力状態が変化したときの時間との間のクロック信号の総サイクル数に対応する第１の数を受け取るように、かつ第１の数を画素メモリに保存するように構成されたデジタル出力生成回路を含むことができ、この第１の数は、電圧信号の電圧レベルのデジタル値に対応する。
【０００５】
特定の実施形態では、デジタル撮像の方法が開示される。この方法は、画像センサの画素のフォトダイオードによって露光期間中に光信号を受け取ること、および、画素によって光信号を画素の電荷貯蔵デバイスへの電圧信号に変換することを含み得る。この方法はさらに、クロック信号のクロックサイクル数を数えるクロックカウンタを始動すること、および、画素の比較器によって電圧信号と、クロックサイクル数に合わせて電圧レベルが直線的に増加または低下するランプ信号とを比較することを含み得る。この方法はまた、ランプ信号の電圧レベルが電圧信号の電圧レベルに達したときに、比較器によって比較器の出力状態を変化させること、および、比較器の出力状態が変化したときのクロックサイクル数に対応する第１の数を画素の画素メモリに、電圧信号に対する第１のデジタル値として保存することを含み得る。
【０００６】
この概要は、特許請求された主題の重要または必須の特徴を特定することも、また特許請求された主題の範囲を決定するために分離して使用されることも意図していない。本主題は、本開示の明細書全体のうちの適切な部分と、いずれかまたはすべての図面と、各請求項とを参照することによって理解されるはずである。上記については、他の特徴および例と共に、以下の明細書、請求項、添付の図面においてさらに詳細に記述される。
【０００７】
例示的な実施形態について、以下の図を参照してさらに詳細に記述する。
【図面の簡単な説明】
【０００８】
【図１Ａ】特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの斜視図である。
【図１Ｂ】特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの断面図である。
【図２Ａ】特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの前面図である。
【図２Ｂ】特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの断面図である。
【図３】アナログ画素を用いた例示的な画像センサの簡略化ブロック図である。
【図４】能動画素センサ（ＡＰＳ）の例示的な３トランジスタ能動画素を示す図である。
【図５Ａ】第１の時点にローリングシャッタを使用する画像センサの画素の異なる行の例示的な状態を示す図である。
【図５Ｂ】第２の時点にローリングシャッタを使用する画像センサの画素の異なる行の例示的な状態を示す図である。
【図６】特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの簡略化ブロック図である。
【図７】特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素の簡略化ブロック図である。
【図８】特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素の例示的な動作を示す図である。
【図９】特定の実施形態による、アナログ相関二重サンプリング（ＣＤＳ）回路を含む例示的なデジタル画素の簡略化ブロック図である。
【図１０】特定の実施形態による、デジタルＣＤＳ回路を含む例示的なデジタル画素の簡略化ブロック図である。
【図１１】特定の実施形態による、デジタルＣＤＳ回路を含む例示的なデジタル画素を示す図である。
【図１２Ａ】特定の実施形態による、各画素にデジタルＣＤＳ回路を用いたグローバルシャッタデジタル画素画像センサの、例示的な時間フレームでの例示的なタイミング期間を示す図である。
【図１２Ｂ】特定の実施形態による、グローバルシャッタデジタル画素画像センサにデジタルＣＤＳ回路を用いたデジタル画素の動作を示すタイミング図である。
【図１３】ＤＣバイアス回路を含む例示的な比較器を示す図である。
【図１４】特定の実施形態による、プリチャージ回路を含む例示的な比較器を示す図である。
【図１５】特定の実施形態による、図１４の例示的な比較器の動作を示すタイミング図である。
【図１６】特定の実施形態による、デジタル撮像の例示的な方法を示す流れ図である。
【図１７】本明細書に開示された例のいくつかを実施できるニアアイディスプレイを含む、例示的な人工現実システム環境の簡略化ブロック図である。
【発明を実施するための形態】
【０００９】
本明細書では、高速、高解像度、高ダイナミックレンジ、高感度、および低電力消費の画像センサが開示される。様々な実施形態では、所望の性能を達成するために、画素ごとにデジタイザを含むデジタル画素画像センサが使用され得る。いくつかの実施形態では、デジタル画素画像センサの各デジタル画素は、フォトダイオード、転送ゲート、アナログ記憶デバイス（たとえば、明示または寄生のキャパシタ）、デジタイザ（たとえば、ＡＤＣ）、およびデジタルメモリを含み得る。フォトダイオードは、光信号を電気信号に変換することができる。転送ゲートを使用してフォトダイオードからの電気信号（たとえば、蓄積電荷）をアナログ記憶デバイスへ転送することができ、デジタイザは、アナログ記憶デバイスの電気信号をデジタルビットに変換することができる。デジタルメモリはデジタルビットを、そのデジタルビットが読み出される前に記憶しておくことができる。一例では、各デジタル画素のデジタイザは比較器を含むことができる。比較器は、アナログ記憶デバイスの電気信号を参照ランプ信号と比較することができる。参照ランプ信号は、たとえばＤＡＣによって生成されたグローバル信号でもよい。クロックカウンタ（たとえば、グローバルクロックカウンタ）は、クロックサイクルの数を各画像フレームで連続してカウントすることができる。参照ランプ信号がアナログ記憶デバイスの電気信号のレベルに達すると、デジタル画素の比較器の出力状態が変化し得る（たとえば、反転、切り替わり、またはランプアップ／ダウン）。次に、デジタル画素の比較器の出力が状態を変化させるときのカウンタ値が、比較器の出力が切り替わることによってデジタル画素のメモリの中にラッチされ得る。
【００１０】
いくつかの実施形態では、デジタル画素は、ランダムノイズ（たとえば、１／ｆノイズ、キャパシタの熱ｋＴ／Ｃノイズ）および固定パターンノイズ（ＦＰＮ）（たとえば、画素間の比較器閾値不整合によって生じる）を低減するために、相関二重サンプリング（ＣＤＳ）回路（たとえば、デジタルＣＤＳ回路）を含むことができる。ＣＤＳ回路は、アナログ記憶デバイスのリセットレベルをデジタル化し（たとえば、ｍビットに）、またフォトダイオードから転送されたアナログ記憶デバイスの電気信号のレベルをデジタル化することができる（たとえば、ｎビットに）。これら２つのデジタル化値は、（ｎ＋ｍ）ビット画素メモリに記憶することができる。２つのデジタル化値の間の差は、画像フレームのデジタル画素のデジタル出力として使用することができる。
【００１１】
一実装形態では、画像フレームごとに、フォトダイオードは最初に光信号に露光され、その変換された電気信号を積分し始めることができる。露光（または積分）期間の終了時に、または終わり近くに（たとえば、終わる約１００μｓ前に）、アナログ記憶デバイスをリセットすることができる。このリセットレベルは、デジタイザを使用してデジタル化することができる。露光期間の後に、（積分された）電気信号は、フォトダイオードからアナログ記憶デバイスへ転送し、デジタイザによってデジタル化することができる。したがって、フレーム周期（たとえば、３３ｍｓ）の時間のほとんどの間（たとえば、９５％、または９９％以上）、デジタル画素は低電力モード（たとえば、積分モード）で作動することができる。
【００１２】
いくつかの実施形態では、デジタイザの比較器は、静的（ＤＣ）電力消費を最小限にできる回路を含むことができる。たとえば、ＤＣバイアス回路を使用して比較器をある作動状態で設定するのではなく、デジタル化の前に、プリチャージ回路を使用して比較器の内部ノードをたとえば低レベルにプリチャージすることができる。プリチャージは、数マイクロ秒などの短い期間継続することができる。フレーム周期の時間の残りの間、比較器は静的電力をわずかしか、または全く消費しなくてよい。したがって、比較器による総電力消費は大幅に低減され得る。
【００１３】
以下の記述では、説明を目的として、本開示の諸例が完全に理解されるように具体的な詳細について論述する。しかし、これらの具体的な詳細がなくても様々な例を実践できることが明らかであろう。たとえば、デバイス、システム、構造、アセンブリ、方法、および他の構成要素が、不必要な詳記で諸例を不明瞭にしないようにするために、ブロック図の形の構成要素として示されることがある。別の事例では、よく知られているデバイス、プロセス、システム、構造、および技法が、諸例を不明瞭にすることを回避するために、必要な詳記なしで示されることがある。図および記述は、限定的なものではない。本開示に採用された用語および表現は制限ではなく記述の用語として使用されており、このような用語および表現を使用することには、図示され記述された特徴またはその一部分のいかなる等価物も排除するものではない。
【００１４】
画像センサは、フォトセンサのアレイを含むことができる。各フォトセンサは、何らかの光電子材料の光電効果を使用して光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知できるフォトダイオードでもよい。フォトセンサはまた、露光期間中にフォトダイオードによって生成された電荷を集める（たとえば、蓄積または積分する）ために、容量性デバイス（たとえば、寄生キャパシタ）などのアナログ記憶デバイスを含むこともできる。集められた電荷は、容量性デバイスにおける電圧変化を生じさせることができる。露光時間期間内に容量性デバイスに蓄えられた電荷の数を反映する電圧変化は、入射光の強度と相関関係がある。容量性デバイスにおける電圧レベルはバッファリングし、アナログ−デジタル変換器（ＡＤＣ）または他のデジタイザに供給することができ、これらのデジタイザはその電圧レベルを、入射光の強度を表すデジタル値に変換することができる。画像フレームは、フォトセンサのアレイによって得られた強度データに基づいて生成することができ、各フォトセンサが、画像フレームの画素に対応する画像センサの画素を形成する。画像センサの画素のアレイは行と列に配置することができ、各画素が、画像中の特別な場所の画素の輝度を表す電圧を生成する。アレイに含まれる画素の数が、生成された画像フレームの解像度を決定し得る。
【００１５】
本明細書で開示される画像センサの実施形態は、人工現実システムを含むこと、またはこれと一緒に実施することができる。人工現実は、ユーザに提示される前に何らかの方法で調整された現実の形であり、これには、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび／または派生物が含まれ得る。人工現実コンテンツには、コンピュータ生成コンテンツだけ、または取り込みコンテンツ（たとえば、実世界オブジェクトの画像）と組み合わされたコンピュータ生成コンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのいくつかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル（視聴者に三次元効果をもたらす立体映像など）で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ／または人工現実において（たとえば、諸活動を行うのに）別に使用される。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを１人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施することができる。
【００１６】
図１Ａは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ１００の斜視図である。図１Ｂは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ１００の断面図である。ニアアイディスプレイ１００は、メディアをユーザに提示することができる。ニアアイディスプレイ１００によって提示されるメディアの例には、１つまたは複数の画像、映像、および／または音声のコンテンツが含まれる。いくつかの実施形態では、音声コンテンツは、ニアアイディスプレイ１００、コンソール、または両方から音声情報を受け取り、この音声情報に基づいた音声データを提示する外部デバイス（たとえば、スピーカおよび／またはヘッドホン）を介して、提示することができる。ニアアイディスプレイ１００は、仮想現実（ＶＲ）表示装置として動作するように構成することができる。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）表示装置および／または複合現実（ＭＲ）表示装置として動作するように構成することができる。
【００１７】
ニアアイディスプレイ１００は、フレーム１０５および表示装置１１０を含むことができる。１つまたは複数の光学要素をフレーム１０５に結合または埋設することができる。表示装置１１０は、ニアアイディスプレイ１００によって提示されるコンテンツがユーザに見えるように構成することができる。表示装置１１０は、電子表示装置および／または光学表示装置を含むことができる。たとえば、いくつかの実施形態では、表示装置１１０は、１つまたは複数の生成画像または実画像からの光をユーザの眼へ導くための導波表示装置アセンブリを含むことができる。
【００１８】
ニアアイディスプレイ１００は、１つまたは複数の画像センサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄを含むことができる。画像センサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄのそれぞれは、異なる方向の異なる視野を表す画像データ生成するように構成された画素アレイを含むことができる。たとえば、画像センサ１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａの２つの視野を表す画像データを得るように構成することができるのに対し、画像センサ１２０ｃは、Ｘ軸に沿った方向Ｂの視野を表す画像データを得るように構成することができ、画像センサ１２０ｄは、Ｘ軸に沿った方向Ｃの視野を表す画像データを得るように構成することができる。
【００１９】
いくつかの実施形態では、画像センサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００の表示コンテンツを制御して、またはこれに影響を及ぼして、ニアアイディスプレイ１００のユーザに対話式のＶＲ／ＡＲ／ＭＲ経験を提供するための入力デバイスとして構成することができる。たとえば、画像センサ１２０ａ〜１２０ｄは、ユーザが置かれている物理的環境の物理的画像データを生成することができる。この物理的画像データは、物理的環境におけるユーザの場所および／または移動経路を追跡する場所追跡システムに供給することができる。次に、１つのシステムが、たとえばユーザの場所および向きに基づいて、表示装置１１０に供給された画像データを更新して対話型経験を提供することができる。いくつかの実施形態では、場所追跡システムは、同時位置特定およびマッピング（ＳＬＡＭ）アルゴリズムを遂行して、ユーザが物理的環境内で移動するにつれて物理的環境内およびユーザの視野内のオブジェクトのセットを追跡することができる。場所追跡システムは、オブジェクトのセットに基づいた物理的環境のマップを構築および更新し、そのマップ内のユーザの場所を追跡することができる。複数の視野に対応する画像データを得ることによって、画像センサ１２０ａ〜１２０ｄは、物理的環境のより全体的な眺望を場所追跡システムに提供することができ、これにより、より多くのオブジェクトがマップの構築および更新に含まれるようになり得る。このような構成によって、物理的環境内でユーザの場所を追跡する精度および頑強性が改善され得る。
【００２０】
ニアアイディスプレイ１００はさらに、光を物理的環境の中に投射するための１つまたは複数の発光体１３０を含み得る。投射される光は、異なる周波数スペクトルを伴うことができ（たとえば、可視光、赤外光、紫外光など）、様々な目的に役立ち得る。たとえば、発光体１３０は、暗い環境内で画像センサ１２０ａ〜１２０ｄが異なるオブジェクトの画像を取り込むのを助けるために暗い環境の中で（または赤外光、紫外光などの強度が低い環境の中で）光を投射して、たとえばユーザの場所追跡を可能にすることができる。発光体１３０は、環境内のオブジェクトの上に特定のマーカ（たとえば、構造化光パターン）を投射して、場所追跡システムがマップ構築／更新のためにオブジェクトを識別するのを助けることができる。
【００２１】
いくつかの実施形態では、発光体１３０はまた、立体撮像を可能にすることもできる。たとえば、画像センサ１２０ａまたは１２０ｂの一方または両方が、可視光検知用の第１の画素アレイと赤外（ＩＲ）光検知用の第２の画素アレイとの両方を含むことができる。第１の画素アレイはカラーフィルタ（たとえば、ベイヤーフィルタ）で覆うことができ、この第１の画素アレイの各画素は、特別な色（たとえば、赤、緑または青色）と関連する光の強度を測定するように構成されている。第２の画素アレイ（ＩＲ光検知用）もまた、ＩＲ光だけを通過させるフィルタで覆うことができ、この第２の画素アレイの各画素は、ＩＲ光の強度を測定するように構成されている。これらの画素アレイは、オブジェクトのＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各画素がＲＧＢ画像の各画素にマッピングされている。発光体１３０は、一組のＩＲマーカをオブジェクトに投射することができ、これらのマーカの画像は、ＩＲ画素アレイによって取り込むことができる。画像中に示されたオブジェクトのＩＲマーカの分布に基づいて、システムは、オブジェクトの異なる部分のＩＲ画素アレイからの距離を推定し、その距離に基づいてオブジェクトの三次元（３Ｄ）画像を生成することができる。オブジェクトの３Ｄ画像に基づいて、システムは、たとえばユーザに対するオブジェクトの相対位置を決定することができ、その相対位置情報に基づいて、ニアアイディスプレイ１００に供給される画像データを更新して対話型経験を提供することができる。
【００２２】
上で論じたように、ニアアイディスプレイ１００は、非常に広い光強度の範囲を伴う環境中で動作させることができる。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／または１日のうちの異なる時間に動作させることができる。ニアアイディスプレイ１００はまた、発光体１３０がオンにされていてもいなくても動作することができる。その結果、画像センサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００の異なる動作環境に伴う非常に広い光強度の範囲にわたって適切に動作できるように（たとえば、入射光の強度と相関関係がある出力を生成するために）、広いダイナミックレンジ、高い感度、および低いノイズレベルを有することが必要になり得る。
【００２３】
さらに、画像センサ１２０ａ〜１２０ｄは、眼球の運動を追跡するために高速で出力を生成できることが必要になり得る。たとえば、ユーザの眼球は、非常に急速な運動（たとえば、サッカード運動）をすることができ、１つの眼球位置から別の位置への速いジャンプがあり得る。ユーザの眼球の急速運動を追跡するために、画像センサ１２０ａ〜１２０ｄは、眼球の画像を高速で生成する必要があり得る。たとえば、画像センサが１つの画像フレームを生成する速度（フレームレート）は、少なくとも眼球の運動速度と対等である必要がある。高いフレームレートは、画像フレームを生成するのに関わる画像センサ画素すべての総露光時間が短いこと、ならびにセンサ出力を画像生成のためにデジタル値に変換するのが高速であることを必要とする。加えて、画像センサはまた、低電力消費で動作できることも必要である。
【００２４】
図２Ａは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ２００の前面図である。図２Ｂは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ２００の断面図である。ニアアイディスプレイ２００は、ニアアイディスプレイ１００と類似していてもよく、フレーム２０５および表示装置２１０を含むことができる。１つまたは複数の画像センサ２５０ａおよび２５０ｂは、フレーム２０５に結合または埋設することができる。図２Ａは、ニアアイディスプレイ２００のユーザの眼球２３５に面するニアアイディスプレイ２００の側面を示す。図２Ａおよび図２Ｂに示されるように、ニアアイディスプレイ２００は、複数の発光体２４０ａ、２４０ｂ、２４０ｃ、２４０ｄ、２４０ｅ、および２４０ｆを含むことができる。ニアアイディスプレイ２００はさらに、複数の画像センサ２５０ａおよび２５０ｂを含むことができる。発光体２４０ａ、２４０ｂ、および２４０ｃは、方向Ｄ（図１Ａおよび図１Ｂの方向Ａとは反対である）に特定の周波数範囲の光（たとえば、ＮＩＲ）を発することができる。発される光は特定のパターンを伴うことができ、ユーザの左の眼球で反射され得る。画像センサ２５０ａは、反射光を受光し反射パターンの画像を生成するための画素アレイを含み得る。同様に、発光体２４０ｄ、２４０ｅ、および２４０ｆは、特定のパターンを搬送するＮＩＲ光を発することができる。ＮＩＲ光は、ユーザの右の眼球で反射され、画像センサ２５０ｂで受光され得る。画像センサ２５０ｂもまた、反射パターンの画像を生成するための画素アレイを含み得る。画像センサ２５０ａおよび２５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視位置を決定し、この決定された注視位置に基づいて、ニアアイディスプレイ２００に供給される画像データを更新して対話型経験をユーザに提供することができる。
【００２５】
ユーザの眼球がダメージを受けないようにするために、発光体２４０ａ、２４０ｂ、２４０ｃ、２４０ｄ、２４０ｅ、および２４０ｆは通常、非常に低い強度で光を発するように構成される。画像センサ２５０ａおよび２５０ｂが画像センサ１２０ａ〜１２０ｄと同じセンサデバイスを備える場合、画像センサ２５０ａおよび２５０ｂは、入射光の強度が非常に低いときに入射光の強度と相関関係がある出力を生成できる必要があり得、このことは、画像センサのダイナミック要件をさらに増大させ得る。
【００２６】
図３は、アナログ画素を用いた例示的な画像センサの簡略化ブロック図である。いくつかの実施形態では、画像センサ３００は能動画素センサ（ＡＰＳ）画像センサとすることができる。画像センサ３００は、画素アレイ３１０、ＡＤＣインターフェース３２０、デジタル−アナログコンバータ（ＤＡＣ）と支援回路３３０、およびタイミングと制御回路３４０を含むことができる。画素アレイ３１０は、複数のＡＯＳ画素を含むことができる。画素アレイ３１０の各画素は、画素を照らす光信号の強度に対応する電圧または電流を生成できる光検出器またはフォトダイオードなどのフォトセンサを含み得る。たとえば、各画素は、画素に対する光信号を電流に変換することができる。画素アレイの各画素はまた、電流を積分して電圧信号を生成し記憶できる容量性デバイスなどのアナログ記憶デバイスを含むこともでき、この電圧信号は、画素へのグレーレベル／色情報を提示するアナログ検出信号と呼ばれることがある。
【００２７】
タイミングと制御回路３４０は、１つまたは複数の画素（たとえば、一行の画素）を選択的に活性化してアナログ検出信号をＡＤＣインターフェース３２０へ送出する、行デコーダとドライバ回路および／または列デコーダとドライバ回路を画素アレイ３１０の境界に含むことができる。
【００２８】
ＡＤＣインターフェース３２０は、複数のＡＤＣデバイスを含み得る。いくつかの実施形態では、ＡＤＣデバイスはそれぞれ、一列の画素に対応することができ、画素からのアナログ検出信号を一度に１行ずつデジタルデータに変換するのに使用することができる。各ＡＤＣデバイスは２つの入力部を１つは参照信号用に、もう１つはアナログ検出信号用に含むことができる。参照信号は、たとえば、デジタル−アナログコンバータ（ＤＡＣ）および支援回路３３０によって生成することができる。各画素からのアナログ検出信号は、参照信号に基づいて、ＡＤＣデバイスによってデジタルデータに変換することができる。画素の各行からのデジタルデータは、デジタル画像データファイルに保存して画像フレームを形成することができる。
【００２９】
いくつかの実施形態では、各ＡＤＣは、内部オフセット補正回路と、画素ごとのパラメータばらつきによって生じる固定パターンノイズ（ＦＰＮ）などのノイズを低減するように構成された相関二重サンプリング（ＣＤＳ）回路とを含むことができる。ＣＤＳ回路はまた、ＡＤＣインターフェース３２０の外部の独立型のユニットでもよい。ＣＤＳ動作は、たとえば、参照信号またはリセット信号をサンプリングおよび保持し、アナログ検出信号をサンプリングおよび保持し、かつアナログ検出信号から参照信号を差し引いて相関アナログ検出信号を生成することによって行うことができる。相関アナログ検出信号は次に、ＡＤＣによってデジタル画像データに変換することができる。
【００３０】
いくつかの実施形態では、画素アレイ３１０の各画素は、たとえば、４トランジスタ（４Ｔ）ＡＰＳ画素または３トランジスタ（３Ｔ）ＡＰＳ画素を含み得る。たとえば、画素アレイの各３Ｔ画素は、光検出器（たとえば、埋め込みフォトダイオード）、リセットゲート、選択ゲート、ソースフォロワ増幅器トランジスタ、および容量性デバイス（たとえば、ソースフォロワ増幅器トランジスタのゲートの寄生キャパシタ）を含み得る。リセットゲートはオンにして、容量性デバイスに蓄えられた電荷を一掃することができる。露光中、光検出器によって生成された電荷を容量性デバイスに蓄えて、アナログ検出信号（たとえば、電圧信号）を生成することができる。画素が、対応する選択ゲートをたとえば行選択信号を使用して活性化することによって選択されると、容量性デバイスのアナログ検出信号は、ソースフォロワ増幅器トランジスタによって増幅され読み出しバス（たとえば、列ライン）へ送出されて、対応する列のＡＤＣによってデジタル画像データに変換され得る。いくつかの実施形態では、複数の画素でいくつかのゲートを共有して、画像センサに使用されるゲートの総数を減らすことができる。
【００３１】
図４は、ＣＭＯＳ能動画素センサ（ＡＰＳ）の例示的な４トランジスタ（４Ｔ）能動画素４００を示す。４Ｔ能動画素４００は、光検出器（たとえば、埋め込みフォトダイオード（ＰＤ）４１０）、トランジスタゲートＭ４  ４２０、容量性記憶デバイス（たとえば、浮動拡散（ＦＤ）キャパシタＣＦＤ  ４３０）、リセットゲートＭ１  ４４０、ソースフォロワ読み出しトランジスタＭ２  ４５０、および選択ゲートＭ３  ４６０を含み得る。埋め込みフォトダイオード４１０は、光信号を電気信号に変換し、この電気信号を電荷として埋め込みフォトダイオード４１０の寄生キャパシタ４１２などの容量性デバイスに蓄える。蓄えられた電荷は、転送ゲートＭ４  ４２０を介してＦＤキャパシタＣＦＤ  ４３０へ転送することができる。リセットゲートＭ１  ４４０を使用して、ＦＤキャパシタＣＦＤ  ４３０を既知の電圧レベルにリセットすることができる。選択ゲートＭ３  ４６０のゲートは、行選択信号などの選択信号に接続して、ＦＤキャパシタＣＦＤ  ４３０の電圧信号を増幅できるソースフォロワ読み出しトランジスタＭ２  ４５０を介し、ＦＤキャパシタＣＦＤ  ４３０を読み出しバス（たとえば列ライン４８０）に選択的に結合することができる。
【００３２】
能動画素４００の動作中、各ラインの画素を露光する前に、寄生キャパシタ４１２に蓄えられた電荷は、たとえばシャッタ信号を使用して一掃すなわち放電することができ、またリセットゲートＭ１  ４４０をオンにして、ＦＤキャパシタＣＦＤ  ４３０に蓄えられた電荷を一掃することができる。任意選択で、リセット後のＦＤキャパシタＣＦＤ  ４３０の電圧レベルを読み出すことができる。露光中、光検出器によって生成された電荷をフォトダイオード４１０の寄生キャパシタ４１２に蓄えることができる。露光の終了時に電荷は、転送ゲートＭ４  ４２０を介してＦＤキャパシタＣＦＤ  ４３０へ転送することができる。埋め込みフォトダイオード４１０は暗電流が小さく、青色応答性が良好であり、転送ゲートに結合されると、埋め込みフォトダイオード４１０からＦＤキャパシタＣＦＤ  ４３０への完全な電荷転送を可能にすることができる。この電荷により、ＦＤキャパシタＣＦＤ  ４３０における電圧変化が生じる。画素が、対応する選択ゲートＭ３  ４６０を活性化することによって選択されると、ＦＤキャパシタＣＦＤ  ４３０の電圧信号（すなわち、アナログ検出信号）は、ソースフォロワ読み出しトランジスタＭ２  ４５０によって増幅し、列ライン４８０へ送出することができる。次に、列ライン４８０に接続されたＡＤＣが、増幅された電圧信号をデジタル画像データに変換することができる。いくつかの実装形態では、光検出器から浮動拡散キャパシタへの画素内電荷転送を使用すると、相関二重サンプリング（ＣＤＳ）をイネーブルすることによってノイズが低減し得る。
【００３３】
多くの画像センサでは、たとえばチップサイズおよび／または電力制約により画像センサのＡＤＣの数が制限されているので、画像センサの画素はＡＤＣに交代でアクセスして、デジタル画像データをたとえば一度に１つの行の画素ずつ生成することができる。一般に、ＡＤＣ（たとえば、画素の列ごとに１つ）の１つの組が、１つの行の画素で生成された各電圧信号を同時にデジタル画像データに変換するように設けられ得る。しかし、隣接する画素セルの行は、そのＡＤＣの組に交代でアクセスしなければならないことがある。一例では、ローリング電子シャッタがＣＭＯＳ画像センサに使用されることがあり、この場合、画素の各行が入射光に順次に露光されて電荷を生成し、画像センサの画素の１つの行が選択され一度に読み出されてもよく、それにより、画像センサの画素は、行ごとに選択され読み出されて画像フレームを生成できるようになる。一実装形態では、画像センサの画素の各行は、ある露光期間、入射光に露光することができる。行の画素はそれぞれ、露光期間中にフォトダイオードによって生成された電荷に基づく電圧信号を生成し、その電圧信号を１つの列のＡＤＣへ送出することができる。すべての列のＡＤＣが、その行の画素によって受光された入射光の強度を表す一組のデジタル画像データを生成することができる。すべての行の画素が入射光に露光され１つの画像フレームのデジタル画像データが出力されるまで、次の行の画素が後続の露光期間に入射光に露光されて、別の組のデジタル画像データが生成され得る。別の例では、隣接する行の画素の露光時間はいくらかのオーバラップを有することができるが、各行の画素はなお、光電電荷によって生成された電圧信号をデジタル画像データに交代で変換する必要があり得る。画像フレームは、画像センサの各行の画素のデジタル画像データに基づいて生成することができる。
【００３４】
図５Ａは、第１の時刻にローリングシャッタを使用する画像センサ５１０の、異なる行の画素の例示的な状態を示す。第１の時刻に、画像センサ５１０の行５２０の画素はリセットすることができ、行５３０の画素は光信号に露光して各画素に電荷を蓄積することができ、行５４０の画素からの電圧信号は読み出し、一組のＡＤＣによってデジタル信号に変換することができる。画像センサ５１０の残りの画素は不活性にすることができ、第１の時点には少しも電力を消費しなくてよい。リセットされている画素の行（たとえば、行５２０）、ＶＬＣ光信号に露光されている画素の行（たとえば、行５３０）、および読み出されている画素の行（たとえば、行５４０）を含む窓は、一度に１行ずつ下にシフトされて画像フレームが生成され得る。
【００３５】
図５Ｂは、第２の時刻にローリングシャッタを使用する画像センサ５１０の、異なる行の画素の例示的な状態を示す。第２の時刻は第１の時刻よりも後である。図５Ｂでは、リセットされている画素の行（たとえば、行５２０）、光信号に露光されている画素の行（たとえば、行５３０）、および読み出されている画素の行（たとえば、行５４０）は、図５Ａに示された第１の時刻におけるその場所と比較して下にシフトされ得る。
【００３６】
上述のように、高速（たとえば、高フレームレート）、高感度、高ダイナミックレンジ、高解像度、および低電力消費である画像センサが、仮想現実デバイスまたは複合現実デバイスなどの用途に望まれる。しかし、ローリングシャッタを使用する上述の画像センサは、別の行の画素と共有されているＡＤＣの数の制限、および画素の各行の露光時間の制限により、速度が制限され、感度が制限されていることがある。
【００３７】
いくつかの実施形態では、画素ごとにデジタイザを有するデジタル画素画像センサが、高いフレームレートを達成するために使用され得る。デジタル画素画像センサの各デジタル画素は、光検出器（たとえば、フォトダイオード）、転送ゲート、アナログ記憶デバイス（たとえば、明示または寄生のキャパシタ）、デジタイザ（たとえば、ＡＤＣ）、およびデジタルメモリを含み得る。フォトダイオードは、光信号を電気信号（たとえば、電荷または電流）に変換すること、および／または電気信号を積分することができる。転送ゲートを使用してフォトダイオードからの（積分された）電気信号をアナログ記憶デバイスへ転送することができ、デジタイザは、アナログ記憶デバイスの電気信号をデジタルビットに変換することができる。デジタルメモリはデジタルビットを、そのデジタルビットが各画素から読み出される前に記憶しておくことができる。デジタル画素画像センサの各画素がそれ自体のＡＤＣを有しているので、デジタル画素画像センサの全画素を、１つの画像フレームの、ある同一の露光時間期間中に光信号に露光することができ、またデジタル画素画像センサの全画素からの電圧信号を並行してデジタル画像データに変換することができる。すなわち、グローバルシャッタを使用して画像センサの全画素の露光を制御することができ、画像センサのフレームレートが上述のローリングシャッタ画像センサと比較して大幅に高められ得る。
【００３８】
図６は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサ６００の簡略化ブロック図である。デジタル画素画像センサ６００は、デジタル画素アレイ６１０、行ドライバとグローバル信号ドライバ回路６２０、グローバルカウンタ６３０、カウンタバッファ６４０、およびランプ発生器とバッファ回路６５０などの他の支援回路を含み得る。デジタル画素画像センサ６００はまた、センス増幅器６６０と、センス増幅器バイアス回路６７０と、デジタル画素の各行からデジタルデータを読み出してデジタル画像を形成するラインメモリ６８０とを含み得る。デジタル画素画像センサ６００はまた、デジタルブロック６９０、電源調節回路６９５、および／またはモバイル産業プロセッサインターフェース（ＭＩＰＩ）回路６９８などの、他の回路も含み得る。
【００３９】
デジタル画素アレイ６１０は、二次元アレイの画素を含み得る。各画素は、光検出器（たとえば、フォトダイオード）およびデジタイザを含み得る。フォトダイオードが入射光信号に応答して生成した電荷を蓄積して生成されたアナログ電圧信号は、各画素の内部でデジタイザによって変換され得る。すなわち、各画素は、アナログ信号ではなく、入射光の強度および／または色に対応するデジタルデータを出力することができる。加えて、デジタル画素アレイ６１０の全画素のアナログ電圧信号が同時に変換されて、画素内で追加の遮蔽アナログ記憶ノードを使用してアナログ電圧信号を記憶しなくても、グローバルシャッタ動作が可能になり得る。行ドライバとグローバル信号ドライバ回路６２０が、電荷積分、比較器動作、デジタル書き込み、デジタル出力などを含む、画素の動作を制御することができる。
【００４０】
グローバルカウンタ６３０が、グローバルカウンタ値をデジタル画素アレイ６１０の全画素に供給するために使用されてもよい。カウンタバッファ６４０が、グローバルカウンタ６３０からのグローバルカウンタ値を各画素へ送出することができる。ランプ発生器とバッファ回路６５０が、ランプ信号（上または下に傾斜している）または三角波信号などのグローバル参照信号を生成することができる。各画素のデジタイザは、グローバルカウンタ値およびグローバル参照信号を使用して、画素で生成されたアナログ電圧信号に対応するデジタルデータを決定することができる。
【００４１】
いくつかの実装形態では、画素内デジタルビットはレールからレールまで振れることができず、したがって、デジタル値を再生するためにセンス増幅器が使用されることがある。センス増幅器６６０は、アナログ−デジタル変換後に画素内のデジタル値を読み出すことができる。センス増幅器６６０は、１つの行の画素の複数のデジタル値を一度に読み出すことができる。各センス増幅器６６０は、１つの行の各画素内のデジタルデータを読み出すために、画素デジタル出力ラインに接続されてもよい。センス増幅器バイアス回路６７０が、センス増幅器６６０にバイアス電圧および電流を与えるために使用されてもよい。ラインメモリ６８０は、１つの行の画素から読み出されたデジタルデータを一時的に保持することができる。
【００４２】
デジタルブロック６９０は、画像センサのタイミングを含む画像センサの動作を制御する、論理回路を含み得る。電源調節回路６９５は、画像センサのアナログ電源および異なるレベルの電圧源（たとえば、３．３ｖ、１．８Ｖ、および１．２Ｖ）を生成し、ブロックレベルの電力増および／または電力減を含め、画像センサの電力供給を管理することができる。ＭＩＰＩ回路６９８が、ＭＩＰＩ出力フォーマットのデジタルデータをメモリに送出するために使用されてもよい。
【００４３】
各画素にデジタイザ（たとえば、ＡＤＣ）を設けることによって、画素アレイの画素が入射光に露光され、画素で受光された入射光の強度をデジタル表現したものを同時に生成して、グローバルシャッタ動作を実現することができる。高速の動きを捉えるには、グローバルシャッタは、動いているオブジェクトの異なる部分の画像を異なる時間に取り込む複数の行の画素によって生じる、ローリングシャッタ動作に伴う動き歪を回避できるので有利である。さらに、光強度を表す画像データを生成するために複数の行の画素が交代で露光される手法と比較して、画素を使用して画像フレーム生成するための総時間を減らすことができる。したがって、開示された技法は、画像センサの動作速度を高めることができる。加えて、全画素が同時に露光されるので、各画素の平均露光時間が、ローリングシャッタを使用することに比べて増加され得る。したがって、画像センサの感度が同様に増加され得る。
【００４４】
図７は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素７００の簡略化ブロック図である。デジタル画素７００は、デジタル画素画像センサ６００のデジタル画素アレイ６１０などの、デジタル画素画像センサのデジタル画素アレイの一部であり得る。デジタル画素７００は、画像フレームの画素の輝度に対応するデジタル画像データを生成することができる。図７に示されるように、デジタル画素７００は、フォトダイオード７０２、積分キャパシタ７０３、転送ゲート７０４、リセットスイッチ７１８、測定キャパシタ７０６、任意選択のバッファ７１０、および画素デジタイザ７５０を含み得る。いくつかの実施形態では、デジタル画素７００はまた、グローバルシャッタ信号によって制御されるシャッタスイッチ７２６も含み得る。
【００４５】
いくつかの実施形態では、フォトダイオード７０２は、ＰＮダイオードまたはＰＩＮダイオードを含み得る。シャッタスイッチ７２６、転送ゲート７０４、およびリセットスイッチ７１８のそれぞれが、トランジスタを含み得る。トランジスタには、たとえば、金属酸化膜半導体電界効果トランジスタ（ＭＯＳＦＥＴ）、バイポーラ接合トランジスタ（ＢＪＴ）などが含まれてもよい。シャッタスイッチ７２６が電子シャッタゲートとして機能して、デジタル画素７００の露光期間を制御することができる。露光期間の前に、シャッタスイッチ７２６はイネーブルされて（オンにされて）、リセット積分キャパシタ７０３をリセットすることができる。露光期間中、シャッタスイッチ７２６は、露光イネーブル信号７２４によってディスエーブルする（オフにする）ことができ、これにより、フォトダイオード７０２で生成された電荷が積分キャパシタ７０３および／または測定キャパシタ７０６まで移動することが可能になり得る。リセットスイッチ７１８は、リセット信号７２０によってディスエーブルする（オフにする）ことができ、これにより測定キャパシタ７０６が、フォトダイオード７０２で生成された電荷を蓄え、その蓄えられた電荷の量と相関関係がある電圧信号を創出することが可能になり得る。次に、測定キャパシタ７０６の電圧信号がデジタルデータに変換され得る。測定キャパシタの電圧信号が変換された後に、リセットスイッチ７１８をイネーブルして、測定キャパシタ７０６に蓄えられた電荷をチャージシンク７２２へ移すことができ、それによって測定キャパシタ７０６が次の測定に使用可能になる。
【００４６】
積分キャパシタ７０３は、フォトダイオード７０２およびフォトダイオード７０２に接続された他の回路の寄生キャパシタとすることができ、フォトダイオード７０２で生成された電荷を蓄えることができる。積分キャパシタ７０３には、たとえば、ＰＮダイオード接合境界面の接合キャパシタ、またはフォトダイオード７０２に接続された他の寄生キャパシタが含まれ得る。積分キャパシタ７０３がフォトダイオード７０２の近くにあるので、フォトダイオード７０２で生成された電荷が積分キャパシタ７０３に蓄積され得る。測定キャパシタ７０６は、浮動拡散ノード（たとえば、転送ゲート７０４の浮動端子）の寄生キャパシタ、金属キャパシタ、ＭＯＳキャパシタ、またはこれらの任意の組み合わせであり得る。測定キャパシタ７０６を使用して、ある量の電荷を蓄えることができ、この電荷量は、画素デジタイザ７５０によって測定して、入射光の強度を表すデジタル出力を得ることができる。測定キャパシタ７０６に蓄えられた電荷は、積分キャパシタ７０３から転送ゲート７０４を介して転送される電荷であり得る。転送ゲート７０４は、積分キャパシタ７０３から測定キャパシタ７０６への電荷転送を制御するように測定制御信号７０８によって制御することができる。積分キャパシタ７０３および／または測定キャパシタ７０６に蓄積された電荷の量は、露光期間中にフォトダイオード７０２によって生成された総電荷を反映することができ、この総電荷は、露光期間中にフォトダイオード７０２に入射した光の強度を反映する。
【００４７】
測定キャパシタ７０６に蓄えられた電荷は、任意選択のセンサ増幅器または任意選択のバッファ７１０によって検知されて、アナログ電圧信号の複製（しかし駆動力が大きい）がアナログ出力ノード７１２に生成され得る。アナログ出力ノード７１２のアナログ電圧信号は、画素デジタイザ７５０によって一組のデジタルデータ（たとえば、論理１および０を含む）に変換することができる。測定キャパシタ７０６において創出されたアナログ電圧信号はサンプリングすることができ、露光期間の後にデジタル出力が生成され得る。
【００４８】
画素デジタイザ７５０は、比較器７５４およびデジタル出力生成器７６０を含むことができ、このデジタル出力生成器は画素メモリ７６４を含むことができる。画素デジタイザ７５０は、クロックカウンタ７６２によって生成されたカウンタ値を使用することができ、このクロックカウンタは、デジタル画素画像センサの全画素用のグローバルクロックカウンタとすることができる。クロックカウンタ７６２は、クロック信号７８０に基づく一組のカウンタ値を生成することができる。いくつかの実装形態では、クロックカウンタ７６２はまた、参照信号生成器７７０によってグローバル参照信号を生成するのに使用することもでき、この参照信号生成器は、任意の参照信号を生成できるデジタル−アナログ変換器（ＤＡＣ）７７２、またはカウンタ値を使用するランプ波もしくは三角波生成器を含み得る。たとえば、デジタル化が開始した後、ＤＡＣ  ７７２は、クロックカウンタ７６２からのカウンタ出力７６６に対応するランプ参照信号ＶＲＥＦ  ７５２を生成するようにプログラムすることができ、このランプ参照信号は、実装形態に応じて上に傾斜または下に傾斜することができる。比較器７５４は、バッファ７１０からのアナログ電圧信号と参照信号生成器７７０からの参照信号ＶＲＥＦ  ７５２とを比較することができる。比較器７５４の出力は、バッファ７１０からのアナログ電圧信号と参照信号ＶＲＥＦ  ７５２とが互いに交差したときに状態を変えることができる。比較器の出力は、クロックカウンタ７６２からのカウンタ出力７６６の現在の値を画素メモリ７６４にラッチするために、デジタル出力生成器７６０によって使用され得る。現在のカウンタ出力７６６は、アナログ電圧信号をデジタル化するために使用された量子化ステップの総数に対応することができ、量子化誤差が、量子化ステップ（最下位ビット（ＬＳＢ）とも呼ばれる）に相当する電圧レベルよりも小さい。したがって、カウンタ出力７６６は、測定キャパシタ７０６に蓄えられた電荷の量のデジタル表現、および入射光の強度のデジタル表現になる。画素メモリ７６４のデジタルデータは、一組の画素出力バス７９０を介して、たとえば、ラインメモリ６８０、またはデジタル画像フレームを記憶するための外部メモリに読み出すことができる。
【００４９】
デジタル画素７００はまた、露光イネーブル信号７２４、測定制御信号７０８、およびリセット信号７２０のタイミングおよび振幅を制御して光強度決定用の積分キャパシタ７０３および測定キャパシタ７０６における電荷蓄積動作を制御する、他の制御回路（図７に図示せず）を含むこと、またはこれに接続することもできる。これらの制御回路はデジタル画素７００の外部にあってもよく、たとえば、図６の行ドライバとグローバル信号ドライバ回路６２０および／またはデジタルブロック６９０の一部であってもよいことを理解されたい。
【００５０】
図８は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素（たとえば、デジタル画素７００）の例示的な動作を示す。図８に示された例では、量子化処理は、均等な量子化ステップを用いて遂行することができ、参照信号（たとえば、図７の参照信号ＶＲＥＦ  ７５２）が、クロック信号（たとえば、クロック信号７８０）のクロックサイクルごとに同じ量だけ増大(または低下)する。この参照信号の増大(または低下)の量は、１つの量子化ステップ（すなわち、ＬＳＢ）に対応し得る。クロックサイクル数が増加するにつれて、参照信号は増大し、比較器の入力部のアナログ電圧信号の１つの量子化ステップ内に達することができ、このとき比較器の出力は状態を変えて、たとえば、低レベルから高レベルへと反転することができる。比較器の出力が反転すると、現在のカウンタ値が、ある画素におけるアナログ電圧信号を表すデジタルデータとしてメモリにラッチされ得る。
【００５１】
図８は、２つの画素におけるアナログ電圧信号（画素１におけるアナログ電圧信号８１０、および画素２におけるアナログ電圧信号８２０）を示す。図８はまた、クロック信号８６０と、クロック信号８６０のサイクル数を数えるクロックカウンタのクロックカウンタ値８７０とを示す。時間ｔ０において（デジタル化が開始するとき）、クロックカウンタは、クロック信号８６０のクロック数を数え始めることができる。たとえば、クロックカウンタ値８７０は、クロック信号８６０の各サイクルの後に１だけ増加し得る。上述のように、クロックカウンタは、多くの画素によって共有されるグローバルクロックカウンタとすることができ、それにより、各画素のサイズを縮小することができる。カウンタ値が増加するにつれて、参照信号ＶＲＥＦ  ８３０の電圧レベルが増加し得る。参照信号ＶＲＥＦ  ８３０は、クロックカウンタ値８７０に基づいて、たとえばＤＡＣによって生成することができる。参照信号ＶＲＥＦ  ８３０が、画素１におけるアナログ電圧信号８１０、および画素２におけるアナログ電圧信号８２０よりも低いので、画素１の比較器の出力８４０、および画素２の比較器の出力８５０は、低（または高）レベルにあり得る。
【００５２】
時間ｔ１において、参照信号ＶＲＥＦ  ８３０は、画素１のアナログ電圧信号８１０に（たとえば、その１ＬＳＢ内に）達することができ、画素１の比較器の出力８４０は、低レベルから高レベルへ反転することができる。画素１の比較器の出力８４０が反転すると、時間ｔ１におけるクロックカウンタ値８７０のデジタル値Ｄ１が画素１の画素メモリに保存され得る。クロックカウンタは、クロック信号８６０のサイクル数を数え続けることができ、参照信号ＶＲＥＦ  ８３０の電圧レベルは増加し続けることができる。時間ｔ２において、参照信号ＶＲＥＦ  ８３０は、画素２のアナログ電圧信号８２０に（たとえば、その１ＬＳＢ内に）達することができ、画素２の比較器の出力８５０は、低レベルから高レベルへ反転することができる。画素２の比較器の出力８５０が反転すると、時間ｔ２におけるクロックカウンタ値８７０のデジタル値Ｄ２が画素２の画素メモリに保存され得る。
【００５３】
このようにして、各画素または画素の各列の複雑なＡＤＣによってではなく、グローバルクロックカウンタ値およびグローバルランプ信号ＶＲＥＦ  ８３０を使用する各画素の比較器によって、異なる画素の複数のアナログ電圧信号が、これら異なる画素の光強度を表す複数のデジタル値に同時に変換され得る。したがって、デジタル画素のサイズ、およびデジタル画素の電力消費を大幅に低減することができ、これにより、解像度が高く、密度が高く、サイズが小さく、かつ電力消費が低い画像センサが可能になり得る。
【００５４】
様々なノイズおよびエラーが、画像センサの測定可能光強度の下限（最小解像可能信号レベルと呼ばれることが多い）に影響を及ぼし得る。たとえば、浮動ノードに集められた電荷は、入射光の強度とは関係がないノイズ電荷を含むことがある。ノイズ電荷の原因の１つは暗電流であり、これは、フォトダイオードのｐｎ接合部に発生した、ならびに、たとえば結晶学的欠陥によりキャパシタに接続された他の半導体デバイス（たとえば、トランジスタ）のｐｎ接合部に発生した、漏洩電流であり得る。暗電流はキャパシタに流れ込み、入射光の強度と相関関係がない電圧変化を引き起こし得る。フォトダイオードにおいて発生する暗電流は通常、他の半導体デバイスに発生する暗電流よりも少ない。ノイズ電荷の中には、他の回路との容量性結合によって生じるものもあり得る。たとえば、デジタイザが、浮動ノードに蓄えられた電荷の量を決定するために読み出し動作を行うとき、このデジタイザは、容量性結合を介して浮動ノードにノイズ電荷を導入することがある。
【００５５】
ノイズ電荷に加えて、デジタイザはまた、電荷の量を決定する際に測定誤差を導入することもある。この測定誤差は、デジタル出力と入射光の強度との間の相関性の度合いを低下させ得る。測定誤差の原因の１つは、量子化誤差である。量子化処理では、連続的な電圧信号の組を表すために離散的なレベルの組が使用されることがあり、各レベルは所定の範囲の電圧信号レベルを表す。したがって、量レベルによって表された電圧レベルと、量レベルによって近似された入力アナログ電圧との間に差異があるとき、量子化誤差が生じ得る。図７に示されたデジタイザの量子化誤差は、より小さい量子化ステップサイズ（たとえば、各ステップまたは各クロックサイクルにおける参照信号ＶＲＥＦの増大もしくは低下）および／またはより高速のクロック信号を使用することによって、小さくすることができる。測定誤差の他の原因には、たとえば、ランダムノイズ（たとえば、キャパシタのｋＴ／Ｃノイズ）、（たとえば、ＡＤＣ回路の）デバイスノイズ、ならびに、キャパシタに蓄えられた電荷の量の測定に不確かさを付加する比較器オフセットが含まれ得る。
【００５６】
ノイズ電荷およびデジタイザ測定誤差により、画像センサの測定可能な光強度（感度）の下限が決まり得る。画像センサの測定可能な光強度の上限は、フォトダイオードによって単位時間に生成される電荷（すなわち、光電流）に飽和が生じる光強度によって決まり得る。上限と下限の比は、一般にダイナミックレンジと呼ばれることがあり、このダイナミックレンジにより、画像センサの動作可能な光強度の範囲を決まり得る。
【００５７】
場合によって、比較器の望ましくないオフセット、およびデジタル画素の他の構成要素およびパラメータのばらつきが、固定パターンノイズ（ＦＰＮ）を生じさせ得る。いくつかの実施形態では、デジタル画素画像センサのデジタル画素は、オフセット誤差、したがってＦＰＮを低減するために、相関二重サンプリング（ＣＤＳ）回路を含み得る。ＣＤＳ回路では、アナログ記憶デバイス（たとえば、測定キャパシタ８０６）におけるリセットレベルと、露光後のアナログ記憶デバイスにおけるアナログ電圧信号の信号レベルとを測定し、測定された信号レベルとリセットレベルの差を使用して画素の実際の信号値を決定することができる。測定された信号レベルには、画像センサの画素間の、他のパラメータまたはデバイスにおける異なるオフセットもしくはばらつきによって生じる、リセットレベル成分が含まれるので、測定された信号レベルとリセットレベルの差は、画素の光照射に起因して生成された電荷によって生じた実際の電圧変化をより正確に表すものになり得る。
【００５８】
図９は、特定の実施形態による、アナログ相関二重サンプリング（ＣＤＳ）回路を含む例示的なデジタル画素９００の簡略化ブロック図である。デジタル画素９００は、埋め込みフォトダイオード９１０と、制御信号ＴＸによって制御される転送ゲート９２０と、浮動拡散ノード９３０と、制御信号ＲＳＴによって制御されるリセットゲート９４０と、制御信号ＳＥＬによって制御される選択ゲート９５０と、トランジスタ９４２および９５２を含む画素内ソースフォロアバッファ段と、選択ゲート９５０とを、高い画素変換利得を確保するために含み得る。デジタル画素９００はまた、比較器９７０および画素メモリ９８０も含み得る。これらの回路の動作は、上述の能動画素４００またはデジタル画素７００と同様であり得る。
【００５９】
図９に示されるように、デジタル画素９００はさらに、アナログＣＤＳ回路９６０を含み得る。いくつかの実装形態では、アナログＣＤＳ回路９６０は、２つのＣＤＳキャパシタ、２つのゲート、および差動増幅器を含み得る。リセット後の測定キャパシタ（すなわち、ＦＤノード９３０）のアナログ電圧レベル（すなわち、リセットレベル）は、一方のゲートを介して一方のＣＤＳキャパシタに記憶することができ、電荷転送後の測定キャパシタのアナログ電圧レベル（すなわち、信号レベル）は、もう一方のゲートを介してもう一方のＣＤＳキャパシタに記憶することができる。２つのアナログ電圧レベルの差は、差動増幅器を使用して生成することができ、次に、比較器９７０によってデジタル化することができる。アナログＣＤＳの他のいくつかの実装形態もまた使用することができる。たとえば、いくつかの実装形態では、アナログＣＤＳ回路９６０のいくつかの簡略化を適用してトランジスタの総数を減らすことができる。しかし、キャパシタの熱ノイズ（ｋＴ／Ｃノイズ）を画像センサの要求に適合させるために、アナログＣＤＳは、画素内ＣＤＳキャパシタ用に比較的大きい領域を使用することがある。加えて、アナログＣＤＳキャパシタを駆動するためにソースフォロアバッファ段を使用すること、およびＣＤＳキャパシタの面積により、デジタル画素を縮小する能力が制限されることがあり、またデジタル画素の電力消費が増加することもある。
【００６０】
図１０は、特定の実施形態による、デジタルＣＤＳ回路を含む例示的なデジタル画素１０００の簡略化ブロック図である。デジタル画素１０００は、上述の３Ｔまたは４Ｔ光センサ、比較器１０５０、および画素メモリブロックを含み得る。光センサは、埋め込みフォトダイオード１０１０、転送ゲート１０２０、リセットゲート１０４０、および浮動拡散キャパシタ１０３０を含み得る。
【００６１】
デジタル画素１０００の露光前または露光中、浮動拡散キャパシタ１０３０は、リセット信号ＲＳＴを使用してリセットゲート１０４０をオンにすることによって、リセットレベル（たとえば、０Ｖまたは別のＤＣレベル）にリセットすることができる。浮動拡散キャパシタ１０３０の電圧レベルはデジタル化し、画素メモリのｍビットメモリブロック１０６０に保存することができる。リセットレベルは一般に低いので、上述のデジタイザを使用するデジタル化の時間は短くてもよく、リセットレベルは、少数のビットで表せる小さい値にデジタル化することができる。
【００６２】
デジタル画素１０００の露光後、埋め込みフォトダイオード１０１０によって生成されフォトダイオード１０１０に蓄積された電荷は、転送制御信号ＴＸを使用して転送ゲート１０２０をオンにすることによって浮動拡散キャパシタ１０３０へ転送することができる。浮動拡散キャパシタ１０３０の電圧レベルはデジタル化し、画素メモリのｎビットメモリブロック１０７０に保存することができ、この場合、ｎはｍより大きくすることができる。電荷転送後の浮動拡散キャパシタ１０３０の電圧レベルはリセットレベルより高くなり得るので、上述のデジタイザを使用するデジタル化の時間は長くなることがあり、電圧レベルは、多数のビットで表され得る大きい値にデジタル化され得る。
【００６３】
リセットレベルを表すｍビットデータ、および信号レベルを表すｎビットデータは読み出すことができ、ｎビットデータとｍビットデータの差は、光電流または光電荷によって生じた検出電圧信号、すなわち画素の検出光強度を表し得る。このようにして、画素のデバイスおよびパラメータの、不整合またはばらつき（たとえば、オフセット誤差、比較器閾値不整合、キャパシタ不整合など）によって生じる誤差またはノイズが、デジタル画像データでは低減され得る。いくつかの実装形態では、画素から読み出されるデジタルビットの総数が少なくなり得るように、画素の出力が読み出される前に、ｎビットデータおよびｍビットデータを減じることが画素レベルで行われることがある。
【００６４】
追加のＣＤＳキャパシタまたは差動増幅器がデジタルＣＤＳに使用されなくてよいので、デジタルＣＤＳ回路を含むデジタル画素は、使用するシリコン面積および電力が、アナログＣＤＳ回路を使用するデジタル画素よりも著しく少なくてもよい。
【００６５】
図１１は、特定の実施形態による、デジタルＣＤＳ回路を含む例示的なデジタル画素１１００を示す。デジタル画素１１００は、デジタル画素１０００の例示的な一実装形態であり得る。デジタル画素１１００は、埋め込みフォトダイオード１１１０を含み得るフォトセンサ１１０５と、転送ゲート１１２０と、リセットゲート１１４０と、浮動拡散キャパシタ１１３０とを含み得る。デジタル画素１１００はまた、アナログ電圧レベルデジタル化のための、比較器７５４のような比較器１１５０を含み得る。
【００６６】
デジタル画素１１００はさらに、ＡＮＤ（またはＮＡＮＤ）ゲート１１６０を含み得る、書き込み論理回路を含むことができる。ＡＮＤ（またはＮＡＮＤ）ゲート１１６０の入力部は、比較器１１５０の出力部と、リセットイネーブル信号ｅｎａｂｌｅ＿ｒｓｔ（たとえば、リセットゲート１１４０をオンにするために使用されるリセット信号、またはリセット信号と同期した信号）とに接続することができる。ＡＮＤ（またはＮＡＮＤ）ゲート１１６０の出力部は、ｍビットセル１１８０（たとえば、Ｄフリップフロップ）の書き込みイネーブル入力部に接続することができる。リセットレベルがデジタル化されるとき、リセットイネーブル信号ｅｎａｂｌｅ＿ｒｓｔはアサートする（たとえば、高レベルに設定する）ことができる。比較器１１５０の出力が、たとえば、参照信号（たとえば、ランプ信号）がリセットレベルに達したときに、「０」から「１」に状態を変えると、ＡＮＤ（またはＮＡＮＤ）ゲート１１６０の出力は「０」から「１」に反転することができ、これにより、現在のカウンタ値が、たとえば、グローバルクロックカウンタからｍビットセル１１８０にラッチされ、このカウンタ値は後で読み出すことができる。
【００６７】
デジタル画素１１００の書き込み論理回路はさらに、ＡＮＤ（またはＮＡＮＤ）ゲート１１７０を含み得る。ＡＮＤ（またはＮＡＮＤ）ゲート１１７０の入力部は、比較器１１５０の出力部および読み出しイネーブル信号ｅｎａｂｌｅ＿ｓｉｇ（たとえば、画素を選択するために使用される選択信号）に接続することができる。ＡＮＤ（またはＮＡＮＤ）ゲート１１７０の出力部は、ｎビットセル１１９０（たとえば、Ｄフリップフロップ）の書き込みイネーブル入力部に接続することができる。画素信号レベルがデジタル化されるとき、読み出しイネーブル信号ｅｎａｂｌｅ＿ｓｉｇはアサートする（たとえば、高レベルに設定する）ことができる。参照信号（たとえば、ランプ信号）が画素信号レベルに達すると、比較器１１５０の出力は、たとえば、「０」から「１」に反転することができ、したがって、ＡＮＤ（またはＮＡＮＤ）ゲート１１７０の出力は「０」から「１」に反転することができ、これにより、現在のカウンタ値がグローバルクロックカウンタからｎビットセル１１９０にラッチされ、このカウンタ値は後で読み出すことができる。
【００６８】
このようにして、画素のデバイスおよびパラメータの、不整合およびばらつき（たとえば、オフセット誤差、比較器閾値不整合、キャパシタ不整合など）によって生じる誤差またはノイズが、デジタル画像データでは低減され得る。デジタルＣＤＳ回路を含まないことがあるデジタル画素と比較して、デジタル画素１１００では、Ｄフリップフロップなどの、デジタル回路である、かつ使用する面積が小さくてもよい追加のｍビットセルを使用することができる。やはり上述したように、デジタル画素を使用すると、グローバルシャッタが、フレームレートおよび感度の向上のために、画像センサに対し実施可能であり得る（たとえば、各画素の露光時間が長いことにより）。デジタル画素のリセットレベルは、画像フレームの時間期間中の異なる時間にデジタル化することができる。
【００６９】
図１２Ａは、特定の実施形態による、各画素にデジタルＣＤＳ回路を用いたグローバルシャッタデジタル画素センサの、動作中の例示的なタイミング期間を示す図である。デジタル画素センサの全画素が同時に、同様に動作することができる。１つの画像フレームの一組の出力データを出力するための、１つのデジタル画素の時間期間１２００には、シャッタ期間１２１０、積分期間１２１２、リセット期間１２１４、リセットレベル変換期間１２１６、電荷変換期間１２１８、信号レベル変換期間１２２０、およびデータ出力期間１２２２が含まれ得る。
【００７０】
デジタル画素が１つの画像フレームの一組の出力データを生成するための時間間隔は、シャッタ期間１２１０から開始することができ、この期間中に、フォトダイオードの電圧レベルをリセットすることができ、画素積分の時間期間を設定することができる。シャッタ期間１２１０の終了時に、各デジタル画素が、積分期間１２１２の信号積分（たとえば、電荷蓄積）を開始することができ、この期間中に、デジタル画素のフォトダイオードの寄生キャパシタ（たとえば、フォトダイオード７０２と、フォトダイオード７０２に接続された他の回路との寄生キャパシタを含み得る積分キャパシタ７０３）が、デジタル画素への入射光に応答してフォトダイオードで生成された電荷（たとえば、光電子）を集めることができる。積分期間１２１２の終了前の短期間（たとえば、１００μｓ未満）に、各画素の測定キャパシタ（たとえば、測定キャパシタ７０６または浮動拡散キャパシタ１１３０）はリセット期間１２１４にリセットされ、その後、リセットレベル変換期間１２１６中に、リセット電圧レベルのアナログ−デジタル変換が続き得る。このデジタル化された画素リセットレベルは、ｍビットセル１１８０などの画素メモリに記憶することができる。画素リセットレベルが変換された後、各画素のフォトダイオードの積分キャパシタ中の蓄積電荷は、電荷転送期間１２１８中に測定キャパシタへ転送され（たとえば、フォトダイオードの積分キャパシタと測定キャパシタの間で再分配され）、その後、信号レベル変換期間１２２０中に、画素信号レベル（すなわち、電荷転送後の測定キャパシタの電圧レベル）のアナログ−デジタル変換が続き得る。各画素のデジタル化された画素信号レベルは、ｎビットセル１１９０などの画素メモリに記憶することができる。デジタル化された画素レベルおよび信号レベルが画素メモリに記憶された後に、データ出力期間１２２２が開始でき、各画素の画素リセットレベルおよび信号レベルのデジタル値が画素アレイから行ごとに読み出され得る。これらのデジタル値は、アナログ電圧よりもはるかに速く読み出すことができる。
【００７１】
デジタル画素は、前に蓄積された電荷が測定キャパシタへ転送された後に次の画像フレームの電荷を蓄積し始めることができるので、デジタル画像センサのフレーム時間間隔（Ｔ＿Ｆｒａｍｅ）は、シャッタ期間１２１０（Ｔ＿Ｓｈｕｔｔｅｒ）と、積分期間１２１２（Ｔ＿Ｉｎｔ）と、リセット期間１２１４およびリセットレベル変換期間１２１６（一括してＴ＿Ｒｓｔ）と、電荷転送期間１２１８（Ｔ＿ＴＸ）との合計に等しくなり得る。上で論じたように、リセットレベルは一般に低く、したがって、リセットレベルをデジタル化する時間は短くなり得る。電荷転送期間１２１８、信号レベル変換期間１２２０、およびデータ出力期間１２２２もまた、積分期間と比較して短くなり得る。したがって、フレーム時間期間内のフレーム積分オーバヘッド（非積分時間）は小さくなり得る。一例では、フレーム時間間隔は約３３ｍｓ（すなわち、１秒当たり３０フレームのフレームレート）とすることができ、フレーム積分オーバヘッド（リセット期間１２１４、リセットレベル変換期間１２１６、電荷転送期間１２１８、ならびに、いくつかの実装形態では、信号レベル変換期間１２２０、およびデータ出力期間１２２２を含み得る）は、約１００μｓとすることができる。したがって、フレーム時間間隔の時間のほとんど（たとえば、９５％、または９９％以上）の間中、デジタル画素は低電力モード（たとえば、積分モード）で作動することができる。デジタル画素は、フレーム時間期間の時間期間の大部分を占め得るシャッタ期間１２１０および積分期間１２１２の間中、低電力モードで非常にわずかしか電力を消費しないので、デジタル画素の総電力消費は非常に少なくなり得る。
【００７２】
図１２Ｂは、特定の実施形態による、グローバルシャッタデジタル画素センサにデジタルＣＤＳ回路を用いたデジタル画素の動作を示すタイミング図である。図１２Ｂで、リセット信号ＲＳＴ  １２５０の第１のリセットパルス１２５２と、転送制御信号ＴＸ  １２６０の第１の転送制御パルス１２６２とは、積分キャパシタおよび測定キャパシタがリセットまたは放電され得るように、同時に（たとえば、シャッタ期間１２１０などのシャッタ期間の終了時に）生じ得る。第１のリセットパルス１２５２および第１の転送制御パルス１２６２の後に、画素積分が開始し得る。積分期間の終了時に、第２のリセットパルス１２５４が測定キャパシタ（たとえば、浮動拡散キャパシタ）を、０Ｖまたは別のＤＣレベルなどのリセットレベルにリセットすることができる。測定キャパシタのリセットレベルは、比較器、クロックカウンタ、およびランプ信号１２７０を使用してデジタル化することができる。上述のように、リセットレベルのデジタル化の間中、ランプ信号１２７０は、ランプ１２７２で示されるように徐々に増加または低下し得る。クロックカウンタが、クロックサイクル数を数えることができる。ランプ信号１２７０がリセットレベルに達したときのクロックカウンタ値１２８０は、リセットカウント１２８２として画素メモリ（たとえば、ｍビットリセットレベルメモリ）に保存することができる。続いて、転送制御パルス１２６４がアサートされて、フォトダイオードの積分キャパシタからの電荷が測定キャパシタへ転送され得る。測定キャパシタの電圧レベル（信号レベルと呼ばれる）は、上述のように、比較器、ランプ信号１２７０、およびクロックカウンタを使用してデジタル化することができる。信号レベルのデジタル化の間中、ランプ信号１２７０は、ランプ１２７４で示されるように徐々に増加または低下することができる。ランプ信号１２７０がリセットレベルに達したときのクロックカウンタ値１２８０は、信号カウント１２８４として画素メモリ（たとえば、ｎビット信号レベルメモリ）に保存することができる。リセットカウント１２８２および信号カウント１２８４は、デジタル画素メモリから読み出し、ＭＩＰＩインターフェース１２９０上のＭＩＰＩフォーマットの出力データ１２９２として送出することができる。測定キャパシタのリセット値が一般に小さいので、リセットレベルを表すリセットカウントは、信号レベルを表す信号カウントよりも少ないビットを使用し得る。
【００７３】
図１２Ａおよび図１２Ｂは、リセットレベルが積分期間の終了時に測定されることを示す。いくつかの実装形態では、リセットレベルが別の時間に測定されてもよい。たとえば、リセットレベルは、測定キャパシタと積分キャパシタが転送ゲートによって分離され得るので、シャッタ期間中に、積分期間の開始時に、または積分期間の中間に測定し、デジタル化することができる。図１２Ａおよび図１２Ｂに示された例は、暗電流によって生じるノイズおよび１／ｆノイズなどのデジタル画素のノイズを低減することに関し、デジタル画素の他の動作およびタイミング構成よりも良好な性能を有し得る。
【００７４】
たとえば、図１２Ａおよび図１２Ｂに示されるように、測定キャパシタが電荷転送および信号レベルデジタル化の直前にリセットされるので、信号レベルがデジタル化される前に暗電流が測定キャパシタに電荷を蓄積する時間を短くすることができ、したがって、暗電流によって生じるノイズまたは誤差を小さくすることができる。対照的に、測定キャパシタが積分期間の開始時に、またはシャッタ期間中にリセットされる場合には、暗電流が測定キャパシタに電荷を蓄積する時間が、積分期間の全部または大部分にわたって継続することがあり、したがって、暗電流によって生じるノイズまたは誤差が大きくなり得る。
【００７５】
さらに、測定キャパシタが電荷転送および信号レベルデジタル化の直前にリセットされるので、ＣＤＳ回路は、測定キャパシタのリセットと電荷転送の間の時間が短いことにより、高い周波数で効果的に切り換えられる。したがって、より高い動作周波数により、デジタル画素の１／ｆノイズ（すなわち、フリッカノイズまたはピンクノイズ）が低減され得る。対照的に、測定キャパシタが、たとえば積分期間の開始時にリセットされる場合には、測定キャパシタのリセットと電荷転送の間の時間間隔が長いことにより、ＣＤＳ回路が低い周波数で効果的に切り換えられる。したがって、このようなデータ変換処理では、１／ｆノイズによって生じるノイズまたは誤差が大きくなり得る。
【００７６】
上述のように、各デジタル画素がデジタイザを含むので、全画素が並行して動作する場合には、デジタル画素画像センサの総電力消費が大きくなり得る。たとえば、各デジタイザが１μＷを消費する場合、１００万個のデジタル画素を用いた画像センサは少なくとも１Ｗを消費することがあり、このことは、ＨＭＤなどのモバイルデバイスまたはウェアラブルデバイスには不都合なことがある。したがって、デジタル画素のデジタイザ、バッファ、および他の回路の電力消費を低減させることが望ましい。たとえば図７に関して上述したいくつかの例では、デジタイザは、信号レベルを参照レベルと比較しカウンタ値を画素メモリにラッチするために、比較器を使用することができる。ラッチおよび画素メモリはほとんど電力を消費しないので、比較器の電力消費を低減させることがデジタイザおよびデジタル画素の電力消費を低減するのにより効果的であり得る。
【００７７】
図１３は、ＤＣバイアス回路を含む例示的な比較器１３００を示す。比較器１３００は、Ｐチャネルトランジスタ１３１０および１３２０と、Ｎチャネルトランジスタ１３３０、１３４０、および１３５０とを含み得る差動増幅器を含むことができる。測定キャパシタからのアナログ電圧信号ＶＦＤは、トランジスタ１３３０およびトランジスタ１３４０のうちの一方のゲートに接続することができ、参照信号生成器（たとえば、参照信号生成器７７０）からのランプ信号ＶＲＡＭＰは、トランジスタ１３３０およびトランジスタ１３４０のうちのもう一方のゲートに接続することができる。ランプ信号ＶＲＡＭＰと測定キャパシタからのアナログ電圧信号ＶＦＤとに差があると、トランジスタ１３１０、１３２０、１３３０、および１３４０にそれぞれ異なる電流が流れ得る。したがって、ノード１３２５の電圧レベルは、ランプ信号ＶＲＡＭＰと測定キャパシタからのアナログ電圧信号ＶＦＤとの差によって決まり得る。ノード１３２５に接続されたインバータ１３６０が、ノード１３２５の電圧レベルを「高」または「低」信号に変換することができる。
【００７８】
比較器１３００では、差動増幅器の各トランジスタは、これらのトランジスタの適切なＤＣ動作レベルに、トランジスタ１３５０によってバイアスされ得る。比較器の動作中、トランジスタ１３３０を流れる電流の減少が、トランジスタ１３４０を流れる電流の増加に対応することができ、トランジスタ１３５０を流れるＤＣバイアス電流は一定のままであり得る。したがって、比較器１３００の差動増幅器は、トランジスタをバイアスするためにＤＣ電力を消費し得る。上で論じたように、バイアスするためのＤＣ電力が１画素当たり１μＷである場合、１００万個のデジタル画素を用いた画像センサは少なくとも１Ｗを消費し得る。
【００７９】
図１４は、特定の実施形態による、プリチャージ回路を含む例示的な比較器１４００を示す。比較器１４００では、測定キャパシタからのアナログ電圧信号ＶＦＤは、トランジスタ１４１０のゲートに接続することができ、参照信号ＶＲＡＭＰは、トランジスタ１４１０のソース（またはドレイン）に接続することができる。いくつかの実装形態では、トランジスタ１４１０はｐチャネル金属酸化膜半導体（ＰＭＯＳ）トランジスタとすることができ、トランジスタ１４１０をバイアスするためのＤＣバイアス回路は使用されない。そうではなく、プリチャージトランジスタ１４２０を含むプリチャージ回路が、アナログ電圧信号ＶＦＤのデジタル化が開始する前に比較器の出力ノードＣＯＭＰをプリチャージするために使用され得る。デジタル化の間中、プリチャージトランジスタ１４２０はオフにすることができ、電流がプリチャージトランジスタ１４２０に流れることがない。したがって、ＤＣバイアス電流および静的電力消費を低減または最小化することができる。
【００８０】
比較器１４００はまた、１つまたは複数のインバータを含み得る。たとえば、図１４に示されるように、第１のインバータは、書き込み信号を生成するためのトランジスタ１４３０および１４４０を含むことができ、第２のインバータは、書き込みｂ信号を生成するためのトランジスタ１４５０および１４６０を含むことができる。書き込み信号および書き込みｂ信号は、クロックカウンタ値を画素メモリにラッチするために使用することができる。いくつかの実装形態では、トランジスタ１４１０および１４２０は厚いゲート酸化膜を有することができ、３．３Ｖで動作することができるが、２つのインバータのうちの一方または両方が、薄いゲート酸化膜を用いたトランジスタを含んでもよく、１．８Ｖまたは１．２Ｖなどの、より低い電圧で動作することができ、それにより、書き込み信号および／または書き込みｂ信号のスイッチングエッジを鋭くすることができ、この書き込み信号および／または書き込みｂ信号のレベルは、組み合わせ論理回路（たとえば、ＡＮＤゲート１１６０および１１７０）およびメモリデバイスを含むデジタル回路の動作電圧とよりよく整合することができる。薄い酸化膜トランジスタを使用する動機の１つは、これらのトランジスタが画素内で占める面積が小さくなり、また厚い酸化膜トランジスタよりも電力消費が少なくなり得ることである。
【００８１】
図１５は、特定の実施形態による、図１４に示された比較器１４００などの例示的な比較器の動作を示すタイミング図１５００である。図１５は、プリチャージトランジスタ１４２０を制御するために使用できるプリチャージ信号１５１０と、ｐチャネルトランジスタ１４１０のソースに接続できるランプ信号ＶＲＡＭＰ  １５２０と、トランジスタ１４１０のゲートを駆動できるＶＦＤ信号１５３０と、トランジスタ１４１０のドレインの信号ＶＣＯＭＰ  １５４０と、検出器１４００の第１のインバータの出力部の書き込み信号１５５０と、検出器１４００の第２のインバータの出力部の書き込みｂ信号１５６０とを示す。図１５に示されるように、デジタル化動作の開始前に、高レベルパルスがプリチャージトランジスタ１４２０のゲートに印加されてプリチャージトランジスタがオンになり、したがって、ノードＣＯＭＰが低レベル（たとえば、Ｖｓｓ）にプリチャージされ得る。プリチャージ動作の後に、プリチャージ信号１５１０が低レベルに設定されてプリチャージトランジスタ１４２０をオフにすることができ、アナログ−デジタル変換が開始することができる。アナログ−デジタル変換の間中、ランプ信号ＶＲＡＭＰ  １５２０が徐々に増加することができる。ランプ信号ＶＲＡＭＰ  １５２０がＶＦＤ信号１５３０とトランジスタ１４１０の閾値電圧Ｖｔｐとの合計よりも小さいとき、トランジスタ１４１０はオフになっていることができ、信号ＶＣＯＭＰ  １５４０は低くなっていることができる。したがって、第１のインバータの出力部の書き込み信号１５５０は高くなっていることができ、第２のインバータの出力部の書き込みｂ信号１５６０は低くなっていることができる。時間ｔ１において、ランプ信号ＶＲＡＭＰ  １５２０がＶＦＤ信号１５３０とトランジスタ１４１０の閾値電圧Ｖｔｐとの合計よりも大きくなり、トランジスタ１４１０がオンになって、信号ＶＣＯＭＰ  １５４０が第１のインバータを起動して反転できる高レベルまで増加できるように、ノードＣＯＰＭを充電することができる。したがって、第１のインバータの出力部の書き込み信号１５５０は低くなることができ、第２のインバータの出力部の書き込みｂ信号１５６０はゲート遅延後に高くなることができる。
【００８２】
図１５に示されるように、プリチャージトランジスタは、測定キャパシタのアナログ電圧信号のデジタル化の前に、短期間の時間（たとえば、約１μｓ）だけオンになる。フレーム時間期間の残りの時間の間中、キャパシタは静的電力をほとんど、または全く消費することがない。したがって、キャパシタによる静的（ＤＣ）電力を低減または最小化することができる。そのため、デジタル画素画像センサの総電力消費を低減または最小化することができる。
【００８３】
したがって、本明細書で開示された技法では、グローバルシャッタおよび画素ごとのデジタイザを使用すること、ならびに各画素からアナログ信号ではなくデジタル値を読み出すことによって、フレームレートを増加させることができる。本明細書で開示された技法ではまた、ＣＤＳ回路を使用してランダムノイズおよび固定ノイズ（たとえば、オフセット誤差、暗電流、および１／ｆノイズ）を低減し、したがって、画像センサの感度、信号対雑音比（ＳＮＲ）、ダイナミックレンジなどを改善することもできる。本明細書で開示された技法ではまた、（複雑なＡＤＣではない）比較器およびデジタルＣＤＳを使用することによって、各デジタル画素の画素サイズを縮小することができ、したがって、デジタル画素画像センサの密度または解像度を高めることもできる。本明細書で開示された技法ではまた、デジタル画素が高電力モードで動作し得る時間期間を短縮することによって、およびデジタル画素のデジタイザの比較器による静的（ＤＣ）電力消費を低減することによって、デジタル画素の電力消費を低減することもできる。
【００８４】
図１６は、特定の実施形態による、デジタル撮像の例示的な方法を示す流れ図である。この方法は、たとえば、デジタル画素画像センサ６００および／またはデジタル画素７００、９００、１０００、または１１００によって遂行することができる。この方法は、デジタル画像を高いフレームレートで取り込むために使用することができ、感度が高く、ノイズレベルが低く、電力消費が少ない。この方法は、デジタル画素画像センサの全デジタル画素によって並行して遂行することができる。
【００８５】
ブロック１６１０で、画像センサの画素のフォトダイオードが、露光期間中に光信号を受光することができる。いくつかの実装形態では、光信号を受光する前または間中、画素のフォトダイオードは、たとえば、画像センサの全画素のフォトダイオードのリセットを制御する電気シャッタ信号によって、リセットすることができる。したがって、画像センサの全画素のフォトダイオードは、同一の電気シャッタ信号（すなわち、グローバル電子シャッタ）によって同時にリセットすることができる。フォトダイオードは、０ＶなどのＤＣ電圧レベルにリセットして、フォトダイオードに付随する寄生キャパシタの全電荷を放電することができる。いくつかの実装形態では、明示または寄生のキャパシタ（たとえば、浮動拡散ノード）などの電荷貯蔵デバイス（すなわち、測定キャパシタ）もまたリセットすることができる。いくつかの実装形態では、画素のフォトダイオードは、リセットスイッチ（たとえば、リセットスイッチ７１８またはリセットゲート１０４０）および転送ゲート（たとえば、転送ゲート７０４または１０２０）を介して、リセット信号（たとえば、リセット信号７２０、または図１０のＲＳＴ信号）および転送ゲート制御信号（たとえば、測定制御信号７０８、または図１０のＴＸ信号）によってリセットすることができる。
【００８６】
ブロック１６２０で、画素は、光信号を電荷貯蔵デバイス（たとえば、ＦＤノード）への電圧レベルに変換することができる。露光期間中に、フォトダイオードは、たとえば転送ゲートをオフにすることによって、電荷貯蔵デバイスから切り離すことができる。フォトダイオードは、光信号の受光に応答して電荷（たとえば、光電子または正孔）または光電流を生成することができる。たとえば、より明るい光信号に対し、フォトダイオードはより大きい光電流、すなわちより多くの電荷を生成することができる。露光期間中にフォトダイオードによって生成された電荷は、積分キャパシタに蓄積すること、すなわち積分キャパシによって積分することができる。いくつかの実装形態では、積分キャパシタは、フォトダイオードおよび／またはフォトダイオードに接続された回路に付随する、寄生キャパシタであり得る。露光期間の後、電荷貯蔵デバイスは、たとえば転送ゲートをオンにすることによってフォトダイオードに接続されて、蓄積電荷の少なくとも一部または全部を積分キャパシタから電荷貯蔵デバイスへ転送することができる。いくつかの実装形態では、電荷貯蔵デバイスは、露光期間の終了前１００μｓなど、露光期間の終了前にリセットされることがある。電荷が転送されると、電荷貯蔵デバイス（たとえば、測定キャパシタ７０６またはＦＤキャパシタ１０３０）において電圧信号（または電圧信号変化）が創出され得る。電圧信号レベルは、電荷貯蔵デバイスに蓄えられた電荷の量と相関関係があり得るので、光信号の輝度または強度とも相関関係があり得る。電圧信号レベルはまた、電荷貯蔵デバイスの静電容量にも依存し得る。電荷転送の後、電荷貯蔵デバイスは、たとえば転送ゲートをオフにすることによってフォトダイオードから切り離すことができる。
【００８７】
ブロック１６３０で、画素（より明確には、画素のデジタイザの比較器）は、クロック信号のクロックサイクル数を数えるクロックカウンタからカウンタ値を受け取ることができる。クロックカウンタは、カウンタ値を画像センサの複数または全部の画素に与えるグローバルクロックカウンタとすることができる。クロックカウンタは、デジタル化期間が開始したときにクロックサイクル数を数え始めることができ、デジタル化期間が開始する前、またはデジタル化期間が終了した後にデフォルト値（たとえば、０または０よりも大きい数）にリセットされ得る。
【００８８】
ブロック１６４０で、画素の比較器は、電荷貯蔵デバイスの電圧レベルとランプ信号を比較することができる。ランプ信号の電圧レベルは、クロックサイクル数が増大するにつれて直線的に増加すること（すなわち、上に傾斜するために）、または低下すること（すなわち、下に傾斜するために）ができる。いくつかの実装形態では、ランプ信号はグローバル参照信号生成器で生成することができる。たとえば、いくつかの実装形態では、ランプ信号は、入力としてクロックカウンタのカウント値（数えられたクロックサイクル数）を使用してＤＡＣで生成することができ、画像センサの複数または全部の画素の比較器で、参照信号として使用することができる。電荷貯蔵デバイスの電圧レベルは、（たとえば、選択信号を使用して）検知し、比較器へ送出される前に、（たとえば、上述のようにソースフォロア増幅器またはバッファによって）増幅することができる。ランプ信号が、電荷貯蔵デバイスからの検知された（かつ増幅された）電圧レベルよりも低い（または、下に傾斜する信号では高い）とき、比較器の出力部は、低レベル（または、実装形態によっては高レベル）にあり得る。ランプ信号は、増加するクロックサイクル数に合わせて直線的に増大（または、下に傾斜する信号では低下）し得る。
【００８９】
ブロック１６５０で、ランプ信号が、電荷貯蔵デバイスからの検知された電圧レベルと等しいか、これよりも（たとえば、トランジスタの閾電圧だけ）高い（または、下に傾斜する信号では低い）レベルに達したときに、比較器の出力は状態を変えて、たとえば低レベルから高レベルへと反転または切り替わり得る。
【００９０】
ブロック１６６０で、比較器の出力状態が変化した（たとえば、反転または切り替わった）ときのクロックカウンタのカウンタ値は、たとえば画素メモリのｎビットブロックに、第１のデジタル値として保存することができる。第１のデジタル値は、画素における光信号の強度に対応し得る。画像センサの各画素の第１のデジタル値はラインごとに読み出して、デジタル画像フレームを形成することができる。
【００９１】
いくつかの実装形態では、電荷貯蔵デバイスが露光期間の終了前にリセットされた後に、電荷貯蔵デバイスの電圧レベルが、比較器と、クロックカウンタと、参照信号生成器で生成された第２のランプ信号とを使用して、光信号と関連する電圧レベルがデジタル化されるのと同様に、第２のデジタル値にデジタル化され得る。第１のデジタル値と第２のデジタル値の差は、画素における光信号の強度をより正確に表すものになり得る。
【００９２】
本発明の諸実施形態は、人工現実システムを含むこと、またはこれと一緒に実施することができる。人工現実は、ユーザに提示する前に何らかの方法で調整された現実の形であり、これには、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび／または派生物が含まれ得る。人工現実コンテンツには、完全に生成されたコンテンツ、または取り込まれた（たとえば、実世界の）コンテンツと組み合わせて生成されたコンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのいくつかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル（視聴者に三次元効果をもたらす立体映像など）で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ／または人工現実において（たとえば、諸活動を行うのに）別に使用される。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを１人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施することができる。
【００９３】
図１７は、特定の実施形態による、ニアアイディスプレイ１７２０を含む例示的な人工現実システム環境１７００の簡略化ブロック図である。図１７に示された人工現実システム環境１７００は、コンソール１７１０にそれぞれ結合されている、ニアアイディスプレイ１７２０、外部撮像デバイス１７５０、および入力／出力インターフェース１７４０を含み得る。図１７は、１つのニアアイディスプレイ１７２０、１つの外部撮像デバイス１７５０、および１つの入力／出力インターフェース１７４０を含む例示的な人工現実システム１７００を示すが、任意の数のこれらの構成要素が人工現実システム１７００に含まれても、これらの構成要素のいずれかが省かれてもよい。たとえば、コンソール１７１０と通信する１つまたは複数の外部撮像デバイス１７１０によって監視される、複数のニアアイディスプレイ１７２０があってもよい。代替的な構成では、別の、または追加の構成要素が人工現実システム環境１７００に含まれることがある。
【００９４】
ニアアイディスプレイ１７２０は、コンテンツをユーザに提示するヘッドマウントディスプレイ（ＨＭＤ）とすることができる。ニアアイディスプレイ１７２０によって提示されるコンテンツの例としては、画像、ビデオ、音声、またはこれらの組み合わせのうちの１つ以上がある。いくつかの実施形態では、音声は、外部デバイス（たとえば、スピーカおよび／またはヘッドホン）を介して提示することができ、この外部デバイスは、ニアアイディスプレイ１７２０もしくはコンソール１７２０、または両方から音声情報を受け取り、その音声情報に基づいた音声データを提示する、ニアアイディスプレイ１７２０は、１つまたは複数の剛直な本体を含むことができ、これらは互いに剛直に、または非剛直に結合することができる。剛直な本体間で剛直に結合すると、結合された剛直な本体が単一の剛直な実体として機能し得る。剛直な本体間で非剛直に結合すると、剛直な本体が互いに動くことが可能になる。様々な実施形態では、ニアアイディスプレイ１７２０が、一対のメガネを含む任意の適切なフォームファクタで実現され得る。ニアアイディスプレイ１７２０のいくつかの実施形態について、図２および図３に関して以下でさらに記述する。加えて、様々な実施形態では、本明細書で記述される機能性は、ニアアイディスプレイ１７２０の外部の環境の画像と、コンソール１７１０から、またはコンテンツを生成しユーザに提供する任意の他のコンソールから受け取られたコンテンツとを光学的または電気的に組み合わせる、ヘッドセットに使用することができる。したがって、ニアアイディスプレイ１７２０は、ニアアイディスプレイ１７２０の外部の物理的な実世界の環境の画像を、生成されたコンテンツ（たとえば、画像、ビデオ、音など）によって拡張して、ユーザに拡張現実を提示することができる。
【００９５】
様々な実施形態では、ニアアイディスプレイ１７２０は、表示電子装置１７２２、表示光学装置１７２４、１つまたは複数のロケータ１７２６、１つまたは複数の位置センサ１７２８、視線追跡ユニット１７３０、および慣性測定ユニット（ＩＭＵ）１７３２のうちの１つ以上を含み得る。ニアアイディスプレイ１７２０は、様々な実施形態において、これらの要素のいずれかを省くことも、追加の要素を含むこともある。加えて、いくつかの実施形態では、ニアアイディスプレイ１７２０は、図１７と併せて記述された様々な要素の機能を組み合わせる要素を含むこともある。
【００９６】
表示電子装置１７２２は、コンソール１７１０から受け取ったデータに応じて画像をユーザに表示することができる。様々な実施形態では、表示電子装置１７２２は、仮想または実際のオブジェクトの画像を生成するための回路、および／または以下で詳細に記述される電気的に操作可能な鏡などの表示光学装置１７２４の、いくつかの構成要素を駆動するための回路を含むことができる。いくつかの実施形態では、表示電子装置１７２２は、液晶表示装置（ＬＣＤ）、液晶オンシリコン（ＬＣＯＳ）表示装置、有機発光ダイオード（ＯＬＥＤ）表示装置、マイクロ発光ダイオード（ｍＬＥＤ）表示装置、アクティブマトリックスＯＬＥＤ表示装置（ＡＭＯＬＥＤ）、透明ＯＬＥＤ表示装置（ＴＯＬＥＤ）、デジタルマイクロミラーデバイス（ＤＭＤ）、または何か他の表示装置などの、１つまたは複数の表示パネルを含み得る。ニアアイディスプレイ１７２０の１つの実施形態では、表示電子装置１７２２はＴＯＬＥＤパネルを含むことができ、これは、赤、緑、青、白、または黄などの主色の光を発するサブ画素を含み得る。いくつかの実施形態では、表示電子装置１７２２は、画像奥行きの主観的知覚を引き起こす二次元パネルによって生み出される立体効果により、３Ｄ画像を表示することができる。たとえば、表示電子装置１７２２は、ユーザの左眼および右眼の前にそれぞれ位置する左表示装置および右表示装置を含み得る。左右の表示装置は、互いに水平にシフトされた画像の複製を提示して、立体感（すなわち、画像を見ているユーザによる画像奥行きの知覚）を引き起こすことができる。
【００９７】
特定の実施形態では、表示電子装置１７２４は、画像コンテンツを光学的に表示することができ（たとえば、光導波路および光カプラを使用して）、あるいは、表示電子装置１７２２から受光した画像光を拡大し、画像光に付随する光学誤差を補正し、表示電子装置１７２２および環境からの画像光を組み合わせ、補正され組み合わされた画像光をニアアイディスプレイ１７２０のユーザに提示することができる。様々な実施形態では、表示電子装置１７２４は、１つまたは複数の光学要素を含み得る。例示的な光学要素には、基板、光導波路、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、鏡、回折光学要素（ＤＯＥ）、または表示電子装置１７２２および環境から発光された画像光に影響を及ぼし得る他の任意の適切な光学要素が含まれ得る。表示光学装置１７２４には、異なる光学要素を組み合わせたもの、ならびにその組み合わせたものの光学要素の相対的な間隔および向きを維持するための機械的な結合部が含まれ得る。表示光学装置１７２４の１つまたは複数の光学要素は、反射防止コーティング、反射コーティング、フィルタリングコーティング、または異なる光学コーティングの組み合わせなどの光学コーティングを有し得る。
【００９８】
表示光学装置１７２４によって画像光を拡大すると、より大きい表示装置よりも表示電子装置１７２２を物理的に小さく、重量を小さく、電力消費を少なくすることができる。加えて、拡大すると表示コンテンツの視野を増大させることができる。いくつかの実施形態では、表示光学装置１７２４は、表示電子装置１７２２によって投射された画像光を拡大するために、表示光学装置１７２４と表示電子装置１７２２の間の間隔よりも大きい有効焦点距離を有し得る。表示光学装置１７２４による画像光の拡大量は、表示光学装置１７２４の光学要素を追加または取り外すことによって調整することができる。
【００９９】
表示光学装置１７２４は、二次元光学誤差、三次元光学誤差、またはこれらの組み合わせなどの、１つまたは複数の種類の光学誤差を補正するように設計することができる。二次元誤差には、二次元で生じる光学収差が含まれ得る。例示的な種類の二次元誤差には、樽形歪、糸巻き形歪、軸方向色収差、および横色収差が含まれ得る。三次元誤差には、三次元で生じる光学収差が含まれ得る。例示的な種類の三次元誤差には、球面収差、コマ収差、像面湾曲、および非点収差が含まれ得る。いくつかの実施形態では、表示電子装置１７２２に供給される表示用のコンテンツは、あらかじめ歪ませることがあり、表示光学装置１７２４は、あらかじめ歪ませたコンテンツに基づいて生成された画像光を表示電子装置１７２２から受光したときに、その歪を補正することができる。
【０１００】
複数のロケータ１７２６は、互いに、およびニアアイディスプレイ１７２０の基準点に対して、ニアアイディスプレイ１７２０の特定的な位置にあるオブジェクトとすることができる。コンソール１７１０は、外部撮像デバイス１７５０によって取り込まれた画像内でロケータ１７２６を特定して、人工現実ヘッドセットの位置もしくは向き、または両方を決定することができる。ロケータ１７２６は、発光ダイオード（ＬＥＤ）、コーナキューブリフレクタ、反射性マーカ、ニアアイディスプレイ１７２０が動作する環境と対照をなすある種の光源、またはこれらのいくつかの組み合わせとすることができる。ロケータ１７２６が能動構成要素（たとえば、ＬＥＤまたは別の種類の発光デバイス）である実施形態では、ロケータ１７２６は、可視帯域内（たとえば、約３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）帯域内（たとえば、約７５０ｎｍ〜１７ｍｍ）、紫外帯域内（たとえば、約１７０ｎｍ〜約３８０ｎｍ）、電磁スペクトルの別の部分内、または電磁スペクトルの一部分の任意の組み合わせ内の光を発光することができる。
【０１０１】
外部撮像デバイス１７５０は、コンソール１７１０から受け取った較正パラメータに基づいて遅い較正データを生成することができる。遅い較正データは、外部撮像デバイス１７５０によって検出可能なロケータ１７２６が観察された位置を示す、１つまたは複数の画像を含み得る。外部撮像デバイス１７５０は、１つまたは複数のカメラ、１つまたは複数のビデオカメラ、１つまたは複数のロケータ１７２６を含む画像を取り込むことができる任意の他のデバイス、またはこれらのいくつかの組み合わせを含み得る。加えて、外部撮像デバイス１７５０は、１つまたは複数のフィルタを含み得る（たとえば、信号対雑音比を向上させるために）。外部撮像デバイス１７５０は、外部撮像デバイス１７５０の視野内のロケータ１７２６から発光または反射された光を検出するように構成することができる。ロケータ１７２６が受動要素（たとえば再帰反射器）を含む実施形態では、外部撮像デバイス１７５０は、ロケータ１７２６の一部または全部を照らす光源を含むことができ、ロケータは、その光を外部撮像デバイス１７５０の光源に逆反射することができる。遅い較正データは、外部撮像デバイス１７５０からコンソール１７１０へ伝えることができ、外部撮像デバイス１７５０は、１つまたは複数の較正パラメータをコンソール１７１０から受け取って、１つまたは複数の画像化パラメータ（たとえば、焦点距離、焦点、フレームレート、センサ温度、シャッタ速度、アパーチャなど）を調整することができる。
【０１０２】
位置センサ１７２８は、ニアアイディスプレイ１７２０の動きに応答して１つまたは複数の測定信号を生成することができる。位置センサ１７２８の例としては、加速度計、ジャイロスコープ、磁力計、他の動き検出センサもしくは誤差補正センサ、またはこれらのいくつかの組み合わせが含まれ得る。たとえば、いくつかの実施形態では、位置センサ１７２８は、並進運動（たとえば、前方／後方、上／下、または左／右）を測定するための複数の加速度計と、回転運動（たとえば、ピッチ、ヨー、またはロール）を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、様々な位置センサを互いに直角に向けることができる。
【０１０３】
ＩＭＵ  １７３２は、１つまたは複数の位置センサから受け取った測定信号に基づいて速い較正データを生成する電子デバイスとすることができる。位置センサ１７２８は、ＩＭＵ  １７３２の外部、ＩＭＵ  １７３２の内部、またはこれらの何らかの組み合わせに設置することができる。１つまたは複数の位置センサ１７２８からの１つまたは複数の測定信号に基づいて、ＩＭＵ  １７３２は、ニアアイディスプレイ１７２０の初期位置に対するニアアイディスプレイ１７２０の推定位置を示す速い較正データを生成することができる。たとえば、ＩＭＵ  １７３２は、加速度計から受け取った測定信号をある期間にわたって積分して速度ベクトルを推定し、この速度ベクトルをある期間にわたって積分して、ニアアイディスプレイ１７２０の基準点の推定位置を決定することができる。あるいは、ＩＭＵ  １７３２は、サンプリングされた測定信号をコンソール１７１０に供給することができ、コンソールは、速い較正データを決定することができる。基準点は一般に、様々な実施形態において空間の点として定義され得るが、様々な実施形態では、基準点はまた、ニアアイディスプレイ１７２０の内部の点（たとえば、ＩＭＹ  １７３２の中心）として定義されることもある。
【０１０４】
視線追跡ユニット１７３０は、１つまたは複数の視線追跡システムを含み得る。視線追跡システムは、１つまたは複数の眼を撮像するための撮像システムを含むことができ、また任意選択で発光器を含むことができ、この発光器は、眼で反射された光が撮像システムによって取り込まれ得るように眼に向けられる光を生成することができる。たとえば、視線追跡ユニット１７３０は、可視スペクトルまたは赤外スペクトルの光を発するコヒーレント光源（たとえば、レーザダイオード）と、ユーザの眼で反射された光を取り込むカメラとを含み得る。別の例では、視線追跡ユニット１７３０は、小型レーダユニットから放射され反射された電波を捉えることができる。視線追跡ユニット１７３０には、眼を傷めない、または物理的な不快を引き起こさない周波数および強度の光を発する小出力発光器を使用することができる。視線追跡ユニット１７３０は、視線追跡ユニット１７３０によって消費される総電力を低減しながら（たとえば、視線追跡ユニット１７３０に含まれる発光器および撮像システムによって消費される電力を低減しながら）、視線追跡ユニット１７３０によって取り込まれる眼の画像のコントラストを高めるように配置することができる。たとえば、いくつかの実施形態では、視線追跡ユニット１７３０は、消費する電力が１７００ミリワット未満であり得る。
【０１０５】
視線追跡ユニット１７３０は、ユーザの眼の向きを推定するように構成することができる。眼の向きは、ニアアイディスプレイ１７２０内でユーザが注視する方向と一致し得る。ユーザの眼の向きは中心窩軸の方向として定義することができる。中心窩軸とは、中心窩（光受容体の密度が最も高い眼の網膜上の領域）と眼の瞳孔の中心との間の軸のことである。一般に、ユーザの眼が１つの点に固定されているとき、ユーザの２つの眼の中心窩軸は、その点で交差する。眼の瞳孔軸は、瞳孔の中心を通り角膜面に垂直である軸として定義することができる。一般に、瞳孔軸と中心窩軸は瞳孔の中心で交差するが、瞳孔軸は中心窩軸と全く一直線にそろわないことがある。中心窩軸は眼の後方に位置する中心窩によって定義されるので、中心窩軸は、いくつかの視線追跡実施形態では直接測定することが困難か不可能なことがある。したがって、いくつかの実施形態では、瞳孔軸の向きが検出され、この検出された瞳孔軸に基づいて中心窩軸が推定されることがある。
【０１０６】
ニアアイディスプレイ１７２０は、眼の向きを利用して、たとえば、ユーザの瞳孔間距離（ＩＰＤ）を決定すること、注視方向を決定すること、奥行き表現を導入すること（たとえば、ユーザの主視線の外側の画像をぼかす）、人工現実メディアにおけるユーザ対話についての発見的方法（たとえば、露出刺激の関数としての、何か特別な対象、オブジェクト、またはフレームに費やす時間）、ユーザの眼の少なくとも片方の向きに一部は基づく何か他の関数、またはこれらのいくつかの組み合わせを集めることができる。向きはユーザの両眼について決定されるので、視線追跡ユニット１７３０は、ユーザがどこを見ているかを決定することができ得る。たとえば、ユーザの注視の方向を決定することには、ユーザの右眼および左眼の決定された向きに基づいて収束点を決定することが含まれ得る。収束点は、ユーザの眼の２つの中心窩軸が交差する点（または、２つの軸間の最も近い点）であり得る。ユーザの注視の方向は、収束点と、ユーザの眼の各瞳孔の間の中間点とを通る、線の方向であり得る。
【０１０７】
入力／出力インターフェース１７４０は、ユーザがコンソール１７１０にアクション要求を送出できるようにするデバイスでよい。アクション要求とは、特別なアクションを行うことの要求であり得る。たとえば、アクション要求は、アプリケーションを開始もしくは終了すること、またはアプリケーション内で特別なアクションを行うことであり得る。入力／出力インターフェース１７４０は、１つまたは複数の入力デバイスを含み得る。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、グローブ、ボタン、タッチスクリーン、または他の任意の適切な、アクション要求を受け取り、受け取られたアクション要求をコンソール１７１０に伝えるためのデバイスが含まれ得る。入力／出力インターフェース１７４０で受け取られたアクション要求はコンソール１７１０に伝えることができ、コンソールは、要求されたアクションに対応するアクションを遂行することができる。いくつかの実施形態では、入力／出力インターフェース１７４０は、コンソール１７１０から受け取った命令に応じてユーザに触覚フィードバックを与えることができる。たとえば、入力／出力インターフェース１７４０は、アクション要求が受け取られたときに、またはコンソール１７１０が要求されたアクションを遂行し、命令を入力／出力インターフェース１７４０に伝えたときに、触覚フィードバックを与えることができる。
【０１０８】
コンソール１７１０は、外部撮像デバイス１７５０、ニアアイディスプレイ１７２０、および入力／出力インターフェース１７４０のうちの１つ以上から受け取った情報に応じて、ユーザに提示するためのコンテンツをニアアイディスプレイ１７２０に供給することができる。図１７に示された例では、コンソール１７１０は、アプリケーション記憶装置１７１２、ヘッドセット追跡モジュール１７１４、人工現実エンジン１７１６、および視線追跡モジュール１７１８を含み得る。コンソール１７１０のいくつかの実施形態は、図１７と併せて記述されたものとは別の、または追加のモジュールを含み得る。以下でさらに記述される機能が、コンソール１７１０の構成要素の間で、ここで記述されるものとは別の方法で分配されることがある。
【０１０９】
いくつかの実施形態では、コンソール１７１０は、プロセッサと、プロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含み得る。プロセッサは、並行して命令を実行する複数のプロセスユニットを含み得る。コンピュータ可読記憶媒体は、ハードディスクドライブ、取り外し可能メモリ、またはソリッドステートドライブ（たとえば、フラッシュメモリまたはダイナミックランダムアクセスメモリ（ＤＲＡＭ））などの任意のメモリでよい。様々な実施形態では、図１７と併せて記述されたコンソール１７１０のモジュールは、非一時的コンピュータ可読記憶媒体に命令としてコード化することができ、この命令は、プロセッサによって実行されると、以下でさらに記述される機能をプロセッサが遂行する。
【０１１０】
アプリケーション記憶装置１７１２は、コンソール１７１０で実行するための１つまたは複数のアプリケーションを記憶することができる。１つのアプリケーションは、プロセッサで実行されたときにユーザに提示するためのコンテンツを生成する命令の群を含むことができる。アプリケーションによって生成されたコンテンツは、ユーザの眼の運動を介してユーザから受け取られた入力、または入力／出力インターフェース１７４０から受け取られた入力に応答していることがある。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれ得る。
【０１１１】
ヘッドセット追跡モジュール１７１４は、外部撮像デバイス１７５０からの遅い較正情報を使用してニアアイディスプレイ１７２０の移動を追跡することができる。たとえば、ヘッドセット追跡モジュール１７１４は、遅い較正情報による観察されたロケータと、ニアアイディスプレイ１７２０のモデルとを使用してニアアイディスプレイ１７２０の基準点の位置を決定することができる。ヘッドセット追跡モジュール１７１４はまた、速い較正情報による位置情報を使用してニアアイディスプレイ１７２０の基準点の位置を決定することもできる。加えて、いくつかの実施形態では、ヘッドセット追跡モジュール１７１４は、速い較正情報の一部分、遅い較正情報、またはこれらの何らかの組み合わせを使用して、ニアアイディスプレイ１７２０の未来場所を予測することができる。ヘッドセット追跡モジュール１７１４は、ニアアイディスプレイ１７２０の推測または予測未来位置を人工現実エンジン１７１６に提供することができる。
【０１１２】
ヘッドセット追跡モジュール１７１４は、１つまたは複数の較正パラメータを使用して人工現実システム環境１７００を較正することができ、１つまたは複数の較正パラメータを調整して、ニアアイディスプレイ１７２０の位置を決定する際の誤差を低減することができる。たとえば、ヘッドセット追跡モジュール１７１４は、外部撮像デバイス１７５０の焦点を調整して、ニアアイディスプレイ１７２０の観察されるロケータのより正確な位置を得ることができる。さらに、ヘッドセット追跡モジュール１７１４で行われる較正はまた、ＩＭＵ  １７３２から受け取られる情報を明らかにすることもできる。加えて、ニアアイディスプレイ１７２０の追跡ができなくなった場合（たとえば、外部撮像デバイス１７５０が少なくとも閾数のロケータ１７２６の視線を失う）、ヘッドセット追跡モジュール１７１４は、較正パラメータの一部または全部を再較正することができる。
【０１１３】
人工現実エンジン１７１６は、人工現実システム環境１７００内のアプリケーションを実行し、ニアアイディスプレイ１７２０の位置情報、ニアアイディスプレイ１７２０の加速度情報、ニアアイディスプレイ１７２０の速度情報、ニアアイディスプレイ１７２０の予測未来位置、またはこれらの何らかの組み合わせをヘッドセット追跡モジュール１７１４から受け取ることができる。人工現実エンジン１７１６はまた、推測された眼の位置および向き情報を視線追跡モジュール１７１８から受け取ることもできる。受け取った情報に基づいて、人工現実エンジン１７１６は、ユーザへの提示用にニアアイディスプレイ１７２０に提供するためのコンテンツを決定する。たとえば、受け取った情報がユーザは右を見ていることを示す場合、人工現実エンジン１７１６は、仮想環境中のユーザの眼球運動を映すニアアイディスプレイ１７２０用のコンテンツを生成することができる。加えて、人工現実エンジン１７１６は、入力／出力インターフェース１７４０から受け取ったアクション要求に応答してコンソール１７１０上で実行するアプリケーション内のアクションを遂行し、アクションが遂行されたことを示すフィードバックをユーザに与えることができる。フィードバックは、ニアアイディスプレイ１７２０を介する可視または可聴フィードバックでも、入力／出力インターフェース１７４０を介する触覚フィードバックでもよい。
【０１１４】
視線追跡モジュール１７１８は、視線追跡ユニット１７３０からの視線追跡データを受け取り、その視線追跡データに基づいてユーザの眼の位置を決定することができる。この眼の位置には、ニアアイディスプレイ１７２０またはそのいずれかの要素に対する眼の向きもしくは場所、または両方が含まれ得る。眼の回転軸は眼窩内の眼の場所に応じて変化するので、眼窩内の眼の場所を決定すると視線追跡モジュール１７１８は、眼の向きをより正確に決定することが可能になる。
【０１１５】
いくつかの実施形態では、視線追跡ユニット１７３０は、眼の画像を含む視線追跡データを出力することができ、視線追跡モジュール１７１８は、画像に基づいて眼の位置を決定することができる。たとえば、視線追跡モジュール１７１８は、視線追跡モジュール１７３０によって取り込まれた画像と眼の位置との間のマッピングを記憶して、視線追跡ユニット１７３０によって取り込まれた画像から眼の基準位置を決定することができる。別法として、または加えて、視線追跡モジュール１７１８は、眼の基準位置が決定されている画像を更新された眼の位置が決定されるべき画像と比較することによって、眼の基準位置に対して更新された眼の位置を決定することができる。視線追跡モジュール１７１８は、別の撮像デバイスまたは他のセンサからの測定値を使用して眼の位置を決定することができる。たとえば、上述のように、視線追跡モジュール１７１８は、遅い視線追跡システムからの測定値を使用して眼の基準位置を決定し、その後、速い視線追跡システムからの眼の基準位置に対する更新位置を、次の眼の基準位置が遅い視線追跡システムからの測定値に基づいて決定されるまで、決定することができる。
【０１１６】
上で論じられた方法、システム、およびデバイスは例示的なものである。様々な実施形態で、様々な手順または構成要素を必要に応じて省略、置換、または追加することができる。たとえば、代替的な構成では、記述された方法は、記述されたものと異なる順序で遂行されてもよく、かつ／または様々な段階が追加され、省略され、および／または組み合わされてもよい。また、特定の実施形態に関して記述された特徴が、様々な他の実施形態において組み合わされてもよい。これらの実施形態の異なる態様と要素が、同様に組み合わされてもよい。また、技術が進歩するので、これらの要素の多くは、本開示の範囲をこれらの特定的な例に限定しない例である。
【０１１７】
実施形態の完全な理解が得られるように、本明細書には特定的な詳細が付与されている。しかし、諸実施形態は、これらの特定的な詳細がなくても実践することができる。たとえば、よく知られている回路、プロセス、システム、構造、および技法が、実施形態を不明瞭にしないようにするために、不必要に詳述することなく示されている。本明細書は、例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定するものではない。むしろ、これらの実施形態についての前述の記述は、様々な実施形態を実施するための可能化記述を当業者に提供する。様々な変更が、本開示の趣旨および範囲から逸脱することなく諸要素の機能および配置に加えられ得る。
【０１１８】
また、いくつかの実施形態が、流れ図またはブロック図で描かれたプロセスとして記述された。それぞれが動作を一連のプロセスとして記述していることがあるが、動作の多くは並行して、または同時に遂行されてもよい。加えて、動作の順序は再構成されてもよい。プロセスが、図に含まれていない追加のステップを有することがある。さらに、方法の諸実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組み合わせによって実施することができる。ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される場合、関連するタスクを遂行するためのプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶することができる。プロセッサが、関連するタスクを遂行することができる。
【０１１９】
当業者には、実質的な変形形態が特定的な要件に応じて作られ得ることが明らかであろう。たとえば、カスタム化または特定用途のハードウェアもまた使用されてよく、かつ／または、特別な要素がハードウェアもしくはソフトウェア（アプレットなどのポータブルソフトウェアを含む）、または両方で実施されてもよい。さらに、ネットワーク入力／出力デバイスなどの他のコンピュータデバイスへの接続が採用されてもよい。
【０１２０】
添付の図を参照すると、メモリを含むことができる構成要素は、非一時的機械可読媒体を含むことができる。本明細書で使用される用語の「機械可読媒体」および「コンピュータ可読媒体」とは、機械を特定的に動作させるデータを供給することに関与する任意の記憶媒体を指す。上に提示された諸実施形態では、様々な機械可読媒体が、命令／コードをプロセスユニットおよび／または他のデバイスに実行のために供給することに関わり合い得る。加えて、または別法として、機械可読媒体は、このような命令／コードを記憶および／または保持するために使用することもできる。多くの実装形態において、コンピュータ可読媒体は物理的および／または有形の記憶媒体である。このような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体をこれだけには限らないが含む、多くの形を取ることができる。よくある形のコンピュータ可読媒体には、たとえば磁気媒体、および／またはコンパクトディスク（ＣＤ）もしくはデジタル多用途ディスク（ＤＶＤ）などの光学媒体、パンチカード、紙テープ、孔のパターンが付いた他の任意の物理的媒体、ＲＡＭ、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、消去可能プログム可能読み出し専用メモリ（ＥＰＲＯＭ）、ＦＬＡＳＨ−ＥＰＲＯＭ、他の任意のメモリチップもしくはカートリッジ、以下で記述する搬送波、または他の任意の、コンピュータが命令および／またはコードを読み出すことができる媒体が含まれる。コンピュータプログラム製品は、コードおよび／または機械実行可能命令を含むことができ、これらは、手順、機能、サブプログラム、プログラム、ルーチン、アプリケーション（Ａｐｐ）、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造もしくはプログラム文の任意の組み合わせであり得る。
【０１２１】
当業者には、本明細書に記述されたメッセージを伝えるために使用される情報および信号が、多様な異なる技術および技法のいずれかを使用して表され得ることが理解されよう。たとえば、上の記述全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはこれらの任意の組み合わせによって表すことができる。
【０１２２】
本明細書で使用される用語の「および」および「または」は、このような用語が使用される文脈に少なくとも一部は基づいてまた予期される、多様な意味を含み得る。通常、「または」は、Ａ、Ｂ、またはＣなどのリストを結びつけるために使用される場合には、Ａ、Ｂ、およびＣを意味するものであり、ここでは包括的な意味で使用され、さらにはＡ、Ｂ、またはＣも意味するものであり、ここでは排他的な意味で使用される。加えて、本明細書で使用される用語の「１つまたは複数の」は、いかなる特徴、構造、または特性も単数形で記述するのに使用することができ、あるいは、複数の特徴、構造、または特性の何らかの組み合わせを記述するのに使用することができる。しかし、これは単なる説明的な例であること、および特許請求される主題はこの例に限定されないことに留意されたい。さらに、「のうちの少なくとも１つ」は、Ａ、Ｂ、またはＣなどのリストを結びつけるために使用される場合には、Ａ、ＡＢ、ＡＣ、ＢＣ、ＡＡ、ＡＢＣ、ＡＡＢ、ＡＡＢＢＣＣＣなどの、Ａ、Ｂ、および／またはＣの任意の組み合わせを意味するものと解釈することができる。
【０１２３】
さらに、特定の実施形態について、ハードウェアとソフトウェアの特別な組み合わせを使用して記述してきたが、ハードウェアとソフトウェアの別の組み合わせもまた可能であることを理解されたい。特定の実施形態は、ハードウェアだけで、またはソフトウェアだけで、またはこれらの組み合わせを使用して実施することができる。一例では、ソフトウェアが、本開示で記述されたステップ、動作、またはプロセスのいずれかまたは全部を遂行するために、１つまたは複数のプロセッサによって実行可能なコンピュータプログラムコードまたは命令を含有するコンピュータプログラム製品を用いて実施されてよく、この場合、コンピュータプログラムは、非一時的コンピュータ可読記憶媒体に記憶することができる。本明細書で記述された様々なプロセスは、同一のプロセッサで、または任意の組み合わせの別々のプロセッサで実施することができる。
【０１２４】
デバイス、システム、構成要素またはモジュールが、特定の動作または機能を遂行するように構成されると記述される場合、このような構成は、たとえば、その動作を遂行するように電子回路を設計することによって、その動作をコンピュータ命令もしくはコードを実行することなどによって遂行するようにプログラム可能電子回路（マイクロプロセッサなど）をプログラムすることによって、または非一時的メモリ媒体に記憶されたコードもしくは命令を実行するようにプログラムされたプロセッサもしくはコアによって、またはこれらの任意の組み合わせによって、達成することができる。諸プロセスは、プロセス間通信のための従来の諸技法をこれだけには限らないが含む、多様な技法を使用して通信することができ、異なる対のプロセスにより、別々の技法を使用することができ、あるいは同一の対のプロセスにより、別々の技法を別々の時間に使用することができる。
【０１２５】
したがって、本明細書および図面については、制限的な意味ではなく説明的な意味に注目されたい。しかし、追加、置換、削除、ならびに他の修正および変更が、特許請求項に記載された広い趣旨および範囲から逸脱することなく本明細書および図面に加えられていよいことは明らかであろう。したがって、特定的な諸実施形態について記述したが、これらは限定的なものではない。様々な修正および等価物が、添付の特許請求の範囲内にある。
【図１Ａ】
2020526098.tif 000003
【図１Ｂ】
2020526098.tif 000004
【図２Ａ】
2020526098.tif 000005
【図２Ｂ】
2020526098.tif 000006
【図３】
2020526098.tif 000007
【図４】
2020526098.tif 000008
【図５Ａ】
2020526098.tif 000009
【図５Ｂ】
2020526098.tif 000010
【図６】
2020526098.tif 000011
【図７】
2020526098.tif 000012
【図８】
2020526098.tif 000013
【図９】
2020526098.tif 000014
【図１０】
2020526098.tif 000015
【図１１】
2020526098.tif 000016
【図１２Ａ】
2020526098.tif 000017
【図１２Ｂ】
2020526098.tif 000018
【図１３】
2020526098.tif 000019
【図１４】
2020526098.tif 000020
【図１５】
2020526098.tif 000021
【図１６】
2020526098.tif 000022
【図１７】
2020526098.tif 000023
【国際調査報告】
2020526098.tif 000024
2020526098.tif 000025