(57)【要約】  一実施例では、装置は、複数のピクセルセルを含み、各ピクセルセルは、少なくとも４つのフォトダイオードを含む半導体基板と、複数のフィルタアレイであって、各フィルタアレイは、ピクセルセルの各フォトダイオードの上に重ねらされたフィルタ素子を含み、各フィルタアレイのフィルタ素子のうちの少なくとも２つは、異なる波長通過帯域を有する、複数のフィルタアレイと、複数のマイクロレンズであって、各マイクロレンズは、各フィルタアレイの上に重ねらされ、各フィルタアレイの各フィルタ素子を介してシーンのスポットからの光を各ピクセルセルの各フォトダイオードに向けるように構成される、複数のマイクロレンズと、を含む。【選択図】図１１Ａ
2021535587.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクセルセルを含む半導体基板であって、各ピクセルセルは、少なくとも第１のフォトダイオード、第２のフォトダイオード、第３のフォトダイオード、および第４のフォトダイオードを含む、半導体基板と、
複数のフィルタアレイであって、各フィルタアレイは、少なくとも第１のフィルタ素子、第２のフィルタ素子、第３のフィルタ素子、および第４のフィルタ素子を含み、前記各フィルタアレイの前記第１のフィルタ素子は前記各ピクセルセルの前記第１のフォトダイオードの上に重ねられ、前記フィルタアレイの前記第２のフィルタ素子は前記各ピクセルセルの前記第２のフォトダイオードの上に重ねられ、前記フィルタアレイの前記第３のフィルタ素子は前記各ピクセルセルの前記第３のフォトダイオードの上に重ねられ、前記フィルタアレイの前記第４のフィルタ素子は前記各ピクセルセルの前記第４のフォトダイオードの上に重ねられ、前記各フィルタアレイの前記第１のフィルタ素子、前記第２のフィルタ素子、前記第３のフィルタ素子、および前記第４のフィルタ素子のうちの少なくとも２つは、異なる波長通過帯域を有する、複数のフィルタアレイと、
複数のマイクロレンズであって、各マイクロレンズは前記各フィルタアレイの上に重ねられ、シーンのスポットからの光を、前記各フィルタアレイの前記第１のフィルタ素子、前記第２のフィルタ素子、前記第３のフィルタ素子、および前記第４のフィルタ素子を介して、それぞれ、前記各ピクセルセルの前記第１のフォトダイオード、前記第２のフォトダイオード、前記第３のフォトダイオード、および前記第４のフォトダイオードに向けるように構成された、複数のマイクロレンズと、
を備える、装置。
【請求項２】
前記各フィルタアレイの前記第１のフィルタ素子および前記第２のフィルタ素子は、第１の軸に沿って整列されており、
前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードは、前記半導体基板の受光面の下の前記第１の軸に沿って整列されており、
前記第１のフィルタ素子は、前記第１の軸に垂直な第２の軸に沿って前記第１のフォトダイオードの上に重ねられ、
前記第２のフィルタ素子は、前記第２の軸に沿って前記第２のフォトダイオードの上に重ねられ、
前記各マイクロレンズは、前記第２の軸に沿って、前記各フィルタアレイの前記第１のフィルタ素子および前記第２のフィルタ素子の上に重ねられる、請求項１に記載の装置。
【請求項３】
前記第２の軸に沿って前記複数のマイクロレンズの上に重ねられたカメラレンズをさらに備え、
前記カメラレンズに面する前記各フィルタアレイの表面と、前記カメラレンズの射出瞳とが、前記各マイクロレンズの共役位置に配置される、請求項２に記載の装置。
【請求項４】
前記各ピクセルセルの上に重ねられた前記第１のフィルタ素子および前記第２のフィルタ素子は、それぞれ、前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードに、可視光の異なる色成分を通過させるように構成される、請求項１に記載の装置。
【請求項５】
各フィルタアレイの前記第１のフィルタ素子および前記第２のフィルタ素子は、ベイヤーパターンに基づいて配置される、請求項４に記載の装置。
【請求項６】
前記第１のフィルタ素子は、可視光の１つまたは複数の色成分を通過させるように構成され、
前記第２のフィルタ素子は、赤外光を通過させるように構成される、請求項１に記載の装置。
【請求項７】
前記複数のフィルタアレイの前記第１のフィルタ素子は、ベイヤーパターンに基づいて配置される、請求項１に記載の装置。
【請求項８】
前記第１のフィルタ素子が、第２の軸に沿ってスタックを形成する第１のフィルタと第２のフィルタとを備える、請求項１に記載の装置。
【請求項９】
１つのピクセルセルの上に重ねられた隣接するフィルタ素子間、および隣接する複数のピクセルセルの上に重ねらされた隣接するフィルタ素子間に、分離壁をさらに備える、請求項１に記載の装置。
【請求項１０】
前記分離壁は、前記各マイクロレンズから前記各フィルタアレイのフィルタ素子に入る光を、前記フィルタ素子が重ねられた前記フォトダイオードに向かって反射するように構成される、請求項９に記載の装置。
【請求項１１】
前記分離壁が金属材料を含む、請求項１０に記載の装置。
【請求項１２】
前記複数のフィルタアレイと前記半導体基板との間に挿入された光学層をさらに備え、
前記光学層は、反射防止層、または赤外光を前記第１のフォトダイオードと前記第２のフォトダイオードのうちの少なくとも１つに向けるように構成されたマイクロピラミッドのパターンのうちの少なくとも１つを含む、請求項１に記載の装置。
【請求項１３】
前記各ピクセルセルの隣接するフォトダイオードと、隣接するピクセルセルの隣接するフォトダイオードとの間に挿入された分離構造をさらに備える、請求項１に記載の装置。
【請求項１４】
前記分離構造が、ディープトレンチ分離（ＤＴＩ）を備え、前記ＤＴＩが、絶縁体層と、前記絶縁体層の間に挟まれた金属充填層とを備える、請求項１３に記載の装置。
【請求項１５】
前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードは、ピン止めフォトダイオードである、請求項１に記載の装置。
【請求項１６】
前記半導体基板の背面表面は、前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードが光を受け取る受光面として構成されており、
前記半導体はさらに、前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードによって生成された電荷を蓄積するように構成されたフローティングドレインを、前記各ピクセルセルに備え、
前記装置はさらに、前記第１のフォトダイオードおよび前記第２のフォトダイオードから前記各ピクセルセルの前記フローティングドレインへの前記電荷の流れを制御するため、前記半導体基板の前記背面表面とは反対側の前面表面の上に形成されたポリシリコンゲートを備える、請求項１に記載の装置。
【請求項１７】
前記半導体基板の前面表面は、前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードが光を受け取る受光面として構成されており、
前記半導体はさらに、前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードによって生成された電荷を蓄積するように構成されたフローティングドレインを、前記各ピクセルセル内に備え、
前記装置はさらに、前記第１のフォトダイオードおよび前記第２のフォトダイオードから前記各ピクセルセルの前記フローティングドレインへの前記電荷の流れを制御するため、前記半導体基板の前記前面表面に形成されたポリシリコンゲートを備える、請求項１に記載の装置。
【請求項１８】
前記半導体基板は、第１の半導体基板であって、
前記装置はさらに、前記各ピクセルセルの前記第１のフォトダイオードおよび前記第２のフォトダイオードによって生成された電荷を量子化する量子化器を備える第２の半導体基板を備え、
前記第１の半導体基板および前記第２の半導体基板はスタックを形成する、請求項１に記載の装置。
【請求項１９】
前記第２の半導体基板はさらに、撮像モジュールを含み、前記撮像モジュールは、
前記各ピクセルセルの前記第１のフォトダイオードの量子化された電荷に基づいて第１の画像を生成し、
前記各ピクセルセルの前記第２のフォトダイオードの量子化された電荷に基づいて第２の画像を生成するように構成されており、
前記第１の画像の各ピクセルは、前記第２の画像の各ピクセルに対応する、請求項１８に記載の装置。
【請求項２０】
前記第１の画像の各ピクセルおよび前記第２の画像の各ピクセルは、露光期間内に前記第１のフォトダイオードおよび前記第２のフォトダイオードによって生成された電荷に基づいて生成される、請求項１９に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
［０００１］  本開示は概して、画像センサに関し、より具体的には、複数のフォトダイオードを含むピクセルセルに関する。
【０００２】
［０００２］  典型的な画像センサは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を感知するフォトダイオードを含む。電荷は、露光期間中にフォトダイオードに一時的に蓄積することができる。ノイズおよび暗電流性能の改善のために、ピン止めフォトダイオードをピクセルに含めて、光子を電荷に変換することができる。ピクセルセルはさらに、キャパシタ（例えば、フローティング拡散）を含み、フォトダイオードから電荷を収集し、その電荷を電圧に変換してもよい。画像センサは典型的に、ピクセルセルのアレイを含む。ピクセルセルは、２Ｄおよび／または３Ｄ画像データを生成するために、異なる波長範囲の光を検出するように構成することができる。
【発明の概要】
【０００３】
［０００３］  本開示は、画像センサに関する。より具体的には、限定するものではないが、本開示は、異なる波長の光のコロケーテッドセンシング（ｃｏｌｌｏｃａｔｅｄ  ｓｅｎｓｉｎｇ）を実行するように構成されたピクセルセルに関する。
【０００４】
［０００４］  一実施例では、装置が提供される。この装置は、複数のピクセルセルを含む半導体基板を含み、各ピクセルセルは、少なくとも第１のフォトダイオード、第２のフォトダイオード、第３のフォトダイオード、および第４のフォトダイオードを含む。この装置は、複数のフィルタアレイをさらに含み、各フィルタアレイは、少なくとも第１のフィルタ素子と、第２のフィルタ素子と、第３のフィルタ素子と、第４のフィルタ素子とを含み、各フィルタアレイの第１のフィルタ素子は各ピクセルセルの第１のフォトダイオードの上に重ねられ、各フィルタアレイの第２のフィルタ素子は各ピクセルセルの第２のフォトダイオードの上に重ねられ、各フィルタアレイの第３のフィルタ素子は各ピクセルセルの第３のフォトダイオードの上に重ねられ、各フィルタアレイの第４のフィルタ素子は各ピクセルセルの第４のフォトダイオードの上に重ねられ、各フィルタアレイの第１、第２、第３、および第４のフィルタ素子のうちの少なくとも２つは異なる波長通過帯域を有する。装置はさらに、複数のマイクロレンズを含み、各マイクロレンズは、各フィルタアレイの上に重ねられ、シーンのスポットからの光を、各フィルタアレイの第１のフィルタ素子、第２のフィルタ素子、第３のフィルタ素子、および第４のフィルタ素子を介して、それぞれ、各ピクセルセルの第１のフォトダイオード、第２のフォトダイオード、第３のフォトダイオード、および第４のフォトダイオードに向けるように構成される。
【０００５】
［０００５］  一態様では、各フィルタアレイの第１のフィルタ素子および第２のフィルタ素子は、第１の軸に沿って整列されている。各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードは、半導体基板の受光面下の第１の軸に沿って整列されている。第１のフィルタ素子は、第１の軸に垂直な第２の軸に沿って第１のフォトダイオードの上に重ねられる。第２のフィルタ素子は、第２の軸に沿って第２のフォトダイオードの上に重ねられる。各マイクロレンズは、第２の軸に沿って、各フィルタアレイの第１のフィルタ素子および第２のフィルタ素子の上に重ねられる。
【０００６】
［０００６］  一態様では、装置はさらに、第２の軸に沿って複数のマイクロレンズの上に重ねられたカメラレンズを含む。カメラレンズに面する各フィルタアレイの表面およびカメラレンズの射出瞳は、各マイクロレンズの共役位置に配置される。
【０００７】
［０００７］  一態様では、各ピクセルセルの上に重ねらされた第１のフィルタ素子および第２のフィルタ素子は、それぞれ、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードに、可視光の異なる色成分を通過させるように構成される。
【０００８】
［０００８］  一態様では、各フィルタアレイの第１のフィルタ素子および第２のフィルタ素子は、ベイヤーパターンに基づいて配置される。
【０００９】
［０００９］  一態様では、第１のフィルタ素子は、可視光の１つまたは複数の色成分を通過させるように構成される。第２のフィルタ素子は、赤外光を通過させるように構成される。
【００１０】
［００１０］  一態様では、複数のフィルタアレイの第１のフィルタ素子は、ベイヤーパターンに基づいて配置される。
【００１１】
［００１１］  一態様では、第１のフィルタ素子は、第２の軸に沿ってスタックを形成する第１のフィルタと第２のフィルタとを含む。
【００１２】
［００１２］  一態様では、装置は、１つのピクセルセルの上に重ねらされた隣接するフィルタ素子間、および隣接する複数のピクセルセルの上に重ねらされた隣接するフィルタ素子間の分離壁をさらに含む。
【００１３】
［００１３］  一態様では、分離壁は、各マイクロレンズから各フィルタアレイのフィルタ素子に入る光を、フィルタ素子が重ねられたフォトダイオードに向かって反射するように構成される。
【００１４】
［００１４］  一態様では、分離壁は金属材料を含む。
【００１５】
［００１５］  一態様では、装置はさらに、複数のフィルタアレイと半導体基板との間に挿入された光学層を含む。光学層は、反射防止層、または赤外光を第１のフォトダイオードまたは第２のフォトダイオードのうちの少なくとも１つに向けるように構成されたマイクロピラミッドのパターンのうちの少なくとも１つを含む。
【００１６】
［００１６］  一態様では、装置はさらに、各ピクセルセルの隣接するフォトダイオード間に挿入された分離構造と、隣接するピクセルセルの隣接するフォトダイオードとの間に挿入された分離構造とを備える。
【００１７】
［００１７］  一態様では、分離構造は、ディープトレンチ分離（ＤＴＩ）を含み、ＤＴＩは、絶縁体層と、絶縁体層の間に挟まれた金属充填層とを含む。
【００１８】
［００１８］  一態様では、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードは、ピン止めフォトダイオードである。
【００１９】
［００１９］  一態様では、半導体基板の背面表面は、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードが光を受け取る受光面として構成される。半導体はさらに、各ピクセルセル内に、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードによって生成された電荷を蓄積するように構成されたフローティングドレインを含む。装置はさらに、第１のフォトダイオードおよび第２のフォトダイオードから各ピクセルセルのフローティングドレインへの電荷の流れを制御するために、半導体基板の背面表面とは反対側の前面表面上に形成されたポリシリコンゲートを備える。
【００２０】
［００２０］  一態様では、半導体基板の前面表面は、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードが光を受け取る受光面として構成される。半導体はさらに、各ピクセルセル内に、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードによって生成された電荷を蓄積するように構成されたフローティングドレインを含む。装置はさらに、第１のフォトダイオードおよび第２のフォトダイオードから各ピクセルセルのフローティングドレインへの電荷の流れを制御するために、半導体基板の前面表面に形成されたポリシリコンゲートを備える。
【００２１】
［００２１］  一態様では、半導体基板は第１の半導体基板である。装置はさらに、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイードによって生成された電荷を量子化するための量子化器を含む第２の半導体基板を備える。第１の半導体基板および第２の半導体基板は、スタックを形成している。
【００２２】
［００２２］  一態様では、第２の半導体基板はさらに、各ピクセルセルの第１のフォトダイオードの量子化された電荷に基づいて第１の画像を生成し、各ピクセルセルの第２のフォトダイオードの量子化された電荷に基づいて第２の画像を生成するように構成された撮像モジュールを含む。第１の画像の各ピクセルは、第２の画像の各ピクセルに対応する。
【００２３】
［００２３］  一態様では、第１の画像の各ピクセルおよび第２の画像の各ピクセルは、露光期間内に第１のフォトダイオードおよび第２のフォトダイオードによって生成された電荷に基づいて生成される。
【００２４】
［００２４］  例示的な実施形態は、以下の図を参照して説明される。
【図面の簡単な説明】
【００２５】
【図１Ａ】ニアアイディスプレイの実施形態の図である。
【図１Ｂ】ニアアイディスプレイの実施形態の図である。
【図２】ニアアイディスプレイの断面の実施形態である。
【図３】導波路ディスプレイの実施形態の等角図を示す。
【図４】導波路ディスプレイの実施形態の断面図を示す。
【図５】ニアアイディスプレイを含むシステムの実施形態のブロック図である。
【図６】マルチフォトダイオードピクセルセルを含む画像センサの実施例を示す。
【図７Ａ】図６の画像センサの操作の実施例を示す。
【図７Ｂ】図６の画像センサの操作の実施例を示す。
【図７Ｃ】図６の画像センサの操作の実施例を示す。
【図８Ａ】図６の画像センサの例示的な構成要素を示す。
【図８Ｂ】図６の画像センサの例示的な構成要素を示す。
【図９Ａ】図６の画像センサの追加の例示的な構成要素を示す。
【図９Ｂ】図６の画像センサの追加の例示的な構成要素を示す。
【図１０Ａ】図６の画像センサの追加の例示的な構成要素を示す。
【図１０Ｂ】図６の画像センサの追加の例示的な構成要素を示す。
【図１０Ｃ】図６の画像センサの追加の例示的な構成要素を示す。
【図１０Ｄ】図６の画像センサの追加の例示的な構成要素を示す。
【図１１Ａ】図６の画像センサのピクセルセルの追加の例示的な構成要素を示す。
【図１１Ｂ】図６の画像センサのピクセルセルの追加の例示的な構成要素を示す。
【図１１Ｃ】図６の画像センサのピクセルセルの追加の例示的な構成要素を示す。
【図１２】図６の画像センサの例示的な回路概略を示す。
【発明を実施するための形態】
【００２６】
［００３７］  これらの図は、例示のみを目的として、本開示の実施形態を表している。当業者であれば、以下の説明から、図示された構造および方法の代替実施形態が、本開示の原理または謳われている利点から逸脱することなく用いられ得ることを容易に認識するであろう。
【００２７】
［００３８］  添付の図では、同様の構成要素および／または特徴は、同じ参照ラベルを有する場合がある。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用されている場合、説明は、第２の参照ラベルに関係なく同じ第１の参照ラベルを有する類似の構成要素のいずれかに適用可能である。
【００２８】
［００３９］  以下の説明において、説明の目的のために、特定の発明の実施形態の完全な理解を提供するために、特定の詳細が述べられている。しかしながら、これらの特定の詳細なしで様々な実施形態が実施され得ることは明らかであろう。図および説明は、限定的であることを意図していない。
【００２９】
［００４０］  典型的な画像センサは、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（例えば、電子または正孔）に変換することによって入射光を感知するフォトダイオードを含み得る。ノイズおよび暗電流性能の改善のため、ピン止めフォトダイオードをピクセルに含めて、光子を電荷に変換することができる。電荷は、電荷を電圧に変換することができるフローティングドレイン領域および／または他のキャパシタのような電荷センシングデバイスによって感知することができる。ピクセル値は、電圧に基づいて生成され得る。ピクセル値は、ピクセルが受け取る光の強度を表し得る。ピクセルのアレイを含む画像は、ピクセルセルのアレイによって出力される電圧のデジタル出力から導出され得る。
【００３０】
［００４１］  画像センサを使用して、２Ｄおよび３Ｄセンシングなどの異なるモードの撮像が実行可能である。２Ｄおよび３Ｄセンシングは、異なる波長範囲の光に基づいて実行可能である。例えば、可視光は２Ｄセンシングに使用することができ、一方、不可視光（例えば、赤外線）は３Ｄセンシングに使用することができる。画像センサは、異なる光波長範囲および色（例えば、赤色、緑色、および青色）の可視光を、２Ｄセンシングに割り当てられた第１の組のピクセルセルに許可し、不可視光を３Ｄセンシングに割り当てられた第２の組のピクセルセルに許可する光学フィルタアレイを含んでもよい。
【００３１】
［００４２］  ２Ｄセンシングを実行するため、ピクセルセルにおけるフォトダイオードは、ピクセルセルに入射する可視光の強度に比例する速度で電荷を生成することができ、露光期間に蓄積される電荷の量は、可視光（または可視光のある色成分）の強度を表すために使用することができる。電荷は、フォトダイオードで一時的に蓄積可能で、次に、電圧を生成するため、キャパシタ（例えば、フローティング拡散）に移すことができる。可視光の強度に応じて出力を生成するため、電圧はアナログデジタル変換器（ＡＤＣ）によりサンプリングされ、量子化され得る。可視光の異なる色成分（例えば、赤色、緑色、および青色）を感知するように構成された複数のピクセルセルからの出力に基づいて、画像ピクセル値を生成することができる。
【００３２】
［００４３］  さらに、３Ｄセンシングを実行するため、異なる波長範囲の光（例えば、赤外光）を対象物上に投射することができ、反射光は、ピクセルセルによって検出することができる。光は、構造化光、光パルスなどを含み得る。ピクセルセル出力は、例えば、反射した構造化光のパターンの検出、光パルスの飛行時間の測定などに基づいて、奥行きセンシング動作を実行するために使用され得る。反射した構造化光のパターンを検出するため、露光期間の間にピクセルセルによって生成される電荷量の分布を決定することができ、ピクセル値は、電荷量に対応する電圧に基づいて生成することができる。飛行時間測定に関しては、ピクセルセルのフォトダイオードでの電荷の発生タイミングは、反射光パルスがピクセルセルで受光される時間を表すように決定することができる。光パルスが対象物に投射されるときと、ピクセルセルで反射光パルスが受光されるときとの間の時間差を利用して、飛行時間測定を提供することができる。
【００３３】
［００４４］  シーンの情報を生成するため、ピクセルセルアレイを使用することができる。いくつかの例では、アレイ内のピクセルセルのサブセット（例えば、第１の組）を使用して、シーンの２Ｄセンシングを実施することができ、アレイ内のピクセルセルの別のサブセット（例えば、第２の組）を使用して、シーンの３Ｄセンシングを実施することができる。２Ｄおよび３Ｄ撮像データの融合は、仮想現実（ＶＲ）、拡張現実（ＡＲ）および／または複合現実（ＭＲ）体験を提供する多くのアプリケーションに有用である。例えば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、システムのユーザが位置する環境のシーン再構成を実行することができる。再構成されたシーンに基づいて、ＶＲ／ＡＲ／ＭＲは、対話型体験を提供するために表示効果（ｄｉｓｐｌａｙ  ｅｆｆｅｃｔｓ）を生成することができる。シーンを再構成するために、ピクセルセルアレイ内のピクセルセルのサブセットは、例えば、環境内の物理的な対象物の組を識別し、物理的な対象物とユーザとの間の距離を決定するために、３Ｄセンシングを実行することができる。ピクセルセルアレイ内のピクセルセルの別のサブセットは、例えば、これらの物理的な対象物のテクスチャ、色、および反射率を含む視覚的属性を捕捉するため、２Ｄセンシングを実行することができる。次いで、シーンの２Ｄおよび３Ｄ画像データがマージされ、例えば、対象物の視覚的属性を含むシーンの３Ｄモデルを作成することができる。別の例として、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、２Ｄ画像データと３Ｄ画像データとの融合に基づいて頭部追跡動作を実行することもできる。例えば、２Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＭＲシステムは、対象物を識別するために特定の画像特徴を抽出することができる。３Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＭＲシステムは、ユーザによって装着されたウェアラブルデバイスに対して、識別された対象物の位置を追跡することができる。ＶＲ／ＡＲ／ＭＲシステムは、例えば、ユーザの頭部が移動するときに、ウェアラブルデバイスに対して、識別された対象物の位置の変化の追跡に基づいて、頭部の動きを追跡することができる。
【００３４】
［００４５］  しかしながら、２Ｄ撮像および３Ｄ撮像に対して異なる組のピクセルを使用することは、多くの課題を引き起こし得る。第１に、２Ｄ撮像または３Ｄ撮像のいずれかを実行するために、アレイのピクセルセルのサブセットのみが使用されるので、２Ｄ画像および３Ｄ画像の両方の空間解像度は、ピクセルセルアレイで利用可能な最大空間解像度よりも低い。解像度は、より多くのピクセルセルを含むことによって改善され得るが、そのようなアプローチは、電力消費だけでなく、画像センサのフォームファクタの増加につながる可能性があり、両者は、特にウェアラブルデバイスにとって望ましくない。
【００３５】
［００４６］  さらに、（２Ｄ撮像および３Ｄ撮像に関して）異なる波長範囲の光を測定するように割り当てられたピクセルセルは、並置されていないため、異なるピクセルセルは、シーンの異なるスポットの情報を捕捉することがあり、２Ｄ画像と３Ｄ画像との間のマッピングを複雑にする可能性がある。例えば、（２Ｄ撮像のための）可視光の特定の色成分を受け取るピクセルセルと、（３Ｄ撮像のための）不可視光を受け取るピクセルセルとは、シーンの異なるスポットの情報を捕捉することもできる。これらのピクセルセルの出力を単純にマージして、２Ｄ画像および３Ｄ画像を生成することはできない。ピクセルセルアレイが動く対象物の２Ｄ画像および３Ｄ画像を捕捉しているときに、これらの異なる位置によるピクセルセルの出力間の対応の不足は、悪化する可能性がある。２Ｄ画像のためのピクセルを生成するため、および２Ｄ画像と３Ｄ画像との間の相関（例えば、補間）のために、異なるピクセルセル出力を相関させるために利用可能な処理技法があるが、これらの技法は、典型的には、計算集約的であり、電力消費を増加させる可能性がある。
【００３６】
［００４７］  本開示は、異なる波長の光のコロケーテッドセンシングを提供するための画像センサに関する。画像センサは、複数のピクセルセルを含み、各ピクセルセルは、第１の軸（例えば、水平軸）に沿って配置された第１のフォトダイオードおよび第２のフォトダイオードを含む。画像センサはさらに、複数のフィルタアレイを含み、各フィルタアレイは、第１の軸に垂直な（例えば、垂直軸に沿った）第２の軸に沿って各ピクセルセルの上に重ねられた、第１のフィルタおよび第２のフィルタを含む。各フィルタアレイの第１のフィルタは、各ピクセルセルの第１のフォトダイオードの上に重ねられ、一方、フィルタアレイの第２のフィルタは、各フィルタセルの第２のフォトダイオードの上に重ねられる。各フィルタアレイの第１のフィルタおよび第２のフィルタは、異なる波長通過帯域を有し、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードが異なる波長の光を感知できるようにする。画像センサはさらに、複数のマイクロレンズを含む。各マイクロレンズは、各フィルタアレイ（および各ピクセルセル）の上に重ねられ、各フィルタアレイの第１のフィルタおよび第２のフィルタを介して、シーンのスポットからの光を、それぞれ、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードに向けるように構成される。第１のフォトダイオードおよび第２のフォトダイオードは共に、半導体基板の一部となり得る。
【００３７】
［００４８］  画像センサはさらに、各ピクセルセルの第１のフォトダイオードが、スポットから第１のフィルタを介して受け取った第１の波長の第１の光成分の強度を表す第１の電荷を生成し、各ピクセルセルの第２のフォトダイオードが、スポットから第２のフィルタを介して受け取った第２の波長の第２の光成分の強度を表す第２の電荷を生成することを可能にするコントローラを含む。第１の波長および第２の波長は、複数のピクセルセルの間で異なってもよく、フィルタアレイによって構成される。画像センサはさらに、各ピクセルセルの第１の電荷および第２の電荷を、ピクセルについての第１のデジタル値および第２のデジタル値にそれぞれ量子化するための量子化器を含む。第１の画像は、ピクセルの第１のデジタル値に基づいて生成することができ、一方、第２の画像は、ピクセルの第２のデジタル値に基づいて生成することができ、第１の画像および第２の画像の各ピクセルは、それぞれ、同一ピクセルセルの第１のデジタル出力および第２のデジタル出力に基づいて生成される。
【００３８】
［００４９］  本開示の実施例では、異なる波長の光のコロケーテッドセンシングは、第１のフォトダイオードおよび第２のフォトダイオードの両方がシーン内の同じスポットから光を受け取るときに実行することができ、これにより、第１の画像と第２の画像との間のマッピング／相関処理を単純化することができる。例えば、第１のフォトダイオードが可視光成分（例えば、赤、緑、青、またはモノクロのいずれか）を感知する一方で、第２のフォトダイオードが赤外光を感知する場合には、画像センサは、並置された２Ｄ撮像および３Ｄ撮像をサポートすることができ、２Ｄ画像フレーム（例えば、第１の画像フレーム）と３Ｄ画像フレーム（例えば、第２の画像フレーム）との間のマッピング／相関処理は、両方の画像フレームの各ピクセルがシーンの同じスポットからの光を表すので、簡略化することができる。同様の理由から、第１のフォトダイオードおよび第２のフォトダイオードが可視光の異なる光成分を感知する場合には、２Ｄ画像フレームを形成するための異なる可視光成分の画像フレームのマッピング／相関処理も簡略化することができる。これらはすべて、画像センサおよび画像センサの出力に依存するアプリケーションの性能を大幅に改善することができる。
【００３９】
［００５０］  本開示の実施例による画像センサは、コロケーテッドセンシングの動作を改善するための付加的な特徴を含んでもよい。具体的には、画像センサは、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードによる光の吸収を高める特徴を含むことができる。例えば、画像センサは、シーンからの光を集めて焦点を合わせるために、複数のマイクロレンズの上に重ねられたカメラレンズを含んでもよい。各ピクセルセルは、カメラレンズのピクセルセルおよび射出瞳が各マイクロレンズの共役点にあるように、各マイクロレンズおよびカメラレンズに対して配置することができる。このような構成により、シーンのスポットからの光が、カメラレンズの射出瞳を出てマイクロレンズによってさらに屈折されると、第１のフォトダイオードと第２のフォトダイオードとの間に均一に分散されることが可能になる。また、マイクロレンズは、その焦点がフィルタアレイの前方にあって、光を広げることができるように設計されてもよい。さらに、反射防止層（例えば、フォトダイオードを含む半導体基板よりも低い屈折率を有する層）、赤外線吸収増強構造（例えば、マイクロピラミッド構造の薄膜）などの構造がフィルタアレイとフォトダイオードとの間に挿入され、フォトダイオードから離れる入射光の反射を低減し、かつ／またはフォトダイオードに入射する入射光の強度を増大させることができる。これらはすべて、各ピクセルセルの第１のフォトダイオードおよび第２のフォトダイオードによる光の吸収を改善し、画像センサの性能を向上させることができる。
【００４０】
［００５１］  加えて、画像センサは、第１のフォトダイオードおよび第２のフォトダイオードによってそれぞれ生成される、第１の電荷および第２の電荷におけるノイズを低減する特徴を含んでもよい。ノイズは、フォトダイオードによって検出されるべきターゲット光成分に起因しない、フォトダイオードによって生成される電荷の成分を指すことがある。異なる波長の光間の光学的クロストーク、フォトダイオード間の電荷漏洩、暗電荷など、さまざまなノイズ源がある。光学的クロストークは、フォトダイオードによって感知されるべきターゲット波長範囲外の光成分を含み得る。上記の例では、第１の波長の第１の光成分を検出するため、ピクセルセルの第１のフォトダイオードは、第１のフォトダイオードに重ねられた第１のフィルタに基づいて構成されてもよい。第１のフォトダイオードに関しては、光学的クロストークは、第１の波長以外の他の波長の光成分を含んでもよく、第１の波長は、第２のフォトダイオードによって検出されるべき第２の波長の第２の光成分を含んでもよい。さらに、第２のフォトダイオードに関しては、光学的クロストークは、第２の波長以外の他の波長の光成分を含んでもよく、第２の波長は、第１のフォトダイオードによって検出されるべき第１の波長の第１の光成分を含んでもよい。また、第１のフォトダイオードから第２のフォトダイオードへの第１の電荷の移動、またはその逆により、電荷漏洩が発生することがある。さらに、フォトダイオードを含む半導体基板の表面の欠陥に発生する暗電流により、暗電荷が発生することがある。
【００４１】
［００５２］  いくつかの実施例では、ノイズを低減して画像センサの性能を向上させるために、画像センサは、光学的クロストーク、電荷漏洩、および暗電荷の影響を緩和するための特徴を含み得る。例えば、画像センサは、各フィルタアレイ内の第１のフィルタと第２のフィルタとの間を分離する光学的絶縁体を含んでもよい。光学絶縁体は、第１のフィルタおよび第２のフィルタの各側面を取り囲む側壁として構成することができる。光学絶縁体は、フィルタを通過された光成分を、フィルタによって重ねられたフォトダイオードのみに導き、他のフォトダイオードには導かない反射体（例えば、金属反射体）として構成することができる。例えば、光学絶縁体は、第１の光成分を第１のフォトダイオードのみに向けることができるが、第２のフォトダイオードに向けることはできず、また、第２の光成分を第２フォトダイオードのみに向けることができるが、第１のフォトダイオードに向けることはできない。さらに、半導体基板は、第１のフォトダイオードと第２のフォトダイオードとの間で電荷が移動するのを防止するために、第１のフォトダイオードと第２のフォトダイオードとの間に、ディープトレンチ分離（ＤＴＩ）構造のような電気絶縁体を含んでもよい。ＤＴＩ構造は、半導体基板内のフォトダイオード間の光学的クロストークを低減するための光絶縁体としても機能することができるように、ＤＴＩ構造は、金属などの反射材料で満たすこともできる。さらに、暗電流の影響を緩和するため、第１のフォトダイオードおよび第２のフォトダイオードは、半導体基板の表面欠陥から分離されたものとなるようにピン止めフォトダイオードとして実装することができる。これらの構成はすべて、各フォトダイオードによって生成される電荷に存在するノイズを低減し、画像センサの性能を向上させることができる。
【００４２】
［００５３］  本開示の実施例は、人工現実システムを含むか、または人工現実システムと共に実装され得る。人工現実は、ユーザに提示される前に何らかの方式で調整された現実の一形態であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、又はこれらの何らかの組み合わせおよび／若しくは派生物を含みうる。人工現実コンテンツは、完全に生成されたコンテンツ、又は捕捉された（例えば現実世界の）コンテンツと組み合わされて生成されたコンテンツを含みうる。人工現実コンテンツは、ビデオ、音声、触覚フィードバック、または、これらのなんらかの組み合わせを含み、これらのいずれかは、１つのチャネルもしくは複数のチャネル（見る人に３次元効果をもたらすステレオビデオなど）において提示され得る。さらに、いくつかの実施形態では、人工現実はまた、例えば、人工現実のコンテンツを作成するために使用される、および／または人工現実において別様に使用される（例えば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはこれらの何らかの組み合わせに関連付けられることもある。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロン型ＨＭＤ、モバイルデバイス、またはコンピューティングシステム、あるいは、１人または複数の視聴者に人工現実コンテンツを提供することが可能な他の任意のハードウェアプラットフォームを含む、様々なプラットフォームに実装され得る。
【００４３】
［００５４］  図１Ａは、ニアアイディスプレイ１００の実施例の図である。ニアアイディスプレイ１００は、メディアをユーザに提示する。ニアアイディスプレイ１００によって提示されるメディアの例には、１つまたは複数の画像、ビデオ、および／または音声が含まれる。いくつかの実施形態では、音声は、ニアアイディスプレイ１００、コンソール、またはその両方から音声情報を受け取り、その音声情報に基づいて音声データを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介して提示される。ニアアイディスプレイ１００は、一般的に、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように修正される。
【００４４】
［００５５］  ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学素子に連結される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されるコンテンツを見るように構成される。いくつかの実施形態では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを備える。
【００４５】
［００５６］  ニアアイディスプレイ１００は、画像センサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、ピクセルセルのアレイを備えるピクセルセルアレイであって、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルセルアレイを含み得る。例えば、センサ１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサ１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサ１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。
【００４６】
［００５７］  いくつかの実施形態では、センサ１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を装着しているユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００の表示コンテンツを制御または表示コンテンツに影響を及ぼす入力デバイスとして構成され得る。例えば、センサ１２０ａ〜１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境内のユーザの位置および／または移動経路を追跡するために、位置追跡システムに提供され得る。次いで、システムは、インタラクティブ体験を提供するために、例えば、ユーザの位置および向きに基づいて、ディスプレイ１１０に提供される画像データを更新することができる。いくつかの実施形態では、位置追跡システムは、ユーザが物理的環境内を移動するときに、物理的環境内およびユーザの視野内の対象物の組を追跡するために、ＳＬＡＭアルゴリズムを動作させてもよい。位置追跡システムは、対象物の組に基づいて物理的環境のマップを構築および更新し、マップ内のユーザの位置を追跡することができる。複数の視野に対応する画像データを提供することによって、センサ１２０ａ〜１２０ｄは、物理的環境のより全体的な視野を、位置追跡システムに提供することができ、これは、マップの構築および更新の際により多くの対象物が含まれることにつながり得る。そのような配置により、物理的環境内のユーザの位置を追跡することの精度および堅牢性が改善され得る。
【００４７】
［００５８］  いくつかの実施形態では、ニアアイディスプレイ１００は、光を物理的環境に投射するために１つまたは複数のアクティブ照明器１３０をさらに含み得る。投射された光は、異なる周波数スペクトル（例えば、可視光、赤外線、紫外線など）に関連付けられ得、様々な目的を果たすことができる。例えば、照明器１３０は、暗い環境内で異なる対象物の３Ｄ画像を取り込む際にセンサ１２０ａ〜１２０ｄを支援するため、暗い環境内で（または、低強度の赤外光、紫外光などを有する環境内で）光を投射してもよい。３Ｄ画像は、例えば、対象物とニアアイディスプレイ１００との間の距離を表すピクセルデータを含むことができる。距離情報は、例えば、シーンの３Ｄモデルを構築するために、ユーザの頭部の動きを追跡するために、ユーザの位置を追跡するために、などに使用することができる。より詳細に後述するように、センサ１２０ａ〜１２０ｄは、２Ｄセンシングのための第１のモードと、異なる時間における３Ｄセンシングのための第２のモードとで動作させることができる。例えば、ユーザの位置、ユーザの頭部の動きなどのよりロバストな追跡を提供するために、２Ｄおよび３Ｄ画像データをマージし、システムに提供することができる。
【００４８】
［００５９］  図１Ｂは、ニアアイディスプレイ１００の別の実施形態の図である。図１Ｂは、ニアアイディスプレイ１００を装着しているユーザの眼球１３５に面するニアアイディスプレイ１００の面を示す。図１Ｂに示すように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサ１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対の）方向Ｄに向けて、特定の周波数範囲（例えば、ＮＩＲ）の光を照射し得る。照射された光は、特定のパターンに関連付けられ得、ユーザの左眼球によって反射される可能性がある。センサ１５０ａ、反射光を受け取り、反射パターンの画像を生成するピクセルセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を照射し得る。ＮＩＲ光は、ユーザの右眼球によって反射される可能性があり、センサ１５０ｂによって受け取られ得る。センサ１５０ｂは、反射パターンの画像を生成するピクセルセルアレイも含み得る。センサ１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいてニアアイディスプレイ１００に提供される画像データを更新することができる。いくつかの実施例では、画像センサ１５０ａおよび１５０ｂは、センサ１２０ａ〜１２０ｄと同じピクセルセルを含んでもよい。
【００４９】
［００６０］  図２は、図１に示したニアアイディスプレイ１００の断面２００の実施形態である。ディスプレイ１１０は、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着しているときに、ユーザの１つの眼球２２０がアイボックス領域内に配置される場所である。例示のために、図２は、眼球２２０と単一の導波路ディスプレイアセンブリ２１０とに関連する断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼球のために使用される。
【００５０】
［００６１］  導波路ディスプレイアセンブリ２１０は、射出瞳２３０に位置するアイボックスと眼球２２０とに画像光を向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率を有する１つまたは複数の材料（例えば、プラスチック、ガラスなど）から構成され得る。いくつかの実施形態では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学素子を含む。
【００５１】
［００６２］  いくつかの実施形態では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含むがこれらに限定されない、１つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色光源が異なる色である導波路ディスプレイを積層することによって生成される多色ディスプレイ（例えば、赤−緑−青（ＲＧＢ）ディスプレイ）である。積層導波路ディスプレイは、複数の平面上に投射され得る多色ディスプレイ（例えば、多平面カラーディスプレイ）でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投射され得る単色ディスプレイ（例えば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから照射される画像光の焦点位置を調整することができるディスプレイである。代替的な実施形態では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。
【００５２】
［００６３］  図３は、導波路ディスプレイ３００の実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（例えば、導波路ディスプレイアセンブリ２１０）である。いくつかの実施形態では、導波路ディスプレイ３００は、画像光を特定の場所に導く何らかの他のニアアイディスプレイまたは他のシステムの一部である。
【００５３】
［００６４］  導波路ディスプレイ３００は、光源アセンブリ３１０と、出力導波路３２０と、照明器３２５と、コントローラ３３０とを含む。照明器３２５は、図１Ａの照明器１３０を含み得る。例示のため、図３は、１つの眼球２２０に関連する導波路ディスプレイ３００を示しているが、いくつかの実施形態では、導波路ディスプレイ３００から分離した、または部分的に分離した別の導波路ディスプレイが、画像光をユーザのもう一方の眼に提供する。
【００５４】
［００６５］  光源アセンブリ３１０は、画像光３５５を生成する。光源アセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の面３７０−１上に位置するカップリング素子３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼球２２０に出力する光導波路である。出力導波路３２０は、第１の面３７０−１上に位置する１つまたは複数のカップリング素子３５０において画像光３５５を受け取り、受け取った入力画像光３５５を方向付け要素３６０に導く。いくつかの実施形態では、カップリング素子３５０は、光源アセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。カップリング素子３５０は、例えば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面素子、および／またはホログラフィック反射器のアレイであり得る。
【００５５】
［００６６］  方向付け要素３６０は、受け取った入力画像光３５５がデカップリング素子３６５を介して出力導波路３２０から分離されるように、受け取った入力画像光３５５をデカップリング素子３６５に方向転換する。方向付け要素３６０は、出力導波路３２０の第１の面３７０−１の一部であるか、または出力導波路３２０の第１の面３７０−１に取り付けられる。デカップリング素子３６５は、方向付け要素３６０がデカップリング素子３６５に対向するように、出力導波路３２０の第２の面３７０−２の一部であるか、または出力導波路３２０の第２の面３７０−２に取り付けられる。方向付け要素３６０および／またはデカップリング素子３６５は、例えば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面素子、および／またはホログラフィック反射器のアレイであり得る。
【００５６】
［００６７］  第２の面３７０−２は、ｘ方向およびｙ方向に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料で構成され得る。出力導波路３２０は、例えば、シリコン、プラスチック、ガラス、および／またはポリマーで構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。例えば、出力導波路３２０は、ｘ方向に沿って約５０ｍｍの幅、ｙ方向に沿って３０ｍｍの長さ、およびｚ方向に沿って０．５〜１ｍｍの厚みになり得る。
【００５７】
［００６８］  コントローラ３３０は、ソースアセンブリ３１０の走査動作を制御する。コントローラ３３０は、ソースアセンブリ３１０の走査命令を決定する。いくつかの実施形態では、出力導波路３２０は、拡大画像光３４０を、大きな視野（ＦＯＶ）でユーザの眼球２２０に出力する。例えば、拡大画像光３４０は、対角ＦＯＶ（ｘおよびｙ）が６０度以上および／または１５０度以下でユーザの眼球２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、かつ／または１０ｍｍ以上および／または５０ｍｍ以下の幅を有するアイボックスを提供するように構成される。
【００５８】
［００６９］  さらに、コントローラ３３０は、画像センサ３７０によって提供される画像データに基づいて、光源アセンブリ３１０によって生成される画像光３５５も制御する。画像センサ３７０は、第１の側面３７０−１上に位置してもよく、例えば、図１Ａの画像センサ１２０ａ〜１２０ｄを含んでもよい。画像センサ１２０ａ〜１２０ｄは、例えば、ユーザの前方（例えば、第１の側面３７０−１に面している）にある対象物３７２の２Ｄセンシングおよび３Ｄセンシングを実行するように動作させることができる。２Ｄセンシングのために、画像センサ１２０ａ〜１２０ｄの各ピクセルセルを動作させて、光源３７６によって生成され、対象物３７２で反射される光３７４の強度を表すピクセルデータを生成することができる。３Ｄセンシングのために、画像センサ１２０ａ〜１２０ｄの各ピクセルセルを操作して、照明器３２５によって生成される光３７８に対する飛行時間測定を表すピクセルデータを生成することができる。例えば、画像センサ１２０ａ〜１２０ｄの各ピクセルセルは、照明器３２５が光３７８を投射することが可能になったときの第１の時間と、ピクセルセルが対象物３７２で反射された光３７８を検出したときの第２の時間とを決定することができる。第１の時間と第２の時間との差は、画像センサ１２０ａ〜１２０ｄと対象物３７２との間の光３７８の飛行時間を示すことができ、飛行時間情報は、画像センサ１２０ａ〜１２０ｄと対象物３７２との間の距離を決定するために使用することができる。画像センサ１２０ａ〜１２０ｄは、異なる時間に２Ｄおよび３Ｄセンシングを実行し、２Ｄおよび３Ｄ画像データを、導波路ディスプレイ３００内に配置され得る（または配置され得ない）リモートコンソール３９０に提供するように動作され得る。リモートコンソールは、例えば、ユーザが位置する環境の３Ｄモデルを生成するため、ユーザの位置および／または配向を追跡するため、などで２Ｄ画像と３Ｄ画像とを組み合わせることができる。リモートコンソールは、２Ｄ画像および３Ｄ画像から導出された情報に基づいて、ユーザに表示される画像の内容を決定することができる。リモートコンソールは、決定されたコンテンツに関連する命令をコントローラ３３０に送信することができる。命令に基づいて、コントローラ３３０は、光源アセンブリ３１０による画像光３５５の生成および出力を制御することができる。
【００５９】
［００７０］  図４は、導波路ディスプレイ３００の断面４００の実施形態を示す。断面４００は、光源アセンブリ３１０と、出力導波路３２０、画像センサ３７０とを含む。図４の例において、画像センサ３７０は、ユーザの前方の物理的環境の画像を生成するために、第１の面３７０−１上に位置するピクセルセル４０２の組を含み得る。いくつかの実施形態では、一組のピクセルセル４０２と物理的環境との間に挿入された、メカニカルシャッタ４０４および光学フィルタアレイ４０６が存在し得る。メカニカルシャッタ４０４は、ピクセルセル４０２の組の露光を制御することができる。いくつかの実施形態では、メカニカルシャッタ４０４は、以下で論じるように、電子シャッタゲートに置き換えられ得る。光学フィルタアレイ４０６は、以下に議論されるように、ピクセルセル４０２の組が露光される光の光波長範囲を制御することができる。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセル４０２の各々は、ピクセルセルによって感知されるべき光の周波数範囲を制御するために、フィルタと共に重ねられることがわかる。
【００６０】
［００７１］  リモートコンソールから命令を受信した後、メカニカルシャッタ４０４は、露光期間に開き、ピクセルセル４０２の組を露光することができる。露光期間中、画像センサ３７０は、ピクセルセル４０２の組に入射する光のサンプルを取得し、ピクセルセル４０２の組によって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサ３７０は、次いで、画像データをリモートコンソールに提供することができ、リモートコンソールは表示コンテンツを決定し、表示コンテンツ情報をコントローラ３３０に提供する。コントローラ３３０は、次いで、表示コンテンツ情報に基づいて画像光３５５を決定することができる。
【００６１】
［００７２］  光源アセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。光源アセンブリ３１０は、光源４１０と光学系４１５とを含む。光源４１０は、コヒーレント光または部分的なコヒーレントな光を生成する光源である。光源４１０は、例えば、レーザダイオード、垂直キャビティ面発光レーザ、および／または発光ダイオードであり得る。
【００６２】
［００７３］  光学系４１５は、光源４１０からの光を調節する１つまたは複数の光学構成要素を含む。光源４１０からの光を調節することは、例えば、コントローラ３３０からの命令にしたがって、拡大すること、コリメートすること、および／または配向を調節することを含み得る。１つまたは複数の光学構成要素は、１つまたは複数のレンズ、液体レンズ、鏡、開口、および／または格子を含み得る。いくつかの実施形態では、光学系４１５は、複数の電極を有する液体レンズを含み、これにより、スキャン角度の閾値を有する光ビームのスキャニングは、光ビームを液体レンズの外側の領域にシフトさせることができる。光学系４１５（および光源アセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。
【００６３】
［００７４］  出力導波路３２０は、画像光３５５を受け取る。カップリング素子３５０は、光源アセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。カップリング素子３５０が回折格子である実施形態では、出力導波路３２０内で内部全反射が生じ、画像光３５５が出力導波路３２０内でデカップリング素子３６５に向かって（例えば、内部全反射によって）内部的に伝播するように、回折格子のピッチが選択される。
【００６４】
［００７５］  方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５をデカップリング素子３６５に方向転換する。方向付け要素３６０が回折格子である実施形態では、回折格子のピッチは、入射画像光３５５がデカップリング素子３６５の表面に対して傾斜した角度で出力導波路３２０を出るように選択される。
【００６５】
［００７６］  いくつかの実施形態では、方向付け要素３６０および／またはデカップリング素子３６５は、構造的に類似している。出力導波路３２０を出る拡大画像光３４０は、１つまたは複数の次元に沿って拡大される（例えば、ｘ方向に沿って延長され得る）。いくつかの実施形態では、導波路ディスプレイ３００は、複数の光源アセンブリ３１０と複数の出力導波路３２０とを含む。光源アセンブリ３１０の各々は、原色（例えば、赤色、緑色、または青色）に対応する波長の特定の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色化された拡大画像光３４０を出力するために、一定の分離距離で積層され得る。
【００６６】
［００７７］  図５は、ニアアイディスプレイ１００を含むシステム５００の実施形態のブロック図である。システム５００は、ニアアイディスプレイ１００と、撮像デバイス５３５と、入力／出力インターフェース５４０と、各々が制御回路５１０に連結された画像センサ１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂとを備える。システム５００は、ヘッドマウント型デバイス、ウェアラブルデバイスなどとして構成され得る。
【００６７】
［００７８］  ニアアイディスプレイ１００は、メディアをユーザに提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例には、１つまたは複数の画像、ビデオ、および／または音声が含まれる。いくつかの実施例では、ニアアイディスプレイ１００および／または制御回路５１０から音声情報を受信し、音声情報に基づいて音声データをユーザに提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介して音声が提示される。いくつかの実施形態では、ニアアイディスプレイ１００は、ＡＲアイウェアグラスとしても機能し得る。いくつかの実施形態では、ニアアイディスプレイ１００は、コンピュータ生成要素（例えば、画像、ビデオ、音など）によって、物理的な現実世界環境のビューを拡張する。
【００６８】
［００７９］  ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサ５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、光源アセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。
【００６９】
［００８０］  ＩＭＵ５３０は、位置センサ５２５のうちの１つまたは複数から受信した測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。
【００７０】
［００８１］  撮像デバイス５３５は、様々な用途のための画像データを生成し得る。例えば、撮像デバイス５３５は、制御回路５１０から受信した較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、例えば、ユーザの位置およびユーザの頭部の動きを追跡するため、ユーザが位置する物理的環境の２Ｄ画像データおよび３Ｄ画像データを生成するための図１Ａの画像センサ１２０ａ〜１２０ｄを含み得る。撮像デバイス５３５は、例えば、ユーザの関心対象を識別するため、ユーザの注視点の決定用の画像データ（例えば、２Ｄ画像データ）を生成するための図１Ｂの画像センサ１５０ａ〜１５０ｂをさらに含み得る。
【００７１】
［００８２］  入力／出力インターフェース５４０は、ユーザがアクション要求を制御回路５１０に送信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始または終了するためのものか、アプリケーション内で特定のアクションを実行するためのものになり得る。
【００７２】
［００８３］  制御回路５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および入力／出力インターフェース５４０のうちの１つまたは複数から受信した情報に従って、ユーザに提示するためのメディアをニアアイディスプレイ１００に提供する。いくつかの実施例では、制御回路５１０は、ヘッドマウント型デバイスとして構成されたシステム５００内に収容され得る。いくつかの実施例では、制御回路５１０は、システム５００の他の構成要素と通信可能に連結されたスタンドアロン型コンソールデバイスになり得る。図５に示した実施例では、制御回路５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。
【００７３】
［００８４］  アプリケーションストア５４５は、制御回路５１０による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例には、ゲーミングアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の好適なアプリケーションが含まれる。
【００７４】
［００８５］  追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、ニアアイディスプレイ１００の位置の決定時の誤差を低減するために１つまたは複数の較正パラメータを調整してもよい。
【００７５】
［００８６］  追跡モジュール５５０は、撮像デバイス５３５からの低速較正情報を使用してニアアイディスプレイ１００の動きを追跡する。追跡モジュール５５０は、高速較正情報からの位置情報を使用してニアアイディスプレイ１００の基準点の位置も決定する。
【００７６】
［００８７］  エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０からニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または予想される将来の位置を受信する。いくつかの実施形態では、エンジン５５５によって受信された情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（例えば、表示命令）をもたらすために使用され得る。例えば、インタラクティブ体験を提供するため、エンジン５５５は、（例えば、追跡モジュール５５０によって提供される）ユーザの位置、（例えば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点、（例えば、撮像デバイス５３５によって提供される画像データに基づく）対象物とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。
【００７７】
［００８８］  図６は、画像センサ６００の一実施例を示す。画像センサ６００は、ニアアイディスプレイ１００の一部とすることができ、ニアアイディスプレイ１００の表示内容を制御するために、図５の制御回路５１０に２Ｄおよび３Ｄ画像データを提供することができる。図６に示されるように、画像センサ６００は、マルチフォトダイオード（マルチＰＤ）ピクセルセル６０２ａ（以下、ピクセルセル６０２ａ）を含むピクセルセル６０２のアレイを含んでもよい。ピクセルセル６０２ａは、例えば、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄを含む複数のフォトダイオード６１２と、１つまたは複数の電荷検出ユニット６１４とを含むことができる。複数のフォトダイオード６１２は、入射光の異なる成分を電荷に変換することができる。例えば、フォトダイオード６１２ａ〜６１２ｃは、異なる可視光チャネルに対応することができ、フォトダイオード６１２ａは、可視青色成分（例えば、４５０〜４９０ナノメートル（ｎｍ）の波長範囲）を電荷に変換することができる。フォトダイオード６１２ｂは、可視緑色成分（例えば、５２０〜５６０ｎｍの波長範囲）を電荷に変換することができる。フォトダイオード６１２ｃは、可視赤色成分（例えば、６３５〜７００ｎｍの波長範囲）を電荷に変換することができる。さらに、フォトダイオード６１２ｄは、赤外線成分（例えば、７００〜１０００ｎｍ）を電荷に変換することができる。１つまたは複数の電荷感知ユニット６１４のそれぞれは、電荷蓄積装置およびバッファを含み、フォトダイオード６１２ａ〜６１２ｄによって生成される電荷を電圧に変換することができ、これをデジタル値に量子化することができる。フォトダイオード６１２ａ〜６１２ｃから生成されるデジタル値は、ピクセルの異なる可視光成分を表すことができ、それぞれは、特定の可視光チャネルにおける２Ｄセンシングのために使用することができる。さらに、フォトダイオード６１２ｄから生成されるデジタル値は、同一ピクセルの赤外線光成分を表すことができ、３Ｄセンシングに使用することができる。図６は、ピクセルセル６０２ａが４つのフォトダイオードを含むことを示しているが、ピクセルセルは異なる数（例えば、２つ、３つなど）のフォトダイオードを含み得ることを理解されたい。
【００７８】
［００８９］  加えて、画像センサ６００は、照明器６２２、光学フィルタ６２４、撮像モジュール６２８、および感知コントローラ６３０も含む。照明器６２２は、３Ｄセンシングのために赤外線光を投射することができる、レーザ、発光ダイオード（ＬＥＤ）などの赤外線照明器であってもよい。投射される光は、例えば、構造化光、光パルス等を含んでもよい。光学フィルタ６２４は、ピクセルセル６０２ａを含む各ピクセルセルの複数のフォトダイオード６１２ａ〜６１２ｄの上に重ねられたフィルタ素子のアレイを含んでもよい。各フィルタ素子は、ピクセルセル６０２ａの各フォトダイオードによって受け取られる入射光の波長範囲を設定することができる。例えば、フォトダイオード６１２ａの上のフィルタ素子は、他の成分を遮断しながら、可視青色光成分を透過させてもよく、フォトダイオード６１２ｂの上のフィルタ素子は、可視緑色光成分を透過させてもよく、フォトダイオード６１２ｃの上のフィルタ素子は、可視赤色光成分を透過させてもよく、一方、フォトダイオード６１２ｄの上のフィルタ素子は、赤外光成分を透過させてもよい。
【００７９】
［００９０］  画像センサ６００はさらに、撮像モジュール６２８を含み、撮像モジュールは、１つまたは複数のアナログデジタル変換器（ＡＤＣ）６３０を含み、電荷感知ユニット６１４からの電圧をデジタル値に量子化することができる。ＡＤＣ  ６３０は、ピクセルセルアレイ６０２の一部であってもよいし、ピクセルセル６０２の外部にあってもよい。撮像モジュール６２８はさらに、２Ｄ撮像動作を実行する２Ｄ撮像モジュール６３２と、３Ｄ撮像動作を実行する３Ｄ撮像モジュール６３４とを含んでもよい。動作は、ＡＤＣ６３０によって提供されるデジタル値に基づき得る。例えば、フォトダイオード６１２ａ〜６１２ｃのそれぞれからのデジタル値に基づいて、２Ｄ撮像モジュール６３２は、可視カラーチャネルごとに入射光成分の強度を表すピクセル値のアレイを生成し、可視カラーチャネルごとに画像フレームを生成することができる。しかも、３Ｄ撮像モジュール６３４は、フォトダイオード６１２ｄからのデジタル値に基づいて３Ｄ画像を生成することができる。いくつかの例では、デジタル値に基づいて、３Ｄ撮像モジュール６３４は、対象物の表面によって反射された構造化光のパターンを検出し、検出されたパターンを、照明装置６２２によって投射された構造化光のパターンと比較して、ピクセルセルアレイに関する表面の異なる点の深さを決定することができる。反射光のパターンの検出のために、３Ｄ撮像モジュール６３４は、ピクセルセルで受け取った赤外線光の強度に基づいて、ピクセル値を生成することができる。別の実施例として、３Ｄ撮像モジュール６３４は、照明器６２２によって透過され、対象物によって反射される赤外線光の飛行時間に基づいて、ピクセル値を生成することができる。
【００８０】
［００９１］  画像センサ６００は、さらに、対象物の２Ｄおよび３Ｄ撮像を実行するために、画像センサ６００の異なる構成要素を制御するために、感知コントローラ６４０を含む。次に、図７Ａ〜図７Ｃを参照すると、２Ｄおよび３Ｄ撮像のための画像センサ６００の動作例が示される。図７Ａは、２Ｄ撮像のための動作の例を示す。２Ｄ撮像のために、ピクセルセルアレイ６０６は、対象物から反射された可視光を含む環境内の可視光を検出することができる。例えば、図７Ａを参照すると、可視光源７００（例えば、電球、太陽、または他の周囲可視光源）は、可視光７０２を対象物７０４上に投射することができる。可視光７０６は、対象物７０４のスポット７０８から反射され得る。可視光７０６は、光学フィルタ６２４によってフィルタ処理され、反射可視光７０６の所定の波長範囲ｗ０を通過し、フォトダイオード６１２ａに対してフィルタ処理された光７１０ａを生成することができる。光学フィルタ６２４は、反射された可視光７０６の所定の波長範囲ｗ１を通過し、フォトダイオード６１２ｂに対してフィルタ光７１０ｂを生成することができ、反射された可視光７０６の所定の波長範囲ｗ２を通過し、フォトダイオード６１２ｃに対してフィルタ処理された光７１０ｃを生成することができる。異なる波長範囲ｗ０、ｗ１、およびｗ２は、スポット７０８から反射される可視光７０６の異なる色成分に対応し得る。フィルタ処理された光７１０ａ〜７１０ｃは、それぞれ、ピクセルセル６０６ａのフォトダイオード６１２ａ、６１２ｂ、および６１２ｃによって捕捉されて、露光期間内に第１の電荷、第２の電荷、および第３の電荷をそれぞれ生成し、蓄積することができる。露光期間の終了時に、感知コントローラ６４０は、感知ユニット６１４を充電するように、第１の電荷、第２の電荷、および第３の電荷を誘導し、異なる色成分の強度を表す電圧を生成し、その電圧を撮像モジュール６２８に供給することができる。撮像モジュール６２８は、ＡＤＣ６３０を含んでもよく、電圧をサンプリングおよび量子化して、可視光７０６の色成分の強度を表すデジタル値を生成するため、感知コントローラ６４０によって制御され得る。
【００８１】
［００９２］  図７Ｃを参照すると、デジタル値が生成された後、感知コントローラ６４０は、２Ｄ撮像モジュール６３２を制御し、デジタル値に基づいて、フレーム期間７２４内のシーンの赤、青、または緑のカラー画像のうちの１つをそれぞれ表す赤色画像フレーム７２０ａ、青色画像フレーム７２０ｂ、および緑色画像フレーム７２０ｃを含む画像７２０の組を含む画像の組を生成することができる。赤色画像（例えば、ピクセル７３２ａ）から、青色画像（例えば、ピクセル７３２ｂ）から、および緑色画像（例えば、ピクセル７３２ｃ）からの各ピクセルは、シーンの同一スポット（例えば、スポット７０８）からの光の可視成分を表すことができる。画像７４０の異なる組は、後続のフレーム期間７４４に、２Ｄ撮像モジュール６３２によって生成され得る。赤色画像（例えば、赤色画像７２０ａ、７４０ａなど）、青色画像（例えば、青色画像７２０ｂ、７４０ｂなど）、および緑色画像（例えば、緑色画像７２０ｃ、７４０ｃなど）のそれぞれは、特定のカラーチャネルで捕捉されたシーンの画像を特定の時間に表すことができ、例えば、特定のカラーチャネルから画像特徴を抽出するためにアプリケーションに提供することができる。フレーム期間内に捕捉された各画像は同じシーンを表し得るが、一方、画像の各対応するピクセルは、シーンの同一スポットからの光の検出に基づいて生成されるので、異なるカラーチャネル間の画像の対応を改善することができる。
【００８２】
［００９３］  さらに、画像センサ６００は、対象物７０４の３Ｄ撮像を行うこともできる。図７Ｂを参照すると、感知コントローラ６４０は、照明器６２２を制御して、光パルス、構造化光などを含むことができる赤外光７２８を対象物７０４に投射することができる。赤外光７２８は、７００ナノメートル（ｎｍ）〜１ミリメートル（ｍｍ）の波長範囲を有し得る。赤外光子７３０は、反射光７３４として対象物７０４で反射し、ピクセルセルアレイ６０６に向かって伝播し、光フィルタ６２４を通過することができるが、これは、フォトダイオード６１２ｄに対してフィルタ処理された光７１０ｄとして、赤外光の波長範囲に対応する所定の波長範囲ｗ３を通過することができる。フォトダイオード６１２ｄは、フィルタ処理された光７１０ｄを第４の電荷に変換することができる。感知コントローラ６４０は、感知ユニット６１４を充電するように第４の電荷を誘導し、ピクセルセルで受け取った赤外線光の強度を表す第４の電圧を生成することができる。フォトダイオード６１２ｄによってフィルタ処理された光７１０ｄの検出および変換は、フォトダイオード６１２ａ〜６１２ｃによる可視光７０６の検出および変換と同じ露光期間内に、または異なる露光期間内に行うことができる。
【００８３】
［００９４］  図７Ｃに戻って参照すると、デジタル値が生成された後、感知コントローラ６４０は、３Ｄ撮像モジュール６３４を制御し、デジタル値に基づいて、フレーム期間７２４（または異なるフレーム期間）内に取り込まれた画像７２０の一部として、シーンの赤外線画像７２０ｄを生成することができる。しかも、３Ｄ撮像モジュール６３４は、フレーム期間７４４（または異なるフレーム期間）内に取り込まれた画像７４０の一部として、シーンの赤外線画像７４０ｄを生成することもできる。それぞれの赤外線画像は、異なるチャネル（例えば、赤外線画像７２０ｄに対する赤、青、および緑の画像７２０ａ〜７２０ｃ、赤外線画像７４０ｄに対する赤、青、および緑の画像７４０ａ〜７４０ｃなど）ではあるが同一フレーム期間内に撮影された他の画像と同じシーンを表すことができるため、赤外線画像の各ピクセルは、同一フレーム期間内の他の画像内の他の対応するピクセルと同じシーンの同じスポットからの赤外線光を検出することに基づいて生成される一方で、２Ｄ撮像と３Ｄ撮像との対応を同様に改善することができる。
【００８４】
［００９５］  図８Ａおよび図８Ｂは、画像センサ６００の追加の構成要素を示す。図８Ａは画像センサ６００の側面図を示し、一方、図８Ｂは画像センサ６００の上面図を示す。図８Ａに示されるように、画像センサ６００は、半導体基板８０２、半導体基板８０４、ならびに基板間に挟まれた金属層８０５を含んでもよい。半導体基板８０２は、受光面８０６と、ピクセルセル６０２ａおよび６０２ｂを含むピクセルセル６０２のフォトダイオード（例えば、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄ）とを含むことができる。フォトダイオードは、受光面８０６と平行な第１の軸（例えば、水平ｘ軸）に沿って整列される。図８Ｂは、フォトダイオードが長方形の形状を有することを示しているが、フォトダイオードは、正方形、ダイヤモンドなどの他の形状を有することができることが理解される。図８Ａおよび図８Ｂの例では、フォトダイオードは、各ピクセルセル６０２が一辺に配置された２つのフォトダイオード（例えば、フォトダイオード６１２ａおよび６１２ｂ）を含む２×２構成で配置することができる。半導体基板８０２はまた、各ピクセルセル６０２内に、フォトダイオードによって生成された電荷を蓄積するための電荷感知ユニット６１４を含み得る。
【００８５】
［００９６］  加えて、半導体基板８０４は、複数のピクセルセル６０２によって共有され得る、例えば、撮像モジュール６２８、ＡＤＣ６３０、感知コントローラ６４０などを含んでもよいインターフェース回路８２０を含む。いくつかの実施例では、インターフェース回路８２０は、複数の電荷感知ユニット６１４および／または複数のＡＤＣ  ６３０を含んでもよく、各ピクセルセルは、電荷感知ユニット６１４および／またはＡＤＣ６３０への専用アクセスを有する。金属層８０５は、例えば、フォトダイオードによって生成された電荷をインターフェース回路８２０の電荷感知ユニット６１４に転送するための金属インターコネクト、ならびに電荷を電圧に変換するための電荷感知ユニット６１４の電荷蓄積デバイスの一部であり得る金属キャパシタを含んでもよい。
【００８６】
［００９７］  さらに、画像センサ６００は、複数のフィルタアレイ８３０を含む。複数のフィルタアレイ８３０は、光学フィルタ６２４の一部となり得る。各フィルタアレイ８３０は、第１の軸（例えば、垂直ｚ軸）に垂直な第２の軸に沿って、ピクセルセル６０２の上に重ねられる。例えば、フィルタアレイ８３０ａはピクセルセル６０２ａの上に重ねされ、フィルタアレイ８３０ｂはピクセルセル６０２ｂの上に重ねられる。各フィルタアレイ８３０は、各ピクセルセル６０２のフォトダイオードによって感知される光の波長範囲を制御する。例えば、図８Ｂに示すように、各フィルタアレイ８３０は、８３２ａ、８３２ｂ、８３２ｃおよび８３２ｄを含む複数のフィルタ素子８３２を含む。フィルタアレイ８３０のフィルタ素子は、ピクセルセル６０２のフォトダイオードと同じ構成（例えば、２×２構成）に配置され、各フィルタ素子８３２は、フォトダイオードによって感知される光成分の波長範囲を制御する。例えば、フィルタ素子８３２ａは、フォトダイオード６１２ａの上に重ねられ、一方、フィルタ素子８３２ｂは、フォトダイオード６１２ｂの上に重ねられる。また、フィルタ素子８３２ｃは、フォトダイオード６１２ｃの上に重ねられ、一方、フィルタ素子８３２ｄは、フォトダイオード６１２ｄの上に重ねられる。以下に説明するように、フィルタアレイ８３０内のフィルタ素子８３２の一部または全部は、異なる波長通過範囲を有し得る。また、異なるフィルタアレイ８３０は、異なるピクセルセル６０２に対して異なる通過波長範囲を設定するため、フィルタ素子の異なる組み合わせを有してもよい。
【００８７】
［００９８］  さらに、画像センサ６００は、カメラレンズ８４０と、複数のマイクロレンズ８５０とを含む。カメラレンズ８４０は、第２の軸に沿って複数のマイクロレンズ８５０の上に重ねられて、レンズスタックを形成する。カメラレンズ８４０は、シーンの複数のスポット８６０から入射光８７０を受け取り、入射光を各マイクロレンズ８５０に向けて屈折させることができる。各マイクロレンズ８５０は、第２の軸に沿ってフィルタアレイ８３０（およびピクセルセル６０２）の上に重ねられ、フィルタアレイ８３０の下のピクセルセル６０２の各フォトダイオードに向かってスポットの入射光を屈折させることができる。例えば、図８Ａに示されるように、マイクロレンズ８５０ａは、カメラレンズ８４０を介してスポット８６０ａから入射光８７０ａを受け取り、入射光８７０ａをピクセルセル６０２ａの各フォトダイオード６１２に向けて投射することができる。しかも、マイクロレンズ８５０ｂは、カメラレンズ８４０を介してスポット８６０ｂから入射光８７０ｂを受け取り、入射光８７０ｂをピクセルセル６０２ｂの各フォトダイオード６１２に向けて投射することができる。このような構成により、ピクセルセル６０２の各フォトダイオード６１２は、同じスポットからの光の成分を受け取ることができ、その成分の波長および大きさは、そのスポットからの光の異なる成分のコロケーテッドセンシングをサポートするために、フォトダイオードの上に重ねられるフィルタ素子８３２によって制御される。
【００８８】
［００９９］  図９Ａおよび図９Ｂは、同じスポットの光をピクセルセル６０２ａの各フォトダイオード６１２に向けるためのマイクロレンズ８５０ａの配置の異なる例を示す。一実施例では、図９Ａに示すように、カメラレンズ８４０に面するフィルタアレイ８３０のフィルタ表面９０１、およびカメラレンズ８４０の射出瞳９０２を、マイクロレンズ８５０ａの共役位置に配置することができる。射出瞳９０２は、スポット８０４ａからの光９０４などの射出瞳９０２を通過する光のみがカメラレンズ８４０を出ることができるように、カメラレンズ８４０の仮想開口を画定することができる。カメラレンズ８４０に対する射出瞳９０２の位置は、曲率、カメラレンズ８４０の材料の屈折率、焦点距離など、カメラレンズ８４０の様々な物理的および光学的特性に基づくことができる。マイクロレンズ８５０ａの共役点は、マイクロレンズ８５０ａの対応する対象物位置９１４および画像位置９１６のペアを画定することができ、焦点９１８を有するマイクロレンズ８５０ａの焦点距離ｆに基づいて画定することができる。例えば、射出瞳９０２が対象物位置９１４にあり、マイクロレンズ８５０から距離ｕにある場合、フィルタ表面９０１は、マイクロレンズ８５０ａの画像位置９１６になり得る。ｕ、ｖ、およびｆの値は、以下のレンズ方程式に基づいて関連付けることができる。
【００８９】
［０１００］
2021535587.tif 000003
【００９０】
［０１０１］  マイクロレンズ８５０ａの焦点距離ｆは、例えば、半径、高さ（ｚ軸に沿った）、曲率、マイクロレンズ８５０ａの材料の屈折率など、マイクロレンズ８５０ａの様々な物理的特性に基づいて構成され得る。カメラレンズ８４０、マイクロレンズ８５０ａ、および半導体基板８０２（半導体チップの一部であり得る）は、カメラレンズ８４０の射出瞳９０２がマイクロレンズ８５０ａから距離ｕの位置にあり、一方、半導体基板８０２および受光面８０６を含む半導体チップがマイクロレンズ８５０ａから距離ｖの位置にあるように、画像センサ６００に取り付けられ、スペーサによって分離され、それらの相対位置を設定する。いくつかの実施例では、マイクロレンズ８５０に対する各ピクセルセル６０２の受光面８０６の位置は、各マイクロレンズ８５０の焦点距離ｆの変動（例えば、各マイクロレンズ８５０の物理的特性の変動による）を説明するために、（例えば、較正プロセスを介して）個々に調整され得る。
【００９１】
［０１０２］  このような構成により、マイクロレンズ８５０ａの主軸９０８の左右から来る光９０４（スポット８０４ａから生じる）は、フォトダイオード６１２ａと６１２ｂとの間、フォトダイオード６１２ｃと６１２ｄとの間、フォトダイオード６１２ａと６１２ｄとの間、およびフォトダイオード６１２ｂと６１２ｃとの間など、主軸９０８の両側のフォトダイオードのペアの間に均等に分散され得る。このような構成は、ピクセルセル６０２のフォトダイオード６１２ａ〜６１２ｄによる光９０４のコロケーテッドセンシングを改善することができる。
【００９２】
［０１０３］  図９Ａの実施例では、射出瞳９０２に対して共役位置にフィルタ表面９０１を有することにより、主軸９０８の左から（例えば、光９０４ａ）および主軸９０８の右から（例えば、光９０４ｂ）到来する光９０４が遮る領域をマークする交差点９３０が、フィルタアレイ８３０ａではなくマイクロレンズ８５０ａ内にあることを確実にすることができる。このような構成は、フィルタアレイ８３０ａのフィルタ素子間の光学的クロストークを低減することができる。具体的には、光９０４ａは、フィルタ素子８３２ｂに入射してフィルタ処理され、フォトダイオード６１２ｂによって検出されるように意図され、一方、光９０４ｂは、フィルタ素子８３２ａによって入射してフィルタ処理され、フォトダイオード６１２ａによって検出されるように意図されている。フィルタアレイ８３０ａの上方に交差点９３０を有することによって、光９４０ａは、フィルタ素子８３２ａに入り、フォトダイオード６１２ａに漏れるのを防止することができ、一方、光９４０ｂは、光学的クロストークとして、フィルタ素子９３２ｂに入り、フォトダイオード６１２ｂに漏れるのを防止することができる。これに対して、図９Ｂを参照すると、受光面８０６が射出瞳９０２と共役になると、交差点９３０をフィルタアレイ８３０ａに押し込むことができる。主軸９０８の左からの光９０４ａは、フィルタ素子８３２ａに入り、フォトダイオード６１２ａに漏れ、その結果、光学的クロストークをもたらす。図９Ａの構成は、光学的クロストークを低減することができる。
【００９３】
［０１０４］  図１０Ａ、図１０Ｂ、図１０Ｃ、および図１０Ｄは、フィルタアレイ８３０の実施例を示す。図１０Ａでは、各フィルタアレイ８３０は、ベイヤーパターンに基づく２×２構成を有することができる。例えば、フィルタアレイ８３０ａの場合、フィルタ素子８３２ａは、可視光の青色成分（例えば、４５０〜４８５ｎｍの波長範囲内）をフォトダイオード６１２ａに通すように構成されてもよく、フィルタ素子８３２ｂおよび８３２ｃは、可視光の緑色成分（例えば、５００〜５６５ｎｍの波長範囲内）をフォトダイオード６１２ｂおよび６１２ｃにそれぞれ通すように構成されてもよく、一方、フィルタ素子８３２ｄは、可視光の赤色成分（例えば、６２５〜７４０ｎｍの波長範囲内）をフォトダイオード６１２ｄに通すように構成されてもよい。図１０Ａの構成は、ピクセルセルのフォトダイオードが、同じスポットからの光の異なる可視成分のコロケーテッドセンシングを行うような構成で使用することができる。
【００９４】
［０１０５］  図１０Ｂおよび図１０Ｃは、フィルタアレイ８３０の別の実施例を示す。図１０Ｂにおいて、フィルタアレイ８３０ａ、８３０ｂ、８３０ｃ、および８３０ｄの各々は、単色チャネル（Ｍ）を形成するために可視光の全成分を通過させるように構成されたフィルタ素子８３２ａとフィルタ素子８３２ｂと、近赤外光（例えば、８００〜２５００ｎｍの波長範囲内）を通過させるためのフィルタ素子８３２ｄと、可視光の所定の成分を通過させるように構成されたフィルタ素子８３２ｃとを有する。例えば、フィルタアレイ８３０ａの場合、フィルタ素子８３２ｃは、可視光の青色成分を通過させるように構成される。また、フィルタアレイ８３０ｃおよび８３０ｂの場合、フィルタ素子８３２ｃは、緑色の可視成分を通過させるように構成される。さらに、フィルタアレイ８３０ｂの場合、フィルタ素子８３２ｃは、赤色可視成分を通過させるように構成される。図１０Ｃでは、フィルタアレイ８３０ａ、８３０ｂ、８３０ｃ、および８３０ｄのそれぞれのフィルタ素子８３２ｂは、可視光および近赤外光を含む入射光のすべての成分を通過させて、全通過チャネル（Ｍ＋ＮＩＲ）を形成するように構成することができる。いくつかの実施例では、図１０Ｂおよび図１０Ｃに示すように、複数のフィルタアレイ８３０のフィルタ素子８３２ｃを通過した可視光の所定の成分は、前述のベイヤーパターンに従い得る。図１０Ｂおよび図１０Ｃの構成は、ピクセルセルのフォトダイオードが、同一スポットからの光の可視成分および光の近赤外線成分のコロケーテッドセンシングを行い、同一位置での２Ｄ撮像と３Ｄ撮像を容易にする構成で使用され得る。
【００９５】
［０１０６］  図１０Ｄは、例示的なフィルタアレイ１００２および１００４の上面図および側面図を示す。フィルタアレイ１００２は、赤外線成分だけでなく、緑色、青色、および赤色の可視成分を通過させるフィルタ素子を含み得る。フィルタアレイ１００２は、赤外線遮断フィルタ素子１０１６の下のフォトダイオードが可視光の赤色、緑色、および青色成分を受け取ることができるように、赤外線遮断フィルタ素子１０１６の上に重ねられた赤色フィルタ素子１０１０、緑色フィルタ素子１０１２、および青色フィルタ素子１０１４を含むスタック構造によって形成することができる。しかも、フィルタアレイ１００２はさらに、近赤外線選択フィルタ素子１０２０の上に重ねられた全域通過フィルタ１０１８（例えば、ガラス）を含み、フィルタ素子１０２０の下のフォトダイオードに対して赤外線成分のみを許容する。
【００９６】
［０１０７］  しかも、フィルタアレイ１００４は、緑色可視光を通過させるフィルタ素子、単色可視光（例えば、すべての可視光構成要素）を通過させるフィルタ素子、単色光および赤外光を通過させるフィルタ素子、および近赤外光を通過させるフィルタ素子を含んでもよい。フィルタアレイ１００４は、緑色フィルタ素子１０１２と、赤外線遮断フィルタ素子１０１６の上に重ねられたすべてのパスフィルタ１０１８（例えば、ガラス）とを含む積層構造によって形成され、緑色および単色フィルタ素子を形成することができる。さらに、２つのすべてのパスフィルタ１０１８を積み重ねて、単色光および赤外線を通過させることができ、一方、全域通過フィルタ１０１８は、赤外線成分のみを通過させるために、近赤外線選択フィルタ素子１０２０の上に重ねることができる。
【００９７】
［０１０８］  図１１Ａ、図１１Ｂ、および図１１Ｃは、画像センサ６００の追加の例示的な特徴を示す。追加の特徴は、フォトダイオードによる光の吸収を強化し、および／またはフォトダイオードによって生成される電荷中のノイズ成分を軽減することができる。具体的には、図１１Ａに示すように、画像センサ６００は、ピクセルセル６０２ｂ上の隣接するフィルタ素子８３２（例えば、フィルタ素子８３２ａおよび８３２ｂ）の間の分離壁１１０２、ならびに２つの異なるピクセルセル６０２（例えば、ピクセルセル６０２ａおよび６０２ｂ、ピクセルセル６０２ｂおよび６０２ｃなど）上の隣接するフィルタ素子の間の分離壁１１０４を含むことができる。分離壁１１０２および１１０４は、金属などの反射材料で作製可能で、フィルタ素子を通ってフィルタ処理された光をフィルタ素子下方のフォトダイオードに導き、一方、フィルタ処理された光が隣接するフィルタ素子に入るのを防止するように構成することができる。このような構成は、例えば、別のフィルタ素子からフィルタ素子に入る帯域外光成分によって引き起こされる隣接するフィルタ素子間の光学的クロストークを低減することができる。フィルタ素子による不完全な減衰／吸収により、フォトダイオードは帯域外光成分を受け取り、それをノイズ電荷に変換することがある。例えば、図１１Ａにおいて、ピクセルセル６０２ｂのフィルタ素子８３２ａは、可視光の緑色成分をフォトダイオード６１２ａに通過させてフィルタ処理された光１１２０を生成するように構成され、一方、ピクセルセル６０２ｂのフィルタ素子８３２ｂは、可視光の青色成分をフォトダイオード６１２ｂに通過させてフィルタ処理された光１１２２を生成するように構成される。分離壁１１０２がない場合、フィルタ処理された光１１２２（緑色成分を含む）は、フィルタ素子８３２ｂによる減衰／吸収の後であっても、フォトダイオード６１２ｂに入射し、電荷に変換されることがあり、可視光の青色成分に応答して、フォトダイオード６１２ｂによって生成された信号電荷に対してノイズ電荷となる。同様に、フィルタ処理された光１１２０はまた、フォトダイオード６１２ａに入射し、可視光の緑色成分に応答して、フォトダイオード６１２ａによって生成された信号電荷に加えて、ノイズ電荷に変換されることがある。これに対して、分離壁１１０２では、フィルタ処理された光１１２０は、フォトダイオード６１２ａに向かって反射および誘導され、一方、フィルタ処理された光１１２２は、フォトダイオード６１２ｂに向かって反射および誘導され得る。このような構成は、各フィルタ素子による帯域外光成分の吸収を高めることができるだけでなく、帯域外光成分がフォトダイオードに到達するのを防止し、光学的クロストークおよびその結果生じるノイズ電荷を低減することができる。
【００９８】
［０１０９］  加えて、光学層１１３０は、フィルタアレイ８３０と半導体基板８０２との間に挿入され得る。光学層１１３０は、半導体基板８０２のフォトダイオード６１２によってフィルタ処理された光（例えば、フィルタ処理された光１１２０および１１２２）の吸収を高めるように構成することができる。いくつかの実施例では、光学層１１３０は、フィルタ処理された光が半導体基板８０２で反射してフィルタアレイ８３０へ戻るのを防止（または低減）するための反射防止膜として構成され得る。反射防止膜は、屈折率整合、干渉などの反射を低減するための種々の技術を採用することができる。いくつかの実施例では、光学層１１３０は、薄膜に埋め込まれたマイクロピラミッド構造１１３２も含んでもよい。マイクロピラミッド構造１１４０は、フォトダイオード６１２に向かって、赤外光などのフィルタ処理された光を誘導する導波路として機能し得る。
【００９９】
［０１１０］  さらに、半導体基板８０２は、隣接するフォトダイオード６１２の間に分離構造１１４０を含み得る。絶縁構造１１４０は、隣接するフォトダイオード６１２間に電気的絶縁を提供するように構成され、１つのフォトダイオードによって生成された電荷が、別のフォトダイオードに入り、ノイズ電荷となるのを防止する。いくつかの実施例では、分離構造１１４０は、側壁１１４２および充填物１１４４を含むディープトレンチ分離（ＤＴＩ）構造として実装され得る。側壁１１４２は、典型的には、電気絶縁を提供するため、二酸化ケイ素などの絶縁体材料に基づいて実装される。充填物１１４４は、ＤＴＩ構造が電位を伝導することを可能にするための導電性材料であってよく、これは、シリコン半導体基板８０２と二酸化シリコン側壁１１４２との間の界面に電荷を蓄積させ得、これは、界面における結晶欠陥における暗電荷発生を低減し得る。いくつかの実施例では、充填物１１４４は、フィルタ処理された光を反射し、フォトダイオードを通して誘導することが可能な金属とすることができる。このような構成は、フォトダイオードによるフィルタ処理された光の吸収を高めることが可能なだけでなく、分離壁１１０２および１１０４と同様に、フィルタ処理された光が隣接するフォトダイオードに入るのを防ぎ、光学的クロストークを防止することもできる。加えて、フォトダイオード６１２は、各フォトダイオードの電荷発生領域が半導体基板８０２内で分離されるように、ピン止めフォトダイオードとして構成することができ、これにより、フォトダイオードに対する暗電荷の影響をさらに抑制することができる。
【０１００】
［０１１１］  図１１Ｂおよび図１１Ｃは、画像センサ６００の異なる例示的な構成を示す。図１１Ｂにおいて、画像センサ６００は、半導体基板８０２の背面表面１１５２が受光面８０６として構成される、背面照明（ＢＳＩ）デバイスとして構成される。一方、図１１Ｃにおいて、画像センサ６００は、前面側照明（ＦＳＩ）デバイスとして構成され、この場合、半導体基板８０２の前面表面１１５４は、受光面８０６として構成される。半導体基板８０２において、前面表面は、イオン注入、シリコン蒸着などの様々な半導体処理動作が行われる表面であり得るが、背面表面は、前面表面の反対側にある。図１１Ｂおよび図１１Ｃの両方において、画像センサ６００はさらに、前面表面１１５４の下に形成されたフローティングドレイン１１６２および１１６４と、前面表面１１５４上に形成された二酸化シリコン層１１６６と、二酸化シリコン層１１６６上に形成されたポリシリコンゲート１１６８および１１７０とを含む。フローティングドレイン１１６２および１１６４は、フォトダイオード６１２によって生成された電荷を電圧に変換するために、電荷感知ユニット６１４の電荷蓄積装置の一部として構成することができ、一方、ポリシリコンゲート１１６８および１１７０は、フォトダイオード６１２からそれぞれフローティングドレイン１１６２および１１６４への電荷の流れを制御することができる。フローティングドレイン１１６２および１１６４、ならびにフォトダイオード６１２は、イオン注入プロセスを介して前面表面１１５４上に形成され得、一方、ポリシリコンゲート１１６８および１１７０は、シリコン堆積プロセスを介して前面表面１１５４上に形成され得る。いくつかの実施例では、図１１Ｃに示されるように、画像センサ６００はさらに、光学層１１３０からポリシリコンゲート１１１８および１１２０を分離および絶縁するためのスペーサとして機能するための絶縁体層１１８２（二酸化シリコンであり得る）を含む。
【０１０１】
［０１１２］  図１２は、ピクセルセル６０２ａと、コントローラ１２０２と、量子化器１２０４とを含む、画像センサ６００の回路概略を示す。ピクセルセル６０２ａは、図６のフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄをそれぞれ表すことができるフォトダイオードＰＤ０、ＰＤ１、ＰＤ２、およびＰＤ３を含む。しかも、ピクセルセル６０２ａは、図１１Ｂおよび図１１Ｃのポリシリコンゲート１１６８および１１７０を表すことができるトランスファーゲートＭ１、Ｍ２、Ｍ３、およびＭ４をさらに含む。ピクセルセル６０２ａは、図１１Ｂおよび図１１Ｃのフローティングドレイン１１６２および１１６４を表すことができるフローティングドレインＦＤ１、ＦＤ２、ＦＤ３、およびＦＤ４をさらに含む。ピクセルセル６０２ａはまた、シャッタゲートＡＢ０、ＡＢ１、ＡＢ２、およびＡＢ３を含む。シャッタゲートは、フォトダイオードＰＤ０、ＰＤ１、ＰＤ２、およびＰＤ３の各々について露光期間の開始を制御することができる。いくつかの実施例では、ピクセルセル６０２ａの各フォトダイオードは、同一のシャッタ信号によって制御されるシャッタゲートにより、各フォトダイオードに対する露光期間が同時に開始および終了するように、同一のグローバル露光期間を有することができる。露光期間が開始される前に、シャッタゲートは、フォトダイオードによって生成された電荷を電流シンクＳ０に誘導することができる。露光期間が開始された後、シャッタゲートは無効にされ、これにより、各フォトダイオードは、その対応するフィルタ素子８３２によって設定された所定の波長範囲の光成分の検出に基づいて、電荷を生成および蓄積することができる。光成分は、シーンの同じスポットから得られ、ピクセルセル６０２ａの上に重ねられたマイクロレンズ８５０ａによって投射され得る。露光期間が終了する前に、転送ゲートＭ０、Ｍ１、Ｍ２、およびＭ３は、それぞれ、制御信号ＴＧ０、ＴＧ１、ＴＧ２、およびＴＧ３によってイネーブルにされて、各フォトダイオードＰＤ０、ＰＤ１、ＰＤ２、およびＰＤ３によって生成された電荷をそれぞれのフローティングドレインＦＤ０、ＦＤ１、ＦＤ２、およびＦＤ３に転送し、電圧Ｖ０、Ｖ１、Ｖ２、およびＶ３に変換することができる。量子化器１２０４は、電圧をデジタル値Ｄ０、Ｄ１、Ｄ２、およびＤ３に量子化することができ、それぞれは、異なる２Ｄおよび３Ｄ画像フレーム内の同じピクセルを表すことができる。制御信号ＡＢ０〜ＡＢ３、ＴＧ０〜ＴＧ３、ならびに量子化器１２０４による量子化操作は、コントローラ１２０２によって制御することができる。
【０１０２】
［０１１３］  本開示の実施形態の上の記載は、例示を目的として提示されてきたものであり、網羅的であること、または開示した厳密な形態に本開示を限定することは意図していない。当業者は、上記の開示に照らして多くの修正形態および変形形態が可能であることを理解されよう。
【０１０３】
［０１１４］  本明細書のいくつかの部分は、情報に関するアルゴリズムおよび動作の象徴的表現の観点から本開示の実施形態を記載している。これらのアルゴリズムの記述および表現は、データ処理分野の当業者によって、自らの研究の要旨を効果的に他の当業者に伝えるために一般的に使用される。これらの動作は、機能的に、計算的に、または論理的に記述されているが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実行されると理解される。さらに、一般性を失うことなく、動作のこれらの構成をモジュールと呼ぶことが、ときに好都合であることも証明されている。説明した動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具体化され得る。
【０１０４】
［０１１５］  説明したステップ、動作、またはプロセスは、単独で、または他のデバイスと組み合わせて、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて実行または実装され得る。いくつかの実施形態において、ソフトウェアモジュールは、説明したステップ、動作、またはプロセスのいずれかまたはすべてを実行するためのコンピュータプロセッサによって実行され得るコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。
【０１０５】
［０１１６］  本開示の実施形態はまた、本明細書の動作を実施するための装置に関してもよい。装置は、必要とされる目的のために特別に構築され得、および／または、コンピュータ内に記憶されたコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピューティングデバイスを備え得る。このようなコンピュータプログラムは、一時的でない有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適した任意のタイプの媒体に記憶することができ、この媒体はコンピュータシステムバスに結合することができる。さらに、明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、または増加されたコンピューティング能力のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【０１０６】
［０１１７］  本開示の実施形態はまた、本明細書に記載されるコンピューティングプロセスによって製造される製品に関するものであってもよい。このような製品は、コンピューティングプロセスから生じる情報を含み、その情報は、非一過性の有形コンピュータ可読記憶媒体に記憶され、本明細書に記載されるコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含み得る。
【０１０７】
［０１１８］  本明細書で使用される言語は、主に、読みやすさおよび説明目的のために選択されたものであり、本発明の主題を描写または限定するために選択されたものではない。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
【図１Ａ】
2021535587.tif 000004
【図１Ｂ】
2021535587.tif 000005
【図２】
2021535587.tif 000006
【図３】
2021535587.tif 000007
【図４】
2021535587.tif 000008
【図５】
2021535587.tif 000009
【図６】
2021535587.tif 000010
【図７Ａ】
2021535587.tif 000011
【図７Ｂ】
2021535587.tif 000012
【図７Ｃ】
2021535587.tif 000013
【図８Ａ】
2021535587.tif 000014
【図８Ｂ】
2021535587.tif 000015
【図９Ａ】
2021535587.tif 000016
【図９Ｂ】
2021535587.tif 000017
【図１０Ａ】
2021535587.tif 000018
【図１０Ｂ】
2021535587.tif 000019
【図１０Ｃ】
2021535587.tif 000020
【図１０Ｄ】
2021535587.tif 000021
【図１１Ａ】
2021535587.tif 000022
【図１１Ｂ】
2021535587.tif 000023
【図１１Ｃ】
2021535587.tif 000024
【図１２】
2021535587.tif 000025
【国際調査報告】
2021535587.tif 000026
2021535587.tif 000027
2021535587.tif 000028