(57)【要約】  光測定を実施するための方法およびシステムが開示される。一例では、装置は、ピクセルセルのアレイであって、ピクセルセルのアレイの各ピクセルセルが、光測定動作を実施し、光測定動作のデジタル出力を生成するように構成された、ピクセルセルのアレイを備える。装置は、ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取ること、および各ピクセルセルをターゲットにしたプログラミングデータに基づいて各ピクセルセルにおける光測定動作を構成することを行うように構成された周辺回路さらに含む。装置は、ピクセルセルのアレイのうちの少なくともいくつかのデジタル出力に基づいて画像フレームを生成するように構成された画像プロセッサをさらに含む。【選択図】図７Ａ
2021525019.tif 000002
【特許請求の範囲】
【請求項１】
ピクセルセルのアレイであって、前記ピクセルセルのアレイの各ピクセルセルが、光測定動作を実施し、前記光測定動作のデジタル出力を生成するように構成された、ピクセルセルのアレイと、
周辺回路であって、
前記ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取ること、および
前記各ピクセルセルをターゲットにした前記プログラミングデータに基づいて前記各ピクセルセルにおける前記光測定動作を構成すること
を行うように構成された周辺回路と、
前記ピクセルセルのアレイのうちの少なくともいくつかの前記デジタル出力に基づいて画像フレームを生成するように構成された画像プロセッサと
を備える、装置。
【請求項２】
前記ピクセルセルのアレイの前記各ピクセルセルが、個別にアドレス可能な構成メモリに関連付けられ、
前記周辺回路が、
前記ピクセルアレイプログラミングマップから前記ピクセルセルのアレイの第１のピクセルセルのための第１のプログラミングデータを抽出することと、
前記ピクセルアレイプログラミングマップから前記ピクセルセルのアレイの第２のピクセルセルのための第２のプログラミングデータを抽出することと、
前記第１のプログラミングデータに基づいて第１のアドレスを生成することと、
前記第２のプログラミングデータに基づいて第２のアドレスを生成することと、
前記第１のプログラミングデータを受け取るために、前記第１のアドレスに基づいて、前記第１のピクセルセルの前記構成メモリを選択することと、
前記第２のプログラミングデータを受け取るために、前記第２のアドレスに基づいて、前記第２のピクセルセルの前記構成メモリを選択することと
を行うように構成され、
前記第１のプログラミングデータと前記第２のプログラミングデータが異なる、
請求項１に記載の装置。
【請求項３】
前記ピクセルアレイプログラミングマップが、プログラミングデータの配列を備え、
前記第１のアドレスが、前記プログラミングデータの配列内の前記第１のプログラミングデータの位置に基づいて生成された、
請求項２に記載の装置。
【請求項４】
前記各ピクセルセルが、前記デジタル出力の前記生成を制御するための少なくとも１つのデバイスを含み、
前記周辺回路が、
前記第１のピクセルセルにおいて第１のデジタル出力の前記生成を有効化するために、前記第１のアドレスに基づいて、前記第１のピクセルセルの前記少なくとも１つのデバイスに第１の信号を送信することと、
前記第２のピクセルセルにおいて第２のデジタル出力の前記生成を無効化するために、前記第２のアドレスに基づいて、前記第２のピクセルセルの前記少なくとも１つのデバイスに第２の信号を送信することと
を行うように構成された、
請求項２に記載の装置。
【請求項５】
前記周辺回路が、前記第２のアドレスに基づいて前記第２のデジタル出力を増幅するように構成された１つまたは複数の検知増幅器を無効化するように構成された、請求項４に記載の装置。
【請求項６】
前記周辺回路が、前記第１のデジタル出力を含むデジタル出力のストリームを前記画像プロセッサに出力するように構成され、
前記画像プロセッサが、
前記ピクセルアレイプログラミングマップに基づいて前記デジタル出力のストリームの受取りのタイミングを同期することと、
前記同期に基づいて前記デジタル出力のストリームから前記第１のデジタル出力を識別することと
を行うように構成された、
請求項４に記載の装置。
【請求項７】
前記第１のプログラミングデータおよび前記第２のプログラミングデータが、前の画像フレームから決定された関心領域に基づいて生成される、請求項４に記載の装置。
【請求項８】
前記各ピクセルセルが、プログラム可能な露光期間内で前記光測定動作を実施するように構成され、
前記周辺回路が、
第１の光測定動作のための第１の露光期間をセットするために、前記第１のアドレスに基づいて第１の信号を前記第１のピクセルセルに送信することと、
第２の光測定動作のための第２の露光期間をセットするために、前記第２のアドレスに基づいて第２の信号を前記第２のピクセルセルに送信することであって、前記第２の露光期間が、前記第１の露光期間とは異なる、前記第２のピクセルセルに送信することと
を行うように構成され、
前記画像プロセッサが、前記第１の光測定動作の第１のデジタル出力、および、前記第２の光測定動作の第２のデジタル出力を受け取るように構成された、
請求項２に記載の装置。
【請求項９】
前記周辺回路が、前記第１の露光期間をゼロにセットすること、または、前記第１のピクセルセルをリセット状態にすることのうちの少なくとも１つに基づいて、前記第１の光測定動作を実施するために、前記第１のアドレスに基づいて前記第１の信号を前記第１のピクセルセルに送信するように構成され、
前記画像プロセッサが、
前記第１のデジタル出力に基づいて較正動作を実施することと、
前記第２のデジタル出力および前記較正動作の結果に基づいて前記第２のピクセルセルによって受け取った光の強度を決定することと
を行うように構成された、
請求項８に記載の装置。
【請求項１０】
前記各ピクセルセルが、前記光測定動作の結果を表すアナログ信号を生成するように構成され、前記デジタル出力が、プログラム可能な量子化解像度で前記アナログ信号を量子化することに基づいて生成され、
前記周辺回路が、
第１の量子化解像度をセットするために、前記第１のアドレスに基づいて第１の信号を前記第１のピクセルセルに送信することと、
前記第１の量子化解像度とは異なる第２の量子化解像度をセットするために、前記第２のアドレスに基づいて第２の信号を前記第２のピクセルセルに送信することと
を行うように構成された、
請求項２に記載の装置。
【請求項１１】
前記各ピクセルセルが、前記アナログ信号をランピング信号と比較することに基づいて前記デジタル出力を生成するように構成されたカウンタを含み、前記量子化解像度が、前記カウンタに供給されたクロック信号の周波数に基づいてプログラム可能であり、
前記周辺回路が、
前記第１の量子化解像度をセットするために、前記第１のアドレスに基づいて、第１のクロック周波数の第１のクロック信号を前記第１のピクセルセルに送信することと、
前記第２の量子化解像度をセットするために、前記第２のアドレスに基づいて、第２のクロック周波数の第２のクロック信号を前記第２のピクセルセルに送信することと
を行うように構成された、
請求項１０に記載の装置。
【請求項１２】
前記第１のピクセルセルが、前記第１のピクセルセルにおける第１の光測定動作からの第１のアナログ信号と、前記第２のピクセルセルにおける第２の光測定動作からの第２のアナログ信号とを合計することに基づいて、合計信号を生成するように構成された合計回路を含み、
前記周辺回路が、
前記合計信号を量子化することに基づいて第１のデジタル出力を生成するように前記第１のピクセルセルを構成するために、前記第１のアドレスに基づいて第１の信号を送信することと、
前記第２のピクセルセルによる第２のデジタル出力の生成を無効化するために、前記第２のアドレスに基づいて第２の信号を前記第２のピクセルセルに送信することと
を行うように構成された、
請求項２に記載の装置。
【請求項１３】
前記各ピクセルが、第１の波長範囲の光を測定するように構成された第１のフォトダイオード、および、第２の波長範囲の光を測定するための第２のフォトダイオードを含み、
前記周辺回路が、
前記第１のフォトダイオードからの出力に基づいて第１のデジタル出力を生成するために、前記第１のアドレスに基づいて第１の信号を前記第１のピクセルセルに送信することと、
前記第２のフォトダイオードからの出力に基づいて第２のデジタル出力を生成するために、前記第２のアドレスに基づいて第２の信号を前記第２のピクセルセルに送信することと
を行うように構成された、
請求項２に記載の装置。
【請求項１４】
前記ピクセルセルのアレイの前記デジタル出力のうちの少なくともいくつかの後処理を実施するように構成されたポストプロセッサ回路をさらに備え、
前記画像プロセッサが、前記ピクセルセルのアレイの前記デジタル出力のうちの前記後処理した少なくともいくつかに基づいて前記画像フレームを生成するように構成され、
前記ポストプロセッサ回路、前記周辺回路、および前記ピクセルセルのアレイが、半導体基板に集積された、
請求項１に記載の装置。
【請求項１５】
前記ピクセルセルのアレイが、第１の半導体基板に形成され、
前記周辺回路および前記ポストプロセッサ回路が、第２の半導体基板に形成され、
前記第１の半導体基板および前記第２の半導体基板が、スタックを形成する、
請求項１４に記載の装置。
【請求項１６】
前記ポストプロセッサ回路が、
前記ピクセルセルのアレイの前記デジタル出力のうちの前記少なくともいくつかから、物体による構造化光の反射に対応する特徴を抽出することと、
前記抽出の結果に基づいて、前記抽出した特徴を前記デジタル出力が表すピクセルセルを識別することと、
前記識別したピクセルセルの前記デジタル出力だけを前記画像プロセッサに送信することと
を行うように構成された、請求項１４に記載の装置。
【請求項１７】
前記ポストプロセッサ回路が、
前記抽出した特徴のサブピクセル位置を決定することと、
前記物体の深度検知動作を実施するために、前記サブピクセル位置をアプリケーションに提供することと
を行うように構成された、請求項１６に記載の装置。
【請求項１８】
前記ポストプロセッサ回路が、前記画像プロセッサを備え、
第１のフレームレートで前記ピクセルセルのアレイによって生成された前記デジタル出力を受け取ることと、
前記第１のフレームレートより低い第２のフレームレートで前記デジタル出力に基づいて画像フレームを生成することと
を行うように構成された、請求項１５に記載の装置。
【請求項１９】
照明シーケンスに基づいてシーンの異なる部分に光を投影するように構成された照明器をさらに備え、
前記ピクセルアレイプログラミングマップが、前記照明シーケンスに基づいて生成される、
請求項１に記載の装置。
【請求項２０】
ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取ることと、
前記ピクセルアレイプログラミングマップから前記ピクセルセルのアレイの第１のピクセルセルのための第１のプログラミングデータを抽出することと、
前記ピクセルアレイプログラミングマップから前記ピクセルセルのアレイの第２のピクセルセルのための第２のプログラミングデータを抽出することと、
前記第１のプログラミングデータに基づいて前記第１のピクセルセルにおける第１の光測定動作を構成することと、
前記第２のプログラミングデータに基づいて前記第２のピクセルセルにおける第２の光測定動作を構成することと、
前記第１のピクセルセルまたは前記第２のピクセルセルのうちの少なくとも１つによって出力されたピクセルデータに基づいて画像フレームを生成することと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本特許出願は、「ＳＭＡＲＴ  ＳＥＮＳＯＲ  ＦＯＲ  ＭＯＤＥＬ−ＰＲＥＤＩＣＴＩＶＥ  ＣＡＰＴＵＲＥ」という名称の２０１８年５月２５日に出願の米国仮特許出願第６２／６７６，８４９号、および、「ＰＲＯＧＲＡＭＭＡＢＬＥ  ＰＩＸＥＬ  ＡＲＲＡＹ」という名称の２０１９年５月２３日に出願の米国特許出願第１６／４２１，４４１号の優先権を主張し、すべての目的のために全体として参照により本明細書に組み込まれる。
【０００２】
本開示は、一般に、画像センサーに関し、より詳細には、プログラム可能なピクセルアレイを備える画像センサーに関する。
【背景技術】
【０００３】
典型的な画像センサーは、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（たとえば、電子または正孔）に変換することによって光を検知するためのフォトダイオードを含み得る。各ピクセルセルで変換された電荷は、デジタルピクセル値になるように量子化され得、画像は、デジタルピクセル値のアレイから生成され得る。多くのアプリケーションは、画像センサーが高解像度画像を、および／または高フレームレートで提供することを必要とし得る。
【発明の概要】
【０００４】
本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、プログラム可能なピクセルセルアレイを有する画像センサーに関する。
【０００５】
一例では、装置は、ピクセルセルのアレイであって、ピクセルセルのアレイの各ピクセルセルが、光測定動作を実施し、光測定動作のデジタル出力を生成するように構成された、ピクセルセルのアレイと、周辺回路であって、ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取ること、および各ピクセルセルをターゲットにしたプログラミングデータに基づいて各ピクセルセルにおける光測定動作を構成することを行うように構成された周辺回路と、ピクセルセルのアレイのうちの少なくともいくつかのデジタル出力に基づいて画像フレームを生成するように構成された画像プロセッサとを備える。
【０００６】
いくつかの態様では、ピクセルセルのアレイの各ピクセルセルは、個別にアドレス可能な構成メモリに関連付けられる。周辺回路は、ピクセルアレイプログラミングマップからピクセルセルのアレイの第１のピクセルセルのための第１のプログラミングデータを抽出することと、ピクセルアレイプログラミングマップからピクセルセルのアレイの第２のピクセルセルのための第２のプログラミングデータを抽出することと、第１のプログラミングデータに基づいて第１のアドレスを生成することと、第２のプログラミングデータに基づいて第２のアドレスを生成することと、第１のプログラミングデータを受け取るために、第１のアドレスに基づいて、第１のピクセルセルの構成メモリを選択することと、第２のプログラミングデータを受け取るために、第２のアドレスに基づいて、第２のピクセルセルの構成メモリを選択することとを行うように構成される。第１のプログラミングデータと第２のプログラミングデータは、異なる。
【０００７】
いくつかの態様では、ピクセルアレイプログラミングマップは、プログラミングデータの配列を備える。第１のアドレスは、プログラミングデータの配列内の第１のプログラミングデータの位置に基づいて生成される。
【０００８】
いくつかの態様では、各ピクセルセルは、デジタル出力の生成を制御するための少なくとも１つのデバイスを含む。周辺回路は、第１のピクセルセルにおいて第１のデジタル出力の生成を有効化するために、第１のアドレスに基づいて、第１のピクセルセルの少なくとも１つのデバイススイッチに第１の信号を送信することと、第２のピクセルセルにおいて第２のデジタル出力の生成を無効化するために、第２のアドレスに基づいて、第２のピクセルセルの少なくとも１つのデバイスに第２の信号を送信することとを行うように構成される。
【０００９】
いくつかの態様では、周辺回路は、第２のアドレスに基づいて第２のデジタル出力を増幅するように構成された１つまたは複数の検知増幅器を無効化するように構成される。
【００１０】
いくつかの態様では、周辺回路は、第１のデジタル出力を含むデジタル出力のストリームを画像プロセッサに出力するように構成される。画像プロセッサは、ピクセルアレイプログラミングマップに基づいてデジタル出力のストリームの受取りのタイミングを同期することと、同期に基づいてデジタル出力のストリームから第１のデジタル出力を識別することとを行うように構成される。
【００１１】
いくつかの態様では、第１のプログラミングデータおよび第２のプログラミングデータは、前の画像フレームから決定された関心領域に基づいて生成される。
【００１２】
いくつかの態様では、各ピクセルセルは、プログラム可能な露光期間内で光測定動作を実施するように構成される。周辺回路は、第１の光測定動作のための第１の露光期間をセットするために、第１のアドレスに基づいて第１の信号を第１のピクセルセルに送信することと、第２の光測定動作のための第２の露光期間をセットするために、第２のアドレスに基づいて第２の信号を第２のピクセルセルに送信することであって、第２の露光期間が、第１の露光期間とは異なる、第２のピクセルセルに送信することとを行うように構成される。画像プロセッサは、第１の光測定動作の第１のデジタル出力、および、第２の光測定動作の第２のデジタル出力を受け取るように構成される。
【００１３】
いくつかの態様では、周辺回路は、第１の露光期間をゼロにセットすること、または、第１のピクセルセルをリセット状態にすることのうちの少なくとも１つに基づいて、第１の光測定動作を実施するために、第１のアドレスに基づいて第１の信号を第１のピクセルセルに送信するように構成される。画像プロセッサは、第１のデジタル出力に基づいて較正動作を実施することと、第２のデジタル出力および較正動作の結果に基づいて第２のピクセルセルによって受け取った光の強度を決定することとを行うように構成される。
【００１４】
いくつかの態様では、各ピクセルセルは、光測定動作の結果を表すアナログ信号を生成するように構成され、デジタル出力が、プログラム可能な量子化解像度でアナログ信号を量子化することに基づいて生成される。周辺回路は、第１の量子化解像度をセットするために、第１のアドレスに基づいて第１の信号を第１のピクセルセルに送信することと、第１の量子化解像度とは異なる第２の量子化解像度をセットするために、第２のアドレスに基づいて第２の信号を第２のピクセルセルに送信することとを行うように構成される。
【００１５】
いくつかの態様では、各ピクセルセルは、アナログ信号をランピング信号と比較することに基づいてデジタル出力を生成するように構成されたカウンタを含み、量子化解像度は、カウンタに供給されたクロック信号の周波数に基づいてプログラム可能である。周辺回路は、第１の量子化解像度をセットするために、第１のアドレスに基づいて、第１のクロック周波数の第１のクロック信号を第１のピクセルセルに送信することと、第２の量子化解像度をセットするために、第２のアドレスに基づいて、第２のクロック周波数の第２のクロック信号を第２のピクセルセルに送信することとを行うように構成される。
【００１６】
いくつかの態様では、第１のピクセルセルは、第１のピクセルセルにおける第１の光測定動作からの第１のアナログ信号と、第２のピクセルセルにおける第２の光測定動作からの第２のアナログ信号とを合計することに基づいて、合計信号を生成するように構成された合計回路を含む。周辺回路は、合計信号を量子化することに基づいて第１のデジタル出力を生成するように第１のピクセルセルを構成するために、第１のアドレスに基づいて第１の信号を送信することと、第２のピクセルセルによる第２のデジタル出力の生成を無効化するために、第２のアドレスに基づいて第２の信号を第２のピクセルセルに送信することとを行うように構成される。
【００１７】
いくつかの態様では、各ピクセルは、第１の波長範囲の光を測定するように構成された第１のフォトダイオード、および、第２の波長範囲の光を測定するための第２のフォトダイオードを含む。周辺回路は、第１のフォトダイオードからの出力に基づいて第１のデジタル出力を生成するために、第１のアドレスに基づいて第１の信号を第１のピクセルセルに送信することと、第２のフォトダイオードからの出力に基づいて第２のデジタル出力を生成するために、第２のアドレスに基づいて第２の信号を第２のピクセルセルに送信することとを行うように構成される。
【００１８】
いくつかの態様では、装置は、ピクセルセルのアレイのデジタル出力のうちの少なくともいくつかの後処理を実施するように構成されたポストプロセッサ回路をさらに備える。画像プロセッサは、ピクセルセルのアレイのデジタル出力のうちの後処理した少なくともいくつかに基づいて画像フレームを生成するように構成される。ポストプロセッサ回路、周辺回路、およびピクセルセルのアレイは、半導体基板に集積される。
【００１９】
いくつかの態様では、ピクセルセルのアレイは、第１の半導体基板に形成される。周辺回路およびポストプロセッサ回路のうちの少なくとも１つは、第２の半導体基板に形成される。第１の半導体基板および第２の半導体基板は、スタックを形成する。
【００２０】
いくつかの態様では、ポストプロセッサ回路は、ピクセルセルのアレイのデジタル出力のうちの少なくともいくつかから、物体による構造化光の反射に対応する特徴を抽出することと、抽出の結果に基づいて、抽出した特徴をデジタル出力が表すピクセルセルを識別することと、識別したピクセルセルのデジタル出力だけを画像プロセッサに送信することとを行うように構成される。
【００２１】
いくつかの態様では、ポストプロセッサ回路は、抽出した特徴のサブピクセル位置を決定することと、物体の深度検知動作を実施するために、サブピクセル位置をアプリケーションに提供することとを行うように構成される。
【００２２】
いくつかの態様では、ポストプロセッサ回路は、画像プロセッサを備え、第１のフレームレートでピクセルセルのアレイによって生成されたデジタル出力を受け取ることと、第１のフレームレートより低い第２のフレームレートでデジタル出力に基づいて画像フレームを生成することとを行うように構成される。
【００２３】
いくつかの態様では、装置は、照明シーケンスに基づいてシーンの異なる部分に光を投影するように構成された照明器をさらに備える。ピクセルアレイプログラミングマップは、照明シーケンスに基づいて生成される。
【００２４】
いくつかの例では、方法が提供される。方法は、ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取ることと、ピクセルアレイプログラミングマップからピクセルセルのアレイの第１のピクセルセルのための第１のプログラミングデータを抽出することと、ピクセルアレイプログラミングマップからピクセルセルのアレイの第２のピクセルセルのための第２のプログラミングデータを抽出することと、第１のプログラミングデータに基づいて第１のピクセルセルにおける第１の光測定動作を構成することと、第２のプログラミングデータに基づいて第２のピクセルセルにおける第２の光測定動作を構成することと、第１のピクセルセルまたは第２のピクセルセルのうちの少なくとも１つによって出力されたピクセルデータに基づいて画像フレームを生成することとを含む。
【００２５】
以下の図を参照しながら、例示的な実施形態が説明される。
【図面の簡単な説明】
【００２６】
【図１Ａ】ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ  ｄｉｓｐｌａｙ）の一実施形態の図である。
【図１Ｂ】ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ  ｄｉｓｐｌａｙ）の一実施形態の図である。
【図２】ニアアイディスプレイの断面の一実施形態の図である。
【図３】単一のソースアセンブリ（ｓｏｕｒｃｅ  ａｓｓｅｍｂｌｙ）をもつ導波路ディスプレイ（ｗａｖｅｇｕｉｄｅ  ｄｉｓｐｌａｙ）の一実施形態の等角図である。
【図４】導波路ディスプレイの一実施形態の断面を示す図である。
【図５】ニアアイディスプレイを含むシステムの一実施形態のブロック図である。
【図６Ａ】画像センサーおよびその動作の例を示す図である。
【図６Ｂ】画像センサーおよびその動作の例を示す図である。
【図６Ｃ】画像センサーおよびその動作の例を示す図である。
【図６Ｄ】画像センサーおよびその動作の例を示す図である。
【図６Ｅ】画像センサーおよびその動作の例を示す図である。
【図７Ａ】画像処理システムおよびその動作の例を示す図である。
【図７Ｂ】画像処理システムおよびその動作の例を示す図である。
【図７Ｃ】画像処理システムおよびその動作の例を示す図である。
【図８Ａ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図８Ｂ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図９Ａ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図９Ｂ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図９Ｃ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図９Ｄ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図９Ｅ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図９Ｆ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図１０Ａ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図１０Ｂ】図７Ａ〜図７Ｃの画像処理システムの構成要素の例を示す図である。
【図１１Ａ】画像処理システムおよびその動作の別の例を示す図である。
【図１１Ｂ】画像処理システムおよびその動作の別の例を示す図である。
【図１２】図７Ａ〜図７Ｃならびに図１１Ａおよび１１Ｂの画像処理システムの例の動作の例を示す図である。
【図１３】画像データを生成するための処理の例のフローチャートである。
【発明を実施するための形態】
【００２７】
図は、単に説明の目的で本開示の実施形態を示す。本開示の原理またはうたわれている利益から逸脱することなく、示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。
【００２８】
添付の図において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、説明は、第２の参照ラベルには関係なく同じ第１の参照ラベルを有する同様の構成要素のいずれか１つに適用可能である。
【００２９】
以下の説明では、説明の目的で、いくつかの発明の実施形態の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図および説明は、限定するものではない。
【００３０】
一般的な画像センサーは、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。ピクセルセルのアレイのフォトダイオードによって生成された電荷は、次いで、アナログデジタル変換器（ＡＤＣ）によってデジタル値に量子化され得る。ＡＤＣは、たとえば、比較器を使用して、電荷を表す電圧を１つまたは複数の量子化レベルと比較することによって、電荷を量子化することができ、比較結果に基づいてデジタル値が生成され得る。デジタル値は、次いで、画像を生成するためにメモリに記憶され得る。
【００３１】
画像センサーからの画像データは、２Ｄおよび３Ｄ検知の融合、物体認識および追跡、位置追跡、等など、様々なウェアラブルアプリケーションをサポートすることができる。これらのアプリケーションは、計算を実施するために、画像のピクセルのサブセットから特徴情報を抽出することができる。たとえば、３Ｄ検知を実施するために、アプリケーションは、反射された構造化光のピクセル（たとえばドット）を識別し、ピクセルから抽出したパターンを、送信した構造化光と比較し、比較に基づいて深度計算を実施することができる。アプリケーションは、２Ｄおよび３Ｄ検知の融合を実施するために、構造化光の抽出したパターンを提供する同じピクセルセルから２Ｄピクセルデータ識別することもできる。物体認識および追跡を実施するために、アプリケーションは、物体の画像特徴のピクセルを識別し、ピクセルから画像特徴を抽出し、抽出結果に基づいて認識および追跡を実施することもできる。これらのアプリケーションは、典型的には、画像センサーと電気的に接続され、相互接続を介してピクセルデータを受け取ることができるホストプロセッサ上で実行される。ホストプロセッサ、画像センサー、および相互接続は、ウェアラブルデバイスの一部であり得る。
【００３２】
これらすべてのアプリケーションは、高解像度画像および／または高フレームレートから利益を受けることができる。画像の解像度が高くなると、アプリケーションは、より詳細な特徴／パターン（たとえば、より洗練されたパターンの反射された構造化光、より詳細な画像特徴、等）を抽出することができ、より高いフレームレートで画像を生成すると、アプリケーションは、物体の位置、ウェアラブルデバイスの位置、等をより高いサンプリングレートで追跡することができ、これらの両方により、アプリケーションの性能を改善することができる。
【００３３】
それでも、画像の解像度およびフレームレートが高くなると、大量のピクセルデータを生成、送信、および処理できるようになるが、非常に多くの難題をもたらし得る。たとえば、大量のピクセルデータを高データレートで送信および処理すると、画像センサー、相互接続、およびホストプロセッサの電力消費量が大きくなり得る。その上、画像センサーおよびホストプロセッサは、帯域幅に制限を加え、大量のピクセルデータの生成および処理にレイテンシを追加し得る。電力および帯域幅の要件が大きくなると、フォームファクタおよび安全性考慮により、比較的低電力かつ比較的低速で動作する傾向があるウェアラブルデバイスにとって特に問題となり得る。
【００３４】
本開示は、上記の問題のうちの少なくともいくつかに対処し得る画像センサーに関する。画像センサーは、ピクセルセルのアレイ、および周辺回路を備える。画像センサーは、相互接続を介してホストプロセッサに電気的に接続され得る。画像センサー、ホストプロセッサ、および相互接続は、ウェアラブルデバイスに含まれ得る。
【００３５】
ピクセルセルのアレイの各ピクセルセルは、光測定動作を実施し、光測定動作の出力を表すピクセルデータを生成することができる。周辺回路は、ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取ること、および各ピクセルセルをターゲットにしたプログラミングデータに基づいて各ピクセルセルにおける光測定動作を構成することができる。いくつかの例では、ピクセルセルのアレイの各ピクセルセルは、個別にアドレス可能な構成メモリに関連付けられるか、または、構成メモリを含み得る。周辺回路は、ピクセルアレイプログラミングマップからプログラミングデータを抽出し、各ピクセルセルをターゲットにした抽出したプログラミングデータを、ピクセルセルのアドレスに関連付けることができる。周辺回路は、各ピクセルセルの構成メモリにプログラミングデータを送信して、それぞれのプログラミングデータに基づいて各ピクセルセルにおける光測定動作を構成するために、制御信号を各ピクセルセルに送信することができる。ホストプロセッサは、相互接続を介して画像センサーからピクセルセルのアレイのうちの少なくともいくつかのデジタル出力を受け取り、受け取ったデジタル出力に基づいてアプリケーションを動作させることができる。
【００３６】
周辺回路は、ピクセルセルのサブセットだけがピクセルデータを生成して送信するように、ピクセルアレイプログラミングマップに基づいてピクセルセルのアレイを構成することができ、一方で、残りのピクセルセルはオフにされ、ピクセルデータの生成が無効化された状態にセットされ、より低いビット深度および／またはより低い量子化解像度でピクセルデータを出力すること、アナログとデジタルの相関２重サンプリング動作の間でスイッチすること、等ができる。その上、周辺回路は、ピクセルアレイプログラミングマップに基づいて、ピクセルセルのサブセットからのデジタル出力をホストプロセッサに送ることだけを行うようにも構成され得る。ピクセルセルのサブセットは、たとえば、関係情報をアプリケーションに提供する可能性が、残りのピクセルセルより高いピクセルセルのサブセットに基づいて、選択され得る。たとえば、物体追跡アプリケーションについて、ピクセルセルのサブセットは、追跡する物体のピクセルデータを含む可能性が高くなるように決定され得る。別の例として、３Ｄ検知アプリケーションについて、ピクセルセルのサブセットは、反射された構造化光のピクセルデータを含む可能性が高くなるように決定され得る。いくつかの例では、ホストプロセッサ（または他のプロセッサ）は、前の画像フレームからの反射された構造光の画像特徴および／またはパターンの抽出の結果に基づいて、１つまたは複数の関心領域（ＲＯＩ：ｒｅｇｉｏｎｓ  ｏｆ  ｉｎｔｅｒｅｓｔｓ）を識別することができ、ピクセルアレイプログラミングマップは、ピクセルセルアレイにおけるピクセルセルのサブセットが、ＲＯＩに基づいてピクセルデータを生成するために選択され得るように、ＲＯＩを信号で伝えるように構成され得る。ホストプロセッサ（または他の画像プロセッサ）は、画像センサー、フレームレート、等に対する物体の動きの速度および方向など、前の画像フレームの関心領域に含まれたピクセル、および他のパラメータに基づいて、現在の画像フレーム内のピクセルのサブセットを決定し、ピクセルアレイプログラミングマップにおけるピクセルのサブセットに対応するピクセルセルを信号で伝えることができる。
【００３７】
開示される技法によれば、画像センサーは、ピクセルセルのサブセットだけがピクセルデータを生成するように構成され得、これにより、ホストプロセッサに送信され、ホストプロセッサによって処理されるピクセルデータの容量を低減することができる。そのような仕組みにより、画像センサーは、１つのフレームレートでホストプロセッサによって動作するアプリケーションに最も関係のある情報を収める高解像度画像データを提供することができ、これにより、帯域幅および電力の要件を緩和させながらアプリケーションの性能を改善することができる。そのような仕組みは、ウェアラブルデバイスなどの比較的低電力かつ低帯域幅のプラットフォームで動作する、たとえば、２Ｄおよび３Ｄ検知アプリケーションの前述の融合、物体認識および追跡アプリケーション、位置追跡アプリケーション、等の性能を改善するのに特に有益である。
【００３８】
いくつかの例では、ピクセルアレイプログラミングマップを使用するＲＯＩのシグナリングは、ピクセルセルのアレイによる構造化光の送信と、反射された光の受光とを同期して、画像センサーによって生成されるピクセルデータの容量を低減するために、使用され得る。特に、照明器（または、照明器のアレイ）は、（たとえば、追跡される物体が位置する）アプリケーションの関係情報を収めるシーンの領域だけに構造化光を投影するように制御され得る。照明器は、ＲＯＩのようなシーンの領域の予想される画像位置を定義するピクセルアレイプログラミングマップ、および、ピクセルセルのサブセットに基づいて、ピクセルデータを生成するように制御され得る。そのような仕組みにより、ピクセルセルの選択されたサブセットによって生成されたピクセルデータは、アプリケーションにとって関心のある情報を収める可能性が高くなり、これにより、画像センサーによって生成され、送信されるピクセルデータの容量を低減させながら、アプリケーションの性能をさらに改善することができる。
【００３９】
ピクセルセルにおけるピクセルデータ生成を選択的に有効化／無効化することに加えて、ホストプロセッサに送信され、ホストプロセッサによって処理されるデータの容量をさらに低減するために、他の技法が提案される。たとえば、ピクセルセルのアレイは、プログラミングマップによって、圧縮型検知方式を実装するように構成され得、圧縮型検知方式では、ピクセルセルの選択されたグループ内のマスタピクセルセルは、グループ内のピクセルセルのすべての光測定動作のアナログ出力を合計して、デジタルピクセル値に量子化するように構成される。デジタルピクセル値は、ピクセルセルのグループの圧縮された出力としてホストプロセッサに送信される。別の例として、画像センサーは、ピクセルセルのサブセットからのピクセルデータの後処理を実施し、後処理したピクセルデータをホストプロセッサに送信するためのポストプロセッサを含むことができる。後処理は、ホストプロセッサに送信され、ホストプロセッサによって処理されるデータの容量をさらに低減するための様々な圧縮方式を含むことができる。たとえば、後処理は、反射された構造化光パターンのピクセル（またはサブピクセル）位置を決定し、ピクセル位置だけをホストプロセッサに送信するための構造化光パターン抽出方式（たとえばドット抽出方式）を含むことができる。別の例として、ポストプロセッサは、実際のフレームレートでピクセルセルのアレイからピクセルデータを受け取り、受け取ったピクセルデータの圧縮を実施し、低減したフレームレートで、圧縮したデータをホストプロセッサに送信することができる。これらの例では、ホストプロセッサに送信され、ホストプロセッサによって処理されるデータの容量はかなり低減され得、これにより、電力および帯域幅の制限の中で、ホストプロセッサで処理する画像の達成可能なフレームレートおよび解像度を向上させることができる。
【００４０】
データ圧縮に加えて、ピクセルアレイプログラミングマップは、ピクセルセルにおける光測定動作の他の態様を構成するために使用され得る。いくつかの例では、各ピクセルセルにおける露光時間は、較正動作をサポートするように、ピクセルアレイプログラミングマップによって個別に構成され得る。たとえば、ピクセルセルのサブセットは、ダークピクセルを表すデジタルピクセルデータを生成するためのゼロ露光時間を有するように構成され得る。ゼロ以外の露光データを有する他のピクセルセルによって生成されたピクセルデータは、温度の影響、および／または、ピクセルデータに影響を及ぼし得る他の物理的な条件を考慮するように、ダークピクセルデータに基づいて調節され得る。別の例として、各ピクセルセルは、（たとえば、２Ｄ５検知のために）可視範囲で、（たとえば、３Ｄ検知のために）赤外線範囲で、または（２Ｄおよび３Ｄ検知の融合を可能にするために）両方で、光の測定を実施するように、ピクセルアレイプログラミングマップによって構成される。これらすべてにより、より多くのアプリケーションをサポートするように、画像センサーの動作の柔軟性を改善することができ、これにより、ユーザの体感を改善することができる。
【００４１】
開示される技法は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）用途、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【００４２】
図１Ａは、ニアアイディスプレイ１００の一実施形態の図である。ニアアイディスプレイ１００は、ユーザにメディアを提示する。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ１００は、概して、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。
【００４３】
ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学要素に結合される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されたコンテンツを見るように構成される。いくつかの実施形態では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。
【００４４】
ニアアイディスプレイ１００は、画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサー１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサー１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。
【００４５】
いくつかの実施形態では、センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を装着したユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００のディスプレイコンテンツを制御するかまたはニアアイディスプレイ１００のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー１２０ａ〜１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび／または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの実施形態では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、ＳＬＡＭアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー１２０ａ〜１２０ｄは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。
【００４６】
いくつかの実施形態では、ニアアイディスプレイ１００は、物理的環境に光を投影するための１つまたは複数のアクティブ照明器１３０をさらに含み得る。投影された光は、異なる周波数スペクトル（たとえば、可視光、赤外光、紫外光など）に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器１３０は、たとえば、ユーザのロケーション追跡を可能にするために、センサー１２０ａ〜１２０ｄが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において（または、低い強度の赤外光、紫外光などを伴う環境において）光を投影し得る。照明器１３０は、ロケーション追跡システムがマップ構築／更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。
【００４７】
いくつかの実施形態では、照明器１３０は、立体視撮像をも可能にし得る。たとえば、センサー１２０ａまたは１２０ｂのうちの１つまたは複数は、可視光検知のための第１のピクセルアレイと赤外（ＩＲ）光検知のための第２のピクセルアレイの両方を含むことができる。第１のピクセルアレイは、カラーフィルタ（たとえば、バイエルフィルタ）で覆われ得、第１のピクセルアレイの各ピクセルが、特定の色（たとえば、赤色、緑色または青色のうちの１つ）に関連付けられた光の強度を測定するように構成される。また、（ＩＲ光検知のための）第２のピクセルアレイは、ＩＲ光の通過のみを可能にするフィルタで覆われ得、第２のピクセルアレイの各ピクセルが、ＩＲ光の強度を測定するように構成される。ピクセルアレイは、物体のＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各ピクセルが、ＲＧＢ画像の各ピクセルにマッピングされる。照明器１３０は、物体上にＩＲマーカーのセットを投影し得、その画像は、ＩＲピクセルアレイによってキャプチャされ得る。画像に示されている物体のＩＲマーカーの分布に基づいて、システムは、ＩＲピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体視画像を生成することができる。物体の立体視画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ１００に提供された画像データを更新することができる。
【００４８】
上記で説明されたように、ニアアイディスプレイ１００は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作され得る。ニアアイディスプレイ１００はまた、アクティブ照明器１３０がオンにされていてもいなくても動作し得る。その結果、画像センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。
【００４９】
図１Ｂは、ニアアイディスプレイ１００の別の実施形態の図である。図１Ｂは、ニアアイディスプレイ１００を装着したユーザの（１つまたは複数の）眼球１３５に面するニアアイディスプレイ１００の側面を示す。図１Ｂに示されているように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサー１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対である）方向Ｄに向かってある周波数範囲（たとえば、ＮＩＲ）の光を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー１５０ａは、反射光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を放出し得る。ＮＩＲ光は、ユーザの右眼球によって反射され得、センサー１５０ｂによって受け取られ得る。センサー１５０ｂも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ１００に提供された画像データを更新することができる。
【００５０】
上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは、一般的に、極めて低い強度の光を出力するように構成される。画像センサー１５０ａおよび１５０ｂが図１Ａの画像センサー１２０ａ〜１２０ｄと同じセンサーデバイスを備える場合、画像センサー１２０ａ〜１２０ｄは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。
【００５１】
その上、画像センサー１２０ａ〜１２０ｄは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動（たとえば、サッカード運動（ｓａｃｃａｄｅ  ｍｏｖｅｍｅｎｔ））を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー１２０ａ〜１２０ｄは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート（フレームレート）は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低い光強度を伴う環境において動作することが可能である必要もある。
【００５２】
図２は、図１に示されているニアアイディスプレイ１００の断面２００の一実施形態である。ディスプレイ１１０が、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着したときにユーザの単一の眼球２２０がアイボックス（ｅｙｅｂｏｘ）領域中に配置されるロケーションである。説明の目的で、図２は、眼球２２０と単一の導波路ディスプレイアセンブリ２１０に関連する断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼のために使用される。
【００５３】
導波路ディスプレイアセンブリ２１０は、画像光を、射出瞳２３０に位置するアイボックスに、および眼球２２０に向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率をもつ１つまたは複数の材料（たとえば、プラスチック、ガラスなど）から構成され得る。いくつかの実施形態では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学要素を含む。
【００５４】
いくつかの実施形態では、導波路ディスプレイアセンブリ２１０は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、１つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ（たとえば、赤緑青（ＲＧＢ）ディスプレイ）である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ（たとえば、多平面カラーディスプレイ）でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ（たとえば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替実施形態では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。
【００５５】
図３は、導波路ディスプレイ３００の一実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（たとえば、導波路ディスプレイアセンブリ２１０）である。いくつかの実施形態では、導波路ディスプレイ３００は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。
【００５６】
導波路ディスプレイ３００は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。説明の目的で、図３は、単一の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの実施形態では、導波路ディスプレイ３００とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。
【００５７】
ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１上に位置する結合要素３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼球２２０に出力する光導波路である。出力導波路３２０は、第１の側面３７０−１上に位置する１つまたは複数の結合要素３５０において画像光３５５を受け取り、受け取られた入力画像光３５５を方向付け要素３６０に導く。いくつかの実施形態では、結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。
【００５８】
方向付け要素３６０は、受け取られた入力画像光３５５が分離要素３６５を介して出力導波路３２０から分離されるように、受け取られた入力画像光３５５を分離要素３６５に向け直す。方向付け要素３６０は、出力導波路３２０の第１の側面３７０−１の一部であるか、または出力導波路３２０の第１の側面３７０−１に取り付けられる。分離要素３６５は、方向付け要素３６０が分離要素３６５に対向するように、出力導波路３２０の第２の側面３７０−２の一部であるか、または出力導波路３２０の第２の側面３７０−２に取り付けられる。方向付け要素３６０および／または分離要素３６５は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。
【００５９】
第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料から構成され得る。出力導波路３２０は、たとえば、シリコン、プラスチック、ガラス、および／またはポリマーから構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。たとえば、出力導波路３２０は、ｘ次元に沿って幅約５０ｍｍ、ｙ次元に沿って長さ約３０ｍｍ、およびｚ次元に沿って厚さ約０．５〜１ｍｍであり得る。
【００６０】
コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０のためのスキャン命令を決定する。いくつかの実施形態では、出力導波路３２０は、拡大された画像光３４０を大きい視野（ＦＯＶ）でユーザの眼球２２０に出力する。たとえば、拡大された画像光３４０は、６０度のおよび／またはそれよりも大きい、ならびに／あるいは１５０度のおよび／またはそれよりも小さい（ｘおよびｙにおける）対角ＦＯＶでユーザの眼球２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、ならびに／あるいは１０ｍｍ以上および／または５０ｍｍ以下の幅をもつアイボックスを提供するように構成される。
【００６１】
その上、コントローラ３３０は、画像センサー３７０によって提供される画像データに基づいて、ソースアセンブリ３１０によって生成される画像光３５５をも制御する。画像センサー３７０は、第１の側面３７０−１上に位置し得、たとえば、（たとえば、ロケーション決定のための）ユーザの前にある物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。画像センサー３７０はまた、第２の側面３７０−２上に位置し得、ユーザの（たとえば、注視点決定のための）眼球２２０の画像データを生成するために図１Ｂの画像センサー１５０ａおよび１５０ｂを含み得る。画像センサー３７０は、導波路ディスプレイ３００内に位置しないリモートコンソールとインターフェースし得る。画像センサー３７０は、画像データをリモートコンソールに提供し得、リモートコンソールは、たとえば、ユーザのロケーション、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ３３０に送信することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。
【００６２】
図４は、導波路ディスプレイ３００の断面４００の一実施形態を示す。断面４００は、ソースアセンブリ３１０と、出力導波路３２０と、画像センサー３７０とを含む。図４の例では、画像センサー３７０は、ユーザの前にある物理的環境の画像を生成するために、第１の側面３７０−１上に位置するピクセルセル４０２のセットを含み得る。いくつかの実施形態では、ピクセルセル４０２のセットの露光を制御するために、ピクセルセル４０２のセットと物理的環境との間に挿入された機械的シャッター４０４があり得る。いくつかの実施形態では、機械的シャッター４０４は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセルによって検知されるべき光の周波数範囲を制御するために、ピクセルセル４０２の各々もフィルタで覆われ得ることを理解されたい。
【００６３】
リモートコンソールから命令を受け取った後に、機械的シャッター４０４は、露光期間において開き、ピクセルセル４０２のセットを露光することができる。露光期間中に、画像センサー３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー３７０は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ３３０に提供することができる。コントローラ３３０は、次いで、ディスプレイコンテンツ情報に基づいて画像光３５５を決定することができる。
【００６４】
ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、ソース４１０と光学システム４１５とを含む。ソース４１０は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース４１０は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および／または発光ダイオードであり得る。
【００６５】
光学システム４１５は、ソース４１０からの光を調節する１つまたは複数の光学的構成要素を含む。ソース４１０からの光を調節することは、たとえば、コントローラ３３０からの命令に従って拡大し、コリメートし、および／または向きを調整することを含み得る。１つまたは複数の光学的構成要素は、１つまたは複数のレンズ、液体レンズ、ミラー、開口、および／または格子を含み得る。いくつかの実施形態では、光学システム４１５は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム４１５（同じくソースアセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。
【００６６】
出力導波路３２０は、画像光３５５を受け取る。結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０が回折格子である実施形態では、内部全反射が出力導波路３２０中で発生し、画像光３５５が、分離要素３６５に向かって、（たとえば、内部全反射によって）出力導波路３２０中を内部的に伝搬するように、回折格子のピッチが選定される。
【００６７】
方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５を分離要素３６５のほうへ向け直す。方向付け要素３６０が回折格子である実施形態では、回折格子のピッチは、入射画像光３５５が、分離要素３６５の表面に対して（１つまたは複数の）傾斜角において出力導波路３２０を出ることを引き起こすように選定される。
【００６８】
いくつかの実施形態では、方向付け要素３６０および／または分離要素３６５は、構造的に同様である。出力導波路３２０を出た拡大された画像光３４０は、１つまたは複数の次元に沿って拡大される（たとえば、ｘ次元に沿って延長され得る）。いくつかの実施形態では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０と複数の出力導波路３２０とを含む。ソースアセンブリ３１０の各々は、原色（たとえば、赤、緑、または青）に対応する、波長の特定の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色である拡大された画像光３４０を出力するために、離間距離を伴って一緒に積層され得る。
【００６９】
図５は、ニアアイディスプレイ１００を含むシステム５００の一実施形態のブロック図である。システム５００は、各々制御回路要素５１０に結合された、ニアアイディスプレイ１００と、撮像デバイス５３５と、入出力インターフェース５４０と、画像センサー１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂとを備える。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイスなどとして構成され得る。
【００７０】
ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００および／または制御回路要素５１０からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの実施形態では、ニアアイディスプレイ１００はまた、ＡＲアイウェアグラスとして働き得る。いくつかの実施形態では、ニアアイディスプレイ１００は、コンピュータ生成された要素（たとえば、画像、ビデオ、音など）を用いて、物理的現実世界の環境のビューを増強する。
【００７１】
ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサー５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。
【００７２】
ＩＭＵ５３０は、位置センサー５２５のうちの１つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。
【００７３】
撮像デバイス５３５は、様々な用途のための画像データを生成し得る。たとえば、撮像デバイス５３５は、制御回路要素５１０から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。撮像デバイス５３５は、たとえば、ユーザの関心物体を識別するために、ユーザの注視点を決定するための画像データを生成するために、図１Ｂの画像センサー１５０ａ〜１５０ｂをさらに含み得る。
【００７４】
入出力インターフェース５４０は、ユーザが制御回路要素５１０にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。
【００７５】
制御回路要素５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０のうちの１つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例では、制御回路要素５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収容され得る。いくつかの例では、制御回路要素５１０は、システム５００の他の構成要素と通信可能に結合された独立型コンソールデバイスであり得る。図５に示されている例では、制御回路要素５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。
【００７６】
アプリケーションストア５４５は、制御回路要素５１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
【００７７】
追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、ニアアイディスプレイ１００の位置の決定における誤差を低減するために、１つまたは複数の較正パラメータを調整し得る。
【００７８】
追跡モジュール５５０は、撮像デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の移動を追跡する。追跡モジュール５５０はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置を決定する。
【００７９】
エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０から、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または予測された将来の位置を受け取る。いくつかの実施形態では、エンジン５５５によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（たとえば、ディスプレイ命令）をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン５５５は、（たとえば、追跡モジュール５５０によって提供される）ユーザのロケーション、または（たとえば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点、（たとえば、撮像デバイス５３５によって提供される画像データに基づく）物体とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。
【００８０】
図６Ａ、図６Ｂ、図６Ｃ、図６Ｄ、および図６Ｅは、画像センサー６００およびその動作の例を示す。図６Ａに示されているように、画像センサー６００は、ピクセルセル６０１を含むピクセルセルのアレイを含むことができ、画像のピクセルに対応するデジタル強度データを生成することができる。ピクセルセル６０１は、図４のピクセルセル４０２の一部であり得る。図６Ａに示されているように、ピクセルセル６０１は、フォトダイオード６０２、電子シャッターゲート６０３、転送ゲート６０４、リセットゲート６０５、電荷貯蔵デバイス６０６、および量子化器６０７を含み得る。フォトダイオード６０２は、たとえば、Ｐ−Ｎダイオード、Ｐ−Ｉ−Ｎダイオード、ピン止めダイオード、等を含み得、電荷貯蔵デバイス６０６は、転送ゲート６０４のフローティングドレインノードであってもよい。フォトダイオード６０２は、露光期間内に光を受け取ると電荷を生成し蓄積することができ、露光期間内に生成される電荷の量は、光の強度に比例し得る。露光期間は、有効化されたとき、フォトダイオード６０２によって生成された電荷をそらすことができる電子シャッターゲート６０３を制御するＡＢ信号のタイミングに基づいて、および、有効化されたとき、フォトダイオード６０２によって生成された電荷を電荷貯蔵デバイス６０６に転送することができる転送ゲート６０４を制御するＴＸ信号のタイミングに基づいて、定義され得る。たとえば、図６Ｂを参照すると、ＡＢ信号は、フォトダイオード６０２が飽和するまで、フォトダイオード６０２が電荷を生成し、電荷のうちの少なくともいくつかを残留電荷として蓄積することを可能にするように、時間Ｔ０においてデアサートされ得る。Ｔ０は、露光期間の開始をマークすることができる。ＴＸ信号は、飽和後に、フォトダイオード６０２によって生成された追加の電荷（たとえば、オーバーフロー電荷）を電荷貯蔵デバイス６０６に転送するために、転送ゲート６０４を部分的にオン状態にセットすることができる。時間Ｔ１において、ＴＧ信号は、電荷貯蔵デバイス６０６に残留電荷を転送するようにアサートされ得、これにより、電荷貯蔵デバイス６０６は、時間Ｔ０において露光期間が始まってからフォトダイオード６０２によって生成された電荷のすべてを貯蔵することができる。時間Ｔ２において、ＴＸ信号は、フォトダイオード６０２から電荷貯蔵デバイス６０６を絶縁するようにデアサートされ得、ＡＢ信号は、フォトダイオード６０２によって生成された電荷をそらすようにアサートされ得る。時間Ｔ２は、露光期間の終了をマークすることができる。時間Ｔ２における電荷貯蔵デバイス６０６の両端間のアナログ電圧は、電荷貯蔵デバイス６０６に貯蔵された電荷の総量を表すことができ、露光期間内にフォトダイオード６０２によって生成された電荷の総量に対応することができる。ＴＸ信号とＡＢ信号の両方は、ピクセルセル６０１の一部であり得るコントローラ（図６Ａに図示せず）によって生成され得る。アナログ電圧が量子化された後、リセットゲート６０５は、電荷貯蔵デバイス６０６内の電荷を除去して、次の測定を準備するために、ＲＳＴ信号によって有効化され得る。
【００８１】
量子化器６０７は、ピクセル値を生成するために、時間Ｔ２の後、アナログ電圧を量子化するようにコントローラによって制御され得る。図６Ｃは、量子化器６０７によって実施された量子化動作の例を示す。図６Ｃに示されているように、量子化器６０７は、電荷貯蔵デバイス６０６におけるアナログ電圧と、（図６Ｃにおいて「ＶＲＥＦ」と標示された）ランピング基準電圧とを（たとえば、比較器を使用して）比較し、（図６Ｃにおいて「判定」と標示された）比較判定を生成することができる。判定がトリップするのにかかる時間は、アナログ電圧の量子化の結果を表すために測定され得る。いくつかの例では、時間は、（図６Ｃにおいて「クロック」と標示された）クロック信号に基づいてそのカウント値を周期的に更新する自走カウンタ（ｆｒｅｅ−ｒｕｎｎｉｎｇ  ｃｏｕｎｔｅｒ）によって測定され得、比較器からの比較判定は、いつカウント値がメモリに記憶されるかを制御することができる。クロック信号の周波数は、量子化動作の解像度をセットすることができる。たとえば、クロック信号周波数が高くなると、ＶＲＥＦ範囲にわたって生成されるカウント範囲が広くなり（ビット深度が深くなり）、量子化解像度が大きくなり得、クロック信号周波数が低くなると、ＶＲＥＦ範囲にわたって生成されるカウント範囲が狭くなり（ビット深度が浅くなり）、量子化解像度が小さくなり得る。ピクセルデータの配列（たとえば、ｄ００、ｄ０１、等）は、画像センサー６００によって出力され得る。ピクセル値のアレイは、物体６１２の画像６１０を生成するために、さらに処理され得る。
【００８２】
画像センサー６００からの画像データは、物体６１２を識別および追跡すること、画像センサー６００に対する物体６１２の深度検知を実施すること、等など、異なるアプリケーションをサポートするために、ホストプロセッサ（図６Ａ〜図６Ｅに図示せず）に送信され得る。これらすべてのアプリケーションに対して、ピクセルセルのサブセットだけが、関係情報（たとえば、物体６１２のピクセルデータ）を提供し、ピクセルセルのリセットは、関係情報を提供しない。たとえば、図６Ｄを参照すると、時間Ｔ０において、画像センサー６００のピクセルセルのグループ６２０は、物体６１２によって反射された光を受け取り、時間Ｔ６において、物体６１２は、（たとえば、物体６１２の動き、画像センサー６００の動き、または両方が原因で）移動し得、画像センサー６００のピクセルセルのグループ６３０は、物体６１２によって反射された光を受け取る。時間Ｔ０とＴ６の両方において、画像センサー６００は、送信されるピクセルデータの容量を低減するために、ピクセルセルのグループ６２０および６３０からのピクセルデータだけをホストプロセッサに送信することができる。そのような仕組みにより、より高いフレームレートでのより高い解像度画像の送信を可能にすることができる。たとえば、より多くのピクセルセルを含むより大きいピクセルセルアレイは、物体６１２を画像化して、画像解像度を改善するために使用され得、一方で、改善された画像解像度を提供するのに必要な帯域幅および電力は、物体６１２のピクセルデータを提供するピクセルセルを含んだピクセルセルのサブセットだけが、ピクセルデータをホストプロセッサに送信するときに低減され得る。同様に、画像センサー６００は、より高いフレームレートで画像を生成するように動作され得るが、帯域幅および電力の増加は、ピクセルセルのサブセットによって出力されたピクセル値しか各画像が含まないときに低減され得る。
【００８３】
３Ｄ検知の場合、ピクセルデータ送信の容量も低減され得る。たとえば、図６Ｅを参照すると、照明器６４０は、構造化光のパターン６４２を物体６５０に投影することができる。構造化光は、物体６５０の表面で反射され得、反射された光のパターン６５２は、画像を生成するために画像センサー６００によってキャプチャされ得る。ホストプロセッサは、パターン６５２とパターン６４２を一致させ、画像内のパターン６５２の画像位置に基づいて、画像センサー６００に対する物体６５０の深度を決定することができる。３Ｄ検知について、ピクセルセルのグループ６６０、６６２、６６４、および６６６だけが、関係情報（たとえば、パターン６５２のピクセルデータ）を収める。送信されるピクセルデータの容量を低減するために、画像センサー６００は、ピクセルセルのグループ６６０、６６２、６６４、および６６６からのピクセルデータだけ、または画像内のパターン６５２の画像位置の位置をホストプロセッサに送るように構成され得る。
【００８４】
図７Ａ、図７Ｂ、図７Ｃ、図７Ｄ、および図７Ｅは、画像処理システム７００およびその動作の例を示す。画像処理システム７００は、ホストデバイス７０２および画像センサー７０４を含む。ホストデバイス７０２は、たとえば、２Ｄおよび３Ｄ検知の融合、物体認識および追跡、位置追跡、等を含む動作を実施することができるアプリケーション７０８を動作させるホストプロセッサ７０６を含むことができる。いくつかの例では、画像処理システム７００は、ウェアラブルデバイス内にあり得る。いくつかの例では、処理システム７００は、複数の別個のデバイスに分けられ得る。たとえば、ホストデバイス７０２は、パーソナルコンピュータ（ＰＣ）、スマートフォン、カメラ基地局、または、中央処理装置（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロコントローラユニット（ＭＣＵ）、等などの集積回路であり得る。ホストデバイス７０２および画像センサー７０４は、モバイルインダストリプロセッサインターフェース（ＭＩＰＩ）規格と互換性のある相互接続などの、相互接続（図７Ａに図示せず）を介して電気的に接続され得る。
【００８５】
図７Ａを参照すると、画像センサー７０４は、周辺回路７１６およびピクセルセルアレイ７１８を含む。ピクセルセルアレイ７１８の各ピクセルセルは、光測定動作を実施してピクセルデータを生成するための、フォトダイオード６０２、電子シャッターゲート６０３、転送ゲート６０４、電荷貯蔵デバイス６０６、および量子化器６０７など、図６Ａのピクセルセル６０１に類似の構成要素を含み得る。ピクセルセルアレイ７１８における各ピクセルセルは、構成メモリを含み得、構成メモリはピクセルセルの一部であるか、または外部にあり、各ピクセルセルにおける光測定動作を構成／プログラムするためのプログラミングデータを記憶することができる。各ピクセルセルの構成メモリは個別にアドレス可能であり得、これにより、ホストデバイス７０２によって提供されたピクセルアレイプログラミングマップ７２０に基づいて、各ピクセルセルにおける光測定動作が周辺回路７１６によって個別にプログラムされることを可能にする。プログラミングデータは、光測定動作を構成するために構成メモリから読み出され得る。下記で詳細に説明されるように、ピクセルセルにおける光測定動作の構成は、たとえば、光測定動作からのピクセルデータの生成を有効化または無効化すること、光測定動作のための露光期間をセットすること、ダークピクセルを表すピクセルデータを生成するためにダークモードでピクセルセルを動作させること、量子化解像度／ビット深度をセットすること、測定される光の波長範囲をセットすること、データ圧縮を実施すること、相関２重サンプリングのモードをセットすること、等を含むことができる。いくつかの例では、ピクセルセルアレイ７１８および周辺回路７１６は、画像センサー７０４の受光面を最大化するためにスタック構造を形成することができ、これにより、ピクセルセルアレイ７１８が、解像度を改善するために、より多くのピクセルセルを含むことを可能にする。
【００８６】
ピクセルアレイプログラミングマップ７２０は、ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むことができる。図７Ｂは、ピクセルアレイプログラミングマップ７２０の例を示す。図７Ｂに示されているように、ピクセルアレイプログラミングマップ７２０は、プログラミングデータの２次元アレイを含み得、２次元アレイのプログラミングデータの各エントリは、ピクセルセルアレイ７１８のピクセルセルをターゲットにしている。たとえば、ピクセルセルアレイ７１８が、幅Ｍのピクセル（たとえば、Ｍ列のピクセル）、および、高さＮのピクセル（たとえば、Ｎ行のピクセル）を有する場合、ピクセルアレイプログラミングマップ７２０も、幅Ｍのエントリ（たとえば、Ｍ列のエントリ）、および、高さＮのエントリ（たとえば、Ｎ行のエントリ）を有する。ピクセルアレイプログラミングマップ７２０のエントリ（０，０）におけるプログラミングデータＡ００は、ピクセルセルアレイ７１８のピクセル位置（０，０）におけるピクセルセルＰ００をターゲットにしており、ピクセルアレイプログラミングマップ７２０のエントリ（０，１）におけるプログラミングデータＡ０１は、ピクセルセルアレイ７１８のピクセル位置（０，１）におけるピクセルセルＰ０１をターゲットにしている。いくつかの例では、ピクセルアレイプログラミングマップ７２０の各エントリのプログラミングデータは、シリアルデータのストリームを形成するために、左から右へ行を横断し（たとえば、Ａ００、Ａ０１、〜Ａ０ｉ）、その後、左から右へ次の行を横断すること（たとえば、Ａ１０、Ａ１１、〜Ａ１ｉ）など、所定のスキャンパターンに従って順次送信され得る。各エントリに対するプログラミングデータは、スキャンパターン、および、エントリを受け取った順序に基づいて、シリアルデータのストリームから抽出され、識別され得る。いくつかの例では、ピクセルアレイプログラミングマップ７２０は、一定のプログラミングデータがフレーム間で更新される必要があるときだけ送られ得、更新される必要があるプログラミングデータだけが、ピクセルアレイプログラミングマップ７２０に含まれる。
【００８７】
構成動作に依存して、ピクセルアレイプログラミングマップ７２０の各エントリは、バイナリプログラミングデータまたは非バイナリプログラミングデータを含み得る。図７Ｃは、ピクセルアレイプログラミングマップ７２０ａおよび７２０ｂの例を示す。図７Ｃに示されているように、ピクセルアレイプログラミングマップ７２０ａは、バイナリプログラミングデータ０および１を含む。いくつかの例では、ピクセルアレイプログラミングマップ７２０ａの各エントリにおけるバイナリプログラミングデータは、エントリに対応するピクセルセルにおけるピクセルデータの生成を有効化する（たとえば、プログラミングデータが１にセットされる）、または無効化する（たとえば、プログラミングデータが０にセットされる）ことができる。ピクセルアレイプログラミングマップ７２０ａの各エントリにおけるバイナリプログラミングデータは、ダークピクセルデータを生成するために、（たとえば、プログラミングデータが０にセットされた）ダークモードで動作するように、または、（たとえば、プログラミングデータが１にセットされた）通常モードで動作するように、エントリに対応するピクセルセルを構成することもできる。ピクセルセルは、たとえば、電荷貯蔵デバイスをリセット状態に保つこと、ゼロ継続時間を有するように露光期間をセットすること、等に基づいて、ダークモードで動作され得る。さらに、ピクセルアレイプログラミングマップ７２０ｂは、−１、０、および１などの非バイナリプログラミングデータを含み得る。ピクセルアレイプログラミングマップ７２０ｂの非バイナリプログラミングデータは、図７Ｃに示されているように、３つの構成候補から構成を選ぶために使用され得る。たとえば、ピクセルセルは、可視光波長範囲で（たとえば、プログラミングデータが１にセットされる）、もしくは、赤外光波長範囲で（たとえば、プログラミングデータが−１にセットされる）、光測定動作を実施するように、または、測定しない（たとえば、プログラミングデータが０にセットされる）ように構成され得る。ピクセルアレイプログラミングマップ７２０ｂの非バイナリプログラミングデータは、たとえば、露光期間の継続時間、量子化解像度／ビット深度、等をセットするために他の値をとることもできる。
【００８８】
いくつかの例では、ピクセルアレイプログラミングマップ７２０ａ／ｂは、ホストデバイス７０２において動作するアプリケーション（たとえば、アプリケーション７０８）によって生成され得、ピクセルセルアレイ７１８からのピクセルデータを消費する。たとえば、アプリケーション７０８は、関係情報を収めるピクセルを画像から識別し、ピクセルを含む関心領域（ＲＯＩ）を決定し得る。ＲＯＩに対応するピクセルデータを生成するピクセルセルが次に識別され得る。例証となる例として、図６Ｄの例を再び参照すると、アプリケーション７０８は、時間Ｔ０における画像内の関係情報（たとえば、物体６１２のピクセルデータ）を提供するようなピクセルセルのグループ６２０を含むＲＯＩを識別し得る。アプリケーション７０８は、次に、たとえば、画像センサー６００に対する物体６１２の動きの方向および速度に基づいて、時間Ｔ０とＴ６の間のＲＯＩの変化を予測することができる。アプリケーション７０８は、次に、時間Ｔ０におけるピクセルセルのグループ６２０の画像位置、および予測される変化に基づいて、ピクセルセルのグループ６３０を含んだ、時間Ｔ６におけるＲＯＩの新しい画像位置を予測することができる。時間Ｔ６におけるピクセルセルのグループ６３０の画像位置に基づいて、アプリケーション７０８は、ピクセルセルのグループ６３０に対応するエントリのプログラミングデータを１にセットする一方で、残りのエントリのプログラミングデータをゼロにセットすることによって、ピクセルアレイプログラミングマップ７２０ａを生成することができ、これにより、ピクセルセルのグループ６３０だけが、ピクセルデータをホストデバイス７０２に送信する。いくつかの例では、ＲＯＩは、ＲＯＩに対応する各ピクセルセルがピクセルデータを送信し、ＲＯＩの外側では、ピクセルセルの低密度に分布したセットが、ピクセルデータを送信するために選択されるように、一様でない空間サンプリングレートをセットするためにも使用され得る。どのピクセルセルがピクセルデータを送信するべきかについての選択は、ピクセルアレイプログラミングマップ７２０ａにおいて符号化され得る。
【００８９】
いくつかの例では、アプリケーション７０８は、前の画像に基づいて、追跡される物体が位置する環境のモデルを維持し、環境モデルに基づいて、現在の画像内の物体のピクセルデータを提供する可能性の高いピクセルセルを予測し得る。いくつかの例では、画像センサー７０４、または、画像センサー７０４と同じチップの一部である他の処理回路は、不変の基本要素に基づいて関係情報が発生している場合、不変の基本要素（たとえば、時間的または空間的コントラスト）も計算して推定し、推定に基づいてピクセルアレイプログラミングマップ７２０ａを生成し得る。
【００９０】
図８Ａおよび図８Ｂは、周辺回路７１６およびピクセルセルアレイ７１８の構成要素の例を示す。図８Ａに示されているように、周辺回路７１６は、プログラミングマップ解析器８０２、列コントローラ８０４、行コントローラ８０６、およびピクセルデータ出力モジュール８０７を含むことができる。プログラミングマップ解析器８０２は、各ピクセルセルに対するプログラミングデータを識別するために、シリアルデータストリーム内にあり得るピクセルアレイプログラミングマップ７２０を解析することができる。プログラミングデータの識別は、たとえば、２次元ピクセルアレイプログラミングマップがシリアルフォーマットに変換される所定のスキャンパターン、および、プログラミングマップ解析器８０２によってシリアルデータストリームからプログラミングデータが受け取られた順序に基づくことができる。プログラミングマップ解析器８０２は、ピクセルセルの行アドレス、ピクセルセルの列アドレス、および、ピクセルセルをターゲットにしたプログラミングデータに基づく１つまたは複数の構成信号の間のマッピングを作り出すことができる。マッピングに基づいて、プログラミングマップ解析器８０２は、列アドレスを含む制御信号８０８、および構成信号を列コントローラ８０４に、ならびに、列アドレスにマッピングされた行アドレスを含む制御信号８１０、および構成信号を行コントローラ８０６に、送信することができる。いくつかの例では、構成信号は、制御信号８０８と制御信号８１０にも分けられ、または、制御信号８１０の一部として行コントローラ８０６に送信され得る。
【００９１】
列コントローラ８０４および行コントローラ８０６は、ピクセルセルアレイ７１８の各ピクセルセルの構成メモリに、プログラミングマップ解析器８０２から受け取った２０個の構成信号を転送するように構成される。図８Ａに示されているように、列コントローラ８０４は、列バスの複数のセットＣ０、Ｃ１、〜Ｃｉを駆動させる。列バスの各セットは、１つまたは複数のバスを含み、列選択信号および／または他の構成信号を含むことができる図７Ａの制御信号７２２を、ピクセルセルの列に送信するために使用され得る。たとえば、列バスＣ０は、ピクセルセルｐ００、ｐ０１、〜ｐ０ｊの列を選択するための列選択信号８０８ａを送信すること、列バスＣ１は、ピクセルセルｐ１０、ｐ１１、〜ｐ１ｊの列を選択するための列選択信号８０８ｂを送信すること、等ができる。さらに、行コントローラ８０６は、Ｒ０、Ｒ１、〜Ｒｊと標示された行バスの複数のセットを駆動させる。行バスの各セットも、１つまたは複数のバスを含み、行選択信号および／または他の構成信号を含むことができる図７Ａの制御信号７２４をピクセルセルの行に送信するために使用され得る。たとえば、行バスＲ０は、ピクセルセルｐ００、ｐ１０、〜ｐｉ０の行を選択するための行選択信号８１０ａを送信すること、行バスＲ１は、ピクセルセルｐ０１、ｐ１１、〜ｐ１ｉの行を選択するための行選択信号８１０ｂを送信すること、等ができる。ピクセルセルアレイ７１８内の任意のピクセルセルが、構成信号を受け取るために、行選択信号と列信号の組合せに基づいて選択され得る。行選択信号、列選択信号、および構成信号は（もしあれば）、上記で説明されたような、プログラミングマップ解析器８０２からの制御信号８０８および８１０に基づいて同期される。ピクセルセルの各列は、ピクセルデータ出力モジュール８０７にピクセルデータを送信するために、出力バスのセットを共有することができる。たとえば、ピクセルセルｐ００、ｐ０１、〜ｐ０ｊの列は、出力バスＤ０を共有すること、ピクセルセルｐ１０、ｐ１１、〜ｐ１ｊの列は、出力バスＤ１を共有すること、等ができる。
【００９２】
ピクセルデータ出力モジュール８０７は、ピクセルデータをバスから受け取り、（たとえば、シフトレジスタを使用して）ピクセルデータを１つまたは複数のシリアルデータストリームに変換し、ＭＩＰＩなどの所定のプロトコルでデータストリームをホストデバイス７０２に送信することができる。さらに、ピクセルデータ出力モジュール８０７は、プログラミングマップ解析器８０２から制御信号８０８および８１０を受け取り、たとえば、どのピクセルセルがピクセルデータを出力しないか、各ピクセルセルによって出力されたピクセルデータのビット幅、等を決定し、その後、シリアルデータストリームの生成を適宜調節することもできる。たとえば、ピクセルデータ出力モジュール８０７は、たとえば、ピクセルセル間の出力されたピクセルデータの可変ビット幅、一定のピクセルセルにおいて出力されたピクセルデータ出力の無効化、等を考慮するために、シリアルデータストリームの生成時に数ビットをスキップするようにシフトレジスタを制御することができる。
【００９３】
図８Ｂは、各ピクセルセルの構成メモリ８３０（たとえば、８３０ａ、８３０ｂ、８３０ｃ、および８３０ｄ）を含むピクセルセルアレイ７１８のさらなる詳細を示す。図８Ｂは、構成メモリ８３０が各ピクセルセルの内部にあることを示しているが、構成メモリ８３０は、各ピクセルセルの外部にあり得ることを理解されたい。図８Ｂに示されているように、各ピクセルセルの構成メモリ８３０は、Ｓ００、Ｓ１０、Ｓ１０、Ｓ１１、等などのトランジスタＳを介して列バスＣおよび行バスＲと連結される。いくつかの例では、列バス（たとえば、Ｃ０、Ｃ１、等）および行バス（たとえば、Ｒ０、Ｒ１、等）の各セットは、複数のビットを含むことができる。たとえば、図８Ｂでは、列バスおよび行バスの各セットは、Ｎ＋１ビットを搬送することができる。いくつかの例では、列バスおよび行バスの各セットは、単一のデータビットを搬送することもできることを理解されたい。各ピクセルセルは、ピクセルセルへの構成信号の送信を制御するために、Ｔ００、Ｔ１０、Ｔ１０、Ｔ１１、等などのトランジスタＴとも電気的に接続される。各ピクセルセルのトランジスタＳは、対応するトランジスタＴを有効化（または無効化）して構成信号をピクセルセルに送信するための行選択信号および列選択信号によって駆動され得る。いくつかの例では、列コントローラ８０４および行コントローラ８０６は、複数のピクセルセルの構成メモリ８３０に同時に書き込むための（たとえばホストデバイス７０２からの）単一のライト命令によってプログラムされ得る。列コントローラ８０４および行コントローラ８０６は、次に、ピクセルセルの構成メモリに書き込むように、行バスおよび列バスを制御することができる。
【００９４】
図８Ｂに示された例では、各ピクセルセルの構成メモリ８３０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）として実装され得るが、いくつかの例では、各ピクセルセルの構成メモリ８３０がスタティックランダムアクセスメモリ（ＳＲＡＭ）として実装されことを可能にするために、追加の行バス／列バスがピクセルセルアレイ７１８に含まれ得る。
【００９５】
さらに、各ピクセルセルは、ピクセルセルの列の間の出力バスＤの共有を制御するための、Ｏ００、Ｏ１０、Ｏ１０、Ｏ１１、等などのトランジスタＯも含む。各行のトランジスタＯは、ピクセルデータの行毎の読出しを可能にするように、リード信号（たとえば、ｒｅａｄ＿Ｒ０、ｒｅａｄ＿Ｒ１、等）によって制御され得、これにより、ピクセルセルの１つの行が、出力バスＤ０、Ｄ１、〜Ｄｉを通じてピクセルデータを出力し、その後、ピクセルセルの次の行が出力する。
【００９６】
（たとえば、ピクセルセルにおけるピクセルデータの生成を有効化／無効化するため、ピクセルセルをダークモードで動作させるため、等のために）プログラミングがバイナリデータに基づく場合、列選択信号および行選択信号は、ピクセルアレイプログラミングマップ７２０におけるバイナリプログラミングデータに基づくことができ、構成信号は、行バス／列バスからではなく、固定された発信源から生じ得る。たとえば、ピクセルセルにおけるピクセルデータの生成を有効化するために、このピクセルセルに対する行選択信号および列選択信号がアサートされ得、構成信号は、このピクセルセルの構成メモリ８３０に論理的な１つをこのピクセルセルのトランジスタＴが送信することを可能にして、ピクセルデータ生成を有効化するために、電源から生じ得る。ピクセルセルにおけるピクセルデータの生成を無効化するために、このピクセルセルに対する行選択信号および列選択信号は、ピクセルセルのトランジスタＴが、このピクセルセルの構成メモリ８３０に論理的な１つを送信しないようにデアサートされ得る。（たとえば、露光期間の継続時間、量子化解像度／ビット深度、等をセットするために）プログラミングが非バイナリデータに基づく場合、列バスおよび／または行バスは、構成データ（たとえば、露光期間をセットするためのデジタル値、量子化／ビット深度をセットするためのクロック信号）等も搬送することができる。複数のピクセルセルの構成メモリは、上記で説明されたように、同時に書き込まれ得る。
【００９７】
図９Ａ、図９Ｂ、図９Ｃ、図９Ｄ、図９Ｅ、および図９Ｆは、プログラム可能なピクセルセルの異なる例を示す。図のそれぞれに示されたプログラム可能な特徴は、単一のピクセルセルに組み合わされ得ることを理解されたい。
【００９８】
図９Ａは、ピクセルデータの生成が有効化／無効化され得るピクセルセル９０２の例を示す。図９Ａを参照すると、ピクセルセル９０２は、フォトダイオード６０２、電子シャッターゲート６０３、転送ゲート６０４、電荷貯蔵デバイス６０６、ならびに、比較器９０４およびメモリ９０６を含む量子化器６０７を含み得る。ピクセルセル９０２は、露光期間の開始前に電荷貯蔵デバイス６０６をリセットするように制御され得るリセットゲート６０５をさらに含む。メモリ９０６は、ピクセルセル９０２の内部または外部にあり得る自走カウンタからのカウンタ値を受け取ることができる。ピクセルセル９０２は、電荷貯蔵デバイス６０６におけるアナログ電圧をバッファするための電圧バッファ９０８をさらに含む。比較器９０４は、バッファされた電圧をランピングＶＲＥＦと比較してラッチ信号を生成し、カウンタからのカウンタ値をメモリ９０６に記憶することができる。図６Ｃについて上記で説明されたように、ラッチ信号のタイミングは、メモリ９０６に記憶されたカウンタ値を決定し、記憶されたカウンタ値は、バッファされたアナログ電圧の量子化の結果を表すためのピクセルデータとして出力され得る。
【００９９】
図９Ａに示されているように、電圧バッファ９０８および比較器９０４は、ＯＮ／ＯＦＦ信号によってオン／オフにされ得、ＯＮ／ＯＦＦ信号は、図８Ｂで説明されたように、行バスおよび列バス上の行選択信号および列選択信号に基づいて構成メモリに記憶され得る。行選択信号および列選択信号は、図７Ｃのピクセルアレイプログラミングマップ７２０ａに基づいて生成され得る。ＯＮ／ＯＦＦ信号は、次に、構成メモリから読み出され得る。比較器９０４および電圧バッファ９０８が無効化されると、ラッチ信号は生成されない。メモリ９０６は、カウンタ値を記憶せず、ピクセルデータの出力は、無効化され得る。いくつかの例では（図９Ａに図示せず）、メモリ９０６は、ＯＮ／ＯＦＦ信号によってさらにパワーゲートされ得る。一方で、ピクセルデータ出力モジュール８０７は、このピクセルセルのピクセルデータ出力の読出しをスキップするように、プログラミングマップ解析器８０２からの制御信号に基づいてさらに構成され得る。そのような仕組みにより、ピクセルセルの構成要素の中で最も多くの電力を典型的に使用する電圧バッファおよび比較器を無効化することによって、相当な節電がピクセルセルにおいて達成され得る。その上、ホストデバイスに送信されるピクセルデータの容量も低減され得、相互接続における、およびホストデバイスにおける電力消費量をさらに低減することができる。
【０１００】
図９Ｂは、ダークモードで動作するように構成され得るピクセルセル９１２の例を示す。図９Ｂに示されているように、ピクセルセル９１２は、ダークゲート９１４を含む。ダークゲート９１４もしくはリセットゲート６０５（または両方）は、電荷貯蔵デバイス６０６をリセットすることができる。図９Ａと同様に、ダークゲート９１４は、構成メモリから（「ＤＡＲＫ」と標示された）制御信号を受け取ることができ、図８Ｂで説明されたような、行バスおよび列バス上の行選択信号および列選択信号に基づいて、ピクセルセルのトランジスタＴから制御信号を受け取る。行選択信号および列選択信号は、図７Ｃのピクセルアレイプログラミングマップ７２０ａに基づいて生成され得る。ＤＡＲＫ信号がアサートされると、ピクセルセル９１２は、ダークピクセル（たとえば、入射光を受け取らないピクセル）を表すピクセル出力を生成することができる。ピクセル出力は、（たとえば、温度の影響を考慮するために）較正を実施するために使用され得る。たとえば、他のピクセルセルは、（たとえば、ＤＡＲＫ信号をオフにした）通常のモードで動作することができ、これらのピクセル出力は、ピクセル出力に対する温度の影響を取り除くためにダークピクセル値に基づいてオフセットされるか、スケーリングされ得、これにより、調節されたピクセル出力は、入射光の強度をより正確に表現することができる。
【０１０１】
図９Ｃは、プログラム可能な露光期間を有するピクセルセル９２２の例を示す。図９Ｃに示されているように、ピクセルセル９２２は、電子シャッターゲート６０３へのＡＢ信号、および、転送ゲート６０４へのＴＸ信号を制御するためのコントローラ９２４を含む。コントローラ９２４は、露光期間の継続時間を示す入力９２６を受け入れ、露光期間をセットするために、図６Ｂで説明されたような、ＡＢ信号の放出とＴＸ信号の放出との間の時間差を制御することができる。図７Ｃのピクセルアレイプログラミングマップ７２０ｂは、各ピクセルセルについての露光期間の継続時間を伝えるために使用され得、継続時間情報は、列バスＣおよび／または行バスＲを介して各ピクセルセルの構成メモリに転送され得る。いくつかの例では、ピクセルセル９２２の露光期間は、図９Ｂで説明されたような較正のためのダークピクセルデータを生成するように、ゼロにセットされ得る。いくつかの例では、プログラム可能な露光期間も、たとえば、これらの露光期間の開始にピクセルセルのグループを選択的にオンにすること、および、これらの露光期間の終了にピクセルセルのグループをオフにすることに基づいて実装され得る。
【０１０２】
図９Ｄは、異なる波長の光を測定するように、または、ピクセルデータ出力を生成しないように構成され得るピクセルセル９３２の例を示す。図９Ｄに示されているように、ピクセルセル９３２は、第１のフォトダイオード９３４、第１のフォトダイオード有効化ゲート９３６、第２のフォトダイオード９３８、および第２のフォトダイオード有効化ゲート９４０を含む。第１のフォトダイオード９３４は、赤外線波長範囲で光を測定するように構成され得、第２のフォトダイオード９３８は、可視波長範囲で光を測定するように構成され得る。図９Ｄには示されていないが、各フォトダイオードは、電子シャッターゲートおよび転送ゲートと連結され得ることを理解されたい。ピクセルセル９３２は、３つのモードのうちの１つを動作させるように構成され得る。第１のモードでは、ＩＲ＿ｅｎ信号がアサートされ得、これにより、第１のフォトダイオード有効化ゲート９３６が、測定のために、第１のフォトダイオード９３４から電荷貯蔵デバイス６０６に電荷を転送することを可能にする。第２のモードでは、ＶＩＳ＿ｅｎ信号がアサートされ得、これにより、第２のフォトダイオード有効化ゲート９４０が、測定のために、第２のフォトダイオード９３８から電荷貯蔵デバイス６０６に電荷を転送することを可能にする。第１のモードと第２のモードの両方で、電荷の量子化を実施するために、比較器９０４および電圧バッファ９０８が有効化される。第３のモードでは、比較器９０４および電圧バッファ９０８が無効化され、ピクセルセル９３２はピクセルデータを出力しない。ＩＲ＿ｅｎ信号、ＶＩＳ＿ｅｎ信号、およびＯｎ／Ｏｆｆ信号は、列バスＣおよび／または行バスＲを介して、ならびに、図７Ｃのピクセルアレイプログラミングマップ７２０ｂに基づいて、各ピクセルセルの構成メモリに提供され得る。いくつかの例では、ピクセルセル９３２を備える画像センサーは、２Ｄ−３Ｄ検知の融合を提供するために、（可視光の検知に基づいて）２Ｄ画像フレームを、および、（赤外光の検知に基づいて）３Ｄ画像フレームを、その時々において生成するように構成され得る。
【０１０３】
図９Ｅは、構成可能な量子化解像度／ビット幅を有することができるピクセルセル９４２の例を示す。量子化解像度は、図６Ｃで説明されたような、カウンタによってカウンタ値が更新される頻度をセットすることに基づいてプログラムされ得る。図９Ｅに示されているように、ピクセルセル９４２の量子化器６０７は、デフォルトクロックであり得るクロック信号ＣＬＫ０と、ＣＬＫ０より速くまたは遅く動くことができるクロック信号ＣＬＫ１とを選択して、量子化解像度を高くまたは低くするための、ローカルカウンタ９４４およびクロックマルチプレクサ９４６を含み得る。クロック信号の選択は、ＲＥＳ＿ＳＥＬ信号に基づくことができる。いくつかの例では、ＣＬＫ０およびＣＬＫ１クロック信号、ならびにＲＥＳ＿ＳＥＬ信号は、列バスＣおよび／または行バスＲを介して、ならびに、図７Ｃのピクセルアレイプログラミングマップ７２０ｂに基づいて、ピクセルセルに供給され得る。一方で、ピクセルデータ出力モジュール８０７も、プログラミングマップ解析器８０２からの制御信号に基づいて、より低い量子化解像度、およびより狭いビット幅を有するピクセルセルから出力されたピクセルデータの一定のビット（たとえば、最上位ビット）の読出しをスキップするように構成され得る。いくつかの例では、量子化解像度／ビット深度のプログラミングは、ピクセルデータの検知および送信の効率を最大化させるように実施され得る。たとえば、アプリケーションに関係情報を提供しないと決定されたピクセルセルは、ピクセルデータを生成するのを無効化され得、または、より低い量子化解像度でピクセルデータを生成するように構成され得、関係情報を提供すると決定されたピクセルセルは、より高い量子化解像度でピクセルデータを生成するように構成され得る。
【０１０４】
クロック周波数を変えることに加えて、量子化解像度を変えるために他の技法が利用可能である。たとえば、比較器９０４のバイアス電流は、量子化解像度をセットすることもできる比較器９０４の利得をセットするように調節され得る。別の例として、メモリ９０６のビットのサブセットは、ビット深度を変えるために、有効化または無効化されるようにパワーゲートされ得る。各ピクセルに対するバイアス電流およびビット深度は、ピクセルアレイプログラミングマップ７２０に示され得る。
【０１０５】
図９Ｆは、ホストデバイスに送信されるピクセルデータを低減することができるピクセルビニング動作をグループとして実施するように構成され得る２つのピクセルセル９５２ａおよび９５２ｂを示す。ピクセルセル９５２ａは、グループ内のマスタピクセルセルとして指名され得、電圧合計回路９５４および電圧マルチプレクサ９５６を含み得る。ピクセルビニング方式で動作するとき、ピクセルセル９５２ａおよび９５２ｂのバッファされたアナログ電圧９６０ａおよび９６０ｂは、合計された電圧９６２を生成するために電圧合計回路９５４によって合計され得る。電圧マルチプレクサ９５６は、量子化を実施して、グループを表すピクセルデータを生成するために、電圧合計回路９５４から量子化器６０７ａの比較器９０４ａに合計された電圧９６２を転送するように、ＳＵＭ信号によって制御され得る。その上、ピクセルセル９５２ｂの量子化器６０７ｂの比較器９０４ｂは、ピクセルセル９５２ｂにおけるピクセルデータの生成を無効化するために、反転されたＳＵＭ信号（−ｓ−ｕ−  Ｍ−）によって無効化され得る。ピクセルビニング方式が無効化されると、電圧マルチプレクサ９５６は、量子化がピクセルデータを出力するために、バッファされたアナログ電圧９６０ａを比較器９０４ａに転送するように、ＳＵＭ信号によって制御され得、ピクセルセル９５２ｂの量子化器６０７ａの比較器９０４ａも、バッファされたアナログ電圧９６０ｂを量子化して、ピクセルデータを出力するために有効化され得る。いくつかの例では、前述のピクセルビニング方式は、ピクセルアレイプログラミングマップ７２０ａにおいて、マスタピクセルセルに対応するプログラミングデータを１にセットすることによってアクティブ化され得る。列コントローラ８０４および行コントローラ８０６は、プログラミングマップ解析器８０２からの制御信号８０８および８１０に基づいてマスタピクセルセルを識別し、ピクセルビニング動作を実施するために、ＳＵＭ信号をマスタピクセルセルに、および、グループ内の他のピクセルセルに、送信することができる。いくつかの例では、ピクセルビニング動作を実施するピクセルのグループは、ランダム関数に基づいて選択され得る。選択されたグループのマスタピクセルセルに対応するプログラミングデータは、ピクセルアレイプログラミングマップ７２０ａにおいて１にセットされ得、他のグループのマスタピクセルセルに対応するプログラミングデータは、０にセットされ得る。
【０１０６】
ピクセルビニングに加えて、ピクセルデータを圧縮するために、他の技法が採用され得る。１つの例は圧縮式検知である。圧縮式検知では、選択された行／列にまたがるピクセル値が合計され得る。異なるフレームは、合計された異なる行／列を有することができ、これにより、フレーム内のピクセルの数より少ない要素を有する１つまたは複数のベクトルに、各フレームのピクセルデータを圧縮することを可能にする。圧縮式検知を実施するために、ピクセルセルアレイ７１８の各行または各列は、加算器を含むことができる。ピクセルアレイプログラミングマップ７２０ａに基づいて、ピクセルセルの１つまたは複数の行／列は、合計のためにピクセルデータを加算器に出力するように制御され得、合計されたピクセルデータは、次に、選択された行／列の個々のピクセルセルのピクセルデータの代わりに、ピクセルデータ出力モジュール８０７に転送され得る。
【０１０７】
図１０Ａは、ピクセルデータ出力モジュール８０７の構成要素の例を示し、図１０Ｂは、ピクセルデータ出力モジュール８０７の動作の例を示す。図１０Ａに示されているように、ピクセルデータ出力モジュール８０７は、出力コントローラ１００２、検知増幅器１００４のアレイ、およびパラレルシリアルデータコンバータ１００６を含み得る。検知増幅器１００４のアレイは、それぞれがピクセルセルの列に対応する出力バスＤ０、Ｄ１、〜Ｄｉから受け取られたデジタルピクセルデータ出力の信号レベルを増幅し、増幅した信号をパラレルシリアルデータコンバータ１００６に送信することができる。パラレルシリアルデータコンバータ１００６は、増幅した信号をパラレルデータとして受け取り、シリアルデータストリーム１０１０の形式にパラレルデータ出力をシフトするためのシフトレジスタ（図１０Ａに図示せず）を含むことができる。ピクセルデータ出力モジュール８０７は、ＭＩＰＩなどの所定のプロトコルに従ってシリアルデータストリーム１０１０を送信するためのトランスミッタ回路（図１０Ａに図示せず）をさらに含む。
【０１０８】
出力コントローラ１００２は、プログラミングマップ解析器８０２からの制御信号８０８および８１０に基づいて、検知増幅器１００４のアレイ、およびパラレルシリアルデータコンバータ１００６の動作を制御することができる。制御信号８０８および８１０は、たとえば、一定のピクセルセルにおけるピクセルデータ生成が無効化されること、一定のピクセルセルのピクセルデータが他のピクセルセルとは異なるビット幅を有すること、等を示し得る。たとえば、図１０Ｂを参照すると、出力コントローラ１００２は、（ピクセルアレイプログラミングマップ７２０から導出された）制御信号８０８および８１０に基づいて、ピクセル出力生成がピクセルセル（１，０）および（２，０）において無効化されたことを識別することができる。この情報に基づいて、ピクセルセル（０，０）から（３，０）の行に対して出力バスの読出しを実施すると、出力コントローラ１００２は、シリアルデータストリーム１０１０にピクセルセル（１，０）および（２，０）からの出力を含まないように、パラレルシリアルデータコンバータ１００６を制御することができ、これにより、データストリーム１０１０は、ピクセルセル（０，０）からのピクセルデータの直前にピクセルセル（３，０）からピクセルデータを含むことができる。別の例として（図１０Ｂに図示せず）、ピクセルアレイプログラミングマップ７２０は、ピクセルセル（０，０）によって出力されたピクセルデータが全部のビット深度を有し、ピクセルセル（３，０）によって出力されたピクセルデータが半分のビット深度を有することを示し得る。（制御信号８０８および８１０に反映された）この情報に基づいて、出力コントローラ１００２は、シリアルデータストリーム１０１０にピクセルセル（０，０）からの全部の出力を含むが、データストリーム１０１０内の、ピクセルセル（３，０）からの出力の半分（たとえば、最上位ビット）をスキップするように、パラレルシリアルデータコンバータ１００６を制御することができる。さらに、ピクセルセルの全行がピクセルデータを生成するのを無効化された場合、出力コントローラ１００２は、検知増幅器１００４の全アレイも電源オフにすることができ、ピクセルセルのこの行からの出力をパラレルシリアルデータコンバータ１００６に送信しない。
【０１０９】
ホストデバイス７０２は、ピクセルアレイプログラミングマップ７２０に基づいて、データストリーム１０１０からのピクセルデータの受取りと抽出を同期させることもできる。たとえば、ピクセルアレイプログラミングマップ７２０に基づいて、ホストデバイス７０２は、データストリーム１０１０のビットの第１のセットが、ピクセルセル（０，０）のピクセルデータであること、データストリーム１０１０のビットの第１のセットの直後のビットの第２のセットが、ピクセルセル（３，０）のピクセルデータであること、等を決定することができる。
【０１１０】
図１１Ａを参照すると、いくつかの例では、画像センサー７０４は、ピクセルセルアレイ７１８によって出力されたピクセルデータの後処理を実施し、後処理したデータ１１０２をホストデバイス７０２に送信するためのポストプロセッサ１１００を含むことができる。後処理は、ホストデバイス７０２に送信されるデータの容量をさらに低減するために実施され得る。いくつかの例では、ポストプロセッサ１１００は、画像センサー７０４の少なくともいくつかの構成要素と同じチップ（たとえば、同じ半導体基板）上にあり得る。たとえば、画像センサー７０４は、第１の半導体基板と第２の半導体基板のスタックを含み得、第１の半導体基板は、ピクセルセルアレイ７１８を有し、第２の半導体基板は、周辺回路７１６およびポストプロセッサ１１００を有する。
【０１１１】
ポストプロセッサ１１００は、データ圧縮動作を実施するための、ピクセル圧縮モジュール１１０４、ドット抽出モジュール１１０６、等を含み得る。いくつかの例では、ピクセル圧縮モジュール１１０４は、たとえば、選択されたグループのピクセルセルのピクセルデータ出力を合計し、選択されたグループの出力を表すために、合計されたピクセルデータ出力をホストデバイス７０２に送信することに基づいて圧縮式検知動作を実施し得る。いくつかの例では、ピクセル圧縮モジュール１１０４は、時間的な圧縮動作を実施することができ、この中で、ピクセル圧縮モジュール１１０４は、第１のフレームレートでピクセルセルアレイ７１８からのピクセルデータのフレームを処理すること、ピクセルデータを圧縮すること、および、第１のフレームレートより低い第２のフレームレートで、圧縮されたピクセルデータをホストデバイス７０２に出力することができる。圧縮は、たとえば、ムービングピクチャーエキスパーツグループ（ＭＰＥＧ）規格に基づくことができる。いくつかの例では、ピクセル圧縮モジュール１１０４は、（たとえば、ニューラルネットワーク処理に基づいて）ピクセルデータから画像特徴を抽出し、画像特徴を収めたピクセルデータだけをホストデバイス７０２に送信することもできる。
【０１１２】
ポストプロセッサ１１００は、ＨＤＲ多重露光キャプチャ、オプティカルフロー、等などの、他の異なるタイプの後処理を実施することもできる。ＨＤＲは、異なる露光時間の複数のフレームを組み合わせる。そのような動作は、ピクセルが飽和した場合、または、信号がノイズフロアに埋もれた場合に、データを捨てることを可能にする。そのような動作は、複数の測定にわたる光子束を平均することも可能にする。オプティカルフローでは、２つのフレームの間の時間差は、たとえば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を使用して、時間導関数と空間導関数を計算することになる。導関数は、画像特徴の抽出、コンピュータビジョン、等など、様々な用途のために使用され得る。
【０１１３】
さらに、ドット抽出モジュール１１０６は、反射された構造化光のパターン（たとえば、ドット）の（ピクセルまたはサブピクセル解像度で）画像位置を決定することができ、３Ｄ検知のために使用され得る。図１１Ｂは、ドット抽出動作１１２０のフローの例を示す。図１１Ｂを参照すると、ドット抽出動作１１２０は、ぼかし動作１１２２、画像勾配推定動作１１２４、コーナー検出動作１１２６、およびサブピクセル改良動作１１２８を含み得る。ぼかし動作１１２２は、空間的ノイズおよび時間的ノイズを低減するために、入力画像のピクセルデータのグループと、ぼかしカーネルとの間の畳込動作を実施すること含み得る。畳込動作の結果は、入力画像と同じ次元を有する、ノイズ処理後のピクセルデータの配列として、ぼかしバッファに記憶され得る。
【０１１４】
画像勾配推定動作１１２４は、入力画像の各ピクセルに対して、（図１１ＡにＩｘで表された）水平次元についての偏導関数、および、（図１１ＢにＩｙで表された）垂直次元についての偏導関数の推定を計算するために、ソーベルカーネルによるノイズ処理後のピクセルデータのグループの間の畳込動作を実行することを含み得る。
【０１１５】
コーナー検出動作１１２６は、偏導関数ＩｘおよびＩｙのアレイに対して実施され得る。いくつかの例では、コーナー検出動作１１２６は、以下の方程式に基づく偏導関数ＩｘおよびＩｙの配列のウィンドウＷ内で、偏導関数ＩｘおよびＩｙに基づいて行列Ｍを計算することができる。
【０１１６】
2021525019.tif 000003
【０１１７】
方程式１では、行列Ｍの要素ｍ１１は、ウィンドウＷ内の各ピクセルに対するＩｘの２乗の積の合計によって計算される。行列Ｍの要素ｍ２２は、ウィンドウＷ内の各ピクセルに対するＩｙの２乗の積の合計によって計算される。その上、要素ｍ１２およびｍ２１のそれぞれは、ウィンドウＷ内の各ピクセルに対するＩｘおよびＩｙの積の合計によって計算される。複数の行列Ｍは、偏導関数ＩｘおよびＩｙの配列の異なるウィンドウＷに対して計算され得る。
【０１１８】
各行列Ｍ（およびウィンドウＷ）に対して、ＨａｒｒｉｓコーナーレスポンスＲが、以下の方程式に基づいて計算され得る。
【０１１９】
Ｒ  ｄｅｔ（Ｍ）−ｋ（ｔｒａｃｅ（Ｍ））２  （方程式２）
【０１２０】
方程式２では、ｄｅｔ（Ｍ）は、行列Ｍの行列式を指し、ｔｒａｃｅ（Ｍ）は、行列Ｍの対角線要素ｍ１１およびｍ２２の合計を指し、ｋは、経験的に決定された定数であり得、０．０４と０．０６の間の範囲内であり得る。しきい値より大きいＨａｒｒｉｓコーナーレスポンスＲを有するウィンドウは、ウィンドウが十分に大きい画像勾配を収め、そのようなウィンドウは、反射された構造化光のパターン（たとえば、ドット）を含む可能性が高いことを示すことができる。ウィンドウのピクセル位置は、ドットのピクセル位置の粗い推定を表すことができ、ドットの複数のピクセル位置は、コーナー検出動作１１２６から計算され得る。
【０１２１】
サブピクセル改良動作１１２８は、次に、ドットのピクセル位置に対して実施され得る。いくつかの例では、単一のカーネル（たとえば、３ｘ３カーネル、４ｘ４カーネル、またはピクセルのグループ）内の画像データにガウス曲線をフィットさせて、サブピクセルの精密さでドットの図心を決定するために、ガウス−ニュートン最適化動作が実施され得る。
【０１２２】
いくつかの例では、ホストデバイス７０２は、ピクセルアレイプログラミングマップ７２０を使用して、照明器と、ピクセルセルアレイ７１８における光測定動作との間の光投影動作を協調させることもできる。図１２は、そのような用途の例を示す。図１２に示されているように、照明器１２００は、物体１２０２に向けて構造化光を投影するように、ホストデバイス７０２によって制御され得、ピクセルセルアレイ７１８は、物体１２０２によって反射された光を検出して、３Ｄ検知を実施することができる。照明器１２００は、スキャンパターンに基づいて物体１２０２の一部だけを照明することだけを行うように、照明器１２００によって制御され得る。たとえば、照明器１２００は、発光体（たとえば、発光ダイオード）のアレイを含み得、部分１２０４などの発光体の一部だけが、物体１２０２の一部を照明するために、ホストデバイス７０２によって一度にアクティブにされる。別の例として、照明器１２００は、単一の照明器および鏡を含み得る。ホストデバイス７０２は、単一の照明器によって生成された光を物体１２０２の一部に向けて反射するように鏡を制御することができる。
【０１２３】
ホストデバイス７０２は、物体１２０２によって反射された光を検出するために、たとえば、サブセット１２０６などのピクセルセルアレイ７１８のピクセルセルのサブセットを一度に有効化することによって、物体１２０２の照明を、ピクセルセルアレイ７１８における光測定動作と同期することができる。サブセットは、照明シーケンス中のどんなときでも、ピクセルセルの選択されたサブセットが、物体１２０２によって反射された光を受け取る可能性が最も高くなるような照明シーケンスに基づいて決定される。同期を実施するために、ホストデバイス７０２は、照明器１２００の発光体の活性化のシーケンス、照明器１２００の鏡の動きのシーケンス、等によって反射されるような、照明器１２００による照明のシーケンスに基づいて、ピクセルアレイプログラミングマップ７２０を生成することができる。
【０１２４】
図１２で説明された技法は、関係情報を伴う領域を照明することだけによって、電力を低減するために使用され得る。たとえば、ホストデバイス７０２は、関係情報を収める物体１２０２の比較的小さいエリアに光を投影するように照明器１２００を制御することができ、一方で、物体１２０２から反射された光を、この小さいエリアから検出するために、ピクセルセルアレイ７１８のより多くの数のピクセルセルを割り当てる。そのような仕組みは、ピクセルセルアレイ７１８の全体的な寸法を必ずしも増加させずに、高い解像度の３Ｄ検知も可能にする。その上、ピクセルセルアレイ７１８のピクセルセルのサブセットだけがピクセルデータを送信するので、ピクセルデータの送信および処理のための帯域幅および電力は、同様に低減され得る。
【０１２５】
図１３は、画像データを生成するための方法１３００の例のフローチャートである。方法１３００は、たとえば、画像処理システム７００などの、画像処理システムによって実施され得る。画像処理システムは、ピクセルセルアレイ７１８などのピクセルセルのアレイを含み得、ここで、ピクセルセルのアレイの各ピクセルセルは、光測定動作を実施し、光測定動作のデジタル出力を生成するように構成される。各ピクセルセルは、個別にアドレス可能な構成メモリ（たとえば、構成メモリ８３０）にも関連付けられる。画像処理システムは、ピクセルセルのアレイにおける光測定動作を構成することができる周辺回路（たとえば、周辺回路７１６）、および、ピクセルセルのアレイのうちの少なくともいくつかのデジタル出力に基づいて画像フレームを生成するように構成された画像プロセッサ（たとえば、ホストプロセッサ７０６）をさらに含む。
【０１２６】
方法１３００は、ステップ１３０２で開始し、ここで、周辺回路７１６は、ピクセルセルのアレイの各ピクセルセルをターゲットにしたプログラミングデータを含むピクセルアレイプログラミングマップを受け取る。ピクセルアレイプログラミングマップは、たとえば、ピクセルアレイプログラミングマップ７２０を含み得る。いくつかの例では、ピクセルアレイプログラミングマップ７２０の各エントリのプログラミングデータは、シリアルデータのストリームを形成するために、行を左から右に、その後、次の行を左から右に横断することなど、所定のスキャンパターンに従って、順次送信され得る。
【０１２７】
ステップ１３０４では、周辺回路７１６は、ピクセルアレイプログラミングマップからピクセルセルのアレイの第１のピクセルセルのための第１のプログラミングデータを抽出することができる。ステップ１３０６では、周辺回路７１６は、ピクセルアレイプログラミングマップからピクセルセルのアレイの第２のピクセルセルのための第２のプログラミングデータを抽出することができる。上記で説明されたように、各エントリに対するプログラミングデータは、スキャンパターン、およびエントリが受け取られた順序に基づいて、シリアルデータのストリームから抽出され、識別され得る。ピクセルセルとエントリとの間のマッピングに基づいて、周辺回路７１６は、ピクセルアレイプログラミングマップから第１および第２のプログラミングデータを識別し、抽出することができる。
【０１２８】
ステップ１３０８では、周辺回路７１６は、第１のプログラミングデータに基づいて第１のピクセルセルにおける第１の光測定動作を構成することができる。構成は、第１のピクセルセルの構成メモリを選択して、第１のプログラミングデータを受け取るための、行バスおよび列バスそれぞれに沿った１つまたは複数の行信号および１つまたは複数の列信号を送信することに基づくことができる。構成は、たとえば、第１のピクセルセルにおけるピクセルデータの生成を有効化／無効化すること、（ダークピクセルデータを生成するための）ダークモードで、または通常モードで動作するように第１のピクセルを構成すること、測定の波長範囲、露光期間の継続時間、量子化解像度、ピクセルビニング動作、圧縮式検知、等をセットすることを含むことができる。
【０１２９】
ステップ１３１０では、周辺回路７１６は、第２のプログラミングデータに基づいて第２のピクセルセルにおける第２の光測定動作を構成することができる。構成は、第２のピクセルセルの構成メモリを選択して、第２のプログラミングデータを受け取るための、行バスおよび列バスそれぞれに沿った１つまたは複数の行信号および１つまたは複数の列信号を送信することに基づくことができる。構成は、たとえば、第１のピクセルセルにおけるピクセルデータの生成を有効化／無効化すること、（ダークピクセルデータを生成するための）ダークモードで、または通常モードで動作するように第１のピクセルを構成すること、測定の波長範囲、露光期間の継続時間、量子化解像度、ピクセルビニング動作、圧縮式検知、等をセットすることを含むことができる。第１のプログラミングデータおよび第２のプログラミングデータは、異なり得る。
【０１３０】
ステップ１３１２では、画像プロセッサは、第１のピクセルセルまたは第２のピクセルセルのうちの少なくとも１つによって出力されたピクセルデータに基づいて画像フレームを生成することができる。たとえば、ピクセルセルは、ピクセルデータ出力モジュールに、ピクセルデータを出力することができ、ピクセルデータ出力モジュールは、ピクセルデータを画像センサーにストリームすることができる。画像センサーは、ピクセルデータに基づいて画像フレームを生成するようにアプリケーションを動作させることができる。
【０１３１】
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現され得る。
【０１３２】
説明されるステップ、動作、またはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
【０１３３】
本開示の実施形態はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および／あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または、増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【０１３４】
本開示の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。
【０１３５】
本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
【図１Ａ】
2021525019.tif 000004
【図１Ｂ】
2021525019.tif 000005
【図２】
2021525019.tif 000006
【図３】
2021525019.tif 000007
【図４】
2021525019.tif 000008
【図５】
2021525019.tif 000009
【図６Ａ】
2021525019.tif 000010
【図６Ｂ】
2021525019.tif 000011
【図６Ｃ】
2021525019.tif 000012
【図６Ｄ】
2021525019.tif 000013
【図６Ｅ】
2021525019.tif 000014
【図７Ａ】
2021525019.tif 000015
【図７Ｂ】
2021525019.tif 000016
【図７Ｃ】
2021525019.tif 000017
【図８Ａ】
2021525019.tif 000018
【図８Ｂ】
2021525019.tif 000019
【図９Ａ】
2021525019.tif 000020
【図９Ｂ】
2021525019.tif 000021
【図９Ｃ】
2021525019.tif 000022
【図９Ｄ】
2021525019.tif 000023
【図９Ｅ】
2021525019.tif 000024
【図９Ｆ】
2021525019.tif 000025
【図１０Ａ】
2021525019.tif 000026
【図１０Ｂ】
2021525019.tif 000027
【図１１Ａ】
2021525019.tif 000028
【図１１Ｂ】
2021525019.tif 000029
【図１２】
2021525019.tif 000030
【図１３】
2021525019.tif 000031
【国際調査報告】
2021525019.tif 000032
2021525019.tif 000033
2021525019.tif 000034
2021525019.tif 000035