(57)【要約】  本開示は、概して、ユーザの実際の瞳孔位置または予測した瞳孔位置についての情報を使用して、ユーザが１または複数の画像を見る際に介する光学レンズおよびディスプレイアセンブリに固有の光学歪みを補正するための技術に関する。説明する技術は、光学レンズおよびディスプレイアセンブリに固有の光学歪みを特定およびマッピングすることと、マッピングされたかかる光学歪みを使用して、画像を受け取る装着者または他のユーザの瞳孔位置などに少なくとも部分的に基づいて、当該アセンブリを介して当該装着者または他のユーザに表示される画像を補正することとを含んでよい。一例として、１または複数の光学レンズが、ヘッドマウントディスプレイ（ＨＭＤ）の内部に取り付けられてよく、当該ＨＭＤはまた、装着者の目のための表示パネルまたは他の画像源も備え、その場合、１または複数の瞳孔追跡のメカニズムがＨＭＤに統合されてよい。
2020513580.tif 000002
【特許請求の範囲】
【請求項１】
光学レンズについて、１または複数のハードウェアプロセッサが、複数の瞳孔位置の各々の光学歪みマッピング情報を生成する段階であって、前記光学レンズは、表示デバイスと前記複数の瞳孔位置を有する目の位置領域との間に配置され、前記表示デバイスからの画像は、前記光学レンズを介して前記複数の瞳孔位置において受け取られ、当該段階は、前記複数の瞳孔位置の各々について、前記表示デバイス上の画素をアクティブにする段階と、前記複数の瞳孔位置の各々での、アクティブにされた前記画素からの光を前記光学レンズを介して受け取る帰結位置を決定する段階とを有する、生成する段階と、
前記光学レンズを介して１または複数の画像を人間の目に表示するべく、少なくとも１つのハードウェアプロセッサが、生成された前記光学歪みマッピング情報を使用する段階であって、前記１または複数の画像の各画像について、
前記人間の目の瞳孔の瞳孔位置を決定する段階、
前記複数の瞳孔位置のうち、決定された前記瞳孔位置から規定された距離内にある１または複数の瞳孔位置を選択する段階、
前記光学レンズがもたらす光学歪みを低減するための前記各画像の調整の一部として、選択された前記１または複数の瞳孔位置の前記生成された光学歪みマッピング情報を使用する段階であって、調整された前記各画像について、前記表示デバイス上でアクティブにされる画素の位置を変更して、前記決定された瞳孔位置において受け取る光を調整前の前記各画像に対応させることを含む、使用する段階、および、
前記調整された各画像を前記表示デバイスに表示することを開始する段階
を有する、使用する段階と
を備える
コンピュータ実装方法。
【請求項２】
前記１または複数の画像のうちの１つの画像について前記生成された光学歪みマッピング情報を使用する前記段階は、前記１つの画像について、前記複数の瞳孔位置のうちの前記決定された瞳孔位置に最も近い１つの瞳孔位置を特定することによって、前記１つの画像について前記１または複数の瞳孔位置を選択する前記段階を行う段階と、前記決定された瞳孔位置と特定された前記１つの瞳孔位置との間の距離を使用して前記特定された１つの瞳孔位置の前記光学歪みマッピング情報を修正することによって、前記１つの画像について、前記決定された瞳孔位置の光学歪みマッピング情報を見積もる段階と、前記１つの画像の前記調整に、見積もった前記光学歪みマッピング情報を使用する段階とを有する、
請求項１に記載のコンピュータ実装方法。
【請求項３】
前記１または複数の画像は複数の画像を含み、前記複数の画像のうちの第２の画像について前記生成された光学歪みマッピング情報を使用する前記段階は、前記第２の画像について、前記複数の瞳孔位置のうちの、前記決定された瞳孔位置までの前記規定された距離内にある１より多くの瞳孔位置を特定することによって、前記第２の画像について前記１または複数の瞳孔位置を選択する前記段階を行う段階と、特定された前記１より多くの瞳孔位置の前記光学歪みマッピング情報を組み合わせることによって、前記第２の画像について、前記決定された瞳孔位置の光学歪みマッピング情報を見積もる段階と、前記第２の画像の前記調整に、見積もった前記光学歪みマッピング情報を使用する段階とを有する、
請求項２に記載のコンピュータ実装方法。
【請求項４】
前記１つの画像の前記調整は、前記１つの画像についてアクティブにする複数の画素のうちの少なくともいくつかの画素の各画素について、前記決定された瞳孔位置での前記各画素に対応する位置において光を表示させるべく、前記複数の画素のうちの、アクティブにするべき１または複数の他の画素を決定することを含む、
請求項２または３に記載のコンピュータ実装方法。
【請求項５】
前記１または複数の画像のうちの１つの画像について前記生成された光学歪みマッピング情報を使用する前記段階は、前記１つの画像について、前記複数の瞳孔位置のうちの、前記決定された瞳孔位置までの前記規定された距離内にあり、かつ、前記決定された瞳孔位置を少なくとも部分的に囲む１より多くの瞳孔位置を特定することによって、前記１つの画像について前記１または複数の瞳孔位置を選択する前記段階を行う段階と、特定された前記１より多くの瞳孔位置の前記光学歪みマッピング情報を組み合わせて使用することによって、前記１つの画像について、前記決定された瞳孔位置の光学歪みマッピング情報を見積もる段階と、前記１つの画像の前記調整に、見積もった前記光学歪みマッピング情報を使用する段階とを有する、
請求項１から４の何れか一項に記載のコンピュータ実装方法。
【請求項６】
前記１つの画像の前記調整は、前記１つの画像についてアクティブにする複数の画素のうちの少なくともいくつかの画素の各画素について、前記決定された瞳孔位置での前記各画素に対応する位置において光を表示させるべく、前記複数の画素のうちの、アクティブにするべき１または複数の他の画素を決定することを含む、
請求項５に記載のコンピュータ実装方法。
【請求項７】
前記光学レンズがもたらす光学歪みを低減するための前記各画像の前記調整は、前記各画像が表示される前記人間の目に固有の更なる光学歪みについての情報を取得することと、前記更なる光学歪みを補正するべく前記各画像をさらに調整することとをさらに含む、
請求項１から６の何れか一項に記載のコンピュータ実装方法。
【請求項８】
前記アクティブにされる画素はそれぞれ、異なる発光材料を使用して、または、異なるカラーフィルタを使用して、動作中、赤、緑、または青のうちの１つの光を発するよう構成される副画素である、
請求項１から７の何れか一項に記載のコンピュータ実装方法。
【請求項９】
前記瞳孔の前記瞳孔位置を決定する前記段階は、瞳孔追跡機能を使用して、現在の実際の瞳孔位置を決定する段階と、前記調整された各画像の前記表示デバイス上への前記表示が行われる将来時間での前記瞳孔の予測した将来位置を反映するよう、決定された前記現在の実際の瞳孔位置を調整する段階とを有する、
請求項１から８の何れか一項に記載のコンピュータ実装方法。
【請求項１０】
前記光学レンズおよび前記表示デバイスは、ヘッドマウントディスプレイの一部であり、前記人間の目は、前記ヘッドマウントディスプレイを装着している人間の目であり、前記少なくとも１つのハードウェアプロセッサは、前記ヘッドマウントディスプレイのグラフィック処理ユニットを含む、
請求項１から９の何れか一項に記載のコンピュータ実装方法。
【請求項１１】
前記１または複数のプロセッサは、前記ヘッドマウントディスプレイの製造に関与する１または複数のコンピューティングシステムの一部である、
請求項１０に記載のコンピュータ実装方法。
【請求項１２】
前記光学レンズおよび前記表示デバイスは、カメラ、望遠鏡、顕微鏡、測量スコープ、または双眼鏡のうちの１または複数のものの一部である、
請求項１から１１の何れか一項に記載のコンピュータ実装方法。
【請求項１３】
前記表示デバイスは複数の画素を含み、前記光学レンズについての、前記複数の瞳孔位置の各々の前記光学歪みマッピング情報を生成する前記段階は、
複数の感光位置を有する画像センサを前記複数の瞳孔位置の各々に配置する段階と、
前記表示デバイス上の１または複数の画素による群を順次連続してアクティブにし、アクティブにされた前記１または複数の画素による群からの光を前記光学レンズを介して受け取る、前記画像センサの帰結感光位置を決定する段階と、
前記光学レンズおよび前記複数の瞳孔位置の各々についての、前記複数の瞳孔位置の各々での感光位置を前記表示デバイス上の対応する画素にマッピングする光学歪みマッピングデータ構造を格納する段階と
を有する、
請求項１から１２の何れか一項に記載のコンピュータ実装方法。
【請求項１４】
前記複数の瞳孔位置の各々は、前記複数の瞳孔位置の各々内に複数の位置を含み、前記光学レンズについて、前記複数の瞳孔位置の各々の前記光学歪みマッピング情報を生成する前記段階は、前記複数の瞳孔位置の各々内の前記複数の位置の各々について、前記複数の画素のうちの、前記複数の瞳孔位置の各々での前記複数の位置の各々に光を提供する１または複数の画素を決定する段階をさらに有する、
請求項１３に記載のコンピュータ実装方法。
【請求項１５】
少なくとも１つのハードウェアプロセッサに、
光学レンズについて、複数の瞳孔位置のうちの１または複数の瞳孔位置の各々の光学歪みマッピング情報を取得する手順であって、前記光学レンズは、表示デバイスと前記複数の瞳孔位置を有する目の位置領域との間に配置され、前記表示デバイスからの画像は、前記光学レンズを介して前記複数の瞳孔位置において受け取られ、前記光学歪みマッピング情報は、前記１または複数の瞳孔位置の各々について、前記１または複数の瞳孔位置の各々での、前記表示デバイス上の対応するアクティブにされた画素から前記光学レンズを介して光を受け取る位置を特定する、取得する手順と、
前記光学レンズを介して１または複数の画像を人間の目に表示するべく、前記少なくとも１つのハードウェアプロセッサが、前記光学歪みマッピング情報を使用する手順であって、前記１または複数の画像の各画像について、
前記人間の目の瞳孔の瞳孔位置を決定する手順、
決定された前記瞳孔位置から前記１または複数の瞳孔位置のうちの少なくとも１つの瞳孔位置までの距離を決定する手順、
前記光学レンズがもたらす光学歪みを低減するための前記各画像の調整の一部として、前記少なくとも１つの瞳孔位置の前記光学歪みマッピング情報と決定された前記距離とを使用する手順であって、調整された前記各画像について、前記表示デバイス上でアクティブにされる画素の位置を変更して、前記決定された瞳孔位置において受け取る光を調整前の前記各画像に対応させることを含む、使用する手順、および、
前記調整された各画像を前記表示デバイス上に表示することを開始する手順
を有する、使用する手順と
を少なくとも備える複数の手順を行わせるための
プログラム。
【請求項１６】
前記複数の瞳孔位置のうちの前記１または複数の瞳孔位置は、１より多くの瞳孔位置を含み、
前記光学歪みマッピング情報を取得する前記手順は、前記表示デバイス上の画素をアクティブにすること、および、前記１より多くの瞳孔位置の各々での、アクティブにされた前記画素からの光を前記光学レンズを介して受け取る帰結位置を決定することによって、前記１より多くの瞳孔位置の各々について、前記１より多くの瞳孔位置の各々の前記光学歪みマッピング情報を生成する手順と、前記光学レンズについての、前記１より多くの瞳孔位置の各々の得られた光学歪みマッピングデータ構造を格納する手順とを有し、
前記複数の手順は、前記１より多くの瞳孔位置のうちの前記少なくとも１つの瞳孔位置を選択して、距離を決定する前記手順に少なくとも部分的に基づいて、前記調整を使用する手順をさらに備える、
請求項１５に記載のプログラム。
【請求項１７】
前記複数の瞳孔位置のうちの前記１または複数の瞳孔位置は、１より多くの瞳孔位置を含み、
前記光学歪みマッピング情報を取得する前記手順は、前記光学レンズの光学的特性をモデル化する手順、ならびに、前記表示デバイス上の画素のアクティブ化をシミュレーションすること、および、前記１より多くの瞳孔位置の各々での、シミュレーションしたアクティブにされた前記画素からの光を前記光学レンズを介して受け取る帰結位置を決定することによって、前記１より多くの瞳孔位置の各々について、および、モデル化された前記光学的特性に少なくとも部分的に基づいて、前記１より多くの瞳孔位置の各々の前記光学歪みマッピング情報を生成する手順と、前記光学レンズについての、前記１より多くの瞳孔位置の各々の得られた光学歪みマッピングデータ構造を格納する手順とを有し、
前記複数の手順は、前記１より多くの瞳孔位置のうちの前記少なくとも１つの瞳孔位置を選択して、距離を決定する前記手順に少なくとも部分的に基づいて、前記調整を使用する手順をさらに備える、
請求項１５または１６に記載のプログラム。
【請求項１８】
前記瞳孔の前記瞳孔位置を決定する前記手順は、瞳孔追跡機能を使用して、現在の実際の瞳孔位置を決定する手順と、前記調整された各画像の前記表示デバイスへの前記表示が行われる将来時間での前記瞳孔の予測した第１の将来位置を反映させるよう、決定された前記現在の実際の瞳孔位置を調整する手順とを有する、
請求項１５から１７の何れか一項に記載のプログラム。
【請求項１９】
前記瞳孔位置を決定する前記手順は、第１の時間に行われ、前記光学歪みマッピング情報を使用する前記手順は、第２の時間に行われ、前記調整された各画像の前記表示デバイスへの前記表示が行われる前記将来時間での前記瞳孔の第２の将来位置を前記第２の時間に予測する手順を有し、前記光学レンズがもたらす光学歪みを低減するための前記各画像の前記調整は、予測した前記第１の将来位置についての情報と予測した前記第２の将来位置についての情報とを組み合わせることを含む、
請求項１８に記載のプログラム。
【請求項２０】
前記少なくとも１つのハードウェアプロセッサは、ヘッドマウントディスプレイの少なくとも１つのグラフィック処理ユニットを含み、前記ヘッドマウントディスプレイは、前記表示デバイスと前記光学レンズと前記目の位置領域と瞳孔追跡システムとを有し、前記瞳孔位置を決定する前記手順は、前記決定する手順の一部として前記瞳孔追跡システムの使用を含む、
請求項１５から１９の何れか一項に記載のプログラム。
【請求項２１】
１または複数のハードウェアプロセッサと
瞳孔位置光学歪み補正システムと
を備えるシステムであって、
前記瞳孔位置光学歪み補正システムは、前記１または複数のハードウェアプロセッサのうちの少なくとも１つに、
光学レンズについて、複数の瞳孔位置のうちの１より多くの瞳孔位置の各々の光学歪みマッピング情報を取得する手順であって、前記光学レンズは、表示デバイスと前記複数の瞳孔位置を有する目の位置領域との間に配置され、前記表示デバイスからの画像が前記光学レンズを介して前記複数の瞳孔位置において受け取られ、前記光学歪みマッピング情報は、前記１より多くの瞳孔位置の各々について、前記１より多くの瞳孔位置の各々での、前記表示デバイス上の対応するアクティブにされた画素から前記光学レンズを介して光を受け取る位置を特定する、取得する手順と、
前記光学レンズを介して１または複数の画像を人間の目に表示するべく、前記光学歪みマッピング情報を使用する手順であって、前記１または複数の画像の各画像について、
前記人間の目の瞳孔の瞳孔位置についての情報を取得する手順、
前記１より多くの瞳孔位置のうちの１または複数の瞳孔位置を、選択される前記１または複数の瞳孔位置と取得された前記瞳孔位置との間のそれぞれの距離に少なくとも部分的に基づいて選択する手順、
前記光学レンズがもたらす光学歪みを低減するための前記各画像の調整の一部として、選択された前記１または複数の瞳孔位置の前記光学歪みマッピング情報を使用する手順であって、調整された前記各画像について、前記表示デバイス上でアクティブにされる画素の位置を変更して、前記取得された瞳孔位置において受け取る光を調整前の前記各画像に対応させることを含む、使用する手順、および、
前記調整された各画像を前記表示デバイスに表示することを開始する手順
を有する、使用する手順と
を備える複数の手順を行わせるよう構成される、
システム。
【請求項２２】
前記１より多くの瞳孔位置の各々について、前記表示デバイス上の画素をアクティブにし、前記１より多くの瞳孔位置の各々での、アクティブにされた前記画素からの光を前記光学レンズを介して受け取る帰結位置を決定することと、前記光学レンズについての、前記１より多くの瞳孔位置の各々の得られた光学歪みマッピングデータ構造を格納することとによって、前記１または複数のハードウェアプロセッサのうちの少なくとも１つに、前記複数の瞳孔位置の各々の、取得される前記光学歪みマッピング情報を生成させるよう構成されるレンズ歪みマッピングシステムをさらに備える
請求項２１に記載のシステム。
【請求項２３】
瞳孔追跡システムをさらに備え、前記瞳孔位置についての前記情報を取得する前記手順は、前記瞳孔追跡システムを使用して前記瞳孔位置を決定する手順を含む、
請求項２１または２２に記載のシステム。
【請求項２４】
前記表示デバイスと前記光学レンズと前記目の位置領域とを有するヘッドマウントディスプレイをさらに備え、前記１または複数のハードウェアプロセッサは、前記ヘッドマウントディスプレイの少なくとも１つのグラフィック処理ユニットを含む、
請求項２１から２３の何れか一項に記載のシステム。
【請求項２５】
表示パネルを有するヘッドマウントディスプレイデバイスに、前記表示パネルと、人間の目が前記表示パネルが生成する画像を受け取るよう設計される目の位置領域との間に光学レンズを取り付ける段階と、
１または複数のコンピューティングシステムが、前記表示パネルからの画像が前記光学レンズを介して受け取られる、前記目の位置領域の複数の瞳孔位置の各々について、前記ヘッドマウントディスプレイデバイスに取り付けられた前記光学レンズからの前記複数の瞳孔位置の各々での光学歪みマッピング情報を生成する段階であって、前記複数の瞳孔位置の各々について、
前記複数の瞳孔位置の各々に、複数の感光位置の配列を有する画像センサを配置する段階、
前記表示パネル上の画素を順次連続してアクティブにし、アクティブにされた前記画素からの光を前記光学レンズを介して受け取る、前記画像センサの帰結感光位置を決定する段階、および、
前記複数の瞳孔位置の各々での感光位置を前記表示パネル上の対応する画素にマッピングする、前記光学レンズについての、前記複数の瞳孔位置の各々の光学歪みマッピングデータ構造を格納する段階、
を含む生成する段階と、
前記目の位置領域において前記光学レンズを介して画像を人間の目に表示するべく、前記ヘッドマウントディスプレイデバイスに付随する少なくとも１つのハードウェアプロセッサが、生成された前記光学歪みマッピング情報を使用する段階であって、前記画像の各々について、
前記ヘッドマウントディスプレイデバイスの瞳孔追跡機能を使用して前記人間の目の瞳孔の実際の瞳孔位置を決定する段階、
前記複数の瞳孔位置のうち、決定された前記実際の瞳孔位置から規定された距離内にある１または複数の瞳孔位置を選択する段階、
前記決定された実際の瞳孔位置における前記光学レンズがもたらす光学歪みを低減するための前記画像の各々の調整の一部として、格納された１または複数の光学歪みマッピングデータ構造内の、選択された前記１または複数の瞳孔位置の前記生成された光学歪みマッピング情報を使用する段階であって、調整された前記画像の各々について、アクティブにされる画素の位置を変更して、前記決定された瞳孔位置において受け取る光を調整前の前記画像の各々に対応させることを含む、使用する段階、および、
前記調整された画像の各々を前記表示パネルに表示する段階
を有する、使用する段階と
を備える
方法。
【請求項２６】
前記ヘッドマウントディスプレイデバイスは第２の表示パネルと、第２の人間の目が前記第２の表示パネルが生成する画像を受け取るよう設計される第２の目の位置との間の第２の光学レンズをさらに備え、
前記方法は、
１または複数のコンピューティングシステムが、前記第２の表示パネルからの画像が前記第２の光学レンズを介して受け取られる前記第２の目の位置領域における複数の第２の瞳孔位置の各々について、前記複数の第２の瞳孔位置の各々での、前記第２の光学レンズについての第２の光学歪みマッピング情報を生成する段階であって、前記第２の光学歪みマッピング情報は、前記第２の光学レンズに固有、かつ、前記光学レンズについての前記光学歪みマッピング情報とは別個である、生成する段階と、
第２の画像を前記第２の光学レンズを介して前記第２の目の位置領域の第２の人間の目に表示するべく、前記ヘッドマウントディスプレイデバイスに付随する少なくとも１つのハードウェアプロセッサが、生成された前記第２の光学歪みマッピング情報を使用する段階であって、前記第２の画像の各々について、
前記ヘッドマウントディスプレイデバイスの前記瞳孔追跡機能を使用して、前記第２の人間の目の第２の瞳孔の第２の実際の瞳孔位置を決定する段階、
決定された前記第２の実際の瞳孔位置から前記規定された距離内にある、前記複数の第２の瞳孔位置のうちの１または複数の瞳孔位置を選択する段階、
前記決定された第２の実際の瞳孔位置における前記第２の光学レンズがもたらす光学歪みを低減するための前記第２の画像の各々の調整の一部として、選択された前記１または複数の第２の瞳孔位置の前記生成された第２の光学歪みマッピング情報を使用する段階、および、
調整された前記第２の画像の各々を前記第２の表示パネルに表示する段階
を有する使用する段階と
をさらに備える
請求項２５に記載の方法。
【請求項２７】
表示された前記画像および表示された前記第２の画像は、記録または生成されたビデオ情報のフレームであり、前記画像を表示するべく前記生成された光学歪みマッピング情報を使用する前記段階、および、前記第２の画像を表示するべく前記生成された第２の光学歪みマッピング情報を使用する前記段階は、一秒間に複数のフレームを含む規定レートで前記ビデオ情報を表示するべくリアルタイム方式で行われる、
請求項２６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
以下の開示は概して、表示パネルまたは他の画像源を見るために使用する１または複数の光学レンズによる光学歪みをユーザの瞳孔位置を使用して補正するための、１または複数のユーザが１または複数の光学レンズを介して画像を受け取るヘッドマウントディスプレイ、および／または他のデバイスにおける使用などのための技術に関する。 
【背景技術】
【０００２】
スマートフォン、高精細度テレビ、および、他の家庭用電子機器の発展に伴い、性能を高めたディスプレイへの要求が高まっている。仮想現実システムおよび拡張現実システム、特にヘッドマウントディスプレイ（「ＨＭＤ」）を使用するそれらのシステム、の人気が高まり、かかる要求はさらに高まっている。仮想現実システムは通常、装着者の眼を完全に包みこみ、装着者の眼の前の物理的現実を「仮想」現実で置き換え、一方、拡張現実システムは通常、物理的視界が更なる情報で拡張されるように、装着者の眼の前に１または複数のスクリーンである半透明または透明のオーバーレイを設ける。また、調整現実システムは同様に、現実世界の要素を仮想要素と組み合わせる情報を見る人に提示し得る。多くの仮想現実システムおよび拡張現実システムでは、表示中の画像がユーザの動きを反映できるよう、そのようなヘッドマウントディスプレイの装着者の動きを、様々な方式で、例えばヘッドマウントディスプレイ内の、および／または、ヘッドマウントディスプレイ外のセンサなどによって、追跡する場合がある。
【０００３】
しかしながら、そのようなヘッドマウントディスプレイは、見る人の目とディスプレイとの間の距離が狭くなっており、かつ、多くの場合、視野が完全に覆い隠されているので、通常は、満たすことが困難な、ましてや費用対効果の高いレベルで満たすことなど困難であるといった点で複雑な、光学レンズに対する性能要件を有し、また、光学レンズを備えたディスプレイを使用する他のデバイスが、同様の問題を抱えている場合がある。加えて、そのようなヘッドマウントディスプレイの製造は、現在の大量生産能力での厳密な製造公差の要件および制限を含む課題などが原因で、困難かつ費用がかかることがある。したがって、光学レンズを使用するための、ならびに、ヘッドマウントディスプレイ、およびその他の、１または複数の光学レンズによるアセンブリであって、更なるコンポーネントも備えたアセンブリを製造するための、改善された技術が必要とされている。その中には、光学レンズによる歪みの補正、および、そのようなアセンブリに存在する不完全性の補償の必要性も含まれる。
【図面の簡単な説明】
【０００４】
【図１】本開示の例示的な一実施形態に係る双眼の表示パネルを含むヘッドマウントディスプレイシステムの上部平面図を示す。
【０００５】
【図２Ａ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【図２Ｂ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【図２Ｃ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【図２Ｄ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【図２Ｅ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【図２Ｆ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【図２Ｇ】説明する技術に係る特定の実施形態における、特定の態様でヘッドマウントディスプレイなどのための光学レンズを使用する例を示す。
【０００６】
【図３】説明する技術のうちの少なくとも一部を行うための例示的なコンピューティングデバイスおよびシステムを示す。
【０００７】
【図４】レンズ歪みマッピングルーチンの例示的な一実施形態を示す。
【０００８】
【図５】瞳孔位置光学歪み補正ルーチンの例示的な一実施形態を示す。
【発明を実施するための形態】
【０００９】
本開示は概して、ユーザが１または複数の画像を見る際に介する特定の１または複数の光学レンズがもたらす、またはかかるレンズに固有の光学歪みの補正の一部として、ユーザの目の位置および／または目の動きについての情報を使用するための技術に関する。少なくともいくつかの実施形態では、そのような態様で１または複数の光学レンズを使用中のユーザの瞳孔位置（例えば、三次元の）および／または瞳孔の動きを決定するために、瞳孔追跡技術が使用される。一例として、いくつかの実施形態では、１または複数の光学レンズはヘッドマウントディスプレイ（ＨＭＤ）の内部に取り付けられていてよく、ＨＭＤには装着者の目のための表示パネルまたは他の画像源も含まれ、その場合は瞳孔追跡メカニズムはＨＭＤの中に統合されてよいが、その他の実施形態では、説明する技術は、以下でより詳細に説明するような他のタイプの表示デバイスと共に使用されてよい。ＨＭＤを使用し、ＨＭＤが２つの別個の光学レンズを含み、それぞれを片目で使用する場合、各瞳孔は別々に追跡されてよい。それは、その片方の目が画像を受け取っているときに介する光学レンズ（複数の場合もある）に固有の光学歪み補正を可能にするためである。少なくともいくつかの実施形態では、光学レンズと、１または複数の他の要素（例えば、表示パネル、ユーザの目で見る外界像との間のハーフミラー型反射素子、など）との物理的配置の反映、および／または、当該他の要素の動作の反映などを行うべく、光学レンズに固有の光学歪み補正はさらに、当該光学レンズと他の要素とを含むヘッドマウントディスプレイまたは他のアセンブリに固有のものでもある。光学歪み補正についての更なる説明は、それらの実施形態のかかるアセンブリおよび他の要素を含むものと理解されたい。加えて、本明細書において「レンズ」という用語を使用した場合、それは、光の経路を調整する、反射、屈折、および他の技術を含む任意の光学要素を指し、ユーザの目に入る光の経路は、様々な要素（例えば、表示パネル、レンズ、ユーザの目で見る外界像との間のハーフミラー型反射素子、など）を様々な順序および配置で含んでよい。
【００１０】
少なくともいくつかの実施形態では、説明する技術は、ＨＭＤ、または、光学レンズを介して１または複数のユーザが見ることになる画像を表示する機能を有する他のアセンブリ／デバイスに光学レンズを取り付けた後などに、当該光学レンズに固有の光学歪みを特定することおよびマッピングすることを含む。そのような光学歪みは、以下でさらに説明するように、様々なタイプのものであってよい。加えて、光学レンズの光学歪みをマッピングすることは、ユーザの瞳孔位置として考えられる複数の位置のそれぞれに画像センサを配置することと、表示デバイス内の対応する１または複数の画素がアクティブにされたときに光を受け取る、画像センサ内の特定の感光位置を特定することとを備えてよい。かかる画素は、いくつかの状況においては特定の色（例えば、赤、緑、または青）の光を提供でき、時に「副画素」と称される。副画素はまとめられて画素集合体とされてよく、画素集合体は、それを構成する副画素が全てアクティブにされると白色光を提供する。特定の瞳孔位置についてのそのような画素と瞳孔位置とのマッピング情報（時に「静的歪みメッシュ」または「ボリュメトリック較正フィールド（ｖｏｌｕｍｅｔｒｉｃ  ｃａｌｉｂｒａｔｉｏｎ  ｆｉｅｌｄ）」とも称される）が生成された後、当該情報は、１または複数のデータ構造などの様々な様式で格納されて、後に、当該瞳孔位置で人間の目の瞳孔に表示される画像を調整する際に使用されてよい。様々な実施形態において、光学レンズに固有の光学歪みを特定およびマッピングするためのそのような技術は、さらに様々な時点で行われてよい。様々な時点とは、光学レンズが据え付けまたは取り付けられるデバイスを（例えば、製造業者によって操作される１または複数のコンピューティングシステムによって）製造する時、および／または、デバイスを装着者または他のユーザが（例えば、デバイスの一部であるか、またはデバイスと通信する、１または複数のＧＰＵすなわちグラフィック処理ユニット、および／または、１または複数のＣＰＵすなわち中央演算処理装置などの１または複数のハードウェアプロセッサによって）デバイスを最初に使用する時を含む。他の実施形態において、そのようなマッピング情報の生成は、部分的にまたは全体的にはそのような表示パネルおよび／または、画像センサを使用するのではなく、その代わりに光学レンズをモデル化し、上記のように異なる瞳孔位置における光学効果をシミュレーションすることなどによって行われてよい。さらに他の実施形態では、初期マッピング情報の一部または全部は、表示パネルおよび画像センサを使用して上述した様式で生成するが、そのような初期マッピング情報を１または複数の方式で（例えば、処方箋、またはそれに対応する情報を提供する他の情報に基づいて、ユーザの目および／またはユーザが着用する眼鏡もしくはコンタクトレンズに固有の歪みに対処するなどといった、ユーザ別の方式で）修正するのに、モデル化およびシミュレーションを使用してよい。光学レンズに固有の光学歪みを特定およびマッピングするためのそのような技術に関連する更なる詳細が以下に含まれ、そのような技術は、以下でより詳細に説明するように、少なくともいくつか��実施形態ではレンズ歪みマッピングシステムの自動動作によって行われてよい。 
【００１１】
少なくともいくつかの実施形態では、説明する技術は、光学レンズに固有のマッピングされた光学歪みを使用して、当該光学レンズを介して画像を受け取る装着者または他のユーザに表示される画像を、例えば少なくとも部分的に装着者または他のユーザの瞳孔位置に基づいて、補正することを含む。光学レンズに固有のマッピングされた光学歪みを使用して、光学レンズを介して表示される画像を補正するためのそのような技術は、画像を表示する際に使用する装着者または他のユーザの瞳孔位置を（例えば、光学レンズを含むデバイス、またはその代わりに付随する外部デバイス、に組み込まれた瞳孔追跡機能によって）決定することを含んでよい。当該使用する瞳孔位置は、実際の現在の瞳孔位置、および／または、画像が表示されることになる将来時間（例えば、将来の規定のミリ秒単位の時間）における予測した将来の瞳孔位置などである。次に、マッピング情報が利用可能な、予め規定された瞳孔位置のうちの１または複数が決定されてよい。これは、１または複数の、最も近くにある予め規定された瞳孔位置（例えば、決定された瞳孔位置を囲む４つの予め規定された瞳孔位置）の選択などを行うためである。そして次に、当該選択された（１または複数の）予め規定された瞳孔位置のマッピング情報を使用して、表示する画像を調整してよい。これは、決定された瞳孔位置内での位置が、調整前の画像に対応する光を受け取るよう、表示デバイス上の照らされる画素の変更などを行うためである。その結果、光学レンズの光学歪みが補正される。光学レンズに固有のマッピングされた光学歪みを使用して、光学レンズを介して表示される画像を補正するためのそのような技術は、そのような光学レンズが使用される、ＨＭＤ、カメラ、望遠鏡、双眼鏡などのような様々なタイプのデバイスに対して行われてよい。当該技術が、そのようなデバイスに統合された１または複数のプロセッサによって行われるのか、またはその代わりに、デバイスの表示機能を補助する１または複数の外部のコンピューティングシステムに位置する１または複数のプロセッサによって行われるのかは問わない。マッピングされた光学レンズに固有の光学歪みを使用して光学レンズを介して表示される画像を補正するためのそのような技術に関連する更なる詳細が以下に含まれ、そのような技術は、少なくともいくつかの実施形態においては以下でより詳細に説明するように、瞳孔位置光学歪み補正システムの自動動作によって行われてよい。
【００１２】
例示を目的として、以下、様々な具体的な詳細を例示の目的で含むいくつかの実施形態を説明する。いくつかの場合において、いくつかの実施形態は、簡潔にするべく簡略化されて、周知のコンポーネントは示されていない。例えば、以下で説明するいくつかの実施形態において、特定のタイプの表示パネルが特定のタイプの光学レンズと共に（例えば、仮想現実および／または拡張現実のためのヘッドマウントディスプレイの一部として）特定の態様で使用される。例えば、特定の態様でユーザの瞳孔位置および瞳孔の動きを追跡することなどに少なくとも部分的に基づいて、レンズに由来する光学歪みを低減またはなくすための表示パネルへの表示動作の制御の一部として、特定のタイプの技術を使用する。しかしながら、本発明の技術は、一部は以下で説明される、他のタイプの表示デバイスおよび／もしくは他のタイプのユーザの瞳孔位置の決定、または他の視線方向を含む、多種多様な他の状況で使用されてよいことを理解されたい。
【００１３】
図１は、ＨＭＤシステム１００の簡略化した上部平面図であり、一対のニアツーアイ表示システム１０２および１０４を備える。ニアツーアイ表示システム１０２は、ディスプレイ１０６と光学レンズシステム１１０とを有し、ニアツーアイ表示システム１０４は、ディスプレイ１０８と光学レンズシステム１１２とを有し（当該ディスプレイは、例えば、ＯＬＥＤマイクロディスプレイである）、当該光学レンズシステムは、それぞれ１または複数の光学レンズを含む。表示システム１０２および１０４は、フレーム１１４に取り付けられてよく、フレーム１１４は、前部１１６と左テンプル１１８と右テンプル１２０とを有する。２つの表示システム１０２および１０４は、装着者であるユーザ１２４の頭部１２２に着用可能な眼鏡装置のフレーム１１４に固定されてよい。左テンプル１１８および右テンプル１２０はそれぞれ、ユーザの耳１２６および１２８にかけられてよく、一方、鼻部アセンブリ（図示せず）はユーザの鼻１３０にかけられてよい。フレーム１１４は、２つの光システム１１０および１１２をそれぞれ、ユーザの目１３２および１３４の片方の前に配置するような形状および寸法に作られてよい。図ではフレーム１１４は、説明の目的で眼鏡に類似した簡略化した態様で示されているが、実際には、表示システム１０２および１０４をユーザ１２４の頭部１２２において指示および配置するべく、より精巧な構造（例えば、ゴーグル、一体型ヘッドバンド、ヘルメット、ストラップなど）を使用してよいことを理解されたい。
【００１４】
図１のＨＭＤシステム１００は、仮想現実の表示を、例えば毎秒３０フレーム（もしくは画像）または毎秒９０フレームなどの表示レートで提示される対応するビデオによって、ユーザ１２４に提示することが可能であり、一方、同様のシステムの他の実施形態ではユーザ１２４に拡張現実の表示が提示されてよい。ディスプレイ１０６および１０８はそれぞれ、光システム１１０および１１２を透過し、光システム１１０および１１２がそれぞれユーザ１２４の目１３２および１３４に焦点を結ぶ光を発生させてよい。ここでは示されていないが、通常、これらの目はそれぞれ光が通って目に入る孔である瞳孔を有し、典型的な瞳孔サイズは直径にして、非常に明るい状況での２ｍｍ（ミリメートル）から暗い状況での８ｍｍまでもの範囲で変化する。一方、瞳孔が含まれ、瞳孔より大きな虹彩のサイズは約１２ｍｍであってよく、通常、瞳孔（およびそれを取り囲む虹彩）は、瞼の開いた状態の目の中の見える部分内で横方向および／または縦方向に数ミリメートル動くことができ、これにより、眼球がその中心の周りを回ることで、異なる横方向位置および縦方向位置について、ディスプレイの光学レンズまたは他の物理要素からの異なる奥行きにも瞳孔が動かされる（そうして、瞳孔が動き得る三次元の体積をもたらす）。ユーザの瞳孔に入る光は、画像および／またはビデオとしてユーザ１２４が見る。いくつかの実装例では、光システム１１０とユーザの目１３２との間の距離、および光システム１１２とユーザの目１３４との間の距離は比較的短くてよく（例えば、３０ｍｍより短い、２０ｍｍより短い）、光システムおよび表示システムの重量がユーザの顔に比較的近接しているために、ユーザにとってはＨＭＤシステム１００がより軽く感じられ、また、ユーザにより広い視野を提供し得る点で有利である。ここでは示していないが、そのようなＨＭＤのいくつかの実施形態は、様々な更なる内部および／または外部のセンサを含んでよい。それらは、例えば、目１３２および１３４ごとに別々に瞳孔追跡を行うためのもの、頭部の位置および向きを追跡するためのもの（例えば、頭部追跡の一部として）、ユーザの身体の他の様々なタイプの動きおよび位置を追跡するためのもの、（例えば周囲の）外部画像を記録するカメラなどである。 
【００１５】
説明する技術は、図１に示すものと同様の表示システムを備えたいくつかの実施形態において使用されてよいが、他の実施形態においては、単一の光学レンズおよび表示デバイスを備えたもの、または複数のそのような光学レンズおよび表示デバイスを備えたものを含む他のタイプの表示システムが使用されてよい。そのような他のデバイスの非排他的な例として、カメラ、望遠鏡、顕微鏡、双眼鏡、スポッティングスコープ、測量スコープ（ｓｕｒｖｅｙｉｎｇ  ｓｃｏｐｅ）などが挙げられる。加えて、説明する技術は、光を発して画像を形成する多種多様の表示パネルまたは他の表示デバイスで使用されてよく、当該画像を１または複数のユーザは１または複数の光学レンズを介して見る。説明する技術のいくつかの実施形態が使用され得る表示パネルの１つの非限定的な例が、２０１６年３月２日に出願された「Ｄｉｓｐｌａｙ  Ｗｉｔｈ  Ｓｔａｃｋｅｄ  Ｅｍｉｓｓｉｏｎ  Ａｎｄ  Ｃｏｎｔｒｏｌ  Ｌｏｇｉｃ  Ｌａｙｅｒｓ」と題する米国出願第１５／０５９，１７１号にさらに詳細に説明されており、当該出願は、その全体がこれにより組み込まれる。他の実施形態において、ユーザは、表示パネルを使用する方式以外の方式で生成される、例えば別の光源からの光を部分的にまたは全体的に反射する表面上に生成される、１または複数の画像を１または複数の光学レンズを介して見てよい。 
【００１６】
上記のように、様々なタイプの光学歪みが異なるタイプのレンズおよび異なるタイプの光学効果によってもたらされてよく、説明する技術を使用することによって補正されてよい。例えば、図２Ａ〜図２Ｇは、説明する技術に係る特定の実施形態における、特定の態様で、例えばヘッドマウントディスプレイ用の、光学レンズを使用する例を示す。図２Ａに関しては、人間であるユーザの目２０５が、瞳孔２１５を含む虹彩部２１０と共に示されている。加えて、図２Ａは、例示的な表示パネル２３０（側面から見た図）を、目２０５と表示パネル２３０との間に位置する光学レンズ２２０（同様に側面から見た図）と共に含む。表示パネル２３０が表示パネル２３０の画素（図示せず）からの様々な光線２２５を示すとき、光は外側へ、そしてレンズ２２０の中へと進む。理想的な状況では、レンズ２２０は、表示パネル２３０の複数の異なる部分からの光線２２５を屈折させ、光学レンズ２２０から出射するそれぞれの光線は、瞳孔２１５の対応する位置から入る。それにより、表示パネル２３０上に表示された画像が目の瞳孔および内側部分において形成される。光学レンズ２２０の中心軸２１７（横軸および縦軸の両方に対する中心だが、この側面図においては縦軸しか見えない）に入る光に関して、瞳孔２１５が当該中心軸に対して同様に位置合わせされた場合、レンズ２２０は、表示パネル２３０から出射した光線をほとんどまたは全く屈折させない場合がある。光学レンズ２２０および表示パネル２３０は、側面から見た図となっており、光線は表示パネルから、示されるような縦の態様のみならず、この例では示されていない横の態様（すなわち、この側面図に関しては奥行き）にも発せられ得ることが理解されよう。さらに、この例示を目的として、表示パネル２３０から出る光線２２５は完全な直線として示されているが、表示パネルの一部または全部の画素は、画素ごとのレンズ（図示せず）で焦点を結んだとしても、複数の方向に（または、表示パネル表面に対して完全に直交する状態から少なくともある程度の変動をもって）光を発することが理解されよう。 
【００１７】
図２Ｂは、表示パネル２３０に表示され得る情報の更なる例を示している。示された例では、当該情報は、横の直線２３２および縦の直線２３３を有する試験画像である。中心軸２１７に対応する点２３１ａと、中心軸から外れた他の点に対応する他の例示的な点２３２ａおよび２３３ａとが示されている。表示パネル２３０に表示される画像に加えて、結果として得られる他の２つの代替的な画像２３５ｂおよび２３５ｃが示されている。当該２つの画像は、１または複数の光学レンズを通った光が見る人の瞳孔にもたらし得る考えられる２つのタイプの光学歪みを表している。結果画像２３５ｂは、糸巻き型歪曲と称される光学歪み現象の例を示している。当該例では、中心光軸２１７から離れるにつれて画像の拡大が大きくなり、線が内側に湾曲するという視認される効果が、線の場所が中心軸から遠ければ遠いほど引き起こされる。それとは逆に、可視像２３５ｃは、樽型歪曲を称される異なるタイプの光学歪みを示している。当該像では、中心光軸から離れるにつれて画像の拡大が小さくなり、中心光軸から遠ざかるにつれて線はますます外側に湾曲する。たとえ、結像している距離に対する光学レンズの曲率の量に基づくものなどの、当該レンズに固有の誤差または他の歪みを有していないとしても、当該レンズにおいてはそのような光学歪みの効果が生じ得ることが理解されよう。加えて、いくつか場合において、特定のレンズは、時には陣笠型歪曲と称される、糸巻き型歪曲および樽型歪曲の両歪曲の組み合わせを有してよい。陣笠型歪曲は、中心光軸に近接した樽型歪曲で始まり、画像の外周に向かって徐々に糸巻き型歪曲になる。 
【００１８】
図２Ｃは、色収差と称される、別のタイプの光学歪み現象の例を示している。色収差は、光線が湾曲した光学レンズを通るとき、光線の色が異なれば屈折度が異なることを一部原因として起こる。特に、図２Ａ〜図２Ｃに示したものなどの表示パネル２３０は異なる色の画素を含んでよく、それには、赤、緑、および青の画素のＲＧＢ表示の様々な組み合わせでの一般的な使用法などがあることが理解されよう。赤、緑、および青の画素のセットが中心光軸２１７に沿って位置している状況では、当該画素（例えばこの例では、赤画素の２２６ｒ、緑画素の２２６ｇ、および青画素の２２６ｂと図示される）から発せられた光は、当該複数の異なる光線を全く、またはほとんど屈折させることなく当該中心軸に沿って光学レンズを通り得る。それが、結果として得られる光線２３６ｒ、２３６ｇ、および２３６ｂにおいてそれぞれ反映されている。光線同士が平行なそのような光は、時にコリメート光と称される。それとは逆に、光学レンズ２２０を通るとき、光線が中心光軸からより遠くに位置していればいるほど、当該光学レンズの曲率の程度がそのような位置ではより大きいため、異なる光線間の屈折量のばらつきは大きくなる。したがって、中心光軸から表示パネル２３０の上端までの距離の約三分の一の領域にある赤、緑、および青のそれぞれの画素から発せられる光線２２７ｒ、２２７ｇ、および２２７ｂの例に関しては、得られる光線２３７ｒ、２３７ｇ、および２３７ｂは、光学レンズ２２０を出て目２０５に近づくにつれてますます離れる。同様に、表示パネル２３０の上端付近から発せられる光線２２８ｒ、２２８ｇ、および２２８ｂの場合、光学レンズ２２０から出射する各光線２３８ｒ、２３８ｇ、および２３８ｂはより一層発散が大きくなり、結果的に、この例においては３本の光線２３８のうち２本は瞳孔２１５によって受け取られることすらない。たとえ、光学レンズが、曲率の程度と異なる色の光のそれぞれの特性とに基づくものなどの、レンズに固有の誤差または歪みを何も有さないとしても、そのような色収差の効果が生じ得ることが理解されよう。加えて、図２Ｃはさらに、代替の瞳孔位置２１５'を示している。図示するように、単一の画素からの光（例えば光線２３７ｇ）は、瞳孔がアイボックス内を動くと様々な角度で瞳孔に入る。さらに、この効果は、視野と共に変化する場合があり、補正されない場合、表示中の特定の物体または他の要素を、瞳孔の動きに応じて移動し、延びて、および／または縮んで見えるようにし、それ故グラグラとして、または「ぼやけて」見え、映像酔いの一因となる。さらに、図２Ｂおよび図２Ｃはいくつかのタイプの光学歪み現象の例を提供しているが、特定の状況においては、他の様々なタイプの光学歪みのみならず、製造欠陥、位置合わせ異常（例えば、光学レンズと付随する表示パネルとの間の）などが原因の問題も生じる場合があり、それらの一部または全部が、本明細書に説明される発明の技術によって全体的にまたは部分的に補正され得る。
【００１９】
図２Ｄは、図２Ａ〜図２Ｃに関する例の続きであり、例示的な光学レンズ２２０（例示の目的で幅のない単一の線で図示されている）が表示パネル２３０から発せられる画像をどのように歪め得るかについての具体的な例を示し、この例では、当該画像は再び、先に図２Ｂで示したような、横の直線２３２および縦の直線２３３を有する同じ例示的な試験パターンを示している。この例では、目の瞼（図示せず）が開いた状態で見える部分２４０が、例示的な虹彩２４５および瞳孔２５０と共に示されている。理想的な状況では、レンズ２２０を介して表示パネル２３０の画像の可視像が瞳孔に映し出され、それは、示すように、表示パネル２３０の横線２３２および縦線２３３を瞳孔２５０内に同じ態様でおよび同じ相対位置で表示させることを含む。 
【００２０】
しかしながら、特定のレンズ２２０に固有の誤差と、先述のおよび本明細書の他の箇所で説明している他の光学歪み効果（例えば、不完全な位置合わせおよび他の製造欠陥）とに起因して、瞳孔の各部分に映し出される表示パネル上の実際の位置は、示した態様で完全に位置合わせされない場合がある。例えば、この例の表示パネル２３０の中心点２３１ａは、複数の副画素（例えば、各々が赤、緑、および青の光のうちの１つを発する）を備えた画素集合体または画素組み合わせ体に対応していてよい。しかしながら、（瞳孔の中心が中心軸２１７と位置合わせされるように）瞳孔が当該中心軸に沿って向けられ、中心点２３１ａを直視したとしても、光学レンズ２２０における歪みが原因で依然として少なくともわずかに光を移動させる場合があり、瞳孔内の中心点２３１ｄに現れる光は、実際には、実際の中心点２３１ａの右側の画素組み合わせ体２４１に対応しており、画素組み合わせ体２４１から発せられる。この例では、画素組み合わせ体２４１は、中央位置２３１ａから横方向にのみ位置がずれているが、そのような位置ずれは、横方向および／または縦方向に生じ得ることが理解されよう。同様に、表示パネルの右上の表示点２３２ａは、表示パネル内の実際の画素から位置がずれていてよく、例えばこの例では、実際の点２３２ａから縦と横の両方向に位置がずれている画素組み合わせ体２４２を有する。当該実際の画素からの光は、瞳孔内の対応する点２３２ｄに届く。同様に、表示パネルの左上部分の点２３３ａに関して、この例では、レンズ２２０の光学歪みに起因して、異なる位置の異なる副画素が瞳孔における可視像内の単一の点２３３ｄに対応付けられてよく、例えば、ある位置に赤の副画素２４３ｒを、それとは異なる位置に青の副画素２４３ｂを、および第３の位置に緑の副画素２４３ｇを有するようにし得る。それら３つの異なる副画素が実質的には、瞳孔内の可視像における実際の点２３３ｄに対する組み合わせ画素集合体２４３として機能する。この例では、ビュー点２３１ａ、２３２ａ、および２３３ａの各々に対応して単一の赤の副画素、緑の副画素、および青の副画素が図示されているが、特定の状況では、様々な位置における様々な組み合わせの画素が一緒になって光線を提供してよく、当該光線が瞳孔内の可視像における特定の点において収束することが理解されよう。加えて、実際は光学レンズが、瞳孔を通り抜け網膜に達する可視像を表示パネル２３０に表示される画像に対して横軸および／または縦軸に関して反転させ得るのだが、これらの例においては分かり易くするために、当該瞳孔の可視像はそのような変化を加えることなく示されている。 
【００２１】
この特定の光学レンズ２２０に固有の光学歪みに対処するべく、説明する技術は、少なくともいくつかの実施形態において、表示パネル２３０の様々な画素を、光学レンズ２２０によるそれらの実際の効果に関して、実際の人間の目の瞳孔がそのような表示パネルからの光を受け取ることになる場所に位置する代表瞳孔に対してマッピングする動作を行うことを含む。特に、この例では、表示パネルは行２５２個および列２５３個という多数の画素で構成され、この例におけるそのような画素組み合わせ体はそれぞれ、赤、緑、および青の副画素を含む。したがって、例えば、例示的な画素２５４は、副画素２５４ｂ（青の副画素）、２５４ｇ（緑の副画素）、および２５４ｒ（赤の副画素）を含む。いくつかのそのような実施形態では、当該マッピング動作は、１または複数の副画素の組み合わせを選択し、そのような副画素群の各々を順次連続して照らし、１または複数の画素による群からの光を受け取る瞳孔２５０内の１または複数の対応する位置を決定することを含む。例えば、その代わりに画像センサ（図示せず）が、中心軸２１７に沿って本来ならば瞳孔が位置するであろう場所に配置されてよく、画像センサ内の特定の感光位置（例えば、画像センサ内のそのような感光位置の配列からの位置）が、当該画素群からの入射光線を受け取るものとして決定されてよい。表示パネルの一部または全部の画素の中で漸進的に移動することによって、例えば、いくつかのそのような実施形態において個々の副画素または画素組み合わせ体を別々に照らす（またはアクティブにする）ことによって、（画像センサによって表される）瞳孔の可視像内の対応する位置点が、照らされた画素と当該中心軸の瞳孔位置とについて決定されてよい。次に、結果として得られる情報を使用して特定の画素を当該中心軸の瞳孔位置および当該光学レンズについて瞳孔内の特定の位置にマッピングして、例えば、表示パネル内の対応する位置２３１ａ、２３２ａ、および２３３ａに対する画素２４１、２４２、および２４３の実際の効果に関して上述した情報を提供してよい。 
【００２２】
表示パネルとそれと共に使用される特定の光学レンズについてそのような画素−瞳孔位置マッピングが作成された後、結果として得られたマッピング情報を使用して表示パネルに実際に表示される画像を調整し、それによって瞳孔２５０上の結果として得られる可視像の生じ方を制御してよい。例えば、画像が表示パネルの位置２３３ａに白色画素を有する場合、対応する画像を瞳孔２５０の位置２３３ｄに生じさせるようアクティブにされる（１または複数の）実際の画素は、説明したように、組み合わせ画素集合体２４３へと変更される必要があり得る。したがって、自動処理ルーチンが表示パネルバッファ（または画像それ自体）の情報を変更してよい。それにより、位置２３３ａの実際の１または複数の画素が消されてよく、一方で、示される組み合わせ画素集合体２４３の副画素を照らして、瞳孔内の可視像の位置２３３ｄにおいて白色点を表示させてよい。そのような決定が表示パネルの各画素に対して行われて、照らすべき０個以上の別の実際の画素を決定して、元の画素を瞳孔内の可視像の正しい位置に表示させ得ることが理解されよう。このようにして、この光学レンズ２２０および表示パネル２３０を使用中の人間のユーザは、たとえ、表示パネル２３０上で照らされる実際の画素が光学レンズのない場合には横の直線２３２および縦の直線２３３からなる像を表示しないとしても、瞳孔における可視像上では、そのように表示された可視像を受け取り得る。 
【００２３】
特定のタイプの複数の光学レンズが実質的に同一で、レンズ別の誤差または他の歪みを何も持たないよう生成され得た場合、そのような複数の異なる光学レンズの相対位置が、目の位置および表示パネル位置に対して十分な精度で特定され得るならば、１または複数の瞳孔位置の、特定の表示パネル画素へのそのような予め規定されたマッピングは、当該タイプの一レンズに対して一回だけ行われればよいことが理解されよう。
【００２４】
図２Ｅは、図２Ａ〜図２Ｄに関して説明された例の続きであり、特に、図２Ｄに関して説明した技術を、瞳孔がレンズの中心光軸から離れて目の視覚部分２４０内で動く状況へと拡張するものである。特に、典型的なユーザの瞳孔は、この例において２５５で示した、時に「瞳孔ボックス（ｐｕｐｉｌ  ｂｏｘ）」と称される領域内で動き得る（ただし、図示するように、領域２５５は方形以外の形状であり得る）。瞳孔が中心光軸から離れ、かつ、表示パネル２３０に表示される結果画像が調整されない場合、様々な光学歪みの変化が生じる場合があり、その歪みには、先述したものだけでなく、瞳孔位置の動きが、ユーザ（例えば、ユーザの頭部）の他の物理的な動きを伴い、かつ、結果画像が瞳孔の動きおよびユーザの他の動きに十分迅速に適応しない場合に生じ得る更なる光学歪みが含まれる。 
【００２５】
この例では、虹彩が示されておらず、図２Ｄの例示的な瞳孔２５０が再び眼部２４０の中心（中心軸２１７に対応している）に示されているが、代替的な瞳孔位置２５０ａおよび２５０ｂもまた図示されている。例えば、ユーザが瞳孔を左の方へ横に動かした（ここでは、その人の目を見ている観察者から見て右へ動くように表示してある）場合、位置２５０ａにある瞳孔は、今度は光学レンズ２２０の位置２１８に対応することになり、当該位置は、レンズの中心軸２１７（図２Ｅにおいては図示せず）から横方向に大きく逸れている。したがって、ビュー点２３１ａ、２３２ａ、および２３３ａに対応するよう、ここでも同様に図２Ｄの例示的な画素２４１、２４２、および画素集合体２４３が照らされた場合、レンズ２２０の位置２１８がもたらす光学歪みによって、瞳孔２５０のその中心軸位置における画像とは大きく異なる画像が瞳孔の位置２５０ａにおいて結果的にもたらされることになる。本明細書の他の箇所でより詳細に説明するように、瞳孔追跡が様々な方式で行われてよい。一例として、レンズ２２０および表示パネル２３０が、例えばヘッドマウントディスプレイを装着するユーザの２つの目のうちの片方用として、ＨＭＤの一部となっている場合、ＨＭＤは、片目ごとの瞳孔位置追跡を行うべく、内部カメラまたは他のセンサを含んでよい。 
【００２６】
それに代えて、そのような瞳孔の動きに対処し得る手法の一例として、いくつかの実施形態において、説明する技術は、瞳孔の中心軸位置２５０に対する瞳孔位置の動きに対応させて、表示パネルに表示される実際の画素を変更してよい。瞳孔が位置２５０ａにある例に関して、この示された例における説明する技術は、表示パネルにおいて実際に照らされる画素の横方向の水平移動を行うことを含んでよい。それによって、表示パネル上のビュー点位置２３３ａ、２３２ａ、および２３１ａと瞳孔内の対応する位置２３１ｄ、２３２ｄおよび２３３ｄ（図示せず）とに対応する横方向移動の矢印２６２ａ、２６３ａ、および２６１ａに関して示すように、可能ならば、表示パネルから画像を横方向に移動させて、中心軸位置における、図２Ｄで生じたであろう画像と同じ画像が、移動させられた画素によって今度は瞳孔位置２５０ａにおいて表示される。したがって、説明する技術は、新しい瞳孔位置２５０ａについて、それらの点２３３ａ、２３２ａ、および２３１ａを示すために表示するべき新しい画素を決定するべく計算を行って、例えばこの例においては、使用中の副画素の各々を新しい位置へ横方向に移動することを行ってよい。例えば、ビュー点位置２３１ａの点を表示するために以前使用した画素２４１に関して、新しい画素２７１を選択するために、規定量の横方向移動を使用してよい。当該画素２７１が代わりに表示されて、ビュー点位置２３１ａの点を瞳孔位置２５０ａにおいて瞳孔の中心に生じさせることになる。また、新しい画素２７２を以前の画素２４２を表すために同様に使用して、新しい瞳孔位置２５０ａにおけるビュー点２３２ａを照らしてよい。位置が異なれば、水平移動の量も異なり得ることが理解されよう。例えば、この例では、ディスプレイの右端付近の画素２４２はほんのわずかな量だけ移動させるが、ディスプレイの中心付近の画素２４１はより大きな量移動させ、画像ディスプレイの左端付近の組み合わせ画素集合体２４３は、一層大きい量移動させる、などとなる。画素２４３に置き換わる画素集合体用の新しい画素は、副画素２７３ｇ、２７３ｂ、および２７３ｒで図示されている。加えて、図で位置２５０から２５０ａへとなっているように、横軸に沿った横方向の態様だけで瞳孔が動いたとしても、表示パネルにおいて使用する、結果的な画素の移動は、この例において示されるような完全な横方向以外の態様で生じ得ることが理解されよう。 
【００２７】
加えて、代替的な瞳孔位置２５０ｂが、異なる例を示している。当該例では、新しい瞳孔位置２５０ｂに動かされた中央点２３１ａに対応する例示的な移動２６１ｂが反映しているように、瞳孔位置は、移動量はより少ないが、光学レンズ内の軸２１９へと横および縦の両方向に動かされている。瞳孔位置２５０ｂについてのこの例では、表示パネル内の対応する画素は示されていないが、理解されるであろうように、新しい瞳孔位置２５０ｂにおいても同じ可視像を提供する際に使用するための新しい画素を選択するべく同様の移動が行われ、そのような移動は、各画素についての新しい位置を、全移動可能量に対する当該各画素の移動量に基づいて補間および／または外挿することなどによって行われてよい（例えば、瞳孔位置２５０ａが瞳孔位置領域２５５内における左方向への移動可能量の７５％に相当する場合、表示パネル画素の各々は、当該横方向において、各画素から表示パネルの端部までの移動可能量の７５％分動かされてよい）。加えて、表示パネル内の対応する点を表すのに、単一の画素だけが続けて使用されるが、理解されるであろうように、いくつかの実施形態および状況では、表示パネル内の単一のビュー点を表すのに、１または複数の位置の複数の画素が使用されてよく、どちらを使用するかは、瞳孔位置と使用中の特定のレンズ２２０に固有の光学歪みとによって（例えば、当該レンズの特定のディスプレイ２３０との組立後の位置合わせと組み合わせて）決まる。 
【００２８】
図２Ｆは、図２Ａ〜図２Ｅの例の続きであり、ユーザの瞳孔位置をマッピングし、次に、光学レンズの中心軸以外の位置に使用する状況を管理するべく、説明する技術をさらに使用することを示している。特に図２Ｆの例では、眼部２４０、および瞳孔が動き得る瞳孔ボックス移動領域２５５と共に、同じ光学レンズ２２０が再び示されている。図２Ｄに関してより詳細に説明したように、いくつかの実施形態において、説明する技術は、瞳孔が光学レンズ２２０の中心光軸に沿って位置している場合に、特定の光学レンズ２２０を介した表示パネル画素位置から瞳孔内の対応する点へのマッピングを生成することを含む。図２Ｆは、当該技術を拡張したものを示し、当該拡張された技術においては、表示パネル画素位置の、瞳孔位置内の対応する可視像の点へのかかる対応するマッピングが、三次元の瞳孔ボックス移動領域２５５内の複数の規定された位置２７０の各々について行われる。特にこの例では、複数の個々の位置であるグリッド２７０が示されている。当該複数の個々の位置はそれぞれ、その場所における瞳孔中心を表しており、例えば、位置２７０ｃは瞳孔位置２５０ｃおよび光軸位置２１６に対応している。グリッド２７０内のそのような位置ごとに、表示パネル画素位置を、グリッド位置２７０を中心とする瞳孔内での対応する位置に対応付けるマッピングが、例えば、そのような対応する三次元の瞳孔位置ごとに画像センサを三次元で動かすことによって、また、ヘッドマウントディスプレイまたは光学レンズを有する他のアセンブリの特定の構造に対処するべく、作成される。理解されるであろうように、他の実施形態では、瞳孔ボックス移動領域内の複数位置は、グリッド以外の態様で配置されてよく、また、いくつかの実施形態においては、様々な瞳孔位置に対応する複数の異なる画像センサを同時に有することなどによって１より多くの瞳孔位置が同時に評価およびマッピングされてよい。当該複数の画像センサは、図２Ｄに関して説明された態様で表示パネル画素からの出力が与えられたならば、それぞれの瞳孔位置用の別個のマッピングをそれぞれ作成する。
【００２９】
この特定の光学レンズ２２０の場合の、瞳孔位置２７０のそれぞれについてのかかる画素−瞳孔位置マッピングが作成された後、同じ光学レンズ２２０および表示パネルを備えたデバイスの使用中にユーザの瞳孔位置を後に追跡して、ユーザの目が位置する特定の瞳孔位置に対応させるよう、表示パネル２３０に表示中の画像をどのように変更するかを決定してよい。別掲のとおり、様々な実施形態において、考えられる様々な瞳孔追跡技術および視線追跡技術が使用されてよい。例えば、ユーザの瞳孔位置が、かかる使用中、規定の瞳孔位置２７０ｃを中心とする位置２５０ｃであると決定された場合、以前生成された、当該規定の瞳孔位置用のマッピングを使用して、表示パネルに表示中の画像をどのように変更するか決定してよい。この例では、表示パネル上の横および縦の直線である試験画像を生成するべく、表示パネル上の点ごとに１または複数の画素による特定の群を選択して、規定の瞳孔位置２７０ｃを中心とした場合の瞳孔の可視像内の正しい位置に当該画像を生成してよい。さらに、ディスプレイ上の点ごとに、当該特定の画素群を、任意の単一の点（例えば、当該直線のうちの１つの直線上の任意の点）が、アイボックス内の目の位置に関わらず瞳孔に対して安定した角度関係を維持するように選択する。それによって、当該図の任意の特定の点についての瞳孔に入る光の入射角は、図から目までの実質距離に基づき適切なものになる（例えば、遠くにあるものに対しては、視差は非常に小さく、角度距離はさほど変化しないが、説明する技術は、少なくともいくつかの実施形態では、アイボックス内での目の動きに起因する、より接近した物体に対する視差の調整に使用され、他の実施形態では、同じ技術が、本明細書の他の箇所で説明するように、視差以外の問題を補正するために使用される）。加えて、少なくともいくつかの実施形態において、色および波長別の補正などを行うべく、異なる色について（例えば、赤、緑、および青の各々について）異なるマッピングおよび／または調整が成される。例えば、表示パネル２３０の中心の点２３１ａに関して、画素２８１が、その位置において対応する表示を提供するよう決定されてよい。同様に、組み合わせ画素集合体２８２が、瞳孔内の当該集合体のそれぞれ位置において点２３２ａの可視像を提供するよう決定されてよい。この例では、当該集合体は、表示パネル内の異なる位置に異なる副画素２８２ｂ、２８２ｇ、および２８２ｒを含む。同様に、この例の表示点２３３ａについて、画素集合体２８３が、対応する可視像を瞳孔において提供するよう決定される。理解されるであろうように、瞳孔位置は、縦および横の両方向に、上および右に（観察者から見た図では、画像において左に）動かされているが、対応する画素の表示パネルにおける移動は、方式が異なれば異なってよく、方式としては、この特定の光学レンズ２２０の特定の光学歪み（不完全性を含む）に基づく方式などがあり、組み合わせ画素集合体２８３は、実際の点２３３ａの概して左側であり、新しい画素２８１は、その実際の点２３１ａの概して右側であり、組み合わせ画素集合体２８２は、その対応するビュー点位置２３２ａの概して下側である。より全般的には、ディスプレイ上の１つ１つの物理的な画素にどのような値を割り当てるかを決定するとき、一旦適切なマッピングが決定されれば、当該画素について、元画像においてサンプリングを使用して、１または複数の隣接する画素からの適切な量を含めてよい。さらに、異なる三次元の瞳孔位置のマッピング情報の生成および使用が上述されているが、いくつかの実施形態では、そのようなキャリブレーションは、レンズ（例えば、アルバレス（Ａｌｖａｒｅｚ）レンズまたは電子的に調節可能なレンズ）を動的に調整することなどによる他のタイプの歪みに対してさらに行われてよい。当該他のタイプの歪みは、セッティングが異なれば、アイボックス体積全体にわたり異なる歪み特性を有し得る。
【００３０】
先述したように、いくつかの実施形態では、説明する技術は、三次元の瞳孔位置の決定のみならず、１または複数の瞳孔位置についての情報を使用して瞳孔の将来位置を予測する動作を行うこともさらに含んでよい。当該動作は、例えば、２つ以上の以前の瞳孔位置を使用し、移動が同じ態様で続く場合に将来位置がどこになるのかを補間または外挿することなどによって行われる。例えば、現在時間においてどのように表示パネル２３０を調整するかを決定中であるが、実際の表示は将来時間のいくばくかの期間（例えば、特定の数ミリ秒または数秒）行われない場合、そのような技術は、その特定の将来時間における瞳孔位置を予測し、表示パネル画像を調整する際に使用するべくその予測した将来の瞳孔位置を使用するために行われてよく、それによって、（予測が正しければ）その将来時間に実際表示される画像は、その実際の将来の瞳孔位置に対応する。いくつかの実施形態および状況におけるそのような瞳孔位置予測は、現時点での動きに基づいた単純な線形移動を含み、一方、他の実施形態においてはより詳細な技術が使用されてよく、例えば、特定のユーザについての、および／または、表示中の特定の一連画像についての情報を使用して、この特定のユーザの目の位置が、特定の将来時間までの次の期間にわたり特定の態様で変化し得ることを予測し、および／または、表示中の特定の画像に基づいて、任意の所与のユーザの目の位置が特定の態様で動くことを予測する。加えて、いくつかの実施形態では、画像を表示および調整するとき、実際のおよび／または予測した瞳孔位置についての情報を複数回取得し使用してよく、例えば、本明細書の他の箇所で説明するように、（例えば、複数の位置の平均をとるべく）様々なやり方でその情報を組み合わせる。いくつかの実施形態で使用されてよいそのような瞳孔位置予測のための技術の例が、２０１６年９月７日に出願された「Ｓｅｎｓｏｒ  Ｆｕｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ａｎｄ  Ｍｅｔｈｏｄｓ  Ｆｏｒ  Ｅｙｅ−Ｔｒａｃｋｉｎｇ  Ａｐｐｌｉｃａｔｉｏｎｓ」と題する米国出願第１５／２５８，５５１号に説明されており、当該出願は、その全体が参照により組み込まれる。 
【００３１】
図２Ｇは、図２Ａ〜図２Ｆの例の続きであり、特に、特定の光学レンズ２２０の場合の、表示パネル画素を特定の瞳孔位置に対応付ける、予め規定されたマッピングが行われてよい更なる方式を示している。 
【００３２】
図示する図２Ｇの例では、目の位置２４０での可視像において、図２Ｆに関して説明した位置２７０ｃと共に中心軸の位置２７０ｄが示されている。先述のように、瞳孔位置が（それが実際位置であろうと予測位置であろうと）、２７０ｃなどの特定の位置に対応する場合、その特定の観察瞳孔位置２７０ｃの予め決定されたマッピングを使用して、その瞳孔位置において虹彩に所望の可視像を生み出すべく表示パネル上の画像に施されるべき調整を決定してよい。 
【００３３】
それとは逆に、２７０ｅなどの瞳孔位置が決定または予測された場合、２７０ｅは、予め規定された複数の瞳孔位置２７０ｆ〜２７０ｉの間にあり、単一の瞳孔位置に正確に一致しているわけではないので、更なる様々な技術を使用して、表示パネルの対応する画像をその中間的な瞳孔位置２７０ｅに適応させてよい。例えば、いくつかの実施形態および状況では、瞳孔位置２７０に最も近い位置を選択し使用して、画像を調整してよい。例えば、この例においては、瞳孔位置２７０ｆのマッピングを使用して２７０ｅの実際の瞳孔位置または予測した瞳孔位置に対応させる。他の実施形態では、瞳孔位置２７０ｆ〜２７０ｉのうちの２つ以上の位置を選択し、共に使用して、２７０ｅの実際の瞳孔位置または予測した瞳孔位置を表してよい。例えば、４つの予め規定された位置２７０ｆ〜２７０ｉの各々のマッピングの情報を共に組み合わせ、集約して（例えば平均をとって）、それらの４つの予め規定された位置内にある位置に対応する新しいマッピングを作成してよい。それは例えば、当該予め規定された位置と実際の瞳孔位置または予測した瞳孔位置２７０ｅとの間の距離に基づいて当該周囲の予め規定された位置からのマッピング情報に対して重み付けを行うことによって、またはその代わりに、重み付けするのではなくそれらを全て均等に組み合わせることになどよって行われる。さらに、予め規定された瞳孔位置２７０が三次元で追跡されるとき、実際のまたは予測した瞳孔位置付近の当該１または複数の瞳孔位置も同じく三次元で測定されて、例えばいくつかの実施形態および状況では、実際のまたは予測した瞳孔位置を部分的にまたは完全に囲む複数の予め規定された瞳孔位置を選択してよい。したがって、いくつかの実施形態では、そのような１または複数の予め規定された瞳孔位置から補間または外挿して、実際のまたは予測した瞳孔位置を、例えば三次元で表すための様々な技術が使用されてよい。 
【００３４】
したがって、このようにして、特定のユーザの瞳孔位置が追跡され、随意で予測されてよく、それら瞳孔位置を、表示されている画像に対して光学レンズ別の調整を行うために使用してよく、それによって、光学レンズに存在する光学歪みを補正し、画像本来からの差を低減またはなくし、その瞳孔位置における対応する可視像を提供する。加えて、そのような技術は、表示中の各画像に対して使用してよい。例えば、次のフレームが表示されるまでに必要な時間より短い時間で各画像に適応させることによって毎秒３０個のフレームに対して使用して、ユーザがビデオの各画像を見て瞳孔を動かすにつれて変化するユーザの瞳孔位置に適応された連続的なビデオを提供する。 
【００３５】
説明する技術を使用することで、本明細書において説明する光学歪みのうちの一部のタイプまたは全タイプの歪みによる効果を低減またはなくすことを含む様々な利点が提供され得る。特に、瞳孔位置に関わらず、説明する技術を使用すれば、画像と同じまたは実質的に同じ可視像をユーザに提供することができ、例えば、たとえ瞳孔位置が中心光軸から大きく逸れていたとしても、実質的にコリメートされた光でユーザの瞳孔に可視像を提供することができる。このような利点に加えて、少なくともいくつかのそのような実施形態における更なる利点は、ユーザが取得可能な実効視野を広くすること、特殊な光学レンズ（例えば、フレネルレンズ）の必要性を低減またはなくすこと、ユーザ別の光学歪み補正を提供すること、ＨＭＤ適合の補正を提供すること、瞳距離補正を提供すること、歪みの大きい、または非コリメートな光学系の使用を可能にすること、などのうちの１または複数の更なる利点をさらに含む。
【００３６】
図３は、説明した技術の少なくともいくつかを行うための例示的なコンピューティングデバイスおよびシステムを示すブロック図である。特に、図３は、１または複数のクライアント（例えば、光学レンズを含むデバイスの製造業者、光学レンズを有するデバイスをエンドユーザに販売する小売店など）の代わりに動作するレンズ歪みマッピングシステム３４２の実施形態を実行することなどによって、光学レンズに固有の光学歪みを特定しマッピングするための説明した技術のうちの少なくともいくつかを行うのに適した１または複数のサーバコンピューティングデバイス３００を備える。加えて、図３は、１または複数のクライアント（例えば、デバイス３５０をエンドユーザに販売する小売店、デバイス３５０を操作するエンドユーザなど）の代わりに動作する瞳孔位置光学歪み補正システム３６５の実施形態を実行することなどによって、光学レンズに固有のマッピングされた光学歪みを使用して、光学レンズを介して画像を受け取る装着者または他のユーザに表示される画像を補正するための説明された技術のうちの少なくともいくつかを行うのに適した１または複数のエンドユーザデバイス３５０も備える。１または複数の随意的な他のコンピューティングシステム３９０もまた示されている。上記の様々なデバイスが１または複数のコンピュータネットワーク３８５（例えば、インターネット、１または複数の携帯電話ネットワークなど）を介して相互接続されて、例えば、当該コンピューティングシステムと当該デバイスと任意の他のシステムまたは任意の他のシステムに実装されたコンポーネントとの間の通信が可能になる。 
【００３７】
例示的な（１または複数の）サーバコンピューティングデバイス３００はそれぞれ、１または複数のハードウェアプロセッサ３０５（例えば、１または複数のＣＰＵプロセッサ、１または複数のＧＰＵプロセッサなど）と、様々な入出力（「Ｉ／Ｏ」）コンポーネント３１０とストレージ３２０とメモリ３３０とを有する。この例示的な実施形態において示したＩ／Ｏコンポーネントは、ディスプレイ３１１とネットワーク接続３１２とコンピュータ可読媒体ドライブ３１３と他のＩ／Ｏデバイス３１５（例えば、キーボード、マウス、または他のポインティングデバイス、マイク、スピーカなど）とを含む。そのようなＩ／Ｏコンポーネントは、例えば音声制御、ジェスチャ制御などを含む様々なタイプの対話のタイプを可能にし得る。例示的なエンドユーザデバイス３５０も同様に、それぞれが１または複数のハードウェアプロセッサ３５５（例えば、１または複数のＣＰＵプロセッサ、１または複数のＧＰＵプロセッサなど）と、１または複数のＩ／Ｏコンポーネント３５１と、メモリ３６２と、ストレージ３５６とを有するように示されている。サーバコンピューティングデバイス３００に関して示された詳細のいくつかは、デバイス３５０および他のコンピューティングシステム３９０に関しては示されていないが、デバイス３５０およびシステム３９０も同様に、サーバコンピューティングデバイス３００と同じタイプのコンポーネントのうちの一部または全部を有してよい。エンドユーザデバイス３５０は、１または複数の光学レンズ３６７および１または複数の他のＩ／Ｏデバイス３５４（例えば、１または複数の内部および／または外部のカメラ、装着者または他のユーザの耳に音を提供する１または複数のスピーカ、１または複数の瞳孔追跡システム、他のタイプの移動センサもしくは他のセンサなど）などの（１または複数の）デバイス３００に関しては示されていない、更なるコンポーネントをさらに有してよい。同様に、動き追跡および／または画像表示の機能の提供などを行うべく、他のコンピューティングシステム３９０のうちの１または複数がエンドユーザデバイス３５０の１または複数と連動して動作する場合、それらの他のコンピューティングシステムは同様に、（１または複数の）デバイス３００に関しては示されていない、更なるコンポーネントを有してよい。 
【００３８】
この例では、レンズ歪みマッピングシステム３４２は、随意的な１または複数の他のプログラム３４９と共に、サーバコンピューティングデバイス３００のメモリ３３０において実行されている。本明細書の他の箇所でより詳細に説明しているように、レンズ歪みマッピングシステム３４２は、エンドユーザデバイス３５０の１または複数などに対して、（例えば、デバイス３５０が各エンドユーザに提供される前のデバイス３５０の製造の一部として）光学レンズに固有の光学歪みを特定しマッピングするための説明した技術のうちの少なくともいくつかを行ってよい。システム３４２は、その動作の一部として、ストレージ３２０などに格納される様々なデータを生成および／または使用してよい。当該データには、マッピングデータを生成する対象の、規定の瞳孔位置ビュー点についてのデータ３２１と、レンズおよび／またはレンズが据え付けまたは取り付けられるデバイスについてのデータ３２３と、マッピング動作を行った結果のデータ３２７とが含まれる。生成されたマッピングデータ３２７はさらに、様々な様式で受取側に使用または提供されて、例えば、後に使用するために特定のエンドユーザデバイス３５０の１または複数の光学レンズについてそのデバイス上に生成された特定のマッピングデータを、エンドユーザデバイス３５０のストレージ３５６などにデータ３５７として格納してよい。この例ではレンズ歪みマッピングシステム３４２が少なくとも部分的にソフトウェアシステムとして、対応するソフトウェア命令などと共に実装されており、当該ソフトウェア命令は、実行されると、（１または複数の）プロセッサ３０５および（１または複数の）サーバコンピューティングデバイス３００をプログラムまたは設定して、説明した技術のうちの少なくともいくつかを実装する自動動作を実行するものであるが、他の実施形態においては、レンズ歪みマッピングシステム３４２は他の様式で実装されてよい。 
【００３９】
加えて、瞳孔位置光学歪み補正システム３６５が、例えば、部分的にまたは全体的にメモリ３６２内のソフトウェアプログラム（図示せず）として、および、部分的にまたは全体的にデバイス３５０上の特殊なハードウェアコンポーネント（図示せず）として、エンドユーザデバイス３００上で実行されている。メモリ３６２はさらに、エンドユーザデバイスに（例えば、１または複数の表示パネル３５２に）表示される画像を生成または提供する１または複数の画像表示プログラム３６３を、随意的な１または複数の他のプログラム３６４と共に随意で格納してよいが、他の実施形態においては、その代わりに外部システム（例えば、他のコンピューティングシステム３９０の１または複数）が、画像の一部または全部を、表示されるようデバイス３５０に供給してよい。本明細書の他の箇所でより詳細に説明したように、瞳孔位置光学歪み補正システム３６５は、光学レンズに固有のマッピングされた光学歪みを使用して、当該光学レンズを介して画像を受け取る装着者または他のユーザに表示される画像を補正するための説明した技術のうちの少なくともいくつかを、例えば、１または複数の光学レンズ３６７について（例えば、１または複数のエンドユーザに画像を表示することの一部として）行ってよい。システム３６５は、その動作の一部として、ストレージ３５６などに格納される様々なデータを生成および／または使用してよい。当該データには、１または複数の規定の瞳孔位置についての、特定の表示パネル画素を特定の瞳孔位置での位置にマッピングするデータ３５７と、（例えば、１または複数の瞳孔追跡デバイス３５３が生成するか、または、１または複数の外部のシステムから受け取った）瞳孔位置追跡についてのデータ３５９と、随意で、エンドユーザデバイス３５０に表示する１または複数の画像３５８とが含まれる。マッピングデータ３５７は、サーバコンピューティングデバイス３００上のレンズ歪みマッピングシステム３４２などから様々な様式で受け取ってよいが、他の実施形態においては、単一のデバイスまたはシステム（例えば、エンドユーザデバイス３５０、サーバコンピューティングデバイス３００、他のコンピューティングシステム３９０など）が、レンズ歪みマッピングシステムおよび瞳孔位置光学歪み補正システムの両方の実施形態を実行してよい。 
【００４０】
示したコンピューティングシステムおよびデバイスは単に例示のものであって、本発明の範囲を限定することは意図されていないことが理解されよう。例えば、（１または複数の）コンピューティングデバイス３００および／または（１または複数の）エンドユーザデバイス３５０は、例えばインターネットなどの１または複数のネットワークまたはウェブを介して、示していない他のデバイスに接続されてよい。より全般的には、そのようなコンピューティングシステムまたはデバイスは、ハードウェアの任意の組み合わせを含んでよい。当該ハードウェアは、例えば、適切なソフトウェアでプログラムまたは設定された場合、相互作用し、説明したタイプの機能を実行することができる、デスクトップコンピュータ、ラップトップコンピュータ、スレートコンピュータ、タブレットコンピュータまたは他のコンピュータ、スマートフォンコンピューティングデバイスおよび他の携帯電話、インターネット機器、ＰＤＡおよび他の電子オーガナイザ、データベースサーバ、ネットワークストレージデバイスおよび他のネットワークデバイス、無線電話、ページャ、（例えば、セットトップボックスおよび／またはパーソナル／デジタルビデオレコーダおよび／またはゲームコンソールおよび／またはメディアサーバを使用する）テレビベースのシステム、ならびに、適切な相互通信機能を含む様々な他の消費者製品を含むが、それらに限定されない。例えば、例示のシステム３４２および／または３６５は、少なくともいくつかの実施形態において、実行可能なソフトウェア命令および／またはデータ構造を含んでよい。当該命令および／またはデータ構造は、特定のコンピューティングシステムまたはデバイスによってロードされ、および／または実行されると、それらのシステムまたはデバイスのプロセッサの設定などを行うべく、それらのシステムまたはデバイスをプログラムまたは設定するために使用されてよい。あるいは、他の実施形態では、当該ソフトウェアシステムの一部または全部は、別のデバイスのメモリ内で実行され、コンピュータ間通信によって、例示のコンピューティングシステム／デバイスと通信してよい。加えて、様々なアイテムが様々な時点に（例えば、使用中に）メモリまたはストレージに格納されるよう示しているが、これらのアイテムまたはアイテムの一部は、メモリ管理および／またはデータ完全性の目的で、メモリとストレージとの間および／または（例えば異なる位置にある）ストレージデバイス間で転送され得る。 
【００４１】
したがって、少なくともいくつかの実施形態では、例示のシステムは、ソフトウェア命令を含むソフトウェアベースのシステムであり、当該ソフトウェア命令は、（１または複数の）プロセッサ３０５および／もしくは３５５ならびに／または他のプロセッサ手段によって実行されると、（１または複数の）プロセッサをプログラムして、説明した当該システムの動作を自動で行う。さらに、いくつかの実施形態では、当該システムの一部または全部は、他の様式で、例えば、少なくとも部分的にファームウェアおよび／またはハードウェアの手段で、実装または提供されてよい。当該手段は、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準的な集積回路、コントローラ（例えば、適切な命令を実行することによる、マイクロコントローラおよび／またはエンベデッドコントローラを含む）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含むが、それらに限定されない。当該システムまたはデータ構造のうちの一部または全部は、非一時的コンピュータ可読記憶媒体に（例えばソフトウェア命令コンテンツまたは構造化されたデータコンテンツとして）格納されてもよい。当該非一時的コンピュータ可読記憶媒体とは例えば、適切なドライブによって、または適切な接続を介して読み出しが行われる、ハードディスクもしくはフラッシュドライブもしくは他の不揮発性ストレージデバイス、揮発性メモリもしくは不揮発性メモリ（例えばＲＡＭ）、ネットワークストレージデバイス、または、ポータブルメディア物品（例えば、ＤＶＤディスク、ＣＤディスク、光ディスク、フラッシュメモリデバイスなど）である。当該システム、モジュール、およびデータ構造はまた、いくつかの実施形態において、無線ベースおよび有線／ケーブルベースの媒体を含む様々なコンピュータ可読伝送媒体上で、生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタルの伝搬信号の一部として）伝送されてよく、様々な形態を（例えば、単一の、もしくは多重化されたアナログ信号の一部として、または、複数の別個の離散的なデジタルのパケットもしくはフレームとして）とってよい。他の実施形態では、そのようなコンピュータプログラム製品もまた、他の形態をとってよい。したがって、本発明は、他のコンピュータシステム構成で実行されてよい。
【００４２】
図４は、レンズ歪みマッピングルーチン４００の例示的な一実施形態のフロー図である。当該ルーチンは、例えば、図３のレンズ歪みマッピングシステム３４２、ならびに／または、図２Ｄから図２Ｇに関して、および本明細書の他の箇所において説明したレンズ歪みマッピング動作を行うシステムによって行われてよく、例えばそれにより、（例えば、ヘッドマウントディスプレイまたは他のタイプのアセンブリの）特定の光学レンズの光学歪みを補正するための情報が、（例えば、当該ヘッドマウントディスプレイまたは他のタイプのアセンブリの）当該光学レンズの使用に先立って、考えられる複数の瞳孔位置から生成される。示したルーチンの例は、単一のレンズについて一回、かつ、一度に単一の瞳孔位置（当該ルーチンにおいては瞳孔の「ビュー点」と称される）について行われるが、そのようなルーチンは、複数の光学レンズについて、および／または、複数のそのようなビュー点についての決定を同時に行うことを含む他の態様で、使用されてよいことが理解されよう。加えて、理解されるであろうように、示したルーチンの実施形態は、適宜ソフトウェアおよび／またはハードウェアで実装されてよく、例えば、光学レンズが取り付けられたＨＭＤまたは他のデバイスとは切り離されたシステムによってユーザが当該デバイスの使用を開始する前などに行われてよいが、他の実施形態においては、その代わりに実際のＨＭＤまたは他のデバイスが、いずれのユーザに対しても、または特定のユーザに対して、使用開始時などにマッピング技術のうちの一部または全部を行ってよい。
【００４３】
示したルーチンの実施形態は、ブロック４０５から始まる。ブロック４０５では、マッピング対象の光学レンズの指示が受け取られる。当該光学レンズは随意で、当該光学レンズと共に使用されるヘッドマウントディスプレイまたは表示パネル（または他の表示デバイス）を備えた他の筐体に取り付けられている。次に、当該ルーチンはブロック４１５に進んで、マッピング対象の、１または複数の瞳孔位置ビュー点による群についての情報を受け取る。当該ビュー点とは、単一の中心光軸の瞳孔位置ビュー点、またはその代わりに、瞳孔の動きのボックス領域内の考えられる複数の異なる瞳孔位置ビュー点（随意で、当該中心光軸の瞳孔位置ビュー点は、当該複数のビュー点のうちの１つである）、などである。 
【００４４】
次に、当該ルーチンは続いて、そのような瞳孔位置ビュー点ごとにブロック４２５〜４６５を行って、当該光学レンズおよび当該瞳孔位置ビュー点についてのマッピングデータ構造を生成する。当該マッピングデータ構造は、表示パネル画素を当該瞳孔位置ビュー点における（この例では画像センサによって表される）例示的な瞳孔内の対応する位置にマッピングするための情報を含む。特に、当該ルーチンは、ブロック４１５の後ブロック４２５に続いて、マッピング対象の次のビュー点を選択する。最初は第１番目のビュー点から始める。ブロック４３５において、次に当該ルーチンは、まだそのように配置されていなければ、その選択されたビュー点位置に画像センサを配置する。画像センサは、人間の瞳孔を表し、感光点の配列を有する。ブロック４３５の後、当該ルーチンはブロック４４５に進んで、レンズの画像センサとは逆側に配置される表示パネル上の１または複数の表示パネル画素による群を順次連続してアクティブにし、また、アクティブにされた１または複数の画素からの光を受け取る、画像センサ上の対応する１または複数の感光点位置をマッピングする。ブロック４４５の手順は、表示パネル上の全ての画素がアクティブにされるまで続くが、他の実施形態および状況では、表示パネル画素の一部のみ（例えば、様々な位置の代表画素、表示パネルの一部のみに対して、など）がアクティブにされてよい。ブロック４４５の後、当該ルーチンは、ブロック４５５に進んで、画像センサ上の感光点位置ごとに、その画像センサの点において受け取る光を発した１または複数の表示パネル画素を決定し、それらの画素をアクティブにすれば、画像センサ（または、後には瞳孔）上の当該位置が、対応する光を受け取るようにする。決定された後、当該ルーチンは、ブロック４５５において、選択されたビュー点についての、対応する画素を瞳孔位置での位置へ対応付けるマッピングデータ構造を生成し、ブロック４６５において、当該ビュー点および光学レンズの生成されたマッピングデータ構造を格納する。 
【００４５】
ブロック４６５の後、当該ルーチンはブロック４７５に進んで、マッピング対象のビュー点がさらにあるか否かを判断し、ある場合、ブロック４２５に戻って次のビュー点を選択する。ない場合、当該ルーチンは、ブロック４８５に進んで、随意で、マッピングされた複数のビュー点のデータを集約して当該光学レンズでの使用のための総合情報データ構造にし、当該光学レンズについてのデータを格納し、当該データを１または複数の要求者（例えば、ブロック４０５に関して命令を与えた要求者）に適宜提供する。 
【００４６】
ブロック４８５の後、当該ルーチンはブロック４９５に進んで、例えば終了の明示を受け取るまで続けるか否かを判断する。続けると決定した場合、当該ルーチンはブロック４０５に戻り、マッピング対象の次の光学レンズについての情報を待機し、続けない場合、ブロック４９９に進んで終了する。 
【００４７】
図５は、瞳孔位置光学歪み補正ルーチン５００の例示的な一実施形態のフロー図である。当該ルーチンは、例えば、図３の瞳孔位置光学歪み補正システム３６５、および／または、図２Ｅ〜図２Ｇに関して説明した対応するシステムによって行われて、例えば、特定の光学レンズおよび瞳孔位置に固有の方式で表示パネル（もしくは他の表示デバイス）に表示される１または複数の画像が調整され、また、随意で特定のユーザに固有のそのような情報がさらに調整されてよい。当該ルーチンに係る示した実施形態は、例えば単一の画像（それ自体で独立したものなのか、一連の関連画像の一部としてなのかを問わない）について、ある時間に特定の画像に関して表示されるが、当該ルーチンの他の実施形態は、例えば複数の画像を同時に調整する（例えば、それらの複数の画像の表示間においてユーザの瞳孔位置が大きく異ならないと思われる場合での、続けざまに表示される複数の画像の調整の実行や、ＨＭＤに２つの光学レンズがある場合などでの、２つ以上の表示パネルおよび付随する光学レンズによって同時に表示される２つ以上の画像の調整の実行、など）といった他の方式で行われてよいことが理解されよう。加えて、当該ルーチンに係る示した実施形態は、例えば、画像が受け取られ、提示されている間、動的に、例えば、光学レンズが含まれる特定のＨＭＤまたは他のデバイスによって行われてよく、また、ソフトウェアおよび／またはハードウェアで適宜実装されてよいことが理解されよう。 
【００４８】
当該ルーチンの例示的な実施形態は、ブロック５０５から始まる。ブロック５０５においては、光学レンズの指示が受け取られ、かつ、当該ルーチンは、当該レンズの場合の、１または複数の瞳孔位置ビュー点についての、画素を瞳孔位置での位置に対応付けるマッピング情報を取得する。当該情報は、例えば、当該光学レンズについての、図４で先に生成される情報である。ブロック５０５の後、当該ルーチンはブロック５１５に進む。ブロック５１５では、当該ルーチンは、（例えば、ＨＭＤまたは他のデバイスによって行われるユーザ別歪み補正の解析、外部ソースから受け取った光学的検討などの情報、などに基づく）特定のユーザと加えられるあらゆるユーザ別の歪み補正とについての情報、または当該ユーザに表示される画像についての情報を随意で取得する。ただし、いくつかの実施形態では、そのようなユーザ別光学歪み補正は使用されなくてもよい。当該ルーチンの示した例では、次に当該ルーチンは、ブロック５２５に進んで、当該光学レンズおよびユーザについて瞳孔追跡を開始するが、他の実施形態においては、そのような瞳孔追跡を行うのに１または複数の別個のシステムを使用してよく、当該ルーチンは、その代わりに瞳孔追跡情報をそれらの他のシステムから受け取ってよい。 
【００４９】
次に当該ルーチンは、光学レンズを介してユーザに表示される、ビデオの一連の画像フレーム、またはその代わりに単一の独立した画像などの１または複数の画像の各々に対して、ブロック５４５〜５８５を行い続ける。特に、ブロック５４５において、当該ルーチンは、表示される次の画像での使用などのために、例えば定期的にまたは連続的に、ユーザの瞳孔位置を追跡する。先述したように、いくつかの実施形態では、瞳孔位置は、実際の現在位置のみならず、例えば調整済み画像がユーザに実際に表示されるまでの時間量に対応させて、特定の将来時間における予測した将来位置も使用して決定されてよい。ブロック５５５において、次に当該ルーチンは、決定された瞳孔位置に対応するマッピング情報が生成された最も近い規定の瞳孔位置ビュー点のうちの１または複数を決定し、それらの１または複数の最も近い瞳孔ビュー点の対応するマッピング情報を使用するべく取り出す。１または複数の最も近い規定の瞳孔位置ビュー点のそのような決定は、様々な方式で、例えば、予め規定された距離閾値または動的に規定された距離閾値（例えば、最も近い瞳孔位置ビュー点までの距離、最も近い４つの瞳孔位置ビュー点までの距離、など）を使用することによって、行われてよい。加えて、この例示的なルーチンでは示されていないが、いくつかの実施形態では、当該ルーチンはさらに、実際の瞳孔位置および／または予測した瞳孔位置についての情報を複数回取得および使用し、それらの情報を組み合わせて、使用する瞳孔位置を決定してよい（例えば、複数の位置の平均をとる）。例えば、実際の瞳孔位置および／または予測した瞳孔位置は、対応する調整された画像がユーザに表示される前の何時かに決定されてよく、当該情報は、例えば、１または複数の過去の画像を表示した１または複数の過去の時間、現在の画像の調整を実際に開始する後の時間などの他の時間における実際の瞳孔位置および／または予測した瞳孔位置についての情報と組み合わされてよい。
【００５０】
次に当該ルーチンは、ブロック５６０において、表示対象の次の画像を取得する。ブロック５６５では、当該ルーチンは次に、画像を調整するべく単一の規定ビュー点を使用するか、または複数の規定ビュー点を使用するかを決定する。ただし、当該ルーチンの他の実施形態では、常に単一のビュー点だけを使用してよく、または常に複数のビュー点を使用してよい。当該ルーチンに係る示した例において、単一の規定ビュー点を使用するよう決定された場合、例えば、決定された瞳孔位置が（例えば、最小閾値距離内の）特定の規定ビュー点と関連付けられる場合などには、当該ルーチンは、ブロック５７５に進んで、そのビュー点のマッピング情報を使用して、当該画像について、表示される画素情報をどのように変更するか、および、さらに随意で、任意のユーザ別情報に基づいて画像画素情報をどのように変更するかを決定し、照らすべき変更または修正した画素セットが決定されて、光学レンズ歪みおよびあらゆるユーザ別光学歪みが与えられたならば、決定された瞳孔位置において所望の画像が表示される。 
【００５１】
その代わりに、ブロック５６５において、複数の規定ビュー点を使用するよう決定された場合、当該ルーチンは代わってブロック５７５に進む。ブロック５７５では、２つ以上のそのような規定ビュー点が使用対象として選択され、かつ、それらの複数の選択されたビュー点のマッピング情報が組み合わされ、随意で、（例えば、決定された瞳孔位置のそれらのビュー点との位置の差に基づいて、１または複数の他の規定された方式で、などによって）マッピング情報にビュー点の差についての重み付けをする。例えば、２つの選択されたビュー点が、特定の瞳孔位置での位置に対して照らすべき２つの異なる画素を示す場合、それらの画素は共に照らされてよいか、またはその代わりに、１または複数の他の画素が、（例えば、それらの２つの画素間の１または複数の他のそのような画素を選択することによって）決定されてよい。ブロック５７５の後、当該ルーチンはブロック５８０に進んで、組み合わされたマッピング情報と、随意で任意のユーザ別情報とに基づいて、ブロック５７０に関して説明した方法と類似した方式で、表示される画像の画素情報を変更する。 
【００５２】
ブロック５７０または５８０の後、当該ルーチンはブロック５８５に進んで、表示用の変更した画像画素情報を出力する。当該出力は、表示パネルに対して直接出力するか、または、その代わりに、実際の画像表示を実行する別のシステムもしくはルーチンに対して出力するかを問わない。次に当該ルーチンはブロック５８７に進んで、説明した方式で変更対象の画像がさらにあるか否かを判断し、ある場合、ブロック５３５に戻って表示されるべき次の画像を待機する。ない場合、当該ルーチンはブロック５９５に進んで、例えば終了の明示を受け取るまで続けるか否かを判断する。続けると決定された場合、当該ルーチンはブロック５０５に戻り、そのような画像修正が行われるべき別のレンズの指示を待機し、続けないと決定された場合、ブロック５９９に進んで終了する。 
【００５３】
本明細書において説明された非排他的で例示的な実施形態が、以下の項目においてさらに説明される。
［項目Ａ］  表示パネルを有するヘッドマウントディスプレイデバイスに、上記表示パネルと、人間の目が上記表示パネルが生成する画像を受け取るよう設計される目の位置領域との間に光学レンズを取り付ける段階と、１または複数のコンピューティングシステムが、上記表示パネルからの画像が上記光学レンズを介して受け取られ得る、上記目の位置領域の複数の瞳孔位置の各々について、上記ヘッドマウントディスプレイデバイスに取り付けられた上記光学レンズからの上記複数の瞳孔位置の各々での光学歪みマッピング情報を生成する段階であって、上記複数の瞳孔位置の各々について、上記複数の瞳孔位置の各々に、複数の感光位置の配列を有する画像センサを配置する段階、上記表示パネル上の画素を順次連続してアクティブにし、アクティブにされた上記画素からの光を上記光学レンズを介して受け取る、上記画像センサの帰結感光位置を決定する段階、および、上記複数の瞳孔位置の各々での感光位置を上記表示パネル上の対応する画素にマッピングする、上記光学レンズについての、上記複数の瞳孔位置の各々の光学歪みマッピングデータ構造を格納する段階、を含む生成する段階と、上記目の位置領域において上記光学レンズを介して画像を人間の目に表示するべく、上記ヘッドマウントディスプレイに付随する少なくとも１つのハードウェアプロセッサが、生成された上記光学歪みマッピング情報を使用する段階であって、上記画像の各々について、上記ヘッドマウントディスプレイの瞳孔追跡機能を使用して上記人間の目の瞳孔の実際の瞳孔位置を決定する段階、上記複数の瞳孔位置のうち、決定された上記実際の瞳孔位置から規定された距離内にある１または複数の瞳孔位置を選択する段階、上記決定された実際の瞳孔位置における上記光学レンズがもたらす光学歪みを低減するための上記画像の各々の調整の一部として、格納された１または複数の光学歪みマッピングデータ構造内の、選択された上記１または複数の瞳孔位置の上記生成された光学歪みマッピング情報を使用する段階であって、調整された上記画像の各々について、アクティブにされる画素の位置を変更して、上記決定された瞳孔位置において受け取る光を調整前の上記画像の各々に対応させることを含む、使用する段階、および、上記調整された画像の各々を上記表示パネルに表示する段階を有する、使用する段階とを備える方法。
［項目Ｂ］
上記ヘッドマウントディスプレイデバイスは第２の表示パネルと、第２の人間の目が上記第２の表示パネルが生成する画像を受け取るよう設計される第２の目の位置との間の第２の光学レンズをさらに備え、上記方法は、１または複数のコンピューティングシステムが、上記第２の表示パネルからの画像が上記第２の光学レンズを介して受け取られ得る上記第２の目の位置領域における複数の第２の瞳孔位置の各々について、上記複数の第２の瞳孔位置の各々での、上記第２の光学レンズについての第２の光学歪みマッピング情報を生成する段階であって、上記第２の光学歪みマッピング情報は、上記第２の光学レンズに固有、かつ、上記光学レンズについての上記光学歪みマッピング情報とは別個である、生成する段階と、第２の画像を上記第２の光学レンズを介して上記第２の目の位置領域の第２の人間の目に表示するべく、上記ヘッドマウントディスプレイに付随する少なくとも１つのハードウェアプロセッサが、生成された上記第２の光学歪みマッピング情報を使用する段階であって、上記第２の画像の各々について、上記ヘッドマウントディスプレイの上記瞳孔追跡機能を使用して、上記第２の人間の目の第２の瞳孔の第２の実際の瞳孔位置を決定する段階、決定された上記第２の実際の瞳孔位置から規定された距離内にある、上記複数の第２の瞳孔位置のうちの１または複数の瞳孔位置を選択する段階、上記決定された第２の実際の瞳孔位置における上記第２の光学レンズがもたらす光学歪みを低減するための上記第２の画像の各々の調整の一部として、選択された上記１または複数の第２の瞳孔位置の上記生成された第２の光学歪みマッピング情報を使用する段階、および、調整された上記第２の画像の各々を上記第２の表示パネルに表示する段階を有する使用する段階とをさらに備える項目Ａに記載の方法。
［項目Ｃ］
表示された上記画像および表示された上記第２の画像は、記録または生成されたビデオ情報のフレームであり、上記画像を表示するべく上記生成された光学歪みマッピング情報を使用する上記段階、および、上記第２の画像を表示するべく上記生成された第２の光学歪みマッピング情報を使用する上記段階は、一秒間に複数のフレームを含む規定レートで上記ビデオ情報を表示するべくリアルタイム方式で行われる、項目Ｂに記載の方法。
［項目Ｄ］
光学レンズについて、１または複数のハードウェアプロセッサが、複数の瞳孔位置の各々の光学歪みマッピング情報を生成する段階であって、上記光学レンズは、表示デバイスと上記複数の瞳孔位置を有する目の位置領域との間に配置され、上記表示デバイスからの画像は、上記光学レンズを介して上記複数の瞳孔位置において受け取られてよく、当該段階は、上記複数の瞳孔位置の各々について、上記表示デバイス上の画素をアクティブにする段階と、上記複数の瞳孔位置の各々での、アクティブにされた上記画素からの光を上記光学レンズを介して受け取る帰結位置を決定する段階とを有する、生成する段階と、上記光学レンズを介して１または複数の画像を人間の目に表示するべく、少なくとも１つのハードウェアプロセッサが、生成された上記光学歪みマッピング情報を使用する段階であって、上記１または複数の画像の各画像について、上記人間の目の瞳孔の瞳孔位置を決定する段階、上記複数の瞳孔位置のうち、決定された上記瞳孔位置から規定された距離内にある１または複数の瞳孔位置を選択する段階、上記光学レンズがもたらす光学歪みを低減するための上記各画像の調整の一部として、選択された上記１または複数の瞳孔位置の上記生成された光学歪みマッピング情報を使用する段階であって、調整された上記各画像について、上記表示デバイス上でアクティブにされる画素の位置を変更して、上記決定された瞳孔位置において受け取る光を調整前の上記各画像に対応させることを含む、使用する段階、および、上記調整された各画像を上記表示デバイスに表示することを開始する段階を有する、使用する段階とを備えるコンピュータ実装方法。
［項目Ｅ］
上記１または複数の画像のうちの１つの画像について上記生成された光学歪みマッピング情報を使用する上記段階は、上記１つの画像について、上記複数の瞳孔位置のうちの上記決定された瞳孔位置に最も近い１つの瞳孔位置を特定することによって、上記１つの画像について上記１または複数の瞳孔位置を選択する上記段階を行う段階と、上記決定された瞳孔位置と特定された上記１つの瞳孔位置との間の距離を使用して上記特定された１つの瞳孔位置の上記光学歪みマッピング情報を修正することによって、上記１つの画像について、上記決定された瞳孔位置の光学歪みマッピング情報を見積もる段階と、上記１つの画像の上記調整に、見積もった上記光学歪みマッピング情報を使用する段階とを有する、項目Ｄに記載のコンピュータ実装方法。
［項目Ｆ］
上記１または複数の画像は複数の画像を含み、上記複数の画像のうちの第２の画像について上記生成された光学歪みマッピング情報を使用する上記段階は、上記第２の画像について、上記複数の瞳孔位置のうちの、上記決定された瞳孔位置までの上記規定された距離内にある１より多くの瞳孔位置を特定することによって、上記第２の画像について上記１または複数の瞳孔位置を選択する上記段階を行う段階と、特定された上記１より多くの瞳孔位置の上記光学歪みマッピング情報を組み合わせることによって、上記第２の画像について、上記決定された瞳孔位置の光学歪みマッピング情報を見積もる段階と、上記第２の画像の上記調整に、見積もった上記光学歪みマッピング情報を使用する段階とを有する、項目Ｅに記載のコンピュータ実装方法。
［項目Ｇ］
上記１つの画像の上記調整は、上記１つの画像について、アクティブにする複数の画素のうちの少なくともいくつかの画素の各画素について、上記各画素に対応する、上記決定された瞳孔位置での位置において光を表示させるべく、上記複数の画素のうちの、アクティブにするべき１または複数の他の画素を決定することを含む、項目Ｅに記載のコンピュータ実装方法。
［項目Ｈ］
上記１または複数の画像のうちの１つの画像について上記生成された光学歪みマッピング情報を使用する上記段階は、上記１つの画像について、上記複数の瞳孔位置のうちの、上記決定された瞳孔位置までの上記規定された距離内にあり、かつ、上記決定された瞳孔位置を少なくとも部分的に囲む１より多くの瞳孔位置を特定することによって、上記１つの画像について上記１または複数の瞳孔位置を選択する上記段階を行う段階と、特定された上記１より多くの瞳孔位置の上記光学歪みマッピング情報を組み合わせて使用することによって、上記１つの画像について、上記決定された瞳孔位置の光学歪みマッピング情報を見積もる段階と、上記１つの画像の上記調整に、見積もった上記光学歪みマッピング情報を使用する段階とを有する、項目Ｄに記載のコンピュータ実装方法。
［項目Ｉ］
上記１つの画像の上記調整は、上記１つの画像について、アクティブにする複数の画素のうちの少なくともいくつかの画素の各画素について、上記各画素に対応する、上記決定された瞳孔位置での位置において光を表示させるべく、上記複数の画素のうちの、アクティブにするべき１または複数の他の画素を決定することを含む、項目Ｈに記載のコンピュータ実装方法。
［項目Ｊ］
上記光学レンズがもたらす光学歪みを低減するための上記各画像の上記調整は、上記各画像が表示される上記人間の目に固有の更なる光学歪みについての情報を取得することと、上記更なる光学歪みを補正するべく上記各画像をさらに調整することとをさらに含む、項目Ｄに記載のコンピュータ実装方法。
［項目Ｋ］
上記アクティブにされる画素はそれぞれ、異なる発光材料を使用して、または、異なるカラーフィルタを使用して、動作中、赤、緑、または青のうちの１つの光を発するよう構成される副画素である、項目Ｄに記載のコンピュータ実装方法。
［項目Ｌ］
上記瞳孔の上記瞳孔位置を決定する上記段階は、瞳孔追跡機能を使用して、現在の実際の瞳孔位置を決定する段階と、上記調整された各画像の上記表示デバイス上への上記表示が行われる将来時間での上記瞳孔の予測した将来位置を反映するよう、決定された上記現在の実際の瞳孔位置を調整する段階とを有する、項目Ｄに記載のコンピュータ実装方法。
［項目Ｍ］
上記光学レンズおよび上記表示デバイスは、ヘッドマウントディスプレイの一部であり、上記人間の目は、上記ヘッドマウントディスプレイを装着している人間の目であり、上記少なくとも１つのハードウェアプロセッサは、上記ヘッドマウントディスプレイのグラフィック処理ユニットを含む、項目Ｄに記載のコンピュータ実装方法。
［項目Ｎ］
上記１または複数のプロセッサは、上記ヘッドマウントディスプレイの製造に関与する１または複数のコンピューティングシステムの一部である、項目Ｍに記載のコンピュータ実装方法。
［項目Ｏ］
上記光学レンズおよび上記表示デバイスは、カメラ、望遠鏡、顕微鏡、測量スコープ、または双眼鏡のうちの１または複数のものの一部である、項目Ｄに記載のコンピュータ実装方法。
［項目Ｐ］
上記表示デバイスは複数の画素を含み、上記光学レンズについての、上記複数の瞳孔位置の各々の上記光学歪みマッピング情報を生成する上記段階は、複数の感光位置を有する画像センサを上記複数の瞳孔位置の各々に配置する段階と、上記表示デバイス上の１または複数の画素による群を順次連続してアクティブにし、アクティブにされた上記１または複数の画素による群からの光を上記光学レンズを介して受け取る、上記画像センサの帰結感光位置を決定する段階と、上記光学レンズおよび上記複数の瞳孔位置の各々についての、上記複数の瞳孔位置の各々での感光位置を上記表示デバイス上の対応する画素にマッピングする光学歪みマッピングデータ構造を格納する段階とを有する、項目Ｄに記載のコンピュータ実装方法。
［項目Ｑ］
上記複数の瞳孔位置の各々は、上記複数の瞳孔位置の各々内に複数の位置を含み、上記光学レンズについて、上記複数の瞳孔位置の各々の上記光学歪みマッピング情報を生成する上記段階は、上記複数の瞳孔位置の各々内の上記複数の位置の各々について、上記複数の画素のうちの、上記複数の瞳孔位置の各々での上記複数の位置の各々に光を提供する１または複数の画素を決定する段階をさらに有する、項目Ｐに記載のコンピュータ実装方法。
［項目Ｒ］
１または複数のコンピューティングシステムの１または複数のハードウェアプロセッサと、１または複数のコンポーネント用の格納された命令を有する１または複数のメモリとを備えるシステムであって、上記命令は、上記１または複数のハードウェアプロセッサのうちの少なくとも１つによって実行されると、項目ＡからＱのいずれかに記載の方法を上記システムに行わせるシステム。
［項目Ｓ］
命令を格納した非一時的コンピュータ可読媒体であって、上記命令は、実行されると、１または複数のコンピューティングシステムを設定して、項目ＡからＱのいずれかに記載の方法を行う、非一時的コンピュータ可読媒体。
［項目Ｔ］
コンテンツを格納した非一時的コンピュータ可読媒体であって、上記コンテンツは、光学レンズについて、複数の瞳孔位置のうちの１または複数の瞳孔位置の各々の光学歪みマッピング情報を取得する動作であって、上記光学レンズは、表示デバイスと上記複数の瞳孔位置を有する目の位置領域との間に配置され、上記表示デバイスからの画像は、上記光学レンズを介して上記複数の瞳孔位置において受け取られてよく、上記光学歪みマッピング情報は、上記１または複数の瞳孔位置の各々について、上記１または複数の瞳孔位置の各々での、上記表示デバイス上の対応するアクティブにされた画素から上記光学レンズを介して光を受け取る位置を特定する、取得する動作と、上記光学レンズを介して１または複数の画像を人間の目に表示するべく、上記少なくとも１つのハードウェアプロセッサが、上記光学歪みマッピング情報を使用する動作であって、上記１または複数の画像の各画像について、上記人間の目の瞳孔の瞳孔位置を決定する動作、決定された上記瞳孔位置から上記１または複数の瞳孔位置のうちの少なくとも１つの瞳孔位置までの距離を決定する動作、上記光学レンズがもたらす光学歪みを低減するための上記各画像の調整の一部として、上記少なくとも１つの瞳孔位置の上記光学歪みマッピング情報と決定された上記距離とを使用する動作であって、調整された上記各画像について、上記表示デバイス上でアクティブにされる画素の位置を変更して、上記決定された瞳孔位置において受け取る光を調整前の上記各画像に対応させることを含む、使用する動作、および、上記調整された各画像を上記表示デバイス上に表示することを開始する動作を有する、使用する動作とを少なくとも備える複数の動作を、少なくとも１つのハードウェアプロセッサに行わせる非一時的コンピュータ可読媒体。
［項目Ｕ］
上記複数の瞳孔位置のうちの上記１または複数の瞳孔位置は、１より多くの瞳孔位置を含み、上記光学歪みマッピング情報を取得する上記動作は、上記表示デバイス上の画素をアクティブにすること、および、上記１より多くの瞳孔位置の各々での、アクティブにされた上記画素からの光を上記光学レンズを介して受け取る帰結位置を決定することによって、上記１より多くの瞳孔位置の各々について、上記１より多くの瞳孔位置の各々の上記光学歪みマッピング情報を生成する動作と、上記光学レンズについての、上記１より多くの瞳孔位置の各々の得られた光学歪みマッピングデータ構造を格納する動作とを有し、上記複数の動作は、上記１より多くの瞳孔位置のうちの上記少なくとも１つの瞳孔位置を選択して、距離を決定する上記動作に少なくとも部分的に基づいて、上記調整を使用する動作をさらに備える、項目Ｔに記載の非一時的コンピュータ可読媒体。
［項目Ｖ］
上記複数の瞳孔位置のうちの上記１または複数の瞳孔位置は、１より多くの瞳孔位置を含み、上記光学歪みマッピング情報を取得する上記動作は、上記光学レンズの光学的特性をモデル化する動作、ならびに、表示デバイス上の画素のアクティブ化をシミュレーションすること、および、上記１より多くの瞳孔位置の各々での、シミュレーションしたアクティブにされた上記画素からの光を上記光学レンズを介して受け取る帰結位置を決定することによって、上記１より多くの瞳孔位置の各々について、および、モデル化された上記光学的特性に少なくとも部分的に基づいて、上記１より多くの瞳孔位置の各々の上記光学歪みマッピング情報を生成する動作と、上記光学レンズについての、上記１より多くの瞳孔位置の各々の得られた光学歪みマッピングデータ構造を格納する動作とを有し、上記複数の動作は、上記１より多くの瞳孔位置のうちの上記少なくとも１つの瞳孔位置を選択して、距離を決定する上記動作に少なくとも部分的に基づいて、上記調整を使用する動作をさらに備える、項目Ｔに記載の非一時的コンピュータ可読媒体。
［項目Ｗ］
上記瞳孔の上記瞳孔位置を決定する上記動作は、瞳孔追跡機能を使用して、現在の実際の瞳孔位置を決定する動作と、上記調整された各画像の上記表示デバイスへの上記表示が行われる将来時間での上記瞳孔の予測した第１の将来位置を反映させるよう、決定された上記現在の実際の瞳孔位置を調整する動作とを有する、項目Ｔに記載の非一時的コンピュータ可読媒体。
［項目Ｘ］
上記瞳孔位置を決定する上記動作は、第１の時間に行われ、上記光学歪みマッピング情報を使用する上記動作は、第２の時間に行われ、上記調整された各画像の上記表示デバイスへの上記表示が行われる上記将来時間での上記瞳孔の第２の将来位置を上記第２の時間に予測する動作を有し、上記光学レンズがもたらす光学歪みを低減するための上記各画像の上記調整は、予測した上記第１の将来位置についての情報と予測した上記第２の将来位置についての情報とを組み合わせることを含む、項目Ｗに記載の非一時的コンピュータ可読媒体。
［項目Ｙ］
上記少なくとも１つのハードウェアプロセッサは、ヘッドマウントディスプレイの少なくとも１つのグラフィック処理ユニットを含み、上記ヘッドマウントディスプレイは、上記表示デバイスと上記光学レンズと上記目の位置領域と瞳孔追跡システムとを有し、上記瞳孔位置を決定する上記動作は、上記決定する動作の一部として上記瞳孔追跡システムの使用を含む、項目Ｔに記載の非一時的コンピュータ可読媒体。
［項目Ｚ］
上記コンピュータ可読媒体は、上記少なくとも１つのハードウェアプロセッサを備えたコンピュータシステムのメモリであり、上記格納されたコンテンツは命令であり、上記命令は、実行されると、上記動作を行うよう上記コンピュータシステムをプログラムする、項目Ｔに記載の非一時的コンピュータ可読媒体。
［項目ＡＡ］
１または複数のハードウェアプロセッサと瞳孔位置光学歪み補正システムとを備えるシステムであって、上記瞳孔位置光学歪み補正システムは、上記１または複数のハードウェアプロセッサのうちの少なくとも１つに、光学レンズについて、複数の瞳孔位置のうちの１より多くの瞳孔位置の各々の光学歪みマッピング情報を取得する動作であって、上記光学レンズは、表示デバイスと上記複数の瞳孔位置を有する目の位置領域との間に配置され、上記表示デバイスからの画像が上記光学レンズを介して上記複数の瞳孔位置において受け取られてよく、上記光学歪みマッピング情報は、上記１より多くの瞳孔位置の各々について、上記１より多くの瞳孔位置の各々での、上記表示デバイス上の対応するアクティブにされた画素から上記光学レンズを介して光を受け取る位置を特定する、取得する動作と、上記光学レンズを介して１または複数の画像を人間の目に表示するべく、上記光学歪みマッピング情報を使用する動作であって、上記１または複数の画像の各画像について、上記人間の目の瞳孔の瞳孔位置についての情報を取得する動作、上記１より多くの瞳孔位置のうちの１または複数の瞳孔位置を、選択される上記１または複数の瞳孔位置と決定された上記瞳孔位置との間のそれぞれの距離に少なくとも部分的に基づいて選択する動作、上記光学レンズがもたらす光学歪みを低減するための上記各画像の調整の一部として、選択された上記１または複数の瞳孔位置の上記光学歪みマッピング情報を使用する動作であって、調整された上記各画像について、上記表示デバイス上でアクティブにされる画素の位置を変更して、上記決定された瞳孔位置において受け取る光を調整前の上記各画像に対応させることを含む、使用する動作、および、上記調整された各画像を上記表示デバイスに表示することを開始する動作を有する、使用する動作とを備える複数の動作を行わせるよう構成される、システム。
［項目ＡＢ］
上記１より多くの瞳孔位置の各々について、上記表示デバイス上の画素をアクティブにし、上記１より多くの瞳孔位置の各々での、アクティブにされた上記画素からの光を上記光学レンズを介して受け取る帰結位置を決定することと、上記光学レンズについての、上記１より多くの瞳孔位置の各々の得られた光学歪みマッピングデータ構造を格納することとによって、上記１または複数のハードウェアプロセッサのうちの少なくとも１つに、上記複数の瞳孔位置の各々の、取得される上記光学歪みマッピング情報を生成させるよう構成されるレンズ歪みマッピングシステムをさらに備える項目ＡＡに記載のシステム。
［項目ＡＣ］
瞳孔追跡システムをさらに備え、上記瞳孔位置についての上記情報を取得する上記動作は、上記瞳孔追跡システムを使用して上記瞳孔位置を決定する動作を含む、項目ＡＡに記載のシステム。
［項目ＡＤ］
上記表示デバイスと上記光学レンズと上記目の位置領域とを有するヘッドマウントディスプレイをさらに備え、上記１または複数のハードウェアプロセッサは、上記ヘッドマウントディスプレイの少なくとも１つのグラフィック処理ユニットを含む、項目ＡＡに記載のシステム。
［項目ＡＥ］
上記瞳孔位置光学歪み補正システムは、上記１または複数のハードウェアプロセッサのうちの少なくとも１つが実行するためのソフトウェア命令を含む、項目ＡＡに記載のシステム。
［項目ＡＦ］
上記瞳孔位置光学歪み補正システムは、上記複数の動作の実行を実装するための１または複数の手段から成る、項目ＡＡに記載のシステム。
【００５４】
いくつかの実施形態では、上述のルーチンによって提供された機能が、より多くのルーチン間で分割される、またはより少ないルーチンに統合されるなどの代替的なやり方で提供され得ることが理解されよう。同様に、いくつかの実施形態では、示したルーチンは、説明したものより多くのまたは少ない機能を提供し得る。それは例えば、示した他のルーチンがむしろ、そのような機能を欠く場合はより多くの機能を提供し、もしくは含む場合はより少ない機能を提供し、または、提供される機能の数が変更された場合、などである。加えて、様々な動作が特定の態様で（例えば、順次にまたは並行して）、および／または特定の順序で行われるように示され得るが、当業者ならば、他の実施形態では当該動作は他の順序で、かつ他の態様で行われてよいことを理解するであろう。データベースまたはユーザインタフェーススクリーン／ページまたは他のタイプのデータ構造を含む上述のデータ構造が、異なる方式で、例えば、単一のデータ構造を複数のデータ構造に分割させることによって、または、複数のデータ構造を単一のデータ構造に統合させることによって、構造化されてよいことも同様に理解されよう。同様に、いくつかの実施形態では、示したデータ構造は、説明されたものより多くのまたは少ない情報を格納し得る。それは、示した他のデータ構造がむしろ、そのような情報を欠く場合はより多くの情報を格納し、もしくは含む場合はより少ない情報を格納し、または、格納される情報の量もしくはタイプが変更された場合、などである。
【００５５】
例示の目的で特定の実施形態が本明細書において説明されてきたが、本発明の主旨および範囲から逸脱することなく、様々な変更が行われ得ることが、これまでの記載から理解されよう。加えて、本発明の特定の態様が、時に特定の請求項の形で提示され、または、ある時にはどの請求項においても具現化されていない場合があるが、発明者は、本発明に係る様々な態様を任意の利用可能な請求項の形で検討している。例えば、本発明の一部の態様だけがある特定の時にコンピュータ可読媒体で具現化されるものとして記載され得るが、他の態様も同様にコンピュータ可読媒体で具現化され得る。 
【図１】
2020513580.tif 000003
【図２Ａ】
2020513580.tif 000004
【図２Ｂ】
2020513580.tif 000005
【図２Ｃ】
2020513580.tif 000006
【図２Ｄ】
2020513580.tif 000007
【図２Ｅ】
2020513580.tif 000008
【図２Ｆ】
2020513580.tif 000009
【図２Ｇ】
2020513580.tif 000010
【図３】
2020513580.tif 000011
【図４】
2020513580.tif 000012
【図５】
2020513580.tif 000013
【国際調査報告】
2020513580.tif 000014