(57)【要約】眼の虹彩の角膜輪部境界を決定するためのシステムおよび方法の実施例が、提供される。角膜膨隆の性質が、眼画像から算出されることができる。角膜膨隆と眼表面（例えば、強膜）の交差部が、角膜輪部境界として決定されることができる。決定された角膜輪部境界は、虹彩セグメント化またはバイオメトリック用途のために使用されることができる。頭部搭載型ディスプレイは、眼をイメージングするカメラと、眼画像を分析し、角膜輪部境界を決定するプロセッサとを含むことができる。
2019528510.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブルディスプレイシステムであって、
ディスプレイと、
ユーザの眼の画像を捕捉するように構成される画像捕捉デバイスと、
実行可能命令を記憶するように構成される非一過性メモリと、
前記ディスプレイ、前記画像捕捉デバイス、および前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
カメラ較正を取得することと、
前記眼の３次元座標フレーム内において前記眼の生理学的パラメータを取得することであって、前記生理学的パラメータは、
前記眼の角膜を構成する角膜球面の半径と、
前記眼の虹彩の半径と、
前記眼の角膜球面の中心と瞳孔の中心との間の距離と
を含む、ことと、
前記眼の画像を受信することであって、前記画像は、前記眼の角膜および前記眼の虹彩の少なくとも一部を含む、ことと、
前記角膜球面と前記眼との間の交差部を決定することと、
少なくとも部分的に、前記カメラ較正に基づいて、前記交差部を前記眼の座標フレームから前記眼の画像の座標フレームに変換することと、
少なくとも部分的に、前記交差部に基づいて、角膜輪部境界を決定することと、
前記角膜輪部境界をバイオメトリック用途において利用することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
【請求項２】
前記カメラ較正は、カメラ座標フレームと前記眼の座標フレームとの間の関係を含む、請求項１に記載のウェアラブルディスプレイシステム。
【請求項３】
前記カメラ較正は、較正行列を含み、前記較正行列は、固有のカメラパラメータを含む、請求項１に記載のウェアラブルディスプレイシステム。
【請求項４】
前記生理学的パラメータは、ヒト対象の母集団から推定される、請求項１に記載のウェアラブルディスプレイシステム。
【請求項５】
前記眼の生理学的パラメータを取得するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記生理学的パラメータを前記眼の画像から決定するようにプログラムされる、請求項１に記載のウェアラブルディスプレイシステム。
【請求項６】
前記ハードウェアプロセッサはさらに、前記実行可能命令によって、周期的に、前記眼の生理学的パラメータを再決定するようにプログラムされる、請求項５に記載のウェアラブルディスプレイシステム。
【請求項７】
前記角膜球面と前記眼との間の交差部を決定するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記眼の３次元座標フレーム内の角膜球面の３次元性質を推定するようにプログラムされる、請求項１に記載のウェアラブルディスプレイシステム。
【請求項８】
前記角膜球面の３次元性質を推定するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記瞳孔の中心および前記角膜球面の中心を推定するようにプログラムされる、請求項７に記載のウェアラブルディスプレイシステム。
【請求項９】
前記角膜球面と前記眼との間の交差部を決定するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記角膜球面と前記眼の複数の交差点を決定するようにプログラムされる、請求項１−８のいずれか１項に記載のウェアラブルディスプレイシステム。
【請求項１０】
前記角膜球面と前記眼との間の交差部を決定するために、前記ハードウェアプロセッサはさらに、前記実行可能命令によって、曲線を前記複数の交差点に適合させるようにプログラムされる、請求項９に記載のウェアラブルディスプレイシステム。
【請求項１１】
前記曲線は、楕円形を含む、請求項１０に記載のウェアラブルディスプレイシステム。
【請求項１２】
前記複数の交差点は、前記眼の座標フレーム内において決定される、請求項９に記載のウェアラブルディスプレイシステム。
【請求項１３】
前記ハードウェアプロセッサはさらに、前記実行可能命令によって、前記複数の交差点を前記眼の画像の座標フレームの中に投影するようにプログラムされる、請求項１２に記載のウェアラブルディスプレイシステム。
【請求項１４】
ウェアラブルディスプレイシステムであって、
ディスプレイと、
ユーザの眼の画像を捕捉するように構成される画像捕捉デバイスと、
実行可能命令を記憶するように構成される非一過性メモリと、
前記ディスプレイ、前記画像捕捉デバイス、および前記非一過性メモリと通信する、ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記眼の３次元座標フレーム内において前記眼の生理学的パラメータを取得することであって、前記生理学的パラメータは、
前記眼の角膜を構成する角膜球面の半径と、
前記眼の虹彩の半径と、
前記眼の角膜球面の中心と瞳孔の中心との間の距離と
を含む、ことと、
前記眼の画像を受信することであって、前記画像は、前記眼の角膜および前記眼の虹彩の少なくとも一部を含む、ことと、
前記角膜球面と前記眼との間の交差部を決定することと、
少なくとも部分的に、前記交差部に基づいて、角膜輪部境界を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
【請求項１５】
前記眼の生理学的パラメータを取得するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記生理学的パラメータを特定の個人の眼画像から決定するようにプログラムされる、請求項１４に記載のウェアラブルディスプレイシステム。
【請求項１６】
前記眼の画像は、前記画像捕捉デバイスから受信される、請求項１４に記載のウェアラブルディスプレイシステム。
【請求項１７】
前記角膜球面と前記眼との間の交差部を決定するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記眼の３次元座標フレーム内において前記角膜球面と前記眼との間の交差部を決定するようにプログラムされる、請求項１４に記載のウェアラブルディスプレイシステム。
【請求項１８】
前記角膜球面と前記眼との間の交差部を決定するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記画像の座標フレーム内において前記角膜球面と前記眼との間の交差部を決定するようにプログラムされる、請求項１４に記載のウェアラブルディスプレイシステム。
【請求項１９】
前記角膜輪部境界を決定するために、前記ハードウェアプロセッサは、前記実行可能命令によって、曲線を前記交差部に適合させるようにプログラムされる、請求項１４−１８のいずれか１項に記載のウェアラブルディスプレイシステム。
【請求項２０】
前記ハードウェアプロセッサはさらに、前記実行可能命令によって、少なくとも部分的に、前記角膜輪部境界に基づいて、バイオメトリック用途を実施するようにプログラムされ、前記バイオメトリック用途は、虹彩識別を含む、請求項１４に記載のウェアラブルディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１６年７月１４日に出願され“ＩＲＩＳ  ＢＯＵＮＤＡＲＹ  ＥＳＴＩＭＡＴＩＯＮ  ＵＳＩＮＧ  ＣＯＲＮＥＡ  ＣＵＲＶＡＴＵＲＥ”と題されたロシア特許出願第２０１６１２８７９１号の優先権の利益を主張するものであり、該出願の内容の全体は、参照により本明細書中に援用される。
【０００２】
本開示は、概して、眼画像を処理する、より具体的には、眼の角膜膨隆の測定を使用して、虹彩の境界を識別するためのシステムおよび方法に関する。
【背景技術】
【０００３】
ヒト虹彩は、バイオメトリック情報源として使用されることができる。バイオメトリック情報は、個人の認証または識別を提供することができる。広義には、バイオメトリックテンプレートと呼ばれる、バイオメトリック情報を抽出するプロセスは、典型的には、多くの課題を有する。
【発明の概要】
【課題を解決するための手段】
【０００４】
一側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの眼の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、カメラ較正を取得し、眼の３次元座標フレーム内において眼の生理学的パラメータを取得し、生理学的パラメータは、眼の角膜を構成する角膜球面の半径と、眼の虹彩の半径と、眼の角膜球面の中心と瞳孔の中心との間の距離とを含み、眼の画像を受信し、画像は、眼の角膜および眼の虹彩の少なくとも一部を含み、角膜球面と眼との間の交差部を決定し、少なくとも部分的に、カメラ較正に基づいて、交差部を眼の座標フレームから眼の画像の座標フレームに変換し、少なくとも部分的に、交差部に基づいて、角膜輪部境界を決定し、角膜輪部境界をバイオメトリック用途において利用するようにプログラムされる、ハードウェアプロセッサとを備える。
【０００５】
別の側面では、コンピュータシステムが、開示される。コンピュータシステムは、ディスプレイと、ユーザの眼の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の３次元座標フレーム内において眼の生理学的パラメータを取得し、生理学的パラメータは、眼の角膜を構成する角膜球面の半径と、眼の虹彩の半径と、眼の角膜球面の中心と瞳孔の中心との間の距離とを含み、眼の画像を受信し、画像は、眼の角膜および眼の虹彩の少なくとも一部を含み、角膜球面と眼との間の交差部を決定し、少なくとも部分的に、交差部に基づいて、角膜輪部境界を決定するようにプログラムされる、ハードウェアプロセッサとを備える。
【０００６】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
【図面の簡単な説明】
【０００７】
【図１Ａ】図１Ａは、眼の特徴および眼イメージングカメラが眼を視認する座標系を図式的に図示する、斜視図である。
【０００８】
【図１Ｂ】図１Ｂは、眼の生理学的パラメータおよび角膜の幾何学形状を説明するために使用され得る角膜球面を図式的に図示する、眼の断面図である。
【０００９】
【図２】図２は、眼の角膜輪部境界を決定し、バイオメトリック用途において角膜輪部境界を使用するための例示的方法を図示する、フローチャートである。
【００１０】
【図３】図３は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。
【００１１】
【図４】図４は、画像情報をユーザに出力するための、図３に図示されるウェアラブルディスプレイシステムにおいて使用され得る、導波管スタックの実施例を図式的に図示する。
【００１２】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【発明を実施するための形態】
【００１３】
（概要）
眼からのバイオメトリック情報の抽出は、概して、眼画像内の虹彩のセグメント化のためのプロシージャを含む。虹彩セグメント化は、（内側）瞳孔および虹彩の（外側）角膜輪部境界を見出すステップを含む、虹彩境界を特定するステップと、虹彩を閉塞する場合、上側または下側眼瞼を特定するステップと、睫毛、陰影、または反射等の閉塞を検出および除外するステップとを含む、動作を伴うことができる。例えば、眼画像は、顔の画像内に含まれることができる、または眼球周囲領域の画像であってもよい。
【００１４】
虹彩セグメント化を実施するために、瞳孔の境界（虹彩の内部境界）および角膜輪部（虹彩の外部境界）の両方が、画像データの別個のセグメントとして識別されることができる。瞳孔境界の識別は、典型的には、瞳孔が、光を非常に効果的に吸収し、したがって、信頼性のある高コントラスト境界を提供するため、簡単である。しかしながら、角膜輪部は、多くの場合、はるかに乏しく定義され、眼の白色強膜への遷移は、多くの場合、かなり平滑である。本難点は、バイオメトリック状況において典型的であるように、眼が赤外線光を用いてイメージングされるとき、さらにより顕著となり得る。
【００１５】
角膜輪部における不明瞭に定義された境界のため、より正確かつより精密である、角膜輪部境界識別のための方法を有することが望ましい。軟境界の存在下では、従来の角膜輪部境界技法が使用されるとき、正確度および精度は両方とも、問題を被り得る。正確度問題は、軟境界が、多くの場合、眼瞼、睫毛、またはその陰影等の眼の他の要素に関するアルゴリズムによって間違えられるために生じ得る。同時に、精度問題は、軟境界が、多くの場合、照明および他の環境要因にロバストなセグメント化の真に再現可能な定義を提供しないために生じ得る。
【００１６】
虹彩の境界を識別するための眼の３次元（３−Ｄ）幾何学形状の使用は、その表面彩色（いくつかの従来の技法において使用されるように）とは対照的に、間違われ得る眼の他の幾何学的特徴が存在しないという意味において、一意であって、かつ明確に定義され、改良された信頼性につながる、代替案を提供する。故に、本開示は、３−Ｄ眼幾何学形状を測定し、測定された角膜膨隆と眼表面（例えば、強膜）の交差部を使用して、虹彩の外側境界を識別するための技法を説明する。
【００１７】
ウェアラブル頭部搭載型ディスプレイ（ＨＭＤ）の状況では、内向きに面した眼イメージングカメラが、ユーザの眼の一方または両方に比較的に近接し得る。例えば、カメラは、ウェアラブルＨＭＤ上に搭載されてもよく、それ自体は、ユーザによって装着される。眼とそのようなカメラの近接度は、より高い分解能の眼画像をもたらすことができる。故に、コンピュータビジョン技法は、眼をイメージングし、角膜膨隆の形状等、視覚的特徴をユーザの眼から抽出することが可能である。角膜膨隆と眼表面（例えば、強膜）の交差部は、角膜輪部境界を識別するために使用されることができる。さらに、眼の近傍のカメラによって視認されると、眼の虹彩は、詳細な構造を示すであろう。そのような虹彩構造は、特に、赤外線照明下で観察されるときに顕著となり得、バイオメトリック識別のために使用されることができる。これらの虹彩特徴は、ユーザ毎に一意であり得、指紋の様式において、ユーザを一意に識別するために使用されることができる。虹彩の境界を識別するための本技法は、虹彩をセグメント化し、ＨＭＤのユーザの認証等、バイオメトリック用途において使用され得る、バイオメトリックテンプレート（多くの場合、虹彩コードと呼ばれる）を決定するために使用されることができる。
【００１８】
（眼の構造）
図１Ａは、眼１００の幾何学形状を図式的に図示し、虹彩１０４と、強膜１０８と、瞳孔１１２とを伴う。図１Ａは、瞳孔１１２と虹彩１０４との間の瞳孔境界１１２ａと、虹彩１０４と強膜１０８（眼の「白眼」）との間の角膜輪部境界１０４ａとを示す。角膜輪部境界１０４ａ（角膜輪部−虹彩輪郭とも称される）上の点１１６の決定は、以下に説明されるであろう。虹彩１０４および瞳孔１１２を被覆する、透明角膜は、図１Ａには示されない。
【００１９】
図１Ｂは、角膜輪部境界１０４ａにおける角膜１２４と強膜１０８の交差部を示す、角膜球面１２０の概略断面図である。虹彩１０４および瞳孔１１２の下方（または背後）の図１Ｂに図示される角膜球面１２０の部分は、物理的ではなく、角膜１２４の略球状形状を説明するために使用される、幾何学的構造である。図１Ｂは、眼１００のいくつかの幾何学的パラメータを図示する。角膜球面１２０は、半径Ｒｃを有する。角膜球面１２０の中心および瞳孔１１２の中心は、距離ｄｐによって分離される。角膜球面１２０の中心から瞳孔１１２の中心を通して延在する線に対して横方向に測定される虹彩１０４の半径は、Ｒｉである。
【００２０】
図１Ａはまた、眼イメージングカメラによって撮影された画像を分析するために使用され得る、座標系１２８を示す。本座標系１２８では、角膜球面１２０の中心１２０ａは、ベクトル位置ｃｃに位置することができ、瞳孔１１２の中心は、ベクトル位置ｐｃに位置することができる。座標系１２８では、角膜球面１２０の中心１２０ａから瞳孔１１２の中心１１２ｂまでのベクトルは、ｐｃ−ｃｃによって与えられることができる。
【００２１】
（虹彩の角膜輪部境界を決定するための例示的方法論）
角膜輪部境界１０４ａを画像捕捉デバイス（例えば、眼イメージングカメラ）によって撮影された眼画像から決定するための例示的方法論は、ＨＭＤによって実施されることができる。例えば、ＨＭＤは、ＨＭＤユーザの眼の一方または両方をイメージングする、眼イメージングカメラを含むことができる。いくつかのＨＭＤでは、別個の眼イメージングカメラが、ユーザの眼毎に使用される。
【００２２】
眼イメージングカメラは、較正されることができる。例えば、カメラ較正行列Ｋが、決定されることができる。較正行列Ｋは、焦点距離（直交方向に）および光学中心（典型的には、カメラ画像の中心におけるピクセル単位で）等の固有のカメラパラメータに依存する。カメラの較正は、カメラの自然単位（例えば、ピクセル）と実世界単位との間の関係を眼にマッピングすることができる（例えば、ミリメートル）。較正は、特定のユーザのための眼イメージングに先立って実施され、特定のカメラのために記憶されることができる。いくつかの実装では、カメラ較正は、ＨＭＤ製造プロセスの間に実施されることができる。
【００２３】
図１Ａおよび１Ｂを参照すると、ユーザに関する生理学的眼パラメータＲｃ、Ｒｉ、およびｄｐが、決定されることができる。Ｒｃ、Ｒｉ、およびｄｐの値は、ヒト母集団を横断して比較的に安定し得、平均値は、それぞれ、約８ミリメートル、６ミリメートル、および５．３ミリメートルである。いくつかの実装では、ヒト母集団に典型的な推定される値が、ＨＭＤによって使用されることができる。他の実装では、これらのパラメータのうちの１つ以上のものが、特定のユーザの眼に関して決定されることができる。これらのパラメータは、ユーザ毎に１回決定される、またはユーザに関して周期的に再決定されることができる。パラメータＲｃ、Ｒｉ、およびｄｐの決定は、立体鏡検査または多視点イメージングを使用して、角膜および強膜領域を球状モデルに適合させることによって、実施されることができる。他の眼イメージング技法も同様に、これらのパラメータを決定するために使用されることができる。
【００２４】
瞳孔中心および角膜球面１２０の中心は、３次元で推定されることができる。例えば、瞳孔中心は、眼イメージングカメラによって撮影された眼画像内で特定され、次いで、カメラ較正情報または行列Ｋを使用して、眼の座標フレーム（眼座標フレームとも称される）内の３次元表現に変換されることができる。角膜球面の中心および瞳孔までの距離も、眼の座標フレーム内で特定されることができる。
【００２５】
角膜輪部境界１０４ａ上のいくつかの点１１６が、角膜球面１２０と眼表面（例えば、強膜１０８）との間の交差部輪郭を見出すことによって決定されることができる。角膜球面１２０についての幾何学的情報（例えば、Ｒｃ、Ｒｉ、ｄｐ）は、角膜球面と眼表面の交差部を算出し、角膜輪部境界１０４ａ上のいくつかの点１１６を見出すために使用されることができる。境界１０４ａ上の点１１６は、最初に、眼座標フレーム内で決定され、次いで、画像座標平面、フレーム、または系（またはカメラ画像平面）に再マッピングされてもよい。いくつかの実装では、合計Ｎ個の点１１６が、眼の座標フレーム内の虹彩の周囲の通常のサンプリングを生成する。点１１６は、カメラ較正定数を使用して、カメラの画像座標系内の画像座標フレームの中に投影されることができる。
【００２６】
点１１６は、角膜輪部境界１０４ａを決定するために使用されることができる。例えば、楕円形、円形、または別の形状が、画像座標フレーム内の生成された点１１６に適合されることができる。楕円形は、角膜輪部境界を定義し、これは、次いで、虹彩情報を抽出するために使用されることができる。他の実装では、他のタイプの曲線が、点１１６に適合されることができ、例えば、スプライン曲線、卵形、不規則的曲線（虹彩境界が不規則的である場合）である。さらに他の実装では、点１１６は、角膜輪部境界１０４ａを定義するために使用されることができる（曲線適合を伴わずに）。
【００２７】
故に、一例示的実装では、以下のアクションが、実施される。眼の生理学的定数が、算出または推定され、例えば、角膜球面半径、虹彩半径、および角膜中心と瞳孔中心との間の距離である。瞳孔中心および角膜球面の中心が、３次元において特定される。角膜球面と眼表面との間の交差部輪郭内の点が、最初に、眼座標フレーム内で決定され、次いで、カメラ画像平面または画像座標平面、フレーム、もしくは系に再マッピングされる。曲線（例えば、楕円形、円形、スプライン、多角形、または別の形状）が、画像座標平面内において、再マッピングされた点に適合され、角膜輪部境界を定義する。随意に、カメラ較正定数が、眼座標フレームとカメラ画像平面との間の変換が決定され得るように、決定または推定されることができる。
【００２８】
（画像座標フレーム内の虹彩の角膜輪部境界を決定するための例示的擬似コード）
以下の擬似コードは、眼画像の座標フレーム（画像座標フレームとも称される）内の角膜輪部境界を決定するための例示的方法論を説明する。前述のように、図１Ａおよび１Ｂを参照すると、座標系１２８では、角膜球面１２０の中心から瞳孔１１２の中心までのベクトルが、ｐｃ−ｃｃによって表されることができる。
【００２９】
（１）（１，０，０）からｐｃ−ｃｃ（図１Ａ参照）までの回転行列Ｒｍａｔを決定する。
【００３０】
（２）ｉ＝０からｎｕｍ＿ｐｏｉｎｔｓ−１に関して、以下を行う。
【００３１】
（２ａ）θｉ＝ｉ＊２＊ｐｉ／Ｎ
【００３２】
（２ｂ）角膜球面の中心から３−Ｄ虹彩輪郭上の点までのベクトルｖｉを求める（正準座標球において、視覚軸と整合された状態で）。
ｖｉ＝ｄｐ＊（１，０，０）＋Ｒｉ＊（ｃｏｓ（θｉ）＊（０，１，０）＋ｓｉｎ（θｉ）＊（０，０，１））
【００３３】
（２ｃ）ベクトルｖｉをカメラ座標フレームに変換する：ｖｉ’＝Ｒｍａｔ＊ｖｉ
【００３４】
（２ｄ）カメラ較正行列Ｋを使用して、ｖｉ’を画像に投影し、画像内の虹彩輪郭点Ｐｉを求める。
【００３５】
（３）曲線（例えば、楕円形、円形、スプライン、多角形、または別の形状）を全ての｛Ｐｉ｝点に適合させる。
【００３６】
前述の例示的方法では、回転行列Ｒｍａｔは、座標系１２８の視覚軸と角膜球面１２０の中心から瞳孔１１２の中心までの方向を記述するベクトルｐｃ−ｃｃとの間の回転を記述するものとして決定される。角膜輪部虹彩輪郭１０４ａ上の点１１６の数は、Ｎであって、点１１６は、角度θ内に均一に分散されることができる。角膜輪部境界上の点（ｉによってインデックス化される）は、眼座標フレーム内のベクトルｖｉによって記述されることができ、これらのベクトルは、カメラ較正行列Ｋを使用して、画像座標フレーム内のベクトルｖｉ’（例えば、角膜輪部境界上の点１１６）（例えば、図１における角膜輪部境界１０４ａ上の点１１６）の中に投影される。画像座標フレームでは、角膜輪部輪郭点Ｐｉは、角膜輪部境界を定義し、曲線（例えば、楕円形）は、これらの輪郭点に適合されることができる。
【００３７】
楕円形の配向は、眼姿勢を推定するために使用されることができる（例えば、眼が直接カメラを見ている場合、楕円形は、円形となるように低減され、眼がカメラから離れるようにより大きな角度で見るにつれて、楕円形は、より平坦化された状態になる）。上記に説明されるように、点Ｐｉは、可能性として、角膜輪部境界の不規則的形状を記述するために、他のタイプの曲線を用いて適合されることもできる、または点Ｐｉは、直接、曲線を適合させずに、角膜輪部境界を定義するために使用されることができる。例えば、（画像座標フレーム内の）眼画像は、角膜輪部境界点の曲線適合（例えば、楕円形、円形、スプライン、多角形、別の形状、または１つもしくはそれを上回る曲線に）が利用されなくてもよいように、透視変換を介して、眼の座標フレームに変換されることができる。
【００３８】
（角膜膨隆を使用した虹彩セグメント化のための例示的方法）
図２は、眼の角膜輪部境界を決定し、バイオメトリック用途において角膜輪部境界を使用するための例示的ルーチン２００を図示する、フローチャートである。ルーチン２００は、ブロック２０４から開始する。ブロック２０８では、ルーチン２００は、カメラ較正情報を取得し、眼の生理学的パラメータを推定する。ブロック２０８では、眼イメージングカメラは、（随意に）較正画像を撮影し、カメラ較正を実施してもよい（例えば、カメラ較正行列Ｋを取得する）。他の実装では、カメラ較正は、製造の間、実施されることができ、較正情報は、デバイス内に記憶される。眼生理学的パラメータ（例えば、Ｒｃ、Ｒｉ、ｄｐ）が、一般的母集団から推定されることができる、またはそれらは、特定の個人の眼の画像から特定の個人に関して決定されることができる。
【００３９】
ブロック２１２では、ルーチン２００は、眼イメージングカメラによって撮影された眼画像を受信する。ブロック２１６では、角膜球面の３次元座標が、決定される。例えば、図１Ａ−１Ｂにおける角膜球面１２０の中心内の瞳孔中心が、３次元において推定されることができる。瞳孔中心は、眼イメージングカメラによって撮影された眼画像内で特定され、次いで、カメラ較正情報を使用して、眼の座標フレーム内の３次元表現に変換されることができる。角膜球面の中心および瞳孔までの距離も、眼の座標フレーム内で特定されることができる。
【００４０】
ブロック２２０では、角膜球面１２０と眼表面（例えば、強膜表面１０８）の交差部が、決定される。例えば、交差部は、角膜輪部境界１０４ａ上のいくつかの点を含むことができる。随意に、ブロック２２４では、曲線が、角膜輪部境界上にあると決定された点に適合されてもよい。曲線は、楕円形、円形、スプライン、多角形、または別の形状であってもよい。いくつかの実装では、複数の曲線が、ブロック２２４において、角膜輪部境界１０４ａが適合された複数の曲線によって表され得るように適合されてもよい。複数の曲線のうちの１つ以上のものは、放物線（二次形態）またはスプライン（三次形態）等の任意の次数（２、３、４、５、またはそれ以上のもの等）の多項式形態によって表されることができる。複数の曲線のうちの１つ以上のものは、任意の次数の多項式形態である必要はない。例えば、曲線は、別の非線形数学式であることができる。故に、角膜輪部境界の推定は、これらの交差点または適合された曲線から決定されることができる。いくつかの実施形態では、ブロック２１６、２２０、または２２４を実装する、ハードウェアプロセッサ（例えば、図３におけるローカル処理モジュール３２４のハードウェアプロセッサ）は、眼画像内の角膜輪部境界を決定するために上記に説明される擬似コードを利用することができる。
【００４１】
ブロック２２８では、決定された角膜輪部境界は、１つ以上のバイオメトリック用途において使用されることができる。例えば、決定された角膜輪部境界１０４ａまたは瞳孔境界１１２ａ（例えば、従来の技法または本明細書に開示される方法によって決定される）は、虹彩をセグメント化するために使用されることができる。例えば、虹彩セグメント化技法は、積分微分演算子（例えば、ドーグマンの方法）、ハフ変換、測地的動的輪郭、縁を伴わない動的輪郭、指向性光線検出方法、ワイルドの方法、カミュおよびワイルドの方法、マーティン−ロッシュの方法、または任意のそれらの組み合わせに基づく技法を含む。
【００４２】
セグメント化された虹彩は、ユーザの虹彩のバイオメトリックテンプレートを決定するために使用されることができる。例えば、バイオメトリックテンプレートは、ウェーブレット技法を使用して決定された虹彩コードであることができる。虹彩コードは、種々の方法で算出されることができる。例えば、いくつかの実施形態では、虹彩コードは、虹彩バイオメトリックのためにＪｏｈｎ  Ｄａｕｇｍａｎによって開発されたアルゴリズムに従って算出されることができる（例えば、米国特許第５，２９１，５６０号参照）。例えば、虹彩コードは、２−Ｄ帯域通過フィルタ（例えば、ガボールフィルタ）を用いた虹彩画像の畳み込み（極座標において）に基づくことができ、虹彩コードは、２ビット数として表されることができる（例えば、特定のガボールフィルタに対する応答が正または負であるかどうか）。
【００４３】
眼画像から決定された虹彩コードは、ユーザを認証するために、既知の虹彩コードのデータベースと比較されることができる。別のバイオメトリック用途では、虹彩の角膜輪部境界の形状が、眼の眼姿勢を推定するために使用されることができる。例えば、眼姿勢は、少なくとも部分的に、眼イメージングカメラの座標系１２８および角膜輪部境界１０４ａの推定された形状に基づいて推定されることができる。いくつかの実施形態では、眼姿勢は、角膜輪部境界１０４ａによって境界される円板に対する法線によって表される（法線は、図１Ａに示される方向ｐｃ−ｃｃに沿ってあることができる）。
【００４４】
ルーチン２００の実施形態は、図３および４を参照して以下に説明されるウェアラブルディスプレイシステム３００によって実施されることができる。例えば、眼イメージングカメラ４５２は、眼画像を取得することができ、ローカルまたは遠隔処理モジュール３２４、３２８は、眼画像を分析し、角膜輪部境界を決定することができる。
【００４５】
いくつかの実装では、コンピュータビジョン技法が、本明細書に開示される方法の１つ以上の側面に対して使用されることができる（例えば、虹彩セグメント化を実施するため、または眼をイメージングし、角膜膨隆の形状等の視覚的特徴をユーザの眼から抽出するため）。コンピュータビジョンモジュールは、１つ以上のコンピュータビジョン技法を実装することができる。コンピュータビジョン技法の非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（Ｂリスク）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ−Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ−ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【００４６】
（例示的ウェアラブルディスプレイシステム）
いくつかの実施形態では、ディスプレイシステムは、装着可能であることができ、これは、有利には、より没入型の仮想現実（ＶＲ）または拡張現実（ＡＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実であるように見える、またはそのように知覚され得る様式で装着者に提示される。
【００４７】
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の非常に信用性のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。例えば、導波管のスタックを含有するディスプレイが、ユーザまたは視認者の眼の正面に位置付けられるように装着されるように構成されてもよい。導波管のスタックは、複数の導波管を使用して、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において、光を画像投入デバイス（例えば、１つ以上の光ファイバを介して、画像情報を送出する、離散ディスプレイまたは多重化されたディスプレイの出力端）から視認者の眼に指向することによって、３次元知覚を眼／脳に提供するために利用され得る。
【００４８】
いくつかの実施形態では、視認者の眼毎に１つの導波管の２つのスタックが、異なる画像を各眼に提供するために利用されてもよい。一実施例として、拡張現実場面は、ＡＲ技術の装着者には、人物、木、背景の建物、およびコンクリートプラットフォームを特徴とする実世界公園状設定が見えるようなものであってもよい。これらのアイテムに加えて、ＡＲ技術の装着者はまた、実世界プラットフォーム上に立っているロボット像およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ（例えば、マルハナバチ）とが「見える」と知覚し得るが、ロボット像およびマルハナバチは、実世界には存在しない。導波管のスタックは、入力画像に対応するライトフィールドを生成するために使用されてもよく、いくつかの実装では、ウェアラブルディスプレイは、ライトフィールドディスプレイを備える。
【００４９】
図３は、ＶＲ、ＡＲ、またはＭＲ体験をディスプレイシステム装着者または視認者３０４に提示するために使用され得る、ウェアラブルディスプレイシステム３００の実施例を図示する。ウェアラブルディスプレイシステム３００は、角膜曲率技法を使用して、虹彩境界推定を実施する、または本明細書に説明される用途もしくは実施形態（例えば、眼画像処理）のいずれかを提供するようにプログラムされてもよい。ディスプレイシステム３００は、ディスプレイ３０８と、ディスプレイ３０８の機能をサポートするための種々の機械的および電子的モジュールならびにシステムとを含む。ディスプレイ３０８は、フレーム３１２に結合されてもよく、これは、ディスプレイシステムユーザ、装着者、または視認者３０４によって装着可能であって、ディスプレイ３０８を装着者３０４の眼の正面に位置付けるように構成される。ディスプレイ３０８は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ３１６は、フレーム３１２に結合され、ユーザの外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。ディスプレイ３０８は、有線導線または無線コネクティビティ等によって、ローカルデータ処理モジュール３２４に動作可能に結合され３２０、これは、フレーム３１２に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に内蔵される、または別様に、ユーザ３０４に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成で搭載され得る。
【００５０】
フレーム３１２は、フレーム３１２に取り付けられ、または搭載され、装着者の眼の画像を得る、１つ以上のカメラを有することができる。一実施形態では、カメラは、眼が直接イメージングされ得るように、装着者の眼の正面においてフレーム３１２に搭載されてもよい。他の実施形態では、カメラは、フレーム３１２の支えに沿って（例えば、装着者の耳の近傍に）搭載されることができる。そのような実施形態では、ディスプレイ３０８は、光を装着者の眼からカメラに向かって反射させる、材料でコーティングされてもよい。光は、虹彩特徴が赤外線画像内で顕著であるため、赤外線光であってもよい。
【００５１】
ローカル処理およびデータモジュール３２４は、ハードウェアプロセッサならびに不揮発性メモリ（例えば、フラッシュメモリ）等の非一過性デジタルメモリを備えてもよく、その両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）センサ（例えば、フレーム３１２に動作可能に結合される、または別様にユーザ３０４に取り付けられ得る）、例えば、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイスおよび／またはジャイロから捕捉されたデータ、ならびに／もしくは（ｂ）可能性として、処理もしくは読出後にディスプレイ３０８への通過のために、遠隔処理モジュール３２８および／または遠隔データリポジトリ３３２を使用して取得ならびに／もしくは処理されるデータを含んでもよい。ローカル処理およびデータモジュール３２４は、これらの遠隔モジュール３２８、３３２が、ローカル処理およびデータモジュール３２４へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク３３６および／または３４０によって、遠隔処理モジュール３２８および／または遠隔データリポジトリ３３２に動作可能に結合されてもよい。画像捕捉デバイスは、角膜輪部境界推定プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。眼画像は、ビデオからの静止画像またはフレームを含むことができる。本明細書で使用されるように、ビデオは、その通常の意味で使用され、限定ではないが、視覚的画像のシーケンスの記録を含む。ビデオ内の各画像は、時として、画像フレームまたは単にフレームとも称される。ビデオは、オーディオチャネルの有無にかかわらず、複数のシーケンシャルフレームまたは非シーケンシャルフレームを含むことができる。ビデオは、複数のフレームを含むことができ、これは、経時的に順序付けられる、または経時的に順序付けられない。故に、ビデオ内の画像は、眼画像フレームまたは眼画像と称され得る。
【００５２】
いくつかの実施形態では、遠隔処理モジュール３２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール３２４内にローカルでおよび／または遠隔データリポジトリ３３２内に記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ３３２は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール３２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【００５３】
いくつかの実装では、ローカル処理およびデータモジュール３２４および／または遠隔処理モジュール３２８は、本明細書に説明されるように、虹彩の角膜輪部境界１０４ａの実施形態を実施するようにプログラムされる。例えば、ローカル処理およびデータモジュール３２４および／または遠隔処理モジュール３２８は、図２を参照して説明されるルーチン２００の実施形態を実施する、または上記の例示的擬似コードを実施するようにプログラムされることができる。ローカル処理およびデータモジュール３２４および／または遠隔処理モジュール３２８は、バイオメトリック抽出において、本明細書に開示される角膜輪部境界決定技法を使用し、例えば、装着者３０４の識別を識別または認証する、もしくは眼視線または眼瞼形状推定または姿勢推定において、例えば、各眼が見ている方向を決定するようにプログラムされることができる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ）を捕捉することができる。ビデオは、処理モジュール３２４、３２８の一方または両方によって、角膜輪部境界識別技法を使用して分析されることができる。本分析を用いて、処理モジュール３２４、３２８は、角膜輪部境界推定、虹彩セグメント化、および／またはバイオメトリック抽出等を実施することができる。実施例として、ローカル処理およびデータモジュール３２４および／または遠隔処理モジュール３２８は、フレーム３１２に取り付けられるカメラから取得された眼画像を記憶するようにプログラムされることができる。加えて、ローカル処理およびデータモジュール３２４および／または遠隔処理モジュール３２８は、本明細書に説明される技法（例えば、ルーチン２００）を使用して、眼画像を処理するようにプログラムされることができる。いくつかの実装では、角膜輪部境界推定の少なくとも一部を遠隔処理モジュール（例えば、「クラウド」内の）にオフロードすることは、算出の効率または速度を改良し得る。角膜輪部境界推定のための種々のパラメータ（例えば、カメラ較正行列Ｋ、眼パラメータＲｃ、Ｒｉ、ｄｐ、回転行列Ｒｍａｔ等）は、データモジュール３２４および／または３２８内に記憶されることができる。
【００５４】
分析の結果（例えば、推定された角膜輪部境界）は、付加的動作または処理のために、処理モジュール３２４、３２８の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、認識、またはジェスチャ、オブジェクト、姿勢の分類等が、ウェアラブルディスプレイシステム３００によって使用されてもよい。例えば、装着者の眼のビデオは、角膜輪部境界推定のために使用されることができ、これは、順に、処理モジュール３２４、３２８によって使用され、ディスプレイ３０８を通した装着者３０４の認証またはその視線の方向の決定等のバイオメトリック用途のために、虹彩を決定またはセグメント化することができる。ウェアラブルディスプレイシステム３００の処理モジュール３２４、３２８は、角膜輪部境界推定技法の１つ以上の実施形態を用いて、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するようにプログラムされることができる。
【００５５】
いくつかの実施形態では、ウェアラブルディスプレイシステム３００によって実施される算出は、ウェアラブルディスプレイシステム３００のコンポーネント、またはウェアラブルディスプレイシステム３００と関連付けられた、もしくはそれと通信するコンポーネントを横断して分散されることができる。いくつかの実施形態では、ウェアラブルディスプレイシステム３００は、ローカル処理モジュールおよびローカルデータリポジトリ（例えば、ローカル処理およびデータモジュール）３２４を含むことができる。ウェアラブルディスプレイシステム３００は、遠隔処理モジュール３２８および／または遠隔データリポジトリ３３２と通信する、またはそれを含むことができる。ウェアラブルディスプレイシステム３００のローカル処理モジュール３２４および／または遠隔処理モジュール３２８は、本明細書に開示される方法のいずれか（例えば、角膜輪部境界決定）を実施するために使用されることができる。例えば、眼画像は、遠隔データリポジトリ３３２内に記憶されることができ、遠隔処理モジュール３２８は、眼画像内の角膜輪部境界を決定することができる。別の実施例として、眼画像（または眼画像の一部）は、ローカルデータリポジトリおよび遠隔データリポジトリ３３２の両方内に記憶されることができ、ローカル処理モジュール３２４および遠隔処理モジュール３２８はともに、眼画像内の角膜輪部境界を決定することができる。ローカル処理モジュール３２４および遠隔処理モジュール３２８はそれぞれ、角膜輪部境界決定プロセスの一部を実施することができる。さらに別の実施例として、角膜輪部境界決定プロセスは、ローカル処理モジュール３２４および遠隔処理モジュール３２８を横断して分散されることができる。角膜輪部境界決定プロセスの分散は、ローカル処理モジュール３２４および／または遠隔処理モジュール３２８のワークロードに基づいて、事前に定義または決定されることができる。代替として、または加えて、角膜輪部境界決定プロセスの分散は、ローカル処理モジュール３２４および／または遠隔処理モジュール３２８に利用可能なエネルギー（例えば、バッテリ電力）に基づくことができる。
【００５６】
いくつかの実施形態では、ウェアラブルディスプレイシステム（例えば、ローカル処理モジュール３２４および／または遠隔処理モジュール３２８を使用する）および／または別のコンピューティングシステム（例えば、クラウド上のコンピューティングシステムまたはウェアラブルディスプレイシステム３００のコンパニオンコンピューティングシステム）は、角膜輪部境界決定プロセスを実施するために使用されることができる。コンピューティングシステムは、眼画像全体（またはその一部）を記憶および使用することができる。例えば、ウェアラブルディスプレイシステム３００は、眼画像を他のコンピューティングシステムに伝送することができる。眼画像内の角膜輪部境界を決定後、コンピューティングシステムは、決定された角膜輪部境界をウェアラブルディスプレイシステム３００に返送することができる。別の実施例として、角膜輪部境界決定プロセスは、ウェアラブルディスプレイシステム３００およびコンピューティングシステムを横断して分散されることができる。角膜輪部境界決定プロセスの分散は、ウェアラブルディスプレイシステム３００および／またはコンピューティングシステムのワークロードに基づいて決定されることができる。代替として、または加えて、角膜輪部境界決定プロセスの分散は、ウェアラブルディスプレイシステム３００に利用可能なエネルギー（例えば、バッテリ電力）、ウェアラブルディスプレイシステム３００の残りのバッテリ電力、および／またはコンピューティングシステムに基づくことができる。
【００５７】
ウェアラブルディスプレイシステム３００、ローカル処理モジュール３２４、ローカルデータリポジトリ、遠隔処理モジュール３２８、遠隔データリポジトリ３３２、および／または他のコンピューティングシステム間の伝送または通信は、暗号化される場合とそうではない場合がある。例えば、ウェアラブルディスプレイシステム３００とコンピューティングシステムとの間の伝送は、暗号化されてもよい。別の実施例として、ローカル処理モジュール３２４と遠隔処理モジュール３３２との間の伝送は、暗号化されなくてもよい。
【００５８】
（例示的導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための、図３に図示されるウェアラブルディスプレイシステム３００において使用され得る、導波管スタックの実施例を図示する。ディスプレイシステム４００は、複数の導波管４２０、４２２、４２４、４２６、４２８を使用して、３次元知覚（例えば、ＡＲまたはＶＲ環境において）を眼４１０または脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４０５を含むことができる。いくつかの実施形態では、ディスプレイシステム４００は、図３のシステム３００に対応してもよく、図４は、そのシステム３００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４０５は、図３のディスプレイ３０８の中に統合されてもよい。
【００５９】
図４を継続して参照すると、導波管アセンブリ４０５はまた、複数の特徴４３０、４３２、４３４、４３６を導波管の間に含んでもよい。いくつかの実施形態では、特徴４３０、４３２、４３４、４３６は、レンズであってもよい。いくつかの実施形態では、特徴４３０、４３２、４３４、４３６は、レンズではなくてもよい。むしろ、それらは、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。
【００６０】
導波管４２０、４２２、４２４、４２６、４２８および／または複数のレンズ４３０、４３２、４３４、４３６は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４４０、４４２、４４４、４４６、４４８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４２０、４２２、４２４、４２６、４２８の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４４０、４４２、４４４、４４６、４４８の出力表面から出射し、導波管４２０、４２２、４２４、４２６、４２８の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
【００６１】
いくつかの実施形態では、画像投入デバイス４４０、４４２、４４４、４４６、４４２は、それぞれ、それぞれの対応する導波管４２０、４２２、４２４、４２６、４２８の中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４４０、４４２、４４４、４４６、４４８は、例えば、１つ以上の光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４４０、４４２、４４４、４４６、４４８のそれぞれに送出し得る、単一の多重化されたディスプレイの出力端である。導波管アセンブリ１７８の機能に関するさらなる詳細は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
【００６２】
コントローラ４５０が、スタックされた導波管アセンブリ４０５および画像投入デバイス４４０、４４２、４４４、４４６、４４８の動作を制御する。いくつかの実施形態では、コントローラ４５０は、導波管４２０、４２２、４２４、４２６、４２８への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４５０は、単一の一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４５０は、いくつかの実施形態では、処理モジュール３２４および／または３２８（図３に図示される）の一部であってもよい。いくつかの実施形態では、コントローラは、内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）、外向きに面したイメージングシステム４５４（例えば、デジタルカメラ）、および／またはユーザ入力デバイス４５６と通信してもよい。内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）は、眼移動および（例えば、眼球周囲領域の）顔移動等の装着者の移動を観察することができる。内向きに面したイメージングシステム４５２は、例えば、瞳孔１１２、虹彩１０４、または角膜１２４等、例えば、眼１００のサイズおよび／または配向を決定する、装着者３０４が見ている方向（例えば、眼姿勢）を決定する、または装着者３０４のバイオメトリック識別のために、眼４１０の画像を捕捉するために使用されることができる。内向きに面したイメージングシステム４５２は、眼画像を捕捉することができ、これは、角膜輪部境界推定方法２００において使用される。外向きに面したイメージングシステム４５４は、装着者３０４が見ている世界４５８の一部をイメージングするために使用されることができる。ユーザは、ユーザ入力デバイス４５６を介して、コマンドをコントローラ４５０に入力し、ディスプレイシステム４００と相互作用することができる。
【００６３】
いくつかの実施形態では、深度平面および／または被写界深度の数ならびに分散は、視認者の眼の瞳孔サイズならびに／もしくは配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム４５２（例えば、デジタルカメラ）が、眼４１０の画像を捕捉し、眼４１０の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。いくつかの実施形態では、内向きに面したイメージングシステム４５２は、フレーム３１２（図３に図示されるように）に取り付けられてもよく、内向きに面したイメージングシステム４５２からの画像情報を処理し、例えば、ユーザ３０４の瞳孔直径、眼の配向、角膜膨隆、または眼姿勢を決定し得る、処理モジュール３２４ならびに／もしくは３２８と電気通信してもよい。
【００６４】
いくつかの実施形態では、１つのカメラが、眼毎に利用され、各眼の瞳孔サイズおよび／または配向を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に利用され、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径および／または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、視認者３０４の両眼に対して類似すると仮定される。
【００６５】
（付加的側面）
第１の側面では、ウェアラブルディスプレイシステムが、開示される。本システムは、ディスプレイと、ユーザの眼の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、カメラ較正を取得し、眼の３次元座標フレーム内において眼の生理学的パラメータを取得し、生理学的パラメータは、眼の角膜を構成する角膜球面の半径と、眼の虹彩の半径と、眼の角膜球面の中心と瞳孔の中心との間の距離とを含み、眼の画像を受信し、画像は、眼の角膜および眼の虹彩の少なくとも一部を含み、角膜球面と眼との間の交差部を決定し、少なくとも部分的に、カメラ較正に基づいて、交差部を眼の座標フレームから眼の画像の座標フレームに変換し、少なくとも部分的に、交差部に基づいて、角膜輪部境界を決定し、角膜輪部境界をバイオメトリック用途において利用するようにプログラムされる、ハードウェアプロセッサとを備える。
【００６６】
第２の側面では、カメラ較正は、カメラ座標フレームと眼の座標フレームとの間の関係を含む、側面１に記載のウェアラブルディスプレイシステム。
【００６７】
第３の側面では、カメラ較正は、較正行列を含み、較正行列は、固有のカメラパラメータを含む、側面１−２のいずれか１項に記載のウェアラブルディスプレイシステム。
【００６８】
第４の側面では、生理学的パラメータは、ヒト対象の母集団から推定される、側面１−３のいずれか１項に記載のウェアラブルディスプレイシステム。
【００６９】
第５の側面では、眼の生理学的パラメータを取得するために、ハードウェアプロセッサは、実行可能命令によって、生理学的パラメータを眼の画像から決定するようにプログラムされる、側面１−３のいずれか１項に記載のウェアラブルディスプレイシステム。
【００７０】
第６の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、周期的に、眼の生理学的パラメータを再決定するようにプログラムされる、側面５に記載のウェアラブルディスプレイシステム。
【００７１】
第７の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサは、実行可能命令によって、眼の３次元座標フレーム内の角膜球面の３次元性質を推定するようにプログラムされる、側面１−６のいずれか１項に記載のウェアラブルディスプレイシステム。
【００７２】
第８の側面では、角膜球面の３次元性質を推定するために、ハードウェアプロセッサは、実行可能命令によって、瞳孔の中心および角膜球面の中心を推定するようにプログラムされる、側面７に記載のウェアラブルディスプレイシステム。
【００７３】
第９の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサは、実行可能命令によって、角膜球面と眼の複数の交差点を決定するようにプログラムされる、側面１−８のいずれか１項に記載のウェアラブルディスプレイシステム。
【００７４】
第１０の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサはさらに、実行可能命令によって、曲線を複数の交差点に適合させるようにプログラムされる、側面９に記載のウェアラブルディスプレイシステム。
【００７５】
第１１の側面では、曲線は、楕円形を含む、側面１０に記載のウェアラブルディスプレイシステム。
【００７６】
第１２の側面では、複数の交差点は、眼の座標フレーム内において決定される、側面９−１１のいずれか１項に記載のウェアラブルディスプレイシステム。
【００７７】
第１３の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、複数の交差点を眼の画像の座標フレームの中に投影するようにプログラムされる、側面１２に記載のウェアラブルディスプレイシステム。
【００７８】
第１４の側面では、コンピュータシステム（例えば、頭部搭載型ディスプレイ等のウェアラブルディスプレイシステム）が、開示される。本システムは、ディスプレイと、ユーザの眼の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の３次元座標フレーム内において眼の生理学的パラメータを取得し、生理学的パラメータは、眼の角膜を構成する角膜球面の半径と、眼の虹彩の半径と、眼の角膜球面の中心と瞳孔の中心との間の距離とを含み、眼の画像を受信し、画像は、眼の角膜および眼の虹彩の少なくとも一部を含み、角膜球面と眼との間の交差部を決定し、少なくとも部分的に、交差部に基づいて、角膜輪部境界を決定するようにプログラムされる、ハードウェアプロセッサとを備える。
【００７９】
第１５の側面では、眼の生理学的パラメータを取得するために、ハードウェアプロセッサは、実行可能命令によって、生理学的パラメータを特定の個人の眼画像から決定するようにプログラムされる、側面１４に記載のコンピュータシステム。
【００８０】
第１６の側面では、特定の個人は、ユーザである、側面１５に記載のコンピュータシステム。
【００８１】
第１７の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、周期的に、眼の生理学的パラメータを再決定するようにプログラムされる、側面１４−１６のいずれか１項に記載のコンピュータシステム。
【００８２】
第１８の側面では、生理学的パラメータは、ヒト対象の母集団のために推定される、側面１４−１７のいずれか１項に記載のコンピュータシステム。
【００８３】
第１９の側面では、眼の画像は、画像捕捉デバイスから受信される、側面１４−１８のいずれか１項に記載のコンピュータシステム。
【００８４】
第２０の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサは、実行可能命令によって、眼の３次元座標フレーム内において角膜球面と眼との間の交差部を決定するようにプログラムされる、側面１４−１９のいずれか１項に記載のコンピュータシステム。
【００８５】
第２１の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサは、実行可能命令によって、画像の座標フレーム内において角膜球面と眼との間の交差部を決定するようにプログラムされる、側面１４−１９のいずれか１項に記載のコンピュータシステム。
【００８６】
第２２の側面では、角膜輪部境界を決定するために、ハードウェアプロセッサは、実行可能命令によって、曲線を交差部に適合させるようにプログラムされる、側面１４−２１のいずれか１項に記載のコンピュータシステム。
【００８７】
第２３の側面では、曲線は、楕円形を含む、側面２２に記載のコンピュータシステム。
【００８８】
第２４の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサは、実行可能命令によって、角膜球面と眼の複数の交差点を決定するようにプログラムされる、側面１４−１９のいずれか１項に記載のコンピュータシステム。
【００８９】
第２５の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサはさらに、実行可能命令によって、曲線を複数の交差点に適合させるようにプログラムされる、側面２４に記載のコンピュータシステム。
【００９０】
第２６の側面では、曲線は、楕円形を含む、側面２５に記載のコンピュータシステム。
【００９１】
第２７の側面では、複数の交差点は、眼の座標フレーム内において決定される、側面２４−２６のいずれか１項に記載のコンピュータシステム。
【００９２】
第２８の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、複数の交差点を眼の画像の座標フレームの中に投影するようにプログラムされる、側面２７に記載のコンピュータシステム。
【００９３】
第２９の側面では、角膜球面と眼との間の交差部を決定するために、ハードウェアプロセッサは、実行可能命令によって、眼の３次元座標フレーム内の角膜球面の３次元性質を推定するようにプログラムされる、側面１４−２８のいずれか１項に記載のコンピュータシステム。
【００９４】
第３０の側面では、角膜球面の３次元性質を推定するために、ハードウェアプロセッサは、実行可能命令によって、瞳孔の中心および角膜球面の中心を推定するようにプログラムされる、側面２９に記載のコンピュータシステム。
【００９５】
第３１の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、少なくとも部分的に、角膜輪部境界に基づいて、バイオメトリック用途を実施するようにプログラムされる、側面１４−３０のいずれか１項に記載のコンピュータシステム。
【００９６】
第３２の側面では、バイオメトリック用途は、虹彩識別を含む、側面３１に記載のコンピュータシステム。
【００９７】
第３３の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、カメラ較正を取得するようにプログラムされる、側面１４−３２のいずれか１項に記載のコンピュータシステム。
【００９８】
第３４の側面では、カメラ較正は、カメラ座標フレームと眼の座標フレームとの間の関係を含む、側面３３に記載のコンピュータシステム。
【００９９】
第３５の側面では、カメラ較正は、較正行列を含み、較正行列は、固有のカメラパラメータを含む、側面３３−３４のいずれか１項に記載のコンピュータシステム。
【０１００】
第３６の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、少なくとも部分的に、カメラ較正に基づいて、交差部を眼の座標フレームから眼の画像の座標フレームに変換するようにプログラムされる、側面１４−３５のいずれか１項に記載のコンピュータシステム。
【０１０１】
第３７の側面では、角膜輪部境界推定のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で行われる。本方法は、眼画像（例えば、ビデオフレームからの）に適用されることができる。
【０１０２】
第３８の側面では、システムが、開示される。本システムは、ユーザの眼をイメージングするように構成される、カメラと、カメラと通信する、ハードウェアプロセッサであって、カメラによって捕捉されたユーザの眼の眼画像を分析するようにプログラムされる、ハードウェアプロセッサとを備える。
【０１０３】
第３９の側面では、ハードウェアプロセッサは、眼画像内の眼の角膜輪部境界を決定するために本明細書に説明される任意の方法を実装するようにプログラムされる、側面３８に記載のシステム。
【０１０４】
第４０の側面では、ハードウェアプロセッサは、決定された角膜輪部境界を使用して、眼画像からの虹彩をセグメント化するようにプログラムされる、側面３９に記載のシステム。
【０１０５】
第４１の側面では、ハードウェアプロセッサは、ユーザのバイオメトリック情報の抽出、算出、または決定において、角膜輪部境界を使用するようにプログラムされる、側面３８−４０のいずれか１項に記載のシステム。
【０１０６】
第４２の側面では、ハードウェアプロセッサは、眼画像を眼の座標フレームに変換するようにプログラムされる、側面３８−４１のいずれか１項に記載のシステム。
【０１０７】
第４３の側面では、眼画像を眼の座標フレームに変換するために、ハードウェアプロセッサは、眼画像を、透視変換を介して、眼の座標フレームに変換するようにプログラムされる、側面４２に記載のシステム。
【０１０８】
第４４の側面では、角膜輪部境界の曲線適合（例えば、楕円形またはある他の規則的もしくは不規則的曲線に）は、利用されない（例えば、本座標フレームでは、角膜輪部は、略円形である）、側面４２−４３のいずれか１項に記載のシステム。
【０１０９】
第４５の側面では、本システムは、頭部搭載型拡張現実、複合現実、または仮想現実ディスプレイシステムを備える、側面３８−４４のいずれか１項に記載のシステム。
【０１１０】
第４６の側面では、ディスプレイシステムは、ライトフィールドディスプレイシステムを備える、側面４５に記載のシステム。
【０１１１】
（結論）
本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【０１１２】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【０１１３】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【０１１４】
本明細書に説明される、および／または添付される図に描写されるフロー図、擬似コード、または方法における任意のプロセス、ブロック、状態、ステップ、アクション、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【０１１５】
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【０１１６】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【０１１７】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの実装では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【０１１８】
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜してもよい（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、アクション、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、アクション、および／もしくはステップが、１つもしくはそれを上回る実施形態に対していかようにも要求されること、または１つもしくはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、アクション、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
【０１１９】
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
【０１２０】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの実装では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【図１Ａ】
2019528510.tif 000003
【図１Ｂ】
2019528510.tif 000004
【図２】
2019528510.tif 000005
【図３】
2019528510.tif 000006
【図４】
2019528510.tif 000007
【国際調査報告】
2019528510.tif 000008