(57)【要約】眼瞼形状推定のためのシステムおよび方法が、開示される。一側面では、（例えば、画像捕捉デバイスから）眼の眼画像を受信した後、アイボックスが、眼画像内の眼の虹彩を覆って生成される。複数の半径方向線が、アイボックスの略中心からアイボックスの上側エッジまたは下側エッジまで生成されることができる。候補点が、複数の半径方向線に沿って極大微分を有するように決定されることができる。候補点から、（例えば、上眼瞼または下眼瞼のための）眼瞼形状曲線が、曲線（例えば、放物線または多項式）を候補点または候補点のサブセットに適合させることによって、決定されることができる。
2018523878.tif 000002
【特許請求の範囲】
【請求項１】
眼瞼形状推定のための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
眼画像内の眼を覆ってアイボックスを生成することであって、
前記アイボックスは、上側エッジおよび下側エッジを伴い、形状が長方形であり、
前記上側エッジは、前記眼の上眼瞼の一部にオーバーレイし、
前記下側エッジは、前記眼の下眼瞼の一部にオーバーレイする、
ことと、
前記アイボックスの略中心から前記上側エッジまたは前記下側エッジまで延びている複数の半径方向線を生成することと、
エッジ検出器を使用して、前記複数の半径方向線上の候補点を決定することと、
前記候補点のサブセットから放物適合曲線を決定することと
を含み、
前記放物適合曲線は、前記眼画像内の前記眼の眼瞼形状の推定である、方法。
【請求項２】
前記アイボックスは、形状が正方形である、請求項１に記載の方法。
【請求項３】
前記放物適合曲線のスコアが閾値スコアを上回ることを決定することと、
前記放物適合曲線が前記眼画像内の前記眼の眼瞼形状の好ましい推定であることを決定することと
をさらに含む、請求項１に記載の方法。
【請求項４】
前記放物適合曲線のスコアが前記閾値スコアを上回ることを決定することは、前記放物適合曲線と交差する前記候補点の数を決定することを含む、請求項３に記載の方法。
【請求項５】
前記放物適合曲線の前記スコアを決定することは、前記放物適合曲線の閾値距離内にある前記候補点の数を決定することを含む、請求項３に記載の方法。
【請求項６】
前記エッジ検出器を使用して、前記複数の半径方向線上の前記候補点を決定することは、前記エッジ検出器を使用して、前記複数の半径方向線のサブセットにおける前記候補点を決定することを含む、請求項１に記載の方法。
【請求項７】
ヘッドマウントディスプレイシステムであって、前記ヘッドマウントディスプレイシステムは、
眼の眼画像を捕捉するように構成されている画像捕捉デバイスと、
非一過性メモリと、
前記非一過性メモリと通信しているハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記画像捕捉デバイスから前記眼画像を受信することと、
前記眼画像内の候補点を決定することと、
前記候補点の第１のサブセットを使用して、前記眼の眼瞼形状を決定することと
を行うようにプログラムされている、ヘッドマウントディスプレイシステム。
【請求項８】
前記眼画像内の前記候補点を決定することは、前記眼の瞳孔および眼の虹彩の少なくとも部分を備えている前記眼画像の部分を識別することを含む、請求項７に記載のヘッドマウントディスプレイシステム。
【請求項９】
前記眼画像の前記部分を識別することは、前記眼画像内の前記瞳孔の前記部分および前記虹彩の前記部分を覆ってアイボックスを生成することを含む、請求項８に記載のヘッドマウントディスプレイシステム。
【請求項１０】
前記非一過性メモリは、エッジ検出器を記憶するように構成され、
前記眼画像内の前記候補点を決定することは、
前記眼の虹彩の周囲にアイボックスを生成することであって、前記アイボックスの第１のエッジは、前記眼の縁郭境界に接している、ことと、
前記アイボックスの第２のエッジまで延びている複数の線を生成することと、
前記エッジ検出器を使用して、前記複数の線上の前記候補点を決定することと
を含む、請求項７に記載のヘッドマウントディスプレイシステム。
【請求項１１】
前記眼の虹彩の周囲に前記アイボックスを生成することは、前記眼画像内の眼を覆ってアイボックスをオーバーレイすることを含む、請求項１０に記載のヘッドマウントディスプレイシステム。
【請求項１２】
前記複数の線は、複数の半径方向線を備え、前記複数の半径方向線は、前記アイボックスの略中心から前記アイボックスの第２のエッジまで延びている、請求項１０に記載のヘッドマウントディスプレイシステム。
【請求項１３】
前記眼の瞳孔は、前記アイボックスの略中心にある、請求項１２に記載のヘッドマウントディスプレイシステム。
【請求項１４】
前記複数の線は、複数の垂直線を備え、前記複数の垂直線は、前記アイボックスの二等分線から前記アイボックスの前記第２のエッジまで延びている、請求項１０に記載のヘッドマウントディスプレイシステム。
【請求項１５】
前記二等分線は、前記眼画像内の前記眼の瞳孔を通過する、請求項１４に記載のヘッドマウントディスプレイシステム。
【請求項１６】
前記候補点は、前記複数の線に沿う極大微分を伴う点を備えている、請求項１０に記載のヘッドマウントディスプレイシステム。
【請求項１７】
前記候補点は、瞳孔境界または縁郭境界に沿っていない、請求項７に記載のヘッドマウントディスプレイシステム。
【請求項１８】
前記ハードウェアプロセッサは、前記候補点を決定することに先立って、前記眼画像にモルフォロジカルフィルタを適用するようにさらにプログラムされている、請求項７に記載の方法。
【請求項１９】
前記候補点の前記第１のサブセットを使用して、前記眼瞼形状を決定することは、前記候補点の前記第１のサブセットを使用して、前記眼瞼形状の関数形式を決定することを含む、請求項７に記載のヘッドマウントディスプレイシステム。
【請求項２０】
前記関数形式は、放物線または多項式である、請求項１９に記載のヘッドマウントディスプレイシステム。
【請求項２１】
前記候補点の前記第１のサブセットを使用して、前記眼瞼形状を決定することは、前記決定された眼瞼形状が負の曲率を有し、かつ前記決定された眼瞼形状が前記上眼瞼の推定である場合、または、前記決定された眼瞼形状が正の曲率を有し、かつ前記決定された眼瞼形状が前記下眼瞼の推定である場合、前記候補点の第２のサブセットを使用して、前記眼瞼形状を再決定することを含む、請求項７に記載のヘッドマウントディスプレイシステム。
【請求項２２】
眼瞼形状推定のための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
眼の瞳孔および虹彩の少なくとも部分を備えている眼画像の部分を識別することと、
前記眼画像の前記部分の上側エッジまたは下側エッジまで延びている複数の線を生成することと、
エッジ検出器を使用して、前記複数の線上の候補点を決定することと、
前記候補点のサブセットを使用して、眼瞼形状を決定することと
を含む、方法。
【請求項２３】
前記候補点の前記サブセットを使用して、前記眼瞼形状を決定することは、
前記候補点の第１のサブセットを使用して、前記眼瞼形状の第１の関数形式を決定することと、
前記候補点の第２のサブセットを使用して、前記眼瞼形状の第２の関数形式を決定することと、
前記眼瞼形状の前記第１の関数形式のスコアを決定することと、
前記眼瞼形状の前記第２の関数形式のスコアを決定することと、
前記第１の関数形式の前記スコアが前記第２の関数形式の前記スコアを上回る場合、前記眼瞼形状の好ましい推定が前記眼瞼形状の前記第１の関数形式であり、そうでなければ、前記眼瞼形状の前記第２の関数形式であることを決定することと
を含む、請求項２２に記載の方法。
【請求項２４】
前記候補点の前記サブセットを生成するために、前記候補点を無作為にサンプリングすることをさらに含む、請求項２２に記載の方法。
【請求項２５】
前記エッジ検出器は、Ｓｏｂｅｌフィルタを備え、前記エッジ検出器を使用して、前記複数の線上の前記候補点を決定することは、
前記Ｓｏｂｅｌフィルタを前記眼画像と畳み込み、微分近似画像結果を生成することと、
前記微分近似画像結果を使用して、前記候補点を識別することと
を含む、請求項２２に記載の方法。
【請求項２６】
前記眼画像の前記部分を識別することは、前記眼画像内の前記眼を覆ってアイボックスを生成することを含む、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本願は、米国仮出願第６２／２０８，１４２号（２０１５年８月２１日出願、名称「ＥＹＥＬＩＤ  ＳＨＡＰＥ  ＥＳＴＩＭＡＴＩＯＮ」）の米国特許法§１１９（ｅ）に基づく利益を主張し、上記出願は、その全体が参照により本明細書に引用される。
【０００２】
（分野）
本開示は、概して、眼画像を処理するためのシステムおよび方法に関する。
【背景技術】
【０００３】
人間の虹彩は、バイオメトリック情報の源として使用されることができる。バイオメトリック情報は、個人の認証または識別を提供することができる。広くバイオメトリックテンプレートと呼ばれる、バイオメトリック情報を抽出するプロセスは、典型的には、多くの課題を有する。
【発明の概要】
【課題を解決するための手段】
【０００４】
一側面では、眼瞼形状推定のための方法が、開示される。方法は、ハードウェアコンピュータプロセッサの制御下で実施される。方法は、画像捕捉デバイスから眼画像を受信することと、眼の虹彩の周囲にある形状を生成することであって、その形状は、眼の縁郭境界の最も外側の限界に接する、ことと、その形状の中心からその形状のエッジまで延びている線を生成することと、眼の眼瞼と虹彩との境界のための候補点を決定するために、エッジ検出アルゴリズムを眼画像（例えば、その形状の中心から延びている線）に適用することと、眼瞼形状曲線を少なくとも２つの候補点に適合させることとを含む。別の側面では、眼瞼形状推定のための方法は、ヘッドマウントディスプレイシステムによって実施されることができる。また別の側面では、眼瞼形状曲線を適合させることは、適合のための複数の候補点を選択するために、候補点のうちの少なくとも２つを無作為にサンプリングすることと、複数の候補点を伴う曲線を形成することとを含む。いくつかの側面では、候補点の数は、少なくとも３つ、少なくとも４つ、少なくとも５つ、またはそれを上回る。候補点の数は、候補輪郭における自由度の数（例えば、放物線の場合では３つ）、眼瞼形状曲線に適用される任意の制約（例えば、対称性）等に依存し得る。
【０００５】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本発明の概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義もしくは限定することを意味しない。
【図面の簡単な説明】
【０００６】
【図１】図１は、眼と、眼瞼と交差する複数の半径方向線を有するアイボックスとの例を図式的に例証する。
【図２】図２は、眼と、眼瞼と交差する複数の垂直線を含むアイボックスとの例を図式的に例証する。
【図３】図３は、例示的眼瞼形状推定を図式的に例証する。
【図４】図４は、眼瞼形状推定の例示的プロセスのフロー図である。
【図５】図５は、眼瞼形状推定の別の例示的プロセスのフロー図である。
【図６】図６は、候補点として瞳孔境界または縁郭境界に沿った潜在的候補点を除外する眼瞼形状推定の例示的プロセスのフロー図である。
【図７】図７は、装着可能ディスプレイシステムの例を図式的に例証する。
【発明を実施するための形態】
【０００７】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
【０００８】
（概観）
眼からバイオメトリック情報を抽出することは、概して、眼画像内の虹彩のセグメント化のためのプロシージャを含む。虹彩セグメント化は、虹彩の瞳孔および縁郭境界を見出すこと、上眼瞼または下眼瞼が虹彩を閉塞する場合、それらを見つけること、睫毛の閉塞、陰影、または反射を検出し、除外すること等を含む虹彩境界を見つけることを含む動作を伴うことができる。例えば、眼画像は、顔の画像内に含まれることができるか、または眼の眼周囲領域の画像であり得る。虹彩セグメント化を実施するために、瞳孔境界（虹彩の内部境界）および縁郭境界（虹彩の外部境界）の両方が、画像データの別個のセグメントとして識別されることができる。虹彩のこのセグメント化に加えて、眼瞼（上側または下側）によって閉塞される虹彩の部分が、推定されることができる。この推定は、通常の人間の活動中、人物の虹彩全体が可視であることは殆どないので、実施される。言い換えると、虹彩全体は、概して、眼瞼および睫毛の閉塞を免れない。
【０００９】
眼瞼によって閉塞される虹彩の部分を推定することは、課題を提示している。本明細書に説明される眼瞼形状推定の実施形態は、有利なこととして、眼瞼によって閉塞される虹彩の部分を推定するために使用されることができる。眼瞼形状推定は、例えば、眼画像の分析から、バイオメトリック特質（例えば、眼瞼形状）を識別するため、または身体もしくは身体の一部（例えば、眼）のポーズもしくは向きを再構築するために使用されることができる。眼瞼形状推定は、眼画像における瞬目を検出するために使用されることができる。瞬目は、虹彩の一部を閉塞し得るため、瞬目の検出および対応する眼画像の除去は、虹彩セグメント化および虹彩認証技法の品質を改良し得る。また、眼画像における眼の眼瞼形状を識別することによって、眼画像における眼の眼瞼部分は、虹彩セグメント化技法のための計算量を低減させるために除去されることができるので、実質的に眼の虹彩部分のみが、バイオメトリック認証のために使用される。
【００１０】
本開示は、眼を含む眼画像を覆うアイボックスの生成を説明するであろう。種々の実施形態では、アイボックスは、眼画像の一部を覆って配置されることができる。例えば、眼画像が、静止画像またはビデオから取得されることができる。アイボックスは、眼画像を覆って生成され、複数の半径方向線が、例えば、アイボックスの中心からアイボックスのエッジまで延びていることができる。アイボックスの上側エッジおよび下側エッジは、眼瞼（それぞれ、上側または下側）と虹彩との間の境界を大まかに辿ることができる。アイボックスは、眼瞼形状推定を補助するために使用されることができる。
【００１１】
本明細書で使用される場合、ビデオは、その通常の意味において使用され、限定ではないが、一連の視覚画像の記録を含む。ビデオ内の各画像は、時として、画像フレームまたは単純にフレームと称される。ビデオは、オーディオチャネルの有無を問わず、複数の連続フレームを含むことができる。ビデオは、時間において順序付けられた複数のフレームを含むことができる。故に、ビデオ内の画像は、眼画像フレームまたは眼画像と称され得る。
【００１２】
本開示は、眼画像からの眼瞼形状の推定の例も説明するであろう。いくつかの実装では、アイボックスを使用して、候補点が、エッジ検出器を用いて決定されることができる。反復プロセスが、それらの候補点のサブセットを無作為にサンプリングし、曲線（例えば、放物線）を推定された眼瞼形状に適合させるために使用されることができる。この反復プロセスによって生成される曲線について、曲線のためのスコアが、種々の方法を使用して決定されることができる（例えば、適合度の評価尺度）。好ましい曲線が、曲線のうちのどれが最も高いスコアを有するか、および／または曲線のうちのどれがあるスコア閾値を超えるかを評価することによって決定されることができる。好ましい曲線から十分に遠い（例えば、ある閾値距離を超える）候補点は、「誤対応（ｏｕｔｌｉｅｒ）」点と考えられ、後続適合または分析から除外され得る。残りの候補点は、「正対応（ｉｎｌｉｅｒ）」点と考えられることができる。いくつかの実施形態では、好ましい曲線は、「正対応」点と考えられるいくつかまたは全ての点を使用して、再適合させられることができ、それは、（例えば、眼瞼の位置を表さない可能性が高い誤対応点を除外することによって）眼瞼に適合する改良された曲線、または最適な曲線を提供することができる。
【００１３】
（例示的アイボックス）
図１は、眼瞼１０４、強膜１０８（眼の「白眼」）、虹彩１１２、および瞳孔１１６を伴う眼１００の画像を図示する。曲線１１６ａは、瞳孔１１６と虹彩１１２との間の瞳孔境界を示し、曲線１１２ａは、虹彩１１２と強膜１０８との間の縁郭境界を示す。眼瞼１０４は、上眼瞼１０４ａと、下眼瞼１０４ｂとを含む。
【００１４】
図１は、眼１００の眼画像を覆うアイボックス１２０と複数の半径方向線１２８ａとの例を図式的に例証する。種々の実施形態では、アイボックス１２０は、アイボックス１２０を眼画像の特定の部分にマッピングする画像処理アルゴリズムを使用する等のプロセスを使用して、眼画像内の眼１００上にオーバーレイされることができる。眼１００の画像上にアイボックス１２０をオーバーレイすることは、アイボックス１２０を生成すること、またはアイボックス１２０を構築することとも称され得る。別の例として、アイボックス１２０は、複数の連続フレームを通してアイボックス１２０を追跡し、ビデオが時間を通して進行するにつれて、アイボックス１２０を用いて眼をオーバーレイし得るビデオ処理アルゴリズムを使用する等のプロセスを使用して、ビデオ上にオーバーレイされることができる。いくつかの実装では、アイボックス１２０は、縁郭境界１１２ａまたは縁郭境界１１２ａの近似が決定された後、眼画像内の眼１００上にオーバーレイされることができる。例えば、縁郭境界１１２ａを決定した後、アイボックス１２０は、縁郭境界が眼画像上にオーバーレイされたアイボックス１２０の境界の内側にあるように配置されることができる。眼瞼１０４によって覆われていない虹彩１１２の領域は、アイボックス１２０の境界の内側にあることができる。別の例として、縁郭境界１１２ａの近似を決定した後、アイボックス１２０は、縁郭境界の近似が眼画像上にオーバーレイされたアイボックス１２０の境界の内側にあるように配置されることができる。眼瞼１０４によって覆われていない虹彩１１２の領域または眼瞼１０４によって覆われていない虹彩１１２の領域の大部分は、アイボックス１２０の境界の内側にあることができる。
【００１５】
アイボックス１２０は、形状が長方形であり得る。いくつかの実装では、アイボックス１２０は、虹彩１１２全体を含む最小サイズの境界ボックスであるようにサイズを決定されることができる。例えば、アイボックス１２０は、アイボックス１２０の垂直エッジ１２４ａ１、１２４ａ２が虹彩１１２の縁郭境界１１２ａの最も外側の部分に接するように成形されることができる。アイボックス１２０は、アイボックス１２０の水平エッジ１２４ｂ１（または１２４ｂ２）が上眼瞼１０４ａ（または下眼瞼１０４ｂ）と虹彩１１２との境界の実質的に外側に延びているように成形されることができる。つまり、水平エッジ１２４ｂ１（または１２４ｂ２）は、その境界と交差することができる。しかし、図１に描写されるように、水平エッジ１２４ｂ１（または１４２ｂ２）は、どの点においても境界と交差する必要はない。同様に、アイボックス１２０は、水平エッジ１２４ｂ１（または１２４ｂ２）が、その境界に沿った任意の交差点において、上眼瞼１０４ａ（または下眼瞼１０４ｂ）と虹彩１１２との境界を越えて延びているように成形されることができる。故に、アイボックス１２０の形状は、虹彩１１２を閉塞している上眼瞼１０４ａまたは下眼瞼１０４ｂのエッジに基づいて変化することができる。いくつかの実装では、アイボックス１２０は、正方形であるようにトリミングされる。虹彩の全体像が確定的である他の実装では、アイボックスは、平行四辺形として成形され得る。例えば、平行四辺形は、虹彩の平面に位置する正方形アイボックスに適用される透視変換から決定されることができる。
【００１６】
継続して図１を参照すると、複数の半径方向線１２８ａが、（上眼瞼１０４ａに対して）アイボックス１２０の上部エッジ１２４ｂ１に向かって、または（下眼瞼１０４ｂに対して）アイボックス１２０の底部エッジ１２４ｂ２に向かって、瞳孔１１６から生成されること（例えば、瞳孔１１６の中心またはその中心の周囲から発生すること）ができる。複数の半径方向線１２８ａを生成することは、複数の半径方向線１２８ａを構築することとも称され得る。半径方向線１２８ａは、上眼瞼１０４ａに近接する水平エッジ１２４ｂ１の最初のピクセルから、下眼瞼１０４ｂに近接する水平エッジ１２４ｂ２の最後のピクセルへの線であり得る。半径方向線１２８ａは、上眼瞼１０４ａに近接する水平エッジ１２４ｂ１の第２のピクセルから、下眼瞼１０４ｂに近接する水平エッジ１２４ｂ２のｎ−１のピクセルへの線であり得、ｎは、アイボックス１２０の幅を表す。
【００１７】
（各眼瞼のための）半径方向線１２８ａの数は、ピクセルにおいて測定される画像の幅と同数であり得るか、または、それは、この幅のサブサンプリングであり得る。例えば、サンプリングプロセスは、十分な線が眼瞼に交差し、眼瞼形状への良好な適合を提供するように、眼瞼形状推定のために使用されるべきある半径方向線を選択するために使用されることができる。サンプリングプロセスは、眼瞼形状がある誤差閾値内で推定されることを可能にする幅ピクセル（例えば、２、５、１０、またはそれを上回るピクセル）閾値に従ってサンプリングすることができる。７本の半径方向線が図１に描写されているが、これは、例証のためであり、他の実装では、任意の適切な数の半径方向線１２８ａが、アイボックス１２０内で利用されることができる。例えば、一実施形態では、半径方向線１２８ａの数は、眼画像を横断する幅におけるピクセルの数であり得る。他の実施形態では、半径方向線１２８ａの数は、眼瞼形状がある誤差閾値内で推定されることを可能にする最小数の線であるように最適化されることができる。種々の実施形態では、３、５、７、１０、１５、２０、３０、またはそれを上回る線が、使用されることができる。線の数は、眼画像内の眼瞼によって定められる典型的な角度範囲を表し得、角度範囲は、典型的には、（各眼瞼に対して）１８０度より小さい。
【００１８】
図２は、眼１００および眼瞼１０４と交差する複数の垂直線１２８ｂを含むアイボックス１２０の例を図式的に例証する。複数の垂直線１２８ｂは、複数の半径方向線１２８ａの代わりに、またはそれに加えて使用されることができる。アイボックス１２０の垂直エッジ１２４ａ１、１２４ａ２に平行であり、瞳孔１１６の水平二等分線１３２から発生する、複数の垂直線１２８ａが、生成されることができる。そのような場合、（各眼瞼１０４に対する）線の数は、画像の幅と（ピクセルまたはミリメートル等の任意の他の好適な測定を単位として）同数であり得る。線の数はまた、眼画像の幅のサブサンプリングであり得る。
【００１９】
他の実装では、概して、瞳孔１１６（または水平二等分線１３２）から外向きに延び、眼瞼１０４に接触する、またはそれに交差する任意の形状を伴う線が、使用されることができる。したがって、線は、直線（半径方向または垂直）である必要はなく、湾曲しているか、または任意の好適な形状を有することができる。
【００２０】
描写されるように、図１に図示されるアイボックス１２０は、形状が長方形である。しかしながら、いくつかの実装では、アイボックス１２０は、虹彩１１２の境界の周囲に生成される多角形または幾何学形状（例えば、円形、長円形等）等の形状を有することができる。例えば、六角形形状が、アイボックス１２０のために使用されることができる。故に、「アイボックス」は、虹彩１１２を含むように眼１００の周囲で生成される任意の多角形形状または幾何学形状を指し得る。そのような場合、図１の複数の半径方向線１２８ａまたは図２の複数の垂直線１２８ｂと類似すると考えられ得る複数の線が、その多角形形状の中心または中心の周囲から、その多角形形状のエッジまで生成されることができる。
【００２１】
（例示的眼瞼形状推定）
図３は、眼瞼形状推定の例を図式的に例証する。種々の実施形態では、眼瞼形状推定は、眼瞼形状決定とも称され得る。眼瞼形状決定の例が、図１に示される長方形アイボックス１２０および複数の半径方向線１２８ａを使用して議論されるであろう。しかしながら、技法は、六角形アイボックス１２０等の非長方形アイボックス１２０を使用して実施されることができる。技法は、図２に示される複数の垂直線１２８ｂまたは任意の形状の線を使用して実施されることもできる。
【００２２】
（上眼瞼１０４ａの形状を推定するための）候補点１３６ａまたは（下眼瞼１０４ｂの形状を推定するための）候補点１３６ｂが、各半径方向線１２８ａに対して算出されることができる。候補点１３６ａまたは１３６ｂは、眼瞼１０４ａまたは１０４ｂのエッジの一部に沿った点であることのための候補であり得る。例えば、候補点１３６ａは、上眼瞼１０４ａの形状を推定するための候補であり得る。同様に、候補点１３６ｂは、下眼瞼１０４ｂの形状を推定するための候補であり得る。
【００２３】
これらの候補点を決定するために、各半径方向線１２８ａに対して、最大微分が識別される点が、半径方向線１２８ａの方向に沿ってあり得る。いくつかの実装では、各垂直線１２８ｂに対して、最大微分が識別される点が、垂直方向１２８ｂの方向に沿ってあり得る。最大微分は、画像強度、色、輝度等の大きい変化が存在する、眼画像内のエッジを見出すために使用されることができる。所与の線が、微分が大きいいくつかの点、例えば、瞳孔境界１１６ａ、縁郭境界１１２ａ、および眼瞼１０４ａまたは１０４ｂを有し得る。候補点１３６ａまたは１３６ｂが、大きい微分値（例えば、極大）を伴い、瞳孔１１６の中心から（または二等分線１３２から）最大距離を有する点として選択されることができる。微分は、数値的方法を使用して決定されることができる。例えば、一実施形態では、Ｓｏｂｅｌ微分演算子（またはその線形結合）が、半径方向線１２８ａに沿った微分を決定するために使用される。また別の例として、Ｇａｂｏｒフィルタ畳み込みが、線１２８ａのための微分を決定するために使用されることができる。エッジ検出アルゴリズム（例えば、Ｃａｎｎｙエッジ検出器）が、眼瞼のための（または瞳孔および縁郭境界のための）候補点１３６ａまたは１３６ｂを識別するために使用されることができる。
【００２４】
種々の実施形態では、最大微分を決定することは、画像処理フィルタを複数の半径方向線１２８ａに適用することと見られることができる。例えば、フィルタは、離散した微分演算子として表されることができる。このフィルタは、最大微分（またはその近似）を備えている画像処理結果を生成するために、眼画像と畳み込まれることができる。故に、一実施形態では、フィルタは、２次元の微分近似結果を生成するために、眼画像を畳み込む２つの３×３カーネルを使用して動作するＳｏｂｅｌフィルタであり得る。そのような微分近似は、大きさおよび方向として表されることができる。極大微分大きさを有する半径方向線１２８ａまたは垂直線１２８ｂに沿った点は、（例えば、瞳孔境界を表し得る点を除外した後）眼瞼のための候補点１３６ａまたは１３６ｂとして選択されることができる。故に、図３は、検出された上眼瞼１０４ａのための候補点１３６ａおよび検出された下眼瞼１０４ｂのための候補点１３６ｂを図示する。
【００２５】
眼瞼形状を推定する非限定的例示的実装では、眼瞼形状は、放物線等の円錐形式によって表されることができる。以下に議論されるように、他の実装も、可能である。本明細書に説明される以下の適合プロセスは、放物線が眼瞼形状を表すように、候補点の円錐形式に適合する放物線を参照して例証される。これは、例証のためであり、限定することは意図されない。他の実装では、任意の好適な数学的定式化または曲線が、適合プロシージャ中に使用されることができる。例えば、曲線は、非線形数式表現であり得る。異なる定式化または曲線が、眼瞼１０４ａまたは１０４ｂのために使用されることができる。
【００２６】
図３に図示される眼瞼形状を推定する例示的実装を継続すると、放物線が、３つの（またはそれを上回る）候補点１３６ａまたは１３６ｂを通過するように適合させられることができる。例えば、３つの候補点１３６ａまたは１３６ｂのランダムサブセットが、（上眼瞼１０４ａのための）候補点１３６ａまたは（下眼瞼１０４ｂのための）候補点１３６ｂのリストから引き出される。ランダムサブセットは、ランダムサンプリングプロセスまたは方法を介して選択されることができる。放物適合曲線１４０ａが、ランダムサブセットにおける候補点１３６ａを使用して作製されることができる。いくつかの実装では、複数の放物適合曲線が、決定されることができる。図示されるように、放物適合曲線１４０ｂは、候補点１３６ａの異なるサブセットを使用する上眼瞼１０４ａの別の適合を示す。放物適合曲線１４０ｃまたは１４０ｄは、候補点１３６ｂのランダムサブセットを使用する下眼瞼１０４ｂの適合を示す。
【００２７】
候補点１３６ａに対する放物適合曲線１０４ａを決定するために、上で説明されるような候補点１３６ａのサブセットのランダムサンプリングが、放物線１４０ａを適合させるための候補点１３６ａを決定するために、事前決定または固定された回数の反復のために繰り返されることができる。他の実施形態では、その放物適合曲線１４０ａ上に（またはそれに十分に近接して）最小数を上回る正対応候補点を伴う放物適合曲線１４０ａが見出されるまで、ランダムサブセットサンプリングが、繰り返されることができる。例えば、候補点が、放物適合曲線のある閾値距離内に位置する場合、正対応として識別されることができる。一例としてであるが、その距離は、０．５〜２．０ピクセルの範囲内であり得る。異なる閾値距離が、可能である。種々の実施形態では、上記の組み合わせ（例えば、固定回数の反復と最小数の正対応候補点）が、候補点１３６ａまたは１３６ｂのランダムサブセットサンプリング中に使用されることができる。
【００２８】
いくつかの実施形態では、放物適合曲線１４０ａ−１４０ｄは、スコアを与えられ、あるスコア閾値と比較される。スコア閾値は、ある誤差閾値内の眼瞼１０４形状の正確な推定を示すことができる。Ｓｏｂｅｌ微分は、放物適合曲線１４０ａ−１４０ｄにスコアを与えるために使用されることができる。例えば、放物適合曲線１４０ａは、放物適合曲線１４０ａに沿った各候補点１３６ａに沿ってＳｏｂｅｌ微分を合計することによって、スコアを与えられることができる。スコアを与えることの別の例として、放物適合曲線１４０ａは、放物適合曲線１４０ａによって交差される（またはそれと十分に近接する、例えば、いくつかのピクセル以内の）候補点の数の合計をカウントすることによってスコアを与えられることができる。
【００２９】
放物適合曲線１４０ａ−１４０ｄのためのスコアは、上眼瞼１０４ａまたは下眼瞼１０４ｂのための好ましい放物線を識別するために使用されることができる。例えば、最も高いスコアを伴う放物適合曲線は、その眼瞼１０４ａまたは１０４ｂのための好ましい放物適合曲線を決定するために使用されることができる。例えば、放物適合曲線１４０ａが、放物適合曲線１４０ｂよりも高いスコアを有する場合、放物適合曲線１４０ａは、上眼瞼１０４ａの好ましい放物適合であると決定されることができる。
【００３０】
（例えば、最も高いスコアを伴う）好ましい放物適合曲線が決定されると、放物線適合は、好ましい放物線を決定するために使用される候補点１３６ａまたは１３６ｂもしくは正対応点の元々のサブセットだけではなく、他の候補点１３６ａまたは１３６ｂもしくは正対応点のうちのいくつかもしくは全てを使用して、繰り返されることができる。そのような再適合プロセスは、眼瞼の実際の測定と比較して、より正確な眼瞼形状の推定を提供し得る。この再適合プロセスの完了時、好ましい放物適合曲線は、眼瞼境界を最もよく表すと決定され、その眼瞼境界として選択されることができる。
【００３１】
本明細書に説明される適合プロセス中、候補点または正対応点のランダムサブセットへの適合は、特定の眼瞼に対して誤った方向に湾曲した線をもたらし得る。例えば、上眼瞼が、概して、下向きに湾曲し、下眼瞼が、概して、上向きに湾曲する。適合線が、特定の眼瞼に対して誤った曲率（例えば、上眼瞼に対して上向き曲率または下眼瞼に対して下向き曲率）を有する場合、適合線は、スコア化プロセスから拒絶され、それによって、処理リソースを節約し、プロセスの効率を改良することができる。
【００３２】
故に、いくつかの実施形態では、適合線は、適合線の曲率の符号に基づいて拒絶され、正の曲率は、上眼瞼１０４ａに対して拒絶され、負の曲率は、下眼瞼１０４ｂに対して拒絶されることができる。種々の実装では、適合線の曲率は、適合プロセスの一部として決定される（例えば、特定の適合係数が、曲率を表し得る）か、または適合線の曲率は、適合線によって表される関数の二次導関数をとることによって決定されることができる。
【００３３】
いくつかの実装では、眼画像は、随意に、画像から高周波数雑音を除去するために、フィルタを用いて前処理されることができる。フィルタは、ローパスフィルタまたはオープンフィルタ等のモルフォロジカルフィルタであり得る。フィルタは、縁郭境界から高周波数雑音を除去し、それによって、眼瞼形状推定を妨げ得る雑音を除去することができる。
【００３４】
前述の例は、放物線を眼瞼に適合させる文脈において説明されたが、これは、例証のためであり、限定することは意図されない。他の実装では、眼瞼形状のための任意の好適な関数形式が、適合プロシージャ中に使用されることができる。上眼瞼１０４ａのための関数形式は、そうである必要はないが、下眼瞼１０４ｂのための関数形式とは異なり得る。眼瞼のための関数形式は、円錐形式（特定の場合として、放物線を含む）、多項式（例えば、円錐形式を表す３以上の次数を伴う）、スプライン、有理関数、または任意の他の適切な関数であり得る。さらに、他の実装では、眼瞼形状推定技法は、候補点１３６ａまたは１３６ｂを眼瞼１０４ａまたは１０４ｂのための関数形式に適合させるために、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用し得る。眼瞼形状推定技法は、眼瞼形状を候補点１３６ａまたは１３６ｂに適合させるために、他の統計的または最適化アルゴリズムを使用し得る。
【００３５】
（例示的眼瞼形状推定プロセス）
図４は、眼瞼形状推定の例示的プロセス４００のフロー図である。プロセス４００は、ハードウェアプロセッサ、例えば、拡張現実デバイスのハードウェアプロセッサによって実装されることができる。プロセス４００は、ブロック４０４において開始される。ブロック４０８において、眼画像が、受信される。眼画像は、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ読み取り可能な媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）を含む種々の源から受信されることができる。眼画像は、眼１００の眼瞼１０４、強膜１０８（眼の「白眼」）、虹彩１１２、および瞳孔１１６を含むことができる。
【００３６】
ブロック４１２において、アイボックス１２０が、眼画像内の眼１００を覆って生成されることができる。アイボックス１２０は、眼画像内の眼１００を覆ってアイボックス１２０をオーバーレイすることによって、眼画像内の眼１００を覆って生成されることができる。アイボックス１２０は、アイボックス１２０を眼画像の特定の部分にマッピングすることによって、眼画像上にオーバーレイされることができる。いくつかの実装では、アイボックス１２０は、ヘッドマウントディスプレイシステム等のディスプレイシステムによって、眼画像上にコンピュータ的にオーバーレイされることができる。アイボックス１２０は、縁郭境界１１２ａまたは縁郭境界１１２ａの近似が決定された後、眼画像内の眼１００上にオーバーレイされることができる。例えば、縁郭境界１１２ａを決定した後、アイボックス１２０は、縁郭境界１１２ａが眼画像上にオーバーレイされたアイボックス１２０の境界の内側にあるようにオーバーレイされることができる。眼瞼１０４によって覆われていない虹彩１１２の領域は、アイボックス１２０の境界の内側にあることができる。いくつかの実装では、眼画像は、眼瞼形状推定のために使用される眼１００の特定の部分のみを含み得るので、ブロック４１２は、随意である。いくつかのそのような実装では、眼画像の１つ以上のエッジは、アイボックス１２０のそれぞれのエッジと同様に機能する。
【００３７】
アイボックス１２０は、形状が長方形であり得る。アイボックス１２０は、虹彩１１２全体を含む最小サイズの境界ボックスであるようにサイズを決定されることができる。例えば、アイボックス１２０は、図１−２のアイボックス１２０の垂直エッジ１２４ａ１、１２４ａ２が虹彩１１２の縁郭境界１１２ａの最も外側の部分に接するように成形されることができる。アイボックス１２０は、アイボックス１２０の水平エッジ１２４ｂ１（または１２４ｂ２）が図１−２の上眼瞼１０４ａ（または下眼瞼１０４ｂ）および虹彩１１２の境界の実質的に外側に延びているように成形されることができる。故に、アイボックス１２０の形状は、虹彩１１２を閉塞している上眼瞼１０４ａまたは下眼瞼１０４ｂのエッジに基づいて変化することができる。
【００３８】
いくつかの実施形態では、ブロック４１２は、随意であり得る。受信された眼画像は、眼１００の部分のみを含むことができる。例えば、眼画像は、眼１００の眼瞼１０４、強膜１０８、虹彩１１２、および瞳孔１１６の部分を含むことができる。別の例として、アイボックス１２０は、眼瞼１０４によって覆われていない虹彩１１２の領域を含むことができる。縁郭境界１１２ａまたは縁郭境界１１２ａの一部が、アイボックス１２０の境界の内側にある場合、眼画像内の眼１００を覆ってアイボックス１２０を生成することは、随意であり得る。眼画像のエッジは、アイボックス１２０のエッジとして考えられることができる。受信された眼画像は、眼画像のエッジに対応するエッジを伴うアイボックス１２０の内側にあると考えられることができる。
【００３９】
ブロック４１６において、複数の半径方向線１２８ａが、（上眼瞼１０４ａに対して）アイボックス１２０の上部エッジ１２４ｂ１に向かって、または（下眼瞼１０４ｂに対して）アイボックス１２０の底部エッジ１２４ｂ２に向かって、瞳孔１１６から生成される（例えば、瞳孔１１６の中心またはその中心の周囲から発生する）ことができる。半径方向線１２８ａは、上眼瞼１０４ａに近接する水平エッジ１２４ｂ１の最初のピクセルから、下眼瞼１０４ｂに近接する水平エッジ１２４ｂ２の最後のピクセルへの線であり得る。半径方向線１２８ａは、上眼瞼１０４ａに近接する水平エッジ１２４ｂ１の第２のピクセルから、下眼瞼１０４ｂに近接する水平エッジ１２４ｂ２のｎ−１のピクセルへの線であり得、ｎは、アイボックス１２０の幅を表す。
【００４０】
（各眼瞼のための）半径方向線１２８ａの数は、ピクセルにおいて測定される画像の幅と同数であり得るか、または、それは、この幅のサブサンプリングであり得る。例えば、サンプリングプロセスは、十分な線が眼瞼を横断し、眼瞼形状への良好な適合を提供するように、眼瞼形状推定のために使用されるべきある半径方向線を選択するために使用されることができる。他の実施形態では、半径方向線１２８ａの数は、眼瞼形状がある誤差閾値内で推定されることを可能にする最小数（例えば、３本）の線であるように最適化されることができる。線の数は、眼画像内の眼瞼によって定められる典型的な角度範囲を表し得、角度範囲は、典型的には、（眼瞼毎に）１８０度より小さい。
【００４１】
ブロック４２０において、候補点１３６ａまたは１３６ｂが、複数の半径方向線１２８ａのために決定されることができる。候補点１３６ａまたは１３６ｂは、例えば、エッジ検出を使用して決定されることができる。エッジ検出は、種々のエッジ検出器、エッジ検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙエッジ検出器が、画像の線におけるエッジを検出するために、画像に適用されることができる。エッジは、極大微分に対応する、ある線に沿って位置する点である。検出された点は、候補点と称され得る。エッジ検出器は、候補点から非着目点を検出し、除外することもできる。例えば、瞳孔境界１１６ａまたは縁郭境界１１２ａに沿った点が、候補点から除外されることができる。随意に、エッジ検出を適用する前、フィルタが、高周波数雑音をフィルタ処理するために、眼画像に適用されることができる。例えば、モルフォロジカルオープンフィルタが、眼画像に適用されることができる。
【００４２】
ブロック４２４において、眼瞼形状曲線が、候補点に適合させられる。眼瞼形状曲線は、形状が放物線である放物適合曲線１４０ａであり得る。放物線が、３つの（またはそれを上回る）候補点１３６ａを通過するように適合させられることができる。例えば、３つの候補点１３６ａのランダムサブセットが、候補点１３６ａのリストから引き出される。ランダムサブセットは、ランダムサンプリングプロセスまたは方法を介して選択されることができる。放物適合１４０ａが、ランダムサブセット内の候補点を使用して作製されることができる。放物適合曲線１４０ｃが、候補点１３６ｂのランダムサブセットを使用して、下眼瞼１０４ｂの適合を示す。
【００４３】
随意に、決定ブロック４２８において、眼瞼形状曲線が好ましい眼瞼形状曲線であるかどうかが、決定される。例えば、眼瞼形状曲線は、スコアを与えられ、あるスコア閾値と比較されることができる。スコア閾値は、ある誤差閾値内の眼瞼１０４形状の正確な推定を示すことができる。Ｓｏｂｅｌ微分が、眼瞼形状曲線にスコアを与えるために使用されることができる。例えば、眼瞼形状曲線は、眼瞼形状曲線に沿った各候補点１３６ａまたは１３６ｂに沿ってＳｏｂｅｌ微分を合計することによってスコアを与えられることができる。スコアを与えることの別の例として、眼瞼形状曲線は、眼瞼形状曲線によって交差される（またはそれと十分に近接する、例えば、いくつかのピクセル以内の）候補点１３６ａまたは１３６ｂの数の合計をカウントすることによってスコアを与えられることができる。ブロック４２４において決定された眼瞼形状曲線が、好ましい眼瞼形状曲線ではない場合、ブロック４２４は、繰り返される。ブロック４２２４において決定された眼瞼形状曲線が、好ましい眼瞼形状曲線である場合、プロセス４００は、ブロック４３２に進む。
【００４４】
ブロック４３２において、好ましい眼瞼形状曲線が決定されると、眼瞼形状曲線の適合は、随意に、正対応点を使用して繰り返されることができる。そのような再適合プロセスは、眼瞼１０４の実際の測定と比較して、より正確な眼瞼形状の推定を提供し得る。この再適合プロセスの完了時、再適合プロセスによって適合させられた眼瞼形状曲線は、眼瞼境界を最もよく表すと決定され、その眼瞼境界として選択されることができる。その後、ブロック４３６において、プロセス４００は、終了する。
【００４５】
図５は、眼瞼形状推定の別の例示的プロセス５００のフロー図である。プロセス５００は、ハードウェアプロセッサによって実装され得る。プロセス５００は、ブロック５０４において開始される。ブロック５０８において、眼画像が、受信される。眼画像は、限定ではないが、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ読み取り可能な媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）を含む種々の源から受信されることができる。
【００４６】
ブロック５２０において、エッジ検出が、候補点１３６ａまたは１３６ｂを決定するために、眼画像に適用されることができる。エッジ検出は、種々のエッジ検出器、エッジ検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙエッジ検出器が、画像の線におけるエッジを検出するために、画像に適用されることができる。エッジは、極大微分に対応する、ある線に沿って位置する点であり得る。検出された点は、候補点１３６ａまたは１３６ｂと称され得る。エッジ検出器は、候補点から非着目点を検出し、除外することもできる。例えば、瞳孔境界１１６ａまたは縁郭境界１１２ａに沿った点が、候補点１３６ａまたは１３６ｂから除外されることができる。随意に、エッジ検出を適用する前、フィルタが、高周波数雑音をフィルタ処理するために、眼画像に適用されることができる。例えば、モルフォロジカルフィルタが、眼画像に適用されることができる。
【００４７】
ブロック５２４において、眼瞼形状曲線１４０ａ−１４０ｄが、候補点１３６ａまたは１３６ｂに適合させられることができる。種々の実装では、眼瞼形状曲線１４０ａ−１４０ｄは、図３を参照して上で説明されるような種々の適合プロセスに従って適合させられることができる。その後、ブロック５３６において、プロセス５００は、終了する。
【００４８】
種々の実施形態では、プロセス４００または５００は、ヘッドマウントディスプレイシステムのハードウェアプロセッサによって実施され得る。他の実施形態では、コンピュータ実行可能命令を伴う遠隔コンピューティングデバイスが、ヘッドマウントディスプレイシステムに、プロセス４００または５００を実施させることができる。プロセス４００または５００のいくつかの実施形態では、要素は、上で説明されるもの以外の順で起こり得る。当業者は、追加の変形例が可能であり、本開示の範囲内であることを理解するであろう。
【００４９】
（候補点として瞳孔境界または縁郭境界に沿った潜在的候補点を除外する例示的眼瞼形状推定プロセス）
いくつかの実施形態では、候補点１３６ａまたは１３６ｂとして瞳孔境界１１６ａもしくは縁郭境界１１２ａに沿った潜在的候補点を除外することが、有利であり得る。瞳孔境界１１６ａまたは縁郭境界１１２ａのある閾値距離（例えば、２ピクセル）上またはそれ以内の潜在的候補点は、候補点１３６ａまたは１３６ｂとして除外されることができる。残りの候補点１３６ａまたは１３６ｂは、上眼瞼形状または下眼瞼形状を決定するために使用されることができる。眼瞼形状を決定するために使用される候補点１３６ａまたは１３６ｂが、瞳孔境界１１６ａまたは縁郭境界１１２ａに沿った点を含む場合、決定された眼瞼形状は、正確ではない場合がある。さらに、正確な眼瞼形状、例えば、あるスコア閾値を上回る眼瞼形状を決定するために、候補点は、眼瞼のための複数の可能な眼瞼形状曲線を決定するために、複数回サンプリングされる必要があり得る。眼瞼のための複数の可能な眼瞼形状曲線を決定することは、より多くの計算を要求し、より非効率的であり得る。
【００５０】
図６は、候補点として瞳孔境界または縁郭境界に沿った潜在的候補点を除外する、眼瞼形状推定の例示的プロセス６００のフロー図である。プロセス６００は、６０４において開始される。ブロック６０８において、眼画像が、受信される。眼画像は、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ読み取り可能な媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）から受信されることができる。眼画像内の縁郭境界１１２ａまたは眼画像内の瞳孔境界１１６ａが、ブロック６０８において受信もしくは決定されることができる。ブロック６１０において、眼画像は、随意に、高周波数雑音を除去するためのフィルタ（例えば、モルフォロジカルオープンフィルタ）を用いて処理されることができる。
【００５１】
ブロック６１２において、アイボックス１２０が、虹彩１１２（例えば、縁郭境界１１２ａと瞳孔境界１１６ａとの間のエリアによって表される）がアイボックス１２０の境界の内側にあるように眼画像上にオーバーレイされることができる。いくつかの実装では、眼瞼１０４または眼瞼１０４の一部も、アイボックス１２０の境界の内側にあり得る。眼画像は、虹彩１１２がアイボックスの境界の内側にあるように、最小画像サイズを有するようにトリミングされることができる。アイボックス１２０の形状は、異なる実装において異なり得る。例えば、アイボックス１２０は、形状が長方形であり得る。プロセス４００のブロック４１２と同様に、ブロック６１２は、随意であり得る。
【００５２】
ブロック６１４において、眼画像内のエッジが、エッジ検出器を使用して検出されることができる。眼画像内のエッジは、概して、瞳孔境界１１６ａ、縁郭境界１１２ａ、および眼瞼１０４を表し得る。エッジ検出器は、Ｃａｎｎｙエッジ検出器であり得る。眼画像内のエッジは、眼画像内の極大微分であり得る。いくつかの実装では、極大微分は、事前算出され、ルックアップテーブル内に記憶されることができる。
【００５３】
ブロック６１６において、複数の半径方向線１２８ａまたは垂直線１２８ｂが、アイボックス１２０の内側に生成されることができる。半径方向線１２８ａは、瞳孔１１６の中心またはその中心の周囲からアイボックス１２０の上部エッジ１２４ｂ１に向かって発生し、上眼瞼１０４ａを決定するために使用されることができる。いくつかの実装では、垂直線１２８ｂは、二等分線１３２から上部エッジ１２４ｂ１に向かって発生し、上眼瞼１０４ａを決定するために使用されることができる。
【００５４】
ブロック６２０において、候補点１３６ａが、複数の半径方向線１２８ａのために決定されることができる。半径方向線１２８ａの候補点１３６ａは、眼画像内のエッジと交差する半径方向線１２８ａの点であり得る。候補点１３６ａは、エッジ検出器を使用して決定されることができる。眼画像内の候補点１３６ａは、随意に、ルックアップテーブル内に記憶され得る、眼画像内の極大微分を有することができる。随意に、潜在的候補点が、瞳孔境界１１６ａまたは縁郭境界１１２ａに沿っている場合、潜在的候補点は、候補点１３６ａから除外されることができる。潜在的候補点は、瞳孔境界１１６ａまたは縁郭境界１１２ａのある閾値距離（例えば、２ピクセル）以内にあり得る。残りの候補点１３６ａは、上眼瞼１０４ａを決定するために使用されることができる。
【００５５】
ブロック６２４において、眼瞼形状への数学的適合が、候補点１３６ａから決定されることができる。例えば、ＲＡＮＳＡＣまたは他の最適化もしくは適合アルゴリズムが、使用されることができる。一例証的実装では、いくつかの回数の反復に対して、以下の動作が、実施される。候補点１３６ａのサブセットが、選択されることができる。眼瞼形状曲線が、選択された候補点１３６ａのサブセットに適合させられることができる。放物線形状を有する眼瞼形状曲線は、放物適合曲線１４０ａであり得る。いくつかの実装では、眼瞼形状曲線は、放物線形状を有していない。眼瞼形状曲線と交差する（または放物適合曲線のある閾値距離内に位置する）候補点１３６ａの数が、眼瞼形状曲線のためのスコアとして決定されることができる。いくつかの実装では、候補点１３６ａの眼瞼形状曲線までの平均距離が、眼瞼形状曲線のスコアとして決定されることができる。次の反復では、候補点１３６ａの異なるサブセットが、眼瞼形状曲線を決定するために使用されることができる。これらの動作は、いくつかの反復にわたって繰り返されることができる。反復の回数が、固定回数であり得るか、または、動作が、最小数を上回る正対応候補点を伴う眼瞼形状曲線が見出されるまで反復されることができる。正対応候補点は、眼瞼形状曲線のある閾値距離（例えば、いくつかのピクセル）内にある候補点１３６ａであり得る。
【００５６】
ブロック６２８において、大きいスコア、例えば、最大スコアを伴う眼瞼形状曲線が、初期候補眼瞼形状曲線として選択されることができる。いくつかの実装では、初期候補眼瞼形状曲線は、眼瞼形状を正確に表すと考えられるために十分に高い（例えば、ある閾値を上回る）スコアを有する。
【００５７】
随意に、ブロック６３２において、初期眼瞼形状候補曲線に対する正対応が、識別されることができる。例えば、正対応は、初期眼瞼形状候補曲線のある閾値距離（例えば、いくつかのピクセル）上またはそれ以内の候補点１３６ａを含むことができる。残りの候補点は、誤対応値であり、眼瞼形状を表さないものとして破棄される。新しい眼瞼形状曲線（例えば、新しい放物適合曲線１４０ａ）が、正対応点のいくつかまたは全てを適合させることによって決定されることができる。結果として生じる眼瞼形状曲線は、眼瞼の形状のための最良な推定値と考えられることができる。
【００５８】
プロセス６００は、下眼瞼１０４ｂに対して繰り返されることができる。例えば、プロセス６００のブロック６２０、６２４、６２８、および６３２が、下眼瞼１０４ｂに対して繰り返されることができる。上眼瞼１０４ａおよび下眼瞼１０４ｂを決定する順序は、異なる実装において異なり得る。例えば、上眼瞼１０４ａの形状は、下眼瞼１０４ｂの形状が決定されることに先立って決定されることができる。別の例として、下眼瞼１０４ｂの形状は、上眼瞼１０４ａの形状が決定されることに先立って決定されることができる。また別の例として、上眼瞼１０４ａの形状および下眼瞼１０４ｂの形状は、並行して決定されることができる。プロセス６００は、ブロック６３６において終了する。
【００５９】
（ビデオ処理のための眼瞼形状推定の例示的用途）
本明細書に開示される眼瞼形状推定技法を使用するシステムおよび方法は、ビデオ画像の文脈内の画像処理における古典的問題に対する他の解決策に対処する、またはそれを改良することができる。加えて、画像処理における他の問題も、対処されることができる。例えば、眼瞼形状推定技法は、ビデオ内のフレームの画像分類（例えば、眼の虹彩１１２を識別すること）のために、ならびにビデオの１つ以上のフレーム内の特定の物体タイプ（例えば、上眼瞼１０４ａの場所）の位置特定のために使用されることができる。別の例として、眼瞼形状推定技法は、眼追跡の用途（例えば、眼の向きまたは方向を決定すること）のためにビデオに適用されることができる。
【００６０】
いくつかのそのような用途では、以下にさらに議論されるであろうように、装着可能ディスプレイシステムが、装着可能ディスプレイシステムに動作可能に結合される（例えば、それに取り付けられる、またはその中に含まれる）画像捕捉デバイスによって取得されるビデオデータに対して眼瞼形状推定を実施するプロセッサを含むことができる。画像捕捉デバイスは、眼瞼形状推定技法に基づいて、アイボックス１２０を生成するため、または眼瞼形状を推定することにおいて使用するために、装着者の眼または装着者の身体の他の部位（例えば、手または指）のビデオを取得し得る。
【００６１】
眼瞼形状推定技法の使用は、有利なこととして、（例えば、装着可能ディスプレイシステム内の画像捕捉デバイスから取得される）ビデオ内の眼瞼の認識を可能にし、それは、バイオメトリック情報等のビデオ内の物体の改良された認識または分類を可能にし得る。例えば、従来の虹彩セグメント化技法は、眼のセグメント化を決定することにおいて困難を有し得る。しかしながら、本明細書に説明される眼瞼形状推定技法は、（概して）虹彩１１２の一部が眼瞼１０４によって閉塞されるであろう一方、瞳孔１１６は（概して）閉塞されないであろうため、瞳孔境界１１６ａと縁郭境界１１２ａとの間をより良好に区別するために使用されることができる。したがって、眼瞼形状推定技法は、図１−４に図示されるように、眼瞼１０４によって閉塞されていない眼１００の部分を認識するために使用されることができ、バイオメトリック抽出において使用されるより正確な虹彩セグメント化を提供することができる。
【００６２】
（例示的装着可能ディスプレイシステム）
いくつかの実施形態では、ユーザデバイスは、装着可能であり得、それは、有利なこととして、より没入型の仮想現実（ＶＲ）、拡張現実（ＡＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。
【００６３】
理論によって限定されるわけではないが、人間の眼は、典型的には、奥行知覚を提供するために、有限数の奥行面を解釈し得ると考えられる。その結果、知覚される奥行の高度に真実味のあるシミュレーションが、これらの限定された数の奥行面の各々に対応する画像の異なる表現を眼に提供することによって達成され得る。例えば、導波管のスタックを含むディスプレイが、ユーザまたは視認者の眼の正面に位置付けられ、装着されるように構成され得る。導波管のスタックは、複数の導波管を使用し、画像投入デバイス（例えば、１つ以上の光ファイバを介して画像情報を送る多重化ディスプレイの個別のディスプレイまたは出力端）から、特定の導波管に関連付けられる奥行面に対応する特定の角度（および発散量）で視認者の眼に光を向かわせることによって、３次元知覚を眼／脳に提供するために利用され得る。
【００６４】
いくつかの実施形態では、導波管の２つのスタック（視認者の各眼のために１つ）が、異なる画像を各眼に提供するために利用され得る。一例として、拡張現実シーンは、ＡＲ技術の装着者が、人物、木、背景の建物、およびコンクリートプラットフォームを特徴とする現実世界の公園のような設定を見るようなものであり得る。これらのアイテムに加えて、ＡＲ技術の装着者はまた、自身が、現実世界プラットフォーム上に立つロボットの像およびマルハナバチの擬人化のように見える飛行する漫画的アバタキャラクタも、そのロボットの像およびマルハナバチが現実世界に存在していないにもかかわらず、「見ている」と知覚し得る。導波管のスタックは、入力画像に対応する明視野を生成するために使用され得、いくつかの実装では、装着可能ディスプレイは、装着可能明視野ディスプレイを備えている。明視野画像を提供するための装着可能ディスプレイデバイスおよび導波管スタックの例が、米国特許公開第２０１５／００１６７７７号（参照することによって、これが含むあらゆるものに関してその全体として本明細書に組み込まれる）に説明されている。
【００６５】
図７は、ディスプレイシステム装着者または閲覧者７０４にＶＲ、ＡＲ、またはＭＲ体験を提示するために使用され得る装着可能ディスプレイシステム７００の例を図示する。装着可能ディスプレイシステム７００は、本明細書に説明される用途または実施形態のいずれか（例えば、アイボックス生成または眼瞼形状推定）を実施するようにプログラムされ得る。ディスプレイシステム７００は、ディスプレイ７０８と、そのディスプレイ７０８の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ７０８は、フレーム７１２に結合され得、フレームは、ディスプレイシステム装着者または閲覧者７０４によって装着可能であり、装着者７０４の眼の正面にディスプレイ７０８を位置付けるように構成される。ディスプレイ７０８は、光照射野ディスプレイであり得る。いくつかの実施形態では、スピーカ７１６が、フレーム７１２に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する。ディスプレイ７０８は、有線導線または無線接続等によって、フレーム７１２に固定して取り付けられ、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられ、ヘッドホンに内蔵され、または別様にユーザ７０４に（例えば、バックパック式構成において、ベルト結合式構成において）取り外し可能に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール７２４に動作可能に結合される（７２０）。
【００６６】
ローカル処理およびデータモジュール７２４は、ハードウェアプロセッサならびに不揮発性メモリ、例えば、フラッシュメモリ等の非一過性デジタルメモリを備え得、それらの両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／もしくはジャイロ等の（例えば、フレーム７１２に動作可能に結合される、または別様に装着者７０４に取り付けられ得る）センサから捕捉されるデータ、ならびに／または、（ｂ）場合によってはそのような処理もしくは読み出し後にディスプレイ７０８への通過のために、遠隔処理モジュール７２８および／もしくは遠隔データリポジトリ７３２を使用して取得および／もしくは処理されるデータを含む。ローカル処理およびデータモジュール７２４は、有線または無線通信リンクを介する等、通信リンク７３６、７４０によって、遠隔処理モジュール７２８および遠隔データリポジトリ７３２に動作可能に結合され得、それによって、これらの遠隔モジュール７２８、７３２は、互いに動作可能に結合され、ローカル処理およびデータモジュール７２４へのリソースとして利用可能である。画像捕捉デバイスは、眼瞼形状推定プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。
【００６７】
いくつかの実施形態では、遠隔処理モジュール７２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析ならびに処理するように構成される、１つ以上のプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール７２４内に、ならびに／または遠隔データリポジトリ７３２内にローカルに記憶され得る。いくつかの実施形態では、遠隔データリポジトリ７３２は、デジタルデータ記憶設備を備え得、それは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール７２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【００６８】
いくつかの実装では、ローカル処理およびデータモジュール７２４ならびに／または遠隔処理モジュール７２８は、本明細書に開示されるように、アイボックスを生成し、眼瞼形状を推定する実施形態を実施するようにプログラムされる。例えば、ローカル処理およびデータモジュール７２４ならびに／または遠隔処理モジュール７２８は、本明細書に説明される実施形態を実施するようにプログラムされることができる。ローカル処理およびデータモジュール７２４ならびに／または遠隔処理モジュール７２８は、バイオメトリック抽出において本明細書に開示される眼瞼形状推定技法を使用し、例えば、装着者７０４の識別を識別もしくは認証するように、または眼注視もしくはポーズ決定において、例えば、各眼が見ている方向を決定するようにプログラムされることができる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡要素のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手もしくは指のビデオ）を捕捉することができる。ビデオは、処理モジュール７２４、７２８のうちの一方または両方によって、眼瞼推定技法を使用して分析されることができる。この分析では、処理モジュール７２４、７２８は、眼瞼形状推定もしくは検出および／またはバイオメトリック抽出、眼ポーズ決定等を実施することができる。いくつかの場合、遠隔処理モジュールに眼瞼形状推定の少なくとも一部を（例えば、「クラウド」内に）オフロードすることは、算出の効率または速度を改良し得る。眼瞼形状推定に関するパラメータ（例えば、重み、バイアス項、ランダムサブセットサンプリング係数、数、およびフィルタ（例えば、Ｓｏｂｅｌ微分演算子）のサイズ等）が、データモジュール７２４および／または７３２内に記憶されることができる。
【００６９】
画像処理の例証的例として、処理モジュール７２４は、画像捕捉デバイスから受信された眼画像からバイオメトリック情報を抽出し、数値表現に定式化することができる。処理モジュール７２４は、眼画像から抽出されたバイオメトリック情報を画像処理結果に変換する伝達関数としてアイボックスを表すために、数値計算を実施することもできる。順に、画像処理結果は、例えば、本明細書に説明されるような眼瞼形状推定方法におけるさらなる処理のために使用されることができる。画像処理結果および伝達関数の両方は、遠隔データリポジトリ７３２内に記憶されることができる。画像処理のこの例証的例は、処理モジュール７２４を用いて処理されているが、種々の実装では、遠隔処理モジュール７２８が、眼画像のそのような画像処理を実施することができる。加えて、処理モジュール７２４、７２８は、一緒に、眼画像のそのような画像処理を実施することができる。
【００７０】
ビデオ分析の結果（例えば、眼瞼の推定された形状）は、追加の動作または処理のために、処理モジュール７２４、７２８のうちの一方もしくは両方によって使用されることができる。例えば、種々の用途では、ジェスチャ、物体、ポーズ等のバイオメトリック識別、眼追跡、認識、または分類が、装着可能ディスプレイシステム７００によって使用され得る。例えば、装着者の眼のビデオが、眼瞼形状推定のために使用されることができ、それは、順に、ディスプレイ７０８を通した装着者７０４の注視の方向を決定するために、処理モジュール７２４、７２８によって使用されることができる。装着可能ディスプレイシステム７００の処理モジュール７２４、７２８は、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するように、アイボックス生成または眼瞼形状推定の１つ以上の実施形態とともにプログラムされることができる。
【００７１】
（追加の側面）
本明細書に説明される眼瞼形状推定技法は、画像（例えば、ビデオフレーム）に適用されることができる。アイボックス生成および眼瞼形状推定の両方が、眼の画像を処理するための単一のプロセスおよび／または方法論として一緒に見られることができる。
【００７２】
第１の側面では、眼瞼形状推定のための方法が、開示される。方法は、ハードウェアプロセッサの制御下で、眼画像内の眼を覆ってアイボックスを生成することであって、アイボックスは、上側エッジおよび下側エッジを伴い、形状が長方形であり、上側エッジは、眼の上眼瞼の一部にオーバーレイし、下側エッジは、眼の下眼瞼の一部にオーバーレイする、ことと、アイボックスの略中心から上側エッジまたは下側エッジまで延びている複数の半径方向線を生成することと、エッジ検出器を使用して、複数の半径方向線上の候補点を決定することと、候補点のサブセットから放物適合曲線を決定することであって、放物適合曲線は、眼画像内の眼の眼瞼形状の推定である、こととを含む。
【００７３】
第２の側面では、アイボックスは、形状が正方形である、側面１に記載の方法。
【００７４】
第３の側面では、放物適合曲線のスコアが閾値スコアを上回ることを決定することと、放物線が眼画像内の眼の眼瞼形状の好ましい推定であることを決定することとをさらに含む、側面１−２のうちのいずれか１つに記載の方法。
【００７５】
第４の側面では、放物適合曲線のスコアが閾値スコアを上回ることを決定することは、放物適合曲線と交差する候補点の数を決定することを含む、側面３に記載の方法。
【００７６】
第５の側面では、放物適合曲線のスコアを決定することは、放物適合曲線の閾値距離内にある候補点の数を決定することを含む、側面３に記載の方法。
【００７７】
第６の側面では、エッジ検出器を使用して、複数の半径方向線上の候補点を決定することは、エッジ検出器を使用して、複数の半径方向線のサブセットにおける候補点を決定することを含む、側面１−５のうちのいずれか１つに記載の方法。
【００７８】
第７の側面では、ヘッドマウントディスプレイシステムが、開示される。ヘッドマウントディスプレイは、眼の眼画像を捕捉するように構成されている画像捕捉デバイスと、非一過性メモリと、非一過性メモリと通信しているハードウェアプロセッサとを備え、ハードウェアプロセッサは、画像捕捉デバイスから眼画像を受信することと、眼画像内の候補点を決定することと、候補点の第１のサブセットを使用して、眼の眼瞼形状を決定することとを行うようにプログラムされている。
【００７９】
第８の側面では、眼画像内の候補点を決定することは、眼の瞳孔および眼の虹彩の少なくとも部分を備えている眼画像の部分を識別することを含む、側面７に記載のヘッドマウントディスプレイシステム。
【００８０】
第９の側面では、眼画像の部分を識別することは、眼画像内の瞳孔の部分および虹彩の部分を覆ってアイボックスを生成することを含む、側面８に記載のヘッドマウントディスプレイシステム。
【００８１】
第１０の側面では、非一過性メモリは、エッジ検出器を記憶するように構成され、眼画像内の候補点を決定することは、眼の虹彩の周囲にアイボックスを生成することであって、アイボックスの第１のエッジは、眼の縁郭境界に接している、ことと、アイボックスの第２のエッジまで延びている複数の線を生成することと、エッジ検出器を使用して、複数の線上の候補点を決定することとを含む、側面７−９のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。
【００８２】
第１１の側面では、眼の虹彩の周囲にアイボックスを生成することは、眼画像内の眼を覆ってアイボックスをオーバーレイすることを含む、側面１０に記載のヘッドマウントディスプレイシステム。
【００８３】
第１２の側面では、複数の線は、複数の半径方向線を備え、複数の半径方向線は、アイボックスの略中心からアイボックスの第２のエッジまで延びている、側面１０に記載のヘッドマウントディスプレイシステム。
【００８４】
第１３の側面では、眼の瞳孔は、アイボックスの略中心にある、側面１２に記載のヘッドマウントディスプレイシステム。
【００８５】
第１４の側面では、複数の線は、複数の垂直線を備え、複数の垂直線は、アイボックスの二等分線からアイボックスの第２のエッジまで延びている、側面１０−１３のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。
【００８６】
第１５の側面では、二等分線は、眼画像内の眼の瞳孔を通過する、側面１４に記載のヘッドマウントディスプレイシステム。
【００８７】
第１６の側面では、候補点は、複数の線に沿う極大微分を伴う点を備えている、側面１０−１５のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。
【００８８】
第１７の側面では、候補点は、瞳孔境界または縁郭境界に沿っていない、側面１０−１６のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。
【００８９】
第１８の側面では、ハードウェアプロセッサはさらに、候補点を決定することに先立って、眼画像にモルフォロジカルフィルタを適用するようにプログラムされる、側面１０−１７のうちのいずれか１つに記載の方法。
【００９０】
第１９の側面では、候補点の第１のサブセットを使用して、眼瞼形状を決定することは、候補点の第１のサブセットを使用して、眼瞼形状の関数形式を決定することを含む、側面７−１８のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。
【００９１】
第２０の側面では、関数形式は、放物線または多項式である、側面１９に記載のヘッドマウントディスプレイシステム。
【００９２】
第２１の側面では、候補点の第１のサブセットを使用して、眼瞼形状を決定することは、決定された眼瞼形状が負の曲率を有し、かつ決定された眼瞼形状が上眼瞼の推定である場合、または、決定された眼瞼形状が正の曲率を有し、かつ決定された眼瞼形状が下眼瞼の推定である場合、候補点の第２のサブセットを使用して、眼瞼形状を再決定することを含む、側面７−２０のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。
【００９３】
第２２の側面では、眼瞼形状推定のための方法が、開示される。方法は、ハードウェアプロセッサの制御下で、眼の瞳孔および虹彩の少なくとも部分を備えている眼画像の部分を識別することと、眼画像の部分の上側エッジまたは下側エッジまで延びている複数の線を生成することと、エッジ検出器を使用して、複数の線上の候補点を決定することと、候補点のサブセットを使用して、眼瞼形状を決定することとを含む。
【００９４】
第２３の側面では、候補点のサブセットを使用して、眼瞼形状を決定することは、候補点の第１のサブセットを使用して、眼瞼形状の第１の関数形式を決定することと、候補点の第２のサブセットを使用して、眼瞼形状の第２の関数形式を決定することと、眼瞼形状の第１の関数形式のスコアを決定することと、眼瞼形状の第２の関数形式のスコアを決定することと、第１の関数形式のスコアが、第２の関数形式のスコアを上回る場合、眼瞼形状の好ましい推定が、眼瞼形状の第１の関数形式であり、そうでなければ、眼瞼形状の第２の関数形式であることを決定することとを含む、側面２２に記載の方法。
【００９５】
第２４の側面では、候補点のサブセットを生成するために、候補点を無作為にサンプリングすることをさらに含む、側面２２−２３のうちのいずれか１つに記載の方法。
【００９６】
第２５の側面では、エッジ検出器は、Ｓｏｂｅｌフィルタを備え、エッジ検出器を使用して、複数の線上の候補点を決定することは、Ｓｏｂｅｌフィルタを眼画像と畳み込み、微分近似画像結果を生成することと、微分近似画像結果を使用して、候補点を識別することとを含む、側面２２−２４のうちのいずれか１つに記載の方法。
【００９７】
第２６の側面では、眼画像の部分を識別することは、眼画像内の眼を覆ってアイボックスを生成することを含む、側面２２−２５のうちのいずれか１つに記載の方法。
【００９８】
第２７の側面では、眼画像を処理する方法が、開示される。方法は、ハードウェアコンピュータプロセッサの制御下で実施され、眼画像内の眼の虹彩を制限するアイボックスの上側エッジまたは下側エッジまで延びている線を生成することと、線に対する最大微分の候補点を選択することと、眼画像内の眼の眼瞼の形状と一致する最良適合曲線を決定することとを含む。
【００９９】
第２８の側面では、線は、眼画像内の眼の瞳孔の中心から、眼画像内の眼の虹彩を制限するアイボックスの上側エッジまたは下側エッジまで延びている半径方向線を備え、候補点は、半径方向線に対する最大平行Ｓｏｂｅｌ方向微分である、側面２７に記載の方法。
【０１００】
第２９の側面では、線は、眼画像内の眼の瞳孔を通した水平二等分線から、眼画像内の眼の虹彩を制限するアイボックスの上側エッジまたは下側エッジまで延びている垂直線を備え、候補点は、垂直線に対する最大垂直Ｓｏｂｅｌ微分である、側面２７−２８のうちのいずれか１つに記載の方法。
【０１０１】
第３０の側面では、眼画像内の眼の眼瞼の形状と一致する最良適合曲線を決定することは、候補点のサブセットを生成するために、候補点を無作為にサンプリングすることと、候補点のサブセットを使用して、眼瞼の形状と一致する最良適合曲線を決定することとを含む、側面２７−２９のうちのいずれか１つに記載の方法。
【０１０２】
第３１の側面では、最良適合曲線は、最良適合曲線上にあるか、またはそれに近接する候補点の最大数を有する、側面２７−３０のうちのいずれか１つに記載の方法。
【０１０３】
第３２の側面では、最良適合曲線上にあるか、またはそれに近接する候補点の最大数は、候補点の最大数閾値を上回る、側面３１に記載の方法。
【０１０４】
第３３の側面では、最良適合曲線は、最良適合曲線に沿う最大積分Ｓｏｂｅｌ微分を有する、側面２７−３０のうちのいずれか１つに記載の方法。
【０１０５】
第３４の側面では、最良適合曲線に沿う最大積分Ｓｏｂｅｌ微分は、Ｓｏｂｅｌ微分閾値を上回る、側面３３に記載の方法。
【０１０６】
第３５の側面では、候補点を選択する前、モルフォロジカルフィルタを適用することをさらに含む、側面２７−３４のうちのいずれか１つに記載の方法。
【０１０７】
第３６の側面では、モルフォロジカルフィルタは、オープンモルフォロジカルフィルタである、側面３５に記載の方法。
【０１０８】
第３７の側面では、間違った曲率を有する最良適合曲線の候補曲線を拒絶することをさらに含む、側面２７−３６のうちのいずれか１つに記載の方法。
【０１０９】
第３８の側面では、最良適合曲線の候補曲線は、候補曲線が正の曲率を有する場合、間違った曲率を有し、ここで、眼瞼は、上眼瞼である、側面３７に記載の方法。
【０１１０】
第３９の側面では、最良適合曲線の候補曲線は、候補曲線が負の曲率を有する場合、間違った曲率を有し、ここで、眼瞼は、下眼瞼である、側面３７に記載の方法。
【０１１１】
第４０の側面では、線に対する最大微分を事前算出することと、ルックアップテープル内に最大微分を記憶することとをさらに含む、側面２７−３９のうちのいずれか１つに記載の方法。
【０１１２】
第４１の側面では、線に対する最大微分を伴う候補点を選択することは、ルックアップテープルを使用して候補点を選択することを含む、側面４０に記載の方法。
【０１１３】
（結論）
本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成される１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、特定のコンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特定の回路によって実施され得る。
【０１１４】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、特にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【０１１５】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ読み取り可能な媒体上に記憶され得る。方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む種々のコンピュータ読み取り可能な伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得るか、またはコンピュータ読み取り可能な伝送媒体を介して通信され得る。
【０１１６】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列されること、追加されること、削除されること、修正されること、または別様に本明細書に提供される例証的例から変更されることができる。いくつかの実施形態では、追加のまたは異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定の順に限定されず、それに関連するブロック、ステップ、または状態は、適切な他の順で、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加されるか、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品において一緒に統合されるか、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【０１１７】
プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【０１１８】
本開示のシステムおよび方法の各々は、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上で説明される種々の特徴およびプロセスは、互いに独立して使用され得るか、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【０１１９】
別個の実装の文脈において本明細書に説明されるある特徴は、単一の実装における組み合わせにおいて実装されることもできる。逆に、単一の実装の文脈において説明される種々の特徴も、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。
【０１２０】
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備えている」、「〜を含む」、「〜を有する」等は、同義語であり、非限定的方式で包括的に使用され、追加の要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
【０１２１】
本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
【０１２２】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の追加の動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上で説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【図１】
2018523878.tif 000003
【図２】
2018523878.tif 000004
【図３】
2018523878.tif 000005
【図４】
2018523878.tif 000006
【図５】
2018523878.tif 000007
【図６】
2018523878.tif 000008
【図７】
2018523878.tif 000009
【国際調査報告】
2018523878.tif 000010
2018523878.tif 000011
2018523878.tif 000012