(57)【要約】拡張現実デバイス等の頭部搭載型ディスプレイ（ＨＭＤ）によって顔の画像を合成するためのシステムおよび方法が、開示される。ＨＭＤは、内向きに向いた結像システムを用いて、顔の一部のみ、例えば、眼球周囲領域を観察することが可能であり得る。本明細書に説明されるシステムおよび方法は、少なくとも部分的に、結像される顔の部分の立体構造に基づいて、結像されない顔の部分の立体構造のマッピングを生成することができる。ＨＭＤは、顔の一部の画像を受信し、マッピングを使用して、観察されない顔の部分の立体構造を決定することができる。ＨＭＤは、観察される部分と観察されない部分を組み合わせ、完全な顔画像を合成することができる。
2021517689.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブルディスプレイシステムであって、
前記ウェアラブルディスプレイの装着者の眼球周囲領域の画像を捕捉するように構成される内向きに向いた結像システムと、
前記眼球周囲領域の画像を記憶するように構成される非一過性のメモリと、
前記非一過性のメモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記装着者の眼球周囲領域の画像にアクセスすることと、
少なくとも部分的に前記画像に基づいて、前記装着者の眼球周囲特徴をエンコードする眼球周囲領域パラメータを生成することと、
少なくとも部分的に前記眼球周囲領域パラメータに基づいて、下側顔パラメータを生成することと、
少なくとも部分的に前記下側顔パラメータおよび前記眼球周囲領域パラメータに基づいて、前記装着者の完全な顔の表現を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
【請求項２】
前記眼球周囲特徴は、眼球周囲筋肉の伸展および圧縮、前記眼球周囲領域内の皺、しみ、または斑点、眼瞼、または眉毛を含む、請求項１に記載のシステム。
【請求項３】
前記眼球周囲領域パラメータは、眼球周囲特徴のオプティカルフローまたは眉毛の上昇または下降の測定を含む、請求項１に記載のシステム。
【請求項４】
前記眼球周囲領域パラメータは、垂直眼中心（ＶＥＣ）位置を含む、請求項３に記載のシステム。
【請求項５】
前記内向きに向いた結像システムは、赤外線発光ダイオード（ＩＲ  ＬＥＤ）または前記眼球周囲領域の光強度を検出するように構成される光反射センサを備える、請求項１に記載のシステム。
【請求項６】
前記ハードウェアプロセッサは、
前記眼球周囲領域内の斑点の光強度を測定することと、
前記斑点の光強度を閾値に対して比較し、前記内向きに向いた結像システムからの前記斑点の下層にある前記眼球周囲領域の距離を決定することと
を行うようにプログラムされる、請求項１に記載のシステム。
【請求項７】
下側顔立体構造が、眉毛位置に基づいて完全な顔の一貫性に関して照合される、請求項１に記載のシステム。
【請求項８】
オーディオセンサをさらに備え、下側顔立体構造は、前記オーディオセンサから記録される音素に対する一貫性に関してチェックされる、請求項１に記載のシステム。
【請求項９】
前記装着者上の前記ＨＭＤのフィットレベルが、眼位置に基づいて決定される、請求項１に記載のシステム。
【請求項１０】
前記眼位置は、瞳孔輝点追跡から決定される、請求項９に記載のシステム。
【請求項１１】
電気眼球図記録（ＥＯＧ）センサをさらに備え、前記システムは、ＥＯＧセンサの読取値から眼位置を決定するように構成される、請求項１に記載のシステム。
【請求項１２】
前記システムは、前記装着者に特有の較正データを取得するように構成される、請求項１に記載のシステム。
【請求項１３】
前記システムは、前記内向きに向いた結像システムによって結像されていない前記装着者の顔の領域の画像を取得するように構成され、前記較正データは、頭部形状または口形状を備える、請求項１２に記載のシステム。
【請求項１４】
前記システムは、前もって捕捉された眼球周囲領域画像から生成される過去の完全な顔パラメータに対して、前記完全な顔の表現を時間的にチェックするように構成される、請求項１に記載のシステム。
【請求項１５】
方法であって、
ウェアラブルディスプレイの装着者の眼球周囲領域の画像を捕捉するように構成される内向きに向いた結像システムと、前記眼球周囲領域の画像を記憶するように構成される非一過性のメモリと、前記非一過性のメモリと通信するハードウェアプロセッサとを備える、ウェアラブルディスプレイシステムの制御下で、
前記装着者の眼球周囲領域の画像にアクセスすることと、
少なくとも部分的に前記画像に基づいて、前記装着者の眼球周囲特徴をエンコードする眼球周囲領域パラメータを生成することと、
少なくとも部分的に前記眼球周囲領域パラメータに基づいて、下側顔パラメータを生成することと、
少なくとも部分的に前記下側顔パラメータおよび前記眼球周囲領域パラメータに基づいて、前記装着者の完全な顔の表現を生成することと
を含む、方法。
【請求項１６】
方法であって、
頭部搭載型ディスプレイ（ＨＭＤ）の装着者の眼球周囲領域を結像するように構成される内向きに向いた結像システムと、ハードウェアプロセッサとを備える、ＨＭＤの制御下で、
前記内向きに向いた結像システムを介して、前記装着者の眼球周囲領域の眼球周囲画像を入手することと、
少なくとも部分的に前記眼球周囲画像に基づいて、前記装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする眼球周囲顔パラメータを生成することと、
少なくとも部分的に前記眼球周囲顔パラメータに基づいて、前記装着者の下側顔の下側顔パラメータを生成することであって、前記下側顔は、前記装着者によって装着されたときに前記内向きに向いた結像システムによって観察されない、ことと、
前記眼球周囲顔パラメータおよび前記下側顔パラメータを組み合わせ、前記装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成することと、
レンダリングエンジンによって使用するために前記完全な顔パラメータを記憶し、前記装着者の顔の３Ｄアニメーションを生成することと
を含む、方法。
【請求項１７】
ウェアラブルシステムであって、
前記ウェアラブルシステムの装着者の眼球周囲領域を結像するように構成される内向きに向いた結像システムと、
ハードウェアプロセッサであって、
前記内向きに向いた結像システムを介して、前記装着者の眼球周囲領域の眼球周囲画像を入手することと、
少なくとも部分的に前記眼球周囲画像に基づいて、前記装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする眼球周囲顔パラメータを生成することと、
少なくとも部分的に前記眼球周囲顔パラメータに基づいて、前記装着者の下側顔の下側顔パラメータを生成することであって、前記下側顔は、前記装着者によって装着されたときに前記内向きに向いた結像システムによって観察されない、ことと、
前記眼球周囲顔パラメータおよび前記下側顔パラメータを組み合わせ、前記装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成することと、
レンダリングエンジンによって使用するために前記完全な顔パラメータを記憶し、前記装着者の顔の３Ｄアニメーションを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
【請求項１８】
ウェアラブルディスプレイシステムであって、
ユーザの眼球周囲領域を結像するように構成される内向きに向いた結像システムと、
前記ユーザの眼球周囲領域の画像を記憶するように構成される非一過性のメモリと、
前記非一過性のメモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記内向きに向いた結像システムによって入手される眼球周囲画像にアクセスすることと、
少なくとも部分的に前記画像に基づいて、前記ユーザの少なくとも眼球周囲領域の眼球周囲立体構造に関する眼球周囲顔パラメータを決定することと、
少なくとも部分的に前記眼球周囲顔パラメータに基づいて、前記ユーザの顔の下側領域に関する下側顔パラメータを計算することであって、前記下側領域は、前記内向きに向いた結像システムによって結像されない、ことと、
前記眼球周囲顔パラメータおよび前記下側顔パラメータを組み合わせ、前記ユーザの顔に関する完全な顔パラメータを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
【請求項１９】
方法であって、
非一過性のメモリと通信するハードウェアプロセッサと、ユーザの眼球周囲領域を結像するように構成される内向きに向いた結像システムとを備える、頭部搭載型ディスプレイ（ＨＭＤ）の制御下で、
前記内向きに向いた結像システムによって入手される眼球周囲画像にアクセスすることと、
少なくとも部分的に前記画像に基づいて、前記ユーザの少なくとも眼球周囲領域の眼球周囲立体構造に関する眼球周囲顔パラメータを決定することと、
少なくとも部分的に前記眼球周囲顔パラメータに基づいて、前記ユーザの顔の下側領域に関する下側顔パラメータを計算することであって、前記下側領域は、前記内向きに向いた結像システムによって結像されない、ことと、
前記眼球周囲顔パラメータおよび前記下側顔パラメータを組み合わせ、前記ユーザの顔に関する完全な顔パラメータを生成することと
を含む、方法。
【請求項２０】
ウェアラブルシステムであって、
前記ウェアラブルシステムの装着者の眼球周囲領域を結像するように構成される内向きに向いた結像システムと、
ハードウェアプロセッサであって、
前記内向きに向いた結像システムを介して取得される前記装着者の眼球周囲領域の眼球周囲画像にアクセスすることと、
前記装着者上の前記ウェアラブルシステムのフィットレベルを決定することであって、前記フィットレベルは、緩いフィットまたはきついフィットを備える、ことと、
緩いフィットの決定に応答して、前記装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする眼球周囲顔パラメータを生成することであって、前記眼球周囲顔パラメータは、少なくとも部分的に前記眼球周囲領域内の斑点の強度測定またはオプティカルフローに基づいて生成される、こと、または
きついフィットの決定に応答して、少なくとも部分的に前記装着者の顔に対する前記ウェアラブルシステムの移動に基づいて、前記眼球周囲顔パラメータを生成することであって、前記移動は、前記装着者の顔の表情に応答する、ことと、
少なくとも部分的に前記眼球周囲顔パラメータに基づいて、前記装着者の下側顔の下側顔パラメータを生成することであって、前記下側顔は、前記装着者によって装着されたときに前記内向きに向いた結像システムによって観察されない、ことと、
前記眼球周囲顔パラメータおよび前記下側顔パラメータを組み合わせ、前記装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
【請求項２１】
方法であって、
ウェアラブルシステムの装着者の眼球周囲領域を結像するように構成される内向きに向いた結像システムと、ハードウェアプロセッサとを備える、頭部搭載型ディスプレイシステムの制御下で、
前記内向きに向いた結像システムを介して取得される前記装着者の眼球周囲領域の眼球周囲画像にアクセスすることと、
前記装着者上の前記ウェアラブルシステムのフィットレベルを決定することであって、前記フィットレベルは、緩いフィットまたはきついフィットを備える、ことと、
緩いフィットの決定に応答して、前記装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする眼球周囲顔パラメータを生成することであって、前記眼球周囲顔パラメータは、少なくとも部分的に前記眼球周囲領域内の斑点の強度測定またはオプティカルフローに基づいて生成される、こと、または
きついフィットの決定に応答して、少なくとも部分的に前記装着者の顔に対する前記ウェアラブルシステムの移動に基づいて、前記眼球周囲顔パラメータを生成することであって、前記移動は、前記装着者の顔の表情に応答する、ことと、
少なくとも部分的に前記眼球周囲顔パラメータに基づいて、前記装着者の下側顔の下側顔パラメータを生成することであって、前記下側顔は、前記装着者によって装着されたときに前記内向きに向いた結像システムによって観察されない、ことと、
前記眼球周囲顔パラメータおよび前記下側顔パラメータを組み合わせ、前記装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成することと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、ＦＡＣＩＡＬ  ＥＸＰＲＥＳＳＩＯＮＳ  ＦＲＯＭ  ＥＹＥ−ＴＲＡＣＫＩＮＧ  ＣＡＭＥＲＡＳと題され、２０１８年３月１６日に出願された、米国特許出願第６２／６４４，００５号の優先権の利益を主張する。
【０００２】
本開示は、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、ウェアラブルデバイスによって観察可能な顔の領域（例えば、眼追跡カメラによって結像される眼球周囲領域）の画像を使用して、ウェアラブルデバイスによって観察されていない顔の領域の特徴（例えば、口および眉毛）を決定することに関する。
【背景技術】
【０００３】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、または「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「ＭＲ」は、物理的および仮想オブジェクトが、リアルタイムで共存および相互作用し得る、ＡＲのタイプである。本明細書で対処される課題の多くは、ＶＲ、ＡＲ、またはＭＲ環境に適用可能であり、簡単にするために、ＡＲとの関連で説明されるであろう。
【０００４】
図１を参照すると、拡張現実場面１０００が、描写され、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１１２０を特徴とする、実世界公園状設定１１００が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１１２０上に立っているロボット像１１１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１１３０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。結論から述べると、ヒトの視知覚系が、非常に複雑であるため、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲおよびＡＲ（およびＭＲ）技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【０００５】
拡張現実デバイス等の頭部搭載型ディスプレイ（ＨＭＤ）によって顔の画像を合成するためのシステムおよび方法が、開示される。ＨＭＤは、内向きに向いた結像システムを用いて、顔の一部のみ、例えば、眼球周囲領域を観察することが可能であり得る。本明細書に説明されるシステムおよび方法は、少なくとも部分的に、結像される顔の部分の立体構造に基づいて、結像されない顔の部分の立体構造のマッピングを生成することができる。ＨＭＤは、顔の一部の画像を受信し、マッピングを使用して、観察されない顔の部分の立体構造を決定することができる。ＨＭＤは、観察される部分と観察されない部分を組み合わせ、完全な顔画像を合成することができる。
【０００６】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
【図面の簡単な説明】
【０００７】
【図１】図１は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う、拡張現実シナリオの例証を描写する。
【０００８】
【図２】図２は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。
【０００９】
【図３】図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
【００１０】
【図４】図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
【００１１】
【図５】図５は、導波管によって出力され得る、例示的出射ビームを示す。
【００１２】
【図６】図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
【００１３】
【図７】図７は、ＡＲシステムの実施例のブロック図である。
【００１４】
【図８】図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
【００１５】
【図９】図９は、ＡＲシステムの別の実施例のブロック図である。
【００１６】
【図１０Ａ】図１０Ａは、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
【００１７】
【図１０Ｂ】図１０Ｂは、例示的テレプレゼンスセッションを図示する。
【００１８】
【図１１】図１１は、ユーザの顔の画像を入手し得る、例示的ウェアラブルディスプレイデバイスを図示する。
【００１９】
【図１２】図１２Ａ−１２Ｂは、眼の眼球周囲領域および種々の眼球および眼球周囲特徴の例示的画像を図示する。
【００２０】
【図１３】図１３は、種々のセンサ入力から顔の表情を推測し、表情をアバタに適用するための例示的システムを図示する。
【００２１】
【図１４】図１４Ａおよび１４Ｂは、それぞれ、緩くフィットする、およびきつくフィットする、ウェアラブルディスプレイシステムの実施例を図示する。
【００２２】
【図１５】図１５は、ウェアラブルディスプレイシステムのフィットレベルを決定するための例示的方法のプロセスフロー図である。
【００２３】
【図１６Ａ】図１６Ａ−１６Ｃは、きつくフィットするウェアラブルデバイスを用いて観察される眼球周囲領域特徴の変化を図示する。
【図１６Ｂ】図１６Ａ−１６Ｃは、きつくフィットするウェアラブルデバイスを用いて観察される眼球周囲領域特徴の変化を図示する。
【図１６Ｃ】図１６Ａ−１６Ｃは、きつくフィットするウェアラブルデバイスを用いて観察される眼球周囲領域特徴の変化を図示する。
【００２４】
【図１７】図１７は、きつくフィットするウェアラブルデバイスに関する眉毛移動検出のための例示的方法のプロセスフロー図である。
【００２５】
【図１８Ａ】図１８Ａおよび１８Ｂは、緩くフィットするウェアラブルデバイスを用いて観察される眼球周囲領域特徴の変化を図示する。
【図１８Ｂ】図１８Ａおよび１８Ｂは、緩くフィットするウェアラブルデバイスを用いて観察される眼球周囲領域特徴の変化を図示する。
【００２６】
【図１８Ｃ】図１８Ｃは、眼球周囲領域内の特徴のオプティカルフローの実施例を図示する。
【００２７】
【図１９】図１９は、緩くフィットするウェアラブルデバイスに関する眉毛移動検出のための例示的方法のプロセスフロー図である。
【００２８】
【図２０】図２０Ａ−２０Ｄは、下側顔イベント（例えば、微笑）の結果として観察される眼球周囲領域特徴の変化を図示する。
【００２９】
【図２１】図２１は、眼球周囲画像内の変化から下側顔イベントを推測するための例示的方法のプロセスフロー図である。
【００３０】
【図２２】図２２は、ユーザの顔特徴とアバタの顔特徴との間のより良好な相関のためのウェアラブルデバイスの個人化のための例示的方法のプロセスフロー図である。
【００３１】
【図２３】図２３は、ユーザの眼球周囲画像からユーザの顔モデルを決定するためのシステムのブロック図である。
【００３２】
【図２４】図２４は、ユーザの眼球周囲画像から完全な顔モデルを合成し、完全な顔モデルに基づいてアバタをアニメーション化する、または完全な顔モデルを別のユーザに通信する例示的プロセスを図示する。
【００３３】
【図２５】図２５は、ユーザの眼球周囲画像から完全な顔モデルを合成し、完全な顔モデルに基づいてアバタをアニメーション化する、または完全な顔モデルを別のユーザに通信する別の例示的プロセスを図示する。
【発明を実施するための形態】
【００３４】
図面全体を通して、参照番号が、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。
【００３５】
概要
拡張または仮想現実環境では、ウェアラブルデバイス（頭部搭載型ディスプレイ等）は、仮想画像を３次元（３Ｄ）空間内に提示することができる。仮想画像は、ユーザの３Ｄ仮想アバタを含んでもよい。３Ｄ仮想アバタは、ユーザの顔の画像を使用して生成されてもよい。ソーシャルＶＲ／ＡＲ／ＭＲ用途に関して、リアルタイムでユーザの顔の表情を正確に抽出することが重要であり得る。ユーザの顔の表情の正確な表現は、体験を、より双方向性で、活気があり、したがって、現実的に感じさせることによって、ユーザ間の電気通信セッション（例えば、チャットセッションまたはソーシャルプレゼンスアプリケーション）における存在の忠実性を促す。不正確なアバタの顔の表情の表現（顔の表情の欠如を含む）は、ユーザの文脈または気分を通信することができなくなり得るだけではなく、活気がない、または不気味にさえも感じ得る。不正確にレンダリングされたアバタと相互作用するユーザは、一般的には、不気味の谷と称され、その外観または動きが、ほぼヒトであるが、完全ではない、アバタへのヒトの情動反応の下落を表す、不安感を体験し得る。
【００３６】
したがって、ソーシャルプレゼンスアプリケーションが、参加者のアバタの現実的かつ自然なアニメーションから利益を享受し得る。従来的な顔面運動捕捉では、典型的には、完全な顔が、１つ以上の専用カメラを用いて追跡される。しかしながら、ユーザが、ウェアラブルデバイスを装着しているとき、顔の一部（例えば、眼を囲繞する眼球周囲領域）が、ウェアラブルデバイスによってオクルードされ得る。例えば、ユーザの画像が、外部カメラまたは外向きに向いた結像システムを使用して取得される場合、眼球周囲領域の移動（例えば、眼または皮膚移動）は、結像されない場合がある。別の実施例として、画像が、内向きに向いた眼カメラ（例えば、眼追跡（ＥＴ）カメラ）を使用して取得される場合、下側顔領域は、ＥＴカメラによって結像されない場合がある。結果として、ユーザがウェアラブルデバイスを装着している間、ユーザの完全な顔の表情を含むようにユーザの顔の３次元（３Ｄ）アバタを更新することは困難であり得る（ユーザが笑っているとき等）。いくつかの既存の技術が、音声（例えば、音素）を顔の立体構造（例えば、口形素）と関連付け、ユーザが話しているときにアバタアニメーションを補助するが、そのような技術は、ユーザの顔の表情を伝達する際にあまり役立たず、ユーザが無言であるときには役に立たない。例えば、音声ベースのアバタ生成システムは、驚きまたは微笑のユーザの無音表現を完全には伝達することができない。故に、１つ以上のＥＴカメラに直接可視ではない、眉毛の上昇または口の移動等の社会的表現力のための主要な要素を正確に推測する方法について、課題が存在している。しかしながら、そのような社会的表現力は、ＶＲ／ＡＲ／ＭＲ環境内の種々のヒト相互作用において表示することが有益であり得る。
【００３７】
本明細書に説明されるシステムおよび方法の実施形態は、内向きに向いた（例えば、ＥＴ）カメラによって観察され得る顔の領域の画像を使用して、顔の観察不可能な領域の外観を推測することによって、少なくとも本課題を解決することを対象とする。ＥＴカメラは、眉毛または下側顔を直接観察しない場合があるが、観察されるＥＴカメラ画像は、眉毛または下側顔（例えば、唇または口、または眼球周囲領域の下方の顔の領域）の移動を生成する、筋肉収縮または特徴変化を識別することが可能であり得る。例えば、ＥＴカメラによって観察される眼球周囲領域（例えば、眼球を囲繞する領域）の画像は、眉毛の上昇および眼の形状の変化に関連する、筋肉収縮および特徴変化を示し得る、上側眼球周囲領域の一部（例えば、瞳孔の上方の眼球周囲領域の一部）を含むことができる。そのような筋肉収縮および特徴変化は、顔の表情の対応する変化を検出する可能性を提供する。
【００３８】
観察されるＥＴ画像の下側眼球周囲領域（例えば、瞳孔の下方の眼球周囲領域の一部）が、下側顔立体構造（例えば、形状または構造）を検出する可能性を提供することができる。例えば、微笑が、下側眼球周囲領域の持上から推測され得る。故に、ウェアラブルデバイスは、眼球周囲領域の種々の観察される特徴から、観察されていない領域の立体構造を推測することができる。いくつかの実施形態では、本システムは、そのような特徴・表情関連性または推測のマッピングを生成してもよい。マッピングは、皮膚の伸張および圧縮、顔特徴（例えば、皺、筋、しみ、吹き出物）の位置（例えば、移動）および形状の変化、そのような特徴のオプティカルフロー（例えば、ある時間周期にわたるそれらの移動または軌道）、または筋肉、眉毛、そばかす、皺、またはユーザの眼球周囲領域の画像から抽出される他の特徴の他の観察可能な変化等の種々の観察可能な特徴入力を、単独で、または組み合わせて使用して生成されてもよい。マッピングは、表情推測モデルの一部であり得る。マッピングは、一般的であり得る、または具体的ユーザに個人化され得る。例えば、ＡＲデバイスは、ユーザの大規模サンプルを表す一般的マッピングを装備してもよく、次いで、マッピングは、具体的ユーザの撮影された画像の分析に基づいて、ＡＲデバイスの具体的ユーザに個人化されることができる。モデルは、観察される特徴（例えば、未加工または処理された）、顔モデル内の顔パラメータ、ユーザの顔から抽出される特徴、ユーザの顔に関して生成される観察されていない領域画像、一般的テンプレート特徴等を入力として取り込み、（例えば、観察および推測される顔立体構造を組み合わせることによって）観察されていない顔または顔モデル全体の推測される画像を出力として生成してもよい。
【００３９】
観察される画像は、完全な顔画像を生成するように、推測される画像と組み合わせられてもよい。オプティカルフローおよび機械学習（例えば、人工知能、ニューラルネットワーク等）の原理を活用することによって、本システムは、リアルタイムで、眉毛ステータスおよび笑うことまたは口を開くこと等の顔特徴の著しい変化を正確に分類し得る。完全な顔画像は、拡張、複合、または仮想現実体験において、ユーザの仮想アバタを動的に更新するために使用されてもよい。顔のための変形可能線形モデル（ＤＬＭ）（または他の形状またはテクスチャモデル）またはニューラルネットワークが、マッピングを決定する、訓練する、または適用するために使用されることができる。開示されるシステムおよび方法は、他のアプローチと異なり、ユーザが無言であるときにも稼働する。
【００４０】
（３Ｄディスプレイの実施例）
３次元（３Ｄ）ディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
【００４１】
ＶＲおよびＡＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または焦点からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
【００４２】
図２は、ウェアラブルディスプレイシステム１００（システム）の実施例を図示する。ディスプレイシステム１００は、ディスプレイ６２と、ディスプレイ６２の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ６２は、フレーム６４に結合されてもよく、これは、ディスプレイシステムユーザ、装着者、または視認者６０によって装着可能であって、ディスプレイ６２をユーザ６０の眼の正面に位置付けるように構成される。ディスプレイシステム１００は、装着者の頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。拡張現実ディスプレイ（ＡＲＤ）は、ウェアラブルディスプレイシステム１００を含むことができる。いくつかの実施形態では、オーディオスピーカ６６が、フレーム６４に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイシステム１００は、装着者の周囲の環境内の世界を観察する、外向きに向いた結像システムを含むことができる（例えば、図４に示される結像システム５０２参照）。ディスプレイシステム１００はまた、装着者の眼移動を追跡し得る、内向きに向いた結像システムを含むこともできる（例えば、図４に示される結像システム５００参照）。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡してもよい。ディスプレイ６２は、有線導線または無線コネクティビティ等によって、ローカルデータ処理モジュール７１に動作可能に結合され（６８）、これはフレーム６４に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ６０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る。いくつかの実施形態では、１つ以上の電気眼球図記録（ＥＯＧ）センサ７０が、ヒトの眼の前部と後部との間に存在する角膜網膜常存電位（眼移動についての情報を提供する）の測定をウェアラブルデバイスに提供するように、フレーム６４に結合されてもよい。１つ以上のＥＯＧセンサ７０は、フレーム６４のノーズピースの近傍に、その上に、またはそれに沿って、設置されてもよい。いくつかの実施形態では、網膜電位または視覚誘発電位等の他のタイプの電気生理学的測定のためのセンサが、ウェアラブルデバイスを補完するように提供されてもよい。いくつかの実施形態では、１つ以上のマイクロホン６９が、フレーム６４に結合され、ユーザの口の近傍に位置付けられてもよい。１つ以上のマイクロホン６９は、ユーザの声または環境音を捕捉してもよい。図に描写されていない別のマイクロホンが、ステレオ／成形可能環境音検出を提供するように、描写されるマイクロホン６９の反対側に位置付けられてもよい。当業者が理解し得るように、１つ以上のマイクロホン６９からの入力が、オーディオ入力および雑音消去を提供してもよい。
【００４３】
ローカル処理およびデータモジュール７１は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、カメラ）、マイクロホン６９、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、および／またはジャイロスコープ等の（例えば、フレーム６４に動作可能に結合され得る、または別様にユーザ６０に取り付けられ得る）センサから捕捉されるデータ、および／または、ｂ）可能性として、処理または読出後のディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール７１は、これらの遠隔モジュールがローカル処理およびデータモジュール７１へのリソースとして利用可能であるように、通信リンク７６および／または７８によって、有線または無線通信リンク等を介して、遠隔処理モジュール７２および／または遠隔データリポジトリ７４に動作可能に結合されてもよい。加えて、遠隔処理モジュール７２および遠隔データリポジトリ７４は、相互に動作可能に結合されてもよい。
【００４４】
いくつかの実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のハードウェアプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【００４５】
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と密接に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節−輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の合致する変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的または快適なシミュレーションを形成し得る。
【００４６】
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定のものと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供し得ると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
【００４７】
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム１００は、複数の導波管１８２、１８４、１８６、１８８、１９０を使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ１７８を含む。いくつかの実施形態では、ディスプレイシステム１００は、図２のシステム１００に対応してもよく、図４は、そのシステム１００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ１７８は、図２のディスプレイ６２の中に統合されてもよい。
【００４８】
図４を継続して参照すると、導波管アセンブリ１７８はまた、複数の特徴１９８、１９６、１９４、１９２を導波管の間に含んでもよい。いくつかの実施形態では、特徴１９８、１９６、１９４、１９２は、レンズであってもよい。導波管１８２、１８４、１８６、１８８、１９０、および／または複数のレンズ１９８、１９６、１９４、１９２は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス２００、２０２、２０４、２０６、２０８は、それぞれ、眼３０４に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管１８２、１８４、１８６、１８８、１９０の中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス２００、２０２、２０４、２０６、２０８の出力表面から出射し、導波管１８２、１８４、１８６、１８８、１９０の対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼３０４に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
【００４９】
いくつかの実施形態では、画像投入デバイス２００、２０２、２０４、２０６、２０８は、それぞれ、対応する導波管１８２、１８４、１８６、１８８、１９０の中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス２００、２０２、２０４、２０６、２０８は、例えば、１つ以上の光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス２００、２０２、２０４、２０６、２０８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
【００５０】
コントローラ２１０が、スタックされた導波管アセンブリ１７８および画像投入デバイス２００、２０２、２０４、２０６、２０８の動作を制御する。いくつかの実施形態では、コントローラ２１０は、導波管１８２、１８４、１８６、１８８、１９０への画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ２１０は、いくつかの実施形態では、処理モジュール７１または７２（図２に図示される）の一部であってもよい。
【００５１】
導波管１８２、１８４、１８６、１８８、１９０は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管１８２、１８４、１８６、１８８、１９０はそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管１８２、１８４、１８６、１８８、１９０はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向させ、画像情報を眼３０４に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素２８２、２８４、２８６、２８８、２９０を含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素２８２、２８４、２８６、２８８、２９０は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管１８２、１８４、１８６、１８８、１９０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、上部主要表面および／または底部主要表面に配置されてもよく、および／または導波管１８２、１８４、１８６、１８８、１９０の容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、透明基板に取り付けられ、導波管１８２、１８４、１８６、１８８、１９０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管１８２、１８４、１８６、１８８、１９０は、モノリシック材料部品であってもよく、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、その材料部品の表面上および／または内部に形成されてもよい。
【００５２】
図４を継続して参照すると、本明細書に議論されるように、各導波管１８２、１８４、１８６、１８８、１９０は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管１８２は、そのような導波管１８２の中に投入されるにつれて、コリメートされた光を眼３０４に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管１８４は、眼３０４に到達し得る前に、第１のレンズ１９２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ１９２は、眼／脳が、その次の上方の導波管１８４から生じる光を光学無限遠から眼３０４に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管１８６は、眼３０４に到達する前に、その出力光を第１のレンズ１９２および第２のレンズ１９４の両方を通して通過させる。第１および第２のレンズ１９２および１９４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管１８６から生じる光が次の上方の導波管１８４からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【００５３】
他の導波管層（例えば、導波管１８８、１９０）およびレンズ（例えば、レンズ１９６、１９８）も同様に構成され、スタック内の最高導波管１９０を用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ１７８の他側の世界１４４から生じる光を視認／解釈するとき、レンズ１９８、１９６、１９４、１９２のスタックを補償するために、補償レンズ層１８０が、スタックの上部に配置され、下方のレンズスタック１９８、１９６、１９４、１９２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、いずれか一方または両方とも、電気活性特徴を使用して動的であってもよい。
【００５４】
ディスプレイシステム１００は、世界１４４の一部を結像する、外向きに向いた結像システム５０２（例えば、デジタルカメラ）を含むことができる。世界１４４の本部分は、視野（ＦＯＶ）と称され得、結像システム５０２は、時として、ＦＯＶカメラとも称される。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。いくつかのＨＭＤ実装では、ＦＯＲは、装着者が、その頭部および眼を移動させ、装着者を囲繞する（装着者の正面、後方、上方、下方、または側面上の）オブジェクトを見ることができるため、ＨＭＤの装着者の周囲の立体角の実質的に全てを含んでもよい。外向きに向いた結像システム５０２から取得される画像は、装着者によって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、装着者の正面の世界１４４内のオブジェクトを検出する等のために、使用されることができる。
【００５５】
ディスプレイシステム１００は、ユーザが、コマンドをコントローラ２１０に入力し、システム１００と相互作用し得る、ユーザ入力デバイス５０４を含むことができる。例えば、ユーザ入力デバイス５０４は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、（例えば、ユーザ入力をシステム１００によって提供されるユーザインターフェースに提供するために）指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をシステム１００に提供してもよい。ユーザ入力デバイス５０４は、システム１００の使用の間にユーザの手によって保持されてもよい。ユーザ入力デバイス５０４は、ディスプレイシステム１００と有線または無線通信することができる。
【００５６】
図４を継続して参照すると、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、導波管と関連付けられた特定の深度平面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管が、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明されている。いくつかの実施形態では、特徴１９８、１９６、１９４、１９２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、クラッディング層および／または空隙を形成するための構造）であってもよい。
【００５７】
いくつかの実施形態では、光抽出光学要素２８２、２８４、２８６、２８８、２９０は、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差部で眼３０４に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となる。
【００５８】
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体内に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
【００５９】
いくつかの実施形態では、深度平面および／または被写界深度の数および分布は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、ディスプレイシステム１００はまた、眼移動および顔移動等の装着者の移動を観察する、内向きに向いた結像システム（例えば、デジタルカメラ）５００も含む。内向きに向いた結像システム５００（例えば、デジタルカメラ）は、眼３０４の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム５００は、装着者６０が見ている方向（例えば、眼姿勢）を決定する際に使用するため、または（例えば、虹彩識別を介した）装着者のバイオメトリック識別のための画像を取得するために使用されることができる。いくつかの実施形態では、内向きに向いた結像システム５００は、（図２に図示されるように）フレーム６４に取り付けられてもよく、カメラ５００からの画像情報を処理し、例えば、ユーザ６０の眼の瞳孔直径および／または配向を決定し得る、処理モジュール７１および／または７２と電気通信してもよい。いくつかの実施形態では、少なくとも１つのカメラ５００が、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に合わせられることを可能にするように、各眼を結像するために使用されてもよい。いくつかの他の実施形態では、片眼３０４のみの瞳孔直径および／または配向（例えば、一対の眼あたりカメラ５００のみを使用して）が、決定され、本眼に関して決定される眼特徴は、視認者６０の他方の眼に関して類似すると仮定される。内向きに向いた結像システム５００から取得される画像は、テレプレゼンスセッションの間に、第１の発信者に第２の発信者のオクルードされた顔が見え得るように使用され得る、ＨＭＤによってオクルードされていない装着者の顔の領域に代用するための画像を取得するために使用されてもよい。ディスプレイシステム１００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。頭部の姿勢は、仮想オブジェクトを選択して移動させるために、単独で、または注視方向と組み合わせて使用されてもよい。いくつかの実施形態では、少なくとも１つの赤外線発光ダイオード（ＩＲ  ＬＥＤ）５０８が、補助されていないヒトの眼３０４に不可視であるが、内向きに向いた結像システム５００等のデバイスのコンポーネントによって検出可能な光を透過させるために使用されてもよい。より具体的には、ＩＲ  ＬＥＤ５０８は、ＩＲ光内でより増強されて現れ得る、瞳孔輝点検出、眼追跡、または顔特徴のオプティカルフローの測定に使用されてもよい（以降の節でさらに説明される）。
【００６０】
内向きに向いた結像システム５００から取得される画像は、眼球周囲領域（例えば、時として、本明細書では眼球周囲画像とも称される）を備える画像をウェアラブルディスプレイシステム１００に提供してもよい。用語「眼球周囲領域」は、その通常の意味で使用され、眼球周囲領域は、眼と、例えば、眼瞼、睫毛、眉毛、および眼の周囲の皮膚を含む、眼の周囲の顔の面積とを含み得る。眼球周囲画像および眼球周囲領域の実施例が、図１２Ａ、１２Ｂ、１６Ｂ、１８Ａ−１８Ｃ、および２０Ａ−２０Ｄに図示される。眼球周囲画像は、次いで、筋肉、眉毛、そばかす、皺、または他の特徴の伸展および圧縮、位置（例えば、移動）、形状、オプティカルフローの変化、または他の観察可能な変化を含む、顔特徴に関して分析および抽出されてもよい。全体を通して議論されるように、これらの顔特徴は、ユーザの顔の表情を推測するための基礎を提供し得る。
【００６１】
被写界深度は、視認者の瞳孔サイズと反比例して変化し得る。結果として、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、１つの深度平面から他の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザにとって合焦するには十分であり得る。
【００６２】
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ２１０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥが、オン状態とオフ状態との間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
【００６３】
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
【００６４】
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ１７８内の他の導波管も同様に機能し得、導波管アセンブリ１７８は、複数の導波管を含むことを理解されたい。光４００が、導波管１８２の入力縁３８２において導波管１８２の中に投入され、ＴＩＲによって導波管１８２内を伝搬する。光４００がＤＯＥ２８２に衝突する点では、光の一部は、導波管から出射ビーム４０２として出射する。出射ビーム４０２は、略平行として図示されるが、それらはまた、導波管１８２と関連付けられた深度平面に応じて、ある角度において眼３０４に伝搬する（例えば、発散出射ビームを形成する）ように再指向されてもよい。略平行出射ビームは、眼３０４からの遠距離（例えば、光学無限遠）における深度平面上に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼３０４がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼３０４に近い距離からの光として脳によって解釈されるであろう。
【００６５】
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、光学ディスプレイシステム１００の別の実施例を示す。光学システム１００は、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管１（１つのみが図６に示される）と、一次導波管１の少なくともいくつかのそれぞれと関連付けられた、１つ以上のＤＯＥ２とを含むことができる。平面導波管１は、図４を参照して議論される導波管１８２、１８４、１８６、１８８、１９０に類似し得る。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管３と、平面導波管３と関連付けられる少なくとも１つのＤＯＥ４（二重破線によって図示される）とを含んでもよい。分散平面導波管３は、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管１と類似する、または同じであってもよい。同様に、少なくとも１つのＤＯＥ４は、少なくともいくつかの点において、ＤＯＥ２と類似する、または同じであってもよい。例えば、分散平面導波管３および／またはＤＯＥ４は、それぞれ、一次平面導波管１および／またはＤＯＥ２と同一材料から成ってもよい。図４または６に示される光学ディスプレイシステム１００の実施形態は、図２に示されるウェアラブルシステム１００の中に統合されることができる。
【００６６】
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管１の中に光学的に結合される。一次平面導波管１は、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では水平またはＸ−軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管１は、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管３は、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させ得る、一次平面導波管１にその光を通過させる。
【００６７】
光学システムは、単一モード光ファイバ９の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）レーザ光、または発光ダイオード（ＬＥＤ）１１からの着色光）を含んでもよい。光ファイバ９の遠位端は、圧電材料の中空管８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー７として、管８から突出する。圧電管８は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管８の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管８のコア、中心、内側周縁、または内径に位置してもよい。
【００６８】
例えば、ワイヤ１０を介して電気的に結合される、駆動電子機器１２は、対向する対の電極を駆動し、圧電管８を独立して２つの軸において屈曲させる。光ファイバ７の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ７の直径、長さ、および材料性質に依存し得る。圧電管８をファイバカンチレバー７の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー７は、振動させられ、大偏向を通して掃引し得る。
【００６９】
２つの軸において共振振動を刺激することによって、ファイバカンチレバー７の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源１１の強度をファイバカンチレバー７の走査と同期して変調させることによって、ファイバカンチレバー７から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
【００７０】
光学結合器サブシステムのコンポーネント６は、走査ファイバカンチレバー７から発せられる光をコリメートする。コリメートされた光は、光学表面５（例えば、反射表面、ミラー、ダイクロイックミラー、またはプリズム）によって、少なくとも１つの回折光学要素（ＤＯＥ）４を含有する、狭分散平面導波管３の中に反射される。コリメートされた光は、全内部反射によって分散平面導波管３に沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ４と繰り返し交差する。ＤＯＥ４は、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ４との交差部の各点においてより大きい一次平面導波管１の縁に向かって回折させ、光の一部をＴＩＲを介して、分散平面導波管３の長さを辿ってそのオリジナル軌道上で継続させる。
【００７１】
ＤＯＥ４との交差部の各点において、付加的光が、一次導波管１の入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管３内のＤＯＥ４によって垂直に拡張される。分散平面導波管３から外部結合された、本垂直に拡張された光は、一次平面導波管１の縁に入射する。分散平面導波管３は、時として、直交瞳エクスパンダ（ＯＰＥ）とも称される。
【００７２】
一次導波管１に入射する光は、ＴＩＲを介して、一次導波管１に沿って（図６の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ２と交差するにつれて、ＴＩＲを介して、一次導波管１０の長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ２は、有利なこととして、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ２は、有利なこととして、ビームの光の一部のみが、ＤＯＥ２の各交差部で視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、導波管１を通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
【００７３】
伝搬する光とＤＯＥ２との間の交差部の各点において、光の一部は、一次導波管１の隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管１の面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ２の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）すること、およびビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
【００７４】
故に、これらの異なる経路は、異なる角度におけるＤＯＥ２の多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管１の外部で結合させることができる。平面導波管１は、時として、射出瞳エクスパンダ（ＥＰＥ）とも称される。射出瞳における異なる充填パターンは、有利なこととして、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３つの層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
【００７５】
（ＡＲシステムの他のコンポーネント）
多くの実装では、ＡＲシステムは、ウェアラブルディスプレイシステム１００に加え、他のコンポーネントを含んでもよい。ＡＲデバイスは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
【００７６】
ＡＲシステムは、例えば、１つ以上の物理的オブジェクトを含んでもよく、ユーザによって操作可能であって、ＡＲシステムへの入力またはそれとの相互作用を可能にする。これらの物理的オブジェクトは、本明細書では、トーテムと称される。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。代替として、いくつかのトーテムは、生物オブジェクト、例えば、ユーザの手の形態をとってもよい。本明細書に説明されるように、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ＡＲシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、トーテムの１つ以上の表面上に常駐するように現れるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ＡＲシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に現れるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ＡＲシステムは、仮想キーボードおよび／または仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ＡＲシステムはまた、ユーザ入力デバイス５０４を含んでもよい。ユーザ入力デバイスは、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカスイッチ、マウス、キーボード、多自由度コントローラ、または他の物理的入力デバイスを含んでもよい。ユーザ入力デバイスは、ＡＲシステムおよび他のユーザと相互作用するために、トーテム、身体のジェスチャ、および眼のジェスチャと組み合わせて使用されてもよい。ユーザ入力デバイス５０４は、コントローラ２１０と有線または無線通信することができる。
【００７７】
本開示のＡＲデバイス、ＨＭＤ、およびディスプレイシステムと併用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【００７８】
（例示的ＡＲシステム、環境、およびインターフェース）
ＡＲシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ＡＲシステムのユーザから捕捉される視野画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界マップに追加されることができる。ＡＲシステムは、特徴（例えば、２Ｄ点）およびマップ点（例えば、３Ｄ点）のセットを収集することができ、また、新しい特徴およびマップ点を見出し、世界マップのより正確なバージョンをレンダリングすることが可能であり得る。第１のユーザの世界マップは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
【００７９】
図７は、ＡＲ環境３０００の実施例のブロック図である。ＡＲ環境３０００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力２２０２、室内カメラ２２０４からの入力、種々のセンサからの感覚入力２２０６、ジェスチャ、トーテム、眼追跡、ユーザ入力デバイス５０４からのユーザ入力等）を１つ以上のＡＲシステムから受信するように構成される。ＡＲシステムは、１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルディスプレイシステム１００）および／または定常室内システム（例えば、室内カメラ等）を備えてもよい。ウェアラブルＡＲシステムは、ＦＯＶカメラから画像を提供するだけではなく、ユーザの環境の場所および種々の他の属性を決定するように種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ等）を装備してもよい。本情報はさらに、異なる視点からの画像および／または種々のキューを提供し得る、室内の定常カメラからの情報で補完されてもよい。カメラによって入手される画像データは、マッピング点のセットに低減されてもよい。
【００８０】
１つ以上のオブジェクト認識装置２２０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識および／またはマッピングし、画像をタグ付けし、マッピングデータベース２２１０を用いて、意味論情報をオブジェクトに添付することができる。マッピングデータベースは、経時的に収集される種々の点およびそれらの対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
【００８１】
本情報およびマップデータベース内の点の集合に基づいて、オブジェクト認識装置２２０８ａ−２２０８ｎは、オブジェクトを認識し、これを意味論情報で補完し、オブジェクトに動作性を与えてもよい。例えば、オブジェクト認識装置が、点のセットをドアであると認識する場合、本システムは、ある意味論情報（例えば、ドアが、ヒンジを有し、ヒンジを中心として９０度移動を有する）を添付してもよい。オブジェクト認識装置が、点のセットを鏡であると認識する場合、本システムは、鏡が室内のオブジェクトの画像を反射し得る反射表面を有するという意味論情報を添付してもよい。経時的に、マップデータベースは、本システム（ローカルで常駐し得る、または無線ネットワークを通してアクセス可能であり得る）が世界からより多くのデータを蓄積するにつれて、増大する。いったんオブジェクトが認識されると、情報は、１つ以上のユーザウェアラブルシステム２２２０ａ、２２２０ｂに伝送されてもよい。例えば、ＡＲ環境３０００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報をＮｅｗ  Ｙｏｒｋにいる１人以上のユーザに伝送してもよい。ＦＯＶカメラおよび他の入力から受信されるデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が、世界の異なる部分に存在し得る第２のユーザに正確に「引き渡され」得るように、種々の画像から収集される点をマップし、オブジェクトを認識する等してもよい。環境３０００はまた、位置特定目的のために位相的マップを使用してもよい。
【００８２】
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム５０２（図４に示される）によって入手される画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。
【００８３】
オブジェクト認識は、眼移動、眼からの輝点（例えば、ＩＲ  ＬＥＤ５０８、５０８ａ、５０８ｂの反射）を検出および追跡する、眼球周囲特徴（例えば、図１８Ａ、１８Ｂに示される、眉毛５１２０ａ、皺５１６０ａ−ｄ、眼５１１０ａの上の輝点５１７０ａ−ｄ、そばかす５１８０ａ、眼５１１０ａの上側角５１９０ａ−ｃ）を識別する、顔特徴のオプティカルフロー（例えば、図１８Ｃ）を計算するため等に使用され得る、内向きに向いた結像システム５００（図４に示される）、５０６０（図１１に示される）、または５０６０ａ（図１４Ａ、１４Ｂに示される）を用いて実施されてもよい。
【００８４】
１つ以上のコンピュータビジョンアルゴリズムが、これらのオブジェクト認識タスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ−Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ−ｓｈｉｆｔアルゴリズム、視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【００８５】
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、ディープボルツマンマシンまたは深層ニューラルネットワーク等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む、教師ありまたは教師なし機械学習アルゴリズムを含むことができる。いくつかの実施形態では、個々のモデルが、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【００８６】
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法３１００の実施例のプロセスフロー図である。方法３１００は、仮想場面がＡＲシステム（例えば、ウェアラブルディスプレイシステム）のユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在し得る。例えば、ユーザは、Ｎｅｗ  Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに居住する友人と散歩に行くことを所望し得る。ブロック２３０２では、ＡＲシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成され得る。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、情報を本システムに伝達する（ブロック２３０２）。本システムは、本情報に基づいて、疎点を決定してもよい（ブロック２３０４）。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、ジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置２２０８ａ、２２０８ｎは、これらの収集された点を通してクローリングし、マップデータベース２２１０を使用して、１つ以上のオブジェクトを認識してもよい（ブロック２３０６）。本情報は、次いで、ユーザの個々のＡＲシステムに伝達されてもよく（ブロック２３０８）、所望の仮想場面が、それに応じてユーザに表示されてもよい（ブロック２３１０）。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ  Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
【００８７】
図９は、ＡＲシステム３２００の別の実施例のブロック図である。本実施例では、システム３２００は、世界に関するマップデータを含有するマップデータベース２２１０を含み得る、マップを備える。一実施形態では、これは、部分的にユーザウェアラブルコンポーネント上に常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所に（例えば、クラウドシステム内に）常駐してもよい。姿勢プロセスが、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール７１またはコントローラ２１０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定デバイス等）からのデータ、および表面情報を備えてもよい。
【００８８】
疎点表現は、同時位置特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ−ＳＬＡＭ）プロセスの出力であってもよい。本システムは、種々のコンポーネントが存在する世界だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含む、多くの目標を達成する構築ブロックである。
【００８９】
一実施形態では、疎点位置は、それ自体では完全に適正ではあり得ず、さらなる情報が、複合現実とも称され得る、多焦点仮想または拡張現実体験を生成するために必要とされ得る。概して、深度マップ情報を指す、高密度表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視と称されるプロセスから算出され得、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセスへの入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、これの一部が、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面が、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力である。したがって、立体視プロセスの出力（例えば、深度マップ）は、融合プロセスにおいて組み合わせられてもよい。姿勢は、本融合プロセスへの入力でもあり得、融合の出力は、マップ取込プロセスへの入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
【００９０】
複合現実プロセスにおける種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが、種々の場所において１匹以上のモンスタとモンスタバトルゲームをプレーしていること、種々の条件下で（ユーザがモンスタを撃つ場合等に）モンスタが死んでいる、または逃げていること、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。マップは、複合現実への別の有用な入力となるように、そのようなオブジェクトが相互に対する場所に関する情報を含んでもよい。マップから複合現実プロセスへの入力は、「世界マップ」と呼ばれ得る。世界に対する姿勢は、入力にもなり、ほぼあらゆる双方向システムにとって重要な役割を果たす。
【００９１】
ユーザからの制御または入力は、システム３２００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、システムに、行うことを所望する内容に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム、ユーザ入力デバイス、または銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。本システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、本システムは、場所および配向、およびユーザが、そのようなアクティビティがカメラのいずれかの視野内になくても、起こっていることを決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかを理解するように構成されてもよい。）
【００９２】
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。システム３２００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、おそらく、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望する。本システムは、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップするような、単純な静的ジェスチャであってもよい。
【００９３】
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。
【００９４】
カメラシステムに関して、図９に示される例示的システム３２００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広視野または受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセスをハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。本システムは、眼ベクトルおよび他の情報を三角測量するためにユーザの眼に向かって配向される、内向きに向いた結像システム（例えば、図４に示される結像システム５００参照）を含むことができる。本システムはまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ５０８等）を備え、テクスチャを場面の中に投入してもよい。
【００９５】
図１０Ａは、仮想ユーザインターフェースと相互作用するための方法４１００の実施例のプロセスフロー図である。ブロック４０１２では、ＡＲシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前決定されてもよい。本システムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ブロック４１０４では、ＡＲシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられるデータが、生成されてもよい。加えて、ＡＲシステムは、ＡＲシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ＡＲシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラを通して受信されるデータ、感覚入力、または任意の他のタイプの収集されたデータを通して導出されてもよい。
【００９６】
ブロック４１０６では、ＡＲシステムは、データをクラウドからユーザのウェアラブルデバイスに送信してもよい。またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック４１０８では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ＡＲシステムは、単に、ブロック４１１０において、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングまたはユーザの正面またはユーザの周囲の平面パネルであってもよい。ＡＲシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック４１１２）、コマンドと関連付けられる仮想コンテンツが、ユーザに表示されてもよい（ブロック４１１４）。仮想コンテンツは、ＡＲシステムの装着者の外観を表すアバタを含むことができる。アバタの顔の表情は、装着者の実際の顔移動を反映するようにレンダリングされてもよい。いくつかのＡＲシステムは、本明細書に説明される技法を利用し、（例えば、内向きに向いた眼追跡カメラによって撮影される）装着者の顔の眼球周囲領域の画像の分析に基づいて、装着者の下側顔（例えば、ＡＲシステムの内向きに向いた眼追跡カメラによって結像されない）の顔の表情をアニメーション化することができる。
【００９７】
図１０Ｂは、個別のウェアラブルシステムの２人のユーザがテレプレゼンスセッションを行っている、実施例を描写する。２人のユーザ（本実施例ではＡｌｉｃｅ  ９１２およびＢｏｂ  ９１４と名付けられる）が、本図に示される。２人のユーザは、テレプレゼンスセッションにおいて他方のユーザの仮想アバタを表すための図２（例えば、システム１００のディスプレイ６２）または図１１を参照して説明されるＨＭＤを含み得る、それらの個別のウェアラブルデバイス９０２および９０４を装着している。２人のユーザは、ウェアラブルデバイスを使用して、テレプレゼンスセッションを行うことができる。２人のユーザを分離する図１０Ｂの垂直線は、Ａｌｉｃｅ  ９１２およびＢｏｂ  ９１４が、テレプレゼンスを介して通信している間に２つの異なる場所に（必要はないが）存在し得る（例えば、Ａｌｉｃｅが、Ａｔｌａｎｔａの自分のオフィスの屋内に存在し得る一方で、Ｂｏｂは、Ｂｏｓｔｏｎで屋外にいる）ことを図示することを意図していることに留意されたい。
【００９８】
ウェアラブルデバイス９０２および９０４は、相互と、または他のユーザデバイスおよびコンピュータシステムと通信してもよい。例えば、Ａｌｉｃｅのウェアラブルデバイス９０２は、例えば、ネットワークを介して、Ｂｏｂのウェアラブルデバイス９０４と通信してもよい。ウェアラブルデバイス９０２および９０４は、（例えば、個別の外向きに向いた結像システム５０２、または１つ以上の場所センサを介して）ユーザの環境および環境内の移動、および（例えば、個別のオーディオセンサ６９を介して）発話を追跡することができる。ウェアラブルデバイス９０２および９０４はまた、内向きに向いた結像システム５００によって入手されるデータに基づいて、ユーザの眼移動または注視を追跡することもできる。いくつかの状況では、ウェアラブルデバイスはまた、ユーザが反射表面の近傍にいる場合に、ユーザの顔の表情または他の身体移動（例えば、腕または脚移動）を捕捉または追跡することもでき、外向きに向いた結像システム５０２は、ユーザの反射画像を取得し、（例えば、図２２を参照して説明されるであろう個人化セッションの間に）ユーザの顔の表情または他の身体移動を観察することができる。
【００９９】
ウェアラブルデバイスが、第１のユーザおよび環境の入手される情報を使用し、第２のユーザの環境内の第１のユーザの有形存在感を生成するように第２のユーザのウェアラブルデバイスによってレンダリングされるであろう、仮想アバタをアニメーション化することができる。例えば、ウェアラブルデバイス９０２および９０４、遠隔処理モジュール７２は、単独で、または組み合わせて、Ｂｏｂのウェアラブルデバイス９０４による提示のためにＡｌｉｃｅの画像または移動を処理してもよい、またはＡｌｉｃｅのウェアラブルデバイス９０２による提示のためにＢｏｂの画像または移動を処理してもよい。本明細書にさらに説明されるように、アバタの下側顔領域は、ＡｌｉｃｅまたはＢｏｂの実際の顔移動を反映するようにレンダリングされることができる。例えば、内向きに向いた結像システム５００は、眼球周囲領域の（眼の周囲の）画像を入手することができ、下側顔領域（例えば、唇および口を含む）の表情が、眼球周囲画像の分析から決定されることができる。故に、ＡｌｉｃｅまたはＢｏｂの完全な顔画像が、生成され、ＡｌｉｃｅおよびＢｏｂの顔の表情が、テレプレゼンスセッションの間に相互にとって実物のように、かつ現実的に現れるように、個別のアバタをレンダリングするために使用されることができる。
【０１００】
実施例は、２人のユーザのみを参照するが、本明細書に説明される技法は、２人のユーザに限定されるべきではない。ウェアラブル（または他のテレプレゼンスデバイス）を使用する複数のユーザ（例えば、２人、３人、４人、５人、６人、またはそれよりも多い）が、テレプレゼンスセッションに参加し得る。特定のユーザのウェアラブルデバイスが、テレプレゼンスセッションの間に、その特定のユーザに他のユーザのアバタを提示することができる。さらに、本図内の実施例は、環境内に立っているものとしてユーザを示すが、ユーザは、立つことを要求されない。ユーザのうちのいずれかは、テレプレゼンスセッションの間に、立つ、座る、跪く、横になる、歩く、または走る、または任意の位置にいる、または移動中であり得る。ユーザはまた、本明細書の実施例に説明される以外の物理的環境内に存在し得る。ユーザは、テレプレゼンスセッションを行っている間に、別個の環境内に存在し得る、または同一の環境内に存在し得る。全てのユーザが、テレプレゼンスセッションにおいてそれらの個別のＨＭＤを装着することを要求されるわけではない。例えば、Ａｌｉｃｅ９１２が、ウェブカメラまたはコンピュータ画面等の他の画像入手およびディスプレイデバイスを使用してもよい一方で、Ｂｏｂ９１４は、ウェアラブルデバイス９０４を装着する。
【０１０１】
テレプレゼンスシステムと、鏡を利用し、ＡＲデバイスの装着者の画像を取得すること（例えば、下記の図２２を参照した個人化の説明参照）とに関連する付加的詳細は、米国特許公開第２０１７／０２０６６９１号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【０１０２】
ＡＲシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
【０１０３】
（ウェアラブルデバイスの実施例）
図１１は、装着者の顔特徴の画像を入手し得る、例示的ウェアラブルデバイスを図示する。ウェアラブルデバイスは、ＡＲ、ＶＲ、および／またはＭＲコンテンツを表示するように構成される、頭部搭載型デバイス（ＨＭＤ）であってもよい。入手される画像は、静止画像、ビデオからの個々のフレーム、またはビデオを含むことができる。
【０１０４】
図１１のウェアラブルデバイス５０５０は、図２を参照して説明されるディスプレイシステム１００の実施形態であってもよい。ウェアラブルデバイス５０５０は、ユーザ６０の顔を結像するように構成され得る、結像システム５０６０を含むことができる。結像システム５０６０は、図４に示される内向きに向いた結像システム５００の実施形態であってもよい。例えば、結像システム５０６０は、ユーザ６０がウェアラブルデバイス５０５０を装着している間に、ユーザの眼５０１０の眼球周囲領域を結像するように構成される、眼カメラ（例えば、眼カメラ５０６０ａおよび眼カメラ５０６０ｂ）等のセンサを含んでもよい。
【０１０５】
各眼カメラは、視野（ＦＯＶ）を有してもよい。例えば、眼カメラ５０６０ａに関するＦＯＶは、領域５０２０ａおよび領域５０３０を含むことができる。眼カメラ５０６０ｂに関するＦＯＶは、領域５０２０ｂおよび領域５０３０を含むことができる。眼カメラ５０６０ａのＦＯＶおよび眼カメラ５０６０ｂのＦＯＶは、領域５０３０において重複し得る。眼カメラは、ＥＴカメラ（眼追跡カメラ）であってもよい。
【０１０６】
図１１に示されるように、結像システム５０６０は、ユーザ６０の頭部の方を向く。眼カメラ５０６０ａは、眼５０１０ａを結像するように構成されてもよい一方で、眼カメラ５０６０ｂは、眼５０１０ｂを結像するように構成されてもよい。本図では、眼カメラ５０６０ａの光学軸５０４０ａは、眼カメラ５０６０ｂの光学軸５０４０ｂと平行である。
【０１０７】
いくつかの実装では、眼カメラの一方または両方は、２つの眼カメラの光学軸がもはや平行ではないように回転されてもよい。例えば、２つの眼カメラは、若干、相互の方を向いてもよい。本実装は、２つのカメラ間のＦＯＶの重複を増加させ、かつ２つの眼カメラがより近い距離において顔を結像することを可能にし得る、交差眼構成を作成し得るため、有利であり得る。
【０１０８】
図１１に説明される実施例は、２つの眼カメラを図示するが、ウェアラブルデバイス５０５０は、２つの眼カメラを有するように要求されない。いくつかの実施形態では、結像システム５０６０は、ユーザの顔の眼球周囲領域を結像する１つの眼カメラを含んでもよい。１つの眼カメラは、一方の眼または両方の眼を結像するように構成されてもよい。他の実施形態では、ウェアラブルデバイス５０５０は、２つを上回る眼カメラを含んでもよく、眼カメラのうちの１つ以上のものは、重複ＦＯＶを有し得る。
【０１０９】
いくつかの実施形態では、ウェアラブルデバイス５０５０はまた、１つ以上のマイクロホン６９（オーディオ入力のステレオ／成形の場合、少なくとも２つのマイクロホン）、１つ以上のＩＲ  ＬＥＤ５０８ａおよび５０８ｂ、または１つ以上の光反射センサ６７ａおよび６７ｂを含んでもよい。光反射センサは、フレーム６４に結合され、フレーム６４の曲率の内側でユーザに向かって位置付けられてもよい。光反射センサは、皮膚から反射される光の量を観察し、受光される光強度の変化を検出することができる。光反射センサが、（例えば、ＩＲ  ＬＥＤ５０８ａおよび５０８ｂからの）既知の量の提供される光を伴う顔領域内の光強度を測定するとき、光強度の変化は、光反射センサからの距離の変化を示し得る。換言すると、光反射センサ測定は、ＨＭＤ内の固定されたコンポーネント（例えば、ＥＴカメラ）から皮膚までの距離を決定するために使用されることができる。距離の変化は、ひいては、顔の表情の変化に関連する顔特徴の変化を示し得る。内向きに向いた結像システム５００（図２に示される）は、次の節に議論されるように、眼球周囲領域の画像を捕捉する。
【０１１０】
いくつかの実施形態では、ウェアラブルデバイス５０５０は、ヒトの眼の前部と後部との間に存在する角膜網膜常存電位（眼移動についての情報を提供する）の測定をウェアラブルデバイスに提供するように、ノーズピースの近傍のフレームに結合される、１つ以上の電気眼球図記録（ＥＯＧ）センサ７０を含む。ＥＯＧセンサは、眼の周囲の筋肉の電気生理学的測定を提供することができ、これらの測定は、眼の近傍の皮膚の移動を決定するために使用されることができる。
眼球周囲領域の実施例
【０１１１】
眼球周囲領域は、眼と、眼の周囲の領域とを含むことができる。図１２Ａは、一方の眼に関する眼球周囲領域の例示的画像を図示する。本実施例では、眼球周囲領域５１００ａは、眼５１１０ａ（眼窩等）と、眼５１１０ａの周囲の領域５１１１ａとを含むことができる。眼球周囲領域５１１０ａは、例えば、眉毛５１２０ａと、鼻の部分５１３０ａと、頬５１４０ａと、額５１５０ａとを含んでもよい。しかしながら、眼球周囲領域は、口または眼から遠く離れている鼻の部分を除外してもよい。筋肉（図示せず）、眉毛５１２０ａ、皺５１６０ａ−ｄ、眼５１１０ａの上の輝点５１７０ａ−ｄ、そばかす５１８０ａ、眼５１１０ａの上側角５１９０ａ−ｃ、または他の特徴を含む、本システムに着目され得る、眼球周囲領域５１００ａ内の種々の特徴が存在する。これらの特徴は、（例えば、オブジェクト認識装置２２０８ａ−２２０８ｎを介して）抽出され、単独で、または他の特徴と組み合わせて、顔の表情の変化を示すように処理されてもよい。いくつかの実装では、眼球周囲領域は、キーポイント、点群、ベクトル、行列、または他のタイプの数学的表現によって表されてもよい。
【０１１２】
図１２Ａおよび１２Ｂを参照すると、上側眼球周囲領域が、概して、上眼瞼、眉毛５１２０ａ、および上側斑点５１９０ａ−ｃを含む、眼球周囲領域５１００ａの瞳孔の上方の部分を指す一方で、下側眼球周囲領域は、概して、下眼瞼を含む、眼球周囲領域５１００ａの瞳孔の下方の部分を指す。
【０１１３】
眼カメラによって捕捉される眼球周囲領域の部分は、眼カメラのＦＯＶ、または装着者６０の顔からのウェアラブルデバイス５０５０のフレーム６４の距離に依存し得る。きつくフィットするデバイスに関して、眼カメラは、顔により近く、カメラのＦＯＶは、フレーム６４が装着者６０の顔からより遠く離れている、より緩くフィットするデバイスに関するよりも小さくあり得る。いくつかの実装では、眼カメラは、眼球周囲領域全体を捕捉するために広いＦＯＶを有していない場合がある。図１２Ｂが図示するように、ＦＯＶの範囲に応じて、図１２Ａに示される上記の特徴のうちのいくつかは、可視ではない場合がある。例えば、（図１２Ａに図示される緩いフィットと比較して）ユーザ上のウェアラブルデバイスのよりきついフィット、またはより接近して位置付けられたＥＴカメラの結果であり得る、より狭い眼球周囲領域５１００ａが、ＥＴカメラ５０６０ａによって観察されるとき、以前に入手可能であった特徴のうちのいくつかが、排除されている場合がある。きついフィットからのそのような除外される特徴は、額５１５０ａ、眉毛５１２０ａ、眉毛の皺５１６０ｃ、額の皺５１６０ｄ、鼻５１３０の部分等であり得る。ある実施形態によると、ＥＴカメラのＦＯＶは、眼カメラが眼５１１０ａおよびその周辺（例えば、眼球周囲領域）を結像するように選択される。ウェアラブルディスプレイシステム１００は、観察される面積および可視特徴に基づいて、観察される眼球周囲領域の範囲を柔軟に調節してもよい。本明細書に説明されるように、ともに撮影される眼および周囲の立体構造が、観察されるユーザの顔の表情の変化の有意なインジケータを提供してもよい。
【０１１４】
（眼球周囲領域および顔の表情の変化における関連性の実施例）
顔認識、合成、およびレンダリングのコンテキストでは、ヒトの顔は、三角形メッシュ、パラメータ表面、線形空間表現、または他の数学的表現等の３Ｄモデル化技法を使用して表されてもよい。一実施例として、３Ｄモデルは、変形可能線形モデル（ＤＬＭ）を使用して構築されてもよい。ＤＬＭは、ベクトルのリストを用いて、顔の変形の状態をエンコードすることができる。変形ベクトルは、中立顔と関連付けられ、鼻をより大きくする、口をより狭くする、または顔をより女性らしくする等を行ってもよい。変形ベクトルはまた、笑顔、しかめっ面、または眉を顰めた顔等からの顔の表情の変化と関連付けられ得る。顔特徴の変化（大声で笑うまたは微笑む等）の強度を前提として、変形ベクトルは、中立顔メッシュに対する強度値によってスケーリングされてもよい。例えば、強度値は、人物が大声で笑う場合、人物が、より多くの顔移動、したがって、中立顔に対してより大きい変形を有し得るため、より大きくあり得る。他方では、強度値は、人物が微笑む場合、あまり多くの顔移動が存在し得ないため、より小さくあり得る。ＤＬＭモデルが、使用されることができるが、本開示は、ＤＬＭモデルに限定されず、他の実施形態では、アクティブ形状モデル（ＡＳＭ）、アクティブ外観モデル（ＡＡＭ）、モーフィング可能モデル（Ｍ）、または任意の他の２次元（２Ｄ）または３Ｄ形状またはテクスチャモデルが、使用されてもよい。
【０１１５】
顔モデルの一部は、顎形状、顎移動等のユーザの下側顔内の特徴を説明し得る。顔モデル内の下側顔の立体構造は、ユーザがＡＲ環境内の１人以上の人々または種々のコンテンツと相互作用するにつれて、変化し得る。例えば、ユーザが、熱心に相互作用に集中するとき、ユーザの唇は、多くの場合、伸張する。ユーザが、予期しない何らかのものに遭遇したとき、ユーザの口は、愕然として開き、驚きを表し得る。ユーザが、受信された情報を疑うとき、ユーザの唇は、緊締し得る（例えば、すぼめられた状態になる）。下側顔立体構造は、表情または表現力に応じて、程度が変動し得る。例えば、満足している、または満足感を持ったユーザが、笑みを見せ得る一方で、興奮したユーザは、開いた口を伴って笑みを見せ得る。
【０１１６】
これらの自然な表情または反応は、多くの場合、顔全体で表現され、そのような下側顔立体構造は、顔の他の部分の変化と関連付けられ得る。顔の１つのそのような他の部分は、眼球周囲領域である。例えば、下側顔立体構造の伸張した唇を伴って現れる没頭した集中はまた、眼を細めることを伴って現れ得る。予期しない何らかのものの遭遇は、口および眼を大きく開くことを伴って現れ得る。したがって、眼球周囲領域は、頬の筋肉の変化を観察および検出することによって、満足と興奮を区別することの貴重なキューを提供し得る（例えば、満足からの笑みが、それらの筋肉を伸張しない場合がある一方で、興奮は、伸張する）。例えば、懐疑的な態度は、眉を顰めることと異ならず、下に、かつ中心に向かって移動する眉毛の中心と関連付けられ得る。しかしながら、懐疑的な態度および眉を顰めた顔は、他方の眉毛の調節のものよりも大きい位置変位を示す、一方の眉毛の調節を有することによって、懐疑的な態度が現れ得る一方で、眉を顰めた顔が現れ得ないという事実に基づいて、区別され得る。さらに別の実施例として、笑みを含む、下側顔立体構造を伴って現れ得る満足はまた、若干上に移動する目尻の下側部分を伴って現れ得る一方で、興奮は、さらなる程度で上に移動する目尻の下側部分によって現れ得る。いくつかの事例では、顔の表情は、変化の程度によって差別化され得る。例えば、笑いは、笑いと関連付けられる、より大きい筋肉および眼の形状変化に基づいて、単純な笑みと区別され得る。
【０１１７】
図１２Ａおよび１２Ｂを参照して説明されるように、眼球周囲領域は、眉毛、そばかす、および皺を含む、種々の特徴を含む。筋肉および筋肉流が、それら自体によって、または加えて、そばかすおよび皺等の特徴の移動を通して、観察され得る。図２および図１１に関して説明される種々のセンサは、そのような眼球周囲特徴に関連する情報を取得し得、オブジェクト認識装置は、センサデータを分析し、そのような眼球周囲特徴の情報を抽出し、眼球周囲領域および下側顔立体構造の変化の間の正確な関連性を結像システム５００に提供することができる。特徴および観察センサのリストは、限定的と見なされるものではないが、そのような関連性の正確度および精度を増加させるように、必要と判断された場合に拡張され得る。
【０１１８】
本明細書に説明されるように、ＨＭＤは、ユーザがＨＭＤを装着しているとき、直接測定によって、ユーザの顔の表情における更新の全てを取得することができない場合がある（例えば、内向きに向いたＥＴカメラが、典型的には、例えば、眼球周囲領域の下方の領域等の下側顔を結像することができないため）が、ＨＭＤは、内向きに向いた結像システム５００を使用して、ユーザの眼球周囲特徴を観察し、他の領域内の変化を推測することができる。図２２および２４を参照してさらに説明されるように、ＨＭＤは、機械学習導出モデルを使用して、下側顔のパラメータを伴って観察される眼球周囲特徴をマッピングすることができる。これらの上側および下側顔パラメータは、眼球周囲画像から導出されるパラメータとともに、ユーザの完全な顔結像を合成するために使用されてもよい。
例示的システム概要
【０１１９】
図１３は、種々のセンサ入力からアバタの顔の表情を推測するように構成される、例示的システム１３００の概要を図示する。本システムは、眼球周囲領域の種々の特徴変化を下側顔立体構造の変化と相関させることができる。ウェアラブルデバイス５０５０内に含まれる種々のセンサコンポーネントによって行われる種々の観察および検出を用いて、ウェアラブルディスプレイシステム１００は、リアルタイムでユーザの種々の側面を知覚する。例えば、左眼カメラ５０６０ｂおよび右眼カメラ５０６０ａが、それぞれ、ユーザの顔の眼球周囲領域５１００ａ−ｂを観察することができる。例示的システム１３００は、例証的であり、本明細書に説明される顔の表情の推測技術の範囲を限定しないことを意図している。
【０１２０】
ウェアラブルデバイス５０５０は、領域から抽出される眼球周囲特徴を、時間または表情一貫性チェックを実施し得るアバタ挙動検出エンジン１３１０に提供する。時間一貫性チェックの実施例は、前のフレーム（例えば、カメラからの画像フレーム）および抽出／処理された特徴の時間履歴を、リアルタイムで抽出された特徴と比較し、ユーザの識別された表情に向かって、またはそれから離れるように、一貫した変化が存在するかどうかを決定するステップを含んでもよい。表情の一貫性の実施例は、ユーザのプロファイル、顔モデル、コンテキスト、および／またはコンテンツに従って、抽出された特徴がユーザの既知の特徴と一致しているかどうかを含んでもよい。故に、アバタ挙動検出エンジン１３１０は、挙動測定の忠実性のロバストかつリアルタイムの保証を提供することができる。アバタ挙動検出エンジン１３１０は、ローカル処理およびデータモジュール７１または遠隔処理モジュール７２、および遠隔データリポジトリ７４内等のハードウェアプロセッサおよび非一過性のメモリによって、実装されることができる。
【０１２１】
エンジン１３１０はまた、頭部姿勢１３０２（ＩＭＵを用いて検出される）、ジェスチャ１３０４、トーテム１３０６、および／またはマイクロホン６９およびＥＯＧセンサ７０を含む、他のセンサ等の他のセンサから提供される入力を用いて、付加的挙動チェックを実施してもよい。いくつかの実施形態では、１つ以上のマイクロホン６９は、ユーザの声を拾い、ユーザが別の当事者と通信していることを決定してもよい。一事例では、アバタ挙動検出エンジン１３１０は、音声入力が、唸り声であり、観察された眼を細めることが、唸り声と一致することを決定してもよい。別の事例では、エンジン１３１０は、音声入力が、笑いであり、したがって、眼を細めることと一致しないことを決定してもよい。そのような不一致が見出されるとき、エンジン１３１０は、１つの挙動構造を別のものよりも優先させる種々のスキームおよび構造を採用し、一貫性を提供することによって、不一致を解決し得る。
【０１２２】
いったんアバタ挙動検出エンジン１３１０が適切なアバタ挙動を決定すると、アバタ顔表情エンジン１３２０は、完全な表情に関して眼球周囲特徴を下側顔立体構造と合成することによって、ユーザアバタの視覚を生成してもよい（または、顔パラメータのみが別の当事者のディスプレイデバイスに転送される場合、視覚的顔パラメータを生成する）。アバタ表情エンジン１３２０は、例えば、混成形状への信号および遷移の適正な変換を確認すること（検出される顔の表情を正確に反映するように中立顔モデルをモーフィングすること等、単一のメッシュが変形することを可能にし、多数の所定の形状およびこれらの形状の中間の任意の数の組み合わせを達成すること）によって、視覚の忠実性を確実にし得る。アバタ顔表情エンジン１３２０は、ローカル処理およびデータモジュール７１または遠隔処理モジュール７２、および遠隔データリポジトリ７４内等のハードウェアプロセッサおよび非一過性のメモリによって、実装されることができる。
【０１２３】
（ＨＭＤのフィットを決定する実施例：眼球周囲領域の範囲）
図１４Ａ−１４Ｂは、それぞれ、装着者の上で緩くまたはきつくフィットされる、ＨＭＤ（例えば、ウェアラブルデバイス５０５０）の実施例を図示する。図１４Ａは、緩くフィットするデバイス１４００の実施例を図示する。フレーム６４およびディスプレイ６２は、ＥＴカメラ５０６０ａが、眼球周囲領域５１００ａのより広いＦＯＶ（鎖線１４６０ａによって示される）を有するように位置付けられる。１つ以上のＩＲ  ＬＥＤ５０８ａおよび５０８ｂは、眼球周囲領域に向かって内向きに面しているように位置付けられる。概して、ＨＭＤが、緩くフィットしているとき、眉毛移動は、ＨＭＤを有意に移動（例えば、上昇または下降）させない。故に、ＥＴカメラ５０６０ａには、緩くフィットするデバイスに関して、より広い範囲の眼球周囲領域が「見え」（例えば、より広いＦＯＶを有し）、眼瞼が、観察され得る。
【０１２４】
対照的に、図１４Ｂは、きつくフィットするデバイス１４５０の実施例を図示する。フレーム６４およびディスプレイ６２は、ＥＴカメラ５０６０ａが、眼球周囲領域５１００ａのより狭いＦＯＶ（鎖線１４６０ｂによって示される）を有するように位置付けられる。概して、ＨＭＤが、きつくフィットしているとき、眉毛の上昇は、ＨＭＤを持ち上げ、眉毛の下降は、ＨＭＤをその元の中立位置に戻るように移動させる。ＥＴカメラ５０６０ａには、より狭い範囲の眼球周囲領域が「見え」（例えば、緩いフィットと比較してより小さいＦＯＶ）、可能性として、眉毛を除いて、眼およびその周囲のわずかな面積のみに集束される。
【０１２５】
図１４Ａおよび１４Ｂから分かり得るように、きつくフィットするデバイスのディスプレイ６２は、緩くフィットするデバイス内のデバイスよりもユーザの顔に近い。デバイスフィットが緩いかまたはきついかは、種々の方法で決定されることができる。例えば、デバイス上のＩＭＵが、きついフィットを示すであろう、ＨＭＤが眉毛の上下運動と並行して上下に移動するかどうかを検出することができる。そのようなデバイス移動が検出されない場合（眉毛が移動するとき）、ＨＭＤは、フィットが緩いことを決定することができる。別の実施例として、ＨＭＤが、きついフィットを有するかまたは緩いフィットを有するかは、眼追跡カメラ５０６０ａのＦＯＶのサイズの測定によって決定されることができる。例えば、ＦＯＶは、緩いフィットに関して、眼および眼瞼を含み得るが、ＦＯＶは、きついフィットに関して、眼を含み、周辺領域を殆ど含み得ない。種々の実施形態では、きつくフィットするディスプレイは、装着者の顔から（例えば、ディスプレイの内面と眼球の前部との間の）０．５ｃｍ〜１．５ｃｍの範囲内にあり、緩くフィットするディスプレイは、装着者の顔から（例えば、ディスプレイの内面と眼球の前部との間の）１．５ｃｍ〜５ｃｍの範囲内にある。本明細書に説明されるように、デバイスと顔との間の距離は、例えば、光反射センサまたはＩＲ  ＬＥＤの反射率の眼追跡カメラ測定を用いて、測定されることができる。
【０１２６】
緩いかまたはきついかのＨＭＤのフィットレベルは、初期構成において、または実行時に、本システムによって決定されてもよい。図１５は、ＨＭＤのフィットレベルを決定するための例示的方法１５００の例示的プロセスフロー図を図示する。方法１５００は、ローカル処理およびデータモジュール７１または遠隔処理モジュール７２、および遠隔データリポジトリ７４内等のハードウェアプロセッサおよび非一過性のメモリによって、実装されることができる。
【０１２７】
ブロック１５０２は、方法１５００の開始である。ブロック１５０４では、本システムは、１つ以上の眼追跡カメラ５０６０ａ−ｂを初期化する。ブロック１５０６では、ユーザ特有のデータが、存在し、ユーザが、識別されることができ、本システムは、具体的ユーザのための較正データを読み出す。ブロック１５０８では、ＥＴカメラ５０６０ａが、ユーザの眼の眼球周囲領域の１つ以上の画像を取得する。
【０１２８】
ブロック１５１０では、本システムは、瞳孔輝点情報を抽出する。瞳孔輝点（図１２Ａ−１２Ｂに示される、５１７０ａ−ｄ）は、ユーザが注視している方向についての情報を提供し得る、光源（例えば、眼に向かって指向されるＩＲ  ＬＥＤ５０８、５０８ａ、５０８ｂ等のＩＲ光源）の角膜反射である。いくつかの実施形態では、瞳孔輝点を用いた注視追跡が、フィットレベルを決定することに役立つ、注視の境界（例えば、眼移動の程度）についての情報を提供し得る。換言すると、注視の境界が、より小さい面積に制限される場合、これは、きついフィットを示し得、注視の境界が、より大きい面積に制限される場合、これは、緩いフィットを示し得る。いくつかの事例では、注視とＨＭＤの結果として生じる移動（例えば、上昇または下降）との間の関連性が、フィットレベルを示し得る。例えば、わずかなＨＭＤ移動を伴う、または全く伴わない完全注視移動が、緩いフィットを示し得る一方で、測定可能な量の対応するＨＭＤ移動（例えば、約１ｍｍ、２ｍｍ、またはそれよりも大きい）を伴う完全注視移動は、きついフィットレベルを示し得る。いくつかの実施形態では、瞳孔輝点自体の場所は、輝点の場所が、きついまたは緩いフィットに関して輝点の予期される場所に対して比較される方法で、フィットの決定に役立ち得る。
【０１２９】
いくつかの実施形態では、１つ以上の電気眼球図記録（ＥＯＧ）センサ７０（例えば、図２または図１１に示される）が、ＥＴカメラ５０６０ａ−ｂの輝点ベースの眼移動追跡を補完し、または置換し、眼移動情報を提供し得る。ＥＯＧセンサは、眼移動の正確な情報を提供する、ヒトの眼の前部と後部との間に存在する角膜網膜常存電位を測定する。
【０１３０】
ブロック１５１２では、上記に説明される観察に基づいて、フィットレベルが、決定される。ブロック１５１４では、ブロック１５１２における決定されるフィットが、緩いフィットである場合、本システムは、緩いフィットの上側眼球周囲領域イベント検出に関連するブロック１５１８の手順（例えば、図１８Ａ−１８Ｂおよび１９を参照してさらに説明される）を実行する。決定されるフィットが、きついフィットである場合、本システムは、代わりに、ブロック１５１６に進み、きついフィットの上側眼球周囲領域イベント検出に関連する手順（例えば、図１６Ａ−１６Ｃおよび１７を参照してさらに説明される）を実行する。ブロック１５２０では、本システムは、下側顔イベント検出（例えば、図１９を参照してさらに説明される）を実行する。
【０１３１】
ブロック１５２２では、本システムは、上側眼球周囲領域イベントおよび下側顔イベントを合成し、顔の少なくとも一部に関して顔の表情を生成する。いくつかの実装では、本方法は、顔分類学システム（例えば、顔アクションコーディングシステム（ＦＡＣＳ）等）のアクション単位（ＡＵ）を計算する。例えば、ＦＡＣＳは、顔の表情をアイソレートされた筋肉収縮または弛緩に分解することによって、人物の顔の外観に基づいて観察可能な顔の表情を分類する。ＦＡＣＳの各アイソレートされた筋肉収縮または弛緩は、アクション単位（ＡＵ）と称される、数値表現と関連付けられる。ＦＡＣＳ  ＡＵは、アバタをレンダリングするために使用される顔画像を生成するために、アバタ挙動検出エンジン１３１０またはアバタ表情エンジン１３２０によって使用されることができる。ある場合には、ＦＡＣＳ  ＡＵは、顔画像をレンダリングまたはモーフィングするために使用される、混成形状を生成するために使用されることができる。
【０１３２】
方法１５００は、次いで、ブロック１５０８において新しい眼球周囲画像（該当する場合）を取得することに戻る。きついフィットの上側眼球周囲領域イベント検出１５０６および緩いフィットの上側眼球周囲領域イベント検出１５０８は、以下の節でさらに説明される。
【０１３３】
（きついフィットの眼球周囲領域移動検出の実施例）
図１６Ａ−１６Ｃは、きつくフィットするデバイスにおける上側眼球周囲領域移動の例示的観察を図示する。これら等の観察は、眉毛の移動を決定するために使用されることができる。きつくフィットするデバイスが、概して、（図１４Ｂに図示されるように）ユーザの顔のより近くに位置付けられ、（図１２Ｂに図示されるように）より狭いＦＯＶを提供する。概して、きつくフィットするデバイスの全体が、眉毛が上昇されるときに上向きに移動し、ＥＴカメラ５０６０ａ−ｂによって取得されるカメラ画像全体の変位をもたらす。逆に、デバイスの全体は、眉毛が下降されるときに下向きに移動する。カメラ画像全体の変位が、眼および眼から観察される瞳孔輝点の位置で反映される。図１６Ａは、基準線１６０２と比較して、眼１６０４および１６０６のそのような変位を図示する。基準線１６０２は、眼が弛緩位置にあり、前方を真っ直ぐ見るときに、左右の瞳孔中心の間として画定されることができる。
【０１３４】
いくつかの実施形態では、眼のそれぞれの位置が、個別の垂直眼中心（ＶＥＣ）によって表され得る。図１６Ｂは、瞳孔輝点５１９０ａ−ｄを伴う瞳孔の例示的画像を示す（右の画像は、瞳孔輝点を強調表示する反転画像である）。種々の方法が、ＶＥＣを画定および決定するために採用されてもよい。例えば、観察される眼の角点（ｃｏｒｎｅｒ  ｐｏｉｎｔ）を抽出し、角点を接続することが、ＶＥＣを識別することができる。別の方法は、瞳孔輝点対５１７０ａおよび５１７０ｃ、および５１７０ｂおよび５１７０ｄと交差線を形成し、ＶＥＣとして利用され得る、線が交差する点を識別することであってもよい。他の方法もまた、利用可能であり得、それらの方法は、結果の正確度および精度に応じて、単独で、または組み合わせて使用されてもよい。
【０１３５】
図１６Ｃは、時間の関数としてＶＥＣの決定の実施例を示すグラフである。Ｘ−軸上には、フレーム数（または時間）があり、Ｙ−軸上には、ＶＥＣ値１６１０がある。いくつかの実施形態では、ＶＥＣ値は、ＥＴカメラ５０６０ａの座標（例えば、ピクセル）で計算されてもよい。左から右に、グラフは、中立位置から上昇し、ピークになり、降下し、中立位置に戻るＶＥＣを描写する。本システムは、その間にＶＥＣが閾値１６０８を超える時間に対応するものとして、眉毛上昇イベントを識別することができる。図１６Ｃに示される実施例では、眉毛は、フレーム（または時間）１６１２とフレーム（または時間）１６１４との間で上昇された。閾値１６０８は、軽微な移動または雑音が、眉毛の上昇を推測するように本システムをトリガしないように、設定されることができる。例えば、閾値は、任意の好適な数字、例えば、合計ＶＥＣ移動の５０％に設定されることができる（例えば、図１６Ｃでは、合計ＶＥＣ移動は、約２００ピクセルであり、閾値は、（約１７５ピクセルにおいて）中立位置を約１００ピクセル上回る）。いくつかのシステムは、潜在的により多くの誤決定をあえて行う傾向を好み得、故に、０〜５０％の間の閾値を選定し得る。他のシステムは、より少ない誤決定をあえて行う傾向を好み得、故に、５０％を上回る閾値を選定し得る。説明されるように、ウェアラブルディスプレイシステム１００は、時間一貫性チェックを実施し、いずれの眉毛の上昇の誤決定も除去し得る。例えば、眉毛の上昇は、ＶＥＣが、閾値を上回る数のフレーム（または閾値時間周期）に関して閾値１６０８を超える場合のみ、識別され得、これは、有利なこととして、雑音または非常に軽微な顔の変動に起因する誤決定を低減させ得る。ＶＥＣ移動は、ある場合には、瞬目に関する補間または他の是正措置が必要とされ得ないように、瞬目の間に測定されることができる。
【０１３６】
図１７は、きつくフィットするデバイスに関する上側眼球周囲領域イベント（例えば、眉毛上昇イベント）を検出するための例示的方法に関するプロセスフロー図である。ブロック１７０２が、プロセス１７００の開始である。ブロック１７０４では、ＥＴカメラ５０６０ａが、眼（左または右）の眼球周囲領域の１つ以上の画像を取得する。ブロック１７０６では、本システムは、取得された眼球周囲画像から目尻を抽出する。ブロック１７０８では、本システムは、例えば、抽出された目尻を線で接続することによって、ＶＥＣの計算を開始してもよい。
【０１３７】
ブロック１７１０では、ＶＥＣが、眉毛上昇イベントが検出されるかどうかを決定するように、閾値に対して比較される。閾値は、ユーザがデバイスを身に着けるときに計算されてもよい、または本システムがデバイス調節または除去を検出するときに調節されることができる。ＶＥＣが、閾値未満である（またはそれに等しい）（眉毛が上昇されていないことを示す）場合、本システムは、ブロック１７０４に戻って進み、後続の眼球周囲画像を読み取る。ＶＥＣが、閾値を上回る場合、本システムは、ブロック１７１２に進む。
【０１３８】
ブロック１７１２では、本システムは、眉毛上昇高さを推定する。例えば、図１６Ｃを参照すると、眉毛上昇高さは、曲線１６１０のピークと中立ＶＥＣ位置との間のＶＥＣ値の差異であり得る。本システムは、点１６１４と１６１２との間の時間差等の眉毛の上昇の持続時間を決定することができる。いくつかの実施形態では、最大の眉毛上昇高さが、測定され、個々のユーザ差異を考慮するように記憶される。眉毛上昇高さは、閾値を０％〜１００％上回る（または中立位置を上回る）値から最大値に及ぶ割合値を伴って、強度が推定され得る。
【０１３９】
いくつかの実施形態では、本システムは、眉毛上昇高さが眉毛上昇イベントと関連付けられるＶＥＣ値の頂点に到達する前に、眉毛上昇高さを推定してもよい。例えば、本システムは、例えば、前の眉毛上昇プロファイルの最初の５０％である、ＶＥＣ値の変化が合致することを決定し、眉毛上昇イベントの周期全体の前に、眉毛上昇高さの推定を返してもよい。眉毛上昇高さは、ＶＥＣ値が中立に戻る前および後に推定されてもよい。したがって、本システムの実施形態は、眉毛上昇イベントの全体を通してＶＥＣを測定することなく、眉毛上昇イベントを決定することができる。他の上昇高さ推定方法も、採用されてもよい。
【０１４０】
ブロック１７１４では、本システムは、種々の付加的処理を実施し、推定される眉毛上昇イベントの一貫性または忠実性を向上させ得る。例えば、本システムは、（例えば、瞬目イベントの間に）任意の欠落した値を通して補間してもよく、これは、３等のある最大数の欠落したフレームの許容度を伴って実装されてもよい。いくつかの実施形態では、本システムは、頂点までの連続的上昇、次いで、連続的減少を予期する、時間一貫性チェックを行ってもよい。加えて、本システムは、イベントが閾値時間を超えるときに（例えば、眉毛が２秒、５秒超等にわたって上昇される場合に）眉毛イベントを終了させることによって等、不合理な異常値を考慮してもよい。いったんブロック１７１４が完了すると、ブロックは、イベント検出プロセスの別の反復のためにブロック１７０４に戻る前に、眉毛上昇イベントの発生（例えば、眉毛上昇が起こったかどうかに関するブール値）または上昇の強度に関連する情報を出力してもよい。図示されるプロセスフローは、左右の眼に関して並行して起動し、（眉毛が独立して上昇されることができるため）眼毎に眉毛上昇イベントの独立した検出を提供し得る。
【０１４１】
（緩いフィットの上側眼球周囲領域移動検出の実施例）
上記に説明されるように、緩くフィットするデバイス（図１４Ａに示されるように、ユーザからより遠く離れて位置付けられる）に関して、本デバイス自体は、典型的には、眉毛上昇イベントの間に移動しない。図１６Ａ−１７を参照して説明される技法は、緩くフィットするデバイスに関して眉毛上昇の確実または正確な検出を可能にしない場合がある。
【０１４２】
図１８Ａおよび１８Ｂは、緩くフィットするデバイスにおける上側眼球周囲領域移動の検出の実施例を図式的に図示する。概して、皮膚とデバイスとの間の距離は、筋肉の伸張および圧縮とともに変化する。図１８Ａは、中立眉毛位置を伴う眼球周囲領域を図示する。図１８Ａは、眉毛上昇イベントの検出を提供するための上側眼球周囲領域の内側、中間、および外側部分内の３つの斑点５１９０ａ−５１９０ｃの実施例を示す。他の実施形態では、より多いまたは少ない斑点が、利用されてもよく、斑点は、他の場所にあってもよい。例えば、目尻の上側部分に沿って瞳孔により近い５つの斑点が、使用されてもよい。斑点の付加的実施例が、図２０Ａ−２０Ｄを参照して説明される。
【０１４３】
眼追跡システム５００の外部および固定照明（例えば、ＩＲ  ＬＥＤ５０８ａ、５０８ｂ）に起因して、関連付けられる斑点から反射される光の平均強度は、ＥＴカメラ５０６０ａから皮膚までの距離に関する良好なインジケータであり得る。各斑点は、ピクセル行列（例えば、５×５ピクセル）を含み、斑点から反射される光強度を表す、関連付けられる値（例えば、０が黒色を表し、２５５が白色を表す、０〜２５５）を有してもよい。ピクセル行列の平均強度値（例えば、５×５行列のための２５ピクセルの平均（加重される、または別様である））が、本システムによって計算されることができる。本システムは、経時的にピクセル斑点の平均強度を追跡することができ、斑点の移動（例えば、オプティカルフロー）から、本システムは、（例えば、内側、中間、および外側斑点のオプティカルフローから）眉毛上昇イベントおよび上昇されている眉毛の部分を決定することができる。
【０１４４】
図１８Ｂは、上昇した眉毛位置を伴う眼球周囲領域の実施例を図示する。ここでは、上昇した眉毛位置は、３つの斑点を、図１８Ａに示される眉毛位置からの斑点強度と比較して異なる斑点強度に戻らせる。
【０１４５】
加えて、本システムは、オプティカルフローとして眉毛の上向き（または下向き）の移動を捕捉してもよい。図１８Ｃは、斑点が、それぞれ、開始位置５１９０ａ、５１９０ｂ、５１９０ｃ（鎖線で示される）から終了位置５１９０ａ’、５１９０ｂ’、５１９０ｃ’（実線で示される）まで移動する、オプティカルフロー５１９１ａ−５１９１ｃの実施例を図示する。（例えば、眼追跡カメラを用いて）本移動の間の斑点の反射率を測定することによって、本システムは、これらの斑点毎にオプティカルフロー５１９２ａ、５１９２ｂ、５１９２ｃの経路（および方向）を決定し、それによって、眉毛上昇または降下イベントの間の装着者の皮膚の移動の発生または程度を決定することができる。種々の実施形態では、本システムは、流路に沿ってオプティカルフローまたは一連の点の完全経路（例えば、可能性として、開始および終了位置のみ）を決定してもよい。本システムは、経路５１９２ａ−５１９２ｃのうちのいずれかに沿ってオプティカルフローの速さまたは速度（速さおよび方向）を決定してもよい。
【０１４６】
図１８Ｃは、上側眼球周囲領域内のオプティカルフローの実施例を図示するが、これは、限定ではない。オプティカルフローが、下側眼球周囲領域を含む、観察される眼球周囲領域５１００ａの任意の部分に関して検出されてもよい。図１８Ｃは、３つの斑点と関連付けられるオプティカルフローを図示するが、しかしながら、オプティカルフローの検出のための基礎的顔特徴はまた、筋肉特徴または顔特徴（例えば、斑点５１９０ｃ’で示される皺）でもあり得る。いくつかの実施形態では、オプティカルフローはまた、不可視特徴の移動に関して検出されてもよく、そのような移動は、赤外線センサを用いて検出されるような熱と関連付けられる。加えて、オプティカルフローは、緩くフィットする、またはきつくフィットするデバイスに関して検出されることができる。
【０１４７】
いくつかの実施形態では、眼球周囲領域の他の特徴も、イベント検出のための付加的キューを提供し得る。例えば、本システムは、オブジェクト認識装置を使用し、（例えば、ガボールフィルタリングを介して）目尻の周囲の皺、しみ等の位置またはオプティカルフローを抽出し、皺、しみ等の位置の変化がイベント発生を示すかどうかを分析してもよい。
【０１４８】
図１９は、上側眼球周囲領域イベントを検出するためのプロセス１９００の実施例のプロセスフロー図である。ブロック１９０２は、プロセス１９００の開始である。ブロック１９０４では、ＥＴカメラ５０６０ａが、眼（左または右）の眼球周囲領域の１つ以上の画像を取得する。ブロック１９０６では、本システムは、取得された眼球周囲画像から目尻および／または眼の形状を抽出する。
【０１４９】
ブロック１９０８では、本システムは、図１８Ａ−１８Ｃを参照して説明されるように、画像から斑点５１９０ａ−５１９０ｃについての情報を抽出する。ブロック１９１０では、本システムは、斑点の移動から上側眼球周囲領域のオプティカルフローを推定する（例えば、図１８Ｃ参照）。ブロック１９１２では、本システムは、斑点の光度強度を推定する。説明されるように、強度は、斑点内のピクセルの平均強度であってもよい。装着されている間にその内向きに向いたＩＲ  ＬＥＤ５０８ａ、５０８ｂを具備した照明ＨＭＤ等の制限された照明が存在する場合、強度は、ＥＴカメラ５０６０ａから皮膚までの距離の良好な測定値であり得る。
【０１５０】
ブロック１９１４では、本システムは、斑点の推定強度を閾値強度と比較してもよい。閾値強度との比較および強度値の推定は、図２１Ａ−２１Ｄに関連してさらに説明される。強度が、閾値強度未満である（またはそれに等しい）場合、斑点は、ある理由により検出されておらず、本システムは、ブロック１９０４に戻り、後続の画像を読み取る。ブロック１９１６では、強度が、閾値強度を上回る場合には、本システムは、ブロック１９１８に進む前に付加的手順を実施してもよい。そのような手順は、欠落した値を補間し、瞬目イベントを考慮するステップ（例えば、データが欠落し得る、または入手されない場合がある、瞬目に関して最大３つまでのフレームを可能にするステップ）、または連続的な眉毛移動に関して時間一貫性チェックを行うステップを含んでもよい。例えば、眉毛の一貫した上向きの運動に関して、本システムは、頂点に到達されるまで、一方向に斑点の実質的に連続的な移動が存在し、その後に、中立位置に戻るように実質的に連続的な移動が続くかどうかをチェックすることができる。
【０１５１】
移動の時間一貫性が、ブロック１９１６において確認される場合、ブロック１９１８では、本システムは、オプティカルフローの方向（例えば、上向きまたは下向き）をマップし、眉毛上昇イベントの発生または強度を決定する。例えば、眉毛上昇の強度は、眉毛の一部が移動した距離を反映し得る。図１７を参照して説明されるように、眉毛上昇高さは、閾値を０％〜１００％上回る（または中立位置を上回る）値から最大値に及ぶ割合値を伴って、強度が推定され得る。本システムは、（例えば、図１８Ａ−１８Ｃに示されるように）眉毛の長さを横断して配置される複数の斑点（例えば、３つ以上の）を利用し、眼の複数の部分に関して、例えば、内側、中間、外側眉毛部分に関して、眉毛上昇の量または強度を細かく決定してもよい。
【０１５２】
ブロック１９１８において生成されるマッピングは、下側顔の対応する顔パラメータに関する確率的推定を含んでもよい。下側顔は、眼球周囲画像内に示される眼球周囲領域の下方の領域を含んでもよい。下側顔は、鼻、唇、頬、および顎領域を含んでもよい。例えば、ウェアラブルデバイスは、単独で、または組み合わせて、時間一貫性チェック（ブロック１９１６）に基づいて、またはオーディオ入力、生理学的データ（瞳孔拡張状態、心拍数等）、ＥＯＧデータ等の他のセンサからの入力から、最も可能性が高い顔パラメータを選択してもよい。例えば、マイクロホンからのオーディオ入力は、ユーザが笑っていることを示し得、オーディオ入力は、より可能性の高い下側顔表現を提供するように、眼球周囲結像からの推定値と組み合わせられることができる。
【０１５３】
いくつかの実施形態では、眼球周囲領域の他の特徴も、イベント検出のための付加的キューを提供し得る。例えば、本システムは、オブジェクト認識装置を使用し、（例えば、ガボールフィルタリングを介して）目尻の周囲の皺、しみ等の位置またはオプティカルフローを抽出し、皺、しみ等の位置の変化がイベント発生を示すかどうかを分析してもよい。
【０１５４】
本システムは、眉毛上昇イベントの性質を説明する、イベント行列を出力または記憶してもよい。例えば、イベント行列は、斑点の数（１〜ｎ）を識別する第１の列、斑点に関する発生インジケータ（例えば、上昇なしに関する０またはＮ（ｏ）および上昇に関する１またはＹ（ｅｓ）等のブール）を含む第２の列、およびその斑点に関する上昇の強度を含む第３の列を伴う、ｎ×３行列（ｎは、斑点の数である）を備えることができる。
【０１５５】
（下側顔イベント検出の実施例）
上記に説明されるように、ＨＭＤまでの皮膚の距離は、筋肉収縮とともに変化する。筋肉流方向は、顔の表情を検出するための有意なキューを提供する。
【０１５６】
図２０Ａ−２０Ｄは、微笑む前（図２０Ａ、２０Ｂ）および微笑んでいる間（図２０Ｃ、２０Ｄ）の右眼の筋肉収縮を示す、例示的眼球周囲画像を図示する。図２０Ａおよび２０Ｃは、眼カメラ画像を示し、図２０Ｂおよび２０Ｄは、閾値化された眼カメラ画像を示す。画像は、眼の下側部分の近傍の斑点２３０２ａ、２３０２ｂを示す。斑点は、眼の弧に沿って非対称に位置する。微笑んでいる間の画像（図２０Ｃ、２０Ｄ）との微笑む前の画像（図２０Ａ、２０Ｂ）の光度比較は、閾値画像（図２０Ｂ、２０Ｄ）間の差異において特に明白である、斑点反射率の変化を示す。
【０１５７】
いくつかの実施形態では、光反射センサ（図１１、６７ａ、６７ｂに図示される）が、眼追跡カメラ５０６０ａ、５０６０ｂによる強度測定を補完する、または置換してもよい。光反射センサは、概して、安価であり、近接性の決定のために光強度を検出することに長けている。光反射センサは、眼追跡カメラの斑点ベースの強度検出の付加的照合を提供する、または斑点ベースの強度検出を完全に置換してもよい。
【０１５８】
図２１は、眼球周囲画像の変化を伴う下側顔イベントを推測するための例示的方法２１００のプロセスフロー図である。ブロック２１０２−２１１６は、概して、図１９を参照して説明される方法１９００の対応するブロック１９０２−１９１６に類似し、本明細書ではさらに説明されないであろう。
【０１５９】
ブロック２１１８では、本システムは、相互眼チェックを実施する。概して、下側顔立体構造に関して、各眼の眼球周囲領域の分析から生成される出力は、相互と一致することが予期される。例えば、微笑が、概して、左右の両方の眼から検出され、一方の眼がその関連付けられる眼球周囲領域を持ち上げるだけではなく、眼球周囲領域の持上を報告する。各眼球周囲領域分析が、異なる下側顔立体構造を報告するとき、種々の方法が、差異を解決するために採用されてもよい。例えば、差異が小さいとき、左右の眼に関する結果は、平均的な下側顔立体構造を提供するように平均されてもよい。加えて、または代替として、本システムは、（斑点の強度またはある他のメトリクスに基づいて）より高い優先順位をより強い読取値に割り当ててもよい。いくつかの事例では、本システムは、両方の決定を拒否し、ブロック２１０４に戻り、付加的眼画像を読み取ってもよい。
【０１６０】
ブロック２１２０では、本システムは、マッピングテーブルまたは顔立体構造のモデルを活用することによって、オプティカルフローの方向および斑点の強度を下側顔イベントにマップする。個人化されたモデルを訓練する実施例が、図２３を参照して説明される。モデルはまた、個人の集団からの広範囲の顔立体構造に適用される機械学習に基づく、事前訓練されたモデルを備えてもよい。ある場合には、マッピングテーブルは、顔移動を分類するＦＡＣＳ  ＡＵに基づく。いくつかの実装では、本システムは、顔の表情（例えば、ＦＡＣＳ  ＡＵの群）から対応する感情（例えば、嬉しい、悲しい等）へのマッピングを使用してもよい。本システムは、したがって、眼球周囲画像の分析に基づいて、装着者が体験し得る感情を決定してもよい。
【０１６１】
ブロック２１２０によって提供される下側顔立体構造は、誤決定を低減させるように、他のセンサを用いて収集されるユーザデータを用いてチェックされてもよい。例えば、上記に説明されるように、本システムは、ガボールフィルタリングを介して目尻の周囲の皺（または他の顔特徴）を抽出し、皺（または他の顔特徴）が強度変化と一致して変化を示したかどうかをチェックしてもよい。本システムは、１つ以上のマイクロホン６９から取得されるオーディオ観察のある経過した持続時間（最後の３０秒等）を分析し、装着者の基準気分を決定し、本オーディオデータを使用して、マッピング結果を修正または更新してもよい。例えば、オーディオデータが、陽気な気分を知らせるとき、本システムは、結果として生じる顔の表情を調節し、陽気な気分を反映してもよい。代替として、オーディオデータが、多くの叫びを知らせるとき、本システムは、結果として生じる顔の表情を調節し、緊張した顔特徴を反映してもよい。さらに、本システムは、音素・口形素分析を利用し、下側顔の起こり得る立体構造についての付加的情報を提供してもよい（例えば、「Ｆａｃｅ  Ｍｏｄｅｌ  Ｃａｐｔｕｒｅ  ｂｙ  ａ  Ｗｅａｒａｂｌｅ  Ｄｅｖｉｃｅ」と題され、２０１７年９月２７日に出願された、米国特許出願第１５／７１７，２２３号（参照することによってその全体として本明細書に組み込まれる）、または「Ｐｅｒｉｏｃｕｌａｒ  ａｎｄ  Ａｕｄｉｏ  Ｓｙｎｔｈｅｓｉｓ  ｏｆ  ａ  Ｆｕｌｌ  Ｆａｃｅ  Ｍｏｄｅｌ」と題され、２０１７年１１月９日に出願された、米国特許出願第１５／８０８，５１６号（参照することによってその全体として本明細書に組み込まれる）に説明されるように）。例えば、ブロック２１２０からの結果は、ユーザの下側顔のより現実的な表現を決定するように、音素・口形素分析の結果と組み合わせられる（例えば、平均される）ことができる。加えて、オーディオデータが存在しないときに、より多くの加重を他のセンサに与えること等のスマート加重が、採用されてもよい。
【０１６２】
（顔特徴相関の個人化および忠実性増加の実施例）
図２２は、ウェアラブルデバイスの個人化のための例示的方法２２００のプロセスフロー図である。個人化方法２２００は、本デバイスが、ユーザの顔眼球周囲顔特徴と推測される下側顔移動との間のより良好な相関を提供し得るように、個々のユーザの差異を考慮し、ユーザに特有の定義された調節を行うように構造化される。本個人化方法２２００は、ユーザのためのより現実的なアバタ顔特徴を提供することができる。例えば、本方法は、本システムが、実際の検出される可視顔イベントと、図１９および２１のブロック１９１８および２１２０を参照して説明されるマッピングによって提供される顔イベントの近似との間で個人化された調節を行うことを可能にし得る。いくつかの実施形態では、個人化された調節は、斑点強度、オプティカルフロー等の抽出される特徴のマッピングのための加重の調節を含んでもよい。
【０１６３】
ブロック２２０２では、プロセス２２００が、開始し、ユーザが、本デバイスを装着し、鏡がユーザの画像を本デバイスに戻るように反射するように、鏡の正面に立つ。外向きに向いたカメラ５０２が、ユーザのオクルードされていない口および額の少なくともいくつかの部分が鏡像から捕捉される（ユーザの眼面積がデバイスによってオクルードされる）ように、位置付けられるべきである。さらに説明されるであろうように、本方法の間に、ユーザは、一連の顔姿勢を実施する、または一連の感情を表すように求められ、外向きに向いたカメラは、これらの姿勢を捕捉し、本方法は、画像を分析し、方法１９００および２１００で使用され得る、個人化されたマッピングおよびパラメータを生成するであろう。
【０１６４】
ブロック２２０４では、本デバイスは、（例えば、ディスプレイ６２による）可視キューまたは（スピーカ６６による）オーディオキューを含む、キューを介して、模倣する表情を指示する。提案される表情は、言葉または画像、または両方の組み合わせから成り得る。ブロック２２０６では、本システムは、カメラによって検出される画像上で顔検出を実施し、オブジェクト認識装置は、ユーザが要求される表情を実施しているかどうかを決定することができる。例えば、本システムは、要求される表情と関連付けられる顔特徴およびユーザの実際の表情の対応する特徴を比較し、それらが合致するかどうかを決定することができる。ブロック２２０８では、表情検出アルゴリズムが、不一致を検出する場合、本システムは、ブロック２２０４に戻り、同一または異なる表情を模倣するようにユーザに指示する。代替として、本アルゴリズムが、一致を検出する場合、本システムは、ブロック２２１０に進む。
【０１６５】
ブロック２２１０では、本システムは、外向きに向いたカメラ５０２から画像を読み出す。画像は、ユーザの鏡像であり、いくつかの実施形態は、画像を水平に転置し、ユーザの真の画像を取得してもよい。ブロック２２１２では、本システムは、顔検出アルゴリズムを起動し、ＨＭＤによってオクルードされていない頭部形状、口形状、または任意の他の顔特徴に関して、主要な特徴を抽出する（例えば、いくつかの眼または鼻特徴が、ＨＭＤのいくつかのバージョンによってオクルードされ得る）。ブロック２２１４では、ブロック２２１２からの抽出される特徴を使用して、本システムは、ユーザの頭部形状を決定する。ブロック２３１６では、決定される頭部形状を使用して、本システムは、アバタの視覚的外観を調節し、ユーザの測定される頭部形状を反映する。例えば、本システムは、決定される頭部形状をアバタデータベース内の頭部形状と比較し、最も密接に合致する頭部形状を選択する（または近くの頭部形状の間で補間する）ことができる。
【０１６６】
ブロック２２１８では、本システムは、画像のオクルードされていない顔の領域（例えば、額領域）から皺またはそばかす等の他の顔特徴を抽出する。画像の皺またはそばかすは、（例えば、加齢によって引き起こされる）ユーザの中立顔に固有である特徴のいずれか、および顔の表情の実施によって引き起こされる顔移動に起因するものを決定するように、ユーザの中立画像およびユーザの動的画像（例えば、要求される非中立表情を模倣する）に対して比較される。
【０１６７】
ブロック２２２０では、他のブロック（例えば、ブロック２２１２）からの抽出される特徴を使用して、本システムは、画像から下側顔立体構造（例えば、口形状）、および図１５、１７、１９、および２１を参照して説明される方法から下側顔立体構造を決定する。ブロック２２２２では、本システムは、ユーザに特有の個人的調節を計算し、本明細書に説明される技法（例えば、方法２１００の出力）を使用して、（鏡像からの）実際の検出される下側顔立体構造と下側顔立体構造の推定値との間の任意の相違を考慮する。本システムは、ユーザに特有の加重を再調節し、実際の検出される可視イベントへの抽出される特徴（斑点強度、オプティカルフロー等）のマッピングを考慮することができる。
【０１６８】
ブロック２２２４では、本システムは、模倣された表情の収集されたフレームから取得される、最小値および最大値（例えば、最小および最大強度変化、眼位置、または眉毛上昇高さ）に基づいて、ユーザに関する検出閾値を調節する。いくつかの実施形態では、ウェアラブルデバイスは、定期的に、またはスケジュールに従って、ユーザの画像を取得および分析し、（例えば、ブロック２２０４から開始して較正を開始するように要求をユーザに表示することによって）ユーザのためにデバイスをさらに較正してもよい。定期的またはスケジュールされた較正は、ユーザが較正に起因する可能性として考えられる中断に気付くことなく（例えば、較正エージェントが背景で起動し得る）、ユーザがデバイスと相互作用している間に起こり得る。ユーザの較正プロファイルへのそのような継続的オンライン較正は、経時的にユーザにとって最良の感度を確実にすることができる。
【０１６９】
いくつかの実施形態では、本プロセスは、より高い正確度および／または精度を取得するように複数回繰り返されてもよい。さらに、ユーザが、その顔の外観を変化させる場合（例えば、ユーザが髭を生やした場合）、本方法２２００は、個人化をやり直すように繰り返されることができる。
【０１７０】
（眼球周囲領域の画像を用いて顔の表情を推測する実施例）
図２３は、顔の表情決定システム２３００の実施例を図示するブロック図である。顔の表情決定システム２３００は、本明細書に説明されるウェアラブルデバイス、例えば、ウェアラブルシステム１００、５０５０によって実装されてもよい。例えば、処理は、（図２に示される）ローカルまたは遠隔データリポジトリ７４内に記憶されたデータを使用して、ローカル処理およびデータモジュール７１または遠隔処理モジュール７２によって実施されてもよい。眼球周囲画像が、内向きに向いた結像システム５００によって撮影されることができる。
【０１７１】
本明細書に説明されるように、システム２３００は、眼追跡カメラによって取得される眼球周囲画像２３０２を使用し、眼追跡カメラによって結像されていない顔の領域、例えば、下側顔（例えば、口、唇等）の表現を生成する。下側顔または顔全体の顔の表情２３２０への眼球周囲特徴のマッピングが、生成されることができる。マッピング２３２０は、眉毛イベント２３１４および下側顔イベント２３１６を合成することによって生成されることができる。眉毛イベントおよび下側顔イベントは、ウェアラブルデバイスのフィットが、装着者の顔の上できついかまたは緩いかに基づいて、システム２３００によって決定されてもよい。きついフィットに関して、ＶＥＣ変化２３０４が、分析されることができ（例えば、図１７）、緩いフィットに関して、強度変化２３０６が、使用されることができる（例えば、図１９）。システム２３００は、単独で、または組み合わせて、測定される筋肉収縮または筋肉流２３０８、皺またはそばかす２３１０のオプティカルフロー、または眼球周囲画像２３０２から取得される眼の形状２３１２の変化を利用することができる。眼球周囲領域の種々の特徴もまた、眼球周囲領域パラメータ（例えば、変形可能線形モデル（ＤＬＭ）内の顔空間パラメータ、ＦＡＣＳアクション単位等）によって説明（またはエンコード）され得る。眉毛イベント検出２３１４および下側顔イベント検出２３１６（例えば、図２１参照）は、眼球周囲画像から（例えば、下側顔または顔全体の）顔の表情へのマッピングを生成するように組み合わせられることができる。マッピング２３２０は、眼球周囲画像２３０２を取得する眼追跡カメラによって結像されていない領域内で、顔の下側部分に関して顔の表情を決定するために使用されることができる。
【０１７２】
種々の機械学習アルゴリズムが、例えば、マッピング２３２０または顔の表情２３２５を生成するために、システム２３００によって使用されてもよい。モデルを生成および更新するために使用され得る、機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、ディープボルツマンマシンまたは深層ニューラルネットワーク等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む、教師ありまたは教師なし機械学習アルゴリズムを含むことができる。いくつかの実施形態では、個々のモデルが、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況（例えば、ゲームプレーの間のフィットは、インターネットブラウジングの間のフィットと異なり得る）、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルデバイスは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。経時的に、ウェアラブルデバイスは、機械学習導出マッピング２３２０を更新し続けることができる。
【０１７３】
システム２３００は、図２２を参照して説明されるように、顔マッピングの個人化を実装するように構成される、個人化エンジン２３２３を含むことができる。説明されるように、外向きに向いた結像システムが、（例えば、ユーザが鏡の正面に位置付けられている間に）ユーザの下側顔２３１８の画像を入手し、これらの画像を使用して、本システムを調整し、ユーザの性格をより良好に反映し、情動表現力の忠実性を増加させることができる。個人化は、ＨＭＤが入手されるときに、またはユーザによるＨＭＤの使用の間に周期的に、実施されることができる。
【０１７４】
（完全な顔画像を合成し、完全な顔画像を用いてアバタをアニメーション化する実施例）
図２４は、顔の眼球周囲領域の画像から完全な顔パラメータを生成するための例示的方法２４００に関するフローチャートである。方法２４００は、ウェアラブルデバイス１００、５０５０によって実施されることができる。ブロック２４０２では、本方法は、デバイスの装着者の眼の眼球周囲領域の眼追跡を初期化する。いくつかの方法では、装着者の眼の両方が、追跡される。ブロック２４０４では、本方法は、眼球周囲領域の画像にアクセスする。ブロック２４０６では、装着者の顔の上のデバイスのフィットレベルが、決定される。例えば、フィットレベルは、例えば、それぞれ、図１４Ａおよび１４Ｂを参照して説明される、緩いフィットまたはきついフィットを備えてもよい。
【０１７５】
決定ブロック２４０８では、本方法は、フィットが緩いかどうかを決定し、該当する場合、図１９を参照して説明される方法１９００が、（典型的には、ＩＲにおける）反射光強度のレベルに基づいて、眼球周囲特徴を測定するために利用され得る、ブロック２４１２に移動する。フィットが緩くないと決定される場合、本方法は、図１７を参照して説明される方法１７００が、ユーザの顔の上のデバイスの移動（例えば、上向きまたは下向き）を測定するために利用され得る、ブロック２４１４に移動する。説明されるように、デバイスのそのような移動は、眉毛の移動を推測するために使用されることができる。
【０１７６】
ブロック２４１６では、ブロック２４１２またはブロック２４１４において行われる眼球周囲測定が、装着者が表情を実施している間の装着者の眼球周囲領域の移動を表す、眼球周囲顔パラメータを生成するために使用される。例えば、眼球周囲顔パラメータは、眉毛移動（例えば、上昇または下降）、目尻の移動、眼の周囲の皮膚または眼瞼の移動等を表すことができる。（眼球周囲、下側、または顔全体に関する）顔パラメータは、単独で、または組み合わせて、ＦＡＣＳアクション単位（ＡＵ）、変形可能線形モデル（ＤＬＭ）パラメータ、アクティブ形状モデル（ＡＳＭ）パラメータ、アクティブ外観モデル（ＡＡＭ）パラメータ、モーフィング可能モデル（Ｍ）パラメータ、または任意の他の２次元（２Ｄ）または３Ｄ形状またはテクスチャモデルに関するパラメータを含むことができる。
【０１７７】
ブロック２４１８では、本方法は、眼追跡カメラによって結像されていない顔の下側領域に対応する、下側顔パラメータを生成する。下側顔パラメータは、ＤＬＭパラメータ、ＦＡＣＳアクション単位等を備えることができる。ブロック２４２０では、眼球周囲顔パラメータおよび下側顔パラメータが、装着者の完全な顔に関する顔パラメータを生成するように組み合わせられる。完全な顔パラメータは、ＤＬＭパラメータ、ＦＡＣＳアクション単位、またはフル３Ｄ顔モデル（例えば、下側顔および眼球周囲領域）を備えてもよい。完全な顔パラメータは、アバタが、実世界内の装着者によって実施されている完全な顔の表情を仮想世界内で実施するように、装着者を表すアバタをアニメーション化するために、デバイスによって使用されることができる。テレプレゼンス環境では、完全な顔パラメータは、顔パラメータを使用し、テレプレゼンスセッションの間に第１のユーザのアニメーションを第２のユーザに表示する、第２のユーザのウェアラブルデバイスに通信されてもよい（例えば、図１０Ｂ参照）。方法２４００は、アバタレンダリングが、短縮された、または最小限の待ち時間を伴って、リアルタイムで起こるように、リアルタイムで実施されることができる。
【０１７８】
図２５は、装着者の眼球周囲領域の画像からＨＭＤの装着者の顔モデルを生成する別の方法２５００に関するフローチャートである。方法２５００は、ウェアラブルシステム１００、５０５０によって実施されることができる。ブロック２５０２では、本方法は、ＨＭＤの装着者の眼球周囲領域の画像にアクセスする。ある場合には、ＨＭＤの眼追跡カメラが、眼球周囲画像を捕捉するために使用される。いくつかの実装では、眼球周囲画像は、（例えば、図１４Ａ、１４Ｂ、および２４を参照して説明されるように）装着者の顔の上のＨＭＤのフィットのレベルを決定するように分析される。ブロック２５０４では、眼球周囲画像が、分析され、眼球周囲顔パラメータが、画像から抽出される。ブロック２５０６では、眼球周囲顔パラメータ（ブロック２５０４）によって表される表情に対応する下側顔パラメータが、生成される。眼球周囲および下側顔パラメータは、完全な顔モデル（例えば、ＤＬＭモデル、ＦＡＣＳ  ＡＵ等）を生成するように、ブロック２５０８において組み合わせられることができる。
【０１７９】
ブロック２５１０では、完全な顔モデルは、ＨＭＤの装着者が実世界内で実施している顔の表情に基づいて、アバタの外観をアニメーション化するためにＨＭＤによって使用されることができる。加えて、または代替として、ブロック２５１２では、装着者のＨＭＤは、例えば、テレプレゼンスセッションの間に、完全な顔パラメータを別のユーザのＨＭＤに通信することができ、他のユーザのＨＭＤは、装着者を表すアバタをレンダリングすることができる。
【０１８０】
（付加的側面）
１．ウェアラブルディスプレイシステムであって、ウェアラブルディスプレイの装着者の眼球周囲領域を結像するように構成される、内向きに向いた結像システムと、内向きに向いた結像システムを介して、装着者の眼球周囲領域の眼球周囲画像を入手し、少なくとも部分的に眼球周囲画像に基づいて、装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする眼球周囲顔パラメータを生成し、少なくとも部分的に眼球周囲顔パラメータに基づいて、装着者の下側顔の下側顔パラメータを生成し、下側顔は、装着者によって装着されたときに内向きに向いた結像システムによって観察されず、眼球周囲顔パラメータおよび下側顔パラメータを組み合わせ、装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成し、レンダリングエンジンによって使用するために完全な顔パラメータを記憶し、装着者の顔の３Ｄアニメーションを生成するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
【０１８１】
２．３Ｄ顔モデルは、変形可能線形モデルを備え、眼球周囲顔パラメータおよび下側顔パラメータは、装着者の顔の変形を説明する、側面１に記載のウェアラブルシステム。
【０１８２】
３．眼球周囲顔パラメータまたは下側顔パラメータは、顔アクションコーディングシステムのアクション単位を備える、側面１または側面２に記載のウェアラブルシステム。
【０１８３】
４．３Ｄ顔モデルは、装着者によって発せられる音声を表すオーディオデータを使用することなく生成される、側面１−３のいずれか１つに記載のウェアラブルシステム。
【０１８４】
５．内向きに向いた結像システムは、眼追跡カメラと、赤外線（ＩＲ）光源とを備える、側面１−４のいずれか１つに記載のウェアラブルシステム。
【０１８５】
６．眼球周囲顔パラメータを生成するために、ハードウェアプロセッサは、眼球周囲領域の斑点から反射される光の強度を分析する、または眼球周囲領域の斑点のオプティカルフローを分析する、または装着者の眼位置に対するウェアラブルシステムの上向きまたは下向きの移動を決定するようにプログラムされる、側面１−５のいずれか１つに記載のウェアラブルシステム。
【０１８６】
７．ハードウェアプロセッサはさらに、装着者上のウェアラブルシステムのフィットレベルを決定し、フィットレベルは、緩いフィットまたはきついフィットを備え、緩いフィットの決定に応答して、少なくとも部分的に眼球周囲領域内の斑点の強度測定またはオプティカルフローに基づいて、眼球周囲顔パラメータを生成する、またはきついフィットの決定に応答して、少なくとも部分的に装着者の顔に対するウェアラブルシステムの移動であって、装着者の顔の表情に応答する移動に基づいて、眼球周囲顔パラメータを生成するようにプログラムされる、側面１−６のいずれか１つに記載のウェアラブルシステム。
【０１８７】
８．少なくとも部分的に装着者の顔に対するウェアラブルシステムの移動に基づいて、眼球周囲顔パラメータを生成するために、ハードウェアプロセッサは、内向きに向いた結像システムによって取得される画像から、眼の位置に関する時系列を計算するようにプログラムされる、側面７に記載のウェアラブルシステム。
【０１８８】
９．ハードウェアプロセッサは、時系列の間に閾値位置を通過する眼の位置に基づいて、眉毛移動イベントを識別するようにプログラムされる、側面８に記載のウェアラブルシステム。
【０１８９】
１０．少なくとも部分的に眼球周囲領域内の斑点の強度測定またはオプティカルフローに基づいて、眼球周囲顔パラメータを生成するために、ハードウェアプロセッサは、複数の３つ以上の斑点の強度またはオプティカルフローを分析するようにプログラムされる、側面１−９のいずれか１つに記載のウェアラブルシステム。
【０１９０】
１１．複数の３つ以上の斑点は、装着者の眉毛の近傍の内側、中間、および外側部分に配置される、側面１０に記載のウェアラブルシステム。
【０１９１】
１２．眼の近傍の筋肉移動を測定するように構成される、電気眼球図記録（ＥＯＧ）センサをさらに備え、ハードウェアプロセッサはさらに、少なくとも部分的にＥＯＧ測定に基づいて、眼球周囲顔パラメータを生成するようにプログラムされる、側面１−１１のいずれか１つに記載のウェアラブルシステム。
【０１９２】
１３．ハードウェアプロセッサは、眼球周囲顔パラメータに時間一貫性チェックを実施するようにプログラムされる、側面１−１２のいずれか１つに記載のウェアラブルシステム。
【０１９３】
１４．時間一貫性チェックを実施するために、ハードウェアプロセッサは、眼球周囲画像から抽出される眼球周囲特徴の時間履歴が装着者の顔の表情と一致するかどうかを決定するようにプログラムされる、側面１３に記載のウェアラブルシステム。
【０１９４】
１５．下側顔パラメータは、左眼球周囲領域の分析から生成される第１の下側顔パラメータと、右眼球周囲領域の分析から生成される第２の下側顔パラメータとを備え、ハードウェアプロセッサは、第１の下側顔パラメータと第２の下側顔パラメータとの間の一貫性に関して、相互眼チェックを実施するようにプログラムされる、側面１−１４のいずれか１つに記載のウェアラブルシステム。
【０１９５】
１６．ハードウェアプロセッサはさらに、装着者の実際の顔の表情と関連付けられる個人化されたパラメータを決定するようにプログラムされる、側面１−１５のいずれか１つに記載のウェアラブルシステム。
【０１９６】
１７．ハードウェアプロセッサは、第１の顔の表情を実施するように命令を装着者に通信し、第１の顔の表情を実施する装着者の画像を捕捉し、画像を分析し、装着者に対応するアバタの顔の視覚的外観、アバタの頭部形状、中立表情を実施する装着者の顔特徴、眼球周囲顔パラメータ、下側顔パラメータ、または３Ｄモデルを生成するためにウェアラブルシステムによって使用される検出閾値、または顔立体構造のマッピングテーブルのうちの１つ以上のものを決定または更新するようにプログラムされる、側面１６に記載のウェアラブルシステム。
【０１９７】
１８．ハードウェアプロセッサは、無線ネットワークを介して、完全な顔モデルまたは３Ｄ顔モデルを第２のウェアラブルシステムに通信するようにプログラムされる、側面１−１７のいずれか１つに記載のウェアラブルシステム。
【０１９８】
１９．方法であって、非一過性のメモリと通信するハードウェアプロセッサと、ユーザの眼球周囲領域を結像するように構成される、内向きに向いた結像システムとを備える、頭部搭載型ディスプレイ（ＨＭＤ）の制御下で、内向きに向いた結像システムによって入手される眼球周囲画像にアクセスするステップと、少なくとも部分的に画像に基づいて、ユーザの少なくとも眼球周囲領域の眼球周囲立体構造に関する眼球周囲顔パラメータを決定するステップと、少なくとも部分的に眼球周囲顔パラメータに基づいて、ユーザの顔の下側領域に関する下側顔パラメータを計算するステップであって、下側領域は、内向きに向いた結像システムによって結像されない、ステップと、眼球周囲顔パラメータおよび下側顔パラメータを組み合わせ、ユーザの顔に関する完全な顔パラメータを生成するステップとを含む、方法。
【０１９９】
２０．ユーザの顔の上のＨＭＤのフィットのレベルを決定するステップであって、フィットのレベルは、緩いフィットまたはきついフィットを備える、ステップと、フィットのレベルが緩いフィットであることを決定するステップに応答して、ユーザの眼球周囲領域内の皮膚の斑点から反射される光の強度を分析するステップと、光の強度の分析からユーザの眉毛移動を決定するステップと、またはフィットのレベルがきついフィットであることを決定するステップに応答して、眼球周囲画像を分析し、ユーザの眼位置に対するＨＭＤの移動を決定するステップと、眼球周囲画像の分析からユーザの眉毛移動を決定するステップとをさらに含む、側面１９に記載の方法。
【０２００】
２１．眼球周囲顔パラメータに時間一貫性チェックを実施するステップをさらに含む、側面１９または側面２０に記載の方法。
【０２０１】
２２．下側顔パラメータは、左眼球周囲領域の分析から生成される第１の下側顔パラメータと、右眼球周囲領域の分析から生成される第２の下側顔パラメータとを備え、本方法はさらに、第１の下側顔パラメータと第２の下側顔パラメータとの間の一貫性に関して、相互眼チェックを行うステップを含む、側面１９−２１のいずれか１つに記載の方法。
【０２０２】
２３．一連の顔の表情を実施するユーザの画像にアクセスするステップと、画像を分析し、ユーザ特有の顔特徴を決定するステップと、眼球周囲顔パラメータ、下側顔パラメータ、または完全な顔パラメータを決定する際に、ユーザ特有の顔特徴を利用するステップとをさらに含む、側面１９−２２のいずれか１つに記載の方法。
【０２０３】
２４．一連の顔の表情を実施するユーザの画像にアクセスするステップは、ユーザが鏡の正面で一連の顔の表情を実施している間に、ＨＭＤの外向きに向いた結像システムを用いて画像を入手するステップを含む、側面２３に記載の方法。
【０２０４】
２５．ウェアラブルディスプレイシステムであって、ウェアラブルディスプレイの装着者の眼球周囲領域の画像を捕捉するように構成される、内向きに向いた結像システムと、眼球周囲領域の画像を記憶するように構成される、非一過性のメモリと、非一過性のメモリと通信する、ハードウェアプロセッサであって、装着者の眼球周囲領域の画像にアクセスし、少なくとも部分的に画像に基づいて、装着者の眼球周囲特徴をエンコードする眼球周囲領域パラメータを生成し、少なくとも部分的に眼球周囲領域パラメータに基づいて、下側顔パラメータを生成し、少なくとも部分的に下側顔パラメータおよび眼球周囲領域パラメータに基づいて、装着者の完全な顔の表現を生成するようにプログラムされる、ハードウェアプロセッサとを備える、システム。
【０２０５】
２６．眼球周囲特徴は、眼球周囲筋肉の伸展および圧縮、眼球周囲領域内の皺、しみ、または斑点、眼瞼、または眉を含む、側面２５に記載のシステム。
【０２０６】
２７．眼球周囲領域パラメータは、眼球周囲特徴のオプティカルフローまたは眉の上昇または下降の測定を含む、側面２５または側面２６に記載のシステム。
【０２０７】
２８．眼球周囲領域パラメータは、垂直眼中心（ＶＥＣ）位置を含む、側面２７に記載のシステム。
【０２０８】
２９．内向きに向いた結像システムは、赤外線発光ダイオード（ＩＲ  ＬＥＤ）、または眼球周囲領域の光強度を検出するように構成される光反射センサを備える、側面２５−２８のいずれか１つに記載のシステム。
【０２０９】
３０．ハードウェアプロセッサは、眼球周囲領域内の斑点の光強度を測定し、斑点の光強度を閾値に対して比較し、内向きに向いた結像システムからの斑点の下層にある眼球周囲領域の距離を決定するようにプログラムされる、側面２５−２９のいずれか１つに記載のシステム。
【０２１０】
３１．下側顔立体構造が、眉位置に基づいて完全な顔の一貫性に関して照合される、側面２５−３０のいずれか１つに記載のシステム。
【０２１１】
３２．オーディオセンサをさらに備え、下側顔立体構造は、オーディオセンサから記録される音素に対する一貫性に関してチェックされる、側面２５−３１のいずれか１つに記載のシステム。
【０２１２】
３３．装着者上のＨＭＤのフィットレベルが、眼位置に基づいて決定される、側面２５−３２のいずれか１つに記載のシステム。
【０２１３】
３４．眼位置は、瞳孔輝点追跡から決定される、側面３３に記載のシステム。
【０２１４】
３５．電気眼球図記録（ＥＯＧ）センサをさらに備え、本システムは、ＥＯＧセンサの読取値から眼位置を決定するように構成される、側面２５−３４のいずれか１つに記載のシステム。
【０２１５】
３６．本システムは、装着者に特有の較正データを取得するように構成される、側面２５−３５のいずれか１つに記載のシステム。
【０２１６】
３７．本システムは、内向きに向いた結像システムによって結像されていない装着者の顔の領域の画像を取得するように構成され、較正データは、頭部形状または口形状を備える、側面３６に記載のシステム。
【０２１７】
３８．本システムは、前もって捕捉された眼球周囲領域画像から生成される過去の完全な顔パラメータに対して、完全な顔の表現を時間的にチェックするように構成される、側面２５−３７のいずれか１つに記載のシステム。
【０２１８】
３９．方法であって、頭部搭載型ディスプレイ（ＨＭＤ）の装着者の眼球周囲領域を結像するように構成される、内向きに向いた結像システムと、ハードウェアプロセッサとを備える、ＨＭＤの制御下で、内向きに向いた結像システムを介して、装着者の眼球周囲領域の眼球周囲画像を入手するステップと、少なくとも部分的に眼球周囲画像に基づいて、装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする眼球周囲顔パラメータを生成するステップと、少なくとも部分的に眼球周囲顔パラメータに基づいて、装着者の下側顔の下側顔パラメータを生成するステップであって、下側顔は、装着者によって装着されたときに内向きに向いた結像システムによって観察されない、ステップと、眼球周囲顔パラメータおよび下側顔パラメータを組み合わせ、装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成するステップと、レンダリングエンジンによって使用するために完全な顔パラメータを記憶し、装着者の顔の３Ｄアニメーションを生成するステップとを含む、方法。
【０２１９】
４０．ウェアラブルディスプレイシステムであって、ユーザの眼球周囲領域を結像するように構成される、内向きに向いた結像システムと、ユーザの眼球周囲領域の画像を記憶するように構成される、非一過性のメモリと、非一過性のメモリと通信する、ハードウェアプロセッサであって、内向きに向いた結像システムによって入手される眼球周囲画像にアクセスし、少なくとも部分的に画像に基づいて、ユーザの少なくとも眼球周囲領域の眼球周囲立体構造に関する眼球周囲顔パラメータを決定し、少なくとも部分的に眼球周囲顔パラメータに基づいて、ユーザの顔の下側領域に関する下側顔パラメータを計算し、下側領域は、内向きに向いた結像システムによって結像されず、眼球周囲顔パラメータおよび下側顔パラメータを組み合わせ、ユーザの顔に関する完全な顔パラメータを生成するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルディスプレイシステム。
【０２２０】
４１．方法であって、ウェアラブルディスプレイの装着者の眼球周囲領域を捕捉するように構成される、内向きに向いた結像システムと、眼球周囲領域の画像を記憶するように構成される、非一過性のメモリと、非一過性のメモリと通信する、ハードウェアプロセッサとを備える、ウェアラブルディスプレイシステムの制御下で、装着者の眼球周囲領域の画像にアクセスするステップと、少なくとも部分的に画像に基づいて、装着者の眼球周囲特徴をエンコードする眼球周囲領域パラメータを生成するステップと、少なくとも部分的に眼球周囲領域パラメータに基づいて、下側顔パラメータを生成するステップと、少なくとも部分的に下側顔パラメータおよび眼球周囲領域パラメータに基づいて、装着者の完全な顔の表現を生成するステップとを含む、方法。
【０２２１】
４２．ウェアラブルシステムであって、ウェアラブルシステムの装着者の眼球周囲領域を結像するように構成される、内向きに向いた結像システムと、内向きに向いた結像システムを介して取得される、装着者の眼球周囲領域の眼球周囲画像にアクセスし、装着者上のウェアラブルシステムのフィットレベルを決定し、フィットレベルは、緩いフィットまたはきついフィットを備え、緩いフィットの決定に応答して、装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする、眼球周囲顔パラメータを生成し、眼球周囲顔パラメータは、少なくとも部分的に眼球周囲領域内の斑点の強度測定またはオプティカルフローに基づいて生成され、またはきついフィットの決定に応答して、少なくとも部分的に装着者の顔に対するウェアラブルシステムの移動に基づいて、眼球周囲顔パラメータを生成し、移動は、装着者の顔の表情に応答し、少なくとも部分的に眼球周囲顔パラメータに基づいて、装着者の下側顔の下側顔パラメータを生成し、下側顔は、装着者によって装着されたときに内向きに向いた結像システムによって観察されず、眼球周囲顔パラメータおよび下側顔パラメータを組み合わせ、装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
【０２２２】
４３．方法であって、ウェアラブルシステムの装着者の眼球周囲領域を結像するように構成される、内向きに向いた結像システムと、ハードウェアプロセッサとを備える、頭部搭載型ディスプレイシステムの制御下で、内向きに向いた結像システムを介して取得される、装着者の眼球周囲領域の眼球周囲画像にアクセスするステップと、装着者上のウェアラブルシステムのフィットレベルを決定するステップであって、フィットレベルは、緩いフィットまたはきついフィットを備える、ステップと、緩いフィットの決定に応答して、装着者の少なくとも眼球周囲領域の眼球周囲立体構造をエンコードする、眼球周囲顔パラメータを生成するステップであって、眼球周囲顔パラメータは、少なくとも部分的に眼球周囲領域内の斑点の強度測定またはオプティカルフローに基づいて生成される、ステップ、またはきついフィットの決定に応答して、少なくとも部分的に装着者の顔に対するウェアラブルシステムの移動に基づいて、眼球周囲顔パラメータを生成するステップであって、移動は、装着者の顔の表情に応答する、ステップと、少なくとも部分的に眼球周囲顔パラメータに基づいて、装着者の下側顔の下側顔パラメータを生成するステップであって、下側顔は、装着者によって装着されたときに内向きに向いた結像システムによって観察されない、ステップと、眼球周囲顔パラメータおよび下側顔パラメータを組み合わせ、装着者の３次元（３Ｄ）顔モデルと関連付けられる完全な顔パラメータを生成するステップとを含む、方法。
【０２２３】
本明細書に説明される種々の実施例および実施形態は、眼球周囲領域の画像を利用し、完全な顔画像を生成するが、これは、例証のためであり、限定的ではない。いくつかのそのような実施形態は、眼球周囲画像を利用してもよく、完全な顔画像を生成する際に他のセンサデータ（例えば、オーディオデータ）を使用しなくてもよい（ユーザが話していないときに有利であり得る）。いくつかの実施形態は、加えて、他のセンサ入力を利用し、完全な顔画像を生成することを補助し、それによって、マルチモーダルアプローチを利用し、完全な顔画像を生成することができる。例えば、マイクロホン６９から取得されるオーディオデータが、顔立体構造をオーディオデータ内の音声と関連付けるために使用されてもよく、顔立体構造は、完全な顔画像を生成するために眼球周囲画像とともに使用されることができる。
【０２２４】
（他の考慮点）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）、または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語で書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【０２２５】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、機能性を実施するために、または（例えば、仮想キャラクタのリアルタイムアニメーションに関して）結果を実質的にリアルタイムで提供するために、必要であり得る。例えば、アニメーションまたはビデオは、各フレームが数百万のピクセルを有する、多くのフレームを含み得、具体的にプログラムされたコンピュータハードウェアが、ビデオデータを処理し、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するために必要である。
【０２２６】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【０２２７】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【０２２８】
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワーク、または任意の他のタイプの通信ネットワークであり得る。
【０２２９】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能性として考えられる組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【０２３０】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、ある場合には、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【０２３１】
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等の本明細書で使用される条件文は、別様に具体的に記述されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることを意図している。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力またはプロンプトの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図していない。用語「〜を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「〜を含む（ｉｎｃｌｕｄｉｎｇ）」、「〜を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、例えば、要素のリストを接続するために使用されると、用語「または」が、リスト内の要素のうちの１つ、いくつか、または全てを意味するように、その包括的意味で使用される（かつその排他的意味で使用されない）。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味すると解釈されるものである。
【０２３２】
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記述されない限り、概して、項目、用語等が、Ｘ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるため、使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを含意することを意図していない。
【０２３３】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または連続的順序で実施される必要がない、または全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。ある場合には、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【図１】
2021517689.tif 000003
【図２】
2021517689.tif 000004
【図３】
2021517689.tif 000005
【図４】
2021517689.tif 000006
【図５】
2021517689.tif 000007
【図６】
2021517689.tif 000008
【図７】
2021517689.tif 000009
【図８】
2021517689.tif 000010
【図９】
2021517689.tif 000011
【図１０Ａ】
2021517689.tif 000012
【図１０Ｂ】
2021517689.tif 000013
【図１１】
2021517689.tif 000014
【図１２Ａ】
2021517689.tif 000015
【図１２Ｂ】
2021517689.tif 000016
【図１３】
2021517689.tif 000017
【図１４Ａ】
2021517689.tif 000018
【図１４Ｂ】
2021517689.tif 000019
【図１５】
2021517689.tif 000020
【図１６Ａ】
2021517689.tif 000021
【図１６Ｂ】
2021517689.tif 000022
【図１６Ｃ】
2021517689.tif 000023
【図１７】
2021517689.tif 000024
【図１８Ａ】
2021517689.tif 000025
【図１８Ｂ】
2021517689.tif 000026
【図１８Ｃ】
2021517689.tif 000027
【図１９】
2021517689.tif 000028
【図２０】
2021517689.tif 000029
【図２１】
2021517689.tif 000030
【図２２】
2021517689.tif 000031
【図２３】
2021517689.tif 000032
【図２４】
2021517689.tif 000033
【図２５】
2021517689.tif 000034
【国際調査報告】
2021517689.tif 000035