【手続補正書】
【提出日】令和2年9月24日(2020.9.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
ハードウェアプロセッサと、コンピュータプロセッサと、仮想オブジェクトをレンダリングするように構成されるディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される内向きに面した結像システムとを備える頭部搭載型デバイス（ＨＭＤ）の制御下で、
画像を前記内向きに面した結像システムから受信することと、
オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第１の測定値を決定するように、第１の計算を実施することと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第２の測定値を決定するように、前記第１の計算と異なる第２の計算を実施することであって、前記第１の計算を実施することまたは前記第２の計算を実施することは、
第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内における前記ユーザの前記眼球周囲領域に特有の眼球周囲特徴を識別することと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
前記第１および第２の画像内の前記眼球周囲特徴の出現に少なくとも部分的に基づいて、前記相対的位置の前記第１の測定値または前記第２の測定値を決定することと
を含む、ことと、
前記第１および第２の測定値に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
前記相対的位置と閾値条件を比較することによって、フィット感を決定することと、
前記ＨＭＤに、
前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償すること、または
前記ユーザに前記フィット感と関連付けられたインジケーションを提供すること
のうちの少なくとも１つを実施させることと、
前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれにも存在しないことの決定に応答して、前記ＨＭＤが前記ユーザの頭部から除去されたことのインジケーションを提供することと、
前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれかに存在することの決定に応答して、前記ＨＭＤに関する状態の変化を示すことと
を含む、方法。
【請求項２】
前記第１の計算を実施することまたは前記第２の計算を実施することは、
前記ＨＭＤからユーザの眼までの距離を計算すること、
前記ユーザの眼間の瞳孔間距離を計算すること、
前記ＨＭＤと前記ユーザの眼との間の相対的位置を決定すること、
前記ユーザの眼の非対称性を決定すること、または
前記ＨＭＤの傾斜を決定することであって、前記傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、こと
のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償することは、
前記ユーザの眼の正常静止位置と、前記ユーザの眼の正常静止位置に対応する前記仮想オブジェクトの正常レンダリング位置とを決定することと、
前記ＨＭＤと前記ユーザの頭部との間の相対的位置に少なくとも部分的に基づいて、前記仮想オブジェクトの正常レンダリング位置に対する調節を計算することと、
前記正常レンダリング位置に対する調節に基づいて、前記仮想オブジェクトのレンダリング場所を決定することと
を含む、請求項１に記載の方法。
【請求項４】
前記フィット感を決定することは、
前記ユーザの前記眼球周囲領域の画像にアクセスすることと、
前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることと、
前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
を含む、請求項１に記載の方法。
【請求項５】
前記フィット感と関連付けられた前記ユーザへのインジケーションは、
前記フィット感の改良に関する命令を前記ユーザに提供することと、
付加的眼画像にアクセスすることと、
前記マッピングを前記付加的眼画像に適用し、更新されたフィット感を決定することと、
更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定することと
を含む、請求項１に記載の方法。
【請求項６】
頭部搭載型デバイス（ＨＭＤ）であって、
ユーザの顔の眼球周囲領域を結像するように構成される内向きに面した結像システムであって、前記内向きに面した結像システムは、前記眼球周囲領域の少なくとも第１の画像を入手するように構成され、前記第１の画像内で捕捉された前記眼球周囲領域の一部をマスクするようにさらに構成される、内向きに面した結像システムと、
ハードウェアプロセッサであって、
画像を前記内向きに面した結像システムから受信することと、
オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第１の測定値を決定するように、第１の計算を実施することと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第２の測定値を決定するように、前記第１の計算と異なる第２の計算を実施することであって、前記第１の計算を実施するためにまたは前記第２の計算を実施するために、前記ハードウェアプロセッサは、
第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内における前記ユーザの前記眼球周囲領域に特有の眼球周囲特徴を識別することと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
前記第１および第２の画像内の前記眼球周囲特徴の出現に少なくとも部分的に基づいて、前記相対的位置の前記第１の測定値または前記第２の測定値を決定することと
を行うようにプログラムされる、ことと、
前記眼球周囲特徴に少なくとも部分的に基づいて、前記第１および第２の測定値に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
前記相対的位置と閾値条件を比較することによって、フィット感を決定することと、
前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれにも存在しないことの決定に応答して、前記ＨＭＤが前記ユーザの頭部から除去されたことのインジケーションを提供することと、
前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれかに存在することの決定に応答して、前記ＨＭＤに関する状態の変化を示すことと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＨＭＤ。
【請求項７】
前記フィット感を決定するために、前記ハードウェアプロセッサは、
前記ユーザの前記眼球周囲領域の画像にアクセスすることと、
前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることであって、前記マッピングは、機械学習モデルを使用して訓練される、ことと、
前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
を行うようにプログラムされる、請求項６に記載のＨＭＤ。
【請求項８】
前記フィット感は、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、請求項６に記載のＨＭＤ。
【請求項９】
前記ハードウェアプロセッサは、前記フィット感に基づいて、仮想オブジェクトのレンダリング場所を調節するようにさらにプログラムされる、請求項６に記載のＨＭＤ。
【請求項１０】
前記ハードウェアプロセッサは、前記ＨＭＤの初期化位相において、前記ユーザに前記フィット感に関するインジケーションを提供するようにさらにプログラムされる、請求項６に記載のＨＭＤ。
【請求項１１】
前記ハードウェアプロセッサは、
前記フィット感の改良に関する命令を前記ユーザに提供することと、
付加的眼画像にアクセスすることと、
前記マッピングを前記付加的眼画像に適用し、更新されたフィット感を決定することと、
更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定することと
を行うようにさらにプログラムされる、請求項１０に記載のＨＭＤ。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
ウェアラブルデバイスは、ユーザの眼球周囲領域の画像を入手するように構成される、内向きに面した結像システムを含むことができる。ウェアラブルデバイスは、内向きに面した結像システムによって入手された画像に基づいて、ウェアラブルデバイスとユーザの顔との間の相対的位置を決定することができる。相対的位置は、ユーザがウェアラブルデバイスを装着しているかどうか、ウェアラブルデバイスがユーザにフィットしているかどうか、または仮想オブジェクトのレンダリング場所に対する調節がウェアラブルデバイスのその正常静止位置からの逸脱を補償するために行われるべきかどうかを決定するために使用されてもよい。
本発明は、例えば、以下を提供する。
（項目１）
頭部搭載型デバイス（ＨＭＤ）であって、
仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される空間拡張現実（ＡＲ）ディスプレイシステムと、
前記ＨＭＤと前記ユーザの頭部との間の相対的位置の測定値を記憶するように構成される非一過性メモリと、
前記非一過性メモリおよび前記空間ＡＲディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記ＨＭＤと前記ユーザの頭部との間の相対的位置の測定値にアクセスすることと、
少なくとも部分的に、前記ＨＭＤと前記ユーザの頭部との間の相対的位置に基づいて、前記仮想オブジェクトの正常レンダリング位置に対する調節を計算することと、
前記正常レンダリング位置に対する調節に基づいて、前記仮想オブジェクトのレンダリング場所を決定することと、
前記空間ＡＲディスプレイシステムに、前記仮想オブジェクトを前記レンダリング場所にレンダリングするように命令することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＨＭＤ。
（項目２）
前記ＨＭＤと前記ユーザの頭部との間の相対的位置の測定値は、視覚的特徴点を使用して眼球周囲特徴を追跡すること、または前記顔の領域と前記ユーザの頭部の少なくとも一部をエンコードする稠密マップを合致させることのうちの少なくとも１つを実施することによって計算される、項目１に記載のＨＭＤ。
（項目３）
前記視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または前記稠密マップは、反復最近傍点アルゴリズムを使用して計算される、項目２に記載のＨＭＤ。
（項目４）
前記ハードウェアプロセッサはさらに、前記ＨＭＤのレンダリング視点と関連付けられた前記ユーザの眼の正常静止位置を決定するようにプログラムされ、前記仮想オブジェクトの正常レンダリング位置は、前記ユーザの眼の正常静止位置に対応する、項目１に記載のＨＭＤ。
（項目５）
前記仮想オブジェクトの正常レンダリング位置に対する調節を計算するために、前記ハードウェアプロセッサは、
少なくとも部分的に、前記ＨＭＤと前記ユーザの頭部との間の相対的位置に基づいて、前記正常静止位置に対する偏移を決定することと、
少なくとも部分的に、前記正常静止位置に対する偏移に基づいて、前記ＨＭＤのレンダリング視点と関連付けられた座標を偏移させることと
を行うようにプログラムされる、項目４に記載のＨＭＤ。
（項目６）
前記ＨＭＤと前記ユーザの頭部との間の相対的位置は、前記正常静止位置に対する水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、項目５に記載のＨＭＤ。
（項目７）
前記ＨＭＤと前記ユーザの頭部との間の相対的位置は、前記ユーザの第１の眼に関する前記ＨＭＤとの間の第１の相対的位置と、前記ユーザの第２の眼に関する第２の相対的位置とを含む、項目１に記載のＨＭＤ。
（項目８）
方法であって、
ハードウェアプロセッサと、コンピュータプロセッサと、仮想オブジェクトをレンダリングするように構成されるディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される内向きに面した結像システムとを備える頭部搭載型デバイス（ＨＭＤ）の制御下で、
画像を前記内向きに面した結像システムから受信することと、
オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
前記相対的位置と閾値条件を比較することによって、フィット感を決定することと、
前記ＨＭＤに、
前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償すること、または
ユーザに前記フィット感と関連付けられたインジケーションを提供すること
のうちの少なくとも１つを実施させることと
を含む、方法。
（項目９）
前記相対的位置を決定することは、
前記ＨＭＤからユーザの眼までの距離を計算すること、
前記ユーザの眼間の瞳孔間距離を計算すること、
前記ＨＭＤと前記ユーザの眼との間の相対的位置を決定すること、
前記ユーザの眼の非対称性を決定すること、または
前記ＨＭＤの傾斜を決定することであって、前記傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、こと
のうちの少なくとも１つを含む、項目８に記載の方法。
（項目１０）
前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償することは、
前記ユーザの眼の正常静止位置と、前記ユーザの眼の正常静止位置に対応する前記仮想オブジェクトの正常レンダリング位置とを決定することと、
少なくとも部分的に、前記ＨＭＤと前記ユーザの頭部との間の相対的位置に基づいて、前記仮想オブジェクトの正常レンダリング位置に対する調節を計算することと、
前記正常レンダリング位置に対する調節に基づいて、前記仮想オブジェクトのレンダリング場所を決定することと
を含む、項目８に記載の方法。
（項目１１）
前記フィット感を決定することは、
前記ユーザの眼球周囲領域の画像にアクセスすることと、
前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることと、
前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
を含む、項目８に記載の方法。
（項目１２）
前記フィット感と関連付けられたユーザへのインジケーションは、
前記フィット感の改良に関する命令をユーザに提供することと、
付加的眼画像にアクセスすることと、
前記マッピングを前記付加的眼画像に適用し、更新されたフィット感を決定することと、
更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定することと
を含む、項目８に記載の方法。
（項目１３）
前記相対的位置を決定することは、
第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内の眼球周囲領域のユーザに特有の眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
少なくとも部分的に、前記第１および第２の画像内の前記眼球周囲特徴の出現に基づいて、前記相対的位置を決定することと
を含み、前記方法はさらに、
前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれにも存在しないことの決定に応答して、前記ＨＭＤが前記ユーザの頭部から除去されたことのインジケーションを提供することと、
前記眼球周囲特徴が前記第１の画像または前記第２の画像のいずれかに存在することの決定に応答して、前記ＨＭＤに関する状態の変化を示すことと
を含む、項目８に記載の方法。
（項目１４）
頭部搭載型デバイス（ＨＭＤ）であって、
ユーザの顔の眼球周囲領域を結像するように構成される内向きに面した結像システムであって、前記内向きに面した結像システムは、前記眼球周囲領域の少なくとも第１の画像を入手するように構成され、さらに、前記第１の画像内で捕捉された前記眼球周囲領域の一部をマスクするように構成される、内向きに面した結像システムと、
ハードウェアプロセッサであって、
画像を前記内向きに面した結像システムから受信することと、
オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
前記相対的位置と閾値条件を比較することによって、フィット感を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＨＭＤ。
（項目１５）
前記フィット感を決定するために、前記ハードウェアプロセッサは、
前記ユーザの眼球周囲領域の画像にアクセスすることと、
前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることであって、前記マッピングは、機械学習モデルを使用して訓練される、ことと、
前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
を行うようにプログラムされる、項目１４に記載のＨＭＤ。
（項目１６）
前記フィット感は、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、項目１４に記載のＨＭＤ。
（項目１７）
前記ハードウェアプロセッサはさらに、前記フィット感に基づいて、仮想オブジェクトのレンダリング場所を調節するようにプログラムされる、項目１４に記載のＨＭＤ。
（項目１８）
前記ハードウェアプロセッサはさらに、前記ＨＭＤの初期化位相において、ユーザに前記フィット感に関するインジケーションを提供するようにプログラムされる、項目１４に記載のＨＭＤ。
（項目１９）
前記ハードウェアプロセッサはさらに、
前記フィット感の改良に関する命令をユーザに提供することと、
付加的眼画像にアクセスすることと、
前記マッピングを前記付加的眼画像に適用し、更新されたフィット感を決定することと、
更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定することと
を行うようにプログラムされる、項目１８に記載のＨＭＤ。
（項目２０）
前記相対的位置を決定するために、前記ハードウェアプロセッサは、
第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内の前記眼球周囲領域のユーザに特有の眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
少なくとも部分的に、前記第１および第２の画像内の前記眼球周囲特徴の出現に基づいて、前記相対的位置を決定することと
を行うようにプログラムされる、項目１４に記載のＨＭＤ。