(57)【要約】  本開示は、ＸＲデバイスを使用してインストラクターまたは専門家からのハンズオン視覚ガイダンスをユーザに与える拡張現実（ＸＲ）学習システムを対象とする。ＸＲ学習システムは、タスクを実施する専門家の手を記録するためのモーションキャプチャシステムと、記録から専門家の手の（骨ごとの）表現を生成するためのプロセッサとを含む。プロセッサは、次いで、表現に基づいて専門家の手のモデルを生成することができる。このモデルは、特定のユーザに合わせて変更および較正され得る。ユーザがコンテンツを要求すると、プロセッサは、ユーザのＸＲシステムに記録を転送することができ、ユーザのＸＲシステムは、次いで、タスクを実施するようにユーザを視覚的にガイドするのを助けるために、ユーザの手の上に置かれた専門家の手のモデルを表示することができる。【選択図】図１
2020522763.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（ＸＲ）デバイスを用いて、マニュアルタスクを実施することをユーザに教示する方法であって、前記方法は、
専門家の手が、前記マニュアルタスクを実施している間、カメラを用いて前記専門家の手の一連の画像を記録することと、
前記カメラに動作可能に結合されたプロセッサによって実装された深層学習ネットワーク（ＤＬＮ）を用いて、前記専門家の手の前記一連の画像に基づいて、前記専門家の手の表現を生成することと、
前記専門家の手の前記表現に基づいて、前記専門家の手のモデルを生成することと、
前記ＸＲデバイスを用いて、前記マニュアルタスクを実施する際に前記ユーザをガイドするように、前記ユーザが前記マニュアルタスクを実施している間、ユーザの手の上に置かれた前記専門家の手の前記モデルをレンダリングすることと
を備える、方法。
【請求項２】
前記専門家の手の前記一連の画像を記録することが、前記マニュアルタスクを実施する間、前記専門家の手によってマニピュレートされる機器を画像化することを備える、請求項１に記載の方法。
【請求項３】
前記機器が楽器を備え、前記マニュアルタスクが、前記楽器を演奏することを備える、請求項２に記載の方法。
【請求項４】
前記専門家の手の前記モデルをレンダリングすることが、前記楽器を演奏する前記専門家の手の前記モデルを前記レンダリングすることと同期された、前記専門家によって演奏される前記楽器のオーディオ記録を行うことを備える、請求項３に記載の方法。
【請求項５】
前記楽器を演奏する前記専門家の手の前記一連の画像を記録する間、前記楽器上で前記専門家によって演奏される音楽を記録すること
をさらに備える、請求項３に記載の方法。
【請求項６】
前記機器が手工具を備え、前記マニュアルタスクが、加熱、換気、および空調（ＨＶＡＣ）システム構成要素、１個の配管、または１個の電気器具のうちの少なくとも１つを設置することを備える、請求項２に記載の方法。
【請求項７】
前記機器が１個のスポーツ用具を備え、前記マニュアルタスクが、スポーツをプレイすることを備える、請求項２に記載の方法。
【請求項８】
前記専門家の手の前記一連の画像を記録することが、前記専門家の手の少なくとも１つの較正画像を収集することを備える、請求項１に記載の方法。
【請求項９】
前記専門家の手の前記一連の画像を記録することが、前記マニュアルタスクに関連する基準マーカーの少なくとも１つの画像を収集することを備える、請求項１に記載の方法。
【請求項１０】
前記専門家の手の前記一連の画像を記録することが、第１のフレームレートにおいて前記一連の画像を収集することを備え、
前記専門家の手の前記モデルをレンダリングすることが、前記第１のフレームレートとは異なる第２のフレームレートにおいて前記専門家の手の前記モデルをレンダリングすることを備える、
請求項１に記載の方法。
【請求項１１】
前記専門家の手の前記表現を生成することが、リアルタイムで前記ＤＬＮに前記一連の画像を与えることを備える、請求項１に記載の方法。
【請求項１２】
前記専門家の手の前記モデルを生成することと、前記専門家の手の前記モデルをレンダリングすることとがリアルタイムで実施される、請求項１１に記載の方法。
【請求項１３】
前記専門家の手の前記表現を生成することが、前記専門家の手の骨ごとの表現を出力することを備え、前記骨ごとの表現が、前記専門家の手の末節骨および末節骨間の動きを与える、請求項１に記載の方法。
【請求項１４】
前記専門家の手の前記表現を生成することが、少なくとも２次元の空間における前記専門家の手の並進および回転情報を出力することを備える、請求項１に記載の方法。
【請求項１５】
前記専門家の手の前記モデルを生成することが、前記ユーザの手のサイズ、前記ユーザの手の形状、または前記ユーザの手のロケーションのうちの少なくとも１つに基づいて、前記専門家の手の前記モデルを前記ユーザに適応させることを備える、請求項１に記載の方法。
【請求項１６】
前記専門家の手の前記モデルをレンダリングすることが、複数のプロセッサにわたってレンダリングプロセスを分散させることを備える、請求項１に記載の方法。
【請求項１７】
前記複数のプロセッサが、サーバ中に動作可能に配設された第１のプロセッサと、前記ＸＲデバイス中に動作可能に配設された第２のプロセッサとを備える、請求項１６に記載の方法。
【請求項１８】
前記専門家の手の前記モデルをレンダリングすることが、前記ユーザの手、基準マーク、または前記マニュアルタスクを実施する間に前記ユーザによってマニピュレートされる機器のうちの少なくとも１つに前記専門家の手の前記モデルを位置合わせすることを備える、請求項１に記載の方法。
【請求項１９】
前記専門家の手の前記モデルをレンダリングすることは、前記ユーザが、前記マニュアルタスクを実施するために機器をマニピュレートしている間、前記機器上の特徴を強調表示することを備える、請求項１に記載の方法。
【請求項２０】
前記専門家の手の前記モデルをレンダリングすることが、可変速度で前記専門家の手の前記モデルをレンダリングすることを備える、請求項１に記載の方法。
【請求項２１】
マニュアルタスクを実施することをユーザに教示するためのシステムであって、前記システムは、
深層学習ネットワーク（ＤＬＮ）を用いて、前記マニュアルタスクを実施する専門家の手の一連の画像に基づいて前記専門家の手の表現を生成するための、および前記専門家の手の前記表現に基づいて前記専門家の手のモデルを生成するための少なくとも１つのプロセッサと、
前記マニュアルタスクを実施する際に前記ユーザをガイドするように、前記ユーザが前記マニュアルタスクを実施している間、ユーザの手の上に置かれた前記専門家の手の前記モデルをレンダリングするための、前記プロセッサに動作可能に結合された拡張現実（ＸＲ）デバイスと
を備える、システム。
【請求項２２】
前記マニュアルタスクが楽器を演奏することを備え、前記ＸＲデバイスは、前記ＸＲデバイスが、前記楽器を演奏する前記専門家の手の前記モデルをレンダリングする間、同期された、前記専門家によって演奏される前記楽器のオーディオ記録を行うためのスピーカーを備える、請求項２１に記載のシステム。
【請求項２３】
前記少なくとも１つのプロセッサが、前記専門家の手の骨ごとの表現を出力するように構成され、前記骨ごとの表現が、前記専門家の手の末節骨および末節骨間の動きを与える、請求項２１に記載のシステム
【請求項２４】
前記少なくとも１つのプロセッサが、少なくとも２次元の空間における前記専門家の手の並進および回転情報を出力するように構成された、請求項２１に記載のシステム。
【請求項２５】
前記少なくとも１つのプロセッサが、前記ユーザの手のサイズ、前記ユーザの手の形状、または前記ユーザの手のロケーションのうちの少なくとも１つに基づいて、前記専門家の手の前記モデルを前記ユーザに適応させるように構成された、請求項２１に記載のシステム。
【請求項２６】
前記ＸＲデバイスが、リアルタイムで前記専門家の手の前記モデルをレンダリングするように構成された、請求項２１に記載のシステム。
【請求項２７】
前記少なくとも１つのプロセッサが、前記専門家の手の前記モデルの第１の部分をレンダリングするように構成され、前記ＸＲデバイスが、前記専門家の手の前記モデルの第２の部分をレンダリングするように構成された、請求項２１に記載のシステム。
【請求項２８】
前記ＸＲデバイスが、可変速度で前記専門家の手の前記モデルをレンダリングするように構成された、請求項２１に記載のシステム。
【請求項２９】
前記ＸＲデバイスが、前記ユーザの手、基準マーク、または前記マニュアルタスクを実施する間に前記ユーザによってマニピュレートされる機器のうちの少なくとも１つに前記専門家の手の前記モデルを位置合わせするように構成された、請求項２１に記載のシステム。
【請求項３０】
前記ＸＲデバイスは、前記ユーザが、前記マニュアルタスクを実施するために機器をマニピュレートしている間、前記機器上の特徴を強調表示するように構成された、請求項２１に記載のシステム。
【請求項３１】
専門家の手が、前記マニュアルタスクを実施している間、前記専門家の手の一連の画像を記録するための、前記少なくとも１つのプロセッサに動作可能に結合されたカメラ
をさらに備える、請求項２１に記載のシステム。
【請求項３２】
前記カメラが、第１のフレームレートにおいて前記専門家の手の前記一連の画像を記録するように構成され、前記ＸＲデバイスが、前記第１のフレームレートとは異なる第２のフレームレートにおいて前記専門家の手の前記モデルをレンダリングするように構成された、請求項３１に記載のシステム。
【請求項３３】
前記カメラが、前記専門家の手の少なくとも１つの較正画像を収集するように構成された、請求項３１に記載のシステム。
【請求項３４】
前記カメラが、前記マニュアルタスクに関連する基準マーカーの少なくとも１つの画像を収集するように構成された、請求項３１に記載のシステム。
【請求項３５】
前記カメラが、前記専門家の手の前記一連の画像を記録するように、およびリアルタイムで専門家の手の前記表現を生成するために前記少なくとも１つのプロセッサに前記一連の画像を転送するように構成された、請求項３１に記載のシステム。
【請求項３６】
前記マニュアルタスクが、楽器を演奏することを備え、
前記カメラが、前記楽器を演奏する前記専門家の手の前記一連の画像を記録する間、前記楽器上で前記専門家によって演奏される音楽を記録するための、前記少なくとも１つのプロセッサに動作可能に結合されたマイクロフォン
をさらに備える、請求項３１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１７年４月１９日に出願された、「ＡＵＧＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ  ＬＥＡＲＮＩＮＧ  ＳＹＳＴＥＭ  ＷＩＴＨ  ＭＯＴＩＯＮ  ＣＡＰＴＵＲＥＤ  ＩＮＳＴＲＵＣＴＯＲ  ＶＩＲＴＵＡＬ  ＨＡＮＤＳ  ＴＨＡＴ  Ａ  ＳＴＵＤＥＮＴ  ＳＥＥＳ  ＴＨＲＯＵＧＨ  ＧＯＧＧＬＥＳ  ＯＲ  ＨＥＡＤＳＥＴ  ＯＲ  ＡＳ  ＶＩＤＥＯ  ＯＶＥＲＬＡＩＤ  ＯＮ  ＳＴＵＤＥＮＴ’Ｓ  ＨＡＮＤＳ  ＡＮＤ  ＷＯＲＫＩＮＧ  ＳＰＡＣＥ  ＩＮ  ＲＥＡＬ  ＴＩＭＥ」と題する、その全体が参照により本明細書に組み込まれる米国出願第６２／４８７,３１７号の、米国特許法第１１９条（ｅ）項の下での優先権の利益を主張する。
【背景技術】
【０００２】
新しい技能を学習する旧来のプロセスは、教室においてハンズオン視覚ガイダンスおよび反復を生徒に与えるインストラクターに頼っている。しかしながら、多くの人々にとって、クラスに出席することは、不十分な時間、金銭、柔軟性、および優良な先生への限定されたアクセスにより実際的でない。その結果、印刷物またはビデオ記録を使用することによって新しい技能を学習することが一般的である。そのような従来の学習教材の使用は、インストラクショナルクラスに対するコスト効果的で便利な代替を与えながら、特定の技能の上達に最終的につながることがある。しかしながら、このようにして新しい技能を学習するプロセスは、インストラクターによって旧来与えられたガイダンスの欠如により、より遅く、あまり効果的でないことがある。
【発明の概要】
【０００３】
本技術の実施形態は、拡張現実（ＸＲ）デバイスを用いて、マニュアルタスクを実施することをユーザに教示するための方法およびシステムを含む。例示的な方法は、専門家の（インストラクターの）手がマニュアルタスクを実施している間、カメラを用いて専門家の手、指、腕、脚、足、足指、および／または他の身体部分の一連の画像を記録することを含む。カメラに動作可能に結合されたプロセッサによって実装された、人工ニューラルネットワーク（ＡＮＮ）など、深層学習ネットワーク（ＤＬＮ）が、専門家の手の一連の画像に基づいて、専門家の手の表現を生成する。たとえば、ＤＬＮによって生成された表現は、専門家の手の関節または他の特徴の配置に関する確率を含み得る。この表現は、専門家の手のモデルを生成するために使用される。モデルは、３Ｄアニメーションをよりリアルにするための、肌の色、身体組織（テクスチャ）などのような、再構成情報を含み得る。プロセッサに動作可能に結合されたＸＲデバイスが、マニュアルタスクを実施する際にユーザをガイドするように、ユーザがマニュアルタスクを実施している間、ユーザの手の上に置かれた専門家の手のモデルをレンダリングする。
【０００４】
いくつかの場合には、専門家の手の一連の画像を記録することは、マニュアルタスクを実施する間、専門家の手によってマニピュレートされる機器を画像化することを備える。機器は楽器であり得、その場合、マニュアルタスクは、楽器を演奏することを備える。これらの場合には、専門家の手のモデルをレンダリングすることは、楽器を演奏する専門家の手のモデルをレンダリングすることと同期された、専門家によって演奏される楽器のオーディオ記録を行うことを備える。同様に、カメラが、楽器を演奏する専門家の手の一連の画像を記録する間、マイクロフォンまたは他のデバイスが、楽器上で専門家によって演奏される音楽を記録し得る。他の場合には、機器は手工具であり、マニュアルタスクは、加熱、換気、および空調（ＨＶＡＣ）システム構成要素、１個の配管、または１個の電気器具を設置することを備える。および、また他の場合には、機器は１個のスポーツ用具（たとえば、ゴルフクラブ、テニスラケット、または野球バット）であり、マニュアルタスクは、スポーツをプレイすることを備える。
【０００５】
専門家の手の一連の画像を記録することは、専門家の手の少なくとも１つの較正画像、および／またはマニュアルタスクに関連する基準マーカーの少なくとも１つの画像を収集することを含み得る。専門家の手の一連の画像を記録することは、第１のフレームレートにおいて一連の画像を収集することを含み得、その場合、専門家の手のモデルをレンダリングすることは、第１のフレームレートとは異なる第２のフレームレート（すなわち、第２のフレームレートは、第１のフレームレートよりも速いことも遅いこともある）において専門家の手のモデルをレンダリングすることを含み得る。
【０００６】
所望される場合、カメラは、リアルタイムでＤＬＮに一連の画像を与え得る。これは、リアルタイムで、プロセッサが専門家の手のモデルを生成し、ＸＲデバイスが専門家の手のモデルをレンダリングすることを可能にする。
【０００７】
専門家の手の表現を生成する際に、ＤＬＮは、専門家の手の骨ごとの表現を出力し得る。この骨ごとの表現は、専門家の手の末節骨および末節骨間の動きを与える。ＤＬＮはまた、少なくとも２次元の空間における専門家の手の並進および回転情報を出力し得る。専門家の手のモデルを生成する際に、プロセッサは、ユーザの手のサイズ、ユーザの手の形状、ユーザの手のロケーション、またはそれらの組合せに基づいて、専門家の手のモデルをユーザに適応させ得る。
【０００８】
専門家の手のモデルをレンダリングすることは、複数のプロセッサにわたってレンダリングプロセスを分散させることによって実施され得る。これらのプロセッサは、サーバ中に動作可能に配設された第１のプロセッサと、ＸＲデバイス中に動作可能に配設された第２のプロセッサとを含み得る。プロセッサは、ユーザの手、基準マーク、マニュアルタスクを実施する間にユーザによってマニピュレートされる機器、またはそれらの組合せに専門家の手のモデルを位置合わせすることによって専門家の手のモデルをレンダリングし得る。それらは、ユーザが、マニュアルタスクを実施するために機器をマニピュレートしている間、機器上の特徴（たとえば、ピアノの鍵盤またはギターの弦）を強調表示し得る。および、それらは、可変速度で専門家の手のモデルをレンダリングし得る。
【０００９】
マニュアルタスクを実施することをユーザに教示するための例示的なシステムは、少なくとも１つのプロセッサに動作可能に結合されたＸＲデバイスを含む。動作中、プロセッサは、深層学習ネットワーク（ＤＬＮ）を用いて、マニュアルタスクを実施する専門家の手の一連の画像に基づいて、専門家の手の表現を生成する。それはまた、専門家の手の表現に基づいて、専門家の手のモデルを生成する。および、ＸＲデバイスは、マニュアルタスクを実施する際にユーザをガイドするように、ユーザがマニュアルタスクを実施している間、ユーザの手の上に置かれた専門家の手のモデルをレンダリングする。
【００１０】
上記の概念および以下でより詳細に説明される追加の概念のすべての組合せは（そのような概念が相互に矛盾しないという条件で）、本明細書で開示される本発明の主題の一部である。特に、本開示の終わりに掲載される請求される主題のすべての組合せは、本明細書で開示される本発明の主題の一部である。参照により組み込まれるいずれかの開示においても掲載され得る本明細書で使用される用語は、本明細書で開示される特定の概念と最も整合する意味を与えられるべきである。
【００１１】
当業者は、図面が、主に説明のためのものであり、本明細書で説明される本発明の主題の範囲を限定するものではないことを理解するであろう。図面は必ずしも一定の縮尺でなく、いくつかの事例では、本明細書で開示される本発明の主題の様々な態様は、異なる特徴の理解を容易にするために、図面において誇張または拡大されて示され得る。図面において、同様の参照符号は、概して、同様の特徴（たとえば、機能的に類似するおよび／または構造的に類似する要素）を指す。
【図面の簡単な説明】
【００１２】
【図１】楽器を演奏すること、機械的または電気的構成要素を設置すること、またはスポーツをプレイすることをユーザに教示することを含む、ＸＲ学習システムの例示的な適用例を示す図である。
【図２Ａ】専門家の手を記録するためのモーションキャプチャシステムと、記録からモデルを生成するためのプロセッサと、専門家の手の記録を表示するためのＸＲデバイスとを含む例示的なＸＲ学習システムのブロック図である。
【図２Ｂ】マニュアルタスクを実施する専門家を記録するための、図２Ａからの例示的なモーションキャプチャシステムを示す図である。
【図２Ｃ】ユーザがマニュアルタスクを実施している間、専門家の手の記録を表示するための、図２Ａからの例示的なＸＲデバイスを示す図である。
【図２Ｄ】データ経路のフローチャート、ならびにモーションキャプチャシステム、プロセッサ、およびＸＲシステムの間で共有されるデータのタイプを示す図である。
【図３】専門家の手の記録を使用して、ユーザのＸＲデバイス上に、タスクを実施する専門家の手のレンダリングされたモデルを表示するためのＸＲ学習システムを使用する方法を示すフローチャートである。
【図４Ａ】専門家の手の識別を示す注釈を伴う専門家の手の例示的な記録を示す画像である。
【図４Ｂ】ギターを演奏する専門家の手の例を示す画像である。ギターに対する専門家の手の位置を較正するために使用される基準マーカーも示されている。
【図５Ａ】末節骨および指節間の関節を含む、専門家の手の骨ごとの表現を示す画像である。
【図５Ｂ】専門家の手の記録に基づいて専門家の手の表現を生成する方法を示すフローチャートである。
【図６Ａ】専門家の手の生成された表現に基づいて専門家の手のモデルを生成する方法を示すフローチャートである。
【図６Ｂ】ユーザの手への適応のために専門家の手のモデルに適用されるプロセスを示す図である。
【図７Ａ】手モデルの分散型レンダリングのためのシステムアーキテクチャを示す図である。
【図７Ｂ】ＸＲデバイスとリモートプロセッサ（たとえば、クラウドベースサーバ）との間のレンダリングプロセスの分散を示す図である。
【発明を実施するための形態】
【００１３】
本開示は、ＸＲデバイスを使用して、専門家によって旧来与えられたハンズオン視覚ガイダンスをユーザに与える拡張現実（ＸＲ）学習システムを対象とする。当業者によって理解されるように、ＸＲは、コンピュータ技術およびウェアラブルによって生成された、組み合わせられた実環境と仮想環境および人間機械対話を指す。それは、拡張現実（ＡＲ）、拡張バーチャリティ（ＡＶ）、仮想現実（ＶＲ）、およびそれらの間で補間された領域を含む。
【００１４】
ＸＲ学習システムは、専門家が特定のタスクを実施する間、専門家の手の記録と表示の両方を行うための能力を与える。タスクは、楽器を演奏すること、手工具を使用して加熱、換気、および空調（ＨＶＡＣ）システムのための機械的または電気的構成要素を組み立てること、あるいはスポーツをプレイすることを含むことができる。ＸＲの使用は、したがって、従来の独学教材に伴う柔軟性およびコスト削減を依然として保ちながら、クラスに出席するのと同様のより対話的で関与的な学習体験をユーザに与えることができる。
【００１５】
図１は、ＸＲ学習システムがどのように動作するかの概要を与える。開始するために、ＸＲ学習システムは、図１中の左側に示されているようにねじ切りされたパイプ１０３の切片をマニピュレートすることなど、タスクを実施するインストラクターの手１０１のビデオ像を収集する。ＸＲ学習システムはまた、ビデオ像中のパイプ１０３または別の認識可能な特徴を含む、走査登録ポイント１０５または他の視覚基準を画像化し得る。この走査登録ポイント１０５は、加工物表面または他の静的物体に固定され得るか、あるいはインストラクターの手に（たとえば、インストラクターによって着用された手袋上に）、またはインストラクターによってマニピュレートされている物体（例えば、パイプ１０３またはレンチ）に固定され得る。
【００１６】
図１中の右側に示されているように、ＸＲ学習システムは、生徒の手１１１の上に置かれたインストラクターの手１０１のモデル１２１を投影する。ＸＲ学習システムは、リアルタイムで（すなわち、それがインストラクターの手１０１のビデオ像を収集すると）、またはインストラクターの手１０３の記録からこのモデルを投影し得る。それは、生徒の手１１１の画像、生徒によってマニピュレートされるねじ切りされたパイプ１１３の切片の画像、および／または別の走査登録ポイント１１５を使用して、生徒の手１１１にモデル１２１を位置合わせし得る。モデル１２１は、生徒の手１１１が、肘継手１１７にねじ切りされたパイプ１１３を結合するために、たとえば、時計回りにどのように動くべきかをデモンストレーションするように動く。モデル１２１に追従することによって、生徒は、技能または目下のタスクをどのように完了すべきかを学習する。
ＡＲ学習システムハードウェア
【００１７】
例示的なＸＲ学習システム２００が、図２Ａに示されている。このシステム２００は、専門家によるコンテンツ生成およびユーザのためのコンテンツの表示を可能にするためのサブシステムを含む。ＸＲ学習システム２００は、タスクを実施する専門家の手を記録するためのモーションキャプチャシステム２１０を含むことができる。モーションキャプチャシステム２１０に結合されたプロセッサ２２０は、次いで、タスクを実施する専門家の手の（骨ごとの）表現を作り出すために、記録を受信および処理することができる。生成された表現に基づいて、プロセッサ２２０は、次いで、専門家の手の３Ｄモデルを生成することができる。この３Ｄモデルは、特定のユーザに合わせて変更および較正され得る。ユーザがコンテンツを要求すると、プロセッサ２２０は、ユーザのＸＲシステム２３０に記録を転送することができ、ユーザのＸＲシステム２３０は、次いで、タスクを実施するようにユーザを視覚的にガイドするのを助けるために、ユーザの手の上に置かれた専門家の手の３Ｄモデルを表示することができる。
モーションキャプチャシステム
【００１８】
モーションキャプチャシステム２１０のより詳細な図が図２Ｂに示されている。モーションキャプチャシステム２１０は、専門家の手のビデオを記録するためのカメラ２１１を含む。カメラ２１１は、専門家の手およびタスクを実施するために使用される（１つまたは複数の）機器、たとえば、楽器、工具、スポーツ用具などがカメラ２１１の視野内にあり、専門家の手が不明瞭にならない限り、専門家に近接した任意のロケーションに位置決めされ得る。たとえば、専門家がギターを演奏している場合、カメラ２１１は、ギターの弦および専門家の手を観察するために、専門家の上にまたは専門家の頭から下を見るように配置され得る。
【００１９】
カメラ２１１は、ＲＧＢカメラ、ＩＲカメラ、またはミリメートル波スキャナを含む、個々の指を区別するのに十分な解像度を伴って人の手を画像化することが可能な任意のタイプのビデオ記録デバイスであり得る。異なるタスク、たとえば、溶接、園芸、フェンシング、野球のボールを打つことなどは、専門家の手を覆うための手袋の使用を正当化し得、その場合、手袋は、それらが、プロセッサ２２０によるより容易な処理のために背景からより良く目立つようにマークされ得る。カメラ２１１は、動き検知カメラ、たとえば、専門家の手の３Ｄ表現を生成することを可能にすることができる、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ、または３Ｄ空間において専門家の手を解像することが可能な３Ｄスキャナでもあり得る。カメラ２１１は、複数の観点からの専門家の手上の３Ｄ空間情報を記録するために、専門家に向けられた異なる位置にある１つまたは複数のビデオ記録デバイスをも含むことができる。その上、カメラ２１１は、ビデオがリアルタイムでユーザに表示され得ることを保証するために、６０フレーム毎秒（ｆｐｓ）など、可変フレームレートにおいてビデオを記録し得る。速い動きを記録するために、またはスローモーション再生を可能にするために、カメラ２１１は、より高いフレームレート（たとえば、９０ｆｐｓ、１００ｆｐｓ、１１０ｆｐｓ、１２０ｆｐｓなど）においてビデオを記録し得る。および、カメラ２１１は、メモリおよび電力を節約するために、専門家の手が止まっているかまたはゆっくり動いている場合、より低いフレームレート（たとえば、３０ｆｐｓ）においてビデオを記録し得る。
【００２０】
カメラ２１１が記録を終了すると、記録されたデータは、ビデオファイルが保存されることを保証するために、最初に、カメラ２１１に結合された、ローカルストレージ媒体、たとえば、ハードドライブまたは他のメモリに記憶され得る。後続の処理のために、記録されたデータは、データ送信構成要素２１２を介してプロセッサ２２０に転送され得る。プロセッサ２２０への記録されたデータの転送が検証されると、ローカルストレージ媒体上の記録されたデータは削除され得る。データ送信構成要素２１２は、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）など、ワイヤレス接続のためのアンテナ、あるいはイーサネット（登録商標）ケーブルなど、ワイヤード接続のためのポートを含む任意のタイプのデータ転送デバイスであり得る。その上、データは、同じローカルネットワークまたは物理接続を介して、モーションキャプチャシステム２１０に接続された、プロセッサ２２０、たとえば、コンピュータまたはサーバに転送され得る。記録されたデータがローカルコンピュータまたはサーバに転送されると、記録されたデータは、次いで、さらなる処理のためにオフサイトコンピュータまたはサーバにアップロードされ得る。十分な帯域幅をもつデータ伝達システムの場合、記録されたデータは、リアルタイムでプロセッサ２２０に転送されることもある。
【００２１】
モーションキャプチャシステム２１０は、カメラ２１１によって集められたビデオ記録を拡張するための２次記録デバイスをも含むことができる。たとえば、専門家が機器を演奏している場合、記録と一緒に、演奏されている音楽を記録するためのマイクロフォン２１３またはＭＩＤＩインターフェース２１４が含まれ得る。マイクロフォン２１３は、記録をサポートするための言葉による指示を記録し、したがって、新しい技能を学習するのを助けるためのより多くの情報をユーザに与えるためにも使用され得る。別の例では、工場においてなど、セーフティゾーンのために自身のロケーションをモニタする能力をユーザに与えるために、タスクを実施する間、マッピングされた環境内の専門家のロケーションをモニタするためのロケーショントラッキングデバイス、たとえば、ＧＰＳ受信機が使用され得る。他の２次デバイスは、モーションキャプチャシステム２１０に動作可能に結合された温度センサー、電圧計、圧力センサー、力計、または加速度計を含む、特定の技能のための任意の電気的または機械的デバイスを含み得る。また、外部クロックに対するＧＰＳトリガリングなど、複数のパラレルデータストリームの同期記録のための知られている任意の方法を使用して、２次デバイスはカメラ２１１と同期した様態で使用され得、たとえば、記録された音楽はビデオに同期される。
処理のためのコンピューティングシステム
【００２２】
プロセッサ２２０は、ネットワークまたは物理接続を介して互いに結合された１つまたは複数のコンピュータまたはサーバを含むことができる。コンピュータまたはサーバは、単一のロケーションにロケートされる必要はない。たとえば、プロセッサ２２０は、インターネット上で互いに接続された、モーションキャプチャシステム２１０に接続されたネットワーク上のコンピュータと、ＸＲシステム２３０に接続されたネットワーク上のコンピュータと、リモートサーバとを含み得る。プロセッサ２２０における各コンピュータまたはサーバのための通信を可能にするために、ＸＲ学習システム２００のために開発されたアプリケーションプログラミングインターフェース（ＡＰＩ）を組み込むソフトウェアアプリケーションが利用され得る。ソフトウェアアプリケーションは、ＸＲ学習システム２００を管理する管理者、コンテンツを記録する専門家、またはＸＲ学習システム２００上での様々なレベルの制御を制御するためのコンテンツを再生するユーザに合わせてさらに調整され得、たとえば、ユーザは、記録を要求することを許可されるのみであり得、専門家は、記録をアップロードするかまたは既存の記録を管理することができる。コンテンツのデータベースをサポートするために、プロセッサ２２０は、モーションキャプチャシステム２１０からの記録、これらの記録に基づく専門家の手の表現、および表現から生成された任意の３Ｄモデルを記憶するためのストレージサーバをも含み得る。
ＡＲシステム
【００２３】
ＸＲシステム２３０のより詳細な図が図２Ｃに示されている。ＸＲ学習システム２００は、Ｍｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓ、Ｇｏｏｇｌｅ  Ｇｌａｓｓ、またはカスタム設計のＸＲヘッドセットを含む、任意のタイプのＸＲデバイス２３１とともに使用され得る。ＸＲデバイス２３１は、ユーザおよびユーザの手のロケーションおよび向きを追跡するために、ユーザの手、基準マーカー（たとえば、図１中のような走査登録マーク）、あるいはタスクを実施するために使用される任意の（１つまたは複数の）機器にＸＲデバイス２３１を較正するためのカメラおよび加速度計をも含むことができる。ＸＲデバイス２３１は、ＸＲデバイス２３１を制御するための、およびユーザに対して専門家の手を表示するときのレンダリングプロセスを支援するための、ＣＰＵまたはＧＰＵであり得る、オンボードプロセッサをさらに含み得る。
【００２４】
ＸＲデバイス２３１は、データ、たとえば、専門家の手の３Ｄモデルとの較正のためのユーザの手のビデオ、またはタスクを実施する専門家の手の３Ｄモデルをプロセッサ２２０とやりとりすることができる。データ送信を可能にするために、ＸＲシステム２３０は、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）など、ワイヤレス接続のためのアンテナ、あるいはイーサネット（登録商標）ケーブルなど、ワイヤード接続のためのポートを含む任意のタイプのデータ転送デバイスであり得るデータ送信構成要素２３２をも含むことができる。データは、オフサイトにロケートされた別のコンピュータまたはサーバへの第２の転送に先立って、同じローカルネットワークまたは物理接続を介して、モーションキャプチャシステム２１０に接続された、プロセッサ２２０、たとえば、コンピュータまたはサーバに転送され得る。十分な帯域幅をもつデータ伝達システムの場合、専門家の手のレンダリングされた３Ｄモデルは、表示のためにリアルタイムでＸＲシステム２３０にも転送され得る。
【００２５】
ＸＲシステム２３０は、ユーザ体験を改善するために専門家のレッスンを拡張するための２次デバイスをも含むことができる。たとえば、ユーザが、機器を演奏するとき、専門家の手に追従する間、専門家によって記録された音楽を再生するためのスピーカー２３３が含まれ得る。スピーカー２３３は、タスクを実施する間、言葉による指示をユーザに与えるためにも使用され得る。ＸＲシステム２３０は、音楽または指示を（１つまたは複数の）専門家の手の３Ｄモデルのモーションに同期させ得る。専門家がギターまたはピアノ上で特定のコードを演奏した場合、ＸＲシステム２３０は、（１つまたは複数の）専門家の手の対応する動きを示し、スピーカー２３３上で対応する音を再生し得る。同様に、専門家がレンチを用いてボルトを締めた場合、ＸＲシステムは、レンチを用いてボルトを締めるようにとの言葉による指示を再生し得る。
【００２６】
オーディオレンダリングと視覚レンダリングの同期は、いくつかのやり方で作用し得る。たとえば、ＸＲシステムは、カメラフッテージとともに記録されたＭＩＤＩ信号に基づいて音を生成し得、位置合わせは、ＭＩＤＩ信号およびカメラフッテージ中のタイムスタンプを使用して測定される。代替的に、ニューラルネットワークまたはサポートベクターマシンなど、分類器が、３Ｄモデル表現において、たとえば、専門家の指がピアノの鍵盤を叩いた、ギターの弦をはじいたなどの場合、専門家の四肢の位置に基づいて音を検出し得る。分類器は、像とともに集められたオーディオデータに対しても動作し得る。この場合、オーディオデータは、前処理（たとえば、フーリエ変換、ハイ／ローパスフィルタ処理、ノイズ低減など）され、分類器は、視覚データとオーディオデータの両方に基づいて音を手／指の動きと相関させる。分類器を使用するとき、ビデオおよびオーディオデータに対してかビデオデータだけに対してかにかかわらず、記録されたコンテンツは、分類器がより良くトレーニングされるので、何回も再同期され得る。
【００２７】
他の２次デバイスは、ＸＲシステム２３０に動作可能に結合された温度センサー、電圧計、圧力センサー、力計、または加速度計を含む、特定の技能のための任意の電気的または機械的デバイスを含み得る。モーションキャプチャシステム２１０において２次デバイスによって記録されたデータ、およびＸＲシステム２３０において２次デバイスによって測定されたデータが、新しい技能を学習するのを支援するための追加情報をユーザに与えるために、ＸＲデバイス２３１上にさらに表示され得る。
データフロー経路の概要
【００２８】
図２Ｄは、ＸＲ学習システム２００におけるデータのフローを示す。それは、モーションキャプチャシステム２１０、プロセッサ２２０、およびＸＲシステム２３０ならびにプロセッサ２２０および／または関連するデバイスによって実行されるモジュールまたはプログラムによって送信および受信される様々なタイプのデータを示す。プロセッサ２２０によって実行される手位置推定器２４２は、モーションキャプチャシステム２１０（図２Ｂ）によって収集されたビデオデータから、専門家の手の位置ならびに専門家の手の中の関節および骨の３Ｄ位置を推定する。手位置推定器２４２は、機械学習に基づく検出器および分類器のより複雑なセットとして実装され得る。１つの手法は、人工ニューラルネットワークを用いて画像における手のための境界ボックスを見つけることによって、２Ｄピクチャにおける手を検出することである。次に、手位置推定器２４２は、より複雑な深層学習ネットワーク（長期短期記憶またはＬＴＳＭ）を使用して、（１つまたは複数の）検出された手について関節近似を探索する。手位置推定器２４２が関節を推定したとき、それは、手の３Ｄモデルを推定するためにもう１つの深層学習ネットワークを使用する。１つまたは複数の深度カメラ（ＲＧＢ−Ｄ）を含む、追加のカメラからの像が、推定をより妥当にし得る。
【００２９】
プロセッサ２２０によって実行されるフォーマット変換器ユニット２４４は、手位置推定器２４２の出力を、プロセッサ２２０によって実行されるレッスンクリエータ２４６による使用に好適なフォーマットに変換する。それは、手位置推定器からの３Ｄ関節位置を、あらゆるフレームについてのあらゆる関節のための関節階層および位置を伴うＢｉｏｖｉｓｉｏｎ  Ｈｉｅｒａｒｃｈｙ（ＢＶＨ）モーションキャプチャアニメーションに変換する。ＢＶＨは、Ｂｉｏｖｉｓｉｏｎによって作成されたモーションキャプチャアニメーションのためのオープンフォーマットである。他のフォーマットも可能である。
【００３０】
レッスンクリエータ２４６は、どのようにマニュアルタスクを実施すべきかを生徒に教示するための、専門家の手のモデルのためのＸＲレンダリング指示（ならびに音楽を演奏することに関する指示または他の補助キューを与えること）を含むレッスンを生成するために、フォーマット変換器ユニット２４４からのフォーマットされたデータを使用する。レッスンクリエータ２４６は、２つの機能、すなわち、（１）テンポの自動的な検出、部分のためにレッスンを分割するための示唆、ならびにノイズおよびエラー除去を用いて新しいレッスンを専門家に容易に記録させる自動レッスン作成、および（２）専門家（または任意の他のユーザ）が、正しくレッスンを組み立て、追加の音、部分、説明、ボイスオーバーを用いてレッスンを拡張し、より多くの試みを記録することを可能にする手動レッスン作成を実施すると見なされ得る。レッスンは、記憶、配信およびレンダリングのために最適化され得る。
【００３１】
作成されると、レッスンは、クラウドに記憶され、任意の登録されたクライアントと共有され得る。図２Ｄでは、このクラウドベースストレージは、プロセッサ２２０に結合されたメモリまたはデータベース２４８が、ＸＲシステム２３０（図２Ｃ）による検索のためにレッスンを記憶するものとして表される。生徒は、ＸＲシステム２３０を介してアクセス可能であり得るレッスンマネージャ２５０を使用してレッスンを選択する。ユーザの選択に応答して、ＸＲシステム２３０は、上記および以下で説明されるようにユーザの手の上に置かれた専門家の手のモデルをレンダリングする（図２Ｄ中の２５２）。
ＡＲ学習システム方法
【００３２】
上記で説明されたように、ＸＲ学習システム２００は、タスクを実施する専門家からの記録の組合せを使用するハンズオン視覚ガイダンスを用いてユーザに新しい技能を教示することを可能にするサブシステムと、同じタスクを実施する間、ユーザの手で覆われた専門家の手を表示するＸＲシステム２３０とを含む。図３に示されているように、このようにしてＸＲ学習システム２００を使用してユーザに新しい技能を教示する方法は、以下のステップ、すなわち、（１）専門家がタスク３００を実施している間、専門家の手の一方または両方のビデオ像を記録することと、（２）記録３１０の分析に基づいて専門家の手の表現を生成することと、（３）表現３２０に基づいて専門家の手のモデルを生成することと、（４）ユーザのＸＲデバイス３３０を使用して専門家の手のモデルをレンダリングすることとから構成され得る。各ステップのさらなる説明が以下で与えられる。
専門家の手を記録すること
【００３３】
上記で説明されたように、ＸＲ学習システム２００は、タスクを実施する（１つまたは複数の）専門家の手を記録するためのモーションキャプチャシステム２１０を含む。
モーションキャプチャシステム２１０は、それの視野が、（１つまたは複数の）専門家の手、およびタスクを実施するために使用される機器と重なるように位置決めされ、向けられたカメラ２１１を含むことができる。より正確に（１つまたは複数の）専門家の手を識別および追跡するために、モーションキャプチャシステム２１０は、一連の較正画像をも記録することができる。較正画像は、カメラ２１１に対して１つまたは複数の知られている構成において位置決めされ、向けられた（１つまたは複数の）専門家の手の画像、たとえば、図４Ａに示されているように、広げられた専門家の手のトップダウンビュー、またはタスクを実施するために使用される任意の機器の画像、たとえば、弦を示すギターのフロントサイドビューを含むことができる。像が位置合わせタグまたは他の基準マークの画像を含む場合、位置合わせタグは、カメラのロケーション、アイテムの位置、および３Ｄ空間の中心の位置を推論するために使用され得る。絶対カメラ位置は、カメラストリームから物体および空間を認識することによって推定され得る。
【００３４】
較正画像は、（１つまたは複数の）専門家の手と機器の組合せをも含み得、ここで、機器自体が、（１つまたは複数の）専門家の手、たとえば、ギターの前面上に配置された専門家の手を較正するための基準を与える。較正画像はまた、専門家の手をより正確に追跡するために、肌の色合い、環境照明、機器形状、または機器サイズの変動について較正することができる。その上、較正画像は、特に、タスクを実施するために使用され得る任意の計器に関して（１つまたは複数の）専門家の手の相対サイズおよび形状を定義するためにも使用され得る。
【００３５】
精度は、図４Ｂに示されているように、専門家の手４０１上に（たとえば、手袋、テンポラリタトゥー、またはステッカー上に）あるいはタスクに関係する機器（ここではギター４０３）上に配置された走査登録ポイントまたは基準マーカー４０５ａおよび４０５ｂ（まとめて基準マーカー４０５）の使用によってさらに改善され得る。基準マーカー４０５は、モーションキャプチャシステム２１０およびＸＲシステム２３０の視野において他の物体と対照をなす、明るい色のドット、白黒チェッカーボックス、またはＱＲコード（登録商標）パターンなど、容易に識別可能なパターンであり得る。複数の基準マーカー４０５が、複数の自由度をもつ物体を識別するためのより高い忠実度を与えるために使用され得、たとえば、図４Ｂに示されているように、マーカーまたはドット４０７が、専門家の指の各指骨上に配置され得る。基準マーカーは、スリーブ、たとえば、機器のための手袋またはスリーブ、あるいは手または機器上に基準マーカーを配置する任意の他の手段に描かれるか、印刷されるか、組み込まれ得る。
【００３６】
モーションキャプチャシステム２１０はまた、処理時間およびデータ転送時間を低減するために画像解像度およびフレームレートを低減するかまたは最小限に抑えながら、後続の処理ステップにおける識別にとって十分な品質をもって専門家の手の動きを記録するように最適化され得る。上記で説明されたように、モーションキャプチャシステム２１０は、可変フレームレートにおいて記録するように構成され得る。たとえば、各記録されたフレームにおけるモーションブラーを低減するために、急速な指と手の動きを伴うタスクの場合、より高いフレームレートが好ましいことがある。しかしながら、より高いフレームレートは、より大きいファイルサイズにもつながり、より長い処理時間およびデータ転送時間を生じることがある。最適フレームレートを決定するために、モーションキャプチャシステム２１０は、専門家がタスクを実施している間、一連の較正画像を記録するためにも使用され得る。較正画像は、次いで、専門家の手または機器が十分な確実性をもって識別され得るかどうか、たとえば、モーションブラーが最小限に抑えられるかまたは許容できるレベルに低減されるかどうかを決定するために分析され得る。このプロセスは、確実性しきい値を満たす所望のフレームレートが決定されるまで、いくつかのフレームレートについて繰り返され得る。画像解像度が、同様にして最適化され得る。
【００３７】
モーションキャプチャシステム２１０をより速く較正するために、較正画像の分析は、ネットワーク化されたかまたはモーションキャプチャシステム２１０に物理的に接続された、コンピュータ、たとえば、プロセッサ２２０上でローカルに実施され得る。しかしながら、データ転送レートが十分な場合、分析は、代わりに、リモートコンピュータまたはサーバ上でオフサイトで実施され、モーションキャプチャシステム２１０に中継され得る。
専門家の手の表現を生成すること
【００３８】
ＸＲ学習システム２００がタスクを実施する専門家の手を記録すると、それは、記録に基づいて専門家の手の表現５００を生成することができる。表現は、専門家の手の骨ごとのロケーションおよび向きに関する情報または推定を含み得る。この表現５００は、図５Ａに示されているように、各手内の末節骨５０２および指節間の関節５０４を示すようにレンダリングされ得る。専門家の手が動くと、表現は、時間に応じて３Ｄ空間における各骨の並進および回転運動を追跡する。専門家の手の表現は、したがって、ユーザに対して表示されるべき専門家の手のモデルを生成するための基礎として働く。
【００３９】
記録から表現を生成するプロセスは、ブロブ統計または点分布モデルを用いたシルエット抽出、モデルフィッティングを用いた確率的画像測定、および深層学習ネットワーク（ＤＬＮ）を含むいくつかの方法のうちのいずれか１つを使用して達成され得る。迅速で正確な分析のための最適な方法は、さらに、モーションキャプチャシステム２１０による記録データキャプチャのタイプ、たとえば、単一のカメラからの２Ｄ画像、複数のカメラによってキャプチャされた異なる観点からの２Ｄ画像、３Ｄスキャニングデータなどに応じて異なることがある。
【００４０】
１つの方法は、専門家の手の骨ごとの表現を生成するための、ＤＬＮのタイプである畳み込み姿勢機械（ＣＰＭ）の使用である。ＣＰＭは、予測の反復改良を与える、各々が複数のレイヤおよびノードをもつ一連の畳み込みニューラルネットワークであり、たとえば、指上の指骨の位置は、指骨の位置が所望の確実性内で予測されるまで、前のネットワークからの出力予測を後続のネットワークのための入力制約として反復的に使用することによって漸進的に決定される。
【００４１】
タスクを実施する専門家の表現を抽出するためにＣＰＭを使用するために、ＣＰＭは、専門家の手を認識するようにトレーニングされる。これは、ラベリングされたトレーニングデータを生成することによって達成され得、ここで、専門家の手の表現は、２次装置によってアクティブに測定および追跡され、次いで、モーションキャプチャシステム２１０によって集められた記録に相関される。たとえば、専門家は、タスクを実施する間、専門家の手の中の各骨の位置を追跡することができる位置センサーのセットをもつ一対の手袋を着用し得る。トレーニングデータは、ＣＰＭを、それが測定された表現を正しく予測するまで較正するために使用され得る。ＣＰＭが記録の変動にロバストであることを保証するために、ラベリングされたトレーニングデータが、人工的に課された変動、たとえば、異なる色の手袋を使用すること、異なるサイズの手をもつ専門家を選定すること、モーションキャプチャシステム２１０による記録中に照明状態を改変することなどについて生成され得る。ラベリングされたトレーニングデータはまた、特に、２次装置が、ＸＲ学習システム２００にコンテンツをアクティブにアップロードする特定の専門家に供給される場合、時間とともに累積され得る。その上、各タスクに従って専門家の手を追跡することの精度を改善するために、異なるＣＰＭが異なるタスクについてトレーニングされ得る。
【００４２】
専門家の手の表現が生成されると、それは、プロセッサ２２０に結合されたストレージデバイス、たとえば、ストレージサーバまたはデータベースに後の検索のために記憶され得る。記録に加えて表現を記憶することは、専門家の手のモデルを生成およびレンダリングするのに必要な時間を低減する。これは、ユーザにコンテンツをより迅速に与えるのを助けることができる。
【００４３】
図５Ｂに示されているように、ビデオ中の一連の画像からの特定のフレームに対応する、特定の解像度において記録された画像が、ＣＰＭへの入力として使用され得、ＣＰＭは、専門家の手の中の各骨の３Ｄ並進および回転データを出力する。コンバージェンスを改善し、専門家の手をより正確に識別するために、入力画像は、コントラストを変えること、画像鮮鋭度を増加させること、ノイズを低減することなどによって、ＣＰＭへのそれの適用に先立って調整され得る。
【００４４】
より詳細には、図５Ｂは、未加工ビデオフッテージから３Ｄ手モデルアニメーションを作成するプロセッサ実装変換器を使用する、手位置推定、フォーマット変換、およびレンダリングのためのプロセス５５０を示す。それは、入力としてフレームごとにＮＭ個のピクセルをもつＲＧＢカメラストリームを受信する（５５２）。それは、画像において可視の身体部分の関節を検出する、ニューラルネットワークなど、分類器を実装する（５５４）。変換器は、身体部分の、たとえば、手だけのまたはさらには人体全体の骨格モデルを作成する（５５６）。この段階において、変換器は、人体骨格全体の３Ｄ位置、すなわち、ビデオ入力のあらゆるフレーム上のあらゆる骨格関節のための６つの自由度（ＤＯＦ）を詳述していることがある。変換器は、３Ｄハンド（または一般的な場合には人体）適用モデル、テクスチャ（肌、色）、詳細、照明などをレンダリングするためにこの骨格モデルを使用する（５５８）。それは、次いで、ＸＲデバイスを介した表示に好適なフォーマットで、たとえば、 ．ｆｂｘ（ＸＲ汎用グラフィックスエンジンのための３Ｄモデル）、 ．ｕｎｉｔｙ  ａｓｓｅｔ（Ｕｎｉｔｙタイプエンジンについて最適化された３Ｄモデル）、または最も単純なデータストリームのための ．ｂｖｈとしてレンダリングをエクスポートする。
【００４５】
変換器は、所望される場合、検出および分類時間および正しさを改善するために、過去のフレームからの情報を適用することによって最適化され得る。それは、専門家の手を記録し、次いで、検出および認識のためにクラウドに記録を送ることによって実装され得る。それはまた、それが、ライブカメラストリームに基づいてリアルタイムで専門家の身体または身体部分の３Ｄ位置を推定するように実装され得る。動き予測は、ライブラリからのアニメーションを使用して推定を補間することによって、手の動きのより大きいライブラリを使用して改善され得る。より大きいライブラリは、特に、壊れているかまたは低品質である入力データに有用である。
【００４６】
レンダリングは、ＸＲデバイスの潜在的に限られたＧＰＵ能力に対する要求を低減するために、サーバ上でいくつかの特徴をレンダリングし、ＸＲデバイス上で他のものをレンダリングすることによって最適化され得る。クラウド（サーバ）におけるプリレンダリングは、３Ｄグラフィックス品質を改善し得る。同様に、サーバからＸＲデバイスへの転送のためにデータを圧縮することは、レイテンシを低減し、レンダリング性能を改善することができる。
専門家の手のモデルを生成すること
【００４７】
専門家の手の生成された表現に基づいて、プロセッサ２２０は、ユーザのＸＲデバイス２３１上での表示のための専門家の手のモデルを生成する。図６Ａに示されている１つのプロセス６００は、開始点としての手モデルのための標準テンプレート、たとえば、手のひら、手首、および各指についてのすべての指骨を含む３Ｄモデルを使用することである。テンプレート手モデルは、手モデルのアニメーションを可能にするためにモデルに結合されたあらかじめ定義されたリグをも含むことができる。プロセス６００は、専門家の手の中の関節（および手首および他の身体部分）のロケーションを推定することと（６０２）、専門家の手の中の骨を分類することと（６０４）、専門家の手および／または他の身体部分をレンダリングすることと（６０６）、手モデルを生成することと（６０８）を含む。手モデルは、次いで、専門家の手の生成された表現に一致するようにサイズおよび形状が調整され得る。一致すると、調整された手モデルは、表現に結合され、したがって、タスクを実施する専門家の手の表現に従ってアニメーション化され得る。手モデルの外観は、ユーザ選好に従って変更され得る。たとえば、手の写真のようにリアルなテクスチャが手モデルに適用され得る。ユーザのＸＲデバイス２３１上でレンダリングされたとき、ユーザにさらなる詳細および深度を与えるために、手モデルを照らすために人工照明も適用され得る。
【００４８】
多くの事例では、専門家の手は、ユーザの手とはサイズ、形状、およびロケーションが異なり得る。その上、専門家の機器または工具も、ユーザの機器または工具とはサイズおよび形状が異なり得る。プロセッサは、専門家の手の中の関節と、専門家の手、工具、および像中の他の物体の位置との間の平均距離に基づいて、専門家の手および工具のサイズを推定することができる。
【００４９】
ユーザが専門家に追従することを可能にするような様態でユーザのＸＲデバイス２３１上に専門家の手を表示するために、生成されたモデルはユーザに適応され得る。１つの手法は、図６Ｂに示されているように、記録において各フレームについて、専門家の技法を損なうことなしにユーザの手により良く一致するように専門家の手の生成された表現を再スケーリングすることである。生成された表現が変更された後、モデルは、次いで、上記で説明された方法に従って生成され得る。
【００５０】
図６Ｂは、ユーザの手に一致するように、生成された表現を再スケーリングおよび再整形するための、ＸＲデバイス２３１上のまたはクラウドにおけるプロセッサによって実装された別のプロセス６５０を示す。プロセス６５０は、専門家の手の３Ｄ手モデル６５２で開始する。それは、ユーザの手を認識し（６５４）、３Ｄ手モデルを人間らしくするために（６５６）、たとえば、骨の形状およびサイズ、肌の色、肌の特徴などを適応させること（６６２）によってそれを使用する。それは、フォトセンサー、またはＸＲデバイス上のカメラによってキャプチャされたカメラ画像から光状態を推定する（６５８）。次いで、それは手を相応にレンダリングする（６６０）。
【００５１】
適切な技法がユーザに伝えられることを保証するために、表現は、各指骨の相対的モーションがユーザの手に適応されるように、たとえば、専門家の手がアメリカンフットボールを完全に包み込み、ユーザの手がフットボールを部分的にのみ包み込むようにさらに変更され得る。たとえば、タスクにおいて実施される特定のステップの結果が専門家と同様になるようにユーザの手の構成を変更するために、物理的モデリングが使用され得る。ユーザと専門家との間の比較は、上記で説明されたように、２次デバイスの使用によってさらに拡張され得る。別の例では、同じタスクを実施する異なる専門家からの表現のセットは、ユーザの手に最も良く一致する特定の表現が選択され得るようにユーザ変動性を十分に包含し得る。
【００５２】
生成された表現をユーザに適応させるために、単一の較正画像または較正画像のセットが、ユーザのＸＲデバイス２３１におけるカメラまたは別個のカメラによって記録され得る。較正画像は、ＸＲデバイス２３１に対して知られている構成において位置決めされ、向けられたユーザの手の画像、たとえば、ギターの前面上に広げられ、配置された専門家の手のトップダウンビューを含むことができる。これらの較正画像から、ユーザの手の表現が、ＣＰＭを使用して処理され得る。ユーザの手の表現が生成されると、専門家の手の表現は、上記で説明された方法に従ってユーザの手の表現に応じて変更され得る。専門家の手のモデルが、次いで、相応に生成され得る。ユーザの手をより正確に識別するために、基準マーカーも使用され得る。
【００５３】
専門家の手のモデルが生成され、場合によってはユーザの手に適応するように変更されると、モデルのアニメーションは、プロセッサ２２０に結合されたストレージデバイス、たとえば、ストレージサーバに記憶され得る。これは、特にユーザが記録をリプレイしたい場合、ユーザがコンテンツを迅速に検索するのを助けることができる。
専門家の手のモデルをレンダリングすること
【００５４】
ＸＲシステム２３０は、ユーザがタスクを実施するとき、ユーザが専門家の手を観察および追従することができるようにモデルをレンダリングする。専門家の手のモデルをレンダリングおよび表示するプロセスは、専門家の手の生成されたモデルを受信し、ＸＲデバイスのディスプレイと協調してレンダリングプロセスを実行する、プロセッサ、たとえば、ＣＰＵまたはＧＰＵの組合せを使用して達成され得る。ユーザは、専門家の手のアニメーション化されたモデルを転送するために、ＸＲデバイス２３１、またはＸＲデバイス２３１に結合されたリモートコンピュータを介して要求を送ることによって、いつレンダリングが開始するかを制御することができる。要求が受信されると、モデルは、上記で説明された方法に従って生成および変更され得るか、または前のモデルが単にＸＲシステム２３０に転送され得る。
【００５５】
専門家の手を正しく表示するために、専門家の手のモデルは、ユーザの手、基準マーカー、またはタスクを実施するために使用される機器など、ＸＲシステム２３０によって観察され得る基準を使用してユーザに位置合わせされる。たとえば、ＸＲシステム２３０は、基準、たとえば、ピアノ上の基準マーカーまたは建築物における既存のパイプアセンブリを含む較正画像を記録することができる。基準が識別されると、専門家の手のモデルは、静止した基準に関して適切な位置および向きで表示され、たとえば、静止したピアノの鍵盤のわずかに上方に専門家の手を表示することができる。ＸＲシステム２３０が、加速度計およびロケーショントラッキングデバイスを含む場合、ＸＲシステム２３０は、基準に対するユーザのロケーションおよび向きをモニタし、ユーザが動いたとき、専門家の手のレンダリングを相応に調整することができる。
【００５６】
別の例では、ＸＲシステム２３０は、リアルタイムで、ＸＲシステム２３０によって集められた画像を使用して機器のロケーションを追跡することができる。ＸＲシステム２３０は、記録された画像に基づいて機器の位置および向きを決定する。この手法は、基準が利用可能でなく、機器がユーザの視野内にある可能性がある、たとえば、ユーザがギターを演奏している場合に有用であり得る。
【００５７】
ＸＲ手のレンダリングは、ユーザ選好に基づいて変更され得、それは、ロボットの手、人間の手、動物の足などとしてレンダリングされ得、任意の色および任意の形状を有することができる。１つの手法は、できるだけ厳密にユーザの手を模倣し、ユーザの手が動くと考えられるほんの少し前にレンダリングの動きを用いてユーザをガイドすることである。別の手法は、ユーザの手の上に重ね合わせられたレンダリングされた手袋様の体験を作成することである。レンダリングの透明度も選好の問題である。それは、ユーザの選好、照明状態などに基づいて変えられ、所望の結果を達成するように再較正され得る。
【００５８】
専門家の手を表示することに加えて、ＸＲシステム２３０は、ユーザがタスクを実施するのを助けるための２次情報をも表示することができる。たとえば、ＸＲシステム２３０は、ＸＲシステム２３０によって記録された像に基づいて機器の特定の領域を強調表示し、たとえば、図４Ｂに示されているようにユーザのギター上にギターコードを強調表示することができる。溶接されている物体の温度またはかなづちで釘を叩くために使用される力など、２次デバイスによって測定されたデータがユーザに表示され、専門家によって記録された対応するデータと比較され得る。ＸＲシステム２３０はまた、ユーザがタスクを通してそれらの進行を追跡するのを助けるための、たとえば、特定の色を用いて機械的アセンブリ上で締められるべきいくつかのファスナーを強調表示し、締められると、各ファスナーの色を変えるための情報を記憶することができる。
【００５９】
ＸＲシステム２３０はまた、可変速度で専門家の手のモデルをレンダリングすることができる。たとえば、ＸＲシステム２３０は、リアルタイムで専門家の手のモデルをレンダリングすることができる。別の例では、専門家の手は、それらが複雑なタスクを実施する、たとえば、間断なく複数のギターコードを演奏するとき、ユーザが専門家の手および指のモーションを追跡するのを助けるためにより遅い速度でレンダリングされ得る。モデルがより低い速度でレンダリングされた場合、レンダリングされたモデルのモーションは、記録されたフレームのレートが十分に高くなかった、たとえば、６０フレーム毎秒を超えなかった場合、ユーザには滑らかに見えないことがある。専門家の手のより滑らかなレンダリングを与えるために、専門家の手のモーションのレートおよび各フレーム間の時間ステップに基づいて専門家の手の表現にフレームを追加するために補間が使用され得る。
【００６０】
高いフレームレートにおいてリアルタイムで専門家の手のモデルをレンダリングすることは、かなりの計算処理を伴うこともある。ＸＲシステム２３０上のオンボードプロセッサがそのような条件下でモデルをレンダリングするのに十分でない場合、レンダリングプロセスは、ＸＲシステム２３０上のオンボードプロセッサと、リモートコンピュータ、サーバ、またはスマートフォンとの間で分散されることもある。図７Ａおよび図７Ｂに示されているように、レンダリングプロセスが複数のデバイスの間で分散される場合、専門家の手のレンダリングが、ＸＲデバイス２３１とリモートコンピュータまたはサーバとの間の何らかのレイテンシによって中断されないことを保証するために、デバイスを適切に同期させるための追加の方法が使用され得る。
【００６１】
図７Ａは、分散型レンダリングのための一般的なシステムアーキテクチャ７００を示す。サーバによってホストされたアプリケーションプログラミングインターフェース（ＡＰＩ）は、システム７００を通して、データにアクセスする、データをアップロード、ダウンロード、削除などするための既存のサービスの定義のセットを与える。クラウド分類器７４２が、専門家の手を検出する。クラウドレンダリングエンジン７４４が、専門家の手または他の身体部分をレンダリングする。クラウド分類器が、専門家の手を検出する。および、ユーザログインを伴うウェブサイトとして実装され得るクラウド学習管理システム（ＬＭＳ）７４８が、たとえば、ソーシャルメディアプロファイルなどを用いて技能開発を追跡する。（クラウド分類器７４２、クラウドレンダリングエンジン７４４、およびクラウドＬＭＳ７４８は、当業者によって容易に理解されるように、１つまたは複数のネットワーク化されたコンピュータを用いて実装され得る。）
【００６２】
ＸＲデバイスは、図７Ｂに示されているプロセス７５０を使用してクラウドＬＭＳ７４８からのレッスンに従ってユーザに対してレンダリングされた手を表示する。このプロセスは、現実の特徴（たとえば、ユーザの手および他の物体の位置）を推定することと（７５２）、ユーザの手の特徴を推定することと（７５４）、クラウドレンダリングエンジン７４４を用いて専門家の手のビットマップをレンダリングすることと（７５６）、ＸＲデバイスによる専門家の手のローカルレンダリングにビットマップを適用することとを伴う。
クラウドレンダリングエンジン７４４を用いて専門家の手のビットマップをレンダリングすることは、ＸＲデバイスに対する計算負荷を低減し、レイテンシを低減し、ユーザの体験を改善する。
結び
【００６３】
様々な本発明の実施形態が本明細書で説明および図示されたが、当業者は、本明細書で説明される、機能を実施するための、ならびに／あるいは結果および／または利点のうちの１つまたは複数を得るための様々な他の手段および／または構造を容易に想定することになり、そのような変形形態および／または変更形態の各々は、本明細書で説明される本発明の実施形態の範囲内にあると考えられる。より一般的には、当業者は、本明細書で説明されるすべてのパラメータ、寸法、材料、および構成が、例示的なものであること、ならびに実際のパラメータ、寸法、材料、および／または構成が、本発明の教示がそれのために使用される特定の１つまたは複数の適用例によって決まることになることを容易に諒解するであろう。当業者は、本明細書で説明される特定の本発明の実施形態の多くの等価物を認識するか、またはルーチンに過ぎない実験を使用してそれらの等価物を確認することが可能であろう。したがって、上記の実施形態は単に例として提示されていること、ならびに添付の特許請求の範囲およびその等価物の範囲内で、本発明の実施形態は、具体的に説明および請求されるもの以外の方法で実践され得ることを理解されたい。本開示の本発明の実施形態は、本明細書で説明される、各個々の特徴、システム、物品、材料、キット、および／または方法を対象とする。加えて、２つまたはそれ以上のそのような特徴、システム、物品、材料、キット、および／または方法の任意の組合せは、そのような特徴、システム、物品、材料、キット、および／または方法が相互に矛盾しない場合、本開示の本発明の範囲内に含まれる。
【００６４】
また、様々な発明的概念が、１つまたは複数の方法として実施され得、それらの例が与えられた。方法の一部として実施される行為は、任意の好適なやり方で順序付けられ得る。したがって、例示的な実施形態において連続行為として示されていても、行為が、同時にいくつかの行為を実施することを含み得る、示されているものとは異なる順序で実施される実施形態が構成され得る。
【００６５】
本明細書で定義および使用されるすべての定義は、辞書の定義、参照により組み込まれる文献における定義、および／または定義された用語の通常の意味よりも優先すると理解されるべきである。
【００６６】
明細書においておよび特許請求の範囲において本明細書で使用される不定冠詞「１つの（ａ）」および「１つの（ａｎ）」は、明らかにそれとは反対に示されない限り、「少なくとも１つの」を意味すると理解されるべきである。
【００６７】
明細書においておよび特許請求の範囲において本明細書で使用される「および／または」という句は、そのように結合された要素のうちの「いずれかまたはその両方」、すなわち、いくつかの場合には共同で存在し、他の場合には分離的に存在する要素を意味すると理解されるべきである。「および／または」を用いて列挙された複数の要素は、同じ様式で、すなわち、そのように結合された要素のうちの「１つまたは複数」と解釈されるべきである。「および／または」節よって具体的に特定された要素以外の他の要素が、具体的に特定されたそれらの要素に関係するか関係しないかにかかわらず随意に存在し得る。したがって、非限定的な例として、「Ａおよび／またはＢ」への言及は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」などのオープンエンドな言葉とともに使用されるとき、一実施形態では、Ａのみ（Ｂ以外の要素を随意に含む）を指し、別の実施形態では、Ｂのみ（Ａ以外の要素を随意に含む）を指し、また別の実施形態では、ＡとＢの両方（他の要素を随意に含む）を指すなどであり得る。
【００６８】
明細書においておよび特許請求の範囲において本明細書で使用されるとき、「または」は、上記で定義された「および／または」と同じ意味を有すると理解されるべきである。たとえば、列挙中の項目を分離するとき、「または」あるいは「および／または」は包含的である、すなわち、いくつかの要素または要素の列挙、および随意に追加の列挙されていない項目のうちの少なくとも１つを含むだけでなく、それらのうちの２つ以上を含むと解釈されたい。「のうちの１つのみ（ｏｎｌｙ  ｏｎｅ  ｏｆ）」または「のうちの厳密に１つ（ｅｘａｃｔｌｙ  ｏｎｅ  ｏｆ）」など、それとは反対に明らかに示される用語、あるいは特許請求の範囲において使用されるときの「からなる（ｃｏｎｓｉｓｔｉｎｇ  ｏｆ）」のみが、いくつかの要素または要素の列挙のうちの厳密に１つの要素の包含を指すものである。概して、本明細書で使用される「または」という用語は、「いずれか（ｅｉｔｈｅｒ）」、「の一方（ｏｎｅ  ｏｆ）」、「のうちの１つのみ（ｏｎｌｙ  ｏｎｅ  ｏｆ）」または「のうちの厳密に１つ（ｅｘａｃｔｌｙ  ｏｎｅ  ｏｆ）」など、排他性の用語が先行するときだけ、排他的代替（すなわち、「一方または他方であるが両方でない」）を示すと解釈されたい。「から主としてなる（ｃｏｎｓｉｓｔｉｎｇ  ｅｓｓｅｎｔｉａｌｌｙ  ｏｆ）」は、特許請求の範囲において使用されるとき、特許法の分野において使用されるそれの通常の意味を有するものとする。
【００６９】
明細書においておよび特許請求の範囲において本明細書で使用されるとき、「少なくとも１つの」という句は、１つまたは複数の要素の列挙に関して、要素の列挙中の要素のうちのいずれか１つまたは複数から選択された少なくとも１つの要素を意味するが、要素の列挙内で具体的に列挙されたあらゆる要素のうちの少なくとも１つを必ずしも含むとは限らず、要素の列挙中の要素の任意の組合せを除外しないと理解されるべきである。この定義はまた、「少なくとも１つの」という句が言及する要素の列挙内で具体的に特定された要素以外の要素が、具体的に特定されたそれらの要素に関係するか関係しないかにかかわらず随意に存在し得ることを可能にする。したがって、非限定的な例として、「ＡおよびＢのうちの少なくとも１つ」（あるいは等価的に「ＡまたはＢのうちの少なくとも１つ」、あるいは等価的に「Ａおよび／またはＢのうちの少なくとも１つ」）は、一実施形態では、Ｂが存在しない（および随意にＢ以外の要素を含む）、随意に２つ以上を含む少なくとも１つのＡを指し、別の実施形態では、Ａが存在しない（および随意にＡ以外の要素を含む）、随意に２つ以上を含む少なくとも１つのＢを指し、また別の実施形態では、（随意に他の要素を含む）随意に２つ以上を含む少なくとも１つのＡ、および随意に２つ以上を含む少なくとも１つのＢなどを指すことがある。
【００７０】
特許請求の範囲では、ならびに上記の明細書では、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「搬送する（ｃａｒｒｙｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、「保持する（ｈｏｌｄｉｎｇ）」、「から構成された（ｃｏｍｐｏｓｅｄ  ｏｆ）」など、すべての移行句はオープンエンドであると、すなわち、限定はしないが含む（ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）を意味すると理解されるべきである。「からなる（ｃｏｎｓｉｓｔｉｎｇ  ｏｆ）」および「から主としてなる（ｃｏｎｓｉｓｔｉｎｇ  ｅｓｓｅｎｔｉａｌｌｙ  ｏｆ）」という移行句のみが、米国特許庁特許審査手続マニュアルのセクション２１１１．０３に記載されているように、それぞれ、限定的または半限定的な移行句であるものとする。
【図１】
2020522763.tif 000003
【図２Ａ】
2020522763.tif 000004
【図２Ｂ】
2020522763.tif 000005
【図２Ｃ】
2020522763.tif 000006
【図２Ｄ】
2020522763.tif 000007
【図３】
2020522763.tif 000008
【図４Ａ】
2020522763.tif 000009
【図４Ｂ】
2020522763.tif 000010
【図５Ａ】
2020522763.tif 000011
【図５Ｂ】
2020522763.tif 000012
【図６Ａ】
2020522763.tif 000013
【図６Ｂ】
2020522763.tif 000014
【図７Ａ】
2020522763.tif 000015
【図７Ｂ】
2020522763.tif 000016
【国際調査報告】
2020522763.tif 000017