【手続補正書】
【提出日】令和2年9月11日(2020.9.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
手話認識のためのウェアラブルシステムであって、前記ウェアラブルシステムは、
仮想コンテンツをユーザに提示するように構成される頭部搭載型ディスプレイと、
前記ユーザの環境からオーディオを検出するように構成されるオーディオセンサと、
前記ユーザの前記環境を結像するように構成される外向きに面した結像システムと、
前記頭部搭載型ディスプレイおよび前記結像システムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記外向きに面した結像システムによって捕捉された複数の画像を受信することと、
オブジェクト認識装置を用いて、前記複数の画像内の少なくとも１つの手のセットを検出することと、
前記少なくとも１つの手のセットの相対的なサイズを決定することと、
前記少なくとも１つの手のセットの前記相対的なサイズに基づいて、複数の人物の中から、前記少なくとも１つの手のセットのソースを識別することと、
前記オブジェクト認識装置を用いて、前記複数の画像内の前記少なくとも１つの手のセットによる少なくとも１つのジェスチャを検出することと、
前記少なくとも１つのジェスチャの前記ソースが、前記ユーザ以外の人物に属することを決定することと、
前記決定に応答して、手話における前記少なくとも１つのジェスチャの意味を認識することと、
前記ユーザと関連付けられたコンテキスト情報に基づいて、標的言語を識別することであって、前記コンテキスト情報は、前記オーディオセンサによって取得されるオーディオデータの分析から取得される前記ユーザの発話を含む、ことと、
前記認識された意味に基づいて、前記少なくとも１つのジェスチャの前記ソースが前記ユーザ以外の前記人物に属することの決定にさらに基づいて、前記少なくとも１つのジェスチャを前記標的言語に翻訳することと、
前記標的言語への前記ジェスチャの翻訳に少なくとも部分的に基づいて、仮想コンテンツを生成することと、
前記頭部搭載型ディスプレイに、前記仮想コンテンツを前記ユーザにレンダリングさせることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
【請求項２】
前記結像システムは、前記ユーザの周囲を結像するように構成される広角カメラのうちの１つ以上のものを備える、請求項１に記載のウェアラブルシステム。
【請求項３】
前記ハードウェアプロセッサは、前記ジェスチャと関連付けられた補助情報にアクセスするようにさらにプログラムされ、前記頭部搭載型ディスプレイによってレンダリングされた仮想コンテンツは、前記補助情報を備える、請求項１に記載のウェアラブルシステム。
【請求項４】
前記ユーザと関連付けられたコンテキスト情報に基づいて、標的言語を識別するために、前記ハードウェアプロセッサは、
前記ウェアラブルシステムによって捕捉されるような前記ユーザの発話、前記ユーザの場所、または前記言語を前記標的言語として選択する前記ユーザからの入力のうちの少なくとも１つに基づいて、前記標的言語をユーザによって理解される言語として設定する
ようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項５】
前記ハードウェアプロセッサは、前記標的言語が発話された言語であるかどうかを決定し、前記標的言語が発話された言語であることの決定に応答して、前記標的言語において、前記翻訳されたジェスチャと関連付けられた発話のオーディオストリームを再生するようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項６】
前記ハードウェアプロセッサは、前記標的言語が別の手話であるかどうかを決定し、前記標的言語が別の手話であることの決定に応答して、前記他の手話における別のジェスチャのグラフィックを前記ジェスチャの翻訳として提示するようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項７】
前記手話における前記ジェスチャの意味を認識するために、前記ハードウェアプロセッサは、深層ニューラルネットワーク技法を前記結像システムによって捕捉された前記画像の少なくとも一部に適用するようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項８】
前記ハードウェアプロセッサは、前記ユーザの場所に少なくとも部分的に基づいて、前記手話を候補手話のリストから識別するようにさらにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項９】
前記認識された意味に基づいて、前記ジェスチャを前記標的言語に翻訳するために、前記ハードウェアプロセッサは、前記ジェスチャを前記標的言語におけるテキスト表現に変換するようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項１０】
前記ハードウェアプロセッサは、前記検出されたジェスチャのソースを決定し、前記検出されたジェスチャのソースが前記ウェアラブルシステムのユーザであることの決定に応じて、前記標的言語における前記ジェスチャの翻訳を別のユーザのウェアラブルシステムに通信するようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項１１】
前記ハードウェアプロセッサは、前記仮想コンテンツを前記頭部搭載型ディスプレイによる表示から放逐するための条件を検出し、前記条件の検出に応答して、前記仮想コンテンツを前記頭部搭載型ディスプレイによる表示から除去するようにプログラムされる、請求項１に記載のウェアラブルシステム。
【請求項１２】
前記条件は、持続時間、ユーザの手のジェスチャ、またはユーザ入力デバイスからの入力のうちの少なくとも１つを含む、請求項１１に記載のウェアラブルシステム。
【請求項１３】
前記画像は、ビデオの１つ以上のフレームを含む、請求項１に記載のウェアラブルシステム。
【請求項１４】
手話認識のための方法であって、前記方法は、
ウェアラブルシステムの制御下において、前記ウェアラブルシステムは、前記ウェアラブルシステムのユーザに仮想コンテンツを提示するように構成される頭部搭載型ディスプレイを備え、
前記ウェアラブルシステムの結像システムによって捕捉された画像を受信することと、
前記画像を分析し、人物のジェスチャを検出することと、
前記人物のジェスチャと関連付けられた手のセットの相対的なサイズを決定することと、
前記相対的なサイズに基づいて、前記人物の前記ジェスチャのソースを識別することと、
前記人物のジェスチャの前記ソースが前記ユーザ以外の人物に属することを決定することと、
前記検出されたジェスチャに少なくとも部分的に基づいて、手話における通信の存在を検出することと、
前記人物のジェスチャが前記ユーザのジェスチャではない場合、前記手話における前記ジェスチャの意味を認識することと、
前記ジェスチャが翻訳されるであろう標的言語を識別することであって、前記標的言語を識別することは、前記ウェアラブルシステムによって取得されたオーディオデータを分析し、前記ユーザの発話を検出することを含む、ことと、
前記認識された意味に基づいて、前記人物のジェスチャの前記ソースが前記ユーザ以外の人物に属することの決定にさらに基づいて、前記ジェスチャを前記標的言語に翻訳することと、
前記標的言語への前記ジェスチャの翻訳に少なくとも部分的に基づいて、仮想コンテンツを生成することと、
前記頭部搭載型ディスプレイに、前記仮想コンテンツを前記ユーザにレンダリングさせることと
を含む、方法。
【請求項１５】
前記ウェアラブルシステムは、第２のウェアラブルシステムによってレンダリングするために第２の仮想コンテンツを前記第２のウェアラブルシステムに通信するようにさらに構成される、請求項１４に記載の方法。
【請求項１６】
前記認識された意味に基づいて、前記ジェスチャを前記標的言語に翻訳することは、前記ジェスチャを前記標的言語におけるテキスト表現に変換することを含む、請求項１４に記載の方法。
【請求項１７】
前記仮想コンテンツは、前記標的言語におけるテキスト表現または前記標的言語における別のものを表すグラフィックを備える、請求項１４に記載の方法。
【請求項１８】
前記手話における前記ジェスチャの意味を認識することは、深層ニューラルネットワーク技法を前記結像システムによって捕捉された画像の少なくとも一部に適用することを含む、請求項１４に記載の方法。
【請求項１９】
前記手話における通信の存在を検出することは、
前記手話を候補手話のリストから識別することと、
前記検出されたジェスチャが前記手話における表現に対応することを決定することと
を含む、請求項１４に記載の方法。
【請求項２０】
前記検出されたジェスチャが前記手話における表現に対応することを決定することは、前記ジェスチャを行っている前記人物の唇の移動および前記人物が前記ジェスチャを行っている間に捕捉されたオーディオデータと関連させて前記ジェスチャを分析することを含む、請求項１９に記載の方法。
【請求項２１】
コンピューティングシステムであって、
ハードウェアコンピュータプロセッサと、
その上に記憶されているソフトウェア命令を有する非一過性コンピュータ可読媒体であって、前記ソフトウェア命令は、
１つ以上のネットワークを介して複数のウェアラブルＡＲデバイスと通信することと、
前記複数のウェアラブルＡＲデバイスのうちの第１のウェアラブルＡＲデバイスの外向きに面した結像システムによって捕捉された画像情報を受信することであって、前記画像情報は、前記第１のウェアラブルＡＲデバイスの第１の装着者の１つ以上の手の画像を含む、ことと、
前記第１の装着者の前記１つ以上の手の画像の分析に少なくとも基づいて、前記受信された画像情報内の手話を自動的に検出することと、
前記検出された手話をテキストに変換することと、
前記１つ以上のネットワークを通して、前記複数のウェアラブルＡＲデバイスの中の第２のウェアラブルＡＲデバイスに前記変換されたテキストを伝送することであって、前記第２のウェアラブルＡＲデバイスは、前記変換されたテキストを前記第２のウェアラブルＡＲデバイスの第２の装着者に表示するように構成される、ことと
を含む動作を前記コンピューティングシステムに実施させるように前記ハードウェアコンピュータプロセッサによって実行可能である、システム。
【請求項２２】
前記ソフトウェア命令は、前記１つ以上のネットワークを通して、前記第１のウェアラブルＡＲデバイスの前記第１の装着者の世界マップを伝送することを前記コンピューティングシステムに行わせるようにさらに構成される、請求項２１に記載のシステム。
【請求項２３】
前記第１の装着者の前記世界マップは、前記第１のウェアラブルＡＲデバイスの前記第１の装着者のアバタを含む、請求項２２に記載のシステム。
【請求項２４】
前記ソフトウェア命令は、標的言語を識別することを前記コンピューティングシステムに行わせるようにさらに構成される、請求項２１に記載のシステム。
【請求項２５】
前記ソフトウェア命令は、前記第２のＡＲデバイスによって捕捉されるような発話、前記第２のＡＲデバイスの場所、または、前記第２のＡＲデバイスの装着者からの入力のうちの少なくとも１つに基づいて、前記第２のＡＲデバイスの前記第２の装着者によって理解される標的言語を識別することを前記コンピューティングシステムに行わせるようにさらに構成される、請求項２１に記載のシステム。
【請求項２６】
前記変換されたテキストは、前記標的言語である、請求項２５に記載のシステム。
【請求項２７】
手話を自動的に検出することは、前記受信された画像情報内の一連のジェスチャを検出することを含む、請求項２１に記載のシステム。
【請求項２８】
前記検出された手話をテキストに変換することは、手話辞書にアクセスし、検出されたジェスチャをテキストに翻訳することを含む、請求項２７に記載のシステム。
【請求項２９】
前記検出された手話をテキストに変換することは、機械学習アルゴリズムの使用を含む、請求項２１に記載のシステム。
【請求項３０】
前記ソフトウェア命令は、前記検出された手話のソースを決定することであって、前記ソースは、人物を含む、ことと、前記決定されたソースに基づいて、前記検出された手話を変換することとを前記コンピューティングシステムに行わせるようにさらに構成される、請求項２１に記載のシステム。
【請求項３１】
前記検出された手話のソースを決定することは、少なくとも前記画像情報内の前記１つ以上の手のサイズに基づく、請求項３０に記載のシステム。
【請求項３２】
前記ソフトウェア命令は、前記変換されたテキストに基づいて、オーディオストリームを前記第２のウェアラブルＡＲデバイスに伝送することを前記コンピューティングシステムに行わせるようにさらに構成される、請求項２１に記載のシステム。
【請求項３３】
ウェアラブルＡＲデバイス間の通信を促進するための方法であって、前記方法は、
１つ以上のネットワークを介して複数のウェアラブルＡＲデバイスと通信することと、
前記複数のウェアラブルＡＲデバイスのうちの第１のウェアラブルＡＲデバイスの外向きに面した結像システムによって捕捉された画像情報を受信することであって、前記画像情報は、前記第１のウェアラブルＡＲデバイスの第１の装着者の１つ以上の手の画像を含む、ことと、
前記第１の装着者の前記１つ以上の手の画像の分析に少なくとも基づいて、前記受信された画像情報内の手話を自動的に検出することと、
前記検出された手話をテキストに変換することと、
前記１つ以上のネットワークを通して、前記複数のウェアラブルＡＲデバイスの中の第２のウェアラブルＡＲデバイスに前記変換されたテキストを伝送することであって、前記第２のウェアラブルＡＲデバイスは、前記変換されたテキストを前記第２のウェアラブルＡＲデバイスの第２の装着者に表示するように構成される、ことと
を含む、方法。
【請求項３４】
前記１つ以上のネットワークを通して、前記第１のウェアラブルＡＲデバイスの前記第１の装着者の世界マップを伝送することを含む、請求項３３に記載の方法。
【請求項３５】
前記第１の装着者の前記世界マップは、前記第１のウェアラブルＡＲデバイスの前記第１の装着者のアバタを含む、請求項３４に記載の方法。
【請求項３６】
標的言語を識別することを含む、請求項３３に記載の方法。
【請求項３７】
前記第２のＡＲデバイスによって捕捉されるような発話、前記第２のＡＲデバイスの場所、または、前記第２のＡＲデバイスの装着者からの入力のうちの少なくとも１つに基づいて、前記第２のＡＲデバイスの前記第２の装着者によって理解される標的言語を識別することを含む、請求項３３に記載の方法。
【請求項３８】
前記変換されたテキストは、前記標的言語である、請求項３７に記載の方法。
【請求項３９】
手話を自動的に検出することは、前記受信された画像情報内の一連のジェスチャを検出することを含む、請求項３３に記載の方法。
【請求項４０】
前記検出された手話をテキストに変換することは、手話辞書にアクセスし、検出されたジェスチャをテキストに翻訳することを含む、請求項３３に記載の方法。
【請求項４１】
前記検出された手話をテキストに変換することは、機械学習アルゴリズムの使用を含む、請求項３３に記載の方法。
【請求項４２】
前記検出された手話のソースを決定することであって、前記ソースは、人物を含む、ことと、
前記決定されたソースに基づいて、前記検出された手話を変換することと
を含む、請求項３３に記載の方法。
【請求項４３】
前記画像情報内の前記１つ以上の手のサイズに基づいて、前記検出された手話のソースが前記第１のウェアラブルＡＲデバイスの装着者であることを決定することを含む、請求項３３に記載の方法。
【請求項４４】
前記変換されたテキストに基づいて、オーディオストリームを前記第２のウェアラブルＡＲデバイスに伝送することを含む、請求項３３に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
手話認識のためのウェアラブルシステムであって、前記ウェアラブルシステムは、
仮想コンテンツをユーザに提示するように構成される頭部搭載型ディスプレイと、
前記ユーザの環境を結像するように構成される結像システムと、
前記頭部搭載型ディスプレイおよび前記結像システムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記結像システムによって捕捉された画像を受信することと、
オブジェクト認識装置を用いて、前記画像内のジェスチャを検出することと、
手話における前記ジェスチャの意味を認識することと、
前記ユーザと関連付けられたコンテキスト情報に基づいて、標的言語を識別することと、
前記認識された意味に基づいて、前記ジェスチャを前記標的言語に翻訳することと、
少なくとも部分的に、前記標的言語への前記ジェスチャの翻訳に基づいて、仮想コンテンツを生成することと、
前記頭部搭載型ディスプレイに、前記仮想コンテンツをユーザにレンダリングさせることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目２）
前記結像システムは、前記ユーザの周囲を結像するように構成される広角カメラのうちの１つ以上のものを備える、項目１に記載のウェアラブルシステム。
（項目３）
前記ハードウェアプロセッサはさらに、前記ジェスチャと関連付けられた補助情報にアクセスするようにプログラムされ、前記頭部搭載型ディスプレイによってレンダリングされた仮想コンテンツは、前記補助情報を備える、項目１に記載のウェアラブルシステム。
（項目４）
前記ユーザと関連付けられたコンテキスト情報に基づいて、標的言語を識別するために、前記ハードウェアプロセッサは、
前記ウェアラブルシステムによって捕捉されるような前記ユーザの発話、前記ユーザの場所、または前記言語を前記標的言語として選択する前記ユーザからの入力のうちの少なくとも１つに基づいて、前記標的言語をユーザによって理解される言語として設定する
ようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目５）
前記ハードウェアプロセッサは、前記標的言語が発話された言語であるかどうかを決定し、前記標的言語が発話された言語であることの決定に応答して、前記標的言語において、前記翻訳されたジェスチャと関連付けられた発話のオーディオストリームを再生するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目６）
前記ハードウェアプロセッサは、前記標的言語が別の手話であるかどうかを決定し、前記標的言語が別の手話であることの決定に応答して、前記他の手話における別のジェスチャのグラフィックを前記ジェスチャの翻訳として提示するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目７）
前記手話における前記ジェスチャの意味を認識するために、前記ハードウェアプロセッサは、深層ニューラルネットワーク技法を前記結像システムによって捕捉された前記画像の一部に適用するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目８）
前記ハードウェアプロセッサはさらに、少なくとも部分的に、前記ユーザの場所に基づいて、前記手話を候補手話のリストから識別するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目９）
前記認識された意味に基づいて、前記ジェスチャを前記標的言語に翻訳するために、前記ハードウェアプロセッサは、前記ジェスチャを前記標的言語におけるテキスト表現に変換するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目１０）
前記ハードウェアプロセッサは、前記検出されたジェスチャ源を決定し、前記検出されたジェスチャ源が前記ウェアラブルシステムのユーザであることの決定に応じて、前記標的言語における前記ジェスチャの翻訳を別のユーザのウェアラブルシステムに通信するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目１１）
前記ハードウェアプロセッサは、前記仮想コンテンツを前記頭部搭載型ディスプレイによる表示から放逐することからの条件を検出し、前記条件の検出に応答して、前記仮想コンテンツを前記頭部搭載型ディスプレイによる表示から除去するようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目１２）
前記条件は、持続時間、ユーザの手のジェスチャ、またはユーザ入力デバイスからの入力のうちの少なくとも１つを含む、項目１１に記載のウェアラブルシステム。
（項目１３）
前記画像は、ビデオの１つ以上のフレームを含む、項目１に記載のウェアラブルシステム。
（項目１４）
手話認識のための方法であって、前記方法は、
結像システムによって捕捉された画像を受信することと、
前記画像を分析し、ユーザのジェスチャを検出することと、
少なくとも部分的に、前記検出されたジェスチャに基づいて、手話における通信の存在を検出することと、
前記手話における前記ジェスチャの意味を認識することと、
前記ジェスチャが翻訳されるであろう標的言語を識別することと、
前記認識された意味に基づいて、前記ジェスチャを前記標的言語に翻訳することと、
少なくとも部分的に、前記標的言語への前記ジェスチャの翻訳に基づいて、仮想コンテンツを生成することと、
頭部搭載型ディスプレイに、前記仮想コンテンツをユーザにレンダリングさせることと
を含む、方法。
（項目１５）
前記画像は、複合現実コンテンツを提示するように構成される第１のウェアラブルデバイスから受信される一方、前記仮想コンテンツは、レンダリングのために、第２のウェアラブルデバイスに通信され、前記第１のウェアラブルデバイスおよび前記第２のウェアラブルデバイスは、複合現実コンテンツをユーザに提示するように構成される、項目１４に記載の方法。
（項目１６）
前記認識された意味に基づいて、前記ジェスチャを前記標的言語に翻訳することは、前記ジェスチャを前記標的言語におけるテキスト表現に変換することを含む、項目１４に記載の方法。
（項目１７）
前記仮想コンテンツは、前記標的言語におけるテキスト表現または前記標的言語における別のものを表すグラフィックを備える、項目１４に記載の方法。
（項目１８）
前記手話における前記ジェスチャの意味を認識することは、深層ニューラルネットワーク技法を前記結像システムによって捕捉された画像の一部に適用することを含む、項目１４に記載の方法。
（項目１９）
前記手話における通信の存在を検出することは、
前記手話を候補手話のリストから識別することと、
前記検出されたジェスチャが前記手話における表現に対応することを決定することと
を含む、項目１４に記載の方法。
（項目２０）
前記検出されたジェスチャが前記手話における表現に対応することを決定することは、前記ジェスチャを行っている人物の唇の移動および前記ユーザが前記ジェスチャを行っている間に捕捉されたオーディオデータと関連させて前記ジェスチャを分析することを含む、項目１９に記載の方法。