【手続補正書】
【提出日】令和3年4月16日(2021.4.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
第１の入力モードにおける第１のユーザ入力データを入手するように構成されるウェアラブルシステムの第１のセンサと、
第２の入力モードにおける第２のユーザ入力データを入手するように構成される前記ウェアラブルシステムの第２のセンサであって、前記第２の入力モードは、前記第１の入力モードと異なる、第２のセンサと、
前記第１および第２のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記第１の入力モードにおける第１のユーザ入力データおよび前記第２の入力モードにおける第２のユーザ入力データを備えるマルチモード入力を受信することと、
前記第１のユーザ入力データに基づいて、相互作用のための第１のセットの候補オブジェクトを識別することと、
前記第２のユーザ入力データに基づいて、相互作用のための第２のセットの候補オブジェクトを識別することと、
前記第１のユーザ入力データおよび前記第２のユーザ入力データの組み合わせに基づいて、標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定することと、
前記第１のユーザ入力データまたは前記第２のユーザ入力データのうちの少なくとも１つに基づいて、前記標的仮想オブジェクト上でのユーザインターフェース動作を決定することと、
前記ユーザインターフェース動作を前記標的仮想オブジェクト上で実施させる、マルチモード入力コマンドを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
【請求項２】
前記マルチモード入力は、以下の入力モード、すなわち、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声のうちの少なくとも２つを備える、請求項１に記載のシステム。
【請求項３】
前記ユーザインターフェース動作は、前記標的仮想オブジェクトを選択する、移動させる、またはリサイズすることのうちの少なくとも１つを備える、請求項１に記載のシステム。
【請求項４】
前記ハードウェアプロセッサはさらに、前記ユーザインターフェース動作における前記標的仮想オブジェクトのための標的場所、配向、または移動のうちの少なくとも１つを決定するように構成される、請求項１に記載のシステム。
【請求項５】
前記標的仮想オブジェクトのための標的場所を決定するために、前記ハードウェアプロセッサは、前記標的仮想オブジェクトを載上するための物理的環境内の作業可能表面を識別するようにプログラムされる、請求項４に記載のシステム。
【請求項６】
前記作業可能表面は、
前記物理的環境内の物理的オブジェクト上の着目点（ＰＯＩ）に関する距離関数を計算することと、
平面公差外の前記ＰＯＩのうちの１つ以上のものを排除することと、
残りのＰＯＩに基づいて、前記作業可能表面の輪郭を描くことと
によって識別される、請求項５に記載のシステム。
【請求項７】
前記ハードウェアプロセッサは、前記標的仮想オブジェクトを前記標的場所の配向に合致するように自動的に配向するようにプログラムされる、請求項５に記載のシステム。
【請求項８】
前記動作は、前記第１の入力モードにおける第１のユーザ入力データに基づいて決定され、前記対象または前記パラメータのうちの少なくとも１つは、前記第１の入力モードおよび前記第２の入力モードの組み合わせに基づいて決定される、請求項１に記載のシステム。
【請求項９】
前記第１の入力モードは、前記ウェアラブルシステムのユーザの場所情報に基づく間接入力モードを備える、請求項１に記載のシステム。
【請求項１０】
前記ハードウェアプロセッサは、オブジェクトが前記ユーザの閾値範囲内にあることの決定に応答して、仮想オブジェクトを前記第１のセットのオブジェクトおよび前記第２のセットのオブジェクトからの前記標的仮想オブジェクトとして識別するようにプログラムされる、請求項９に記載のシステム。
【請求項１１】
前記ユーザインターフェース動作は、仮想アプリケーションと関連付けられ、前記仮想アプリケーションは、前記第１のセンサまたは前記第２のセンサのうちの一方に対してより応答性であるようにプログラムされる、請求項１に記載のシステム。
【請求項１２】
前記標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、前記第１のユーザ入力データおよび前記第２のユーザ入力データに基づいて、ツリーベースの分析を前記第１のセットの候補オブジェクトおよび前記第２のセットの前記候補オブジェクト上で実施するようにプログラムされる、請求項１に記載のシステム。
【請求項１３】
前記標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、
前記第１のユーザ入力データに基づいて、前記第１のセットの候補オブジェクト内の候補オブジェクトに関する第１の信頼度スコアを計算することと、
前記第２のユーザ入力データに基づいて、前記候補オブジェクトに関する第２の信頼度スコアを計算することと、
前記候補オブジェクトに関する集約されたスコアを少なくとも前記第１の信頼度スコアおよび前記第２の信頼度から計算することと、
前記集約されたスコアが閾値条件を満たすことの決定に応答して、前記候補オブジェクトを前記標的仮想オブジェクトとして設定することと
を行うようにプログラムされる、請求項１２に記載のシステム。
【請求項１４】
前記標的仮想オブジェクトを決定するために、前記ハードウェアプロセッサは、
視野内の前記仮想オブジェクトの周囲の空間の均一性、
前記ユーザの視野外にある前記仮想オブジェクトの第２の部分に対する、前記ユーザの視野内にある前記仮想オブジェクトの第１の部分に関する比例面積、または
前記仮想オブジェクトとのユーザの相互作用の履歴分析
のうちの少なくとも１つを計算することによって、仮想オブジェクトに関する信頼度スコアを計算するようにプログラムされる、請求項１に記載のシステム。
【請求項１５】
前記ハードウェアプロセッサはさらに、前記マルチモード入力に基づいて、前記ハードウェアプロセッサをトリガし、前記標的仮想オブジェクトおよび前記ユーザインターフェース動作を決定する、相互作用イベントに関する開始条件を検出するようにプログラムされる、請求項１に記載のシステム。
【請求項１６】
方法であって、
ユーザ入力データを入手するように構成される複数のセンサと通信するウェアラブルシステムのハードウェアプロセッサの制御下で、
ユーザと環境の相互作用イベントに関する前記ユーザ入力データを前記複数のセンサから受信することと、
前記ユーザ入力データを分析し、前記環境と相互作用するためのマルチモード入力を識別することであって、前記マルチモード入力は、第１の入力チャネルにおける第１の入力および第２の入力チャネルにおける第２の入力を備える、ことと、
前記第１の入力および前記第２の入力に基づいて、前記環境との前記相互作用イベントを記述するために、対象、パラメータ、または動作のうちの１つ以上のものを備える、マルチモード入力コマンドを決定することであって、前記対象、前記パラメータ、または前記動作のうちの少なくとも１つは、前記第１の入力および前記第２の入力の組み合わせに基づいて識別される、ことと、
前記ウェアラブルデバイスに、前記相互作用イベントのための前記マルチモード入力コマンドを実行させることと
を含む、方法。
【請求項１７】
システムであって、
３次元（３Ｄ）仮想コンテンツをユーザに提示するように構成されるウェアラブルシステムの頭部搭載型ディスプレイ（ＨＭＤ）と、
個別のモダリティのユーザ入力を受信するように構成される２つ以上のユーザ入力コンポーネントであって、前記ユーザ入力コンポーネントのうちの１つは、音を捕捉するように構成されるオーディオ感知デバイスを備える、ユーザ入力コンポーネントと、
前記ディスプレイおよび前記２つ以上のユーザ入力コンポーネントに通信可能に結合されるハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記オーディオ感知デバイスから、前記ユーザによって発話された１つ以上の単語の発声をエンコードする発話データを受信することと、
前記受信された発話データに少なくとも基づいて、前記ユーザによって発話された前記１つ以上の単語に関する書き起こし記録を取得することと、
前記ディスプレイを制御し、前記取得された書き起こし記録を表すテキスト文字の文字列を前記ユーザに提示することと、
前記２つ以上のユーザ入力コンポーネントの別のものから、別の異なるモダリティのユーザ入力を示すユーザ入力データを受信することと、
前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと、
前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことの決定に応答して、
前記２つ以上のユーザ入力コンポーネントのいずれかから続いて受信されるデータが、前記テキスト文字の特定のサブセットを特定の様式で修正するコマンドを表すかどうかを決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
【請求項１８】
システムであって、
仮想コンテンツをユーザに提示するように構成されるウェアラブルシステムのディスプレイと、
前記ユーザによって発話された単語を捕捉し、発話データを生成するように構成されるオーディオ感知デバイスと、
前記ユーザの視線を追跡するように構成される前記ウェアラブルシステムの眼視線追跡デバイスと、
前記ディスプレイ、前記オーディオ感知デバイス、および前記眼視線追跡デバイスに通信可能に結合されるハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記オーディオ感知デバイスからの前記発話データに少なくとも部分的に基づいて、前記ユーザによって発話された１つ以上の単語のテキストへの書き起こし記録を取得することと、
前記ディスプレイを制御し、前記テキストを前記ユーザに提示することと、
前記眼視線追跡デバイスから受信されたデータに少なくとも基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定することと、
編集アクションを前記提示されたテキストの一部上で実施することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
【請求項１９】
方法であって、
ハードウェアプロセッサの制御下で、
ユーザから発話された入力をマイクロホンから受信することと、
前記発話された入力を複数の単語を含むテキストに変換することと、
ウェアラブルディスプレイに、前記テキストを前記ユーザに提示させることと、
視線追跡システムからのデータに少なくとも基づいて、前記表示されるテキスト内の前記提示されたテキストの一部の選択を受信することと、
前記ユーザに、前記提示されたテキストの一部を編集する機会を提供することと
を含む、方法。
【請求項２０】
方法であって、
マルチモード入力を受信することであって、前記マルチモード入力は、
ウェアラブルデバイスのハードウェアコンポーネントからの第１のユーザ入力であって、前記第１のユーザ入力は、第１のモードのユーザ入力と関連付けられる、第１のユーザ入力と、
第２のユーザ入力であって、前記第２のユーザ入力は、第２のモードのユーザ入力と関連付けられる、第２のユーザ入力と
を含む、ことと、
前記第１のユーザ入力および前記第２のユーザ入力に基づいて、マルチモード入力コマンドを識別することであって、前記マルチモード入力コマンドは、少なくとも、
テキストの少なくとも一部を備える対象と、
前記テキストとの相互作用を備えるコマンド動作と
を備える、ことと、
前記マルチモード入力コマンドを実行し、前記ユーザマルチモード入力の結果をユーザに表示させることと
を含む、方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
別の実施例として、ウェアラブルデバイスは、テキストと相互作用するために、マルチモード入力を解析するように構成されることができる。ウェアラブルデバイスは、音声入力、眼視線、手のジェスチャ、およびトーテム入力等の複数の入力の組み合わせを使用して、テキストを構成（例えば、入力）編集することができる。ウェアラブルデバイスは、ユーザが、第１の入力モード（例えば、音声入力）を利用して、テキストをシステムに書き取らせ、第２の異なる入力モード（例えば、眼視線入力または身体ジェスチャ）を利用して、編集するためのテキストの部分を選択し、第１のモード、第２のモード、さらに別のモード、またはそれらのモードの組み合わせを利用して、選択されたテキストを編集することを可能にしてもよい。
本発明は、例えば、以下を提供する。
（項目１）
システムであって、
第１の入力モードにおける第１のユーザ入力データを入手するように構成されるウェアラブルシステムの第１のセンサと、
第２の入力モードにおける第２のユーザ入力データを入手するように構成される前記ウェアラブルシステムの第２のセンサであって、前記第２の入力モードは、前記第１の入力モードと異なる、第２のセンサと、
前記第１および第２のセンサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記第１の入力モードにおける第１のユーザ入力データおよび前記第２の入力モードにおける第２のユーザ入力データを備えるマルチモード入力を受信することと、
前記第１のユーザ入力データに基づいて、相互作用のための第１のセットの候補オブジェクトを識別することと、
前記第２のユーザ入力データに基づいて、相互作用のための第２のセットの候補オブジェクトを識別することと、
前記第１のユーザ入力データおよび前記第２のユーザ入力データの組み合わせに基づいて、標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定することと、
前記第１のユーザ入力データまたは前記第２のユーザ入力データのうちの少なくとも１つに基づいて、前記標的仮想オブジェクト上でのユーザインターフェース動作を決定することと、
前記ユーザインターフェース動作を前記標的仮想オブジェクト上で実施させる、マルチモード入力コマンドを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記マルチモード入力は、以下の入力モード、すなわち、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声のうちの少なくとも２つを備える、項目１に記載のシステム。
（項目３）
前記ユーザインターフェース動作は、前記標的仮想オブジェクトを選択する、移動させる、またはリサイズすることのうちの少なくとも１つを備える、項目１に記載のシステム。
（項目４）
前記ハードウェアプロセッサはさらに、前記ユーザインターフェース動作における前記標的仮想オブジェクトのための標的場所、配向、または移動のうちの少なくとも１つを決定するように構成される、項目１に記載のシステム。
（項目５）
前記標的仮想オブジェクトのための標的場所を決定するために、前記ハードウェアプロセッサは、前記標的仮想オブジェクトを載上するための物理的環境内の作業可能表面を識別するようにプログラムされる、項目４に記載のシステム。
（項目６）
前記作業可能表面は、
前記物理的環境内の物理的オブジェクト上の着目点（ＰＯＩ）に関する距離関数を計算することと、
平面公差外の前記ＰＯＩのうちの１つ以上のものを排除することと、
残りのＰＯＩに基づいて、前記作業可能表面の輪郭を描くことと
によって識別される、項目５に記載のシステム。
（項目７）
前記ハードウェアプロセッサは、前記標的仮想オブジェクトを前記標的場所の配向に合致するように自動的に配向するようにプログラムされる、項目５に記載のシステム。
（項目８）
前記動作は、前記第１の入力モードにおける第１のユーザ入力データに基づいて決定され、前記対象または前記パラメータのうちの少なくとも１つは、前記第１の入力モードおよび前記第２の入力モードの組み合わせに基づいて決定される、項目１に記載のシステム。
（項目９）
前記第１の入力モードは、前記ウェアラブルシステムのユーザの場所情報に基づく間接入力モードを備える、項目１に記載のシステム。
（項目１０）
前記ハードウェアプロセッサは、オブジェクトが前記ユーザの閾値範囲内にあることの決定に応答して、仮想オブジェクトを前記第１のセットのオブジェクトおよび前記第２のセットのオブジェクトからの前記標的仮想オブジェクトとして識別するようにプログラムされる、項目９に記載のシステム。
（項目１１）
前記ユーザインターフェース動作は、仮想アプリケーションと関連付けられ、前記仮想アプリケーションは、前記第１のセンサまたは前記第２のセンサのうちの一方に対してより応答性であるようにプログラムされる、項目１に記載のシステム。
（項目１２）
前記標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、前記第１のユーザ入力データおよび前記第２のユーザ入力データに基づいて、ツリーベースの分析を前記第１のセットの候補オブジェクトおよび前記第２のセットの前記候補オブジェクト上で実施するようにプログラムされる、項目１に記載のシステム。
（項目１３）
前記標的仮想オブジェクトを前記第１のセットの候補オブジェクトおよび前記第２のセットの候補オブジェクトから決定するために、前記ハードウェアプロセッサは、
前記第１のユーザ入力データに基づいて、前記第１のセットの候補オブジェクト内の候補オブジェクトに関する第１の信頼度スコアを計算することと、
前記第２のユーザ入力データに基づいて、前記候補オブジェクトに関する第２の信頼度スコアを計算することと、
前記候補オブジェクトに関する集約されたスコアを少なくとも前記第１の信頼度スコアおよび前記第２の信頼度から計算することと、
前記集約されたスコアが閾値条件を満たすことの決定に応答して、前記候補オブジェクトを前記標的仮想オブジェクトとして設定することと
を行うようにプログラムされる、項目１２に記載のシステム。
（項目１４）
前記標的仮想オブジェクトを決定するために、前記ハードウェアプロセッサは、
視野内の前記仮想オブジェクトの周囲の空間の均一性、
前記ユーザの視野外にある前記仮想オブジェクトの第２の部分に対する、前記ユーザの視野内にある前記仮想オブジェクトの第１の部分に関する比例面積、または
前記仮想オブジェクトとのユーザの相互作用の履歴分析
のうちの少なくとも１つを計算することによって、仮想オブジェクトに関する信頼度スコアを計算するようにプログラムされる、項目１に記載のシステム。
（項目１５）
前記ハードウェアプロセッサはさらに、前記マルチモード入力に基づいて、前記ハードウェアプロセッサをトリガし、前記標的仮想オブジェクトおよび前記ユーザインターフェース動作を決定する、前記相互作用イベントに関する開始条件を検出するようにプログラムされる、項目１に記載のシステム。
（項目１６）
前記開始条件は、トリガ語句を備える、項目１５に記載のシステム。
（項目１７）
前記第１の入力モードは、一次入力モードであり、前記第２の入力モードは、二次入力モードであり、前記ハードウェアプロセッサは、前記第２のユーザ入力データに基づいて、前記標的仮想オブジェクトおよび前記ユーザインターフェース動作のうちの少なくとも１つにおける曖昧性を解決するようにプログラムされる、項目１に記載のシステム。
（項目１８）
前記第１のユーザ入力データは、仮想オブジェクトに対する直示または照応参照を備え、ハードウェアプロセッサは、前記第２のユーザ入力データに基づいて、前記仮想オブジェクトを前記対象としての前記標的仮想オブジェクトとして識別するようにプログラムされる、項目１に記載のシステム。
（項目１９）
前記ハードウェアプロセッサはさらに、少なくとも部分的に、ユーザ設定または前記ユーザの環境に基づいて、前記第１の入力モード、前記第２の入力モード、または両方の感度を自動的に有効にする、無効にする、または調節するようにプログラムされる、項目１に記載のシステム。
（項目２０）
前記ハードウェアプロセッサは、少なくとも部分的に、前記マルチモード入力に基づいて、前記ユーザの視野外の標的仮想オブジェクトを識別し、ユーザ相互作用のために、前記仮想オブジェクトを前記視野内に自動的に移動させるようにプログラムされる、項目１に記載のシステム。
（項目２１）
方法であって、
ユーザ入力データを入手するように構成される複数のセンサと通信するウェアラブルシステムのハードウェアプロセッサの制御下で、
ユーザと環境の相互作用イベントに関する前記ユーザ入力データを前記複数のセンサから受信するステップと、
前記ユーザ入力データを分析し、前記環境と相互作用するためのマルチモード入力を識別するステップであって、前記マルチモード入力は、第１の入力チャネルにおける第１の入力および第２の入力チャネルにおける第２の入力を備える、ステップと、
前記第１の入力および前記第２の入力に基づいて、前記環境との前記相互作用イベントを記述するために、対象、パラメータ、または動作のうちの１つ以上のものを備える、マルチモード入力コマンドを決定するステップであって、前記対象、前記パラメータ、または前記動作のうちの少なくとも１つは、前記第１の入力および前記第２の入力の組み合わせに基づいて識別される、ステップと、
前記ウェアラブルデバイスに、前記相互作用イベントのための前記マルチモード入力コマンドを実行させるステップと
を含む、方法。
（項目２２）
前記動作は、前記対象を選択する、移動させる、またはリサイズすることのうちの少なくとも１つを備える、前記対象は、前記ユーザが相互作用しようとしている標的仮想オブジェクトを備える、または、前記パラメータは、前記対象の少なくとも標的場所、配向、または移動を備える、項目２１に記載の方法。
（項目２３）
前記標的場所は、
物理的オブジェクト上の着目点（ＰＯＩ）に関する距離関数を計算することと、
所与の平面公差外の前記ＰＯＩのうちの１つ以上のものを排除することと、
残りのＰＯＩに基づいて、前記物理的オブジェクト上の作業可能表面の輪郭を描くことと
によって決定される、項目２２に記載の方法。
（項目２４）
前記方法は、前記仮想オブジェクトを自動的に配向し、前記標的場所のものに合致させるステップを含む、項目２２に記載の方法。
（項目２５）
前記マルチモード入力は、以下の入力モード、すなわち、頭部姿勢、眼視線、ユーザ入力デバイス、手のジェスチャ、または音声のうちの少なくとも２つを備える、項目２１に記載の方法。
（項目２６）
前記第１の入力チャネルは、音声であり、前記第２の入力チャネルは、頭部姿勢または手のジェスチャである、項目２５に記載の方法。
（項目２７）
前記動作、対象、またはパラメータのうちの少なくとも１つはさらに、前記ユーザの環境または場所情報に基づいて識別される、項目２１に記載の方法。
（項目２８）
前記対象は、前記ユーザの閾値範囲内のあるグループのオブジェクトから選択される、項目２７に記載の方法。
（項目２９）
前記相互作用イベントは、仮想アプリケーション内で生じ、前記仮想アプリケーションは、前記第１の入力チャネルまたは前記第２の入力チャネルのうちの一方に対してより応答性であるようにプログラムされる、項目２１に記載の方法。
（項目３０）
前記対象は、格子ツリー分析を使用して、前記第１の入力および前記第２の入力を分析し、前記対象として設定するための仮想オブジェクトを識別することによって識別される、項目２１に記載の方法。
（項目３１）
前記マルチモード入力コマンドにおける前記対象または前記パラメータは、
候補オブジェクトまたはパラメータに関して、前記第１の入力と相関する第１の信頼度スコアおよび前記第２の入力と相関する第２の信頼度スコアを計算することと、
前記候補オブジェクトまたはパラメータに関する集約されたスコアを少なくとも前記第１の信頼度スコアおよび前記第２の信頼度から計算することと、
少なくとも部分的に、前記集約されたスコアに基づいて、前記候補オブジェクトまたはパラメータを、それぞれ、前記相互作用イベントのための前記対象または前記パラメータとして設定することと
によって決定される、項目２１に記載の方法。
（項目３２）
候補仮想オブジェクトは、前記ユーザの視野内の仮想オブジェクトの信頼度スコアに基づいて、前記対象として識別され、前記信頼度コードは、
前記視野内の前記候補仮想オブジェクトの周囲の空間の均一性、
前記ユーザの視野外の前記候補仮想オブジェクトの第２の部分に対する、前記ユーザの視野内の前記候補仮想オブジェクトの第１の部分に関する比例面積、または
前記候補仮想オブジェクトとのユーザの相互作用の履歴分析
のうちの少なくとも１つに基づいて計算される、項目２１に記載の方法。
（項目３３）
前記複数のセンサのうちの１つ以上のセンサから受信されたデータに基づいて、前記相互作用イベントに関する開始条件を検出するステップをさらに含み、前記開始条件は、前記受信、分析、決定、および発生ステップをトリガする、項目２１に記載の方法。
（項目３４）
前記第１の入力チャネルからの前記第１の入力は、一次入力であり、前記第２の入力チャネルからの前記第２の入力は、二次入力であり、前記方法は、
前記第１の入力を解析し、前記対象、前記パラメータ、および前記動作を識別するステップと、
前記第２の入力に基づいて、前記対象、前記パラメータ、または前記動作のうちの少なくとも１つにおける曖昧性を解決し、前記マルチモード入力コマンドを生成するステップと
を含む、項目２１に記載の方法。
（項目３５）
前記方法はさらに、少なくとも部分的に、ユーザ設定または前記ユーザの環境に基づいて、入力チャネルの感度を自動的に有効にする、無効にする、または調節するステップを含む、項目２１に記載の方法。
（項目３６）
前記方法はさらに、少なくとも部分的に、前記ユーザ相互作用に基づいて、前記ユーザの視野外の仮想オブジェクトを前記対象として識別するステップと、ユーザ相互作用のために、前記仮想オブジェクトを前記視野内に自動的に移動させるステップとを含む、項目２１に記載の方法。
（項目３７）
前記第１の入力は、前記対象として直示または照応参照を備え、前記方法はさらに、前記第２の入力に基づいて、標的オブジェクトを前記対象として選択するステップを含む、項目２１に記載の方法。
（項目３８）
システムであって、
３次元（３Ｄ）仮想コンテンツをユーザに提示するように構成されるウェアラブルシステムの頭部搭載型ディスプレイ（ＨＭＤ）と、
個別のモダリティのユーザ入力を受信するように構成される２つ以上のユーザ入力コンポーネントであって、前記ユーザ入力コンポーネントのうちの１つは、音を捕捉するように構成されるオーディオ感知デバイスを備える、ユーザ入力コンポーネントと、
前記ディスプレイおよび前記２つ以上のユーザ入力コンポーネントに通信可能に結合されるハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記オーディオ感知デバイスから、ユーザによって発話された１つ以上の単語の発声をエンコードする発話データを受信することと、
少なくとも、前記受信された発話データに基づいて、ユーザによって発話された前記１つ以上の単語に関する書き起こし記録を取得することと、
前記ディスプレイを制御し、前記取得された書き起こし記録を表すテキスト文字の文字列をユーザに提示することと、
前記２つ以上のユーザ入力コンポーネントの別のものから、別の異なるモダリティのユーザ入力を示すユーザ入力データを受信することと、
前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと、
前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことの決定に応答して、
前記２つ以上のユーザ入力コンポーネントのいずれかから続いて受信されるデータが、前記テキスト文字の特定のサブセットを特定の様式で修正するコマンドを表すかどうかを決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目３９）
前記他のユーザ入力コンポーネントは、前記ユーザの眼視線方向を示すデータを入手するように構成される眼視線追跡デバイスを備える、項目３８に記載のシステム。
（項目４０）
前記ハードウェアプロセッサはさらに、
少なくとも、前記眼視線追跡デバイスから受信されたデータに基づいて、前記ユーザが、閾値より長い時間周期にわたって、前記テキスト文字の特定のサブセットを固視していることを決定することと、
前記ユーザが、閾値より長い時間周期にわたって、前記テキスト文字の特定のサブセットを固視していることの決定に応答して、前記他のユーザ入力コンポーネントから受信された前記ユーザ入力データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目３９に記載のシステム。
（項目４１）
前記ハードウェアプロセッサはさらに、
前記オーディオ感知デバイスから、ユーザによって発話された語句の発声をエンコードする付加的発話データを受信することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータおよび前記オーディオ感知デバイスから受信された付加的発話データに基づいて、前記テキスト文字の特定のサブセットを固視している間、前記ユーザが１つ以上の所定のホットワードを発声したことを決定することと、
前記テキスト文字の特定のサブセットを固視している間、前記ユーザが１つ以上の所定のホットワードを発声したことの決定に応答して、前記眼視線追跡デバイスから受信されたデータおよび前記オーディオ感知デバイスから受信された付加的発話データが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目３９に記載のシステム。
（項目４２）
前記２つ以上のユーザ入力コンポーネントはさらに、前記ユーザの手のジェスチャを示すデータを入手するように構成されるジェスチャ追跡デバイスを備え、
前記ハードウェアプロセッサはさらに、
前記眼視線追跡デバイスから、前記ユーザの眼視線方向を示すデータを受信することと、
前記ジェスチャ追跡デバイスから、前記ユーザの手のジェスチャを示すデータを受信することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータおよび前記ジェスチャ追跡デバイスから受信されたデータに基づいて、前記テキスト文字の特定のサブセットを固視している間、前記ユーザが１つ以上の所定の手のジェスチャを行なったことを決定することと、
前記テキスト文字の特定のサブセットを固視している間、前記ユーザが１つ以上の所定の手のジェスチャを行なったことの決定に応答して、前記眼視線追跡デバイスおよび前記ジェスチャ追跡デバイスから受信されたデータが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目３９に記載のシステム。
（項目４３）
前記２つ以上のユーザ入力コンポーネントはさらに、それとの前記ユーザの物理的相互作用を示すデータを入手するように構成される、タッチセンサ式デバイスを備え、
前記ハードウェアプロセッサはさらに、
前記眼視線追跡デバイスから、前記ユーザの前記ユーザの眼視線方向を示すデータを受信することと、
前記タッチセンサ式デバイスから、前記タッチセンサ式デバイスとの前記ユーザの物理的相互作用を示すデータを受信することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータおよび前記タッチセンサ式デバイスから受信されたデータに基づいて、前記テキスト文字の特定のサブセットを固視している間、前記ユーザが１つ以上の所定のタッチ入力を提供したかどうかを決定することと、
前記テキスト文字の特定のサブセットを固視している間、前記ユーザが１つ以上の所定のタッチ入力を提供したことの決定に応答して、眼視線追跡デバイスおよび前記タッチセンサ式デバイスから受信されたデータが、編集するための前記テキスト文字の特定のサブセットを選択するコマンドを表すことを決定することと
を行うようにプログラムされる、項目３９に記載のシステム。
（項目４４）
前記ハードウェアプロセッサは、自動発話認識（ＡＳＲ）エンジンを実装し、前記書き起こし記録を取得するようにプログラムされる、項目３８に記載のシステム。
（項目４５）
前記ＡＳＲエンジンは、前記ＡＳＲエンジンがそのような単語を正しく書き起こした尤度を示す、前記テキストの文字列内の１つ以上の単語と関連付けられたスコアを生産するように構成される、項目４４に記載のシステム。
（項目４６）
前記ハードウェアプロセッサはさらに、正しい書き起こしの尤度が閾値レベルを下回る場合、前記ＨＭＤに前記１つ以上の単語を強調させるようにプログラムされる、項目４５に記載のシステム。
（項目４７）
システムであって、
仮想コンテンツをユーザに提示するように構成されるウェアラブルシステムのディスプレイと、
ユーザによって発話された単語を捕捉し、発話データを生成するように構成されるオーディオ感知デバイスと、
前記ユーザの視線を追跡するように構成される前記ウェアラブルシステムの眼視線追跡デバイスと、
前記ディスプレイ、前記オーディオ感知デバイス、および前記眼視線追跡デバイスに通信可能に結合されるハードウェアプロセッサであって、前記ハードウェアプロセッサは、
少なくとも部分的に、前記オーディオ感知デバイスからの前記発話データに基づいて、ユーザによって発話された１つ以上の単語のテキストへの書き起こし記録を取得することと、
前記ディスプレイを制御し、前記テキストをユーザに提示することと、
少なくとも、前記眼視線追跡デバイスから受信されたデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定することと、
編集アクションを前記提示されたテキストの一部上で実施することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目４８）
前記ハードウェアプロセッサはさらに、前記ユーザの視線が、少なくとも閾値時間周期にわたって、前記ディスプレイによって提示される前記提示されたテキストの一部上に留まったことを示す、前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記所与の単語を選択するコマンドを与えたことを決定するようにプログラムされる、項目４７に記載のシステム。
（項目４９）
ユーザ入力デバイスをさらに備え、前記ハードウェアプロセッサはさらに、前記ユーザの視線が前記ディスプレイによって提示される前記提示されたテキストの一部上に合焦していた間、前記ユーザ入力デバイスがユーザ入力を受信したことを示す、前記ユーザ入力デバイスからのデータおよび前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定するようにプログラムされる、項目４７に記載のシステム。
（項目５０）
前記ハードウェアプロセッサは、前記ユーザの視線が前記ディスプレイによって提示される前記提示されたテキストの一部上に合焦していた間、前記オーディオ感知デバイスが音声コマンドを受信したことを示す、前記オーディオ感知デバイスからのデータおよび前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定するようにプログラムされる、項目４７に記載のシステム。
（項目５１）
前記ユーザの少なくとも１つの手を結像する結像システムをさらに備え、前記プロセッサは、前記ユーザの視線が前記ディスプレイによって提示される前記提示されたテキストの一部上に合焦していた間、前記ユーザがその手を用いてコマンドジェスチャを行なったことを示す、前記結像システムからのデータおよび前記眼視線追跡デバイスからのデータに基づいて、前記ユーザが編集するための前記提示されたテキストの一部を選択するコマンドを与えたことを決定するように構成される、項目４７に記載のシステム。
（項目５２）
前記ハードウェアプロセッサはさらに、編集するための前記所与の単語を選択するコマンドに応答して、前記ディスプレイを制御して、前記提示されたテキストの一部の代替書き起こし記録を提示するようにプログラムされる、項目４７に記載のシステム。
（項目５３）
前記ハードウェアプロセッサはさらに、
前記眼視線追跡デバイスから受信された付加的データに基づいて、前記ユーザが前記提示されたテキストの一部と選択された代替書き起こし記録を置換するコマンドを与えたことを決定することと、
前記テキストを改訂し、前記提示されたテキストの一部と前記選択された代替書き起こし記録を置換することと、
前記ディスプレイを制御して、前記改訂されたテキストをユーザに提示することと
を行うようにプログラムされる、項目４７に記載のシステム。
（項目５４）
前記ハードウェアプロセッサはさらに、１つ以上の単語が正しく書き起こされた尤度を示す、前記テキスト内のそのような単語と関連付けられたスコアを生産するようにプログラムされる、項目４７に記載のシステム。
（項目５５）
前記ハードウェアプロセッサはさらに、正しい書き起こし記録の尤度が閾値レベルを下回る場合、前記ディスプレイに前記１つ以上の単語を強調させるようにプログラムされる、項目５４に記載のシステム。
（項目５６）
方法であって、
ハードウェアプロセッサの制御下で、
ユーザから発話された入力をマイクロホンから受信するステップと、
前記発話された入力を複数の単語を含むテキストに変換するステップと、
ウェアラブルディスプレイに、前記テキストをユーザに提示させるステップと、
少なくとも、視線追跡システムからのデータに基づいて、前記表示されるテキスト内の前記提示されたテキストの一部の選択を受信するステップと、
前記ユーザに、前記提示されたテキストの一部を編集する機会を提供するステップと
を含む、方法。
（項目５７）
前記提示されたテキストの一部の選択を受信するステップは、
前記ユーザの視線が、少なくとも所定の閾値時間周期にわたって、前記所与の単語上に合焦されていることを決定するステップ、
前記マイクロホンを用いて編集を要求する前記ユーザから発話された所定のコマンドを受信する間、前記ユーザの視線が前記提示されたテキストの一部上に合焦されていることを決定するステップ、
ユーザ入力デバイスの作動のためのデータを受信する間、前記ユーザの視線が前記提示されたテキストの一部上に合焦されていることを決定するステップ、または
実質的に、前記ユーザが編集を要求する所定のコマンドジェスチャを行なったことを示す、ジェスチャ追跡システムからのデータを受信する間、前記ユーザの視線が前記提示されたテキストの一部上に合焦されていることを決定するステップ
のうちの１つ以上のものを含む、項目５６に記載の方法。
（項目５８）
少なくとも、前記視線追跡システムからのデータに基づいて、前記表示されるテキスト内の付加的単語の選択を受信するステップと、
前記ユーザに、前記提示されたテキストの一部または前記テキストの付加的部分から形成される語句を編集する機会を提供するステップと
をさらに含む、項目５６に記載の方法。
（項目５９）
前記テキストの少なくとも一部は、前記ディスプレイ上で強調され、前記部分は、前記発話された入力から前記テキストの対応する部分への変換が正しいことの低信頼度と関連付けられる、項目５６に記載の方法。
（項目６０）
方法であって、
マルチモード入力を受信するステップであって、前記マルチモード入力は、
ウェアラブルデバイスのハードウェアコンポーネントからの第１のユーザ入力であって、前記第１のユーザ入力は、第１のモードのユーザ入力と関連付けられる、第１のユーザ入力と、
第２のユーザ入力であって、前記第２のユーザ入力は、第２のモードのユーザ入力と関連付けられる、第２のユーザ入力と
を含む、ステップと、
前記第１のユーザ入力および前記第２のユーザ入力に基づいて、マルチモード入力コマンドを識別するステップであって、前記マルチモード入力コマンドは、少なくとも、
テキストの少なくとも一部を備える対象と、
前記テキストとの相互作用を備えるコマンド動作と
を備える、ステップと、
前記マルチモード入力コマンドを実行し、前記ユーザマルチモード入力の結果をユーザに表示させるステップと
を含む、方法。
（項目６１）
前記第１のモードのユーザ入力は、前記ウェアラブルデバイスのオーディオセンサから受信された発話入力を備え、前記方法はさらに、前記発話入力を書き起こし、前記テキスト、前記対象、または前記コマンド動作のうちの少なくとも１つを識別するステップを含む、項目６０に記載の方法。
（項目６２）
前記第２のモードのユーザ入力は、ユーザ入力デバイス、ジェスチャ、または眼視線のうちの少なくとも１つからの入力を備える、項目６０に記載の方法。
（項目６３）
前記テキストとの相互作用は、前記テキストを選択する、編集する、または構成することのうちの少なくとも１つを備える、項目６０に記載の方法。
（項目６４）
前記対象は、単語、語句、または文のうちの１つ以上のものを備える、項目６０に記載の方法。
（項目６５）
前記対象は、文を備え、前記コマンド動作は、編集するための前記文を選択することを備え、前記方法はさらに、
第１のユーザインターフェース動作を実施し、前記文をテキストの本文から抜き出させるステップと、
前記文を一次結果としてのトークンのシーケンスとして表示するステップであって、前記一次結果は、前記ユーザの発話から書き起こされるような前記文を備える、ステップと、
二次結果をさらに表示するステップであって、前記二次結果は、トークンの代替単語を前記シーケンス内に備える、ステップと、
前記シーケンスを単語毎に編集するための、第３の入力モードおよび第４の入力モードを備える、別のマルチモード入力を受信するステップと、
前記シーケンスの編集が完了したことのインジケーションに応答して、前記編集されたシーケンスを前記テキストの本文に戻すように挿入するステップと
を含む、項目６０に記載の方法。