【手続補正書】
【提出日】令和2年8月7日(2020.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）システムであって、前記ＡＲシステムは、
仮想コンテンツをＡＲシステムのユーザに提示するように構成されたＡＲディスプレイと、
周囲音を捕捉するように構成されたオーディオセンサと、
前記ＡＲディスプレイおよび前記オーディオセンサと通信するハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記オーディオセンサによって捕捉された前記周囲音を受信することと、
前記周囲音内の発話の存在を検出することと、
前記検出された発話をテキストに変換することと、
前記テキストを解析し、１つ以上の単語を認識することと、
単語頻度リスト上の前記１つ以上の単語の位置を決定することであって、前記単語頻度リストは、前記オーディオセンサによるそれらの検出の頻度に少なくとも部分的に基づいてランク付けされた単語のリストを含む、ことと、
ユーザ入力に基づいて、前記単語頻度リスト上の閾値位置を決定することと、
前記１つ以上の単語の位置が前記単語頻度リスト上の前記閾値位置を超えるかどうかに基づいて、前記１つ以上の単語を稀な単語として分類することと、
前記１つ以上の単語に関連付けられた減少係数を決定することであって、前記減少係数は、前記稀な単語に関連付けられた補助情報の表示を抑制する期間を含む、ことと、
前記減少係数に基づいて、前記稀な単語に関連付けられた前記補助情報を読み出すことと、
前記ＡＲディスプレイに前記読み出された補助情報をレンダリングさせることと
を行うようにプログラムされている、ＡＲシステム。
【請求項２】
前記稀な単語は、一般的単語辞書から除外された単語である、請求項１に記載のＡＲシステム。
【請求項３】
前記ハードウェアプロセッサは、
前記補助情報の表示を閉じるための条件を検出することと、
前記検出された条件に応答して、前記ＡＲディスプレイに前記補助情報の表示を閉じさせることと
を行うようにさらにプログラムされている、請求項１に記載のＡＲシステム。
【請求項４】
前記表示を閉じるための前記条件を検出するために、前記ハードウェアプロセッサは、閾値期間が経過したことを決定すること、別の稀な単語を検出すること、ユーザの姿勢を検出すること、または、ユーザ入力デバイスからの入力を受信することのうちの少なくとも１つを実施するようにプログラムされている、請求項３に記載のＡＲシステム。
【請求項５】
前記ハードウェアプロセッサは、
前記検出された発話の源を決定することと、
前記稀な単語を検出し、前記検出された発話の源が前記ＡＲディスプレイのユーザ以外の話者に関連付けられていることを決定すると、前記補助情報を読み出し、表示することと
を行うようにさらにプログラムされている、請求項１に記載のＡＲシステム。
【請求項６】
前記検出された発話の源は、１つ以上の指向性マイクロホンを備えている前記オーディオセンサから収集されたオーディオ情報、または前記ＡＲシステムの外向きに面した結像システムによって入手された画像のうちの少なくとも１つに基づいて決定される、請求項５に記載のＡＲシステム。
【請求項７】
前記検出された発話の源を決定するために、前記ハードウェアプロセッサは、音声認識を前記検出された発話に対して実施し、前記話者の識別を決定するようにプログラムされている、請求項５に記載のＡＲシステム。
【請求項８】
前記検出された発話の源は、前記ユーザの環境内の別のコンピュータ、前記話者に関連付けられた別のＡＲデバイス、または前記ユーザの環境内の人物のうちの少なくとも１つを含む、請求項５に記載のＡＲシステム。
【請求項９】
前記ユーザが前記話者とテレプレゼンスセッション中であり、前記検出された発話の源が前記話者に関連付けられた他のユーザデバイスである場合、前記ハードウェアプロセッサは、前記話者の仮想アバタをレンダリングすることと、前記補助情報を前記他のユーザの前記仮想アバタの近傍にレンダリングすることとを前記ＡＲディスプレイに行わせるようにさらにプログラムされている、請求項８に記載のＡＲシステム。
【請求項１０】
前記ＡＲディスプレイに前記読み出された補助情報をレンダリングさせるために、前記ハードウェアプロセッサは、前記源の場所を決定することと、前記ＡＲディスプレイを通して、前記源のビューを曖昧にすることなく、前記補助情報を前記源に近接した３Ｄ空間内の位置にレンダリングすることとを行うようにプログラムされている、請求項５に記載のＡＲシステム。
【請求項１１】
補助情報は、前記稀な単語の説明を含む、請求項１に記載のＡＲシステム。
【請求項１２】
前記ハードウェアプロセッサは、
ユーザから、前記補助情報に注釈を付けるための指示を受信することと、
前記補助情報の注釈の記憶を開始することと、
前記稀な単語の別の存在を検出することに応答して、前記ＡＲディスプレイに前記注釈および前記補助情報をレンダリングさせることと
を行うようにさらにプログラムされている、請求項１に記載のＡＲシステム。
【請求項１３】
方法であって、前記方法は、
仮想コンテンツをユーザの環境内に提示するように構成されたハードウェアプロセッサおよびＡＲディスプレイを備えている拡張現実（ＡＲ）デバイスの制御下で、
前記ＡＲデバイスの前記ユーザの環境を監視することと、
前記ユーザまたは前記環境のうちの少なくとも１つに関連付けられたコンテキスト情報に基づいて、前記環境内の着目オブジェクトの存在を検出することと、
単語頻度リスト上の前記着目オブジェクトの位置を決定することであって、前記単語頻度リストは、前記ＡＲデバイスによるそれらの検出の頻度に少なくとも部分的に基づいてランク付けされた単語のリストを含む、ことと、
ユーザ入力に基づいて、前記単語頻度リスト上の閾値位置を決定することと、
１つ以上の単語の位置が前記単語頻度リスト上の前記閾値位置を超えるかどうかに基づいて、前記着目オブジェクトを稀な単語として分類することと、
前記着目オブジェクトに関連付けられた減少係数を決定することであって、前記減少係数は、前記着目オブジェクトに関連付けられた補助情報の表示を抑制する期間を含む、ことと、
前記減少係数に基づいて、前記着目オブジェクトのための補助情報を読み出すことと、
前記ユーザの視野内の前記補助情報の表示位置を決定することであって、前記視野は、ユーザが所与の時間に知覚可能な前記環境の一部を含む、ことと、
前記ＡＲディスプレイに前記補助情報を前記表示位置にレンダリングさせることと
を含む、方法。
【請求項１４】
前記着目オブジェクトの存在を検出することは、
前記環境内の周囲音から発話を検出することと、
前記発話を解析し、稀な単語を識別することと
を含む、請求項１３に記載の方法。
【請求項１５】
前記環境を監視することは、
前記環境の周囲音を捕捉し、分析すること、または
前記環境の画像を入手すること
のうちの少なくとも１つを含む、請求項１３に記載の方法。
【請求項１６】
前記コンテキスト情報は、前記ユーザの過去の体験に関連付けられ、前記単語頻度リストは、前記ユーザの過去の体験において前記ユーザが遭遇した頻度によって順序付けられた単語のリストを含む、請求項１３に記載の方法。
【請求項１７】
前記補助情報は、前記着目オブジェクトの説明テキストを含む、請求項１３に記載の方法。
【請求項１８】
前記ユーザから、前記補助情報に注釈を付けるための指示を受信することと、
前記補助情報の注釈の記憶を開始することと、
前記着目オブジェクトの別の存在を検出することに応答して、前記ＡＲディスプレイに前記注釈および前記補助情報をレンダリングさせることと
をさらに含む、請求項１３に記載の方法。
【請求項１９】
前記補助情報の表示位置を決定することは、
前記着目オブジェクトの場所を決定することと、
前記ＡＲディスプレイを通して、前記着目オブジェクトのビューを曖昧にすることなく、前記着目オブジェクトに近接した前記環境内の位置として前記表示位置を識別することと
を含む、請求項１３に記載の方法。
【請求項２０】
前記単語頻度リストは、前記ユーザの過去の体験において前記ユーザが遭遇した頻度によって順序付けられた単語のリストを含む、請求項１に記載のＡＲシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
拡張現実（ＡＲ）システムであって、前記ＡＲシステムは、
仮想コンテンツをＡＲシステムのユーザに提示するように構成されたＡＲディスプレイと、
周囲音を捕捉するように構成されたオーディオセンサと、
前記ＡＲディスプレイおよび前記オーディオセンサと通信するハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記オーディオセンサによって捕捉された前記周囲音を受信することと、
前記周囲音内の発話の存在を検出することと、
前記検出された発話をテキストに変換することと、
前記発話中の稀な単語を検出することと、
前記稀な単語に関連付けられた補助情報を読み出すことと、
前記ＡＲディスプレイに前記読み出された補助情報をレンダリングさせることと
を行うようにプログラムされている、ＡＲシステム。
（項目２）
前記稀な単語は、一般的単語辞書から除外された単語である、項目１に記載のＡＲシステム。
（項目３）
前記ハードウェアプロセッサは、
前記補助情報の表示を閉じるための条件を検出することと、
前記検出された条件に応答して、前記ＡＲディスプレイに前記補助情報の表示を閉じさせることと
を行うようにさらにプログラムされている、項目１に記載のＡＲシステム。
（項目４）
前記表示を閉じるための前記条件を検出するために、前記ハードウェアプロセッサは、閾値期間が経過したことを決定すること、別の稀な単語を検出すること、ユーザの姿勢を検出すること、または、ユーザ入力デバイスからの入力を受信することのうちの少なくとも１つを実施するようにプログラムされている、項目３に記載のＡＲシステム。
（項目５）
前記ハードウェアプロセッサは、
前記検出された発話の源を決定することと、
前記稀な単語を検出し、前記検出された発話の源が前記ＡＲディスプレイのユーザ以外の話者に関連付けられていることを決定すると、前記補助情報を読み出し、表示することと
を行うようにさらにプログラムされている、項目１に記載のＡＲシステム。
（項目６）
前記検出された発話の源は、１つ以上の指向性マイクロホンを備えているオーディオセンサから収集されたオーディオ情報、または前記ＡＲシステムの外向きに面した結像システムによって入手された画像のうちの少なくとも１つに基づいて決定される、項目５に記載のＡＲシステム。
（項目７）
前記検出された発話の源を決定するために、前記ハードウェアプロセッサは、音声認識を前記検出された発話に対して実施し、前記話者の識別を決定するようにプログラムされている、項目５に記載のＡＲシステム。
（項目８）
前記検出された発話の源は、前記ユーザの環境内の別のコンピュータ、前記話者に関連付けられた別のＡＲデバイス、または前記ユーザの環境内の人物のうちの少なくとも１つを含む、項目５に記載のＡＲシステム。
（項目９）
前記ユーザが前記話者とテレプレゼンスセッション中であり、前記検出された発話の源が前記話者に関連付けられた他のユーザデバイスである場合、前記ハードウェアプロセッサは、前記話者の仮想アバタをレンダリングすることと、前記補助情報を前記他のユーザの前記仮想アバタの近傍にレンダリングすることとを前記ＡＲディスプレイに行わせるようにさらにプログラムされている、項目８に記載のＡＲシステム。
（項目１０）
前記ＡＲディスプレイに前記読み出された補助情報をレンダリングさせるために、前記ハードウェアプロセッサは、前記源の場所を決定することと、前記ＡＲディスプレイを通して、前記源のビューを曖昧にすることなく、前記補助情報を前記源に近接した３Ｄ空間内の位置にレンダリングすることとを行うようにプログラムされている、項目５に記載のＡＲシステム。
（項目１１）
補助情報は、前記稀な単語の説明を含む、項目１に記載のＡＲシステム。
（項目１２）
前記ハードウェアプロセッサは、
ユーザから、前記補助情報に注釈を付けるための指示を受信することと、
前記補助情報の注釈の記憶を開始することと、
前記稀な単語の別の存在を検出することに応答して、前記ＡＲディスプレイに前記注釈および前記補助情報をレンダリングさせることと
を行うようにさらにプログラムされている、項目１に記載のＡＲシステム。
（項目１３）
方法であって、前記方法は、
仮想コンテンツをユーザの環境内に提示するように構成されたハードウェアプロセッサおよびＡＲディスプレイを備えている拡張現実（ＡＲ）デバイスの制御下で、
前記ＡＲデバイスの前記ユーザの環境を監視することと、
前記ユーザまたは前記環境のうちの少なくとも１つに関連付けられたコンテキスト情報に基づいて、前記環境内の着目オブジェクトの存在を検出することと、
前記着目オブジェクトのための補助情報を読み出すことと、
前記ユーザの視野内の前記補助情報の表示位置を決定することであって、前記視野は、ユーザが所与の時間に知覚可能な前記環境の一部を含む、ことと、
前記ＡＲディスプレイに前記補助情報を前記表示位置にレンダリングさせることと
を含む、方法。
（項目１４）
前記着目オブジェクトは、キーワード、物理的オブジェクト、または人物を含む、項目１３に記載の方法。
（項目１５）
前記着目オブジェクトは、キーワードを含み、前記着目オブジェクトの存在を検出することは、
前記環境内の周囲音から発話を検出することと、
前記発話を解析し、稀な単語を識別することと
を含む、項目１４に記載の方法。
（項目１６）
前記環境を監視することは、
前記環境の周囲音を捕捉し、分析すること、または
前記環境の画像を入手すること
のうちの少なくとも１つを含む、項目１３に記載の方法。
（項目１７）
前記コンテキスト情報は、前記ユーザの過去の体験に関連付けられ、前記着目オブジェクトは、前記ユーザが稀にしか遭遇しないオブジェクトを含む、項目１３に記載の方法。
（項目１８）
前記補助情報は、前記着目オブジェクトに関連付けられた製品情報、または前記着目オブジェクトの説明テキストのうちの少なくとも１つを含む、項目１３に記載の方法。
（項目１９）
前記ユーザから、前記補助情報に注釈を付けるための指示を受信することと、
前記補助情報の注釈の記憶を開始することと、
前記着目オブジェクトの別の存在を検出することに応答して、前記ＡＲディスプレイに前記注釈および前記補助情報をレンダリングさせることと
をさらに含む、項目１３に記載の方法。
（項目２０）
前記補助情報の表示位置を決定することは、
前記着目オブジェクトの場所を決定することと、
前記ＡＲディスプレイを通して、前記着目オブジェクトのビューを曖昧にすることなく、前記着目オブジェクトに近接した前記環境内の位置として前記表示位置を識別することと
を含む、項目１３に記載の方法。