【手続補正書】
【提出日】令和3年5月28日(2021.5.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ウェアラブルディスプレイシステムであって、
画像捕捉デバイスであって、前記画像捕捉デバイスは、ポインタを備える画像を捕捉するように構成される、画像捕捉デバイスと、
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、
前記画像と、
前記画像上の画像場所における前記画像と関連付けられる仮想ユーザインターフェース（ＵＩ）デバイスと、
ＵＩイベントを決定するためのニューラルネットワークであって、前記ＵＩイベントは、
訓練用仮想ＵＩデバイスと関連付けられる訓練画像であって、前記訓練画像は、前記訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、
前記訓練画像内の前記訓練用仮想ＵＩデバイスおよび前記訓練用ポインタに対する訓練用ＵＩイベントと
を使用して訓練される、ニューラルネットワークと
を記憶するように構成される、非一過性コンピュータ可読記憶媒体と、
ディスプレイであって、前記ディスプレイは、前記画像が前記画像捕捉デバイスによって捕捉されると、前記仮想ＵＩデバイスを表示場所に表示するように構成され、前記画像場所は、前記表示場所に関連する、ディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記画像捕捉デバイス、前記ディスプレイ、および前記非一過性コンピュータ可読記憶媒体と通信し、前記プロセッサは、実行可能命令によって、
前記画像を前記画像捕捉デバイスから受信することと、
前記仮想ＵＩデバイスの表現を前記画像場所における前記画像上にレンダリングすることと、
前記ニューラルネットワークを使用して、前記画像内の前記ポインタに対するＵＩイベントおよび前記画像と関連付けられた仮想ＵＩデバイスを決定することと、
前記ＵＩイベントに基づいて、仮想コンテンツを生成することと、
前記ディスプレイに、前記仮想コンテンツを前記ウェアラブルディスプレイシステムの装着者に提示させることと
を行うようにプログラムされる、ハードウェアプロセッサプロセッサと
を備える、ウェアラブルディスプレイシステム。
【請求項２】
前記仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、請求項１に記載のウェアラブルディスプレイシステム。
【請求項３】
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、請求項２に記載のウェアラブルディスプレイシステム。
【請求項４】
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、請求項２に記載のウェアラブルディスプレイシステム。
【請求項５】
前記閾値距離は、０である、請求項４に記載のウェアラブルディスプレイシステム。
【請求項６】
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
請求項２に記載のウェアラブルディスプレイシステム。
【請求項７】
前記第１の色は、黒色であり、前記第２の色は、白色である、請求項６に記載のウェアラブルディスプレイシステム。
【請求項８】
前記第２の形状は、部分的に透明である、請求項６に記載のウェアラブルディスプレイシステム。
【請求項９】
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
請求項８に記載のウェアラブルディスプレイシステム。
【請求項１０】
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
請求項９に記載のウェアラブルディスプレイシステム。
【請求項１１】
前記第２の形状は、前記第１の形状内にある、請求項６に記載のウェアラブルディスプレイシステム。
【請求項１２】
前記複数の形状のうちの第３の形状は、第３の色と関連付けられ、
前記第１の形状は、前記第１の形状に隣接する、請求項６に記載のウェアラブルディスプレイシステム。
【請求項１３】
第３の色は、白色である、請求項１２に記載のウェアラブルディスプレイシステム。
【請求項１４】
第１の形状は、前記第３の形状内にある、請求項１２に記載のウェアラブルディスプレイシステム。
【請求項１５】
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、請求項１に記載のウェアラブルディスプレイシステム。
【請求項１６】
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、請求項１５に記載のウェアラブルディスプレイシステム。
【請求項１７】
前記仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせから成る群から選択される、請求項１に記載のウェアラブルディスプレイシステム。
【請求項１８】
前記ＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、請求項１に記載のウェアラブルディスプレイシステム。
【請求項１９】
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
請求項１８に記載のウェアラブルディスプレイシステム。
【請求項２０】
本出願の明細書に記載されたシステム、方法、装置、およびコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本開示の主題の範囲を定義または限定することを主張するものではない。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ウェアラブルディスプレイシステムであって、
画像捕捉デバイスであって、前記画像捕捉デバイスは、ポインタを備える画像を捕捉するように構成される、画像捕捉デバイスと、
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、
前記画像と、
前記画像上の画像場所における前記画像と関連付けられる仮想ユーザインターフェース（ＵＩ）デバイスと、
ＵＩイベントを決定するためのニューラルネットワークであって、前記ＵＩイベントは、
訓練用仮想ＵＩデバイスと関連付けられる訓練画像であって、前記訓練画像は、前記訓練用仮想ＵＩデバイスおよび訓練用ポインタの表現を備える、訓練画像と、
前記訓練画像内の前記訓練用仮想ＵＩデバイスおよび前記訓練用ポインタに対する訓練用ＵＩイベントと
を使用して訓練される、ニューラルネットワークと
を記憶するように構成される、非一過性コンピュータ可読記憶媒体と、
ディスプレイであって、前記ディスプレイは、前記画像が前記画像捕捉デバイスによって捕捉されると、前記仮想ＵＩデバイスを表示場所に表示するように構成され、前記画像場所は、前記表示場所に関連する、ディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記画像捕捉デバイス、前記ディスプレイ、および前記非一過性コンピュータ可読記憶媒体と通信し、前記プロセッサは、実行可能命令によって、
前記画像を前記画像捕捉デバイスから受信することと、
前記仮想ＵＩデバイスの表現を前記画像場所における前記画像上にレンダリングすることと、
前記ニューラルネットワークを使用して、前記画像内の前記ポインタに対するＵＩイベントおよび前記画像と関連付けられた仮想ＵＩデバイスを決定することと、
前記ＵＩイベントに基づいて、仮想コンテンツを生成することと、
前記ディスプレイに、前記仮想コンテンツを前記ウェアラブルディスプレイシステムの装着者に提示させることと
を行うようにプログラムされる、ハードウェアプロセッサプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目２）
前記仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、項目１に記載のウェアラブルディスプレイシステム。
（項目３）
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、項目２に記載のウェアラブルディスプレイシステム。
（項目４）
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、項目２に記載のウェアラブルディスプレイシステム。
（項目５）
前記閾値距離は、０である、項目４に記載のウェアラブルディスプレイシステム。
（項目６）
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
項目２に記載のウェアラブルディスプレイシステム。
（項目７）
前記第１の色は、黒色であり、前記第２の色は、白色である、項目６に記載のウェアラブルディスプレイシステム。
（項目８）
前記第２の形状は、部分的に透明である、項目６に記載のウェアラブルディスプレイシステム。
（項目９）
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
項目８に記載のウェアラブルディスプレイシステム。
（項目１０）
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
項目９に記載のウェアラブルディスプレイシステム。
（項目１１）
前記第２の形状は、前記第１の形状内にある、項目６に記載のウェアラブルディスプレイシステム。
（項目１２）
前記複数の形状のうちの第３の形状は、第３の色と関連付けられ、
前記第１の形状は、前記第１の形状に隣接する、項目６に記載のウェアラブルディスプレイシステム。
（項目１３）
第３の色は、白色である、項目１２に記載のウェアラブルディスプレイシステム。
（項目１４）
第１の形状は、前記第３の形状内にある、項目１２に記載のウェアラブルディスプレイシステム。
（項目１５）
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、項目１に記載のウェアラブルディスプレイシステム。
（項目１６）
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目１５に記載のウェアラブルディスプレイシステム。
（項目１７）
前記仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせから成る群から選択される、項目１に記載のウェアラブルディスプレイシステム。
（項目１８）
前記ＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、項目１に記載のウェアラブルディスプレイシステム。
（項目１９）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
項目１８に記載のウェアラブルディスプレイシステム。
（項目２０）
ユーザインターフェースイベントを決定するためのニューラルネットワークを訓練するためのシステムであって、前記システムは、
実行可能命令を記憶するコンピュータ可読メモリと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、
複数の画像を受信することであって、
前記複数の画像のうちの画像は、複数のポインタのうちのポインタを備え、
前記画像は、前記画像上の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスと関連付けられ、
前記画像は、前記画像内の前記仮想ＵＩデバイスおよび前記ポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ことと、
前記仮想ＵＩデバイスの表現を前記画像場所における前記画像上にレンダリングし、訓練画像を生成することと、
入力データおよび対応する標的出力データを備える訓練セットを生成することであって、
前記入力データは、前記訓練画像を備え、
前記対応する標的出力データは、前記ＵＩイベントを備える、ことと、
前記訓練セットを使用して、前記仮想ＵＩデバイスおよび前記ポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練することと
を行うようにプログラムされる、１つ以上のプロセッサと
を備える、システム。
（項目２１）
前記仮想ＵＩデバイスの表現は、複数の高コントラストの形状を備える、項目２０に記載のシステム。
（項目２２）
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、項目２１に記載のシステム。
（項目２３）
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、項目２１に記載のシステム。
（項目２４）
前記閾値距離は、０である、項目２３に記載のシステム。
（項目２５）
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
項目２１に記載のシステム。
（項目２６）
前記第１の色は、黒色であり、前記第２の色は、白色である、項目２５に記載のシステム。
（項目２７）
前記第２の形状は、部分的に透明である、項目２５に記載のシステム。
（項目２８）
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
項目２７に記載のシステム。
（項目２９）
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
項目２８に記載のシステム。
（項目３０）
前記第２の形状は、前記第１の形状内にある、項目２５に記載のシステム。
（項目３１）
前記複数の形状のうちの第３の形状は、第３の色を有し、前記第１の形状は、前記第１の形状に隣接する、項目２５に記載のシステム。
（項目３２）
第３の色は、白色である、項目３１に記載のシステム。
（項目３３）
第１の形状は、前記第３の形状内にある、項目３１に記載のシステム。
（項目３４）
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、項目２０に記載のシステム。
（項目３５）
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目３４に記載のシステム。
（項目３６）
前記複数の仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、項目２０に記載のシステム。
（項目３７）
前記複数のＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、項目２０に記載のシステム。
（項目３８）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
項目３７に記載のシステム。
（項目３９）
ユーザインターフェースイベントを決定するためにニューラルネットワークを訓練するための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
複数の画像を受信するステップであって、
前記複数の画像のうちの第１の画像は、複数のポインタのうちのポインタの第１の表現を備え、
前記第１の画像は、前記第１の画像内の第１の画像場所における複数の仮想ＵＩデバイスの仮想ユーザインターフェース（ＵＩ）デバイスの第１の表現と関連付けられ、
前記第１の画像は、前記第１の画像内の前記仮想ＵＩデバイスおよび前記ポインタに対する複数のＵＩイベントのうちのＵＩイベントと関連付けられる、ステップと、
前記仮想ＵＩデバイスの第１の表現を前記第１の画像場所における前記第１の画像上にレンダリングし、第１の訓練画像を生成するステップと、
入力データおよび対応する標的出力データを備える訓練セットを生成するステップであって、
前記入力データは、前記第１の訓練画像を備え、
前記対応する標的出力データは、前記ＵＩイベントを備える、ステップと、
前記訓練セットを使用して、前記仮想ＵＩデバイスおよび前記ポインタと関連付けられたＵＩイベントを決定するために、ニューラルネットワークを訓練するステップと
を含む、方法。
（項目４０）
前記複数の画像のうちの第２の画像は、前記ポインタの第２の表現を備え、
前記第２の画像は、前記第２の画像内の第２の画像場所における前記仮想ＵＩデバイスの第２の表現と関連付けられ、
前記第２の画像は、前記ＵＩイベントと関連付けられる、
項目３９に記載の方法。
（項目４１）
前記第１の画像および前記第２の画像は、ステレオスコピック対を形成する、項目４０に記載の方法。
（項目４２）
前記第１の画像および前記第２の画像は、画像のマルチスコピックセットの画像である、項目４０に記載の方法。
（項目４３）
前記仮想ＵＩデバイスの第２の表現を前記第２の画像場所における前記第２の画像上にレンダリングし、第２の訓練画像を生成するステップをさらに含み、
前記入力データは、前記第２の訓練画像を備える、項目４０に記載の方法。
（項目４４）
前記仮想ＵＩデバイスの前記第１の表現は、複数の高コントラストの形状を備える、項目３９に記載の方法。
（項目４５）
前記複数の高コントラストの形状は、複数の高コントラストの同心形状を備える、項目４４に記載の方法。
（項目４６）
前記複数の形状のうちの形状の重心は、相互の閾値距離内にある、項目４４に記載の方法。
（項目４７）
前記閾値距離は、０である、項目４６に記載の方法。
（項目４８）
前記複数の形状のうちの第１の形状は、第１の色と関連付けられ、
前記複数の形状のうちの第２の形状は、第２の色と関連付けられ、
前記第１の形状は、前記第２の形状に隣接する、
項目４４に記載の方法。
（項目４９）
前記第１の色は、黒色であり、前記第２の色は、白色である、項目４８に記載の方法。
（項目５０）
前記第２の形状は、部分的に透明である、項目４８に記載の方法。
（項目５１）
前記第２の形状の第１の領域は、第１の透明度値と関連付けられ、
前記第２の形状の第２の領域は、第２の透明度値と関連付けられる、
項目５０に記載の方法。
（項目５２）
前記第２の形状の第２の領域はさらに、前記第２の形状の第１の領域から離れており、
前記第２の透明度値は、前記第１の透明度値より小さい、
項目５１に記載の方法。
（項目５３）
前記第２の形状は、前記第１の形状内にある、項目５１に記載の方法。
（項目５４）
前記同心形状の第３の形状は、第３の色を有し、前記第１の形状は、前記第１の形状に隣接する、項目５１に記載の方法。
（項目５５）
第３の色は、白色である、項目５４に記載の方法。
（項目５６）
第１の形状は、前記第３の形状内にある、項目５４に記載の方法。
（項目５７）
前記ＵＩイベントは、前記仮想ＵＩデバイスの複数の状態のうちの状態に対応する、項目３９に記載の方法。
（項目５８）
前記複数の状態は、前記仮想ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目５７に記載の方法。
（項目５９）
前記複数の仮想ＵＩデバイスは、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、項目３９に記載の方法。
（項目６０）
前記複数のＵＩポインタは、ユーザまたは前記ユーザの一部と関連付けられたオブジェクトを備える、項目３９に記載の方法。
（項目６１）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、
前記ユーザの一部は、前記ユーザの指を備える、
項目６０に記載の方法。