(57)【要約】  ユーザの状態（ユーザの状態）が判定され得る。このようなユーザ状態は、ユーザの関与レベル、ユーザの覚醒レベル、ユーザの満足度レベル、ユーザの不満レベルがないこと、ユーザの感情レベル、および／または任意の他のユーザ状態を含み得る。ユーザの空間／近傍における少なくとも１つの物理的なオブジェクトが認識され得る。ユーザの状態が基準値でないとき、その状態を変化させるために、検出された物理的なオブジェクトとともに拡張現実を使用し得る。たとえば、素材が物理的なオブジェクト上に提示されているように見えるように、ユーザに素材が視覚的に提示され得る。
2018524712.tif 000002
【特許請求の範囲】
【請求項１】
物理的なオブジェクトとともに拡張現実を使用する方法であって、
ユーザの状態を判定することと、
前記ユーザの近傍において少なくとも１つの物理的なオブジェクトを検出することと、
前記ユーザの前記状態が基準値でないときに、前記ユーザの前記状態を変化させるために、前記検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用することと
を含む、方法。
【請求項２】
前記ユーザの前記状態が基準値を下回っており、および前記基準値を上回って前記状態を高めるために拡張現実が使用される、請求項１に記載の方法。
【請求項３】
前記ユーザの前記状態が基準値を上回っており、および前記基準値を下回って前記状態を低めるために拡張現実が使用される、請求項１に記載の方法。
【請求項４】
前記ユーザの前記状態を判定する動作が、空間内の前記ユーザが関わる教育活動への前記ユーザの関与レベルを判定することを含み、および
前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用する動作が、前記教育活動への前記ユーザの前記関与レベルを高めることを含む、請求項１に記載の方法。
【請求項５】
前記教育活動は第１のモードで提示され、および前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用する前記動作が、前記検出された少なくとも１つの物理的なオブジェクトとともに前記教育活動に関連する素材を第２のモードで提示することを含む、請求項４に記載の方法。
【請求項６】
前記第１のモードは音声を含み、および前記第２のモードは画像、ビデオ、および対話型要素の少なくとも１つを含む、請求項５に記載の方法。
【請求項７】
前記教育活動の識別情報を受信することと、
前記識別情報に基づいて前記素材を選択することと
をさらに含む、請求項６に記載の方法。
【請求項８】
前記ユーザの前記状態を判定する動作が、車両を運転している間の前記ユーザの覚醒レベルを判定することを含み、および
前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用する動作が、前記ユーザの視野に視覚的な警告を提供して前記ユーザの覚醒レベルを高めることを含む、請求項１に記載の方法。
【請求項９】
前記ユーザの前記近傍において前記少なくとも１つの物理的なオブジェクトを検出する動作が、前記拡張現実の一部分として前記ユーザから見える領域内に前記少なくとも１つの物理的なオブジェクトがあることを検出することを含む、請求項１に記載の方法。
【請求項１０】
前記ユーザの前記状態を判定する動作が、
前記ユーザについての生体データを受信することと、
前記ユーザの少なくとも１つの画像の分析を受信することと
の少なくとも１つを含む、請求項１に記載の方法。
【請求項１１】
前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用する動作が、前記少なくとも１つの物理的なオブジェクトに対応する視覚位置に画像を提供することを含む、請求項１に記載の方法。
【請求項１２】
前記ユーザの前記状態は、
前記ユーザの関与レベルと、
前記ユーザの覚醒レベルと、
前記ユーザの満足度レベルと、
前記ユーザの感情状態と、
前記ユーザの不満レベルがないことと
の少なくとも１つを含む、請求項１に記載の方法。
【請求項１３】
処理ユニットと、
前記処理ユニットに結合されたメモリであって、命令を記憶しており、前記命令が、前記処理ユニットによって実行されると、
空間内のユーザの状態を判定することと、
前記ユーザの近傍において少なくとも１つの物理的なオブジェクトを検出することと、
前記ユーザの前記状態が基準値でないときに、前記ユーザの前記状態を変化させるために、前記検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用することと
を行うように前記処理ユニットを構成する、メモリと
を含む、コンピューティング装置。
【請求項１４】
前記ユーザの前記状態が基準値を下回っており、および前記基準値を上回って前記状態を高めるために拡張現実が使用される、請求項１３に記載のコンピューティング装置。
【請求項１５】
前記ユーザの前記状態が基準値を上回っており、および前記基準値を下回って前記状態を低めるために拡張現実が使用される、請求項１３に記載のコンピューティング装置。
【請求項１６】
前記処理ユニットが、前記空間内の前記ユーザが関わる教育活動への前記ユーザの関与レベルを判定することにより、前記ユーザの前記状態を判定するように構成され、および
前記処理ユニットが、前記教育活動への前記ユーザの前記関与レベルを高めることにより、前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用するように構成されている、請求項１３に記載のコンピューティング装置。
【請求項１７】
前記教育活動は第１のモードで提示され、および前記処理ユニットが、前記検出された少なくとも１つの物理的なオブジェクトとともに前記教育活動に関連する素材を第２のモードで提示することにより、前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用するように構成されている、請求項１５に記載のコンピューティング装置。
【請求項１８】
第１のモードは音声を含み、および第２のモードは画像、ビデオ、および対話型要素の少なくとも１つを含む、請求項１６に記載のコンピューティング装置。
【請求項１９】
前記処理ユニットが、
前記教育活動の識別情報を受信することと、
前記識別情報に基づいて前記素材を選択することと
を行うようにさらに構成されている、請求項１６に記載のコンピューティング装置。
【請求項２０】
前記処理ユニットが、車両を運転している間の前記ユーザの覚醒レベルを判定することにより、前記ユーザの前記状態を判定するように構成され、および
前記処理ユニットが、前記ユーザの覚醒レベルを高めるために、前記ユーザの視野に視覚的な警告を提供することにより、前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用するように構成されている、請求項１３に記載のコンピューティング装置。
【請求項２１】
前記処理ユニットが、前記拡張現実の一部分として前記ユーザから見える領域内に前記少なくとも１つの物理的なオブジェクトがあることを検出することにより、前記ユーザの前記近傍において前記少なくとも１つの物理的なオブジェクトを検出するように構成されている、請求項１３に記載のコンピューティング装置。
【請求項２２】
前記処理ユニットが、
前記ユーザについての生体データを受信することと、
前記ユーザの少なくとも１つの画像の分析を受信することと
の少なくとも１つにより、前記ユーザの前記状態を判定するように構成されている、請求項１３に記載のコンピューティング装置。
【請求項２３】
前記処理ユニットが、前記少なくとも１つの物理的なオブジェクトに対応する視覚位置に画像を提供することにより、前記検出された少なくとも１つの物理的なオブジェクトとともに前記拡張現実を使用するように構成されている、請求項１３に記載のコンピューティング装置。
【請求項２４】
前記ユーザの前記状態は、
前記ユーザの関与レベルと、
前記ユーザの覚醒レベルと、
前記ユーザの満足度レベルと、
前記ユーザの感情レベルと、
前記ユーザの不満レベルがないことと
の少なくとも１つを含む、請求項１３記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に記載の実施形態は、概して拡張現実に関し、より詳細には、空間内のユーザの状態を変化させるために、物理的なオブジェクトとともに拡張現実を使用することに関する。
【背景技術】
【０００２】
物理空間内のユーザは活動状態を有し得る。たとえば、教室での講義などの活動に参加しているユーザは、関与レベルを有し得る。ユーザの関与レベルが十分に高くない場合、ユーザは学習していない場合がある。別の例として、車両を運転しているユーザは、覚醒レベル（または逆の眠気レベル）を有し得る。ユーザの覚醒レベルが十分に高くない場合（またはユーザの眠気レベルが低すぎる場合）、ユーザは事故を起こすことがある。
【０００３】
したがって、現在、空間、車両、状況などにおいてユーザの状態を変化させる必要があり得る。
【発明の概要】
【０００４】
この概要は、選択された概念を簡略化された形態で紹介するために提供され、こうした概念は、以下の実施形態の説明のセクションでさらに説明される。この概要は、特許請求される主題の重要な特徴または本質的な特徴を識別するものではなく、特許請求される主題の範囲を決定する際に役立つものとして使用されるものでもない。
【０００５】
本明細書に記載の様々な例示的実施形態は、物理的なオブジェクトとともに拡張現実を使用する方法に関し、この方法を含み、またはこの方法の形態をとり得る。この方法は、空間内のユーザの状態を判定することと、ユーザの空間／近傍において少なくとも１つの物理的なオブジェクトを検出することと、ユーザの状態が基準値（ｔｈｒｅｓｈｏｌｄ）でないときに、その状態を変化させるために、検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用することとを含み得る。
【０００６】
いくつかの例では、この方法および／または処理ユニットは、空間内のユーザが関わる教育活動へのユーザの関与レベルを判定することにより、ユーザの状態を判定するように構成され得る。このような例では、処理ユニットは、教育活動へのユーザの関与レベルを高めることにより、検出された少なくとも１つ物理的なオブジェクトとともに拡張現実を使用するように構成され得る。様々な例では、教育活動は第１のモードで提示され得、および処理ユニットは、検出された少なくとも１つの物理的なオブジェクトとともに教育活動に関連する素材を第２のモードで提示することにより、検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用するように構成され得る。第１のモードは音声であり得、および第２のモードは画像、ビデオ、および対話型要素の少なくとも１つであり得る。いくつかの例では、処理ユニットは、教育活動の識別情報を受信し、かつこの識別情報に基づいて素材を選択するようにさらに構成され得る。
【０００７】
様々な例では、方法および／または処理ユニットは、車両を運転している間のユーザの覚醒レベルを判定することにより、ユーザの状態を判定するように構成され得る。このような例では、処理ユニットは、ユーザの覚醒レベルを高めるために、ユーザの視野に視覚的な警告を提供することにより、検出された少なくとも１つ物理的なオブジェクトとともに拡張現実を使用するように構成され得る。
【０００８】
１つまたは複数の例では、方法および／または処理ユニットは、拡張現実の一部分としてユーザから見える領域内に少なくとも１つの物理的なオブジェクトがあることを検出することにより、空間内において少なくとも１つの物理的なオブジェクトを検出するように構成され得る。処理ユニットは、ユーザについての生体データを受信することと、ユーザの少なくとも１つの画像の分析を受信することとの少なくとも１つにより、ユーザの状態を判定するように構成され得る。
【０００９】
本明細書に記載の関連する例示的な実施形態は、非一時的記憶媒体で有形に具現化されるコンピュータプログラム製品に関し、これを含み、またはこの形態をとり得る。コンピュータプログラム製品は、空間内のユーザの状態を判定するために処理ユニットによって実行可能である、非一時的記憶媒体に記憶された命令の第１の組を含み得る。コンピュータプログラム製品は、空間内の少なくとも１つの物理的なオブジェクトを検出するために処理ユニットによって実行可能である、非一時的記憶媒体に記憶された命令の第２の組をさらに含み得る。コンピュータプログラム製品は、ユーザの状態が基準値よりも低いとき、その状態を高めるために、検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用する処理ユニットによって実行可能である、非一時的記憶媒体に記憶された命令の第２の組をさらに含み得る。
【００１０】
次に、添付図に示した代表的な例示的実施形態を参照する。以下の説明は、特定の実施形態または特定の実施形態の組に本開示を限定するものではないことが理解される。それとは反対に、本開示は、添付の特許請求の範囲によって規定され、添付図に示すように記載された実施形態の範囲内に含まれ得る代替形態、修正形態、および均等物を対象として含むものである。
【図面の簡単な説明】
【００１１】
【図１】拡張現実装置を使用しながら教育活動に関わるユーザの例を示す。
【図２Ａ】拡張現実コンピューティング装置によってユーザに提示される例示的なビューを示す。
【図２Ｂ】拡張現実コンピューティング装置が物理的なオブジェクトとともに拡張現実を使用してユーザの状態を高めようと試みるときの、図２Ａの例示的なビューを示す。
【図３】拡張現実コンピューティング装置で使用され得る構成要素および構成要素の機能的な関係の例示的なブロック図を示す。
【図４Ａ】車両の拡張現実コンピューティング装置のユーザに提示される例示的なビューを示す。
【図４Ｂ】車両の拡張現実コンピューティング装置が物理的なオブジェクトとともに拡張現実を使用してユーザの状態を高めようと試みるときの、図４Ａの例示的なビューを示す。
【図５】物理的なオブジェクトとともに拡張現実を使用する例示的な方法の動作を説明するフローチャートを示す。
【発明を実施するための形態】
【００１２】
様々な図面で同じまたは同様の参照番号を使用することで、同様の要素、関連する要素、または同一の要素を示す。
【００１３】
本明細書の一部を形成し、特定の例示的な実施形態を示す添付図面を参照しながら、様々な例示的実施形態を以下でより詳細に説明する。しかし、実施形態は、多くの様々な形式で実施され得、また本明細書において説明される実施形態に限定されるものと解釈すべきではない。むしろ、これらの実施形態は、本開示が詳細かつ完全になり、実施形態の範囲を当業者に十分に伝えるように提供される。したがって、以下の詳細な説明は、限定的な意味にとられるべきではない。
【００１４】
拡張現実は、物理的な現実世界の空間の（直接または間接の）ライブビューであり、コンピューティング装置が生成する感覚入力により、物理的な現実世界の空間の要素が拡張（または補足）される。このようなセンサ入力には、音声、画像、ビデオ、グラフィックス、ポジショニング、および／または方向の情報などが含まれ得る。たとえば、コンピューティング装置が生成する視覚情報は、透明な画面上に表示（および／または投影）され得、この画面を介してユーザは物理空間を見ることができる。別の例として、コンピューティング装置が生成する追加の視覚情報と組み合わされた物理空間のライブビデオを電子表示装置が提示し得る。したがって、シミュレーションされた空間で物理空間を置き換えることのできる仮想現実とは対照的に、拡張現実は物理空間についてのユーザの知覚を向上させることができる。
【００１５】
本明細書に記載の多くの実施形態は、物理的なオブジェクトとともに拡張現実を使用する方法、システム、およびコンピュータプログラム製品に関する。空間内のユーザの状態（たとえば、ユーザの関与レベル、ユーザの覚醒レベル、ユーザの眠気レベル、ユーザの満足度レベル、ユーザの感情レベル、ユーザの不満レベルがないこと、ユーザの不満レベルなど）が判定され得る。空間内の少なくとも１つの物理的なオブジェクトが認識され得、あるいは検出され得る。ユーザの状態が基準値であるとき、その状態を変化させるために、（物理的なオブジェクトに対応する視覚位置に１つまたは複数の画像を提供することなどによって）この検出された物理的なオブジェクトとともに拡張現実を使用し得る。このようにして、空間内のユーザの状態を変化させるために、物理的なオブジェクトとともに拡張現実を使用し得る。
【００１６】
多くの例示的な実施形態では、ユーザの状態は、空間内のユーザが関わる教育活動（教室での講義など）へのユーザの関与レベルであり得る。このような実施形態では、ユーザの状態を高めるために拡張現実を使用することは、教育活動へのユーザの関与レベルを高めることを含み得る。
【００１７】
いくつかの例では、教育活動は、（たとえば、プロセッサによって提供される講義を介して可聴的に）第１のモードで提示され得、およびユーザの関与レベルを高めるために拡張現実を使用することは、検出されたオブジェクトとともに教育活動に関連する素材を第２のモードで提示することを含み得る（たとえば、画像、ビデオ、または空間内の黒板などの物理的なオブジェクト上の場合と同様に表示される対話型要素など）。このような例では、（講義の音声の分析を実行すること、および講義において議論されている主題を特定する通知を受信することなどによって）教育活動の識別情報が受信され得、およびこの識別情報に基づいて素材が選択され得る。
【００１８】
様々な例示的実施形態では、ユーザの状態は、空間内で車両（たとえば、自動車、飛行機など）を運転しているユーザの覚醒レベルであり得る。ユーザの状態を高めるために拡張現実を使用することは、ユーザの視野に視覚的な警告を提供してユーザの覚醒レベルを高めることを含み得る。逆に、いくつかの実装形態では、ユーザの状態はユーザの眠気レベルであり得、およびユーザの視野内に視覚的な警告が提供されてユーザの眠気レベルを低め得る。
【００１９】
いくつかの例示的な実施形態では、空間内の物理的なオブジェクトを検出することは、拡張現実の一部分としてユーザから見える領域内にオブジェクトが存在していることを検出することを含み得る。たとえば、物理的なオブジェクトは、透明な画面を通して見えるように、または拡張現実をユーザに提示する際に使用されるライブビデオにおいて見えるように検出され得る。
【００２０】
様々な例示的実施形態において、様々な方式でユーザの状態が判定され得る。いくつかの例では、ユーザについての生体データ（たとえば、ユーザの脈拍数もしくは心拍数、瞳孔拡張、まばたきの速度、呼吸パターン、および／またはユーザに関する任意の他の生体情報など）が受信され得る。他の例では、（たとえば、ユーザがどこを見ているか、ユーザの目がどこに合焦しているか、ユーザが落ち着かないかどうか、ユーザがどの程度の頻度でまばたきするかなどを判定するために）ユーザの１つまたは複数の画像が分析され得る。
【００２１】
様々な実施形態では、心拍数、脈拍数、体温、血管拡張、ユーザの皮膚の導電率、瞳孔拡張、顔の表情、ボディランゲージ、呼吸パターン、体液および／または匂いにおける化学変化などのユーザの生体情報が、（幸せである、悲しいなどの）特定の感情状態、または（高い心拍数は人が興奮していることを示し得、より遅い心拍数は人がくつろいでいることを示し得るなどの）包括的な感情状態を示し得る場合、ユーザの特定の感情状態が判定され得る。ユーザによって装着される、バイタルサインを取得するウェアラブル装置、カメラもしくはＫＩＮＥＣＴを介して視覚入力を取り込む外部の感覚システム、音声センサを介した聴覚入力、機械嗅覚センサを介した嗅覚、および他のタイプのセンサ単独で、または組み合わせにより、この情報を判定することができる。
【００２２】
図１は、本開示の原理による例示的な空間を示し、ここで、ユーザ１０１が、拡張現実装置１０２を使用しながら教育活動に関わっている。示されるように、教育活動は、ユーザ１０１を含む学生に講義する教師１０３を介して教室空間１００で行われる教室での講義であり得る。
【００２３】
拡張現実装置１０２は、教室空間１００内のユーザ１０１の状態を変化させるために、物理的なオブジェクトとともに拡張現実を使用する方法を実行するように構成され得る。拡張現実装置１０２は、教室空間１００内のユーザ１０１の状態を判定し、教室空間１００内の少なくとも１つの物理的なオブジェクト１０４を検出し、かつユーザ１０１の状態が基準値よりも低いときに、ユーザ１０１の状態を高めるために、検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用し得る。
【００２４】
たとえば、ユーザ１０１の状態は、教室での講義へのユーザ１０１の関与レベルであり得る。ユーザ１０１の関与レベルは、ユーザ１０１が教室での講義に完全に集中している場合には関与度が非常に高く、ユーザ１０１が教室での講義に概ね集中している場合には関与度が高く、ユーザ１０１が教室での講義よりも他のことに概ね集中している場合には関与度がいくぶん低くなり、ユーザ１０１が教室での講義に全く集中していない場合には関与していないとすることができる。
【００２５】
このような例では、ユーザ１０１の状態を判定することは、教室で行われる講義へのユーザの関与レベルを判定することを含み得る。拡張現実装置１０２は、ユーザ１０１の関与レベルを様々な方式で判定し得る。拡張現実装置１０２は、ユーザ１０１の関与レベルを示すユーザ１０１についての生体データ（たとえば、ユーザの脈拍数もしくは心拍数、瞳孔拡張、まばたきの速度、呼吸パターン、および／またはユーザに関する任意の他の生体情報など）を受信し（かつ／または１つもしくは複数の構成要素を含む１つもしくは複数の他の装置から通知を受信し）、（たとえば、ユーザがどこを見ているか、ユーザの目がどこに合焦しているか、ユーザが落ち着かないかどうか、ユーザがどの程度の頻度でまばたきするかなどを判定するため等）ユーザ１０１の関与レベルを判定するためにユーザ１０１の１つまたは複数の画像を分析し、かつ／あるいはユーザ１０１の関与レベルを判定する１つまたは複数の構成要素を含み得る。
【００２６】
拡張現実装置１０２は、ユーザが教室空間１００内にいる場合にユーザの近傍に存在する可能性のある、空間１００内の少なくとも１つの物理的なオブジェクトを検出し得、かつ／あるいは選択もしくは識別し得る。このような検出は、物理的なオブジェクトが教室空間１００内にあることを検出することと、拡張現実の一部分としてユーザ１０１から見える領域内に物理的なオブジェクトがあることを検出することと、物理的なオブジェクトが、拡張現実を提示することのできる（サイズ、形状、表面のタイプなどの）特徴を有することを検出することと、画像認識を実行して物理的なオブジェクトおよび／または物理的なオブジェクトの特徴を認識することと、物理的なオブジェクトが拡張現実装置１０２によって制御可能であることを検出することとなどを必要とし得る。たとえば、図２Ａに示すように、拡張現実装置１０２は、教師１０３の背後のホワイトボード１０４が、拡張現実の一部分としてユーザ１０１から見える領域２００Ａ内にあり、拡張現実装置１０２が素材を提示するのに十分な寸法を有していることを検出し得る。
【００２７】
拡張現実装置１０２は、ユーザ１０１の状態が基準値よりも低いときに、その状態を高めるために、検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用し得る。たとえば、図２Ｂに示すように、ユーザ１０１の関与レベルがいくぶん低いかそれを下回る場合、拡張現実装置１０２は、ホワイトボード１０４に対応する視覚位置においてユーザ１０１から見える領域２００Ｂ内に画像２０５を提供し得る。ホワイトボード１０４に対応する視覚位置において（またはホワイトボード１０４上でのユーザ１０１の知覚に従って）画像２０５を提供することにより、ユーザ１０１の関与レベルが上昇し得、その結果、ユーザ１０１は教室での講義により集中するようになる。
【００２８】
いくつかの例示的な実施形態では、拡張現実装置１０２は、検出された物理的なオブジェクトとともに拡張現実を使用して、教育活動が提供されているモードと異なるモードで教育活動に関連する素材を提示するように構成され得る。たとえば、図２Ｂに示す講義は、教師の話を介して、第１のモードである音声で提示されている。提示される素材は、画像２０５を介して、第２のモードで視覚的に提示され得る。様々な人々が様々なモードを介してより良好に学習し、複数のモードを使用する提示が関与度を高め得る。このような様々なモードは、ユーザ１０１が音声のみを介して理解するのが困難な素材を明瞭にすることもできる。
【００２９】
画像２０５は、画像２０５として図示および説明されるが、これは一例であることが理解される。第２のモードは、１つまたは複数の画像、ビデオ、インタラクティブな要素（たとえば、ゲーム）など、教育活動と異なるモードで提示される任意の種類のコンテンツであり得る。
【００３０】
様々な例示的実装形態では、拡張現実装置１０２は、素材が教育活動に関連付けられるように、提示する素材を選択するように構成され得る。拡張現実装置１０２は、教育活動の識別情報を受信し、かつこの識別情報に基づいて素材を選択し得る。
【００３１】
たとえば、拡張現実装置１０２は、講義に関する音声分析を実行して、その講義ではグラフ上で数学的曲線を論じたと判定する構成要素を含み得る。拡張現実装置１０２の処理ユニットは、講義の主題の識別情報を受信し得、またグラフを図で説明するように画像２０５を選択し得る。
【００３２】
別の例として、教室１００にある送信機が講義の主題に関連する識別子を送信し得る。拡張現実装置１０２は、このような識別子を受信し得、またこの識別子との関連付けに基づいて画像２０５を選択し得る。
【００３３】
さらに他の例では、拡張現実装置１０２は、講義で扱っている内容についての仕様書を用いて構成され得る。したがって、画像２０５を選択するとき、拡張現実装置１０２は、仕様書に示してあるものに関連するコンテンツを選択し得る。
【００３４】
図３は、拡張現実コンピューティング装置１０２で使用され得る構成要素および構成要素の機能的な関係の例示的なブロック図を示す。図示されるように、拡張現実装置１０２は、１つまたは複数の処理ユニット３１０、記憶媒体３１１（磁気記憶媒体、光記憶装置、光磁気記憶媒体、リードオンリメモリ、ランダムアクセスメモリ、消去可能なプログラマブルメモリ、フラッシュメモリなどの形態をとり得るが、それのみに限定されない）、ユーザインターフェース構成要素３１５（たとえば、１つまたは複数の表示装置３１６、スピーカ、マイクロホン、入力／出力装置など）、センサ３１４（たとえば、１つまたは複数の生体認証センサ、静止画像カメラ、ビデオカメラ、マイクロホン、嗅覚センサなど）、通信用構成要素３１２などを含み得る。処理ユニット３１０は、記憶媒体３１１に記憶された１つまたは複数の組の命令を実行して、様々な拡張現実装置１０２の機能を実行し得る。拡張現実コンピューティング装置１０２の様々な例は、Google（登録商標） Glass、Microsoft（登録商標）のHoloLens（登録商標）、ソニー（登録商標）のVita、任天堂（登録商標）の3DS（登録商標）などであり得る。
【００３５】
たとえば、１つまたは複数の組のこのような命令は、空間内のユーザの状態を判定し、ユーザの空間／近傍において少なくとも１つの物理的なオブジェクトを検出し、かつユーザの状態が基準値を下回るときに、その状態を高めるために、検出された少なくとも１つの物理的なオブジェクトとともに拡張現実を使用するように処理ユニット３１０を構成し得る。別の例として、処理ユニット３１０は、物理的なオブジェクトとともに拡張現実を使用する様々な異なる方法、および／または拡張現実装置１０２に関連する他の機能を実行するように構成され得る。
【００３６】
いくつかの例示的な実装形態では、表示装置３１６は透明な画面であり得、ユーザ１０１は、この画面を通して教室空間１００などの物理空間を見ることができ、表示装置３１６は、拡張現実装置１０２の１つまたは複数の構成要素（たとえば、処理ユニット３１０など）によって生成される視覚情報をこの画面に提示することができる。たとえば、表示装置３１６は、透明度が可変の液晶画面であり得、この液晶画面は、ユーザがこの画面を通して見ることができるように、かつ／または視覚情報をこの画面に提示できるように制御され得る。別の例として、拡張現実装置１０２は、視覚情報を表示装置３１６に投影する構成要素を含み得、その結果、ユーザ１０１は、透明な画面を通して物理空間を見ているのと同時に、投影された視覚情報を見ることができる。このような例では、物理空間を見ることと、提示された視覚情報を見ることとの間で切り替えるときに、ユーザ１０１が自らの目の焦点を再び合わせることのないように、視覚情報は無限遠に投影され得る（たとえば、カメラに使用される無限遠にリフォーカスする）。
【００３７】
別の例示的な開示では、表示装置３１６は、生成される視覚情報と組み合わされた教室空間１００などの物理空間のライブビデオを提示するように動作することができる不透明な表示装置であり得る。たとえば、図２Ｂに示すように、このような組合せは、画像２０５で機能強化された教室１００のビデオフィードであり得る。
【００３８】
図１〜３は例示的なものであり、教育活動へのユーザ１０１の関与レベルを変化させることに関連して説明されるが、これは一例であることを理解されたい。本開示の範囲から逸脱することなく、様々な実装形態が可能でありかつ企図される。
【００３９】
たとえば、図１に示した講義に参加しかつ／あるいは関わっているユーザ１０１は、不満レベル、覚醒レベル、満足度レベル、不満レベルがないこと、および／または任意の他の種類の状態を有し得る。このような状態が監視され得、ユーザ１０１の不満レベル（これは、講義で提示される素材に対するユーザの当惑に対応し得る）がないことを高めるなど、検出された状態を変更するために、検出された状態とともに拡張現実を使用し得る。
【００４０】
別の例として、図４Ａは、車両の拡張現実コンピューティング装置のユーザに提示される例示的なビュー４０１Ａを示す。ユーザは、車両（たとえば、自動車、飛行機、船など）を運転し得、覚醒レベル（またはその逆の眠気レベルおよび／もしくは関連する他のレベル）を有し得る。覚醒が十分でないときに車両を運転することは危険であり得る。したがって、車両の拡張現実コンピューティング装置は、ユーザの覚醒レベルを高めるために、検出された物理的なオブジェクトとともに拡張現実を使用し得る。
【００４１】
たとえば、車両の拡張現実コンピューティング装置は、道路４０２がユーザのビュー４０１内にあることを判定し得る。車両の拡張現実コンピューティング装置は、たとえば、ユーザの視野内に、図４Ｂに示すビュー４０１Ｂ中の点滅する危険インジケータ４０３および／または別の視覚的な警告を提供することにより、ユーザの覚醒レベルを高めるために、道路４０２とともに拡張現実を使用し得る。点滅する危険インジケータ４０３は、ユーザが安全に覚醒しておらず、さらに覚醒する必要があることをユーザに示し得る。このように危険が伝えられると、ユーザはさらに覚醒し、ユーザの覚醒レベルが高まる。
【００４２】
別の例として、ユーザは、家庭のコンピューティング装置上でワープロ文書を作成しながら拡張現実コンピューティング装置を利用し得る。ユーザは、関連するワープロプログラムで何かしらを実現する方法を見つけられない場合に不満になり得る。ユーザの不満レベルのないことが基準値を下回るとき、拡張現実コンピューティング装置は、家庭のコンピューティング装置のモニタを検出し、モニタの画面上でユーザが利用している文書処理プログラム領域の邪魔にならない領域にヘルプ情報を提示し得る。
【００４３】
別の例として、ユーザは、テレビを見ながら拡張現実コンピューティング装置を利用し得る。テレビに広告が表示され得る。広告の表示される時間が長すぎると、ユーザの満足度レベルが基準値を下回ることがあり、ユーザはその広告に関心を向けない場合がある。したがって、拡張現実コンピューティング装置は、テレビとともにユーザのビューにある壁の一部分を検出し、この壁にダンスアニメーションを表示し得る。このダンスアニメーションは、依然として広告を見ている間にユーザの満足度レベルが基準値を上回って上昇するように、十分にユーザを楽しませることができる。このようにして、ユーザが依然として広告を見ている間、基準値を上回るユーザの満足度レベルを維持することができる。
【００４４】
別の例として、ユーザは、ビデオまたはオーディオのようなメディアを消費しながら拡張現実コンピューティング装置を利用し得る。コンピューティング装置は、セットトップボックスおよび／または表示装置とインターフェースすることができ、ここで、コンピューティング装置は、ユーザがいずれのコンテンツを消費しているかを知っている。ユーザの状態が減退しているように見えるときにコンテンツ内の重要なシーンまたは要素が提示される場合、ユーザの物理空間／近傍においてオブジェクトを検出し、ユーザの注意を表示装置に引き戻すためにこれを使用することができる。オブジェクトは、漫画のキャラクタに変身し、ユーザが再び集中して番組を見るよう仕向けることができる。
【００４５】
別の例として、ユーザは、テレビ会議に参加しながら拡張現実コンピューティング装置を利用し得る。すなわち、遠隔会議中にユーザの注意が低下していると判定される場合、会議での特定のユーザが注意喚起を促され得る。物理的なオブジェクト拡張現実装置によってユーザの近傍の物理的なオブジェクトを漫画のキャラクタに「変化」させられ、会議に集中するようにユーザに伝えることができる。
【００４６】
視覚情報を物理的なオブジェクトに重ね合わせることに関連して例示的な図１〜４Ｂが図示および説明されるが、これは、提示されたものによる一例であることを理解されたい。様々な例示的実装形態では、本開示の範囲から逸脱することなく、検出された物理的なオブジェクトが他の様々な方式で拡張現実とともに使用され得る。
【００４７】
たとえば、この検出は、オブジェクトが１つまたは複数の機能を実行でき、制御可能であり、かつ／あるいは機能を実行するために拡張現実コンピューティング装置によって利用され得ることを検出することができる。このような機能は、拡張現実コンピューティング装置が素材をオブジェクトに投影するようにする代わりに素材を表示し、および／またはオブジェクトとともに素材を表示すること、音声を生成すること、ユーザが装着している装置および／または他の機能によって生成されたバズまたは他の振動などの触覚出力を生成することであり得る。
【００４８】
図示および先に説明されたように、第１のモードで教育活動または他の活動を提示している間にユーザの状態が基準値を下回っているとき、拡張現実コンピューティング装置は、第２のモードで素材を提示し得る。しかし、これは一例であり、様々な実装形態において、拡張現実コンピューティング装置は、本開示の範囲から逸脱することなく、このような活動の様々な態様を変化させ得る（かつ／または変化させるように通知し得る）ことが理解される。
【００４９】
たとえば、ユーザの状態を評価することにより、提示をリアルタイムに調整して、ユーザがより魅力あるものと感じる話題にさらに集中することを可能にすることができる。あるいは、ユーザの関与度が相対的に低いとき、ユーザは、自らが見逃した可能性のある話題について支援または提示をさらに必要としている可能性があると判定され得る。別の代替形態では、ユーザの状態を評価することにより、ユーザが難解と感じる話題にさらに多くの時間を割り当てて、こうした話題をよりよく説明および／または強調できるようにすることができる。なおも他の選択肢では、ユーザの集中が逸れ始めたときに授業の対話性を増して、ユーザの注意を取り戻そうすることができる。
【００５０】
他の例示的な実装形態では、集中度の代わりに、ユーザの快適レベルまたは不安レベルが評価され得る。本開示の範囲から逸脱することなく、様々なユーザ状態が評価および対処され得る。
【００５１】
なおも他の例示的な実装形態では、ユーザの状態が一定期間にわたって追跡および評価され得る。ユーザの集中度は、一日のある時間で相対的に高くなり、他の時間では相対的に低くなることがある。このような評価に基づいて、ユーザの集中度が相対的に高くなることがある時間にある種の素材が提示され、ユーザの集中度が相対的に低くなることがある時間に他の素材が提示されるように、素材の提示が調整され得る。様々な例では、ユーザに関するこのようなデータが、他のユーザからのデータと集約され得る。素材、発表者などの有効性を評価するためにこのような集約を使用することができ、また、このような集約データの評価に基づいて素材および／または発表者を調整して、有効性を高めかつ／または関連する他の機能を実行することができる。
【００５２】
検出されたユーザの状態に基づいて提示を修正することに加えて、いくつかの実装形態では、提示に関連する外部の活動が実行され得る。たとえば、講義中にユーザの集中度が基準値を下回ることが検出されると、それに応じて、ユーザ向けに調節された宿題がユーザに送られ得る。基準値を下回るユーザの状態に基づいて宿題を調節して、さらに、ユーザが見逃した可能性のある話題を作成し、ユーザが問題を抱えている可能性のある領域にユーザを取り組ませ、ユーザが既に習得した可能性のある領域でさらなる課題などを提供する。
【００５３】
図５は、物理的なオブジェクトとともに拡張現実を使用する方法５００の動作を説明する例示的なフローチャートを示す。方法５００は、拡張現実コンピューティング装置１０２によって実行され得る。
【００５４】
５０１において、フローが開始し得る。フローは５０２に進み得、ここで、コンピューティング装置が動作する。次いで、フローは５０３に進み得、ここで、ユーザの状態が判定される。状態は、ユーザの関与レベル、ユーザの覚醒レベル、ユーザの満足度レベル、ユーザの満足度レベルがないこと、および／または監視され得る任意の他のユーザの状態であり得る。
【００５５】
次に、フローは５０４に進み得、ここで、状態が基準値でないかどうかが判定される。ステップ５０４では、基準値でない状態とは、状態が基準値を下回っていること、状態が基準値を上回っていること、かつ／または状態が基準値に等しくないことであり得る。状態が基準値でない場合、フローは５０５に進み得る。そうでなければ、フローは５０２に戻り得、ここで、コンピューティング装置は動作を継続する。
【００５６】
５０５において、ユーザの状態が基準値でないと判定された後、ユーザの空間／近傍において物理的なオブジェクトが検出され得る。次いで、フローは５０６に進み得、ここで、物理的なオブジェクトとともに拡張現実が使用される。物理的なオブジェクトユーザの状態を高め、ユーザの状態を低め、かつ／または他にユーザの状態を変更もしくは変化させるために、物理的なオブジェクトとともに拡張現実装置が使用され得る。例示的な実施形態では、物理的なオブジェクトがユーザの近傍（ユーザと同じ物理空間内）にあることを妥当性検査する判定がなされる。
【００５７】
次いで、フローは５０２に戻り得、ここで、コンピューティング装置は動作を継続する。しかし、これは一例であることを理解されたい。様々な実装形態では、ユーザの状態が評価され得、ユーザの状態が依然として十分に変化していない場合に物理的なオブジェクトとともに拡張現実が使用され得る。
【００５８】
特定の順序で実行される特定の動作を含むものとして例示的な方法５００が図示および先に説明されているが、これは一例であることが理解される。様々な実装形態では、本開示の範囲から逸脱することなく、同じ、同様の、かつ／または互いに異なる動作の様々な順序が実行され得る。
【００５９】
たとえば、オブジェクトを検出する前にユーザの状態が基準値を下回っているかどうかを判定するものとして例示的な方法５００が図示および説明される。しかし、他の実装形態では、基準値を評価する前にオブジェクトが検出され得る。
【００６０】
なおも他の例示的な実装形態では、基準値の評価は、ユーザの状態が基準値を下回っているかどうかを判定すること以外であり得る。たとえば、様々な実装形態では、ユーザの状態が基準値を上回っているかどうかが判定され得る。他の例では、本開示の範囲から逸脱することなく、ユーザの状態が複数の基準値と比較され得る。
【００６１】
前述の通りかつ添付図に示したように、本開示は、物理的なオブジェクトとともに拡張現実を使用する方法、システム、およびコンピュータプログラム製品に関する実施形態を詳細に説明する。空間内のユーザの状態（たとえば、ユーザの関与レベル、ユーザの覚醒レベル、ユーザの眠気レベル、ユーザの満足度レベル、ユーザの不満レベルがないこと、ユーザの不満レベルなど）が判定され得る。空間内の少なくとも１つの物理的なオブジェクトが認識あるいは検出され得る。ユーザの状態が基準値を下回っているとき、その状態を高めるために、（物理的なオブジェクトに対応する視覚位置に１つまたは複数の画像を提供することなどによって）この検出された物理的なオブジェクトとともに拡張現実が使用され得る。このようにして、空間内のユーザの状態を変化させるために、物理的なオブジェクトとともに拡張現実を使用し得る。
【００６２】
本開示では、開示された方法は、装置が読取り可能な命令またはソフトウェアの組として実装され得る。さらに、開示された方法におけるステップの特定の順序または階層は、例示的な手法の例であることが理解される。他の実施形態では、この方法におけるステップの特定の順序または階層は、開示された主題内にとどまりながら再編成することができる。添付の方法クレームは、見本の順序での様々なステップの要素を提示しており、提示された特定の順序または階層に必ずしも限定されるものではない。
【００６３】
説明してきた本開示は、命令を記憶している非一時的機械可読媒体を含み得るコンピュータプログラム製品またはソフトウェアとして提供され得、これらの命令を使用して、本開示によるプロセスを実行するようにコンピュータシステム（または他の電子装置）をプログラムすることができる。非一時的機械可読媒体は、マシン（たとえば、コンピュータ）が読取り可能な形式（たとえば、ソフトウェア、処理アプリケーション）で情報を記憶するための任意のメカニズムを含む。非一時的機械可読媒体は、それのみに限定されないが、磁気記憶媒体（たとえば、フロッピーディスク、ビデオカセットなど）、光記憶媒体（たとえば、ＣＤ−ＲＯＭ）、光磁気記憶媒体、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能なプログラマブルメモリ（たとえば、ＥＰＲＯＭおよびＥＥＰＲＯＭ）、フラッシュメモリなどの形態をとり得る。
【００６４】
本開示の教示を組み込んだ実施形態を本明細書において図示し、詳細に説明してきたが、当業者であれば、依然としてこれらの教示を組み込んだ他の多くの変形実施形態を容易に考案することができる。拡張現実用のシステムおよび方法の例示的な実施形態（これらは例示的なものであって限定的なものではない）を説明してきたが、前述の教示に照らして、当業者によって修正形態および変形形態がなされ得ることに留意されたい。したがって、添付の特許請求の範囲によって要点を説明された本開示の範囲内にある、開示された本開示の具体的な実施形態に対する変更形態がなされ得ることを理解されたい。
【００６５】
本出願および特許請求の範囲を説明するために例示的な語句「Ａ、Ｂ、およびＣの少なくとも１つ」が使用され、この語句は、「Ａのみ、もしくはＢのみ、もしくはＣのみ、またはＡ、Ｂ、およびＣの任意の組合せ」を意味する。
【図１】
2018524712.tif 000003
【図２Ａ】
2018524712.tif 000004
【図２Ｂ】
2018524712.tif 000005
【図３】
2018524712.tif 000006
【図４Ａ】
2018524712.tif 000007
【図４Ｂ】
2018524712.tif 000008
【図５】
2018524712.tif 000009
【国際調査報告】
2018524712.tif 000010
2018524712.tif 000011
2018524712.tif 000012