(57)【特許請求の範囲】
【請求項１】
命令を含むメモリと、
前記メモリと接続し、プロセッサによって実行可能であって、現実世界イメージと仮想オブジェクトを統合することによって拡張現実イメージを提供するように構成された拡張現実エンジンと、
前記メモリと接続し、前記プロセッサによって実行可能な処理ユニットを備え、
前記処理ユニットは、
前記仮想オブジェクトの空間属性としてｘ軸成分、ｙ軸成分、およびｚ軸成分を取得し、
前記空間属性の各成分から他の空間属性の成分とは重複しないようにオーディオ属性のトーン成分、ピッチ成分、および音量成分のうちの１つを決定し、
前記仮想オブジェクトに関するサウンドファイルであって、前記トーン成分、前記ピッチ成分、および前記音量成分を含む前記オーディオ属性から成るサウンドファイルを構成する
拡張現実システム。
【請求項２】
前記処理ユニットは、さらに、
前記仮想オブジェクトに関連するメッセージを受信する、請求項１に記載の拡張現実システム。
【請求項３】
前記サウンドファイルを再生するように構成されたサウンドプレイヤーをさらに備える、請求項１に記載の拡張現実システム。
【請求項４】
前記メッセージは、前記仮想オブジェクトから生成されたアクティブメッセージと、前記仮想オブジェクトのユーザ入力から生成されたパッシブメッセージとを備える、請求項２に記載の拡張現実システム。
【請求項５】
第１のサウンドマッピングテーブルを格納するように構成された第１のサウンドファイルリポジトリと、
第２のサウンドマッピングテーブルを格納するように構成された第２のサウンドファイルリポジトリとをさらに備え、
前記処理ユニットは、前記第１のサウンドマッピングテーブルを使用して、前記アクティブメッセージに関連する前記仮想オブジェクトの前記空間属性から前記オーディオ属性を決定し、前記第２のサウンドマッピングテーブルを使用して、前記パッシブメッセージに関連する前記仮想オブジェクトの前記空間属性から前記オーディオ属性を決定するようにさらに構成されている、
請求項４に記載の拡張現実システム。
【請求項６】
サウンドマッピングテーブルを格納するように構成されたサウンドファイルリポジトリをさらに備え、
前記処理ユニットは、前記サウンドマッピングテーブルを使用して、前記空間属性から前記オーディオ属性を決定するようにさらに構成されている、
請求項１に記載の拡張現実システム。
【請求項７】
前記サウンドマッピングテーブルは、前記空間属性のうちの１つと前記オーディオ属性のうちの１つとの関係を示す関数式を備える、請求項６に記載の拡張現実システム。
【請求項８】
取り込まれた現実世界イメージの空間属性を認識するように構成された奥行き認識ユニットと、
ユーザと前記仮想オブジェクトとの距離を、取り込まれた現実世界イメージの前記空間属性に基づいて計算するように構成された距離計算ユニットと
をさらに備える、請求項１に記載の拡張現実システム。
【請求項９】
前記拡張現実イメージおよび前記メッセージを表示するように構成された表示ユニットをさらに備える、請求項２に記載の拡張現実システム。
【請求項１０】
イメージ取込みユニットによって取り込まれたユーザの振る舞いを認識するように構成されたユーザ認識ユニット
をさらに備える、請求項１に記載の拡張現実システム。
【請求項１１】
拡張現実システムの制御の下に実行される方法であって、
仮想オブジェクトの空間属性としてｘ軸成分、ｙ軸成分、およびｚ軸成分を取得し、前記空間属性の各成分から他の空間属性の成分とは重複しないようにオーディオ属性のトーン成分、ピッチ成分、および音量成分のうちの１つを決定し、前記仮想オブジェクトに関するサウンドファイルであって、前記トーン成分、前記ピッチ成分、および前記音量成分を含む前記オーディオ属性から成るサウンドファイルを構成する
ことを含む、方法。
【請求項１２】
前記方法は、さらに、
前記仮想オブジェクトに関連するメッセージを受信することを含む、請求項１１に記載の方法。
【請求項１３】
前記サウンドファイルを再生することをさらに含む、請求項１１に記載の方法。
【請求項１４】
前記メッセージは、前記仮想オブジェクトから生成されたアクティブメッセージと、前記仮想オブジェクトのユーザ入力から生成されたパッシブメッセージとを備える、請求項１２に記載の方法。
【請求項１５】
前記決定することは、サウンドマッピングテーブルを使用して、前記空間属性から前記オーディオ属性を決定することを含む、請求項１１に記載の方法。
【請求項１６】
プロセッサに実行させるプログラムが記録されたコンピュータ可読ストレージ媒体であって、前記プログラムが前記プロセッサに、
仮想オブジェクトの空間属性としてｘ軸成分、ｙ軸成分、およびｚ軸成分を取得させ、前記空間属性の各成分から他の空間属性の成分とは重複しないようにオーディオ属性のトーン成分、ピッチ成分、および音量成分のうちの１つを決定させ、前記仮想オブジェクトに関するサウンドファイルであって、前記トーン成分、前記ピッチ成分、および前記音量成分を含む前記オーディオ属性から成るサウンドファイルを構成させる、
コンピュータ可読ストレージ媒体。
【請求項１７】
前記プログラムは、前記プロセッサに、さらに、
前記仮想オブジェクトに関連するメッセージを受信させる、請求項１６に記載のコンピュータ可読ストレージ媒体。
【請求項１８】
前記プログラムが、前記プロセッサにさらに、前記サウンドファイルを再生させる、請求項１６に記載のコンピュータ可読ストレージ媒体。
【請求項１９】
前記メッセージは、前記仮想オブジェクトから生成されたアクティブメッセージと、前記仮想オブジェクトのユーザ入力から生成されたパッシブメッセージとを備える、請求項１７に記載のコンピュータ可読ストレージ媒体。
【請求項２０】
前記プログラムが、前記プロセッサにさらに、サウンドマッピングテーブルを使用して、前記空間属性から前記オーディオ属性を決定させる、請求項１６に記載のコンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）は、現実世界と、コンピュータにより生成されたデータ、特に、エンドユーザに表示するためのリアルタイムで現実シーンに溶け込ませたコンピュータグラフィックスオブジェクトとを組み合わせることに重点を置いている。ＡＲの範囲は、ほんの数例をあげると広告、ナビゲーション、およびエンターテイメントなど、非視覚的な拡張およびさらに広範なアプリケーション領域を含むように拡大されてきた。イメージおよび非視覚的な拡張データを含むそのようなコンピュータ生成のデータの、現実世界シーンへのシームレスな統合をもたらすことに、ますます関心が高まっている。
【発明の概要】
【０００２】
１つの例において、拡張現実システムは、現実世界イメージと仮想オブジェクトを統合することによって拡張現実イメージを提供するように構成された拡張現実エンジンと、仮想オブジェクトに関連するメッセージを受信し、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換するように構成されたメッセージ処理ユニットとを含むことができる。
【０００３】
１つの例において、拡張現実システムの制御の下に実行される方法は、仮想オブジェクトに関連するメッセージを受信することと、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換することとを含むことができる。
【０００４】
１つの例において、コンピュータ可読ストレージ媒体は、プロセッサに、仮想オブジェクトに関連するメッセージを受信させ、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換させるコンテンツを含むことができる。
【０００５】
前述の概要は、例示的なものに過ぎず、限定的であることは全く意図されていない。上記で説明される例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および後段の詳細な説明を参照することにより明らかとなろう。
【０００６】
本開示の前述および他の特徴は、付属の図面と併せて、以下の説明および添付の特許請求の範囲からさらに完全に明らかとなろう。それらの図面が本開示によるいくつかの実施形態を示すに過ぎず、したがってその範囲を限定するものと見なされるべきではないことを理解しながら、本開示は添付の図面を使用することでさらに具体的かつ詳細に説明されるであろう。
【図面の簡単な説明】
【０００７】
【図１】本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムの具体的な例を示す概略ブロック図である。
【図２】本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムにより処理されるべき現実世界イメージの具体的な例を示す図である。
【図３】本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムにより生成される拡張現実イメージの具体的な例を示す図である。
【図４】本明細書において説明される少なくとも一部の実施形態に従って配される、アクティブメッセージを含む拡張現実イメージの具体的な例を示す図である。
【図５】本明細書において説明される少なくとも一部の実施形態に従って配される、モバイルデバイス上に表示されるパッシブメッセージを含む拡張現実イメージの具体的な例を示す図である。
【図６】本明細書において説明される少なくとも一部の実施形態に従って配される、サウンドマッピングテーブルの具体的な例を示す図である。
【図７】本明細書において説明される少なくとも一部の実施形態に従って配される、サウンドマッピングテーブルに含まれる関数式のグラフの具体的な例を示す図である。
【図８】本明細書において説明される少なくとも一部の実施形態に従って配される、サウンドマッピングテーブルの具体的な例を示す図である。
【図９】本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムにより生成される拡張現実イメージの具体的な例を示す図である。
【図１０】本明細書において説明される少なくとも一部の実施形態に従って配される、仮想オブジェクトに関連するサウンドファイルを再生するための方法を示す流れ図である。
【発明を実施するための形態】
【０００８】
以下の詳細な説明において、本明細書の一部を形成する添付の図面が参照される。図面において、文脈に特に指示がない限り、類似する符号は、典型的には、類似するコンポーネントを識別する。詳細な説明、図面、および特許請求の範囲において説明される例示的な実施形態は、限定的であることを意図されていない。本明細書において提示される主題の精神および範囲を逸脱することなく、その他の実施形態が使用されてもよく、その他の変更が行なわれてもよい。本明細書において概ね説明され、図面に示される本開示の態様が、多岐にわたるさまざまな構成において配置され、代替され、組み合わされ、分離され、設計されてもよく、それらのすべてが本明細書において明示的に検討されることは容易に理解されよう。
【０００９】
本開示は概して、とりわけ、拡張現実に関連する方法、装置、システム、デバイス、およびコンピュータプログラム製品を対象とする。
【００１０】
簡潔に述べると、概して拡張現実イメージを処理するためのシステムの技術について説明される。一部の例において、システムは、現実世界イメージを取り込むためのイメージ取込みユニットを含むことができる。一部の例において、システムは、１つまたは複数の仮想オブジェクトを格納するための仮想オブジェクトリポジトリを含むことができる。一部の例において、システムは、現実世界イメージと仮想オブジェクトのうちの１つまたは複数とを統合することによって拡張現実イメージを提供するための拡張現実エンジンを含むことができる。一部の例において、システムは、仮想オブジェクトのうちの１つまたは複数に関連するメッセージを受信し、そのような１つまたは複数の仮想オブジェクトの空間属性を変換するためのメッセージ処理ユニットを含むことができる。
【００１１】
図１は、本明細書において説明される少なくとも一部の実施形態による拡張現実システムの具体的な例の概略ブロック図を示す。拡張現実システムは、図２〜図５に示される具体的な例のイメージを参照して後段において説明される。図１を参照すると、拡張現実システムは、イメージ取込みユニット１００、拡張現実モジュール２００、表示ユニット３００、およびサウンドプレイヤー４００を含むことができる。
【００１２】
イメージ取込みユニット１００は、１つまたは複数の現実世界イメージを取り込むことができる。一例として、イメージ取込みユニット１００は、図２に示されるように現実世界イメージ５１０を取り込むことができ、取り込んだ現実世界イメージ５１０を拡張現実モジュール２００に提供することができる。イメージ取込みユニット１００は、デジタルカメラ、モバイルデバイスに組み込まれたカメラ、ＨＭＤ（ヘッドマウントディスプレイ）、光学センサー、電子センサー、複数のそのようなデバイス、またはその任意の組合せを含むことができるが、これらに限定されることはない。
【００１３】
拡張現実モジュール２００は、奥行き認識ユニット２１０、距離計算ユニット２２０、仮想オブジェクトリポジトリ２３０、拡張現実エンジン２４０、メッセージ処理ユニット２５０、ユーザ認識ユニット２６０、第１のサウンドファイルリポジトリ２７０、および第２のサウンドファイルリポジトリ２８０を含むことができる。
【００１４】
奥行き認識ユニット２１０は、イメージ取込みユニット１００によって取り込まれる現実世界イメージの空間属性を取得することができる。奥行き認識ユニット２１０は、図２に示される現実世界イメージ５１０のｘ軸、ｙ軸、およびｚ軸を計算することができ、現実世界イメージ５１０のさまざまな現実オブジェクトのイメージまたは描写のｘ座標、ｙ座標、およびｚ座標を取得することができる。現実世界イメージ５１０のさまざまな現実オブジェクトのイメージまたは描写のｘ軸、ｙ軸、およびｚ軸ならびにｘ座標、ｙ座標、およびｚ座標を取得するために、奥行き認識ユニット２１０は、位置認識アルゴリズムを使用することができる。位置認識アルゴリズムは、（たとえば、「Ｐａｒａｌｌｅｌ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍａｐｐｉｎｇ  ｆｏｒ  Ｓｍａｌｌ  ＡＲ  Ｗｏｒｋｓｐａｃｅｓ」、Ｐｒｏｃ．  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｍｉｘｅｄ  ａｎｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ，  ＩＳＭＡＲ’０７、ＮａｒａにおいてＧｅｏｒｇ  ＫｌｅｉｎおよびＤａｖｉｄ  Ｍｕｒｒａｙにより説明されている）Ｐａｒａｌｌｅｌ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍａｐｐｉｎｇ（ＰＴＡＭ）方式、および／またはＳｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ（ＳＬＡＭ）方式の使用を含むことができるが、これらに限定されることはない。使用される位置認識アルゴリズムは、当技術分野においてよく知られるアルゴリズムであってもよく、本明細書においてさらなる説明を必要とすることなく実施されてもよい。
【００１５】
距離計算ユニット２２０は、ユーザと仮想オブジェクトとの距離（すなわち、ユーザに対する仮想オブジェクトの位置）を取得することができる。距離計算認識ユニット２２０は、現実世界イメージ５１０のｘ軸、ｙ軸、およびｚ軸、ならびにその中の現実オブジェクトのイメージまたは描写のｘ座標、ｙ座標、およびｚ座標を使用して、ユーザと仮想オブジェクトとの距離、および／またはユーザに対する仮想オブジェクトの位置を計算することができる。１つまたは複数の仮想オブジェクトは、仮想オブジェクトリポジトリ２３０に格納されてもよく、現実オブジェクトのイメージまたは描写のｘ座標、ｙ座標、およびｚ座標に対応する現実世界イメージ５１０内の位置に配置されてもよい。
【００１６】
距離計算ユニット２２０は、ユーザと仮想オブジェクトの間のユークリッドメトリックを計算して、ユーザと仮想オブジェクトとの距離を取得することができる。ユークリッドメトリックは、２つの異なる点の間の距離であってもよく、以下の式１により表すことができる。
【００１７】
【数１】
0005735128.tif 000002
【００１８】
ここで、ｐは２つの異なる点のうちの１つを示すことができ、ｐ’は２つの異なる点のうちのもう一方を示すことができ、ｐは、ｘ軸座標ｘ、ｙ軸座標ｙ、およびｚ軸座標ｚを有することができ、ｐ（ｘ，ｙ，ｚ）と表すことができ、ｐ’は、ｘ軸座標ｘ’、ｙ軸座標ｙ’、およびｚ軸座標ｚ’を有することができ、ｐ’（ｘ’，ｙ’，ｚ’）と表すことができる。詳しく説明すると、式１は、以下の式２により表すことができる。
【００１９】
【数２】
0005735128.tif 000003
【００２０】
距離計算ユニット２２０によって計算されるユーザと仮想オブジェクトとの距離は、拡張現実エンジン２４０が拡張現実イメージを生成するときに使用され得る。
【００２１】
拡張現実エンジン２４０は、現実世界イメージ５１０と仮想オブジェクトのうちの１つまたは複数とを統合することによって拡張現実イメージを提供することができる。一例として、図３に示されるように、拡張現実エンジン２４０は、現実世界イメージ５１０のｘ軸、ｙ軸、およびｚ軸、ならびにその中の現実オブジェクトのイメージまたは描写のｘ座標、ｙ座標、およびｚ座標を使用して、現実世界イメージ５１０と仮想オブジェクト５３０から５４１を統合することにより、拡張現実イメージ５２０を提供するように構成されてもよい。
【００２２】
さらに、拡張現実エンジン２４０は、ユーザと仮想オブジェクト５３０〜５４１との距離を使用することによって、現実世界イメージ５１０と仮想オブジェクト５３０〜５４１を統合することができる。たとえば、ユーザからより小さい（近い）距離にある仮想オブジェクト５３０〜５４１のうちの一部は、ユーザからより大きい（遠い）距離にあるその他の仮想オブジェクト５３０〜５４１よりも大きく拡張現実イメージ５２０上に表示され得る。
【００２３】
図３を参照すると、一例として、仮想オブジェクト５３１は、仮想オブジェクト５３４よりも大きく拡張現実イメージ５２０上に表示される。したがって、ユーザは、仮想オブジェクト５３１に対応する現実オブジェクトが、仮想オブジェクト５３４に対応する現実オブジェクトよりもユーザの近くに位置するという事実が通知される。
【００２４】
メッセージ処理ユニット２５０は、拡張現実イメージ５２０上に表示される仮想オブジェクト５３０〜５４１に関連する１つまたは複数のメッセージを拡張現実エンジン２４０から受信することができる。そのようなメッセージは、少なくとも２つの部分を含むことができる。２つの部分のうちの１つはサウンドファイルであってもよく、２つの部分のうちのもう一方は、テキストデータ、グラフィカルデータ、または数値データのようなエンティティであってもよい（ただしこれらに限定されることはない）。後段において説明されるように、メッセージ処理ユニット２５０は、メッセージを含むことができる仮想オブジェクトの空間属性を、メッセージに含まれ得るサウンドファイルのオーディオ属性に変換することができる。さらに、サウンドファイルは、後段において言及するサウンドプレイヤー４００によって再生され得る。
【００２５】
テキストデータは、広告、交通情報、方向、およびニュース報道を含む（ただし、これらに限定されることはない）任意の情報を含むことができる。さらに、グラフィカルデータは、警告アイコン
【００２６】
【数３】
0005735128.tif 000004
などの記号またはアイコンを含むことができる。さらに、数値データは、拡張現実イメージの仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標であってもよく、仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標は、仮想オブジェクトの描写をタッチ、クリック、またはドラッグアンドドロップすることによる仮想オブジェクトのユーザ選択である、ユーザ入力の位置（ｘ，ｙ，ｚ）に対応することができる。
【００２７】
メッセージは、アクティブメッセージおよびパッシブメッセージを含むことができる。アクティブメッセージは、仮想オブジェクトの描写をタッチ、クリック、またはドラッグアンドドロップすることによるユーザの仮想オブジェクトの選択には関わりなく、拡張現実イメージの仮想オブジェクトからユーザに自動的に配信可能なメッセージであってもよい。パッシブメッセージは、仮想オブジェクトの描写をタッチ、クリック、またはドラッグアンドドロップすることによるユーザの仮想オブジェクトの選択への応答として、拡張現実イメージの仮想オブジェクトからユーザに配信可能なメッセージであってもよい。パッシブメッセージは、拡張現実システムがユーザ選択を認識していることをユーザに通知するために、ユーザが仮想オブジェクトを選択することにより生成されてもよい。
【００２８】
アクティブメッセージは、仮想オブジェクト５３０〜５４１から提供されてもよく、拡張現実イメージ５２０上でユーザに配信されてもよい。アクティブメッセージを含む仮想オブジェクト５３０〜５４１は、仮想オブジェクトリポジトリ２３０に格納されてもよい。さらに、パッシブメッセージは、ユーザ入力に基づいて生成されてもよく、拡張現実イメージ５２０上でユーザに配信されてもよい。一例として、パッシブメッセージは、仮想オブジェクト５３０〜５４１に関連するユーザ入力に応じた、仮想オブジェクト５３０〜５４１のうちの１つからの応答であってもよい。関連するパッシブメッセージを含む仮想オブジェクト５３０〜５４１は、仮想オブジェクトリポジトリ２３０に格納されてもよい。
【００２９】
１つの実施形態において、アクティブおよびパッシブメッセージは仮想オブジェクト５３０〜５４１によって提供され、仮想オブジェクトリポジトリ２３０にそのような仮想オブジェクトと共に格納されてもよいが、一部の実施形態において、アクティブおよびパッシブメッセージは、拡張現実エンジン２４０によって仮想オブジェクト５３０〜５４１に関連付けられてもよい。たとえば、アクティブおよびパッシブメッセージは、仮想オブジェクトリポジトリ２３０とは別のリポジトリに格納されてもよい。拡張現実エンジン２４０は、別個のリポジトリから仮想オブジェクト５３０〜５４１に関連するアクティブおよびパッシブメッセージを取り出すことができ、それらと仮想オブジェクト５３０〜５４１を結合することができる。
【００３０】
メッセージ処理ユニット２５０は、拡張現実イメージ５２０を拡張現実エンジン２４０から受信することができる。１つの実施形態において、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１は、アクティブメッセージを含むことができる。メッセージ処理ユニット２５０は、仮想オブジェクト５３０〜５４１に含まれているアクティブメッセージを受信することができ、受信したアクティブメッセージを拡張現実イメージ５２０上に表示することができる。たとえば、図４に示されるように、メッセージ処理ユニット２５０は、たとえば「バス１０番は２分で到着します」などのテキストデータのエンティティデータを有することができる、仮想オブジェクト５３２に含まれ得るアクティブメッセージを受信することができ、このメッセージを拡張現実イメージ５２０上に表示することができる。さらに、メッセージ処理ユニット２５０は、たとえば「午前１１時まで１０％割引」などのテキストデータのエンティティデータを有することができる、仮想オブジェクト５４０に含まれ得るアクティブメッセージを受信することができ、このメッセージを拡張現実イメージ５２０上に表示することができる。さらに、メッセージ処理ユニット２５０は、たとえば
【００３１】
【数４】
0005735128.tif 000005
などのグラフィカルデータのエンティティデータを有することができる、仮想オブジェクト５３５に含まれ得るアクティブメッセージを受信することができ、このメッセージを拡張現実イメージ５２０上に表示することができる。
【００３２】
ユーザ認識ユニット２６０は、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１に関連するユーザ入力を認識することができる。一例として、ユーザ認識ユニット２６０は、表示ユニット３００に表示される拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１に関連するユーザ入力を認識することができる。たとえば、ユーザ認識ユニット２６０は、タッチ表示ユニット３００により行なわれたユーザ入力を認識することができる。
【００３３】
さらに、ユーザ認識ユニット２６０は、カメラによって取り込まれたユーザの指先と仮想オブジェクト５３０〜５４１との間の対話を認識するためのＨａｎｄｙ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ方式（Ｔ．ＬｅｅおよびＴ．Ｈｏｌｌｅｒｅｒ、２００９年、Ｍｕｌｔｉｔｈｒｅａｄｅｄ  Ｈｙｂｒｉｄ  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｉｎｇ  ｆｏｒ  Ｍａｒｋｅｒｌｅｓｓ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  １５、３（２００９年５月）、３５５〜３６８）などのアルゴリズムを使用することにより、イメージ取込みユニット１００によって取り込まれたユーザ入力を認識することができるが、これに限定されることはない。ここで、ユーザ認識ユニット２６０が、ユーザと仮想オブジェクト５３０〜５４１との間の対話を認識するためにＨａｎｄｙ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ方式以外のアルゴリズムを使用することができることは、当業者には明らかとなろう。
【００３４】
拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１に関連するユーザ入力が、表示ユニット３００に入力される場合、パッシブメッセージが仮想オブジェクト５３０〜５４１から生成されてもよい。さらに、イメージ取込みユニット１００によって取り込まれたユーザ入力が拡張現実イメージ５２０で入力される場合、パッシブメッセージが仮想オブジェクト５３０〜５４１から生成されてもよい。
【００３５】
メッセージ処理ユニット２５０の説明に戻って参照すると、メッセージ処理ユニット２５０は、拡張現実イメージ５２０を拡張現実エンジン２４０から受信することができる。ここで、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１は、パッシブイメージを含むことができる。メッセージ処理ユニット２５０は、仮想オブジェクト５３０〜５４１に含まれるパッシブメッセージを受信することができる。
【００３６】
一例として、図５に示されるように、ユーザ５６０は、モバイルデバイス５５０に表示される拡張現実イメージ５２０上の仮想オブジェクト５３８に関連するユーザ入力を行なうことができる。ユーザ入力は、モバイルデバイス５５０上の仮想オブジェクト５３８の描写をタッチ、クリック、またはドラッグアンドドロップすることによる仮想オブジェクト５３８のユーザ選択であってもよい。ユーザ認識ユニット２６０は、モバイルデバイス５５０の画面からのユーザ入力を認識することができる。図５に示されるモバイルデバイス５５０は、携帯情報端末（ＰＤＡ）、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、任意のタイプの無線または有線通信デバイス、およびポータブルマルチメディアプレイヤー（ＰＭＰ）、またはその任意の組合せを含むことができるが、これらに限定されることはない。ユーザ入力が行なわれる場合、拡張現実イメージ５２０の仮想オブジェクト５３８のｘ、ｙ、およびｚ座標のような数値データを有するパッシブメッセージは、仮想オブジェクト５３８のユーザ選択の位置（ｘ、ｙ、ｚ）に基づいて生成されてもよい。ついで、メッセージ処理ユニット２５０は、仮想オブジェクト５３８から生成されたパッシブメッセージを受信することができる。パッシブメッセージは、ユーザと仮想オブジェクトとの間の通信のための内部データ構造であってもよく、したがってパッシブメッセージはモバイルデバイス５５０の画面には表示されないこともある。
【００３７】
図３から図５において、１２の仮想オブジェクト５３０〜５４１が拡張現実イメージ５２０上に表示されているが、拡張現実イメージ５２０上に表示することが可能な仮想オブジェクトの数はそれだけに限定されない。さらに、図３から図５において拡張現実イメージ５２０上にはｘ軸、ｙ軸、およびｚ軸が示されているが、それらは表示ユニット３００に表示されないこともある。さらに、拡張現実イメージ５２０はモバイルデバイス５５０により表示されるように図５で示されているが、拡張現実イメージ５２０を表示するためのデバイスはモバイルデバイス５５０に限定されることはない。
【００３８】
図１に戻って参照すると、メッセージ処理ユニット２５０は、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換することができる。空間属性は、本明細書において説明されるように、奥行き認識ユニット２１０によって取得され得る。空間属性は、第１の空間成分、第２の空間成分、および第３の空間成分を含むことができる。たとえば、第１の空間成分は仮想オブジェクトのｘ座標であってもよく、第２の空間成分は仮想オブジェクトのｙ座標であってもよく、第３の空間成分は仮想オブジェクトのｚ座標であってもよい。サウンドファイルのオーディオ属性は、第１のオーディオ成分、第２のオーディオ成分、および第３のオーディオ成分を含むことができる。一例として、第１のオーディオ成分はサウンドファイルのトーン成分であってもよく、第２のオーディオ成分はサウンドファイルのピッチ成分であってもよく、第３のオーディオ成分はサウンドファイルの音量成分であってもよい。１つの実施形態において、トーン成分は、さまざまな楽器に関連付けられているサウンドの使用を通じて実施可能である。たとえば、低いトーン成分はピアノサウンドによって指示され得、一方高いトーン成分はバイオリンサウンドによって指示され得る。トーン成分を指示する任意の他の手段、もしくはトーン成分に関連付けられ得るその他のサウンドまたはサウンドの組合せは、本開示の範囲内に含まれるものと見なされる。
【００３９】
第１、第２、および第３の空間成分は、それぞれ、ｘ座標、ｙ座標、およびｚ座標であると説明されているが、これらは例示に過ぎず、これらに限定されることはない。さらに、第１、第２、および第３のオーディオ成分は、それぞれ、トーン成分、ピッチ成分、および音量成分であると説明されてもよいが、これらは例示に過ぎず、これらに限定されることはない。
【００４０】
メッセージ処理ユニット２５０は、第１の空間成分、第２の空間成分、および第３の空間成分を、それぞれ第１のオーディオ成分、第２のオーディオ成分、および第３のオーディオ成分に変換することができる。たとえば、メッセージ処理ユニット２５０は、仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標を、それぞれ、サウンドファイルのトーン成分、ピッチ成分、および音量成分に変換することができる。
【００４１】
しかし、本明細書において説明されるように、ｘ座標、ｙ座標、およびｚ座標が必ずしもそれぞれ第１、第２、および第３の空間成分であるとは限らず、トーン成分、ピッチ成分、および音量成分が必ずしもそれぞれ第１、第２、および第３のオーディオ成分であるとは限らないので、ｘ座標、ｙ座標、およびｚ座標とトーン成分、ピッチ成分、および音量成分との間の変換の関係は変わる場合もある。たとえば、メッセージ処理ユニット２５０は、仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標を、それぞれ、サウンドファイルのピッチ成分、音量成分、およびトーン成分に変換することができる。さらに、メッセージ処理ユニット２５０は、仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標を、それぞれ、サウンドファイルの音量成分、トーン成分、およびピッチ成分に変換することができる。
【００４２】
メッセージ処理ユニット２５０は、サウンドマッピングテーブルを使用して、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換することができる。サウンドマッピングテーブルは、空間属性とオーディオ属性の関係を指示する関数式を含むことができる。
【００４３】
図６は、本明細書において説明される少なくとも一部の実施形態によるサウンドマッピングテーブル６００の具体的な例を示す。図６に示されるように、サウンドマッピングテーブル６００は、空間属性の各々の空間成分とオーディオ属性の各々のオーディオ成分との関係を定義する関数式を含むことができる。一例として、ｘ座標とトーン成分の関係は、ｔ＝ｆ１（ｘ）の関数式により定義され得る。したがって、ｔ＝ｆ１（ｘ）の関数式を使用することにより、メッセージ処理ユニット２５０は、仮想オブジェクトのｘ座標を、サウンドファイルのトーン成分に変換することができる。
【００４４】
同様に、ｘ座標とピッチ成分の関係は、ｐ＝ｆ２（ｘ）の関数式により定義され得、ｘ座標と音量成分の関係は、ｖ＝ｆ３（ｘ）の関数式により定義され得る。さらに、ｙ座標とトーン成分の関係は、ｔ＝ｆ４（ｙ）の関数式により定義され得、ｙ座標とピッチ成分の関係は、ｐ＝ｆ５（ｙ）の関数式により定義され得、ｙ座標と音量成分の関係は、ｖ＝ｆ６（ｙ）の関数式により定義され得る。さらに、ｚ座標とトーン成分の関係は、ｔ＝ｆ７（ｚ）の関数式により定義され得、ｚ座標とピッチ成分の関係は、ｐ＝ｆ８（ｚ）の関数式により定義され得、ｚ座標と音量成分の関係は、ｖ＝ｆ９（ｚ）の関数式により定義され得る。
【００４５】
図６において、サウンドマッピングテーブル６００は、ｘ座標、ｙ座標、およびｚ座標の各々とトーン成分、ピッチ成分、および音量成分の各々との関係を定義する９つの異なる関数式を含むが、関数式の数はこれに限定されることはない。一例として、ｘ座標とトーン成分の関係、ｘ座標とピッチ成分の関係、およびｘ座標と音量成分の関係はすべて、ｆ１（ｘ）により定義され得る。
【００４６】
図７は、図６に示されるサウンドマッピングテーブル６００に含まれる関数式のグラフの具体的な例を示す。図７に示されるように、グラフのｘ軸は仮想オブジェクトの空間属性を表し、グラフのｙ軸はサウンドファイルのオーディオ属性を指示する。図７のグラフ１は１＋ｌｏｇ１０（ｘ）のグラフであり、グラフ２は１＋ｘ／１０のグラフであり、グラフ３は１−ｘ／１０のグラフであり、グラフ４は１−ｌｏｇ１０（ｘ）のグラフである。一例として、サウンドマッピングテーブル６００に含まれるｆｎ（ｆ１（ｘ）、ｆ２（ｘ）、ｆ３（ｘ）、ｆ４（ｙ）、ｆ５（ｙ）、ｆ６（ｙ）、ｆ７（ｚ）、ｆ８（ｚ）、およびｆ９（ｚ））は、図７のグラフ１からグラフ４のうちの任意の１つとすることができる。ｆｎがグラフ１から４のうちの任意の１つであると図７を参照して説明されているが、ｆｎはこれに限定されることはない。
【００４７】
図８は、本明細書において説明される少なくとも一部の実施形態によるサウンドマッピングテーブル７００を示す。サウンドマッピングテーブル７００は、空間属性とオーディオ属性の関係を示すルックアップテーブルを含むことができる。仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標がそれぞれ、サウンドファイルのトーン成分、ピッチ成分、および音量成分に対応することがサウンドマッピングテーブル７００で示されているが、ｘ座標、ｙ座標、およびｚ座標とトーン成分、ピッチ成分、および音量成分との間の対応はこれに限定されることはない。さらに、仮想オブジェクトのｘ軸、ｙ軸、およびｚ軸は図８に示されるサウンドマッピングテーブル７００においてセンチメートル（ｃｍ）単位で分割可能であるが、単位はこれに限定されることはない。すなわち、仮想オブジェクトの空間属性は、ｃｍよりも小さい単位で分割されても、または大きい単位で分割されてもよい。
【００４８】
図１に戻って参照すると、第１のサウンドファイルリポジトリ２７０は、第１のサウンドマッピングテーブルを含むことができる。メッセージ処理ユニット２５０が、アクティブメッセージを有する仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット２５０は、第１のサウンドマッピングテーブルを使用することができる。一例として、図４に戻って参照すると、メッセージ処理ユニット２５０が、仮想オブジェクト５３２および５４０のうちの１つの空間属性を、対応するサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット２５０は、第１のサウンドマッピングテーブルを使用することができる。
【００４９】
第２のサウンドファイルリポジトリ２８０は、第２のサウンドマッピングテーブルを含むことができる。メッセージ処理ユニット２５０が、パッシブメッセージに関連する仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット２５０は、第２のサウンドマッピングテーブルを使用することができる。たとえば、図５に戻って参照すると、メッセージ処理ユニット２５０が、仮想オブジェクト５３１および５３８のうちの１つの空間属性を、対応するサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット２５０は、第２のサウンドマッピングテーブルを使用することができる。
【００５０】
図１において、拡張現実モジュール２００は、メッセージ処理ユニット２５０が、アクティブメッセージを含む仮想オブジェクトの空間属性をオーディオ属性に変換する場合に使用する第１のサウンドマッピングテーブルを有する第１のサウンドファイルリポジトリ２７０、およびメッセージ処理ユニット２５０が、パッシブメッセージに関連する仮想オブジェクトの空間属性をオーディオ属性に変換する場合に使用する第２のサウンドマッピングテーブルを有する第２のサウンドファイルリポジトリ２８０を含むことができる。しかし、拡張現実モジュール２００が、アクティブメッセージに関連する仮想オブジェクトの空間属性、およびパッシブメッセージに関連する仮想オブジェクト５３０〜５４１の空間属性がオーディオ属性に変換される場合に共通に使用される単一のサウンドマッピングテーブルを有する単一のサウンドファイルリポジトリを含むことができることは、当業者には明らかとなろう。
【００５１】
表示ユニット３００は、拡張現実イメージ５２０およびメッセージを表示することができる。一例として、表示ユニット３００は、拡張現実イメージ５２０、および拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１に関連するメッセージを表示することができる。さらに、表示ユニット３００は、携帯情報端末（ＰＤＡ）、スマートフォン、携帯電話、またはポータブルマルチメディアプレイヤー（ＰＭＰ）のようなモバイルデバイスの画面、デジタルカメラの画面、コンピュータモニタ、ノートブックまたはタブレットプコンピュータの画面などを含むことができる。表示ユニット３００は、ユーザ入力を受信することができる。たとえば、ユーザは、表示ユニット３００に表示される拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１の１つまたは複数をタッチ、クリック、またはドラッグアンドドロップすることにより、ユーザ入力または選択を入力することができる。
【００５２】
サウンドプレイヤー４００は、サウンドファイルを再生することができる。本明細書において説明されるように、メッセージ処理ユニット２５０は、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１の空間属性を１つまたは複数のサウンドファイルのオーディオ属性に変換することができる。サウンドプレイヤー４００は、メッセージ処理ユニット２５０によって変換されたオーディオ属性を含むそのようなサウンドファイルを再生することができる。サウンドファイルは、仮想オブジェクト５３０〜５４１に含まれるメッセージに含まれてもよい。したがって、サウンドプレイヤー４００は、メッセージを有する仮想オブジェクト５３０〜５４１の位置に従って異なるサウンドファイルを再生することができる。たとえば、サウンドプレイヤー４００は、メッセージがユーザに配信されるとき、異なるサウンドファイルを再生することができる。
【００５３】
一部の実施形態において、サウンドプレイヤー４００は、メッセージ処理ユニット２５０によって変換されたトーン成分、ピッチ成分、および音量成分を含むサウンドファイルを作成することができる。一例として、基本のトーン成分、ピッチ成分、および音量成分を有する少なくとも１つの基本サウンドファイルは、別個のリポジトリに格納されてもよい。さらに、サウンドプレイヤー４００は、別個のリポジトリから基本サウンドファイルを取り出して、メッセージ処理ユニット２５０によって変換されたトーン成分、ピッチ成分、および音量成分に従って、取り出されたサウンドファイルの基本のトーン成分、ピッチ成分、および音量成分を調整し、調整されたトーン成分、ピッチ成分、および音量成分を有するサウンドファイルを再生することができる。
【００５４】
一部の実施形態において、サウンドファイルは、別個のデータベースに格納することもできる。たとえば、各々が異なるトーン成分、ピッチ成分、および音量成分を有する複数のサウンドファイルが、別個のデータベースに格納されてもよい。サウンドプレイヤー４００は、メッセージ処理ユニット２５０によって変換されたトーン成分、ピッチ成分、および音量成分を有するサウンドファイルを別個のデータベースから取り出して、取り出したサウンドファイルを再生することができる。さらに、アクティブメッセージに関連するサウンドファイル、およびパッシブメッセージに関連するサウンドファイルは、異なるデータベースに格納されてもよい。
【００５５】
サウンドプレイヤー４００によるサウンドファイルの再生について、図４および図５を参照してさらに詳細に説明される。一例として拡張現実イメージ５２０上の仮想オブジェクトの第１の空間成分、第２の空間成分、および第３の空間成分は、それぞれ、ｘ座標、ｙ座標、およびｚ座標であると仮定する。さらに、サウンドファイルの第１のオーディオ成分、第２のオーディオ成分、および第３のオーディオ成分は、それぞれ、トーン成分、ピッチ成分、および音量成分であると仮定する。したがって、メッセージ処理ユニット２５０は、ｘ座標、ｙ座標、およびｚ座標を、それぞれ、トーン成分、ピッチ成分、および音量成分に変換する。
【００５６】
図４を参照すると、拡張現実イメージ５２０上の仮想オブジェクト５３２は、仮想オブジェクト５４０と比較すると、より小さいｘ座標、より小さいｙ座標、およびより大きいｚ座標を有することができる。したがって、仮想オブジェクト５３２に関連するサウンドファイルは、仮想オブジェクト５４０に関連するサウンドファイルと比較すると、より低いトーン成分、より低いピッチ成分、より大きい音量成分を有することができる。たとえば、表示ユニット３００が仮想オブジェクト５３２のアクティブメッセージおよび仮想オブジェクト５４０のアクティブメッセージを表示する場合、サウンドプレイヤー４００は、それぞれの仮想オブジェクト５３２および５４０の空間属性に対応するオーディオ属性を有するサウンドファイルを再生することができる。仮想オブジェクト５３２に関連するサウンドファイルは、仮想オブジェクト５４０に関連するサウンドファイルよりも、低いトーン成分、低いピッチ成分、大きい音量成分を有するので、ユーザは、再生されたサウンドファイルを聴く場合に（すなわち、２つのサウンドファイルの異なるトーン、ピッチ、および音量により）仮想オブジェクト５３２と５４０との相対的位置関係について通知され得る。
【００５７】
図５を参照すると、拡張現実イメージ５２０上の仮想オブジェクト５３１は、仮想オブジェクト５３８と比較すると、より小さいｘ座標、より小さいｚ座標、および同じｙ座標を有することができる。したがって、仮想オブジェクト５３１に関連するサウンドファイルは、仮想オブジェクト５３８に関連するサウンドファイルと比較すると、より低いトーン成分、より小さい音量成分、および同じピッチ成分を有することができる。たとえば、仮想オブジェクト５３１のパッシブメッセージおよび仮想オブジェクト５３８のパッシブメッセージがユーザに配信される場合、サウンドプレイヤー４００は、それぞれの仮想オブジェクト５３１および５３８の空間属性に対応するオーディオ属性を有するサウンドファイルを再生することができる。仮想オブジェクト５３１に関連するサウンドファイルは、仮想オブジェクト５３８に関連するサウンドファイルよりも、低いトーン成分、小さい音量成分、および同じピッチ成分を有するので、ユーザは、再生されたサウンドファイルを聴く場合に仮想オブジェクト５３１と５３８との相対的位置関係について通知される。
【００５８】
本明細書において説明されるように、メッセージ処理ユニット２５０は、サウンドマッピングテーブル６００に含まれる関数式を使用して、仮想オブジェクト５３０〜５４１の空間属性をオーディオ属性に変換することができる。一例として、メッセージ処理ユニット２５０は、ｘ座標、ｙ座標、およびｚ座標を、それぞれ、トーン成分、ピッチ成分、および音量成分に変換する場合に、図７に示されるグラフ１に対応する関数式を使用することができる。そのような場合、グラフ１は対数関数であるため、ｘ軸、ｙ軸、およびｚ軸の座標がたとえ若干変化しても、大きく異なることがある。したがって、それぞれの仮想オブジェクト５３０〜５４１に対応するサウンドファイルは、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１の位置に応じて明瞭に区別され得る。そのため、ユーザは、サウンドファイルを聴いている間、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１の間の相対的位置をより簡単に区別することができる。さらに、アクティブメッセージに関連するサウンドファイルが、パッシブメッセージに関連するサウンドファイルと区別される場合、ユーザは、サウンドファイルを聴くことによってアクティブメッセージが生成されるか、またはパッシブメッセージが生成されるかについて通知され得る。
【００５９】
これまで、拡張現実イメージ５２０上の仮想オブジェクト５３０〜５４１の空間属性が第１、第２、および第３の空間成分を含み、サウンドファイルのオーディオ属性が第１、第２、および第３のオーディオ成分を含むことが説明されてきた。しかし、拡張現実イメージ上の仮想オブジェクトの空間属性は、第３の空間成分を有することなく、第１および第２の空間成分のみを含むことができる。さらに、サウンドファイルのオーディオ属性は、第３のオーディオ成分を有することなく、第１および第２のオーディオ成分のみを含むことができる。一例として、第１の空間成分は仮想オブジェクトのｘ座標であってもよく、第２の空間成分は仮想オブジェクトのｚ座標であってもよい。さらに、第１のオーディオ成分はサウンドファイルのピッチ成分であってもよく、第２のオーディオ成分はサウンドファイルの音量成分であってもよい。
【００６０】
ここで、第１の空間成分が仮想オブジェクトのｙ座標またはｚ座標であってもよく、第２の空間成分が仮想オブジェクトのｘ座標またはｙ座標であってもよく、第１のオーディオ成分がサウンドファイルのトーン成分または音量成分であってもよく、第２のオーディオ成分がサウンドファイルのピッチ成分またはトーン成分であってもよいことが、当業者には明らかとなろう。
【００６１】
メッセージ処理ユニット２５０は、第１の空間成分および第２の空間成分を、それぞれ第１のオーディオ成分および第２のオーディオ成分に変換することができる。たとえば、メッセージ処理ユニット２５０は、仮想オブジェクトのｘ座標をサウンドファイルのピッチ成分に変換することができ、仮想オブジェクトのｚ座標をサウンドファイルの音量成分に変換することができる。
【００６２】
サウンドプレイヤー４００は、サウンドファイルを作成することができる。一例として、サウンドプレイヤー４００は、メッセージ処理ユニット２５０によって変換されたピッチ成分および音量成分を有するサウンドファイル、メッセージ処理ユニット２５０によって変換された、トーン成分およびピッチ成分を有するサウンドファイル、および／またはトーン成分および音量成分を有するサウンドファイルを作成することができ、作成したサウンドファイルを再生することができる。
【００６３】
図９は、拡張現実システムにより生成される拡張現実イメージの具体的な例を示す。拡張現実イメージ８２０は、モバイルデバイス８１０に表示され得る。拡張現実イメージ８２０上に表示される仮想オブジェクト８２１〜８２９は、ピアノの鍵盤を示すことができる。仮想オブジェクト８２１〜８２９は各々、空間属性を含むことができる。各々の仮想オブジェクト８２１〜８２９の空間属性は、第１の空間成分および第２の空間成分を含むことができる。一例として、第１の空間成分は各々の仮想オブジェクト８２１〜８２９のｘ座標であってもよく、第２の空間成分は各々の仮想オブジェクト８２１〜８２９のｚ座標であってもよい。ここで、拡張現実イメージ８２０のｚ軸は、仮想オブジェクト８２１から８２９が押し下げられる深さ方向を示すことができる。
【００６４】
メッセージ処理ユニット２５０は、各々の仮想オブジェクト８２１〜８２９の第１の空間成分および第２の空間成分を、サウンドファイルの第１のオーディオ成分および第２のオーディオ成分に変換することができる。一例として、サウンドファイルの第１のオーディオ成分はサウンドファイルのピッチ成分であってもよく、第２のオーディオ成分はサウンドファイルの音量成分であってもよい。
【００６５】
ユーザが仮想オブジェクト８２１から８２９にユーザ入力を入力する場合、メッセージ処理ユニット２５０は、ユーザ入力が入力される各々の仮想オブジェクト８２１〜８２９の第１および第２の空間成分を、サウンドファイルの第１および第２のオーディオ成分に変換することができる。ついで、サウンドプレイヤー４００は、メッセージ処理ユニット２５０によって変換された第１および第２のオーディオ成分を有するサウンドファイルを再生することができる。
【００６６】
仮想オブジェクト８２１〜８２９のｘ座標は、仮想オブジェクト８２１から仮想オブジェクト８２９へと増大することができ、仮想オブジェクト８２１〜８２９に関連するサウンドファイルは、仮想オブジェクト８２１から８２９の順により高いピッチ成分を有することができる。さらに、仮想オブジェクト８２１〜８２９のｚ座標が増大するのに応じて、それらのサウンドファイルはより大きい音量成分を有することができる。一例として、ユーザが、より強く、またはより長い時間、仮想オブジェクト８２１〜８２９を押し下げると、サウンドファイルはより大きい音量成分を有することができる。
【００６７】
図１０は、本明細書において説明される少なくとも一部の実施形態による仮想オブジェクトに関連するサウンドファイルを再生するための方法の流れ図を示す。図１０の方法は、たとえば、上記で説明される拡張現実システムを使用して実施され得る。例示の方法は、ブロックＳ９１０、Ｓ９２０、Ｓ９３０、Ｓ９４０および／またはＳ９５０のうちの１つまたは複数によって示される１つまたは複数の操作、アクション、または機能を含むことができる。別個のブロックとして示されているが、さまざまなブロックは、望ましい実装形態に応じて、追加のブロックに分割されても、より少ないブロックに結合されても、または除去されてもよい。
【００６８】
ブロックＳ９１０において、拡張現実システムは、１つまたは複数の現実世界イメージを取り込むように構成され得る。現実世界イメージは、建物、木、公園、地下鉄駅などのさまざまな現実オブジェクトを示す、または描写することができる。
【００６９】
ブロックＳ９２０において、拡張現実システムは、ブロックＳ９１０において取り込まれた現実世界イメージと１つまたは複数の仮想オブジェクトとを統合することによって拡張現実イメージを提供するように構成され得る。拡張現実イメージにおいて、ユーザにより接近して位置する仮想オブジェクトは、ユーザから離れて位置する仮想オブジェクトよりも大きくなるように示すことができる。
【００７０】
ブロックＳ９３０において、拡張現実システムは、仮想オブジェクトに関連するメッセージを受信するように構成され得る。本明細書において説明されるように、メッセージは、アクティブメッセージおよび／またはパッシブメッセージを含むことができる。
【００７１】
ブロックＳ９４０において、拡張現実システムは、仮想オブジェクトの空間属性を、サウンドファイルのオーディオ属性に変換するように構成され得る。仮想オブジェクトの空間属性は、第１の空間成分、第２の空間成分、および第３の空間成分を含むことができる。サウンドファイルのオーディオ属性は、第１のオーディオ成分、第２のオーディオ成分、および第３のオーディオ成分を含むことができる。
【００７２】
一例として、仮想オブジェクトの第１の空間成分、第２の空間成分、および第３の空間成分は、それぞれ、仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標であってもよい。さらに、サウンドファイルの第１のオーディオ成分、第２のオーディオ成分、および第３のオーディオ成分は、それぞれ、トーン成分、ピッチ成分、および音量成分であってもよい。しかし、第１、第２、および第３の空間成分と、ｘ座標、ｙ座標、およびｚ座標との間の対応が変更可能であることは、当業者には明らかとなろう。さらに、第１、第２、および第３のオーディオ成分と、トーン成分、ピッチ成分、および音量成分との間の対応が変更可能であることも、当業者には明らかとなろう。
【００７３】
ブロックＳ９４０において、拡張現実システムは、サウンドマッピングテーブルを使用することにより、第１、第２、および第３の空間成分を、それぞれ第１、第２、および第３のオーディオ成分に変換するように構成され得る。一例として、拡張現実システムは、仮想オブジェクトのｘ座標、ｙ座標、およびｚ座標を、それぞれ、サウンドファイルのトーン成分、ピッチ成分、および音量成分に変換することができる。
【００７４】
ブロックＳ９５０において、拡張現実システムは、ブロックＳ９４０において変換されたオーディオ属性を有するサウンドファイルを再生するように構成され得る。一例として、ユーザが拡張現実イメージ上の仮想オブジェクトにタッチする場合、または仮想オブジェクトが自身にアクティブメッセージを関連付けている場合、仮想オブジェクトの空間属性はサウンドファイルのオーディオ属性に変換されてもよく、拡張現実システムは、変換されたオーディオ属性を有するサウンドファイルを再生することができる。
【００７５】
一部の実施形態において、ブロックＳ９３０からＳ９５０において、拡張現実システムは、アクティブメッセージを有する仮想オブジェクトを処理した後にパッシブメッセージを有する仮想オブジェクトを処理するように構成され得る。しかし、変換の順序は上記に限定されることはなく、拡張現実システムは、アクティブメッセージを有する仮想オブジェクトを処理する前にパッシブメッセージを有する仮想オブジェクトを処理するように構成され得る。さらに、拡張現実システムは、メッセージが生成される順序に従って仮想オブジェクトを処理するように構成され得る。
【００７６】
本開示は、本出願において説明される特定の実施形態に関して限定されるべきではなく、実施形態はさまざまな態様を例示することを目的としている。当業者には明らかであるように、その精神および範囲を逸脱することなく多くの変更および変形が行なわれてもよい。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に等価の方法および装置は、上記の説明から当業者には明らかとなるであろう。そのような変更形態および変形形態は、添付の特許請求の範囲内に含まれることが意図される。本開示は、添付の特許請求の範囲の条項、ならびにそのような特許請求の範囲が権利を有する等価物の全範囲によってのみ限定されるものとする。本開示が特定の方法またはシステムに限定されないことを理解されたい。さらに、本明細書において使用される用語は、特定の実施形態を説明することを目的としており、限定的であることを意図していないことも理解されたい。
【００７７】
例示的な実施形態において、本明細書において説明される操作、プロセスなどはいずれも、コンピュータ可読媒体に格納されたコンピュータ可読命令として実施されてもよい。コンピュータ可読命令は、モバイルユニット、ネットワーク要素、および／またはその他のコンピューティングデバイスのプロセッサによって実行可能である。
【００７８】
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができるさまざまな達成手段があってもよく（たとえば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なってもよい。たとえば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのなんらかの組合せを選択することができる。
【００７９】
前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組合せにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、および／または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（たとえば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（たとえば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組合せとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。
【００８０】
本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（たとえば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことができることを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
【００８１】
本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例に過ぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現され得るように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
【００８２】
本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００８３】
通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ  ａｔ  ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ  ｂｕｔ  ｉｓ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ  ｌｅａｓｔ  ｏｎｅ）」および「１つまたは複数の（ｏｎｅ  ｏｒ  ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏ  ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステ���を含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ  ｏｆ  ｔｈｅ  ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ  ｏｆ  ｔｈｅ  ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ  ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００８４】
加えて、本開示の特徴または態様がマーカッシュ形式のグループに関して説明される場合、それにより本開示がまた、マーカッシュ形式のグループの任意の個々の構成要素または構成要素のサブグループに関しても説明されることを、当業者は理解するであろう。
【００８５】
たとえば本明細書を提供するという観点から、任意およびすべての目的のため、当業者によって理解されるであろうように、本明細書において開示されるあらゆる範囲はまた、任意およびすべての可能な下位範囲およびその下位範囲の組合せを網羅する。任意の一覧される範囲は、同範囲が少なくとも等価の２分の１、３分の１、４分の１、５分の１、１０分の１などに分割されることを十分に説明および可能にするものと容易に理解される。非限定的な例として、本明細書において説明される各範囲は、下３分の１、中３分の１、および上３分の１などに容易に分割されてもよい。当業者によって理解されるであろうように、「最大（ｕｐ  ｔｏ）」、「少なくとも（ａｔ  ｌｅａｓｔ）」、「よりも大きい（ｇｒｅａｔｅｒ  ｔｈａｎ）」、「よりも少ない（ｌｅｓｓ  ｔｈａｎ）」などのようなすべての表現は、列挙される数を含み、引き続き上記で説明されている下位範囲に分割されてもよい範囲を示す。最後に、当業者に理解されるであろうように、範囲は個々の構成要素を含む。したがって、たとえば、１〜３個のセルを有するグループは、１個、２個、または３個のセルを有するグループを示す。同様に、１〜５個のセルを有するグループは、１個、２個、３個、４個、または５個のセルを有するグループを示し、以下同様である。
【００８６】
本明細書においてさまざまな態様および実施形態が開示されてきたが、その他の態様および実施形態は当業者には明らかとなろう。本明細書において開示されるさまざまな態様および実施形態は、説明のためのものであって、限定的であることを意図しておらず、真の範囲および精神は後段の特許請求の範囲により示される。
【図１】
0005735128.tif 000006
【図２】
0005735128.tif 000007
【図３】
0005735128.tif 000008
【図４】
0005735128.tif 000009
【図５】
0005735128.tif 000010
【図６】
0005735128.tif 000011
【図７】
0005735128.tif 000012
【図８】
0005735128.tif 000013
【図９】
0005735128.tif 000014
【図１０】
0005735128.tif 000015