(57)【要約】本発明は、拡張現実を強化した音声を提供するための装置と方法に関する。装置（２００）は、携帯可能であり、位置情報を受信可能であり環境中での装置の位置を決定可能な位置処理モジュール（２０２）と、当該位置での装置の方位を決定可能な方位処理モジュール（２０３）と、環境中での装置の位置と当該位置での装置の方位とに基づき、音声コンテンツを修正可能なプロセッサ（２０１）と、修正された音声コンテンツを出力可能な音声出力装置（２０５）とを含みうる。装置の方位は、装置の方位角と標高を含む。
2011521511.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実を強化した音声のための装置（２００）であって、
位置情報を受信可能であり環境中での前記装置（２００）の位置を決定可能な位置処理モジュール（２０２）と、
前記位置での前記装置（２００）の方位を決定可能な方位処理モジュール（２０３）と、
前記環境中での前記装置（２００）の位置と前記位置での前記装置（２００）の方位とに基づき、音声コンテンツを修正可能なプロセッサ（２０１）と、
前記修正された音声コンテンツを出力可能な音声出力装置（２０５）と
を備える装置。
【請求項２】
前記音声コンテンツを受信可能な入力インタフェース（２０４）をさらに備える、請求項１に記載の装置。
【請求項３】
前記音声コンテンツを記憶可能な記憶装置（２０６）をさらに備える、請求項１に記載の装置。
【請求項４】
前記装置（２００）は、携帯電話、コンピュータ、携帯情報端末（ＰＤＡ）、電子ゲーム装置、またはオーディオ装置のうちの１つである、請求項１に記載の装置。
【請求項５】
前記位置情報は、前記装置の位置のＧＰＳ座標、前記環境中での音源から前記装置までの距離、前記装置の測位情報、または前記装置の三角測量情報のうちの１以上である、請求項１に記載の装置。
【請求項６】
前記位置での前記装置の方位を決定することは、前記装置の方位角、標高および傾きを決定することである、請求項１に記載の装置。
【請求項７】
前記音声出力装置は、ヘッドセット、イヤプラグ、または１以上のスピーカのうちの１以上である、請求項１に記載の装置。
【請求項８】
拡張現実を強化した音声のための方法であって、
音声コンテンツを装置により取得すること（１０１）、
環境中での前記装置の位置と前記位置での前記装置の方位とに基づき、前記音声コンテンツを前記装置により修正すること（１０５）、
前記修正された音声コンテンツを前記装置により出力すること（１０６）
を含む方法。
【請求項９】
前記環境中で前記位置から他の位置（３１６〜３２０）へ前記装置を移動すること、
前記他の位置への前記装置の移動と前記他の位置での前記装置の方位とに応じて、前記取得された音声コンテンツを修正すること（１０５）、
前記修正された音声コンテンツを前記装置により出力すること（１０６）
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記装置内の音源から音声コンテンツを取得すること（１０１）、または１以上の外部音源（４０５）から音声コンテンツを取得することをさらに含む、請求項８に記載の方法。
【請求項１１】
前記環境中に位置する外部音源（４０５）または前記環境の外部に位置する外部音源（４０４）のうち１以上から音声コンテンツを取得することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記装置の方位は、前記装置の方位角、前記装置の標高、または前記装置の傾きの１以上である、請求項８に記載の方法。
【請求項１３】
前記音声コンテンツは、音声と前記音声のラウドネスである、請求項８に記載の方法。
【請求項１４】
前記音声のラウドネスは、前記環境中での前記装置の位置と前記位置での前記装置の方位（３１６〜３２０）に基づき変化する、請求項１３に記載の方法。
【請求項１５】
前記音声のラウドネスは、前記環境（３０１）中での前記装置の位置（３１６〜３２０）に対する前記環境中での前記音声の音源の位置（３１０〜３１５）に基づく、請求項１３に記載の方法。
【請求項１６】
前記音声コンテンツ、前記音声コンテンツ中の１以上の音声の音源の情報、および前記環境中での前記１以上の音声の音源の位置を前記装置で受信することをさらに含む、請求項８に記載の方法。
【請求項１７】
前記装置のユーザは、前記音声コンテンツ中の音声、前記音声コンテンツ中の音声の音源または前記環境中での音声の音源の位置のうち１以上を決定する、請求項８に記載の方法。
【請求項１８】
前記装置が第２の環境（５１０）中に位置するとき、第１の環境（５０１）に関連付けられた音声コンテンツを前記第２の環境（５１０）にスケーリングすることをさらに含む、請求項８に記載の方法。
【請求項１９】
前記装置が前記環境中に入ると、前記音声コンテンツを前記装置で受信することをさらに含む、請求項８に記載の方法。
【請求項２０】
前記装置のユーザが前記装置により取得された前記音声コンテンツ中の音声の音源に新たな環境中の位置を割当てることをさらに含む、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通信（ｔｅｌｅｐｈｏｎｙ）、より具体的には拡張現実を強化した音声通信に関する。
【背景技術】
【０００２】
拡張現実は、仮想の映像または音声により強化された現実世界を含む。現実世界の人は、現実世界の物体を見るのみならず、現実世界に存在するように生成された仮想物体も見うる。また、現実世界の環境に音声が追加され、環境中での人の体験がさらに強化されうる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
現在、拡張現実（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）環境中で人により聞かれる音声は、環境中での人の位置に基づき変化しない。
【課題を解決するための手段】
【０００４】
本発明のある観点によれば、拡張現実を強化した音声のための方法が提供される。方法は、音声コンテンツを装置により取得すること、環境中での装置の位置と当該位置での装置の方位とに基づき、音声コンテンツを装置により修正すること、修正された音声コンテンツを装置により出力することを含む。
【０００５】
本発明の他の観点によれば、拡張現実を強化した音声のための装置が提供される。装置は、位置情報を受信可能であり環境中での装置の位置を決定可能な位置処理モジュールと、当該位置での装置の方位を決定可能な方位処理モジュールと、環境中での装置の位置と当該位置での装置の方位とに基づき、音声コンテンツを修正可能なプロセッサと、修正された音声コンテンツを出力可能な音声出力装置とを備える。
【図面の簡単な説明】
【０００６】
本発明は、本発明の実施形態の非限定的な例を示す複数の図面を参照して、以下の実施形態の説明中でさらに説明される。同一の参照符号は、複数の図面中の様々な図を通して同様の部分を表している。
【図１】本発明の一実施形態に係る拡張現実を強化した音声のための方法を示す図である。
【図２】本発明の一実施形態に係る拡張現実を強化した音声のための装置を示す図である。
【図３】本発明の一実施形態に係る環境中でのＡＲ装置の動作を示す図である。
【図４】本発明の一実施形態に係る位置情報を受信するためのシステムを示す図である。
【図５】本発明の一実施形態に係る拡張現実の音声コンテンツのある環境から他の環境へのマッピングを示す図である。
【発明を実施するための形態】
【０００７】
当業者であれば理解するように、本発明は、方法、システム、コンピュータプログラム製品、またはこれらの組合せとして実施されうる。よって、本発明は、専らハードウェアによる実施形態をとってもよく、専らソフトウェアによる実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等）をとってもよく、または、ここでは「システム」として一般に称される、ソフトウェアとハードウェアを組合せた実施形態をとってもよい。また、本発明は、コンピュータ利用可能な記憶媒体上のコンピュータ利用可能なプログラムコードを有する、コンピュータプログラム製品による実施形態をとってもよい。
【０００８】
コンピュータ利用可能または読取可能な適当な媒体が利用されうる。コンピュータ利用可能または読取可能な媒体は、例えば非限定的に、電子、磁気、光、電磁気、赤外線、または半導体のシステム、機器、装置、または伝搬媒体でありうる。コンピュータ読取可能な媒体のより具体的な例（限定的なリスト）は、１以上の配線を有する電気接続、携帯可能なコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラム可能読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、または他の有形の光もしくは磁気記録装置等の有形の媒体を含む。コンピュータ利用可能または読取可能な媒体は、プログラムが印刷される紙または他の適当な媒体でもよい。この場合、プログラムは、例えば、紙または他の媒体の光走査を通じて電子的にとらえられた後、コンパイルまたは解釈され、さもなければ必要に応じて適当な方法で処理された後に、コンピュータのメモリに記憶されうる。
【０００９】
本明細書の文脈上、コンピュータ利用可能または読取可能な媒体は、指令実行システム、プラットフォーム、機器、または装置による利用のための、またはこれらに関連付けられたプログラムを含み、記憶し、通信し、伝搬し、または運ぶことのできるいかなる媒体でもよい。
【００１０】
本発明の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等、オブジェクト指向型、スクリプト型またはアンスクリプト型のプログラム言語で記述されうる。しかし、本発明の動作を実行するためのコンピュータプログラムコードは、“Ｃ”プログラミング言語または同様なプログラミング言語等、従来の手続き型プログラミング言語で記述されてもよい。
【００１１】
以下では、本発明は、本発明の実施形態に係る方法、機器（システム）およびコンピュータプログラム製品のフロー図および／またはブロック図を参照して説明されている。勿論、フロー図および／またはブロック図中の各ブロックと、フロー図および／またはブロック図中のブロックの組合せは、コンピュータプログラム指令により実施されうる。これらのコンピュータプログラム指令は、コンピュータまたは他のプログラム可能データ処理機器のプロセッサを通じて実行されて、フロー図および／またはブロック図中に示された機能／動作を実現するための手段を生成する機械を作り出すために、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能データ処理機器のプロセッサに供給されうる。
【００１２】
これらのコンピュータプログラム指令は、コンピュータ読取可能な媒体に記憶されてもよい。コンピュータ読取可能なメモリに記憶されたコンピュータプログラム指令は、フロー図および／またはブロック図中のブロックに示された機能／動作を実現する指令手段を含む製造品を作り出すような特定の方法で機能することを、コンピュータまたは他のプログラム可能データ処理機器に指令する。
【００１３】
コンピュータプログラム指令は、コンピュータまたは他のプログラム可能データ処理機器にロードされてもよい。コンピュータまたは他のプログラム可能機器上で実行される一連の動作は、フロー図および／またはブロック図中のブロック中に示された機能／動作を実施するためのステップを提供する、コンピュータにより実施されるプロセスを生じさせる。代替的に、本発明の一実施形態を実行するために、コンピュータプログラムにより実施されるステップまたは動作は、オペレータまたは人により実施されるステップまたは動作と組合されてもよい。
【００１４】
本発明の実施形態によれば、ユーザの詳細な位置、音源との近接度、および音源に対する方位（ｏｒｉｅｎｔａｔｉｏｎ）／方向（ｄｉｒｅｃｔｉｏｎ）を考慮することで、ユーザの拡張現実（ＡＲ）体験の音声側面が強化される。これらのパラメータは、ユーザが聞きうる音声特性（ラウドネス、サラウンド音響等）の修正に際して考慮されうる。
【００１５】
本発明の実施形態によれば、ＡＲ演出装置は、ＡＲ演出装置により出力されてユーザにより聞かれる音源からの音声を調整するために、音源の位置、音源により発せられた音声の音圧レベル（ＳＰＬ）（ラウドネス等）、およびＡＲ演出装置を持つユーザと音源との相対位置を利用する。例えば、ラウドネスは、音源とユーザの近接度に基づき調整されてもよく、左右（Ｌ／Ｒ）バランスまたはサラウンド音響「バランス」は、ＡＲ演出装置が面している方位／方向に基づき調整されてもよい。よって、本発明の実施形態によれば、環境中でのユーザのＡＲ演出装置の位置と方位に依存して、音声は、音声を発する音源の方向と音源からユーザまでの距離とを表すように修正されうる。
【００１６】
ユーザは、ユーザ聴取用の音声を出力可能であり、かつ音源に対する装置（つまりユーザ）の位置に基づき音声を含む音声コンテンツを処理可能な携帯型のＡＲ演出装置を携行する。ＡＲ演出装置は、所定位置からの物理的な位置や距離を決定する機能と方位／方向（つまり装置が面している方向）を決定する機能とからなる、拡張現実生成機能を有する。また、ＡＲ演出装置は、拡張現実を提供された音声を音源位置／音声レベル記述子について分析する機能と、可能であれば、現在の環境を音源位置との近接度と方向について評価する機能とを有してもよい。ＡＲ演出装置は、近接度と方位の情報を用いて音声コンテンツの演出を調整してもよく、ユーザによる聴取のために修正された音声コンテンツを演出してもよい。
【００１７】
また、ユーザは、ユーザが位置する環境で入手可能な音声コンテンツを再生（ｐｌａｙ）するために、携帯型のＡＲ演出装置を利用しうる。例えば、ユーザが博物館または古戦場に入ると、博物館を通り抜けるユーザのＡＲ演出装置に拡張現実の音声コンテンツが提供されうる。この点では、音声コンテンツは、ユーザの装置にストリーミングされてもよく、ユーザは、博物館に関連付けられた音声コンテンツをロードもしくはダウンロードしてもよい。ユーザがＡＲ演出装置を持って博物館を通り抜けると、装置は、博物館中でのユーザの位置と、その位置での装置の方位に基づき音声コンテンツを処理しうる。装置の方位は、装置の方位角、標高、および傾き（または航空機用語では、ロール、ピッチ、およびヨー）に関連しうる。
【００１８】
拡張現実からの音声は、音源に対するユーザとＡＲ演出装置の相対位置に依存して、ラウドネスと方向が修正されうる。また、本発明の実施形態では、ユーザは、音源を追加または除外すること、音源位置を変更すること、音源のラウドネスを変更すること等により環境に関連付けられた音声コンテンツを修正しうる。音声コンテンツは、音声と音声の最大ラウドネスを含みうる。音声コンテンツは、携帯可能な記憶媒体（ディスケット、ＣＤ等）の形式で存在してもよく、ユーザのＡＲ演出装置にロードされてもよい。さらに、本発明の実施形態によれば、ＡＲ音声コンテンツは、ユーザのＡＲ演出装置に予め記憶され、ユーザによる選択または環境中でのＡＲ演出装置の位置に依存して再生されてもよい。
【００１９】
さらに、本発明の実施形態によれば、ユーザのＡＲ装置が新たな環境に位置すると、特定の環境に関連付けられた音声と音源が新たな環境に自動的にスケーリング（ｓｃａｌｉｎｇ）されてもよい。ＡＲ装置は、スケーリングを実行してもよく、スケーリングは、ＡＲ装置の外部で実行されてもよい。例えば、ＡＲ装置が現在位置するステージ用（ｓｔａｇｅｄ）の古戦場の環境にＡＲコンテンツが関連付けられる場合、ＡＲ装置が異なる環境（雑貨店等）に移動すると、音源と、古戦場に関連付けて定義された音源同士の相対位置は、雑貨店の環境に自動的にスケーリングされうる。この点では、音源と、音源同士の相対位置、古戦場の環境のサイズ、雑貨店の環境のサイズがスケーリングのために利用されうる。
【００２０】
さらに、本発明の実施形態によれば、ＡＲ装置は、例えば、ＡＲ装置中の記憶装置から、ＡＲ装置に送信されるストリーム音声コンテンツから、有償でダウンロードされたコンテンツから、サーバから無線送信された音声コンテンツから等の様々な方法のうちいずれかで、音声コンテンツを受信または取得しうる。また、本発明の実施形態に係るＡＲ装置は、ＧＰＳシステム、測位（ｐｏｓｉｔｉｏｎｉｎｇ）システム、三角測量（ｔｒｉａｎｇｕｌａｔｉｏｎ）システム、装置の位置に位置するシステム等から位置情報を受信しうる。
【００２１】
また、本発明の実施形態によれば、音源のマップが既存の環境に重ねられてもよい。ＡＲ装置は、環境に入ると、音源から発せられた音声の拡張現実版を再生しうる。前述したように、ＡＲ装置は、音声、音声のラウドネスを含み、および音声の音源、環境中での音源の位置、または環境の物理サイズを含みうる音声コンテンツを受信しうる。例えば、ユーザは、自らの環境を移動するときに自らの音声体験が強化されるように、自らの環境中で音声の方向／音声効果を「綿密に計画」しうる。
【００２２】
図１は、本発明の一実施形態に係る拡張現実を強化した音声のためのプロセスを示している。プロセス１００において、ブロック１０１では、音声コンテンツが装置で取得されうる。音声コンテンツは、音声と音声のラウドネスを含む。音声コンテンツは、１以上の音声と、関連するラウドネス音声を含みうる。ブロック１０２では、装置の位置が決定されうる。ブロック１０３では、装置の方位が決定されうる。ブロック１０４では、装置に対する音源の相対位置が決定されうる。ブロック１０５では、装置の位置および方位と音源の相対位置とに基づき音声コンテンツが修正されうる。ブロック１０６では、装置が修正された音声コンテンツ（つまり、拡張現実を強化した音声）を出力しうる。
【００２３】
図２は、本発明の一実施形態に係る拡張現実を強化した音声のための装置を示している。装置２００は、位置処理モジュール２０２と方位処理モジュール２０３と入力インタフェース２０４と音声出力装置２０５と記憶装置２０６とに接続可能なプロセッサ２０１を含む。位置処理モジュール２０２は、位置情報を受信し、環境中での装置２００の位置を決定しうる。方位処理モジュール２０３は、環境中のその位置での装置２００の方位を決定しうる。音声出力装置２０５は、装置２００のユーザによる聴取のために、プロセッサ２０１により修正された音声を出力しうる。入力インタフェース２０４は、１以上の音声と１以上の音声に関連した音圧レベル（ＳＰＬ）データを含む音声コンテンツを受信しうる。記憶装置２０６は、音声コンテンツを記憶しうる。プロセッサ２０１は、環境中での装置２００の位置、環境中での音源の相対位置、およびその位置での装置２００の方位に基づき、音声コンテンツを修正しうる。
【００２４】
装置２００は、例えば、携帯電話、コンピュータ、携帯情報端末（ＰＤＡ）、電子ゲーム、オーディオ装置等、いかなる種類の携帯装置でもよい。音声出力装置２０５は、例えば、ヘッドセット、イヤプラグ、１以上のスピーカ等、いかなる種類の音声出力装置でもよい。位置処理モジュール２０２は、例えば、ＧＰＳシステムからの装置２００のＧＰＳ座標、環境中の各音源から装置２００までの距離、測位システムからの装置２００の測位情報、三角測量システムからの装置２００の三角測量情報等、いかなる種類の位置情報を受信しうる。位置処理モジュール２０２と方位処理モジュール２０３は、記憶装置２０６またはプロセッサ２０１に記憶されたソフトウェアの形式でもよい。また、位置処理モジュール２０２と方位処理モジュール２０３は、ハードウェア機能でもよく、ソフトウェアとハードウェアの組合せでもよい。さらに、方位処理モジュール２０３と統合された位置処理モジュール２０２を実現するために、ソフトウェア、ハードウェア、または両者の組合せが用いられてもよい。
【００２５】
図３は、本発明の一実施形態に係る環境中でのＡＲ装置の動作を示している。本実施例では、環境３０１は、現実世界の一部（部屋等）として示されている。本実施形態の環境３０１は、環境３０１中を蛇行する道３０２を含み。現実世界の環境３０１は、複数の現実世界の物体３０３〜３０９を含みうる。物体３０３〜３０９は、人や、例えば、家具、備品、立木、建物、車両、電気製品、家財道具等、現実世界に存在しうる物等、いかなる種類の物体でもよい。本発明の実施形態の説明を容易にするために、現実世界の物体３０３〜３０９は、斜線を伴う単純な形状で示されている。現実世界の物体３０３〜３０９は、静止物体でもよく、移動可能物体でもよく、移動物体でもよい。例えば、ユーザが環境に入ると音声体験が始まってもよく、音源が時間とともに「移動」してもよい。また、ユーザが環境中に静止し、音声がユーザの耳に「移動」してもよい。
【００２６】
ユーザは、携帯型の拡張現実（ＡＲ）演出装置を持って環境３０１に入る。ユーザは、環境３０１に入ると、ＡＲ装置を持って道３０２に沿って移動しうる。ユーザが道３０２に沿って移動すると、ＡＲ装置は、異なる位置と方位３１６〜３２０に移動しうる。また、環境３０１は、環境３０１中の様々な場所に位置するように感じられる１以上の仮想音源３１０〜３１５を重ねられてもよい。各仮想音源３１０〜３１５は、音声と関連ラウドネスを含む音声コンテンツに関連付けられてもよい。実施例に示すように、音源（音源３、３１２等）は、現実世界の物体（物体３０５等）に重ねられうる。音源３１２からの音声は、現実世界の物体３０５から発せられたように感じられる。
【００２７】
本発明の実施形態の説明を容易にするために、ＡＲ装置は、装置の方位を示す矢印とともに示されている。ＡＲ装置の方位は、方位角、標高、および傾きを含みうる。この説明では、方位のうち方位角の部分のみが示されている。ＡＲ装置が第１の位置／方位３１６にあるとき、ＡＲ装置は、音源１、３１０と音源２、３１１から音声コンテンツを受信しうる。ＡＲ装置は、環境３０１中でのＡＲ装置の位置を示す位置情報を受信しうる。ＡＲ装置は、第１の位置／方位３１６で、音源１、３１０と音源２、３１１から受信される音声コンテンツを修正するために、この位置情報とＡＲ装置の方位を利用する。音源１、３１０からの音声コンテンツは、低い音量で、かつＡＲ装置の右側から来るように感じられる音声を示すために、ＡＲ装置の第１の位置／方位３１６に基づき修正されうる。また、音源２、３１１からの音声コンテンツは、中レベルの音量で、かつ音源２、３１１からの音声が正面の方向からＡＲ装置の第１の位置／方位３１６の左へ来るように感じられるように修正されうる。
【００２８】
同様に、ＡＲ装置が第２の位置／方位３１７にあるとき、音源１、３１０は、かすかな音量で、かつＡＲ装置の後ろから来るように感じられる一方、音源２、３１１は、大きな音量で、かつＡＲ装置の正面に感じられる。また、ＡＲ装置が第３の位置／方位３１８にあるとき、音源２、３１１は、かすかな音量で、かつＡＲ装置の後ろから来るように感じられ、音源３、３１２は、大きな音量で、かつＡＲ装置の右から来るように感じられ、音源４、３１３は、他の２つの音源よりも大きな音量で、かつＡＲ装置の正面から来るように感じられる。ＡＲ装置が第４の位置／方位３１９にあるとき、音源４、３１３は、極端に大きな音量で、かつＡＲ装置の左後側から来るように感じられる一方、音源３、３１２は、かすかな音量で、かつＡＲ装置の右側から来るように感じられる。ＡＲ装置が第５の位置／方位３２０にあるとき、音源５、３１４は、かなり大きな音量で、かつＡＲ装置の正面から来るように感じられる一方、音源６、３１５は、かすかな音量で、かつＡＲ装置の後ろから来るように感じられる。よって、本発明の実施形態によれば、ＡＲ装置は、環境中の１以上の音源に関連して受信された音声コンテンツを、環境中での各音源に対するＡＲ装置の位置／方位に基づき修正しうる。本実施例に示す音源の数とＡＲ装置の位置／方位は、説明を目的とするものであり、本発明の実施形態の範囲を限定するものではない。
【００２９】
図４は、本発明の一実施形態に係る位置情報を受信するためのシステムを示している。システム４００では、現実世界の環境３０１は、環境３０１中の特定の位置／方位３１７にあるＡＲ装置を含みうる。位置／方位３１７のＡＲ装置は、様々な情報源から様々な方法で位置情報を受信しうる。例えば、ＡＲ装置は、ＧＰＳシステム４０１、測位システム４０２、または三角測量システム４０３から位置情報を受信しうる。さらに、音声コンテンツは、購入されてもよく、さもなければ音声コンテンツレポジトリ４０４から取得されてＡＲ装置に記憶および／または処理されうる。さらに、本発明の実施形態によれば、ＡＲ装置は、各個別の音声コンテンツ源３１０〜３１５から音声コンテンツを受信してもよく、環境３０１中の全ての音源に音声コンテンツを提供する中央源４０５から音声コンテンツを受信してもよい。さらに、環境３０１中の音声コンテンツ源３１０〜３１５に関連付けられた音声コンテンツは、予め記憶されていてもよく、さもなければＡＲ装置に記憶されてもよい。
【００３０】
図５は、本発明の一実施形態に係る拡張現実を強化した音声コンテンツの、ある環境から他の環境へのマッピングを示している。第１の環境５０１は、第１の環境５０１中の様々な場所に位置する１以上の関連する仮想音源５０２〜５０５を有しうる。ＡＲ装置５０６は、環境５０１中のＡＲ装置５０６の位置に基づき、各仮想音源５０２〜５０５に関連付けられた音声コンテンツを修正しうる。ＡＲ装置５０６が新たな第２の環境５１０に移動すると、ＡＲ装置５０６は、様々な仮想音源５０２〜５０５の音声コンテンツを新たな第２の環境５１０のサイズにマッピングする処理を実行しうる。この点では、ＡＲ装置５０６は、第１の環境５０１のサイズおよびレイアウトに関する情報と、各仮想音源５０２〜５０５の第１の環境５０１中での相対位置とを受信しうる。ＡＲ装置５０６は、新たな第２の環境５１０のサイズおよびレイアウトに関する知識を取得し、仮想音源５０２〜５０５の第２の環境５１０へのマッピングを実行するために全ての情報を処理してもよい。よって、本発明の実施形態によれば、ＡＲ装置が第２の環境に移動すると、第１の環境に関連付けられた音源が第２の環境にマッピングされてもよい。
【００３１】
さらに、本発明の実施形態によれば、ＡＲ装置のユーザは、ＡＲ装置により取得された音声コンテンツ中の音声に新たな環境中の位置を割当ててもよい。例えば、音声が他の環境中の位置に関連付けられてもよい。この場合は、ユーザは、新たな環境に入り、かつ新たな環境中の位置を音源に割当てる。代替的に、音声は、環境に関連付けられなくてもよい。この場合、ユーザは、環境に入り、ＡＲ装置により取得された音声コンテンツ中の音声に環境中の位置を割当てる。このことは、音声コンテンツ中の音声の音源のために位置を定義することをＡＲ装置のユーザに許すことになる。
【００３２】
添付図面中のフロー図とブロック図は、本発明の様々な実施形態に係るシステム、方法およびコンピュータプログラム製品の予想される実施のアーキテクチャ、機能性、および動作を説明している。この点では、フロー図またはブロック図中の各ブロックは、特定の論理機能を実現するための１以上の実行可能な指令からなる、モジュール、セグメント、またはコードの一部を表しうる。いくつかの代替的な実施では、ブロック中に示された機能は、図中に示した順序とは異なる順序で生じることもある。例えば、関連する機能性に応じては、連続して示した２つのブロックは、実際には実質上同時に実行されてもよく、時には反対の順序で実行されてもよい。ブロック図および／またはフロー図中の各ブロックと、ブロック図および／またはフロー図中のブロックの組合せとは、特定の機能もしくは動作を実行する特殊用途のハードウェアに基づくシステムにより、または特殊用途のハードウェアとコンピュータ指令との組合せにより実施可能である。
【００３３】
ここで用いられる専門用語は、特定の実施形態の説明のみを目的とするものであり、本発明を限定することを意図するものではない。ここで用いられるように、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈上明確に指示されない限り複数形も含むことを意図するものである。用語「備える（ｃｏｍｐｒｉｓｅｓ）」および／または「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、明細書中で用いられるとき、記載された特徴、整数（ｉｎｔｅｇｅｒ）、ステップ、動作、要素、および／または部品の存在を特定するが、１以上の他の特徴、整数、ステップ、動作、要素、部品、および／またはこれらの組合せの存在または追加を除外するものではないことは勿論である。
【００３４】
ここでは、特定の実施形態が説明および記載されているが、当業者であれば、特定の実施形態のために同様の目的を達成すると予想されるいかなるアレンジに置換されてもよいこと、および本発明が他の環境中では他の適用を有することを理解するであろう。本適用は、本発明のいかなる適応または変形をも含むことを意図している。以下の請求項は、ここに説明された特定の実施形態に本発明の範囲を限定することを意図するものでは決してない。
【図１】
2011521511.tif 000003
【図２】
2011521511.tif 000004
【図３】
2011521511.tif 000005
【図４】
2011521511.tif 000006
【図５】
2011521511.tif 000007
【手続補正書】
【提出日】平成22年10月8日(2010.10.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
拡張現実を強化した音声のための装置（２００）であって、
位置情報を受信可能であり環境中での前記装置（２００）の位置を決定可能な位置処理モジュール（２０２）と、
前記位置での前記装置（２００）の方位を決定可能な方位処理モジュール（２０３）と、
前記環境中での前記装置（２００）の位置と前記位置での前記装置（２００）の方位とに基づき、音声コンテンツを修正可能なプロセッサ（２０１）と、
前記修正された音声コンテンツを出力可能な音声出力装置（２０５）と
を備える装置。
【請求項２】
前記音声コンテンツを受信可能な入力インタフェース（２０４）をさらに備える、請求項１に記載の装置。
【請求項３】
前記音声コンテンツを記憶可能な記憶装置（２０６）をさらに備える、請求項１に記載の装置。
【請求項４】
前記位置情報は、前記装置の位置のＧＰＳ座標、前記環境中での音源から前記装置までの距離、前記装置の測位情報、または前記装置の三角測量情報のうちの１以上である、請求項１に記載の装置。
【請求項５】
前記位置での前記装置の方位を決定することは、前記装置の方位角、標高および傾きを決定することである、請求項１に記載の装置。
【請求項６】
拡張現実を強化した音声のための方法であって、
音声コンテンツを装置により取得すること（１０１）、
環境中での前記装置の位置と前記位置での前記装置の方位とに基づき、前記音声コンテンツを前記装置により修正すること（１０５）、
前記修正された音声コンテンツを前記装置により出力すること（１０６）
を含む方法。
【請求項７】
前記環境中で前記位置から他の位置（３１６〜３２０）へ前記装置を移動すること、
前記他の位置への前記装置の移動と前記他の位置での前記装置の方位とに応じて、前記取得された音声コンテンツを修正すること（１０５）、
前記修正された音声コンテンツを前記装置により出力すること（１０６）
をさらに含む、請求項６に記載の方法。
【請求項８】
前記装置内の音源から音声コンテンツを取得すること（１０１）、または１以上の外部音源（４０５）から音声コンテンツを取得することをさらに含む、請求項６に記載の方法。
【請求項９】
前記環境中に位置する外部音源（４０５）または前記環境の外部に位置する外部音源（４０４）のうち１以上から音声コンテンツを取得することをさらに含む、請求項８に記載の方法。
【請求項１０】
前記装置の方位は、前記装置の方位角、前記装置の標高、または前記装置の傾きの１以上である、請求項６に記載の方法。
【請求項１１】
前記音声コンテンツは、音声と前記音声のラウドネスである、請求項６に記載の方法。
【請求項１２】
前記音声のラウドネスは、前記環境中での前記装置の位置と前記位置での前記装置の方位（３１６〜３２０）に基づき変化する、請求項１１に記載の方法。
【請求項１３】
前記音声のラウドネスは、前記環境（３０１）中での前記装置の位置（３１６〜３２０）に対する前記環境中での前記音声の音源の位置（３１０〜３１５）に基づく、請求項１１に記載の方法。
【請求項１４】
前記音声コンテンツ、前記音声コンテンツ中の１以上の音声の音源の情報、および前記環境中での前記１以上の音声の音源の位置を前記装置で受信することをさらに含む、請求項６に記載の方法。
【請求項１５】
前記装置のユーザは、前記音声コンテンツ中の音声、前記音声コンテンツ中の音声の音源または前記環境中での音声の音源の位置のうち１以上を決定する、請求項６に記載の方法。
【請求項１６】
前記装置が第２の環境（５１０）中に位置するとき、第１の環境（５０１）に関連付けられた音声コンテンツを前記第２の環境（５１０）にスケーリングすることをさらに含む、請求項６に記載の方法。
【請求項１７】
前記装置が前記環境中に入ると、前記音声コンテンツを前記装置で受信することをさらに含む、請求項６に記載の方法。
【請求項１８】
前記装置のユーザが前記装置により取得された前記音声コンテンツ中の音声の音源に新たな環境中の位置を割当てることをさらに含む、請求項６に記載の方法。
【請求項１９】
拡張現実を強化した音声のための方法をコンピュータに実行させるためのプログラムであって、
前記方法は、
音声コンテンツを装置により取得すること（１０１）、
環境中での前記装置の位置と前記位置での前記装置の方位とに基づき、前記音声コンテンツを前記装置により修正すること（１０５）、
前記修正された音声コンテンツを前記装置により出力すること（１０６）
を含むプログラム。
【国際調査報告】
2011521511.tif 000008
2011521511.tif 000009
2011521511.tif 000010