(57)【特許請求の範囲】
【請求項１】
ビデオ出力を生成する携帯用通信装置の位置を確定するステップと、
前記通信装置の前記確定した位置に基づいて音声出力を方向付けるために、前記携帯用通信装置とは別個のオーディオ装置に音声出力制御を提供するステップと
を含み、
前記音声出力制御が、前記ビデオ出力から前記音声出力が来るように見えることを容易にするように構成されている、音声出力を制御する方法。
【請求項２】
ビデオ出力を生成する携帯用通信装置の位置を確定するステップと、
前記通信装置の前記確定した位置に基づいて音声出力を方向付けるために、前記携帯用通信装置とは別個のオーディオ装置に音声出力制御を提供するステップと、
前記音声出力を聴き、前記ビデオ出力を視る人物の鑑賞位置を確定するステップと、
前記確定した鑑賞位置に基づいて前記音声出力制御を提供して、前記音声出力が前記携帯用通信装置の前記位置から前記鑑賞位置に向かって来るように見えることを容易にするステップと
を含む、音声出力を制御する方法。
【請求項３】
前記音声出力を聴き、前記ビデオ出力を視る複数の人物がいて、前記複数の人物のそれぞれが関連するオーディオ装置を有する、請求項２に記載の方法であって、
前記複数の人物の各々の前記鑑賞位置をそれぞれ確定するステップと、
前記携帯用通信装置の前記確定した位置および前記それぞれの確定した鑑賞位置に基づいて、前記対応する人物の各々用の前記オーディオ装置のそれぞれに前記音声出力制御を提供するステップと
を含む方法。
【請求項４】
前記携帯用通信装置が、前記携帯用通信装置の前記位置とは別個の画像場所に映写されたビデオ出力を提供する、請求項１に記載の方法であって、
前記携帯用通信装置の前記確定した位置に基づいて画像場所を確定するステップと、
前記音声出力が前記画像場所から来るように見えることを容易にするために、前記確定した画像場所に基づいて前記音声出力制御を提供するステップと
を含む方法。
【請求項５】
前記音声出力の間、前記オーディオ装置が移動可能である、請求項１に記載の方法であって、
前記携帯用通信装置の前記位置に対して前記オーディオ装置の位置を確定するステップと、
前記オーディオ装置の前記確定した位置に基づいて前記音声出力制御を提供するステップと
を含む方法。
【請求項６】
リスナには前記携帯用通信装置の前記確定した位置から来るように見えるバイノーラルな音声出力を提供するステップ
を含む、請求項１に記載の方法。
【請求項７】
携帯用通信装置であって、
ビデオ出力と、
前記携帯用通信装置の位置の指示を提供する位置確定モジュールと、
前記携帯用通信装置とは別個のオーディオ装置に音声出力制御を通信するように構成された音声出力制御モジュールであって、前記オーディオ装置が前記携帯用通信装置の前記位置に基づいて音声出力を方向付けることを容易にするために、前記音声出力制御が前記携帯用通信装置の前記位置に基づく、音声出力制御モジュールと
を含み、
前記音声出力制御が、前記ビデオ出力から前記音声出力が来るように見えることを容易にするように構成されている、携帯用通信装置。
【請求項８】
前記位置確定モジュールが前記携帯用通信装置の移動に応答して、前記携帯用通信装置の前記位置の前記指示の更新を提供する、請求項７に記載の携帯用通信装置。
【請求項９】
前記ビデオ出力が前記携帯用通信装置の前記位置から離れた画像場所に画像を映写し、前記位置確定モジュールが前記画像場所の指示を提供する、請求項７に記載の携帯用通信装置。
【請求項１０】
前記ビデオ出力を視て、前記音声出力を聴く人物の鑑賞位置を確定する鑑賞者トラッカであって、前記音声出力が前記携帯用通信装置の前記位置から前記鑑賞位置に向かって来るように見えることを容易にするための前記鑑賞位置を含むために、前記位置確定モジュールおよび前記音声出力制御モジュールと通信する鑑賞者トラッカ
を含む、請求項７に記載の携帯用通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に通信に関する。より詳細には、本発明は通信を円滑化するための音声制御に関する。
【背景技術】
【０００２】
携帯用通信装置は普及している。携帯電話、携帯情報端末、およびノートブック・コンピュータは、きわめて人気がある。これらの装置の能力および機能が進化するにつれて、それらのさまざまな使用法が増加する。
【０００３】
携帯用通信装置の１つの限界は、そのような装置のラウドスピーカが通常、高品質な音声を出力しないことである。そのような装置がビデオ鑑賞用に使用されると、関連するオーディオは通常、品質が劣っている。例えば、ビデオ対応の携帯用通信装置を使用してビデオ電話会議を行うことは役に立つはずである。しかしながら、携帯用通信装置のラウドスピーカからの音質は、装置をそのように使用する気持ちを失わせるほど劣っている場合がある。同様に、多くの携帯用通信装置がビデオのプレイバック能力を有しているが、関連するオーディオ出力には不満足な点が多い。
【０００４】
携帯用通信装置とともに外部オーディオ出力を利用するように試みると、音質を改善することができる。しかしながら、通信装置の携帯性のために、かなりの課題が存在する。外部ラウドスピーカと携帯用通信装置の間の空間関係は、その目的のために装置を単独で使用する間に変わる可能性がある。これにより、一体性のある視覚および聴覚の経験が失われてしまう。例えば、人物が位置している部屋の中のある任意の場所から発する、関連するオーディオを聴きながら、人物が携帯用通信装置のビデオ・ディスプレイで鑑賞することは不自然である。たとえ高品質の音響システムであっても、オーディオ出力と携帯用通信装置上で鑑賞されるビデオとの間のいかなる空間一体性も提供しない。この一体性の欠如には不満足な点が多く、人物がそのような方式でそれらの携帯用通信装置を利用しようとする気持ちが失われる。
【発明の概要】
【課題を解決するための手段】
【０００５】
通信を円滑化する例示的な方法は、ビデオ出力を生成する携帯用通信装置の位置を確定することを含む。音声出力制御は、携帯用通信装置の確定した位置に基づいてオーディオ装置からの音声出力を方向付けるために、携帯用通信装置とは別個のオーディオ装置に提供される。
【０００６】
例示的な携帯用通信装置はビデオ出力を含む。位置センサは携帯用通信装置の位置の指示を提供する。音声制御モジュールは、携帯用通信装置とは別個のオーディオ装置に音声制御を通信するように構成される。音声制御は、オーディオ装置が携帯用通信装置の位置に基づいて音声出力を方向付けるのを容易にするために携帯用通信装置の位置に基づく。
【０００７】
開示した例のさまざまな特徴および利点は、以下の詳細説明から当業者には明白になる。詳細説明に付随する図面は以下のように簡潔に説明される。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態によって設計された例示的な携帯用通信装置を概略的に示す図である。
【図２】例示的な制御手法の概要を示す流れ図である。
【図３】図１の例示的な携帯用通信装置の一部を概略的に示す図である。
【図４】例示的な位置確定モジュールを概略的に示す図である。
【図５】例示的な音声制御モジュールを概略的に示す図である。
【図６】別個のオーディオ装置をもつ携帯用通信装置の１つの使用例を図式的に示す図である。
【図７】携帯用通信装置および別個のオーディオ装置の別の使用例を概略的に示す図である。
【図８】別個のオーディオ装置をもつ携帯用通信装置の別の使用例を概略的に示す図である。
【図９】別個のオーディオ装置をもつ携帯用通信装置の別の使用例を概略的に示す図である。
【図１０】別個のオーディオ装置をもつ携帯用通信装置の別の使用例を概略的に示す図である。
【発明を実施するための形態】
【０００９】
図１は、例示的な携帯用通信装置２０の選択された部分を概略的に示す。この例はビデオ出力２２を有する。この特定の例では、ビデオ出力は携帯用通信装置２０の一部である表示画面を含む。一例におけるビデオ出力２２は、装置２０から離れた選択された面に画像を映写するプロジェクタを含む。
【００１０】
位置確定モジュール２４は、携帯用通信装置２０の位置の指示を提供する。この例における位置確定モジュール２４は、６次元で位置情報を提供することができる。例えば、位置情報はデカルト座標（すなわち、ｘ、ｙ、ｚ）での場所情報および方位情報（すなわち、座角、頂角および回転角）を含むことができる。６自由度の位置センサが知られている。一例はそのような既知の位置センサを含む。
【００１１】
また、この例における携帯用通信装置２０は、オーディオ・スペーシャライザなどの音声制御モジュール２６を含む。例示的な携帯用通信装置２０は、携帯用通信装置２０とは別個のオーディオ装置３０と関連付けることができる。例示的なオーディオ装置３０はヘッドフォンまたはスピーカを含む。有線または無線のリンクにより、オーディオ装置３０が音声制御モジュール２６からの情報に基づいてオーディオ出力を提供することが可能になる。オーディオ出力は、他の方法では通信装置２０のラウドスピーカから提供されるはずだが、代わりに別個のオーディオ装置３０によって提供されるオーディオを含む。音声制御モジュール２６は、オーディオ装置３０に情報を提供して、所望の音声出力がその装置によって生成されるのを可能にする。
【００１２】
音声制御モジュール２６は、位置確定モジュール２４からの位置情報に基づいて音声の生成を制御する。これにより、一見、携帯用通信装置２０の位置から発するように、オーディオ装置３０からの音声を方向付けることが可能になる。この特徴は、ビデオ出力２２とオーディオ装置３０からの音声出力との間の空間一体性を提供する。これにより、ビデオ出力を得る携帯用通信装置２０および高品質の音声を提供する別個のオーディオ装置３０を使用する人物の経験を大いに高める空間一体性で、高品質の音声をビデオと関連付けることが可能になる。
【００１３】
図２は、例示的な制御手法の概要を示す流れ図５２を含む。５４で携帯用通信装置の位置が確定される。この例では、鑑賞者位置は５６で確定される。次いで、５８で音声出力が確定した位置に基づいて方向付けられる。
【００１４】
所与のオーディオ装置３０用の固定基準点に対ずる携帯用通信装置の位置を利用することが可能である。例えば、オーディオ装置は特定の領域内の固定位置に留まるラウドスピーカを含むことができ、その領域内の携帯用通信装置２０の位置は、選択された基準点に対して確定することができる。また、そのような固定基準点に対して人物の鑑賞場所を確定することが可能である。いくつかの例では、携帯用通信装置の位置または人物の位置は基準点として使用することができ、その結果、他方の確定した位置はその基準点と相関関係がある。一例では、携帯用通信装置２０の確定した位置に対して鑑賞者位置を確定する目的のために、携帯用通信装置２０の位置は基準点として使用される。
【００１５】
図３は、一実施形態による例示的な携帯用通信装置２０のさらなる詳細を概略的に示す。トランスポート・ストリーム・デコーダ６０は、データのオーディオ・ビデオ・ストリームを別々のオーディオ・ストリームおよびビデオ・ストリームに分割する。図示された例では、トランスポート・ストリーム・デコーダ６０は、携帯用通信装置２０への電流入力に基づいてオーディオ・ビデオ情報を受信することができる。例えば、アンテナ６６およびレシーバ６８は、無線通信されたオーディオ・ビデオ信号を受信するように構成され、次いで、オーディオ・ビデオ信号は携帯用通信装置２０によって処理することができる。また、この例は、携帯用通信装置２０の一部であるメモリを含むことができる記憶装置７０からのオーディオ・ビデオ情報、または、（例えば、ディスク・ドライブまたはＵＳＢポートを使用して）携帯用通信装置２０の中に送り込まれた、外部メモリ上に格納された情報をプレイバックする能力を有する。図示された例は、オーディオ・ビデオ情報のソースを選択するためのスイッチ７２を含む。
【００１６】
オーディオ・ストリームは６２で概略的に示される。ビデオ・ストリームは６４で概略的に示される。
【００１７】
オーディオ・デコーダ８４はオーディオ情報を復号する。もし人物へのオーディオ出力が位置指向であるものならば、位置確定モジュール２４は、例えば、携帯用通信装置２０の位置の指示を提供する位置センサ８６から位置情報を取得する。また、この例における位置確定モジュール２４は、鑑賞者の位置（例えば、人物が着けたヘッドフォンの場所および方位）の指示を提供することができる外部位置センサ８８から位置情報を受信する。位置確定モジュール２４は、携帯用通信装置２０によって提供されたビデオとオーディオ出力との間の一体性を提供する方式で、音声出力の方向付けに有用な位置情報に関する決定を行う。
【００１８】
図示された例では、携帯用通信装置２０は、位置指向のオーディオ出力情報をオーディオ装置３０に提供するオーディオ・スペーシャライザ９０を含む。あるいは、オーディオ・デコーダ８４からのオーディオ情報および位置確定モジュール２４からの位置情報は、外部オーディオ・スペーシャライザ９２に提供され、外部オーディオ・スペーシャライザ９２は、オーディオ装置３０からの出力を制御してオーディオ装置３０からの空間的に方向付けられた音声出力を実現する。
【００１９】
ビデオ・ストリーム６４はビデオ・デコーダ７４によって処理される。この例におけるビデオ情報の表示は、少なくとも１つの内部ビデオ表示画面７６に、または、ビデオを近くの面で鑑賞できるようにビデオ・ビーム８０を映写するビデオ・プロジェクタ７８を介して提供される。
【００２０】
図４は、例示的な位置確定モジュール２４を概略的に示す。装置位置確定部１０１は、１０３で示したように携帯用通信装置２０の位置に関する情報を提供する。この例では、装置位置確定部１０１は、デカルト座標（ｘＤ、ｙＤ、ｚＤ）ならびにオイラー方位角（座角ΘＤ、頂角ΦＤ、および回転角
【数１】
0005611463.tif 000002
）の単位で、携帯用通信装置２０の位置に関する情報を提供する。
【００２１】
鑑賞者位置確定部１０２は、鑑賞者（例えば、鑑賞者の頭部）の位置の指示を提供する。この例では、鑑賞者位置確定部１０２からの出力１０４は、デカルト座標（ｘＬ、ｙＬ、ｚＬ）ならびにオイラー方位角（座角θＬ、頂角
【数２】
0005611463.tif 000003
、および回転角ψＬ）を単位とする。
【００２２】
知られているように、オイラー方位角は、基準座標系に関して対象の方位を表現する１つの方法である。これらの角度は、基準座標系の回転の数列を表現し、座角回転で始まり、頂角回転が続き、回転角回転が続く。座角はＺ軸のまわりのＸ基準軸およびＹ基準軸の回転として定義され、回転軸Ｘ’およびＹ’になる。次いで、頂角はＹ’軸のまわりのＺ軸およびＸ’軸の回転として定義することができ、回転軸Ｚ’およびＸ”になる。最後に、回転角はＸ”のまわりのＹ’軸およびＺ’軸の回転として定義され、Ｙ”軸およびＺ”軸になる。新しい座標系Ｘ”Ｙ”Ｚ”は対象の方位を確定する。
【００２３】
ビデオ・ディスプレイのタイプ（内蔵ビデオ対映写ビデオ）に応じて、装置位置確定部１０１によって出力されたパラメータのサブセットだけがさらなる処理に使用することができる。そのようなサブセットは、例えば、携帯用装置のデカルト座標（ｘＤ、ｙＤ、ｚＤ）であり得る。ビデオが携帯用通信装置２０のプロジェクタ７８を使用して表示される場合、デカルト座標（ｘＤ、ｙＤ、ｚＤ）および少なくとも２つの方位パラメータ、座角θＤおよび頂角
【数３】
0005611463.tif 000004
がさらなる処理にとって望ましい。なぜなら、座角θＤおよび頂角
【数４】
0005611463.tif 000005
は、一般に、映写されたビデオの場所を正しく確定するのに必要だからである。一方、ビデオが表示画面２２に表示される場合、方位角は音源の方向に対するキューを作成する目的のために無視することができる。方位角は、それが音源の方位に対する別のキューを提供するものである場合、依然使用することができる。そのような装置の方位に対するキューは、例えば、直接音の反響音に対する比を変更することによって作成することができる。携帯用装置２０のディスプレイ２２が直接鑑賞者と向き合うとき、音声出力は、例えば、携帯用装置２０が鑑賞者に背を向ける場合よりも、多くの直接音を提供する。さらに、または別法として、話す人間の周波数依存の極性パターンはモデル化することができ、それによって単純なモデルでは、装置が鑑賞者に背を向けるほど、高い周波数が徐々に減衰される。
【００２４】
音声の音響再生に応じて、鑑賞者位置確定部１０２からのパラメータ１０４のサブセットだけをさらなる処理で使用することができる。１つの例示的なサブセットは鑑賞者のデカルト座標（ｘＬ、ｙＬ、ｚＬ）を含む。
【００２５】
オーディオ装置３０がヘッドフォンを含むときの音声再生の場合、少なくともデカルト座標（ｘＬ、ｙＬ、ｚＬ）ならびに座角θＤおよび頂角
【数５】
0005611463.tif 000006
がパラメータ・セット１０４から望ましい。鑑賞者に関する座角および頂角の指示により、オーディオ・スペーシャライザ９０が鑑賞者の頭部の方位を補償することが可能になる。そのような補償がないと、ヘッドフォンを介した音声再生のせいで、音場は鑑賞者の頭部で向きを変える。例えば、鑑賞者の前面でまっすぐな音源を仮定する。鑑賞者が自分の頭部を９０度反時計回りに回す場合、合成された音源の方向は、この回転中絶え間なく調整されて、最終的に頭部の右側部からのように見える。このようにして、頭部の回転にかかわらず、音源の場所は、鑑賞者用の空間内で常に固定される。携帯用装置が移動したときのみ、音源は空間内で移動する。
【００２６】
一方、ラウドスピーカを介した音声再生の場合、方位角は無視することができ、すなわち、パラメータ・セット１０４のサブセット（ｘＬ、ｙＬ、ｚＬ）を使用するだけでよい。ラウドスピーカを介した音声再生のいくつかのケースでは、音声を空間化するとき頭部の方位を使用することは依然有益である。一例は、よく知られている技法のクロストーク・キャンセラによるバイノーラルな音声再生を含む。
【００２７】
一般に、方位は、３つの次元、座角、頂角および回転角で指定される。しかしながら、多くの実際の状況では、座角および頂角のみで音声方向をかなり確定する。話を簡単にするために、以下の説明では回転角はこれ以上考慮されない。それにもかかわらず、鑑賞者および装置２０の回転角は、空間化されたオーディオのさらなる改良に適用される。
【００２８】
位置確定部１０１および１０２は、携帯用通信装置２０および鑑賞者の位置を表現するために、いかなる特定の基準座標系も前提としない。言い換えれば、基準座標系は任意に選択することができる。具体的には、それは、移動する携帯用装置の６次元の位置と一致するか、または移動する鑑賞者の６次元の位置と一致するように選択することができる。
【００２９】
携帯用通信装置２０が内蔵プロジェクタ７８を介してビデオ出力を提供する場合、鑑賞可能なビデオは、例えば、壁または映写幕に表示される。図４の例は、携帯用通信装置２０から映写されたビデオが表示される面までの距離を測定するように構成された、距離確定部１０５を含む。距離確定部１０５は、レーザまたは超音波測定技法に基づいて、距離ＤＰの指示を提供することができる。ビデオ出力が携帯用通信装置２０のディスプレイ２２に提供されると、距離確定部１０５は、ＤＰ＝０に対応する出力を提供する。統合型プロジェクタ７８をもたない携帯用装置２０の場合、距離確定部１０５は必要でない。
【００３０】
図４の例は、携帯用通信装置２０の位置および鑑賞者の位置に基づいて、鑑賞者に対するビデオの位置および方位を確定する、相対位置確定部１０７を含む。ビデオ出力がプロジェクタ７８によって提供される場合、壁または映写幕への距離が含まれる。鑑賞者に対する所望の音源の場所は、３つの変数、座角θＳ、頂角
【数６】
0005611463.tif 000007
および距離ＤＳによって確定される。同様に、鑑賞者に対する音源またはビデオの方位は、座角θＶおよび頂角
【数７】
0005611463.tif 000008
によって確定される。これら５つのパラメータは、相対位置確定部１０７によって確定される。一例では、確定は、装置の方位角を使用しないことによって簡略化される。一例は、相対位置確定の一部として距離ＤＳを含まない。この説明が与えられると、当業者は、自分の特定の状況の必要に適応する結果をもたらすのにどの情報が有用であるか理解されよう。
【００３１】
これら５つの変数用の数式を導き出すために、鑑賞者の位置をベクトル
ＰＬ＝（ｘＬ  ｙＬ  ｚＬ）Ｔ
と表現する。ここで、上付き文字Ｔは既知の移項演算を表す。同様に、ビデオ・ディスプレイの位置をベクトル
ＰＶ＝（ｘＶ  ｙＶ  ｚＶ）Ｔ
と、携帯用装置の位置をベクトル
ＰＤ＝（ｘＤ  ｙＤ  ｚＤ）Ｔ
と表現する。
【００３２】
ビデオが携帯用装置自体に表示される例では、ＰＶ＝ＰＤである。一方、ビデオがプロジェクタ７８から表示される場合、ビデオの位置は、携帯用装置２０内のセンサから直接分からない。代わりに、携帯用装置（ＰＤ）のデカルト座標、その方位
【数８】
0005611463.tif 000009
、および、壁または映写幕までのその距離（ＤＰ）に基づいて、以下の数式に従い、ビデオの位置に関して確定する必要がある。
ＰＶ＝ＰＤ＋ρ・ＤＰ  （１）
ここで、ρは携帯用装置２０から映写されたビデオへの方向における統合ベクトルであり、
【数９】
0005611463.tif 000010
によって与えられる。
【００３３】
数式（１）の値は、ビデオが内蔵ビデオ・ディスプレイ２２（例えば、ＤＰ＝０）に表示されるか、またはビデオがプロジェクタ７８（例えば、ＤＰ≠０）によって表示されるかに基づいて制御することができる。
【００３４】
所望の音源の距離は、既知の規範関数
ＤＳ＝‖ＰＶ−ＰＬ‖  （２）
を使用して計算することができる。
【００３５】
次いで、所望の音源の座角θＳおよび頂角
【数１０】
0005611463.tif 000011
は、以下の数式によって与えられる。
θＳ＝ｔａｎ−１｛（ｙＶ−ｙＬ）／（ｘＶ−ｘＬ）｝−θＬ  （３）
【数１１】
0005611463.tif 000012
【００３６】
数式（１）〜（４）は、音声を空間化してビデオの場所に適合させるために使用される。具体的には、数式（２）における音源の距離ＤＳは、潜在的な距離キューを合成するために使用することができる。数式（３）および（４）は、音源を正確な座角および頂角で位置付けるために使用することができる。これらの数式は、鑑賞者の頭部の位置（ｘＬ、ｙＬ、ｚＬ）ならびに鑑賞者の頭部の方位（θＬおよび
【数１２】
0005611463.tif 000013
）を使用する。頭部の方位を考慮することは、ヘッドフォンを介してオーディオ出力をレンダリングするときに最も関連が大きい。なぜなら、それにより鑑賞者の頭部のいかなる回転および傾斜も適応させることが可能になるからである。
【００３７】
数式（３）および（４）は、ヘッドフォンを介した音声レンダリング用に与えられる。ラウドスピーカを介したレンダリングの場合、鑑賞者の方位
【数１３】
0005611463.tif 000014
は、一般に無視する（例えば、θＬ＝０および
【数１４】
0005611463.tif 000015
にセットする）ことができる。これらの角度は、音源の位置付けの目的のために使用することはできないが、それらは、トランスオーラル・ラウドスピーカ・システムの中で正確な頭部伝達関数（ＨＲＴＦ）を計算するために使用することができる。
【００３８】
装置の方位は、音源の極性パターンをシミュレートするために使用することができる。極性パターンまたは指向性パターンは、音源が発する音声レベルを確定し、３６０度の範囲で指定される。より一般的なケースは、球面領域を介して発せられた音声レベルを指定する３Ｄ極性パターンを含む。そのため、３Ｄ極性パターンは、例えば、話す人間用または楽器用に確定することができる。極性パターンは、一般に周波数依存であり、すなわち、さまざまな周波数で指定される。
【００３９】
モバイル装置の方位を所望の極性パターンと関連付けるために、一例は、鑑賞者位置に関して装置の相対的な方位を確定することを含む。この目的のために、鑑賞者からモバイル装置へのベクトル
ＰＯ＝ＰＶ−ＰＬ
を、よく知られている座標変換を使用して、携帯用通信装置２０の座標系の用語で表現する。装置の座標系における鑑賞者から装置２０へのベクトルは、
ＰＯ’＝ＲＰＯ
になる。ここで、
【数１５】
0005611463.tif 000016
である。
【００４０】
ベクトルＰＯ’は極性パターンに直接関係する。変換されたベクトル
ＰＯ’＝（ｘＯ’  ｙＯ’  ｚＯ’）Ｔ
の座角および頂角は、
θＶ＝ｔａｎ−１｛（ｙＯ’）／（ｘＯ’）｝  （５）
【数１６】
0005611463.tif 000017
によって確定される。
【００４１】
所望の極性パターンが与えられると、一例は、座角θＶおよび頂角
【数１７】
0005611463.tif 000018
でのこの極性パターンを評価することを含む。この評価は、座角および頂角のペア毎の周波数応答を得るために、周波数軸に沿って行われる。
【００４２】
数式（２）〜（６）によって例示されたように、ビデオの相対位置が相対位置確定部１０７によって確定されると、結果として生じたパラメータはスペーシャライザ９０に提供される。
【００４３】
オーディオ・スペーシャライザ９０は、オーディオ・デコーダ８４からオーディオ情報を受信し、オーディオ装置３０の出力（例えば、ヘッドフォンまたはラウドラウドスピーカ）が位置確定モジュール２４からの位置情報に基づくようにビデオの場所を適合させる、空間的なオーディオを作成する。
【００４４】
図５は、オーディオ・スペーシャライザ９０の例示的な実施形態を示す。この例は、さまざまな入力フォーマットに適応し、行列演算部２０１を含む。入力フォーマットは、アンビソニックな入力フォーマットの場合、モノに下方変換されるか、または維持することができる。入力フォーマットの例には、モノ（１チャネル）、ステレオ（２チャネル）、３／２（３つのフロント・チャネル／２つのサラウンド・チャネル）などのマルチチャネル・ステレオ、またはアンビソニックＢフォーマット（４チャネル）がある。モノは、特に、マイクロフォンがオリジナルの音源に近く、その結果室内反響が少なく録音がほとんど直接音を含む、近接場録音が使用されたときに直接空間化することができる。ステレオは、特に、録音が同時ステレオ・マイクロフォンから生み出された場合、モノに変換することもできる。同様に、３／２マルチチャネル・ステレオはモノに変換することができる。
【００４５】
オーディオ入力がモノラル信号にミックスダウンされたケースでは、行列演算部２０１はベクトル演算に変換される。モノラル入力の平凡なケースでは、行列演算２０１は、
ｙ１／０＝Ｍ１／０・ｘ１／０
によって表現され、ここで、ｘ１／０＝ｘはスカラ入力サンプルを表し、ｙ１／０は出力サンプルを表す。モノラル入力の平凡なケースでは、行列はスカラに変換され、すなわち、Ｍ１／０＝１である。
【００４６】
２チャネルのステレオ入力の場合、行列演算２０１は、
ｙ１／０＝Ｍ２／０・ｘ２／０
によって表現され、ここで、ｘ２／０＝［ｘＬ  ｘＲ］Ｔは、左右のチャネル・サンプル用の２次元入力ベクトルを表し、ｙ１／０はモノラル出力サンプルを表し、Ｍ２／０＝［０．５  ０．５］である。
【００４７】
５チャネルのステレオ入力の場合、行列演算２０１は、
ｙ１／０＝Ｍ３／２・ｘ３／２
によって表現され、ここで、ｘ３／２＝［ｘＬ  ｘＲ  ｘＣ  ｘＬＳ  ｘＲＳ］Ｔは、左、右、中央、左サラウンド、および右サラウンドのチャネルの５次元入力ベクトルを表し、ｙ１／０はモノラル出力サンプルを表す。例えば、ＩＴＵ−Ｒ  ＢＳ．７７５−２勧告に従うと、Ｍ３／２＝［０．７０７１  ０．７０７１  １．０００  ０．５００  ０．５００］であり、または、別法として反響音の量を削減するためには、
【数１８】
0005611463.tif 000019
である。
【００４８】
オーディオ入力がアンビソニック・フォーマットである場合、次の処理はこのフォーマットを直接使用することができる。なぜなら、アンビソニック・フォーマットにより音場の回転が可能になるからである。例えば、アンビソニックＢフォーマットの信号セットは、一般にＷ、Ｘ、Ｙ、Ｚ信号として表される４チャネルから構成される。行列演算部２０１の中の次のアンビソニック処理は、
ｙＡ＝ＭＡ・ｘＡ
により信号を単純に通すことを含み、ｘＡ＝［ｘＷ  ｘＸ  ｘＹ  ｘＺ］Ｔは入力ベクトルであり、ＭＡはサイズ４の恒等行列である。あるいは、例えば、アンビソニック・フォーマットの無指向性のチャネルＷを選択して、さらにモノラル信号に移ることができる。
【００４９】
極性パターン・シミュレータ２０２は、作成された音源の極性パターンまたは指向性をシミュレートする。極性パターンは、音声がオーディオ装置３０からさまざまな水平角度および鉛直角度に向けて発せられた音声レベルを示す。通常、それはさまざまな周波数で指定される。話す人間の極性パターンを考察されたい。人物の顔が前から後に１８０度向きを変えるにつれて、鑑賞者に対して音声レベルは下がる。これは、特に高い周波数で当てはまる。一例における極性パターン・シミュレータ２０２は、極性パターンを参照テーブルとして格納するか、または、座角および頂角に基づいて極性パターン用のモデルを計算する。周波数依存の極性パターンと同等に、周波数応答はさまざまな座角／頂角の組合せで指定することができる。すなわち、極性パターンに対するフィルタ応答は、周波数および角度θＶ、
【数１９】
0005611463.tif 000020
の関数として指定することができる。簡単な例を与えるために、装置の方位および装置から鑑賞者へのベクトルによって定義された２つのベクトル間の角度として定義される、水平方位角θＶのみを考察されたい。一例は、装置の方位に依存し、Ｚ領域の中で
【数２０】
0005611463.tif 000021
として定義された単純なローパス・フィルタ特性を使用する。ここで
ａ＝｜ｓｉｎ（θＶ／２）｜
である。
【００５０】
装置が鑑賞者に向き合っている（θＶ＝０）場合、
【数２１】
0005611463.tif 000022
なので平坦な周波数応答が起きる。装置が鑑賞者に背を向けるほど、より高い周波数が低減する。
【００５１】
極性パターン・シミュレータ２０２の出力は、音声レベル修正部２０３によって処理される。音声レベルは距離ＤＳに基づいて変更される。例えば、以下の入出力方程式で表現された、音響点源に適用される逆二乗法則を使用することができる。
【数２２】
0005611463.tif 000023
ここで、ｘは入力を、ｙは出力を、ＤＲＥＦは基準距離を表し、例えば、ＤＲＥＦ＝１メートルである。この特定の音声レベル修正部２０３の場合、鑑賞者から携帯用通信装置２０への距離が２倍になると、音声出力レベルは６ｄＢ下がる。
【００５２】
図示された例は、ヘッドフォン出力用のバイノーラル・シンセサイザ２０４を含む。バイノーラル・シンセサイザ２０４は、音声空間化のための中核の構成要素と考えることができる。それはバイノーラルなオーディオ（すなわち、ヘッドフォン上での再生専用の左右の信号）を生成する。バイノーラル・シンセサイザ２０４は、周波数領域内で表現された頭部伝達関数（ＨＲＴＦ）、または時間領域内で表現された、同等な頭部インパルス応答（ＨＲＩＲ）を使用する。バイノーラル・シンセサイザ２０４の例示的な実現は、有限インパルス応答フィルタを使用して、入力信号ｘ（ｉ）から左右の信号ｙＬ（ｉ）、ｙＲ（ｉ）を生成する。そのようなフィルタ演算は、
【数２３】
0005611463.tif 000024
【数２４】
0005611463.tif 000025
と表現することができ、ここで、ｉは時間インデックスを表し、
【数２５】
0005611463.tif 000026
および
【数２６】
0005611463.tif 000027
はそれぞれ左耳用および右耳用の頭部インパルス応答を表し、Ｍは頭部インパルス応答の次数を表す。
【００５３】
上記の数式は、入力ｘ（ｉ）がモノラル信号のときに使用される。アンビソニックな信号セットのケースでは、仮想のラウドスピーカ信号の対応するセットが作成され、次いで、ＨＲＩＲに巻き込まれ、一例において既知の技法を使用してバイノーラルな出力信号を生成する。
【００５４】
この例では、反響部２０５はバイノーラルな信号に反響を加える。反響アルゴリズムは当技術分野で知られており、既知のアルゴリズムが一例において使用される。反響度は距離ＤＳに依存する可能性がある。一例では、ＤＳについてのより大きな値がより多い反響に対応する。同様に、反響は携帯用通信装置２０の方位に依存する場合がある。例えば、装置２０が鑑賞者に背を向けた場合、より多い反響を加えることができる。なぜなら、音声は直接経路を通るよりもむしろ、ほとんど反射により鑑賞者の場所に届くからである。
【００５５】
また、図５の例は、ラウドスピーカを介して音声出力を提供することができる。オーディオ装置がヘッドフォンでない場合、音声シンセサイザ２０６は音声空間化のための中核の構成要素を構成する。Ｖｅｃｔｏｒ  Ｂａｓｅ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ（ＶＢＡＰ）、アンビソニック、波面合成方式（ＷＦＳ）、およびトランスオーラル音声再生などの、ラウドスピーカから空間指向の音声出力を提供するためのいくつかの技法がよく知られている。反響部２０７は動作において反響部２０５と同様であり、その結果、オーディオ装置３０は、適切な量の反響を提供して音声出力の空間的な品質を高める。
【００５６】
概略的に図示されたモジュールおよび部分は、ハードウェア（例えば、専用電気回路）、ソフトウェア、ファームウェア、またはこれらの２つ以上の組合せを含むことができる。この説明の利点を有する当業者は、これらのどの組合せが自分の特定の状況に必要な結果をもたらすか理解されよう。さらに、個別のモジュールおよび部分は説明の目的で分割され、それぞれの機能は、図示された部分またはモジュールのうちの別の１つに概略的に特化した機能を遂行する、ハードウェア、ソフトウェア、またはファームウェアを使用して遂行することができる。
【００５７】
図６は、人物２３０がオーディオ装置３０としてヘッドフォンを利用する実装形態を概略的に示す。ヘッドフォンは、人物の頭部の位置（例えば、場所、方位、または両方）が携帯用通信装置２０の位置に対して変化する可能性があるという、独特の課題を提示する。ほとんどの状況では、人物の頭部の位置は、携帯用通信装置２０の位置より頻繁に変化する。
【００５８】
図６の例は、携帯用通信装置２０の確定した位置などの基準点に関連した、ヘッドフォン３０または人物の頭部の位置および方位を確定するための、鑑賞者トラッカすなわち位置および方位のセンサ８８を含む。一例では、位置および方位のセンサ８８は、人物の頭部の現在の場所および方位の指示を提供する、６自由度の頭部トラッカを含む。１つのそのような位置および方位のセンサ８８は、水平方向（すなわち、右〜左）、正面方向（前〜後）、および垂直方向（すなわち、上〜下）の頭部の位置情報、ならびに方位角（座角、頂角、回転角）を確定することを可能にする、位置情報を提供する。
【００５９】
位置および方位のセンサ８８からの情報は位置確定モジュール２４に提供され、そこで上述したように使用される。
【００６０】
ヘッドフォンからの音声出力は、携帯用通信装置２０の現在の位置から向けられたように見えるように調整される。ヘッドフォンの各個別のスピーカからの出力の周波数および振幅を調整して、指向性効果を実現するための既知の技法が存在する。一例は、音声出力の指向性効果を高めるために上述したバイノーラルな音声再生技法を含む。
【００６１】
図６の例の別の特徴は、別個のオーディオ装置３０’としてヘッドフォンの別のセットを使用する別の人物２３０’がいることである。別の頭部トラッカ８８’は、人物２３０’用のヘッドフォン３０’と関連付けられる。これにより、各人物が携帯用通信装置２０の現在位置との空間一体性を提供するオーディオ経験を有するように、２人の人物の場所を別々に確定すること、およびヘッドフォンの２つのセットの音声出力を別々に制御することが可能になる。図６に概略的に示したように、人物２３０は、２４０で概略的に示された音声方向をもたらす方式で、携帯用通信装置２０の第１の場所２３６に対して位置する。人物２３０’は、携帯用通信装置２０が場所２３６にある間、異なる音声方向２４０’をもたらす異なる場所にいる。
【００６２】
携帯用通信装置２０が位置２４４に移動するにつれて、一例において音声方向は絶え間なく更新される。この説明の文脈で使用されたような「絶え間なく更新される」が、使用される装置の中のプログラミングまたはプロセッサの限界に依存することを、当業者は理解されよう。位置２４４にあるとき、音声方向２４６は、人物２３０が着けたヘッドフォン３０の音声出力を制御するために使用され、人物２３０’が着けたヘッドフォン３０’によって提供された音声出力は、２４６’で概略的に示されたように方向付けられる。この例は、それぞれが自分のオーディオ装置３０を有する複数の人物が、携帯用通信装置２０の位置と空間一体性を有する音声出力を、いかにして受信することができるかを実証する。
【００６３】
図７は、携帯用通信装置２０が、携帯用通信装置２０の現在位置から離れた面に画像２７２を映写するプロジェクタ７８を含む、別の例示的な実装形態を概略的に示す。この例では、携帯用通信装置２０が位置２３６にあるとき、結果として生じた画像場所は２７４で概略的に示される。携帯用通信装置２０が位置２４４に移動すると、結果として生じた画像場所は２７６で概略的に示される。この例では、音声方向２４０、２４６、２４０’および２４６’は、画像場所２７４および２７６、ならびに鑑賞者の頭部の位置および方位に基づいて制御される。この例における音声制御モジュール２６は、携帯用通信装置２０の確定した場所および画像場所への距離に基づいて、映写された画像場所に関して確定モジュール２４によってなされた確定を使用するように構成される。例えば、既知の距離センサは、プロジェクタ７８の映写方向において、プロジェクタから携帯用通信装置２０に向き合う壁面までの概算距離を確定するために、プロジェクタ７８と関連付けることができる。（上述のように確定された）空間的に指向された音声情報は、このケースではヘッドフォンを含むオーディオ装置３０および３０’の出力を制御するために使用され、その結果、各個別の鑑賞者用の音声出力に対する適切な音声方向が実現される。
【００６４】
図８は、携帯用通信装置２０の１つの使用例を示す。この例では、携帯用通信装置２０はノートブック・コンピュータを含む。この例におけるオーディオ装置３０は、例えば、人物の自宅内のラウドスピーカ・システムを含む。この例では、複数のスピーカ３０ａ、３０ｂ、３０ｃ、３０ｄおよび３０ｅが高品質の音声出力を提供するために使用される。音声制御モジュール２６はスピーカ制御ドライバ３２と通信する。音声制御モジュール２６は、適切な音声が生成され、音声出力が携帯用通信装置２０の位置に基づいてスピーカから方向付けられるように、スピーカ制御ドライバ３２に情報を提供する。
【００６５】
例えば、携帯用通信装置２０が、スピーカ３０ａ〜３０ｅに対して２３６で示された第１の位置にあると仮定されたい。位置確定モジュール２４は携帯用通信装置２０の場所および方位を確定し、音声制御モジュール２６はスピーカ制御ドライバ３２にその情報を通信する。結果として生じたスピーカからの音声は、２４０で概略的に示された音声方向を有する。スピーカが制御される方式は、音声方向２４０に沿って方向付けられるように見える音声出力をもたらし、その結果スピーカ３０ａ〜３０ｅからのオーディオまたは音声出力、およびビデオ出力２２のビデオは、鑑賞者によって知覚されるのとおおよそ同じ場所から来る。
【００６６】
スピーカを制御して、スピーカからの音声出力の所望の音声方向を実現するための既知の技法が存在する。そのような既知の技法は１つの例示的な実装形態において使用される。
【００６７】
ここで、矢印２４２によって概略的に示されたように、人物が２３６の位置から携帯用通信装置２０を移動させると仮定されたい。携帯用通信装置２０は最終的に別の位置２４４に到達する。図８から理解することができるように、携帯用通信装置２０の場所および方位は、矢印２４２によって概略的に示された移動の結果変化した。音声制御モジュール２６は、スピーカ３０ａ〜３０ｅからの音声出力の音声方向がそれに応じて変化するように、スピーカ制御ドライバ３２に新しい情報を提供する。２４６で概略的に示された新しい音声方向は、携帯用通信装置２０の図示された位置２４４に対応する。
【００６８】
図２の例から理解することができるように、スピーカ制御ドライバ３２に位置情報を提供することにより、別個のオーディオ装置（例えば、スピーカ３０ａ〜３０ｅ）が、音声出力をそれが携帯用通信装置２０に関する位置情報に基づくように方向付けることが可能になる。ビデオおよび音声出力の鑑賞者は、両方が少なくともおおよそ同じ場所から来るという経験をもつ。
【００６９】
音声方向の制御は、一例において携帯用通信装置２０が移動するにつれて音声方向が移動するように絶え間なく更新される。
【００７０】
図８の例は、携帯用通信装置２０と関連付けられた外部センサ８８としてのカメラを含む。カメラ８８は、ビデオ出力および音声出力を鑑賞する人物の場所を鑑賞するために使用される。一例では、音声制御モジュール２６は、カメラ８８の視界内の人物の現在位置を示す情報を受信し、その情報を使用して、携帯用通信装置２０の位置に対する鑑賞者位置の指示を、対応するスピーカ制御に提供する。個別の鑑賞者の位置に関する情報および携帯用通信装置２０の位置に関する情報は、そのような例において、スピーカ３０ａ〜３０ｂからの音声を方向付けるために使用される。図８の例では、音声方向２４０および２４６は、図面の中の略線２４０および２４６のおおよその交点に対応する、単一の場所に留まる個別の鑑賞者に基づく。
【００７１】
図９は、別個のオーディオ装置３０をもつ携帯用通信装置２０の別の使用例を示す。この例では、例えば、電話会議を行うために人物によって携帯電話が使用される。携帯電話２０のラウドスピーカで可能なものより良好なオーディオ出力を実現するために、携帯電話２０と音声出力を提供する複数のスピーカ３０ａ〜３０ｅと関連付けられたスピーカ制御ドライバ３２との間で無線リンクが確立される。この例では、人物（図示せず）および携帯用通信装置２０は、第１の場所２３６に位置している。携帯用通信装置２０の確定した位置に基づいて、第１の音声方向２４０が、スピーカ３０ａ〜３０ｅからの音声出力を方向付けるために利用される。そうすれば、音声出力は携帯用通信装置２０のおおよその場所から来るように見える。
【００７２】
図９の例では、電話会議中のある時点で、人物が携帯用通信装置２０を別の区域に運び、その結果、携帯用通信装置２０が第２の場所２４４に入る。更新された場所情報に基づいて、音声出力の方向は概略的に２４６で示される。
【００７３】
この例では、携帯用通信装置２０が３６の位置から４４の位置に運ばれるにつれて、位置情報は絶え間なく更新され、スピーカ制御ドライバ３２に提供されて、その結果、音声方向が絶え間なく更新され、携帯用通信装置２０のおおよその場所から絶え間なく発するように見える。音声制御モジュール２６は、一例において、更新された情報をスピーカ制御ドライバ３２に継続的に提供する。一例では、位置確定モジュール２４が携帯用通信装置２０の位置（すなわち、場所または方位）において何らかの変化を検出したときはいつでも、音声制御モジュール２６は更新された情報をスピーカ制御ドライバ３２に提供し、その結果、音声出力の方向に対するいかなる必要な調整も行うことができる。
【００７４】
図１０は、音声が携帯用通信装置２０の確定した位置に基づいて円形波場システムから提供される、別の構成を概略的に示す。円形波場システムは知られており、特定の場所からの音源の焦点を合わせるために円形波場合成方式またはアンビソニック技法を使用する。この例では、携帯用通信装置２０に関する確定した位置情報は、そこから音声の焦点が合わされた場所を提供する。したがって、携帯用通信装置２０が位置２３６にいると、音声方向線２４０によって概略的に示されたように、音声方向は携帯用通信装置２０の確定した位置で焦点が合わされる。装置が別の位置２４４に移動するにつれて、音声出力焦点の場所はそれに応じて変化する。
【００７５】
前述の説明は、実際は限定的よりむしろ例示的である。開示した例に対する変形形態および修正形態は、本発明の本質から必ずしも逸脱しない当業者には明白になる可能性がある。本発明に与えられた法的保護の範囲は、以下の特許請求の範囲を検討することによってのみ判定することができる。
【図１】
0005611463.tif 000028
【図２】
0005611463.tif 000029
【図３】
0005611463.tif 000030
【図４】
0005611463.tif 000031
【図５】
0005611463.tif 000032
【図６】
0005611463.tif 000033
【図７】
0005611463.tif 000034
【図８】
0005611463.tif 000035
【図９】
0005611463.tif 000036
【図１０】
0005611463.tif 000037