(57)【要約】      （修正有）【課題】２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するための方法を提供する。【解決手段】装置２０における位置付けユニット２３は、２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付ける。これらの表現は、仮想ラウドスピーカ位置によって表現される。その後、投影ユニット２４は、２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得する。【選択図】図２
2017188873.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーン表現を決定するための方法であって、
前記２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付けること（１１）であって、前記表現は仮想ラウドスピーカ位置によって表現される、位置付けること（１１）と、
前記ターゲット位置の方向に、前記２つ以上のソースサウンドシーンの前記仮想ラウドスピーカ位置を、前記ターゲット位置を中心とする円形状または球形状に投影することによって、前記ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得すること（１２）と、
前記ターゲット位置と前記投影された仮想ラウドスピーカ位置との間で測定された方向から前記ターゲットサウンドシーン表現を取得することと
を含む方法。
【請求項２】
２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置（２０）であって、
前記２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付ける（１１）ように構成された位置付けユニット（２３）であって、前記表現は仮想ラウドスピーカ位置によって表現される、位置付けユニット（２３）と、
前記２つ以上のソースサウンドシーンの前記仮想ラウドスピーカ位置を、前記ターゲット位置を中心とする円形状または球形状に投影することによって、前記ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得する（１２）ように構成された投影ユニット（２４）と
を含む装置（２０）。
【請求項３】
前記サウンドシーンがＨＯＡシーンである、請求項１に記載の方法または請求項２に記載の装置。
【請求項４】
前記ターゲット位置が現在のユーザ位置である、請求項１もしくは３に記載の方法または請求項２もしくは３に記載の装置。
【請求項５】
前記ターゲット位置と前記取得された投影された仮想ラウドスピーカ位置との間の方向を決定することと、
前記取得された方向からモード行列を計算することと
をさらに含む、請求項１、３、または４のいずれか一項に記載の方法。
【請求項６】
前記ターゲット位置と前記取得された投影された仮想ラウドスピーカ位置との間の方向を取得するための手段と、
前記取得された方向からモード行列を計算するための手段と
をさらに含む、請求項２から４のいずれか一項に記載の装置。
【請求項７】
前記モード行列が前記方向のための球面調和関数の係数からなる、請求項５に記載の方法または請求項６に記載の装置。
【請求項８】
前記ターゲットサウンドシーンが、前記モード行列に、対応する重み付けされた仮想ラウドスピーカ信号の行列を乗算することによって作成される、請求項５もしくは７に記載の方法または請求項６もしくは７に記載の装置。
【請求項９】
仮想ラウドスピーカ信号の重み付けが、前記ターゲット位置と、前記それぞれの仮想ラウドスピーカ、または前記それぞれのソースサウンドシーンの前記空間領域表現の原点との間の距離に反比例する、請求項８に記載の方法または請求項８に記載の装置。
【請求項１０】
前記ターゲット位置までの特定の距離を超えるソースサウンドシーンまたは仮想ラウドスピーカの空間領域表現が、前記投影された仮想ラウドスピーカ位置を取得する（１２）際に無視される、請求項１、３、４、７、もしくは８のいずれか一項に記載の方法または請求項２から４または６から９のいずれか一項に記載の装置。
【請求項１１】
コンピュータ可読記憶媒体であって、その中に、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定することを可能にする命令を記憶しており、前記命令は、コンピュータによって実行されると、前記コンピュータに、請求項１、３から５、７から１０のいずれか一項に記載の方法を遂行させる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本解決策は、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するための方法に関する。さらに、本解決策は、コンピュータ可読記憶媒体であって、その中に、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定することを可能にする命令を記憶しているコンピュータ可読記憶媒体に関する。さらに、本解決策は、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置に関する。
【背景技術】
【０００２】
３Ｄサウンドシーン、例えば、ＨＯＡ収録（ＨＯＡ：高次アンビソニックス）は、３Ｄ音場の臨場感のある音響体験をバーチャルサウンドアプリケーションのユーザに提供する。しかし、小さい次数のＨＯＡ表現は、１つの空間点の周りの非常に小さな領域内でのみ有効であるため、ＨＯＡ表現内における移動は困難な課題である。
【０００３】
例えば、ユーザがバーチャルリアリティシーン内で１つの音響シーンから別の音響シーン内へ移動することを考える。ここで、シーン同士は、無相関のＨＯＡ表現によって記述される。新しいシーンは、ユーザが新しいシーンに入ったところで、シーンが最終的にユーザを包囲するまで、ユーザが新しいシーンに接近するにつれて広くなるサウンドオブジェクトとしてユーザの前方に現れるべきである。ユーザが去りつつあるシーンの音響については、その逆が生じるべきである。この音響は次第にユーザの背後へ移動し、最終的に、ユーザが新しいシーンに入ると、ユーザがシーンから離れていくのと同時に狭くなっていくサウンドオブジェクトに転換される。
【０００４】
１つのシーンから他のシーン内へ移動するための１つの可能な実装形態は、１つのＨＯＡ表現から他のＨＯＡ表現へフェードしていくことであろう。しかし、これは、ユーザの前方にある新しいシーン内へ移動する上述の空間的印象を含むことにならないであろう。
【発明の概要】
【０００５】
したがって、新しいシーン内へ移動する上述の音響的印象をもたらす、１つのサウンドシーンから別のサウンドシーン内へ移動するための解決策が必要である。
【０００６】
一態様によれば、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するための方法は、
−  ２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付けることであって、表現は仮想ラウドスピーカ位置によって表現される、位置付けることと、
−  ２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を決定することと
を含む。
【０００７】
同様に、コンピュータ可読記憶媒体は、その中に、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定することを可能にする命令を記憶しており、これらの命令は、コンピュータによって実行されると、コンピュータに、
−  ２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付けることであって、表現は仮想ラウドスピーカ位置によって表現される、位置付けることと、
−  ２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得することと
を遂行させる。
【０００８】
また、一実施形態では、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置は、
−  ２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付けるように構成された位置付けユニットであって、表現は仮想ラウドスピーカ位置によって表現される、位置付けユニットと、
−  ２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得するように構成された投影ユニットと
を含む。
【０００９】
別の実施形態では、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置は、処理デバイスと、メモリデバイスであって、その中に命令を記憶しているメモリデバイスとを含み、命令は、処理デバイスによって実行されると、装置に、
−  ２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付けることであって、表現は仮想ラウドスピーカ位置によって表現される、位置付けることと、
−  ２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得することと
を行わせる。
【００１０】
バーチャルサウンドシーンまたはバーチャルリアリティアプリケーションにおいて、臨場感のある３Ｄ音響をもたらすために、音場収録からのＨＯＡ表現またはその他の種類のサウンドシーンを用いることができる。しかし、ＨＯＡ表現は１つの空間点のためにのみ有効であり、そのため、１つのバーチャルサウンドシーンまたはバーチャルリアリティシーンから別のものへの移動は困難な課題である。解決策として、本出願は、異なるシーンの音場を各々記述するいくつかのＨＯＡ表現から、所与のターゲット位置、例えば、現在のユーザ位置のための新しいＨＯＡ表現を計算する。このように、ＨＯＡ表現に対するユーザ位置の相対配置を用いて、空間ワーピングを適用することによって表現を操作する。
【００１１】
一実施形態では、ターゲット位置と、取得された投影された仮想ラウドスピーカ位置との間の方向が決定され、および取得された方向からモード行列が計算される。モード行列は方向のための球面調和関数の係数からなる。ターゲットサウンドシーンは、モード行列に、対応する重み付けされた仮想ラウドスピーカ信号の行列を乗算することによって作成される。仮想ラウドスピーカ信号の重み付けは、好ましくは、ターゲット位置と、それぞれの仮想ラウドスピーカ、またはそれぞれのソースサウンドシーンの空間領域表現の原点との間の距離に反比例する。換言すれば、ＨＯＡ表現は、ターゲット位置のための新しいＨＯＡ表現に混合される。このプロセスの間に、各ＨＯＡ表現の原点までのターゲット位置の距離に反比例する混合ゲインが適用される。
【００１２】
一実施形態では、ターゲット位置までの特定の距離を超えるソースサウンドシーンまたは仮想ラウドスピーカの空間領域表現は、投影された仮想ラウドスピーカ位置を決定する際に無視される。これは、計算の複雑さを低減し、ターゲット位置から遠く離れたシーンの音響を除去することを可能にする。
【図面の簡単な説明】
【００１３】
【図１】２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するための方法を示す簡略フローチャートである。
【図２】２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置の第１の実施形態を概略的に示す。
【図３】２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置の第２の実施形態を概略的に示す。
【図４】バーチャルリアリティシーン内の例示的なＨＯＡ表現を示す。
【図５】ターゲット位置における新しいＨＯＡ表現の計算を示す。
【発明を実施するための形態】
【００１４】
より良く理解するために、次に、以下の説明において図を参照しながら本発明の実施形態の原理をより詳細に説明する。本発明はこれらの例示的な実施形態に限定されず、特定された特徴はまた、添付の請求項において定義されているとおりの本発明の範囲から逸脱することなく、好都合に組み合わせ得るおよび／または変更し得ることが理解される。図面において、同じもしくは同様の種類の要素、またはそれぞれ対応する部分には、その項目が再紹介される必要をなくすために、同じ参照符号が提供されている。
【００１５】
図１は、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するための方法を示す簡略フローチャートを示す。２つ以上のソースサウンドシーンおよびターゲット位置に関する第１の情報を受信する（１０）。次に、２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付ける（１１）。ここで、これらの表現は仮想ラウドスピーカ位置によって表現される。その後、２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得する（１２）。
【００１６】
図２は、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された装置２０の簡略化した概略図を示す。装置２０は、２つ以上のソースサウンドシーンおよびターゲット位置に関する情報を受信するための入力２１を有する。代替的に、２つ以上のソースサウンドシーンに関する情報は記憶ユニット２２から取り出される。装置２０は、２つ以上のソースサウンドシーンの空間領域表現を仮想シーン内に位置付ける（１１）ための位置付けユニット２３をさらに有する。これらの表現は仮想ラウドスピーカ位置によって表現される。投影ユニット２４は、２つ以上のソースサウンドシーンの仮想ラウドスピーカ位置を、ターゲット位置を中心とする円形状または球形状に投影することによって、ターゲットサウンドシーンの空間領域表現の投影された仮想ラウドスピーカ位置を取得する（１２）。投影ユニット２４によって生成された出力は、出力２５を介して、さらなる処理のために、例えば、投影されたターゲット位置における仮想ソースをユーザに対して再現する再生デバイス４０のために利用可能にされる。加えて、それは記憶ユニット２２上に記憶されてもよい。出力２５はまた、入力２１とともに単一の双方向インターフェースに組み合わせられてもよい。位置付けユニット２３および投影ユニット２４は、専用ハードウェアとして、例えば、集積回路として組み込むことができる。当然のことながら、それらも同様に単一のユニットに組み合わせられるか、または好適なプロセッサ上で実行するソフトウェアとして実装されてもよい。図２では、装置２０は、無線または有線接続を用いて再生デバイス４０に結合されている。しかし、装置２０はまた、再生デバイス４０の一体部分であってもよい。
【００１７】
図３には、２つ以上のソースサウンドシーンからターゲット位置におけるターゲットサウンドシーンを決定するように構成された別の装置３０が示されている。装置３０は、処理デバイス３２およびメモリデバイス３１を含む。装置３０は、例えば、コンピュータまたはワークステーションである。メモリデバイス３１は、処理デバイス３２によって実行されると、装置３０に、上述の方法のうちの１つに係るステップを遂行させる命令をその中に記憶している。前述と同様に、２つ以上のソースサウンドシーンおよびターゲット位置に関する情報が入力３３を介して受信される。処理デバイス３２によって生成された位置情報は出力３４を介して利用可能にされる。加えて、それはメモリデバイス３１上に記憶されてもよい。出力３４はまた、入力３３とともに単一の双方向インターフェースに組み合わせられてもよい。
【００１８】
例えば、処理デバイス３２は、上述の方法のうちの１つに係るステップを遂行するように適合されたプロセッサであり得る。一実施形態では、前記適合は、プロセッサが、上述の方法のうちの１つに係るステップを遂行するように構成されること、例えば、プログラムされることを含む。
【００１９】
プロセッサは、本明細書で使用するとき、マイクロプロセッサ、デジタル信号プロセッサ、またはこれらの組み合わせなどの１つ以上の処理ユニットを含んでもよい。
【００２０】
記憶ユニット２２およびメモリデバイス３１は、揮発性および／または不揮発性メモリ領域、ならびにハードディスクドライブ、ＤＶＤドライブ、および固体記憶デバイスなどの記憶デバイスを含んでもよい。メモリの一部は、本発明の原理に係る本明細書に記載されているとおりのプログラムステップを遂行するための処理デバイス３２によって実行可能な命令プログラムを有形に組み込む、処理デバイス３２によって可読の非一時的プログラム記憶デバイスである。
【００２１】
以下において、さらなる実装形態の詳細および適用を説明する。例として、ユーザが１つの仮想音響シーンから他の仮想音響シーンへ移動することができるシナリオを考える。音響は、ヘッドセットまたは３Ｄもしくは２Ｄラウドスピーカレイアウトを介して聴取者に対して再生され、ユーザ位置に依存した各シーンのＨＯＡ表現から構成される。これらのＨＯＡ表現は限定された次数のものであり、シーンの特定の領域のために有効である２Ｄもしくは３Ｄ音場を表現する。ＨＯＡ表現は、完全に異なるシーンを記述すると仮定される。
【００２２】
上述のシナリオは、例えば、コンピュータゲーム、「Second Life」のようなバーチャルリアリティ世界、またはあらゆる種類の展示のためのサウンドインスタレーションのようなバーチャルリアリティアプリケーションのために用いることができる。後者の例では、展示の訪問者は、音声を、示されているシーンと聴取者の位置とに適合させることができるように、位置追跡器を含むヘッドセットを着用することができるであろう。一例は動物園であり得る。この場合、音響は各動物の自然環境に適合され、訪問者の音響体験を豊かにする。
【００２３】
技術的実装のために、ＨＯＡ表現は均等な空間領域表現で表現される。この表現は仮想ラウドスピーカ信号からなる。この場合、信号の数はＨＯＡ表現のＨＯＡ係数の数に等しい。仮想ラウドスピーカ信号は、ＨＯＡ表現を、対応するＨＯＡ次数および次元のための最適なラウドスピーカレイアウトにレンダリングすることによって取得される。仮想ラウドスピーカの数はＨＯＡ係数の数に等しくなければならず、ラウドスピーカは、２Ｄ表現の場合には円形状に、３Ｄ表現の場合には球形状に均等に分布させられる。球形状または円形状の半径はレンダリングのために無視することができる。本提案の解決策の以下の説明のために、簡単化のため、２Ｄ表現が用いられる。しかし、解決策はまた、円形状の仮想ラウドスピーカ位置を、球形状の対応する位置と交換することによって、３Ｄ表現にも適用される。
【００２４】
第１のステップにおいて、ＨＯＡ表現は仮想シーン内において位置付けられなければならない。この目的のために、各ＨＯＡ表現はその空間領域表現の仮想ラウドスピーカによって表現される。この場合、円形状または球形状の中心はＨＯＡ表現の位置を定義し、半径はＨＯＡ表現の局所的な広がりを定義する。図４に、６つの表現のための２Ｄの例が与えられている。
【００２５】
ターゲットＨＯＡ表現の仮想ラウドスピーカ位置は、現在のユーザ位置を中心とする円形状または球形状への全てのＨＯＡ表現の仮想ラウドスピーカ位置の投影によって計算される。ここで、現在のユーザ位置は新しいＨＯＡ表現の原点である。図５に、ターゲット位置を中心とする円形状への３つの仮想ラウドスピーカのための例示的な投影が示されている。
【００２６】
ユーザ位置と、投影された仮想ラウドスピーカ位置との間で測定された方向（図５参照）から、これらの方向のための球面調和関数の係数からなる、いわゆるモード行列が計算される。モード行列への、対応する重み付けされた仮想ラウドスピーカ信号の行列の乗算によって、ユーザ位置のための新しいＨＯＡ表現が作成される。ラウドスピーカ信号の重み付けは、好ましくは、ユーザ位置と、仮想ラウドスピーカまたは対応するＨＯＡ表現の原点との間の距離に反比例するように選択される。次に、特定の方向へのユーザの頭部の回転を、反対方向への新しく作成されたＨＯＡ表現の回転によって考慮に入れることができる。ターゲット位置を中心とする球形状または円形状へのいくつかのＨＯＡ表現の仮想ラウドスピーカの投影はまた、ＨＯＡ表現の空間ワーピングとして理解することもできる。
【００２７】
不安定な連続的ＨＯＡ表現の問題を克服するために、有利には、現在の仮想ラウドスピーカ信号を用いて以前および現在のモード行列および重みから計算されたＨＯＡ表現の間のクロスフェードが適用される。
【００２８】
さらに、ターゲット位置までの特定の距離を超えるＨＯＡ表現または仮想ラウドスピーカを、ターゲットＨＯＡ表現の計算において無視することが可能である。これは、計算の複雑さを低減し、ターゲット位置から遠く離れたシーンの音響を除去することを可能にする。
【００２９】
ワーピング効果がＨＯＡ表現の精度を損なうことがあり得るため、任意選択的に、本提案の解決策は１つのシーンから別のシーンへの移行のためにのみ用いられる。そのため、新しいターゲット位置のワーピングまたは計算が無効にされる、ＨＯＡ表現の中心の周りの円形状または球形状によって与えられるＨＯＡのみの領域が定義される。この領域内では、音響は、安定した音響印象を確実にするために、仮想ラウドスピーカ位置の変更を全く伴うことなく、最も近いＨＯＡ表現から再現されるのみである。しかし、この場合、ユーザがＨＯＡのみの領域を出る際に、ＨＯＡ表現の再生は不安定になる。この地点において、仮想スピーカ位置は、ワーピングされた位置へ突然飛ぶことになるであろう。これは不安定な感じに聞こえる可能性があるであろう。したがって、この問題を克服するために、好ましくは、ＨＯＡのみの領域の境界においてワーピングを安定した様態で開始するために、ターゲット位置、ＨＯＡ表現の半径およびロケーションの補正が適用される。
【符号の説明】
【００３０】
２０、３０  装置
２１、３３  入力
２２  記憶ユニット
２３  位置付けユニット
２４  投影ユニット
２５、３４  出力
３１  メモリデバイス
３２  処理デバイス
４０  再生デバイス
【図１】
2017188873.tif 000003
【図２】
2017188873.tif 000004
【図３】
2017188873.tif 000005
【図４】
2017188873.tif 000006
【図５】
2017188873.tif 000007
【外国語明細書】
2017188873000001.pdf