(57)【特許請求の範囲】
【請求項１】
１つ又は複数の音源に関連したオーディオデータを含むオーディオデータストリームに基づいて、少なくとも１つのオーディオ出力信号を生成するための装置（１５０）であって、前記装置（１５０）は、
前記オーディオデータを含む前記オーディオデータストリームを受信するための受信機（１６０）であって、前記オーディオデータは、前記１つ又は複数の音源のそれぞれについて、１つ又は複数の音圧値を含み、前記オーディオデータは、更に、前記１つ又は複数の音源のそれぞれについて、前記音源のうちの１つの位置を示している１つ又は複数の位置値を含み、前記１つ又は複数の位置値のそれぞれは、少なくとも２つの座標値を含み、前記オーディオデータは、前記音源のそれぞれについて、１つ又は複数の音の拡散値を更に含む、前記受信機と、
前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音圧値のうちの少なくとも１つに基づき、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の位置値のうちの少なくとも１つに基づき、かつ、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音の拡散値のうちの少なくとも１つに基づいて、前記少なくとも１つのオーディオ出力信号を生成するための合成モジュール（１７０）とを含むことを特徴とする、前記装置（１５０）。
【請求項２】
前記オーディオデータは、時間―周波数領域において定められることを特徴とする、請求項１に記載の装置（１５０）。
【請求項３】
前記受信機（１６０；６１０）は、前記オーディオデータの前記１つ又は複数の音圧値のうちの少なくとも１つを修正することによって、前記オーディオデータの前記１つ又は複数の位置値のうちの少なくとも１つを修正することによって、または、前記オーディオデータの前記１つ又は複数の音の拡散値のうちの少なくとも１つを修正することによって、前記受信されたオーディオデータストリームの前記オーディオデータを修正するための修正モジュール（６３０）を更に含み、
前記合成モジュール（１７０；６２０）は、修正された前記少なくとも１つの音圧値に基づいて、修正された前記少なくとも１つの位置値に基づいて、または、修正された前記少なくとも１つの音の拡散値に基づいて、前記少なくとも１つのオーディオ出力信号を生成するように構成されることを特徴とする、請求項１又は請求項２に記載の装置（１５０）。
【請求項４】
前記音源のそれぞれの前記位置値のそれぞれは、少なくとも２つの座標値を含み、前記修正モジュール（６３０）は、前記座標値が、音源が環境の予め定められた領域の範囲内の位置にあることを示すとき、前記座標値に少なくとも１つの乱数を加えることによって前記座標値を修正するように構成されることを特徴とする、請求項３に記載の装置（１５０）。
【請求項５】
前記音源のそれぞれの前記位置値のそれぞれは、少なくとも２つの座標値を含み、前記修正モジュール（６３０）は、前記座標値が、音源が環境の予め定められた領域の範囲内の位置にあることを示すとき、前記座標値に確定関数を適用することによって前記座標値を修正するように構成されることを特徴とする、請求項３に記載の装置（１５０）。
【請求項６】
前記音源のそれぞれの前記位置値のそれぞれは、少なくとも２つの座標値を含み、前記修正モジュール（６３０）は、前記座標値が、音源が環境の予め定められた領域の範囲内の位置にあることを示すとき、前記オーディオデータの前記１つ又は複数の音圧値のうちの選択された音圧値を修正するように構成され、前記選択された音圧値は、前記座標値と同じ音源に関連することを特徴とする、請求項３に記載の装置（１５０）。
【請求項７】
前記修正モジュール（６３０）は、前記座標値が、前記音源が環境の予め定められた領域の範囲内の位置にあることを示すとき、前記１つ又は複数の音の拡散値のうちの１つに基づいて、前記オーディオデータの前記１つ又は複数の音圧値のうちの前記選択された音圧値を修正するように構成されることを特徴とする、請求項６に記載の装置（１５０）。
【請求項８】
前記合成モジュールは、
前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音圧値のうちの少なくとも１つに基づいて、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の位置値のうちの少なくとも１つに基づいて、および、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音の拡散値のうちの少なくとも１つに基づいて、直接音を含む直接音圧信号、拡散音を含む拡散音圧信号および到来方向情報を生成するための第１のステージ合成ユニット（５０１）と、
前記直接音圧信号、前記拡散音圧信号および前記到来方向情報に基づいて、前記少なくとも１つのオーディオ出力信号を生成するための第２のステージ合成ユニット（５０２）とを含むことを特徴とする、請求項１〜請求項７のいずれかに記載の装置（１５０）。
【請求項９】
１つ又は複数の音源に関連した音源データを含むオーディオデータストリームを生成するための装置（２００）であって、オーディオデータストリームを生成するための前記装置は、
少なくとも１つのマイクロホンによって記録された少なくとも１つのオーディオ入力信号に基づき、かつ、少なくとも２つの空間マイクロホンによって供給されたオーディオ補助情報に基づいて、前記音源データを決定するための決定器（２１０；６７０）であって、前記オーディオ補助情報が、空間音響を記述している空間補助情報である、前記決定器（２１０；６７０）と、
前記オーディオデータストリームが前記音源データを含むように、前記オーディオデータストリームを生成するためのデータストリーム生成器（２２０；６８０）とを含み、
前記少なくとも２つの空間マイクロホンのそれぞれは、音の到来方向を取り出すことができる空間音響の捕捉のための装置であること、および、
前記音源データは、前記音源のそれぞれについて１つ又は複数の音圧値を含み、前記音源データは、前記音源のそれぞれについて音源位置を示している１つ又は複数の位置値を更に含むことを特徴とする、前記装置。
【請求項１０】
前記音源データは、時間―周波数領域において定められることを特徴とする、請求項９に記載の装置（２００）。
【請求項１１】
前記音源データは、前記音源のそれぞれについて１つ又は複数の音の拡散値を更に含み、
前記決定器（２１０；６７０）は、前記少なくとも２つの空間マイクロホンのうちの少なくとも１つの空間マイクロホンと関連した音の拡散情報に基づいて前記音源データの前記１つ又は複数の音の拡散音値を決定するように構成され、前記音の拡散情報は、前記少なくとも２つの空間マイクロホンのうちの少なくとも１つでの音の拡散を示していることを特徴とする、請求項９又は請求項１０に記載の装置（２００）。
【請求項１２】
前記装置（２００）は、前記音源のうちの少なくとも１つに関する前記オーディオデータの前記音圧値のうちの少なくとも１つ、前記オーディオデータの前記位置値のうちの少なくとも１つ、または、前記オーディオデータの前記音の拡散値のうちの少なくとも１つを修正することによって、前記データストリーム生成器によって生成された前記オーディオデータストリームを修正するための修正モジュール（６９０）を含むことを特徴とする、請求項１１に記載の装置（２００）。
【請求項１３】
前記音源のそれぞれの前記位置値のそれぞれは、少なくとも２つの座標値を含み、前記修正モジュール（６９０）は、前記座標値が、音源が環境の予め定められた領域の範囲内の位置にあることを示すとき、前記座標値に少なくとも１つの乱数を加えることによって、または、前記座標値に確定関数を適用することによって、前記座標値を修正するように構成されることを特徴とする、請求項１２に記載の装置（２００）。
【請求項１４】
前記音源のそれぞれの前記位置値のそれぞれは、少なくとも２つの座標値を含み、前記音源のうちの１つの前記座標値は、前記音源が環境の予め定められた領域の範囲内の位置にあることを示し、前記修正モジュール（６９０）は、前記オーディオデータの前記音源の選択された音圧値を修正するように構成されることを特徴とする、請求項１２に記載の装置（２００）。
【請求項１５】
前記修正モジュール（６９０）は、前記座標値が、音源が環境の予め定められた領域の範囲内の位置にあることを示すとき、前記座標値に確定関数を適用することによって、前記座標値を修正するように構成されることを特徴とする、請求項１２に記載の装置（２００）。
【請求項１６】
仮想マイクロホンデータストリームを生成するための装置（９５０）であって、
仮想マイクロホンのオーディオ出力信号を生成するための装置（９６０）と、
前記仮想マイクロホンデータストリームとして、オーディオデータストリームを生成するための請求項９〜請求項１２のいずれかに記載の装置（９７０）であって、前記オーディオデータストリームは、オーディオデータを含み、前記オーディオデータは、前記１つ又は複数の音源のそれぞれについて、音源位置を示している１つ又は複数の位置値を含み、前記１つ又は複数の位置値のそれぞれは、少なくとも２つの座標値を含む、前記装置（９７０）とを含み、
仮想マイクロホンのオーディオ出力信号を生成するための前記装置（９６０）は、
前記環境の音源の位置を示している音源位置を推定するための音事象位置推定器（１１０）であって、前記音事象位置推定器（１１０）は、前記環境の第１の実在のマイクロホン位置にある第１の実在の空間マイクロホンによって発された第１の音の到来方向に基づき、かつ、前記環境の第２の実在のマイクロホン位置にある第２の実在の空間マイクロホンによって発された第２の音の到来方向に基づいて、前記音源位置を推定するように構成される、前記音事象位置推定器（１１０）と、
前記第１の実在の空間マイクロホンにより記録された、記録されたオーディオ入力信号に基づいて、前記第１の実在のマイクロホン位置に基づいて、および、前記仮想マイクロホンの仮想位置に基づいて、前記オーディオ出力信号を生成するための情報計算モジュール（１２０）とを含み、
前記第１の実在の空間マイクロホンと前記第２の実在の空間マイクロホンは、音の到来方向を取り出すことができる空間音響の捕捉のための装置であること、
仮想マイクロホンのオーディオ出力信号を生成するための前記装置（９６０）は、オーディオデータストリームを生成するための前記装置（９７０）に前記オーディオ出力信号を供給するように配置されること、および、
オーディオデータストリームを生成するための前記装置（９７０）の前記決定器は、仮想マイクロホンのオーディオ出力信号を生成するための前記装置（９６０）によって供給された前記オーディオ出力信号に基づいて、前記音源データを決定し、前記オーディオ出力信号は、オーディオデータストリームを生成するための請求項９〜請求項１２のいずれかに記載の前記装置（９７０）の前記少なくとも１つのオーディオ入力信号の１つであることを特徴とする、前記装置（９５０）。
【請求項１７】
請求項１６に記載の仮想マイクロホンデータストリームを生成するための装置（９５０）によって供給された前記オーディオデータストリームとしての仮想マイクロホンデータストリームに基づいて、前記オーディオ出力信号を生成するように構成される、請求項１〜請求項８のいずれかに記載の装置（９８０）。
【請求項１８】
請求項１〜請求項８のいずれか又は請求項１７に記載の装置と、
請求項９〜請求項１５のいずれかに記載の装置とを含む、システム。
【請求項１９】
１つ又は複数の音源に関連したオーディオデータを含むオーディオデータストリームに基づいて、少なくとも１つのオーディオ出力信号を生成するための方法であって、前記方法は、
前記オーディオデータを含む前記オーディオデータストリームを受信するステップであって、前記オーディオデータは、前記１つ又は複数の音源のそれぞれについて、１つ又は複数の音圧値を含み、前記オーディオデータは、前記１つ又は複数の音源のそれぞれについて、前記音源のうちの１つの位置を示している１つ又は複数の位置値を更に含み、前記１つ又は複数の位置値のそれぞれは、少なくとも２つの座標値を含み、前記オーディオデータは、前記音源のそれぞれについて、１つ又は複数の音の拡散値を更に含む、前記ステップと、
前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音圧値のうちの少なくとも１つに基づき、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の位置値のうちの少なくとも１つに基づき、かつ、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音の拡散値のうちの少なくとも１つに基づいて、前記少なくとも１つのオーディオ出力信号を生成するステップとを含む、前記方法。
【請求項２０】
前記方法は、前記オーディオデータの前記１つ又は複数の音圧値のうちの少なくとも１つを修正することによって、前記オーディオデータの前記１つ又は複数の位置値のうちの少なくとも１つを修正することによって、または、前記オーディオデータの前記１つ又は複数の音の拡散値のうちの少なくとも１つを修正することによって、前記受信したオーディオデータストリームの前記オーディオデータを修正する前記ステップを更に含み、
前記少なくとも１つのオーディオ出力信号を決定する前記ステップは、前記オーディオデータストリームの前記オーディオデータの前記１つ又は複数の音の拡散値のうちの少なくとも１つに基づいて、前記少なくとも１つのオーディオ出力信号を生成するステップを含み、
前記少なくとも１つのオーディオ出力信号を決定する前記ステップは、修正された前記少なくとも１つの音圧値に基づいて、修正された前記少なくとも１つの位置値に基づいて、または、修正された前記少なくとも１つの音の拡散値に基づいて、前記少なくとも１つのオーディオ出力信号を生成するステップを含むことを特徴とする、請求項１９に記載の方法。
【請求項２１】
１つ又は複数の音源と関連した音源データを含むオーディオデータストリームを生成するための方法であって、オーディオデータストリームを生成するための前記方法は、
少なくとも１つの空間マイクロホンによって記録される少なくとも１つのオーディオ入力信号に基づき、かつ、少なくとも２つの空間マイクロホンによって供給されるオーディオ補助情報に基づいて、前記音源データを決定するステップであって、前記オーディオ補助情報は、空間音響を記述する空間補助情報である、前記ステップと、
前記オーディオデータストリームが前記音源データを含むように、前記オーディオデータストリームを生成するステップとを含み、
前記少なくとも２つの空間マイクロホンのそれぞれは、音の到来方向を取り出すことができる空間音響の捕捉のための装置であること、および、
前記音源データは、前記音源のそれぞれについて、１つ又は複数の音圧値を含み、前記音源データは、前記音源のそれぞれについて、音源位置を示している１つ又は複数の位置値を更に含むことを特徴とする、前記方法。
【請求項２２】
１つ又は複数の音源に関連したオーディオデータを含むオーディオデータストリームを生成するための方法であって、
前記音源のそれぞれについて、少なくとも１つの音圧値を含むオーディオデータを受信するステップであって、前記オーディオデータは、前記音源のそれぞれについて、音源位置を示している１つ又は複数の位置値を更に含み、前記オーディオデータは、前記音源のそれぞれについて、１つ又は複数の音の拡散値を更に含む、前記ステップと、
前記オーディオデータストリームが、前記音源のそれぞれについて、前記少なくとも１つの音圧値を含むように、前記オーディオデータストリームが、前記音源のそれぞれについて、音源位置を示している前記１つ又は複数の位置値を更に含むように、かつ、前記オーディオデータストリームが、前記音源のそれぞれについて、１つ又は複数の音の拡散値を更に含むように、前記オーディオデータストリームを生成するステップとを含む、前記方法。
【請求項２３】
コンピュータまたは処理装置で実行されるときに、請求項１９〜請求項２２のいずれかに記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ処理に、特に、幾何ベースの空間オーディオ符号化のための装置および方法に関する。
【背景技術】
【０００２】
オーディオ処理や、特に、空間オーディオ符号化は、ますます重要になってきている。従来の空間音響録音は、再生側で、音像が録音位置にあるかのように聴取者が音像を知覚するように、音場を取り込むことを目的とする。チャンネル表現、オブジェクト表現、またはパラメトリック表現に基づきうる空間音響の録音および再生技術への種々のアプローチが現状技術から知られている。
【０００３】
チャンネルベースの表現は、周知のセットアップ、例えば５．１サラウンドサウンドセットアップで配置されたＮ個のスピーカによって再生されることを意味したＮ個の別々のオーディオ信号によって、音響シーンを示す。空間音響録音についての方法は、通常、例えばＡＢ立体音響においては、間隔を置いた全指向性マイクロホン、または、例えば強度立体音響においては、一致した指向性のマイクロホンを採用する。あるいは、より精巧なマイクロホン（例えばＢ―フォーマット・マイクロホン）は、例えば、アンビソニックス（Ａｍｂｉｓｏｎｉｃｓ）において使用されうる。参照：
［１］マイケル Ａ．ガーゾン．オーディオ多重放送およびビデオのアンビソニックス．Ｊ．Ａｕｄｉｏ．Ｅｎｇ．Ｓｏｃ，３３（１１）：８５９−８７１，１９８５．
【０００４】
周知のセットアップのための所望のスピーカ信号は、記録されたマイクロホン信号から直接に引き出されて、それから別々に送られるか又は格納される。より効率的な表現は、例えば５．１のためのＭＰＥＧサラウンドにおける、場合によっては増加させた効率のために異なるチャンネルの情報を共同で符号化するオーディオ符号化を離散信号に適用することによって得られる、参照：
［２１］Ｊ．ヘーレ、Ｋ．クジュルリング、Ｊ．ブリーバールト、Ｃ．ファーラー、Ｓ．ディッシュ、Ｈ．パルンハーゲン、Ｊ．コッペンス、Ｊ．ヒルペルト、Ｊ．レーデン、Ｗ．オーメン、Ｋ．リンツマイヤー、Ｋ．Ｓ．チョン、「ＭＰＥＧサラウンド  ―効率的かつ互換性を持つマルチチャンネルオーディオ符号化のためのＩＳＯ／ＭＰＥＧ基準」、第１２２回ＡＥＳコンベンション、ウィーン、オーストリア、２００７年、プレプリント７０４８
【０００５】
これらの技術の大きな欠点は、一旦スピーカ信号が割り出された場合、音響シーンが修正されることができないことである。
【０００６】
例えば、オブジェクトベースの表現は、空間オーディオオブジェクト符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ（ＳＡＯＣ））において使用される。参照、
［２５］イェルーン・ブリーバールト、ジョナス・エングデガルト、コーネリア・ファルヒ、オリバー・ヘルムート、ヨハネス・ヒルペルト、アンドレアス・ホエルツァー、イェルーン・コッペンス、ワーナー・オーメン、バーバラ・レッシュ、エリク・シュイヤース、レオニード・テレンティーブ、空間オーディオオブジェクト符号化（ｓａｏｃ）−パラメトリック・オブジェクトベースのオーディオ符号化に関する最新のＭＰＥＧ標準、ＡＥＳコンベンション１２４回、２００８年５月
【０００７】
オブジェクトベースの表現は、Ｎ個の別々のオーディオオブジェクトを有する音響シーンを示す。この表現は、再生側で高い柔軟性を与える。というのも、音響シーンは、例えば各オブジェクトの位置およびラウドネスを変えることによって操作されることができるからである。この表現は、例えばマルチトラック記録からすぐに利用可能である一方で、２、３のマイクロホンによって記録される複雑な音響シーンから得られることは非常に困難である（例えば［２１］参照）。実際に、トーカー（または他の音を発するオブジェクト）は、まずローカライズされて、次に混合から抽出される必要があるが、それは、アーチファクトを生じさせうる。
【０００８】
パラメトリック表現は、空間音響を記述している空間補助情報と共に、１つ又は複数のオーディオダウンミックス信号を決定するために、しばしば空間マイクロホンを使用する。１つの例としては、
［２２］ビーレ・プルッキ、方向オーディオ符号化を用いた空間再生、Ｊ．Ａｕｄｉｏ  Ｅｎｇ．Ｓｏｃ、５５（６）：５０３―５１６、２００７年６月
で述べられているように、方向オーディオ符号化（Ｄｉｒｅｃｔｉｏｎａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ（ＤｉｒＡＣ））がある。
【０００９】
「空間マイクロホン（ｓｐａｔｉａｌ  ｍｉｃｒｏｐｈｏｎｅ）」という用語は、音の到来の方向を取り出すことができる空間音響の捕捉のための装置をいう（例えば指向性マイクロホン、マイクロホンアレイなどの組み合わせ）。
【００１０】
「非空間マイクロホン（ｎｏｎ−ｓｐａｔｉａｌ  ｍｉｃｒｏｐｈｏｎｅ）」という用語は、例えば１つの全方向または指向性マイクロホンなどの、音響の到来方向を取り出すように構成されていない装置をいう。
【００１１】
他の例は、
［２３］Ｃ．ファーラー、空間オーディオコーダのためのマイクロホン・フロントエンド、第１２５回ＡＥＳ国際コンベンションのプロシーディング、サンフランシスコ、２００８年１０月
で提示される。
【００１２】
ＤｉｒＡＣにおいて、空間キュー（ｃｕｅ）情報は、音響の到来方向（ＤＯＡ）および時間―周波数領域において計算される音場の拡散を含む。音響再生のために、オーディオ再生信号は、パラメトリック記述に基づいて抽出されることができる。これらの技術は、再生側に大きな柔軟性を提供する。というのも、任意のスピーカセットアップを使用することができ、それがダウンミックスモノラルオーディオ信号および補助情報を含むように、その表現が特に柔軟でコンパクトであるからであり、そして、それが音響シーンに関して簡単な修正、例えば音響ズーミング、方向のフィルタリング、シーンの組合せ（ｍｅｒｇｉｎｇ）などを可能にするからである。
【００１３】
しかしながら、これらの技術は、記録される空間像が使用される空間マイクロホンと常に関連しているという点で、まだ制限される。従って、音響視点を変更することはできず、そして、音響シーンの範囲内のリスニング位置を変更することはできない。
【００１４】
仮想マイクロホンアプローチは、
［２０］ジョヴァンニ・デルガルト、オリバー・ティーレガルト、トビアス・ウェラーおよびＥ．Ａ．Ｐ．ハベッツ、分散型配置によって集められた幾何的情報を使用した仮想マイクロホン信号の生成、ハンズフリー・スピーチ・コミュニケーションとマイクロホン配置（ＨＳＣＭＡ’１１）の第３回ジョイントワークショップ、エジンバラ、英国、２０１１年５月
で提供される。それは、その環境において任意で仮想的に位置づけられた任意の空間マイクロホンの出力信号（すなわち任意の位置および方向）を算出することを可能にする。仮想マイクロホン（ｖｉｒｔｕａｌ  ｍｉｃｒｏｐｈｏｎｅ）（ＶＭ）アプローチを特徴づけている柔軟性によって、音響シーンが後処理ステップで任意で仮想的に捕捉されることを可能にするが、音響シーンを効率的に、送信する、および／または、格納する、および／または、修正するために、使用されることができる音場表現は、利用可能ではない。さらに、時間―周波数ビンごとに１つのソースだけがアクティブであると仮定され、したがって、２つ以上のソースが、同じ時間―周波数ビンにおいてアクティブである場合、それは音響シーンを正しく示すことができない。さらに、仮想マイクロホン（ＶＭ）が受信機側で適用される場合、すべてのマイクロホン信号は、そのチャネルを通じて送られる必要があり、それは、その表現を非効率にするが、一方、ＶＭが送信機側で適用される場合、音響シーンを、更に操作することができず、そのモデルは、柔軟性を失って、特定のスピーカセットアップに制限されることになる。さらに、パラメトリック情報に基づく音響シーンの操作を考慮しない。
【００１５】
［２４］エマニュエル・ガロおよびニコラス・ツィンゴス、フィールドレコーディングからの構造聴覚シーンの抽出とリレンダリング、ＡＥＳ第３０回国際コンフェレンス、２００７
では、音源位置推定は、分散マイクロホンによって測定された到来の２つ１組になって起こる時間差に基づく。さらにまた、受信機は、その録音に依存し、合成（例えばスピーカ信号の生成）のためのすべてのマイクロホン信号を必要とする。
【００１６】
［２８］スヴェイン・ベルグ、空間オーディオ信号を変換するための装置および方法、米特許出願、出願番号１０／５４７，１５１
の中で提示された方法は、ＤｉｒＡＣと同様に、パラメータとしての到来方向を使用し、したがって、その表現を音響シーンの特定の視点に制限する。さらに、それは音響シーン表現を送信する／格納するための可能性を提案しない。というのも、分析および合成は、両方とも通信システムの同じ側で適用されることを必要とするからである。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】国際公開第２００４／０７７８８４号
【非特許文献】
【００１８】
【非特許文献１】マイケル Ａ．ガーゾン．オーディオ多重放送およびビデオのアンビソニックス．Ｊ．Ａｕｄｉｏ．Ｅｎｇ．Ｓｏｃ，３３（１１）：８５９−８７１，１９８５．
【非特許文献２】Ｖ．プルッキ、「空間再生およびステレオアップミキシングにおける方向オーディオ符号化」、第２８回ＡＥＳ国際コンフェレンスの予稿集、ｐｐ．２５１―２５８、Ｐｉｔｅａ、スウェーデン、２００６年６月３０日〜７月２日
【非特許文献３】Ｖ．プルッキ、「方向オーディオ符号化を用いた空間再生」、Ｊ．Ａｕｄｉｏ．Ｅｎｇ．Ｓｏｃ、ｖｏｌ５５、ｎｏ．６、ｐｐ．５０３―５１６、２００７年６月
【非特許文献４】Ｃ．ファーラー、「空間オーディオ符号器に関するマイクロホンフロントエンド」、第１２５回ＡＥＳ国際コンベンションの予稿集、サンフランシスコ、２００８年１０月
【非特許文献５】Ｍ．カリンガー、Ｈ．オクセンフェルト、Ｇ．デルガルド、Ｆ．キュッヒ、Ｄ．マーネ、Ｒ．シュルツ―アムリング、およびＯ．ティエルガルト、「方向オーディオ符号化のための空間フィルタリング手法」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２６、ミュンヘン、ドイツ、２００９年５月
【非特許文献６】Ｒ．シュルツ―アムリング、Ｆ．キュッヒ、Ｏ．ティエルガルト、およびＭ．カリンガー、「パラメトリック音場表現に基づく音響ズーミング」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８、ロンドン、英国、２０１０年５月
【非特許文献７】Ｊ．ヘーレ、Ｃ．ファルヒ、Ｄ．マーネ、Ｇ．デルガルト、Ｍ．カリンガー、およびＯ．ティエルガルト、「空間オーディオオブジェクト符号化および方向オーディオ符号化技術を組み合わせたインタラクティブ遠隔会議」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８、ロンドン英国、２０１０年５月
【非特許文献８】Ｅ．Ｇ．ウィリアムス、フーリエ音響学：音響放射および近場音響ホログラフィー、アカデミック・プレス、１９９９年
【非特許文献９】Ａ．クンツおよびＲ．ラベンシュタイン、「全周性測定からの波動場の外挿の限界」、１５ｔｈ  Ｅｕｒｏｐｅａｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ（ＥＵＳＩＰＣＯ  ２００７）、２００７
【非特許文献１０】Ａ・ワルターおよびＣ．フォーラ、「ｂ―フォーマット記録を使用した間隔をおいたマイクロホンアレイの線形シミュレーション」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８、ロンドン英国、２０１０年５月
【非特許文献１１】Ｓ．リカードおよびＺ．ユルマズ、「音声の近似Ｗ−ディスジョイント直交性について」、Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、２００２．ＩＣＡＳＳＰ  ２００２年ＩＥＥＥ国際コンフェレンス、２００２年４月、１巻
【非特許文献１２】Ｒ．ロイ、Ａ．ポールラージおよびＴ．カイラス、「サブスペース回転による到来方向推定  ― ＥＳＰＲＩＴ」、Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）、ＩＥＥＥ国際コンフェレンス、スタンフォード、ＣＡ、ＵＳＡ、１９８６年４月
【非特許文献１３】Ｒ．シュミット、「複数のエミッタ位置および信号パラメータ推定」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｎｔｅｎｎａｓ  ａｎｄ  Ｐｒｏｐａｇａｔｉｏｎ、３４巻、ｎｏ．３、ページ２７６〜２８０、１９８６年
【非特許文献１４】Ｊ．マイケル・スティール、「平面のランダムサンプルの最適三角測量」、確率の紀要、１０巻、Ｎｏ．３（１９８２年８月）、ページ５４８〜５５３
【非特許文献１５】Ｆ．Ｊ．ファヒー、音の強さ、エセックス：エルゼビア・サイエンス・パブリッシャーズ社、１９８９年
【非特許文献１６】Ｒ．シュルツ―アムリング、Ｆ．キュッヒ、Ｍ．カリンガー、Ｇ．デルガルト、Ｔ．アホネンおよびＶ．プルッキ、「分析のための平面マイクロホン・アレイ処理および方向オーディオ符号化を使用した空間オーディオの再生」、オーディオ技術学会規則１２４、アムステルダム、オランダ、２００８年５月
【非特許文献１７】Ｍ．カリンガー、Ｆ．キュッヒ、Ｒ．シュルツ―アムリング、Ｇ．デルガルト、Ｔ．アホネンおよびＶ．プルッキ、「方向オーディオ符号化のためのマイクロホンアレイを用いた拡張された方向推定」、ハンズフリーオーディオ通信およびマイクロホンアレイ、２００８．ＨＳＣＭＡ  ２００８、２００８年５月、ページ４５〜４８
【非特許文献１８】Ｒ．Ｋ．ファーネス、「アンビソニック ― 概要 ― 」、ＡＥＳ第８回国際コンフェレンス、１９９０年４月、ページ１８１〜１８９
【非特許文献１９】ジョヴァンニ・デルガルト、オリバー・ティーレガルト、トビアス・ウェラーおよびＥ．Ａ．Ｐ．ハベッツ、分散型配置によって集められた幾何的情報を使用した仮想マイクロホン信号の生成、ハンズフリー・スピーチ・コミュニケーションとマイクロホン配置（ＨＳＣＭＡ’１１）の第３回ジョイントワークショップ、エジンバラ、英国、２０１１年５月
【非特許文献２０】Ｊ．ヘーレ、Ｋ．クジュルリング、Ｊ．ブリーバールト、Ｃ．ファーラー、Ｓ．ディッシュ、Ｈ．パルンハーゲン、Ｊ．コッペンス、Ｊ．ヒルペルト、Ｊ．レーデン、Ｗ．オーメン、Ｋ．リンツマイヤー、Ｋ．Ｓ．チョン、「ＭＰＥＧサラウンド  ―効率的かつ互換性を持つマルチチャンネルオーディオ符号化のためのＩＳＯ／ＭＰＥＧ基準」、第１２２回ＡＥＳコンベンション、ウィーン、オーストリア、２００７年、プレプリント７０４８
【非特許文献２１】ビーレ・プルッキ、方向オーディオ符号化を用いた空間再生、Ｊ．Ａｕｄｉｏ  Ｅｎｇ．Ｓｏｃ、５５（６）：５０３―５１６、２００７年６月
【非特許文献２２】Ｃ．ファーラー、空間オーディオコーダのためのマイクロホン・フロントエンド、第１２５回ＡＥＳ国際コンベンションのプロシーディング、サンフランシスコ、２００８年１０月
【非特許文献２３】エマニュエル・ガロおよびニコラス・ツィンゴス、フィールドレコーディングからの構造聴覚シーンの抽出とリレンダリング、ＡＥＳ第３０回国際コンフェレンス、２００７
【非特許文献２４】イェルーン・ブリーバールト、ジョナス・エングデガルト、コーネリア・ファルヒ、オリバー・ヘルムート、ヨハネス・ヒルペルト、アンドレアス・ホエルツァー、イェルーン・コッペンス、ワーナー・オーメン、バーバラ・レッシュ、エリク・シュイヤース、レオニード・テレンティーブ、空間オーディオオブジェクト符号化（ｓａｏｃ）−パラメトリック・オブジェクトベースのオーディオ符号化に関する最新のＭＰＥＧ標準、ＡＥＳコンベンション１２４回、２００８年５月
【非特許文献２５】Ｒ．ロイおよびＴ．カイラス、ＥＳＰＲＩＴ  −回転不変技術による信号パラメータの推定、音響、音声および信号処理、ＩＥＥＥ論文集、３７（７）：９８４―９９５、１９８９年７月
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明は、幾何的な情報の抽出により、空間音響の取得及び記述についての改善された概念を提供することを目的とする。本発明の目的は、請求項１に記載のオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置、請求項１０に記載のオーディオデータストリームを生成するための装置、請求項１８に記載のシステム、請求項２１に記載の少なくとも１つのオーディオ出力信号を生成するための方法、請求項２２に記載のオーディオデータストリームを生成するための方法、および、請求項２３に記載のコンピュータプログラムにより達成される。
【課題を解決するための手段】
【００２０】
１つ又は複数の音源に関連したオーディオデータを含んでいるオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置が提供される。本装置は、オーディオデータを含んでいるオーディオデータストリームを受信するための受信機を含む。オーディオデータは、音源のそれぞれについて、１つ又は複数の圧力値を含む。さらにまた、オーディオデータは、音源のそれぞれについて音源のうちの１つの位置を示している１つ又は複数の位置値を含む。さらに、本装置は、オーディオデータストリームのオーディオデータの１つ又は複数の圧力値のうちの少なくとも１つに基づいて、かつ、オーディオデータストリームのオーディオデータの１つ又は複数の位置値のうちの少なくとも１つに基づいて、少なくとも１つのオーディオ出力信号を生成するための合成モジュールを含む。一実施形態において、１つ又は複数の位置値のそれぞれは、少なくとも２つの座標値を含むことができる。
【００２１】
オーディオデータは、複数の時間―周波数ビンのうちの１つの時間―周波数ビンについて定められうる。あるいは、オーディオデータは、複数の時間インスタント（ｔｉｍｅ  ｉｎｓｔａｎｔ）のうちの１つの時間インスタントについて定められうる。いくつかの実施形態において、オーディオデータの１つ又は複数の圧力値は、複数の時間インスタントのうちの１つの時間インスタントについて定められうる、一方で、対応するパラメータ（例えば位置値）は、時間―周波数領域で定められうる。これは、そうでなければ時間―周波数領域で定められた圧力値を、時間領域に戻す変換をすることによって直ちに得ることができる。音源のそれぞれについて、少なくとも１つの圧力値は、オーディオデータに含まれる。ここで、その少なくとも１つの圧力値は、例えば音源から生じる、発された音波に関連した圧力値でありうる。その圧力値は、オーディオ信号の値、例えば、仮想マイクロホンのオーディオ出力信号を生成するための装置によって生成されたオーディオ出力信号の圧力値でありうる。ここで、仮想マイクロホンは、音源の位置に位置付けられる。
【００２２】
上記実施形態は、録音位置から真に独立した音場表現を割り出すのを可能にし、複雑な音響シーンの効率的な送信および保存、並びに、再生システムでの容易な修正および増加した柔軟性を提供する。
【００２３】
特に、この技術の重要な利点は、再生側で、聴取者が記録された音響シーンの範囲内のその位置に自由に選択することができ、いかなるスピーカセットアップも使用することができ、加えて、幾何的な情報、例えば位置ベースのフィルタリングに基づいて、音響シーンを操作することができることである。換言すれば、提案された技術について、音響視点を変更することができ、音響シーンの範囲内のリスニング位置を変更することができる。
【００２４】
上記実施形態によれば、オーディオデータストリームにおいて含まれるオーディオデータは、音源のそれぞれについて１つ又は複数の圧力値を含む。このように、圧力値は、音源のうちの１つと関連したオーディオ信号、例えば音源から生じているオーディオ信号であって、記録マイクロホンの位置と関連していないオーディオ信号を示す。同様に、オーディオデータストリームに含まれる１つ又は複数の位置値は、音源の位置を示し、マイクロホンの位置を示さない。
【００２５】
これにより、複数の利点が、実現される。例えば、ほとんどビットを使用せずに符号化することができるオーディオシーンの表現が達成される。音響シーンが特定の時間周波数ビンに１つの音源を含むだけである場合、その唯一の音源に関連した１つのオーディオ信号の圧力値だけが、音源の位置を示している位置値と共に符号化される必要がある。対照的に、従来の方法は、受信機でオーディオシーンを再構築するために、複数の記録されたマイクロホン信号から複数の圧力値を符号化する必要がありうる。さらに、上記の実施形態は、後述するように、受信機側だけでなく、送信機での音響シーンの容易な修正を可能にする。このように、（例えば、音響シーンの範囲内のリスニング位置を決定している）シーン構成は、受信機側で実行されることもできる。
【００２６】
実施形態は、例えば短時間フーリエ変換（Ｓｈｏｒｔ−Ｔｉｍｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）（ＳＴＦＴ）によって供給されるものなどの時間―周波数表現における特定のスロットでアクティブになる、点音源（ＰＬＳ＝ｐｏｉｎｔ−ｌｉｋｅ  ｓｏｕｎｄ  ｓｏｕｒｃｅ）、例えば等方的点音源（ＩＰＬＳ）などの音源によって、複雑な音響シーンをモデル化する構想を使用する。
【００２７】
一実施形態によれば、受信機は、オーディオデータを含んでいるオーディオデータストリームを受信するように構成されることができる。ここで、オーディオデータは、さらに、音源のそれぞれについて１つ又は複数の拡散値を含む。合成モジュールは、１つ又は複数の拡散値のうちの少なくとも１つに基づいて少なくとも１つのオーディオ出力信号を生成するように構成されうる。
【００２８】
他の実施形態において、受信機は、オーディオデータの１つ又は複数の圧力値のうちの少なくとも１つを修正することによって、オーディオデータの１つ又は複数の位置値のうちの少なくとも１つを修正することによって、または、オーディオデータの拡散値のうちの少なくとも１つを修正することによって、受信されたオーディオデータストリームのオーディオデータを修正するための修正モジュールをさらに含むことができる。合成モジュールは、修正された少なくとも１つの圧力値に基づいて、修正された少なくとも１つの位置値に基づいて、または、修正された少なくとも１つの拡散値に基づいて、少なくとも１つのオーディオ出力信号を生成するように構成されうる。
【００２９】
別の実施形態において、音源のそれぞれの位置値のそれぞれは、少なくとも２つの座標値を含むことができる。さらにまた、座標値が、音源が環境の所定の領域内にあることを示すとき、修正モジュールは、座標値に少なくとも１つの乱数を加えることによって座標値を修正するように構成されうる。
【００３０】
他の実施形態によれば、音源のそれぞれの位置値のそれぞれは、少なくとも２つの座標値を含むことができる。さらに、座標値が、音源が環境の所定の領域内にあることを示すとき、修正モジュールは、座標値に確定関数を適用することによって座標値を修正するように構成される。
【００３１】
別の実施形態において、音源のそれぞれの位置値のそれぞれは、少なくとも２つの座標値を含むことができる。さらに、座標値が、音源が環境の所定の領域内にあることを示すとき、修正モジュールは、座標値と同じ音源に関連して、オーディオデータの１つ又は複数の圧力値のうちの選択された圧力値を修正するように構成されうる。
【００３２】
実施形態によれば、合成モジュールは、第１のステージ合成ユニットおよび第２のステージ合成ユニットを含むことができる。第１のステージ合成ユニットは、オーディオデータストリームのオーディオデータの１つ又は複数の圧力値のうちの少なくとも１つに基づいて、オーディオデータストリームのオーディオデータの１つ又は複数の位置値のうちの少なくとも１つに基づいて、そして、オーディオデータストリームのオーディオデータの１つ又は複数の拡散値のうちの少なくとも１つに基づいて、直接音を含んでいる直接圧力信号、拡散音を含んでいる拡散圧力信号、および到来方向情報を生成するように構成されうる。第２のステージ合成ユニットは、直接圧力信号、拡散圧力信号および到来方向情報に基づいて、少なくとも１つのオーディオ出力信号を生成するように構成されうる。
【００３３】
実施形態によれば、１つ又は複数の音源に関連した音源データを含んでいるオーディオデータストリームを生成するための装置が提供される。オーディオデータストリームを生成するための装置は、少なくとも１つのマイクロホンにより記録された少なくとも１つのオーディオ入力信号に基づいて、かつ、少なくとも２つの空間マイクロホンによって供給されたオーディオ補助情報に基づいて、音源データを決定するための決定器を含む。さらにまた、本装置は、オーディオデータストリームが音源データを含むように、オーディオデータストリームを生成するためのデータストリーム生成器を含む。音源データは、音源のそれぞれについて１つ又は複数の圧力値を含む。さらに、音源データは、音源のそれぞれについて音源位置を示している１つ又は複数の位置値を更に含む。さらにまた、音源データは、複数の時間―周波数ビンのうちの１つの時間―周波数ビンについて定められる。
【００３４】
別の実施形態において、決定器は、少なくとも１つの空間マイクロホンによって拡散情報に基づいて音源データを決定するように構成されうる。データストリーム生成器は、オーディオデータストリームが音源データを含むように、オーディオデータストリームを生成するように構成されうる。さらに、音源データは、音源のそれぞれについて１つ又は複数の拡散値を含む。
【００３５】
他の実施形態において、音源のうちの少なくとも１つに関連したオーディオデータストリームを生成するための装置は、オーディオデータの圧力値のうちの少なくとも１つ、オーディオデータの位置値のうちの少なくとも１つ、またはオーディオデータの拡散値のうちの少なくとも１つを修正することによって、データストリーム生成器によって生成されたオーディオデータストリームを修正するための修正モジュールを更に含むことができる。
【００３６】
他の実施形態によれば、音源のそれぞれの位置値のそれぞれは、少なくとも２つの座標値（例えば、デカルト座標系の２つの座標、または極座標系の方位角および距離）を含むことができる。座標値が、音源が環境の所定の領域内にあることを示すとき、修正モジュールは、座標値に少なくとも１つの乱数を加えることによって、または、座標値に確定関数を適用することによって、座標値を修正するように構成されうる。
【００３７】
更なる実施形態によれば、オーディオデータストリームが供給される。オーディオデータストリームは、１つ又は複数の音源に関連したオーディオデータを含むことができる。ここで、オーディオデータは、音源のそれぞれについて１つ又は複数の圧力値を含む。オーディオデータは、音源のそれぞれについて音源位置を示している少なくとも１つの位置値を更に含むことができる。一実施形態において、少なくとも１つの位置値のそれぞれは、少なくとも２つの座標値を含むことができる。オーディオデータは、複数の時間―周波数ビンのうちの１つの時間―周波数ビンについて定められうる。
【００３８】
他の実施形態において、オーディオデータは、音源のそれぞれについて１つ又は複数の拡散値を更に含む。
【００３９】
本発明の好ましい実施形態は、以下に説明される。
【図面の簡単な説明】
【００４０】
【図１】図１は、一実施形態による１つ又は複数の音源に関連したオーディオデータを含んでいるオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置を示す。
【図２】図２は、一実施形態による１つ又は複数の音源に関連した音源データを含んでいるオーディオデータストリームを生成するための装置を示す。
【図３】図３ａ及び図３ｂは、異なる実施形態によるオーディオデータストリームを示す。
【図３ｃ】図３ｃは、異なる実施形態によるオーディオデータストリームを示す。
【図４】図４は、他の実施形態による１つ又は複数の音源に関連した音源データを含んでいるオーディオデータストリームを生成するための装置を示す。
【図５】図５は、２つの音源および２つの同一の線形マイクロホンアレイからなる音響シーンを示す。
【図６ａ】図６ａは、一実施形態によるオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置６００を示す。
【図６ｂ】図６ｂは、一実施形態による１つ又は複数の音源に関連した音源データを含んでいるオーディオデータストリームを生成するための装置６６０を示す。
【図７】図７は、一実施形態による修正モジュールを示す。
【図８】図８は、他の実施形態による修正モジュールを示す。
【図９】図９は、一実施形態による送信機／分析装置および受信機／合成ユニットを示す。
【図１０ａ】図１０ａは、一実施形態による合成モジュールを示す。
【図１０ｂ】図１０ｂは、一実施形態による第１の合成ステージユニットを示す。
【図１０ｃ】図１０ｃは、一実施形態による第２の合成ステージユニットを示す。
【図１１】図１１は、他の実施形態による合成モジュールを示す。
【図１２】図１２は、一実施形態による仮想マイクロホンのオーディオ出力信号を生成するための装置を示す。
【図１３】図１３は、一実施形態による仮想マイクロホンのオーディオ出力信号を生成するための装置および方法の入力および出力を示す。
【図１４】図１４は、音事象位置推定器および情報計算モジュールを含む一実施形態による仮想マイクロホンのオーディオ出力信号を生成するための装置の基本構造を示す。
【図１５】図１５は、実在の空間マイクロホンがそれぞれ３つのマイクロホンの線形等間隔アレイ（Ｕｎｉｆｏｒｍ  Ｌｉｎｅａｒ  Ａｒｒａｙｓ）として示される典型的なシナリオを示す。
【図１６】図１６は、三次元空間における到来方向を推定するための三次元にある２つの空間マイクロホンを示す。
【図１７】図１７は、現在の時間―周波数ビン（ｋ，ｎ）の等方的点音源が位置ｐIPLS（ｋ，ｎ）に位置するジオメトリーを示す。
【図１８】図１８は、一実施形態による情報計算モジュールを示す。
【図１９】図１９は、他の実施形態による情報計算モジュールを示す。
【図２０】図２０は、２つの実在の空間マイクロホン、ローカライズされた音事象、および仮想空間マイクロホンの位置を示す。
【図２１】図２１は、一実施形態による仮想マイクロホンと関連して到来方向を得る方法を示す。
【図２２】図２２は、一実施形態による仮想マイクロホンの視点から音の到来方向を抽出するための考えられる方法を示す。
【図２３】図２３は、一実施形態による拡散計算ユニットを含んでいる情報計算ブロックを示す。
【図２４】図２４は、一実施形態による拡散計算ユニットを示す。
【図２５】図２５は、音事象位置推定が可能でないシナリオを示す。
【図２６】図２６は、一実施形態による仮想マイクロホンデータストリームを生成するための装置を示す。
【図２７】図２７は、他の実施形態によるオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置を示す。
【図２８ａ】図２８ａは、２つのマイクロホンアレイが直接音を受けるシナリオを示す。
【図２８ｂ】図２８ｂは、２つのマイクロホンアレイが壁により反射された音を受けるシナリオを示す。
【図２８ｃ】図２８ｃは、２つのマイクロホンアレイが拡散音を受けるシナリオを示す。
【発明を実施するための形態】
【００４１】
本発明の実施形態の詳細な説明をする前に、仮想マイクロホンのオーディオ出力信号を生成するための装置が、本発明の構想に関して基礎的な情報を提供するために説明される。
【００４２】
図１２は、環境において構成可能な仮想位置ｐｏｓＶｍｉｃでマイクロホンの記録をシミュレートするためにオーディオ出力信号を生成するための装置を示す。その装置は、音事象位置推定器１１０と情報計算モジュール１２０とを含む。音事象位置推定器１１０は、第１の実在の空間マイクロホンから第１の方向情報ｄｉ１、および、第２の実在の空間マイクロホンから第２の方向情報ｄｉ２を受ける。音事象位置推定器１１０は、環境の音源の位置を示している音源位置ｓｓｐを推定するように構成される。音源は音波を発する。音事象位置推定器１１０は、環境の第１の実在のマイクロホン位置ｐｏｓ１ｍｉｃにある第１の実在の空間マイクロホンによって供給される第１の方向情報ｄｉ１に基いて、かつ、環境の第２の実在のマイクロホン位置にある第２の実在の空間マイクロホンによって供給される第２の方向情報ｄｉ２に基づいて、音源位置ｓｓｐを推定するように構成される。情報計算モジュール１２０は、第１の実在の空間マイクロホンによって記録されている第１の記録されたオーディオ入力信号ｉｓ１に基づいて、第１の実在のマイクロホン位置ｐｏｓ１ｍｉｃに基づいて、そして、仮想マイクロホンの仮想位置ｐｏｓＶｍｉｃに基づいて、オーディオ出力信号を生成するように構成される。情報計算モジュール１２０は、オーディオ出力信号を得るために、第１の記録されたオーディオ入力信号ｉｓ１の振幅値、マグニチュード値または位相値を調整することによって、第１の実在の空間マイクロホンでの音源によって発された音波の到来と仮想マイクロホンでの音波の到来との間の第１の遅延または振幅減衰を補償することによって第１の記録されたオーディオ入力信号ｉｓ１を修正することによって第１の修正されたオーディオ信号を生成するように構成されている伝搬補償器を含む。
【００４３】
図１３は、一実施形態による装置および方法の入力および出力を示す。２つ又は複数の実在の空間マイクロホン１１１、１１２、…、１１Ｎからの情報は、本装置に送られる又は本方法により処理される。この情報は、実在の空間マイクロホンによって拾われるオーディオ信号、並びに、実在の空間マイクロホンからの方向情報、例えば到来方向（ｄｉｒｅｃｔｉｏｎ  ｏｆ  ａｒｒｉｖａｌ）（ＤＯＡ）推定値を含む。オーディオ信号および到来方向推定値などの方向情報は、時間―周波数領域で表されることができる。例えば、二次元の幾何再構成が望まれ、そして、従来のＳＴＦＴ（短時間フーリエ変換）領域が信号の表現のために選択される場合、到来方向（ＤＯＡ）は、ｋおよびｎ、すなわち、周波数および時間インデックスに依存しているアジマス角として表されることができる。
【００４４】
実施形態において、空間の音事象定位は、仮想マイクロホンの位置を示しているだけでなく、一般の座標系の実在のおよび仮想の空間マイクロホンの位置および方位に基づいて行われることができる。この情報は、図１３の入力１２１、…、１２Ｎおよび入力１０４によって示されることができる。入力１０４は、加えて、仮想空間マイクロホンの特性、例えばその位置およびピックアップパターンを特定することができる。そして、そのことは以下で述べられる。仮想空間マイクロホンが複数の仮想センサを含む場合、それらの位置および対応する異なるピックアップパターンが考慮されうる。
【００４５】
本装置または対応する方法の出力は、必要に応じて、１０４によって特定されるように定められて、位置付けられる空間マイクロホンによって拾われることができた１つ又は複数の音信号１０５でありうる。さらに、本装置（またはむしろ本方法）は、出力として、仮想空間マイクロホンを使用することによって推定されうる対応する空間補助情報１０６を供給しうる。
【００４６】
図１４は、２つの主処理装置、音事象位置推定器２０１および情報計算モジュール２０２を含む実施形態による装置を示す。音事象位置推定器２０１は、入力１１１、…、１１Ｎに含まれる到来方向（ＤＯＡ）に基づいて、そして、実在の空間マイクロホンの位置および方位についての情報に基づいて、幾何的な再構成を行うことができる。そこで、到来方向（ＤＯＡ）が割り出された。音事象位置推定器２０５の出力は、音事象が時間及び周波数ビンごとに起こる音源の（２Ｄまたは３Ｄにおける）位置推定値を含む。第２の処理ブロック２０２は、情報計算モジュールである。図１４の実施形態によれば、第２の処理ブロック２０２は、仮想マイクロホン信号および空間補助情報を割り出す。従って、それは、仮想マイクロホン信号および補助情報計算ブロック２０２と呼ばれもする。仮想マイクロホン信号および補助情報計算ブロック２０２は、仮想マイクロホンオーディオ信号１０５を出力するために、１１１、…、１１Ｎにおいて含まれるオーディオ信号を処理するために音事象の位置２０５を使用する。ブロック２０２は、必要であれば、仮想空間マイクロホンに対応する空間補助情報１０６を計算することもできる。以下の実施形態は、ブロック２０１および２０２がどのように作動しうるかの可能性を示す。
【００４７】
以下に、一実施形態による音事象位置推定器の位置推定が、更に詳細に説明される。
【００４８】
問題の次元（２Ｄまたは３Ｄ）および空間マイクロホンの数に応じて、位置推定についてのいくつかの解決が可能である。
【００４９】
２Ｄの２つの空間マイクロホンが存在する場合、（最も単純な可能なケース）単純な三角測量が可能である。図１５は、実在の空間マイクロホンが各々３つのマイクロホンの線形等間隔アレイ（Ｕｎｉｆｏｒｍ  Ｌｉｎｅａｒ  Ａｒｒａｙｓ）（ＵＬＡｓ）として示される典型的なシナリオを示す。アジマス角ａｌ（ｋ，ｎ）およびａ２（ｋ，ｎ）として表される到来方向（ＤＯＡ）は、時間―周波数ビン（ｋ，ｎ）について割り出される。これは、時間―周波数領域に変換された圧力信号に、ＥＳＰＲＩＴ、
［１３］Ｒ．ロイ、Ａ．ポールラージおよびＴ．カイラス、「サブスペース回転による到来方向推定  ― ＥＳＰＲＩＴ」、Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）、ＩＥＥＥ国際コンフェレンス、スタンフォード、ＣＡ、ＵＳＡ、１９８６年４月
または、（ルート）ＭＵＳＩＣ、参照
［１４］Ｒ．シュミット、「複数のエミッタ位置および信号パラメータ推定」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｎｔｅｎｎａｓ  ａｎｄ  Ｐｒｏｐａｇａｔｉｏｎ、３４巻、ｎｏ．３、ページ２７６〜２８０、１９８６年
などの、適切な到来方向（ＤＯＡ）推定器を使用することによって達成される。
【００５０】
図１５において、２つの実在の空間マイクロホン、ここでは、２つの実在の空間マイクロホンアレイ４１０、４２０が示される。２つの推定された到来方向ａｌ（ｋ，ｎ）及びａ２（ｋ，ｎ）が、２本の線、到来方向ａ１（ｋ，ｎ）を示している第１の線４３０および到来方向ａ２（ｋ，ｎ）を示している第２の線４４０によって示される。三角測量は、各アレイの位置および方位を知っている単純な幾何的な考慮によって可能である。
【００５１】
２本の線４３０、４４０がちょうど平行であるときに、三角測量は失敗する。しかし、現実の応用において、これは非常に可能性が低い。しかし、すべての三角測量結果が、考慮した空間の音事象のための物理的な又は都合の良い位置に対応するというわけではない。例えば、音事象の推定位置が、あまりにも遠い又は想定された空間の外側でさえある場合もあり、それは、おそらく、到来方向が、使用されたモデルを用いて物理的に解釈されることができるいかなる音事象にも対応しないことを示す。このような結果は、センサノイズまたはあまりに強い部屋残響によって生じうる。従って、一実施形態によれば、情報計算モジュール２０２が適切にそれらを扱うことができるように、このような望まれていない結果はフラグされる。
【００５２】
図１６は、音事象の位置が３Ｄ空間において推定されるシナリオを示す。適当な空間マイクロホン、例えば二次元または三次元マイクロホンアレイが使用される。図１６において、第１の空間マイクロホン５１０、例えば、第１の３Ｄマイクロホンアレイ、および、第２の空間マイクロホン５２０、例えば第２の３Ｄマイクロホンアレイが示される。３Ｄ空間において到来方向、例えば、方位角および仰角として表されうる。単位ベクトル５３０、５４０は、到来方向を表すために使用されうる。２本の線５５０、５６０は、到来方向に従って投射される。３Ｄにおいて、非常に信頼性が高い推定によってさえ、到来方向に従って投射した２本の線５５０、５６０は、交差しないかもしれない。しかし、三角測量は、それでもなお、例えば、２本の線を連結している最も小さいセグメントの中点を選択することによって、実行することができる。
【００５３】
二次元の場合も同様に、三角測量は、失敗しうるかまたは方向の特定の組み合わせについての実行不可能な結果を生じさせうり、それは例えば図１４の情報計算モジュール２０２に、フラグされうる。
【００５４】
２つ以上の空間マイクロホンが存在する場合、いくつかの解決策が可能である。例えば、上で説明された三角測量は、実在の空間マイクロホンのすべての対（Ｎ＝３の場合、１と２、１と３、２と３）について実行されることができる。結果として生じる位置は、それから（ｘおよびｙ、並びに、３Ｄが考慮される場合、ｚに沿って）平均化されうる。
【００５５】
別な方法として、より複雑な構想が使用されうる。例えば、確率論的アプローチが、
［１５］Ｊ．マイケル・スティール、「平面のランダムサンプルの最適三角測量」、確率の紀要、１０巻、Ｎｏ．３（１９８２年８月）、ページ５４８〜５５３
に説明されるように、適用されうる。
【００５６】
0005878549.tif 000002
【００５７】
各ＩＰＬＳは、直接音又は区別可能な部屋反射をモデル化する。その位置ｐIPLS（ｋ，ｎ）は、それぞれ、部屋の中に位置する実際の音源、または、外に位置した鏡像音源に理想的には対応しうる。従って、位置ｐIPLS（ｋ，ｎ）はまた、音事象の位置を示す。
【００５８】
用語「実音源（ｒｅａｌ  ｓｏｕｎｄ  ｓｏｕｒｃｅｓ）」が、記録環境に物理的に存在している実在の音源、例えばトーカーまたは楽器を意味する点に留意されたい。これに対して、「音源（ｓｏｕｎｄ  ｓｏｕｒｃｅｓ）」または「音事象（ｓｏｕｎｄ  ｅｖｅｎｔｓ）」または「ＩＰＬＳ」については、我々は、特定の時間インスタントで、または、特定の時間―周波数ビンで、アクティブである有効な音源に関連する。ここで、音源は、例えば、実音源または鏡像ソースを示しうる。
【００５９】
図２８ａ―２８ｂは、音源を定位しているマイクロホンアレイを示す。定位された音源は、それらの性質に応じた異なる物理解釈を有しうる。マイクロホンアレイが直接音を受けるとき、それらは、真の音源（例えばトーカー）の位置を定位することができうる。マイクロホンアレイが反射を受けるとき、それらは、鏡像ソースの位置を定位しうる。鏡像ソースもまた音源である。
【００６０】
図２８ａは、２つのマイクロホンアレイ１５１および１５２が実在の音源（物理的に存在する音源）１５３から直接音を受けるシナリオを示す。
【００６１】
図２８ｂは、２つのマイクロホンアレイ１６１、１６２が反射音を受けるシナリオを示す。ここで、音響は壁によって反射されている。反射のため、マイクロホンアレイ１６１、１６２は、スピーカ１６３の位置とは異なる鏡像ソース１６５の位置で、音響が来るようにみえる位置を定位する。
【００６２】
図２８ａの実在の音源１５３並びに鏡像ソース１６５は両方とも音源である。
【００６３】
図２８ｃは、２つのマイクロホンアレイ１７１、１７２が拡散音を受けて、音源を位置決めできないシナリオを示す。
【００６４】
この単一波モデルが少し反響する環境に関してのみ正確であるが、ソース信号がＷディスジョイント直交性（Ｗ−ｄｉｓｊｏｉｎｔ  ｏｒｔｈｏｇｏｎａｌｉｔｙ）（ＷＤＯ）条件を満たすと想定すると、すなわち、時間―周波数の重なりは十分に小さい。これは、通常、スピーチ信号にあてはまる。例えば、
［１２］Ｓ．リカードおよびＺ．ユルマズ、「音声の近似Ｗ−ディスジョイント直交性について」、Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、２００２．ＩＣＡＳＳＰ  ２００２年ＩＥＥＥ国際コンフェレンス、２００２年４月、１巻
を参照されたい。
【００６５】
しかし、そのモデルはまた、他の環境についても良い推定値を供給し、従って、それらの環境にも適用できる。
【００６６】
以下に、一実施形態による位置ｐIPLS（ｋ，ｎ）の推定値が説明される。特定の時間―周波数ビンのアクティブなＩＰＬＳの位置ｐIPLS（ｋ，ｎ）、ひいては時間―周波数ビンの音事象の推定値は、少なくとも２つの異なる観測点において測定された音響の到来方向（ＤＯＡ）に基づいて、三角測量により推定される。
【００６７】
0005878549.tif 000003
【００６８】
0005878549.tif 000004
【００６９】
他の実施形態において、式（６）は、ｄ2（ｋ，ｎ）について解くことができ、ｐIPLS（ｋ，ｎ）は、ｄ2（ｋ，ｎ）を使用して類似して計算される。
【００７０】
ｅ1（ｋ，ｎ）およびｅ2（ｋ，ｎ）が平行でない限り、２Ｄで演算するときに、式（６）は、常に解を与える。しかし、２つ以上のマイクロホンアレイを使用するとき、または、３Ｄで演算するとき、方向ベクトルｄが交差しないときは、解は得ることができない。一実施形態によれば、この場合、すべての方向ベクトルｄに最も近い点が割り出されて、その結果は、ＩＰＬＳの位置として使用されることができる。
【００７１】
0005878549.tif 000005
【００７２】
以下に、一実施形態による情報計算モジュール２０２、例えば仮想マイクロホン信号および補助情報計算モジュールは、更に詳細に説明される。
【００７３】
図１８は、一実施形態による情報計算モジュール２０２の図式的概観を示す。情報計算ユニットは、伝搬補償器５００と、結合器５１０と、スペクトル重み付けユニット５２０とを含む。情報計算モジュール２０２は、音事象位置推定器によって推定された音源位置推定値ｓｓｐ、実在の空間マイクロホンの１つ又は複数により記録された１つ又は複数のオーディオ入力信号ｉｓ、実在の空間マイクロホンの１つ又は複数の位置ｐｏｓＲｅａｌＭｉｃ、および仮想マイクロホンの仮想位置ｐｏｓＶｍｉｃを受ける。それは、仮想マイクロホンのオーディオ信号を示しているオーディオ出力信号ｏｓを出力する。
【００７４】
図１９は、他の実施形態による情報計算モジュールを示す。図１９の情報計算モジュールは、伝搬補償器５００と、結合器５１０と、スペクトル重み付けユニット５２０とを含む。伝搬補償器５００は、伝搬パラメータ計算モジュール５０１と伝搬補償モジュール５０４とを含む。結合器５１０は、結合係数計算モジュール５０２と結合モジュール５０５とを含む。スペクトル重み付けユニット５２０は、スペクトル重み計算ユニット５０３と、スペクトル重み付け適用モジュール５０６と、空間補助情報計算モジュール５０７とを含む。
【００７５】
仮想マイクロホンのオーディオ信号を割り出すために、幾何情報、例えば実在の空間マイクロホン１２１、…、１２Ｎの位置および方位、仮想空間マイクロホン１０４の位置、方位および特性、並びに、音事象２０５の位置推定値は、情報計算モジュール２０２に、特に、伝搬補償器５００の伝搬パラメータ計算モジュール５０１に、結合器５１０の結合係数計算モジュール５０２に、そして、スペクトル重み付けユニット５２０のスペクトル重み計算ユニット５０３に送られる。伝搬パラメータ計算モジュール５０１、結合係数計算モジュール５０２、およびスペクトル重み計算ユニット５０３は、伝搬補償モジュール５０４、結合モジュール５０５およびスペクトル重み付け適用モジュール５０６のオーディオ信号１１１、…、１１Ｎの修正において使用されるパラメータを算出する。
【００７６】
情報計算モジュール２０２において、オーディオ信号１１１、…、１１Ｎは、まず、音事象位置と実在の空間マイクロホンとの間の異なる伝搬長によって与えられる効果を補償するために、修正されることができる。信号は、次に、例えばＳＮ比（ＳＮＲ）を改善するために、結合されることができる。最後に、結果として生じる信号は、それから、距離に依存する利得関数だけでなく、仮想マイクロホンの指向性ピックアップパターンを考慮するように、スペクトル重み付けされることができる。これらの３つのステップは、以下に更に詳細に述べられる。
【００７７】
伝搬補償は、ここで更に詳細に説明される。図２０の上部において、２つの実在の空間マイクロホン（第１のマイクロホンアレイ９１０および第２のマイクロホンアレイ９２０）、時間―周波数ビン（ｋ，ｎ）について定位された音事象９３０の位置、および仮想空間マイクロホン９４０の位置が示される。
【００７８】
図２０の下部は、時間軸を示す。音事象が時間ｔ０で発されて、実在のおよび仮想の空間マイクロホンに伝搬されることが仮定される。伝搬距離が遠いほど、アンプリチュードが弱く、到来の時間遅延が長くなるように、到来の時間遅延およびアンプリチュードは、距離により変化する。
【００７９】
２つの実在のアレイの信号は、それらの間の相対的な遅延Ｄｔ１２が小さい場合にだけ、比較できる。そうでない場合は、２つの信号のうちの１つは、相対的な遅延Ｄｔ１２を補償するために時間的に再調整されることを要し、おそらく、異なる減衰を補償するためにスケールされることを要する。
【００８０】
仮想マイクロホンへの到来と（実在の空間マイクロホンのうちの１つにある）実在のマイクロホンアレイへの到来との間の遅延を補償することは、音事象の定位から独立して遅延を変え、大部分の応用についてはそれを不必要にする。
【００８１】
図１９に一旦戻って、伝搬パラメータ計算モジュール５０１は、実在の空間マイクロホンごとに、そして、音事象ごとに、修正される遅延を算出するように構成される。必要に応じて、それはまた、異なる振幅減衰を補償するために考慮される利得係数を算出する。
【００８２】
伝搬補償モジュール５０４は、オーディオ信号をしかるべく修正するためにこの情報を使用するように構成される。信号が（フィルタバンクの時間窓と比較して）わずかな時間だけシフトされることになる場合、単純な位相回転で十分である。遅延がより大きい場合、より複雑な実施態様が必要である。
【００８３】
伝搬補償モジュール５０４の出力は、元の時間―周波数領域において表された修正されたオーディオ信号である。
【００８４】
以下に、一実施形態による仮想マイクロホンのための伝搬補償の特定の推定は、特に第１の実在の空間マイクロホンの位置６１０および第２の実在の空間マイクロホンの位置６２０を示す図１７に関して説明される。
【００８５】
ここで説明される実施形態において、少なくとも、第１の記録されたオーディオ入力信号、例えば実在の空間マイクロホン（例えばマイクロホンアレイ）のうちの少なくとも１つの圧力信号、例えば第１の実在の空間マイクロホンの圧力信号が利用可能であることが仮定される。我々は、考慮したマイクロホンを基準マイクロホンと、その位置を基準位置ｐrefと、その圧力信号を基準圧力信号Ｐref（ｋ，ｎ）と呼ぶこととする。しかし、伝搬補償は、１つだけの圧力信号に関してだけでなく、複数の又は全ての実在の空間マイクロホンの圧力信号に関しても行ないうる。
【００８６】
0005878549.tif 000006
【００８７】
一般に、複合係数γ（ｋ，ｐa，ｐb）は、ｐa、ｐbにおいてその起点からの球面波の伝搬によって導入された位相回転および振幅減衰を表す。しかし、実用試験は、γの振幅減衰だけを考慮することが、位相回転を考慮することと比較して、著しく少ないアーチファクトを有する仮想マイクロホン信号のもっともらしい印象につながることを示した。
【００８８】
空間におけるある点で測定されうる音響エネルギーは、音源から、図６においては音源の位置ｐIPLSからの距離ｒに強く依存する。多くの状況において、この依存は、周知の物理原理、例えば点音源の遠視野の音圧の１／ｒ減衰を使用して、充分な精度でモデル化することができる。基準マイクロホンの距離、例えば、音源からの第１の実在のマイクロホンが知られているとき、また、音源から仮想マイクロホンの距離が知られているとき、それから、仮想マイクロホンの位置の音響エネルギーは、基準マイクロホン、例えば第１の実在の空間マイクロホンの信号およびエネルギーから推定されることができる。このことは、仮想マイクロホンの出力信号が適当な利得を基準圧力信号に適用することによって得られることができることを意味する。
【００８９】
0005878549.tif 000007
【００９０】
0005878549.tif 000008
【００９１】
0005878549.tif 000009
【００９２】
式（１）のモデルが保持するときに、例えば、直接音だけが存在するときに、式（１２）は、マグニチュード情報を正確に再構築することができる。しかし、純粋な拡散音場の場合に、例えば、そのモデル仮定が満たされないときに、センサアレイの位置から仮想マイクロホンを遠ざけるときに、提示された方法は、信号の潜在的な非残響を生じさせる。実際、上記のように、拡散音場において、我々は、大部分のＩＰＬＳが２つのセンサアレイの近くにローカライズされることを予想する。このように、これらの位置から仮想マイクロホンを遠ざけるときに、我々はおそらく図１７の距離ｓ＝｜｜ｓ｜｜を増加させる。従って、式（１１）に従って重み付けを適用するとき、基準圧のマグニチュードが減少する。対応して、実在の音源の近くに仮想マイクロホンを動かすとき、全体のオーディオ信号がより少ない拡散が知覚されるように、直接音に対応する時間―周波数ビンが増幅される。式（１２）のルールを調整することによって、自由に直接音増幅および拡散音抑制を制御することができる。
【００９３】
第１の実在の空間マイクロホンの記録されたオーディオ入力信号（例えば圧力信号）への伝搬補償を行うことによって、第１の修正されたオーディオ信号が得られる。
【００９４】
実施形態において、第２の修正されたオーディオ信号は、第２の実在の空間マイクロホンの記録された第２のオーディオ入力信号（第２の圧力信号）への伝搬補償を行うことによって得られうる。
【００９５】
他の実施態様において、更なるオーディオ信号は、更なる実在の空間マイクロホンの更に記録されたオーディオ入力信号（更なる圧力信号）への伝搬補償を行うことによって得られることができる。
【００９６】
ここで、一実施形態による図１９のブロック５０２および５０５での結合が更に詳細に説明される。複数の異なる実在の空間マイクロホンからの２つ又はそれ以上のオーディオ信号が、２つ又はそれ以上の修正されたオーディオ信号を得るように、その異なる伝搬経路を補償するために、修正されたと仮定する。一旦異なる実在の空間マイクロホンからのオーディオ信号が、異なる伝搬経路を補償するために修正されると、それらはオーディオ品質を改善するために結合されうる。こうすることによって、例えば、ＳＮＲを増加することができる、または、残響を低減することができる。
【００９７】
結合のための可能な解決法は、以下を含む。
−  例えばＳＮＲ、または仮想マイクロホンまでの距離、または実在の空間マイクロホンによって推定された拡散を考慮する、加重平均。従来の解決法、例えば、最大比合成（Ｍａｘｉｍｕｍ  Ｒａｔｉｏ  Ｃｏｍｂｉｎｉｎｇ）（ＭＲＣ）または等利得合成（Ｅｑｕａｌ  Ｇａｉｎ  Ｃｏｍｂｉｎｉｎｇ）（ＥＱＣ）のために使用されることができる。または、
−  合成信号を得るための一部または全部の修正されたオーディオ信号の１次結合。修正されたオーディオ信号は、合成信号を得るために、１次結合において重み付けされうる。または、
−  例えば、一つの信号だけが、例えば、ＳＮＲまたは距離または拡散に依存して、使用される、選択。
【００９８】
モジュール５０２のタスクは、適用できる場合、モジュール５０５において実行される合成のためのパラメータを算出することである。
【００９９】
ここで、実施形態によるスペクトル重み付けについて更に詳細に説明する。これについては、図１９のブロック５０３および５０６が参照される。この最終ステップで、合成から、または、入力オーディオ信号の伝搬補償から生じるオーディオ信号は、入力１０４によって特定されるような仮想空間マイクロホンの空間特性に従って、および／または、再構築された幾何（２０５で与えられる）に従って、時間―周波数領域において重み付けされる。
【０１００】
時間―周波数ビンごとに、図２１に示すように、幾何的な再構成は、我々が仮想マイクロホンに関連した到来方向（ＤＯＡ）を容易に得ることを可能にする。さらにまた、仮想マイクロホンと音事象の位置との間の距離を、直ちに算出することもできる。
【０１０１】
時間―周波数ビンについての重みは、望まれた仮想マイクロホンのタイプを考慮して算出される。
【０１０２】
指向性マイクロホンの場合には、スペクトル重みは、所定のピックアップパターンに従って算出されうる。例えば、一実施形態によれば、カージオイドマイクロホンは、関数ｇ（θ）、
ｇ（θ）＝０．５＋０．５ｃｏｓ（θ）
によって定められたピックアップパターンを有することができる。ここで、θは、仮想空間マイクロホンの視方向（ｌｏｏｋ  ｄｉｒｅｃｔｉｏｎ）と仮想マイクロホンの視点からの音響の到来方向（ＤＯＡ）との間の角度である。
【０１０３】
他の可能性は、アーティスティックな（非物理的）減衰関数である。特定のアプリケーションにおいて、自由場伝搬を特徴とするものより大きい係数で仮想マイクロホンから遠くの音事象を抑制することが望まれうる。この目的のために、いくつかの実施形態は、仮想マイクロホンと音事象との間の距離に依存する付加的な重み付け関数を導入する。一実施形態において、仮想マイクロホンからの（例えばメートルでの）特定の距離の範囲内の音事象だけが捕捉される。
【０１０４】
仮想マイクロホン指向性に関して、任意の指向性パターンは、仮想マイクロホンのために適用されることができる。この際、例えば、複合的な音シーンとソースとは分離されうる。
【０１０５】
0005878549.tif 000010
【０１０６】
実施形態において、１つ又は複数の実在の、非空間マイクロホン、例えば全指向性マイクロホンまたはカージオイドのような指向性マイクロホンは、図８の仮想マイクロホン信号１０５の音質を更に改善するために、実在の空間マイクロホンに加えて、音響シーンに位置付けられる。これらのマイクロホンは、幾何的な情報も集めるために使用されないが、むしろクリーナーオーディオ信号を供給するだけのために使用される。これらのマイクロホンは、空間マイクロホンよりも音源に近くに位置付けられうる。この場合、一実施形態によれば、実在の、非空間マイクロホンのオーディオ信号およびそれらの位置は、実在の空間マイクロホンのオーディオ信号の代わりに、処理のために図１９の伝搬補償モジュール５０４に単純に送られる。伝搬補償は、それから１つ又は複数の非空間マイクロホンの位置に関して、非空間マイクロホンの１つ又は複数の記録されたオーディオ信号のために実行される。これにより、一実施形態は、付加的な非空間マイクロホンを使用して実現される。
【０１０７】
別の実施形態において、仮想マイクロホンの空間補助情報の計算が実現される。マイクロホンの空間補助情報１０６を割り出すために、図１９の情報計算モジュール２０２は、入力として音源の位置２０５および仮想マイクロホンの位置、方位および特性１０４を受けるように構成される、空間補助情報計算モジュール５０７を含む。ある実施形態において、算出されることを必要とする補助情報１０６によれば、仮想マイクロホン１０５のオーディオ信号を、空間補助情報計算モジュール５０７への入力として考慮することもできる。
【０１０８】
空間補助情報計算モジュール５０７の出力は、仮想マイクロホン１０６の補助情報である。この補助情報は、例えば、仮想マイクロホンの視点からの各時間―周波数ビン（ｋ，ｎ）についての音響の到来方向（ＤＯＡ）または拡散でありえる。他の可能な補助情報は、例えば、仮想マイクロホンの位置において測定されたアクティブな音の強さベクトルＩａ（ｋ，ｎ）でありえる。これらのパラメータをどのように抽出することができるかをここでは説明する。
【０１０９】
一実施形態によれば、仮想空間マイクロホンのためのＤＯＡ推定が実現される。情報計算モジュール１２０は、図２２で示すように、仮想マイクロホンの位置ベクトルに基づき、かつ、音事象の位置ベクトルに基づいて、空間補助情報として到来方向を仮想マイクロホンと推定するように構成される。
【０１１０】
図２２は、仮想マイクロホンの視点から音の到来方向ＤＯＡを得るための可能な方法を表す。図１９のブロック２０５によって与えられる音事象の位置は、位置ベクトルｒ（ｋ，ｎ）、音事象の位置ベクトルによって、時間―周波数ビン（ｋ，ｎ）ごとに、示されることができる。同様に、図１９の入力１０４として与えられる仮想マイクロホンの位置は、位置ベクトルｓ（ｋ，ｎ）、仮想マイクロホンの位置ベクトルによって示されることができる。仮想マイクロホンの視方向（ｌｏｏｋ  ｄｉｒｅｃｔｉｏｎ）は、ベクトルｖ（ｋ，ｎ）によって示されることができる。仮想マイクロホンと関連する到来方向（ＤＯＡ）は、ａ（ｋ，ｎ）で与えられる。それは、ｖと音伝搬経路ｈ（ｋ，ｎ）との間の角度を示す。ｈ（ｋ，ｎ）は、
ｈ（ｋ，ｎ）＝ｓ（ｋ，ｎ）−ｒ（ｋ，ｎ）
を使用することによって、算出されることができる。
【０１１１】
所望の到来方向（ＤＯＡ）ａ（ｋ，ｎ）は、ここで、例えばｈ（ｋ，ｎ）とｖ（ｋ，ｎ）の内積の定義、すなわち、
ａ（ｋ，ｎ）＝ａｒｃｏｓ（ｈ（ｋ，ｎ）・ｖ（ｋ，ｎ）／（｜｜ｈ（ｋ，ｎ）｜｜｜｜ｖ（ｋ，ｎ）｜｜）
により、（ｋ，ｎ）ごとに算出される。
【０１１２】
他の実施形態において、情報計算モジュール１２０は、図２２で示すように、仮想マイクロホンの位置ベクトルに基づき、かつ、音事象の位置ベクトルに基づいて、仮想マイクロホンでのアクティブな音の強さを空間補助情報として推定するように構成されうる。
【０１１３】
上で定められた到来方向（ＤＯＡ）ａ（ｋ，ｎ）から、我々は仮想マイクロホンの位置でのアクティブな音の強さＩａ（ｋ，ｎ）を得ることができる。これについて、図１９の仮想マイクロホンオーディオ信号１０５が、全指向性マイクロホンの出力に対応すると仮定される、例えば、我々が、仮想マイクロホンが、全指向性マイクロホンであると仮定する。さらに、図２２の視方向（ｌｏｏｋｉｎｇ  ｄｉｒｅｃｔｉｏｎ）ｖは、座標系のｘ軸と平行であるとみなされる。所望のアクティブな音の強さベクトルＩａ（ｋ，ｎ）が仮想マイクロホンの位置によるエネルギーの純流動を示すので、我々は、例えば式
Ｉａ（ｋ，ｎ）＝−（１／２ρ）｜Ｐv（ｋ，ｎ）｜2＊［ｃｏｓ（ｋ，ｎ），ｓｉｎ（ｋ，ｎ）］T
に従って、Ｉａ（ｋ，ｎ）を算出することができる。ここで、［］Tは、転置ベクトルを示し、ρは、空気密度であり、そして、Ｐv（ｋ，ｎ）は、仮想空間マイクロホン、例えば図１９のブロック５０６の出力１０５により測定された音圧である。
【０１１４】
アクティブな強度ベクトルが、一般の座標系において表されて算出されるが、仮想マイクロホンの位置でなお算出される場合、以下の式が適用されうる。
Ｉａ（ｋ，ｎ）＝（１／２ρ）｜Ｐv（ｋ，ｎ）｜2ｈ（ｋ，ｎ）／｜｜ｈ（ｋ，ｎ）｜｜。
【０１１５】
0005878549.tif 000011
【０１１６】
一実施形態によれば、拡散は、音響シーンの任意の位置で自由に位置付けられることができる仮想マイクロホン（Ｖｉｒｔｕａｌ  Ｍｉｃｒｏｐｈｏｎｅ）（ＶＭ）について生成された補助情報に対する付加的なパラメータとして算出されることができる。これにより、音響シーンの任意の点について、ＤｉｒＡＣストリーム、すなわち、オーディオ信号、到来方向および拡散を生じさせることが可能であるように、仮想マイクロホンの仮想位置でオーディオ信号に加えて拡散を算出する装置は、仮想ＤｉｒＡＣフロントエンドとして理解されうる。ＤｉｒＡＣストリームは、任意のマルチスピーカセットアップで、更に処理され、格納され、送信され、再生されることができる。この場合、聴取者は、あたかも仮想マイクロホンによって特定された位置におり、その方位で決定された方向を見ているかのように、音響シーンを経験する。
【０１１７】
図２３は、仮想マイクロホンで拡散を算出するための拡散計算ユニット８０１を含んでいる実施形態に従って、情報計算ブロックを示す。情報計算ブロック２０２が、図１４の入力に加えて実在の空間マイクロホンで拡散を含む入力１１１〜１１Ｎを受けるように構成される。ψ(SM1)〜ψ(SMN)がこれらの値を示すものとする。これらの付加的な入力は、情報計算モジュール２０２に送られる。拡散計算ユニット８０１の出力１０３は、仮想マイクロホンの位置で算出される拡散パラメータである。
【０１１８】
一実施形態の拡散計算ユニット８０１は、より詳細を表している図２４で示される。一実施形態によれば、Ｎ個の空間マイクロホンの各々の直接音および拡散音のエネルギーが推定される。そして、ＩＰＬＳの位置に関する情報、並びに、空間および仮想マイクロホンの位置に関する情報を使用して、仮想マイクロホンの位置のこれらのエネルギーのＮ個の推定値が得られる。最後に、推定値は、推定精度を改善するために合成されることができ、仮想マイクロホンの拡散パラメータは、直ちに算出されることができる。
【０１１９】
0005878549.tif 000012
【０１２０】
0005878549.tif 000013
【０１２１】
0005878549.tif 000014
【０１２２】
0005878549.tif 000015
【０１２３】
0005878549.tif 000016
【０１２４】
上述のように、場合によっては、誤った到来方向が推定された場合に、例えば、音事象位置推定器によって行われる音事象位置推定は、失敗する。図２５は、このようなシナリオを示す。これらの場合、異なる空間マイクロホンで推定された拡散パラメータに関係なく、空間的に整合的でない再生がありうるように、仮想マイクロホン１０３についての拡散は、１（すなわち、完全に拡散）にセットされることができる。
【０１２５】
加えて、Ｎ個の空間マイクロホンでの到来方向（ＤＯＡ）推定値の信頼性が、考慮されうる。これは、例えば、ＤＯＡ推定器のばらつきまたはＳＮＲに関して、表すことができる。この種の情報は、拡散サブカルキュレータ８５０によって考慮されることができ、その結果、ＶＭ拡散１０３は、到来方向（ＤＯＡ）推定値が信頼できないという場合において人為的に増加することができる。実際に、結果として、位置推定値２０５も信頼できないであろう。
【０１２６】
図１は、一実施形態による１つ又は複数の音源に関連したオーディオデータを含んでいるオーディオデータストリームに基づいて、少なくとも１つのオーディオ出力信号を生成するための装置１５０を示す。
【０１２７】
装置１５０は、オーディオデータを含んでいるオーディオデータストリームを受信するための受信機１６０を含む。オーディオデータは、１つ又は複数の音源のそれぞれについて１つ又は複数の圧力値を含む。さらにまた、オーディオデータは、音源のそれぞれについて音源のうちの１つの位置を示している１つ又は複数の位置値を含む。さらに、その装置は、オーディオデータストリームのオーディオデータの１つ又は複数の圧力値のうちの少なくとも１つに基づいて、かつ、オーディオデータストリームのオーディオデータの１つ又は複数の位置値のうちの少なくとも１つに基づいて、少なくとも１つのオーディオ出力信号を生成するための合成モジュール１７０を含む。オーディオデータは、複数の時間―周波数ビンのうちの１つの時間―周波数ビンのために定められる。音源のそれぞれについて、少なくとも１つの圧力値は、オーディオデータに含まれる。ここで、少なくとも１つの圧力値は、例えば音源から生じる、発された音波に関する圧力値でありえる。圧力値はオーディオ信号の値、例えば、仮想マイクロホンのオーディオ出力信号を生成するための装置によって生成されたオーディオ出力信号の圧力値でありえる。ここで、仮想マイクロホンは、音源の位置で位置付けられる。
【０１２８】
このように、図１は、上述のオーディオデータストリームを受信する又は処理するために用いられうる装置１５０を示す。すなわち、装置１５０は、受信機／合成側で用いられうる。オーディオデータストリームは、複数の音源のうちのそれぞれについて、１つ又は複数の圧力値および１つ又は複数の位置値を含むオーディオデータを含む。すなわち、圧力値および位置値のそれぞれは、記録されたオーディオシーンの１つ又は複数の音源のうちの特定の音源と関連する。これは、位置値が、録音するマイクロホンの代わりに音源の位置を示すことを意味する。圧力値に関して、これは、オーディオデータストリームが音源のそれぞれについて、１つ又は複数の圧力値を含むことを意味する。すなわち、圧力値は、実在の空間マイクロホンの記録に関連する代わりに、音源に関連するオーディオ信号を示す。
【０１２９】
一実施形態によれば、受信機１６０は、オーディオデータを含んでいるオーディオデータストリームを受信するように構成されうる。ここで、オーディオデータはさらに、音源のそれぞれについて１つ又は複数の拡散値を含む。合成モジュール１７０は、１つ又は複数の拡散値のうちの少なくとも１つに基づいて、少なくとも１つのオーディオ出力信号を生成するように構成されうる。
【０１３０】
図２は、一実施形態による１つ又は複数の音源に関連した音源データを含んでいるオーディオデータストリームを生成するための装置２００を示す。オーディオデータストリームを生成するための装置２００は、少なくとも１つの空間マイクロホンによって記録された少なくとも１つのオーディオ入力信号に基づいて、かつ、少なくとも２つの空間マイクロホンによって供給されたオーディオ補助情報に基づいて、音源データを決定するための決定器２１０を含む。さらにまた、装置２００は、オーディオデータストリームが音源データを含むように、オーディオデータストリームを生成するためのデータストリーム生成器２２０を含む。音源データは、音源のそれぞれについて１つ又は複数の圧力値を含む。さらに、音源データは、音源のそれぞれについて音源位置を示している１つ又は複数の位置値を更に含む。さらにまた、音源データは、複数の時間―周波数ビンのうちの１つの時間―周波数ビンについて定められる。
【０１３１】
それから、装置２００によって生成されたオーディオデータストリームは、送信されうる。このように、装置２００は、分析／送信機側で用いられうる。オーディオデータストリームは、１つ又は複数の圧力値を含むオーディオデータを含む、１つ又は複数の音源のそれぞれについて値を位置決めする。すなわち、圧力値および位置値のそれぞれは、記録されたオーディオシーンの１つ又は複数の音源のうちの特定の音源と関連する。これは、位置値に関して、位置値が、録音するマイクロホンの代わりに音源の位置を示すことを意味する。
【０１３２】
別の実施形態において、決定器２１０は、少なくとも１つの空間マイクロホンによって拡散情報に基づいて、音源データを決定するように構成されうる。データストリーム生成器２２０は、オーディオデータストリームが音源データを含むように、オーディオデータストリームを生成するように構成されうる。さらに、音源データは、音源のそれぞれについて１つ又は複数の拡散値を含む。
【０１３３】
図３ａは、一実施形態によるオーディオデータストリームを示す。オーディオデータストリームは、時間―周波数ビンにおいてアクティブである２つの音源に関連したオーディオデータを含む。特に、図３ａは、時間―周波数ビン（ｋ，ｎ）のために送信されるオーディオデータを示す。ここで、ｋは、周波数インデックスを意味し、ｎは、時間インデックスを意味する。オーディオデータは、第１の音源の圧力値Ｐ１、位置値Ｑ１、および拡散値ψ１を含む。位置値Ｑ１は、第１の音源の位置を示している３つの座標値Ｘ１、Ｙ１、およびＺ１を含む。さらにまた、オーディオデータは、第２の音源の圧力値Ｐ２、位置値Ｑ２、および拡散値ψ２を含む。位置値Ｑ２は、第２の音源の位置を示している３つの座標値Ｘ２、Ｙ２、およびＺ２を含む。
【０１３４】
図３ｂは、他の実施形態によるオーディオストリームを示す。さらにまた、オーディオデータは、第１の音源の圧力値Ｐ１、位置値Ｑ１、および拡散値ψ１を含む。位置値Ｑ１は、第１の音源の位置を示している３つの座標値Ｘ１、Ｙ１、およびＺ１を含む。さらにまた、オーディオデータは、第２の音源の圧力値Ｐ２、位置値Ｑ２、および拡散値ψ２を含む。位置値Ｑ２は、第２の音源の位置を示している３つの座標値Ｘ２、Ｙ２、およびＺ２を含む。
【０１３５】
図３ｃは、オーディオデータストリームの他の図を与える。オーディオデータストリームが、幾何ベースの空間オーディオ符号化（ＧＡＣ）情報を供給するので、それはまた「幾何ベースの空間オーディオ符号化ストリーム（ｇｅｏｍｅｔｒｙ−ｂａｓｅｄ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ  ｓｔｒｅａｍ）」または「ＧＡＣストリーム（ＧＡＣ  ｓｔｒｅａｍ）」と呼ばれることもある。オーディオデータストリームは、１つ又は複数の音源、例えば１つ又は複数の等方的点音源（ＩＰＬＳ）に関する情報を含む。すでに上で説明されたように、ＧＡＣストリームは、以下の信号を含むことができる。ここで、ｋおよびｎは、考慮された時間―周波数ビンの周波数インデックスおよび時間インデックスを意味する。
●Ｐ（ｋ，ｎ）：音源の、例えばＩＰＬＳの合成圧力。この信号は、おそらく直接音（ＩＰＬＳ自体から生じている音）と拡散音とを含む。
●Ｑ（ｋ，ｎ）：音源、例えばＩＰＬＳの位置（例えば３Ｄの直角座標）：
その位置は、例えば、直角座標Ｘ（ｋ，ｎ）、Ｙ（ｋ，ｎ）、Ｚ（ｋ，ｎ）を含むことができる。
●ＩＰＬＳでの拡散：ψ（ｋ，ｎ）。このパラメータは、Ｐ（ｋ，ｎ）において含まれる拡散音に対する直接音の出力比に関連する。Ｐ（ｋ，ｎ）＝Ｐdir（ｋ，ｎ）＋Ｐdiff（ｋ，ｎ）である場合、拡散を表す１つの可能性は、ψ（ｋ，ｎ）＝｜Ｐdiff（ｋ，ｎ）｜2／｜Ｐ（ｋ，ｎ）｜2である。｜Ｐ（ｋ，ｎ）｜2が知られている場合、他の相当する表現、例えば、直接音対拡散音比（Ｄｉｒｅｃｔ  ｔｏ  Ｄｉｆｆｕｓｅ  Ｒａｔｉｏ）（ＤＤＲ）Γ＝｜Ｐdir（ｋ，ｎ）｜2／｜Ｐdiff（ｋ，ｎ）｜2が考えられる。
【０１３６】
すでに述べたように、ｋおよびｎは、周波数および時間インデックスをそれぞれ意味する。必要である場合、そして、分析がそれを可能にする場合、１つ又は複数のＩＰＬＳは、一定の時間―周波数スロットで示されることができる。これは、ｉ番目の層（すなわち、ｉ番目のＩＰＬＳ）についての圧力信号が、Ｐｉ（ｋ，ｎ）で示されるように、Ｍ個の多層としての図３ｃに表される。便宜上、ＩＰＬＳの位置は、ベクトルＱi（ｋ，ｎ）＝［Ｘi（ｋ，ｎ），Ｙi（ｋ，ｎ），Ｚi（ｋ，ｎ）］Tで表される。最新の技術とは異なり、ＧＡＣストリームのすべてのパラメータが、１つ又は複数の音源に関して、例えばＩＰＬＳに関して、表され、従って、録音位置からの独立を達成する。図３ｃにおいては、図３ａおよび３ｂと同様に、図のすべての量が、時間―周波数領域において考慮される。例えば、（ｋ，ｎ）表記は、簡単のため省略され、ＰiがＰi（ｋ，ｎ）、例えばＰi＝Ｐi（ｋ，ｎ）を意味する。
【０１３７】
以下に、一実施形態によるオーディオデータストリームを生成するための装置は、更に詳細に説明される。図２の装置として、図４の装置は、決定器２１０と、決定器２１０に類似しうるデータストリーム生成器２２０とを含む。その決定器が、それに基づいてデータストリーム生成器がオーディオデータストリームを生成する音源データを決定するために、オーディオ入力データを分析するので、決定器およびデータストリーム生成器は、「分析モジュール」とも呼ばれうる。（図４の分析モジュール４１０を参照）。
【０１３８】
分析モジュール４１０は、Ｎ個の空間マイクロホンの記録から、ＧＡＣストリームを算出する。要求されるＭ個の層（例えば情報が特定の時間―周波数ビンについてのオーディオデータストリームに含まれる音源の数）に応じて、空間マイクロホンの種類および数Ｎ、分析のための種々の方法が考えられる。２、３の例が、以下に挙げられる。
【０１３９】
１つ目の例として、時間―周波数スロットごとの１つの音源、例えば１つのＩＰＬＳについてのパラメータ推定が考慮される。Ｍ＝１の場合、ＧＡＣストリームは、仮想空間マイクロホンが音源の位置において位置付けられることができるという点で、例えばＩＰＬＳの位置で、仮想マイクロホンのオーディオ出力信号を生成するための装置について上で説明された構想によって直ちに得られることができる。これは、圧力信号が、対応する位置推定値、およびおそらく拡散性と共に、ＩＰＬＳの位置で算出されるのを可能にする。これらの３つのパラメータは、ＧＡＣストリームに一まとめにされ、送信されるまたは格納される前に、図８のモジュール１０２によって、更に操作されることができる。
【０１４０】
例えば、その決定器は、仮想マイクロホンのオーディオ出力信号を生成するための装置の音事象位置推定のために提案された構想を使用することによって音源の位置を決定することができる。さらに、その決定器は、オーディオ出力信号を生成するための装置を含むことができて、音源の位置での圧力値（例えば生成されるオーディオ出力信号の値）および拡散を算出する仮想マイクロホンの位置として、音源の決定された位置を使用することができる。
【０１４１】
特に、例えば図４の決定器２１０は、データストリーム生成器２２０が、算出された圧力信号、位置推定値および拡散に基づいてオーディオデータストリームを生成するように構成される一方で、圧力信号、対応する位置推定値、および対応する拡散を決定するように構成される。
【０１４２】
別の例として、時間―周波数スロットごとに２つの音源、例えば２つのＩＰＬＳのためのパラメータ推定が考慮される。分析モジュール４１０が時間―周波数ビンごとに２つの音源を推定することになる場合、最新技術の推定器に基づく以下の構想が使用されることができる。
【０１４３】
図５は、２つの音源および２つの同一の線形マイクロホンアレイから成る音響シーンを示す。ＥＳＰＲＩＴが参照される。参照
［２６］Ｒ．ロイおよびＴ．カイラス、ＥＳＰＲＩＴ  −回転不変技術による信号パラメータの推定、音響、音声および信号処理、ＩＥＥＥ論文集、３７（７）：９８４―９９５、１９８９年７月
【０１４４】
ＥＳＰＲＩＴ（［２６］）は、各アレイで時間―周波数ビンごとに２つの到来方向（ＤＯＡ）推定値を得るために、各アレイで別々に使用されることができる。ペアリングの不明瞭のため、これは、ソースの位置についての２つの考えられる解をもたらす。図５から分かるように、２つの考えられる解が（１，２）と（１’，２’）により与えられる。この不明瞭性を解決するために、以下の解決法を適用することができる。各ソースで発された信号は、推定されたソース位置の方向に向きを定められたビームフォーマを使用して、伝搬を補償するために適当な係数を適用する（例えば、波によって経験された減衰量の逆数を掛ける）ことによって推定される。これは、考えられる解の各々について各アレイで、ソースごとに実行されることができる。我々は、ソース（ｉ，ｊ）の各対のための推定エラーを定義することができる：
Ｅi,j＝｜Ｐi,1−Ｐi,2｜＋｜Ｐj,1−Ｐj,2｜、      （１）
ここで、（ｉ，ｊ）∈｛（１，２），（１’，２’）｝（図５を参照）およびＰi,lが音源ｉのアレイｒによって参照された補償された信号電力を表す。エラーは、実音源の一対について最小である。一旦、ペアリング問題が解決されて、正しい到来方向（ＤＯＡ）推定値が計算されると、これらは、ＧＡＣストリームに、対応する圧力信号および拡散評価と共に、一まとめにされる。圧力信号および拡散評価は、１つの音源のためのパラメータ推定のためにすでに説明された同じ方法を使用して得られることができる。
【０１４５】
図６ａは、一実施形態によるオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置６００を示す。装置６００は、受信機６１０と合成モジュール６２０とを含む。受信機６１０は、音源のうちの少なくとも１つに関するオーディオデータの圧力値のうちの少なくとも１つ、オーディオデータの位置値のうちの少なくとも１つ、または、オーディオデータの拡散値のうちの少なくとも１つを修正することによって、受信されたオーディオデータストリームのオーディオデータを修正するための修正モジュール６３０を含む。
【０１４６】
図６ｂは、一実施形態による１つ又は複数の音源に関連した音源データを含んでいるオーディオデータストリームを生成するための装置６６０を示す。オーディオデータストリームを生成するための装置は、決定器６７０、データストリーム生成器６８０を含み、さらに、音源のうちの少なくとも１つに関するオーディオデータの圧力値のうちの少なくとも１つ、オーディオデータの位置値のうちの少なくとも１つ、または、オーディオデータの拡散値のうちの少なくとも１つを修正することによって、データストリーム生成器によって生成されるオーディオデータストリームを修正するための修正モジュール６９０を含む。
【０１４７】
図６ａの修正モジュール６１０が、受信機／合成側で用いられる一方で、図６ｂの修正モジュール６６０は、送信機／分析側で用いられる。
【０１４８】
修正モジュール６１０、６６０によって実行されるオーディオデータストリームの修正は、音響シーンの修正とみなすこともできる。このように、修正モジュール６１０、６６０は、音響シーン操作モジュールとも呼ばれうる。
【０１４９】
ＧＡＣストリームによって与えられた音場表現は、オーディオデータストリームの様々な種類の修正に、すなわち結果として、音響シーンの操作を可能にする。これに関連したいくつかの例は、以下の通りである。
１．音響シーンにおいて空間／ボリュームの任意のセクションを拡大すること（例えばそれを聴取者にとって広く見えるように点音源を拡張すること）；
２．音響シーンにおいて空間／ボリュームの選択されたセクションを空間／ボリュームの他の任意のセクションに変換すること（変換された空間／ボリュームは、例えば、新たな位置に移動することを必要とするソースを含むことができる）；
３．位置ベースのフィルタリング（音響シーンの選択された領域が強化されるかまたは部分的に／完全に抑制される）
【０１５０】
以下において、オーディオデータストリーム、例えばＧＡＣストリームの層は、特定の時間―周波数ビンに関して、音源のうちの１つのすべてのオーディオデータを含むと仮定される。
【０１５１】
図７は、一実施形態による修正モジュールを表す。図７の修正ユニットは、デマルチプレクサ４０１と、操作処理装置４２０と、マルチプレクサ４０５とを含む。
【０１５２】
デマルチプレクサ４０１は、Ｍ層ＧＡＣストリームの異なる層を分離して、Ｍ個の単一層ＧＡＣストリームを形成するように構成される。さらに、操作処理装置４２０は、別々にＧＡＣストリームの各々に適用されるユニット４０２、４０３および４０４を含む。さらにまた、マルチプレクサ４０５は、操作された単一層ＧＡＣストリームから結果として生じるＭ層ＧＡＣストリームを形成するように構成される。
【０１５３】
ＧＡＣストリームからの位置データおよび実音源（例えばトーカー）の位置についての情報に基づいて、エネルギーは、時間―周波数ビンごとに特定の実音源と関連することができる。圧力値Ｐは、各実音源（例えばトーカー）のラウドネスを修正するために、それに応じて重み付けされる。それは、事前情報または実音源（例えばトーカー）の位置の推定値を必要とする。
【０１５４】
いくつかの実施形態において、実音源の位置についての情報が利用できる場合、ＧＡＣストリームから位置データに基づいて、エネルギーを時間―周波数ビンごとに特定の実音源と関連付けることができる。
【０１５５】
オーディオデータストリーム、例えばＧＡＣストリームの操作は、図６ａの、すなわち受信機／合成側の少なくとも１つのオーディオ出力信号、および／または、図６ｂの、すなわち送信機／分析側のオーディオデータストリームを生成するための装置６００の修正モジュール６３０で生じうる。
【０１５６】
例えば、オーディオデータストリーム、すなわち、ＧＡＣストリームは、送信の前に、または、送信の後で合成の前に、修正されることができる。
【０１５７】
受信機／合成側の図６ａの修正モジュール６３０とは異なり、送信機／分析側の図６ｂの修正モジュール６９０は、入力１１１〜１１Ｎ（記録された信号）および１２１〜１２Ｎ（空間マイクロホンの相対位置および方位）からの追加情報を、この情報が送信機側で利用できるので、活用することができる。この情報を使用して、別の実施形態による修正装置が、実現されうる。そして、それは図８において表される。
【０１５８】
図９は、システムの模式的概要を示すことによって実施形態を表す。ここで、ＧＡＣストリームは、送信機／分析側に生成される。ここで、任意選択で、ＧＡＣストリームは、送信機／分析側で修正モジュール１０２によって修正されることができる。ここで、ＧＡＣストリームは、任意選択で、修正モジュール１０３によって受信機／合成側で修正されることができ、そして、ＧＡＣストリームは、複数のオーディオ出力シグナル１９１、…、１９Ｌを生成するために使用される。
【０１５９】
0005878549.tif 000017
【０１６０】
装置１０１の出力は、上述した音場表現であり、以下では、幾何ベースの空間オーディオ符号化（Ｇｅｏｍｅｔｒｙ−ｂａｓｅｄ  ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）（ＧＡＣ）ストリームとして意味される。
［２０］ジョヴァンニ・デルガルト、オリバー・ティーレガルト、トビアス・ウェラーおよびＥ．Ａ．Ｐ．ハベッツ、分散型配置によって集められた幾何的情報を使用した仮想マイクロホン信号の生成、ハンズフリー・スピーチ・コミュニケーションとマイクロホン配置（ＨＳＣＭＡ’１１）の第３回ジョイントワークショップ、エジンバラ、英国、２０１１年５月
における提案と同様に、そして、構成可能な仮想位置で仮想マイクロホンのオーディオ出力信号を生成するための装置について説明されたように、複雑な音響シーンは、時間―周波数表現、例えば短時間フーリエ変換（ＳＴＦＴ）によって供給されるもの特定のスロットでアクティブである、音源、例えば、等方的点音源（ＩＰＬＳ）によってモデル化される。
【０１６１】
ＧＡＣストリームは、操作装置とも呼ばれうる任意の修正モジュール１０２で更に処理されうる。修正モジュール１０２は、多くの応用を可能にする。ＧＡＣストリームは、送信されることができる、または、格納されることができる。ＧＡＣストリームのパラメトリック性質は、非常に効率的である。合成／受信機側では、もう１つの任意の修正モジュール（操作ユニット）１０３が用いられることができる。結果として生じるＧＡＣストリームは、スピーカ信号を生成する合成ユニット１０４に入る。その録音からの表現の独立を与えられて、再生側のエンドユーザは、潜在的に音響シーンを操作することができて、自由に音響シーンの範囲内のリスニング位置および方位を決定することができる。
【０１６２】
オーディオデータストリーム、例えば、ＧＡＣストリームの修正／操作は、モジュール１０２での送信前又はその送信後で合成１０３前に、それに応じてＧＡＣストリームを修正することによって、図９の修正モジュール１０２および／または１０３で起こりうる。受信機／合成側の修正モジュール１０３と異なって、送信機／分析側の修正モジュール１０２は、入力１１１〜１１Ｎ（空間マイクロホンによって供給されるオーディオデータ）および１２１〜１２Ｎ（空間マイクロホンの相対位置および方位）から付加情報を、この情報が送信機側で利用できるように、実施することができる。図８は、この情報を使用する修正モジュールの別の実施形態を示す。
【０１６３】
ＧＡＣストリームの操作のための種々の構想の例は、図７および図８に関して以下において説明される。等しい基準信号を有するユニットは、等しい機能を有する。
【０１６４】
１．ボリューム拡張
そのシーンの特定のエネルギーが、ボリュームＶの範囲内に位置すると仮定する。ボリュームＶは、環境の所定の領域を示しうる。Θは、対応する音源、例えばＩＰＬＳがボリュームＶの範囲内に配置される時間―周波数ビン（ｋ，ｎ）のセットを意味する。
【０１６５】
他のボリュームＶ’へのボリュームＶの拡張が望まれる場合、これは、（決定ユニット４０３において評価される）（ｋ，ｎ）∈ΘのときはいつでもＧＡＣストリームの位置データにランダムな項を加えることによって達成される。そして、置換Ｑ（ｋ，ｎ）＝［Ｘ（ｋ，ｎ），Ｙ（ｋ，ｎ），Ｚ（ｋ，ｎ）］T（インデックスレイヤーは、説明を簡単にするためはずしている）。図７および図８のユニット４０４の出力４３１〜４３Ｍが、
Ｑ（ｋ，ｎ）＝［Ｘ（ｋ，ｎ）＋Φx（ｋ，ｎ）；Ｙ（ｋ，ｎ）＋Φy（ｋ，ｎ）Ｚ（ｋ，ｎ）＋Φz（ｋ，ｎ）］T              （２）
となる。ここで、Φｘ、ΦｙおよびΦｚが元のボリュームに関して新たなボリュームＶ’の幾何にその範囲が依存するランダム変数である。この構想は、例えば、音源を広く知覚させるために使用されることができる。この例において、元のボリュームＶは、無限小に小さい、すなわち、音源、例えばＩＰＬＳは、同じ点Ｑ（ｋ，ｎ）＝［Ｘ（ｋ，ｎ），Ｙ（ｋ，ｎ），Ｚ（ｋ，ｎ）］T  ｆｏｒ  ａｌｌ（ｋ，ｎ）∈Θに定位される。この機構は、位置パラメータＱ（ｋ，ｎ）のディザリングの形としてみなされる。
【０１６６】
一実施形態によれば、音源のそれぞれの位置値のそれぞれは、少なくとも２つの座標値を含み、座標値が、音源が環境の所定の領域内にあることを示すとき、修正モジュールは、座標値に少なくとも１つの乱数を加えることによって座標値を修正するように構成される。
【０１６７】
２．ボリューム変換
ボリューム拡張に加えて、ＧＡＣストリームの位置データは、音場の中で空間／ボリュームのセクションを再配置するために修正されることができる。この場合も、操作されるデータは、定位されたエネルギーの空間座標を含む。
【０１６８】
Ｖはまた、再配置されるボリュームを示し、Θは、エネルギーがボリュームＶの範囲内に定位されるすべての時間―周波数ビン（ｋ，ｎ）のセットを示す。さらに、ボリュームＶは、環境の所定の領域を示しうる。
【０１６９】
ボリューム再配置は、ＧＡＣストリームを修正することによって達成されることができ、その結果、全ての時間―周波数ビン（ｋ，ｎ）∈Θについて、Ｑ（ｋ，ｎ）は、ユニット４０４の出力４３１〜４３Ｍのｆ（Ｑ（ｋ，ｎ））により再配置され、ここで、ｆは、実行されるボリューム操作を示している空間座標（Ｘ，Ｙ，Ｚ）の関数である。関数ｆは、単純な一次変換、例えば回転、平行移動または他のいかなる合成の非線形マッピングも示しうる。この技術は、例えば、Θが、音源がボリュームＶの範囲内に定位された時間―周波数ビンのセットに対応することを確実にすることによって、音響シーン内で一位置から他の位置に音源を動かすために、使用されることができる。その技術は、シーンミラーリング、シーンローテーション、シーン拡張および／または圧縮などの全体の音響シーンの様々な他の複雑な操作を可能にする。例えば、ボリュームＶへの適当な線形マッピングを適用することによって、ボリューム拡張の相補的効果、すなわち、ボリューム圧縮が達成されうる。これは、例えば、ｆ（Ｑ（ｋ，ｎ））∈Ｖに、（ｋ，ｎ）∈ΘのＱ（ｋ，ｎ）をマッピングすることによってなされうる。ここで、Ｖ’⊂Ｖであり、Ｖ’は、Ｖより著しく小さいボリュームを含む。
【０１７０】
一実施形態によれば、座標値が、音源が環境の所定の領域内にあることを示すとき、修正モジュールは、座標値に確定関数を適用することによって座標値を修正するように構成される。
【０１７１】
３．位置ベースのフィルタリング
幾何ベースのフィルタリング（または位置ベースのフィルタリング）の考えは、音響シーンから空間／ボリュームのセクションを増す又は完全に／部分的に取り除くための方法を提供する。しかし、ボリューム拡張および変換技術と比較すると、この場合、ＧＡＣストリームからの圧力データだけが、適当なスカラー重みを適用することによって修正される。
【０１７２】
幾何ベースのフィルタリングにおいて、図８に示されるように、送信機側１０２と受信機側修正モジュール１０３との間で、前者が適当なフィルタ重みの計算を補助するために入力１１１〜１１Ｎおよび１２１〜１２Ｎを使用しうるという点で、区別されうる。その目的が空間／ボリュームＶの選択されたセクションから生じているエネルギーを抑制する／強化することであると仮定するならば、幾何ベースのフィルタリングは以下のように適用されることができる。すべての（ｋ，ｎ）∈Θについて、ＧＡＣストリームの複合圧力Ｐ（ｋ，ｎ）は４０２の出力でηＰ（ｋ，ｎ）に修正される。ここで、ηは、例えばユニット４０２によって計算された、実在の重み係数である。いくつかの実施形態では、モジュール４０２は、拡散にも依存して重み係数を計算するように構成されることがありえる。
【０１７３】
幾何ベースのフィルタリングの構想は、信号の増強およびソース分離などの複数のアプリケーションで使用されることができる。アプリケーションのいくつかおよび必要な事前情報は、以下を含む。
●非残響。部屋のジオメトリーを知っていることによって、空間周波数フィルタは、多重伝搬によって生じることがありえる部屋の境界の外側で定位されるエネルギーを抑制するために使用されることができる。例えば会議室および車でのハンズフリーコミュニケーションに関して、このアプリケーションが関心がある。遅い残響を抑制するために、高い拡散の場合にはフィルタを閉じるのに十分であり、一方、初期の反射を抑制するために、位置に依存するフィルタがより効果的であることに留意されたい。この場合、すでに述べたように、部屋のジオメトリーは、事前に知られていることを必要とする。
●バックグラウンドノイズ抑制。同様の構想は、同様にバックグラウンドノイズを抑制するために使用されることができる。ソースが位置付けされうる潜在的領域（例えば会議室の参加者の椅子または車の座席）が知られている場合、これらの領域の外に位置付けされるエネルギーは、バックグラウンドノイズに関連しており、従って、空間周波数フィルタによって抑制される。このアプリケーションは、ソースの近似の位置の、ＧＡＣストリームの利用できるデータに基づいて、事前情報または推定値を必要とする。
●点状の干渉物の抑制。干渉物が空間において明らかに定位される場合、拡散であるよりはむしろ、位置ベースのフィルタリングは干渉物の位置で定位されるエネルギーを減らすために適用されることができる。それは、事前情報または干渉物の位置の推定値を必要とする。
●エコー制御。この場合、抑制される干渉物は、スピーカ信号である。この目的のために、点状の干渉物の場合と同様に、ちょうどスピーカ位置またはその近傍に定位されたエネルギーは、抑制される。それは、事前情報またはスピーカ位置の推定値を必要とする。  ●拡張された音声検出。幾何ベースのフィルタリング発明と関連した信号拡張技術は、従来のオーディオ活動検知システムにおいて、例えば車において、前処理ステップとして実行されることができる。非残響、またはノイズ抑制は、システム性能を改善するアドオンとして使用されることができる。
●監視。エネルギーだけを特定の領域から保存して、残りを抑制することは、監視アプリケーションの一般的に用いられる技術である。それは、幾何に関する事前情報および関心がある領域の位置を必要とする。
●ソース分離。複数の同時にアクティブであるソースを有する環境において、幾何ベースの空間フィルタリングは、ソース分離のために適用されることができる。ソースの位置に中央に置かれた適切に設計された空間周波数フィルタを位置付けることは、結果として他の同時にアクティブなソースの抑制／減弱になる。このイノベーションは、例えばＳＡＯＣのフロントエンドとして、使用されることができる。事前情報またはソース位置の推定値が必要である。
●位置に依存する自動利得調整（ＡＧＣ）。位置に依存する重みは、例えば遠隔会議アプリケーションの異なるトーカーのラウドネスを等しくするために、使用されることができる。
【０１７４】
以下に、実施形態による合成モジュールは、説明される。一実施形態によれば、合成モジュールは、オーディオデータストリームのオーディオデータの少なくとも１つの圧力値に基づいて、そして、オーディオデータストリームのオーディオデータの少なくとも１つの位置値に基づいて、少なくとも１つのオーディオ出力信号を生成するように構成されうる。少なくとも１つの圧力値は、圧力信号（例えばオーディオ信号）の圧力値でありうる。
【０１７５】
ＧＡＣ合成後の動作原理は、
［２７］国際公開ＷＯ２００４／０７７８８４号公報：タピオ・ロッキ、ユハ・メリマー、ビーレ・プルッキ、マルチチャンネルリスニングにおける自然のまたは修正された空間印象を再生するための方法、２００６年
で与えられる空間音響の知覚に関する仮定により動機を与えられる。
【０１７６】
特に、正しく音響シーンの空間像を知覚するために必要な空間キュー（ｃｕｅ）は、時間―周波数ビンごとに非拡散音響の到来方向を正しく再現することによって得ることができる。従って、図１０ａに表される合成は、２つのステージに分けられる。
【０１７７】
第１のステージは音響シーンの範囲内で聴取者の位置および方位を考慮し、Ｍ個のＩＰＬＳのうちどれが時間―周波数ビンごとに有力であるかを決定する。従って、その圧力信号Ｐdirおよび到来方向θは計算されることができる。残りのソースおよび拡散音は、第２の圧力信号Ｐdiffに集められる。
【０１７８】
第２のステージは、［２７］に説明されたＤｉｒＡＣ合成の後半と同一である。非拡散音響は、点音源を生み出すパニング機構で再現されるが、拡散音は非相関であった後にすべてのスピーカから再現される。
【０１７９】
図１０ａは、ＧＡＣストリームの合成を示している実施形態による合成モジュールを表す。
【０１８０】
第１のステージ合成ユニット５０１は、異なって再生されることを必要とする圧力信号ＰdirおよびＰdiffを計算する。実際に、Ｐdirが空間においてコヒーレントに再生されなければならない音響を含む一方で、Ｐdiffは拡散音を含む。第１のステージ合成ユニット５０１の第３の出力は、所望のリスニング位置の視点からの到来方向（ＤＯＡ）θ５０５、すなわち到来方向情報である。到来方向（ＤＯＡ）が、２Ｄ空間である場合には、方位角として、または、３Ｄにおいては、方位角および高度角の対によって表されうることに留意されたい。同等に、到来方向（ＤＯＡ）で指し示された単位基準ベクトル使用することができる。到来方向（ＤＯＡ）は、（所望のリスニング位置に対して）どの方向から信号Ｐdirが来るかについて特定する。第１のステージ合成ユニット５０１は、ＧＡＣストリームを、入力、すなわち音場のパラメトリック表現とし、入力１４１によって特定された聴取者位置および方位に基づいて上述の信号を計算する。実際に、エンドユーザは、ＧＡＣストリームによって示された音響シーンの範囲内で、自由にリスニング位置および方位を決定することができる。
【０１８１】
第２のステージ合成ユニット５０２は、スピーカセットアップ１３１についての情報に基づいて、Ｌ個のスピーカ信号５１１〜５１Ｌを計算する。ユニット５０２が［２７］で説明されたＤｉｒＡＣ合成の後半と同一であることを思い出してほしい。
【０１８２】
図１０ｂは、一実施形態による第１の合成ステージユニットを表す。ブロックに供給された入力は、Ｍ層からなるＧＡＣストリームである。第１のステップにおいて、ユニット６０１は、Ｍ層を、各々１つの層のＭ並列ＧＡＣストリームに非多重化する。
【０１８３】
ｉ番目のＧＡＣストリームは、圧力信号Ｐiと、拡散ψiと、位置ベクトルＱi＝［Ｘi，Ｙi，Ｚi］Tとを含む。圧力信号Ｐiは、１つ又は複数の圧力値を含む。位置ベクトルは、位置値である。少なくとも１つのオーディオ出力信号は、ここで、これらの値に基づいて生成される。
【０１８４】
直接および拡散音のための圧力信号Ｐdir,iおよびＰdiff,iは、拡散ψiから得られた適当な係数を適用することによって、Ｐｉから得られる。直接音を含む圧力信号は、音源位置、例えばＩＰＬＳ位置から聴取者の位置への信号伝搬に対応する遅延を算出する、伝搬補償ブロック６０２に入る。これに加えて、そのブロックはまた、異なるマグニチュード減衰を補償するために必要な利得係数を算出する。他の実施形態において、異なるマグニチュード減衰だけが補償され、その一方で、遅延は補償されない。
【０１８５】
0005878549.tif 000018
【０１８６】
0005878549.tif 000019
【０１８７】
図１０ｃは、第２の合成ステージユニット５０２を示す。すでに述べたように、このステージは、［２７］において提案された合成モジュールの後半と同一である。非拡散音Ｐdir５０３は、例えばパニングによって点音源として再生され、その利得は、到来方向（５０５）に基づいてブロック７０１で計算される。一方、拡散音（Ｐdiff）は、Ｌ個の異なった非相関器（７１１〜７１Ｌ）を通過する。Ｌ個のスピーカ信号の各々について、直接および拡散音パスは、逆フィルタバンク（７０３）を通過する前に付加される。
【０１８８】
図１１は、別の実施形態による合成モジュールを示す。図のすべての量は、時間―周波数領域において考慮される。（ｋ，ｎ）表記は、簡単にする理由で無視され、例えばＰi＝Ｐi（ｋ，ｎ）である。特に複雑な音響シーン、例えば同時にアクティブである多数のソースの場合に、再生についてのオーディオ品質を改善するために、合成モジュール、例えば合成モジュール１０４は、例えば、図１１に示すように実現されうる。最も優位なＩＰＬＳをコヒーレントに再生されるように選択する代わりに、図１１の合成は、別々にＭ層の各々の完全な合成を実行する。ｉ番目の層からのＬ個のスピーカ信号は、ブロック５０２の出力であって、１９１i〜１９Ｌiにより示される。第１の合成ステージユニット５０１の出力のｈ番目のスピーカ信号１９ｈは、１９ｈ1〜１９ｈMの総和である。図１０ｂとは異なって、ブロック６０７におけるＤＯＡ推定ステップがＭ層の各々について実行されることを必要とする点に留意されたい。
【０１８９】
図２６は、一実施形態による仮想マイクロホンデータストリームを生成するための装置９５０を示す。仮想マイクロホンデータストリームを生成するための装置９５０は、上記実施形態のうちの１つによる、例えば図１２による、仮想マイクロホンのオーディオ出力信号を生成するための装置９６０と、上記実施形態のうちの１つによる、例えば図２による、オーディオデータストリームを生成するための装置９７０を含む。ここで、オーディオデータストリームを生成するための装置９７０により生成されたオーディオデータストリームは、仮想マイクロホンデータストリームである。
【０１９０】
仮想マイクロホンのオーディオ出力信号を生成するための例えば図２６の装置９６０は、図１２のような音事象位置推定器および情報計算モジュールを含む。音事象位置推定器は、環境における音源の位置を示している音源位置を推定するように構成される。ここで、音事象位置推定器は、その環境の第１の実在のマイクロホン位置にある第１の実在の空間マイクロホンによって供給される第１の方向情報に基づいて、および、その環境の第２の実在のマイクロホン位置にある第２の実在の空間マイクロホンによって供給される第２の方向情報に基づいて、音源位置を推定するように構成される。情報計算モジュールは、記録されたオーディオ入力信号に基づいて、第１の実在のマイクロホン位置に基づいて、そして、算出されたマイクロホン位置に基づいて、オーディオ出力信号を生成するように構成される。
【０１９１】
仮想マイクロホンのオーディオ出力信号を生成するための装置９６０は、オーディオデータストリームを生成するための装置９７０にオーディオ出力信号を供給するように配置される。オーディオデータストリームを生成する装置９７０は、決定器、例えば図２に関して説明された決定器２１０を含む。オーディオデータストリームを生成する装置９７０の決定器は、仮想マイクロホンのオーディオ出力信号を生成する装置９６０によって供給されるオーディオ出力信号に基づいて、音源データを決定する。
【０１９２】
図２７は、仮想マイクロホンデータストリームを生成する装置９５０、例えば図２６の装置９５０によって供給されるオーディオデータストリームとしての仮想マイクロホンデータストリームに基づいて、オーディオ出力信号を生成するように構成される、上記の実施形態のうちの１つ、例えば請求項１の装置によりオーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成するための装置９８０を示す。
【０１９３】
仮想マイクロホンデータストリームを生成するための装置９８０は、生成された仮想マイクロホン信号を、オーディオデータストリームに基づいて少なくとも１つのオーディオ出力信号を生成する装置９８０に送る。仮想マイクロホンデータストリームがオーディオデータストリームであることに留意する必要がある。オーディオデータストリームに基づく少なくとも１つのオーディオ出力信号のための装置９８０は、例えば、図１の装置について述べたように、オーディオデータストリームとして、仮想マイクロホンデータストリームに基づいてオーディオ出力信号を生成する。
【０１９４】
いくつかの態様が装置に関連して説明されたが、これらの態様はまた、対応する方法の記載を示すことは明らかである。ここで、ブロックまたはデバイスは方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップに関連して説明された態様も、対応する装置または項目の記載または対応する装置の機能を示す。
【０１９５】
本発明の分解された信号は、デジタル記憶媒体に格納されることができる、または、無線伝送媒体またはインターネットなどの有線伝送媒体などの伝送媒体に送られることができる。
【０１９６】
特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実行されることができる。その実施態様は、各方法が実行されるように、プログラミング可能な計算機システムと協動する（または協動することができる）、そこに格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実行されることができる。
【０１９７】
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの１つが実行されるように、プログラミング可能な計算機システムと協動することができる、電子的に読み込み可能な制御信号を有する非一時的データキャリアを含む。
【０１９８】
通常、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実行されることができ、コンピュータプログラム製品がコンピュータ上で動作するときに、そのプログラムコードは、本方法のうちの１つを実行するために実施される。プログラムコードは、例えば機械読み取り可能なキャリアに格納されうる。
【０１９９】
他の実施形態は、機械読み取り可読キャリアに格納された、本願明細書において説明された方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０２００】
従って、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本願明細書において説明された方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０２０１】
従って、本発明の方法の更なる実施形態は、その上に記録された、本願明細書において説明された方法のうちの１つを実行するためのコンピュータプログラムを含んでいるデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。
【０２０２】
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するためのコンピュータプログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されることができる。
【０２０３】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するために構成された又は適合された処理手段、例えばコンピュータまたはプログラム可能な論理回路を含む。
【０２０４】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実行するためのコンピュータプログラムをそこにインストールされているコンピュータを含む。
【０２０５】
いくつかの実施形態において、プログラム可能な論理回路（例えば論理プログラミング可能デバイス）は、本願明細書において説明された方法の機能の一部又は全部を実行するために使用されることができる。いくつかの実施形態において、論理プログラミング可能デバイスは、本願明細書において説明された方法のうちの１つを実行するために、マイクロプロセッサと協動することができる。通常、本方法は、いかなるハードウェア装置によっても好ましくは実行される。
【０２０６】
上記実施形態は、本発明の原理のために、単に図示しているだけである。本願明細書において説明された本装置および詳細の修正変更が、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲のみによって限定され、本願明細書における実施形態の記載および説明として示された具体的な詳細によっては限定されないという意図である。
【０２０７】
「文献」
［１］マイケル Ａ．ガーゾン．オーディオ多重放送およびビデオのアンビソニックス．Ｊ．Ａｕｄｉｏ．Ｅｎｇ．Ｓｏｃ，３３（１１）：８５９−８７１，１９８５．
［２］Ｖ．プルッキ、「空間再生およびステレオアップミキシングにおける方向オーディオ符号化」、第２８回ＡＥＳ国際コンフェレンスの予稿集、ｐｐ．２５１―２５８、Ｐｉｔｅa、スウェーデン、２００６年６月３０日〜７月２日
［３］Ｖ．プルッキ、「方向オーディオ符号化を用いた空間再生」、Ｊ．Ａｕｄｉｏ．Ｅｎｇ．Ｓｏｃ、ｖｏｌ５５、ｎｏ．６、ｐｐ．５０３―５１６、２００７年６月
［４］Ｃ．ファーラー、「空間オーディオ符号器に関するマイクロホンフロントエンド」、第１２５回ＡＥＳ国際コンベンションの予稿集、サンフランシスコ、２００８年１０月
［５］Ｍ．カリンガー、Ｈ．オクセンフェルト、Ｇ．デルガルド、Ｆ．キュッヒ、Ｄ．マーネ、Ｒ．シュルツ―アムリング、およびＯ．ティエルガルト、「方向オーディオ符号化のための空間フィルタリング手法」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２６、ミュンヘン、ドイツ、２００９年５月
［６］Ｒ．シュルツ―アムリング、Ｆ．キュッヒ、Ｏ．ティエルガルト、およびＭ．カリンガー、「パラメトリック音場表現に基づく音響ズーミング」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８、ロンドン、英国、２０１０年５月
［７］Ｊ．ヘーレ、Ｃ．ファルヒ、Ｄ．マーネ、Ｇ．デルガルト、Ｍ．カリンガー、およびＯ．ティエルガルト、「空間オーディオオブジェクト符号化および方向オーディオ符号化技術を組み合わせたインタラクティブ遠隔会議」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８、ロンドン英国、２０１０年５月
［８］Ｅ．Ｇ．ウィリアムス、フーリエ音響学：音響放射および近場音響ホログラフィー、アカデミック・プレス、１９９９年
［９］Ａ．クンツおよびＲ．ラベンシュタイン、「全周性測定からの波動場の外挿の限界」、１５ｔｈ  Ｅｕｒｏｐｅａｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ（ＥＵＳＩＰＣＯ  ２００７）、２００７
［１０］Ａ・ワルターおよびＣ．フォーラ、「ｂ―フォーマット記録を使用した間隔をおいたマイクロホンアレイの線形シミュレーション」、Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８、ロンドン英国、２０１０年５月
［１１］米国６１／２８７，５９６公報：第２のパラメトリック空間オーディオ信号に第１のパラメトリック空間オーディオ信号を変換するための装置及び方法
［１２］Ｓ．リカードおよびＺ．ユルマズ、「音声の近似Ｗ−ディスジョイント直交性について」、Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、２００２．ＩＣＡＳＳＰ  ２００２年ＩＥＥＥ国際コンフェレンス、２００２年４月、１巻
［１３］Ｒ．ロイ、Ａ．ポールラージおよびＴ．カイラス、「サブスペース回転による到来方向推定  ― ＥＳＰＲＩＴ」、Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）、ＩＥＥＥ国際コンフェレンス、スタンフォード、ＣＡ、ＵＳＡ、１９８６年４月
［１４］Ｒ．シュミット、「複数のエミッタ位置および信号パラメータ推定」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｎｔｅｎｎａｓ  ａｎｄ  Ｐｒｏｐａｇａｔｉｏｎ、３４巻、ｎｏ．３、ページ２７６〜２８０、１９８６年
［１５］Ｊ．マイケル・スティール、「平面のランダムサンプルの最適三角測量」、確率の紀要、１０巻、Ｎｏ．３（１９８２年８月）、ページ５４８〜５５３
［１６］Ｆ．Ｊ．ファヒー、音の強さ、エセックス：エルゼビア・サイエンス・パブリッシャーズ社、１９８９年
［１７］Ｒ．シュルツ―アムリング、Ｆ．キュッヒ、Ｍ．カリンガー、Ｇ．デルガルト、Ｔ．アホネンおよびＶ．プルッキ、「分析のための平面マイクロホン・アレイ処理および方向オーディオ符号化を使用した空間オーディオの再生」、オーディオ技術学会規則１２４、アムステルダム、オランダ、２００８年５月
［１８］Ｍ．カリンガー、Ｆ．キュッヒ、Ｒ．シュルツ―アムリング、Ｇ．デルガルト、Ｔ．アホネンおよびＶ．プルッキ、「方向オーディオ符号化のためのマイクロホンアレイを用いた拡張された方向推定」、ハンズフリーオーディオ通信およびマイクロホンアレイ、２００８．ＨＳＣＭＡ  ２００８、２００８年５月、ページ４５〜４８
［１９］Ｒ．Ｋ．ファーネス、「アンビソニック ― 概要 ― 」、ＡＥＳ第８回国際コンフェレンス、１９９０年４月、ページ１８１〜１８９
［２０］ジョヴァンニ・デルガルト、オリバー・ティーレガルト、トビアス・ウェラーおよびＥ．Ａ．Ｐ．ハベッツ、分散型配置によって集められた幾何的情報を使用した仮想マイクロホン信号の生成、ハンズフリー・スピーチ・コミュニケーションとマイクロホン配置（ＨＳＣＭＡ’１１）の第３回ジョイントワークショップ、エジンバラ、英国、２０１１年５月
［２１］Ｊ．ヘーレ、Ｋ．クジュルリング、Ｊ．ブリーバールト、Ｃ．ファーラー、Ｓ．ディッシュ、Ｈ．パルンハーゲン、Ｊ．コッペンス、Ｊ．ヒルペルト、Ｊ．レーデン、Ｗ．オーメン、Ｋ．リンツマイヤー、Ｋ．Ｓ．チョン、「ＭＰＥＧサラウンド  ―効率的かつ互換性を持つマルチチャンネルオーディオ符号化のためのＩＳＯ／ＭＰＥＧ基準」、第１２２回ＡＥＳコンベンション、ウィーン、オーストリア、２００７年、プレプリント７０４８
［２２］ビーレ・プルッキ、方向オーディオ符号化を用いた空間再生、Ｊ．Ａｕｄｉｏ  Ｅｎｇ．Ｓｏｃ、５５（６）：５０３―５１６、２００７年６月
［２３］Ｃ．ファーラー、空間オーディオコーダのためのマイクロホン・フロントエンド、第１２５回ＡＥＳ国際コンベンションのプロシーディング、サンフランシスコ、２００８年１０月
［２４］エマニュエル・ガロおよびニコラス・ツィンゴス、フィールドレコーディングからの構造聴覚シーンの抽出とリレンダリング、ＡＥＳ第３０回国際コンフェレンス、２００７
［２５］イェルーン・ブリーバールト、ジョナス・エングデガルト、コーネリア・ファルヒ、オリバー・ヘルムート、ヨハネス・ヒルペルト、アンドレアス・ホエルツァー、イェルーン・コッペンス、ワーナー・オーメン、バーバラ・レッシュ、エリク・シュイヤース、レオニード・テレンティーブ、空間オーディオオブジェクト符号化（ｓａｏｃ）−パラメトリック・オブジェクトベースのオーディオ符号化に関する最新のＭＰＥＧ標準、ＡＥＳコンベンション１２４回、２００８年５月
［２６］Ｒ．ロイおよびＴ．カイラス、ＥＳＰＲＩＴ  −回転不変技術による信号パラメータの推定、音響、音声および信号処理、ＩＥＥＥ論文集、３７（７）：９８４―９９５、１９８９年７月
［２７］国際公開ＷＯ２００４／０７７８８４号公報：タピオ・ロッキ、ユハ・メリマー、ビーレ・プルッキ、マルチチャンネルリスニングにおける自然のまたは修正された空間印象を再生するための方法、２００６年
［２８］スヴェイン・ベルグ、空間オーディオ信号を変換するための装置および方法、米特許出願、出願番号１０／５４７，１５１
【図１】
0005878549.tif 000020
【図２】
0005878549.tif 000021
【図３】
0005878549.tif 000022
【図３ｃ】
0005878549.tif 000023
【図４】
0005878549.tif 000024
【図５】
0005878549.tif 000025
【図６ａ】
0005878549.tif 000026
【図６ｂ】
0005878549.tif 000027
【図７】
0005878549.tif 000028
【図８】
0005878549.tif 000029
【図９】
0005878549.tif 000030
【図１０ａ】
0005878549.tif 000031
【図１０ｂ】
0005878549.tif 000032
【図１０ｃ】
0005878549.tif 000033
【図１１】
0005878549.tif 000034
【図１２】
0005878549.tif 000035
【図１３】
0005878549.tif 000036
【図１４】
0005878549.tif 000037
【図１５】
0005878549.tif 000038
【図１６】
0005878549.tif 000039
【図１７】
0005878549.tif 000040
【図１８】
0005878549.tif 000041
【図１９】
0005878549.tif 000042
【図２０】
0005878549.tif 000043
【図２１】
0005878549.tif 000044
【図２２】
0005878549.tif 000045
【図２３】
0005878549.tif 000046
【図２４】
0005878549.tif 000047
【図２５】
0005878549.tif 000048
【図２６】
0005878549.tif 000049
【図２７】
0005878549.tif 000050
【図２８ａ】
0005878549.tif 000051
【図２８ｂ】
0005878549.tif 000052
【図２８ｃ】
0005878549.tif 000053