(57)【特許請求の範囲】
【請求項１】
環境の複数の場所に対するパワー値を示す空間パワー密度を、その環境内に位置する１以上の音源の１以上のパワー値および１以上の位置値を示す音源情報に基づいて決定する空間パワー密度決定器（１０、２１）と、
前記空間パワー密度に基づいてマイクロフォンの位置を推定する空間情報推定器（２０、２２）と、
を備え、
前記空間情報推定器（２０、２２）は、前記環境におけるサウンドシーンの中心位置を推定するサウンドシーン中心推定器（４１）と、前記サウンドシーンの中心位置に基づいて前記マイクロフォンの位置を決定するマイクロフォン位置計算器（４２、４４）と、前記マイクロフォンの向きを決定する向き決定器（４５）を備え、
前記向き決定器（４５）は、前記空間パワー密度に基づいて前記マイクロフォンの向きを決定する構成であり、
前記空間パワー密度決定器（１０、２１）は、前記環境が２次元環境である場合には、数式：
【数１】
0005814476.tif 000039
を適用して、前記環境における複数の場所における時間−周波数ビン（ｋ，ｎ）のパワー値Γ（ｘ，ｙ，ｋ，ｎ）を計算することにより、空間パワー密度を決定し、
ここで、ｋは周波数インデックスであり、ｎは時間インデックスであり、Ｎは音源の数であり、ｘおよびｙは複数の場所の座標であり、ｐｏｗｅｒｉ（ｋ，ｎ）は時間−周波数ビン（ｋ，ｎ）のｉ番目の音源におけるパワー値であり、ｘＥＳＳｉおよびｙＥＳＳｉはｉ番目の音源の座標であり、γｉはスカラー値であり、ｇはｘ、ｙ、ｘＥＳＳｉ、ｙＥＳＳｉ、ｋ、ｎおよびγｉに依存する関数であり、
前記空間パワー密度決定器（１０、２１）は、前記環境が３次元環境である場合には、数式：
【数２】
0005814476.tif 000040
を適用して、前記環境における複数の場所における時間−周波数ビン（ｋ，ｎ）のパワー値Γ（ｘ，ｙ，ｚ，ｋ，ｎ）を計算することにより、空間パワー密度を決定し、
ここで、ｋは周波数インデックスであり、ｎは時間インデックスであり、Ｎは音源の数であり、ｘ、ｙおよびｚは前記複数の場所の座標であり、ｐｏｗｅｒｉ（ｋ，ｎ）は時間−周波数ビン（ｋ，ｎ）についてのｉ番目の音源におけるパワー値であり、ｘＥＳＳｉ、ｙＥＳＳｉおよびｚＥＳＳｉはｉ番目の音源の座標であり、γｉはスカラー値であり、ｇはｘ、ｙ、ｚ、ｘＥＳＳｉ、ｙＥＳＳｉ、ｚＥＳＳｉ、ｋ、ｎおよびγｉに依存する関数である、
装置
【請求項２】
請求項１に記載の装置において、前記向き決定器（４５）は、前記空間パワー密度に基づいて、前記マイクロフォンが前記サウンドシーンの中心を向くように、前記マイクロフォンの向きを決定する、装置。
【請求項３】
２
請求項１または２に記載の装置において、前記マイクロフォン位置計算器（４２、４４）は、前記マイクロフォンの位置として、仮想空間マイクロフォンの位置を計算する、装置。
【請求項４】
請求項１から３のいずれか１項に記載の装置において、前記サウンドシーン中心推定器（４１）は、前記サウンドシーンの中心推定するため、前記空間パワー密度の重心を計算する、装置。
【請求項５】
請求項１から３のいずれか１項に記載の装置において、前記サウンドシーン中心推定器（４１）は、前記空間パワー密度に基づいてパワー遅延プロファイルを決定し、前記環境における複数の場所の各々についてのパワー遅延プロファイルに基づいて二乗平均平方根遅延を決定し、前記複数の場所のうちの、それらの場所の二乗平均平方根遅延のうちの最小の二乗平均平方根遅延を有する場所をサウンドシーンの中心として決定する、装置。
【請求項６】
請求項１から５のいずれか１項に記載の装置において、
前記環境において前記サウンドシーンの中心を通る前記複数の線に各々エネルギー幅が対応付けられ、
前記マイクロフォン位置計算器（４２、４４）は、
前記複数の線のうち最大のエネルギー幅を有する線を最大幅の線として決定し、
前記サウンドシーンの中心と前記マイクロフォンとの位置を通る第２の線が前記最大幅の線に直交するように、前記マイクロフォンの位置を決定する、
装置。
【請求項７】
請求項６に記載の装置において、前記複数の線のうちの対象線のエネルギー幅がその対象線の線分の最大幅を示し、前記線分を決める線分の第１の点および前記線分を決める線分の他の第２の点が、所定のパワー値以上の、前記空間パワー密度によって示されるパワー値を有する、装置。
【請求項８】
請求項１から5のいずれか1項に記載の装置において、
前記マイクロフォン位置計算器（４２、４４）は、複数の列を有する行列に特異値分解を適用する構成であり、
前記行列の列は、前記サウンドシーンの中心に対する前記環境内の場所の位置を示し、
前記行列の列のみが、所定の閾値よりも大きい空間パワー密度によって示されるパワー値を有する場所の位置、または所定の閾値以上の空間パワー密度によって示されるパワー値を有する場所の位置を示す、
装置。
【請求項９】
仮想出力信号を生成する装置（９９１）であって、
請求項１から８のいずれか１項に記載のマイクロフォン位置決め装置（９９２）と、
前記マイクロフォン位置決め装置内のマイクロフォン位置計算器（９９３）で計算済のマイクロフォンの位置で仮想マイクロフォンの録音を模擬するオーディオ出力信号を仮想出力信号として生成するオーディオ出力信号生成装置（９９４）と、
を備え、
前記オーディオ出力信号生成装置は、
前記環境内の第１の現実のマイクロフォン位置にある第１の現実の空間マイクロフォンによって供給される第１の方向情報と、前記環境内の第２の現実のマイクロフォン位置にある第２の現実の空間マイクロフォンによって供給される第２の方向情報に基づいて、前記環境内で音波を放射する音源の位置を示す音源位置を推定するサウンドイベント位置推定器（１１０）と、
前記第１の現実の空間マイクロフォンで録音されている第１の録音オーディオ入力信号と、前記第１の現実のマイクロフォン位置と、前記計算済のマイクロフォン位置きに基づいて、前記オーディオ出力信号を生成する情報演算モジュール（１２０）と、
を備える、
仮想出力信号生成装置。
【請求項１０】
マイクロフォンの位置決める方法であって、
環境の複数の場所に対するパワー値を示す空間パワー密度を、その環境内に位置する１以上の音源の１以上のパワー値および１以上の位置値を示す音源情報に基づいて決定し、
前記空間パワー密度に基づいてマイクロフォンの位置を推定し、
前記マイクロフォンの方向を決定し、
前記マイクロフォンの位置の推定では、前記環境におけるサウンドシーンの中心位置を推定し、推定されたサウンドシーンの中心位置に基づいて前記マイクロフォンの位置を決定し、
前記空間パワー密度の決定では、
前記環境が２次元環境である場合には、数式：
【数３】
0005814476.tif 000041
を適用して、前記環境における複数の場所における時間−周波数ビン（ｋ，ｎ）のパワー値Γ（ｘ，ｙ，ｋ，ｎ）を計算することにより、空間パワー密度を決定し、
ここで、ｋは周波数インデックスであり、ｎは時間インデックスであり、Ｎは音源の数であり、ｘおよびｙは複数の場所の座標であり、ｐｏｗｅｒｉ（ｋ，ｎ）は時間−周波数ビン（ｋ，ｎ）のｉ番目の音源におけるパワー値であり、ｘＥＳＳｉおよびｙＥＳＳｉはｉ番目の音源の座標であり、γｉはスカラー値であり、ｇはｘ、ｙ、ｘＥＳＳｉ、ｙＥＳＳｉ、ｋ、ｎおよびγｉに依存する関数であり、
前記環境が３次元環境である場合には、数式：
【数４】
0005814476.tif 000042
を適用して、前記環境における複数の場所における時間−周波数ビン（ｋ，ｎ）のパワー値Γ（ｘ，ｙ，ｚ，ｋ，ｎ）を計算することにより、空間パワー密度を決定し、
ここで、ｋは周波数インデックスであり、ｎは時間インデックスであり、Ｎは音源の数であり、ｘ、ｙおよびｚは前記複数の場所の座標であり、ｐｏｗｅｒｉ（ｋ，ｎ）は時間−周波数ビン（ｋ，ｎ）についてのｉ番目の音源におけるパワー値であり、ｘＥＳＳｉ、ｙＥＳＳｉおよびｚＥＳＳｉはｉ番目の音源の座標であり、γｉはスカラー値であり、ｇはｘ、ｙ、ｚ、ｘＥＳＳｉ、ｙＥＳＳｉ、ｚＥＳＳｉ、ｋ、ｎおよびγｉに依存する関数である、
マイクロフォン位置決め方法。
【請求項１１】
コンピュータまたはプロセッサで実行されるときに請求項１０の方法を実施するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理に関し、特に、自動マイクロフォン位置決め装置および方法に関する。
【背景技術】
【０００２】
オーディオ信号処理はますます重要になってきている。特に、空間音の録音は多数のアプリケーションで採用されている。空間音の録音は、再生側において、視聴者がサウンドイメージをあたかも録音場所にいるかのように知覚するように、複数のマイクロフォンの補助によって音場を捉えることを目的としている。
【０００３】
空間サウンド録音についての標準的なアプローチでは、通常、離隔された無指向性のマイクロフォン（例えば、ＡＢステレオ音響）、コインシデント指向性マイクロフォン（例えば、インテンシティステレオ音響）、または、例えば非特許文献１に示されているような、ＡｍｂｉｓｏｎｉｃｓにおけるＢ−フォーマットマイクロフォンのような、より洗練されたマイクロフォンを用いる。
【０００４】
空間マイクロフォン、例えば、指向性マイクロフォン、マイクロフォンアレイなどは、空間音を録音することができる。用語「空間マイクロフォン」とは、音の到来方向を取得することができる、空間音の取得のための任意の装置（例えば、指向性マイクロフォンの組合せ、マイクロフォンアレイなど）をいう。
【０００５】
音の再生について、既存の非パラメトリックなアプローチは、所望のオーディオ再生信号を、録音されたマイクロフォン信号から直接導出する。これらのアプローチの大きな不利益点は、録音される空間的なイメージが、使用される空間マイクロフォンに常に相対することにある。
【０００６】
多くのアプリケーションにおいて、空間マイクロフォンを、所望の位置、例えば、１以上の音源に近い位置に配置することは可能ではなく、または現実的でない。この場合、複数の空間マイクロフォンをアクティブな音源からさらに遠ざけ、それでもサウンドシーンを所望のものとして捉えることができるように配置することが有利となる。
【０００７】
アプリケーションによっては２以上の現実の空間マイクロフォンを採用する。なお、用語「現実の空間マイクロフォン」は、所望のマイクロフォン種またはマイクロフォンの組合せ（例えば、指向性マイクロフォン、一般的なステレオマイクロフォンで使用されるような指向性マイクロフォンの対、それだけでなくマイクロフォンアレイ）であって、物理的に存在するものをいう。
【０００８】
各現実の空間マイクロフォンについて、到来方向（Ｄｉｒｅｃｔｉｏｎ  Ｏｆ  Ａｒｒｉｖａｌ：ＤＯＡ）を時間−周波数ドメインにおいて推定することができる。それらの相対位置の知識と併せて現実の空間マイクロフォンによって収集された情報を用いて、環境において任意の位置に（意のままに）仮想的に配置された空間マイクロフォンの出力信号を演算することが可能となる。以下、この空間マイクロフォンを「仮想の空間マイクロフォン」という。
【０００９】
このようなアプリケーションでは、１以上の仮想マイクロフォンの位置および向きが手動で入力される必要がある。しかし、１以上の仮想マイクロフォンの最適位置および／または向きが自動で決定されればよい。
【００１０】
仮想マイクロフォンをどこに配置するか、物理的なマイクロフォンをどこに配置するかを決定し、または最適視聴位置を決定する装置および方法が利用可能となれば有利である。さらに、どのようにしてマイクロフォンを最適な向きに配置するかを決定できれば有利である。用語「マイクロフォン位置決め」および「位置決め情報」は、マイクロフォンまたは視聴者の適切な位置をどのようにして決定するか、マイクロフォンまたは視聴者の適切な向きをどのようにして決定するかに関するものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ＵＳ６１／２８７，５９６：  Ａｎ  Ａｐｐａｒａｔｕｓ  ａｎｄ  ａ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｃｏｎｖｅｒｔｉｎｇ  ａ  Ｆｉｒｓｔ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｓｉｇｎａｌ  ｉｎｔｏ  ａ  Ｓｅｃｏｎｄ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｓｉｇｎａｌ
【非特許文献】
【００１２】
【非特許文献１】Ｍｉｃｈａｅｌ  Ａ．  Ｇｅｒｚｏｎ．  Ａｍｂｉｓｏｎｉｃｓ  ｉｎ  ｍｕｌｔｉｃｈａｎｎｅｌ  ｂｒｏａｄｃａｓｔｉｎｇ  ａｎｄ  ｖｉｄｅｏ．  Ｊ．  Ａｕｄｉｏ  Ｅｎｇ．  Ｓｏｃ，  ３３（１１）：  ８５９−８７１，  １９８５
【非特許文献２】Ｖ．  Ｐｕｌｋｋｉ，  “Ｄｉｒｅｃｔｉｏｎａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ  ｉｎ  ｓｐａｔｉａｌ  ｓｏｕｎｄ  ｒｅｐｒｏｄｕｃｔｉｏｎ  ａｎｄ  ｓｔｅｒｅｏ  ｕｐｍｉｘｉｎｇ，”  ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＡＥＳ  ２８ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐｐ．  ２５１−２５８，  Ｐｉｔｅ;，  Ｓｗｅｄｅｎ，  Ｊｕｎｅ  ３０  −  Ｊｕｌｙ  ２，  ２００６
【非特許文献３】Ｖ．  Ｐｕｌｋｋｉ，  “Ｓｐａｔｉａｌ  ｓｏｕｎｄ  ｒｅｐｒｏｄｕｃｔｉｏｎ  ｗｉｔｈ  ｄｉｒｅｃｔｉｏｎａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ，”  Ｊ．  Ａｕｄｉｏ  Ｅｎｇ．  Ｓｏｃ．，  ｖｏｌ．  ５５，  ｎｏ．  ６，  ｐｐ．  ５０３−５１６，  Ｊｕｎｅ  ２００７
【非特許文献４】Ｃ．  Ｆａｌｌｅｒ：  “Ｍｉｃｒｏｐｈｏｎｅ  Ｆｒｏｎｔ−Ｅｎｄｓ  ｆｏｒ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｅｒｓ”，  ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＡＥＳ  １２５ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｓａｎ  Ｆｒａｎｃｉｓｃｏ，  Ｏｃｔ．  ２００８
【非特許文献５】Ｍ．  Ｋａｌｌｉｎｇｅｒ，  Ｈ．  Ｏｃｈｓｅｎｆｅｌｄ，  Ｇ．  Ｄｅｌ  Ｇａｌｄｏ，  Ｆ．  Ｋｕｅｃｈ，  Ｄ．  Ｍａｈｎｅ，  Ｒ．  Ｓｃｈｕｌｔｚ−Ａｍｌｉｎｇ．  ａｎｄ  Ｏ．  Ｔｈｉｅｒｇａｒｔ，  “Ａ  ｓｐａｔｉａｌ  ｆｉｌｔｅｒｉｎｇ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｄｉｒｅｃｔｉｏｎａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ，”  ｉｎ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２６，  Ｍｕｎｉｃｈ，  Ｇｅｒｍａｎｙ，  Ｍａｙ  ２００９
【非特許文献６】Ｒ．  Ｓｃｈｕｌｔｚ−Ａｍｌｉｎｇ，  Ｆ．  Ｋｕｅｃｈ，  Ｏ．  Ｔｈｉｅｒｇａｒｔ，  ａｎｄ  Ｍ．  Ｋａｌｌｉｎｇｅｒ，  “Ａｃｏｕｓｔｉｃａｌ  ｚｏｏｍｉｎｇ  ｂａｓｅｄ  ｏｎ  ａ  ｐａｒａｍｅｔｒｉｃ  ｓｏｕｎｄ  ｆｉｅｌｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”  ｉｎ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８，  Ｌｏｎｄｏｎ  ＵＫ，  Ｍａｙ  ２０１０
【非特許文献７】Ｊ．  Ｈｅｒｒｅ，  Ｃ．  Ｆａｌｃｈ，  Ｄ．  Ｍａｈｎｅ，  Ｇ．  Ｄｅｌ  Ｇａｌｄｏ，  Ｍ．  Ｋａｌｌｉｎｇｅｒ，  ａｎｄ  Ｏ．  Ｔｈｉｅｒｇａｒｔ，  “Ｉｎｔｅｒａｃｔｉｖｅ  ｔｅｌｅｃｏｎｆｅｒｅｎｃｉｎｇ  ｃｏｍｂｉｎｉｎｇ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｏｂｊｅｃｔ  ｃｏｄｉｎｇ  ａｎｄ  ＤｉｒＡＣ  ｔｅｃｈｎｏｌｏｇｙ，”  ｉｎ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８，  Ｌｏｎｄｏｎ  ＵＫ，  Ｍａｙ  ２０１０
【非特許文献８】Ｅ．  Ｇ．  Ｗｉｌｌｉａｍｓ，  Ｆｏｕｒｉｅｒ  Ａｃｏｕｓｔｉｃｓ：  Ｓｏｕｎｄ  Ｒａｄｉａｔｉｏｎ  ａｎｄ  Ｎｅａｒｆｉｅｌｄ  Ａｃｏｕｓｔｉｃａｌ  Ｈｏｌｏｇｒａｐｈｙ，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ，  １９９９
【非特許文献９】Ａ．  Ｋｕｎｔｚ  ａｎｄ  Ｒ．  Ｒａｂｅｎｓｔｅｉｎ，  “Ｌｉｍｉｔａｔｉｏｎｓ  ｉｎ  ｔｈｅ  ｅｘｔｒａｐｏｌａｔｉｏｎ  ｏｆ  ｗａｖｅ  ｆｉｅｌｄｓ  ｆｒｏｍ  ｃｉｒｃｕｌａｒ  ｍｅａｓｕｒｅｍｅｎｔｓ，”  ｉｎ  １５ｔｈ  Ｅｕｒｏｐｅａｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ  （ＥＵＳＩＰＣＯ  ２００７），  ２００７
【非特許文献１０】Ａ．  Ｗａｌｔｈｅｒ  ａｎｄ  Ｃ．  Ｆａｌｌｅｒ，  “Ｌｉｎｅａｒ  ｓｉｍｕｌａｔｉｏｎ  ｏｆ  ｓｐａｃｅｄ  ｍｉｃｒｏｐｈｏｎｅ  ａｒｒａｙｓ  ｕｓｉｎｇ  ｂ−ｆｏｒｍａｔ  ｒｅｃｏｒｄｉｎｇｓ，”  ｉｎ  Ａｕｄｉｏ  Ｅｎｇｉｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２８，  Ｌｏｎｄｏｎ  ＵＫ，  Ｍａｙ  ２０１０
【非特許文献１１】Ｓ．  Ｒｉｃｋａｒｄ  ａｎｄ  Ｚ．  Ｙｉｌｍａｚ，  “Ｏｎ  ｔｈｅ  ａｐｐｒｏｘｉｍａｔｅ  Ｗ−ｄｉｓｊｏｉｎｔ  ｏｒｔｈｏｇｏｎａｌｉｔｙ  ｏｆ  ｓｐｅｅｃｈ，”  ｉｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ２００２．  ＩＣＡＳＳＰ  ２００２．  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ａｐｒｉｌ  ２００２，  ｖｏｌ．  １
【非特許文献１２】Ｒ．  Ｒｏｙ，  Ａ．  Ｐａｕｌｒａｊ，  ａｎｄ  Ｔ．  Ｋａｉｌａｔｈ，  “Ｄｉｒｅｃｔｉｏｎ−ｏｆ−ａｒｒｉｖａｌ  ｅｓｔｉｍａｔｉｏｎ  ｂｙ  ｓｕｂｓｐａｃｅ  ｒｏｔａｔｉｏｎ  ｍｅｔｈｏｄｓ  −  ＥＳＰＲＩＴ，”  ｉｎ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ，  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＡＳＳＰ），  Ｓｔａｎｆｏｒｄ，  ＣＡ，  ＵＳＡ，  Ａｐｒｉｌ  １９８６
【非特許文献１３】Ｒ．  Ｓｃｈｍｉｄｔ，  “Ｍｕｌｔｉｐｌｅ  ｅｍｉｔｔｅｒ  ｌｏｃａｔｉｏｎ  ａｎｄ  ｓｉｇｎａｌ  ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｎｔｅｎｎａｓ  ａｎｄ  Ｐｒｏｐａｇａｔｉｏｎ，  ｖｏｌ．  ３４，  ｎｏ．  ３，  ｐｐ．  ２７６−２８０，  １９８６
【非特許文献１４】Ｊ．  Ｍｉｃｈａｅｌ  Ｓｔｅｅｌｅ，  “Ｏｐｔｉｍａｌ  Ｔｒｉａｎｇｕｌａｔｉｏｎ  ｏｆ  Ｒａｎｄｏｍ  Ｓａｍｐｌｅｓ  ｉｎ  ｔｈｅ  Ｐｌａｎｅ”，  Ｔｈｅ  Ａｎｎａｌｓ  ｏｆ  Ｐｒｏｂａｂｉｌｉｔｙ，  Ｖｏｌ．  １０，  Ｎｏ．３  （Ａｕｇ．，  １９８２），  ｐｐ．  ５４８−５５３
【非特許文献１５】Ｆ．  Ｊ．  Ｆａｈｙ，  Ｓｏｕｎｄ  Ｉｎｔｅｎｓｉｔｙ，  Ｅｓｓｅｘ：  Ｅｌｓｅｖｉｅｒ  Ｓｃｉｅｎｃｅ  Ｐｕｂｌｉｓｈｅｒｓ  Ｌｔｄ．，  １９８９
【非特許文献１６】Ｒ．  Ｓｃｈｕｌｔｚ−Ａｍｌｉｎｇ，  Ｆ．  Ｋ;ｃｈ，  Ｍ．  Ｋａｌｌｉｎｇｅｒ，  Ｇ．  Ｄｅｌ  Ｇａｌｄｏ，  Ｔ．  Ａｈｏｎｅｎ  ａｎｄ  Ｖ．  Ｐｕｌｋｋｉ，  “Ｐｌａｎａｒ  ｍｉｃｒｏｐｈｏｎｅ  ａｒｒａｙ  ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  ｔｈｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ｒｅｐｒｏｄｕｃｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｕｓｉｎｇ  ｄｉｒｅｃｔｉｏｎａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ，”  ｉｎ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  １２４，  Ａｍｓｔｅｒｄａｍ，  Ｔｈｅ  Ｎｅｔｈｅｒｌａｎｄｓ，  Ｍａｙ  ２００８．
【非特許文献１７】Ｍ．  Ｋａｌｌｉｎｇｅｒ，  Ｆ．  Ｋｕｅｃｈ，  Ｒ．  Ｓｃｈｕｌｔｚ−Ａｍｌｉｎｇ，  Ｇ．  Ｄｅｌ  Ｇａｌｄｏ，  Ｔ．  Ａｈｏｎｅｎ  ａｎｄ  Ｖ．  Ｐｕｌｋｋｉ，  “Ｅｎｈａｎｃｅｄ  ｄｉｒｅｃｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  ｍｉｃｒｏｐｈｏｎｅ  ａｒｒａｙｓ  ｆｏｒ  ｄｉｒｅｃｔｉｏｎａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ；”  ｉｎ  Ｈａｎｄｓ−Ｆｒｅｅ  Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｍｉｃｒｏｐｈｏｎｅ  Ａｒｒａｙｓ，  ２００８．  ＨＳＣＭＡ  ２００８，  Ｍａｙ  ２００８，  ｐｐ．  ４５−４８
【非特許文献１８】Ｒ．  Ｋ．  Ｆｕｒｎｅｓｓ，  “Ａｍｂｉｓｏｎｉｃｓ  −  Ａｎ  ｏｖｅｒｖｉｅｗ，”  ｉｎ  ＡＥＳ  ８ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ，  Ａｐｒｉｌ  １９９０，  ｐｐ．  １８１−１８９
【非特許文献１９】Ｇｉｏｖａｎｎｉ  Ｄｅｌ  Ｇａｌｄｏ，  Ｏｌｉｖｅｒ  Ｔｈｉｅｒｇａｒｔ，  ＴｏｂｉａｓＷｅｌｌｅｒ，  ａｎｄ  Ｅ．  Ａ．  Ｐ．  Ｈａｂｅｔｓ．  Ｇｅｎｅｒａｔｉｎｇ  ｖｉｒｔｕａｌ  ｍｉｃｒｏｐｈｏｎｅ  ｓｉｇｎａｌｓ  ｕｓｉｎｇ  ｇｅｏｍｅｔｒｉｃａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｇａｔｈｅｒｅｄ  ｂｙ  ｄｉｓｔｒｉｂｕｔｅｄ  ａｒｒａｙｓ．  Ｉｎ  Ｔｈｉｒｄ  Ｊｏｉｎｔ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｈａｎｄｓ−ｆｒｅｅ  Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｍｉｃｒｏｐｈｏｎｅ  Ａｒｒａｙｓ  （ＨＳＣＭＡ  ’１１），  Ｅｄｉｎｂｕｒｇｈ，  Ｕｎｉｔｅｄ  Ｋｉｎｇｄｏｍ，  Ｍａｙ  ２０１１
【非特許文献２０】Ｖｉｌｌｅ  Ｐｕｌｋｋｉ．  Ｓｐａｔｉａｌ  ｓｏｕｎｄ  ｒｅｐｒｏｄｕｃｔｉｏｎ  ｗｉｔｈ  ｄｉｒｅｃｔｉｏｎａｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ．  Ｊ．  Ａｕｄｉｏ  Ｅｎｇ．  Ｓｏｃ，  ５５（６）：５０３;５１６，  Ｊｕｎｅ  ２００７
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の課題は、マイクロフォン位置決めについての改善されたコンセプトを提供することである。
【課題を解決するための手段】
【００１４】
本発明の課題は、請求項１に記載の装置、請求項１７に記載の方法および請求項１８に記載のコンピュータプログラムによって解決される。
【００１５】
最適なマイクロフォン位置または最適な視聴位置を決定するための装置が提供される。その装置は、空間パワー密度決定器および空間情報推定器を備える。空間パワー密度決定器は、ある環境における複数の場所についてのパワー値を示す空間パワー密度を、その環境に配置された１以上の音源の１以上のパワー値および１以上の位置値を示す音源情報に基づいて決定するように構成さる。空間情報推定器は、空間パワー密度に基づいて音響空間情報を推定するように構成される。
【００１６】
以降において、用語「仮想マイクロフォン」は、通常、任意のタイプのマイクロフォンをいうものとする。特に、用語「仮想マイクロフォン」は、仮想の空間または非空間マイクロフォンの双方、位置決め情報が決定されるべき物理的に存在する空間または非空間マイクロフォンに関する。
【００１７】
空間情報推定器は、ある環境における仮想マイクロフォンの最適な位置または仮想マイクロフォンの最適な向きを、空間パワー密度決定器によって決定された空間パワー密度に基づいて決定するように適合される。空間パワー密度は、音源のパワー値および対応する位置情報に基づいて空間パワー分布決定器によって決定される。
【００１８】
音源、例えば、１以上の仮想マイクロフォンを表現するための１以上のマイクロフォンの最適位置および／または向きを決定するための自動的態様が提供される。
【００１９】
いくつかの態様では、空間パワー密度決定器は、例えば、ＥＳＳ位置の推定に対する信頼性の測定値を表す有意性メトリックによって与えられる選択的情報を利用するように適合されていてもよい。
【００２０】
例えば、いくつかの態様では、音の拡散性Ｐｓｉを有意性メトリックとして用いることができる。空間パワー密度の決定において拡散音が直接音よりも寄与しないように、空間パワー密度を演算する際に、単に項（１−Ｐｓｉ）を音源パワー値に乗ずることができる。
【００２１】
提案されるコンセプトの重要な効果は、それらが室内条件とは独立して適用されることができ、話者および／または物理的音源の数または位置に関する演繹的情報を何ら必要としないことである。これによって、システムは自律的となり、音解析だけを用いてあらゆる種類のシナリオに適応できる。従来技術によると、１以上のマイクロフォンの最適な位置および／または向きを決定するのに演繹的情報が入手可能でなくてはならない。これによって、アプリケーションが制約を受けるか、あるいは、推定が行われなくてはならず、精度が制限される。上記の実施形態を採用することによって、これが不要となる。仮想マイクロフォン（または複数の仮想マイクロフォン）の位置は、セミブラインドシーン解析を行ってから、それを対象のアプリケーションの要件に従って変更することによって演算される。
【００２２】
仮想マイクロフォンの最適位置および／または向きを推定するための他の方法とは異なり、提案される方法は、考えられる幾何的シーンの情報を何ら必要としない。例えば、アクティブな音源の数（例えば、会議における参加者の人数）についての演繹的情報も、アクティブな音源の相対位置（例えば、会議室における参加者の配置）についての何らの情報も必要ない。音に関するこの情報は、「有効音源」（ＥＳＳ）といわれるアクティブな音源の、サウンドシーンを表現するプロパティのみから導出される。ＥＳＳは、ある瞬間またはある時間−周波数ビンにおいて１以上のＥＳＳがアクティブとなる点において、空間サウンドシーンをモデル化する。以降において、用語「物理的音源」は、サウンドシーンからの現実の音源、例えば、話者を表現するのに使用される一方、有効音源（ＥＳＳ）（「音源」ともいう）という用語は単一の時間または時間−周波数ビンにおいてアクティブとなるサウンドイベントを表現するのに使用される。各ＥＳＳは、位置によっておよびパワーによって特徴付けられる。この情報によって空間パワー密度を構築することが可能となり、仮想マイクロフォンの最適な位置または向きを決定することが可能となる。
【００２３】
ＥＳＳのパラメータは、例えば、構成可能な仮想位置における仮想マイクロフォンのオーディオ出力信号を生成するための装置について、以下に説明するコンセプトを採用することによって得られる。以下に、仮想マイクロフォンのオーディオ出力信号を生成するための装置におけるサウンドイベントの位置推定を、特に図１５−１７を参照して説明する。そこで説明するコンセプトを、有効音源の位置を決定するのに採用することができる。以下に、仮想マイクロフォンのオーディオ出力信号を生成するための装置における伝搬補償を、特に図１７−２０を参照して説明する。そこで説明するコンセプトを、有効音源のパワーを決定するのに採用することができる。
【００２４】
一態様によると、空間情報推定器は、環境におけるサウンドシーンの中心の位置を推定するためのサウンドシーン中心推定器を備えることができる。空間情報推定器は、サウンドシーンの中心の位置に基づいて音響空間情報としてマイクロフォンの位置を計算するためのマイクロフォン位置計算器をさらに備えることができる。
【００２５】
他の態様によると、マイクロフォン位置計算器は、マイクロフォンの位置を計算するように適合されることができる。このとき、マイクロフォンは仮想マイクロフォンである。
【００２６】
さらに、他の態様によると、サウンドシーン中心推定器は、サウンドシーンの中心を推定するために空間パワー密度の重心を算出するように構成される。
【００２７】
さらなる態様では、サウンドシーン中心推定器は、空間パワー密度に基づいてパワー遅延プロファイルを決定し、環境における複数の場所の各々についてパワー遅延プロファイルに基づいて二乗平均平方根遅延を決定するように構成されることができる。サウンドシーン中心推定器は、サウンドシーンの中心として複数の場所のうちの、複数の場所の二乗平均平方根遅延のうちの最小の二乗平均平方根遅延を有する場所の位置を決定するように構成される。
【００２８】
他の態様では、サウンドシーン中心推定器は、サウンドシーンの中心を推定するために円積分を行うように適合されてもよく、環境が２次元環境である場合に、Γ（ｘ，ｙ）が空間パワー密度であり、Ｃ（ｒ，０）（ｘ，ｙ）が円を示すものとして、サウンドシーン中心推定器は、例えば、数式：
ｇ（ｘ，ｙ）＝Г（ｘ，ｙ）＊Ｃ（ｒ，ｏ）（ｘ，ｙ）
を適用することによって、空間パワー密度を円で畳み込むことによって円積分を実行し、環境における複数の場所の各々に対する円積分値を決定するように構成される。
【００２９】
あるいは、環境が３次元環境である場合に、Γ（ｘ，ｙ，ｚ）が空間パワー密度であり、Ｃ（ｒ，０）（ｘ，ｙ，ｚ）が球を示すものとして、サウンドシーン中心推定器が、数式：
ｇ（ｘ，ｙ，ｚ）＝Г（ｘ，ｙ，ｚ）＊Ｃ（ｒ，ｏ）（ｘ，ｙ，ｚ）
を適用することによって、空間パワー密度を球で畳み込むことによって円積分を実行し、環境における複数の場所の各々に対する円積分値を決定するように構成される。
【００３０】
さらに、一態様によると、サウンドシーン中心推定器は、環境における複数の場所の各々の円積分値の最大値を決定してサウンドシーンの中心を推定するように構成される。
【００３１】
さらなる態様では、マイクロフォン位置計算器は、環境におけるサウンドシーンの中心を通る複数の線のうちの最大幅の線を決定するように適合されることができる。サウンドシーンの中心を通る複数の線の各々はエネルギー幅を有することができ、最大幅の線は、最大のエネルギー幅を有するサウンドシーンの中心を通る複数の線のうちの前記線として規定される。
【００３２】
一態様によると、線分を決める線分の第１の点および線分を決める線分の他の第２の点が、所定のパワー値以上の空間パワー密度によって示されるパワー値を有するように、複数の線のうちの対象線のエネルギー幅が対象線の線分の最大の長さを示していてもよい。マイクロフォン位置計算器は、サウンドシーンの中心およびマイクロフォン位置を通る第２の線が最大幅の線に直交するように、マイクロフォンの位置を決定するように構成される。
【００３３】
一態様によると、マイクロフォン位置計算器は、複数の列を有する行列に特異値分解を適用するように構成されることができる。行列の列が、サウンドシーンの中心に対する環境における場所の位置を示すようにしてもよい。さらに、行列の列のみが、所定の閾値よりも大きい空間パワー密度によって示されるパワー値を有する場所の位置を示し、または行列の列のみが、所定の閾値以上の空間パワー密度によって示されるパワー値を有する場所の位置を示すようにしてもよい。
【００３４】
他の態様によると、空間情報推定器は、空間パワー密度に基づいてマイクロフォンの向きを決定するための向き決定器を備えることができる。向き決定器は、マイクロフォンがサウンドシーンの中心に向くように、マイクロフォンの向きを決定するように適合されることができる。ｒｍａｘがマイクロフォンからの最大距離を規定し、向き決定器は、複数の向きφの各々についての積分値ｆ（φ）を、数式
【数１】
0005814476.tif 000002
を適用することによって決定するように構成され、向き決定器は、決定された積分値ｆ（φ）に基づいてマイクロフォンの向きを決定するように構成される。
【００３５】
他の態様によると、空間パワー密度決定器は、環境が２次元環境である場合には、前記空間パワー密度を、数式：
【数２】
0005814476.tif 000003
を適用することによって、または環境が３次元環境である場合には、数式：
【数３】
0005814476.tif 000004
を適用することによって、時間−周波数ビン（ｋ，ｎ）について、環境における複数の場所について空間パワー密度を決定するように構成される。
【００３６】
ここで、ｋは周波数インデックスであり、ｎは時間インデックスであり、ｘ、ｙおよびｚは複数の場所の座標であり、ｐｏｗｅｒｉ（ｋ，ｎ）は時間−周波数ビン（ｋ，ｎ）についてのｉ番目の音源におけるパワー値であり、ｘＥＳＳｉ、ｙＥＳＳｉおよびｚＥＳＳｉはｉ番目の音源の座標であり、γｉはスカラー値であり、各有効音源の位置推定値がどれだけ信頼性があるものかの指標を表すことができ、ｇはｘ、ｙ、ｚ、ｘＥＳＳｉ、ｙＥＳＳｉ、ｚＥＳＳｉ、ｋ、ｎおよびγｉに依存する関数である。
【００３７】
添付図面を参照して本発明の実施形態を説明する。
【図面の簡単な説明】
【００３８】
【図１】一実施形態によるマイクロフォン位置決め装置を示す図である。
【図２】他の実施形態によるマイクロフォン位置決め装置を示す図である。
【図３】一実施形態によるマイクロフォン位置決めの装置の入力および出力を示す図である。
【図４Ａ】マイクロフォン位置決め装置についての複数のアプリケーションシナリオを示す図である。
【図４Ｂ】マイクロフォン位置決め装置についての複数のアプリケーションシナリオを示す図である。
【図４Ｃ】マイクロフォン位置決め装置についての複数のアプリケーションシナリオを示す図である。
【図５】一実施形態による空間パワー密度決定器２１を示す図である。
【図６Ａ】関数ｇを構成するためのデルタ関数を示すグラフである。
【図６Ｂ】関数ｇを構成するための密度関数を示すグラフである。
【図７】一実施形態による空間情報推定器を示す図である。
【図８】さらなる実施形態による空間情報推定器を示す図である。
【図９】他の実施形態によるマイクロフォン位置／向き計算器４４をより詳細に示す図である。
【図１０Ａ】一実施形態による出射エネルギー幅に基づく最適化を示す図である。
【図１０Ｂ】一実施形態による出射エネルギー幅に基づく最適化を示す図である。
【図１０Ｃ】一実施形態による出射エネルギー幅に基づく最適化を示す図である。
【図１１】他の実施形態による、向き決定器をさらに備えた空間情報推定器を示す図である。
【図１２】一実施形態によるオーディオ出力信号を生成するための装置を示す図である。
【図１３】一実施形態によるオーディオ出力信号を生成するための装置および方法の入力および出力を示す図である。
【図１４】は、サウンドイベント位置推定器および情報演算モジュールを備える一実施形態によるオーディオ出力信号を生成するための装置の基本構造を示す図である。
【図１５】現実の空間マイクロフォンが各３個のマイクロフォンの均一線形アレイとして図示される例示的シナリオを示す図である。
【図１６】３Ｄ空間において到来方向を推定するための３Ｄにおける２つの空間マイクロフォンを示す図である。
【図１７】現時間−周波数ビン（ｋ，ｎ）の等方性点状音源が位置ｐＩＰＬＳ（ｋ，ｎ）に位置する幾何状態を示す図である。
【図１８】一実施形態による情報演算モジュールを示す図である。
【図１９】他の実施形態による情報演算モジュールを示す図である。
【図２０】２つの現実の空間マイクロフォン、局在化されたサウンドイベントおよび仮想の空間マイクロフォンの位置を示す図である。
【図２１】一実施形態によってどのように仮想マイクロフォンに対する到来方向を取得するかを示す図である。
【図２２】一実施形態による仮想マイクロフォンの視点から音のＤＯＡを導出する可能な態様を示す図である。
【図２３】一実施形態による拡散性演算部を備える情報演算ブロックを示す図である。
【図２４】一実施形態による拡散性演算部を示す図である。
【図２５】サウンドイベント位置推定が可能でないシナリオを示す図である。
【図２６】２つの現実の空間マイクロフォン、局在化されたサウンドイベントおよび仮想マイクロフォンの位置を示す図である。
【図２７Ａ】２つのマイクロフォンアレイが直接音、壁に反射された音および拡散音を受信するシナリオを示す図である。
【図２７Ｂ】２つのマイクロフォンアレイが直接音、壁に反射された音および拡散音を受信するシナリオを示す図である。
【図２７Ｃ】２つのマイクロフォンアレイが直接音、壁に反射された音および拡散音を受信するシナリオを示す図である。
【発明を実施するための形態】
【００３９】
図１は、一実施形態によるマイクロフォン位置決め装置を示す。この装置は、空間パワー密度決定器１０および空間情報推定器２０を備える。空間パワー密度決定器１０は、ある環境における複数の場所についてのパワー値を示す空間パワー密度ｓｐｄを、その環境に配置された１以上の有効音源（ＥＥＳ）の１以上のパワー値および１以上の位置値を示す音源情報ｓｓｉに基づいて決定するように構成される。空間情報推定器２０は、空間パワー密度に基づいて音響空間情報ａｓｐｉを推定するように構成される。
【００４０】
図２は、他の実施形態によるマイクロフォン位置決め装置を示す。装置は、ある環境において割り当てられた１以上の有効音源の１以上のコア値および位置値を示す有効音源情報に基づいて、その環境の複数の場所についてのパワー値を示す空間パワー密度（ＳＰＤ）を決定するための空間パワー密度決定器２１を備える。装置は、空間パワー密度に基づいて仮想マイクロフォン（ＶＭ）の位置および／または向きを推定するための空間情報推定器２２をさらに備える。
【００４１】
図３は、一実施形態によるマイクロフォン位置決め装置の入力および出力を示す。装置に対する入力９１、９２、・・・９Ｎは、例えば、音場圧力の二乗の絶対値といったパワー、および、例えば、２Ｄまたは３Ｄカルテシアン座標といった位置からなる。有効音源（ＥＳＳ）はサウンドシーン（音場）を表現している。
【００４２】
有効音源は、例えば、構成可能な仮想位置における仮想マイクロフォンのオーディオ出力信号を生成する装置について、以下に記載される瞬時的点状音源（ＩＰＬＳ）に等しいものであればよい。
【００４３】
出力において、１以上の仮想マイクロフォンの位置および場所が戻される。以降において、用語「物理的音源」は、サウンドシーンからの現実の音源、例えば、話者を表現するのに使用される一方、有効音源（ＥＳＳ）という（「音源」ともいう）用語は単一の時間または時間−周波数ビンにおいてアクティブとなるサウンドイベントを表現するのに使用され、また、構成可能な仮想位置における仮想マイクロフォンのオーディオ出力信号を生成するための装置に関して以下に説明するＩＰＬＳに対しても使用される。
【００４４】
さらに、用語「音源」は、物理的音源および有効音源の双方を含むものとする。
【００４５】
図２の実施形態による装置の入力９１、９２、・・・、９Ｎは、構成可能な仮想位置における仮想マイクロフォンのオーディオ出力信号を生成するための装置について、以下に説明されるとともに、非特許文献１９にも記載されるように、時間的または時間−周波数ビン内に局在化される複数Ｎ個の有効音源の位置および対応のパワーについての情報を備える。
【００４６】
例えば、この情報は、短時間フーリエ変換（ＳＴＦＴ）が適用された場合の１、２、・・・、Ｎの異なる周波数ビンについて、以下に検討される構成可能な仮想位置における仮想マイクロフォンのオーディオ出力信号を生成する装置の情報演算モジュールの、図１４における出力１０６で構成される。
【００４７】
マイクロフォン位置決め装置に関して、異なる動作モードが所定の時間間隔中にアクティブとなり、各モードは１以上の仮想マイクロフォンの位置決めおよび向き決めについての種々のシナリオを示唆する。マイクロフォン位置決め装置は、複数のアプリケーションシナリオで採用される。
【００４８】
第１のアプリケーションシナリオでは、Ｎ個の無指向性仮想マイクロフォンが、サウンドシーン内部に配置される（図４Ａ）。したがって、このアプリケーションシナリオでは、多数の仮想マイクロフォンが、サウンドシーン全体を覆う。
【００４９】
第２のアプリケーションシナリオでは、単一の仮想マイクロフォンが、サウンドシーンの音響中心に位置決めされる。例えば、無指向性仮想マイクロフォン、カージオイド仮想マイクロフォン、または（Ｂ−フォーマットマイクロフォンなどの）仮想の空間マイクロフォンが、全ての参加者が適切に捕捉されるように配置される（図４Ｂ）。
【００５０】
第３のアプリケーションシナリオでは、１つの空間マイクロフォンが、サウンドシーンの「外部」に配置される。例えば、図４Ｃに示すように、広い空間イメージが得られるように、仮想ステレオマイクロフォンが配置される。
【００５１】
第４のアプリケーションシナリオでは、仮想マイクロフォンが固定位置（所定位置）に位置する一方で、仮想マイクロフォンの最適な向きが推定される。例えば、仮想マイクロフォンの位置および指向性が予め規定され、向きだけが自動的に計算される。
【００５２】
なお、上記アプリケーションの全ては、時間的適応性を含むことができる。例えば、仮想スポットマイクロフォンの位置／向きが一人の話者を、その話者が室内で移動するのに伴って追従する。
【００５３】
図２および３では、選択的な情報が、例えば、ＥＳＳ位置の推定に対する信頼性の測定値を表す有意性メトリック１３によって与えられる。例えば、そのようなメトリックは、（説明するような２以上のマイクロフォンアレイを用いる場合に）構成可能な仮想位置における仮想マイクロフォンのオーディオ出力信号を生成するための装置について、以下に説明する到来方向推定器の分散から、または非特許文献２０において演算される拡散性パラメータから導出される。
【００５４】
メトリックを、入力９１、・・・、９Ｎの全てについて表現することができ（例えば、全ての入力に対して一定値のメトリックを用いる）、または各入力９１、・・・、９Ｎについて別個に定義することができる。図２の装置の出力１５および１６は、１以上の仮想マイクロフォンの位置および／または向きを備えることができる。アプリケーションに応じて、複数の仮想マイクロフォンについての出力（位置および向き）を生成することができ、各々は特定の仮想マイクロフォンに対応する。
【００５５】
図５は、一実施形態による空間パワー密度決定器２１を示す。空間パワー密度決定器は、空間パワー密度主処理部３１および空間パワー密度後段処理部３２を備える。空間パワー密度決定器２１は、各時間−周波数ビン（ｋ，ｎ）についての空間における所定点、例えば（ｘ，ｙ，ｚ）において局在化されたパワーを表現するΓ（ｘ，ｙ，ｚ，ｋ，ｎ）によって、以降において表記される修正空間パワー密度（ＳＰＤ）を決定する（というよりは演算する）ように構成される。ＳＰＤは、空間パワー密度決定器２１への入力である有効音源の位置におけるパワー値９１、・・・、９Ｎを積分することによって生成される。
【００５６】
時間−周波数ビン（ｋ，ｎ）についてのＳＰＤの演算は、以下の数式：
【数４】
0005814476.tif 000005
に従って行われる。ここで、（ｘ，ｙ，ｚ）はシステムの座標であり、ｘＥＳＳｉ、ｙＥＳＳｉ、ｚＥＳＳｉは、有効音源ｉの座標である。有意性メトリック１０３γｉは、各有効音源の位置推定値がどれだけ信頼性があるものかの指標を示す。デフォルトによって、有意性メトリックを１に等しくてもよい。なお、ここでは、そのｐｏｗｅｒｉ並びに座標ｘＥＳＳｉ、ｙＥＳＳｉおよびｚＥＳＳｉは、図３における入力９ｉに対応する。さらに、表記の便宜上、以降において（ｋ，ｎ）拡張子は記載されない。しかし、以降の数式はそれでも、特に対象となる時間−周波数ビン（ｋ，ｎ）に依存する。
【００５７】
空間パワー密度主処理部３１によって生成されるＳＰＤ（例えば図５における）は、空間パワー密度主処理部３２（ＳＰＤの後段処理および時間積分モジュール）によってさらに処理され、例えば、自己回帰フィルタを採用することによって時間で積分されることができる。サウンドシーンの異常値（すなわち、正しくない位置推定によってもたらされるもの）に対して強健さを増すため、任意の種類の後段処理フィルタがＳＰＤに適用されてもよい。そのような後段処理フィルタは、例えば、ローパスフィルタまたは形態学的（浸食、拡大）フィルタであればよい。
【００５８】
１以上の仮想マイクロフォンの位置および／または向きを演算する際に、ＳＰＤに依存する選択的パラメータを採用することができる。このパラメータは、例えば、仮想マイクロフォン（ＶＭ）を配置する部屋の禁止されたおよび／または好適な領域を参照してもよく、ある所定の規則を満たす特定のＳＰＤ範囲を選択して、ＳＰＤを参照してもよい。
【００５９】
式（１）から分かるように、ｇは、デフォルトによって１に等しい値を有する、空間内の有意性メトリックγ（あるいはγｉ）の関数である。そうでない場合、異なる寄与を考慮に入れるのにγを使用できる。例えば、σ２が位置推定値の分散である場合、例えば、γは、γ＝１／σ２に設定される。
【００６０】
代替的に、マイクロフォンアレイにおいて演算される平均拡散値Ψを用いることができ、そうすると、γ＝１−Ψとなる。
【００６１】
これによって、γは、信頼性の低い推定値に対しては減少し、信頼性の高いものに対しては増加するように選択されることができる。
【００６２】
関数ｇを構成するのに多数の可能性が存在する。現実に特に有用な２つの例は：
【数５】
0005814476.tif 000006
である。
【００６３】
最初の関数において、δ（ｘ）、δ（ｙ）およびδ（ｚ）はデルタ関数を示す（デルタ関数を示す図６Ａを参照）。二番目の関数では、ｓ＝［ｘｙｚ］Ｔ、μ＝［μｘμｙμｚ］Ｔは平均ベクトルであり、Σγはガウス分布関数ｇの共分散行列である（分布関数を示す図６Ｂを参照）。共分散行列は、数式：
【数６】
0005814476.tif 000007
を用いて演算され、これは、例えば、１Ｄの場合に、
【数７】
0005814476.tif 000008
として、γ＝１／σ２の場合のシナリオについてのγの選択に依存する。
【００６４】
式（３）から分かるように、関数ｇは、入力９１・・・９Ｎによって与えられる有効音源位置周辺の分布関数によって記述される。ここで、例えば、有意性メトリックはガウス分布の分散の逆数である。音源位置の推定値が高い信頼性を有する場合、これに従う分布はむしろ狭くなる一方で、より信頼性の低い推定値は高い分散に対応することになり、それゆえ広い分布となる。例えば、１Ｄの例を示す図６Ｂが参照される。
【００６５】
図７は、一実施形態による空間情報推定器２２を示す。空間情報推定器は、環境におけるサウンドシーンの中心の位置を推定するためのサウンドシーン中心推定器４１を備える。さらに、空間情報推定器は、サウンドシーンの中心の位置に基づいて音響空間情報としてマイクロフォンの位置を計算するためのマイクロフォン位置計算器４２を備える。
【００６６】
図８は、さらなる実施形態による空間情報推定器２２を示す。空間情報推定器は、仮想マイクロフォンの位置を計算するように構成されるとともに、仮想マイクロフォンの向きを決定するように構成された仮想マイクロフォン位置計算器４４を備える。したがって、仮想マイクロフォン位置計算器４４は、マイクロフォン位置／向き計算器４４ともいわれる。
【００６７】
図８の空間情報推定器２２は、以前に生成されたＳＰＤ２３を入力として用いる。それは、対象とするアプリケーションに応じて、１以上の仮想マイクロフォンの位置１５および向き１６に出力として戻る。第１の処理ブロックであるサウンドシーン中心推定器４１は、サウンドシーンの中心の推定値を供給する。ブロック４１の出力４３、例えば、サウンドシーン中心の位置は、その後第２の処理ブロックである仮想マイクロフォン位置／向き計算器４４に入力として供給される。仮想マイクロフォン位置／向き計算器４４は、対象とするアプリケーションに応じて、１以上の仮想マイクロフォンの最終的な位置１５および向き１６の実際の推定を実行する。
【００６８】
サウンドシーン中心推定器４１は、サウンドシーン中心の推定値を供給する。そして、サウンドシーン中心推定器４１の出力は、マイクロフォン位置／向き計算器４４に入力として供給される。マイクロフォン位置／向き計算器４４は、対象とするアプリケーションを特徴付ける動作モードに従って１以上の仮想マイクロフォンの最終的な位置１５および／または向き１６の実際の推定を行う。
【００６９】
サウンドシーン中心推定器の実施形態を、ここにより詳細に説明する。サウンドシーンの中心を得るために、いくつかの可能なコンセプトがある。
【００７０】
第１の実施形態の第１のコンセプトによると、サウンドシーンの中心は、ＳＰＤΓ（ｘ，ｙ，ｚ）の重心を計算することによって得られる。Γ（ｘ，ｙ，ｚ）の値は、空間における点（ｘ，ｙ，ｚ）において存在する質量として解釈されるｓとなる。
【００７１】
第２の実施形態の第２のコンセプトによると、チャネルの最小時間分散を持つ空間の位置が見出される。これは二乗平均平方根（ＲＭＳ）遅延広がりを考慮することによって実現される。最初に、空間の各点ｐ＝（ｘ０，ｙ０）について、例えば、
【数８】
0005814476.tif 000009
を用いて、ＳＰＤΓ（ｘ，ｙ，ｚ）に基づいてパワー遅延プロファイル（ＰＤＰ）Ａｐ（τ）が計算される。
【００７２】
そして、Ａｐ（τ）から、ＲＭＳ遅延が、数式：
【数９】
0005814476.tif 000010
を用いて計算される。ここで、上線付きのτｓは、Ａｐ（τ）の平均遅延を示す。平均遅延τＲＭＳ，ｐが最少になる位置が、サウンドシーンの中心を示す。
【００７３】
サウンドシーン中心推定の代替として採用される第３の実施形態の第３のコンセプトによると、「円積分」が提案される。例えば、２Ｄの場合には、以下の数式に従って、ＳＰＤΓ（ｘ，ｙ）が円Ｃ（ｒ，ｏ）に畳み込まれる。
【数１０】
0005814476.tif 000011
ここで、ｒは円の半径であり、ｏは円の中心を定義する。半径ｒは一定であってもよいし、点（ｘ，ｙ）におけるパワー値に応じて変化してもよい。例えば、点（ｘ，ｙ）における高いパワーは大きな半径に対応する一方、低いパワーは小さい半径に対応する。パワーに対する追加的な依存も可能である。そのような一つの例は、関数ｇ（ｘ，ｙ）を構成するのにそれを使用する前に二変数ガウス関数で円を畳み込むことであろう。そのような実施形態によると、二変数ガウス関数の共分散行列は位置（ｘ，ｙ）におけるパワーに依存するようになり、すなわち、高いパワーが低い分散に対応する一方、低いパワーが高い分散に対応する。
【００７４】
ｇ（ｘ，ｙ）が演算されると、サウンドシーンの中心を、以下の数式に従って決定することができる。
【数１１】
0005814476.tif 000012
【００７５】
さらなる実施形態では、このコンセプトが、球でのΓ（ｘ，ｙ，ｚ）の３Ｄ畳込みを同様に用いることによって３Ｄに拡張される。
【００７６】
図９は、他の実施形態によるマイクロフォン位置／向き計算器４４をより詳細に図示して示す。サウンドシーンの中心４３が、ＳＰＤ２３とともに、マイクロフォン位置／向き計算器４４への入力として与えられる。マイクロフォン位置／向き計算器４４において、サウンドシーンの中心４３についての情報が、対象アプリケーションに必要となる動作に応じて、出力に複製され、サウンドシーンの音響中心に位置決めされた１つの仮想マイクロフォンでのシナリオに関して、例えば、図４Ｂのアプリケーションシナリオが適用可能な場合、仮想マイクロフォンの位置として直接使用されることができる。代替的に、サウンドシーンの中心４３についての情報は、マイクロフォン位置／向き計算器４４内部の修正用パラメータとして使用されることができる。
【００７７】
マイクロフォンの位置を計算するのに異なるコンセプトが適用されてもよく、例えば、出射エネルギー幅に基づく最適化、あるいは基本成分解析に基づく最適化が適用されてもよい。
【００７８】
説明のために、サウンドシーン外の１つの空間マイクロフォンのシナリオに関する図４Ｃのアプリケーションシナリオに従って、マイクロフォンの位置が演算されるものとする。ただし、以下の説明は、同様に他のいずれのアプリケーションシナリオについても適用可能である。
【００７９】
以下に、既に挙げられた実施形態による仮想マイクロフォンの位置を推定するためのコンセプトをより詳細に説明する。
【００８０】
出射エネルギー幅に基づく最適化は、サウンドシーンの中心を通過するＭ本の等間隔線のセットを規定する。例えば、２Ｄシナリオにおけるこれらの線の各々について、ＳＰＤΓ（ｘ，ｙ）はそれらの線上を直交して出射され、合計される。
【００８１】
図１０Ａ−１０Ｃは、出射エネルギー幅に基づく最適化を示す。図１０Ａにおいて、出射パワー関数Ｐｐｒｏｊが、線ｌ１、・・・ｌｉ、・・・ｌＭの各々について演算される。そして、図１０Ｂに示すように、関数における対応する幅が計算される。例えば、幅は−３ｄＢ幅として定義される。これは、幅は、−３ｄＢ幅として定義される。これは、例えば−３ｄＢという所定のパワーレベルより高いパワーレベルに相当する距離部分の、最も左の点と最も右の点との距離と等価である。続いて、最も広い幅の線が特定され、それに直交する方向に仮想マイクロフォンが配置される。仮想マイクロフォンの向きは、次節で説明するように、それがサウンドシーンの中心を指すように設定されればよい。このアプローチを用いると、仮想マイクロフォン（ＶＭ）が直交方向の正または負に位置決めされるので、２つの可能な仮想マイクロフォン（ＶＭ）位置が得られることになる。
【００８２】
例えば、ＶＭが位置決めされる距離を、仮想マイクロフォンの開口角とともに幾何学的考察に基づいて演算できる。これは図１０Ｃに示される。ＶＭが位置決めされる距離は、対象アプリケーションに特有の動作モードに応じて変化する。これは、図１０Ｃの幅ｉが三角形の一方の側を表し、重心ＣＯＧがその側の中心点となるように、三角形を構成することを示唆する。直交線をＣＯＧにとり、それをＶＭ開口角αの二等分線として定義することによって、三角形の第３の頂点が見つかる。そして、二等分線の長さは、ＶＭの位置とサウンドシーンの中心の間の距離を与える。
【００８３】
他の実施形態によると、説明したような出射エネルギーに基づく最適化のコンセプトが３Ｄに拡張される。この場合、（アジマスおよび仰角方向における）Ｍ２個の等間隔面がＭ本の線の代わりに定義される。そして、幅は、出射エネルギーの最大部分からなる円の直径に対応する。ＶＭを最大円直径の平面に対する法線上に配置することによって、最終的な位置が得られる。一実施形態によると、幾何学的考察、および動作モードによって指定される開口角を用いる２Ｄの場合と同様に、サウンドシーンの中心からＶＭ位置までの距離が再計算されてもよい。
【００８４】
他の実施形態によると、基本成分解析に基づく最適化が採用される。基本成分分析的な処理に基づく最適化は、ＳＰＤから入手可能な情報を直接用いる。まず、ＳＰＤΓ（ｘ，ｙ，ｚ）が量子化され、閾値選択フィルタが量子化データセットに適用される。これによって、所定の閾値よりも小さいエネルギーレベルを有する全ての点が捨てられる。その後、残りの点ｈｉ＝［ｈｘ，ｉ，ｈｙ，ｉ，ｈｚ，ｉ］Ｔが平均中心化され（すなわち、平均中心化点は、ｉ番目の有効音源の座標からサウンドシーン中心の座標を減算したものを表す）、行列Ｈにおいて以下のように認識される。
【数１２】
0005814476.tif 000013
ここで、Ｎは閾値適用後の点の数を規定する。そして、以下の積に因数分解されるように、特異値分解（ＳＶＤ）がＨに適用される。
【数１３】
0005814476.tif 000014
【００８５】
Ｕの第１の列は、基本成分を表し、データセットのうち最も高い変異性を有する。Ｕの第２の列は、第１のものに直交し、ＶＭを配置したい方向を表す。幅は、行列Σにおける第１の特異値によって、非明示的に与えられる。方向だけでなくこの幅を知ることで、図１０Ａ−１０Ｃを参照して上述される出射エネルギー幅に基づく最適化方法で説明したＶＭの位置および向きを演算することができる。
【００８６】
他の実施形態では、これらの方法が２Ｄの問題に適用される。これは、上述の数式および考察から単にｚ軸成分を無視／除去すればよいので、単純である。
【００８７】
（複数の仮想マイクロフォンがサウンドシーン全体を覆っている）図４Ａのアプリケーションシナリオのような他のアプリケーションについて、反復最適化手法のような異なるコンセプトが採用されてもよい。第１のステップにおいて、ＳＰＤの最大値を持つ位置が識別される。これによって、合計Ｎ個の仮想マイクロフォンのうちの第１のＶＭの場所が指定される。これに続いて、この位置を囲む（すなわち、所定距離までの）全てのエネルギーがＳＰＤから除去される。Ｎ個の仮想マイクロフォンの全ての位置が分かるまで前のステップが繰り返される。Ｎが定義されない場合、ＳＰＤの最大値が所定の閾値よりも小さくなるまで反復が実行される。
【００８８】
図１１は、他の実施形態を示す。この実施形態では、空間情報推定器２２が向き決定器４５をさらに備える。向き決定器４５は、空間パワー密度２３に基づいてマイクロフォンの（適切な）向き１６を決定するように構成される。
【００８９】
以下、向き推定を説明する。仮想マイクロフォンがサウンドシーンの中心に向けられる前提であるので、基本成分解析と同様に、出射エネルギー幅に基づく最適化アプローチは、仮想マイクロフォンの向き１５を非明示的に演算する。
【００９０】
しかし、他のいくつかのアプリケーションシナリオについては、例えば、仮想マイクロフォンの最適な向きが推定され、仮想マイクロフォンが固定位置に配置されるアプリケーションにおいて、向きを明示的に計算することが適切となり得る。この場合、仮想マイクロフォンがサウンドシーンのエネルギーのほとんどをピックアップするように向きが決定されるべきである。
【００９１】
一実施形態によると、仮想マイクロフォンの向きを決定するために、まず、可能な方向φがサンプリングされ、それらの方向の各々におけるエネルギーにわたる積分が実行される。以下に示すφの関数、
【数１４】
0005814476.tif 000015
で得られる。ここで、ｒｍａｘはＶＭからの最大距離として規定され、ＶＭのピックアップパターンを制御する。そして、ＶＭの最終的な向きφが、
【数１５】
0005814476.tif 000016
として演算される。ここで、ｗφ（φ）は、ＶＭの入力特性に基づく重み付け関数である。ｗφ（φ）は、例えば、ＶＭの所定の視点方向φおよび特定のピックアップパターンを考慮して、方向φからくるエネルギーがどれだけ拡縮されているかを定義する関数である。
【００９２】
以降において、ある環境における構成可能な仮想位置において仮想マイクロフォンの録音を模擬するオーディオ出力信号を生成するための装置を説明する。上記実施形態の１つによるマイクロフォン位置決め装置は、オーディオ出力信号を生成するための装置に対する仮想位置を決定するのに採用されてもよい。
【００９３】
図１２は、ある環境における構成可能な仮想位置ｐｏｓＶｍｉｃにおいて、仮想マイクロフォンの録音を模擬するオーディオ出力信号を生成するための装置を示す。装置は、サウンドイベント位置推定器１１０および情報演算モジュール１２０を備える。サウンドイベント位置推定器１１０は、第１の現実の空間マイクロフォンから第１の方向情報ｄｉ１を受信し、第２の現実の空間マイクロフォンから第２の方向情報ｄｉ２を受信する。サウンドイベント位置推定器１１０は、環境において音波を放射する音源の位置を示す音源位置ｓｓｐを推定するように構成され、サウンドイベント位置推定器１１０は、その環境において第１の現実のマイクロフォン位置ｐｏｓ１ｍｉｃに位置する第１の現実の空間マイクロフォンによって供給される第１の方向情報ｄｉ１に基づいて、およびその環境において第２の現実のマイクロフォン位置に位置する第２の現実の空間マイクロフォンによって供給される第２の方向情報ｄｉ２に基づいて、音源位置ｓｓｐを推定するように構成される。情報演算モジュール１２０は、第１の現実の空間マイクロフォンによって記録されている第１の記録オーディオ入力信号ｉｓ１に基づいて、および第１の現実のマイクロフォン位置ｐｏｓ１ｍｉｃに基づいて、および仮想マイクロフォンの仮想位置ｐｏｓＶｍｉｃに基づいてオーディオ出力信号を生成するように構成される。情報演算モジュール１２０は、第１の記録オーディオ入力信号ｉｓ１の振幅値、絶対値または位相値を調整することによって、第１の現実の空間マイクロフォンにおける音源によって放射された音波の到来と仮想マイクロフォンにおける音波の到来との間の第１の遅延または振幅減衰を補償することによって、第１の記録オーディオ入力信号ｉｓ１を修正することによって、オーディオ出力信号を得るように、第１の修正オーディオ信号を生成するように構成された伝搬補償器を備える。
【００９４】
図１３は、一実施形態による装置および方法の入力および出力を示す。２以上の現実の空間マイクロフォン１１１、１１２、・・・、１１Ｎからの情報が装置に入力され／この方法によって処理される。この情報は、現実の空間マイクロフォンからの方向情報、例えば、到来方向（ＤＯＡ）推定値だけでなく現実の空間マイクロフォンによってピックアップされるオーディオ信号を含む。オーディオ信号および到来方向推定値などの方向情報は、時間−周波数ドメインにおいて表現される。例えば、２Ｄ幾何再構成が望ましく、信号の表示について旧来的な短時間フーリエ変換（ＳＴＦＴ）ドメインが選択される場合、ＤＯＡをｋおよびｎ、すなわち、周波数インデックスおよび時間インデックスに応じたアジマス角として表現することができる。
【００９５】
実施形態においては、空間におけるサウンドイベントの局在化が、仮想マイクロフォンの位置を記載することと同様に、共通の座標系における現実の空間マイクロフォンおよび仮想の空間マイクロフォンの位置および向きに基づいて行われる。この情報を、図１３における入力１２１・・・１２Ｎおよび１０４によって表すことができる。入力１０４は、以下に述べるように、仮想の空間マイクロフォンの特性、例えば、その位置およびピックアップパターンを追加的に指定することができる。仮想の空間マイクロフォンが複数の仮想センサを備える場合、それらの位置および対応する異なるピックアップパターンが検討されることになる。
【００９６】
装置または対応の方法の出力は、所望の場合には、１０４によって指定されたように定義および配置された空間マイクロフォンによってピックアップされた１以上のサウンド信号１０５であればよい。さらに、装置（またはむしろ方法）は、仮想の空間マイクロフォンを採用することによって推定できる空間副情報１０６に対応する出力を供給することができる。
【００９７】
図１４は、２つの主処理装置であるサウンドイベント位置推定器２０１および情報演算モジュール２０２を備える一実施形態による装置を示す。サウンドイベント位置推定器２０１は、入力１１１・・・１１Ｎで構成されるＤＯＡに基づいて、およびＤＯＡが演算された現実の空間マイクロフォンの位置および向きの知識に基づいて、幾何的再構成を実行する。サウンドイベント位置推定器２０５の出力は、サウンドイベントが各時間および周波数ビンについて発生するような音源の（２Ｄまたは３Ｄにおける）位置推定値を含む。第２の処理ブロック２０２は、情報演算モジュールである。図１４の実施形態によると、第２の処理ブロック２０２は、仮想マイクロフォン信号および空間副情報を演算する。したがって、これを仮想マイクロフォン信号および副情報演算ブロック２０２ともいう。仮想マイクロフォン信号および副情報演算ブロック２０２が、サウンドイベント位置２０５を用いて、１１１・・・１１Ｎからなるオーディオ信号を処理して、仮想マイクロフォンオーディオ信号１０５を出力する。必要であれば、ブロック２０２が、仮想の空間マイクロフォンに対応する空間副情報１０６を演算するようにしてもよい。以下の実施形態は、ブロック２０１および２０２がどのように動作するのかの可能性を示す。
【００９８】
以降において、一実施形態によるサウンドイベント位置推定器の位置推定を、より詳細に説明する。
【００９９】
問題の次元（２Ｄまたは３Ｄ）および空間マイクロフォンの数に応じて、位置推定に対するいくつかの解法が可能となる。
【０１００】
２Ｄにおいて２つの空間マイクロフォンが存在する場合（最も単純な場合）、単純な三角測量が可能となる。図１５は、現実の空間マイクロフォンが各３個のマイクロフォンの均一線形アレイ（ＵＬＡ）によって示される例示的シナリオを示す。アジマス角ａ１（ｋ，ｎ）およびａ２（ｋ，ｎ）で表現されるＤＯＡは、時間−周波数ビン（ｋ，ｎ）について演算される。これは、非特許文献１２のＥＳＰＲＩＴ、あるいは非特許文献１３のＭＵＳＩＣのような適切なＤＯＡ推定器を、時間−周波数ドメインに変換される圧力信号に採用することによって実現される。
【０１０１】
図１５では、２つの現実の空間マイクロフォンとして、２つの現実の空間マイクロフォンアレイ４１０および４２０が示される。２つの推定ＤＯＡａ１（ｋ，ｎ）およびａ２（ｋ，ｎ）が２本の線で表され、第１の線４３０がＤＯＡａ１（ｋ，ｎ）を示し、第２の線４４０がＤＯＡａ２（ｋ，ｎ）を示す。三角測量は、各アレイの位置および向きを知ることによって、単純な幾何学的検討によって可能となる。
【０１０２】
三角測量は、２本の線４３０および４４０が完全に平行な場合にはできない。しかし、現実の適用においては、これは非常に稀である。しかし、全ての三角測量の結果が、検討される空間におけるサウンドイベントに対する物理的または可能な位置に対応するわけではない。例えば、サウンドイベントの推定位置が遠すぎるか、さらには前提となる空間外にある場合、ＤＯＡは、使用されるモデルで物理的に解釈され得るいずれのサウンドイベントにも対応しないであろう。このような結果は、センサのノイズまたは強すぎる室内残響によってもたらされ得る。したがって、一実施形態によると、そのような望まれない結果には、情報演算モジュール２０２がそれらを適切に扱うように、フラグが立てられる。
【０１０３】
図１６は、サウンドイベントの位置が３Ｄ空間で推定されるシナリオを示す。適切な空間マイクロフォン、例えば、平板または３Ｄマイクロフォンアレイが採用される。図１６には、第１の空間マイクロフォン５１０、例えば、第１の３Ｄマイクロフォンアレイ、および第２の空間マイクロフォン５２０、例えば、第１の３Ｄマイクロフォンアレイが示される。３Ｄ空間におけるＤＯＡを、例えば、アジマス角および仰角で表現することができる。ＤＯＡを表現するのに単位ベクトル５３０および５４０を用いることができる。２本の線５５０および５６０がＤＯＡに従って発射される。３Ｄにおいて、非常に信頼性の高い推定値を用いても、ＤＯＡに従って発射された２本の線５５０および５６０は交差し得ない。しかし、例えば、２本の線を接続する最短距離の中間点を選択することによって、それでも三角測量を実行することができる。
【０１０４】
２Ｄの場合と同様に、三角測量は、方向の所定の組合せに対しては失敗する場合があり、または不能な結果をもたらす場合があり、それらについては、例えば、図１４の情報演算モジュール２０２に対してフラグが立てられる。
【０１０５】
３個以上の空間マイクロフォンが存在する場合には、いくつかの解法が可能となる。例えば、上記の三角測量を、現実の空間マイクロフォンの全ての対（Ｎ＝３の場合、１と２、１と３、および２と３）に対して実行する。そして、得られる位置の平均（ｘおよびｙ、および３Ｄが検討される場合にはｚにも沿って）がとられるようにすればよい。
【０１０６】
代替的に、より複雑なコンセプトが用いられてもよい。例えば、非特許文献１４に記載される確率的アプローチが適用されてもよい。
【０１０７】
一実施形態によると、音場を、時間−周波数ドメインにおいて解析することができ、例えば、短時間フーリエ変換（ＳＴＦＴ）によって取得することができる。ここで、ｋおよびｎが、周波数インデックスｋおよび時間インデックスｎをそれぞれ示すものとする。所定のｋおよびｎに対する任意の位置ｐｖにおける複素圧力Ｐｖ（ｋ，ｎ）は、例えば、数式：
【数１６】
0005814476.tif 000017
を採用することによって、狭帯域の等方性点状音源によって放射された単一の球面波としてモデル化される。ここで、ＰＩＰＬＳ（ｋ，ｎ）は、ＩＰＬＳによってその位置ｐＩＰＬＳ（ｋ，ｎ）で放射された信号である。複素ファクタγ（ｋ，ｐＩＰＬＳ，ｐｖ）は、ｐＩＰＬＳ（ｋ，ｎ）からｐｖへの伝搬を表し、例えば、適切な位相および絶対値の変位を導入する。ここでは、各時間−周波数ビンにおいて、１つのＩＰＬＳのみがアクティブであるという前提が適用される。それでもなお、異なる位置にある多数の狭帯域ＩＰＬＳが、単一の時間インスタンスにおいてアクティブとなることもある。
【０１０８】
各ＩＰＬＳは、直接音または個別の室内反射をモデル化する。その位置ｐＩＰＬＳ（ｋ，ｎ）は、理想的には、室内に位置する実際の音源または外部に位置する鏡像音源にそれぞれ対応するものであればよい。したがって、位置ｐＩＰＬＳ（ｋ，ｎ）もサウンドイベントの位置を示すことになる。
【０１０９】
なお、用語「実際の音源」とは、話者または楽器のような、録音環境において物理的に存在する実際の音源をいうものとする。これに対して、「音源」、「サウンドイベント」または「ＩＰＬＳ」を用いる場合、所定の時間インスタンスにおいて、または所定の時間−周波数ビンにおいてアクティブとなる有効な音源のことをいい、音源は、例えば、現実の音源または鏡像源を表すことになる。
【０１１０】
図２７Ａ−２７Ｂは、音源を局在化するマイクロフォンアレイを示す。局在化された音源は、それらの性質に応じて、異なる物理的解釈を有する。マイクロフォンアレイが直接音を受信する場合、それらは、実際の音源（例えば、話者）の位置を局在化する。マイクロフォンアレイが反射を受信する場合、マイクロフォンアレイは、鏡像源の位置を局在化する。鏡像源も音源である。
【０１１１】
図２７Ａは、２つのマイクロフォンアレイ１５１および１５２が直接音を実際の音源（物理的に存在する音源）１５３から受信するシナリオを示す。
【０１１２】
図２７Ｂは、２つのマイクロフォンアレイ１６１および１６２が反射音を受信するシナリオを示す。音は、壁によって反射されたものである。この反射のために、マイクロフォンアレイ１６１および１６２は、音が来たようにみえる位置を、スピーカ１６３の位置とは異なる鏡像源１６５の位置に局在化する。
【０１１３】
図２７Ａの実際の音源１５３ならびに鏡像源１６５の双方が、音源となる。
【０１１４】
図２７Ｃは、２つのマイクロフォンアレイ１７１および１７２が拡散音を受信し、音源を局在化することができないシナリオを示す。
【０１１５】
単一波のモデルは、源信号がＷ−ｄｉｓｊｏｉｎｔ  ｏｒｔｈｏｇｏｎａｌｉｔｙ（ＷＤＯ）の条件を満たすこと、すなわち、時間−周波数の重なりが充分に小さいことを考慮すると、適度に反射する環境に対してのみ正確である。これは、例えば非特許文献１１に示されるように、会話信号に対して通常は正しい。
【０１１６】
一方で、このモデルは、他の環境に対しても良い推定値を与え、したがってそれらの環境に適用可能である。
【０１１７】
以降において、一実施形態による位置ｐＩＰＬＳ（ｋ，ｎ）の推定を説明する。所定の時間−周波数ビンにおいて、アクティブなＩＰＬＳの位置ｐＩＰＬＳ（ｋ，ｎ）、および時間−周波数ビンにおけるサウンドイベントの推定は、少なくとも２つの異なる観察点において測定された音の到来方向（ＤＯＡ）に基づいて、三角測量によって推定される。
【０１１８】
図１７は、現在の時間−周波数スロット（ｋ，ｎ）のＩＰＬＳが未知の位置ｐＩＰＬＳ（ｋ，ｎ）に位置する場合の幾何状態を示す。必要なＤＯＡ情報を特定するために、既知の幾何、位置および向きの２つの現実の空間マイクロフォン、ここでは、位置６１０および６２０にそれぞれ配置される２つのマイクロフォンアレイが採用される。ベクトルｐ１およびｐ２は、位置６１０および６２０をそれぞれ指す。アレイの向きは、単位ベクトルｃ１およびｃ２によって規定される。音のＤＯＡは、例えば、ＤｉｒＡＣ解析（非特許文献２および非特許文献３参照）によって与えられるＤＯＡ推定アルゴリズムを用いて、各（ｋ，ｎ）に対して位置６１０および６２０に特定される。これによって、マイクロフォンアレイの視点に関する第１の視点単位ベクトルｅ１ＰＯＶ（ｋ，ｎ）および第２の視点単位ベクトルｅ２ＰＯＶ（ｋ，ｎ）（双方とも図１７には不図示である）が、ＤｉｒＡＣ解析の出力として与えられる。例えば、２Ｄで演算する場合、第１の視点単位ベクトルは以下のようになる。
【数１７】
0005814476.tif 000018
【０１１９】
ここで、φ１（ｋ，ｎ）は、図１７に示すように、第１のマイクロフォンアレイにおいて推定されたＤＯＡのアジマス角を示す。原点におけるグローバル座標系に関して、対応するＤＯＡ単位ベクトルｅ１（ｋ，ｎ）およびｅ２（ｋ，ｎ）を、以下の数式を適用することによって演算することができる。
【数１８】
0005814476.tif 000019
Ｒは座標変換行列であり、例えば、２Ｄにおいて演算する場合、
【数１９】
0005814476.tif 000020
であり、ｃ１＝［ｃ１、ｘ，ｃ１、ｙ］Ｔである。例えば、三角測量を実行するために、方向ベクトルｄ１（ｋ，ｎ）およびｄ２（ｋ，ｎ）を以下のように計算することができる。
【数２０】
0005814476.tif 000021
ここで、ｄ１（ｋ，ｎ）＝｜｜ｄ１（ｋ，ｎ）｜｜およびｄ２（ｋ，ｎ）＝｜｜ｄ２（ｋ，ｎ）｜｜は、ＩＰＬＳと２つのマイクロフォンアレイとの未知数の距離である。以下の数式：
【数２１】
0005814476.tif 000022
をｄ１（ｋ，ｎ）について解くことができる。最後に、ＩＰＬＳの位置ｐＩＰＬＳ（ｋ，ｎ）が、
【数２２】
0005814476.tif 000023
によって得られる。
【０１２０】
他の実施形態では、式（６）をｄ２（ｋ，ｎ）について解くことができ、ｐＩＰＬＳ（ｋ，ｎ）は同様にｄ２（ｋ，ｎ）を採用することによって演算される。
【０１２１】
式（６）は、ｅ１（ｋ，ｎ）およびｅ２（ｋ，ｎ）が平行でない限りは、２Ｄで演算する場合に常に解を与える。しかし、３以上のマイクロフォンアレイを使用する場合、または３Ｄで演算する場合、方向ベクトルｄが交差しない場合には解は得られない。一実施形態によると、この場合、全ての方向ベクトルｄに最も近い点が演算され、その結果をＩＰＬＳの位置として使用することができる。
【０１２２】
一実施形態では、全ての観察点ｐ１、ｐ２、・・・は、ＩＰＬＳによって放射された音が同じ時間的ブロックｎに入るように配置されるべきである。この要件は、観察点のうちの任意の２点間の距離Δが、
【数２３】
0005814476.tif 000024
よりも小さい場合に簡単に満たされる。ここで、ｎＦＦＴはＳＴＦＴのウインドウ長であり、０≦Ｒ＜１のＲは連続時間フレーム間の重なりを指定し、ｆｓはサンプリング周波数である。例えば、５０％の重なり（Ｒ＝０．５）で４８ｋＨｚにおける１０２４ポイントのＳＴＦＴについて、上記要件を満たすアレイ間の最大間隔は、Δ＝３．６５ｍとなる。
【０１２３】
以降において、一実施形態による情報演算モジュール２０２、例えば、仮想マイクロフォン信号および副情報演算モジュールをより詳細に説明する。
【０１２４】
図１８は、一実施形態による情報演算モジュール２０２の概略図を示す。情報演算部は、伝搬補償器５００、コンバイナ５１０およびスペクトル重み付け部５２０を備える。情報演算モジュール２０２は、サウンドイベント位置推定器によって推定された音源位置推定値ｓｓｐ、現実の空間マイクロフォン１以上によって録音された１以上のオーディオ入力信号、１以上の現実の空間マイクロフォンの位置ｐｏｓＲｅａｌＭｉｃ、および仮想マイクロフォンの仮想位置ｐｏｓＶｍｉｃを受信する。そして、情報演算モジュール２０２は、仮想マイクロフォンのオーディオ信号を示すオーディオ出力信号ｏｓを出力する。
【０１２５】
図１９は、他の実施形態による情報演算モジュールを示す。図１９の情報演算モジュールは、伝搬補償器５００、コンバイナ５１０およびスペクトル重み付け部５２０を備える。伝搬補償器５００は、伝搬パラメータ演算モジュール５０１および伝搬補償モジュール５０４を備える。コンバイナ５１０は、合成ファクタ演算モジュール５０２および合成モジュール５０５を備える。スペクトル重み付け部５２０は、スペクトル重み付け演算部５０３、スペクトル重み付け適用モジュール５０６および空間副情報演算モジュール５０７を備える。
【０１２６】
仮想マイクロフォンのオーディオ信号を演算するために、幾何情報、例えば、現実の空間マイクロフォン１２１・・・１２Ｎの位置および向き、仮想の空間マイクロフォン１０４の位置、向きおよび特性なちびにサウンドイベント２０５の位置推定値が、情報演算モジュール２０２に、特に、伝搬補償器５００の伝搬パラメータ演算モジュール５０１に、コンバイナ５１０の合成ファクタ演算モジュール５０２に、およびスペクトル重み付け部５２０のスペクトル重み付け演算部５０３に、入力される。伝搬パラメータ演算モジュール５０１、合成ファクタ演算モジュール５０２およびスペクトル重み付け演算部５０３は、伝搬補償モジュール５０４、合成モジュール５０５およびスペクトル重み付け適用モジュール５０６におけるオーディオ信号１１１・・・１１Ｎの修正で使用されるパラメータを演算する。
【０１２７】
情報演算モジュール２０２において、オーディオ信号１１１・・・１１Ｎは、まず、サウンドイベント位置と現実の空間マイクロフォンとの間の異なる伝搬長によって与えられる効果を補償するように修正されることになる。そして、信号は、例えば、信号−雑音比（ＳＮＲ）を改善するように合成されてもよい。最後に、結果として得られる信号は、任意の距離依存ゲイン関数だけでなく、仮想マイクロフォンの指向性ピックアップパターンを考慮に入れるようにスペクトル的に重み付けされてもよい。以下に、これらの３つのステップをより詳細に説明する。
【０１２８】
ここで、伝搬補償をより詳細に説明する。図２０の上側部分に、２つの現実の空間マイクロフォン（第１のマイクロフォンアレイ９１０および第２のマイクロフォンアレイ９２０）、時間−周波数ビン（ｋ，ｎ）についての局在化されたサウンドイベントの位置９３０および仮想の空間マイクロフォンの位置９４０を示す。
【０１２９】
図２０の下側部分は時間軸を示す。サウンドイベントが時刻ｔ０で放射されてから現実および仮想の空間マイクロフォンに伝搬するものとする。振幅だけでなく到来の時間遅延も距離とともに変化するので、伝搬距離が遠くなると、振幅は弱くなり、到来の時間遅延は長くなる。
【０１３０】
この２つの現実のアレイにおける信号は、これらの相対遅延Ｄｔ１２が小さい場合に限り比較可能となる。そうでない場合には、これらの２つの信号の一方が時間的に再整列されて相対遅延Ｄｔ１２を補償し、おそらくは、拡縮されて異なる減衰を補償する必要がある。
【０１３１】
仮想のマイクロフォンにおける到来と現実のマイクロフォンアレイにおける（現実の空間マイクロフォンの一方における）到来との間の遅延を補償することは、サウンドイベントの局在化とは無関係な遅延を変化させ、多くのアプリケーションに対して余計なものとなる。
【０１３２】
図１９に戻り、伝搬パラメータ演算モジュール５０１は、各現実の空間マイクロフォンに対して、および各サウンドイベントに対して、遅延を計算して補正するように構成される。所望の場合、伝搬パラメータ演算モジュール５０１は、考慮すべきゲインファクタを計算し、異なる振幅減衰を補償することもできる。
【０１３３】
伝搬補償モジュール５０４は、この情報を用いて、オーディオ信号を修正するように構成される。信号が（フィルタバンクのタイムウインドウと比べて）少量の時間だけシフトされる場合には、単純な位相回転で足りる。遅延が大きい場合には、より複雑な実施構成が必要となる。
【０１３４】
以降において、一実施形態による仮想マイクロフォンに対する伝搬補償の具体的な推定を、第１の現実の空間マイクロフォンの位置６１０および第２の現実の空間マイクロフォンの位置６２０を特に示す図１７を参照して説明する。
【０１３５】
ここに説明する実施形態では、少なくとも第１の録音されたオーディオ入力信号、例えば、現実の空間マイクロフォン（例えば、マイクロフォンアレイ）のうちの少なくとも１つの圧力信号、例えば、第１の現実の空間マイクロフォンの圧力信号が利用可能であるものとする。検討されるマイクロフォンを基準マイクロフォンといい、その位置を基準位置ｐｒｅｆといい、その圧力信号を基準圧力信号Ｐｒｅｆ（ｋ，ｎ）という。しかし、伝搬補償は、１つの圧力信号に対してだけでなく、現実の空間マイクロフォンの複数または全ての圧力信号に対して行われてもよい。
【０１３６】
ＩＰＬＳによって放射される圧力信号ＰＩＰＬＳ（ｋ，ｎ）と、ｐｒｅｆに位置する基準マイクロフォンの基準圧力信号Ｐｒｅｆ（ｋ，ｎ）と、の関係は、式（９）によって表現することができる。
【数２４】
0005814476.tif 000025
【０１３７】
一般に、複素ファクタγ（ｋ，ｐａ，ｐｂ）は、球面波のその原点からのｐａからｐｂへの伝搬によってもたらされる位相回転および振幅減衰を表す。しかし、現実のテストは、γにおける振幅減衰のみを検討すれば、位相回転も検討する場合と比べて大幅に少ないアーティファクトを持つ仮想マイクロフォン信号はもっともらしい印象となることを示した。
【０１３８】
空間の所定の点において測定され得る音エネルギーは、音源からの、図６では音源の位置ｐＩＰＬＳからの、距離ｒに大きく依存する。多くの状況において、この依存性は、公知の物理的原理、例えば、点状音源の遠方場における音圧の１／ｒ減衰を用いて、充分な精度でモデル化される。基準マイクロフォンの距離、例えば、音源からの第１の現実のマイクロフォンの距離が既知である場合、そして音源からの仮想マイクロフォンの距離も既知である場合には、仮想マイクロフォンの位置における音エネルギーが、基準マイクロフォン、例えば、第１の現実の空間マイクロフォンの信号およびエネルギーから推定される。これは、仮想マイクロフォンの出力信号が、適切なゲインを基準圧力信号に適用することによって得られることを意味する。
【０１３９】
第１の現実の空間マイクロフォンが基準マイクロフォンであり、ｐｒｅｆ＝ｐ１であるものとする。図１７では、仮想マイクロフォンがｐｖに位置する。図１７における幾何状態が詳細に把握されているので、基準マイクロフォン（図１７では、第１の現実の空間マイクロフォン）とＩＰＬＳとの距離ｄ１（ｋ，ｎ）＝｜｜ｄ１（ｋ，ｎ）｜｜は、仮想マイクロフォンとＩＰＬＳとの距離ｓ（ｋ，ｎ）＝｜｜ｓ（ｋ，ｎ）｜｜、すなわち、
【数２５】
0005814476.tif 000026
とともに容易に特定できる。
【０１４０】
仮想マイクロフォンの位置における音圧Ｐｖ（ｋ，ｎ）は、式（１）と式（９）を合成することによって演算され、
【数２６】
0005814476.tif 000027
となる。
【０１４１】
上述したように、いくつかの実施形態では、ファクタγは、伝搬に起因する振幅減衰だけを考慮するものである。音圧が１／ｒで減少するものとすると、
【数２７】
0005814476.tif 000028
となる。
【０１４２】
式（１）のモデルがあり、例えば、直接音のみが存在する場合には、式（１２）が絶対値情報を正確に再構成することができる。しかし、純粋な拡散音領域の場合、例えば、モデルの前提が成り立たない場合、提示された方法は、仮想マイクロフォンをセンサアレイの位置から離したときの信号の内在的な残響抑圧をもたらす。実際に、上述したように、拡散音領域では、ほとんどのＩＰＬＳが２つのセンサアレイの近くに局在化されることが予想される。したがって、仮想マイクロフォンをこれらの位置から遠ざけるときに、図１７において距離ｓ＝｜｜ｓ｜｜を増加気味にする。したがって、式（１１）による重み付けを適用する場合、基準圧力の大きさは減少する。これに対応して、仮想マイクロフォンを実際の音源に近づけると、直接音に対応する時間−周波数ビンは、オーディオ信号全体があまり拡散しない状態で知覚されるように増幅される。式（１２）における規則を調整することによって、直接音の増幅および拡散音の抑制を意のままに制御することができる。
【０１４３】
第１の現実の空間マイクロフォンの録音されたオーディオ入力信号（例えば、圧力信号）に伝搬補償を実行することによって、第１の修正オーディオ信号が得られる。
【０１４４】
実施形態においては、第２の現実の空間マイクロフォンの録音された第２のオーディオ入力信号（第２の圧力信号）に伝搬補償を実行することによって、第２の修正オーディオ信号を得てもよい。
【０１４５】
他の実施形態では、さらなる現実の空間マイクロフォンの録音されたさらなるオーディオ入力信号（さらなる圧力信号）に伝搬補償を実行することによって、さらなるオーディオ信号を得ることができる。
【０１４６】
ここで、一実施形態による図１９においてブロック５０２とブロック５０５を合成することについて、より詳細に説明する。異なる伝搬経路を補償して２以上の修正オーディオ信号を得るために、複数の異なる現実の空間マイクロフォンからの２以上のオーディオ信号が修正されたものとする。異なる伝搬経路を補償するために、異なる現実の空間マイクロフォンからのオーディオ信号が一旦修正されると、それらが合成されてオーディオ品質を向上する。そのようにすることで、例えば、ＳＮＲが増加され、または残響が低減される。
【０１４７】
合成についての可能な解法は、以下からなる：
−重み付け平均をとること、例えば、ＳＮＲ、仮想マイクロフォンまでの距離、または現実の空間マイクロフォンによって推定された拡散性を考慮すること。従来的な解法、例えば、最大比合成（ＭＲＣ）または等ゲイン合成（ＥＱＣ）を採用できる。
−合成信号を得るための修正オーディオ信号の一部または全部の線形合成。修正オーディオ信号が線形合成において重み付けされて合成信号を得ることができる。または、
−選択、例えば、ＳＮＲ、距離または拡散性に応じて、例えば、１つの信号のみが用いられる。
【０１４８】
モジュール５０２の役割は、適用可能であれば、合成のためのパラメータを演算することであり、これはモジュール５０５で実行される。
【０１４９】
ここで、実施形態によるスペクトル重み付けを詳細に説明する。これについては、図１９のブロック５０３および５０６が参照される。この最後のステップにおいて、合成から、または入力オーディオ信号の伝搬補償から得られるオーディオ信号は、入力１０４によって指定されるような仮想の空間マイクロフォンの空間的特性に応じて、および／または（２０５において与えられる）再構成された幾何状態に応じて、時間−周波数ドメインにおいて重み付けされる。
【０１５０】
各時間−周波数ビンについて、幾何的再構成によって、図２１に示すような仮想マイクロフォンに対するＤＯＡを容易に得ることができる。またさらに、仮想マイクロフォンとサウンドイベントの位置との距離も容易に演算できる。
【０１５１】
そして、時間−周波数ビンに対する重みが、所望される仮想マイクロフォンのタイプを考慮して演算される。
【０１５２】
指向性マイクロフォンの場合、スペクトル重み付けを、予め定義されたピックアップパターンに応じて演算することができる。例えば、一実施形態によると、カージオイドマイクロフォンが、関数ｇ（θ）、
ｇ（θ）＝０．５＋０．５ｃｏｓ（θ）
によって定義されたピックアップパターンを有していてもよい。なお、θは、仮想の空間マイクロフォンを見る方向と、仮想マイクロフォンの視点からの音のＤＯＡとのなす角である。
【０１５３】
他の可能性は芸術的な（非物理的な）減衰関数である。あるアプリケーションでは、仮想マイクロフォンから離れたサウンドイベントを、自由領域伝搬を特徴付けるものよりも大きいファクタで抑制することが望ましいことがある。この目的のため、いくつかの実施形態は、仮想マイクロフォンとサウンドイベントとの距離に依存する追加の重み付け関数を導入する。一実施形態では、仮想マイクロフォンからの所定の距離内（例えば、メートルで）のサウンドイベントのみがピックアップされるべきである。
【０１５４】
仮想マイクロフォンの指向性に関して、任意の指向性パターンを仮想マイクロフォンに対して適用できる。そのようにすることで、例えば、ある音源を複雑なサウンドシーンから分離することができる。
【０１５５】
音のＤＯＡは、仮想マイクロフォンの位置ｐｖにおいて演算される、すなわち、
【数２８】
0005814476.tif 000029
であるので、仮想マイクロフォンに対する任意の指向性を実現できる。ここで、ｃｖは仮想マイクロフォンの指向を記述する単位ベクトルである。例えば、Ｐｖ（ｋ，ｎ）は合成信号または伝搬補償された修正オーディオ信号を示すものとすると、数式：
【数２９】
0005814476.tif 000030
が、カージオイド指向性を持つ仮想マイクロフォンの出力を計算する。このように潜在的に生成される指向パターンは、位置推定の精度に依存する。
【０１５６】
実施形態では、１以上の現実の非空間的なマイクロフォン、例えば、無指向性マイクロフォンまたはカージオイドのような指向性マイクロフォンが、現実の空間マイクロフォンに加えてサウンドシーンに配置されて、図８に示す仮想マイクロフォン信号１０５のサウンド品質をさらに向上する。これらのマイクロフォンは、何らの幾何的情報を収集するためにも使用されず、よりクリーンなオーディオ信号を供給するためだけに使用される。これらのマイクロフォンは、空間マイクロフォンよりも音源の近くに配置される。この場合、一実施形態によると、現実の非空間マイクロフォンのオーディオ信号およびそれらの位置は単に、現実の空間マイクロフォンのオーディオ信号の代わりの処理のために、図１９に示す伝搬補償モジュール５０４に入力される。そして、伝搬補償は、１以上の非空間マイクロフォンの位置に関して、１以上の非空間マイクロフォンの録音されたオーディオ信号に対して実行される。これによって、一実施形態が、追加の非空間マイクロフォンを用いて実現される。
【０１５７】
さらなる実施形態では、仮想マイクロフォンの空間副情報の演算が実現される。マイクロフォンの空間副情報１０６を演算するために、図１９の情報演算モジュール２０２は、空間副情報演算モジュール５０７を備え、それは、音源の位置２０５並びに仮想マイクロフォンの位置、指向および特性１０４を入力として受信するように構成される。ある実施形態では、演算される必要がある副情報１０６に応じて、仮想マイクロフォンのオーディオ信号１０５を、空間副情報演算モジュール５０７への入力としても考慮することができる。
【０１５８】
空間副情報演算モジュール５０７の出力は、仮想マイクロフォンの副情報１０６である。この副情報は、例えば、仮想マイクロフォンの視点から各時間−周波数ビン（ｋ，ｎ）について音のＤＯＡまたは拡散性であればよい。他の可能な副情報として、例えば、仮想マイクロフォンの位置で測定されたであろうアクティブな音の強度ベクトルＩａ（ｋ，ｎ）も利用できる。ここで、これらのパラメータがどのように導出され得るかを説明する。
【０１５９】
一実施形態によると、仮想の空間マイクロフォンに対するＤＯＡ推定が実現される。情報演算モジュール１２０は、仮想マイクロフォンの位置ベクトルに基づいて、および図２２に示されるサウンドイベントの位置ベクトルに基づいて、仮想マイクロフォンの到来方向を空間副情報として推定するように構成される。
【０１６０】
図２２は、仮想マイクロフォンの視点から音のＤＯＡを導出する可能な態様を示す。図１９におけるブロック２０５によって与えられるサウンドイベントの位置は、各時間−周波数ビン（ｋ，ｎ）について、サウンドイベントの位置ベクトルである位置ベクトルｒ（ｋ，ｎ）で記述することができる。同様に、図１９における入力１０４として与えられる仮想マイクロフォンの位置は、仮想マイクロフォンの位置ベクトルである位置ベクトルｓ（ｋ，ｎ）で記述することができる。仮想マイクロフォンを見る方向はベクトルｖ（ｋ，ｎ）によって記述することができる。仮想マイクロフォンに対するＤＯＡは、ａ（ｋ，ｎ）によって与えられる。これは、ｖと音伝搬経路ｈ（ｋ，ｎ）とのなす角を表す。ｈ（ｋ，ｎ）は数式：
【数３０】
0005814476.tif 000031
を用いることによって演算されることができる。
【０１６１】
ここで、所望のＤＯＡａ（ｋ，ｎ）は、各（ｋ，ｎ）について、例えば、ｈ（ｋ，ｎ）とｖ（ｋ，ｎ）の内積の定義、すなわち、
【数３１】
0005814476.tif 000032
によって演算できる。
【０１６２】
他の実施形態では、情報演算モジュール１２０は、仮想マイクロフォンの位置ベクトルに基づいて、および図２２に示されるサウンドイベントの位置ベクトルに基づいて、仮想マイクロフォンにおけるアクティブな音の強度を空間副情報として推定するように構成されていてもよい。
【０１６３】
上記に定義されるＤＯＡａ（ｋ，ｎ）から、仮想マイクロフォンの位置におけるアクティブな音の強度Ｉａ（ｋ，ｎ）を導出することができる。これについて、図１９における仮想マイクロフォンのオーディオ信号１０５が無指向性マイクロフォンの出力に対応するとした場合、例えば、仮想マイクロフォンは無指向性マイクロフォンであるものとする。さらに、図２２における見る方向ｖは座標系のｘ軸に平行であるものとする。所望のアクティブな音の強度ベクトルＩａ（ｋ，ｎ）は、仮想マイクロフォンの位置を通るエネルギーの総流量を記述するので、Ｉａ（ｋ，ｎ）は、数式：
【数３２】
0005814476.tif 000033
に従って演算される。なお、［］Ｔは転置ベクトルを示し、ｒｈｏは空気の密度であり、Ｐｖ（ｋ，ｎ）は、仮想の空間マイクロフォンによって測定された音圧であり、例えば、図１９におけるブロック５０６の出力１０５である。
【０１６４】
一般座標系で表現されるがそれでも仮想マイクロフォンの位置においてアクティブな強度ベクトルが算出されるべきである場合、以下の数式が適用されてもよい。
【数３３】
0005814476.tif 000034
【０１６５】
音の拡散性は、所与の時間−周波数スロットにおいて音場がどれだけ拡散しているかを表現する（例えば、非特許文献２参照）。拡散性は値Ψによって表現され、ここで、０≦Ψ≦１である。拡散性１は、音場の合計音場エネルギーが完全に拡散していることを示す。この情報は、例えば、空間音の再生において重要である。従来的には、拡散性はマイクロフォンアレイが配置される空間内の特定の点で演算される。
【０１６６】
一実施形態によると、拡散性は、サウンドシーンにおける任意の位置に意のままに配置することができる仮想マイクロフォン（ＶＭ）に対して生成された副情報に対する追加のパラメータとして演算されてもよい。これにより、仮想マイクロフォンの仮想位置におけるオーディオ信号以外に拡散性も計算する装置は、サウンドシーンにおける任意の点についてＤｉｒＡＣストリーム、すなわち、オーディオ信号、到来方向および拡散性を生成できるので、仮想ＤｉｒＡＣフロントエンドとしてみることができる。ＤｉｒＡＣストリームは、任意のマルチスピーカ設定においてさらに処理され、記憶され、送信され、および再生される。この場合、視聴者は、あたかも彼または彼女が仮想マイクロフォンによって指定される位置にいるかのように、そしてその指向によって特定される方向を見ているかのようにサウンドシーンを体験する。
【０１６７】
図２３は、仮想マイクロフォンにおける拡散性を演算するための拡散性演算部８０１を備える一実施形態による情報演算ブロックを示す。情報演算ブロック２０２は、図１４の入力に加えて、現実の空間マイクロフォンにおける拡散性も含む入力１１１−１１Ｎを受信するように構成される。Ψ（ＳＭ１）−Ψ（ＳＭＮ）がこれらの値を示すものとする。これらの追加的な入力は、情報演算モジュール２０２に入力される。拡散演算部８０１の出力１０３は、仮想マイクロフォンの位置において演算される拡散性パラメータである。
【０１６８】
一実施形態の拡散性演算部８０１を、より詳細な図２４において説明する。一実施形態によると、Ｎ個の空間マイクロフォンの各々における直接および拡散音のエネルギーが推定される。そして、ＩＰＬＳの位置についての情報および空間的な仮想マイクロフォンの位置についての情報を用いて、仮想マイクロフォンの位置におけるこれらのエネルギーのＮ個の推定値が得られる。最後に、推定値が合成されて推定精度を向上することができ、仮想マイクロフォンにおける拡散性パラメータを容易に演算することができる。
【０１６９】
Ｅｄｉｒ（ＳＭ１）からＥｄｉｒ（ＳＭＮ）およびＥｄｉｆｆ（ＳＭ１）からＥｄｉｆｆ（ＳＭＮは、エネルギー解析部８１０によって演算されたＮ個の空間マイクロフォンの直接および拡散音のエネルギーの推定値を示す。ｉ番目の空間マイクロフォンについて、Ｐｉが複素圧力信号でありΨｉが拡散性である場合、エネルギーを、例えば、以下の数式によって演算することができる。
【数３４】
0005814476.tif 000035
【０１７０】
拡散音のエネルギーは、全ての位置で等しくなるべきであり、したがって、仮想マイクロフォンの拡散音エネルギーＥｄｉｆｆ（ＶＭ）の推定値は、例えば、数式：
【数３５】
0005814476.tif 000036
に従って、例えば、拡散性合成部８２０において、単に、Ｅｄｉｒ（ＳＭ１）からＥｄｉｒ（ＳＭＮ）までの平均をとることによって算出される。
【０１７１】
推定値Ｅｄｉｒ（ＳＭ１）からＥｄｉｒ（ＳＭＮ）までのより効果的な合成は、推定器の分散を考慮することによって、例えば、ＳＮＲを考慮することによって、実行される。
【０１７２】
直接音のエネルギーは、伝搬に起因して音源までの距離に依存する。したがって、これを考慮に入れて、Ｅｄｉｒ（ＳＭ１）からＥｄｉｒ（ＳＭＮ）までを修正することができる。これは、例えば、直接音伝搬調整部８３０によって実行されることができる。例えば、直接音領域のエネルギーが距離の二乗にわたって１減衰するとした場合、ｉ番目の空間マイクロフォンについての仮想マイクロフォンにおける直接音に対する推定値を、数式：
【数３６】
0005814476.tif 000037
によって計算することができる。
【０１７３】
拡散性合成部８２０と同様に、異なる空間マイクロフォンにおいて得られた直接音エネルギーの推定値を、例えば、直接音合成部８４０によって合成することができる。結果はＥｄｉｒ（ＶＭ）であり、例えば、仮想マイクロフォンの直接音エネルギーに対する推定値となる。仮想マイクロフォンの拡散性Ψ（ＶＭ）は、例えば拡散性副計算器８５０によって、数式：
【数３７】
0005814476.tif 000038
により計算することができる。
【０１７４】
上述したように、場合によっては、例えば、到来方向の誤った推定の場合において、サウンドイベント位置推定器によって実行されるサウンドイベントの位置推定は失敗する。図２５はそのようなシナリオを示す。これらの場合、異なる空間マイクロフォンで推定され、入力１１１−１１Ｎとして受信された拡散性パラメータにかかわらず、仮想マイクロフォンの拡散性１０３は、空間的にコヒーレントな再生ができないので、１（すなわち、完全に拡散）に設定されてもよい。
【０１７５】
さらに、ＤＯＡ推定値の信頼性をＮ個の空間マイクロフォンにおいて考慮することができる。これは、例えば、ＤＯＡ推定器の分散またはＳＮＲの観点で表現され得る。そのような情報を拡散性副計算器８５０によって考慮することができるので、ＤＯＡ推定値に信頼性がない場合にＶＭ拡散性１０３を人工的に増加することができる。実際に、結果として、位置推定値２０５にも信頼性がなくなる。
【０１７６】
図２６は、一実施形態による仮想出力信号生成装置９９１を示す。仮想出力信号生成装置９９１は、マイクロフォン位置計算器９９３を備える上記実施形態の１つによるマイクロフォン位置決め装置９９２を備える。さらに、仮想出力信号生成装置は、上記実施形態の１つによるオーディオ出力信号生成装置９９４を備える。オーディオ出力信号生成装置９９４によって生成された出力信号は、仮想出力信号ｖｏｓである。マイクロフォン位置決め装置９９１のマイクロフォン位置計算器９９２は、マイクロフォンの位置を計算済みマイクロフォン位置ｃｍｐとして計算するように構成される。オーディオ出力信号生成装置９９４は、マイクロフォン位置決め装置９９２によって計算された計算済みマイクロフォン位置において、仮想マイクロフォンの記録を模擬するように構成される。これによって、マイクロフォン位置決め装置９９２は、オーディオ出力信号生成装置９９４に対して、仮想マイクロフォンの仮想位置を計算する。
【０１７７】
いくつかの側面を装置との関連で説明したが、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴にも対応し、それらの側面が対応の方法の説明も表すことは明らかである。同様に、方法ステップに関連して説明した側面はまた、対応の装置の対応するブロック、詳細または特徴の記載も表す。
【０１７８】
本発明に係る分解された信号はデジタル記録媒体に記録するか、もしくはインターネット等の無線伝達媒体または有線伝達媒体などの伝達媒体に送信することができる。
【０１７９】
所定の実施要件に応じて、発明の実施形態はハードウェアで、またはソフトウェアで実施されることができる。その実施例は、例えば、電子的に読み取り可能な制御信号が記憶され、それぞれの方法が実行されるようにプログラマム可能コンピュータシステムと協働する（または協働ことができる）フレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）またはフラッシュメモリといったデジタル記憶媒体を用いて実行することができる。
【０１８０】
発明によるいくつかの実施形態は、電子的に読み取り可能な制御信号を有する一時的でないデータキャリアを備え、それらはここに記載された方法の１つが実行されるようにプログラマム可能コンピュータシステムと協働することができる。
【０１８１】
通常、本発明の実施形態は、プログラムコードを持つコンピュータプログラム製品として実施でき、プログラムコードは、コンピュータプログラム製品がコンピュータ上で稼働したときに方法の１つを実行するよう動作可能である。プログラムコードは、例えば、機械読取可能な担体に記憶される。
他の実施形態は、機械読取可能な担体に記憶され、ここに記載された方法の１つを実行するためのコンピュータプログラムからなる。
【０１８２】
言い換えると、発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で稼働したときに、ここに記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１８３】
したがって、発明の方法のさらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを、そこに録音されて備えるデータ担体（すなわち、デジタル記憶媒体またはコンピュータ読取可能媒体）である。
【０１８４】
したがって、発明の方法のさらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネット等のデータ通信接続を介して転送されるように構成されることができる。
【０１８５】
さらなる実施形態は、ここに記載された方法の１つを実行するように構成されたまたは適合された、例えば、コンピュータまたはプログラム可能論理デバイスといった処理手段からなる。
さらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムをインストールされたコンピュータからなる。
【０１８６】
実施形態によっては、プログラマム可能論理デバイス（例えば、フィールドプログラマブルゲートアレイ）が、ここに記載された方法の機能の一部または全部を実行するのに使用されてもよい。実施形態によっては、ここに記載された方法の１つを実行するために、フィールドプログラマブルゲートアレイはマイクロプロセッサと協働することができる。通常、それらの方法は、あらゆるハードウェア装置によって好適に実行される。
【０１８７】
上述した実施形態は本発明の原理についての単なる例示である。構成の変形例および拡張例およびここに記載された詳細は当業者に明らかなものとなることが理解される。したがって、それは、ここに挙げた実施形態の説明および解説として示された具体的詳細によってではなく、特許請求の範囲の各請求項に記載された範囲によってのみ限定されることを意図するものである。
【図１】
0005814476.tif 000043
【図２】
0005814476.tif 000044
【図３】
0005814476.tif 000045
【図４Ａ】
0005814476.tif 000046
【図４Ｂ】
0005814476.tif 000047
【図４Ｃ】
0005814476.tif 000048
【図５】
0005814476.tif 000049
【図６Ａ】
0005814476.tif 000050
【図６Ｂ】
0005814476.tif 000051
【図７】
0005814476.tif 000052
【図８】
0005814476.tif 000053
【図９】
0005814476.tif 000054
【図１０Ａ】
0005814476.tif 000055
【図１０Ｂ】
0005814476.tif 000056
【図１０Ｃ】
0005814476.tif 000057
【図１１】
0005814476.tif 000058
【図１２】
0005814476.tif 000059
【図１３】
0005814476.tif 000060
【図１４】
0005814476.tif 000061
【図１５】
0005814476.tif 000062
【図１６】
0005814476.tif 000063
【図１７】
0005814476.tif 000064
【図１８】
0005814476.tif 000065
【図１９】
0005814476.tif 000066
【図２０】
0005814476.tif 000067
【図２１】
0005814476.tif 000068
【図２２】
0005814476.tif 000069
【図２３】
0005814476.tif 000070
【図２４】
0005814476.tif 000071
【図２５】
0005814476.tif 000072
【図２６】
0005814476.tif 000073
【図２７Ａ】
0005814476.tif 000074
【図２７Ｂ】
0005814476.tif 000075
【図２７Ｃ】
0005814476.tif 000076