(57)【特許請求の範囲】
【請求項１】
少なくとも第１ソース信号ｘ１（２１０）および第２ソース信号ｘ２（２１２）を処理して、ミキシングされた音声信号を供給するミキシング制御装置（３００）であって、
上記ミキシング制御装置は、空間（２００）内の仮想的な聴取位置（２０２）についての音声信号（１２０）を供給する音声信号生成装置（１００）を備えており、
当該音声信号生成装置（１００）において、少なくとも、空間（２００）内の既知の第１の位置にある第１マイクロフォン（２０４）によって、上記第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間（２００）内の既知の第２の位置にある第２マイクロフォン（２０６）によって、上記第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
上記音声信号生成装置（１００）は、
上記第１マイクロフォン（２０４）によって録音された上記第１ソース信号ｘ１（２１０）と、上記第２マイクロフォン（２０６）によって録音された上記第２ソース信号ｘ２（２１２）とを受信する入力インターフェース（１０２）と、
上記第１の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１０）の第１部品を決定し、上記第２の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１２）の第２部品を決定するジオメトリプロセッサ（１０４）と、
上記ジオメトリ情報（１１０）の上記第１部品と、上記ジオメトリ情報（１１２）の上記第２部品とを用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）とを合成する、音声信号（１２０）を供給するための信号生成装置（１０６）と、
を備え、
ジオメトリ情報（１１０）の上記第１部品は、上記第１の位置と上記仮想的な聴取位置との間の第１の距離ｄ１を含み、ジオメトリ情報（１１２）の上記第２部品は、上記第２の位置と上記仮想的な聴取位置（２０２）との間の第２の距離ｄ２を含み、
上記組み合わせルールは、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記第１ソース信号ｘ１（２１０）は、第１の重み付け値ｇ１によって重み付けされ、上記第２ソース信号ｘ２（２１２）は、第２の重み付け値ｇ２によって重み付けされ、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、上記第１の距離ｄ１の累乗の逆数に比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、上記第２の距離ｄ２の累乗の逆数に比例し、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、上記第１の距離ｄ１の逆数に上記第１マイクロフォンの近接音場の半径ｒ１を掛けたものに比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、上記第２の距離ｄ２の逆数に上記第２マイクロフォンの近接音場の半径ｒ２を掛けたものに比例していることを特徴とするミキシング制御装置（３００）。
【請求項２】
上記ミキシング制御装置は、さらに、ユーザインターフェース（３０６）を備え、
該ユーザインターフェース（３０６）は、上記第１マイクロフォンおよび上記第２マイクロフォンを少なくとも含む複数のマイクロフォンの位置と、仮想的な聴取位置（２０２）とを、視覚的な表現で示すことを特徴とする請求項１に記載のミキシング制御装置（３００）。
【請求項３】
ユーザインターフェース（３０６）は、第１マイクロフォンタイプおよび第２マイクロフォンタイプを少なくとも含むグループのうちの１つのマイクロフォンタイプを各マイクロフォンに関連付ける入力装置をさらに備え、
マイクロフォンタイプは、マイクロフォンを用いて録音された音場の種類に対応することを特徴とする請求項１または２に記載のミキシング制御装置（３００）。
【請求項４】
ユーザインターフェース（３０６）は、上記仮想的な聴取位置（２０２）の視覚的な表現に顕著に影響することによって、少なくとも上記仮想的な聴取位置を入力または変更する入力装置をさらに備えていることを特徴とする請求項１から３のいずれか１項に記載のミキシング制御装置（３００）。
【請求項５】
ジオメトリ情報の上記第１部品とジオメトリ情報の上記第２部品との比較結果が、所定の基準を満たす場合、上記組み合わせルールにしたがって、上記第１ソース信号ｘ１（２１０）または上記第２ソース信号ｘ２（２１２）のどちらかが遅延されることを特徴とする請求項１から４のいずれか１項に記載のミキシング制御装置（３００）。
【請求項６】
第１の距離ｄ１と第２の距離ｄ２との間の差が、動作可能な最小距離よりも長い場合に、上記所定の基準が満たされることを特徴とする請求項５に記載のミキシング制御装置（３００）。
【請求項７】
上記組み合わせルールにしたがって、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）を含むグループのうち、信号に関連付けられたマイクロフォンから上記仮想的な聴取位置までの信号の伝搬時間がより短い信号が遅延され、それによって、遅延された信号の伝搬時間が、上記グループのうちの他の信号に関連付けられたマイクロフォンから上記仮想的な聴取位置までの信号の伝搬時間と対応することを特徴とする請求項１から６のいずれか１項に記載のミキシング制御装置（３００）。
【請求項８】
少なくとも第１ソース信号ｘ１（２１０）および第２ソース信号ｘ２（２１２）を処理して、ミキシングされた音声信号を供給するミキシング制御装置（３００）であって、
上記ミキシング制御装置は、空間（２００）内の仮想的な聴取位置（２０２）についての音声信号（１２０）を供給する音声信号生成装置（１００）を備えており、
当該音声信号生成装置（１００）において、少なくとも、空間（２００）内の既知の第１の位置にある第１マイクロフォン（２０４）によって、上記第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間（２００）内の既知の第２の位置にある第２マイクロフォン（２０６）によって、上記第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
上記音声信号生成装置（１００）は、
上記第１マイクロフォン（２０４）によって録音された上記第１ソース信号ｘ１（２１０）と、上記第２マイクロフォン（２０６）によって録音された上記第２ソース信号ｘ２（２１２）とを受信する入力インターフェース（１０２）と、
上記第１の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１０）の第１部品を決定し、上記第２の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１２）の第２部品を決定するジオメトリプロセッサ（１０４）と、
上記ジオメトリ情報（１１０）の上記第１部品と、上記ジオメトリ情報（１１２）の上記第２部品とを用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）とを合成する、音声信号（１２０）を供給するための信号生成装置（１０６）と、
を備え、
ジオメトリ情報（１１０）の上記第１部品は、上記第１の位置と上記仮想的な聴取位置との間の第１の距離ｄ１を含み、ジオメトリ情報（１１２）の上記第２部品は、上記第２の位置と上記仮想的な聴取位置（２０２）との間の第２の距離ｄ２を含み、
上記組み合わせルールは、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記第１ソース信号ｘ１（２１０）は、第１の重み付け値ｇ１によって重み付けされ、上記第２ソース信号ｘ２（２１２）は、第２の重み付け値ｇ２によって重み付けされ、
上記第１の距離ｄ１が所定の聴取半径Ｒよりも大きい場合、上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１はゼロであり、上記第２の距離ｄ２が所定の聴取半径Ｒよりも大きい場合、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２はゼロであり、それ以外の場合、上記第１の重み付け値ｇ１および上記第２の重み付け値ｇ２は１であることを特徴とするミキシング制御装置（３００）。
【請求項９】
少なくとも第１ソース信号ｘ１（２１０）および第２ソース信号ｘ２（２１２）を処理して、ミキシングされた音声信号を供給するミキシング制御装置（３００）であって、
上記ミキシング制御装置は、空間（２００）内の仮想的な聴取位置（２０２）についての音声信号（１２０）を供給する音声信号生成装置（１００）を備えており、
当該音声信号生成装置（１００）において、少なくとも、空間（２００）内の既知の第１の位置にある第１マイクロフォン（２０４）によって、上記第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間（２００）内の既知の第２の位置にある第２マイクロフォン（２０６）によって、上記第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
上記音声信号生成装置（１００）は、
上記第１マイクロフォン（２０４）によって録音された上記第１ソース信号ｘ１（２１０）と、上記第２マイクロフォン（２０６）によって録音された上記第２ソース信号ｘ２（２１２）とを受信する入力インターフェース（１０２）と、
上記第１の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１０）の第１部品を決定し、上記第２の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１２）の第２部品を決定するジオメトリプロセッサ（１０４）と、
上記ジオメトリ情報（１１０）の上記第１部品と、上記ジオメトリ情報（１１２）の上記第２部品とを用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）とを合成する、音声信号（１２０）を供給するための信号生成装置（１０６）と、
を備え、
ジオメトリ情報（１１０）の上記第１部品は、上記第１の位置と上記仮想的な聴取位置との間の第１の距離ｄ１を含み、ジオメトリ情報（１１２）の上記第２部品は、上記第２の位置と上記仮想的な聴取位置（２０２）との間の第２の距離ｄ２を含み、
上記組み合わせルールは、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記第１ソース信号ｘ１（２１０）は、第１の重み付け値ｇ１によって重み付けされ、上記第２ソース信号ｘ２（２１２）は、第２の重み付け値ｇ２によって重み付けされ、
ジオメトリ情報（１１０）の上記第１部品は、上記仮想的な聴取位置に関連付けられた優先方向（２８０）と上記第１の位置との間の方向についての方向情報の第１部品、および、上記優先方向と上記第２の位置との間の方向についての方向情報の第２部品をさらに含んでおり、
上記第１の重み付け値ｇ１は、第１の方向因子に比例し、上記第２の重み付け値ｇ２は、第２の方向因子に比例し、
上記第１の方向因子は、上記方向情報の第１部品と上記仮想的な聴取位置に関連付けられた方向性とに依存し、上記第２の方向因子は、上記方向情報の第２部品と上記方向性とに依存することを特徴とするミキシング制御装置（３００）。
【請求項１０】
少なくとも第１ソース信号ｘ１（２１０）および第２ソース信号ｘ２（２１２）を処理して、ミキシングされた音声信号を供給するミキシング制御装置（３００）であって、
上記ミキシング制御装置は、空間（２００）内の仮想的な聴取位置（２０２）についての音声信号（１２０）を供給する音声信号生成装置（１００）を備えており、
当該音声信号生成装置（１００）において、少なくとも、空間（２００）内の既知の第１の位置にある第１マイクロフォン（２０４）によって、上記第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間（２００）内の既知の第２の位置にある第２マイクロフォン（２０６）によって、上記第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
上記音声信号生成装置（１００）は、
上記第１マイクロフォン（２０４）によって録音された上記第１ソース信号ｘ１（２１０）と、上記第２マイクロフォン（２０６）によって録音された上記第２ソース信号ｘ２（２１２）とを受信する入力インターフェース（１０２）と、
上記第１の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１０）の第１部品を決定し、上記第２の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１２）の第２部品を決定するジオメトリプロセッサ（１０４）と、
上記ジオメトリ情報（１１０）の上記第１部品と、上記ジオメトリ情報（１１２）の上記第２部品とを用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）とを合成する、音声信号（１２０）を供給するための信号生成装置（１０６）と、
を備え、
上記信号生成装置（１０６）は、上記第１マイクロフォン（２０４）および上記第２マイクロフォン（２０６）が第１マイクロフォンタイプと関連付けられている場合には、第１の組み合わせルールを使用する一方、上記第１マイクロフォン（２０４）および上記第２マイクロフォン（２０６）が第２マイクロフォンタイプと関連付けられている場合には、別の第２の組み合わせルールを使用し、
上記第１の組み合わせルールにしたがって、第１の近接音場の半径ｒ１が使用され、上記第２の組み合わせルールにしたがって、異なる第２の近接音場の半径ｒ２が使用されることを特徴とするミキシング制御装置（３００）。
【請求項１１】
少なくとも第１ソース信号ｘ１（２１０）および第２ソース信号ｘ２（２１２）を処理して、ミキシングされた音声信号を供給するミキシング制御装置（３００）であって、
上記ミキシング制御装置は、空間（２００）内の仮想的な聴取位置（２０２）についての音声信号（１２０）を供給する音声信号生成装置（１００）を備えており、
当該音声信号生成装置（１００）において、少なくとも、空間（２００）内の既知の第１の位置にある第１マイクロフォン（２０４）によって、上記第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間（２００）内の既知の第２の位置にある第２マイクロフォン（２０６）によって、上記第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
上記音声信号生成装置（１００）は、
上記第１マイクロフォン（２０４）によって録音された上記第１ソース信号ｘ１（２１０）と、上記第２マイクロフォン（２０６）によって録音された上記第２ソース信号ｘ２（２１２）とを受信する入力インターフェース（１０２）と、
上記第１の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１０）の第１部品を決定し、上記第２の位置および上記仮想的な聴取位置（２０２）に基づいてジオメトリ情報（１１２）の第２部品を決定するジオメトリプロセッサ（１０４）と、
上記ジオメトリ情報（１１０）の上記第１部品と、上記ジオメトリ情報（１１２）の上記第２部品とを用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）とを合成する、音声信号（１２０）を供給するための信号生成装置（１０６）と、
を備え、
上記信号生成装置（１０６）は、上記第１マイクロフォン（２０４）および上記第２マイクロフォン（２０６）が第１マイクロフォンタイプと関連付けられている場合には、第１の組み合わせルールを使用する一方、上記第１マイクロフォン（２０４）および上記第２マイクロフォン（２０６）が第２マイクロフォンタイプと関連付けられている場合には、別の第２の組み合わせルールを使用し、
上記第１マイクロフォンタイプは、アコースティックシーンの直射音の部分を録音するためのマイクロフォンと関連付けられており、上記第２マイクロフォンタイプは、アコースティックシーンの拡散音の部分を録音するためのマイクロフォンと関連付けられていることを特徴とするミキシング制御装置（３００）。
【請求項１２】
上記第１の組み合わせルールは、上記第１ソース信号ｘ１（２１０）の第１の重み付け値ｇ１と、上記第２ソース信号ｘ２（２１２）の第２の重み付け値ｇ２とを用いて、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、第１の距離ｄ１の累乗の逆数に比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、第２の距離ｄ２の累乗の逆数に比例することを特徴とする請求項１１に記載のミキシング制御装置（３００）。
【請求項１３】
上記第２の組み合わせルールは、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記重み付け値ｇ１および上記重み付け値ｇ２は、ジオメトリ情報（１１０）の上記第１部品およびジオメトリ情報（１１２）の上記第２部品に依存し、
上記重み付け値ｇ１および上記重み付け値ｇ２は、全ての可能なジオメトリ情報についての境界条件、すなわち、重み付け値の合計Ｇ＝ｇ１＋ｇ２、または、重み付け値の自乗の合計Ｇ２＝ｇ１２＋ｇ２２は、一定であり、とりわけ１であるという境界条件を満たすことを特徴とする請求項１２に記載のミキシング制御装置（３００）。
【請求項１４】
上記第２の組み合わせルールは、以下のクロスフェードルール、
【数１３】
0006316407.tif 000014
のうち少なくとも１つにしたがって、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計ｘｖｉｒｔを形成することを含むことを特徴とする請求項１３に記載のミキシング制御装置（３００）。
【請求項１５】
上記組み合わせルールは、以下のルール、すなわち、
ｘｖｉｒｔ＝σｘ１ｘ２＊ｘｖｉｒｔ１＋（１−σｘ１ｘ２）＊ｘｖｉｒｔ２３
（ここで、ｘｖｉｒｔ２３は、ｘｖｉｒｔ２またはｘｖｉｒｔ３である）
にしたがって、上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）との間の相関関係についての相関係数σｘ１ｘ２によって重み付けされた信号ｘｖｉｒｔ１および信号ｘｖｉｒｔ２３から、重み付け値の合計ｘｖｉｒｔを形成することをさらに含むことを特徴とする請求項１４に記載のミキシング制御装置（３００）。
【請求項１６】
第３の重み付け値ｇ３で重み付けされた第３の信号ｘ３は、上記第２の組み合わせルールにしたがって重み付け値の合計が形成されるときに考慮され、
上記第１ソース信号ｘ１（２１０）、上記第２ソース信号ｘ２（２１２）および上記第３の信号ｘ３に関連付けられているマイクロフォン（２５０、２５２、２５４）の位置は、上記仮想的な聴取位置（２０２）が配置される三角形の面の範囲に及び、
上記三角形の高さ（２６２）への上記仮想的な聴取位置（２０２）の垂直投影（２６４）に基づいて、上記第１ソース信号ｘ１（２１０）、上記第２ソース信号ｘ２（２１２）および上記第３の信号ｘ３について、上記重み付け値ｇ１、ｇ２およびｇ３がそれぞれ決定され、当該三角形の高さは、各ソース信号と関連付けられたマイクロフォン（２５０）の位置と関連付けられることを特徴とする請求項１３に記載のミキシング制御装置（３００）。
【請求項１７】
請求項６に記載の音声信号（１２０）を供給する音声信号生成装置（１００）であって、
第１の部分信号ｘｖｉｒｔ１は、以下の第１のクロスフェードルール、すなわち、
ｘｖｉｒｔ1＝ｇ１＊ｘ１＋（１−ｇ１）＊ｘ２
（ここで、ｇ２＝（１−ｇ１）である）
を用いて供給され、第２の部分信号ｘｖｉｒｔ２は、以下のクロスフェードルール、すなわち、
ｘｖｉｒｔ２＝ｃｏｓ（δ）＊ｘ１＋ｓｉｎ（δ）＊ｘ２
（ここで、δ∈［０°；９０°］である）
を用いて供給され、
重み付け値の合計の供給は、以下の計算、すなわち、
ｘｖｉｒｔ＝σｘ１ｘ２＊ｘｖｉｒｔ1＋（１−σｘ１ｘ２）＊ｘｖｉｒｔ２
を含むことを特徴とする音声信号生成装置（１００）。
【請求項１８】
空間（２００）内の仮想的な聴取位置（２０２）における音声信号（１２０）を供給する音声信号生成装置（１００）であって、該音声信号生成装置（１００）において、少なくとも、空間（２００）内の既知の第１の位置にある第１マイクロフォン（２０４）によって、第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間（２００）内の既知の第２の位置にある第２マイクロフォン（２０６）によって、第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
上記音声信号生成装置（１００）は、
上記第１マイクロフォンによって録音された上記第１ソース信号ｘ１（２１０）と、上記第２マイクロフォン（２０６）によって録音された上記第２ソース信号ｘ２（２１２）とを受信する入力インターフェース（１０２）と、
上記既知の第１の位置と上記仮想的な聴取位置（２０２）との間の第１の距離ｄ１を含む、ジオメトリ情報（１１０）の第１部品を、上記既知の第１の位置および上記仮想的な聴取位置（２０２）に基づいて決定し、上記既知の第２の位置と上記仮想的な聴取位置（２０２）との間の第２の距離ｄ２を含む、ジオメトリ情報（１１２）の第２部品を、上記既知の第２の位置および上記仮想的な聴取位置（２０２）に基づいて決定するジオメトリプロセッサ（１０４）と、
上記ジオメトリ情報（１１０）の上記第１部品と、上記ジオメトリ情報（１１２）の上記第２部品とを用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）と上記第２ソース信号ｘ２（２１２）とを合成する、音声信号（１２０）を供給するための信号生成装置（１０６）とを備え、
上記組み合わせルールは、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記第１ソース信号ｘ１（２１０）は、第１の重み付け値ｇ１によって重み付けされ、上記第２ソース信号ｘ２（２１２）は、第２の重み付け値ｇ２によって重み付けされ、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、上記第１の距離ｄ１の累乗の逆数に比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、上記第２の距離ｄ２の累乗の逆数に比例し、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、上記第１の距離ｄ１の逆数に上記第１マイクロフォンの近接音場の半径ｒ１を掛けたものに比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、上記第２の距離ｄ２の逆数に上記第２マイクロフォンの近接音場の半径ｒ２を掛けたものに比例することを特徴とする音声信号生成装置（１００）。
【請求項１９】
空間内の仮想的な聴取位置（２０２）における音声信号（１２０）を供給する方法であって、該方法において、少なくとも、空間内の既知の第１の位置にある第１マイクロフォンによって、第１ソース信号ｘ１（２１０）として、アコースティックシーンが録音され、少なくとも、空間内の既知の第２の位置にある第２マイクロフォンによって、第２ソース信号ｘ２（２１２）として、上記アコースティックシーンが録音され、
該方法は、
上記第１マイクロフォンによって録音された上記第１ソース信号ｘ１（２１０）、および、上記第２マイクロフォンによって録音された上記第２ソース信号ｘ２（２１２）を受信するステップ（５００）と、
上記既知の第１の位置と上記仮想的な聴取位置（２０２）との間の第１の距離ｄ１を含む、ジオメトリ情報の第１部品を、上記第１の位置および上記仮想的な聴取位置に基づいて決定し、上記既知の第２の位置と上記仮想的な聴取位置（２０２）との間の第２の距離ｄ２を含む、ジオメトリ情報（１１２）の第２部品を、上記第２の位置および上記仮想的な聴取位置に基づいて決定するステップ（５０２）と、
ジオメトリ情報（１１０）の上記第１部品およびジオメトリ情報（１１２）の上記第２部品を用いて、組み合わせルールにしたがって、少なくとも上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）を合成するステップ（５０４）とを含み、
上記組み合わせルールは、上記第１ソース信号ｘ１（２１０）および上記第２ソース信号ｘ２（２１２）の重み付け値の合計を形成することを含んでおり、
上記第１ソース信号ｘ１（２１０）は、第１の重み付け値ｇ１によって重み付けされ、上記第２ソース信号ｘ２（２１２）は、第２の重み付け値ｇ２によって重み付けされ、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、上記第１の距離ｄ１の累乗の逆数に比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、上記第２の距離ｄ２の累乗の逆数に比例し、
上記第１ソース信号ｘ１（２１０）の上記第１の重み付け値ｇ１は、上記第１の距離ｄ１の逆数に上記第１マイクロフォンの近接音場の半径ｒ１を掛けたものに比例し、上記第２ソース信号ｘ２（２１２）の上記第２の重み付け値ｇ２は、上記第２の距離ｄ２の逆数に上記第２マイクロフォンの近接音場の半径ｒ２を掛けたものに比例することを特徴とする方法。
【請求項２０】
プログラム可能なハードウェア構成上で動作するコンピュータプログラムであって、請求項１９に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、空間または生の音の発生場面（アコースティックシーン）に配置されたマイクロフォンによって録音された少なくとも２つのソース信号に基づく音声信号を供給する、装置、方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
より複雑な録音および／またはアコースティックシーンの録音は、通常、音声ミキシング制御装置を使用して、音声信号が記録される範囲でなされる。このような状況において、いずれの音要素および／またはいずれの音信号も、アコースティックシーンであると理解すべきである。聞き手に受け取られたおよび／または聴取場所にて受け取られた生の音信号および／または音または音声信号は、典型的には、複数の異なるソースからやってくるという事実を説明する意味で、ここでは、「アコースティックシーン」という用語を用いる。ここで述べられるアコースティックシーンは、もちろん、音の単一のソースのみから生成されてもよい。しかしながら、このようなアコースティックシーンの特性は、音を生成する空間における音のソースの数および／または配分のみによって決定されるわけではなく、空間そのものの形状および／または配置にも依存して決定される。例えば、間仕切りによって生じる反射音は、閉じられた空間における部屋の生の音の一部として、音源から聞き手に直接到達する音の部分と重ね合わされる。簡単に言えば、間仕切りで生じた反射音は、時間的に遅延し、減衰されられた、他の直接届く音の部分についての複製であると理解することができる。
【０００３】
そのような環境では、音声ミキシング制御装置は、しばしば、複数のチャンネルおよび／または入力を含んだ音声素材を生成するために使用される。複数のチャンネルおよび／または入力の各々は、コンサートホール等のアコースティックシーン内に再配置される多数のマイクロフォンのうちの１つと関連付けられている。個々の音声信号および／またはソース信号は、ここでは、アナログ形式およびデジタル形式（例えば、一連のデジタルサンプル値）の両方で存在してもよい。ここで、サンプル値は、時間的に等間隔であり、サンプリングされた音声信号の振幅に対応する。ミキシング制御装置などは、したがって、使用された音声信号に依存して、例えば、専用のハードウェアとして、または、デジタル形式で音声信号が利用可能であるＰＣおよび／またはプログラム可能なＣＰＵ上のソフトウェアコンポーネントとして実現されてもよい。このような音声ミキシング制御装置を使用して処理される電気的音声信号は、マイクロフォンを除いて、楽器やエフェクト装置などの他の再生装置から生成されたものであってもよい。そのようにして、単一の音声信号の各々および／または処理対象の音声信号の各々は、ミキシング制御装置において分離された個々のチャンネルストリップと関連付けられてもよい。ここで、チャンネルストリップによって、関連付けられた音声信号の音色の変更に関わる多数の機能が提供されてもよい。音声信号の音色の変更とは、例えば、音量の変更、フィルタリング、他のチャンネルストリップとのミキシング、関連チャンネルの分配および／または分割などである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複雑な音響シーンを録音するとき、例えば、コンサートの録音をするとき、録音を聴く聞き手のために、音の印象ができるだけオリジナルに近づくように、音声信号および／またはミキシングされた録音を生成することがしばしば課題となる。ここで、最初に録音されたマイクロフォン信号のいわゆるミキシングされたもの、および／または、別の再生機構のためのソース信号は、出力チャンネルおよび／またはスピーカ側の数が異なる場合に対応して、異なる方法で発生させる必要があるかもしれない。対応する具体例としては、４．０、５．１などのステレオ構成およびマルチチャンネル構成が含まれる。空間的な音声ミキシングおよび／またはミキシングなどを生成できるようになるためには、音のソースの各々および／またはマイクロフォンの各々および／またはそれぞれのチャンネルストリップごとのソース信号に合わせて音量を設定することが必要である。これにより、サウンドエンジニアによって望まれる空間的印象によって所望の聴取構成が得られる。上記のことは、空間的な印象を達成するために、スピーカ間で見かけ上の音のソースが生成されるよう、いわゆるパニングアルゴリズムに基づいていくつかの再生チャンネルおよび／またはスピーカに配分された音量によって、主に達成される。このことは、個々の再生チャンネルに対応して音量が異なっていることによって、聞き手が、例えば、再生対象が空間的にスピーカ間にあるといった印象を受けることを意味する。これを容易にするために、各チャンネルは、アコースティックシーン内における録音用マイクロフォンの実際の位置に基づいて、手動で調整される必要があり、また、ある程度多数のさらなるマイクロフォンとともに配列される必要がある。
【０００５】
聞き手に対して、録音された音源が移動しているという印象を与えようとする場合、そのような音声ミキシングは、さらに複雑になり、長時間を要したり、費用が嵩んだりする。この場合、全てのチャンネルストリップに含まれている音量は、時間的変量の各々、空間的構成、および／または、音源の移動中における各タイムステップに応じて、手動で調整される必要がある。このことは、膨大な時間を要するだけでなく、エラーも生じやすい。
【０００６】
いくつかのシナリオでは、例えば、シンフォニーオーケストラを録音する場合などでは、例えば１００を超える多数のマイクロフォン信号および／またはソース信号が同時に録音され、場合によっては、リアルタイムで音声ミキシングの処理にかけられる。そのような空間的なミキシングを達成するために、従来のミキシング制御装置では、オペレータおよび／またはサウンドエンジニアは、少なくとも実際の録音の準備期間において、マイクロフォンの位置を最初に書きとめておいて、それらを、手作業で個々のチャンネルストリップに紐付けることにより、個々のマイクロフォン信号および／またはソース信号間の空間的位置関係を生成しなければならかった。これにより、音量を制御するとともに、可能であれば、多数のチャンネルについての音量の配分、または、個々のチャンネルストリップの反響（パンおよび反響）等の他のパラメータも制御する。こうすることで、所望の聴取位置にて、および／または、所望のスピーカの配置について、音声ミキシングに所望の空間的効果が生まれる。直接的なソース信号として個別に録音された１００を超える楽器によるシンフォニーオーケストラの場合、上記のことは、解決することがほとんど不可能な問題となり得る。ミキシング制御装置上の録音されたマイクロフォンのソース信号について、録音の後に、現実に近い空間的編成を再現するためには、従来、マイクロフォンの位置について、手書きで概要をまとめておかなければならない、あるいは、マイクロフォンの位置のそれぞれに番号を振らなくてはならない。そうすることによって、全ての個々のチャンネルストリップの音量を設定することによる時間のかかる手順を経て空間的音声ミキシングの再現が可能となる。しかしながら、膨大な数のマイクロフォン信号が録音される場合、録音が成功した後に続くミキシングの他にも、大きな課題がある。
【０００７】
そもそも、録音対象のソース信号が多数ある場合、任意および全てのマイクロフォン信号が、ミキシング制御装置および／または音声ミキシングに使用されるソフトウェア宛てに、干渉されずに伝送されることを保証することは、既に解決困難な問題である。従来、上記のことは、サウンドエンジニアおよび／またはミキシング制御装置のオペレータが、全チャンネルストリップを個別に聴取したり、確認したりすることによって、検証する必要があった。上記検証は、長時間を要するものであり、発生元をすぐには特定できないような干渉信号が生じた場合には、時間のかかるエラー検索を行うはめになる。聴取するとき、および／または、個々のチャンネルを切り替えたりソース信号のオン／オフを切り替えたりするとき、録音中にマイクロフォン信号およびその位置を、ミキシング制御装置のチャンネルに関連付けるような録音では、追加の録音でエラーが生じないように注意する必要がある。長時間の録音の場合、この確認だけで、数時間を要することがある。したがって、録音が終了した後では、複雑な確認の間にもたらされたエラーを補正することは実質的に困難であるか、あるいは不可能である。
【０００８】
そのため、少なくとも２つのマイクロフォンを使用してアコースティックシーンを録音する場合、より効率的にかつエラーの影響を少なくして、録音するおよび／または録音データをミキシングすることを容易に行うことを可能とするコンセプトを提供することが求められている。
【０００９】
この問題は、独立請求項の特徴を備えたミキシング制御装置、音声信号生成装置、方法、およびコンピュータプログラムによって解決される。好ましい実施形態および発展形態は、従属請求項の対象である。
【課題を解決するための手段】
【００１０】
本発明のいくつかの実施形態は、以下のことを実現する。特に、空間内の仮想的な聴取位置における音声信号を提供する音声信号生成装置を使用することによって、以下のことを実現する。すなわち、第１ソース信号として、空間内の第１の既知の位置にて、少なくとも第１マイクロフォンによって、アコースティックシーンが録音される。また、第２ソース信号として、空間内の第２の既知の位置にて、少なくとも第２マイクロフォンによって、アコースティックシーンが録音される。これを実現するために、上記音声信号生成装置は、第１マイクロフォンによって録音された上記第１ソース信号、および、第２マイクロフォンによって録音された上記第２ソース信号を受信するための入力インターフェースを備える。音声信号生成装置内のジオメトリプロセッサは、ジオメトリ情報の第１部品とジオメトリ情報の第２部品とを決定するように構成されている。上記第１部品は、上記第１の既知の位置と仮想的な聴取位置（２０２）との間の、該第１の既知の位置および該仮想的な聴取位置に基づく、第１距離を含む。また、上記第２部品は、上記第２の既知の位置と仮想的な聴取位置（２０２）との間の、該第２の既知の位置および該仮想的な聴取位置に基づく、第２距離を含む。上記第１部品および上記第２部品は、音声信号を供給する役割を持つ信号生成装置によって計算される。このため、上記信号生成装置は、音声信号を得るために、組み合わせルールにしたがって、少なくとも、上記第１ソース信号および上記第２ソース信号を合成するように構成される。この点において、本発明の実施形態によるジオメトリ情報の第１部品および第２部品を用いて、上記合成は実現する。すなわち、本発明の実施形態によれば、仮想的な聴取場所の位置における空間認識に対応、または、類似し得る音声信号は、２つのソース信号から生成されてもよい。この２つのソース信号は、ミキシング対象および／または録音対象のアコースティックシーンに実際のマイクロフォンが配置される必要が無い仮想的な聴取位置に対応付けて、実際のマイクロフォンによって録音される。特に、上記のことは、例えば、直接的にジオメトリ情報を使用することによって達成される。該ジオメトリ情報は、例えば、仮想的な聴取位置に対応する音声信号の供給中および／または生成中における実際のマイクロフォンの位置と該仮想的な聴取位置との間の相対的な位置を示す。そのため、長時間の計算を行わずに、即時にまたはほぼ即時に音声信号を供給することが可能である。
【００１１】
ジオメトリ情報を直接的に使用して、仮想的な聴取位置について音声信号を生成することによって、以下のように音声ミキシングを生成することがより容易になる。すなわち、仮想的な聴取場所の位置および／または座標位置を、移動させたり、変更させたりするだけで、場合によって大多数となるソース信号を個々に手作業で調節することなしに、音声ミキシングを生成することが容易に行える。例えば、個別の音声ミキシングを生成することで、実際に録音を行う前の設定について効率的な確認を容易に行える。例えば、ここで、アコースティックシーンおよび／またはアコースティック空間内の仮想的な聴取位置を自由に移動させることによって、そのシーンにおける、録音の品質および／または実際のマイクロフォンの配置を確認することも可能である。これにより、サウンドエンジニアは、個々のマイクロフォンが正しく接続されているか否か、および／または、個々のマイクロフォンが、適切に動作するか否かに関して、音響の自動化されたフィードバックをすぐに取得することができる。例えば、仮想的な聴取位置が現実の１つのマイクロフォンの位置に近づくように誘導されたときに、他の全てのマイクロフォンをフェードアウトさせずに、各マイクロフォンの機能を検証することができる。これにより、その部分を、供給される音声信号において強く出るようにすることができる。したがって、関連するマイクロフォンによって録音されたソース信号および／または音声信号の確認をさらに容易にすることができる。
【００１２】
さらに、本発明の実施形態は、ライブ録音の間にエラーが生じた場合であっても、例えば、マイクロフォンまたはケーブルを交換することによって、または、エラーをすぐに特定することによって、エラーにすぐに対処し、改善することが可能であり、その結果、コンサートの少なくとも大部分をエラーなしで録音することを可能にする。
【００１３】
本発明の実施形態によれば、アコースティックシーンを表現する信号をミキシングするときに、録音用のマイクロフォンの空間的な配置を後で再現するために、アコースティックシーンを録音するために使用される複数のマイクロフォンの位置を、ソース信号とは別に、記録したり、概要書き留めたりする必要がない。むしろ、いくつかの実施形態によれば、アコースティック空間内のソース信号を録音するマイクロフォンの予め定められた位置は、音声ミキシング制御装置における各チャンネルストリップの制御パラメータおよび／または特性として、直接考慮されてもよいし、ソース信号とともに保存および／または録音されてもよい。
【００１４】
本発明の実施形態は、少なくとも第１ソース信号および第２ソース信号を処理するとともに、ミキシングされた音声信号を供給するためのミキシング制御装置である。該ミキシング制御装置は、音声信号生成装置を備えている。該音声信号生成装置は、アコースティックシーンが録音される空間内の仮想的な聴取位置における音声信号を供給する。ここで、アコースティックシーンの録音は、第１ソース信号としての、上記空間内の第１の既知の位置における少なくとも１つの第１マイクロフォンによって、および、第２ソース信号としての、上記空間内の第２の既知の位置における少なくとも１つの第２マイクロフォンによって実施される。上記音声信号生成装置は、入力インターフェース、ジオメトリプロセッサ、および、音声信号を供給する信号生成装置を備えている。上記入力インターフェースは、第１マイクロフォンによって録音された第１ソース信号および第２マイクロフォンによって録音された第２ソース信号を受信するように構成されている。上記ジオメトリプロセッサは、第１の位置および仮想的な聴取位置に基づくジオメトリ情報の第１部品と、第２の位置および仮想的な聴取位置に基づくジオメトリ情報の第２部品とを決定するように構成されている。上記信号生成装置は、ジオメトリ情報の第１部品および第２部品を用いた組み合わせルールにしたがって、少なくとも第１ソース信号および第２ソース信号を合成するように構成されている。上記構成によれば、ミキシング制御装置のオペレータは、例えばマイクロフォンの接続状況を、録音前に、簡単かつ効率的な方法で、しかも、エラーが生じる可能性が高まることなく、確認することができる。
【００１５】
いくつかの実施形態によれば、ミキシング制御装置は、さらに、ユーザインターフェースを備える。該ユーザインターフェースは、複数のマイクロフォンの位置、および、１つまたは複数の仮想的な聴取位置を視覚的に表現して示すように構成される。すなわち、ミキシング制御装置のいくつかの実施形態では、さらに、アコースティックシーンを録音するときに、公比の画像を視覚的に表すことが可能である。これにより、サウンドエンジニアは、複雑なアコースティックシーンを録音するために、単純かつ直感的な方法で、空間的なミキシングを生成したり、および／または、マイクロフォンの設定を、確認または組み立ておよび／または調整をしたりすることが可能となる。
【００１６】
さらにいくつかの実施形態では、ミキシング制御装置は、少なくとも仮想的な聴取位置を入力および／または変更するように構成された入力装置をさらに備えている。該入力装置は、特に、仮想的な聴取位置の視覚的な表現に直接的に相互作用したり、影響したりすることによって、少なくとも仮想的な聴取位置を入力および／または変更する。これは、とりわけ直感的な方法で、個々の聴取位置、および／または、それらの位置と関連付けられたマイクロフォンの位置を確認することを可能にする。該直感的な方法での確認とは、例えば、アコースティックシーン内および／またはアコースティック空間内でマウスを用いて移動することが可能である仮想的な聴取位置によって、または、現在の注目位置を示すための指またはタッチセンサ付きスクリーン（タッチスクリーン）を用いて、実施される。
【００１７】
ミキシング制御装置のいくつかの実施形態は、さらに、入力インターフェースを介して、マイクロフォンのいくつかの異なるタイプのうちの特定の１つに属するように、各マイクロフォンを特徴づけることを可能にする。特に、マイクロフォンのタイプは、録音されるアコースティックシーンの音源および／または対象の幾何学的な相対位置に基づいて、直射音の部分を主に録音するマイクロフォンに対応してもよい。同じ理由により、第２マイクロフォンのタイプは、主として、拡散音の部分を録音するように特徴付けられたマイクロフォンであってもよい。個々のマイクロフォンを様々なタイプに関連付けるためのオプションは、例えば、仮想的な聴取位置についての音声信号を得るための組み合わせルールを用いて、互いに異なるタイプのマイクロフォンによって録音されたソース信号を合成するのに役立つ。
【００１８】
いくつかの実施形態では、上記オプションは、とりわけ、自然な音の印象、および／または、与えられた要求に適う好ましい特徴を含む信号を得るために、様々な組み合わせルールおよび／または重ね合わせルールを使用するのに役立つ。当該ルールとは、拡散する音を主に録音するためのマイクロフォンと、直射音を主に録音するためのマイクロフォンとを組み合わせ／重ね合わせするためのルールである。いくつかの実施形態によれば、少なくとも第１ソース信号および第２ソース信号の重み付け値の合計を形成することによって、音声信号が生成される。重み付け値は、例えば、異なるマイクロフォンのタイプごとに、それぞれ決定されてもよい。このようにして、例えば、直射音を主に録音するマイクロフォンにおいては、適切に選択された重み付け因子を介して、マイクロフォンからの距離が長くなるにつれて、現実に対応する音量の減少を実現することができる。いくつかの実施形態では、上記重み付け値は、仮想的な聴取位置に対するマイクロフォンの距離の累乗の逆数に比例する。いくつかの実施形態では、上記重み付け値は、音源からの理想的な点状の音伝搬に対応する距離の逆数に比例する。いくつかの実施形態では、第１マイクロフォンタイプ、すなわち、直射音の録音に関連するマイクロフォンについて、上記重み付け因子は、マイクロフォンの仮想的な聴取位置までの距離の逆数と近接音場の半径と積に比例する。これにより、近接音場の半径の範囲内では音信号の音量が一定であると仮定されるような当該近接音場の半径において、推測される影響を考慮することによって、音声信号の知覚を改善することができる。
【００１９】
本発明のいくつかの実施形態では、音声信号は、また、第２マイクロフォンのタイプであって、主に拡散音の部分を録音するためのマイクロフォンで録音されたソース信号ｘ１およびソース信号ｘ２から、重み付け値の合計を計算することによって、生成される。ここで、重み付け値ｇ１および重み付け値ｇ２は、マイクロフォンの相対位置に依存し、同時に追加的な境界条件にも合致する。特に、本発明のいくつかの実施形態では、上記重み付け値の合計、Ｇ＝ｇ１＋ｇ２、または、重み付け値の自乗の合計、Ｇ２＝ｇ１２＋ｇ２２は一定であり、とりわけ、１である。これにより、以下のようなソース信号の組み合わせが得られる。すなわち、該ソース信号の合成において、マイクロフォン間の異なる相対位置について生成された音声信号の音量は、各ソース信号の音量と、少なくともほぼ対応する。また、該ソース信号の組み合わせは、概ね同一の音量を有しており、このようなソース信号の組み合わせによれば、生成された音声信号を、アコースティックシーン内の拡散音の部分として、良好に知覚できるようになる。
【００２０】
本発明のいくつかの実施形態では、第１中間信号および第２中間信号が、異なる重み付け値を用いた２つの重み付け値合計によって、ソース信号から最初に形成される。上記第１中間信号および上記第２中間信号に基づいて、音声信号は、さらなる重み付け値合計を用いて決定される。ここで、重み付け値は、第１ソース信号と第２ソース信号との間の相関係数に依存する。２つの録音されたソース信号の類似性に依存して、組み合わせルールおよび／またはパニング方法を互いに組み合わせることを許容してもよい。この場合、原則的に選択された方法と組み合わされる信号とに依存して生じ得る過度の音量の増大が、さらに低減されるように重み付けされる。これにより、生成される音声信号の総音量は、組み合わされる信号の形状とは無関係に、ほぼ一定に維持される。したがって、ソース信号に関する事前知識がほとんどなくとも、思い通りの空間的印象が得られる。
【００２１】
さらにいくつかの実施形態では、音声信号が（特に、音声信号の拡散音の部分に関する限り）、ソース信号を録音する３つのマイクロフォンによって囲まれている仮想的な聴取位置が含まれている領域上の３つのソース信号を用いて形成される。ここで、上記音声信号を供給するステップは、３つの録音されたソース信号の重み付け値の合計を生成するステップを含む。ソース信号に関連付けられたマイクロフォンは、三角形を形成する。ここで、重み付け値は、関連するマイクロフォンの位置を通過する三角形の高さ方向への仮想的な聴取位置の垂直投影に基づいて、ソース信号ごとに決定される。ここで、上記重み付け値を決定するために他の方法が使用されてもよい。それでもなお、たとえ２つのソース信号の代わりに３つのソース信号が組み合わされても、音量はほぼ不変に保たれる。このことは、仮想的な聴取位置における音場のより現実的な音の再現に貢献する。
【００２２】
本発明のいくつかの実施形態によれば、ジオメトリ情報の第１部品と第２部品との比較の結果が所定の基準に合致する場合（特に、２つの距離が、動作可能な最小距離未満で、互いに外れている場合）、２つのソース信号を合成することに先立って、上記第１ソース信号または上記第２ソース信号のどちらかが、ある遅延時間分だけ遅延される。これにより、互いに空間的距離が短い場所で録音された信号が重ね合せられた場合に生成され得る音の調子をいずれも発生させずに、音声信号を生成することが可能になる。いくつかの実施形態では、使用される各ソース信号は、伝搬時間および／または待ち時間が、仮想的な聴取位置に関連付けられた全てのマイクロフォンの位置からの最大信号伝搬時間に対応するように、特に効果的な方法で遅延される。これにより、類似のまたは同一の信号の有害な干渉は、信号伝搬時間を強制的に同一にすることによって回避される。
【００２３】
さらなるいくつかの実施形態では、ソース信号を重ね合わせる際、および／または、重み付け値を合計する際に、方向依存性がさらに考慮されてもよい。すなわち、好ましい方向、および好ましい方向に関して示された指向性が、仮想的な聴取位置に関連付けられてもよい。これにより、音声信号を生成するときに、現実のマイクロフォンまたは聴取する人間などの既知の指向性を追加的に考慮することができ、これにより、該音声信号を現実に近づける効果を得ることが可能となる。
【図面の簡単な説明】
【００２４】
本発明の実施形態を、添付図面を参照しながら、以下でより詳細に説明する。
【図１】音声信号生成装置の一実施形態を示す図である。
【図２】音声信号生成装置の実施形態によってソース信号が処理されるアコースティックシーンを示す図である。
【図３】本発明のいくつかの実施形態による、音声信号を生成するための組み合わせルールの具体例を示す図である。
【図４】考えられる組み合わせルールの別の具体例を明示する図である。
【図５】３つのソース信号を使用する際の組み合わせルールを図形で説明するための図である。
【図６】さらなる組み合わせルールを示す図である。
【図７】方向依存性を加味した組み合わせルールを示す図である。
【図８】ミキシング制御装置の一実施形態を模式的に示す図である。
【図９】音声信号を生成する方法の一実施形態を模式的に示す図である。
【図１０】ユーザインターフェースの一実施形態を模式的に示す図である。
【発明を実施するための形態】
【００２５】
ここで、いくつかの実施形態が示されている添付図面を参照して、様々な実施形態をより完全に説明する。図では、線の太さ、層の厚さおよび／または領域の密集度合いは、分かり易さのために誇張している。
【００２６】
添付図面に関する以下の説明では、単なる例としての実施形態をいくつか示すだけである。類似する参照番号は、類似するまたは同等の部材を参照する場合がある。さらに、実施形態または図面で何度も登場する構成部材および対象物に対して、要約した参照番号が使用される場合がある。しかしながら、１つまたは複数の特徴に関しては、つなげて記載される。類似の参照番号または要約した参照番号を用いて記述された構成部材または対象物は、同一の方法で実現されてよい。しかしながら、必要に応じて、個別の、複数の、または全部の特徴（例えば、寸法記入）に関して、異なるように実施されてもよい。
【００２７】
実施形態は、様々な方法で変形および変更が可能であるが、図の実施形態は、一具体例として表現されているとともに、ここにその詳細が説明されている。しかしながら、開示された特定の形式に実施形態を限定する意図がないことを明記しておく。逆に、各実施形態は、本発明の範囲内で、任意のおよび全ての、機能的および／または構造的な変形例、等価物、および、代替物を含むことを明記しておく。類似の参照番号は、図の記述全体を通して、類似のまたは同様の要素を参照する。
【００２８】
ある要素が他の要素と「接続されている」または「連結されている」という場合、当該ある要素は、当該他の要素と直接的に接続または連結されてもよいし、間に介在する要素が存在していてもよいことを注意しておく。これに対し、ある要素が他の要素と「直接的に接続されている」または「直接的に連結されている」と言う場合、介在する要素は存在しない。要素間の関係を記述するために使用される他の用語も同様に解釈される（例えば、「〜の間に」に対して「〜の間に直接的に」、「隣接して」に対して「直接的に隣接して」など）。
【００２９】
ここで使用される用語は、特定の実施形態のみを記述することを目的としており、実施形態を限定することを意図していない。ここで使用されるように、単数形の記述「ある〜」、「上記〜」は、文脈が複数の形式を含まないということを明言していない限り、複数の形式も含むことを意図している。さらに、例えば「備える」「備えている」「含む」および／または「含んでいる」等の用語は、ここで使用されているように、言及された特徴、値、工程、演算、要素、および／または、構成部材が存在することを特定しているが、１つまたは複数のさらなる特徴、値、工程、演算、要素、構成要素および／またはそれらの組み合わせが存在することまたは追加することを排除しない。
【００３０】
ここで使用される任意のおよび全ての用語（技術用語および科学用語を含む）は、その他に定義されない限り、実施形態が属する分野の当業者が一般に理解するのと同じ意味を有する。また、用語（例えば、一般に使用される辞書で規定される用語）は、関連技術の文脈における意味と同じ意味を有すると解釈されるべきであり、そこに明記されていない限り、抽象化された意味または過度に形式的な意味で解釈されるべきではない。
【００３１】
概要の説明において、図１は、入力インターフェース１０２、ジオメトリプロセッサ１０４、信号生成装置１０６を含む音声信号生成装置１００の実施形態を示す。音声信号生成装置１００は、図１において概略的に示されただけの空間２００内にある、仮想の聴取位置２０２に対応する音声信号を供給するのに役立つ。空間２００において、アコースティックシーンは、少なくとも第１マイクロフォン２０４および第２マイクロフォン２０６を用いて記録される。アコースティックシーンのソース２０８は、複数の音源を中に含む空間２００内の領域としてここでは単に概要のみを示す。および／または、ソース２０８は、アコースティックシーンとして参照され、マイクロフォン２０４および２０６を用いて記録される空間２００内の音場に到達するように配置される。
【００３２】
入力インターフェース１０２は、第１マイクロフォン２０４によって録音された第１ソース信号２１０と、第２マイクロフォン２０６によって録音された第２ソース信号２１２とを受信するように構成されている。ここでは、第１ソース信号２１０および第２ソース信号２１２は、符号化される形式および符号化されない形式の両方で、マイクロフォンによって伝送される、アナログ信号およびデジタル信号の両方であってもよい。すなわち、いくつかの実施形態によれば、ソース信号２１０および２１２は、Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｅｃ（ＡＡＣ）、ＭＰＥＧ  １、Ｌａｙｅｒ  ３（ＭＰ３）またはそれらに類するような圧縮方法にしたがって、既に符号化および／または圧縮されたものであってもよい。
【００３３】
第１マイクロフォン２０４および第２マイクロフォン２０６は、ジオメトリプロセッサ１０４にとって既知の、空間２００における予め決められた位置に配置される。さらに、ジオメトリプロセッサ１０４は、仮想の聴取位置２０２の位置および座標を知っており、第１マイクロフォン２０４の第１の位置および仮想の聴取位置２０２に基づいて、ジオメトリ情報１１０の第１部品を決定するように構成されている。ジオメトリプロセッサ１０４は、さらに、第２の位置および仮想の聴取位置２０２に基づいて、ジオメトリ情報１１２の第２部品を決定するように構成されている。
【００３４】
全てをクレームしているわけではないが、そのようなジオメトリ情報の部分の具体例としては、第１の位置と仮想の聴取位置２０２との間の距離、または、仮想の聴取位置２０２に関連付けて選ばれた方向とマイクロフォン２０４または２０６の１つの位置との間の相対方向が挙げられる。もちろん、ジオメトリはまた、１次元、２次元または３次元空間におけるデカルト座標、球座標または円柱座標を用いることによって、いかなる方法でも説明される。言い換えれば、ジオメトリ情報の第１部品は、第１の既知の位置と仮想の聴取位置との間の第１の距離を含み、ジオメトリ情報の第２部品は、第２の既知の位置と仮想の聴取位置との間の第２の距離を含む。
【００３５】
信号生成装置は、第１ソース信号２１０と第２ソース信号２１２とを合成した音声信号を供給するように構成されている。上記合成は、組み合わせルールにしたがって実施され、該組み合わせルールには、ジオメトリ情報１１０の第１部品とジオメトリ情報１１２の第２部品の両方が考慮されたり、および／または、用いられたりする。
【００３６】
したがって、音声信号１２０は、ジオメトリ情報１１０および／または１１２の第１部品および第２部品がここで用いられて、第１ソース信号２１０および第２ソース信号２１２から導かれる。すなわち、仮想の聴取位置１２とマイクロフォン２０４および２０６の位置との間のジオメトリ特性および／または関係に関する情報は、音声信号１２０を決定するために直接用いられる。
【００３７】
仮想の聴取位置２０２の変更によって、単純かつ直観的な方法で、音声信号を得ることができる。ここで、仮想の聴取位置２０２の近くに配置されたマイクロフォンの機能を確認する際、例えば、オーケストラ内の複数のマイクロフォンが、それぞれのマイクロフォンに関連付けられたミキシング制御装置のチャンネルを介して、個々に聴取される必要がない。
【００３８】
本実施形態、すなわち、ジオメトリ情報の第１部品とジオメトリ情報の第２部品とが少なくとも情報の１つの部品として、仮想の聴取位置２０２と第１の位置との間の第１の距離ｄ１、および、仮想の聴取位置２０２と第２の位置との間の第２の距離ｄ２を含むような、当該実施形態によれば、第１ソース信号２１０および第２ソース信号２１２の重み付け値の合計は、とりわけ、音声信号１２０を生成するために用いられる。
【００３９】
２つのマイクロフォン２０４および２０６だけが、単純化の目的およびより良い理解のために、図１に示されている。しかし、本発明のさらなる実施形態によれば、ここで説明され、以下の実施形態で用いられるとおり、仮想の聴取位置に対する音声信号を生成するための音声信号生成装置１００によって、図１に概要が示されたマイクロフォンがいくつ用いられても構わないということは言うまでもない。
【００４０】
すなわち、いくつかの実施形態によれば、音声信号ｘは、第１ソース信号２１０（ｘ１）および第２ソース信号（ｘ２）の線形合成から生成される。ここで、第１ソース信号ｘ１は、第１の重み付け値ｇ１によって重み付けされ、第２ソース信号ｘ２は、第２の重み付け値ｇ２によって重み付けされる。すなわち、以下の式が適用できる。
ｘ＝ｇ１＊ｘ１＋ｇ２＊ｘ２
いくつかの実施形態によれば、既に述べたとおり、重み付け値ｇ３、…、ｇｎに対応するさらなるソース信号ｘ３、…、ｘｎが考慮されてもよい。もちろん、音声信号は時間依存するものであるが、本発明の場合は、明確にする理由のために、時間依存への明確な言及をある程度は控え、音声信号またはソース信号ｘについて与えられる情報は、情報ｘ（ｔ）と同じ意味であると理解される。
【００４１】
図２は、空間２００の概要を示す。ここでは、図２に選ばれた実例において、空間２００は、長方形の壁によって制限され、この壁が拡散音場の発生の原因であることが想定されている。さらに、以下の内容が明確に想定される。すなわち、１つ以上の音源が、図２に示されたソース２０８の中の限られた領域内に配置されたとしても、それらの音源は、最初は単純化された形式であり、個々のマイクロフォンについての個々の効果に関して、単一のソースであると見なされる。そのような音源によって放射された直射音は、空間２００を制限する壁によって何度も反射される。そのため、既に減衰した信号の複数の反射によって生成された拡散音場は、非相関の方法において重ね合わされた信号に起因する。この拡散音場は全体の空間内でほぼ一定の音量であることを特徴とする。直射音の部分は、拡散音場に重ね合わされる。すなわち、直射音は一度も反射されることなく、ソース２０８内に配置された音源から、特にマイクロフォン２２０および２３２を含む可聴位置に直接到達する。つまり、音場は、概念的に理想化されたという意味で、空間２００内で２つの成分に区別される。すなわち、直射音の部分は、音の発生場所から対応する聴取位置に直接到達するものであり、拡散音の部分は、直接放射されたまたは反射された複数の信号のほぼ非相関の重ね合わせから得られるものである。
【００４２】
図２に示した実例において、ソース２０８に対するマイクロフォン２２０〜２２４の空間的な近接の結果、主に直射音を録音することを想定している。すなわち、これらマイクロフォンによって録音される信号の音量および／または音圧は、直射音の部分、ソース２０８内に配置された音源から主に来る。対照的に、例えば、マイクロフォン２２６〜２３２は、これらの位置での直射音の音量が、拡散音場の音量と少なくとも同程度またはそれよりも小さくなるように、ソース２０８とマイクロフォン２２６〜２３２との間の空間的な距離が大きいままで、主に拡散音の部分に由来する信号を録音することを想定している。
【００４３】
本発明のいくつかの実施形態によれば、仮想の聴取位置２０２についての音声信号の生成において、距離の長さに応じて音量を減衰させるために、重み付け値ｇｎは、仮想の聴取位置２０２とソース信号を録音するために用いられるマイクロフォン２２０〜２３２との間の距離に依存して、個々のソース信号ごとに選択される。図３は、ソース信号を掛ける乗算について、そのような重み付け値および／または因子を決定する方法の例を示す。なお、ここでは、マイクロフォン２２２が具体例として選択されている。図３の概要図において、重み付け値ｇｎは、いくつかの実施形態において、第１の距離ｄ１の累乗の逆数に比例して選択される。すなわち、
【００４４】
【数１】
0006316407.tif 000002
【００４５】
である。
【００４６】
いくつかの実施形態によれば、累乗としてｎ＝１が選択される。すなわち、重み付け値および／または重み付け因子は距離ｄ１に逆比例し、この依存関係は、点状の音源から一様に放射する自由音場の伝搬におおよそ対応する。すなわち、いくつかの実施形態によれば、音量は距離２４０に逆比例すると考えられる。いくつかのさらなる実施形態によれば、いわゆる近接音場の半径２４２（ｒ１）が、マイクロフォン２２０〜２３２のいくつかまたはすべてに対してさらに考慮される。ここでは、近接音場の半径２４２は、音源のまわりの領域にそのまま対応し、特に、領域内に音波および／または音の波頭が形成されるような当該領域に対応する。近接音場の半径の中で、音声信号の音圧レベルおよび／または音量は一定であることが想定される。この点において、音圧が、少なくとも（近接音場の半径に対応する）単一の波長内で一定であるために、音声信号の単一の波長の範囲内の媒体において、深刻な減衰が起こらないことを単純なモデル表現で想定している。これは、近接音場の半径が、周波数にも依存することを意味している。
【００４７】
本発明のいくつかの実施形態にしたがったアナログな方法によって近接音場の半径を用いることにより、仮想の聴取位置２０２が、マイクロフォン２２０〜２３２の実際の位置の１つに接近する場合に、音声信号は、アコースティックシーンの確認および／または個々のマイクロフォンの設定および接続に対応する、量に関連するとりわけ明瞭な重み付けをすることによって、仮想の聴取位置２０２において生成される。周波数に依存しない量が、本発明のいくつかの実施形態による近接音場の半径ｒに対して仮定されたとしても、近接音場の半径の周波数依存性は、いくつかのさらなる実施形態によって実現される。いくつかの実施形態によれば、したがって、音声信号の生成に関して、音量は、近接音場の半径ｒの中にあるマイクロフォン２２０〜２３２の１つのまわりで一定であると考えられる。信号の計算を単純化するため、および（可能であれば）、やはり近接音場の半径の影響を加味するため、いくつかのさらなる実施形態による全般的な計算ルールとして、重み付け値ｇ１は、考慮されたマイクロフォン２２２の近接音場の半径ｒ１を、仮想の聴取位置２０２とマイクロフォン２２２との距離ｄ１で割って得られた商に比例すると考えられる。すなわち、以下の式が適用できる。
【００４８】
【数２】
0006316407.tif 000003
【００４９】
そのようなパラメータ化および／または距離依存性は、近接音場に関する検討および遠距離音場に関する検討の両方で加味される。上述したように、点状の音源の近接音場は、自由音場の伝搬の場合において遠距離音場に隣接しており、音圧は、音源からの距離のそれぞれ２倍に等分される。すなわち、それぞれの場合においてレベルを６ｄＢまで削減する。この特徴はまた、距離の法則および／または１／ｒの法則として知られる。本発明のいくつかの実施形態によれば、仮想の聴取位置２０２の配置場所で音場の実世界を再現するということに焦点を当てるのではなく、速くかつ効率的な方法で、複雑なアコースティックシーンにおけるマイクロフォンおよび／または録音の質を、確認および／または聴取できることに焦点を当てるのであれば、音源が指向性を備えて放射するようなソース２０８が録音されたとしても、場合によっては、点状の音源が想定されてもよい。
【００５０】
図２にて既に示したように、いくつかの実施形態によれば、異なるマイクロフォンごとの近接音場の半径は、別々に選択されてもよい。特に、ここでは、さまざまなマイクロフォンのタイプが説明される。情報の一部分は、個々のマイクロフォンの実際のセットアップとは無関係に、マイクロフォンの特徴、または同一の特徴とは異なる使用方法、またはさらなるマイクロフォンの使用を記述する。また、上記情報の一部分は、ソース２０８を録音するためも使用され、ここではマイクロフォンのタイプであると理解されるべきである。そのような区別の例として、マイクロフォンの幾何学上の位置により、直射音の部分を主に録音する、第１のタイプ（図２におけるタイプ「Ｄ」）のマイクロフォンと、ソース２０８に関する長距離および／または他の相対位置により、拡散音場を主に録音および／または登録するようなマイクロフォン（図２におけるタイプ「Ａ」のマイクロフォン）との間の区別が挙げられる。特に、マイクロフォンのタイプの違いによるマイクロフォンのそのような区別において、異なる近接音場の半径を用いることは有益である。いくつかの実施形態によれば、Ａタイプのマイクロフォンの近接音場の半径は、ここでは、Ｄタイプのマイクロフォンの半径よりも大きいものが選択される。これにより、物理的な状態および／または音の印象を大きくゆがませることなく、仮想の聴取位置２０２が、個々のマイクロフォンの近くに配置されるならば、とりわけ、仮想の聴取位置２０２が、上述の拡散音場と同様に、広範囲にわたってほぼ均一に大音量であるならば、個々のマイクロフォンを簡単に確認することが可能となる。
【００５１】
一般的に、本発明のいくつかの実施形態によれば、それぞれのソース信号を録音するマイクロフォンに、さまざまなマイクロフォンのタイプが関連付けられる場合には、音声信号生成装置１００は、ソース信号の合成の際にさまざまな組み合わせルールを用いる。すなわち、第１の組み合わせルールは、組み合わされる２つのマイクロフォンに、第１のマイクロフォンタイプが関連付けられている場合に用いられ、第２の組み合わせルールは、組み合わされる２つのマイクロフォン、および／または、これらのマイクロフォンによって録音されるソース信号が、第２の別のマイクロフォンタイプである場合に用いられる。
【００５２】
特に、いくつかの実施形態によれば、それぞれの異なるタイプのマイクロフォンは、最初は、互いに完全に分離するように処理され、１つの部分信号Ｘｖｉｒｔに組み合わされる。すると、最後のステップにおいて、最終的な信号は、音声信号生成装置および／またはミキシング制御装置によって生成され、事前に生成された部分信号を合成することによって利用される。このことを図２に示すアコースティックシーンに適用すると、例えば、そのような部分信号ＸＡは、最初に、Ａタイプのマイクロフォン２２６〜２３２を考慮しただけの仮想の聴取位置２０２に対して決定される。同時に、またはそれに前後して、第２の部分信号ＸＤが、Ｄタイプのマイクロフォン、すなわち、マイクロフォン２２０〜２２４を考慮しただけの仮想の聴取位置２０２に対して決定される。しかし、他の組み合わせルールにしたがって、部分信号は、互いに組み合わさる。それから、最後のステップにおいて、最終的な音声信号ｘは、これら２つの部分信号が組み合わさることによって、仮想の聴取位置２０２について生成される。特に、該音声信号ｘは、第１のタイプ（Ｄ）のマイクロフォンを用いて得られた第１の部分信号ＸＤと、第２のタイプ（Ａ）のマイクロフォンを用いて得られた第２の部分信号ＸＡとの線形合成によって生成される。すなわち、以下の式が適用できる。
Ｘ＝ＸＡ＋ＸＤ
図４は、図２と同様のアコースティックシーンの概要図を示す。特に、直射音を録音するマイクロフォン２２０〜２２４の位置とともに、マイクロフォン２５０〜２５６が後に続く、多数のＡタイプのマイクロフォンの位置が考慮される。この点において、図４および図５に示された状況において、マイクロフォン２５０〜２５４によって作られた三角形の面内に配置された仮想の聴取位置２０２についての音声信号が生成される際に参照される組み合わせルールに関して、いくつかの選択肢が挙げられる。
【００５３】
一般的に、音量の補間および／または仮想の聴取位置２０２についての音声信号の生成においては、最も近くのマイクロフォンの位置またはすべてのマイクロフォンの位置が考慮される。例えば、中でも計算の負荷を低減するために、仮想の聴取位置２０２における音声信号を生成するために最も近くのマイクロフォンだけを用いることが好都合である。例えば、マイクロフォンは、ドロネー三角形分割および／または最も近くのマイクロフォンを探すための任意の他のアルゴリズムを用いて好ましく見つけられる。音量の調整を決定するための、あるいは、大まかに言えば、マイクロフォン２５０〜２５４に関連付けられたソース信号を合成するための、いくつかの特別な選択について、特に図５を参照しながら、以下に説明する。
【００５４】
仮想の聴取位置２０２が三角形分割された三角形の１つの中に配置されず、その外側に配置されるならば、例えば図４において点線で示されたさらなる仮想の聴取位置２６０では、すぐ隣の２つのマイクロフォンのソース信号だけが、マイクロフォンのソース信号からの信号補間および／またはマイクロフォンのソース信号の音声信号への合成のために利用できる。単純化の目的のため、２つのソース信号を合成するための選択肢について、図５を用いて以下に説明する。ここでは、マイクロフォン２５０のソース信号は、最初は、２つのソース信号からの補間については無視される。
【００５５】
本発明のいくつかの実施形態によれば、仮想の聴取位置２０２に対する音声信号は、第１のクロスフェード法則、いわゆる線形パニングの法則にしたがって生成される。この方法によれば、音声信号ｘｖｉｒｔ１は以下の計算法則を用いて決定される。
ｘｖｉｒｔ１＝ｇ１＊ｘ１＋（１−ｇ１）＊ｘ２
ここで、ｇ２＝（１−ｇ１）である。
【００５６】
すなわち、個々のソース信号ｘ１およびｘ２の重み付け値は、合計が１となるように線形に付加される。音声信号ｘｖｉｒｔ１は、２つの信号ｘ１またはｘ２の１つだけを用いて、またはそれら両方の線形合成したもののどちらか一方によって形成される。この一次相関のため、この方法で生成された音声信号は、同一のソース信号において、いかなるｇ１の値に対しても一定の音量を含むが、実際は、完全に異なる（逆相関にある）ソース信号ｘ１およびｘ２は、すなわち、値ｇ１＝０．５に対して０．５の因子によって−３ｄＢの音量の減少を含む音声信号になる。
【００５７】
音声信号ｘｖｉｒｔ２が生成される際に参照される第２のクロスフェード法則は、いわゆるサインおよびコサインの法則である。
ｘｖｉｒｔ２＝ｃｏｓ（δ）＊ｘ１＋ｓｉｎ（δ）＊ｘ２
ここで、δ∈［０°；９０°］である。
【００５８】
パラメータδは個々の重み付け値ｇ１およびｇ２を決定し、０°〜９０°の範囲にあり、仮想の聴取位置２０２とマイクロフォン２５２〜２５４との間の距離から計算される。δの任意の値に対して重み付け値の２乗の合計が１になるように、一定の音量を持つ音声信号は、ソース信号が逆相関にあるならば、サインおよびコサインの法則を用いて任意のパラメータδに対して生成されうる。しかし、個々のソース信号において、３ｄＢの音量の増加によってパラメータδ＝４５°が生じる。
【００５９】
第２のクロスフェード法則と同様の結果を導く第３のクロスフェード法則であって、音声信号ｘｖｉｒｔ３が生成される際に参照される第３のクロスフェード法則は、いわゆるタンジェントの法則である。
【００６０】
【数３】
0006316407.tif 000004
【００６１】
音声信号ｘｖｉｒｔ４を生成するために用いられる第４のクロスフェード法則は、いわゆるサインの法則である。
【００６２】
【数４】
0006316407.tif 000005
【００６３】
この点でもまた、重み付け値の２乗の合計は、パラメータθの任意のとり得る値に対して、１となる。パラメータθもまた、仮想の聴取位置２０２とマイクロフォンとの間の距離によって決定され、−４５°〜４５°の範囲内で任意の値をとり得る。
【００６４】
とりわけ、２つのソース信号について限定された推測的な知識しかないような、当該２つのソース信号の合成に対して（例えば、空間的にわずかに変形した拡散音場の場合のように）、第４の組み合わせルールは、上述の第１のクロスフェード法則および上述の第２のクロスフェード法則が、合成されるソース信号に依存して組み合わせられることによって用いられる。特に、第４の組み合わせルールによれば、第１および第２のクロスフェード法則にしたがって、ソース信号ｘ１およびｘ２に対して最初にそれぞれ別々に生成された２つの中間信号ｘｖｉｒｔ１およびｘｖｉｒｔ２の線形合成が用いられる。特に、本発明のいくつかの実施形態によれば、ソース信号ｘ１とｘ２との間の相関係数σｘ１ｘ２が、線形合成に対する重み付け因子として用いられ、以下の関係式として定義され、２つの信号の類似性についての指標となる。
【００６５】
【数５】
0006316407.tif 000006
【００６６】
ここで、Ｅは期待値および／または線形平均値を参照しており、σは関連する量および／または関連するソース信号の標準偏差を示す。ここで、有効な近似における音響信号に対して、線形平均値Ｅ｛ｘ｝がゼロであるということが、適用される。
ｘｖｉｒｔ＝σｘ１ｘ２＊ｘｖｉｒｔ１＋（１−σｘ１ｘ２）＊ｘｖｉｒｔ２
すなわち、本発明のいくつかの実施形態によれば、組み合わせルールはさらに、第１ソース信号ｘ１と第２ソース信号ｘ２との間の相関関係に対する相関係数σｘ１ｘ２によって重み付けされた中間信号ｘｖｉｒｔ１およびｘｖｉｒｔ２から、重み付け値の合計ｘｖｉｒｔを形成するステップを含む。
【００６７】
本発明のいくつかの実施形態によれば、第４の組み合わせルールを用いることにより、ほぼ一定の音量を持つ合成は、したがって、パラメータの範囲全域で達成される。さらに、これは、合成される信号が互いに似ていない場合や似ている場合に関わらず、大概は達成される。
【００６８】
本発明のいくつかの実施形態によれば、音声信号が、３つのマイクロフォン２５０〜２５４によって制限された三角形の内部に配置された仮想の聴取位置２０２から導出される場合、マイクロフォン２５０〜２５４の３つのソース信号は、本発明のいくつかの実施形態による線形の方法で合成される。ここで、マイクロフォン２５０〜２５４に関連付けられたソース信号の個々の信号部分は、それぞれのソース信号に関連付けられたマイクロフォンの位置に対応付けられた三角形の高さ方向における、仮想の聴取位置２０２の垂直方向の投影に基づいて導かれる。
【００６９】
もしも、例えば、マイクロフォン２５０の信号の一部および／またはこのソース信号に関連付けられた重み付け値が決定されるならば、仮想の聴取位置２０２の垂直方向の投影は、マイクロフォン２５０および／またはマイクロフォン２５０が配置された三角形の角に対応する高さ２６２の上で最初に実行される。これにより、高さ２６２の上に、図５に破線で示された投影位置２６４が得られる。投影部分２６４は、高さ２６２を、マイクロフォン２５０に向いている第１の高さの部分２６６とマイクロフォン２５０から離れて向いている高さの部分２６８とに分離する。これら高さの部分２６６および２６８の割合は、上述のクロスフェード法則の１つにしたがってマイクロフォン２５０のソース信号に対する重み付け値を計算するために用いられる。ここで、音源および／またはマイクロフォンは、高さ２６２における、マイクロフォン２５０と反対側の端に配置され、振幅ゼロの信号を絶えず録音することが想定されている。
【００７０】
すなわち、本発明の実施形態によれば、三角形の辺ごとに該三角形の高さが計算され、三角形の各辺に対する仮想のマイクロフォンの距離が決定される。対応する高さに沿って、マイクロフォンの信号は、線形の方法および／または選択されたクロスフェード法則によって、三角形の角から三角形の反対側の辺にかけてゼロに向かって減衰する。図５に示した実施形態について、上記のことは、マイクロフォン２５０のソース信号が以下のように用いられることを意味する。すなわち、投影２６４がマイクロフォン２５０の位置に配置される場合に、重み付け値１を持つソース信号が用いられ、そして、マイクロフォン２５２の位置とマイクロフォン２５４の位置とを結んだ直線上に配置される、すなわち、三角形の反対側の辺に配置される場合に、重み付け値０を持つソース信号が用いられる。マイクロフォン２５０のソース信号は、これらの両端の間で、フェードインしたり、フェードアウトしたりする。一般的に、これは以下の内容を意味する。３つの信号から信号を合成するとき、３つのソース信号ｘ１〜ｘ３に関連付けられたマイクロフォン２５０〜２５４が、仮想の聴取位置２０２が内部に配置された三角形の表面に広がるように、３つのソース信号ｘ１〜ｘ３が考慮される。この点で、重み付け値ｇ１〜ｇ３は、ソース信号ｘ１〜ｘ３の線形合成ごとに決定される。この決定は、それぞれのソース信号に関連付けられているマイクロフォンの位置に対応する三角形の高さ、および／または、三角形の高さにまで及ぶような上記三角形の高さにおける、仮想の聴取位置２０２の垂直方向の投影に基づく。
【００７１】
これまでに議論した第４のクロスフェード法則が、信号を決定するために用いられるのであれば、共通相関係数は、それぞれの隣接するソース信号間で、最初に相関を決定することにより、３つのソース信号ｘ１〜ｘ３に対して決定される。なお、それぞれの隣接するソース信号から３つの相関係数によって合計が得られる。この方法において得られた３つの相関係数から、共通相関係数は、平均値を決定することによって計算される。さらに、共通相関係数は、第１のクロスフェード法則（線形パニング）および第２のクロスフェード法則（サインおよびコサインの法則）を用いて形成された部分信号の合計に対して重み付け値を決定する。すなわち、まず、第１の部分信号が、サインおよびコサインの法則を用いて決定され、それから、第２の部分信号が、線形パニングを用いて決定され、２つの部分信号は、相関係数による重み付け値によって線形の方法で合成される。
【００７２】
図６は、内部に仮想の聴取位置２０２が配置された、マイクロフォン２７０〜２７８の位置について、実現可能な別の位置の設定の概要を示す。特に図６を用いて、実現可能な別の組み合わせルールが示される。当該ルールの特徴は、上述の合成の選択肢を用いて任意の方法で組み合わせることができてもよいし、あるいは、当該ルールは（それ自身を考慮したとしても）、ここに示す組み合わせルールであってもよい。
【００７３】
本発明のいくつかの実施形態によれば、図６で概要を示したソース信号は、ソース信号に関連付けられたマイクロフォンが、仮想の聴取位置２０２から、予め決定された設定可能な距離Ｒ以内に配置される場合、仮想の聴取位置２０２に対する音声信号に対する合成においてのみ考慮される。いくつかの実施形態によれば、したがって、計算時間は、例えば、マイクロフォンの信号の分担が、選択された組み合わせルールにしたがって人の可聴閾値より高いような、当該マイクロフォンのみを考慮することにより、短縮される。
【００７４】
本発明のいくつかの実施形態によれば、組み合わせルールは、図７に概要を示すように、さらに仮想の聴取位置２０２に関する指向性をさらに考慮してもよい。上記のことは、例えば、第１マイクロフォン２２０の第１ソース信号ｘ１に対する第１の重み付け値ｇ１は、さらに、指向性因子ｒｆ１に比例することを意味する。該指向性因子ｒｆ１は、仮想の聴取位置２０２に対する感度関数および／もしくは指向性、および、仮想の聴取位置２０２とマイクロフォン２２０との間の相対位置に起因する。すなわち、これらの実施形態によれば、ジオメトリ情報の第１部品はさらに、マイクロフォン２２０と、仮想の聴取位置２０２に関連する優先方向２８０との間の方向に関する方向情報の第１部品を含み、ここで指向性２８２は最大感度を含む。
【００７５】
いくつかの実施形態によれば、たいてい、ソース信号ｘ１およびｘ２の線形合成の重み付け因子ｇ１およびｇ２は、したがって、仮想の聴取位置２０２での指向性２８０を考慮した第１の指向性因子ｒｆ１および第２の指向性因子ｒｆ２にも依存する。
【００７６】
言い換えれば、これまでの段落において説明した組み合わせルールについて、以下のようにまとめることができる。個々の実施例は、後述の段落においてより詳細に説明される。すべての変形例は、信号が合計されたときに発生しうる櫛形フィルター効果を共通に備える。上記のケースでは、場合によっては、合計される前の信号は結果的に遅延する。それゆえ、遅延に対して用いられるアルゴリズムについてまず説明する。
【００７７】
互いに２メートルより離れた距離にあるマイクロフォンにおいて、信号は、知覚可能ないずれの櫛形フィルター効果も発生することなく合計される。マイクロフォンからの信号はまた、中断なく合計されうる。ここで、マイクロフォンの位置の間の距離に関して、いわゆる３：１法則が適用される。法則は、２つのマイクロフォンを用いて音源を録音するとき、音源と第２マイクロフォンとの間の距離は、知覚可能ないずれの櫛形フィルター効果も取得しないように、音源と第１マイクロフォンとの間の距離の、少なくとも３倍であるべきであるということを規定した法則である。上記法則は、等しい感度のマイクロフォンであること、および、例えば１／ｒの法則にしたがい距離が増加するにつれて音圧レベルが減少することを必要条件としている。
【００７８】
システムおよび／または音声信号生成装置またはそのジオメトリプロセッサは、まず、上記両方の条件を満たしているか否かについて識別する。両方の条件を満たしていない場合、信号は、仮想のマイクロフォンの現在の位置にしたがって仮想のマイクロフォンの信号の計算より前に遅延する可能性がある。このため、全てのマイクロフォンの仮想のマイクロフォンまでの距離は、適切ならば決定され、信号は、仮想のマイクロフォンから最も遠くに配置されたマイクロフォンについて、一時的に遅延する。このため、最大距離は計算され、残りの距離との差異が計算される。具体例における待ち時間Δｔｉは、それぞれの距離ｄｉの、音速ｃに対する割合に、サンプリングレートＦｓを掛けることにより求められる。計算された値は、例えば、信号が、サンプル全体によって遅延が発生するだけならば、デジタルの実装において四捨五入される。Ｎは以下の段落において、録音するマイクロフォンの数を指す。
【００７９】
【数６】
0006316407.tif 000007
【００８０】
いくつかのさらなる実施形態によれば、決定された最大待ち時間はすべてのソース信号に適用される。
【００８１】
仮想のマイクロフォンの信号を計算するために、以下の変形例が実施される。この点において、近くのマイクロフォンおよび／または直射音の録音のためのマイクロフォンを、以下に第１マイクロフォンタイプのマイクロフォンとして示し、周囲のマイクロフォンおよび／または拡散音の部分の録音のためのマイクロフォンを、以下に第２マイクロフォンタイプのマイクロフォンとして示す。さらに、仮想の聴取位置はまた、仮想のマイクロフォンの位置として示す。
【００８２】
第１の変形例によれば、近くのマイクロフォンおよび／または第１マイクロフォンタイプのマイクロフォンの信号と、周囲のマイクロフォンの信号との両方は、距離の法則にしたがって減衰する。結果として、それぞれのマイクロフォンは、その位置で特に優勢なやり方で聞き取り可能である。仮想のマイクロフォンの信号の計算のために、近くおよび周囲のマイクロフォンのまわりの近接音場の半径が、ユーザによって初めに決定される。この半径の中では、信号の音量は一定値を維持する。仮想のマイクロフォンが、録音の現場の中に配置されると、すぐに、仮想のマイクロフォンからそれぞれの個々の実在するマイクロフォンまでの距離が計算される。このため、マイクロフォンの信号のサンプル値ｘｉ［ｔ］は、現在の距離ｄｉで割られ、近接音場の半径ｒｎａｈが掛けられる。Ｎは録音するマイクロフォンの数を示す。
【００８３】
【数７】
0006316407.tif 000008
【００８４】
したがって、空間的な距離ｄｉに応じて減衰される、マイクロフォンの信号
【００８５】
【数８】
0006316407.tif 000009
【００８６】
が得られる。この方法によって計算されたすべての信号は合計され、共に、仮想のマイクロフォンに対する信号を形成する。
【００８７】
【数９】
0006316407.tif 000010
【００８８】
第２の変形例によれば、直射音と拡散音は分離される。拡散音場はここで、空間全体においてほぼ同一の音量を持つ。このため、空間は、周囲のマイクロフォンの配置によって、空間的な領域に分割される。上記領域に依存して、拡散音の部分は、１つ、２つまたは３つのマイクロフォンの信号から計算される。近くのマイクロフォンの信号は、距離の法則にしたがって、距離の増加に伴い減衰する。
【００８９】
図４は空間的な分配の一例を示す。点は、周囲のマイクロフォンを表している。周囲のマイクロフォンは多角形を形成する。この多角形の中の領域は、三角形に分割される。このため、ドロネー三角形分割が適用される。この方法を用いて、三角形の網目は点の組から形成される。そのもっとも効果的な特徴は、三角形の外接円は、上記の組に属する点をさらにいずれも含まないことである。このいわゆる外接円の条件を満たすことにより、三角形は、とり得る最大の内角を有する。図４において、この三角形分割は、４つの点を用いて説明される。
【００９０】
ドロネー三角形分割を用いて、互いに近くに配置されたマイクロフォンは、グループに分けられ、それぞれのマイクロフォンは周囲の空間上に位置づけられる。仮想のマイクロフォンについての信号は、それぞれの場合において、３つのマイクロフォンの信号から多角形内で計算される。多角形の外側は、角を通過する２つの垂直な線が、２つの角のそれぞれの接線に対して決定される。したがって、多角形の外側の空間的な領域は、十分に限定されている。したがって、仮想のマイクロフォンは、２つのマイクロフォンの間、または、マイクロフォンの近くにある１つの角に配置されうる。
【００９１】
拡散音の部分を計算するため、仮想のマイクロフォンが、縁を形成する多角形の内側か外側のどちらに配置されているのかが、まず決定される。位置に依存して、仮想のマイクロフォンの信号の拡散部分は、１つ、２つまたは３つのマイクロフォンの信号から計算される。
【００９２】
仮想のマイクロフォンが多角形の外側に配置されている場合、１つの角における複数の領域同士の間、および２つのマイクロフォンの間で、区別がなされる。仮想のマイクロフォンが、マイクロフォンに近い領域における多角形の１つの角に配置されている場合、このマイクロフォンの信号ｘｉのみが、拡散音の部分の計算に用いられる。
ｘｄｉｆｆｕｓ［ｔ］＝ｘｉ［ｔ］
２つのマイクロフォンの間の領域において、仮想のマイクロフォンの信号は、２つの対応するマイクロフォンの信号ｘ１およびｘ２から成る。位置に依存して、２つの信号の間のクロスフェードは、さまざまなクロスフェード法則および／またはパニングの方法を用いて起こる。これらのクロスフェードもまた、線形パニングの法則（第１のクロスフェード法則）、サインおよびコサインの法則（第２のクロスフェード法則）、タンジェントの法則（第３のクロスフェード法則）、および、線形パニングの法則とサインおよびコサインの法則との組み合わせ（第４のクロスフェード法則）と呼ばれる。
【００９３】
線形の法則（ｘｖｉｒｔ１）とサインおよびコサインの法則（ｘｖｉｒｔ２）の２つのパニング方法の組み合わせについて、２つの信号ｘ１およびｘ２の相関係数σｘ１ｘ２が決定される。
【００９４】
【数１０】
0006316407.tif 000011
【００９５】
係数σｘ１ｘ２の大きさに依存して、それぞれの法則は、重み付け値の合計ｘｖｉｒｔの計算に含まれる。
ｘｖｉｒｔ＝σｘ１ｘ２＊ｘｖｉｒｔ１＋（１−σｘ１ｘ２）＊ｘｖｉｒｔ２、ここで、
ｘｖｉｒｔ１＝ｇ１＊ｘ１＋（１−ｇ１）＊ｇ２であり、ここで、ｇ２＝（１−ｇ１）であり（線形パニング）、
ｘｖｉｒｔ２＝ｃｏｓ（δ）＊ｘ１＋ｓｉｎ（δ）＊ｘ２であり、ここで、δ∈［０°；９０°］である（サインおよびコサインの法則）。
【００９６】
相関係数σｘ１ｘ２が１に等しければ、信号は同一であり、線形のクロスフェードのみが起こる。相関係数σｘ１ｘ２が０であれば、サインおよびコサインの法則のみが適用される。
【００９７】
いくつかの実施形態において、相関係数は瞬間的な値を示すのみでなく、所定の期間にわたって統合されてもよい。相関分度器において、この期間は、例えば、０．５秒であってもよい。例えば、本発明の実施形態および／または仮想のマイクロフォンとして、リアルタイムに対応したシステムが常に必要なわけではないので、相関係数はまた、例えば、３０秒などの長期間にわたって決定されてもよい。
【００９８】
多角形の中の領域において、ドロネー三角形分割を用いて角が決定された三角形の内部に配置された仮想の聴取位置について、図５を用いて示す。それぞれの三角形において、仮想のマイクロフォンの信号の拡散音の部分は、角に配置されたマイクロフォンの３つのソース信号から成る。このため、三角形のそれぞれの辺に対する高さｈが決定され、仮想のマイクロフォンから三角形のそれぞれの辺までの距離ｄｖｉｒｔＭｉｃが決定される。対応する高さに沿って、マイクロフォンの信号は、三角形の１つの角から反対側の辺に至るまで、パニング方法の組および／または使用されたクロスフェードの法則に依存して、ゼロへと減衰する。
【００９９】
原則として、上述のパニング方法は、このために用いられ、また、多角形の外側の信号の計算のために用いられる。高さｈの値による距離ｄｖｉｒｔＭｉｃの分割は、経路を長さ１で正規化し、パニング曲線上の対応する位置を与える。Ｙ軸における値は、パニング方法の組にしたがって３つの信号のそれぞれを掛け算することを可能にするものであって、読み取り可能である。
【０１００】
線形パニングの法則とサインおよびコサインの法則の組み合わせのために、相関係数は、２つのソース信号に基づくそれぞれの場合において初めに決定される。結果として、３つの相関係数が得られる。その相関係数から、続けて平均値が計算される。
【０１０１】
この平均値は、線形の法則とサインおよびコサインのパニング法則との重み付け値の合計を決定する。ここで、以下の内容も適用される。値が１に等しい場合、線形パニングの法則を利用したクロスフェードのみが起こる。値が０に等しい場合、サインおよびコサインの法則のみが用いられる。最後に、３つすべての信号が合計されたとき、音の拡散部分が生成される。
【０１０２】
直射音の部分は、拡散音の上に重ねられ、ここでタイプ「Ｄ」のマイクロフォンの直射音の部分と、タイプ「Ａ」のマイクロフォンの間接音の部分は、すでに説明された手段にしたがって録音される。結局、拡散音の部分と直射音の部分は合計され、したがって仮想のマイクロフォンについての信号が生じる。
ｘｖｉｒｔＭｉｃ［ｔ］＝ｘｄｉｆｆｕｓ［ｔ］＋ｘｄｉｒｅｋｔ［ｔ］
この変形例はさらに拡張することが可能である。要求に応じて、任意の大きさの半径がマイクロフォンのまわりに設定されてもよい。この領域内では、そこに配置されたマイクロフォンのみが聴取可能である。すべての他のマイクロフォンはゼロに固定される。および／または、選択されたマイクロフォンの信号に仮想のマイクロフォンの信号が対応するように、重み付け値０が割り当てられる。
ｘｖｉｒｔＭｉｃ［ｔ］＝ｘｉ，ｓｅｌ［ｔ］
第３の変形例によれば、仮想のマイクロフォンのまわりを囲む空間内に配置されたマイクロフォンは、仮想のマイクロフォンの計算に含まれる。このため、すべてのマイクロフォンから仮想のマイクロフォンまでの距離は初めに決定され、これにより、円の中にどのマイクロフォンがあるかが決定される。円の外側にあるマイクロフォンの信号には、ゼロが設定され、および／または、重み付け値０が割り当てられる。
【０１０３】
円の中のマイクロフォンｘｉ（ｔ）の信号の値は、等しい部分において合計され、これにより、仮想のマイクロフォンについての信号が得られる。Ｎが、円の中にある、録音するマイクロフォンの数を示す場合、以下が適用される。
【０１０４】
【数１１】
0006316407.tif 000012
【０１０５】
円の内外におけるマイクロフォンの移動において、音量が突然飛躍することを避けるため、信号は、さらに、円の境界で線形の方法でフェードインしたりフェードアウトしたりしてもよい。この変形例において、近くのマイクロフォンと周囲のマイクロフォンとの区別は必要ない。
【０１０６】
すべての変形例において、仮想のマイクロフォンに対して、追加の指向性を関連付けることも、妥当である。このため、仮想のマイクロフォンは、方向ベクトルｒを備えて与えられる。該方向ベクトルｒは、始めは、（極図式における）指向性の主な方向に向いている。マイクロフォンの指向性は、いくつかの実施形態において直射音に対してのみ有効であるので、指向性は近くのマイクロフォンの信号にのみ影響を与える。周囲のマイクロフォンの信号は、組み合わせルールにしたがった計算において、変更されずに含まれ続ける。仮想のマイクロフォンに基づいて、ベクトルがすべての近くのマイクロフォンに対して形成される。近くのマイクロフォンのそれぞれに対して、角度φｉ，ｎａｈは、このベクトルと仮想のマイクロフォンの方向ベクトルとの間で計算される。図７において、ここにマイクロフォン２２０に対する例を示す。一般的なマイクロフォンの方程式ｓ（φ）＝ａ＋ｂ＊ｃｏｓ（φ）に角度を代入することにより、指向性に応じてさらなる音の減衰に対応する因子ｓがそれぞれのソース信号に対して得られる。すべてのソース信号を合計する前に、それぞれの信号には対応する因子が掛けられる。例えば、指向性として以下の選択肢が存在する。すなわち、無指向性（ａ＝１；ｂ＝０）、サブカージオイド（ａ＝０．７１；ｂ＝２９）、カージオイド（ａ＝０．５；ｂ＝０．５）、スーパーカージオイド（ａ＝０．３７；ｂ＝０．６３）、ハイパーカージオイド（ａ＝０．２５；ｂ＝０．７５）、８の字（ａ＝０；ｂ＝１）の中から選ばれうる。仮想のマイクロフォンは、例えば、１°またはそれ未満の正確さを備えて調整されうる。
【０１０７】
図８は、ミキシング制御装置３００の概要を示す。ミキシング制御装置３００は音声信号生成装置１００を含む。音声信号生成装置１００を用いて、アコースティックシーン２０８を録音するために用いられるマイクロフォン２９０〜２９５の信号を受信する。ミキシング制御装置は、少なくとも２つのマイクロフォン２９０〜２９５のソース信号を処理するのに有用であり、図８では表現を選択され単に概要を示すだけの、ミキシングされた音声信号３０２を供給するのに有用である。
【０１０８】
本発明のいくつかの実施形態によれば、ミキシング制御装置は、複数のマイクロフォン２９０〜２９５の位置とマイクロフォン２９０〜２９５が配置された音響の空間の中に配置された、仮想の聴取位置２０２の位置とを視覚的表現で示すように構成されたユーザインターフェース３０６をさらに含む。
【０１０９】
いくつかの実施形態によれば、ユーザインターフェースは、さらに、直射音を録音するように選ばれた第１のタイプ（１）と、拡散音の部分を録音するために参照された第２のタイプ（２）のように、マイクロフォン２９０〜２９５のそれぞれについて、マイクロフォンのタイプを関連付けることを可能にする。
【０１１０】
いくつかのさらなる実施形態によれば、ユーザインターフェースは、さらに、ミキシング制御装置のユーザが、例えば、図８に概要を示しているカーソル３１０および／またはコンピュータマウスを動かすというような簡単な方法で、直観的かつ簡単に仮想位置を移動させることを可能にするように構成されている。この移動によって、アコースティックシーンの全体および／または録音機材を簡単なやり方で確認できる。
【０１１１】
図９は、音声信号を供給する方法の一実施形態を概略的に示す。該方法は、信号を録音するステップ５００において、第１マイクロフォンによって録音された第１ソース信号ｘ１と、第２マイクロフォンによって録音された第２ソース信号ｘ２とを受信するステップを含む。
【０１１２】
分析ステップ５０２の間、ジオメトリ情報の第１部品が、第１の位置および仮想の聴取位置に基づいて決定され、ジオメトリ情報の第２部品が、第２の位置および仮想の聴取位置に基づいて決定される。合成ステップ５０５において、少なくとも第１ソース信号ｘ１と第２ソース信号ｘ２とが、ジオメトリ情報の第１部品およびジオメトリ情報の第２部品とを用いた組み合わせルールにしたがって合成される。
【０１１３】
図１０はまた、図８で示したものとはわずかに異なる、本発明の実施形態に対するユーザインターフェース３０６の外観を示す。上記ユーザインターフェース、および／またはいわゆる「相互キャンバス」と呼ばれるものにおいて、マイクロフォンの位置が示され、特に、音源および／またはさまざまなタイプのマイクロフォンおよび／またはマイクロフォンのタイプ（１、２、３、４）として示される。このため、少なくとも１つの受信機の位置および／または１つの仮想の聴取位置２０２が、（×印付きの円として）示される。それぞれの音源は、ミキシング制御装置のチャンネル３１０〜３１６の１つに対応している。
【０１１４】
前述の各実施形態を用いて、仮想の聴取位置２０２で単一の音声信号が発生することについて主に説明したが、言うまでもなく、本発明のさらなる実施形態によれば、複数の、例えば、２、３、４、それ以上の任意の数の音声信号が、さらなる仮想の聴取位置について生成されてもよい。ここでも、上述の組み合わせルールがそれぞれの場合において用いられる。
【０１１５】
この点では、例えば人の聴覚の様々な聴取モデルもまた、例えば多様で、空間的に隣接した仮想の聴取位置を用いるさらなる実施形態にしたがって生成される。人の聴覚および／または外耳の距離をおよそ持つ、２つの仮想の聴取位置を定義することにより、信号は仮想の聴取位置のそれぞれについて生成されてもよい。これにより、例えば、周波数依存の指向性に関して、ヘッドフォンを用いた直接聴取における聴覚の印象、または、２つの聴取位置の間の位置で聴取する場合における、人間の聞き手の聴覚の印象などについてシミュレーションを行う。すなわち、左の耳道および／または左のイヤーピースの位置で、第１の仮想の聴取位置が発生する。この第１の仮想の聴取位置は、周波数依存の指向性も含む。そのような周波数依存の指向性によって、信号の伝搬が、頭部伝達関数（ＨＲＴＦ）に関して、耳道に沿って、シミュレートできる。右耳に関する第２の仮想の聴取位置に対して同様の手順で処理されると、２つのモノラル信号が、本発明のいくつかの実施形態によって、例えばヘッドフォンを用いた直接聴取において得られる。そして２つのモノラル信号は、仮想の聴取位置の位置にある実際の聞き手が持つ音の印象に対応する。
【０１１６】
同様のやり方で、従来のステレオマイクロフォンが、例えば、シミュレートされる。
【０１１７】
要約すると、ミキシング制御装置／レコーディングソフトウェアにおいて音源（例えばマイクロフォン）の位置が示される、および／または、本発明のいくつかの実施形態にしたがって自動的に取得される。音源の位置に基づいて、少なくとも３つの新しいツールをサウンドエンジニアは利用することができる。すなわち、
・現在登録されている空間的な音のシーンを監視するツール、
・仮想の受信元を制御することによる、部分的に自動化された音のミキシングを生成するツール、
・空間的な配置の視覚的表現のツール、である。
【０１１８】
図１０は、音源と１つ以上の「仮想の受信機」の位置を含む、考えられるユーザインターフェースの概要を示す。位置は、ユーザインターフェースおよび／または相互作用キャンバスにおいて、それぞれのマイクロフォン（番号１〜４）に関連付けられている。それぞれのマイクロフォンは、ミキシング制御装置／レコーディングソフトウェアのチャンネルストリップに接続されている。１つ以上の受信機（×印付きの円）の位置決めによって、音声信号は、信号のエラーを監視および／または検出するため、またはミキシングを生成するために用いられる音源から計算される。このため、さまざまな関数のタイプは、マイクロフォンおよび／または音源に関連付けられている。例えば、近くのマイクロフォン（「Ｄ」タイプ）、周囲のマイクロフォン（「Ａ」タイプ）、または、単に他のものと共に評価されるだけのマイクロフォンの配列の一部、などというようにタイプが関連付けられている。この関数に依存して、使用される計算法則が調整される。さらに、ユーザは出力信号の計算を設定する機会が与えられる。そのうえ、例えば隣接するマイクロフォン間のクロスフェードのタイプといった、さらなるパラメータが設定され得る。可変の成分および／または計算手順は、以下のとおりであってもよい。
１．距離依存の音量
２．２つ以上の音源間の音量補間
３．それぞれの音源のまわりにある小さな領域、ここで、（距離の値が設定された）該小さな領域においてのみ音源の聴取が可能である。
受信信号のそのような計算法則は、例えば、以下のことによって変更される。
１．音源または受信機のまわりの受信領域を示すこと
２．受信機に対する指向性を示すこと
それぞれの音源に対して、タイプ（例えば直射音のマイクロフォン、周囲のマイクロフォンまたは拡散音のマイクロフォン）が選択される。受信機における信号の計算法則は、タイプの選択によって制御される。
【０１１９】
上記のことによって、特定の適用例において、特に簡単な操作が得られる。したがって、莫大な数のマイクロフォンを用いる録音の準備は、相当単純化される。実際の録音に先行して行われるセットアップ工程において、ミキシング制御装置における位置は、それぞれのマイクロフォンと、すでにここで、関連付けられる。音のミキシングは、もはやチャンネルストリップでそれぞれの音源に対する音量の設定を通して行われる必要はなく、代わりに、音源の場面における受信機の位置を示すこと（例えば、場面への単純なマウスクリック）により行われる。受信機の位置での音量を計算するために選択可能なモデルに基づいて、受信機の新たな位置決めのそれぞれに対して新たな信号が計算される。個々のマイクロフォンを「始動する」ことにより、したがって、干渉信号は非常に早く特定されうる。受信機の信号が、出力スピーカの信号として継続して用いられる場合、同様の方法で、空間的な音声ミキシングもまた、位置決めによって生成されうる。ここで、もはや、個々のチャンネルのそれぞれに対して音量を設定することを必要としない場合、設定は、全ての音源に対する受信機の位置を同時に選択することによって実行される。さらに、アルゴリズムは革新的で創造的なツールを提示する。
【０１２０】
音声信号の距離依存の計算に関連する概要の説明を、図３において示した。半径ＲＬに依存して、音量ｇは、
【０１２１】
【数１２】
0006316407.tif 000013
【０１２２】
にしたがって計算される。変数ｘは、音源のタイプに依存して変化する値であり、例えばｘ＝１、ｘ＝１／２である。受信機が半径ｒ１を持つ円の中に配置された場合、固定された（一定の）音量の値が適用される。音源から受信機までの距離の増加に伴い、音声信号は静かになる。
【０１２３】
音量の補間に関連する概要の説明を、図５において示した。受信機に届く音量は、ここでは２つ以上のマイクロフォンの間にある受信機の位置を用いて計算される。有効な音源の選択は、いわゆる「最近接」アルゴリズムによって決定される。受信機の場所および／または仮想の聴取位置での可聴信号の計算は、音の２つ以上のソース信号の間の補間法則によってなされる。それぞれの音量は、聞き手が一定の快適な音量を得るために、ここでは、動的に調整される。
【０１２４】
同時にすべての音源を作動させることに加えて、距離依存の音量計算を用いて、音源は、さらなるアルゴリズムによって作動する。ここで、受信機のまわりの領域は、半径Ｒによって定義される。Ｒの値は、ユーザによって変更可能である。音源がこの領域内に配置される場合、その音は聞き手にとって聞き取ることが可能である。図６で説明したこのアルゴリズムは、距離依存の音量の計算と組み合わせてもよい。したがって、受信機のまわりに半径Ｒを持つ領域が存在する。音源が半径以内に配置される場合、同様に、その音は受信機にとって可聴である。音源が外側に配置される場合、それらの信号は出力信号の計算において含まれない。
【０１２５】
受信機および／または仮想の聴取位置での音源の音量を計算するため、受信機について指向性を定義することが可能である。この指向性は、方向に依存する受信機において、音源の音声信号の効果がどれだけ強いかを示す。指向性は周波数依存のフィルターまたは純粋な音量の値である。図７は、概要の説明として、これを示す。仮想の受信機が、ユーザが回転させることができる方向ベクトルとともに与えられる。簡単なジオメトリの選択は、良く知られているマイクロフォンのタイプの指向性の選択、および、仮想の聞き手の生成を可能にする人の耳のいくつかの具体例と同様に、ユーザが選択するのに利用可能となる。受信機、および／または、仮想の聴取位置にある仮想のマイクロフォンは、例えば、カージオイド特性を含む。この指向性に依存して、音源の信号は異なる印象を受信機に与える。発生方向によって、信号は異なる減衰を生じる。
【０１２６】
上記の説明において開示された特徴点について、後述の特許請求の範囲および添付する図面は、個々においても、および、任意の組み合わせにおいてもその両方が重要であり、それらさまざまな構成において実施形態の実現のために実施される。
【０１２７】
音声信号生成装置に関するいくつかの側面を説明したが、これらの側面は、対応する方法の説明も表しているということも理解されたい。これにより、音声信号生成装置のブロックまたは装置は、対応する方法のステップまたは方法のステップの特徴であるとして理解されうる。同様に、１つのことに関して、または、方法のステップとして説明された側面は、対応する音声信号生成装置の対応するブロックまたは詳細または特徴の説明をも表している。
【０１２８】
特定の実施例の要件に応じて、本発明の実施形態はハードウェアでも、ソフトウェアでも実現可能である。実施例は、デジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリ、ハードドライブ、または、任意の他の磁気または光学メモリを用いて実施される。それらのデジタル記憶媒体上には、電気的に読み取り可能な制御信号が格納され、それぞれの方法が実行されるようなプログラミング可能なハードウェア部材と協働して動作できる、または、協働して動作する。
【０１２９】
プログラミング可能なハードウェア部材は、プロセッサ、コンピュータプロセッサ（ＣＰＵ＝中央処理装置）、グラフィックプロセッサ（ＧＰＵ＝画像処理装置）、コンピュータ、コンピュータシステム、特定用途向けＩＣ（ＡＳＩＣ）、集積回路（ＩＣ）、システムオンチップ（ＳＯＣ）、プログラミング可能な論理要素またはマイクロプロセッサでプログラミング可能なゲートアレイ（ＦＰＧＡ）によって形成されうる。
【０１３０】
それゆえ、デジタル記憶媒体は、機械読み取り可能またはコンピュータ読み取り可能である。いくつかの実施形態は、ここで説明された方法の１つが実行されるように、プログラミング可能なコンピュータシステムまたはプログラミング可能なハードウェア部材と協働動作することが可能な、電気的に読み取り可能な制御信号を含むデータキャリアも含んでいる。したがって、実施形態は、ここで説明された方法の１つを実行するために記録されたプログラムが記録されている、データキャリア（またはデジタル記憶媒体またはコンピュータ読み取り可能な記憶媒体）である。
【０１３１】
一般に、本発明の実施形態は、プログラムコードを持つプログラム、ファームウェア、コンピュータプログラムまたはコンピュータプログラム製品、またはデータとして実施される。ここで、プログラムコードまたはデータは、プログラムがプロセッサまたはプログラミング可能なハードウェア機器上で動作する場合に、方法の１つを実行するために有効である。プログラムコードまたはデータは、例えば、機械読み取り可能なキャリアまたはデータキャリア上に格納されてもよい。プログラムコードまたはデータは、ソースコード、機械コードまたはバイトコードなどとして利用可能であり、他の中間コードとして利用可能である。
【０１３２】
他の実施形態は、さらに、ここで説明した方法の１つを実行するためのプログラムを表す、データストリーム、信号列または信号の順序である。データストリーム、信号列、信号の順序は、例えば、データ通信接続、例えばインターネットまたは他のネットワークを介して伝送されるように構成されうる。したがって、実施形態は、以下の信号列でもある。該信号列は、データを表し、ネットワークまたはデータ通信接続を介して、送信されるのに適している。ここでは、データとはプログラムのことである。
【０１３３】
実施形態によるプログラムは、例えば、その記憶位置の読出しまたは１つ以上のデータの書き込みを実行する間、方法の１つを実行してもよい。それによって、適切であれば、切り替え操作または他の操作は、トランジスタ構造、増幅構造、または他の電気的部材、光学部材、磁気部材、または他の作動原理によって動作する部材において、もたらされる。したがって、記憶位置を読み出すことにより、データ、値、センサ値または他の情報がプログラムによって、取得、決定または計測されうる。したがって、プログラムは１つ以上の記憶位置を読み出すことによって量、値、計測された量および他の情報を、取得、決定または計測し、１つ以上の記憶位置に書き込むことにより、他の装置、機械および部材の動作および制御を、もたらす、段取りする、あるいは、実行することができる。
【０１３４】
上述の実施形態は単に本発明の原理を説明したものである。ここで説明された、配置の変更および変形例および詳細が、他の当業者にとって明白であることが理解されるだろう。したがって、本発明は後述の特許請求の範囲によって制限されるのみであり、実施形態の記述や説明を基礎として与えられた特定の詳細内容によって制限されるものではない。
【図１】
0006316407.tif 000015
【図２】
0006316407.tif 000016
【図３】
0006316407.tif 000017
【図４】
0006316407.tif 000018
【図５】
0006316407.tif 000019
【図６】
0006316407.tif 000020
【図７】
0006316407.tif 000021
【図８】
0006316407.tif 000022
【図９】
0006316407.tif 000023
【図１０】
0006316407.tif 000024