(57)【要約】本発明によれば、複数のパラメータ的に符号化された音声信号が音声信号発生器（１００）を使用して能率的に合成される。それは、ダウンミックスチャンネル（１１０ａ，１１２ａ）と音声信号の関連したパラメータ（１１０ｂ，１１２ｂ）とを合成することによって、音声出力信号（１２０）をパラメータ領域の中で直接に、すなわち、音声出力信号（１２０）の生成より前に、個々の入力音声信号を再構築または復号化することなしに、生成する。これは、個々の入力信号の関連するダウンミックスチャンネル（１１０ａ，１１２ａ）の直接のミキシングによって達成される。ダウンミックスチャンネル（１１０ａ，１１２ａ）の合成が単純で計算機的に安価な算術演算によって達成されることは、本発明の１つの主な特長である。【選択図】図７
2009543142.tif 000002
【特許請求の範囲】
【請求項１】
音声出力信号を生成するための音声信号発生器（１００）であって、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネル（１１０ａ）を含み、および参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している前記第１オリジナルチャンネルの１つに関連するオリジナルパラメータ（１１０ｂ）を含む第１音声信号（１１０）、ならびに、
少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネル（１１２ａ）を含む第２音声信号（１１２）を、
受信する音声信号受信器（１０２）と、
前記第１ダウンミックスチャンネル（１１０ａ）および前記第２ダウンミックスチャンネル（１１２ａ）を合成することによって合成されたダウンミックスチャンネル（１１４）を導き出すチャンネル合成器（１０４）と、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータ（１１６ａ）および前記共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つの特性または少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータ（１１６ｂ）を導き出すパラメータ計算機（１０６）と、
前記合成ダウンミックスチャンネル（１１４）、前記第１合成パラメータ（１１６ａ）および前記第２合成パラメータ（１１６ｂ）を含む前記音声出力信号（１２０）を出力する出力インターフェースと、
を含む、音声信号発生器（１００）。
【請求項２】
前記チャンネル合成器（１０４）は、前記第１ダウンミックスチャンネル（１１０ａ）および前記第２ダウンミックスチャンネル（１１０ｂ）の一次結合を使用した前記合成ダウンミックスチャンネル（１１４）を導き出すために作動する、請求項１に記載の音声信号発生器（１００）。
【請求項３】
前記チャンネル合成器（１０４）は、前記第１ダウンミックスチャンネル（１１０ａ）のエネルギーＥ（ＳA2（ｎ））および前記第２ダウンミックスチャンネル（１１２ａ）のエネルギーＥ（ＳB2（ｎ））に依存する係数を有する一次結合を使用するために作動する、請求項２に記載の音声信号発生器（１００）。
【請求項４】
前記チャンネル合成器（１０４）は、以下の方程式を使用して導き出された前記第１ダウンミックスチャンネルのための係数ｇAおよび前記第２ダウンミックスチャンネルのための係数ｇBを有する一次結合を使用するために作動する、請求項３に記載の音声信号発生器（１００）。
2009543142.tif 000022
【請求項５】
前記チャンネル合成器（１０４）は、前記第１オリジナルチャンネルの数Ｕおよび前記第２オリジナルチャンネルの数Ｖに依存する係数を有する一次結合を使用するために作動する、請求項２に記載の音声信号発生器（１００）。
【請求項６】
前記チャンネル合成器（１０４）は、以下の方程式の１つにより導き出された前記第１ダウンミックスチャンネル（１１０ａ）の係数ｇAおよび前記第２ダウンミックスチャンネル（１１２ａ）の係数ｇBを有する一次結合を使用するために作動する、請求項５に記載の音声信号発生器（１００）。
2009543142.tif 000023
【請求項７】
前記パラメータ計算機（１０６）は、共通参照チャンネルとして、前記第１オリジナルチャンネルまたは前記少なくとも１つの第２オリジナルチャンネルの所定のチャンネルを使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項８】
前記パラメータ計算機（１０６）は、前記共通参照チャンネルとして前記第１音声信号（１１０）の前記参照チャンネルを使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項９】
前記パラメータ計算機（１０６）は、前記共通参照チャンネルとして前記合成ダウンミックスチャンネル（１１４）を使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項１０】
前記パラメータ計算機（１０６）は、最も高いエネルギーを有する前記共通参照チャンネルとして前記オリジナルチャンネルを使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項１１】
前記パラメータ計算機（１０６）は、前記第１ダウンミックスチャンネル（１１０ａ）のエネルギーＥ｛ＳA2｝および前記参照チャンネル以外の関連するパラメータａi｛ｉ＝１，．．．，ｎ｝を導き出し、以下の方程式によって前記参照チャンネルのエネルギーＥ｛ＳAref｝を算出するために作動する、請求項１ないし請求項１０のいずれかに記載の音声信号発生器（１００）。
2009543142.tif 000024
【請求項１２】
前記パラメータ計算機（１０６）は、前記共通参照チャンネルとして前記参照チャンネルを使用し、かつ、第１合成パラメータｙuとして前記オリジナルパラメータａ2を使用して、前記参照チャンネルに関連して前記少なくとも１つの第２オリジナルチャンネルの前記第２合成パラメータｙu+1を導き出すために作動する、請求項１ないし請求項１１のいずれかに記載の音声信号発生器（１００）。
【請求項１３】
前記パラメータ計算機（１０６）は、前記第１ダウンミックスチャンネル（１１０ａ）の前記エネルギーＥ｛ＳA2（ｎ）｝と、前記第２ダウンミックスチャンネル（１１２ａ）の前記エネルギーＥ｛ＳB2（ｎ）｝と、を導き出すために作動する、請求項１ないし請求項１２のいずれかに記載の音声信号発生器（１００）。
【請求項１４】
前記パラメータ計算機（１０６）は、前記第１ダウンミックスチャンネル（１１０ａ）に関連する係数ｇAと、前記第２ダウンミックスチャンネル（１１２ａ）に関連する係数ｇBと、をさらに使用して作動し、前記係数は、前記チャンネル合成器（１０４）によって使用される前記第１および前記第２ダウンミックチャンネルの前記一次結合のために使用される、請求項１３に記載の音声信号発生器（１００）。
【請求項１５】
2009543142.tif 000025
【請求項１６】
前記パラメータ計算機（１０６）は、個別の周波数間隔に関連する前記第１および前記第２ダウンミックスチャンネルの周波数部分を処理し、合成パラメータを前記個別の周波数間隔毎に導き出されるように作動する、請求項１ないし請求項１５のいずれかに記載の音声信号発生器（１００）。
【請求項１７】
前記音声信号受信器は、所定のサンプル周波数でサンプルされたサンプリングパラメータによって表現されたダウンミックスチャンネル（１１０ａ，１１２ａ）を含む音声信号（１１０，１１２）を受信するために作動する、請求項１ないし請求項１６のいずれかに記載の音声信号発生器（１００）。
【請求項１８】
音声出力信号を生成するための方法であって、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネル（１１０ａ）と、参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連するオリジナルパラメータ（１１０ｂ）とを含む第１音声信号（１１０）を受信すると共に、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネル（１１２ａ）を含む第２音声信号（１１２）を受信するステップと、
前記第１ダウンミックスチャンネル（１１０）および前記第２ダウンミックスチャンネル（１１２）を合成することによって合成ダウンミックスチャンネル（１１４）を導き出すステップと、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータ（１１６ａと、共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つまたは少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータ（１１６ｂ）と、を導き出すステップと、
前記合成ダウンミックスチャンネル（１１４）ならびに前記第１合成パラメータ（１１６ａ）および前記第２合成パラメータ（１１６ｂ）を含む前記音声出力信号（１２０）を出力するステップと、
を含む、方法。
【請求項１９】
３つ以上の音声チャンネル（１２０）の表現であって、
少なくとも２つの第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルと、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルと合成である合成ダウンミックスチャンネル（１１４）と、
参照チャンネルに関する少なくとも２つの第１オリジナルチャンネルの１つの特性を記載している第１パラメータ（１１６ａ）および前記参照チャンネルに関する前記第１オリジナルチャンネルの他のチャンネルの特性または前記少なくとも１つの第２オリジナルチャンネルの特性を記載している第２パラメータ（１１６ｂ）と、
を含む、表現。
【請求項２０】
音声出力信号を生成するための音声信号発生器（１００）を有する会議システムであって、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネル（１１０ａ）と、参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している前記第１オリジナルチャンネルの１つに関連するオリジナルパラメータ（１１０ｂ）と、を含む第１音声信号（１１０）と、
少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネル（１１２ａ）を含む第２音声信号（１１２）と、
を受信する音声信号受信器（１０２）と、
前記第１ダウンミックスチャンネル（１１０ａ）および前記第２ダウンミックスチャンネル（１１２ａ）を合成することによって合成ダウンミックスチャンネル（１１４）を導き出すチャンネル合成器（１０４）と、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータ（１１６ａ）と、前記共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つまたは少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータ（１１６ｂ）と、を導き出すパラメータ計算機（１０６）と、
前記合成ダウンミックスチャンネル（１１４）、前記第１合成パラメータ（１１６ａ）および前記第２合成パラメータ（１１６ｂ）を含む前記音声出力信号（１２０）を出力する出力インターフェースと、
を含む、会議システム。
【請求項２１】
コンピュータにおいて実行する場合に、音声出力信号を生成するための方法を実装するコンピュータプログラムであって、前記方法は、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルと、参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連するオリジナルパラメータと、を含む第１音声信号と、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルを含む第２音声信号と、を受信するステップと、
前記第１ダウンミックスチャンネルおよび前記第２ダウンミックスチャンネルを合成することによって合成ダウンミックスチャンネルを導き出すステップと、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータと、共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つまたは少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータと、を導き出すステップと、
前記合成ダウンミックスチャンネルならびに前記第１および前記第２合成パラメータを含む前記音声出力信号を出力するステップと、
を含む、コンピュータプログラム。
【請求項２２】
参照チャンネルに関してマルチチャンネル信号のチャンネルの信号特性を記載しているパラメータを使用するパラメータ表現であって、前記参照チャンネルは前記マルチチャンネル信号の他のチャンネルまたは前記マルチチャンネル信号のダウンミックスであり、前記パラメータは、パラメータ値の範囲からの値を有し、
前記パラメータ表現は、代替参照チャンネルに関する前記信号特性を記載している代替パラメータが、前記ダウンミックス、前記パラメータおよび前記代替参照チャンネルの対応しているパラメータの情報のみを使用して導き出すことができ、前記代替パラメータが前記パラメータ値の範囲を有している、パラメータ表現。
【請求項２３】
前記信号特性は、エネルギーまたは振幅の大きさである、請求項２２に記載のパラメータ表現。
【請求項２４】
前記パラメータは、前記チャンネルの有限幅周波数のための前記信号特性を記載する、請求項２２または請求項２３に記載のパラメータ表現。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル音声符号化に関し、特に、柔軟かつ効率的な方法でパラメータ的に符号化された音声ストリームを合成する概念に関する。
【背景技術】
【０００２】
音声符号化の分野における最近の発展は、マルチチャンネル音声信号（例えば、５．１チャンネル）を、１つの（またはより多くの）ダウンミックスチャンネルとサイド情報ストリームとを合成して符号化するためのいくつかのパラメータ的音声符号化技術を進歩させた。通常、サイド情報ストリームは、マルチチャンネル信号の他のオリジナルチャンネルに関して、または、ダウンミックスチャンネルに関して、マルチチャンネル信号のオリジナルチャンネルの特性に関連しているパラメータを有する。これらのパラメータが関係する参照チャンネルのパラメータの特定の定義は、特定の実施に依存する。この分野の公知技術としては、「バイノーラルキュー符号化」、「空間音声符号化」および「パラメトリックステレオ」である。
【０００３】
これらの特定の実施の詳細については、以下の刊行物に記載されている。バイノーラルキュー符号化は、例えば以下において、詳述される。
【０００４】
Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「知覚的なパラメータ付けを使用する空間音声の効率的な表現（Ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｕｓｉｎｇ  ｐｅｒｃｅｐｔｕａｌ  ｐａｒａｍｅｔｒｉｚａｔｉｏｎ）」、ＩＥＥＥ  ＷＡＳＰＡＡ、モホンク、ニューヨーク州、２００１年１０月
Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｃｕｅｓ  ｆｏｒ  ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰ、オーランド、フロリダ州、２００２年５月
Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「バイノーラルキュー符号化：空間音声の新規で効率的な表現（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ：ａ  ｎｏｖｅｌ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ）」、ＩＣＡＳＳＰ、オーランド、フロリダ州、２００２年５月
Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「柔軟性のあるレンダリングを有する音声圧縮に適用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ｗｉｔｈ  ｆｌｅｘｉｂｌｅ  ｒｅｎｄｅｒｉｎｇ）」、第１０３回ＡＥＳコンベンション、ロサンゼルス、２００２年１０月、見本刷り、ｐ５６８６
Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「バイノーラルキュー符号化−パートＩＩ：方式および応用（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−ＰａｒｔＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ）、ＩＥＥＥ  Ｔｒａｎｓ．スピーチおよび音声処理（Ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．）、２００３年１１月、第１１巻、第６号
【０００５】
バイノーラルキュー符号化は、複数のオリジナルのチャンネルを使用する一方、パラメトリックステレオは、２チャンネルのステレオ信号のパラメータ的符号化に関連する技術であり、結果として送信モノラル信号およびパラメータサイド情報が得られる。例えば、以下の刊行物において概説される。
Ｊ．Ｂｒｅｅｂａａｒｔ，Ｓ．ｖａｎ  ｄｅ  Ｐａｒ，Ａ．Ｋｏｈｌｒａｕｓｃｈ  ａｎｄ  Ｅ．Ｓｃｈｕｉｊｅｒｓ、「低いビットレートでの高品質のパラメトリック空間音声符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ａｔ  Ｌｏｗ  Ｂｉｔｒａｔｅｓ）」、第１１６回ＡＥＳコンベンション、ベルリン、２００４年５月、見本刷り、ｐ６０７２
Ｅ．Ｓｃｈｕｉｊｅｒｓ，Ｊ．Ｂｒｅｅｂａａｒｔ，Ｈ．Ｐｕｒｎｈａｇｅｎ  ａｎｄ  Ｊ．Ｅｎｇｄｅｇａｒｄ、「低い複雑さパラメトリックステレオ符号化（Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）」、第１１６回ＡＥＳコンベンション、ベルリン、２００４年５月、見本刷り、ｐ６０７３
【０００６】
他の技術は、単一の伝送音声チャンネルに、任意の数の音源またはオブジェクトを多重送信することを基礎としている。多重化に基づく方式は、例えば、ＢＣＣ（バイノーラルキュー符号化）の関連書の中で「柔軟性のあるレンダリング」として紹介されるか、または、最近では、「ジョイントソース符号化（ＪＳＣ）」と呼ばれる方式によるものである。例えば、関連書は、以下のとおりである。
Ｃ．Ｆａｌｌｅｒ、「音源のパラメトリックジョイント符号化（Ｐａｒａｍｅｔｒｉｃ  Ｊｏｉｎｔ  Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ）」、第１２０回ＡＥＳコンベンション、パリ、２００６年５月、コンベンションペーパー、ｐ６７５２
パラメトリックステレオおよびバイノーラルキュー符号化の方式と同様に、これらの技術は、少ないダウンミックスチャンネルによる伝送のために、複数のオリジナル音声オブジェクト（チャンネル）を符号化することを目的としている。超低データレートで符号化でき、かつ、受信器にも伝送される各入力チャンネルのためのオブジェクトベースパラメータをさらに導き出すことによって、これらのオブジェクトは、受信器サイドで分離されて、例えば、ヘッドホン、２チャンネルのステレオスピーカ、またはマルチチャンネルスピーカのセットアップのような所定の数の出力装置に与えられる(ミックスされる)。このアプローチは、例えば受信器サイドでの再生セットアップの異なる場所に対して、異なる音声オブジェクトのレベル調整および再配分（計画）を許す。
【０００７】
基本的に、そのような技術は、Ｍ−ｋ−Ｎ伝送器として作動する。Ｍは入力での音声オブジェクトの数であり、ｋは伝送ダウンミックスチャンネルの数であり、通常、ｋ≦２である。Ｎはレンダラ出力での音声チャンネルの数であり、例えばスピーカの数である。すなわち、ステレオレンダラに対してはＮ＝２であり、また、５．１マルチチャンネルスピーカのセットアップに対してはＮ＝６である。圧縮効率で言い換えると、標準値は、例えば、知覚的に符号化されたダウンミックスチャンネル（ｋ個の音声チャンネルから構成されている）に対しては６４ｋｂｐｓ以下であり、伝送音声オブジェクト当りのオブジェクトパラメータに対しては約３ｋｂｐｓである。
【０００８】
上記の技術のための応用シナリオは、例えば、ホームシアターシステムにおける音声空間再生を許すための、シネマムービー製作に関連した空間音声場面の符号化である。一般の実施例は、例えば、ＤＶＤなどの映画の媒体における広く知られた５．１および７．１のサラウンドサウンドトラックである。ムービー製作は、音声場面に関してますます複雑になっている。それは、空間的なリスニングの経験を提供することを目的とし、高度の注意を伴わなければならない。異なる音響技師が、異なるサラウンドソースまたは音響効果のミキシングを任されており、それゆえ、効率的に個々の音響技師の音声ストリームを移動させるために、個々の音響技師の間のパラメータ的に符号化されたマルチチャンネルシナリオの伝送が望ましい。
【０００９】
この種の技術の他の応用シナリオは、二地点を接続してそれぞれの端部で複数の話し手を有するテレビ会議である。バンド幅を確保するために、大部分のテレビ会議のセットアップは、モノラルの伝送で作動する。例えば、伝送のためのジョイントソース符号化技術または他のマルチチャンネル符号化技術の１つを使用して、受信側（各端部）での異なる話し手の再分配およびレベル配列が達成され、その結果、話し手の了解度およびバランスが、モノラルシステムと比較して、わずかに増加したビットレートを費やすことによって強化される。増加した了解度の利点は、会議の個々の参加者を、受信側でのマルチチャンネルスピーカセットアップの単一のチャンネル（およびこのようなスピーカ）に割り当てる特殊ケースにおいて特に明らかとなる。しかしながら、これは、特殊なケースである。一般に、参加者の数は、受信側での話し手の数に一致しない。しかしながら、現在あるスピーカセットアップを使用して、各参加者と関連する信号をレンダリングすることは可能である。その結果、所望の位置からオリジナルに出現することが可能である。すなわち、個々の参加者は、彼または彼女の異なる声によってだけでなく、話している参加者に関連する音源の位置によっても認識される。
【００１０】
現状の技術が、効率的にマルチチャンネルまたは音声オブジェクトを符号化する方式に関する概念を実行する一方、現在周知の全ての技術は、入力音声ストリーム（入力音声信号）の全ての表現である出力ストリーム（出力信号）を導き出すために、これらの伝送音声ストリームの２以上を効率的に合成するという可能性が欠けている。
【００１１】
例えば、２ヶ所以上の場所を有するテレビ会議シナリオを考え、各場所が１人以上の話し手を有している場合に、問題が発生する。そのとき、中間段階として、残りのテレビ会議の場所の情報しか有していないそれぞれのテレビ会議の場所のために、個々のソースの音声入力信号を受信して、音声出力信号を生成することを必要とする。すなわち、中間段階が、２以上の音声入力信号の合成から導き出され、かつ、２以上の入力信号の個々の音声チャンネルまたは音声オブジェクトの再生を許す出力信号を生成しなければならない。
【００１２】
同様のシナリオは、シネマムービー製作における２人の音響技師が、両者の信号によって生成するリスニング印象について調べるために、それらの空間音声信号を合成したい場合に発生する。そのとき、合成リスニング印象について調べるために、２つの符号化されたマルチチャンネル信号を直接合成することが望ましい。すなわち、合成信号は、２人の音響技師の音声オブジェクト（ソース）の全てが似ていることを必要とする。
【００１３】
しかしながら、従来技術によれば、このような合成は、音声信号（ストリーム）の復号化によってのみ可能である。その後、復号化された音声信号は、従来のマルチチャンネルエンコーダ（符号器）によって再び符号化され、全てのオリジナルの音声チャンネルまたは音声オブジェクトが適切に表現されている合成信号が生成される。
【００１４】
これは、高い計算の複雑性という不利な点を有し、その結果、特にリアルタイムのシナリオにおいて、多くのエネルギーを浪費し、この概念を適用することが何度か実行不可能である場合さえある。さらにまた、連続した音声復号化および再符号化による合成は、テレビ会議／遠隔通信のような特定の応用に対して容認できない２つの処理ステップのために、相当な遅延を引き起こす。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「知覚的なパラメータ付けを使用する空間音声の効率的な表現（Ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｕｓｉｎｇ  ｐｅｒｃｅｐｔｕａｌ  ｐａｒａｍｅｔｒｉｚａｔｉｏｎ）」、ＩＥＥＥ  ＷＡＳＰＡＡ、モホンク、ニューヨーク州、２００１年１０月
【非特許文献２】Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｃｕｅｓ  ｆｏｒ  ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰ、オーランド、フロリダ州、２００２年５月
【非特許文献３】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「バイノーラルキュー符号化：空間音声の新規で効率的な表現（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ：ａ  ｎｏｖｅｌ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ）」、ＩＣＡＳＳＰ、オーランド、フロリダ州、２００２年５月
【非特許文献４】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「柔軟性のあるレンダリングを有する音声圧縮に適用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ｗｉｔｈ  ｆｌｅｘｉｂｌｅ  ｒｅｎｄｅｒｉｎｇ）」、第１０３回ＡＥＳコンベンション、ロサンゼルス、２００２年１０月、見本刷り、ｐ５６８６
【非特許文献５】Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「バイノーラルキュー符号化−パートＩＩ：方式および応用（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−ＰａｒｔＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ）、ＩＥＥＥ  Ｔｒａｎｓ．スピーチおよび音声処理（Ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．）、２００３年１１月、第１１巻、第６号
【非特許文献６】Ｊ．Ｂｒｅｅｂａａｒｔ，Ｓ．ｖａｎ  ｄｅ  Ｐａｒ，Ａ．Ｋｏｈｌｒａｕｓｃｈ  ａｎｄ  Ｅ．Ｓｃｈｕｉｊｅｒｓ、「低いビットレートでの高品質のパラメトリックの空間音声符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ａｔ  Ｌｏｗ  Ｂｉｔｒａｔｅｓ）」、第１１６回ＡＥＳコンベンション、ベルリン、２００４年５月、見本刷り、ｐ６０７２
【非特許文献７】Ｅ．Ｓｃｈｕｉｊｅｒｓ，Ｊ．Ｂｒｅｅｂａａｒｔ，Ｈ．Ｐｕｒｎｈａｇｅｎ  ａｎｄ  Ｊ．Ｅｎｇｄｅｇａｒｄ、「低い複雑さパラメトリックステレオ符号化（Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）」、第１１６回ＡＥＳコンベンション、ベルリン、２００４年５月、見本刷り、ｐ６０７３
【非特許文献８】Ｃ．Ｆａｌｌｅｒ、「音源のパラメトリックジョイント符号化（Ｐａｒａｍｅｔｒｉｃ  Ｊｏｉｎｔ  Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ）」、第１２０回ＡＥＳコンベンション、パリ、２００６年５月、コンベンションペーパー、ｐ６７５２
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、複数のパラメータ的に符号化された音声信号を効率的に合成するための概念を提供することである。
【課題を解決するための手段】
【００１７】
本発明の第１の態様によれば、この目的は、音声出力信号を生成するための音声信号発生器によって達成され、その音声信号発生器は、２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルを含み、および参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連するオリジナルパラメータを含む第１音声信号、ならびに、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルを含む第２音声信号を受信する音声信号受信器と、第１ダウンミックスチャンネルおよび第２ダウンミックスチャンネルを合成することによって合成されたダウンミックスチャンネルを導き出すチャンネル合成器と、共通参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータおよび共通参照チャンネルに関する第１オリジナルチャンネルの他の１つの特性または少なくとも１つの第２オリジナルチャンネルの特性を記載している第２合成パラメータを導き出すパラメータ計算機と、合成ダウンミックスチャンネル、第１合成パラメータおよび第２合成パラメータを含む音声出力信号を出力する出力インターフェースと、を含む。
【００１８】
本発明の第２の態様によれば、この目的は、音声出力信号を生成する方法によって達成され、その方法は、２つ以上の第１オリジナルチャンネルの情報を有する第１オリジナルダウンミックスチャンネルと、参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連するオリジナルパラメータとを含む第１音声信号を受信すると共に、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルを含む第２音声信号を受信するステップと、第１ダウンミックスチャンネルおよび第２ダウンミックスチャンネルを合成することによって合成されたダウンミックスチャンネルを導き出すステップと、共通参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータと、共通参照チャンネルに関する第１オリジナルチャンネルの他の１つまたは少なくとも１つの第２オリジナルチャンネルの特性を記載している第２合成パラメータと、を導き出すステップと、合成ダウンミックスチャンネルならびに第１合成パラメータおよび第２合成パラメータを含む音声出力信号を出力するステップと、を含む。
【００１９】
本発明の第３の態様によれば、この目的は、３つ以上の音声チャンネルの表現によって達成され、その表現は、少なくとも２つの第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルと、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルとの合成である合成ダウンミックスチャンネルと、参照チャンネルに関する少なくとも２つの第１オリジナルチャンネルの１つの特性を記載している第１パラメータおよび参照チャンネルに関する第１オリジナルチャンネルの他のチャンネルの特性または少なくとも１つの第２オリジナルチャンネルの特性を記載している第２パラメータと、を含む。
【００２０】
本発明の第４の態様によれば、この目的は、音声出力信号を生成するための方法を実装しているコンピュータプログラムによって達成され、その方法は、２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルと、参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連するオリジナルパラメータと、を含む第１音声信号と、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルを含む第２音声信号と、を受信するステップと、第１ダウンミックスチャンネルおよび第２ダウンミックスチャンネルを合成することによって合成されたダウンミックスチャンネルを導き出すステップと、共通参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータと、共通参照チャンネルに関する第１オリジナルチャンネルの他の１つまたは少なくとも１つの第２オリジナルチャンネルの特性を記載している第２合成パラメータと、を導き出すステップと、合成ダウンミックスチャンネルならびに第１合成パラメータおよび第２合成パラメータを含む音声出力信号を出力するステップと、を含む。
【００２１】
本発明の第５の態様によれば、この目的は、音声出力信号を生成するための音声信号発生器を有する会議システムにより達成され、その会議システムは、２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックス信号と、参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連するオリジナルパラメータと、を含む第１音声信号と、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルを含む第２音声信号と、を受信する音声信号受信器と、第１ダウンミックスチャンネルおよび第２ダウンミックスチャンネルを合成することによって合成されたダウンミックスチャンネルを導き出すチャンネル合成器と、共通参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータと、共通参照チャンネルに関する第１オリジナルチャンネルの他の１つまたは少なくとも１つの第２オリジナルチャンネルの特性を記載している第２合成パラメータと、を導き出すパラメータ計算機と、合成ダウンミックスチャンネル、第１合成パラメータおよび第２合成パラメータを含む音声出力信号を出力する出力インターフェースと、を含む。
【００２２】
本発明は、複数のパラメータ的に符号化された音声信号を、音声信号発生器または音声信号合成器を使用して効率的に合成することができるという発見に基づく。そして、それは、すなわち、音声出力信号の生成の前に、個々の音声入力信号を再構成化または復号化することなく、パラメータ領域の範囲内で直接的に音声入力信号のダウンミックスチャンネルおよび関連するパラメータを合成することによって音声出力信号を生成する。さらに具体的には、これは、例えば、総和または同様の一次結合の形成によって、個別の入力チャンネルの関連するダウンミックスチャンネルの直接のミキシングによって達成される。ダウンミックスチャンネルの合成が、総和のような計算機的に安価な算術演算によって簡単に達成することは、本発明の主な特徴である。
【００２３】
同じことは、ダウンミックスチャンネルに関連しているパラメータの合成に当てはまる。一般に、少なくとも、関連するパラメータのサブセットが、入力音声信号の合成の間に修正されなければならないので、パラメータを修正するために実行される計算がシンプルで、そのため、かなりの計算の能力を必要としないことが最も重要である。また、例えばメモリを含んでいるフィルタバンクまたは他の動作を使用することによって、更なる遅延を招くことがないことも重要である。
【発明の効果】
【００２４】
本発明の１つの実施形態によれば、音声出力信号を生成するための音声信号発生器は、第１および第２音声信号を合成するために実装され、両者はパラメータ的に符号化される。音声出力信号を生成するために、本発明の音声信号発生器は、入力音声信号のダウンミックスチャンネルを抽出し、２つのダウンミックスチャンネルの一次結合を形成することによって合成ダウンミックスチャンネルを生成する。すなわち、個々のチャンネルは、付加的に重み付けされる。
【００２５】
本発明の好ましい実施形態において、適用された重み付けは、例えば、計算の基礎として、第１音声信号および第２音声信号によって表現されるチャンネルの数を用いて、極めてシンプルな演算処理によって導き出される。
【００２６】
別の好ましい実施形態において、重み付けの計算は、入力信号の各々のオリジナル音声信号が、全体の信号エネルギーに対して同じ量で寄与するという仮定の下に実行される。すなわち、適用される重み付けは、入力信号のチャンネル数とチャンネルの全体の数とのシンプルな比である。
【００２７】
本発明のさらなる好ましい実施形態において、個々のダウンミックスチャンネルの重み付けは、ダウンミックスチャンネル内に含まれるエネルギーに基づいて計算され、生成された出力音声信号に含まれる合成ダウンミックスチャンネルのより確実な再生を許す。
【００２８】
本発明のさらなる実施形態において、２つの音声信号のうちの１つに関連するパラメータのみが修正されるという点で、計算量はさらに減少する。すなわち、他の音声信号のパラメータは、不変で送信される。したがって、いかなる計算も生じなくて、それゆえ、本発明の音声信号発生器における負荷は最小化される。
【００２９】
以下の段落において、本発明の概念は、ジョイントソース符号化（ＪＳＣ）を使用する符号化方式のために主に詳述される。その意味で、本発明は、パラメータ領域内におけるＪＳＣダウンミックス信号とオブジェクト情報をミキシングすることによって、複数のモノラルまたはＪＳＣ対応送信器を遠隔ステーションに接続するために、この技術を拡張できる。上記の考えが示すように、本発明の概念は、ＪＳＣ符号化の使用に決して制限されることなく、ＢＣＣ符号化や、ＭＰＥＧ空間音声符号化（ＭＰＥＧサラウンド）等のような他のマルチチャンネル符号化方式にも実装することができる。
【００３０】
本発明の概念が、ＪＳＣ符号化を使用することによって詳述される。本発明の概念を現在のマルチチャンネル音声符号化方式に適用したとき、ＪＳＣ符号化が、本発明の概念の柔軟性および従来技術を超える達成可能な強化をより明らかに指し示すために、以下の段落内で簡潔に概説される。
【図面の簡単な説明】
【００３１】
【図１】図１は、ＪＳＣ符号化方式の実施例を示す。
【図２】図２は、ＪＳＣレンダラの実施例を示す。
【図３】図３は、２ヵ所でのテレビ会議シナリオを示す。
【図４】図４は、３ヵ所でのテレビ会議シナリオを示す。
【図５】図５は、本発明の音声信号発生器を使用したテレビ会議の実施例を示す。
【図６】図６は、本発明の音声信号発生器を使用したテレビ会議のさらなる実施例を示す。
【図６ｂ】図６ｂは、本発明の概念の下位互換性を示す。
【図７】図７は、本発明の音声信号発生器の実施例を示す。
【発明を実施するための形態】
【００３２】
ＪＳＣ符号化の説明を、図１および図２を参照して行う。以下の各図において、機能的に同一の構成要素には、同一の符号を付す。そして、同じ機能を有する個々の構成要素は、機能性を緩和したり規制したりしないで、かつ、本発明の範囲を制限しないで、本発明の一つの実施例との間で互換してもよい。
【００３３】
図１は、エンコーダ（符号器）２およびデコーダ（復号器）４を用いたジョイントソース符号化方式のブロック図を示す。
【００３４】
エンコーダ２は、別々の音声信号入力ｓi（ｎ）６ａ，６ｂ，６ｃを受信し、例えば波形の和によってダウンミックス信号ｓ（ｎ）８を生成する。
【００３５】
2009543142.tif 000003
【００３６】
個々の入力オブジェクト（入力チャンネル）６ａ，６ｂ，６ｃと知覚的に類似している推定値１４ａ，１４ｂ，１４ｃを再構成するために、各チャンネルに対して適切なパラメトリックサイド情報が抽出されなければならない。個々のチャンネルはダウンミックス信号８の生成のために合成され、チャンネル間の電力比は適切な量である。したがって、異なるオブジェクトまたはチャンネルに対するパラメータ的情報は、第１のオブジェクト（参照オブジェクト）に対するそれぞれのオブジェクトの電力比Δｐから構成される。
【００３７】
この情報は、人間の聴覚の臨界帯域の分解能に相当する不等間隔の周波数帯（サブバンド）の中の周波数領域において導き出される。これは、例えば、以下において更に詳細に記載されている概念である。
Ｊ．Ｂｌａｕｅｒｔ、「空間聴覚：人間の音声の局在性の審理（“Ｓｐａｔｉａｌ  Ｈｅａｒｉｎｇ”：Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ）」、マサチューセッツ州、ケンブリッジ、改訂版、エムアイティー・プレス（ＭＩＴ  Ｐｒｅｓｓ）、１９９７
【００３８】
すなわち、広帯域の入力音声チャンネルは、有限帯域幅のいくつかの周波数帯でフィルタされ、個々の周波数帯ごとに、以下の計算が実行される。すでに述べたように、第１オブジェクト（参照オブジェクトまたは参照チャンネル）の帯域電力は、参照値として作用する。
2009543142.tif 000004
【００３９】
更なる加工の導入（例えばゼロ除算による導入）を回避するために、これらの電力比（対数関数で表現されている）は、各サブバンドにおいて例えば２４ｄＢの最大値に更に制限できる。さらに、電力比は、付加的に伝送帯域幅を保存するために、発信する前に量子化される。
【００４０】
2009543142.tif 000005
【００４１】
この仮定および方程式に基づいて、本発明の概念を詳述する場合、更に以下に記載するように、第１オブジェクト（参照オブジェクトまたは参照チャンネル）のサブバンド電力が再構成される。
【００４２】
要約すると、ＪＳＣによる音声信号または音声ストリームは、ダウンミックスチャンネルと関連したパラメータを含む。関連したパラメータは、一つのオリジナル参照チャンネルに関連して、オリジナルチャンネルの電力比を記載している。このシナリオは容易に変更され、他のチャンネルが参照チャンネルに選択される点に留意すべきである。例えば、ダウンミックスチャンネル自体が、一つの付加パラメータの伝送を要求し、第１の旧参照チャンネルの電力をダウンミックスチャンネルの電力に関連付ける参照チャンネルでもよい。また、参照チャンネルは、最も多くの電力を有する一つのチャンネルが参照チャンネルに選択されるように、変動して選択されるものであってもよい。この場合、個々のチャンネルの電力が時間とともに変化するときは、参照チャンネルも、時間とともに変化する。また、全ての処理が周波数選択方式で典型的に実行されるという事実のため、参照チャンネルは異なる周波数帯と異なることができる。
【００４３】
図２は、図１の方式に基づいて、ＪＳＣ符号化の更に拡張された方式を示す。図１と比べて特筆すべき特徴は、符号化するための入力チャンネル６を受信し、かつ、入力チャンネル６の推定値１４を出力する記憶または伝送ボックス２０である。図２の方式は、推定値を受信するミキサー２２をさらに含むように増設されている。つまり、合成されたオブジェクト１４は、直接的に単一の音声信号として出力されるのではなく、ミキサーモジュールにおいてＮ個の出力チャンネルに与えられる。このようなミキサーは異なる方法で実装される。例えば、入力として追加のミキシングパラメータ２４を受信し、合成されたオブジェクト１４のミキシングが導かれる。例えば、各々の出力チャンネル２６が会議の１人の参加者に属する、１つのテレビ会議シナリオを考えることができる。従って、受信端末の参加者は、彼らの音声を個々の位置に割り当てることによって、実質的に他の参加者と切り離すという可能性を有する。このように、音声だけが、テレビ会議の異なる参加者の間の区別をする基準として役立つだけではなく、参加者の声を聴衆が受信する方向として役立つことができる。さらにまた、聴衆は出力チャンネルを調整して、同じテレビ会議の場所から全ての参加者が同じ方向にグループ化され、より知覚的な経験さえ強化される。
【００４４】
2009543142.tif 000006
【００４５】
図３は、２つの場所の間で起こるマルチチャンネル音声符号化方式の応用を示す。ここで、第１の場所４０は、第２の場所４２と通信する。第１の場所は、Ａ音声オブジェクトであるＡ参加者を有し、第２の場所は、Ｂ参加者またはＢ音声オブジェクトを有する。２地点間テレビ会議のために、ＪＳＣ符号化の前記技術が、各場所での複数のオブジェクトの音声信号を、対応する遠隔局へ送信するために直接に適用される。すなわち、（Ａ−１）パラメータａiおよび関連するダウンミックスが、場所４２に伝送され、（Ｂ−１）パラメータｂ１が、関連するダウンミックスとともに場所４０に伝送される。
【００４６】
２つ以上の終端末を有するテレビ会議の場合、図４に示すように、状況は完全に異なる。
【００４７】
図４には、場所４０，４２とは別に、第３の場所４４を示す。そのようなシナリオは、関連する音声信号のために中央分配器が必要であり、それは一般に多地点制御ユニット（ＭＣＵ）と呼ばれる。各々の場所（サイト）４０，４２および４４は、ＭＣＵ４６に接続されている。各々のサイト４０，４２および４４のために、サイトからＭＣＵに向かう単一のアップストリームがある。各々のサイトは残りのサイトから信号を受信する必要があるので、各サイト４０，４２および４４のダウンストリームは、他のサイトの信号をミックスしたものである。それは、自身の信号を除外した信号であり、（Ｎ−１）信号とも呼ばれる。通常、セットアップの要求を満たし、かつ、伝送帯域幅を相当低く保つために、ＭＣＵから各々のサイトへのＮ−１のＪＳＣ符号化ストリームの送信は実現可能でない。これはもちろん、直接のオプションである。
【００４８】
個々のダウンストリームを導き出すための従来のアプローチの状況は、ＪＳＣデコーダを使用してＭＣＵ４６内において全て入ってくるストリーム（オブジェクト）を再合成することである。再合成された音声オブジェクトは、再グループ化され、再符号化される。その結果、所望の音声オブジェクトまたは音声チャンネルを含む音声ストリームとともに各サイトに提供される。このシンプルなシナリオにおいてさえ、これは、ＭＣＵ４６内において同時に実行しなければならない３つの復号化および３つの符号化の操作を意味する。重要な計算の要求にもかかわらず、音声加工が、このパラメータ的「タンデム符号化」（符号化／復号化の繰り返し）処理によって予期することができる。サイトの数が増えると、さらにストリ−ムの数が増加する。従って、要求される符号化または復号化の処理の数は、リアルタイムのシナリオにとって直接に実現可能なアプローチでない。
【００４９】
従って、本発明によれば、ダウンミックスおよびオブジェクトパラメータ領域の範囲内で、異なるパラメータ的に符号化されたストリーム（この特定の実施例におけるＪＳＣストリーム）を直接にミキシングするための方式は、ＭＣＵタイプのシナリオのために開発され、最小限の計算量と品質損失を有する所望の出力信号（出力音声ストリーム）を発生する。
【００５０】
以下の段落内で、パラメータ領域の中でマルチチャネルパラメータ的符号化された音声ストリームを直接にミキシングする本発明の概念は、ＪＳＣ符号化された音声ストリームのために詳述される。
【００５１】
本発明の概念は、１つの出力信号に、２つのオリジナルの音声信号（ストリーム）を合成することによって説明される。３つ以上のストリームを合成することは、２つのストリームを合成するケースから容易に導き出すことができる。以下の数学的考えは図５で例示し、サイトＡの３つの音声チャンネルがサイトＢの４つの音声チャンネルと合成しなければならないケースを示す。これは、もちろん、本発明の概念を視覚化するための例にすぎない。ＪＳＣ符号化を使用するとき、３人の会議参加者（スピーカ）５２ａ〜５２ｃを有するサイト５０（Ａ）は、信号ｓAxを生成して音声ストリームまたは音声信号５４を送信する。音声信号５４はダウンミックスチャンネルｓAおよびパラメータａ2，ａ3を有し、チャンネル５２ｂおよび５２ｃの電力をチャンネル５２ａの電力と関連付ける。同等に、サイト５６（Ｂ）は、ダウンミックスチャネルｓBおよび３つのパラメータｂ2，ｂ3，ｂ4を有する音声信号５８を送信する。これらは、４つのスピーカ６０ａ〜６０ｄのＪＳＣ符号化された表現である。ＭＣＵ４６は音声信号５４と５８を合成して、ダウンミックスチャネルｓYおよび６つのパラメータｙ2，．．．，ｙ7を有する出力信号６２を導き出す。
【００５２】
受信側において、受信器６４は出力信号６２を復号化して、サイト５０および５６の７つの音声オブジェクトまたは音声チャンネルの表現を導き出す。
【００５３】
一般に、目標は２つのＪＳＣストリーム５４と５８の単一の合成表現６２を形成することである。そして、各々が１つの共通ダウンミックス信号ｓYとオブジェクトを特徴づけている１セットのオブジェクトパラメータによって、多くのオブジェクトが表現される。理想的には、合成ＪＳＣ表現は、１ステップで単一のＪＳＣストリームに両方のＪＳＣストリームの基礎をなしているオリジナルのソース信号のフルセットを符号化することによって得られるものと同一である。
【００５４】
以下の方程式を単純に保つために、電力比として、方程式１からの相対電力比が対数関数的領域において利用できないと仮定する。特定のオブジェクトｉの各オブジェクトパラメータｒi（ｎ）は、以下の方程式３から導き出される。
2009543142.tif 000007
【００５５】
対数関数的領域での置き換えは、対数関数的電力スケールを使用した量子化を許すために、その後各パラメータに適用される。
【００５６】
以下の全ての信号はサブバンド表現に分解されると仮定し、各計算はサブバンドごとに適用される。
【００５７】
我々は、ダウンミックス信号ｓAとＵオブジェクトのためのパラメータ（相対的な電力比）ａ2，．．．，ａUとを有するストリームＡをもつ。ストリームＢはダウンミックス信号ｓBとＶオブジェクトのためのパラメータｂ2，．．．，ｂVとを含む。
【００５８】
合成ダウンミックス信号ｓYは、両方のダウンミックス信号ｓAとｓBの線形結合として形成される。異なるオブジェクトの寄与の正しいボリュームレベリングを確実にするために、ゲイン係数ｇAとｇBが適用される。
2009543142.tif 000008
【００５９】
仮に等価平均電力の一つの音源が合計されて、ダウンミックスパスのフルスケールに正規化されると、この種のスケーリングは意味がある。
【００６０】
あるいは、以下のゲイン係数のための電力保存アプローチを使用することができる。
2009543142.tif 000009
【００６１】
他の可能性は、両方のダウンミックス信号が同じ平均エネルギーを合成ダウンミックスに寄与するように、ゲイン係数を選択することである。すなわち、以下のゲイン係数が選択される。
2009543142.tif 000010
【００６２】
合成ストリームｓYのためのオブジェクトパラメータｙiは、すべてのＵ＋Ｖオブジェクトを表現する。
【００６３】
ダウンミックスチャンネルに関連したパラメータは相対電力比であるので、パラメータａ2，．．．，ａUは、そのままで（不変で）使われ、Ｂのオブジェクトのためのパラメータは、パラメータａ2，．．．，ａUに連結される。一旦、信号Ａの第１オブジェクトが参照オブジェクトまたは参照チャンネルに選ばれると、オリジナルパラメータｂiは参照チャンネルに関係するように変形されなければならない。１つのストリームのパラメータだけが再計算される点に注意する。さらに、ＭＣＵ４６の中での計算処理負荷が減少する点に注意する。
【００６４】
さらに、新しい参照チャンネルとして、オリジナル音声ストリームのうちの１つの参照チャンネルを使用することは、決して必要でない点に注意する。パラメータ領域の中で、パラメータ的符号化音声ストリームを合成する本発明の概念は、他の参照チャンネルによって非常によく行うこともでき、サイトＡまたはＢのオリジナルのチャンネルの数から選択される。更なる可能性は、新しい参照チャンネルとして合成ダウンミックスチャンネルを使用することである。
【００６５】
新しい参照チャンネル（合成参照チャンネル）としてサイトＡのオリジナルの参照チャンネルを使用するこのアプローチの後に、各信号ＡおよびＢの第１オブジェクト（チャンネル）のエネルギー（電力）が最初に算出されなければならない。なぜなら、これらは暗黙に利用できるに過ぎないからである。
【００６６】
ダウンミックス信号Ａのための電力保存は、統計的に独立ソースを仮定して、以下の式で与えられる。
2009543142.tif 000011
【００６７】
2009543142.tif 000012
【００６８】
これは、以下のｓA1の電力に至る。
2009543142.tif 000013
【００６９】
同様にしてダウンミックス信号ｓBに対して適用することによって、我々は以下の式でオブジェクトｓB1の電力を算出することができる。
2009543142.tif 000014
【００７０】
我々は、信号ｓYのすべてのオブジェクトに対して新規なパラメータセットを構築することができる。
2009543142.tif 000015
【００７１】
前記段落が示したように、本発明の概念は単純な算術演算だけを使用して、合成音声ストリームの生成を許す。それゆえ、計算機的に極めて効率的である。このように、複数のパラメータ的に符号化された音声ストリームの合成は、リアルタイムで実行される。
【００７２】
さらに本発明の概念の大きな柔軟性を強調するために、図６は、サイト５６の一つのスピーカが、サイト５０のスピーカの２つ以上のＪＳＣ符号化信号と創意的に合成することによって引き起こされる、モノラル信号７０の方法を示す。すなわち、本発明の概念の柔軟性のため、任意のテレビ会議システムのモノラル信号は、全てのオリジナルの音声チャンネル（オブジェクト）を表現しているＪＳＣ符号化音声信号を生成するために、パラメータ的に符号化されたマルチチャネル（マルチオブジェクト）ソースと創意的に合成できる。
【００７３】
また、従来のモノラル信号以外のＪＳＣオブジェクトを送信することができない遠隔局との互換性を拡張するために、この技術は、例えば旧式の会議デバイスからオブジェクトベースのストリームの中にモノラルオブジェクトを挿入するために適用できる。
【００７４】
ＪＳＣストリームＡ（ダウンミックスｓA，パラメータａ2，．．．，ａU）およびモノラルオブジェクトＣ（ダウンミックスｓC）を有する前記例は、ダウンミックス信号を有する下記合成信号Ｚに至る。
2009543142.tif 000016
【００７５】
２つのＪＳＣストリームを変換して／合併する前記実施例は、方程式１で与えられるオブジェクトの電力の表現に依存する。それにもかかわらず、同じ発明の方式は、この情報を表現する他の方式に適用できる。
【００７６】
図６ｂは、再び、１つのモノラル音源を組み込んでいる本発明の概念の大きな柔軟性を強調する。図６ｂは、図４のマルチチャンネルシナリオに基づいており、さらに、音源Ｃ（４４）に存在する従来技術のモノラル音声コーダがどれくらい容易に、本発明のＭＣＵ４６を使用してマルチチャンネル音声会議に融和することができるかについて示す。
【００７７】
前述のように、本発明の概念は、予め定められた一定の参照チャネルを有するＪＳＣ符号化に制限されない。従って、他の実施例において、電力比が参照チャンネル（それは時間と共に変化する）に関係して計算でき、参照チャンネルは、与えられた特定の時間間隔の中で最も多くのエネルギーを有する１つのチャンネルである。
【００７８】
一定の参照チャンネル（オブジェクト）の対応する帯域の電力に対して帯域的な信号電力値を正規化して、結果を方程式１によって概説される対数（ｄＢ）領域へ移行する代わりに、正規化は特定の周波数帯の全てのオブジェクトの最大電力と関連して実行できる。
2009543142.tif 000017
【００７９】
これらの正規化電力値（それは、線形表現で与えられる）は、特定の上限に付加的規制を必要としない。なぜなら、それらは０と１の間の値しかとらないからである。この効果は、もはや公知でない参照チャネルの１つの付加パラメータを送信しなければならない欠点を伴う。
【００８０】
このシナリオのためのミキシング処理は、以下の工程（再び、サブバンドごとに実施しなければならない工程）を含む。
【００８１】
我々は、ダウンミックス信号ｓAとＵオブジェクトのためのパラメータ（正規化電力値、方程式３、方程式１）ａ1，．．．，ａUとを有するストリームＡをもつ。
【００８２】
ストリームＢは、ダウンミックス信号ｓBとＶオブジェクトのためのパラメータｂ1，．．．，ｂVとを含む。
【００８３】
合成ダウンミックス信号は、すでに示されたオプションのうちの１つに従って形成できる。
2009543142.tif 000018
【００８４】
合成表現ｙiのための全ての正規化電力値は、信号Ｙの全てのオブジェクトの最も高い電力を有するオブジェクトに関連してセットされなければならない。Ｙのこの『最大のオブジェクト』に対して２つの候補がいる。Ａの最大のオブジェクトまたはＢの最大のオブジェクトのいずれかであり、両方とも『１』の正規化電力比を有することによって確認できる。
【００８５】
この決定は、両方の候補の絶対電力を比較することによってなされる。また、我々は、ダウンミックス信号（方程式２）の電力に対する関係を使用して、以下の式を得ることができる。
2009543142.tif 000019
【００８６】
我々は、ダウンミックスプロセスのゲイン係数で重み付けした最大オブジェクト電力を比較することができる。
2009543142.tif 000020
【００８７】
たとえオブジェクトの電力がより高くても、このオブジェクトは合成パラメータｙiの『最大オブジェクト』として役立つ。
【００８８】
例えば、ａ2を、信号ＡおよびＢの全体の最大電力オブジェクトａmaxであるとすれば、他の全てのパラメータは以下のように合成できる。
2009543142.tif 000021
【００８９】
この例によれば、Ａのオブジェクトのための全てのパラメータは不変のままである。なぜなら、信号Ａは全体の最大オブジェクトだからである。
【００９０】
また、この表現において、例えばＶ＝１を仮定することによって、モノラルオブジェクトの挿入ができる。
【００９１】
仮に、両方のストリームの全てのオリジナルオブジェクトが、始めに単一のＪＳＣストリームに符号化されると、達成されるべき結果に近づくように、伝送符号化プロセスが実行される。
【００９２】
図７は音声出力信号を生成するための本発明の音声信号発生器の一実施例を示し、それはＭＣＵ４６の中で使用され、本発明の概念を実装している。
【００９３】
音声信号発生器１００には、音声信号受信器１０２、チャンネル合成器１０４、パラメータ計算機１０６、出力インターフェース１０８を備えている。
【００９４】
音声信号受信器１０２は、２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネル１１０ａと、参照チャンネルに関してオリジナルの第１チャンネルのうちの１つの特性を解説しているオリジナルの第１チャンネルのうちの１つに関連するオリジナルのパラメータ１１０ｂと、を含む第１音声信号１１０を受信する。さらに、音声信号受信器１０２は、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネル１１２ａを含む第２音声信号１１２を受信する。
【００９５】
音声信号受信器は、第１ダウンミックスチャンネル１１０ａと第２ダウンミックスチャンネル１１２ａとを、チャンネル合成器１０４の入力に出力すると共に、第１ダウンミックスチャンネル１１０ａと第２ダウンミックスチャンネル１１２ａとオリジナルパラメータ１１０ｂとを、パラメータ計算機１０６に出力する。
【００９６】
チャンネル合成器１０４は、第１ダウンミックスチャンネル１１０ａと第２ダウンミックスチャンネル１１２ｂを合成することによって、すなわち、基本的オリジナル音声チャンネルを再構築しないで直接ダウンミックスチャンネルを合成することによって、合成ダウンミックスチャンネル１１４を導き出す。
【００９７】
パラメータ計算機１０６は、共通参照チャンネルに関して第１オリジナルチャンネルのうちの１つの特性を記載している第１合成パラメータ１１６ａを導き出すと共に、同じ共通参照チャンネルに関して、第１オリジナルチャンネルのうちの他の１つの特性、または、第２オリジナルチャンネルのうちの少なくとも１つの特性を記載している第２合成パラメータ１１６ｂを導き出す。第１および第２の合成パラメータは出力インターフェース１０８に入力され、それは更にチャンネル合成器１０４から合成ダウンミックスチャンネル１１４を受信する。最後に、出力インターフェースは、合成ダウンミックスチャンネル１１４と第１および第２合成パラメータ１１６ａおよび１１６ｂを含む出力信号１２０を出力する。
【００９８】
音声出力信号は、このように、入力音声信号の完全な再構築なしで、それ故、計算機的に高価な操作なしで導き出される。
【００９９】
前記段落内で、２つ以上の信号のミキシングの一般的概念が、それぞれＪＳＣパラメータ的アプローチに基づいて、示されている。特に、上記の方程式は、パラメータ的情報が相対電力比からなるケースに対して、この技術をどのように適用するかを示す。それにもかかわらず、この技術は、オブジェクトパラメータの特定の表現に制限されない。従って、個々の音声チャンネル（例えば相関）の振幅計測または他の特性を説明している指標を用いてもよい。１つの付加パラメータを送信するコストに対して、電力比が合成ダウンミックスチャンネルに関して計算される。一方、この代わりのシナリオにおいて、音声ストリームのミキシングによって減少した計算の複雑性から利益を得る。なぜなら、参照チャネル（それは「一般的な」ＪＳＣにおいて明示的に伝送されない）の電力の再構築は旧式だからである。
【０１００】
さらにまた、本発明はテレビ会議シナリオに限定されるものではなく、単一のストリームへパラメータ的オブジェクトを多重化することが要求される場合にも適用できる。これは、例えばＢＣＣ符号化方式、ＭＰＥＧ空間サラウンドその他のケースでもよい。
【０１０１】
本発明の概念は、単一のモノラル信号をオブジェクトベースシナリオに提供している旧式の遠隔局をスムーズに含むことを許す。異なるオブジェクトストリームの合成とは別に、本発明の概念は、表現しているパラメータ的データの異なる方法がどのように発生することができるかについて示し、その結果、それらが計算機的に効率的な合成プロセスを可能にすることに適している。このように、２つのストリームが単に単純な動作だけを実行することによって合成できるという方法でオブジェクト特性を表すことが、発明のパラメータ的ビットストリーム文法の有利な特性である。
【０１０２】
従って、以下の範疇どおりに従うことによって、本発明の概念も、マルチオリジナル音声チャンネル（音声オブジェクト）をパラメータ的に符号化するために、適当なビットストリームまたはビットストリームフォーマットを構築する方法を教示する。
【０１０３】
・合成ダウンミックス信号は、部分的なダウンミックス信号から簡単に形成される。
【０１０４】
・合成パラメータのサイド情報が、個々のパラメータのサイド情報と、ダウンミックス信号（例えばエネルギー）の特徴を計算するための簡単な情報と、を合成することから形成される。
【０１０５】
・決して、音声オブジェクトのための復号化／符号化ステップのような複合的操作は行われない。
【０１０６】
従って、オブジェクトを記載しているパラメータ的表現が選択されなければならない。その結果、２つ以上のオブジェクトストリームの組合せ（「加算」）が、パラメータのサイド情報の部分として利用できるビットストリーム分野だけを使用でき、ダウンミックス信号（例えばエネルギー、ピーク値）の測定基準を計算することが単純になる。
【０１０７】
この種の表現は、各オブジェクトのための正規化電力値（方程式４）を使用できる。これらは、対数関数的表現（ｄＢ）に変換され、所定数の量子化ステップまたはそれらの表現の量子化インデックスに量子化される。ビットストリーム文法は、例えばパラメータを単に連結、挿入、削除することによって、ストリームのオブジェクトパラメータの数を容易に増加させる（または減少させる）ことを許す。
【０１０８】
要約すると、本発明の概念は、パラメータ的に符号化された音声ストリームの最も柔軟で計算機的に効率的な合成を許す。高い計算効率のため、本発明の概念は、合成されるチャンネルの最大数に制限されない。原理的に、リアルタイムで合成できるチャンネルが、本発明の音声信号発生器に任意の数で提供される。また、本発明の概念を例示するために用いた正確なパラメータ的表現（ＪＳＣ）は、義務的でない。さらに、既に述べたことだが、周知のサラウンド方式のような他のパラメータ的符号化方式が、応用および本発明の概念の基礎でもよい。
【０１０９】
さらにまた、必要な計算が、ソフトウェアの中で必ずしも適用される必要があるというわけではない。例えばＤＳＰ、ＡＳＩＣおよび他の集積回路を使用しているハードウェア装置が、計算を実行するために用いられてもよい。それは本発明の概念の速度をさらに上げ、リアルタイムシナリオの中で本発明の概念の応用を許す。
【０１１０】
本発明の概念の柔軟性のため、本発明の音声ストリームは、異なるパラメータ的表現に基づいてもよい。送信されるパラメータは、例えば振幅計測、オリジナル音声チャンネル間の時間差、干渉性計測、その他でも可能である。
【０１１１】
このように、それぞれＪＳＣスタイルのパラメータ的アプローチに基づく２つ以上の信号を混合する一般的な概念が、示された。
【０１１２】
上記の方程式は、パラメータ的情報が相対電力比からなるケースに、この技術をどのような方法で適用するのかを示す。それにもかかわらず、この技術は、オブジェクトパラメータの特定の表現に制限されない。
【０１１３】
さらに、本発明は、テレビ会議シナリオに限られるものではなく、どのようなケースにも適用でき、単一のＪＳＣストリームにパラメータ的オブジェクトを多重送信する場合に有利である。
【０１１４】
さらに、この技術は、シナリオに基づいたオブジェクトに単一のモノラル信号を提供している旧式の遠隔局をスムーズに含むことを許す。
【０１１５】
異なるオブジェクトストリームを合成する実際のプロセスとは別に、本発明が、表現しているパラメータのデータの異なる方法がどのようにこの合成プロセスを可能にすることに適しているか、について示す。全てのパラメータ的表現が、オブジェクトの完全な復号化／再符号化なしでこの種の記載されている合成プロセスができるようにするというわけではないので、２つのストリームが単純な操作だけを実行することによって合成できる方法でオブジェクト特性を表すことは、パラメータ的ビットストリーム文法の有利な特性である。
【０１１６】
本発明の方法の特定の実装要求に応じて、本発明の方法は、ハードウェアまたはソフトウェアに実装できる。実装はデジタル記憶媒体、特にその上に格納される電子的に読み込み可能な制御信号を有するディスク、ＤＶＤまたはＣＤを使用して実行できる。そして、本発明の方法が実行されるように、それはプログラム可能なコンピュータシステムと協動する。通常、本発明は、機械で読み取ることができるキャリアに格納されるプログラムコードを有するコンピュータプログラム製品である。そして、コンピュータプログラム製品がコンピュータで動くときに、プログラムコードが本発明の方法を実行するために実施される。換言すれば、コンピュータプログラムがコンピュータで動くときに、本発明の方法は、本発明の方法のうちの少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１１７】
前述の内容が特にその特定の実施例に関して開示されると共に記載される一方、形態および詳細のさまざまな他の変化が、その趣旨および範囲から逸脱することなくなされることが、当業者には分かる。さまざまな変化が本願明細書において開示された上位概念から逸脱することなく、異なる実施例に適応され、以下の請求項によって理解されることが分かる。
【図１】
2009543142.tif 000026
【図２】
2009543142.tif 000027
【図３】
2009543142.tif 000028
【図４】
2009543142.tif 000029
【図５】
2009543142.tif 000030
【図６】
2009543142.tif 000031
【図６ｂ】
2009543142.tif 000032
【図７】
2009543142.tif 000033
【手続補正書】
【提出日】平成21年3月6日(2009.3.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「知覚的なパラメータ付けを使用する空間音声の効率的な表現（Ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｕｓｉｎｇ  ｐｅｒｃｅｐｔｕａｌ  ｐａｒａｍｅｔｒｉｚａｔｉｏｎ）」、ＩＥＥＥ  ＷＡＳＰＡＡ、モホンク、ニューヨーク州、２００１年１０月
Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏ  ｏｆ  ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｃｕｅｓ  ｆｏｒ  ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰ、オーランド、フロリダ州、２００２年５月
Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「バイノーラルキュー符号化：空間音声の新規で効率的な表現（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ：ａ  ｎｏｖｅｌ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ）」、ＩＣＡＳＳＰ、オーランド、フロリダ州、２００２年５月
Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「柔軟性のあるレンダリングを有する音声圧縮に適用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ｗｉｔｈ  ｆｌｅｘｉｂｌｅ  ｒｅｎｄｅｒｉｎｇ）」、第１０３回ＡＥＳコンベンション、ロサンゼルス、２００２年１０月、見本刷り、ｐ５６８６
Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「バイノーラルキュー符号化−パートＩＩ：方式および応用（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−ＰａｒｔＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ）、ＩＥＥＥ  Ｔｒａｎｓ．スピーチおよび音声処理（Ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．）、２００３年１１月、第１１巻、第６号
Ｊ．Ｈｅｒｒｅ，Ｃ．Ｆａｌｌｅｒ  ｅｔ  ａｌ．、「空間的キュー符号化：マルチチャンネル音声の次世代の効率的かつ互換性のある符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ：Ｎｅｘｔ−ｇｅｎｅｒａｔｉｏｎ  ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ）」、（米国）、音声エンジニアリング学会コンベンション学会誌、サンフランシスコ、カリフォルニア州、２００４年１０月２８日
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
前述の内容が特にその特定の実施例に関して開示されると共に記載される一方、形態および詳細のさまざまな他の変化が、その範囲から逸脱することなくなされることが、当業者には分かる。さまざまな変化が本願明細書において開示された上位概念から逸脱することなく、異なる実施例に適応され、以下の請求項によって理解されることが分かる。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声出力信号を生成するための音声信号発生器（１００）であって、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネル（１１０ａ）を含み、および参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している前記第１オリジナルチャンネルの１つに関連する少なくとも１つのオリジナルパラメータ（１１０ｂ）を含む第１音声信号（１１０）、ならびに、
少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネル（１１２ａ）を含む第２音声信号（１１２）を、
受信する音声信号受信器（１０２）と、
前記第１ダウンミックスチャンネル（１１０ａ）および前記第２ダウンミックスチャンネル（１１２ａ）を合成することによって合成されたダウンミックスチャンネル（１１４）を導き出すチャンネル合成器（１０４）と、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータ（１１６ａ）および前記共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つの特性または少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータ（１１６ｂ）を導き出すパラメータ計算機（１０６）と、
前記合成ダウンミックスチャンネル（１１４）、前記第１合成パラメータ（１１６ａ）および前記第２合成パラメータ（１１６ｂ）を含む前記音声出力信号（１２０）を出力する出力インターフェースと、
を含む、音声信号発生器（１００）。
【請求項２】
前記チャンネル合成器（１０４）は、前記第１ダウンミックスチャンネル（１１０ａ）および前記第２ダウンミックスチャンネル（１１０ｂ）の一次結合を使用した前記合成ダウンミックスチャンネル（１１４）を導き出すために作動する、請求項１に記載の音声信号発生器（１００）。
【請求項３】
前記チャンネル合成器（１０４）は、前記第１ダウンミックスチャンネル（１１０ａ）のエネルギーＥ（ＳA2（ｎ））および前記第２ダウンミックスチャンネル（１１２ａ）のエネルギーＥ（ＳB2（ｎ））に依存する係数を有する一次結合を使用するために作動する、請求項２に記載の音声信号発生器（１００）。
【請求項４】
前記チャンネル合成器（１０４）は、以下の方程式を使用して導き出された前記第１ダウンミックスチャンネルのための係数ｇAおよび前記第２ダウンミックスチャンネルのための係数ｇBを有する一次結合を使用するために作動する、請求項３に記載の音声信号発生器（１００）。
2009543142.tif 000034
【請求項５】
前記チャンネル合成器（１０４）は、前記第１オリジナルチャンネルの数Ｕおよび前記第２オリジナルチャンネルの数Ｖに依存する係数を有する一次結合を使用するために作動する、請求項２に記載の音声信号発生器（１００）。
【請求項６】
前記チャンネル合成器（１０４）は、以下の方程式の１つにより導き出された前記第１ダウンミックスチャンネル（１１０ａ）の係数ｇAおよび前記第２ダウンミックスチャンネル（１１２ａ）の係数ｇBを有する一次結合を使用するために作動する、請求項５に記載の音声信号発生器（１００）。
2009543142.tif 000035
【請求項７】
前記パラメータ計算機（１０６）は、共通参照チャンネルとして、前記第１オリジナルチャンネルまたは前記少なくとも１つの第２オリジナルチャンネルの所定のチャンネルを使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項８】
前記パラメータ計算機（１０６）は、前記共通参照チャンネルとして前記第１音声信号（１１０）の前記参照チャンネルを使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項９】
前記パラメータ計算機（１０６）は、前記共通参照チャンネルとして前記合成ダウンミックスチャンネル（１１４）を使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項１０】
前記パラメータ計算機（１０６）は、最も高いエネルギーを有する前記共通参照チャンネルとして前記オリジナルチャンネルを使用するために作動する、請求項１ないし請求項６のいずれかに記載の音声信号発生器（１００）。
【請求項１１】
前記パラメータ計算機（１０６）は、前記第１ダウンミックスチャンネル（１１０ａ）のエネルギーＥ｛ＳA2｝および前記参照チャンネル以外の関連するパラメータａi｛ｉ＝１，．．．，ｎ｝を導き出し、以下の方程式によって前記参照チャンネルのエネルギーＥ｛ＳAref｝を算出するために作動する、請求項１ないし請求項１０のいずれかに記載の音声信号発生器（１００）。
2009543142.tif 000036
【請求項１２】
前記パラメータ計算機（１０６）は、前記共通参照チャンネルとして前記参照チャンネルを使用し、かつ、第１合成パラメータｙuとして前記オリジナルパラメータａ2を使用して、前記参照チャンネルに関連して前記少なくとも１つの第２オリジナルチャンネルの前記第２合成パラメータｙu+1を導き出すために作動する、請求項１ないし請求項１１のいずれかに記載の音声信号発生器（１００）。
【請求項１３】
前記パラメータ計算機（１０６）は、前記第１ダウンミックスチャンネル（１１０ａ）の前記エネルギーＥ｛ＳA2（ｎ）｝と、前記第２ダウンミックスチャンネル（１１２ａ）の前記エネルギーＥ｛ＳB2（ｎ）｝と、を導き出すために作動する、請求項１ないし請求項１２のいずれかに記載の音声信号発生器（１００）。
【請求項１４】
前記パラメータ計算機（１０６）は、前記第１ダウンミックスチャンネル（１１０ａ）に関連する係数ｇAと、前記第２ダウンミックスチャンネル（１１２ａ）に関連する係数ｇBと、をさらに使用して作動し、前記係数は、前記チャンネル合成器（１０４）によって使用される前記第１および前記第２ダウンミックチャンネルの前記一次結合のために使用される、請求項１３に記載の音声信号発生器（１００）。
【請求項１５】
2009543142.tif 000037
【請求項１６】
前記パラメータ計算機（１０６）は、個別の周波数間隔に関連する前記第１および前記第２ダウンミックスチャンネルの周波数部分を処理し、合成パラメータを前記個別の周波数間隔毎に導き出されるように作動する、請求項１ないし請求項１５のいずれかに記載の音声信号発生器（１００）。
【請求項１７】
前記音声信号受信器は、所定のサンプル周波数でサンプルされたサンプリングパラメータによって表現されたダウンミックスチャンネル（１１０ａ，１１２ａ）を含む音声信号（１１０，１１２）を受信するために作動する、請求項１ないし請求項１６のいずれかに記載の音声信号発生器（１００）。
【請求項１８】
音声出力信号を生成するための方法であって、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネル（１１０ａ）と、参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連する少なくとも１つのオリジナルパラメータ（１１０ｂ）とを含む第１音声信号（１１０）を受信すると共に、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネル（１１２ａ）を含む第２音声信号（１１２）を受信するステップと、
前記第１ダウンミックスチャンネル（１１０）および前記第２ダウンミックスチャンネル（１１２）を合成することによって合成ダウンミックスチャンネル（１１４）を導き出すステップと、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータ（１１６ａと、共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つまたは少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータ（１１６ｂ）と、を導き出すステップと、
前記合成ダウンミックスチャンネル（１１４）ならびに前記第１合成パラメータ（１１６ａ）および前記第２合成パラメータ（１１６ｂ）を含む前記音声出力信号（１２０）を出力するステップと、
を含む、方法。
【請求項１９】
３つ以上の音声チャンネル（１２０）の表現であって、
少なくとも２つの第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルと、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルと合成である合成ダウンミックスチャンネル（１１４）と、
参照チャンネルに関する少なくとも２つの第１オリジナルチャンネルの１つの特性を記載している第１パラメータ（１１６ａ）および前記参照チャンネルに関する前記第１オリジナルチャンネルの他のチャンネルの特性または前記少なくとも１つの第２オリジナルチャンネルの特性を記載している第２パラメータ（１１６ｂ）と、
を含む、表現。
【請求項２０】
請求項１に関連する音声出力信号を生成するための音声信号発生器（１００）を有する会議システム。
【請求項２１】
コンピュータにおいて実行する場合に、音声出力信号を生成するための方法を実装するコンピュータプログラムであって、前記方法は、
２つ以上の第１オリジナルチャンネルの情報を有する第１ダウンミックスチャンネルと、参照チャンネルに関する第１オリジナルチャンネルの１つの特性を記載している第１オリジナルチャンネルの１つに関連する少なくとも１つのオリジナルパラメータと、を含む第１音声信号と、少なくとも１つの第２オリジナルチャンネルの情報を有する第２ダウンミックスチャンネルを含む第２音声信号と、を受信するステップと、
前記第１ダウンミックスチャンネルおよび前記第２ダウンミックスチャンネルを合成することによって合成ダウンミックスチャンネルを導き出すステップと、
共通参照チャンネルに関する前記第１オリジナルチャンネルの１つの特性を記載している第１合成パラメータと、共通参照チャンネルに関する前記第１オリジナルチャンネルの他の１つまたは少なくとも１つの前記第２オリジナルチャンネルの特性を記載している第２合成パラメータと、を導き出すステップと、
前記合成ダウンミックスチャンネルならびに前記第１および前記第２合成パラメータを含む前記音声出力信号を出力するステップと、
を含む、コンピュータプログラム。
【請求項２２】
参照チャンネルに関してマルチチャンネル信号のチャンネルの信号特性を記載しているパラメータを使用するパラメータ表現であって、前記参照チャンネルは前記マルチチャンネル信号の他のチャンネルまたは前記マルチチャンネル信号のダウンミックスであり、前記パラメータは、パラメータ値の範囲からの値を有し、
前記パラメータ表現は、代替参照チャンネルに関する前記信号特性を記載している代替パラメータが、前記ダウンミックス、前記パラメータおよび前記代替参照チャンネルの対応しているパラメータの情報のみを使用して導き出すことができ、前記代替パラメータが前記パラメータ値の範囲を有している、パラメータ表現。
【請求項２３】
前記信号特性は、エネルギーまたは振幅の大きさである、請求項２２に記載のパラメータ表現。
【請求項２４】
前記パラメータは、前記チャンネルの有限幅周波数のための前記信号特性を記載する、請求項２２または請求項２３に記載のパラメータ表現。
【国際調査報告】
2009543142.tif 000038
2009543142.tif 000039
2009543142.tif 000040