(57)【要約】  パラメトリック符号化されたオーディオ信号を生成するための方法であって、複数のオーディオチャンネルを含むマルチチャンネルオーディオ信号を入力することと、前記複数のオーディオチャンネルの結合信号を少なくとも１つを生成することと、バイノーラルオーディオ信号の合成における音源位置を制御するためのチャンネル構成情報を含む、１つ以上の対応するサイド情報の組を生成することとを含む。【選択図】図３
2009522610.tif 000002
【特許請求の範囲】
【請求項１】
パラメトリック符号化されたオーディオ信号を生成するための方法であって、
複数のオーディオチャンネルを含むマルチチャンネルオーディオ信号を入力することと、
前記複数のオーディオチャンネルの結合信号を少なくとも１つを生成することと、
バイノーラルオーディオ信号の合成における音源位置を制御するためのチャンネル構成情報を含む、１つ以上の対応するサイド情報の組を生成することと、
を含む、方法。
【請求項２】
前記音源位置はバイノーラルオーディオ信号シーケンスを通じて静的であり、前記方法は、
前記バイノーラルオーディオ信号シーケンスに対応する、前記１つ以上の対応するサイド情報の組に、前記チャンネル構成情報を情報フィールドとして含めることを含む、請求項１に記載の方法。
【請求項３】
前記音源位置は可変であり、前記方法は、前記１つ以上の対応するサイド情報の組に、前記チャンネル構成情報を、前記音源位置の変化を反映した複数の情報フィールドとして含めることを含む、請求項位置に記載の方法。
【請求項４】
前記サイド情報の組は、オリジナルのマルチチャンネル音響イメージにおけるスピーカの数およびリスニング位置に対する位置と、使用されるフレーム長とをさらに含む、請求項１から３のいずれかに記載の方法。
【請求項５】
前記サイド情報の組は、チャンネル間時間差(Inter-channel Time Difference; ICTD)、チャンネル間レベル差(Inter-channel Level Difference; ICLD)、およびチャンネル間コヒーレンス(Inter-channel Coherence; ICC)などの、バイノーラルキュー符号化(Binaural Cue Coding; BCC)スキームにおいて使用されるチャンネル間キューをさらに含む、
請求項１から４のいずれかに記載の方法。
【請求項６】
前記サイド情報の組はさらに、オリジナルの音響イメージを表現する前記マルチチャンネルオーディオのチャンネル信号のための推定利得の組を含む、請求項１から５のいずれかに記載の方法。
【請求項７】
オリジナルのマルチチャンネルオーディオにおける前記推定利得の組を、時間および周波数の関数として決定することと、
各利得値の二乗の和が１に等しくなるように、スピーカチャンネル毎の前記利得を調整することと、
をさらに含む、請求項６に記載の方法。
【請求項８】
パラメトリック符号化されたオーディオ信号を生成するためのパラメトリックオーディオ符号化器であって、
複数のオーディオチャンネルを含むマルチチャンネルオーディオ信号を入力する手段と、
前記複数のオーディオチャンネルの結合信号を少なくとも１つを生成する手段と、
バイノーラルオーディオ信号の合成における音源位置を制御するためのチャンネル構成情報を含む、１つ以上の対応するサイド情報の組を生成する手段と、
を備える、符号化器。
【請求項９】
前記音源位置はバイノーラルオーディオ信号シーケンスを通じて静的である場合、  前記バイノーラルオーディオ信号シーケンスに対応する、前記１つ以上の対応するサイド情報の組に、前記チャンネル構成情報を情報フィールドとして含める手段をさらに備える、請求項８に記載の符号化器。
【請求項１０】
前記音源位置は可変である場合、前記１つ以上の対応するサイド情報の組に、前記チャンネル構成情報を、前記音源位置の変化を反映した複数の情報フィールドとして含める手段をさらに備える、請求項８又は９に記載の符号化器。
【請求項１１】
前記サイド情報の組は、さらに、チャンネル間時間差（Inter-channel Time Difference; ICTD）、チャンネル間レベル差（Inter-channel Level Difference; ICLD）、チャンネル間コヒーレンス（Inter-channel Coherence; ICC）などの、バイノーラルキュー符号化（Binaural Cue Coding; BCC）スキームで使用されるチャンネル間キューを含む、請求項８から１０のいずれかに記載の方法。
【請求項１２】
前記サイド情報の組はさらに、オリジナルの音響イメージを表現する前記マルチチャンネルオーディオのチャンネル信号のための推定利得の組を含む、請求項８から１１のいずれかに記載の符号化器。
【請求項１３】
コンピュータ可読媒体に保存され、かつデータ処理装置において実行可能であるコンピュータプログラムであって、パラメトリック符号化されたオーディオ信号を生成するために、
複数のオーディオチャンネルを含むマルチチャンネルオーディオ信号を入力するコンピュータプログラムコード部分と、
前記複数のオーディオチャンネルの結合信号を少なくとも１つを生成するコンピュータプログラムコード部分と、
バイノーラルオーディオ信号の合成における音源位置を制御するためのチャンネル構成情報を含む、１つ以上の対応するサイド情報の組を生成するコンピュータプログラムコード部分と、
を備える、コンピュータプログラム。
【請求項１４】
バイノーラルオーディオ信号を合成するための方法であって、
複数のオーディオチャンネルの結合信号を少なくとも１つと、マルチチャンネル音響イメージを表現すると共にチャンネル構成情報を含む対応するサイド情報の組を１つ以上含む、パラメトリック符号化されたオーディオ信号を入力することと、
前記対応するサイド情報の組に従って前記少なくとも１つの結合信号を処理することと、
前記少なくとも１つの処理された信号からバイノーラルオーディオ信号を合成することと、
を含み、前記チャンネル構成情報は、バイノーラルオーディオ信号の合成における音源位置を制御するために用いられる、
方法。
【請求項１５】
前記サイド情報の組は、チャンネル間時間差(Inter-channel Time Difference; ICTD)、チャンネル間レベル差(Inter-channel Level Difference; ICLD)、およびチャンネル間コヒーレンス(Inter-channel Coherence; ICC)などの、バイノーラルキュー符号化(Binaural Cue Coding; BCC)スキームにおいて使用されるチャンネル間キューを含む、請求項１４に記載の方法。
【請求項１６】
前記少なくとも１つの結合信号を処理することは、さらに、
前記１つ以上の対応するサイド情報の組によって制御される、バイノーラルキュー符号化（Binaural Cue Coding; BCC）合成によって、前記少なくとも１つの結合信号から複数のオーディオチャンネルのオリジナルのオーディオ信号を合成することと、
合成された複数のオーディオ信号をバイノーラルダウンミックス処理に適用することと、
を含む、請求項１５に記載の方法。
【請求項１７】
前記サイド情報の組は、オリジナルの音響イメージを表現するマルチチャンネルオーディオのチャンネル信号のための推定利得の組を含む、
請求項１４に記載の方法。
【請求項１８】
前記少なくとも１つの結合信号を処理することは、さらに、
バイノーラルオーディオ信号を合成するために、前記対応するサイド情報の組によって決定される割合で、頭部伝達関数フィルタの既定の組を前記少なくとも１つの結合信号に適用することを含む、請求項１７に記載の方法。
【請求項１９】
前記頭部伝達関数フィルタの既定の組から、前記チャンネル構成情報に従って、頭部伝達関数フィルタの左右の組を適用することをさらに含む、請求項１８に記載の方法。
【請求項２０】
複数のオーディオチャンネルの結合信号を少なくとも１つと、マルチチャンネル音響イメージを表現する対応すると共にチャンネル構成情報を含むサイド情報の組を１つ以上含み、前記１つの結合情報を前記対応するサイド情報の組に従って処理する、パラメトリック符号化されたオーディオ信号を処理するためのパラメトリック符号化プロセッサと、
前記チャンネル構成情報を、バイノーラルオーディオ信号の合成における音源位置を制御するために用いて、前記少なくとも１つの処理された信号からバイノーラルオーディオ信号を合成する合成器と、
を備える、パラメトリックオーディオ復号器。
【請求項２１】
前記サイド情報の組は、チャンネル間時間差(Inter-channel Time Difference; ICTD)、チャンネル間レベル差(Inter-channel Level Difference; ICLD)、およびチャンネル間コヒーレンス(Inter-channel Coherence; ICC)などの、バイノーラルキュー符号化(Binaural Cue Coding; BCC)スキームにおいて使用されるチャンネル間キューを含む、請求項２０に記載の復号器。
【請求項２２】
前記合成器は、前記１つ以上の対応するサイド情報の組によって制御される、バイノーラルキュー符号化（Binaural Cue Coding; BCC）合成処理によって、前記少なくとも１つの結合信号から複数のオーディオチャンネルのオリジナルのオーディオ信号を合成するように構成され、
前記復号器が、合成された複数のオーディオ信号をバイノーラルダウンミックス処理に適用するように構成される、
請求項２１に記載の復号器。
【請求項２３】
前記サイド情報の組は、オリジナルの音響イメージを表現するマルチチャンネルオーディオのチャンネル信号のための推定利得の組を含む、請求項２０に記載の復号器。
【請求項２４】
前記合成器は、バイノーラルオーディオ信号を合成するために、前記対応するサイド情報の組によって決定される割合で、頭部伝達関数フィルタの既定の組を前記少なくとも１つの結合信号に適用するように構成される、請求項２３に記載の復号器。
【請求項２５】
前記合成器は、前記頭部伝達関数フィルタの既定の組から、前記チャンネル構成情報に従って、頭部伝達関数フィルタの左右の組を適用するように構成される、請求項２４に記載の復号器。
【請求項２６】
コンピュータ可読媒体に保存され、かつデータ処理装置において実行可能であるコンピュータプログラムであって、複数のオーディオチャンネルの結合信号を少なくとも１つと、マルチチャンネル音響イメージを表現する対応すると共にチャンネル構成情報を含むサイド情報の組を１つ以上含むパラメトリック符号化されたオーディオ信号を処理するために、
前記対応するサイド情報の組に従って前記少なくとも１つの結合信号の処理を制御するためのコンピュータプログラムコード部分と、
前記チャンネル構成情報を、バイノーラルオーディオ信号の合成における音源位置を制御するために用いて、前記少なくとも１つの処理された信号からバイノーラルオーディオ信号を合成するためのコンピュータプログラムコード部分と、
を備える、コンピュータプログラム。
【請求項２７】
バイノーラルオーディオ信号を合成する装置であって、
複数のオーディオチャンネルの結合信号を少なくとも１つと、マルチチャンネル音響イメージを表現する対応すると共にチャンネル構成情報を含むサイド情報の組を１つ以上含む、パラメトリック符号化されたオーディオ信号を入力する手段と、
前記対応するサイド情報の組に従って前記少なくとも１つの結合信号を処理する手段と、
前記チャンネル構成情報を、バイノーラルオーディオ信号の合成における音源位置を制御するために用いて、前記少なくとも１つの処理された信号からバイノーラルオーディオ信号を合成する手段と、
前記バイノーラルオーディオ信号をオーディオ再生手段に供給する手段と、
を備える、装置。
【請求項２８】
前記装置は、携帯端末、PDA装置、またはパーソナルコンピュータである、請求項２７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間オーディオ符号化（Spatial Audio Coding）に関し、より具体的には、バイノーラルオーディオ信号（Binaural Audio Signal）の復号の制御に関する。
【発明の背景】
【０００２】
空間オーディオ符号化において、異なるオーディオチャンネル上で再生されるべきオーディオ信号がそれぞれ異なることにより、２チャンネル／マルチチャンネルオーディオ信号を処理することによって、音源周辺の空間効果の印象がリスナーにもたらされる。空間効果は、マルチチャンネルまたはバイノーラル再生の適切なフォーマットに直接オーディオを録音することによって生成可能である。あるいは、空間効果は、いかなる２チャンネル／マルチチャンネルオーディオ信号においても人工的に生成可能であり、空間化（Spatialization）として知られている。
【０００３】
ヘッドフォンの再生に関し、リスナーの左耳および右耳用のバイノーラル信号を生成する頭部伝達関数（Head Related Transfer Function; HRTF）フィルタリングによって、人工的に空間化を行うことができることは一般的に知られている。音源信号は、その音源の方向に対応するHRTFから得られるフィルタでフィルタリングされる。HRTFは、自由音場における音源から人間の耳または人工の頭部まで測定される伝達関数であり、頭部と置換され、かつ頭部の中に配置されるマイクに対する伝達関数によって割られる。人工的室内効果（例えば、早期反射および／または後期残響）を空間化信号に加えることによって、音源の外在化（Externalization）および自然性（Naturalness）を改善できる。
【０００４】
多種多様なオーディオ聴音装置および相互作用装置が増加するにつれ、その互換性がより重要になってきた。空間オーディオフォーマットにおいては、アップミックス（upmix）およびダウンミックス（downmix）技術によって互換性を追求している。Dolby Digital(r)およびDolby Surround(r)などのステレオフォーマットにマルチチャンネルオーディオ信号を変換し、さらに、ステレオ信号をバイノーラル信号に変換するためのアルゴリズムが存在することは一般的に知られている。しかしながら、このような処理において、元のマルチチャンネルオーディオ信号の空間イメージは、完全には再生できない。ヘッドフォンリスニングのためのマルチチャンネルオーディオ信号を変換する改善方法として、HRTFフィルタリングを使用することによって元のスピーカを仮想スピーカに置換し、それら（例えば、Dolby Headphone(r)）を介してスピーカチャンネル信号を再生することが挙げられる。しかしながら、この処理は、バイノーラル信号生成に関し、常にマルチチャンネルミックスを最初に必要とするという不利点を有する。つまり、マルチチャンネル（例えば、5+1チャンネル）信号が、最初に復号および合成され、続いてバイノーラル信号を生成するためにHRTFが各信号に適用される。これは、圧縮されたマルチチャンネルフォーマットからバイノーラルフォーマットに直接復号することに比べ、計算的に重いアプローチになる。
【０００５】
バイノーラルキュー符号化（Binaural Cue Coding; BCC）は、高度なパラメトリック空間オーディオ符号化方法である。BCCは、単一の（またはいくつかの）ダウンミックスされたオーディオチャンネルと、オリジナルの信号からの周波数および時間の関数として推定された１組の知覚関連のチャンネル間差として、空間マルチチャンネル信号を表現する。この方法によって、任意のスピーカ配置が、同数または異なる数のスピーカを含むその他のいかなるスピーカ配置にも変換されるようにミックスされた空間オーディオ信号が可能になる。
【０００６】
従って、BCCは、マルチチャンネルスピーカシステムのために設計される。元のスピーカのレイアウトは、符号化器の出力の内容、すなわち、BCC処理されたモノラル信号およびそのサイド情報を定め、また、復号ユニットのレイアウトは、再構築のために当該情報がどのように変換されるのかを定める。空間ヘッドフォンにおける再生のために再構築される場合、元のスピーカのレイアウトは、生成されるバイノーラル信号の音源の位置を決定づける。したがって、空間バイノーラル信号が音源の位置を柔軟に変えることを可能とするにしても、従来の方法で符号化されたBCC信号から生成されたバイノーラル信号によるスピーカのレイアウトは、オリジナルのマルチチャンネル信号における音源の位置によって決まってしまう。これは、アプリケーションにおいて空間効果を強化することへの制限となっている。
【発明の摘要】
【０００７】
コンテンツの製作者が、復号器におけるバイノーラルダウンミックス処理を制御することのできる方法と、その方法を実行する技術装置が発明される。本発明の種々の側面は、符号化方法、符号化器、復号方法、復号器、装置、およびコンピュータプログラムを含み、これらは、独立請求項の記載によって特徴付けられる。本発明の種々の実施形態は、従属請求項において開示される。
【０００８】
第１の側面によると、本発明に従う方法は、パラメトリック符号化されたオーディオ信号を生成する次のような概念に基づく。この方法は、複数のオーディオチャンネルを含むマルチチャンネルオーディオ信号を入力することと、前記複数のオーディオチャンネルの結合信号を少なくとも１つを生成することと、バイノーラルオーディオ信号の合成における音源位置を制御するためのチャンネル構成情報を含む、１つ以上の対応するサイド情報の組を生成することと、を含む。
【０００９】
つまり大事なことは、復号に用いられるサイド情報に、チャンネル構成情報すなわち音源位置情報を含めることである。これは静的なものでも可変なものであってもよい。チャンネル構成情報は、コンテンツの製作者が、ヘッドフォンのリスナーが知覚しうる空間音響イメージの中の音源の位置の動きを制御することを可能にする。
【００１０】
実施形態によっては、前記音源位置はバイノーラルオーディオ信号シーケンスを通じて静的であり、前記方法は、前記バイノーラルオーディオ信号シーケンスに対応する、前記１つ以上の対応するサイド情報の組に、前記チャンネル構成情報を情報フィールドとして含めることを含む。
【００１１】
実施形態によっては、前記音源位置は可変であり、前記方法は、前記１つ以上の対応するサイド情報の組に、前記チャンネル構成情報を、前記音源位置の変化を反映した複数の情報フィールドとして含めることを含む。
【００１２】
実施形態によっては、前記サイド情報の組が、オリジナルのマルチチャンネル音響イメージにおけるスピーカの数およびリスニング位置に対する位置と、使用されるフレーム長とをさらに含む。
【００１３】
実施形態によっては、前記サイド情報の組が、チャンネル間時間差(Inter-channel Time Difference; ICTD)、チャンネル間レベル差(Inter-channel Level Difference; ICLD)、およびチャンネル間コヒーレンス(Inter-channel Coherence; ICC)などの、バイノーラルキュー符号化(Binaural Cue Coding; BCC)スキームにおいて使用されるチャンネル間キューをさらに含む。
【００１４】
実施形態によっては、前記サイド情報の組はさらに、オリジナルの音響イメージを表現する前記マルチチャンネルオーディオのチャンネル信号のための推定利得の組を含む。
【００１５】
第２の側面によれば、バイノーラルオーディオ信号を合成するための方法が提供される。この方法は、複数のオーディオチャンネルの結合信号を少なくとも１つと、マルチチャンネル音響イメージを表現すると共にチャンネル構成情報を含む対応するサイド情報の組を１つ以上含む、パラメトリック符号化されたオーディオ信号を入力することと、前記対応するサイド情報の組に従って前記少なくとも１つの結合信号を処理することと、前記少なくとも１つの処理された信号からバイノーラルオーディオ信号を合成することと、を含み、前記チャンネル構成情報は、バイノーラルオーディオ信号の合成における音源位置を制御するために用いられる。
【００１６】
実施形態によっては、前記サイド情報の組は、チャンネル間時間差(Inter-channel Time Difference; ICTD)、チャンネル間レベル差(Inter-channel Level Difference; ICLD)、およびチャンネル間コヒーレンス(Inter-channel Coherence; ICC)などの、バイノーラルキュー符号化(Binaural Cue Coding; BCC)スキームにおいて使用されるチャンネル間キューをさらに含む。
【００１７】
実施形態によっては、前記少なくとも１つの結合信号を処理することが、さらに、前記１つ以上の対応するサイド情報の組によって制御される、バイノーラルキュー符号化（Binaural Cue Coding; BCC）合成によって、前記少なくとも１つの結合信号から複数のオーディオチャンネルのオリジナルのオーディオ信号を合成することと、合成された複数のオーディオ信号をバイノーラルダウンミックス処理に適用することとを含む。
【００１８】
実施形態によっては、前記サイド情報の組が、オリジナルの音響イメージを表現するマルチチャンネルオーディオのチャンネル信号のための推定利得の組を含む。
【００１９】
実施形態によっては、前記少なくとも１つの結合信号を処理することが、さらに、バイノーラルオーディオ信号を合成するために、前記対応するサイド情報の組によって決定される割合で、頭部伝達関数フィルタの既定の組を前記少なくとも１つの結合信号に適用することを含む。
【００２０】
本発明に従う構成により有意な利点がもたらされる。主な利点は、コンテンツの製作者が、復号器におけるバイノーラルダウンミックス処理を制御することができること、すなわち、コンテンツの製作者が、バイノーラルコンテンツのためのダイナミックな音響イメージをデザインする上で、スピーカの位置が物理的に固定されたスピーカ表現のための音響イメージをデザインするよりも、より大きな柔軟性を有することである。例えば、音源すなわち仮想スピーカを、中央の軸から離していくなど移動させることにより、優れた空間効果を実現することができる。さらなる利点として、１つ又は複数の音源を再生中に移動させることができ、空間音響効果を実現することができる。
【００２１】
本発明のさらなる側面は、上記方法の発明ステップを実行するように構成された種々の装置を含む。
【実施形態の説明】
【００２２】
以下において、本発明の種々の実施形態について、添付の図面を参照してより詳細に説明する。
【００２３】
バイノーラルキュー符号化（Binaural Cue Coding; BCC）を、実施形態に従う符号化及び復号スキームを実行するための例示的な基盤として言及することによって、本発明を以下に説明する。しかしながら、本発明は、BCC型の空間オーディオ符号化方法だけに限定されず、１つ以上のオーディオチャンネルの組のオリジナルから結合された少なくとも１つのオーディオ信号と、適切な空間サイド情報とが用意される、いかなるオーディオ符号化スキームにおいても実行可能であることに留意されたい。
【００２４】
バイノーラルキュー符号化（Binaural Cue Coding; BCC）は、空間オーディオのパラメータ表現に関する一般概念であり、単一のオーディオチャンネルといくつかのサイド情報から任意の数のチャンネルを有するマルチチャンネル出力を提供するものである。図１は、本概念を示す。いくつかの入力オーディオチャンネル（M）は、ダウンミックス処理によって単一出力（S;「サム」）信号に結合される。並行して、マルチチャンネル音響イメージを表現する最重要なチャンネル間キューが、入力チャンネルから抽出され、BCCサイド情報（BCC side information）としてコンパクトに符号化される。次に、サム信号およびサイド情報は、例えばサム信号を符号化するための適切な低ビットレートオーディオ符号化スキームを使用して受信側に伝送される。受信側では、BCC復号器はユーザ入力としてスピーカの数（N）を知っている。最終的に、BCC復号器は、チャンネル間時間差（Inter-channel Time Difference; ICTD）、チャンネル間レベル差（Inter-channel Level Difference; ICLD）、およびチャンネル間コヒーレンス（Inter-channel Coherence; ICC）などの関連チャンネル間キューを有するチャンネル出力信号を再合成することによって、伝送されたサム信号および空間キュー情報から、スピーカのマルチチャンネル出力信号（N）を生成する。従って、BCCサイド情報、つまりチャンネル間キューは、特にスピーカ再生のためのマルチチャンネルオーディオ信号の復元の最適化を考慮して選択される。
【００２５】
２つのBCCスキームが存在する。１つは、受信側でレンダリングする目的で多数の異なる音源信号を伝送する、フレキシブルレンダリング（Flexible Rendering）に関するBCC（I型BCC）であり、もう１つは、ステレオまたはサラウンド信号の多数のオーディオチャンネルを伝送する、ナチュラルレンダリング（Natural Rendering）（II型BCC）に関するBCCである。フレキシブルレンダリングに関するBCCは、複数の異なる音源信号（例えば、スピーチ信号、別々に録音された楽器、マルチトラック録音）を入力として使用する。ナチュラルレンダリングに関するBCCは、「完全にミックスされた（final mix）」ステレオまたはマルチチャンネル信号（例えば、CDオーディオ、DVDサラウンド）を入力として使用する。これらの処理が、従来の符号化技術によって実行される場合、ビットレートは、オーディオチャンネルの数に比例して、または少なくともほぼ比例して増減する。例えば、5.1マルチチャンネルシステムの6つのオーディオチャンネルを伝送するには、１つのオーディオチャンネルの約6倍のビットレートが必要になる。しかしながら、BCCサイド情報は非常に低いビットレート（例えば、2kb/s）しか必要としないため、両BCCスキームのビットレートは、結果的に、１つのオーディオチャンネルの伝送に必要なビットレートよりも若干高くなるだけである。
【００２６】
図２は、BCC合成スキームの一般構造を示す。伝送されたモノラル信号（"Sum"）は、まず、時間領域において窓掛けが行なわれてフレームに分割され、次に、高速フーリエ変換（Fast Fourier Transform; FFT）処理およびフィルタバンク（filterbank; FB）によって、適切なサブ帯域の空間表現にマップされる。再生チャンネルの一般的場合において、ICLDおよびICTDは、対のチャンネル間、つまり、参照チャンネルに対する各チャンネルの各サブ帯域において考慮される。サブ帯域は、十分高い周波数分解能が達成されるように選択される。例えば、等価方形幅（Equivalent Rectangular Bandwidth; ERB）スケールの2倍に等しいサブ帯域幅が一般的に適切であると考えられる。生成される出力チャンネル毎に、個々の時間遅延ICTDおよびレベル差ICLDが、スペクトル係数に課され、その後、コヒーレンス合成処理により、合成されたオーディオチャンネル間のコヒーレンスおよび／または相関（ICC）に関する最重要側面を再導入する。最終的に、合成された全出力チャンネルは、IFFT処理（逆FFT）によって時間領域表現に再び変換され、マルチチャンネル出力をもたらす。BCCアプローチに関するさらに詳しい説明は、下記非特許文献1及び２を参照されたい。
【非特許文献１】F. Baumgarte and C. Faller: "Binaural Cue Coding - Part I: Psy-choacoustic Fundamentals and Design Principles"; IEEE Transactions on Speech and Audio Processing, Vol. 11, No. 6, November 2003
【非特許文献２】C. Faller and F. Baumgarte: "Binaural Cue Coding - Part II: Schemes and Applications", IEEE Transactions on Speech and Audio Processing, Vol. 11, No. 6, November 2003
【００２７】
BCCは、符号化方式の一例であり、本実施例に従う符号化及び復号のスキームを実装するプラットフォームとして適当なものである。これらの実施例の基礎となる基本的な原理が図３に描かれている。ある実施形態に従う符号化器は複数の入力オーディオチャンネル（M）を一つまたは複数の結合信号（S）へと結合し、同時にマルチチャンネル音響イメージをBCCサイド情報（SI）として符号化する。さらに、符号化器はチャンネル構成情報（CC）すなわち音源の位置情報を形成する。音源の位置情報は音響を生成している間中静的なものであってよく、その場合はオーディオストリームの開始時にヘッダ情報として一つの情報ブロックが必要とされるだけである。または、音響シーンはダイナミックなものであってもよく、その場合が送信ビットストリームの中に位置情報の更新が含められる。その性質から、音源位置の更新は可変レートである。このように、算術符号化を利用することにより、情報は送信に効率的なように符号化されうる。チャンネル構成情報（CC）は、好ましくはサイド情報の中で符号化される。
【００２８】
一つまたは複数のサム信号（S）、サイド情報（SI）及びチャンネル構成情報（CC）が受信側へ送信され、サム信号（S）はBCC合成処理に送り込まれる。BCC合成処理は、サイド情報の処理を通じて得られたチャンネル間キューに従って制御される。BCC合成処理の出力は、バイノーラルダウンミックス処理へと送り込まれる。バイノーラルダウンミックス処理は、同様に、チャンネル構成情報（CC）に従って制御される。バイノーラルダウンミックス処理において、用いられるHRTFの組はチャンネル構成情報（CC）に従って変わる。用いられるHRTFの組が変わると、ヘッドフォンのリスナーに知覚される空間音響イメージの中の音源の位置が動く。
【００２９】
空間音響イメージの中で音源の位置が変わることが、図４ａと４ｂに描かれている。図４ａでは、空間音響イメージはバイノーラルオーディオ信号として、ヘッドフォンのリスナーのために作られている。バイノーラルオーディオ信号の中で、仮想スピーカ（Phantom Loudspeaker））の位置（すなわち音源）は、従来型の5.1スピーカ構成に従って形成されている。リスナーの前面のスピーカ（FLとFR）は、センタースピーカ（C）から３０度の位置に配置される。リヤスピーカ（RLとRR）は、センターから測って１１０度の位置に配置される。バイノーラル効果のためにヘッドフォンを通じたバイノーラル再生における音源の位置は、実際の5.1再生における位置と同じように感じられる。
【００３０】
図４ｂでは、空間音響イメージは、バイノーラル領域で音響イメージをレンダリングすることを通じて変化する。例えば、フロントの音源FLとFR（仮想スピーカ）が離れるように動くことで効果的な空間イメージが作られる。この動きは、チャンネル構成情報に従ってFLとFRのために異なるHRTFペアを選択することにより実現される。代わりに、いずれかの又は全ての音源が、再生中であっても、異なる位置で動くことができる。このように、コンテンツの制作者は、バイノーラルオーディオコンテンツをレンダリングして動的な音響イメージをデザインするにあたり、大きな柔軟性を有することができる。
【００３１】
音源の移動をスムーズにするために、復号器は、十分な数のHRTFペアを備えているべきである。空間音響イメージにおいて音源の位置を自由に変えることが可能になるからである。人間の聴覚システムは、入射角に依存するが、２つの音源が２−５度より離れていない場合はこれらの位置を区別できないと考えられている。しかしながら、補間を通じて入射角の関数としてHRTFの変化のスムーズさを利用することで、少ないHRTFフィルタの組で十分な分解能を実現可能である。360度の空間音響イメージ全体がカバーされねばならない場合、HRTFペアの数は360/10 = 36ペアで十分である。むろん、ほとんどの空間効果はそこまでの連続的な音源位置の変化を必要としないであろうから、普通はHRTFペアの数は36個以下で構わず、それでもリスナーは音源の位置の変化をはっきりと知覚できる。
【００３２】
本発明に従うチャンネル構成情報とその空間音響イメージにおける効果は、従来のBCC符号化スキームに適用することができ、その場合、チャンネル構成情報は、関連する空間チャネル間キューICTD, ICLD, ICCを運ぶサイド情報の中に符号化される。BCC復号器は、受信したサム信号とサイド情報に基づいて、複数のスピーカによるオリジナルの音響イメージを合成し、この合成プロセスからの複数の出力は、次にバイノーラルダウンミックスプロセスで使用される。そこではチャンネル構成情報に従ってHRTFペアの選択が制御される。
【００３３】
しかしながら、すると、BCC処理されたモノラル信号とサイド情報からバイノーラル信号を生成するには、まず初めにモノラル信号とサイド情報に基づいてマルチチャンネル表現を生成し、その後ようやくマルチチャンネル表現からヘッドフォンによる空間的再生のためにバイノーラル信号の生成が可能となるということである。これは、計算量の点からは重いアプローチであり、バイノーラル信号の生成という観点からは最適化されていない。
【００３４】
そこで、ある実施形態においては、BCC復号処理が、バイノーラル信号の生成という観点から単純化される。かかる実施形態においては、マルチチャンネル表現を合成する代わりに、元のミックス状態における各スピーカが、リスニング位置に対するスピーカの方向に対応するHRTFの組に置換される。モノラル化信号における各周波数チャンネルは、利得値の組によって決定付けられる割合でHRTFを実行する各対のフィルタに渡される。この利得値の組は、チャンネル構成情報を含んでいる。その結果、この処理は、バイノーラルオーディオシーンにおいて、元のスピーカに対応する１組の仮想スピーカを実装するものとして考えられることが可能である。従って、かかる実施形態は、いかなる中間BCC合成処理もせずに、パラメトリック符号化された空間オーディオ信号からバイノーラルオーディオ信号を直接生成することを可能にする。
【００３５】
この実施形態について、図５を参照して以下に更に説明する。図５は、この実施形態に従うバイノーラル復号器のブロック図を示す。復号器500は、モノラル化信号のための第１の入力502と、チャンネル構成情報を含むサイド情報のための第２の入力504とを含む。入力502、504は、実施形態を説明する上でそれぞれ異なる入力として示されるが、当業者は、実際の実装において、モノラル化信号およびサイド情報が同一の入力によって供給可能であることを理解されたい。
【００３６】
実施形態によっては、サイド情報は、BCCスキームと同じチャンネル間キュー、つまり、チャンネル間時間差（Inter-channel Time Difference; ICTD）、チャンネル間レベル差（Inter-channel Level Difference; ICLD）、およびチャンネル間コヒーレンス（Inter-channel Coherence; ICC）を含む必要はなく、その代わりに、各周波数帯域における元のミックス状態におけるチャンネル間の音圧分布を規定する推定利得の組のみで十分である。チャンネル構成情報は、推定利得の中に符号化されるか、ヘッダ情報のように単独の情報ブロックとして送信されうる。チャンネル構成情報は、オーディオストリームの最初に、又は送信bidストリームに時々含まれる別のフィールドとして、送信されうる。推定利得及びチャンネル構成情報の他に、サイド情報は、元のミックス状態におけるスピーカの数およびリスニング位置に対する位置、ならびに使用されたフレーム長を含むことが好ましい。実施形態によっては、サイド情報の一部として推定利得を符号化器から伝送する代わりに、推定利得は、BCCスキームのチャンネル間キュー、例えば、ICLDから復号器において計算される。
【００３７】
復号器500は、窓掛け部506をさらに備え、ここで、モノラル化信号は、まず、使用されたフレーム長の時間フレームに分割され、次に、フレームに窓掛けが適切に行なわれる（例えば、サイン窓）。適切なフレーム長を調整することによって、フレームが、離散フーリエ変換（discrete Fourier-transform; DFT）のために十分長くなるようにし、また同時に、信号の急速な変化を管理するために十分短くなるようにするべきである。実験によると、適切なフレーム長は約50msである。従って、44.1kHzのサンプリング周波数（種々のオーディオ符号化スキームで通常使用される）を使用する場合、フレームは、例えば、46.4msのフレーム長をもたらす2048個のサンプルを含むことができる。窓掛けは、スペクトル変形（レベルおよび遅延）による遷移を円滑化するために、隣接する窓が50%重複するように実行することが好ましい。
【００３８】
その後、窓掛けされたモノラル化信号は、FFT部508において周波数領域に変換される。効果的に計算するために、処理は周波数領域において実行される。
【００３９】
この目的のために、信号は、フィルタバンク510に導かれ、フィルタバンク510は、心理音響学的に導かれた周波数帯域に信号を分割する。実施形態によっては、フィルタバンク510は、一般的に認知される等価方形幅（Equivalent Rectangular Bandwidth; ERB）スケールに従い32個の周波数帯域に信号を分割し、結果的に、その32個の周波数帯域に信号成分x0、…、x31をもたらすように構成するように設計される。
【００４０】
復号器500は、事前に保存された情報としてHRTF512、514の組を含み、ここから各スピーカ方向に対応する左右の組のHRTFが、チャンネル構成情報に従って選択される。説明上、図５には2組のHRTF512、514が描かれており、一方の組は左側信号であり、他方の組は右側信号であるが、実際の実装において、１組のHRTFでも十分であることは明らかである。選択された左右の組のHRTFを、各スピーカチャンネルのオーディオレベルに対応するように調整するためには、利得値Gを推定することが好ましい。上述のように、推定利得は符号化器から受信したサイド情報に含めてもよく、あるいは、BCCサイド情報に基づき復号器において計算してもよい。利得は、時間および周波数の関数としてスピーカチャンネル毎に推定されるが、元のミックス状態における利得レベルを維持するために、スピーカチャンネル毎の利得を調整して、各利得値の二乗の合計が１に等しくすることが好ましい。これにより、仮想的に生成されるチャンネルの数がN個である場合、符号化器から伝送する必要がある推定利得はN-1個だけであり、不足利得値をN-1個の利得値に基づき計算可能である、という利点がもたらされる。しかしながら当業者は、本発明の動作において、復号器は、各利得値の二乗の合計を１に等しくなるように調整する必要は必ずしもないが、合計を１に等しくするように利得値の二乗を増減可能であることを理解されたい。
【００４１】
次に、適当なHRTFフィルタ512、514の左右の組の各々が、チャンネル構成情報に従って選択され、続いて選択されたHRTFフィルタの組が利得Gの組によって決定される割合で調整され、HRTFフィルタ512'、514'が得られる。実際には、元のHRTFフィルタの大きさ512、514は、利得値に応じて単に増減されるだけであるが、実施形態を説明する上で、HRTF512'、514'の組が図３において「付加的に」示されていることを再び留意されたい。
【００４２】
各周波数帯域について、モノラル信号成分x0、…、x31が、調整されたHRTFフィルタ512'、514'の各左右の組に提供される。次に、左側信号および右側信号のフィルタ出力は、両バイノーラルチャンネルの加算部516、518において加算される。加算されたバイノーラル信号は、再びサイン窓掛けが行なわれ、IFFT部520、522で実行される逆FFT処理によって、時間領域に再び変換される。分析フィルタが１つの信号にまとめない場合、あるいはその位相応答が線形でない場合、適切な合成フィルタバンクを使用して、最終的なバイノーラル信号BRおよびBLにおける歪みを回避することが好ましい。
【００４３】
実施形態によっては、バイノーラル信号の外在化、つまり頭外定位を向上させるために、適度な室内応答をバイノーラル信号に加えることが可能である。そのために、復号器は、残響部を備えてもよい。この残響部は、加算部516、518とIFFT部520、522の間に位置することが好ましい。付加された室内応答は、スピーカリスニング状況における室内効果を模倣する。しかしながら、必要とされる残響時間は、計算複雑性が顕著に増加しないように十分短くする。
【００４４】
HRTFは個々の差が大きく平均化が不可能であるため、完全な再空間化（re-spatialization）は、リスナー独自のHRTF組を測定することによってのみ達成されうることを、当業者は理解しているだろう。従って、HRTFの使用により信号は必然的にゆがみ、処理されたオーディオの質が、元の質と同等でなくなる。しかしながら、各リスナーのHRTFを測定することは非現実的な選択であるため、モデル化された組あるいは人頭模型または平均サイズおよび顕著な対称性を有する頭部を有する者から測定された組を使用する際に、最善の結果が達成される。
【００４５】
前述のように、実施形態によっては、推定利得は、符号化器から受信するサイド情報に含まれてもよい。結果的に、本発明のある側面は、マルチチャンネル空間オーディオ信号の符号化器に関し、この符号化器は、周波数および時間の関数としてスピーカチャンネル毎の利得を推定し、１つ（または複数の）結合チャンネル上で伝送されるサイド情報に推定利得を含める。さらに、符号化器は、コンテンツ製作者の指示に従って、チャンネル構成情報をサイド情報の中に含める。この結果、コンテンツ製作者は、復号器におけるバイノーラルダウンミックスプロセスを制御することができる。たとえば音源（仮想スピーカ）を中央部から端の方へ動かすなどすることにより、優れた空間的効果を得ることができる。加えて、一つまたは複数の音源を再生中に動かすことができ、これによって空間的音響効果を得ることができる。したがって、コンテンツ製作者は、物理的に固定したスピーカ位置に対するスピーカの表現によって音響イメージをデザインするよりも、バイノーラルコンテンツのために音響イメージをデザインする場合に、より多くの自由度と柔軟性を得ることができる。
【００４６】
符号化器は、例えば、既知のBCC符号化器であってもよく、この符号化器は、マルチチャンネル音響イメージを表現するチャンネル間キューであるICTD、ICLD、およびICCに付加的にまたは代替的に、推定利得を計算するようにさらに構成される。静的なチャンネル構成の場合、符号化器は、チャンネル構成情報を推定利得の中に符号化するか、オーディオストリームの最初に一つの情報ブロックとして符号化してもよい。また、動的な構成の更新が行われる場合、送信ビットストリームに時々含まれる別の情報フィールドとして、チャンネル構成情報を符号化してもよい。次に、サム信号と、推定利得及びチャンネル構成情報を少なくとも含むサイド情報は、好ましくは、サム信号を符号化する適切な低ビットレートオーディオ符号化スキームを使用して受信側に伝送される。
【００４７】
実施形態によっては、符号化器において推定利得を計算する場合、その計算は、個々のチャンネル毎の利得レベルを、結合チャンネルの累積利得レベルと比較することによって実行される。つまり、利得レベルをX、元のスピーカ配置における個々のチャンネルを「m」、サンプルを「k」とする場合、チャンネル毎の推定利得は│Xm(k)│/│XSUM(k)│で計算される。従って、推定利得は、全チャンネルの全ての利得の大きさと比較して、個々のチャンネル毎の利得の大きさを比例的に決定する。
【００４８】
簡素化するため、前述の例は、入力チャンネル（M）が符号化器においてダウンミックスされて単一の結合（例えば、モノラル）チャンネルを形成するように説明される。しかしながら、実施形態は、特定のオーディオ処理用途に応じて、多数の入力チャンネル（M）が、ダウンミックスされて２つ以上の別々の結合チャンネル（S）を形成するような代替的な実装においても同様に適用可能である。ダウンミックスにより多数の結合チャンネルが生成される場合、結合チャンネルデータは、従来のオーディオ伝送技術を使用して伝送可能である。例えば、２つの結合チャンネルが生成される場合、従来のステレオ伝送技術を使用してもよい。この場合、BCC復号器は、BCC符号を抽出および使用して、２つの結合チャンネルからバイノーラル信号を合成できる。
【００４９】
実施形態によっては、合成されたバイノーラル信号における仮想的に生成された「スピーカ」の数（N）は、特定用途に応じて、入力チャンネル（M）の数と異なってもよい（多くても少なくてもよい）。例えば、入力オーディオが7.1サラウンドオーディオに相当し、バイノーラル出力オーディオが5.1サラウンドオーディオに相当するように合成されてもよく、または、その反対でもよい。
【００５０】
上記実施形態は、次のように一般化されることができる。すなわち、本発明の実施形態は、Ｍ個の入力オーディオチャンネルをＳ個の結合オーディオチャンネルおよび１つ以上の対応するサイド情報の組に変換可能にするものであり（Ｍ＞Ｓ）また、Ｓ個の結合オーディオチャンネルおよび対応するサイド情報の組からＮ個の出力オーディオチャンネルを生成するものである（Ｎ＞Ｓ）。Ｎは、Ｍと等しくとも異なっていてもよい。
【００５１】
１つの結合チャンネルおよび必要なサイド情報を伝送するのに必要なビットレートは非常に低いため、本発明は、特に、利用可能な帯域幅が無線通信システムなどのリソースが乏しいシステムに十分適用可能である。従って、実施形態は、特に、高品質のスピーカを一般的に含まない携帯端末またはその他の携帯型装置に適用可能であり、この場合、マルチチャンネルサラウンドオーディオの特徴は、実施形態に従うバイノーラルオーディオ信号を聴くためのヘッドフォンを介して導入可能である。実行可能な用途のさらなる分野には、テレビ会議サービスが含まれる。この場合、電話会議出席者が会議室の異なる位置に居るという印象をリスナーに与えることによって、テレビ会議の出席者を容易に区別することができる。
【００５２】
図６は、データ処理装置（TE）の簡素化構造を示す。このデータ処理装置において、本発明に従うバイノーラル復号システムを実装することが可能である。データ処理装置（TE）は、例えば、携帯端末、PDA装置、またはパーソナルコンピュータ（PC）であることが可能である。データ処理ユニット（TE）は、I/O手段（I/O）、中央処理装置（CPU）、およびメモリ（MEM）を備える。メモリ（MEM）は、ランダムアクセスメモリRAMおよびFLASHメモリなどの、読取専用メモリROM部分および再書き込み可能部分を備える。CD-ROM、その他の装置、およびユーザなどの様々な外部装置と通信するために使用される情報は、I/O手段（I/O）を介して中央処理装置（CPU）によって送受信される。データ処理装置が移動局として実装される場合、データ処理装置は、一般的に送受信機Tx/Rxを備え、この送受信機Tx/Rxは、無線線ネットワークと通信し、一般的にはアンテナを介して基地局（BTS）と通信する。ユーザインターフェース（UI）機器は、一般的に、ディスプレイ、キーパッド、マイク、およびヘッドフォン用接続手段を備える。データ処理装置は、種々のハードウェアモジュール用または集積回路ICとしての標準型スロットなどの接続手段MMCをさらに備えて、データ処理装置において実行される種々のアプリケーションを提供してもよい。
【００５３】
従って、本発明に従うバイノーラル復号システムは、データ処理装置の中央処理装置（central processing unit; CPU）または専用のデジタル信号プロセッサ（digital signal processor; DSP）（パラメトリック符号化プロセッサ）において実行されてもよい。従って、データ処理装置は、複数のオーディオチャンネルの結合信号を少なくとも１つと、マルチチャンネル音響イメージを表現すると共にバイノーラル信号の合成における音源位置の制御のためのチャンネル構成情報を含む対応するサイド情報の組を１つ以上含むパラメトリック符号化されたオーディオ信号を受信する。その少なくとも１つの結合信号は、サイド情報の組に従ってプロセッサで処理される。パラメトリック符号化されたオーディオ信号は、CD-ROMなどのメモリ手段から、あるいはアンテナおよび送受信機を介した無線ネットワークから受信されてもよい。
【００５４】
データ処理装置は、例えば適切なフィルタバンクおよび頭部伝達関数フィルタの既定の組を備える合成器を備える。これによって、バイノーラルオーディオ信号は、処理された少なくとも１つの信号から合成され、チャンネル構成情報は、バイノーラル信号の合成における音源位置の制御のために用いられる。そしてバイノーラルオーディオ信号は、ヘッドフォンを介して再生される。
【００５５】
同様に、本発明に従う符号化システムも、データ処理装置の中央処理装置（CPU）または専用のデジタル信号プロセッサ（DSP）において実行されることができる。従って、データ処理装置は、複数のオーディオチャンネルの結合信号を少なくとも１つと、バイノーラル信号の合成における音源位置の制御のためのチャンネル構成情報を含む１つ以上の対応するサイド情報の組とを含むパラメトリック符号化されたオーディオ信号を生成する。
【００５６】
本発明の機能は、移動局などの端末装置において実装されてもよく、また、コンピュータプログラムとして実装されてもよい。このコンピュータプログラムは、中央処理装置CPUまたは専用のデジタル信号プロセッサDSPにおいて実行されると、本発明の手順を実行するように端末装置に作用する。コンピュータプログラムSWの機能は、相互に通信するいくつかの別々のプログラム要素に分散されてもよい。コンピュータソフトウェアは、PCのハードディスクまたはCD-ROMディスクなど如何なるメモリ手段にも保存されてもよく、そこから携帯端末のメモリにロード可能である。また、コンピュータソフトウェアは、例えば、TCP/IPプロトコルスタックを使用してネットワークを介してロード可能である。
【００５７】
また、ハードウェアソリューションあるいはハードウェアおよびソフトウェアソリューションの組み合わせを使用して、発明の手段を実行することも可能である。従って、上記のコンピュータプログラムは、モジュールを電子装置に接続するための接続手段を備えるハードウェアモジュールにおける例えばASICまたはFPGA回路などのハードウェアソリューションとして、あるいは１つ以上の集積回路として、少なくとも部分的に実装可能である。このハードウェアモジュールまたはICは、上記プログラムコードタスクを実行するための種々の手段をさらに含み、また、上記手段は、ハードウェアおよび／またはソフトウェアとして実装される。
【００５８】
本発明は、上に提示された実施形態だけに限定されないが、添付の請求項の範囲内で修正可能であることは明らかである。
【図面の簡単な説明】
【００５９】
【図１】従来技術に従う一般的なバイノーラルキュー符号化（Binaural Cue Coding; BCC）スキームを示す。
【図２】従来技術に従うBCC合成スキームの一般構造を示す。
【図３】本発明の実施形態に従う、一般的なバイノーラル符号化スキームを示す。
【図４ａ】本発明の実施形態に従う、空間音響イメージにおける音源の位置の変化を示す。
【図４ｂ】本発明の実施形態に従う、空間音響イメージにおける音源の位置の変化を示す。
【図５】本発明の実施形態に従う、バイノーラル復号器のブロック図を示す。
【図６】簡易ブロック図によって、本発明の実施形態に従う電子装置を示す。
【図１】
2009522610.tif 000003
【図２】
2009522610.tif 000004
【図３】
2009522610.tif 000005
【図４ａ】
2009522610.tif 000006
【図４ｂ】
2009522610.tif 000007
【図５】
2009522610.tif 000008
【図６】
2009522610.tif 000009
【国際調査報告】
2009522610.tif 000010
2009522610.tif 000011
2009522610.tif 000012