(57)【要約】【課題】従来、サラウンド音響効果を有したステレオダウンミクスを生成するのに必要な頭部伝達関数に基づいたダウンミクスをサポートするマルチチャネル符号化技術は存在しない。【解決手段】本発明は、符号化装置にプリプロセシングモジュールを、復号化装置にデコンボリューションモジュールを追加することで、頭部伝達関数に基づくダウンミクスをサポートする簡単な方法を提供する。プリプロセシングモジュールは、頭部伝達係数を有するマルチチャネル信号を処理し、符号化装置への中間入力信号を形成する。同時に、サラウンド効果を実現するために必要な要素信号を備えるステレオダウンミクス信号を生成する。プリプロセシングモジュールから伝送されるサイド情報に基づき、デコンボリューションモジュールは、所望のマルチチャネル信号を復元するために、復号化装置の中間出力信号から頭部伝達関数を効果的に取り除く。【選択図】図５
2007187749.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ＨＲＴＦプレミックスされた２組のマルチチャンネル信号と１対のステレオ信号とを生成するプリプロセッシング装置と、前記プレミックスマルチチャンネル音響信号のうち1組を１つの１チャンネル信号に変換するダウンミックス装置と、再構築情報を生成するために前記ダウンミックス処理を分析するバイノーラルキュー装置と、前記１対のステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置とを備え、
（ａ）プリプロセッシング装置において、前記マルチチャンネル音響信号に頭部伝達関数（ＨＲＴＦ）を２度適用して、２組のプレミックスマルチチャンネル音響信号をそれぞれ生成し、
（ｂ）前記２組のマルチチャンネル音響信号をダウンミックスして、１対のステレオ信号を形成し、
（ｃ）１組のプレミックスマルチチャンネル音響信号を、中間マルチチャンネル音響信号として前記マルチチャンネル音響符号化装置へ入力して、再構築情報を生成し、
（ｄ）ダウンミックスステレオ信号をステレオ音響符号化装置に入力して、圧縮ステレオビットストリームを生成し、
（ｅ）前記頭部伝達関数を付加的ＨＲＴＦ情報に変換し、量子化し、付加的サイド情報として伝送し、
（ｆ）フレーム単位で、付加的補助情報を抽出し、量子化し、付加的サイド情報として伝送する
ことを特徴とする。
【請求項２】
マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ＨＲＴＦプレミックスされた２組のマルチチャンネル信号と１対のステレオ信号とを生成するプリプロセッシング装置と、前記プレミックスマルチチャンネル音響信号のうち1組を１つの１チャンネル信号に変換するダウンミックス装置と、再構築情報を生成するために前記ダウンミックス処理を分析するバイノーラルキュー装置と、前記１対のステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置とを備え、
（ａ）プリプロセッシング装置において、前記マルチチャンネル音響信号に頭部伝達関数（ＨＲＴＦ）を２度適用して、２組のプレミックスマルチチャンネル音響信号をそれぞれ生成し、
（ｂ）前記２組のマルチチャンネル音響信号をダウンミックスして、１対のステレオ信号を形成し、
（ｃ）前記２組のマルチチャンネル音響信号の和を求めて、新たな１組のマルチチャンネル音響信号とし、
（ｄ）前記新たな１組のマルチチャンネル音響信号を、中間マルチチャンネル音響信号として前記マルチチャンネル音響符号化装置へ入力して、再構築情報を生成し、
（ｅ）ダウンミックスステレオ信号をステレオ音響符号化装置に入力して、圧縮ステレオビットストリームを生成し、
（ｆ）前記頭部伝達関数を付加的ＨＲＴＦ情報に変換し、量子化し、付加的サイド情報として転送し、
（ｇ）フレーム単位で、付加的補助情報を抽出し、量子化し、付加的サイド情報として伝送する
ことを特徴とする。
【請求項３】
マルチチャンネル音響復号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ステレオビットストリームを復号しステレオ音響信号を形成するステレオ音響復号化装置と、前記内部的にダウンミックスしたマルチチャンネル信号に再構築情報を適用して中間マルチチャンネル音響信号を再構築するマルチチャンネル再構築装置と、前記マルチチャンネル音響信号を復元するポストプロセッシング装置とを備え、
（ａ）付加的ＨＲＴＦにおけるＨＲＴＦをデコンボリューション情報に変換し、
（ｂ）前記補助情報を用いてフレーム単位でデコンボリューション情報を更新し、
（ｃ）前記更新されたデコンボリューション情報を前記再構築された中間マルチチャンネル音響信号に適用して、前記マルチチャンネル音響信号を復元する
ことを特徴とする。
【請求項４】
前記復元されたマルチチャンネル信号から情報を失う可能性が低くなるように、前記プリプロセッシング装置は前記プレミックスマルチチャンネル信号をミックスする
ことを特徴とする請求項１に記載の装置。
【請求項５】
前記付加的ＨＲＴＦ情報は、伝達関数係数やスペクトルパラメータのような、前記マルチチャンネル音響復号化装置が前記ＨＲＴＦを再構築するためのデータを含む
ことを特徴とする請求項１および３に記載の装置。
【請求項６】
前記付加的補助情報は、前記マルチチャンネル音響復号化装置が前記ＨＲＴＦをフレーム単位で動的に更新するためのデータを含む
ことを特徴とする請求項１および３に記載の装置。
【請求項７】
あるフレームの前記補助データは、直前のフレームの補助データと閾値の分だけ異なるということがない
ことを特徴とする請求項６に記載の装置。
【請求項８】
前記動的に更新されたデコンボリューションＨＲＴＦは、前記中間マルチチャンネル信号から前記ＨＲＴＦを効果的に分離することができる
ことを特徴とする請求項３、５、６、７に記載の装置。
【請求項９】
前記デコンボリューション処理により前記プレミキシング処理を効果的に反転することができる
ことを特徴とする請求項１、８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル符号化技術において、「サラウンド音響」効果を有するステレオダウンミックスを生成する新装置を提供する。この技術は、付加された情報でステレオダウンミックスを処理するだけで、ステレオ設備しか持っていないユーザに対して優れたサラウンド音響効果を配信するとともに、（５．１チャンネルのような）マルチチャンネル設備を持ったユーザに対しては真のサラウンド音響を復元することができる。本発明は、ホームシアターシステム、車載音響システム、携帯プレーヤ、携帯通信装置及び電子ゲームシステム等の用途に適用可能である
【背景技術】
【０００２】
図１は、１対のステレオ信号に対する空間音響符号化処理（マルチチャンネル符号化）の基本的原理を説明する図である。符号化処理において、音響信号はフレームごとに処理される。左右のチャンネルであるＬ及びＲは、Ｍ＝（Ｌ＋Ｒ）／２を生成するために、（１００）においてダウンミックスされる。Ｌ、Ｒ及びＭは、バイノーラルキューの組を生成するために、バイノーラルキュー検出モジュール（１０２）によって処理される。あるいは、Ｌ及びＲのスペクトル表現の平均をとることによって、スペクトル変換後のＬ及びＲからＭを生成することができる。バイノーラルキューは、Ｌ、Ｒ及びＭの表現を比較することによって算出される。音響符号化装置（１０４）は、Ｍ信号を符号化して、圧縮されたビットストリームを生成する。この音響符号化装置の例としては、ＭＰ３やＡＡＣがある。バイノーラルキューは、完全なビットストリームを形成するために、（１０６）において、量子化され、圧縮されたＭに多重化される。
【０００３】
バイノーラルキューは、チャンネル間レベル／強度差（ＩＩＤ）及びチャンネル間コヒーレンス／相関性（ＩＣＣ）である。ＩＣＣキューが２つの信号間（この場合、左右のチャンネル）の類似性を測るのに対し、ＩＩＤキューは相対的な信号強度を測る。一般に、レベル／強度は、音のバランス／定位を制御するが、コヒーレンス／相関性キューは音の幅／拡散性を制御する。これらは共に受聴者が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。最新の先行技術方法において、音響スペクトルは、通常複数の「パラメータバンド」からなるグループに区分されており、バイノーラルキューの組はそれぞれのパラメータバンドについて算出される。先行技術において、「バイノーラルキュー」と「空間パラメータ」という用語はしばしば同義的に用いられる。
【０００４】
復号化処理において、多重分離装置（１０８）は、バイノーラルキュー情報から、Ｍのビットストリームを分離する。Ｍのビットストリームは、ダウンミックス信号Ｍを復元するために、音響復号化装置（１１０）によって復号化される。ダウンミックス信号と逆量子化バイノーラルキューは、ダウンミックス信号からステレオ信号を復元するために、マルチチャンネル合成モジュール（１１２）によって処理される。これらダウンミックス信号から元の２つの信号を復元する処理は、「チャンネル分離技術」を伴う。
【０００５】
上記の例は、符号化装置においてどのように２つの信号を１つのダウンミックス信号と空間パラメータの組で表すことができ、空間パラメータでダウンミックス信号を処理することによって、復号化装置においてどのようにダウンミックス信号を２つの信号に分離することができるのかを説明しているにすぎない。この技術は、２チャンネルより多いオーディオ信号（例えば、５．１音源を構成する６つのチャンネル）を、符号化処理時に１つか２つのダウンミックスチャンネルに圧縮し、復号化処理においてそのチャンネルを再構築することにも拡大することができる。１チャンネルのダウンミックス信号については、図２を参照すると、再構築の秘訣としては、最初に、（２０４）においてダウンミックス信号L0を２つの信号M1、M4に分離するために、上記バイノーラルキューに基づいたチャンネル分離方法の変形を適用する。次に、（２０３）において信号M1がM2とM3に分離される。最後に、（２００）および（２０１）において、上記バイノーラルキューの対を用いてM2とM3がさらに単一信号に分離される。さらに同様のモードで、信号M4が２つの単一サラウンド信号に分離される（ここで、Lf,Rf, Ls, Rs, C及びLFEは、それぞれ左前、右前、左横、右横、中央、及び低周波数を示す）。しかしながら、チャンネル分離技術の詳細は、本発明の範囲外である。このようにチャンネル分離の原理をマルチチャンネルに拡張することによって、図１に示されるコーデックは、図３に示されるようなマルチチャンネル処理に一般化することができる。
【０００６】
先行技術において、（３００）におけるステレオダウンミックスモジュールは、ＩＴＵダウンミックスのみをサポートする。つまり、ダウンミックス信号は入力信号の一定の倍数の和から導出される。例えば、
【数１】
2007187749.tif 000003
【０００７】
現在、先行技術には「任意のダウンミキシング」の形態を可能にするものもあるが、符号化処理は、パラメータバンドごとにダウンミックス後の信号を任意に増幅もしくは減衰することしかできない。増幅又は減衰ファクタはビットストリーム情報の一部となる。頭部伝達関数（以下、ＨＲＴＦという）に基づいたような、より高度なダウンミキシングの形態をサポート可能な先行技術は存在していない。
【０００８】
ＨＲＴＦは、特定の個人の左もしくは右耳の遠距離音場周波数応答を表すものであり、自由音場における特定の１点から外耳道における特定の１点にかけて測定される。上記バイノーラルの差異に基づいたキューは、受聴者の身体、頭部及び耳からの音響散乱処理によって主に引き起こされる。身体構造上の散乱と時間及びレベルの差異の全ての効果は、頭部インパルス応答（もしくはそのフーリエ変換、ＨＲＴＦ）フィルタ処理によって説明される。結果として、ステレオダウンミックスから優れた「サラウンド音響」を生成するために、異なる方向からのいくつかのＨＲＴＦによって、現実の音の散乱過程をシミュレートできることが期待される。具体的には、より多くのＨＲＴＦが探索されればされるほど、豊かなサラウンドコンテンツを認識することができる。
【０００９】
頭部伝達関数に基づいたダウンミキシングは、以下のように、マルチチャンネル入力信号を加算する前に、マルチチャンネル入力信号に伝達関数を適用する。
【００１０】
【数２】
2007187749.tif 000004
【００１１】
図４は、さまざまな記号の定義を示す図である。（４００）から（４０５）はスピーカを示し、（４０６）は受聴者を示す。（４０７）及び（４０８）はそれぞれ受聴者の左耳及び右耳を示している。HL0/Lfは、「LfチャンネルからL0耳へのＨＲＴＦ」等を表す。
【００１２】
本発明の目的は、先行技術であるマルチチャンネル符号化技術にＨＲＴＦに基づいたダウンミキシング方法のサポートを追加することである。
【非特許文献１】J. Herre, et al, “The ReferenceModel Architecture for MPEG Spatial Audio Coding”, May 28-31, 2005, AudioEngineering Society 118th Convention, Paper No. 6447.
【非特許文献２】飯田一博他、「Spectral cueと両耳間Cueに基づいたParametric‐HRTF」、2-8-2、pp.461-462、2005年9月27日〜29日、日本音響学会秋季研究発表会。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
復号化装置において、追加的な後処理をおこなうことなく「サラウンド音響」効果を有するステレオ音響を配信するために、マルチチャンネル符号化技術はＨＲＴＦに基づいたダウンミキシング処理をサポートする必要がある。現在、マルチチャンネル符号化技術における先行技術では、それを達成することはできない。
【課題を解決するための手段】
【００１４】
先行技術の符号化装置にプリプロセッシングモジュールを、先行技術の復号化装置にデコンボリューションモジュールを追加することによって、ＨＲＴＦに基づいたダウンミキシングをサポートする簡単な方法を提案する。
【００１５】
プリプロセッシングモジュールはマルチチャンネル信号をＨＲＴＦ処理し、先行技術の符号化装置への中間入力信号を形成する。一方で、プリプロセッシングモジュールは、「サラウンド音響」効果を実現するために必要な信号要素を備えるステレオダウンミックス信号を提供する。さらに、プリプロセッシングモジュールは、付加的ＨＲＴＦ情報および補助情報をサイド情報として伝送する。
【００１６】
中間出力信号は先行技術の復号化装置において再構築される。受信したサイド情報に基づき、デコンボリューションモジュールは、所望の出力信号を復元するために、中間出力信号からＨＲＴＦの効果を効果的に取り除くことができる。
【００１７】
ＨＲＴＦ情報はビットストリームの先頭に伝送され、補助情報はフレームからフレームへとビットストリーム内で連続的に伝送される。
【００１８】
本発明は、マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ＨＲＴＦプレミックスされた２組のマルチチャンネル信号と１対のステレオ信号とを生成するプリプロセッシング装置と、前記プレミックスマルチチャンネル音響信号のうち1組を１つの１チャンネル信号に変換するダウンミックス装置と、再構築情報を生成するために前記ダウンミックス処理を分析するバイノーラルキュー装置と、前記１対のステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置とを備え、
（ａ）プリプロセッシング装置において、前記マルチチャンネル音響信号に頭部伝達関数（ＨＲＴＦ）を２度適用して、２組のプレミックスマルチチャンネル音響信号をそれぞれ生成し、
（ｂ）前記２組のマルチチャンネル音響信号をダウンミックスして、１対のステレオ信号を形成し、
（ｃ）１組のプレミックスマルチチャンネル音響信号を、中間マルチチャンネル音響信号として前記マルチチャンネル音響符号化装置へ入力して、再構築情報を生成し、
（ｄ）ダウンミックスステレオ信号をステレオ音響符号化装置に入力して、圧縮ステレオビットストリームを生成し、
（ｅ）前記頭部伝達関数を付加的ＨＲＴＦ情報に変換し、量子化し、付加的サイド情報として伝送し、
（ｆ）フレーム単位で、付加的補助情報を抽出し、量子化し、付加的サイド情報として伝送する
ことを特徴とする装置を提供する。
【００１９】
本発明は、マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ＨＲＴＦプレミックスされた２組のマルチチャンネル信号と１対のステレオ信号とを生成するプリプロセッシング装置と、前記プレミックスマルチチャンネル音響信号のうち1組を１つの１チャンネル信号に変換するダウンミックス装置と、再構築情報を生成するために前記ダウンミックス処理を分析するバイノーラルキュー装置と、前記１対のステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置とを備え、
（ｇ）プリプロセッシング装置において、前記マルチチャンネル音響信号に頭部伝達関数（ＨＲＴＦ）を２度適用して、２組のプレミックスマルチチャンネル音響信号をそれぞれ生成し、
（ｈ）前記２組のマルチチャンネル音響信号をダウンミックスして、１対のステレオ信号を形成し、
（ｉ）前記２組のマルチチャンネル音響信号の和を求めて、新たな１組のマルチチャンネル音響信号とし、
（ｊ）前記新たな１組のマルチチャンネル音響信号を、中間マルチチャンネル音響信号として前記マルチチャンネル音響符号化装置へ入力して、再構築情報を生成し、
（ｋ）ダウンミックスステレオ信号をステレオ音響符号化装置に入力して、圧縮ステレオビットストリームを生成し、
（ｌ）前記頭部伝達関数を付加的ＨＲＴＦ情報に変換し、量子化し、付加的サイド情報として転送し、
（ｍ）フレーム単位で、付加的補助情報を抽出し、量子化し、付加的サイド情報として伝送する
ことを特徴とする装置を提供する。
【００２０】
また、本発明は、マルチチャンネル音響復号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ステレオビットストリームを復号しステレオ音響信号を形成するステレオ音響復号化装置と、前記内部的にダウンミックスしたマルチチャンネル信号に再構築情報を適用して中間マルチチャンネル音響信号を再構築するマルチチャンネル再構築装置と、前記マルチチャンネル音響信号を復元するポストプロセッシング装置とを備え、
（ｎ）付加的ＨＲＴＦにおけるＨＲＴＦをデコンボリューション情報に変換し、
（ｏ）前記補助情報を用いてフレーム単位でデコンボリューション情報を更新し、
（ｐ）前記更新されたデコンボリューション情報を前記再構築された中間マルチチャンネル音響信号に適用して、前記マルチチャンネル音響信号を復元する
ことを特徴とする装置を提供する。
【００２１】
本発明の実施の形態のひとつにおいて、前記復元されたマルチチャンネル信号から情報を失う可能性が低くなるように、前記プリプロセッシング装置は前記プレミックスマルチチャンネル信号をミックスする。
【００２２】
本発明の実施の形態のひとつにおいて、前記付加的ＨＲＴＦ情報は、伝達関数係数やスペクトルパラメータのような、前記マルチチャンネル音響復号化装置が前記ＨＲＴＦを再構築するためのデータを含む。
【００２３】
本発明の実施の形態のひとつにおいて、前記付加的補助情報は、前記マルチチャンネル音響復号化装置が前記ＨＲＴＦをフレーム単位で動的に更新するためのデータを含む。
【００２４】
本発明の別の実施の形態において、あるフレームの前記補助データは、直前のフレームの補助データと閾値の分だけ異なるということがない。
【００２５】
本発明の別の実施の形態において、前記動的に更新されたデコンボリューションＨＲＴＦは、前記中間マルチチャンネル信号から前記ＨＲＴＦを効果的に分離することができる。
【００２６】
本発明の別の実施の形態において、前記デコンボリューション処理により前記プレミキシング処理を効果的に反転することができる。
【００２７】
なお、本発明は、上記記載の装置に含まれるそれぞれの手段をステップとして備える方法、コンピュータにそれらステップを実行させるプログラム、及びそのようなプログラムが格納される記録媒体としても実現することができる。
【発明の効果】
【００２８】
本発明は、ＨＲＴＦに基づいたステレオダウンミックスの先行技術であるマルチチャンネルコーデックにサポートを追加することによって、コーデックを変化させることなく「サラウンド音響」効果を達成する。これは、コーデックにかかる開発時間及び複雑性を削減する。本発明はまた、先行技術であるマルチチャンネルコーデックによって対象となるマルチチャンネル信号を復元するために、ＨＲＴＦを効果的に取り除いている。
【発明を実施するための最良の形態】
【００２９】
以下に示す実施の形態は、単に様々な進歩性の原理を説明しているにすぎない。ここに記載される詳細の変形は、当業者にとっては明らかであると理解される。よって、本発明は、特許請求項の範囲にのみ限定されるのであって、以下の具体的、説明的な詳細に限定されるものではないとする。
【００３０】
ＨＲＴＦに基づいた処理をサポートする上記先行技術マルチチャンネル符号化技術を拡大するために、本発明は、図５に示すように、プリプロセッシングモジュール（５０１）及びポストプロセッシングモジュール（５０２）を取り入れている。
【００３１】
全体として、プレプロセッシングモジュール（５０１）において、元のマルチチャンネル入力{Lf, Rf,C, LFE, Ls, Rs}は、ＨＲＴＦに基づいたコンボリューションによりプレミックスされる。プレミックスの結果は、サラウンド符号化装置の中間入力{L'f, R'f, C', LFE', L's,R's}となる。サラウンド復号化装置の再構築中間出力{L"f, R"f, C", LFE", L"s,R"s}に対して、ポストプロセッシングモジュール（５０２）は、元のマルチチャンネル入力を復元するためにＨＲＴＦデコンボリューションをおこなう。
【００３２】
本発明の実施の形態１では、元の入力は、以下のようにそれに対応するＨＲＴＦによりプレミックスされる。
【００３３】
【数３】
2007187749.tif 000005
【００３４】
言い換えれば、プレミックスした結果はステレオチャンネルのうちの１つのチャンネル（例えば、左ステレオチャンネル）の個々の成分である。このようなプリプロセッシング方法はプレミキシングモードIという。図６の例参照。
【００３５】
上記のＨＲＴＦは、それぞれ受聴者の左耳により認知される音の一因となるため、左耳ＨＲＴＦという。このようなプレミックス結果のダウンミックスにより、正確な左ステレオ音響（６０２）が形成される。
【００３６】
【数４】
2007187749.tif 000006
【００３７】
右ステレオサウンド（６０３）を提供するために、元の入力はプレミックスされ、右耳ＨＲＴＦにより再び同様にダウンミックスされる。
【００３８】
【数５】
2007187749.tif 000007
【００３９】
ステレオサウンドの対｛L0,R0｝はさらに音響符号化装置により処理され、圧縮されたステレオサウンドが多重化装置においてビットストリームに詰め込まれる。
【００４０】
元のマルチチャンネル信号を復元するためには、ＨＲＴＦフィルタ係数はポストプロセッシングモジュール（５０２）において使用できなくてはならない。よって、これら係数も量子化され、部分サイド情報としてビットストリームに詰め込まれる。
【００４１】
さらにＨＲＴＦサイド情報を削減するために、ＨＲＴＦを、D個のサンプルのピークフィルタHpeak,i(z)、ノッチフィルタHnotch,j(z)、ゲインＧ及び遅延の組み合わせとして表すことができる。
【００４２】
【数６】
2007187749.tif 000008
【００４３】
各ピーク（又はノッチ）フィルタのスペクトルは、図７に示すように、ほぼ三角形状をした一つの増幅（又は減衰）を示している。この場合、ピーク（又はノッチ）フィルタ全体は、三角の中央周波数Fc、三角形の相対的な高さh(dB)、およびQファクタというほんの数個のパラメータにより特徴づけることができる。このとき、三角形の範囲を以下とする。
【００４４】
【数７】
2007187749.tif 000009
【００４５】
このようにＨＲＴＦをパラメータで記述することをパラメトリックＨＲＴＦ、或いは略してｐＨＲＴＦという。各ＨＲＴＦフィルタ係数は、上記パラメータの関数h(n)=Γ(Fc,h,Q,G,D)と表すことができる。ｐＨＲＴＦパラメータの送信は、従来のＨＲＴＦフィルタ係数の送信と比較して、使用するサイド情報が少なくなる。さらに、各ｐＨＲＴＦは、低い次数のピーク及びノッチフィルタに分解されるため、計算上の複雑さも軽減される。
【００４６】
全体として、上記ＨＲＴＦ関連サイド情報は、ＨＲＴＦという伝達関数係数の形であれｐＨＲＴＦというパラメータの形であれ、サラウンド符号化装置において量子化および多重化される。復号化装置において、この情報は多重分離され、次にポストプロセッシングモジュール（５０２）により調査され、意図するデコンボリューションＨＲＴＦを構築する。
【００４７】
本発明の実施の形態２においては、プレミキシングモードIIという別のＨＲＴＦに基づくプレミキシングモードを取り入れている。
【００４８】
【数８】
2007187749.tif 000010
【００４９】
このようなプレミキシングモードの動機は、ＨＲＴＦのスペクトルゲインの平均値の潜在的な不均等さに関する懸念に基づいている。一般的に、片側ＨＲＴＦ（例えば、HR0/Lf(z)又はHL0/Rs(z)）は、それに対応する反対側のＨＲＴＦ（例えば、HL0/Lf(z)又はHR0/Rs(z)）より平均スペクトルゲインGは小さくなる。
【００５０】
プレミキシングモードIを考えてみると、潜在的なＨＲＴＦスペクトルゲインの差は、結果として、片側ＨＲＴＦコンボリューション（例えば、R'f(z)及びR's(z)）を有するこれらチャンネルが、それに対応する反対側ＨＲＴＦコンボリューション（例えば、L'f(z)及びL's(z)）よりも情報が損失しやすい可能性が出てくる。したがって、このような問題を克服するためにプレミキシングモードIIが取り入れられている。
【００５１】
図８に示すように、プレミキシングモードIと比べて、プレミキシングモードIIでは直接ステレオサウンドが提供されるわけではない。しかし、ステレオサウンドL0及びR0は、実際のところ上記プレミキシング処理中の中間結果である。したがって、実装上の観点から、プレミキシングモードIIは、プレミキシングモードIに加算ステップが追加された拡張版である。
【００５２】
よって、すべての原理がプレミキシングモードIIにも当てはまるが、説明を簡単にするために、以下では、プリプロセッシングモジュールはプレミキシングモードIを採用するものとする。
【００５３】
バイノーラルキュー抽出モジュール及び音響符号化装置の後に、上記生成されたバイノーラルキュー情報及び圧縮ステレオ信号が量子化され、多重化されて、多重化装置（３０３）から多重分離装置（３０４）に送信されるビットストリームを形成する。
【００５４】
サラウンド複合化装置において、サイド情報が多重分離される。圧縮されたステレオ信号は音響復号化装置（３０５）に送られて、「サラウンド音響」効果をもたらすステレオサウンドを復元する。マルチチャンネル再構築モジュール（３０６）は、中間マルチチャンネル出力{L"f, R"f, C", LFE", L"s,R"s}を再構築する。
【００５５】
しかし、対応するマルチチャンネル入力{L'f, R'f, C', LFE', L's,R's}と比較して、マルチチャンネル出力は入力と聴感上似ているが、波形は異なっている。
【００５６】
以下の説明をわかりやすくするために、ここでマルチチャンネル入力と出力との関係における２つの特性について考察する。第１に、マルチチャンネル出力は、概してダウンミックス信号L0のスケーリングによって構築される。すなわち、おおざっぱに言って、マルチチャンネル出力の各チャンネルはL0と同様の波形を有していると考えられる。第２に、各パラメータバンドのマルチチャンネルのスペクトルエネルギーは、対応する入力のスペクトルエネルギーと一致している。
【００５７】
元の入力信号の復元を進めるために、ポストプロセッシングモジュール（５０２）（デコンボリューションモジュールともいう）は、プリプロセッシングとは逆向きにそれらを導出することを意図している。
【００５８】
【数９】
2007187749.tif 000011
【００５９】
しかし、上記のような中間マルチチャンネル入力と出力との波形の相違により、上記ＨＲＴＦは元のＨＲＴＦと完全に同一とはならないはずである。事実、ダウンミキシング処理を思いおこせば、ダウンミックス信号L0は、図９に示すように（図９において、元の信号スペクトルは[Fc−3ΔF,Fc＋3ΔF]の範囲内で平坦とする）、個々の成分と比較して波形包絡線が平坦になっている。したがって、上記サラウンドコーデック入出力の関係における第１の特性に関して、マルチチャンネル出力も波形包絡線が平坦であると導出しても差し支えない。この場合、元のＨＲＴＦそのものを上記数式に当てはめれば、復元された信号
【数１０】
2007187749.tif 000012
は余分にスペクトル増幅又は減衰されることになる。このような副作用をここでは「ピーク効果」と呼ぶ。
【００６０】
中間マルチチャンネル入力と出力との関係を調査することによりピーク効果を減衰するための解決法が２つある。いずれの方法も、好適なデコンボリューションフィルタをいかにしてフレーム単位で動的に設計するかという点に焦点を当てている。
【００６１】
以下の説明を簡単にするために、プリプロセッシングモジュールにおいて採用されるＨＲＴＦはｐＨＲＴＦであるとする。その結果、ＨＲＴＦ関連サイド情報は、上記各関連ピーク及びノッチフィルタのパラメータである。各ピーク又はノッチフィルタの周波数範囲が、対応するノッチ又はピークフィルタの周波数範囲と一致する場合、対応するデコンボリューションフィルタも、ピークフィルタとノッチフィルタの直列接続により結合されるものとすることができる。各上記の簡略化及び多重分離されたｐＨＲＴＦパラメータに基づき、各ピーク又はノッチフィルタについて、図６に示されるように、唯一の不明のパラメータが三角形の高さh'になる。
【００６２】
ｐＨＲＴＦ HL0/LfがノッチフィルタHnotch,0を有するとした場合、デコンボリューションのために、それに対応するピークフィルタHpeak,0、すなわち
【数１１】
2007187749.tif 000013
を動的に設計する方法をここに示す。他のデコンボリュートされたピーク及びノッチフィルタも同様に設計することができる。
【００６３】
本発明の実施の形態３として、デコンボリューションピークフィルタHpeak,0は、プリプロセッシングモジュール（５０１）においてフレーム単位で動的に設計される。
【００６４】
この目的のため、各フレームでは、まず、プリプロセッシングモジュールにおいて、図１０に示されるような[Fc−ΔF,Fc＋ΔF]の三角形の範囲内で、中間出力の部分スペクトルL"fが予測される。この予測は、部分スペクトルL0をスケールファクタ
【数１２】
2007187749.tif 000014
でスケーリングすることによりおこなわれる。このとき
【数１３】
2007187749.tif 000015
を満たし、
【数１４】
2007187749.tif 000016
とする。
【００６５】
第２に、各三角形について、部分スペクトルエネルギー
【数１５】
2007187749.tif 000017
が元の信号Lfのエネルギーと近くなるように、三角形の高さh'の最適なデコンボリューションフィルタを求める。すなわち、デコンボリューションフィルタの最適な高さは、以下を最適な目標値として求められる。
【００６６】
【数１６】
2007187749.tif 000018
【００６７】
ただし、
【数１７】
2007187749.tif 000019
とする。
【００６８】
いったん最適なh'opt (dB)が求められると、対応するQ'も
【数１８】
2007187749.tif 000020
により計算できる。
【００６９】
最終的なピークフィルタは、
【数１９】
2007187749.tif 000021
により計算される。
【００７０】
その結果、最終的なデコンボリュートされたチャンネル信号は、
【数２０】
2007187749.tif 000022
である。
【００７１】
上記演算は、ｐＨＲＴＦに係るすべてのピーク及びノッチフィルタについて繰り返される。
【００７２】
例えば、ＤＦＦＴが採用された場合、まずプレミックス結果のスペクトル(L'f)、元の入力(Lf)、ダウンミックス信号(L0)が、例えば、
【数２１】
2007187749.tif 000023
のように計算される。このときNはＦＦＴ分解能とする。
【００７３】
第２に、Hnotch,0の影響をうけた周波数範囲[Fc−ΔF,Fc＋ΔF]を、以下の通り、Hzから対応する周波数係数インデックス [n0,n1]に変換する。
【００７４】
【数２２】
2007187749.tif 000024
【００７５】
このとき
【数２３】
2007187749.tif 000025
及び
【数２４】
2007187749.tif 000026
は、それぞれ下限及び上限演算を示す。
【００７６】
第３に、スペクトルエネルギーL'f及びL0それぞれを以下の通り計算する。
【００７７】
【数２５】
2007187749.tif 000027
【００７８】
第４に、
【数２６】
2007187749.tif 000028
を満たすエネルギースケールファクタαを求める。
【００７９】
最終的にスケーリングされたL0のスペクトル
【数２７】
2007187749.tif 000029
は、中間出力L"ｆの予測部分スペクトルと考えられる。
【００８０】
上記予測結果に基づき、デコンボリューションピークフィルタHpeak,0は動的に更新される。
【００８１】
まず、初期ピークフィルタの高さをノッチフィルタの高さの逆数、つまり、h'l=10h'/20とした場合の数値付きdB単位におけるh'=−hとする。
【００８２】
第２に、h'が相対的な高さであるので、予測スペクトルL"fは、Hpeak,0の平均フィルタゲインにより等化される。すなわち、1/G(dB) 。
【００８３】
第３に、以下の通り、初期ピークフィルタを予測L"fスペクトルのスケーリングに適用する。
【００８４】
【数２８】
2007187749.tif 000030
【００８５】
ここで、ncは、中央周波数Fcに対応する周波数係数インデックス
【数２９】
2007187749.tif 000031
である。
【００８６】
最適な高さHpeak,0を求める上での最小化の問題を解決する方法はいろいろある。その１つは二分探索法、すなわち以下のように最適なh'loptが見つかるまでh'lを繰り返し調整する方法である。
【００８７】
【数３０】
2007187749.tif 000032
【００８８】
ここで、
【数３１】
2007187749.tif 000033
である。
【００８９】
最後に、h'loptをdB単位でh'opt=−20・log10(h'lopt)に変換し、対応するQ'を
【数３２】
2007187749.tif 000034
として計算する。そこでデコンボリューションフィルタは、
【数３３】
2007187749.tif 000035
として構築することができる。
【００９０】
各フレームでは、補助情報としてのすべての最適化されたフィルタの高さ情報h'optが、他の上記情報とともにビットストリームに多重化される。この付加的な補助情報はフィルタの高さ情報であるため、上記の解決法を高さに基づくフィルタ設計法という。
【００９１】
本発明の実施の形態４として、デコンボリューションフィルタは、ポストプロセッシング（モジュール）において動的に設計される。上記のような高さに基づくフィルタ設計とは違って、この場合は本物のサラウンドコーデック出力(L"f)が使用できるが、元の信号(Lf)はない。したがって、部分スペクトルELfを送信する必要がある。よって、この解決法はエネルギーに基づくフィルタ設計法という。全体の枠組みは図１１に示されている。
【００９２】
この場合、デコンボリューションフィルタは、前に説明したのと同様のステップにしたがって設計することができる。  各フレームにおいて、主なステップは以下の通りである。
【００９３】
１）ノッチフィルタに対応する周波数係数インデックスn0及びn1を計算する、
２）時間／周波数変換L"f(n)をおこなう、
３）初期値h'lを使って、以下の通りL"f(k)をスケーリングする、
【数３４】
2007187749.tif 000036
４）
【数３５】
2007187749.tif 000037
を計算する、
５）最適な高さh'optを二分探索し、対応するQ'を計算する。
【００９４】
中間出力、例えばL"f(k)に対する予測処理が省かれているため、高さに基づく方法と比較して、この方法のほうが複雑でない。
【００９５】
しかし、フレーム単位での動的フィルタ修正は、好ましくない副次的悪影響を招く。例えば、過剰なノイズ削減処理により、無音期間を通してなんらかの可聴ノイズ（ノイズバンピングとして知られている現象）が発生する。
【００９６】
本発明の実施の形態５では、ノイズバンピングを避けるために、フレーム単位でのフィルタスペクトル高さの更新ステップサイズを規定の閾値に限定することができる。つまり、i番目のフレームで、デコンボリューションフィルタの高さH'L0/Lf(z)がh'opt,iとすると、以下を満たす。
【００９７】
【数３６】
2007187749.tif 000038
【００９８】
ここで、ξは予め決められた閾値(dB)とする。
【図面の簡単な説明】
【００９９】
【図１】２つのチャンネルのマルチチャンネル音響符号化の原理を示す。
【図２】ダウンミックス信号を複数の個々の信号に分離するマルチステージチャンネル分離を示す。
【図３】マルチチャンネル音響符号化のマルチチャンネルへの拡張を示す。
【図４】１２のＨＲＴＦの定義を示す。
【図５】本発明によるプリプロセッシングモジュール及びデコンボレーションモジュールの追加を示す。
【図６】プレミキシングモードIの枠組みを示す。
【図７】ｐＨＲＴＦノッチフィルタのパラメータ定義を示す。
【図８】プレミキシングモードIIの枠組みを示す。
【図９】信号スペクトルの比較を示す。
【図１０】ｐＨＲＴＦ形式のノッチフィルタと、対応するデコンボリューションピークフィルタの図である。
【図１１】左前チャンネルでのデコンボリューション処理の図である。
【図１】
2007187749.tif 000039
【図２】
2007187749.tif 000040
【図３】
2007187749.tif 000041
【図４】
2007187749.tif 000042
【図５】
2007187749.tif 000043
【図６】
2007187749.tif 000044
【図７】
2007187749.tif 000045
【図８】
2007187749.tif 000046
【図９】
2007187749.tif 000047
【図１０】
2007187749.tif 000048
【図１１】
2007187749.tif 000049
【外国語明細書】
2007187749.tif 000050
2007187749.tif 000051
2007187749.tif 000052
2007187749.tif 000053
2007187749.tif 000054
2007187749.tif 000055
2007187749.tif 000056
2007187749.tif 000057
2007187749.tif 000058
2007187749.tif 000059
2007187749.tif 000060
2007187749.tif 000061
2007187749.tif 000062
2007187749.tif 000063
2007187749.tif 000064
2007187749.tif 000065
2007187749.tif 000066
【図１】
2007187749.tif 000067
【図２】
2007187749.tif 000068
【図３】
2007187749.tif 000069
【図４】
2007187749.tif 000070
【図５】
2007187749.tif 000071
【図６】
2007187749.tif 000072
【図７】
2007187749.tif 000073
【図８】
2007187749.tif 000074
【図９】
2007187749.tif 000075
【図１０】
2007187749.tif 000076
【図１１】
2007187749.tif 000077