(57)【要約】  エネルギー整形装置（６００ａ）は、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と非残響成分を示すダイレクト信号に分割し、ダイレクト信号からダウンミックス信号を生成し、ダウンミックス信号及びサブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成し、帯域通過ダウンミックス信号及び帯域通過拡散信号から正規化ダウンミックス信号及び正規化拡散信号を生成し、予め定められた時間スロット毎に、正規化拡散信号のエネルギーに対する正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出し、正規化拡散信号にスケール係数を乗じることによって、スケール拡散信号を生成し、スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成し、高域通過拡散信号とダイレクト信号とを加算することによって、加算信号を生成し、加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する。【特許請求の範囲】
【請求項１】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形装置であって、
ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタ手段と、
前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス手段と、
前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理手段と、
前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理手段と、
予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出手段と、
前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算手段と、
前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理手段と、
前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算手段と、
前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理手段と
を備えることを特徴とするエネルギー整形装置。
【請求項２】
前記エネルギー整形装置はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化手段を備える
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項３】
前記平滑化手段は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施す
ことを特徴とする請求項２記載のエネルギー整形装置。
【請求項４】
前記エネルギー整形装置はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理手段を備える
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項５】
前記クリップ処理手段は、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施す
ことを特徴とする請求項４記載のエネルギー整形装置。
【請求項６】
前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項７】
前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれない
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項８】
前記エネルギー整形装置はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御手段を備える
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項９】
前記制御手段は、音響フレーム毎にエネルギー整形処理を施すかどうかを示す制御フラグに従って、施さない場合には前記拡散信号を、施す場合には前記高域通過拡散信号を選択し、
前記加算手段は、前記制御手段で選択された信号と前記ダイレクト信号とを加算する
ことを特徴とする請求項８記載のエネルギー整形装置。
【請求項１０】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形方法であって、
ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタステップと、
前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックスステップと、
前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理ステップと、
前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理ステップと、
予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出ステップと、
前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算ステップと、
前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理ステップと、
前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算ステップと、
前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理ステップと
を含むことを特徴とするエネルギー整形方法。
【請求項１１】
前記エネルギー整形方法はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化ステップを含む
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１２】
前記平滑化ステップでは、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施す
ことを特徴とする請求項１１記載のエネルギー整形方法。
【請求項１３】
前記エネルギー整形方法はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理ステップを含む
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１４】
前記クリップ処理ステップでは、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施す
ことを特徴とする請求項１３記載のエネルギー整形方法。
【請求項１５】
前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１６】
前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれない
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１７】
前記エネルギー整形方法はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御ステップを含む
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１８】
前記制御ステップでは、音響フレーム毎にエネルギー整形処理を施すか施さないかを示す制御フラグに従って、施さない場合には前記拡散信号を、施す場合には前記高域通過拡散信号を選択し、
前記加算ステップでは、前記制御ステップで選択された信号と前記ダイレクト信号とを加算する
ことを特徴とする請求項１７記載のエネルギー整形方法。
【請求項１９】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うためのプログラムであって、
請求項１０記載のエネルギー整形方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２０】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うための集積回路であって、
ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタと、
前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス回路と、
前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタと、
前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理回路と、
予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出回路と、
前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算器と、
前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理回路と、
前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算器と、
前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタと
を備えるエネルギー整形装置を集積化したことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エネルギー整形装置及びエネルギー整形方法に関し、特に、マルチチャンネル音響信号の復号化においてエネルギー整形を行う技術に関する。
【背景技術】
【０００２】
近年、ＭＰＥＧオーディオ規格において、Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｅｃ（空間的符号化）といわれる技術が規格化されつつある。これは、非常に少ない情報量で臨場感を示すマルチチャンネル信号を圧縮・符号化することを目的としている。例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要するのに対し、Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル音響信号を圧縮及び符号化することを目指している（例えば、非特許文献１参照）。【０００３】
図１は、空間的符号化の基本原理を用いたオーディオ装置の全体構成を示すブロック図である。【０００４】
オーディオ装置１は、オーディオ信号の組に対する空間音響符号化を行って符号化信号を出力するオーディオエンコーダ１０と、その符号化信号を復号化するオーディオデコーダ２０とを備えている。【０００５】
オーディオエンコーダ１０は、１０２４サンプルや、２０４８サンプルなどによって示されるフレーム単位で、複数チャンネルのオーディオ信号（例えば、２チャンネルのオーディオ信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１と、バイノーラルキュー検出部１２と、エンコーダ１３と、多重化部１４とを備えている。【０００６】
ダウンミックス部１１は、例えば左右２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。【０００７】
バイノーラルキュー検出部１２は、スペクトルバンド毎に、オーディオ信号Ｌ，Ｒ及びダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍを元のオーディオ信号Ｌ，Ｒに戻すためのＢＣ情報（バイノーラルキュー）を生成する。【０００８】
ＢＣ情報は、チャンネル間レベル／強度差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｌｅｖｅｌ／ｉｎｔｅｎｓｉｔｙ  ｄｉｆｆｅｒｅｎｃｅ）を示すレベル情報ＩＩＤと、及びチャンネル間コヒーレンス／相関（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅ／ｃｏｒｒｅｌａｔｉｏｎ）を示す相関情報ＩＣＣと、チャンネル間位相遅延差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｐｈａｓｅ／ｄｅｌａｙ  ｄｉｆｆｅｒｅｎｃｅ）を示す位相情報ＩＰＤとを含む。【０００９】
ここで、相関情報ＩＣＣが２つのオーディオ信号Ｌ，Ｒの類似性を示すのに対し、レベル情報ＩＩＤは相対的なオーディオ信号Ｌ，Ｒの強度を示す。一般に、レベル情報ＩＩＤは、音のバランスや定位を制御するための情報であって、相関情報ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。【００１０】
最新のスペーシャルコーデックにおいては、スペクトル表現されたオーディオ信号Ｌ，Ｒ及びダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、ＢＣ情報は、それぞれのパラメータバンド毎に算出される。なお、「ＢＣ情報（バイノーラルキュー）」と「空間パラメータ」という用語はしばしば同義的に、互換性をもって用いられる。【００１１】
エンコーダ１３は、例えば、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）や、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などによって、ダウンミックス信号Ｍを圧縮符号化する。つまり、エンコーダ１３は、ダウンミックス信号Ｍを符号化して、圧縮された符号化列を生成する。【００１２】
多重化部１４は、ＢＣ情報を量子化すると共に、圧縮されたダウンミックス信号Ｍと、量子化されたＢＣ情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の符号化信号として出力する。【００１３】
オーディオデコーダ２０は、逆多重化部２１と、デコーダ２２と、マルチチャンネル合成部２３とを備えている。【００１４】
逆多重化部２１は、上述のビットストリームを取得し、そのビットストリームから量子化されたＢＣ情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部２１は、量子化されたＢＣ情報を逆量子化して出力する。【００１５】
デコーダ２２は、符号化されたダウンミックス信号Ｍを復号化して、ダウンミックス信号Ｍをマルチチャンネル合成部２３に出力する。【００１６】
マルチチャンネル合成部２３は、デコーダ２２から出力されたダウンミックス信号Ｍと、逆多重化部２１から出力されたＢＣ情報とを取得する。そして、マルチチャンネル合成部２３は、そのＢＣ情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを復元する。これらダウンミックス信号から元の２つの信号を復元する処理は、後述する「チャンネル分離技術」を伴う。【００１７】
なお、上記の例は、エンコーダにおいてどのように二つの信号を１つのダウンミックス信号と空間パラメータの組で表すことができ、空間パラメータとダウンミックス信号を処理することによって、デコーダにおいてどのようにダウンミックス信号を２つの信号に分離することができるのかを説明するにすぎない。その技術は、音響の２より多いチャンネル（例えば、５．１の音源からの６つのチャンネル）を、符号化処理時に１つもしくは２つのダウンミックスチャンネルに圧縮することもでき、復号化処理において復元することができる。【００１８】
すなわち、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げてオーディオ装置１を説明したが、オーディオ装置１は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化及び復号化することもできる。【００１９】
図２は、６チャンネル時におけるマルチチャンネル合成部２３の機能構成を示すブロック図である。【００２０】
マルチチャンネル合成部２３は、例えば、ダウンミックス信号Ｍを６つのチャンネルのオーディオ信号に分離する場合、第１チャンネル分離部２４１と、第２チャンネル分離部２４２と、第３チャンネル分離部２４３と、第４チャンネル分離部２４４と、第５チャンネル分離部２４５とを備える。なお、ダウンミックス信号Ｍは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号Ｃと、視聴者の左前方に配置されるスピーカに対する左前オーディオ信号Ｌｆと、視聴者の右前方に配置されるスピーカに対する右前オーディオ信号Ｒｆと、視聴者の左後方に配置されるスピーカに対する左後オーディオ信号Ｌｓと、視聴者の右後方に配置されるスピーカに対する右後オーディオ信号Ｒｓと、低音出力用サブウーファースピーカに対する低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。【００２１】
第１チャンネル分離部２４１は、ダウンミックス信号Ｍから中間の第１ダウンミックス信号Ｍ１と中間の第４ダウンミックス信号Ｍ４とを分離して出力する。第１ダウンミックス信号Ｍ１は、正面オーディオ信号Ｃと左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。第４ダウンミックス信号Ｍ４は、左後オーディオ信号Ｌｓと右後オーディオ信号Ｒｓとがダウンミックスされて構成されている。【００２２】
第２チャンネル分離部２４２は、第１ダウンミックス信号Ｍ１から中間の第２ダウンミックス信号Ｍ２と中間の第３ダウンミックス信号Ｍ３とを分離して出力する。第２ダウンミックス信号Ｍ２は、左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆとがダウンミックスされて構成されている。第３ダウンミックス信号Ｍ３は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。【００２３】
第３チャンネル分離部２４３は、第２ダウンミックス信号Ｍ２から左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆとを分離して出力する。【００２４】
第４チャンネル分離部２４４は、第３ダウンミックス信号Ｍ３から正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを分離して出力する。【００２５】
第５チャンネル分離部２４５は、第４ダウンミックス信号Ｍ４から左後オーディオ信号Ｌｓと右後オーディオ信号Ｒｓとを分離して出力する。【００２６】
このように、マルチチャンネル合成部２３は、マルチステージの方法によって、各チャンネル分離部で１つのダウンミックス信号を２つのダウンミックス信号に分離するという同一の分離処理を施し、単一のオーディオ信号が分離されるまで再帰的に信号の分離を毎回繰り返す。【００２７】
図３は、マルチチャンネル合成部２３の原理を説明するための機能構成を示す他の機能ブロック図である。【００２８】
マルチチャンネル合成部２３は、オールパスフィルタ２６１と、ＢＣＣ処理部２６２と、演算部２６３とを備えている。【００２９】
オールパスフィルタ２６１は、ダウンミックス信号Ｍを取得して、そのダウンミックス信号Ｍに対して相関性のない無相関信号Ｍｒｅｖを生成して出力する。ダウンミックス信号Ｍと無相関信号Ｍｒｅｖとは、それぞれを聴覚的に比較すると、「相互にインコヒーレント」であるとみなされる。また、無相関信号Ｍｒｅｖはダウンミックス信号Ｍと同じエネルギーを有し、まるで音が広がっているかのような幻覚を作り出す有限時間の残響成分を含む。【００３０】
ＢＣＣ処理部２６２は、ＢＣ情報を取得して、そのＢＣ情報に含まれるレベル情報ＩＩＤや相関情報ＩＣＣなどに基づいて、Ｌ，Ｒ間の相関の程度や、Ｌ，Ｒの指向性を維持するためのミキシング係数Ｈｉｊを生成して出力する。【００３１】
演算部２６３は、ダウンミックス信号Ｍ、無相関信号Ｍｒｅｖ、及びミキシング係数Ｈｉｊを取得して、これらを用いて下記の式（１）に示される演算を行い、オーディオ信号Ｌ，Ｒを出力する。このように、ミキシング係数Ｈｉｊを用いることによって、オーディオ信号Ｌ，Ｒ間の相関の程度や、それらの信号の指向性を、意図した状態にすることができる。【００３２】
【数１】
2007026821.tif 000002
…（１）  【００３３】
図４は、マルチチャンネル合成部２３の詳細な構成を示すブロック図である。なお、デコーダ２２も併せて図示されている。【００３４】
デコーダ２２は、符号化ダウミックス信号を時間領域のダウンミックス信号Ｍに復号化し、復号化したダウンミックス信号Ｍをマルチチャンネル合成部２３に出力する。【００３５】
マルチチャンネル合成部２３は、分析フィルタバンク２３１と、チャンネル拡大部２３２と、時間的処理装置（エネルギー整形装置）９００とを備えている。チャンネル拡大部２３２は、プレマトリックス処理部２３２１、ポストマトリックス処理部２３２２、第１演算部２３２３、無相関処理部２３２４及び第２演算部２３２５によって、構成されている。【００３６】
分析フィルタバンク２３１は、デコーダ２２から出力されたダウンミックス信号Ｍを取得し、そのダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換し、略式のベクトルｘで表される第１周波数帯域信号ｘとして出力する。なお、この分析フィルタバンク２３１は第１ステージ及び第２ステージを備える。例えば、第１ステージはＱＭＦフィルタバンクであり、第２ステージはナイキストフィルタバンクである。これらのステージでは、まずＱＭＦフィルタ（第１のステージ）で複数の周波数帯域に分割し、さらにナイキストフィルタ（第２のステージ）で低周波数側のサブバンドをさらに微細なサブバンドに分けることによって、低周波数サブバンドのスペクトルの分解能を高めている。【００３７】
チャンネル拡大部２３２のプレマトリックス処理部２３２１は、信号強度レベルの各チャンネルへの配分（スケーリング）を示すスケーリングファクタたる行列Ｒ１を、ＢＣ情報を用いて生成する。【００３８】
例えば、プレマトリックス処理部２３２１は、ダウンミックス信号Ｍの信号強度レベルと、第１ダウンミックス信号Ｍ１、第２ダウンミックス信号Ｍ２、第３ダウンミックス信号Ｍ３及び第４ダウンミックス信号Ｍ４の信号強度レベルとの比率を示すレベル情報ＩＩＤを用いて行列Ｒ１を生成する。【００３９】
つまり、プレマトリックス処理部２３２１は、図２に示される第１〜第５チャンネル分離部２４１〜２４５が無相関信号を生成するために用いることができる中間信号を生成することを目的として、入力ダウンミックス信号ＭのエネルギーレベルをスケーリングするＩＬＤ空間パラメータから合成信号Ｍ１からＭ４のＩＬＤ空間的パラメータのベクトルエレメントＲ１［０］からＲ１［４］からなるスケーリング係数のベクトルＲ１を算出する。【００４０】
第１演算部２３２３は、分析フィルタバンク２３１から出力された時間／周波数ハイブリッド表現の第１周波数帯域信号ｘを取得し、例えば、下記式（２）及び式（３）に示すように、その第１周波数帯域信号ｘと行列Ｒ１との積を算出する。そして、第１演算部２３２３は、その行列演算結果を示す中間信号ｖを出力する。つまり、第１演算部２３２３は、分析フィルタバンク２３１から出力された時間／周波数ハイブリッド表現の第１周波数帯域信号ｘから、４つのダウンミックス信号Ｍ１〜Ｍ４を分離する。【００４１】
【数２】
2007026821.tif 000003
…（２）【００４２】
ここで、Ｍ１〜Ｍ４は、下記式（３）で表される。【００４３】
【数３】
2007026821.tif 000004
…（３）【００４４】
無相関処理部２３２４は、図３に示すオールパスフィルタ２６１としての機能を有し、中間信号ｖに対してオールパスフィルタ処理を施すことによって、下記式（４）に示すように、無相関信号ｗを生成して出力する。なお、無相関信号ｗの構成要素Ｍｒｅｖ及びＭｉ，ｒｅｖは、ダウンミックス信号Ｍ，Ｍｉに対して無相関処理が施された信号である。【００４５】
【数４】
2007026821.tif 000005
…（４）【００４６】
なお、上記式（４）のｗＤｒｙは元のダウンミックス信号から構成され（以後「ドライ」信号とも記す。）、ｗＷｅｔは無相関信号の集まりで構成される（以後「ウェット」信号とも記す。）。【００４７】
ポストマトリックス処理部２３２２は、残響の各チャンネルへの配分を示す行列Ｒ２を、ＢＣ情報を用いて生成する。つまり、ポストマトリックス処理部２３２２は、個々の信号を導出するために、ＭとＭｉ，ｒｅｖをミキシングするミキシング係数のマトリックスＲ２を算出する。例えば、ポストマトリックス処理部２３２２は、音像の幅や拡散性を示す相関情報ＩＣＣからミキシング係数Ｈｉｊを導出し、そのミキシング係数Ｈｉｊから構成される行列Ｒ２を生成する。【００４８】
第２演算部２３２５は、無相関信号ｗと行列Ｒ２との積を算出し、その行列演算結果を示す出力信号ｙを出力する。つまり、第２演算部２３２５は、無相関信号ｗから、６つのオーディオ信号Ｌｆ，Ｒｆ，Ｌｓ，Ｒｓ，Ｃ，ＬＦＥを分離する。【００４９】
例えば、図２に示すように、左前オーディオ信号Ｌｆは、第２ダウンミックス信号Ｍ２から分離されるため、その左前オーディオ信号Ｌｆの分離には、第２ダウンミックス信号Ｍ２と、それに対応する無相関信号ｗの構成要素Ｍ２，ｒｅｖとが用いられる。同様に、第２ダウンミックス信号Ｍ２は、第１ダウンミックス信号Ｍ１から分離されるため、その第２ダウンミックス信号Ｍ２の算出には、第１ダウンミックス信号Ｍ１と、それに対応する無相関信号ｗの構成要素Ｍ１，ｒｅｖとが用いられる。【００５０】
したがって、左前オーディオ信号Ｌｆは、下記の式（５）により示される。【００５１】
【数５】
2007026821.tif 000006
…（５）【００５２】
ここで、式（５）中のＨｉｊ，Ａは、第３チャンネル分離部２４３におけるミキシング係数であり、Ｈｉｊ，Ｄは、第２チャンネル分離部２４２におけるミキシング係数であり、Ｈｉｊ，Ｅは、第１チャンネル分離部２４１におけるミキシング係数である。式（５）に示す３つの数式は、以下の式（６）に示す一つのベクトル乗算式にまとめることができる。【００５３】
【数６】
2007026821.tif 000007
…（６）【００５４】
左前オーディオ信号Ｌｆ以外の他のオーディオ信号Ｒｆ，Ｃ，ＬＦＥ，Ｌｓ，Ｒｓも、上述のような行列と無相関信号ｗの行列との演算によって算出される。【００５５】
つまり、出力信号ｙは、下記の式（７）によって示される。【００５６】
【数７】
2007026821.tif 000008
…（７）【００５７】
第１〜第５チャンネル分離部２４１〜２４５からのミキシング係数の倍数集合からなるマトリックスであるＲ２は、マルチチャンネル信号を生成するために、Ｍ、Ｍｒｅｖ、Ｍ２，ｒｅｖ、…  Ｍ４，ｒｅｖを線形結合したようにみられる。後続のエネルギー整形処理のために、ｙＤｒｙとｙＷｅｔは別々に格納される。【００５８】
時間的処理装置９００は、復元された各オーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現の複数のオーディオ信号をマルチチャンネル信号として出力する。なお、時間的処理装置９００は、分析フィルタバンク２３１と整合するように、例えば２つのステージから構成される。また、行列Ｒ１，Ｒ２は、上述のパラメータバンドｂ毎に、行列Ｒ１（ｂ），Ｒ２（ｂ）として生成される。【００５９】
ここで、ウェット信号とドライ信号がマージされる前に、ウェット信号はドライ信号の時間的エンベロープに従って整形される。このモジュール、時間的処理装置９００は、アタック音などのように高速な時間変化特性をもつ信号にとって不可欠なものである。【００６０】
つまり、時間的処理装置９００は、アタック音や音声信号のような時間変化の急激な信号の場合に、音がなまることを改善するために、ダイレクト信号の時間包絡に適合するように、拡散信号の時間包絡を整形した信号とダイレクト信号とを加算して出力することにより、原音の音質を保つ。【００６１】
図５は、図４に示される時間的処理装置９００の詳細な構成を示すブロック図である。【００６２】
図５に示されるように、時間的処理装置９００は、スプリッタ９０１と、合成フィルタバンク９０２，９０３と、ダウンミックス部９０４と、バンドパスフィルタ（ＢＰＦ）９０５，９０６と、正規化処理部９０７，９０８と、スケール算出処理部９０９と、平滑化処理部９１０と、演算部９１１と、ハイパスフィルタ（ＨＰＦ）９１２と、加算部９１３とを備える。【００６３】
スプリッタ９０１は、復元された信号ｙを、下記式（８）、式（９）のようにダイレクト信号ｙｄｉｒｅｃｔと、拡散信号ｙｄｉｆｆｕｓｅとに分割する。【００６４】
【数８】
2007026821.tif 000009
…（８）【００６５】
【数９】
2007026821.tif 000010
…（９）【００６６】
合成フィルタバンク９０２は、６つのダイレクト信号を時間領域へ変換する。合成フィルタバンク９０３は、合成フィルタバンク９０２と同様に、６つの拡散信号を時間領域へ変換する。【００６７】
ダウンミックス部９０４は、下記式（１０）に基づいて、時間領域における６つのダイレクト信号を１つのダイレクトダウンミックス信号Ｍｄｉｒｅｃｔとなるように加算する。【００６８】
【数１０】
2007026821.tif 000011
…（１０）【００６９】
ＢＰＦ９０５は、１つのダイレクトダウンミックス信号に帯域通過処理を施す。ＢＰＦ９０６は、ＢＰＦ９０５と同様に、６つの全ての拡散信号に帯域通過処理を施す。帯域通過処理を施されたダイレクトダウンミックス信号及び拡散信号は下記式（１１）に示される。【００７０】
【数１１】
2007026821.tif 000012
…（１１）【００７１】
正規化処理部９０７は、下記に示される式（１２）に基づいて、ダイレクトダウンミックス信号が１つの処理フレームにわたって１つのエネルギーを有するように正規化する。【００７２】
【数１２】
2007026821.tif 000013
…（１２）【００７３】
正規化処理部９０８は、正規化処理部９０７と同様に、下記に示される式（１３）に基づいて、６つの拡散信号を正規化する。【００７４】
【数１３】
2007026821.tif 000014
…（１３）【００７５】
正規化された信号は、スケール算出処理部９０９において、時間ブロックに分割される。そして、スケール算出処理部９０９は、それぞれの時間ブロックについて、下記式（１４）に基づいてスケール係数を算出する。【００７６】
【数１４】
2007026821.tif 000015
…（１４）【００７７】
なお、図６は、上記式（１４）の時間ブロックｂが「ブロックインデックス」を示す場合の、上記分割処理を示す図である。【００７８】
最後に、前記拡散信号は演算部９１１においてスケーリングされ、以下のように加算部９１３において前記ダイレクト信号に組み合わされる前に、ＨＰＦ９１２において下記式（１５）に基づいて、高域フィルタ処理が施される。【００７９】
【数１５】
2007026821.tif 000016
…（１５）【００８０】
なお、平滑化処理部９１０は、連続した時間ブロックにわたるスケーリング係数の平滑性を高める付加的な技術である。例えば、連続した時間ブロックは、図６中のαで示されるようにそれぞれ重複していてもよく、重複領域において、「重み付けされた」スケール係数は、ウィンドウ機能を用いて演算される。【００８１】
スケーリング処理９１１においても、当業者には周知のそのような公知の重複加算技術を用いることができる。【００８２】
このように従来の時間的処理装置９００では、元の信号それぞれについて時間領域の個々の無相関信号を整形することによる、上記エネルギー整形方法を提示している。
【非特許文献１】Ｊ．  Ｈｅｒｒｅ，  ｅｔ  ａｌ，  ”Ｔｈｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ＭＰＥＧ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，  １１８ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｂａｒｃｅｌｏｎａ
【発明の開示】
【発明が解決しようとする課題】
【００８３】
しかしながら、従来のエネルギー整形装置では、半分がダイレクト信号であり、もう半分が拡散信号である１２の信号に対する合成フィルタ処理を必要とするため、演算負荷が非常に重い。また、様々な帯域及び高域フィルタの使用することはフィルタ処理の遅延を引き起こす。【００８４】
すなわち、従来のエネルギー整形装置では、スプリッタ９０１によって分割されたダイレクト信号と、拡散信号とを合成フィルタバンク９０２，９０３により時間領域の信号にそれぞれ変換している。このため、例えば入力オーディオ信号が６チャンネルの場合、時間フレーム毎に６×２＝１２個の合成フィルタ処理が必要となり、処理量が非常に大きいという問題がある。【００８５】
また、合成フィルタバンク９０２，９０３により変換された時間領域のダイレクト信号及び拡散信号信号について帯域通過処理を施したり、高域通過処理を施しているので、これらの通過処理に要する遅延が発生するという問題もある。【００８６】
そこで本発明は、上述の問題を解決し、合成フィルタ処理の処理量を低減し、通過処理に要する遅延の発生を防止することができるエネルギー整形装置及びエネルギー整形方法を提供することを目的とする。
【課題を解決するための手段】
【００８７】
上記目的を達成するために、本発明に係るエネルギー整形装置においては、マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形装置であって、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタ手段と、前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス手段と、前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理手段と、前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理手段と、予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出手段と、前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算手段と、前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理手段と、前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算手段と、前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理手段とを備えることを特徴とする。【００８８】
このように、合成フィルタ処理を行う前に、各チャンネルのダイレクト信号及び拡散信号について、サブバンド毎に帯域通過処理を行うようにしている。このため、帯域通過処理を単純な乗算で実現することができ、帯域通過処理に要する遅延を防止することができる。しかも、各チャンネルのダイレクト信号及び拡散信号について処理がすんだ後に加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理を行うようにしている。このため、例えば６チャンネルの場合、合成フィルタ処理の個数を６に減らすことができ、合成フィルタ処理の処理量を従来より半減させることができる。【００８９】
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化手段を備えることを特徴とすることができる。【００９０】
これにより、周波数領域で求めたスケール係数の値が急激に変化する、あるいはオーバーフローし、音質劣化を引き起こすという問題の発生を未然に防止することができる。【００９１】
また、本発明に係るエネルギー整形装置においては、前記平滑化手段は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施すことを特徴とすることもできる。【００９２】
これにより、簡単な処理で、周波数領域で求めたスケール係数の値の急激な変化や、オーバーフローを防止することができる。【００９３】
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理手段を備えることを特徴とすることができる。【００９４】
これによっても、周波数領域で求めたスケール係数の値が急激に変化する、あるいはオーバーフローし、音質劣化を引き起こすという問題の発生を未然に防止することができる。【００９５】
また、本発明に係るエネルギー整形装置においては、前記クリップ処理手段は、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施すことを特徴とすることができる。【００９６】
これによっても、簡単な処理で、周波数領域で求めたスケール係数の値の急激な変化や、オーバーフローを防止することができる。【００９７】
また、本発明に係るエネルギー整形装置においては、前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれることを特徴とすることができる。【００９８】
また、本発明に係るエネルギー整形装置においては、前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれないことを特徴とすることができる。【００９９】
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御手段を備えることを特徴とすることができる。  これにより、エネルギー整形を施すか施さないかを切り替えることで、音の時間的変動のシャープさや、音像のしっかりとした定位の両立を実現することができる。【０１００】
また、本発明に係るエネルギー整形装置においては、前記制御手段は、エネルギー整形処理を施すか施さないかを制御する制御フラグに従って、前記拡散信号及び前記高域通過拡散信号のいずれかを選択し、前記加算手段は、前記制御手段で選択された信号と前記ダイレクト信号とを加算することを特徴とすることもできる。【０１０１】
これにより、時々刻々エネルギー整形を施すか施さないかを簡単に切り替えることができる。【０１０２】
なお、本発明は、このようなエネルギー整形装置として実現することができるだけでなく、このようなエネルギー整形装置が備える特徴的な手段をステップとするエネルギー整形方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、エネルギー整形装置が備える特徴的な手段を集積回路化することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【発明の効果】
【０１０３】
以上の説明から明らかなように、本発明に係るエネルギー整形装置によれば、ビットストリームのシンタックスを変形することなく、高音質を維持したまま、合成フィルタ処理の処理量を低減し、通過処理に要する遅延の発生を防止することができる。【０１０４】
よって、本発明により、携帯電話機や携帯情報端末への音楽コンテンツの配信や、視聴が普及してきた今日における本願発明の実用的価値は極めて高い。
【図面の簡単な説明】
【０１０５】
【図１】図１は、空間的符号化の基本原理を用いたオーディオ装置の全体構成を示すブロック図である。
【図２】図２は、６チャンネル時におけるマルチチャンネル合成部２３の機能構成を示すブロック図である。
【図３】図３は、マルチチャンネル合成部２３の原理を説明するための機能構成を示す他の機能ブロック図である。
【図４】図４は、マルチチャンネル合成部２３の詳細な構成を示すブロック図である。
【図５】図５は、図４に示される時間的処理装置９００の詳細な構成を示すブロック図である。
【図６】図６は、従来の整形方法における重複ウィンドウ化処理に基づく平滑化技術を示す図である。
【図７】図７は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
【図８】図８は、サブバンド領域における帯域フィルタ処理及び演算節約のための考慮を示す図である。
【図９】図９は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
【符号の説明】
【０１０６】
６００ａ，６００ｂ  時間的処理装置
６０１  スプリッタ
６０４  ダウンミックス部
６０５，６０６  ＢＰＦ
６０７，６０８正規化処理部
６０９  スケール算出処理部
６１０  平滑化処理部
６１１  演算部
６１２  ＨＰＦ
６１３  加算部
６１４  合成フィルタバンク
６１５  制御部
【発明を実施するための最良の形態】
【０１０７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下に示す実施の形態は、単に様々な進歩性の原理を説明しているにすぎない。ここに記載される詳細の変形は、当業者にとっては明らかであると理解される。よって、本発明は、特許請求項の範囲においてのみ限定されるのであって、以下の具体的、説明的な詳細に限定されるものではないとする。【０１０８】
（実施の形態１）
図７は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。【０１０９】
この時間的処理装置６００ａは、図５の時間的処理装置９００に代えてマルチチャンネル合成部２３を構成する装置であり、図７に示されるように、スプリッタ６０１と、ダウンミックス部６０４と、ＢＰＦ６０５と、ＢＰＦ６０６と、正規化処理部６０７と、正規化処理部６０８と、スケール算出処理部６０９と、平滑化処理部６１０と、演算部６１１と、ＨＰＦ６１２と、加算部６１３と、合成フィルタバンク６１４とを備える。【０１１０】
この時間的処理装置６００ａでは、チャンネル拡大部２３２からのハイブリッド時間・周波数表現されたサブバンド領域での出力信号を直接入力とし、最後に合成フィルタで時間信号に戻すことによって、従来必要とされた合成フィルタ処理負荷の５０パーセントを取り除き、さらに各部での処理を単純化できるように構成されている。【０１１１】
スプリッタ６０１の動作は、図５のスプリッタ９０１と同様であるので説明を省略する。つまり、スプリッタ６０１は、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割する。【０１１２】
ここで、ダイレクト信号には、音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる。また、拡散信号には、音響信号の高周波帯域における残響成分が含まれ、音響信号の低周波成分が含まれない。これにより、アタック音等の時間変化の激しい音に対する適切ななまり防止処理を施すことができる。【０１１３】
非特許文献１記載のダウンミックス部９０４と、本発明におけるダウンミックス部６０４は、処理する信号が時間領域信号か、サブバンド領域信号かの違いがある。しかしながら、どちらも共通の一般的なマルチチャンネルダウンミックス処理手法を用いる。つまり、ダウンミックス部６０４は、ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成する。【０１１４】
ＢＰＦ６０５及びＢＰＦ６０６は、ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成する。【０１１５】
図８に示されるように、ＢＰＦ６０５及びＢＰＦ６０６における帯域フィルタ処理は、帯域フィルタの対応する周波数応答によるそれぞれのサブバンドの単純な乗算に単純化される。広義の意味で、帯域フィルタは乗算器としてみなすことができる。ここで、８００は帯域フィルタの周波数応答を示す。さらにここで乗算演算は、重要な帯域応答をもった領域８０１だけ行うえばよいのでさらに演算量の削減が可能となる。例えば外部ストップバンド領域８０２及び８０３においては、乗算結果は０であると仮定すると、パスバンドの振幅が１である場合、乗算は単純な複製処理とみなすことができる。【０１１６】
つまり、ＢＰＦ６０５及びＢＰＦ６０６における帯域フィルタ処理は、下記式（１６）に基づいて行うことができる。【０１１７】
【数１６】
2007026821.tif 000017
…（１６）【０１１８】
ここで、ｔｓは時間スロットインデックス、ｓｂはサブバンドインデックスである。Ｂａｎｄｐａｓｓ（ｓｐ）は、上記で説明したように単純な乗算器としてもよい。【０１１９】
正規化処理部６０７，６０８は、帯域通過ダウンミックス信号及び帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する。【０１２０】
正規化処理部６０７及び正規化処理部６０８は、非特許文献１開示の正規化処理部９０７及び正規化処理部９０８との違いは、処理する信号の領域が、正規化処理部６０７及び正規化処理部６０８はサブバンド領域の信号、正規化処理部９０７及び正規化処理部９０８は時間領域の信号という点と、以下に示すような複素共役を用いることを除いて、一般的な正規化処理手法、つまり下記式（１７）に従う処理手法である点である。【０１２１】
この場合、サブバンド毎に正規化処理を行う必要があるが、正規化処理部６０７及び正規化処理部６０８の利点により、ゼロのデータをもつ空間領域においては演算が省略される。よって、正規化対象の全サンプルに対して処理しなければならない先行文献開示の正規化モジュールに比べて、全体としては演算負荷の増加はほとんどない。【０１２２】
【数１７】
2007026821.tif 000018
…（１７）【０１２３】
スケール算出処理部６０９は、予め定められた時間スロット毎に、正規化拡散信号のエネルギーに対する正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出する。より具体的には、以下のように、むしろ時間ブロック毎ではなく時間スロット毎に実行されることを除けば、スケール算出処理部６０９の演算もまた、下記式（１８）に示されるように、原則としてスケール算出処理部９０９と同様である。【０１２４】
【数１８】
2007026821.tif 000019
…（１８）【０１２５】
処理対象となる時間領域データがはるかに少ない場合、平滑化処理部９１０の重複ウィンドウ処理に基づく平滑化技術も、平滑化処理部６１０に取って代わられなければならない。【０１２６】
ところが、本実施の形態に係る平滑化処理部６１０の場合、非常に細かい単位で平滑化処理が行われるために、スケール係数を先行文献記載のスケール係数（式（１４））の考え方をそのまま用いると、平滑化の係方が極端に振れる場合があるので、スケール係数自身を平滑化する必要がある。【０１２７】
そのために例えば、下記式（１９）に示されるような単純な低域フィルタが、時間スロット毎にｓｃａｌｅｉ（ｔｓ）の大幅な変動を抑制するために用いることができる。【０１２８】
【数１９】
2007026821.tif 000020
…（１９）【０１２９】
つまり、平滑化処理部６１０は、スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する。より詳しくは、平滑化処理部６１０は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、平滑化処理を施す。【０１３０】
ここで、αは例えば０．４５に設定する。またαの大きさを変えることによって，効果を制御することも可能となる（０≦α≦１）。【０１３１】
上記αの値は、符号化装置側であるオーディオエンコーダ１０から送信することも可能であり、送信側にて平滑化処理を制御可能となり、非常に多岐にわたる効果を出すことが可能となる。もちろん、前記のように予め定められたαの値を平滑化処理装置の中で保持してもよい。【０１３２】
ところで、平滑化処理で処理する信号エネルギーが大きい場合など、特定の帯域にエネルギーが集中して、平滑化処理の出力がオーバーフローする恐れがある。その場合に備えて、例えば下記式（２０）のようにｓｃａｌｅｉ（ｔｓ）のクリッピング処理を行う。【０１３３】
【数２０】
2007026821.tif 000021
…（２０）【０１３４】
ここで、βはクリッピングの係数であり、ｍｉｎ（）、ｍａｘ（）はそれぞれ最小値、最大値を表す。【０１３５】
つまり、このクリップ処理手段（不図示）は、スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、スケール係数に対するクリップ処理を施す。【０１３６】
式（２０）は、各チャンネル毎に計算したｓｃａｌｅｉ（ｔｓ）が、例えばβ＝２．８２の場合には、上限値が２．８２に、下限値が１／２．８２に設定され、その範囲の値に制限されることを意味している。なお、前記閾値である２．８２及び１／２．８２は一例であって、その値に限定するものではない。【０１３７】
演算部６１１は、拡散信号にスケール係数を乗じることによって、スケール拡散信号を生成する。ＨＰＦ６１２は、スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する。加算部６１３は、高域通過拡散信号とダイレクト信号とを加算することによって、加算信号を生成する。【０１３８】
具体的には、演算部６１１、ＨＰＦ６１２及びダイレクト信号との加算部６１３は、それぞれ合成フィルタバンク９０２、ＨＰＦ９１２、及び加算部９１３のように行われる。【０１３９】
しかしながら、上記処理は下記式（２１）に示されるように組み合わせることができる。【０１４０】
【数２１】
2007026821.tif 000022
…（２１）【０１４１】
前述のＢＰＦ６０５及びＢＰＦ６０６における演算節約のための考慮（例えば、ストップバンドにゼロを、パスバンドに複製処理を適用）は、高域フィルタ６１２においても適用可能である。【０１４２】
合成フィルタバンク６１４は、加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する。すなわち、最後に、合成フィルタバンク６１４によって、新しいダイレクト信号ｙ１を時間領域信号に変換する。【０１４３】
なお、本発明に含まれる各構成要素を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などの集積回路によって構成してもよい。【０１４４】
さらに本発明は、これらの装置及び各構成要素における動作をコンピュータに実行させるプログラムとしても実現することができる。【０１４５】
（実施の形態２）
また、本発明を適用するかの決定は、ビットストリーム中のいくつかの制御フラグを設定し、図９に示される時間的処理装置６００ｂの制御部６１５において、そのフラグによって一部復元信号の各フレーム毎に作動させる／作動させないを制御することも可能である。つまり、制御部６１５は、音響信号に対するエネルギー整形を施すか施さないかを時間フレーム毎あるいはチャンネル毎に切り替えるようにしてもよい。これにより、エネルギー整形を施すか施さないかを切り替えることで、音の時間的変動のシャープさや、音像のしっかりとした定位の両立を実現することができる。【０１４６】
このために例えば符号化処理の過程で、音響チャンネルを分析し、急激な変化を伴うエネルギーエンベロープをもっているかどうかの判定を行い、該当する音響チャンネルがある場合は、エネルギー整形が必要であるため、前記制御フラグはオンに設定し、復号時に制御フラグに従い整形処理を適用させるようにしてもよい。【０１４７】
つまり、制御手段６１５は、前記制御フラグに従って、拡散信号及び高域通過拡散信号のいずれかを選択し、加算部６１３は、制御部６１５で選択された信号とダイレクト信号とを加算するようにしてもよい。これにより、時々刻々エネルギー整形を施すか施さないかを簡単に切り替えることができる。
【産業上の利用可能性】
【０１４８】
本発明に係るエネルギー整形装置は、メモリの必要容量を減らし、チップサイズをより小さくすることができる技術であり、ホームシアターシステム、車載音響システム、電子ゲームシステムや携帯電話機等、マルチチャンネル再生が望まれる装置に適用することが可能である。
【図１】
2007026821.tif 000023
【図２】
2007026821.tif 000024
【図３】
2007026821.tif 000025
【図４】
2007026821.tif 000026
【図５】
2007026821.tif 000027
【図６】
2007026821.tif 000028
【図７】
2007026821.tif 000029
【図８】
2007026821.tif 000030
【図９】
2007026821.tif 000031
【手続補正書】
【提出日】平成20年2月27日(2008.2.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形装置であって、
ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタ手段と、
前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス手段と、
前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理手段と、
前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理手段と、
予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出手段と、
前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算手段と、
前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理手段と、
前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算手段と、
前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理手段と
を備えることを特徴とするエネルギー整形装置。
【請求項２】
前記エネルギー整形装置はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化手段を備える
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項３】
前記平滑化手段は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施す
ことを特徴とする請求項２記載のエネルギー整形装置。
【請求項４】
前記エネルギー整形装置はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理手段を備える
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項５】
前記クリップ処理手段は、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施す
ことを特徴とする請求項４記載のエネルギー整形装置。
【請求項６】
前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項７】
前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれない
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項８】
前記エネルギー整形装置はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御手段を備える
ことを特徴とする請求項１記載のエネルギー整形装置。
【請求項９】
前記制御手段は、音響フレーム毎にエネルギー整形処理を施すかどうかを示す制御フラグに従って、施さない場合には前記拡散信号を、施す場合には前記高域通過拡散信号を選択し、
前記加算手段は、前記制御手段で選択された信号と前記ダイレクト信号とを加算する
ことを特徴とする請求項８記載のエネルギー整形装置。
【請求項１０】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形方法であって、
ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタステップと、
前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックスステップと、
前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理ステップと、
前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理ステップと、
予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出ステップと、
前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算ステップと、
前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理ステップと、
前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算ステップと、
前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理ステップと
を含むことを特徴とするエネルギー整形方法。
【請求項１１】
前記エネルギー整形方法はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化ステップを含む
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１２】
前記平滑化ステップでは、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施す
ことを特徴とする請求項１１記載のエネルギー整形方法。
【請求項１３】
前記エネルギー整形方法はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理ステップを含む
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１４】
前記クリップ処理ステップでは、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施す
ことを特徴とする請求項１３記載のエネルギー整形方法。
【請求項１５】
前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１６】
前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれない
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１７】
前記エネルギー整形方法はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御ステップを含む
ことを特徴とする請求項１０記載のエネルギー整形方法。
【請求項１８】
前記制御ステップでは、音響フレーム毎にエネルギー整形処理を施すか施さないかを示す制御フラグに従って、施さない場合には前記拡散信号を、施す場合には前記高域通過拡散信号を選択し、
前記加算ステップでは、前記制御ステップで選択された信号と前記ダイレクト信号とを加算する
ことを特徴とする請求項１７記載のエネルギー整形方法。
【請求項１９】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うためのプログラムであって、
請求項１０記載のエネルギー整形方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２０】
マルチチャンネル音響信号の復号化においてエネルギー整形を行うための集積回路であって、
ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタと、
前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス回路と、
前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタと、
前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理回路と、
予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出回路と、
前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算器と、
前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理回路と、
前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算器と、
前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタと
を備えるエネルギー整形装置を集積化したことを特徴とする集積回路。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エネルギー整形装置及びエネルギー整形方法に関し、特に、マルチチャンネル音響信号の復号化においてエネルギー整形を行う技術に関する。
【背景技術】
【０００２】
近年、ＭＰＥＧオーディオ規格において、Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｅｃ（空間的符号化）といわれる技術が規格化されつつある。これは、非常に少ない情報量で臨場感を示すマルチチャンネル信号を圧縮・符号化することを目的としている。例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要するのに対し、Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル音響信号を圧縮及び符号化することを目指している（例えば、非特許文献１参照）。
【０００３】
図１は、空間的符号化の基本原理を用いたオーディオ装置の全体構成を示すブロック図である。
【０００４】
オーディオ装置１は、オーディオ信号の組に対する空間音響符号化を行って符号化信号を出力するオーディオエンコーダ１０と、その符号化信号を復号化するオーディオデコーダ２０とを備えている。
【０００５】
オーディオエンコーダ１０は、１０２４サンプルや、２０４８サンプルなどによって示されるフレーム単位で、複数チャンネルのオーディオ信号（例えば、２チャンネルのオーディオ信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１と、バイノーラルキュー検出部１２と、エンコーダ１３と、多重化部１４とを備えている。
【０００６】
ダウンミックス部１１は、例えば左右２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。
【０００７】
バイノーラルキュー検出部１２は、スペクトルバンド毎に、オーディオ信号Ｌ，Ｒ及びダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍを元のオーディオ信号Ｌ，Ｒに戻すためのＢＣ情報（バイノーラルキュー）を生成する。
【０００８】
ＢＣ情報は、チャンネル間レベル／強度差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｌｅｖｅｌ／ｉｎｔｅｎｓｉｔｙ  ｄｉｆｆｅｒｅｎｃｅ）を示すレベル情報ＩＩＤと、及びチャンネル間コヒーレンス／相関（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅ／ｃｏｒｒｅｌａｔｉｏｎ）を示す相関情報ＩＣＣと、チャンネル間位相遅延差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｐｈａｓｅ／ｄｅｌａｙ  ｄｉｆｆｅｒｅｎｃｅ）を示す位相情報ＩＰＤとを含む。
【０００９】
ここで、相関情報ＩＣＣが２つのオーディオ信号Ｌ，Ｒの類似性を示すのに対し、レベル情報ＩＩＤは相対的なオーディオ信号Ｌ，Ｒの強度を示す。一般に、レベル情報ＩＩＤは、音のバランスや定位を制御するための情報であって、相関情報ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。
【００１０】
最新のスペーシャルコーデックにおいては、スペクトル表現されたオーディオ信号Ｌ，Ｒ及びダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、ＢＣ情報は、それぞれのパラメータバンド毎に算出される。なお、「ＢＣ情報（バイノーラルキュー）」と「空間パラメータ」という用語はしばしば同義的に、互換性をもって用いられる。
【００１１】
エンコーダ１３は、例えば、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）や、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などによって、ダウンミックス信号Ｍを圧縮符号化する。つまり、エンコーダ１３は、ダウンミックス信号Ｍを符号化して、圧縮された符号化列を生成する。
【００１２】
多重化部１４は、ＢＣ情報を量子化すると共に、圧縮されたダウンミックス信号Ｍと、量子化されたＢＣ情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の符号化信号として出力する。
【００１３】
オーディオデコーダ２０は、逆多重化部２１と、デコーダ２２と、マルチチャンネル合成部２３とを備えている。
【００１４】
逆多重化部２１は、上述のビットストリームを取得し、そのビットストリームから量子化されたＢＣ情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部２１は、量子化されたＢＣ情報を逆量子化して出力する。
【００１５】
デコーダ２２は、符号化されたダウンミックス信号Ｍを復号化して、ダウンミックス信号Ｍをマルチチャンネル合成部２３に出力する。
【００１６】
マルチチャンネル合成部２３は、デコーダ２２から出力されたダウンミックス信号Ｍと、逆多重化部２１から出力されたＢＣ情報とを取得する。そして、マルチチャンネル合成部２３は、そのＢＣ情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを復元する。これらダウンミックス信号から元の２つの信号を復元する処理は、後述する「チャンネル分離技術」を伴う。
【００１７】
なお、上記の例は、エンコーダにおいてどのように二つの信号を１つのダウンミックス信号と空間パラメータの組で表すことができ、空間パラメータとダウンミックス信号を処理することによって、デコーダにおいてどのようにダウンミックス信号を２つの信号に分離することができるのかを説明するにすぎない。その技術は、音響の２より多いチャンネル（例えば、５．１の音源からの６つのチャンネル）を、符号化処理時に１つもしくは２つのダウンミックスチャンネルに圧縮することもでき、復号化処理において復元することができる。
【００１８】
すなわち、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げてオーディオ装置１を説明したが、オーディオ装置１は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化及び復号化することもできる。
【００１９】
図２は、６チャンネル時におけるマルチチャンネル合成部２３の機能構成を示すブロック図である。
【００２０】
マルチチャンネル合成部２３は、例えば、ダウンミックス信号Ｍを６つのチャンネルのオーディオ信号に分離する場合、第１チャンネル分離部２４１と、第２チャンネル分離部２４２と、第３チャンネル分離部２４３と、第４チャンネル分離部２４４と、第５チャンネル分離部２４５とを備える。なお、ダウンミックス信号Ｍは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号Ｃと、視聴者の左前方に配置されるスピーカに対する左前オーディオ信号Ｌｆと、視聴者の右前方に配置されるスピーカに対する右前オーディオ信号Ｒｆと、視聴者の左後方に配置されるスピーカに対する左後オーディオ信号Ｌｓと、視聴者の右後方に配置されるスピーカに対する右後オーディオ信号Ｒｓと、低音出力用サブウーファースピーカに対する低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。
【００２１】
第１チャンネル分離部２４１は、ダウンミックス信号Ｍから中間の第１ダウンミックス信号Ｍ１と中間の第４ダウンミックス信号Ｍ４とを分離して出力する。第１ダウンミックス信号Ｍ１は、正面オーディオ信号Ｃと左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。第４ダウンミックス信号Ｍ４は、左後オーディオ信号Ｌｓと右後オーディオ信号Ｒｓとがダウンミックスされて構成されている。
【００２２】
第２チャンネル分離部２４２は、第１ダウンミックス信号Ｍ１から中間の第２ダウンミックス信号Ｍ２と中間の第３ダウンミックス信号Ｍ３とを分離して出力する。第２ダウンミックス信号Ｍ２は、左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆとがダウンミックスされて構成されている。第３ダウンミックス信号Ｍ３は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。
【００２３】
第３チャンネル分離部２４３は、第２ダウンミックス信号Ｍ２から左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆとを分離して出力する。
【００２４】
第４チャンネル分離部２４４は、第３ダウンミックス信号Ｍ３から正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを分離して出力する。
【００２５】
第５チャンネル分離部２４５は、第４ダウンミックス信号Ｍ４から左後オーディオ信号Ｌｓと右後オーディオ信号Ｒｓとを分離して出力する。
【００２６】
このように、マルチチャンネル合成部２３は、マルチステージの方法によって、各チャンネル分離部で１つのダウンミックス信号を２つのダウンミックス信号に分離するという同一の分離処理を施し、単一のオーディオ信号が分離されるまで再帰的に信号の分離を毎回繰り返す。
【００２７】
図３は、マルチチャンネル合成部２３の原理を説明するための機能構成を示す他の機能ブロック図である。
【００２８】
マルチチャンネル合成部２３は、オールパスフィルタ２６１と、ＢＣＣ処理部２６２と、演算部２６３とを備えている。
【００２９】
オールパスフィルタ２６１は、ダウンミックス信号Ｍを取得して、そのダウンミックス信号Ｍに対して相関性のない無相関信号Ｍｒｅｖを生成して出力する。ダウンミックス信号Ｍと無相関信号Ｍｒｅｖとは、それぞれを聴覚的に比較すると、「相互にインコヒーレント」であるとみなされる。また、無相関信号Ｍｒｅｖはダウンミックス信号Ｍと同じエネルギーを有し、まるで音が広がっているかのような幻覚を作り出す有限時間の残響成分を含む。
【００３０】
ＢＣＣ処理部２６２は、ＢＣ情報を取得して、そのＢＣ情報に含まれるレベル情報ＩＩＤや相関情報ＩＣＣなどに基づいて、Ｌ，Ｒ間の相関の程度や、Ｌ，Ｒの指向性を維持するためのミキシング係数Ｈｉｊを生成して出力する。
【００３１】
演算部２６３は、ダウンミックス信号Ｍ、無相関信号Ｍｒｅｖ、及びミキシング係数Ｈｉｊを取得して、これらを用いて下記の式（１）に示される演算を行い、オーディオ信号Ｌ，Ｒを出力する。このように、ミキシング係数Ｈｉｊを用いることによって、オーディオ信号Ｌ，Ｒ間の相関の程度や、それらの信号の指向性を、意図した状態にすることができる。
【００３２】
【数１】
2007026821.tif 000032
…（１）  
【００３３】
図４は、マルチチャンネル合成部２３の詳細な構成を示すブロック図である。なお、デコーダ２２も併せて図示されている。
【００３４】
デコーダ２２は、符号化ダウンミックス信号を時間領域のダウンミックス信号Ｍに復号化し、復号化したダウンミックス信号Ｍをマルチチャンネル合成部２３に出力する。
【００３５】
マルチチャンネル合成部２３は、分析フィルタバンク２３１と、チャンネル拡大部２３２と、時間的処理装置（エネルギー整形装置）９００とを備えている。チャンネル拡大部２３２は、プレマトリックス処理部２３２１、ポストマトリックス処理部２３２２、第１演算部２３２３、無相関処理部２３２４及び第２演算部２３２５によって、構成されている。
【００３６】
分析フィルタバンク２３１は、デコーダ２２から出力されたダウンミックス信号Ｍを取得し、そのダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換し、略式のベクトルｘで表される第１周波数帯域信号ｘとして出力する。なお、この分析フィルタバンク２３１は第１ステージ及び第２ステージを備える。例えば、第１ステージはＱＭＦフィルタバンクであり、第２ステージはナイキストフィルタバンクである。これらのステージでは、まずＱＭＦフィルタ（第１のステージ）で複数の周波数帯域に分割し、さらにナイキストフィルタ（第２のステージ）で低周波数側のサブバンドをさらに微細なサブバンドに分けることによって、低周波数サブバンドのスペクトルの分解能を高めている。
【００３７】
チャンネル拡大部２３２のプレマトリックス処理部２３２１は、信号強度レベルの各チャンネルへの配分（スケーリング）を示すスケーリングファクタたる行列Ｒ１を、ＢＣ情報を用いて生成する。
【００３８】
例えば、プレマトリックス処理部２３２１は、ダウンミックス信号Ｍの信号強度レベルと、第１ダウンミックス信号Ｍ１、第２ダウンミックス信号Ｍ２、第３ダウンミックス信号Ｍ３及び第４ダウンミックス信号Ｍ４の信号強度レベルとの比率を示すレベル情報ＩＩＤを用いて行列Ｒ１を生成する。
【００３９】
つまり、プレマトリックス処理部２３２１は、図２に示される第１〜第５チャンネル分離部２４１〜２４５が無相関信号を生成するために用いることができる中間信号を生成することを目的として、入力ダウンミックス信号ＭのエネルギーレベルをスケーリングするＩＬＤ空間パラメータから合成信号Ｍ１からＭ４のＩＬＤ空間的パラメータのベクトルエレメントＲ１［０］からＲ１［４］からなるスケーリング係数のベクトルＲ１を算出する。
【００４０】
第１演算部２３２３は、分析フィルタバンク２３１から出力された時間／周波数ハイブリッド表現の第１周波数帯域信号ｘを取得し、例えば、下記式（２）及び式（３）に示すように、その第１周波数帯域信号ｘと行列Ｒ１との積を算出する。そして、第１演算部２３２３は、その行列演算結果を示す中間信号ｖを出力する。つまり、第１演算部２３２３は、分析フィルタバンク２３１から出力された時間／周波数ハイブリッド表現の第１周波数帯域信号ｘから、４つのダウンミックス信号Ｍ１〜Ｍ４を分離する。
【００４１】
【数２】
2007026821.tif 000033
…（２）
【００４２】
ここで、Ｍ１〜Ｍ４は、下記式（３）で表される。
【００４３】
【数３】
2007026821.tif 000034
…（３）
【００４４】
無相関処理部２３２４は、図３に示すオールパスフィルタ２６１としての機能を有し、中間信号ｖに対してオールパスフィルタ処理を施すことによって、下記式（４）に示すように、無相関信号ｗを生成して出力する。なお、無相関信号ｗの構成要素Ｍｒｅｖ及びＭｉ，ｒｅｖは、ダウンミックス信号Ｍ，Ｍｉに対して無相関処理が施された信号である。
【００４５】
【数４】
2007026821.tif 000035
…（４）
【００４６】
なお、上記式（４）のｗＤｒｙは元のダウンミックス信号から構成され（以後「ドライ」信号とも記す。）、ｗＷｅｔは無相関信号の集まりで構成される（以後「ウェット」信号とも記す。）。
【００４７】
ポストマトリックス処理部２３２２は、残響の各チャンネルへの配分を示す行列Ｒ２を、ＢＣ情報を用いて生成する。つまり、ポストマトリックス処理部２３２２は、個々の信号を導出するために、ＭとＭｉ，ｒｅｖをミキシングするミキシング係数のマトリックスＲ２を算出する。例えば、ポストマトリックス処理部２３２２は、音像の幅や拡散性を示す相関情報ＩＣＣからミキシング係数Ｈｉｊを導出し、そのミキシング係数Ｈｉｊから構成される行列Ｒ２を生成する。
【００４８】
第２演算部２３２５は、無相関信号ｗと行列Ｒ２との積を算出し、その行列演算結果を示す出力信号ｙを出力する。つまり、第２演算部２３２５は、無相関信号ｗから、６つのオーディオ信号Ｌｆ，Ｒｆ，Ｌｓ，Ｒｓ，Ｃ，ＬＦＥを分離する。
【００４９】
例えば、図２に示すように、左前オーディオ信号Ｌｆは、第２ダウンミックス信号Ｍ２から分離されるため、その左前オーディオ信号Ｌｆの分離には、第２ダウンミックス信号Ｍ２と、それに対応する無相関信号ｗの構成要素Ｍ２，ｒｅｖとが用いられる。同様に、第２ダウンミックス信号Ｍ２は、第１ダウンミックス信号Ｍ１から分離されるため、その第２ダウンミックス信号Ｍ２の算出には、第１ダウンミックス信号Ｍ１と、それに対応する無相関信号ｗの構成要素Ｍ１，ｒｅｖとが用いられる。
【００５０】
したがって、左前オーディオ信号Ｌｆは、下記の式（５）により示される。
【００５１】
【数５】
2007026821.tif 000036
…（５）
【００５２】
ここで、式（５）中のＨｉｊ，Ａは、第３チャンネル分離部２４３におけるミキシング係数であり、Ｈｉｊ，Ｄは、第２チャンネル分離部２４２におけるミキシング係数であり、Ｈｉｊ，Ｅは、第１チャンネル分離部２４１におけるミキシング係数である。式（５）に示す３つの数式は、以下の式（６）に示す一つのベクトル乗算式にまとめることができる。
【００５３】
【数６】
2007026821.tif 000037
…（６）
【００５４】
左前オーディオ信号Ｌｆ以外の他のオーディオ信号Ｒｆ，Ｃ，ＬＦＥ，Ｌｓ，Ｒｓも、上述のような行列と無相関信号ｗの行列との演算によって算出される。
【００５５】
つまり、出力信号ｙは、下記の式（７）によって示される。
【００５６】
【数７】
2007026821.tif 000038
…（７）
【００５７】
第１〜第５チャンネル分離部２４１〜２４５からのミキシング係数の倍数集合からなるマトリックスであるＲ２は、マルチチャンネル信号を生成するために、Ｍ、Ｍｒｅｖ、Ｍ２，ｒｅｖ、…  Ｍ４，ｒｅｖを線形結合したようにみられる。後続のエネルギー整形処理のために、ｙＤｒｙとｙＷｅｔは別々に格納される。
【００５８】
時間的処理装置９００は、復元された各オーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現の複数のオーディオ信号をマルチチャンネル信号として出力する。なお、時間的処理装置９００は、分析フィルタバンク２３１と整合するように、例えば２つのステージから構成される。また、行列Ｒ１，Ｒ２は、上述のパラメータバンドｂ毎に、行列Ｒ１（ｂ），Ｒ２（ｂ）として生成される。
【００５９】
ここで、ウェット信号とドライ信号がマージされる前に、ウェット信号はドライ信号の時間的エンベロープに従って整形される。このモジュール、時間的処理装置９００は、アタック音などのように高速な時間変化特性をもつ信号にとって不可欠なものである。
【００６０】
つまり、時間的処理装置９００は、アタック音や音声信号のような時間変化の急激な信号の場合に、音がなまることを改善するために、ダイレクト信号の時間包絡に適合するように、拡散信号の時間包絡を整形した信号とダイレクト信号とを加算して出力することにより、原音の音質を保つ。
【００６１】
図５は、図４に示される時間的処理装置９００の詳細な構成を示すブロック図である。
【００６２】
図５に示されるように、時間的処理装置９００は、スプリッタ９０１と、合成フィルタバンク９０２，９０３と、ダウンミックス部９０４と、バンドパスフィルタ（ＢＰＦ）９０５，９０６と、正規化処理部９０７，９０８と、スケール算出処理部９０９と、平滑化処理部９１０と、演算部９１１と、ハイパスフィルタ（ＨＰＦ）９１２と、加算部９１３とを備える。
【００６３】
スプリッタ９０１は、復元された信号ｙを、下記式（８）、式（９）のようにダイレクト信号ｙｄｉｒｅｃｔと、拡散信号ｙｄｉｆｆｕｓｅとに分割する。
【００６４】
【数８】
2007026821.tif 000039
…（８）
【００６５】
【数９】
2007026821.tif 000040
…（９）
【００６６】
合成フィルタバンク９０２は、６つのダイレクト信号を時間領域へ変換する。合成フィルタバンク９０３は、合成フィルタバンク９０２と同様に、６つの拡散信号を時間領域へ変換する。
【００６７】
ダウンミックス部９０４は、下記式（１０）に基づいて、時間領域における６つのダイレクト信号を１つのダイレクトダウンミックス信号Ｍｄｉｒｅｃｔとなるように加算する。
【００６８】
【数１０】
2007026821.tif 000041
…（１０）
【００６９】
ＢＰＦ９０５は、１つのダイレクトダウンミックス信号に帯域通過処理を施す。ＢＰＦ９０６は、ＢＰＦ９０５と同様に、６つの全ての拡散信号に帯域通過処理を施す。帯域通過処理を施されたダイレクトダウンミックス信号及び拡散信号は下記式（１１）に示される。
【００７０】
【数１１】
2007026821.tif 000042
…（１１）
【００７１】
正規化処理部９０７は、下記に示される式（１２）に基づいて、ダイレクトダウンミックス信号が１つの処理フレームにわたって１つのエネルギーを有するように正規化する。
【００７２】
【数１２】
2007026821.tif 000043
…（１２）
【００７３】
正規化処理部９０８は、正規化処理部９０７と同様に、下記に示される式（１３）に基づいて、６つの拡散信号を正規化する。
【００７４】
【数１３】
2007026821.tif 000044
…（１３）
【００７５】
正規化された信号は、スケール算出処理部９０９において、時間ブロックに分割される。そして、スケール算出処理部９０９は、それぞれの時間ブロックについて、下記式（１４）に基づいてスケール係数を算出する。
【００７６】
【数１４】
2007026821.tif 000045
…（１４）
【００７７】
なお、図６は、上記式（１４）の時間ブロックｂが「ブロックインデックス」を示す場合の、上記分割処理を示す図である。
【００７８】
最後に、前記拡散信号は演算部９１１においてスケーリングされ、以下のように加算部９１３において前記ダイレクト信号に組み合わされる前に、ＨＰＦ９１２において下記式（１５）に基づいて、高域フィルタ処理が施される。
【００７９】
【数１５】
2007026821.tif 000046
…（１５）
【００８０】
なお、平滑化処理部９１０は、連続した時間ブロックにわたるスケーリング係数の平滑性を高める付加的な技術である。例えば、連続した時間ブロックは、図６中のαで示されるようにそれぞれ重複していてもよく、重複領域において、「重み付けされた」スケール係数は、ウィンドウ機能を用いて演算される。
【００８１】
スケーリング処理９１１においても、当業者には周知のそのような公知の重複加算技術を用いることができる。
【００８２】
このように従来の時間的処理装置９００では、元の信号それぞれについて時間領域の個々の無相関信号を整形することによる、上記エネルギー整形方法を提示している。
【非特許文献１】Ｊ．  Ｈｅｒｒｅ，  ｅｔ  ａｌ，  “Ｔｈｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ＭＰＥＧ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，  １１８ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｂａｒｃｅｌｏｎａ
【発明の開示】
【発明が解決しようとする課題】
【００８３】
しかしながら、従来のエネルギー整形装置では、半分がダイレクト信号であり、もう半分が拡散信号である１２の信号に対する合成フィルタ処理を必要とするため、演算負荷が非常に重い。また、様々な帯域及び高域フィルタの使用することはフィルタ処理の遅延を引き起こす。
【００８４】
すなわち、従来のエネルギー整形装置では、スプリッタ９０１によって分割されたダイレクト信号と、拡散信号とを合成フィルタバンク９０２，９０３により時間領域の信号にそれぞれ変換している。このため、例えば入力オーディオ信号が６チャンネルの場合、時間フレーム毎に６×２＝１２個の合成フィルタ処理が必要となり、処理量が非常に大きいという問題がある。
【００８５】
また、合成フィルタバンク９０２，９０３により変換された時間領域のダイレクト信号及び拡散信号信号について帯域通過処理を施したり、高域通過処理を施しているので、これらの通過処理に要する遅延が発生するという問題もある。
【００８６】
そこで本発明は、上述の問題を解決し、合成フィルタ処理の処理量を低減し、通過処理に要する遅延の発生を防止することができるエネルギー整形装置及びエネルギー整形方法を提供することを目的とする。
【課題を解決するための手段】
【００８７】
上記目的を達成するために、本発明に係るエネルギー整形装置においては、マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形装置であって、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタ手段と、前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス手段と、前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理手段と、前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理手段と、予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出手段と、前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算手段と、前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理手段と、前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算手段と、前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理手段とを備えることを特徴とする。
【００８８】
このように、合成フィルタ処理を行う前に、各チャンネルのダイレクト信号及び拡散信号について、サブバンド毎に帯域通過処理を行うようにしている。このため、帯域通過処理を単純な乗算で実現することができ、帯域通過処理に要する遅延を防止することができる。しかも、各チャンネルのダイレクト信号及び拡散信号について処理がすんだ後に加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理を行うようにしている。このため、例えば６チャンネルの場合、合成フィルタ処理の個数を６に減らすことができ、合成フィルタ処理の処理量を従来より半減させることができる。
【００８９】
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化手段を備えることを特徴とすることができる。
【００９０】
これにより、周波数領域で求めたスケール係数の値が急激に変化する、あるいはオーバーフローし、音質劣化を引き起こすという問題の発生を未然に防止することができる。
【００９１】
また、本発明に係るエネルギー整形装置においては、前記平滑化手段は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施すことを特徴とすることもできる。
【００９２】
これにより、簡単な処理で、周波数領域で求めたスケール係数の値の急激な変化や、オーバーフローを防止することができる。
【００９３】
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理手段を備えることを特徴とすることができる。
【００９４】
これによっても、周波数領域で求めたスケール係数の値が急激に変化する、あるいはオーバーフローし、音質劣化を引き起こすという問題の発生を未然に防止することができる。
【００９５】
また、本発明に係るエネルギー整形装置においては、前記クリップ処理手段は、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施すことを特徴とすることができる。
【００９６】
これによっても、簡単な処理で、周波数領域で求めたスケール係数の値の急激な変化や、オーバーフローを防止することができる。
【００９７】
また、本発明に係るエネルギー整形装置においては、前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれることを特徴とすることができる。
【００９８】
また、本発明に係るエネルギー整形装置においては、前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれないことを特徴とすることができる。
【００９９】
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御手段を備えることを特徴とすることができる。これにより、エネルギー整形を施すか施さないかを切り替えることで、音の時間的変動のシャープさや、音像のしっかりとした定位の両立を実現することができる。
【０１００】
また、本発明に係るエネルギー整形装置においては、前記制御手段は、エネルギー整形処理を施すか施さないかを制御する制御フラグに従って、前記拡散信号及び前記高域通過拡散信号のいずれかを選択し、前記加算手段は、前記制御手段で選択された信号と前記ダイレクト信号とを加算することを特徴とすることもできる。
【０１０１】
これにより、時々刻々エネルギー整形を施すか施さないかを簡単に切り替えることができる。
【０１０２】
なお、本発明は、このようなエネルギー整形装置として実現することができるだけでなく、このようなエネルギー整形装置が備える特徴的な手段をステップとするエネルギー整形方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、エネルギー整形装置が備える特徴的な手段を集積回路化することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【発明の効果】
【０１０３】
以上の説明から明らかなように、本発明に係るエネルギー整形装置によれば、ビットストリームのシンタックスを変形することなく、高音質を維持したまま、合成フィルタ処理の処理量を低減し、通過処理に要する遅延の発生を防止することができる。
【０１０４】
よって、本発明により、携帯電話機や携帯情報端末への音楽コンテンツの配信や、視聴が普及してきた今日における本願発明の実用的価値は極めて高い。
【発明を実施するための最良の形態】
【０１０５】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下に示す実施の形態は、単に様々な進歩性の原理を説明しているにすぎない。ここに記載される詳細の変形は、当業者にとっては明らかであると理解される。よって、本発明は、特許請求項の範囲においてのみ限定されるのであって、以下の具体的、説明的な詳細に限定されるものではないとする。
【０１０６】
（実施の形態１）
図７は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
【０１０７】
この時間的処理装置６００ａは、図５の時間的処理装置９００に代えてマルチチャンネル合成部２３を構成する装置であり、図７に示されるように、スプリッタ６０１と、ダウンミックス部６０４と、ＢＰＦ６０５と、ＢＰＦ６０６と、正規化処理部６０７と、正規化処理部６０８と、スケール算出処理部６０９と、平滑化処理部６１０と、演算部６１１と、ＨＰＦ６１２と、加算部６１３と、合成フィルタバンク６１４とを備える。
【０１０８】
この時間的処理装置６００ａでは、チャンネル拡大部２３２からのハイブリッド時間・周波数表現されたサブバンド領域での出力信号を直接入力とし、最後に合成フィルタで時間信号に戻すことによって、従来必要とされた合成フィルタ処理負荷の５０パーセントを取り除き、さらに各部での処理を単純化できるように構成されている。
【０１０９】
スプリッタ６０１の動作は、図５のスプリッタ９０１と同様であるので説明を省略する。つまり、スプリッタ６０１は、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割する。
【０１１０】
ここで、ダイレクト信号には、音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる。また、拡散信号には、音響信号の高周波帯域における残響成分が含まれ、音響信号の低周波成分が含まれない。これにより、アタック音等の時間変化の激しい音に対する適切ななまり防止処理を施すことができる。
【０１１１】
非特許文献１記載のダウンミックス部９０４と、本発明におけるダウンミックス部６０４は、処理する信号が時間領域信号か、サブバンド領域信号かの違いがある。しかしながら、どちらも共通の一般的なマルチチャンネルダウンミックス処理手法を用いる。つまり、ダウンミックス部６０４は、ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成する。
【０１１２】
ＢＰＦ６０５及びＢＰＦ６０６は、ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成する。
【０１１３】
図８に示されるように、ＢＰＦ６０５及びＢＰＦ６０６における帯域フィルタ処理は、帯域フィルタの対応する周波数応答によるそれぞれのサブバンドの単純な乗算に単純化される。広義の意味で、帯域フィルタは乗算器としてみなすことができる。ここで、８００は帯域フィルタの周波数応答を示す。さらにここで乗算演算は、重要な帯域応答をもった領域８０１だけ行えばよいのでさらに演算量の削減が可能となる。例えば外部ストップバンド領域８０２及び８０３においては、乗算結果は０であると仮定すると、パスバンドの振幅が１である場合、乗算は単純な複製処理とみなすことができる。
【０１１４】
つまり、ＢＰＦ６０５及びＢＰＦ６０６における帯域フィルタ処理は、下記式（１６）に基づいて行うことができる。
【０１１５】
【数１６】
2007026821.tif 000047
…（１６）
【０１１６】
ここで、ｔｓは時間スロットインデックス、ｓｂはサブバンドインデックスである。Ｂａｎｄｐａｓｓ（ｓｐ）は、上記で説明したように単純な乗算器としてもよい。
【０１１７】
正規化処理部６０７，６０８は、帯域通過ダウンミックス信号及び帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する。
【０１１８】
正規化処理部６０７及び正規化処理部６０８は、非特許文献１開示の正規化処理部９０７及び正規化処理部９０８との違いは、処理する信号の領域が、正規化処理部６０７及び正規化処理部６０８はサブバンド領域の信号、正規化処理部９０７及び正規化処理部９０８は時間領域の信号という点と、以下に示すような複素共役を用いることを除いて、一般的な正規化処理手法、つまり下記式（１７）に従う処理手法である点である。
【０１１９】
この場合、サブバンド毎に正規化処理を行う必要があるが、正規化処理部６０７及び正規化処理部６０８の利点により、ゼロのデータをもつ空間領域においては演算が省略される。よって、正規化対象の全サンプルに対して処理しなければならない先行文献開示の正規化モジュールに比べて、全体としては演算負荷の増加はほとんどない。
【０１２０】
【数１７】
2007026821.tif 000048
…（１７）
【０１２１】
スケール算出処理部６０９は、予め定められた時間スロット毎に、正規化拡散信号のエネルギーに対する正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出する。より具体的には、以下のように、むしろ時間ブロック毎ではなく時間スロット毎に実行されることを除けば、スケール算出処理部６０９の演算もまた、下記式（１８）に示されるように、原則としてスケール算出処理部９０９と同様である。
【０１２２】
【数１８】
2007026821.tif 000049
…（１８）
【０１２３】
処理対象となる時間領域データがはるかに少ない場合、平滑化処理部９１０の重複ウィンドウ処理に基づく平滑化技術も、平滑化処理部６１０に取って代わられなければならない。
【０１２４】
ところが、本実施の形態に係る平滑化処理部６１０の場合、非常に細かい単位で平滑化処理が行われるために、スケール係数を先行文献記載のスケール係数（式（１４））の考え方をそのまま用いると、平滑化の係方が極端に振れる場合があるので、スケール係数自身を平滑化する必要がある。
【０１２５】
そのために例えば、下記式（１９）に示されるような単純な低域フィルタが、時間スロット毎にｓｃａｌｅｉ（ｔｓ）の大幅な変動を抑制するために用いることができる。
【０１２６】
【数１９】
2007026821.tif 000050
…（１９）
【０１２７】
つまり、平滑化処理部６１０は、スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する。より詳しくは、平滑化処理部６１０は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、平滑化処理を施す。
【０１２８】
ここで、αは例えば０．４５に設定する。またαの大きさを変えることによって、効果を制御することも可能となる（０≦α≦１）。
【０１２９】
上記αの値は、符号化装置側であるオーディオエンコーダ１０から送信することも可能であり、送信側にて平滑化処理を制御可能となり、非常に多岐にわたる効果を出すことが可能となる。もちろん、前記のように予め定められたαの値を平滑化処理装置の中で保持してもよい。
【０１３０】
ところで、平滑化処理で処理する信号エネルギーが大きい場合など、特定の帯域にエネルギーが集中して、平滑化処理の出力がオーバーフローする恐れがある。その場合に備えて、例えば下記式（２０）のようにｓｃａｌｅｉ（ｔｓ）のクリッピング処理を行う。
【０１３１】
【数２０】
2007026821.tif 000051
…（２０）
【０１３２】
ここで、βはクリッピングの係数であり、ｍｉｎ（）、ｍａｘ（）はそれぞれ最小値、最大値を表す。
【０１３３】
つまり、このクリップ処理手段（不図示）は、スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、スケール係数に対するクリップ処理を施す。
【０１３４】
式（２０）は、各チャンネル毎に計算したｓｃａｌｅｉ（ｔｓ）が、例えばβ＝２．８２の場合には、上限値が２．８２に、下限値が１／２．８２に設定され、その範囲の値に制限されることを意味している。なお、前記閾値である２．８２及び１／２．８２は一例であって、その値に限定するものではない。
【０１３５】
演算部６１１は、拡散信号にスケール係数を乗じることによって、スケール拡散信号を生成する。ＨＰＦ６１２は、スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する。加算部６１３は、高域通過拡散信号とダイレクト信号とを加算することによって、加算信号を生成する。
【０１３６】
具体的には、演算部６１１、ＨＰＦ６１２及びダイレクト信号との加算部６１３は、それぞれ合成フィルタバンク９０２、ＨＰＦ９１２、及び加算部９１３のように行われる。
【０１３７】
しかしながら、上記処理は下記式（２１）に示されるように組み合わせることができる。
【０１３８】
【数２１】
2007026821.tif 000052
…（２１）
【０１３９】
前述のＢＰＦ６０５及びＢＰＦ６０６における演算節約のための考慮（例えば、ストップバンドにゼロを、パスバンドに複製処理を適用）は、高域フィルタ６１２においても適用可能である。
【０１４０】
合成フィルタバンク６１４は、加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する。すなわち、最後に、合成フィルタバンク６１４によって、新しいダイレクト信号ｙ１を時間領域信号に変換する。
【０１４１】
なお、本発明に含まれる各構成要素を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などの集積回路によって構成してもよい。
【０１４２】
さらに本発明は、これらの装置及び各構成要素における動作をコンピュータに実行させるプログラムとしても実現することができる。
【０１４３】
（実施の形態２）
また、本発明を適用するかの決定は、ビットストリーム中のいくつかの制御フラグを設定し、図９に示される時間的処理装置６００ｂの制御部６１５において、そのフラグによって一部復元信号の各フレーム毎に作動させる／作動させないを制御することも可能である。つまり、制御部６１５は、音響信号に対するエネルギー整形を施すか施さないかを時間フレーム毎あるいはチャンネル毎に切り替えるようにしてもよい。これにより、エネルギー整形を施すか施さないかを切り替えることで、音の時間的変動のシャープさや、音像のしっかりとした定位の両立を実現することができる。
【０１４４】
このために例えば符号化処理の過程で、音響チャンネルを分析し、急激な変化を伴うエネルギーエンベロープをもっているかどうかの判定を行い、該当する音響チャンネルがある場合は、エネルギー整形が必要であるため、前記制御フラグはオンに設定し、復号時に制御フラグに従い整形処理を適用させるようにしてもよい。
【０１４５】
つまり、制御部６１５は、前記制御フラグに従って、拡散信号及び高域通過拡散信号のいずれかを選択し、加算部６１３は、制御部６１５で選択された信号とダイレクト信号とを加算するようにしてもよい。これにより、時々刻々エネルギー整形を施すか施さないかを簡単に切り替えることができる。
【産業上の利用可能性】
【０１４６】
本発明に係るエネルギー整形装置は、メモリの必要容量を減らし、チップサイズをより小さくすることができる技術であり、ホームシアターシステム、車載音響システム、電子ゲームシステムや携帯電話機等、マルチチャンネル再生が望まれる装置に適用することが可能である。
【図面の簡単な説明】
【０１４７】
【図１】図１は、空間的符号化の基本原理を用いたオーディオ装置の全体構成を示すブロック図である。
【図２】図２は、６チャンネル時におけるマルチチャンネル合成部２３の機能構成を示すブロック図である。
【図３】図３は、マルチチャンネル合成部２３の原理を説明するための機能構成を示す他の機能ブロック図である。
【図４】図４は、マルチチャンネル合成部２３の詳細な構成を示すブロック図である。
【図５】図５は、図４に示される時間的処理装置９００の詳細な構成を示すブロック図である。
【図６】図６は、従来の整形方法における重複ウィンドウ化処理に基づく平滑化技術を示す図である。
【図７】図７は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
【図８】図８は、サブバンド領域における帯域フィルタ処理及び演算節約のための考慮を示す図である。
【図９】図９は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
【符号の説明】
【０１４８】
６００ａ，６００ｂ  時間的処理装置
６０１  スプリッタ
６０４  ダウンミックス部
６０５，６０６  ＢＰＦ
６０７，６０８正規化処理部
６０９  スケール算出処理部
６１０  平滑化処理部
６１１  演算部
６１２  ＨＰＦ
６１３  加算部
６１４  合成フィルタバンク
６１５  制御部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007026821.tif 000053
【図２】
2007026821.tif 000054
【図３】
2007026821.tif 000055
【図４】
2007026821.tif 000056
【図５】
2007026821.tif 000057
【図６】
2007026821.tif 000058
【図７】
2007026821.tif 000059
【図８】
2007026821.tif 000060
【図９】
2007026821.tif 000061
【国際調査報告】
2007026821.tif 000062
2007026821.tif 000063