(57)【特許請求の範囲】
【請求項１】
複数の音声チャネル信号をダウンミクスして得られるダウンミクスチャネル信号から、複数の前記音声チャネル信号を復号化する音声信号復号化装置であって、
ダウンミクスチャネル信号を、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換するダウンミクス信号変換手段と、
所定の上限周波数までを低ビット量に量子化、符号化された音声チャネル信号を前記時間−周波数表現に変換する音声チャネル信号変換手段と、
変換後の前記ダウンミクスチャネル信号と、変換後の前記音声チャネル信号とを、前記所定の上限周波数までの帯域ごとにプレミキシングすることによってプレミキシングチャネル信号を生成するプレミキシング手段と、
音声チャネル信号間の空間的特徴を表す空間音声情報に基づいて所定の処理を施された前記ダウンミクスチャネル信号と、生成された前記プレミキシングチャネル信号とを前記所定の上限周波数より高域の帯域ごとにミキシングすることによって、ミキシングチャネル信号を生成するミキシング手段と、
前記ミキシングチャネル信号を、複数の前記音声チャネル信号に変換するミキシングチャネル信号変換手段と
を備えることを特徴とする音声信号復号化装置。
【請求項２】
前記空間音声情報は、時間軸方向への境界と、周波数方向への境界とによって区切られた領域に対して、それぞれ与えられる
ことを特徴とする請求項１記載の音声信号復号化装置。
【請求項３】
前記時間方向への境界の数は、周波数方向に設定されたセクションごとに異なる
ことを特徴とする請求項２記載の音声信号復号化装置。
【請求項４】
前記空間音声情報はさらに、チャネル間の干渉性を示す成分を含み、前記ミキシング手段は、前記チャネル間の干渉性を示す成分によって示される割合でミキシングする
ことを特徴とする請求項１記載の音声信号復号化装置。
【請求項５】
前記空間音声情報に基づく所定の処理は、ダウンミクス信号に対して残響成分を生成付加する処理を含み、
残響成分を生成する前記処理は、前記チャネル間の干渉性を示す成分によって制御される
ことを特徴とする請求項４記載の音声信号復号化装置。
【請求項６】
全ての周波数帯域について、前記ミキシングチャネル信号のゲイン係数を導出するために、前記ミキシングチャネル信号のエネルギーを算出し、当該ゲイン係数を前記周波数帯域におけるミキシング信号に乗算する
ことを特徴とする請求項１記載の音声信号復号化装置。
【請求項７】
前記上限周波数は、符号化のビットレートに合わせて決定されている
ことを特徴とする請求項４記載の音声信号復号化装置。
【請求項８】
前記ダウンミクス信号変換手段および音声チャネル信号変換手段は、ＱＭＦ手段であり、前記ミキシングチャネル信号変換手段は、逆ＱＭＦ手段である
ことを特徴とする請求項１記載の音声信号復号化装置。
【請求項９】
複数の音声チャネル信号を前記音声チャネル信号間の空間的特徴を表す空間音声情報とともに符号化する音声信号符号化装置であって、
複数の前記音声チャネル信号をダウンミクスすることによって、ダウンミクスチャネル信号を生成するダウンミクス手段と、
複数の前記音声チャネル信号と、生成された前記ダウンミクスチャネル信号とを、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換する信号変換手段と、
所定の時間−周波数領域ごとに、複数の前記音声チャネル信号を比較して、前記空間音声情報を算出する空間音声情報算出手段と、
前記ダウンミクスチャネル信号と前記空間音声情報とを符号化する第１符号化手段と、
複数の前記音声チャネル信号の所定の上限周波数までの帯域成分を低ビット量に量子化した後、符号化する第２符号化手段と
を備えることを特徴とする音声信号符号化装置。
【請求項１０】
前記時間−周波数領域の時間境界は、前記音声チャネル信号および前記ダウンミクスチャネルのいずれかの信号のエネルギーに、急激な変化が生じる時間的位置に配置される
ことを特徴とする請求項９記載の音声信号符号化装置。
【請求項１１】
前記空間音声情報は、前記時間境界と前記周波数の境界とによって区切られる領域ごとに算出される
ことを特徴とする請求項９記載の音声信号符号化装置。
【請求項１２】
前記空間音声情報のうち、音が両耳に届くまでの時間差を示す成分は、各音声チャネルの帯域ごとに算出される
ことを特徴とする請求項９記載の音声信号符号化装置。
【請求項１３】
前記空間音声情報のうち、前記音声チャネル信号間の干渉性を示す成分は、前記複数の音声チャネル信号の相関性として算出される
ことを特徴とする請求項９記載の音声信号符号化装置。
【請求項１４】
複数の音声チャネル信号をダウンミクスして得られるダウンミクスチャネル信号から、複数の前記音声チャネル信号を復号化する音声信号復号化方法であって、
ダウンミクスチャネル信号を、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換し、
所定の上限周波数までを低ビット量に量子化された音声チャネル信号を前記時間−周波数表現に変換し、
変換後の前記ダウンミクスチャネル信号と、変換後の前記音声チャネル信号とを、前記所定の上限周波数までの帯域ごとにプレミキシングすることによってプレミキシングチャネル信号を生成し、
音声チャネル信号間の空間的特徴を表す空間音声情報に基づいて所定の処理を施された前記ダウンミクスチャネル信号と、生成された前記プレミキシングチャネル信号とを前記所定の上限周波数より高域の帯域ごとにミキシングすることによって、ミキシングチャネル信号を生成し、
前記ミキシングチャネル信号を、複数の前記音声チャネル信号に変換する
ことを特徴とする音声信号復号化方法。
【請求項１５】
複数の音声チャネル信号を前記音声チャネル信号間の空間的特徴を表す空間音声情報とともに符号化する音声信号符号化方法であって、
複数の前記音声チャネル信号をダウンミクスすることによって、ダウンミクスチャネル信号を生成し、
複数の前記音声チャネル信号と、生成された前記ダウンミクスチャネル信号とを、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換し、
所定の時間−周波数領域ごとに、複数の前記音声チャネル信号を比較して、前記空間音声情報を算出し、
前記ダウンミクスチャネル信号と前記空間音声情報とを符号化し、
複数の前記音声チャネル信号の所定の上限周波数までの成分を低ビット量に量子化した後、符号化する
ことを特徴とする音声信号符号化方法。
【請求項１６】
複数の音声チャネル信号をダウンミクスして得られるダウンミクスチャネル信号から、複数の前記音声チャネル信号を復号化する音声信号復号化装置のためのプログラムであって、
ダウンミクスチャネル信号を、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換するステップと、所定の上限周波数までを低ビット量に量子化された音声チャネル信号を前記時間−周波数表現に変換するステップと、変換後の前記ダウンミクスチャネル信号と、変換後の前記音声チャネル信号とを、前記所定の上限周波数までの帯域ごとにプレミキシングすることによってプレミキシングチャネル信号を生成するステップと、音声チャネル信号間の空間的特徴を表す空間音声情報に基づいて所定の処理を施された前記ダウンミクスチャネル信号と、生成された前記プレミキシングチャネル信号とを前記所定の上限周波数より高域の帯域ごとにミキシングすることによって、ミキシングチャネル信号を生成するステップと、前記ミキシングチャネル信号を、複数の前記音声チャネル信号に変換するステップとをコンピュータに実行させるプログラム。
【請求項１７】
複数の音声チャネル信号を前記音声チャネル信号間の空間的特徴を表す空間音声情報とともに符号化する音声信号符号化装置のためのプログラムであって、
複数の前記音声チャネル信号をダウンミクスすることによって、ダウンミクスチャネル信号を生成するステップと、複数の前記音声チャネル信号と、生成された前記ダウンミクスチャネル信号とを、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換するステップと、所定の時間−周波数領域ごとに、複数の前記音声チャネル信号を比較して、前記空間音声情報を算出するステップと、前記ダウンミクスチャネル信号と前記空間音声情報とを符号化するステップと、複数の前記音声チャネル信号の所定の上限周波数までの成分を低ビット量に量子化した後、符号化するステップとをコンピュータに実行させるプログラム。
【請求項１８】
ダウンミクスチャネル信号を、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換するステップと、所定の上限周波数までを低ビット量に量子化、符号化された音声チャネル信号を前記時間−周波数表現に変換するステップと、変換後の前記ダウンミクスチャネル信号と、変換後の前記音声チャネル信号とを、前記所定の上限周波数までの帯域ごとにプレミキシングすることによってプレミキシングチャネル信号を生成するステップと、音声チャネル信号間の空間的特徴を表す空間音声情報に基づいて所定の処理を施された前記ダウンミクスチャネル信号と、生成された前記プレミキシングチャネル信号とを前記所定の上限周波数より高域の帯域ごとにミキシングすることによって、ミキシングチャネル信号を生成するステップと、前記ミキシングチャネル信号を、複数の前記音声チャネル信号に変換するステップとをコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１９】
複数の前記音声チャネル信号をダウンミクスすることによって、ダウンミクスチャネル信号を生成するステップと、複数の前記音声チャネル信号と、生成された前記ダウンミクスチャネル信号とを、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換するステップと、所定の時間−周波数領域ごとに、複数の前記音声チャネル信号を比較して、前記空間音声情報を算出するステップと、前記ダウンミクスチャネル信号と前記空間音声情報とを符号化するステップと、複数の前記音声チャネル信号の所定の上限周波数までの成分を低ビット量に量子化した後、符号化するステップとをコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化処理において音声信号からバイノーラルキューを抽出して、ダウンミクス信号を生成する符号化装置、及び復号化処理において前記バイノーラルキューを前記ダウンミクス信号に付加することでマルチチャネル音声信号を復号する音声信号復号化装置に関する。
【０００２】
本発明は、符号化処理においてＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）フィルタバンクを用いてマルチチャネル音声信号を時間−周波数（Ｔ／Ｆ）表現に変換するバイノーラルキュー符号化方法に関する。
【背景技術】
【０００３】
本発明は、マルチチャネル音声信号の符号化および復号化に関する。本発明の主たる目的は、ビットレートに制約がある場合でも、デジタル音声信号の知覚上のクオリティーを最大限に保ちつつ当該デジタル音声信号の符号化を行うことである。ビットレートが低くなると、伝送帯域幅および記憶容量を小さくするという点で有利である。
【０００４】
従来、上記のようにビットレート低減を実現するための方法が多く存在する。
【０００５】
"ＭＳ（ｍｉｄ−ｓｉｄｅ）ステレオ"による方法では、ステレオチャネルＬおよびＲが、それらの"和"（Ｌ＋Ｒ）および"差分"（Ｌ−Ｒ）チャネルという形で表現される。これらのステレオチャネルの相関性が高い場合、"差分"信号に含まれるのは、"和"信号よりも少ないビットで粗い量子化を施せる重要度の低い情報である。Ｌ＝Ｒとなるような極端な例では、差分信号に関する情報を送信する必要はない。
【０００６】
"インテンシティステレオ"による方法では、耳が持つ音響心理学的特性を利用し、高周波数領域に対しては、周波数依存性を持つスケールファクタと共に"和"信号のみを送信し、デコーダ側でそのスケールファクタを"和"信号に適用して、ＬチャネルおよびＲチャネルを合成する。
【０００７】
"バイノーラルキュー符号化"による方法では、復号化処理においてダウンミクス信号の成形を行うために、バイノーラルキューが生成される。バイノーラルキューは、例えば、チャネル間レベル／強度差（ＩＬＤ）、チャネル間位相／遅延差（ＩＰＤ）、チャネル間干渉性／相関性（ＩＣＣ）等である。ＩＬＤキューからは相対的な信号のパワーを測定でき、ＩＰＤキューからは音が両耳に届くまでの時間差を測定でき、ＩＣＣキューからは類似性を測定できる。一般に、レベル／強度キューおよび位相／遅延キューにより音声のバランスや定位を制御でき、干渉性／相関性キューにより音声の幅や拡がりを制御できる。これらのキューは一体となって、聴き手が音響学的シーンを頭の中で構成するのを助ける空間的パラメータとなる。
【０００８】
図１は、バイノーラルキュー符号化による符号化及び復号化方法を用いた典型的な符号化及び復号化コーデックの構成を示す図である。符号化処理において、音声信号はフレームごとに処理される。ダウンミキシング部（５００）は、左チャネルＬおよび右チャネルＲをダウンミクスし、Ｍ＝（Ｌ＋Ｒ）／２を生成する。バイノーラルキュー抽出モジュール（５０２）は、Ｌ、ＲおよびＭを処理し、バイノーラルキューを生成する。バイノーラルキュー抽出モジュール（５０２）は、通常、時間―周波数変換モジュールを備える。時間―周波数変換モジュールは、Ｌ、ＲおよびＭを例えば、ＦＦＴ、ＭＤＣＴ等の完全なスペクトル表現に変換するか、またはＱＭＦ等のような時間と周波数との混合的表現に変換する。この代わり、スペクトル表現されたＬおよびＲの平均値をとることにより、スペクトル変換後に、ＬおよびＲからＭを生成することもできる。バイノーラルキューは、上記のように表現されたＬ、ＲおよびＭを、スペクトル帯域上で、スペクトル帯域ごとに比較することで求めることができる。
【０００９】
音声符号化器（５０４）は、Ｍ信号を符号化し、圧縮ビットストリームを生成する。音声符号化器の例として、ＭＰ３、ＡＡＣなどの符号化器がある。バイノーラルキューは、（５０６）において量子化されてから、圧縮されたＭに多重化され、完全なビットストリームが形成される。復号化処理において、デマルチプレクサ（５０８）はＭのビットストリームをバイノーラルキュー情報から分離する。音声復号化器（５１０）はＭのビットストリームを復号し、ダウンミクス信号Ｍを復元する。マルチチャネル合成モジュール（５１２）は、当該ダウンミクス信号および逆量子化されたバイノーラルキューを処理し、マルチチャネル信号を復元する。従来技術に関連する文献としては、以下のものが挙げられる。
【非特許文献１】［１］ISO/IEC 14496-3:2001/FDAM2, "Parametric Coding for high Quality Audio"
【特許文献１】［２］WO03/007656A1, "Efficient and Scalable Parametric StereoCoding for Low Bitrate Application"
【特許文献２】［３］WO03/090208A1, "Parametric Representation of Spatial Audio"
【特許文献３】［４］US6252965B1, "Multichannel Spectral Mapping Audio Apparatus and Method"
【特許文献４】［５］US2003/0219130A1, "Coherence-based Audio Coding and Synthesis"
【特許文献５】［６］US2003/0035553A1, "Backwards-Compatible Perceptual Coding of Spatial Cues"
【特許文献６】［７］US2003/0235317A1, "Equalization For Audio Mixing"
【特許文献７】［８］US2003/0236583A1, "Hybrid Multi-channel/Cue Coding/Decoding of Audio Signals"
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来技術［１］（非特許文献１参照）では、ダウンミクス信号と"残響信号"とをミキシングすることで音の拡がりを実現している。残響信号は、ダウンミクス信号をShroederのオールパスリンクを用いて処理することで得られる。このフィルタの係数は、全て復号処理において決定される。音声信号が変化の速い特徴を含む場合、過度なエコー効果を取り除くために、この残響信号に対して、別途、過渡減衰処理を施して残響の拡がりを抑える。しかしながら、このように別途フィルタリング処理を行うと、さらに計算負荷が生じてしまう。
【００１１】
従来技術［５］（特許文献４参照）では、ＩＬＤキューおよびＩＰＤキューに対して"ランダムシーケンス"を挿入することで、音の拡散性（すなわち、サラウンド効果）を実現している。ランダムシーケンスは、ＩＣＣキューによって制御される。
【００１２】
図２は、従来の標準的な時間セグメントの分割方法を示す図である。ＩＬＤキューを計算するために、従来技術［１］の方法では、Ｔ／Ｆ表現されたＬ、ＲおよびＭを（"時間境界線６０１"で区切られる）時間セグメントに分割し、時間セグメントにつきＩＬＤを一つ計算する。しかしながら、この方法は、耳が持つ音響心理学的特性を完全に活用しているとはいえない。
【００１３】
従来技術［１］では、ダウンミクス信号の全ての周波数スペクトルに対してバイノーラルキュー符号化を行っている。しかしこの方法は、高ビットレートで"透明感のある"音質を実現するには不十分である。従来技術［８］（特許文献７参照）によると、ビットレートが高い場合、１．５ｋＨｚより低い周波数で原音の符号化が行われている。しかしながら、中間のビットレートで最適な音質を得ることができないため、固定のクロスオーバー周波数（すなわち１．５ｋＨｚ）を用いることは有利とはいえない。
【００１４】
本発明は、従来技術におけるバイノーラルキュー符号化に基づく方法を改良することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明の一形態である音声信号復号化装置は、複数の音声チャネル信号をダウンミクスして得られるダウンミクスチャネル信号から、複数の前記音声チャネル信号を復号化する音声信号復号化装置であって、ダウンミクスチャネル信号を、周波数軸に沿って分割された複数の帯域における時間−周波数表現に変換するダウンミクス信号変換手段と、所定の上限周波数までを低ビット量に量子化、符号化された音声チャネル信号を前記時間−周波数表現に変換する音声チャネル信号変換手段と、変換後の前記ダウンミクスチャネル信号と、変換後の前記音声チャネル信号とを、前記所定の上限周波数までの帯域ごとにプレミキシングすることによってプレミキシングチャネル信号を生成するプレミキシング手段と、音声チャネル信号間の空間的特徴を表す空間音声情報に基づいて所定の処理を施された前記ダウンミクスチャネル信号と、生成された前記プレミキシングチャネル信号とを前記所定の上限周波数より高域の帯域ごとにミキシングすることによって、ミキシングチャネル信号を生成するミキシング手段と、前記ミキシングチャネル信号を、複数の前記音声チャネル信号に変換するミキシングチャネル信号変換手段とを備えることを特徴とする。
本発明の実施の形態１では、残響の拡がりに影響を与えるフィルタ係数を変更することで残響の拡がりを直接制御することを提案する。さらに、これらのフィルタ係数をＩＣＣキューおよび過渡検出モジュールによって制御することを提案する。
【００１６】
実施の形態２では、まず、Ｔ／Ｆ表現をスペクトル方向に複数の"セクション"に分割する。時間的境界の最大許容数をセクションごとに異ならせ、高周波数領域に属するセクションに対しては時間的境界の許容数が少なくなるようにする。このようにして、低周波数領域における信号の細分化をより緻密に行うことができ、ビットレートの急激な変化を抑止しつつ、より正確にレベル調整を行うことができる。
【００１７】
実施の形態３では、クロスオーバー周波数がビットレートに合わせて変更されることを提案する。また、ビットレートの制約があるために原音の符号化が粗く行われていると予測される場合、原音信号とダウンミクス信号とを低周波数でミキシングすることを提案する。さらに、ミキシングの割合を制御するためにＩＣＣキューを使用することを提案する。
【発明の効果】
【００１８】
本発明では、バイノーラルキューを抽出し、原音をダウンミキシングする符号化処理において圧縮された原音が持つ、マルチチャネルならではの効果を再現することに成功した。これは、復号化処理において前記バイノーラルキューをダウンミクス信号に付加することで可能となる。
【発明を実施するための最良の形態】
【００１９】
（実施の形態１）
以下に示す実施の形態は、本発明の様々な進歩性の原理を例示しているに過ぎず、以下に示す詳細な説明に対して種々変形を加えることが可能であることは、当業者であれば容易に理解するところである。従って、本発明は特許請求の範囲によってのみ制限されるものであって、以下に示す詳細な具体例よって限定されるものではない。
【００２０】
さらに、ここではステレオ−モノラルの例を示しているが、本発明はこれに限定されるものではない。これを、Ｍ個のオリジナルチャネルおよびＮ個のダウンミクスチャネルとして一般化することができる。
【００２１】
図３は、実施の形態１の符号化装置の構成を示すブロック図である。図３は本発明に関わる符号化処理を示す。本実施の形態の符号化装置は、変換モジュール１００、ダウンミクスモジュール１０２、Ｌ（ｔ，f）およびＲ（ｔ，f）のための２つのエネルギーエンベロープ分析器１０４、左チャネルのチャネル間位相キューＩＰＤＬ（ｂ）を算出するモジュール１０６、右チャネルのＩＰＤＲ（ｂ）を算出するモジュール１０８およびＩＣＣ（ｂ）を算出するモジュール１１０を備える。変換モジュール（１００）は、以下で時間の関数Ｌ（ｔ）およびＲ（ｔ）として示されるオリジナルチャネルを処理する。それぞれの時間−周波数表現Ｌ（ｔ，f）およびＲ（ｔ，f）を得る。ここで、ｔは時間指標を示し、fは周波数指標を示す。変換モジュール（１００）は、例えば、ＭＰＥＧ Audio Extension １及び２で用いられるような複素ＱＭＦフィルタバンク等である。Ｌ（ｔ，f）およびＲ（ｔ，f）は連続する複数のサブバンドを含んでおり、それぞれのサブバンドは原信号の狭い周波数帯域を表している。ＱＭＦフィルタバンクは、低周波数サブバンドに対しては狭い周波数帯域を通過させ、高周波数サブバンドに対しては広い帯域を通過させるため、複数のステージで構成することができる。
【００２２】
ダウンミクスモジュール（１０２）は、Ｌ（ｔ，f）およびＲ（ｔ，f）を処理し、ダウンミクス信号Ｍ（ｔ，f）を生成する。ダウンミキシングの方法は数多く存在するが、本実施の形態では"平均化"を用いた方法を示す。
【００２３】
本発明では、ＩＬＤキューの代わりにエネルギーキューを用いてレベル調整を行う。エネルギーキューを計算するために、左チャネルエネルギーエンベロープ分析モジュール（１０４）は、Ｌ（ｔ，f）をさらに処理し、エネルギーエンベロープＥＬ（ｌ，ｂ）およびBorderＬを生成する。図４は、ミキシング後の音声チャネル信号のエネルギーエンベロープを調整するための時間−周波数セクションの区切り方を示す図である。図４に示されるように、まず、時間―周波数表現Ｌ（ｔ，f）を周波数方向に複数の帯域（４００）に分割する。それぞれの帯域は複数のサブバンドを含む。耳の持つ音響心理学的特性を利用して、低周波数帯域は、高周波数帯域よりもサブバンドの数が少なくなっている。例えば、サブバンドを帯域にグループ分けする際に、音響心理学の分野でよく知られている"バーク尺度"または"臨界帯域"を用いることができる。
【００２４】
Ｌ（ｔ，f）はさらに時間方向にBorderＬで周波数帯域（ｌ，ｂ）に分割され、これに対してＥＬ（ｌ，ｂ）を計算する。ここで、ｌは時間的区分の指標であり、ｂは帯域の指標を示す。BorderＬの最適な配置場所は、Ｌ（ｔ，f）のエネルギーの変化が大きく、かつ、復号化処理で成形される信号のエネルギーの変化が大きいと予測される時間的位置である。
【００２５】
復号化処理において、ＥＬ（ｌ，ｂ）はダウンミクス信号のエネルギーエンベロープを帯域ごとに成形するために用いられ、その境界は、同じ臨界帯域境界およびBorderＬにより決定される。エネルギーＥＬ（ｌ，ｂ）は以下のように定義される。
【００２６】
【数１】
0004934427.tif 000002
同様の方法で、右チャネルエネルギーエンベロープ分析モジュール（１０４）はＲ（ｔ，f）を処理しＥＲ（ｌ，ｂ）およびBorderＲを生成する。
【００２７】
左チャネルのチャネル間位相キューを取得するため、左チャネル間位相キュー算出モジュール（１０６）はＬ（ｔ，f）およびＭ（ｔ，f）を処理し、以下の数式を用いてＩＰＤＬ（ｂ）を求める。
【００２８】
【数２】
0004934427.tif 000003
【００２９】
ここで、Ｍ＊（ｔ，f）はＭ（ｔ，f）の複素共役を表わす。右チャネル間位相キュー算出モジュール（１０８）は、同様にして右チャネルのチャネル間位相キューＩＰＤＲ（ｂ）を求める。
【００３０】
【数３】
0004934427.tif 000004
【００３１】
最後に、符号化処理において左チャネルと右チャネルとのチャネル間干渉性キューを求めるため、モジュール（１１０）はＬ（ｔ，f）およびＲ（ｔ，f）を処理し、以下の数式を用いてＩＣＣ（ｂ）を求める。
【００３２】
【数４】
0004934427.tif 000005
上記バイノーラルキューは全て、符号化処理における副情報の一部となる。
【００３３】
図５は、実施の形態１の復号化装置の構成を示すブロック図である。本実施の形態１の復号化装置は、変換モジュール（２００）、残響生成器（２０２）、過渡検出器（２０４）、位相調整器（２０６、２０８）、ミキサ２（２１０、２１２）、エネルギー調整器（２１４、２１６）及び逆変換モジュール（２１８）を備える。図５は、上述のように生成されたバイノーラルキューを利用する、想定可能な復号化処理を示す。変換モジュール（２００）はダウンミクス信号Ｍ（ｔ）を処理し、時間−周波数表現Ｍ（ｔ，f）に変換する。本実施の形態で示す変換モジュール（２００）は、複素ＱＭＦフィルタバンクである。
【００３４】
残響生成器（２０２）はＭ（ｔ，f）を処理し、ＭＤ（ｔ，f）と呼ばれるＭ（ｔ，f）の"拡散バージョン"を生成する。この拡散バージョンは、Ｍ（ｔ，f）に"エコー"を挿入することで、より"ステレオ"的な印象（マルチチャネルの場合は"サラウンド"的な印象）を生み出すものである。従来技術では、そのような残響の印象を、単純に遅延を利用したり、分数遅延オールパスフィルタリングを用いたりして生成する装置が数多く存在する。本発明では、残響効果を得るために、分数遅延オールパスフィルタリングを用いる。通常、複数のオールパスフィルタのカスケード方式（Schroederのオールパスリンクとして知られる）が用いられる。
【００３５】
【数５】
0004934427.tif 000006
ここで、Ｌはリンクの数を表わし、ｄ（ｍ）はそれぞれのリンクのフィルタの次数を表わす。通常、これらは互いに素となるよう構成されている。Ｑ（f，ｍ）はエコーの密度を高くする分数遅延を示し、slope（f，ｍ）は残響の減衰率を制御する。残響の減衰はslope（f，ｍ）が大きいほど小さい。これらのパラメータの設計に関する具体的な処理は本発明の範囲外である。従来技術においては、これらのパラメータはバイノーラルキューによって制御されない。
【００３６】
従来技術における残響減衰率の制御方法は、あらゆる信号の特徴に対して最適であるというわけではない。例えば、変化の早い信号"スパイク波"で構成される信号である場合、エコー効果が過剰になることを避けるために、残響は少ないほうが望ましい。従来技術では、過渡減衰装置を用いて、別途、残響をある程度抑止している。
【００３７】
最後の問題は、原音が本質的に"モノラル"である場合（例えば独話）、残響が過剰であると、復号化された信号が原音と大きく異なって聞こえる可能性があるということである。この問題を解決するための従来技術や装置は存在しない。
【００３８】
本発明では、ＩＣＣキューを用いてslope（f，ｍ）パラメータを適応的に制御する。上記問題に対処するため、以下のようにslope（f，ｍ）の代わりにnew＿slope（f，ｍ）を用いる。
【００３９】
【数６】
0004934427.tif 000007
【００４０】
ここで、new＿slope（f，ｍ）は過渡検出モジュール（２０４）の出力関数として定義され、ＩＣＣ（ｂ）は以下のように定義される。
【００４１】
【数７】
0004934427.tif 000008
ここで、αはチューニングパラメータである。信号における対象フレームが本質的にモノラルである場合、当該フレームの、右チャネルと左チャネルの間の相関性を評価するためのＩＣＣ（ｂ）はかなり高くなる。残響を減らすために、slope（f，ｍ）を（１−ＩＣＣ（ｂ））により大幅に低下させる。また、逆の場合も同様である。
【００４２】
信号における対象フレームが急速に変化する信号スパイク波で構成される場合、過渡検出モジュール（２０４）は、slope（f，ｍ）を低減させるために、０．１等の小さいＴｒ＿ｆｌａｇ（ｂ）を返す。これによって、残響を減らすことができる。一方、なめらかに変化する信号の場合、過渡検出モジュール（２０４）は、０．９９のように大きなＴｒ＿ｆｌａｇ（ｂ）の値を返す。これによって、所望の残響量を保つことが可能になる。Ｔｒ＿ｆｌａｇ（ｂ）は、復号化処理においてＭ（ｔ，f）を分析することで生成できる。あるいは、Ｔｒ＿ｆｌａｇ（ｂ）を符号化処理において生成し、副情報として復号処理側に送信することも可能である。
【００４３】
ｚ領域に表わされる残響信号ＭＤ（ｔ，f）は、Ｍ（ｔ，f）をＨｆ（ｚ）に畳み込むことで生成される（畳み込みはｚ領域における乗算である）。
【００４４】
【数８】
0004934427.tif 000009
【００４５】
Ｌreverb（ｔ，f）およびＲreverb（ｔ，f）は、位相キューＩＰＤＬ（ｂ）およびＩＰＤＲ（ｂ）をそれぞれ位相調整モジュール（２０６）および（２０８）においてＭＤ（ｔ，f）に付加することで生成される。この処理を行うことで、符号化処理における原音とダウンミクス信号との位相関係を回復することができる。
適用される数式は以下の通りである。
【００４６】
【数９】
0004934427.tif 000010
【００４７】
ここで付加された位相は、以前に処理された音声フレームの位相を用い、それらを付加する前に補間することができる。例えばＬreverb（ｔ，f）の場合、左チャネル位相調整モジュール（２０８）における数式は以下のように変更される。
【００４８】
【数１０】
0004934427.tif 000011
ここで、ａ−２，ａ−１およびａ０は補間係数であり、fｒは音声フレームの指標を示す。補間を行うことで、Ｌreverb（ｔ，f）の位相が急激に変化するのを防止でき、音声が全体的に安定する。
【００４９】
右チャネル位相調整モジュール（２０６）も同様にして補間を行い、ＭＤ（ｔ，f）からＲreverb（ｔ，f）を生成する。
【００５０】
Ｌreverb（ｔ，f）およびＲreverb（ｔ，f）は左チャネルエネルギー調整モジュール（２１４）、右チャネルエネルギー調整モジュール（２１６）において成型される。その成型は、BorderＬ、BorderＲや、（図４に示すような）所定の周波数セクションの境界で区切られる様々な帯域におけるエネルギーエンベロープが、原音におけるエネルギーエンベロープと類似するように行われる。左チャネルについて説明すると、ゲイン係数ＧＬ（ｌ，ｂ）は帯域（ｌ，ｂ）に対して以下のように計算される。
【００５１】
【数１１】
0004934427.tif 000012
【００５２】
次に、当該帯域における全てのサンプルに対してＬreverb（ｔ，f）にゲイン係数を乗算する。右チャネルエネルギー調整モジュール（２１６）は同様の処理を右チャネルに対して行う。
【００５３】
【数１２】
0004934427.tif 000013
【００５４】
Ｌreverb（ｔ，f）およびＲreverb（ｔ，f）は人工的な残響信号に過ぎないため、場合によっては、それらをそのままマルチチャネル信号として用いることが最適とはならないことがある。その上、残響をある程度減らすために、パラメータslope（f，ｍ）を調整してnew＿slope（f，ｍ）に合わせるが、これではオールパスフィルタの順番で決まるエコーの主成分を変えることはできない。そこで本発明では、エネルギー調整を行う前に、ミキシングモジュールである左チャネルミキサ２（２１０）および右チャネルミキサ２（２１２）においてＬreverb（ｔ，f）およびＲreverb（ｔ，f）と、ダウンミクス信号Ｍ（ｔ，f）とをミキシングすることで、制御の幅を広げるオプションを提供する。残響信号Ｌreverb（ｔ，f）およびＲreverb（ｔ，f）とダウンミクス信号Ｍ（ｔ，f）との割合は、ＩＣＣ（ｂ）によって、例えば次のように制御できる。
【００５５】
【数１３】
0004934427.tif 000014
ＩＣＣ（ｂ）は左チャネルと右チャネル間の相関関係を示している。上記数式では、相関性が高い場合、Ｍ（ｔ，f）をより多くＬreverb（ｔ，f）およびＲreverb（ｔ，f）にミキシングする。また、逆の場合も同様である。
【００５６】
モジュール（２１８）はエネルギー調整されたＬadj（ｔ，f）およびＲadj（ｔ，f）を逆変換し、時間軸における信号を生成する。ここでは逆ＱＭＦ処理を用いる。マルチステージＱＭＦの場合、数ステージに亘って逆変換処理を行う必要がある。
【００５７】
（実施の形態２）
実施の形態２は、図３に示すエネルギーエンベロープ分析モジュール（１０４）に関わる。図２に示す分割方法の例では、耳が持つ音響心理学的特性を利用できていない。そこで本実施の形態では、図４に示すように、高い周波数の音に対しては感度が低いという耳の特性を利用して、低い周波数に対しては緻密に分割を行い、高い周波数に対しては分割の精度を下げる。
【００５８】
これを実現するため、Ｌ（ｔ，f）の周波数帯域を、さらに"セクション"（４０２）に分割する。図４ではセクション０（４０２）〜セクション２（４０４）までの３つのセクションが示されている。高周波数のセクションは、例えば最大１つの境界しか持つことができず（４０４）、これによって当該周波数セクションは２分割されることになる。ビット数をさらに節減するため、最も高域の周波数セクションでの分割は許可しない。この場合、このセクションには従来技術において用いられる有名な"インテンシティステレオ"を利用する。分割の精度は、耳の感度がより高くなる低域のセクションに向かうほど高くなる。
【００５９】
副情報の一部がセクションの境界となってもよいし、符号化のビットレートに従ってあらかじめ定めてもよい。ただし、各セクションの時間的境界（４０６）は、副情報BorderＬの一部となる。
【００６０】
なお、対象フレームの第一境界がそのフレームの始まりの境界である必要はない。連続する２つのフレームに、複数のフレーム境界をまたぐ同じエネルギーエンベロープを共有させてもよい。この場合、この処理を可能とするために、２つの音声フレームのバッファリングを行う必要がある。
【００６１】
（実施の形態３）
ビットレートが高い場合、残響信号を用いてマルチチャネル信号を導出するだけでは高ビットレートで期待される透明性レベルを獲得するのに不十分である。このため、実施の形態３では、粗い量子化が行われた差分信号Ｌｌｆ（ｔ）およびＲｌｆ（ｔ）を、ダウンミクス信号とは別に符号化して復号化装置に送り、ダウンミクス信号から分離された音声チャネル信号と原音チャネル信号とのずれを復号化装置において補正する。図６は、実施の形態３の復号化装置の構成を示すブロック図である。同図において、破線で囲んで示す部分は、ミキサ１（３２２、３２４）でのプレミキシングによって得られたプレミキシングチャネル信号の位相を調整するためのＬreverb、Ｒreverbを、残響生成器（３０２）においてダウンミクス信号から分離する信号分離部である。この復号化装置は、前述の信号分離部、変換モジュール（３００）、ミキサ１（３２２、３２４）、低域通過フィルタ（３２０）、ミキサ２（３１０、３１２）、エネルギー調整器（３１４、３１６）及び逆変換モジュール（３１８）を備える。図６に示す本実施の形態３の復号化装置では、粗い量子化を行ったマルチチャネル信号と低周波数領域における残響信号とをミキシングする。粗い量子化が行われるのは、ビットレートに制限があるためである。
【００６２】
粗い量子化が行われたＬｌｆ（ｔ）およびＲｌｆ（ｔ）は、ＱＭＦフィルタバンクである変換モジュール（３００）において、ダウンミクス信号Ｍ（ｔ）とともに時間―周波数変換され、それぞれＬｌｆ（ｔ，f）およびＲｌｆ（ｔ，f）と表現される。低域通過フィルタ（３２０）で決まるある一定のクロスオーバー周波数fｘに到達するまで、プレミキシングモジュールである左側ミキサ１（３２２）および右側ミキサ１（３２４）は、それぞれ、右チャネルＲｌｆ（ｔ，f）および左チャネルＬｌｆ（ｔ，f）を、ダウンミクス信号Ｍ（ｔ，ｆ）にプレミキシングする。これにより、プレミキシングチャネル信号ＬＭ（ｔ，ｆ）とＲＭ（ｔ，ｆ）とを生成する。例えば、以下のようにしてプレミキシングを行う。
【００６３】
【数１４】
0004934427.tif 000015
ここで、ＩＣＣ（ｂ）はチャネル間の相関を表しており、Ｌｌｆ（ｔ，ｆ）およびＲｌｆ（ｔ，ｆ）それぞれと、Ｍ（ｔ，f）とのミキシングの割合を示している。例えば、ＩＣＣ（ｂ）＝１のとき、ＩＣＣ（ｂ）は、粗い量子化が行われ、時間−周波数表現に変換されたＬｌｆ（ｔ，ｆ）およびＲｌｆ（ｔ，ｆ）それぞれと、Ｍ（ｔ，f）とが、よく似ていることを示している。すなわち、ＩＣＣ（ｂ）＝１のときには、Ｍ（ｔ，f）だけで、ミキシングチャネル信号ＬＭ（ｔ，ｆ）とＲＭ（ｔ，ｆ）とを十分、精度良く復元できる。
【００６４】
クロスオーバー周波数fｘより高域の周波数領域に対する以降の処理ステップは、図４に示した実施の形態２と同じである。Ｌｌｆ（ｔ）およびＲｌｆ（ｔ）に対して粗い量子化を行うための一つの方法は、
【００６５】
【数１５】
0004934427.tif 000016
のようにＬｌｆ（ｔ）およびＲｌｆ（ｔ）に対して差分信号を計算し、音響心理学モデルに応じて決定されるfｘまでの主要な周波数成分のみを符号化することである。ビットレートをさらに低くするために、所定の量子化ステップを採用することができる。なお、上記の数式１５では、差分信号としてＬｌｆ（ｔ）＝Ｌ（ｔ）−Ｍ（ｔ）、Ｒｌｆ（ｔ）＝Ｒ（ｔ）−Ｍ（ｔ）を計算したが、本発明はこれに限定されない。例えば、上記数式１５のＭ（ｔ）の代わりに、分離後の各チャネル信号を減算するとしてもよい。すなわち、Ｌｌｆ（ｔ）＝Ｌ（ｔ）−Ｌｒｅｖｅｒｂ（ｔ）、Ｒｌｆ（ｔ）＝Ｒ（ｔ）−Ｒｒｅｖｅｒｂ（ｔ）を算出し、分離後の各チャネル信号にＬｌｆ（ｔ）、Ｒｌｆ（ｔ）を加算して、信号のずれを補正するとしてもよい。
【００６６】
低域通過フィルタ（３２０）および高域通過フィルタ（３２６）が用いるクロスオーバー周波数fｘはビットレートの関数である。ビットレートが非常に低いという極端なケースでは、Ｌｌｆ（ｔ）およびＲｌｆ（ｔ）を量子化するためのビット数が不十分であるため、ミキシングが行えない。例えば、fｘがゼロといったケースである。実施の形態３においては、fｘよりも高域に対してのみバイノーラルキュー符号化を行う。
【００６７】
図７は、本実施の形態３の符号化装置と復号化装置とからなる符号化システムの構成を示すブロック図である。実施の形態３の符号化システムは、符号化側にダウンミクス部（４１０）、ＡＡＣエンコーダ（４１１）、バイノーラルキューエンコーダ（４１２）、及び第２エンコーダ（４１３）を備え、復号化側にＡＡＣデコーダ（４１４）、プレミクス部（４１５）、信号分離部（４１６）及びミキシング部（４１７）を備える。信号分離部（４１６）は、チャネル分離部（４１８）及び位相調整部（４１９）を備える。
【００６８】
ダウンミクス部（４１０）は、例えば、図１に示したダウンミクス部（１０２）と同じである。例えば、ダウンミクス部（４１０）は、Ｍ（ｔ）＝（Ｌ（ｔ）＋Ｒ（ｔ））／２で表されるダウンミクス信号を生成する。このように生成されたダウンミクス信号Ｍ（ｔ）は、ＡＡＣエンコーダ（４１１）において、ＭＤＣＴ（Modified Descrete Cosine Transform）変換され、サブバンドごとに量子化され、可変長符号化されて符号化ビットストリームに組み込まれる。
【００６９】
バイノーラルキューエンコーダ（４１２）は、音声チャネルＬ（ｔ）、Ｒ（ｔ）及びＭ（ｔ）を、一旦、ＱＭＦによって時間−周波数表現に変換した上、それぞれのチャネル信号を比較してバイノーラルキューを算出する。バイノーラルキューエンコーダ（４１２）は、算出したバイノーラルキューを符号化して符号列に多重化する。
【００７０】
また、第２エンコーダ（４１３）は、例えば、数式１５に示したような、右チャネル信号Ｒ（ｔ）及び左チャネル信号Ｌ（ｔ）のそれぞれと、ダウンミクス信号Ｍ（ｔ）との差分信号Ｌｌｆ（ｔ）及びＲｌｆ（ｔ）を算出し、粗く量子化して、符号化する。第２エンコーダ（４１３）は、必ずしもＡＡＣエンコーダ（４１１）と同じ符号化形式で符号化を行なう必要はない。
【００７１】
ＡＡＣデコーダ（４１４）は、ＡＡＣ方式で符号化されたダウンミクス信号を復号化した上、復号化されたダウンミクス信号を、ＱＭＦにより時間−周波数表現Ｍ（ｔ，ｆ）に変換する。
【００７２】
信号分離部（４１６）は、チャネル分離部（４１８）と位相調整部（４１９）とを備える。チャネル分離部（４１８）は、バイノーラルキューエンコーダ（４１２）によって符号化されたバイノーラルキューパラメータと、第２エンコーダ（４１３）によって符号化された差分信号Ｌｌｆ（ｔ）、Ｒｌｆ（ｔ）とを復号化した後、差分信号Ｌｌｆ（ｔ）、Ｒｌｆ（ｔ）を時間−周波数表現に変換する。その後、チャネル分離部（４１８）は、例えば、ＩＣＣ（ｂ）に従って、ＡＡＣデコーダ（４１４）の出力であるダウンミクス信号Ｍ（ｔ，ｆ）と、時間−周波数表現に変換された差分信号Ｌｌｆ（ｔ，ｆ）、Ｒｌｆ（ｔ，ｆ）とをプレミキシングし、これによって生成されたプレミキシングチャネル信号ＬＭ、ＲＭをミキシング部４１７に出力する。
【００７３】
位相調整部（４１９）は、ダウンミクス信号Ｍ（ｔ，ｆ）に対して必要な残響成分の生成付加を行なった後、その位相を調整し、位相調整信号ＬrevとＲrevとしてミキシング部（４１７）に出力する。
【００７４】
ミキシング部（４１７）は、左チャネルについては、プレミキシングチャネル信号ＬＭと、位相調整信号Ｌrevとをミキシングして、得られたミキシング信号を逆ＱＭＦし、時間の関数で表される出力信号Ｌ"を出力する。また、右チャネルについては、プレミキシングチャネル信号ＲＭと、位相調整信号Ｒrevとをミキシングして、得られたミキシング信号を逆ＱＭＦし、時間の関数で表される出力信号Ｒ"を出力する。
【００７５】
なお、上記図７に示した符号化システムにおいても、左右の差分信号Ｌｌｆ（ｔ）、Ｒｌｆ（ｔ）を、原音の音声チャネル信号Ｌ（ｔ）、Ｒ（ｔ）と、位相調整によって得られる出力信号Ｌｒｅｖ（ｔ）、Ｒｒｅｖ（ｔ）との差分としてもよい。すなわち、Ｌｌｆ（ｔ）＝Ｌ（ｔ）−Ｌｒｅｖ（ｔ）、Ｒｌｆ（ｔ）＝Ｒ（ｔ）−Ｒｒｅｖ（ｔ）としてもよい。
【産業上の利用可能性】
【００７６】
本発明は、ホームシアターシステム、カーオーディオシステム、電子ゲームシステム等に適用可能である。
【図面の簡単な説明】
【００７７】
【図１】図１は、従来の典型的なバイノーラルキュー符号化システムの構成を示す図である。
【図２】図２は、様々な周波数セクションに対する従来の典型的な時間分割方法を示す図である。
【図３】図３は、本発明に関わる符号化装置の構成を示すブロック図である。
【図４】図４は、様々な周波数セクションに対する時間的分割方法を示す図である。
【図５】図５は、本発明の実施の形態１に関わる復号化装置の構成を示すブロック図である。
【図６】図６は、本発明の実施の形態３に関わる復号化装置の構成を示すブロック図である。
【図７】図７は、本発明の実施の形態３に関する符号化システムの構成を示すブロック図である。
【符号の説明】
【００７８】
１００        変換モジュール
１０２        ダウンミクスモジュール
１０４        エネルギーエンベロープ分析器
１０６        ＩＰＤＬ（ｂ）を算出するモジュール
１０８        ＩＰＤＲ（ｂ）を算出するモジュール
１１０        ＩＣＣ（ｂ）を算出するモジュール
２００        変換モジュール
２０２        残響生成器
２０４        過渡検出器
２０６、２０８    位相調整器
２１０、２１２    ミキサ２
２１４、２１６    エネルギー調整器
２１８        逆変換モジュール
３００        変換モジュール
３０２        残響生成器
３０４        過渡検出器
３０６、３０８    位相調整器
３１０、３１２    ミキサ２
３１４、３１６    エネルギー調整器
３１８    逆変換モジュール
３２０    低域通過フィルタ
３２２、３２４    ミキサ１
３２６        高域通過フィルタ
４００    帯域
４０２    セクション０
４０４    セクション２
４０６    境界
４１０    ダウンミクス部
４１１    ＡＡＣエンコーダ
４１２    バイノーラルキューエンコーダ
４１３    第２エンコーダ
４１４    ＡＡＣデコーダ
４１５    プレミクス部
４１６    信号分離部
４１７    ミキシング部
４１８    チャネル分離部
４１９    位相調整部
５００    ダウンミキシング部
５０２    バイノーラルキュー抽出部
５０４    音声符号化器
５０６    マルチプレクサ
５０８    デマルチプレクサ
５１０    音声復号化器
５１２    マルチチャネル合成部
６０１    境界
【図１】
0004934427.tif 000017
【図２】
0004934427.tif 000018
【図３】
0004934427.tif 000019
【図４】
0004934427.tif 000020
【図５】
0004934427.tif 000021
【図６】
0004934427.tif 000022
【図７】
0004934427.tif 000023