(57)【要約】【課題】音質を改善したステレオ符号化データを生成するために、ミッドサイドステレオ符号化あるいはインテンシティステレオ符号化のオン／オフの制御を高精度に行う。【解決手段】ミッドサイドステレオ符号化のオン／オフを制御するフローとして、２つのチャンネルのスペクトルデータＬｉ，Ｒｉの相関を示す量ｃを算出するステップ３０１〜３０３と、相関を示す量ｃと閾値ｔｈｒ１，ｔｈｒ２とを比較するステップ３０４と、この比較結果を用いて、ミッドサイドステレオ符号化のオン／オフを判定（決定）するステップ３０５、３０６とを備える。これにより、ミッドサイドステレオ符号化の制御を精度よく行うことができる。【選択図】  図３
2004325633.tif 000002
【特許請求の範囲】
【請求項１】
２つのチャンネルの信号をスペクトルデータに変換し、前記２つのチャンネルのスペクトルデータを、ミッドサイドステレオ符号化を用いて符号化する方法であって、
２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の相関を示す量ｃを（数１）で算出するステップと、
【数１】
2004325633.tif 000035
（ここで、ｆｓはミッドサイドステレオ符号化のオン／オフを判定するバンドの開始スペクトル番号、ｆｅは前記バンドの終了スペクトル番号である。）
前記相関を示す量ｃと閾値とを比較するステップと、
前記比較の結果を用いて、ミッドサイドステレオ符号化のオン／オフを判定するステップと、を備えたことを特徴とする信号符号化方法。
【請求項２】
前記相関を示す量ｃと正の第１の閾値とを比較するステップと、
前記相関を示す量ｃと負の第２の閾値とを比較するステップと、
前記相関を示す量ｃが前記第１の閾値より大きい場合、あるいは第２の閾値より小さい場合には、ミッドサイドステレオ符号化をオンとし、それ以外の場合には、ミッドサイドステレオ符号化をオフとするステップと、を備えたことを特徴とする請求項１記載の信号符号化方法。
【請求項３】
前記相関を示す量ｃと正の閾値とを比較するステップと、
前記相関を示す量ｃが前記閾値より大きい場合には、ミッドサイドステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以下の場合には、ミッドサイドステレオ符号化をオフとするステップと、を備えたことを特徴とする請求項１記載の信号符号化方法。
【請求項４】
前記相関を示す量ｃと負の閾値とを比較するステップと、
前記相関を示す量ｃが前記閾値より小さい場合には、ミッドサイドステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以上の場合には、ミッドサイドステレオ符号化をオフとするステップと、を備えたことを特徴とする請求項１記載の信号符号化方法。
【請求項５】
２つのチャンネルの信号をスペクトルデータに変換し、前記２つのチャンネルのスペクトルデータを、インテンシティステレオ符号化を用いて符号化する方法であって、
２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の相関を示す量ｃを（数２）で算出するステップと、
【数２】
2004325633.tif 000036
（ここで、ｆｓはインテンシティステレオ符号化のオン／オフを判定するバンドの開始スペクトル番号、ｆｅは前記バンドの終了スペクトル番号、ｓは（数３）により算出される変数である。）
【数３】
2004325633.tif 000037
前記相関を示す量ｃと閾値とを比較するステップと、
前記比較の結果を用いて、インテンシティステレオ符号化のオン／オフを判定するステップと、を備えたことを特徴とする信号符号化方法。
【請求項６】
前記相関を示す量ｃと正の第１の閾値とを比較するステップと、
前記相関を示す量ｃと負の第２の閾値とを比較するステップと、
前記相関を示す量ｃが前記第１の閾値より大きい場合、あるいは第２の閾値より小さい場合には、インテンシティステレオ符号化をオンとし、それ以外の場合には、インテンシティステレオ符号化をオフとするステップと、を備えたことを特徴とする請求項５記載の信号符号化方法。
【請求項７】
前記相関を示す量ｃと正の閾値とを比較するステップと、
前記相関を示す量ｃが前記閾値より大きい場合には、インテンシティステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以下の場合には、インテンシティステレオ符号化をオフとするステップと、を備えたことを特徴とする請求項５記載の信号符号化方法。
【請求項８】
前記相関を示す量ｃと負の閾値とを比較するステップと、
前記相関を示す量ｃが前記閾値より小さい場合には、インテンシティステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以上の場合には、インテンシティステレオ符号化をオフとするステップと、を備えたことを特徴とする請求項５記載の信号符号化方法。
【請求項９】
請求項１ないし８のいずれかに記載の信号符号化方法を、コンピュータまたはデジタルシグナルプロセッサに実行させるためのプログラム。
【請求項１０】
請求項１ないし８のいずれかに記載の信号符号化方法を、コンピュータまたはデジタルシグナルプロセッサに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ信号をスペクトルデータに変換し、ジョイントステレオ符号化を用いてスペクトルデータを高能率符号化する方法に関する。
【０００２】
【従来の技術】
近年、ステレオ信号をスペクトルデータに変換し、ジョイントステレオ符号化を用いてスペクトルデータを符号化することにより、ビットレートを低減した信号符号化方法が提案されている。
【０００３】
このジョイントステレオ符号化を採用したオーディオ高能率符号化規格としては、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）−１オーディオ、ＭＰＥＧ−２ＢＣ（ｂａｃｋｗａｒｄｓ−ｃｏｍｐａｔｉｂｌｅ）オーディオ、ＭＰＥＧ−２  ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）等が知られている。
【０００４】
ジョイントステレオ符号化は、左右のチャンネルの相関を利用して、ビットレートを低減し、符号化効率を改善するための符号化方法であって、特にミッドサイドステレオ符号化とインテンシティステレオ符号化とが知られている。
【０００５】
ミッドサイドステレオ符号化は、左右のチャンネルに相関がある場合に、左右のチャンネルを個別に符号化する代わりに、左右のチャンネルの和（ミッドあるいはセンター）と差（サイド）を正規化して符号化する方法である。左右のチャンネルの相関が大きい場合には、得られた和と差のエネルギー差が大きくなり、情報量が一方のチャンネルに偏るので、符号化に必要なビット数を削減し、符号化効率を改善することができる。また、削減したビットを音質に寄与する他のデータに割り当てることにより、音質を向上することができる。
【０００６】
インテンシティステレオ符号化は、所定の周波数（通常３ｋＨｚから６ｋＨｚ）以上では、聴覚的には、スペクトルの微細構造よりもスペクトルのエンベロープの方が重要であることを利用した符号化方法である。すなわち、前記所定の周波数以上では、スペクトルデータとしては左右のチャンネルのスペクトルデータの和のみを符号化し、エンベロープ情報については左右のチャンネルで個別に符号化することにより、スペクトルデータのデータ量を半減し、符号化効率を改善するものである。
【０００７】
エンベロープ情報としては、前記和のスペクトルデータと各チャンネルのスペクトルデータのエネルギーの比を送る。インテンシティステレオ符号化では、ミッドサイドステレオ符号化よりも低いビットレートを実現することができる。しかしながら、スペクトルの微細構造を再現することができないので、広がり感、ステレオ感等の立体的音響感に劣化を生じることがある。
【０００８】
インテンシティステレオ符号化方法としては、上記方法の他に、左右のチャンネルが同相であるか逆相であるかを示すフラグを符号化データとして伝送し、左右のチャンネルが同相である場合にはスペクトルデータの和を、逆相である場合には差を符号化することにより、音質を改善したインテンシティステレオ符号化方法も提案されている。この方法はＭＰＥＧ−２  ＡＡＣで採用されている。
【０００９】
このようなジョイントステレオ符号化によって、ビットレートを低減し、符号化効率を改善するためには、左右のチャンネルのスペクトルデータ間の相関に応じて、ジョイントステレオ符号化のオン、オフを精度よく制御することが重要である。
【００１０】
ジョイントステレオ符号化のオン、オフを制御する従来の方法としては、例えば、特許文献１、あるいは特許文献２に記載された方法が知られている。
【００１１】
図６は、特許文献１に記載された従来のミッドサイドステレオ符号化（特許文献１ではセンター／サイドコード化と記載）制御方法に基づくステップを示すフローチャートである。
【００１２】
同図において、ステップ６０１で左右のステレオチャンネルからの信号間のスペクトル間隔の尺度ＳＤを（数４）で算出する。
【００１３】
【数４】
2004325633.tif 000003
【００１４】
ここで、ＬｉとＲｉは、それぞれ左チャンネルと右チャンネルのスペクトルデータであり、添え字のｉはスペクトル番号である。また、ｆｓとｆｅ（特許文献１ではｆ１とｆ２−１と記載）は、ミッドサイドステレオ符号化のオン、オフ判定を行うバンドの、それぞれ開始スペクトル番号と終了スペクトル番号である。
【００１５】
ステップ６０２でステレオ信号のスペクトルエネルギーＳＥを（数５）で算出する。
【００１６】
【数５】
2004325633.tif 000004
【００１７】
ステップ６０３で左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量ｄを（数６）で算出する。
【００１８】
【数６】
2004325633.tif 000005
【００１９】
ステップ６０４でｄと閾値ｔｈｒとを比較し、ｄが閾値より小さい場合には、ステップ６０５でミッドサイドステレオ（ＭＳ）符号化をオンとし、そうでない場合には、ステップ６０６でＭＳステレオ符号化オフとする。ＭＳステレオ符号化オフの場合には、左右のチャンネルを個別に符号化（以下、ステレオチャンネル個別符号化、あるいは略してＬＲ個別符号化と呼ぶ）する。
【００２０】
また、特許文献２に記載された方法は、聴覚のマスキングモデルに基づいてマスキング閾値を算出し、ジョイントステレオ符号化とステレオチャンネル個別符号化に必要なビット数をそれぞれ算出し、両者を比較して、ビット数の小さい方の符号化方式を選択するものである。
【００２１】
【特許文献１】
特表平７−５０１１９０号公報
【特許文献２】
特表平８−５０１６６６号公報
【００２２】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の従来の符号化方法では、ジョイントステレオ符号化判定のオン、オフの制御に用いる左右のチャンネルのスペクトル間隔の尺度を示す量が、スペクトルデータの分布を適切に考慮した尺度となっていないので、ジョイントステレオ符号化の制御が不適切となり、音質が劣化することがあるという課題があった。
【００２３】
以下、この課題について、実例を用いて詳細に説明する。
【００２４】
図７は、ステレオチャンネル（ＬＲ）個別符号化とミッドサイド（ＭＳ）ステレオ符号化のスペクトルデータの４つの事例を示すものである。すべての事例で、左右のチャンネルのエネルギーの総和は一定であるとする。
【００２５】
図７でＬｉとＲｉは、それぞれ左チャンネルと右チャンネルのスペクトルデータであり、ｉは各スペクトルデータのスペクトル番号である。図７の事例では、簡単のため、ミッドサイドステレオ符号化判定を行うバンドを構成するスペクトルの本数は２本としている。したがって、ｉの値は０、または１とする。ＬＲ個別符号化では、スペクトルデータとしてＬｉとＲｉとが符号化される。また、ＭＳステレオ符号化では、スペクトルデータとして、ＬｉとＲｉの代わりに、ＬｉとＲｉの和Ｍｉと差Ｓｉとが、正規化されて符号化される。図７の事例では、ＭｉとＳｉは、それぞれ（数７）と（数８）で算出されるものとする。
【００２６】
【数７】
2004325633.tif 000006
【００２７】
【数８】
2004325633.tif 000007
【００２８】
以下、図７に示す４つの事例について順次説明する。
【００２９】
（１）事例１
事例１は、ＬｉとＲｉの値がすべて同一で、（数９）の値とした場合である。
【００３０】
【数９】
2004325633.tif 000008
【００３１】
そして、ＭｉとＳｉは、（数７）と（数８）とにより、（数１０）のように算出される。
【００３２】
【数１０】
2004325633.tif 000009
【００３３】
そして、左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量ｄは、（数４）、（数５）、（数６）より、（数１１）と算出される。
【００３４】
【数１１】
2004325633.tif 000010
【００３５】
事例１では、図７に示すように、ＬＲ個別符号化と比較して、ＭＳステレオ符号化の方が、情報量の偏りが大きいので、符号化効率がよい。すなわち、事例１は、ＭＳステレオ符号化をオンと判定すべき典型的な事例である。
【００３６】
（２）事例２
事例２は、左チャンネルにのみ信号があり、ＬｉとＲｉを（数１２）の値とした場合である。
【００３７】
【数１２】
2004325633.tif 000011
【００３８】
そして、ＭｉとＳｉは、（数７）と（数８）とにより、（数１３）と算出される。
【００３９】
【数１３】
2004325633.tif 000012
【００４０】
左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量ｄは、（数４）、（数５）、（数６）より、（数１４）と算出される。
【００４１】
【数１４】
2004325633.tif 000013
【００４２】
事例２では、図７に示すように、ＭＳステレオ符号化と比較して、ＬＲ個別符号化の方が、情報量の偏りが大きいので、符号化効率がよい。すなわち、事例２はＭＳステレオ符号化をオフと判定すべき典型的な事例である。また、このことは、事例２は、事例１でのＬｉとＭｉとを入れ替え、ＲｉとＳｉとを入れ替えたものであることからも裏付けられる。
【００４３】
（３）事例３
次に、事例３は、ＬｉとＲｉを（数１５）の値とした場合である。
【００４４】
【数１５】
2004325633.tif 000014
【００４５】
そして、ＭｉとＳｉは（数７）と（数８）とにより、（数１６）と算出される。
【００４６】
【数１６】
2004325633.tif 000015
【００４７】
左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量ｄは、（数４）、（数５）、（数６）より、（数１７）と算出される。
【００４８】
【数１７】
2004325633.tif 000016
【００４９】
事例３では、ＬｉとＭｉの値、並びにＲｉとＳｉの値が同一である。したがって、ＬＲ個別符号化とＭＳステレオ符号化の符号化効率は同一となる事例である。
【００５０】
（４）事例４
事例４は、ＬｉとＲｉを（数１８）の値とした場合である。
【００５１】
【数１８】
2004325633.tif 000017
【００５２】
そして、ＭｉとＳｉは、（数７）と（数８）により、（数１９）と算出される。
【００５３】
【数１９】
2004325633.tif 000018
【００５４】
左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量ｄは、（数４）、（数５）、（数６）より、（数２０）と算出される。
【００５５】
【数２０】
2004325633.tif 000019
【００５６】
事例４では、Ｌ０＝Ｍ１、Ｌ１＝Ｍ０、Ｒ０＝Ｓ１、Ｒ１＝Ｓ０と対応することができるので、事例３と同様に、ＬＲ個別符号化とＭＳステレオ符号化の符号化効率は同一であるべきである。しかしながら、（数１７）で与えられる事例３と（数２０）で与えられる事例４の左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量ｄの値は異なる。すなわち、特許文献１に記載の従来方法では、左右のステレオチャンネルの信号間のスペクトル間隔の尺度を示す量が、本来同一の値となるべき場合に異なる値となることがあった。この結果、ＭＳステレオ符号化のオン、オフの制御が不適切となり、音質が劣化することがあるという課題があった。
【００５７】
また、特許文献１に記載の従来方法では、インテンシティステレオ符号化で、２つのチャンネルのスペクトルデータの正の相関と負の相関とを識別することができないので、インテンシティステレオ符号化のオン、オフの制御が不適切となり、音質が劣化することがあるという課題があった。
【００５８】
また、特許文献２に記載の従来方法では、聴覚のマスキングモデルに基いてマスキング閾値を算出し、前記マスキング閾値を用いて、ジョイントステレオ符号化とステレオチャンネル個別符号化という２つの場合のビット数を算出しなければならないので、処理量が大きいという課題があった。
【００５９】
本発明は上記の問題点を解決するもので、ジョイントステレオ符号化（ミッドサイドステレオ符号化、あるいはインテンシティステレオ符号化）のオン、オフの制御を高精度に行うことにより、音質を改善したステレオ符号化データを生成することのできる信号符号化方法を提供することを目的とする。
【００６０】
また、２つのチャンネルのスペクトルデータの正の相関と負の相関とを識別して、ジョイントステレオ符号化のオン、オフの制御を高精度に行うことができる信号符号化方法を提供することを目的とする。
【００６１】
また、ジョイントステレオ符号化の高精度な制御を、比較的小さい処理量で実現することを目的とする。
【００６２】
【課題を解決するための手段】
この課題を解決するために、本発明の信号符号化方法は、２つのチャンネルの信号をスペクトルデータに変換し、２つのチャンネルのスペクトルデータを、ミッドサイドステレオ符号化を用いて符号化する方法であって、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の相関を示す量ｃを（数１）で算出するステップと、相関を示す量ｃと閾値とを比較するステップと、比較の結果を用いて、ミッドサイドステレオ符号化のオン／オフを判定するステップと、を備えたことを特徴とする、または、２つのチャンネルの信号をスペクトルデータに変換し、前記２つのチャンネルのスペクトルデータを、インテンシティステレオ符号化を用いて符号化する方法であって、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の相関を示す量ｃを（数２）で算出するステップと、相関を示す量ｃと閾値とを比較するステップと、比較の結果を用いて、インテンシティステレオ符号化のオン／オフを判定するステップと、を備えたことを特徴とするものである。
【００６３】
これにより、ジョイントステレオ符号化のオン／オフの制御を精度よく行うことができるので、符号化効率が高まり音質を改善することができる。
【００６４】
【発明の実施の形態】
本発明の請求項１に記載の発明は、２つのチャンネルの信号をスペクトルデータに変換し、前記２つのチャンネルのスペクトルデータを、ミッドサイドステレオ符号化を用いて符号化する方法であって、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の相関を示す量ｃを（数１）で算出するステップと、（ここで、ｆｓはミッドサイドステレオ符号化のオン／オフを判定するバンドの開始スペクトル番号、ｆｅは前記バンドの終了スペクトル番号である。）前記相関を示す量ｃと閾値とを比較するステップと、前記比較の結果を用いて、ミッドサイドステレオ符号化のオン／オフを判定するステップと、を備えたことを特徴とする信号符号化方法である。
【００６５】
また、請求項２に記載の発明は、前記請求項１に係る発明において、前記相関を示す量ｃと正の第１の閾値とを比較するステップと、前記相関を示す量ｃと負の第２の閾値とを比較するステップと、前記相関を示す量ｃが前記第１の閾値より大きい場合、あるいは第２の閾値より小さい場合には、ミッドサイドステレオ符号化をオンとし、それ以外の場合には、ミッドサイドステレオ符号化をオフとするステップと、を備えたことを特徴とする。
【００６６】
また、請求項３に記載の発明は、前記請求項１に係る発明において、前記相関を示す量ｃと正の閾値とを比較するステップと、前記相関を示す量ｃが前記閾値より大きい場合には、ミッドサイドステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以下の場合には、ミッドサイドステレオ符号化をオフとするステップと、を備えたことを特徴とする。
【００６７】
また、請求項４に記載の発明は、前記請求項１に係る発明において、前記相関を示す量ｃと負の閾値とを比較するステップと、前記相関を示す量ｃが前記閾値より小さい場合には、ミッドサイドステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以上の場合には、ミッドサイドステレオ符号化をオフとするステップと、を備えたことを特徴とする。
【００６８】
また、請求項５に記載の発明は、２つのチャンネルの信号をスペクトルデータに変換し、前記２つのチャンネルのスペクトルデータを、インテンシティステレオ符号化を用いて符号化する方法であって、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の相関を示す量ｃを（数２）で算出するステップと、（ここで、ｆｓはインテンシティステレオ符号化のオン／オフを判定するバンドの開始スペクトル番号、ｆｅは前記バンドの終了スペクトル番号、ｓは（数３）により算出される変数である。）前記相関を示す量ｃと閾値とを比較するステップと、前記比較の結果を用いて、インテンシティステレオ符号化のオン／オフを判定するステップと、を備えたことを特徴とする信号符号化方法である。
【００６９】
また、請求項６に記載の発明は、前記請求項５に係る発明において、前記相関を示す量ｃと正の第１の閾値とを比較するステップと、前記相関を示す量ｃと負の第２の閾値とを比較するステップと、前記相関を示す量ｃが前記第１の閾値より大きい場合、あるいは第２の閾値より小さい場合には、インテンシティステレオ符号化をオンとし、それ以外の場合には、インテンシティステレオ符号化をオフとするステップと、を備えたことを特徴とする。
【００７０】
また、請求項７に記載の発明は、前記請求項５に係る発明において、前記相関を示す量ｃと正の閾値とを比較するステップと、前記相関を示す量ｃが前記閾値より大きい場合には、インテンシティステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以下の場合には、インテンシティステレオ符号化をオフとするステップと、を備えたことを特徴とする。
【００７１】
また、請求項８に記載の発明は、前記請求項５に係る発明において、前記相関を示す量ｃと負の閾値とを比較するステップと、前記相関を示す量ｃが前記閾値より小さい場合には、インテンシティステレオ符号化をオンとし、前記相関を示す量ｃが前記閾値以上の場合には、インテンシティステレオ符号化をオフとするステップと、を備えたことを特徴とする。
【００７２】
また、請求項９に記載の発明は、前記請求項１ないし８のいずれかに記載の信号符号化方法を、コンピュータまたはデジタルシグナルプロセッサに実行させるためのプログラムである。
【００７３】
また、請求項１０に記載の発明は、前記請求項１ないし８のいずれかに記載の信号符号化方法を、コンピュータまたはデジタルシグナルプロセッサに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００７４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００７５】
以下の説明では、最初に本発明の信号符号化方法による実施の形態に共通なポイントについてまとめて説明し、次に各実施の形態に関して固有の特徴的なポイントについて個々に説明する。
【００７６】
図１は、本発明の実施の形態による信号符号化方法を実行するオーディオエンコーダの構成を示すブロック図である。図１に示すオーディオエンコーダは、フィルタバンク１０１、１０２、ステレオ符号化制御部１１０、インテンシティステレオデータ生成部１２０、ミッドサイドステレオデータ生成部１３０、量子化部１４０、符号化部１５０を含んで構成される。このように構成されたオーディオエンコーダの動作について説明する。
【００７７】
入力された左チャンネル（Ｌｃｈ）の時間軸のオーディオ信号は、フィルタバンク１０１において所定の時間サンプルからなる時間ブロックに分割され、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ，変形離散コサイン変換）により、スペクトルデータに変換される。次に、変換されたスペクトルデータは、人間の耳の臨界帯域特性を模擬したバンド単位にグループ化される。
【００７８】
同様に、入力された右チャンネル（Ｒｃｈ）の時間軸のオーディオ信号は、フィルタバンク１０２において時間ブロックに分割され、ＭＤＣＴによりスペクトルデータに変換される。次に、変換されたスペクトルデータはバンド単位にグループ化される。
【００７９】
なお、本実施の形態では、オーディオ信号からスペクトルデータへの変換にＭＤＣＴを用いたが、ＤＣＴ、ポリフェーズフィルタバンク、ハイブリッドフィルタバンク等の他の変換方法を用いてもよい。
【００８０】
ステレオ符号化制御部１１０では、フィルタバンク１０１，１０２から出力される２つのチャンネルのスペクトルデータを比較して、ジョイントステレオ符号化（ミッドサイドステレオ符号化とインテンシティステレオ符号化）の制御を行う。本実施の形態では、ジョイントステレオ符号化の制御をバンド単位で行う。
【００８１】
図２は、ステレオ符号化制御部１１０における制御手順を示すフローチャートである。
【００８２】
ステップ２０１では、２つのチャンネルのスペクトルデータのインテンシティステレオ符号化としての相関を示す量に基づいて、インテンシティステレオ符号化のオン、オフの判定と、２つのチャンネルが同相か逆相かの判定（インテンシティステレオ符号化オンの場合）を行い、その結果を出力する。２つのチャンネルの相関が高く、インテンシティステレオ符号化に適している場合にインテンシティステレオ符号化をオンに判定する。
【００８３】
ステップ２０２では、ステップ２０１のインテンシティステレオ符号化判定結果がオンであるか否かを判断して、オン（ＹＥＳ）の場合には処理を終了し、オフ（ＮＯ）の場合にはステップ２０３に進む。
【００８４】
ステップ２０３では、２つのチャンネルのスペクトルデータのミッドサイドステレオ符号化としての相関を示す量に基づいて、ミッドサイド（ＭＳ）ステレオ符号化のオン、オフを判定し、結果を出力する。２つのチャンネルのスペクトルデータの相関が高く、ＭＳステレオ符号化に適している場合に、ＭＳステレオ符号化をオンに判定する。
【００８５】
ステップ２０４では、ステップ２０３のＭＳステレオ符号化判定結果がオンであるか否かを判断して、オン（ＹＥＳ）の場合には処理を終了し、オフ（ＮＯ）の場合には、ステップ２０５に進む。
【００８６】
ステップ２０５では、ステレオチャンネル（ＬＲ）個別符号化をオンとして、処理を終了する。
【００８７】
以上のように、ステレオ符号化制御部１１０では、ジョイントステレオ符号化制御が必要なすべてのバンドに対して、図２に示した処理を行う。
【００８８】
インテンシティステレオデータ生成部１２０では、ステレオ符号化制御部１１０からの判定結果に基づいて、インテンシティステレオ符号化オンのバンドに対しては、左チャンネルのインテンシティステレオ処理されたスペクトルデータと、左チャンネルに対する右チャンネルの指向性ゲイン（エネルギーの比）とを算出し、出力する。このとき、右チャンネルのスペクトルデータは零に設定される。なお、この零スペクトルデータは符号化データとしては伝送されない。また、インテンシティステレオ符号化オフのバンドに対しては、左右のチャンネルのスペクトルデータをそのまま出力する。
【００８９】
左チャンネルのインテンシティステレオ処理されたスペクトルデータは、左チャンネルと右チャンネルのスペクトルデータの和（２つのチャンネルの位相関係が同相の場合）、あるいは差（２つのチャンネルの位相関係が逆相の場合）を、そのエネルギーが左チャンネルの元のエネルギーと等しくなるように補正して生成される。なお、信号に応じて、スペクトルデータの和と差を切り換えることができるのは、前述した２つのチャンネルの位相関係を示すフラグを符号化データとして伝送する場合である。
【００９０】
ミッドサイドステレオデータ生成部１３０では、ステレオ符号化制御部１１０からの判定結果に基づいて、ミッドサイドステレオ符号化オンのバンドに対しては、ミッドサイドステレオ処理されたミッドスペクトルデータとサイドスペクトルデータを生成する。ミッドスペクトルデータＭｉ（ｉはスペクトル番号）は左チャンネルと右チャンネルのスペクトルデータＬｉとＲｉの和を正規化した（数２１）で生成され、左チャンネルのスペクトルデータとして出力される。また、サイドスペクトルデータＳｉは左チャンネルと右チャンネルのスペクトルデータの差を正規化した（数２２）で生成され、右チャンネルのスペクトルデータとして出力される。
【００９１】
【数２１】
2004325633.tif 000020
【００９２】
【数２２】
2004325633.tif 000021
【００９３】
インテンシティステレオ処理とミッドサイドステレオ処理を共に行わないバンドに対しては、左右のチャンネルの元のスペクトルデータがそのまま出力される。
【００９４】
なお、インテンシティステレオ処理とミッドサイドステレオ処理とは排他的な関係にあり、一方の処理を選択すると他方の処理を選択することはできない。
【００９５】
量子化部１４０では、ミッドサイドステレオデータ生成部１３０からのスペクトルデータを、バンド単位で、スペクトルデータのゲインを示すスケールファクタと、前記ゲインで正規化されたスペクトルデータとに分解して、量子化を行う。
【００９６】
符号化部１５０では、量子化されたデータに対してハフマンコードによる可変長符号化を用いて符号化処理を行い、符号化データを生成し、出力する。
【００９７】
量子化部１４０と符号化部１５０の処理は、符号化データに必要なビット数を利用可能なビット数以下に調整するため、繰り返して行われる。
【００９８】
以下、本発明の特徴的なポイントであるジョイントステレオ符号化の制御方法に関して、各実施の形態毎に説明する。
【００９９】
（実施の形態１）
図３は、本発明の実施の形態１による信号符号化方法におけるミッドサイドステレオ符号化制御方法のステップを示すフローチャートであり、図２に示したステップ２０３のミッドサイド（ＭＳ）ステレオ符号化判定の詳細を示すフローチャートである。
【０１００】
図３において、ステップ３０１、３０２、３０３で、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）の、ミッドサイドステレオ符号化としての相関を示す量ｃを算出する。
【０１０１】
まず、ステップ３０１で、ＬｉとＲｉの積の総和ａを（数２３）で算出する。
【０１０２】
【数２３】
2004325633.tif 000022
【０１０３】
ここで、ｆｓとｆｅは、ミッドサイドステレオ符号化のオン、オフ判定を行うバンドの、それぞれ開始スペクトル番号と終了スペクトル番号である。
【０１０４】
ステップ３０２で、Ｌｉの二乗とＲｉの二乗との差の総和の絶対値ｂを（数２４）で算出する。
【０１０５】
【数２４】
2004325633.tif 000023
【０１０６】
ステップ３０３で、２つのチャンネルのスペクトルデータの相関を示す量ｃを（数２５）で算出する。
【０１０７】
【数２５】
2004325633.tif 000024
【０１０８】
以上の（数２３）、（数２４）、（数２５）から求められる２つのチャンネルのスペクトルデータの相関を示す量ｃを用いることにより、正の相関と負の相関を識別することができる。すなわち、ｃが正の場合には正の相関があることを示し、ｃが負の場合には負の相関があることを示す。
【０１０９】
ステップ３０４で、ｃを正の第１の閾値ｔｈｒ１及び負の第２の閾値ｔｈｒ２と各々比較し、ｃが第１の閾値より大きい場合、あるいは第２の閾値より小さい場合（ＹＥＳ）には、ステップ３０５でミッドサイド（ＭＳ）ステレオ符号化をオンとし、そうでない場合（ＮＯ）には、ステップ３０６でＭＳステレオ符号化オフとする。なお、図３のステップ３０４に示す∨は、論理和を表す記号である。
【０１１０】
図７に示す４つの事例に対して、上記の（数２３）、（数２４）、（数２５）を使って、相関を示す量ｃを算出すると、事例１では、ｃ＝∞となり、事例２では、ｃ＝０となり、事例３では、ｃ＝１／２となり、事例４では、ｃ＝１／２となる。
【０１１１】
以上のように、実施の形態１では、ＭＳステレオ符号化判定に用いる相関を示す量ｃの値が、事例３と事例４との場合で一致している。すなわち、実施の形態１では、従来例において前述した課題が解決されている。
【０１１２】
実施の形態１で、例えば、ｔｈｒ１＝１／２、ｔｈｒ２＝−１／２に設定すれば、事例１ではＭＳステレオ符号化オン、事例２、事例３、事例４ではＭＳステレオ符号化オフと判定される。
【０１１３】
ここで、２つのチャンネルのスペクトルデータの相関を示す量ｃの意味について説明する。スペクトルデータＬｉとＲｉ（ただし、ｆｓ≦ｉ≦ｆｅ）を、Ｌｉ，Ｒｉそれぞれを座標軸とするＬｉ−Ｒｉ座標系上にプロットした場合について考える。次に、前記座標系の原点を通り、Ｌｉ軸と角度αをなす直線で、前記プロットしたスペクトルデータ（Ｌｉ，Ｒｉ）との距離の２乗和を最小にする直線を考える。角度αはＬｉとＲｉの相関の度合いを示す。例えば、α＝π／４で強い正の相関、α＝０で相関なし、α＝−π／４で強い負の相関を表す。したがって、上記距離の２乗和を最小にする直線の角度αは、（Ｌｉ，Ｒｉ）の分布を考慮した相関を示す量である。
【０１１４】
（Ｌｉ，Ｒｉ）と直線との距離Ｅｉは（数２６）で求められるので、距離の２乗和Ｆは（数２７）で求められる。
【０１１５】
【数２６】
2004325633.tif 000025
【０１１６】
【数２７】
2004325633.tif 000026
【０１１７】
そして、距離の２乗和Ｆを最小にする角度αは、（数２８）を満足する。
【０１１８】
【数２８】
2004325633.tif 000027
【０１１９】
（数２７）と（数２８）とから（数２９）が求められる。
【０１２０】
【数２９】
2004325633.tif 000028
【０１２１】
（数２９）で、右辺の分母の絶対値をとることにより、（数３０）が求められる。
【０１２２】
【数３０】
2004325633.tif 000029
【０１２３】
（数２３）、（数２４）、（数２５）、（数３０）から（数３１）が求められる。
【０１２４】
【数３１】
2004325633.tif 000030
【０１２５】
（数３１）に示すように、２つのチャンネルのスペクトルデータの相関を示す量ｃは、（Ｌｉ，Ｒｉ）の分布を考慮した相関を示す直線の角度αと、１対１に対応している。
【０１２６】
以上のように本実施の形態によれば、図３に示したように、（Ｌｉ，Ｒｉ）の分布を考慮した精度の高い相関を示す量ｃをミッドサイドステレオ符号化の制御に用いることにより、精度の高い制御を行うことができる。
【０１２７】
なお、本実施の形態において、ステップ３０４の分岐条件に等号を含むようにしてもよい。すなわち、ステップ３０４での分岐条件（ｃ＞ｔｈｒ１）∨（ｃ＜ｔｈｒ２）を（ｃ≧ｔｈｒ１）∨（ｃ≦ｔｈｒ２）としてもよい。
【０１２８】
なお、ミッドサイドステレオ符号化では、スペクトルデータの和と差とを正規化したものを共に符号化するので、実施の形態１では、正の相関があっても負の相関があってもミッドサイドステレオ符号化オンと判定した。しかしながら、例えば左右のチャンネルの割り当てビット数に制約があり、正の相関がある場合にのみ、すなわち相関を示す量ｃが正の閾値より大きい場合にのみ、ミッドサイドステレオ符号化をオンとするようににしてもよい。同様に、負の相関がある場合にのみ、すなわち相関を示す量ｃが負の閾値より小さい場合にのみミッドサイドステレオ符号化をオンとするようににしてもよい。
【０１２９】
以上のように実施の形態１では、図３に示すとおり、ステップ３０１、３０２、３０３で２つのチャンネルのスペクトルデータの相関を示す量を精度よく算出し、ステップ３０４で前記相関を示す量と閾値とを比較して、ミッドサイドステレオ符号化のオン、オフの判定を精度よく行うことにより、ミッドサイドステレオ符号化の音質を改善したステレオ符号化データを生成することができる。
【０１３０】
（実施の形態２）
図４は、本発明の実施の形態２による信号符号化方法におけるインテンシティステレオ符号化制御方法のステップを示すフローチャートであり、図２に示したステップ２０１のインテンシティステレオ符号化判定の詳細を示すフローチャートである。
【０１３１】
実施の形態２のインテンシティステレオ符号化では、左右のチャンネルが同相であるか逆相であるかを示すフラグを、符号化データとして伝送し、左右のチャンネルが同相である場合には、スペクトルデータの和を、逆相である場合にはスペクトルデータの差を、ゲイン補正して符号化する。
【０１３２】
図４に示すステップ４０１、４０２、４０３、４０４で、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）のインテンシティステレオ符号化としての相関を示す量ｃを算出する。
【０１３３】
まず、ステップ４０１で左チャンネルのエネルギーに対する右チャンネルのエネルギーの比の平方根ｓを（数３２）で算出する。
【０１３４】
【数３２】
2004325633.tif 000031
【０１３５】
ここで、ｆｓとｆｅは、インテンシティステレオ符号化のオン、オフ判定を行うバンドの、それぞれ開始スペクトル番号と終了スペクトル番号である。
【０１３６】
次に、ステップ４０２で、Ｌｉをｓで補正した（Ｌｉ／ｓ）とＲｉの積の総和ａを（数３３）で算出する。Ｌｉを補正するのは、インテンシティステレオ符号化では、復号化時の右チャンネルのスペクトルデータは、インテンシティステレオ処理された左チャンネルのスペクトルデータをｓで割ることによって算出するからである。
【０１３７】
【数３３】
2004325633.tif 000032
【０１３８】
ステップ４０３で、Ｌｉをｓで補正した（Ｌｉ／ｓ）の二乗とＲｉの二乗との差の総和の絶対値ｂを（数３４）で算出する。
【０１３９】
【数３４】
2004325633.tif 000033
【０１４０】
そして、ステップ４０４で、２つのチャンネルのスペクトルデータのインテンシティステレオ符号化としての相関を示す量ｃを（数３５）で算出する。
【０１４１】
【数３５】
2004325633.tif 000034
【０１４２】
インテンシティステレオ符号化では、ミッドサイドステレオ符号化とは異なり、２つのチャンネルのスペクトルデータの和あるいは差（正確には和あるいは差をゲイン補正したもの）の一方のみを符号化するので、正の相関と負の相関を識別する必要がある。しかしながら、特許文献１に記載された従来例では、正の相関と負の相関を識別することができなかった。実施の形態２では、正の相関と負の相関を識別することができる。すなわち、２つのチャンネルの相関を示す量ｃが正の場合には正の相関があることを示し、ｃが負の場合には負の相関があることを示す。実施の形態２では、正の相関と負の相関とを識別することができるので、精度の高いインテンシティステレオ符号化の制御を行うことができる。
【０１４３】
ステップ４０５で、相関を示す量ｃを、正の第１の閾値ｔｈｒ１と負の第２の閾値ｔｈｒ２のそれぞれと比較し、ｃが第１の閾値より大きい場合、あるいは第２の閾値より小さい場合（ＹＥＳ）には、ステップ４０６でインテンシティステレオ符号化をオンとし、そうでない場合（ＮＯ）には、ステップ４０７でインテンシティステレオ符号化オフとする。
【０１４４】
なお、ステップ４０５の分岐条件に等号を含むようにしてもよい。すなわち、ステップ４０５での分岐条件（ｃ＞ｔｈｒ１）∨（ｃ＜ｔｈｒ２）を（ｃ≧ｔｈｒ１）∨（ｃ≦ｔｈｒ２）としてもよい。
【０１４５】
次に、インテンシティステレオ符号化オンの場合には、相関を示す量ｃの値に基づいて、左右のチャンネルの位相関係が同相であるか逆相であるかを判定する。すなわち、ステップ４０８でｃが零以上であるか否かを判断し、ｃが零以上である場合（ＹＥＳ）にはステップ４１０で２つのチャンネルは同相（ＬＲ同相）、また、ｃが負の場合（ＮＯ）にはステップ４０９で２つのチャンネルは逆相（ＬＲ逆相）、と判定して結果を出力する。
【０１４６】
以上のように実施の形態２では、ステップ４０１、４０２、４０３、４０４で２つのチャンネルのスペクトルデータのインテンシティステレオ符号化としての相関を示す量を精度よく算出し、ステップ４０５で前記相関を示す量と閾値とを比較して、インテンシティステレオ符号化のオン、オフの判定を行い、またステップ４０８で相関を示す量と零とを比較して、２つのチャンネルが同相であるか逆相であるか、の判定を行うことにより、インテンシティステレオ符号化の音質を改善したステレオ符号化データを生成することができる。
【０１４７】
（実施の形態３）
図５は、本発明の実施の形態３による信号符号化方法におけるインテンシティステレオ符号化制御方法のステップを示すフローチャートであり、図２に示すステップ２０１のインテンシティステレオ符号化判定の詳細を示すフローチャートである。
【０１４８】
実施の形態２と異なり、実施の形態３のインテンシティステレオ符号化では、左右のチャンネルが同相であるか、逆相であるかを示すフラグを、符号化データとして伝送しない。実施の形態３では、スペクトルデータとして、左右のチャンネルのスペクトルデータの和をゲイン補正したものが符号化される。
【０１４９】
図５において、ステップ５０１、５０２、５０３、５０４で、２つのチャンネルのスペクトルデータＬｉとＲｉ（ｉはスペクトル番号）のインテンシティステレオ符号化としての相関を示す量ｃを算出する。図５のステップ５０１、５０２、５０３、５０４は、それぞれ図４のステップ４０１、４０２、４０３、４０４と同一なので、説明を省略する。
【０１５０】
ステップ５０５で、相関を示す量ｃを、正の閾値ｔｈｒと比較し、ｃが閾値より大きい場合（ＹＥＳ）には、ステップ５０６でインテンシティステレオ符号化をオンとし、そうでない場合（ＮＯ）には、ステップ５０７でインテンシティステレオ符号化オフとする。
【０１５１】
なお、ステップ５０５の分岐条件に等号を含むようにしてもよい。すなわち、ステップ５０５での分岐条件ｃ＞ｔｈｒをｃ≧ｔｈｒとしてもよい。
【０１５２】
また、ｃ（＝ａ／ｂ）とｔｈｒを比較する代わりに、ａとｂ×ｔｈｒを比較するようにしてもよい。このようにすることにより、ステップ５０４で相関を示す量ｃの算出時に必要であったａ÷ｂの割り算が不要となる。
【０１５３】
このように実施の形態３では、２つのチャンネルに正の相関がある場合にのみ、インテンシティステレオ符号化をオンにし、左右のチャンネルのスペクトルデータの和をゲイン補正して符号化する。これにより、２つのチャンネルに負の相関がある場合にインテンシティステレオ符号化をオンすることによる音質劣化を防止することができる。
【０１５４】
以上のように実施の形態３では、ステップ５０１、５０２、５０３、５０４で２つのチャンネルのスペクトルデータのインテンシティステレオ符号化としての相関を示す量を精度よく算出し、ステップ５０５で前記相関を示す量と閾値とを比較して、正の相関がある場合にインテンシティステレオ符号化をオンと判定することにより、精度の高いインテンシティステレオ符号化制御を行い、インテンシティステレオ符号化の音質を改善したステレオ符号化データを生成することができる。
【０１５５】
なお、実施の形態３では、２つのチャンネルに正の相関があることが多いとして、インテンシティステレオ符号化のスペクトルデータに、左右のチャンネルのスペクトルデータの和をゲイン補正したものを用いたが、２つのチャンネルに負の相関があることが多い場合には、左右のチャンネルのスペクトルデータの差をゲイン補正したものを用いるようにしてもよい。
【０１５６】
なお、上記実施の各形態では、本発明の信号符号化方法をステレオオーディオ信号に適用する例を示したが、ステレオ画像信号に適用することも可能である。
【０１５７】
また、上記各実施の形態における信号符号化方法は、コンピュータまたはデジタルシグナルプロセッサに実行させるためのプログラムとして実現することができ、これをコンピュータ読み取り可能な記録媒体に記録してもよい。
【０１５８】
【発明の効果】
以上のように本発明によれば、ジョイントステレオ符号化（ミッドサイドステレオ符号化、あるいはインテンシティステレオ符号化）のオン、オフの制御を高精度に行うことができる。これにより、ジョイントステレオ符号化の音質を改善したステレオ符号化データを生成することができる。
【０１５９】
また、本発明によれば、比較的小さい処理量で、ジョイントステレオ符号化の音質を改善したステレオ符号化データを生成することができる。また、本発明は、ジョイントステレオ符号化を用いる多くの符号化方式に適用可能で、広範囲に使用することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による信号符号化方法を実施するオーディオエンコーダの構成を示すブロック図
【図２】同オーディオエンコーダにおけるステレオ符号化制御部の制御手順を示すフローチャート
【図３】本発明の実施の形態１による信号符号化方法におけるミッドサイドステレオ符号化制御方法の処理ステップを示すフローチャート
【図４】同実施の形態２による信号符号化方法におけるインテンシティステレオ符号化制御方法の処理ステップを示すフローチャート
【図５】同実施の形態３による信号符号化方法におけるインテンシティステレオ符号化制御方法の処理ステップを示すフローチャート
【図６】従来の信号符号化方法におけるミッドサイドステレオ符号化制御方法の処理ステップを示すフローチャート
【図７】ＬＲ個別符号化とＭＳステレオ符号化のスペクトルデータの事例を示す概念図
【符号の説明】
１０１，１０２  フィルタバンク
１１０  ステレオ符号化制御部
１２０  インテンシティステレオデータ生成部
１３０  ミッドサイドステレオデータ生成部
１４０  量子化部
１５０  符号化部
【図１】
2004325633.tif 000038
【図２】
2004325633.tif 000039
【図３】
2004325633.tif 000040
【図４】
2004325633.tif 000041
【図５】
2004325633.tif 000042
【図６】
2004325633.tif 000043
【図７】
2004325633.tif 000044