(57)【要約】【課題】インテンシティステレオ符号化方式を用いて、再生時の音質を劣化させることなく、音声信号を符号化することができる、符号化装置、符号化方法、プログラムおよび符号化装置を搭載した電子機器を提供する。【解決手段】符号化装置（１）は、符号化すべき入力音声信号が含む、第１チャネル信号（Ｌｍ（ｆ））と第２チャネル信号（Ｒｍ（ｆ））とを合成する合成部（３）と、合成部の出力レベルが、少なくとも第１チャネル信号レベルとなるように、合成部の出力レベルを調整する調整部（５）とを有する。調整部は、第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、合成部の出力レベルが最小可聴値以下となる調整可能な範囲内で、合成部の出力レベルを第１チャネル信号レベルよりも上げる。【選択図】図１
2011118215.tif 000002
【特許請求の範囲】
【請求項１】
符号化すべき入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する合成部と、
前記合成部の出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記合成部の出力レベルを調整する調整部と、
を有し、
前記調整部は、
前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記合成部の出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる
符号化装置。
【請求項２】
前記調整部は、
前記第１チャネル信号レベルが前記第２チャネル信号レベルよりも小さい場合には、前記合成部の出力波形が、前記第２チャネル信号の波形となるように、前記調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる
請求項１記載の符号化装置。
【請求項３】
前記第２チャネル信号レベルに対する前記第１チャネル信号レベルの比を取得する取得部を有し、
前記調整部は、
前記取得部が取得した比が、１よりも小さい値で規定された閾値以下の場合には、前記第１チャネル信号レベルが前記第２チャネル信号レベルよりも小さいと判断し、前記調整可能な範囲内で、前記合成部の出力レベルを調整する
請求項２記載の符号化装置。
【請求項４】
前記合成部の出力の周波数帯域を複数に分割する分割部を有し、
前記調整部は
前記取得部が取得した比が前記閾値以下の場合には、前記調整可能な範囲内で、前記合成部の出力波形を、前記分割部が分割した周波数帯域ごとに調整する
請求項３記載の符号化装置。
【請求項５】
前記調整部は、
前記第１チャネル信号レベルが第２チャネル信号レベル以上の場合には、前記合成部の出力レベルを前記第１チャネル信号レベルに調整し、
前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる
請求項１から４のいずれか一に記載の符号化装置。
【請求項６】
前記調整部は、
前記第１チャネル信号レベルが前記第２チャネル信号レベルよりも小さい場合には、前記合成部の出力レベルを、前記最小可聴値に一致させる
請求項１記載の符号化装置。
【請求項７】
符号化すべき入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する第１工程と、
前記第１工程で合成した、前記第１チャネル信号と前記第２チャネル信号とを出力する第２工程と、
前記第２工程における出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記第２工程における出力レベルを調整する第３工程と、
を有し、
前記第３工程では、
前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記第２工程における出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる
符号化方法。
【請求項８】
符号化すべき入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する第１手順と、
前記第１手順で合成した、前記第１チャネル信号と前記第２チャネル信号とを出力する第２手順と、
前記第２手順における出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記第２手順での出力レベルを調整する第３手順と、
を有し、
前記第３手順では、
前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記第２手順における出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる
ことをコンピュータに実行させるプログラム。
【請求項９】
入力音声信号を符号化する符号化装置を有し、
前記符号化装置は、
前記入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する合成部と、
前記合成部の出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記合成部の出力レベルを調整する調整部と、
前記調整部によって出力レベルが調整された前記合成部の出力レベルを、符号化すべき音声信号として前記第２データ形式で符号化する符号化部と
を有し、
前記調整部は、
前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記合成部の出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を符号化する符号化装置、音声信号の符号化方法、音声信号を符号化するプログラム、および、符号化装置を搭載した電子機器に関するものである。
【背景技術】
【０００２】
たとえば、デジタルテレビジョン放送やインターネットでは、取り扱うデータ量を低減させるため、映像信号に付帯した音声信号は、たとえば、ＭＰＥＧ２／ＡＡＣ（ISO/IEC 13818-7規格）やＭＰＥＧ４／ＡＡＣ（ISO/IEC 14496-3規格）を用いて圧縮符号化されることが多い。
なお、「ＭＰＥＧ」は、「Moving Picture Experts Group phase」の略称である。「ＡＡＣ」は、「Advanced Audio Coding」の略称である。
【０００３】
以下、ＭＰＥＧ２／ＡＡＣを圧縮符号化方式の一例に挙げ、ＭＰＥＧ２／ＡＡＣを単に「ＡＡＣ」と言う。ＡＡＣは、インテンシティステレオ（強度ステレオとも言う：Intensity Stereo）符号化方式に対応している。適宜、「インテンシティステレオ」を単に「ＩＳ」とも表記する。
ＩＳ符号化によれば、２チャネルのステレオ信号において、左チャネル信号の高周波成分と右チャネル信号の高周波成分との和が左チャネルの音声信号として符号化される。右チャネル信号の高周波成分は、０に設定され、符号化されない。ここで言う、高周波成分は、たとえば、２ｋＨｚ〜７ｋＨｚ程度の周波数成分である。なお、両者の低周波成分（〜２ｋＨｚ）は、各々符号化される。
【０００４】
このように、ＩＳ符号化方式を用いれば、２チャネルのステレオ信号のデータ量を、モノラル信号のデータ量並に（圧縮）符号化することができる。この利点を生かすべく、ＩＳ符号化方式を用いた、種々の符号化装置が提案されている（特許文献１、２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２４４６９８号公報
【特許文献２】特開２００８−１５８３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ステレオ放送では、音楽を典型的な例に挙げると、左チャネルの音声と右チャネルの音声が同じであることは少なく、両者の信号強度差が頻繁に発生している。
ここで言う「信号強度差」とは、たとえば、左チャネル信号の強度と右チャネル信号の強度との差を指す。
ＩＳ符号化方式は、上述の利点を有するが、大きな信号強度差が生じた場合には、再生時の音質が著しく劣化することがある。
【０００７】
そこで、再生時の音質を劣化させることなく、ＩＳ符号化方式を用いて、音声信号を符号化することが望まれている。
【０００８】
本発明は、再生時の音質を劣化させることなく、インテンシティステレオ符号化方式を用いて、音声信号を符号化することができる、符号化装置、符号化方法およびプログラムを提供することにある。
本発明は、再生時の音質を劣化させることなく、インテンシティステレオ符号化方式を用いて、音声信号を符号化することができる符号化装置を搭載した、電子機器を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の符号化装置は、符号化すべき入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する合成部と、前記合成部の出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記合成部の出力レベルを調整する調整部と、を有し、前記調整部は、前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記合成部の出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる。
【００１０】
本発明の符号化方法は、符号化すべき入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する第１工程と、前記第１工程で合成した、前記第１チャネル信号と前記第２チャネル信号とを出力する第２工程と、前記第２工程における出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記第２工程における出力レベルを調整する第３工程と、を有し、前記第３工程では、前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記第２工程における出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる。
【００１１】
本発明のプログラムは、符号化すべき入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する第１手順と、前記第１手順で合成した、前記第１チャネル信号と前記第２チャネル信号とを出力する第２手順と、前記第２手順における出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記第２手順での出力レベルを調整する第３手順と、を有し、前記第３手順では、前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記第２手順における出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げることをコンピュータに実行させる。
【００１２】
本発明の電子機器は、入力音声信号を符号化する符号化装置を有し、前記符号化装置は、前記入力音声信号が含む、第１チャネル信号と第２チャネル信号とを合成する合成部と、前記合成部の出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記合成部の出力レベルを調整する調整部と、前記調整部によって出力レベルが調整された前記合成部の出力レベルを、符号化すべき音声信号として前記第２データ形式で符号化する符号化部とを有し、前記調整部は、前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記合成部の出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる。
【００１３】
本発明の符号化装置によれば、合成部が、第１チャネル信号と第２チャネル信号とを合成すると、調整部は、前記合成部の出力レベルが、少なくとも第１チャネル信号レベルとなるように、前記合成部の出力レベルを調整する。
この際に、前記調整部は、前記第１チャネル信号レベルが第２チャネル信号レベルよりも小さい場合には、前記合成部の出力レベルが最小可聴値以下となる調整可能な範囲内で、前記合成部の出力レベルを前記第１チャネル信号レベルよりも上げる。
【発明の効果】
【００１４】
本発明によれば、再生時の音質を劣化させることなく、インテンシティステレオ符号化方式を用いて、音声信号を符号化することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の第１実施形態に係る符号化装置の構成例を示すブロック図である。
【図２】図２（Ａ）、（Ｂ）は、本発明の第１実施形態に係る入力音声信号の一例を示す図である。
【図３】図３（Ａ）、（Ｂ）は、本発明の第１実施形態に係る左チャネル信号の周波数成分、および、右チャネル信号の周波数成分を各々例示する図である。
【図４】図４は、本発明の第１実施形態に係るフィルタバンクの構成例を示すブロック図である。
【図５】図５は、本発明の第１実施形態に係る合成部の構成例を示すブロック図である。
【図６】図６は、本発明の第１実施形態に係る演算部の構成例を示すブロック図である。
【図７】図７は、本発明の第１実施形態に係る調整部の構成例を示すブロック図である。
【図８】図８は、本発明の第１実施形態に係る分割処理を説明するための図である。
【図９】図９（Ａ）〜（Ｄ）は、本発明の第１実施形態に係るパワー比を説明するための図である。
【図１０】図１０は、本発明の第１実施形態に係る判断基準を例示する図である。
【図１１】図１１は、本発明の第１実施形態に係る等ラウドネス曲線を例示する図である。
【図１２】図１２は、本発明の第１実施形態に係る調整処理を説明するための図である。
【図１３】図１３は、本発明の第１実施形態に係る調整処理を説明するための図である。
【図１４】図１４は、本発明の第１実施形態に係る調整処理を説明するための図である。
【図１５】図１５は、本発明の第１実施形態に係る符号化装置の動作例を示すフローチャートである。
【図１６】図１６は、本発明の第１実施形態に係る合成部の動作例を示すフローチャートである。
【図１７】図１７は、本発明の第１実施形態に係る演算部の動作例を示すフローチャートである。
【図１８】図１８は、本発明の第２実施形態に係る符号化装置の構成例を示すブロック図である。
【図１９】図１９は、本発明の第２実施形態を説明するための図である。
【図２０】図２０は、本発明の第２実施形態を説明するための図である。
【図２１】図２１は、本発明の第２実施形態を説明するための図である。
【図２２】図２２は、本発明の第２実施形態を説明するための図である。
【図２３】図２３は、本発明の第１実施形態を説明するための図である。
【図２４】図２４は、本発明の第３実施形態に係る符号化装置の構成例を示すブロック図である。
【図２５】図２５は、本発明の第３実施形態に係る調整部の構成例を示すブロック図である。
【図２６】図２６は、本発明の第４実施形態に係る電子機器の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面に関連付けて説明する。なお、説明は、以下の順序で行う。
１．第１実施形態（符号化装置１）
２．第２実施形態（符号化装置１と符号化装置１ａとの比較例）
３．第３実施形態（符号化装置１ｂ）
４．第４実施形態（符号化装置１を搭載した電子機器）
【００１７】
＜１．第１実施形態＞
第１実施形態の構成要素と本発明の構成要素との対応関係について説明する。
演算部４は、本発明の取得部の一実施形態である。
調整部５の分割処理部５１は、本発明の一実施形態である。
左チャネル信号Ｌ（ｔ）は、本発明の第１チャネル信号の一実施形態である。右チャネル信号Ｒ（ｔ）は、本発明の第２チャネル信号の一実施形態である。
閾値Ｔｈ２は、本発明の閾値の一実施形態である。
【００１８】
［符号化装置１の構成例］
符号化装置１の構成例を図１に関連づけて説明する。
図１は、本発明の第１実施形態に係る符号化装置の構成例を示すブロック図である。
【００１９】
図１に図示する符号化装置１は、フィルタバンク（ＦＢ）２ａ、２ｂ、合成部（ＣＯＭＰ）３、演算部（ＯＰＥ）４、調整部（ＡＤＪ）５、符号化部（ＥＮＣＯＤＥ）６およびビットストリーム発生部（ＢＳＧＥＮ）７を有する。
主に、符号化装置１は、（Ａ）周波数スペクトル変換処理、（Ｂ）合成処理、（Ｃ）演算処理、（Ｄ）調整処理、（Ｅ）符号化処理、および、（Ｆ）ビットストリーム発生処理を行って、入力音声信号をＩＳ符号化する。
【００２０】
符号化装置１は、ＣＰＵ（中央演算処理装置）等を搭載したコンピュータの一部として構成され、上述の（Ａ）〜（Ｆ）の処理をソフトウェア処理する。
ＩＳ符号化を行うための手順は、コンピュータに実行させるプログラムとして、コンピュータで読み出し可能な記録媒体、たとえば、ハードディスク（図２６参照）に記録されている。
【００２１】
入力音声信号は、たとえば、２チャネルのステレオ信号であって、左チャネル信号Ｌ（ｔ）と右チャネル信号Ｒ（ｔ）とを有する。適宜、「左チャネル信号Ｌ（ｔ）」および「右チャネル信号Ｒ（ｔ）」を単に「左信号Ｌ（ｔ）」および「右信号Ｒ（ｔ）」と各々表記する。
【００２２】
入力音声信号の一例を示す。図２（Ａ）、（Ｂ）は、本発明の第１実施形態に係る入力音声信号の一例を示す図である。各図において、横軸は時間を示し、縦軸は音圧を示す。
図２（Ａ）には、左信号Ｌ（ｔ）の音圧が時間軸（ｔ）に沿って変動する様子が例示されている。図２（Ｂ）には、右信号Ｒ（ｔ）の音圧が時間軸に沿って変動する様子が例示されている。
なお、「音圧」とは、音の圧力変動を指し、正または負の値（単位は、たとえばＰａ）をとる。
【００２３】
先に述べたように、ＩＳ符号化によれば、左信号Ｌ（ｔ）の高周波成分と右信号Ｒ（ｔ）の高周波成分との和のみが、左チャネルの信号として符号化される。両者の低周波成分は、各々符号化される。
【００２４】
本実施形態において、「高周波帯域（高周波成分）」とは、たとえば、２ｋＨｚ〜７ｋＨｚの周波数帯域（周波数成分）を指す。「低周波帯域（低周波成分）」とは、たとえば、１６Ｈｚ〜２ｋＨｚの周波数帯域（周波数成分）を指す。低周波帯域と高周波帯域とを区切る閾値Ｔｈは、好適に予め設定可能であり、本実施形態では、一例として２ｋＨｚに設定されている。
【００２５】
［（Ａ）フィルタバンク２ａ、２ｂの概要（周波数スペクトル変換処理）］
フィルタバンク２ａ、２ｂの概要について説明する。両者は、互いに同一の機能を有する。ここでは、フィルタバンク２ａを例に挙げて説明する。
【００２６】
フィルタバンク２ａは、所定時間（たとえば、図２（Ａ）に示す時間の範囲）の左信号Ｌ（ｔ）を、複数の周波数成分のスペクトルを持つ周波数スペクトルに変換する。この変換には、一例として、ＭＤＣＴ（Modified Discrete Cosine Transform：修正離散コサイン変換）が用いられる。
具体的には、フィルタバンク２ａは、左信号Ｌ（ｔ）を所定サンプル数ごとに、変換ブロックと呼ばれるブロックにブロック化する。
【００２７】
変換ブロック長（サンプル数）は、入力音声信号に応じて異なり、ロングブロックの場合には、２０４８であり、ショートブロックの場合には、２５６である。通常は、効率のよいＭＤＣＴを行うため、ロングブロックが選択される。カスタネットが発する音のように、入力音が急峻に変化する場合には、量子化ノイズを低減させるために、ショートブロックが選択される。
【００２８】
変換ブロック長の選択は、符号化装置１が有する心理聴覚分析部（不図示）によって行われる。心理聴覚分析部は、いずれの変換ブロック長でＭＤＣＴを行うかを、フィルタバンク２ａ、２ｂに指示する。
心理聴覚分析部の機能は、たとえば、演算部４が有していてもよい。この場合、演算部４は、いずれの変換ブロック長でＭＤＣＴを行うかをフィルタバンク２ａ、２ｂに指示する。
【００２９】
このように、入力音声信号をブロック化することにより、ＭＤＣＴや量子化の際に並列処理が容易となる。本実施形態では、ブロック分割を行うが、サイクリック分割を行ってもよい。
【００３０】
１個の変換ブロックには、サンプル数の左信号Ｌ（ｔ）の離散値（たとえば、音圧の値）が、時間情報と共に、ＭＤＣＴすべきデータとして含まれている。
ここで言う「サンプル数」とは、ＭＤＣＴを行うためにサンプリングされたときの、左信号Ｌ（ｔ）の離散値の数を指す。右信号Ｒ（ｔ）についても、これと同様である。
【００３１】
そして、フィルタバンク２ａは、ブロック化された左信号Ｌ（ｔ）を、周波数スペクトルに変換する。ＭＤＣＴの後、フィルタバンク２ａは、１０２４のスペクトル（ＭＤＣＴ係数）をスケールファクタバンド単位でｍ個のグループにグループ化し、これを左チャネル信号Ｌ（ｔ）の周波数成分（左スペクトルＬｍ（ｆ））として、合成部３に出力する。
【００３２】
スケールファクタバンドは、たとえば、人間の聴覚の特性に合わせて、低周波帯域では狭く、高周波帯域では広くなるように、設定される。このため、一般に、周波数が高くなるほど、一つ当たりのスケールファクタバンドに含まれるスペクトル数は、多くなる。スペクトルは、このスケールファクタバンド単位で、量子化される。
【００３３】
フィルタバンク２ｂは、右信号Ｒ（ｔ）を周波数スペクトルに変換し、これを右チャネル信号Ｒ（ｔ）の周波数成分（右スペクトルＲｍ（ｆ））として、合成部３に出力する。
【００３４】
ここで、周波数スペクトルの一例を示す。
図３（Ａ）は、本発明の第１実施形態に係る左チャネル信号の周波数成分（Ｌｍ（ｆ））を例示する図である。図３（Ｂ）は、右チャネル信号の周波数成分（Ｒｍ（ｆ））を例示する図である。
各図において、横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、スペクトル値（Ｌｍ（ｆ）：単位はｄＢ）を示し、これは音声信号の音圧の強度を意味している。
【００３５】
図３（Ａ）、（Ｂ）には、一部のスペクトルが例示されているが、実際には、１０２４のスペクトルが存在する。これらのスペクトルは、音声信号が時間変化する限り、時間と共に変化する。
本実施形態では、図３（Ａ）、（Ｂ）に図示するように、信号の周波数成分（の分布）を単に「スペクトル」とも言う。
適宜、左チャネル信号Ｌ（ｔ）のスペクトルを単に「左スペクトルＬｍ（ｆ）」と言う。右チャネル信号Ｒ（ｔ）のスペクトルを単に「右スペクトルＲｍ（ｆ）」と言う。
【００３６】
本実施形態では、１（本）のスペクトルの２乗値を「パワースペクトル」と言う。
「信号のパワー」とは、特に断りが無い限り、信号の周波数帯域全体のパワースペクトルの総和を指す。
図３（Ａ）に図示する左チャネル信号Ｌｍ（ｔ）のパワースペクトルの総和は、単位時間当たりの左チャネル信号Ｌｍ（ｔ）のパワーに等しい。
なお、図２（Ａ）に図示する左チャネル信号Ｌｍ（ｔ）のパワーは、音圧の２乗値を所定時間（たとえば、図２（Ａ）に示す時間の範囲）積分し、その積分値をその時間で除算した値である。右チャネル信号Ｒｍ（ｔ）のパワースペクトルの総和についても、これと同様である。
【００３７】
図３（Ａ）、（Ｂ）には、低周波帯域（ＬＦＢ）、高周波帯域（ＨＦＢ）、閾値ｔｈおよびスケールファクタバンド（ＳＦＢ）も図示されている。
スケールファクタバンドは、周波数が低い方から順に、バンド番号ｎが割り振られている。バンド番号ｍは、低周波帯域では、１からｍｔｈ−１をとり、高周波帯域では、ｍｔｈからｍをとる。変数ｍｔｈは、１＜ｍｔｈ＜ｍの範囲の値をとる。適宜、バンド番号ｍのスケールファクタバンドを「ＳＦＢ（ｍ）」と表記する。
上述したように、高周波帯域のバンド幅（帯域幅）は、低周波帯域のものよりも広く設定されている。
【００３８】
［（Ｂ）合成部３の概要（合成処理）］
合成部３の概要について説明する。合成部３は、フィルタバンク２ａから左スペクトルＬｍ（ｆ）が入力され、フィルタバンク２ｂから右スペクトルＲｍ（ｆ）が入力されると、両者を用いて、（１）ＴＮＳ（Temporal Noise Shaping）処理と、（２）判断処理と、（３）合成処理とを行う。ここでは、これらの処理の基本的な内容について説明する。
【００３９】
（１）ＴＮＳ処理
合成部３は、各スペクトル（これらはＭＤＣＴ係数に相当する）を、線形予測係数を持つＴＮＳフィルタに通す。これにより、たとえば、復号側が逆ＭＤＣＴを行うと、その後の信号に含まれる量子化雑音は、時間領域における時間軸上の振幅の大きい所に集中する。
【００４０】
（２）判断処理
合成部３は、ＴＮＳ処理後のスペクトルに対して、ＩＳ符号化を行うか否かを判断する。この判断は、スケールファクタバンド単位で行われる。
【００４１】
（３）合成処理
ＩＳ符号化を行う場合には、合成部３は、たとえば、ＡＡＣの規格に従って、次の合成処理を行う。合成部３は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）との和スペクトルＳＵＭｍ（ｆ）＝Ｌｍ（ｆ）＋Ｒｍ（ｆ）を算出する。
上記の規格によれば、右スペクトルＲｍ（ｆ）は符号化されないため、次に、合成部３は、右スペクトルＲｍ（ｆ）を０に設定する（Ｒｍ（ｆ）＝０）。そして、合成部３は、和スペクトルＳＵＭｍ（ｆ）を調整部５に出力する。
なお、ＩＳ符号化を行わない場合には、合成部３は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とを、そのまま符号化部６に出力する。
【００４２】
［（Ｃ）演算部４の概要（演算処理）］
演算部４の概要について説明する。演算部４は、フィルタバンク２ａから左スペクトルＬｍ（ｆ）が入力され、フィルタバンク２ｂから右スペクトルＲｍ（ｆ）が入力されると、両者を用いて、パワー比算出処理を行う。
【００４３】
演算部４は、右信号Ｒｍ（ｔ）のパワーに対する左信号Ｌｍ（ｔ）のパワーの比を算出する。この比を「パワー比」と言う。この際に、演算部４は、右スペクトルＲｍ（ｆ）の強度に対する左スペクトルＬｍ（ｆ）の強度の比をパワー比ＲＡｍ＝Ｌｍ（ｆ）／Ｒｍ（ｆ）として算出する。
パワー比ＲＡｍの基準値としては、たとえば、スケールファクタバンドＳＦＢ（ｍ）における左スペクトルＬｍ（ｆ）のｉ番目のスペクトル値が用いられる。変数ｉは、正の整数である。
そして、演算部４は、パワー比ＲＡｍを調整部５とビットストリーム発生部７とに出力する。
【００４４】
［（Ｄ）調整部５の概要（調整処理）］
調整部５の概要について説明する。調整部５は、（１）分割処理と、（２）判断処理と、（３）調整処理とを行う。
【００４５】
（１）分割処理
調整部５は、合成部３から和スペクトルＳＵＭｍ（ｆ）が入力されると、後の調整処理を効率よく行うべく、和スペクトルＳＵＭｍ（ｆ）の周波数帯域をｋ個に分割する。変数ｋは、正の整数である（図８参照）。
【００４６】
（２）判断処理
調整部５は、フィルタバンク２ａ、２ｂに入力された、左信号Ｌｍ（ｔ）と右信号Ｒｍ（ｔ）との信号強度差が大きいか否かを判断する。
ここで、「信号強度差」とは、左チャネル信号Ｌｍ（ｔ）の強度と右チャネル信号Ｒｍ（ｔ）の強度との差を指す。両者の強度の差を単に「信号強度差」と言う。
ところで、判断処理には、調整部５が処理可能な、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とが用いられる。
そのため、調整部５は、左信号Ｌｍ（ｔ）の強度と右信号Ｒｍ（ｔ）の強度との差の代わりに、左スペクトルＬｍ（ｆ）の強度と右スペクトルＲｍ（ｆ）の強度との差が大きいか否かを判断する。
ここで、「スペクトルの強度」とは、たとえば、パワースペクトルの総和で表わされる信号のパワーを指す。
【００４７】
（３）調整処理
調整部５は、基本的には、合成部３の出力のパワーが、左信号Ｌｍ（ｔ）のパワーと一致するように、合成部３の出力のパワーを調整する。
具体的には、調整部５は、合成部３の出力のパワーを調整する際に、和スペクトルＳＵＭｍ（ｆ）の強度が、左スペクトルＬｍ（ｆ）の強度と一致するように、和スペクトルＳＵＭｍ（ｆ）の強度を調整する。
このとき、調整部５は、分割処理によって分割された帯域ごとに、和スペクトルＳＵＭｍ（ｆ）の波形が右スペクトルＲｍ（ｆ）の波形になるように、和スペクトルＳＵＭｍ（ｆ）の波形を調整する。
【００４８】
ただし、調整部５は、判断処理にて、信号強度差が大きいという判断結果を得た場合には、合成部３の出力のＳ／Ｎ比（信号対雑音比）が最大となるように、和スペクトルＳＵＭｍ（ｆ）の強度を調整する。
詳細は後述するが、そのＳ／Ｎ比が最大となるように、和スペクトルＳＵＭｍ（ｆ）の強度を調整することで、信号強度差が大きい場合、特に、左信号Ｌｍ（ｔ）の強度が右信号Ｒｍ（ｔ）の強度よりも非常に小さい場合でも（Ｌｍ（ｔ）≪Ｒｍ（ｔ））、再生時の音質を向上させることができる。
その後、調整部５は、調整処理後の和スペクトルＳＵＭｍ（ｆ）を和スペクトルＳＵＭｍ（ｆ）ａとして符号化部６に出力する。
【００４９】
［（Ｅ）符号化部６の詳細（符号化処理）］
（１）ＩＳ符号化を行う場合
合成部３がＩＳ符号化を行うと判断した場合、符号化部６は、調整部５から和スペクトルＳＵＭｍ（ｆ）ａを入力し、これを符号化する。なお、図１には、この場合の信号の流れが図示されている。
具体的には、符号化部６は、和スペクトルＳＵＭｍ（ｆ）ａを、量子化器を用いて量子化する。このとき、和スペクトルＳＵＭｍ（ｆ）ａは、人間の知覚が敏感な周波数成分を細かく量子化するため、たとえば、非線形量子化される。
量子化後、符号化部６は、量子化されたスペクトルを符号化する。符号化には、たとえば、ハフマン符号化方式が用いられる。符号化部６は、量子化とハフマン符号化とを交互に繰り返し行うことにより、最終的に得た圧縮符号化データＤをビットストリーム発生部７に出力する。
【００５０】
（２）ＩＳ符号化を行わない場合
合成部３がＩＳ符号化を行わないと判断した場合、符号化部６は、合成部３から左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とを入力し、両者を個別にそのまま符号化する。
【００５１】
［（Ｆ）ビットストリーム発生部７の詳細（ＢＳ発生処理）］
ビットストリーム発生部７は、符号化部６から圧縮符号化データＤが入力され、演算部４からパワー比ＲＡｍが入力されると、ビットストリームを発生（生成）すべく、圧縮符号化データＤに付加データを付加する。そして、ビットストリーム発生部７は、付加データが付加された圧縮符号化データＤをビットストリームＢＳとして、たとえば、外部機器Ｏ３（図２６参照）に出力する。
付加データは、復号化の際に必要なデータであって、パワー比ＲＡｍを始め、たとえば、サンプリング周波数、変換ブロック長、量子化ステップサイズを含むデータである。
【００５２】
以下、フィルタバンク２ａ、２ｂ、合成部３、演算部４および調整部５の構成例を詳細に説明する。
【００５３】
［フィルタバンク２ａ、２ｂの構成例］
フィルタバンク２ａ、２ｂの構成例について説明する。
図４は、本発明の第１実施形態に係るフィルタバンクの構成例を示すブロック図である。
図４に図示するフィルタバンク２ａは、ブロック部（ＢＬＫ）２１ａおよび領域変換部（ｔ／ｆ）２２ａを有する。フィルタバンク２ｂは、ブロック部２１ｂおよび領域変換部２２ｂを有する。
【００５４】
変換ブロック部２１ａは、左信号Ｌ（ｔ）を入力し、これを指示された変換ブロック長でブロック化する。
【００５５】
（１）変換ブロック長がロングブロックの場合
この場合には、変換ブロック部２１ａは、左信号Ｌ（ｔ）を、サンプル数を２０４８とする変換ブロックにブロック化し、これを左信号Ｌ（ｔ）Ｂとして、領域変換部２２ａに出力する。
【００５６】
（２）変換ブロック長がショートブロックの場合
この場合には、変換ブロック部２１ａは、左信号Ｌ（ｔ）を、サンプル数を２５６とする変換ブロックにブロック化し、これを左信号Ｌ（ｔ）Ｂとして、領域変換部２２ａに出力する。
【００５７】
領域変換部２２ａは、変換ブロック部２１ａから左信号Ｌ（ｔ）Ｂが入力されると、これを時間領域（ｔ）から周波数領域（ｆ）に変換する。
【００５８】
（１）変換ブロック長がロングブロックの場合
この場合には、領域変換部２２ａは、たとえば、「窓掛け」に用いる窓としての変換ブロックを５０％ずつオーバーラップさせ、２０４８のサンプルを１０２４（本）のスペクトルに変換する。
【００５９】
（２）変換ブロック長がショートブロックの場合
この場合には、領域変換部２２ａは、たとえば、ロングブロックの場合と同様に、変換ブロックを５０％ずつオーバーラップさせ、２５６のサンプルを１２８（本）のスペクトルに変換する。
ただし、領域変換部２２ａは、連続して８個分のショートブロックに対してスペクトル変換を行う。これにより、サンプル数がロングブロックの場合と同様の１０２４となる。
【００６０】
スペクトル変換後、領域変換部２２ａは、１０２４のスペクトルを、スケールファクタバンド単位でｍ個のグループにグループ化し、これらを左スペクトルＬｍ（ｆ）として、合成部３と演算部４とに出力する。
【００６１】
変換ブロック部２１ｂは、変換ブロック部２１ａの機能と同一の機能を有する。すなわち、変換ブロック部２１ｂは、右信号Ｒ（ｔ）を入力し、これを指示された変換ブロック長でブロック化し、これを右信号Ｒ（ｔ）Ｂとして領域変換部２２ｂに出力する。
【００６２】
領域変換部２２ｂは、領域変換部２２ａの機能と同一の機能を有する。すなわち、領域変換部２２ｂは、変換ブロック部２１ｂから右信号Ｒ（ｔ）Ｂが入力されると、変換ブロック長に応じて、これを時間領域から周波数領域にスペクトル変換する。
そして、領域変換部２２ｂは、１０２４のスペクトルを、スケールファクタバンド単位でｍ個のグループにグループ化し、これらを右スペクトルＲｍ（ｆ）として、合成部３と演算部４とに出力する。
【００６３】
［合成部３の構成例］
合成部３の構成例について説明する。
図５は、本発明の第１実施形態に係る合成部の構成例を示すブロック図である。
図５に図示する合成部３は、ＴＮＳ処理部３１、判断処理部３２および合成処理部３３を有する。
【００６４】
ＴＮＳ処理部３１は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とに、ＴＮＳ処理を各々施す。そして、ＴＮＳ処理部３１は、ＴＮＳ処理を各々施した、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とを合成処理部３３に出力する。
【００６５】
判断処理部３２は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とをＩＳ符号化するか否かを、図３（Ａ）、（Ｂ）に図示するスケールファクタバンド単位で判断する。
具体的には、判断処理部３２は、高周波帯域のＳＦＢ（ｍ≧ｍｔｈ）に対しては、この帯域（バンド）のスペクトルをＩＳ符号化すると判断し、低周波帯域のＳＦＢ（ｍ＜ｍｔｈ）に対しては、この帯域のスペクトルをＩＳ符号化しないと判断する。
【００６６】
合成処理部３３は、判断処理部３２の判断処理結果に応じて、以下の合成処理を行う。なお、図５には、下記（１）の場合における信号の流れが例示されている。
【００６７】
（１）判断処理部３２がＩＳ符号化を行うと判断した場合
この場合、合成処理部３３は、ＴＮＳ処理後、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）との和スペクトルＳＵＭｍ（ｆ）＝Ｌｍ（ｆ）＋Ｒｍ（ｆ）を算出する。次に、合成処理部３３は、右スペクトルＲｍ（ｆ）を０にする。その後、合成処理部３３は、和スペクトルＳＵＭｍ（ｆ）のみを調整部５（分割処理部５１、図７参照）に出力する。
【００６８】
（２）判断処理部３２がＩＳ符号化を行わないと判断した場合
この場合、合成処理部３３は、ＴＮＳ処理後、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とを、そのまま符号化部６に出力する。
【００６９】
［演算部４の構成例］
演算部４の構成例について説明する。
図６は、本発明の第１実施形態に係る演算部の構成例を示すブロック図である。
図６に図示する演算部４は、パワー比算出処理部４１およびバッファ４２を有する。
【００７０】
パワー比算出処理部４１は、右スペクトルＲｍ（ｆ）の強度に対する左スペクトルＬｍ（ｆ）の強度の比をパワー比ＲＡｍ＝Ｌｍ（ｆ）／Ｒｍ（ｆ）として算出し、これをバッファ４２に出力する。
【００７１】
バッファ４２は、パワー比算出処理部４１からパワー比ＲＡｍが入力されると、これを一旦格納する。そして、バッファ４２は、たとえば、調整部５に和スペクトルＳＵＭｍ（ｆ）が入力されたタイミングで、格納しておいたパワー比ＲＡｍを、調整部５（判断処理部５２、図７参照）とビットストリーム発生部７とに出力する。
【００７２】
［調整部５の構成例］
調整部５の構成例について、ＩＳ符号化を行うことを前提に説明する。
図７は、本発明の第１実施形態に係る調整部の構成例を示すブロック図である。
図７に図示する調整部５は、分割処理部５１、判断処理部５２、メモリ５３および調整処理部５４を有する。
【００７３】
分割処理部５１を図８に関連づけて説明する。
図８は、本発明の第１実施形態に係る分割処理を説明するための図である。
横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、和スペクトルＳＵＭｍ（ｆ）＝Ｌｍ（ｆ）＋Ｒｍ（ｆ）（単位はｄＢ）を示す。
【００７４】
分割処理部５１は、和スペクトルＳＵＭｍ（ｆ）の周波数帯域をｋ個のバンドに分割する。変数ｋは、正の整数である。この際に、分割処理部５１は、一例として、その周波数帯域をスケールファクタバンド（ＳＦＢ）と同様の帯域幅でｋ＝ｍ個に分割する。
図８には、周波数帯域の分割の様子を示すため、ＳＦＢ（ｎ）と、ｋを変数とするバンドＢ（ｋ）とが図示されている。
そして、分割処理部５１は、ｋ個分の和スペクトルＳＵＭｍ（ｆ）ｋを調整処理部５４に出力する。
【００７５】
この分割処理により、後の調整処理を帯域単位で並列処理することができる。その結果、調整部５の処理速度が向上するだけでなく、和スペクトルＳＵＭｍ（ｆ）の調整をバンド単位で微調整することができる。この処理は、特に、複数のＣＰＵを用いて並列演算を行う場合に好適である。
本実施形態では、和スペクトルＳＵＭｍ（ｆ）の周波数帯域が、スケールファクタバンドと同様に、ｋ＝ｎ個に分割されるが、たとえば、２個分のＳＦＢ（１）＋ＳＦＢ（２）を１個の帯域とするように、その周波数帯域を分割することもできる。
【００７６】
判断処理部５２は、演算部４からパワー比ＲＡｍが入力されると、これを用いて、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）との信号強度差が大きいか否かを判断する。
【００７７】
ところで、パワー比ＲＡｍがとる値には、大別して、４つの場合がある。
（ケースＡ）パワー比ＲＡｍ＝Ｌｍ（ｆ）／Ｒｍ（ｆ）≒１の場合
（ケースＢ）パワー比ＲＡｍ＝Ｌｍ（ｆ）／Ｒｍ（ｆ）≫１の場合
（ケースＣ）パワー比ＲＡｍ＝Ｌｍ（ｆ）／Ｒｍ（ｆ）≪１の場合
（ケースＤ）パワー比ＲＡｍ＝Ｌｍ（ｆ）／Ｒｍ（ｆ）≒０の場合（ただし、Ｌｍ（ｆ）≪Ｒｍ（ｆ））
【００７８】
ケースＡ〜Ｄを、図９（Ａ）〜（Ｄ）に関連づけて説明する。
図９（Ａ）〜（Ｄ）は、本発明の第１実施形態に係るパワー比を説明するための図である。
横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、スペクトル値（単位はｄＢ）を示す。ただし、各図には、ＩＳ符号化の対象となる高周波帯域におけるスペクトルが例示されている。
【００７９】
（１）ケースＡの場合
この場合は、図９（Ａ）に図示するように、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とがほぼ等しい（Ｌｍ（ｆ）≒Ｒｍ（ｆ））ことを意味する。すなわち、左信号Ｌｍ（ｔ）の強度と右信号Ｒｍ（ｔ）の強度とがほぼ等しく、両者の波形が、非常に似ている。したがって、両者の信号強度差は小さい。
【００８０】
（２）ケースＢの場合
この場合は、図９（Ｂ）に図示するように、左スペクトルＬｍ（ｆ）が、右スペクトルＲｍ（ｆ）よりも非常に大きい（Ｌｍ（ｆ）≫Ｒｍ（ｆ））ことを意味する。すなわち、左信号Ｌｍ（ｔ）の強度が右信号Ｒｍ（ｔ）の強度よりも非常に大きく、両者の信号強度差は非常に大きい。
【００８１】
（３）ケースＣの場合
この場合は、図９（Ｃ）に図示するように、左スペクトルＬｍ（ｆ）が、右スペクトルＲｍ（ｆ）よりも非常に小さい（Ｌｍ（ｆ）≪Ｒｍ（ｆ））ことを意味する。すなわち、左信号Ｌｍ（ｔ）の強度が右信号Ｒｍ（ｔ）の強度よりも非常に小さく、両者の信号強度差は非常に大きい。
【００８２】
（４）ケースＤの場合
この場合は、図９（Ｄ）に図示するように、左スペクトルＬｍ（ｆ）が、右スペクトルＲｍ（ｆ）よりも非常に小さく（Ｌｍ（ｆ）≪Ｒｍ（ｆ））、前者がほぼ０（Ｌｍ（ｆ）≒０）であることを意味する。すなわち、左信号Ｌｍ（ｔ）の強度が右信号Ｒｍ（ｔ）の強度よりも非常に小さい上に、前者の強度がほぼ０である。当然ながら、両者の信号強度差は非常に大きい。
【００８３】
判断処理部５２は、判断処理の一例として、パワー比ＲＡｍが上記ケースＡ〜Ｄのいずれに該当するかを判断することで、信号強度差が大きいか否かを判断する。
【００８４】
ケースＡ〜Ｄの判断基準の一例を図１０に関連づけて、これをケース別に説明する。
図１０は、本発明の第１実施形態に係る判断基準を例示する図である。図中の「Ｌ」、「Ｒ」は、左信号Ｌｍ（ｔ）の強度、右信号Ｒｍ（ｔ）の強度を各々示す。単に、パワー比ＲＡｍをＲＡと表記している。
【００８５】
（１）ケースＡ（ＲＡｍ≒１）
判断処理部５２は、たとえば、許容誤差α＝±０．１を設け、パワー比ＲＡｍが１±αの範囲内にある場合に、パワー比ＲＡｍがケースＡに該当すると判断する。
なお、許容誤差αは、たとえば、左右チャネルの音が互いにほぼ同一であることを知覚できる範囲で、好適に設定可能である。
【００８６】
（２）ケースＢ（ＲＡｍ≫１）
判断処理部５２は、たとえば、閾値Ｔｈ１＝１＋０．８を設け、パワー比ＲＡｍが閾値ｔｈ１以上の場合に、パワー比ＲＡｍがケースＢに該当すると判断する。
なお、閾値Ｔｈ１は、たとえば、左チャネルの音が非常に大きい、すなわち、右チャネルの音をほとんど知覚できないような、小さな音であることを判断可能な範囲で、好適に設定可能である。
【００８７】
（３）ケースＣ（ＲＡｍ≪１）
判断処理部５２は、たとえば、閾値Ｔｈ２＝０．２を設け、パワー比ＲＡｍが閾値ｔｈ２以下の場合に、パワー比ＲＡｍがケースＣに該当すると判断する。
なお、閾値Ｔｈ２は、たとえば、右チャネルの音が非常に大きい、すなわち、左チャネルの音をほとんど知覚できないような、小さな音であることを判断可能な範囲で、好適に設定可能である。
【００８８】
（４）ケースＤ（ＲＡｍ≒０、ただし、Ｌｍ（ｆ）≪Ｒｍ（ｆ））
判断処理部５２は、たとえば、閾値Ｔｈ３＝０．１を設け、パワー比ＲＡｍが閾値ｔｈ３以下の場合に、パワー比ＲＡｍがケースＤに該当すると判断する。
なお、閾値Ｔｈ３は、たとえば、左チャネルの音が０に等しいような音であることを判断可能な範囲で、好適に設定可能である。
【００８９】
図１０に図示する、１＋α＜ＲＡｍ＜ｔｈ１の範囲（ＲＥＧ１とする）は、パワー比ＲＡｍが１よりも大きいが、１よりも非常に大きい程ではない範囲を表わす。そのため、実用的には、この範囲にパワー比ＲＡｍがある場合にも、ケースＢの場合に該当すると見なすことができる。
【００９０】
一方、Ｔｈ２＜ＲＡｍ＜１−αの範囲（ＲＥＧ２とする）は、パワー比ＲＡｍが１よりも小さいが、１よりも非常に小さい程ではない範囲を表わす。そのため、実用的には、この範囲にパワー比ＲＡｍがある場合も、ケースＣの場合に該当すると見なすことができる。
【００９１】
ケースＡ〜Ｄ別に判断処理を説明する。
（１）ケースＡ（ＲＡ≒１）
判断処理部５２は、パワー比ＲＡｍがケースＡに該当すると判断した場合には、信号強度差が小さいと判断する。この場合、判断処理部５２は、判断結果ＳＪを調整処理部５４に出力しない。
【００９２】
（２）ケースＢ（ＲＡｍ≫１）
判断処理部５２は、パワー比ＲＡｍがケースＢに該当すると判断した場合には、信号強度差が大きいと判断するが、判断結果ＳＪを調整処理部５４に出力しない。
これは、もともと右スペクトルＲｍ（ｆ）が小さく、人が再生時の音質の劣化を知覚するに至らないためである。
【００９３】
（３）ケースＣ（ＲＡｍ≪１）
判断処理部５２は、パワー比ＲＡｍがケースＣに該当すると判断した場合には、信号強度差が大きいと判断し、その旨を示す判断結果ＳＪを調整処理部５４に出力する。
【００９４】
（４）ケースＤ（ＲＡｍ≒０、ただし、Ｌｍ（ｆ）≪Ｒｍ（ｆ））
判断処理部５２は、パワー比ＲＡｍがケースＤに該当すると判断した場合にも、信号強度差が大きいと判断し、その旨を示す判断結果ＳＪを調整処理部５４に出力する。
【００９５】
判断処理を換言すれば、判断処理部５２は、パワー比ＲＡｍが、ＲＡｍ≪１またはＲＡｍ≒０である場合に、信号強度差が大きいと判断し、判断結果ＳＪを調整処理部５４に出力する。そうでなければ、判断処理部５２は、判断結果ＳＪを調整処理部５４に出力しない。
なお、上述の判断処理は、パワー比算出処理部４１がパワー比ＲＡｍに付加しておいた、ｍ個分の各パワー比に関する情報を用いて、分割処理部５１によって分割された帯域ごとに行われる。
【００９６】
メモリ５３は、最小可聴域を含むデータＤＡＴＡを予め格納している。ここで、最小可聴域を図１１に関連づけて説明する。
【００９７】
図１１は、本発明の第１実施形態に係る等ラウドネス曲線を例示する図である。横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、音圧レベル（単位はｄＢ）を示す。
ここで言う「音圧レベル（ＳＰＬ：Sound Pressure Level）」は、２０log（ｐ/ｐ０）で定義される。ｐは音圧であり、ｐ０は基準音圧（たとえば、２０μＰａ）である。
【００９８】
図１１に例示する等ラウドネス曲線は、１ｋＨｚの純音を基準として、これと同じ大きさに知覚される音圧レベルを周波数成分ごとに測定したものである。図中の実線で示される、０フォン（phon）の（下限）曲線は、最小可聴域を示す。最小可聴域は、高周波帯域（ＨＦＢ）では、たとえば、−８ｄＢ〜１０ｄＢ程度の値をとる。
【００９９】
最小可聴域は、人の聴覚が検知できる音の最小音圧レベルである。人は、最小可聴域よりも高い音圧レベルの音を知覚することができるが、それ以下の音圧レベルの音を知覚することは極めて困難である。
【０１００】
調整処理部５４は、判断処理部５２からの判断結果ＳＪの入力の有無に応じて、次の調整処理を行う。
【０１０１】
（１）判断結果ＳＪの入力がない場合
ケースＡまたはケースＢのとき（図９（Ａ）、（Ｂ）参照）、調整処理部５４には、判断結果ＳＪが入力されない。この場合の調整処理を図１２に関連づけて説明する。
【０１０２】
図１２は、本発明の第１実施形態に係る調整処理を説明するための図である。
横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、スペクトル値（単位はｄＢ）を示す。ただし、図１２には、ＩＳ符号化の対象となる高周波帯域のみが、分割処理された帯域Ｂ（ｋ）と共に例示されている。
図中の実線は、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａを示す。図中の破線は、調整処理前の和スペクトルＳＵＭｍ（ｆ）ｋを示す。
【０１０３】
調整処理部５４は、調整処理前の和スペクトルＳＵＭｍ（ｆ）ｋの強度が、左スペクトルＬｍ（ｆ）の強度と一致するように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を調整する。
このとき、調整処理部５４は、図１２に図示するように、分割処理部５１が分割した帯域ごとに、和スペクトルＳＵＭｍ（ｆ）の強度を調整する。
そして、調整処理部５４は、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａを符号化部６に出力する。
【０１０４】
調整処理前の和スペクトルＳＵＭｍ（ｆ）ｋは、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）との和である。そのため、とりわけケースＡにおいては、和スペクトルＳＵＭｍ（ｆ）ｋは、元の左スペクトルＬｍ（ｆ）よりも遙かに大きい。
そのため、図１２に図示するように、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａは、調整処理前の和スペクトルＳＵＭｍ（ｆ）ｋよりも下がる。
なお、調整処理は、帯域Ｂ（１）から帯域Ｂ（ｋ）まで並列に行われるが、調整処理を変数ｋの順に行うこともできる。
【０１０５】
（２）判断結果ＳＪの入力がある場合
ケースＣまたはケースＤのとき（図９（Ｃ）、（Ｄ）参照）、調整処理部５４には、判断結果ＳＪが入力される。この場合の調整処理を図１３および図１４に関連づけて説明する。
【０１０６】
図１３および図１４は、本発明の第１実施形態に係る調整処理を説明するための図である。
各図において、横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、スペクトル値（単位はｄＢ）を示す。各図には、ＩＳ符号化の対象となる高周波帯域のみが、分割処理された帯域Ｂ（ｋ）と共に例示されている。
各図において、破線は、調整処理前の和スペクトルＳＵＭｍ（ｆ）ｋを示す。太実線は、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａを示す。細実線は、図９（Ｃ）に図示する左スペクトルＬｍ（ｆ）を示す。
図１３において、２点鎖線は、図１２に図示する調整処理後の和スペクトルＳＵＭｍ（ｆ）ａを示す。図１４において、２重線は、最小可聴域を示す。
【０１０７】
ここで、調整処理部５４が、上記（１）の場合と同様の調整処理を行うものと仮定する。
ケースＣを例に挙げると（図９（Ｃ）参照）、図１３に図示するように、左スペクトルＬｍ（ｆ）は、非常に小さい。そのため、調整すべき和スペクトルＳＵＭｍ（ｆ）ｋ自体も（破線参照）、上記（１）の場合のもの（２点鎖線参照）と比べて小さい。
この仮定の下で、調整すべき和スペクトルＳＵＭｍ（ｆ）ｋの強度を左スペクトルＬｍ（ｆ）の強度に一致させるものとする。すると、図１３に図示するように、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａ（太実線参照）は、左スペクトルＬｍ（ｆ）程度となる。
【０１０８】
その和スペクトルＳＵＭｍ（ｆ）ａが、量子化後に符号化される。詳細は第２実施形態に譲るが、その復号化時には、パワー比ＲＡｍを基に、和スペクトルＳＵＭｍ（ｆ）ａから右スペクトルが求められる。
そのため、合成部３の出力のＳ／Ｎ比が、符号化前の左チャネル信号Ｌｍ（ｔ）のＳ／Ｎ比程度でしかなく、再生時の右チャネルの音質が劣化し、ステレオの音質自体も劣化する。
【０１０９】
そこで、上記（２）の場合には、調整処理部５４は、メモリ５３からデータＤＡＴＡを読み出し、和スペクトルＳＵＭｍ（ｆ）ｋのＳ／Ｎ比をできるだけ確保することができるように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を調節する。
【０１１０】
具体的には、調整処理部５４は、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａの強度が、元の左スペクトルＬｍ（ｆ）の強度よりも大きくなるように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を上げる。これは、合成部３の出力のパワーを左信号Ｌｍ（ｔ）のパワーよりも上げることを意味する。
【０１１１】
ただし、調整処理部５４は、メモリ５３から読み出した、データＤＡＴＡの最小可聴域を参照し、図１４の破線で図示する和スペクトルＳＵＭｍ（ｆ）ｋが、最小可聴域（２重線参照）を越えないように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を上げる。
この際に、調整処理部５４は、分割処理部５１によって分割された帯域ごとに、和スペクトルＳＵＭｍ（ｆ）ｋの強度を調整する。それは、最小可聴域は、周波数成分ごとに異なる値を持つためである。
【０１１２】
以上のように、最小可聴域を越えないように、和スペクトルＳＵＭｍ（ｆ）ｋを調整するのは、和スペクトルＳＵＭｍ（ｆ）ｋの強度を左スペクトルＬｍ（ｆ）の強度よりも上げれば、高いＳ／Ｎ比の右チャネル信号を確保することができるためである。
しかしながら、パワーの小さな左チャネル信号は、本来、音圧が小さな音声信号であるから、和スペクトルＳＵＭｍ（ｆ）ｋの強度を上げすぎると、復号化したときの左スペクトルの強度が、本来のものよりも大きくなる。
その場合、本来聞こえないはずの左チャネルの音が聞こえてしまうという、不具合が発生する。
【０１１３】
そのため、調整処理部５４は、和スペクトルＳＵＭｍ（ｆ）ｋが最小可聴域以下となる範囲内で、和スペクトルＳＵＭｍ（ｆ）ｋの強度を左スペクトルＬｍ（ｆ）の強度よりも上げるようにしている。
このような調整処理を行えば、和スペクトルＳＵＭｍ（ｆ）ｋが、最小可聴域よりも小さくなるため、高いＳ／Ｎ比の右チャネル信号を確保しつつ、上述の不具合を回避することができる。
【０１１４】
更に、調整処理部５４は、和スペクトルＳＵＭｍ（ｆ）の波形が右スペクトルＲｍ（ｆ）の波形になるように、和スペクトルＳＵＭｍ（ｆ）の波形を調整する。
詳細は後述するが、和スペクトルＳＵＭｍ（ｆ）の波形の調整を行うことにより、復号化時に、右スペクトルＲｍ（ｆ）の波形を、ほぼ元の波形に復元することができる。
【０１１５】
［符号化装置１の動作例］
符号化装置１の動作例を図１５に関連づけて、ＩＳ符号化を行うことを前提に説明する。
図１５は、本発明の第１実施形態に係る符号化装置の動作例を示すフローチャートである。
【０１１６】
先ず、符号化装置１は、音声信号を入力すると、周波数スペクトル変換処理を行う（ＳＴ１）。
詳細には、フィルタバンク２ａ、２ｂは、左信号Ｌ（ｔ）と右信号Ｒ（ｔ）とを、各々周波数スペクトルに変換する。そして、フィルタバンク２ａ、２ｂは、スペクトル変換で得た、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）を、合成部３と演算部４とに出力する。
【０１１７】
次に、符号化装置１は、合成処理（ＳＴ２１）と演算処理（ＳＴ２２）とを並列に行う（ＳＴ２）。
詳細には、合成部３は、フィルタバンク２ａから左スペクトルＬｍ（ｆ）が入力され、フィルタバンク２ｂから右スペクトルＲｍ（ｆ）が入力されると、両者を用いて、ＴＮＳ処理と、判断処理と、合成処理とを行う（ＳＴ２１）。そして、合成部３は、和スペクトルＳＵＭｍ（ｆ）を調整部５に出力する。
【０１１８】
一方、演算部４は、フィルタバンク２ａから左スペクトルＬｍ（ｆ）が入力され、フィルタバンク２ｂから右スペクトルＲｍ（ｆ）が入力されると、両者を用いて、パワー比算出処理を行う（ＳＴ２２）。そして、演算部４は、バッファ４２を介して、パワー比ＲＡｍを調整部５とビットストリーム発生部７とに出力する。
なお、合成処理と演算処理とを並列に行わずに、前者の後に後者を行うことも、その逆も可能である。
【０１１９】
次に、符号化装置１は、調整処理を行う（ＳＴ３）。
詳細には、調整部５は、合成部３から和スペクトルＳＵＭｍ（ｆ）が入力されると、分割処理と、判断処理と、調整処理とを行う。そして、調整部５は、調整処理後の和スペクトルＳＵＭｍ（ｆ）ａを符号化部６に出力する。
【０１２０】
次に、符号化装置１は、符号化処理を行う（ＳＴ４）。
詳細には、符号化部６は、調整部５から和スペクトルＳＵＭｍ（ｆ）ａが入力されると、これを符号化する。そして、符号化部６は、符号化で得た、圧縮符号化データＤをビットストリーム発生部７に出力する。
【０１２１】
最後に、符号化装置１は、ビットストリーム発生処理を行う（ＳＴ５）。
詳細には、ビットストリーム発生部７は、符号化部６から圧縮符号化データＤが入力され、演算部４からパワー比ＲＡｍが入力されると、圧縮符号化データＤに付加データを付加する。そして、ビットストリーム発生部７は、付加データが付加された圧縮符号化データＤをビットストリームＢＳとして、たとえば、外部機器（たとえば、外部機器Ｏ３、図２６参照）に出力する。
【０１２２】
［合成部３の動作例］
合成部３の動作例を図１６に関連づけて説明する。
図１６は、本発明の第１実施形態に係る合成部の動作例を示すフローチャートである。
【０１２３】
先ず、ＴＮＳ処理部３１は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とに、ＴＮＳ処理を各々施す（ＳＴ２１１）。
次に、判断処理部３２は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とをＩＳ符号化するか否かを、スケールファクタバンド単位で判断する（ＳＴ２１２）。
【０１２４】
判断処理部３２がＩＳ符号化を行うと判断した場合には（ＳＴ２１３：ＹＥＳ）、合成処理部３３は、和スペクトルＳＵＭｍ（ｆ）を算出するため、次の処理を行う（ＳＴ２１４）。
詳細には、合成処理部３３は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）との和スペクトルＳＵＭｍ（ｆ）＝Ｌｍ（ｆ）ａ＋Ｒｍ（ｆ）ａを算出する。次に、合成処理部３３は、右スペクトルＲｍ（ｆ）を０に設定する。そして、合成処理部３３は、和スペクトルＳＵＭｍ（ｆ）のみを調整部５（分割処理部５１）に出力する。
この場合、符号化部６は、和スペクトルＳＵＭｍ（ｆ）を入力し、これを符号化する。
【０１２５】
一方、判断処理部３２がＩＳ符号化を行わないと判断した場合には（ＳＴ２１３：ＮＯ）、合成処理部３３は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とを、そのまま符号化部６に出力する（ＳＴ２１５）。
この場合、符号化部６は、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とを入力し、両者を個別にそのまま符号化する。
【０１２６】
［調整部５の動作例］
調整部５の動作例を図１７に関連づけて説明する。
図１７は、本発明の第１実施形態に係る演算部の動作例を示すフローチャートである。
【０１２７】
先ず、分割処理部５１は、和スペクトルＳＵＭｍ（ｆ）の周波数帯域をｋ個のバンドに分割し、分割処理後の和スペクトルＳＵＭｍ（ｆ）ｋを調整処理部５４に出力する（ＳＴ３１）。
【０１２８】
次に、判断処理部５２は、左信号Ｌｍ（ｔ）と右信号Ｒｍ（ｔ）との信号強度差が大きいか否かを判断する（ＳＴ３２）。
判断処理部５２は、パワー比ＲＡｍが、ＲＡｍ≪１またはＲＡｍ≒０である場合には、信号強度差が大きいと判断し、判断結果ＳＪを調整処理部５４に出力する。
一方、判断処理部５２は、パワー比ＲＡｍが、ＲＡｍ≒１またはＲＡｍ≫１である場合には、判断結果ＳＪを調整処理部５４に出力しない。
【０１２９】
次に、調整処理部５４は、演算部４からの判断結果ＳＪの入力の有無に応じて、次の調整処理を行う。
調整処理部５４は、判断結果ＳＪの入力がある場合には（ＳＴ３３：ＹＥＳ）、和スペクトルＳＵＭｍ（ｆ）ｋが最小可聴域以下となる範囲内で、和スペクトルＳＵＭｍ（ｆ）ｋの強度を左スペクトルＬｍ（ｆ）の強度よりも上げる（ＳＴ３４）。
一方、調整処理部５４は、判断結果ＳＪの入力がない場合には（ＳＴ３３：ＮＯ）、和スペクトルＳＵＭｍ（ｆ）ｋの強度が、左スペクトルＬｍ（ｆ）の強度と一致するように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を調整する（ＳＴ３５）。
【０１３０】
以上、符号化装置１およびその構成要素の動作例を詳細に説明した。図１５〜図１７に図示する各ステップ（ＳＴ）は、コンピュータに実行させるプログラムに手順として記述されている。
【０１３１】
本実施形態では、入力音声信号として、２チャネルのステレオ信号を例に挙げたが、入力音声信号が２チャネル以上のマルチチャネルのステレオ信号、たとえば、５．１チャネルのステレオ信号であってもよい。この場合、左信号Ｌ（ｔ）および右信号Ｒ（ｔ）に対応する信号に対して、本実施形態を適用すればよい。
【０１３２】
本実施形態では、信号（スペクトル）のパワーを基に、パワー比算出処理や信号強度差の大小の判断などを行ったが、信号のパワーの代わりに、信号のパワーの実効値を用いても差し支えない。
【０１３３】
本実施形態では、信号強度差の大小の判断には、パワー比ＲＡｍが用いられるが、たとえば、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）との差ＤＩＦ＝Ｌｍ（ｆ）−Ｒｍ（ｆ）を用いて、信号強度差の大小の判断を行うこともできる。
【０１３４】
判断処理部５２は、信号強度差が大きいと判断した場合に、その旨を示す判断結果ＳＪを調整処理部５４に出力するが、信号強度差が小さいと判断した場合にも、その旨を示す判断結果を調整処理部５４に出力するようにしてもよい。この場合、調整処理部５４は、信号強度差が小さいと判断した旨の判断結果を受けると、ＳＴ３５の処理を実行する（図１７参照）。
【０１３５】
本実施形態では、合成処理の際に、たとえば、ＡＡＣの規格に基づき、右スペクトルＲｍ（ｆ）が０に設定され、和スペクトルＳＵＭｍ（ｆ）が左チャネルの音声信号として符号化される。左スペクトルＬｍ（ｆ）を０に設定し、和スペクトルＳＵＭｍ（ｆ）を右チャネルの音声信号として符号化する場合であっても、本発明をこれに適用することができる。
【０１３６】
たとえば、符号化装置１にＭＳ（Middle Side）符号化の機能を更に設け、ＩＳ符号化とＭＳ符号化を排他的に行うこともできる。
本実施形態では、符号化装置１が行う各処理は、ソフトウェア処理されるが、符号化装置１の全てあるいは一部をハードウェアで構成し、ハードウェアを用いて各処理を行ってもよい。
【０１３７】
＜２．第２実施形態＞
第２実施形態では、図１に図示する符号化装置１と、図１８に図示する符号化装置１ａとを比較することにより、第１実施形態に係る符号化装置１の利点について説明する。
【０１３８】
［符号化装置１ａの構成例］
図１８は、本発明の第２実施形態に係る符号化装置の構成例を示すブロック図である。
図１８に図示する符号化装置１ａは、フィルタバンク２ａ、２ｂ、合成部３、演算部４ａ、調整部５ａ、符号化部６およびビットストリーム発生部７を有する。
【０１３９】
この符号化装置１ａと、図１に図示する符号化装置１との差異は、次の３点である。
【０１４０】
第１の点は、演算部４ａが、パワー比ＲＡｍをビットストリーム発生部７のみに出力することである。
第２の点は、調整部５ａが、パワー比ＲＡｍを用いて信号強度差の大小を判断する判断処理を行わないことである。
第３の点は、調整部５ａが、調整処理の際に、信号強度差の大小に関係なく、一律に、和スペクトルＳＵＭｍ（ｆ）ｋの強度が、左スペクトルＬｍ（ｆ）の強度と一致するように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を調整することである。
【０１４１】
上記の差異を換言すれば、パワー比ＲＡｍは、ビットストリーム発生部７にて用いられるのみであり、和スペクトルＳＵＭｍ（ｆ）ｋは、信号強度差の大小に関係なく、一律に調整される。
【０１４２】
［符号化装置１（第１実施形態）と符号化装置１ａ（第２実施形態）との比較］
以下、符号化装置１ａが入力音声信号を符号化したときに、これがどのように復号化されるかを、図１９〜図２２を参照しながら、ケースＡ〜Ｄ別に説明する。
【０１４３】
図１９〜図２２は、本発明の第２実施形態を説明するための図である。なお、図１９〜図２２は、ケースＡ〜ケースＤの場合に各々対応している。
各図において、横軸は、周波数（ｆ：単位はＨｚ）を示す。縦軸は、スペクトル値（単位はｄＢ）を示す。各図には、ＩＳ符号化の対象となる高周波帯域のみが例示されている。
各図には、合成処理前、調整処理後、復号化後の左右チャネルの様子が、時系列の順に例示されている。
なお、各図中の「合成処理前」および「復号化後」の部分には、左チャネルに左スペクトルＬｍ（ｆ）が、右チャネルに右スペクトルＲｍ（ｆ）が各々例示されている。各図中の「調整処理後」の部分には、左チャネルに和スペクトルＳＵＭｍ（ｆ）が、右チャネルに右スペクトルＲｍ（ｆ）＝０が各々例示されている。
【０１４４】
（１）ケースＡ（ＲＡ≒１、Ｌｍ（ｆ）≒Ｒｍ（ｆ））
図１９に図示するように、ケースＡは、合成処理前における、左スペクトルＬｍ（ｆ）と右スペクトルＲｍ（ｆ）とがほぼ等しい場合である。すなわち、信号強度差が小さい場合である。
【０１４５】
符号化装置１ａの動作例を踏まえながら、ケースＡについて説明する。下記の（ａ）〜（ｃ）の点は、全てのケースにおいて共通である。
【０１４６】
（ａ）合成処理では、和スペクトルＳＵＭｍ（ｆ）が算出され、右スペクトルＲｍ（ｆ）が、０に設定される。
【０１４７】
（ｂ）調整処理時に、調整部５ａが、和スペクトルＳＵＭｍ（ｆ）の強度が左スペクトルＬｍ（ｆ）の強度と一致するように、和スペクトルＳＵＭｍ（ｆ）の強度を調整すると、これが左チャネルの音声信号として符号化される。なお、右スペクトルＲｍ（ｆ）は符号化されない。
【０１４８】
（ｃ）復号化の際には、和スペクトルＳＵＭｍ（ｆ）が、たとえば、逆ＭＤＣＴされる。そして、パワー比ＲＡｍを用いることにより、和スペクトルＳＵＭｍ（ｆ）から、元の左右のスペクトルを得ることができる。ここでは、「元のスペクトル」とは、合成処理前のものを指す。
【０１４９】
ケースＡの場合、復号化後の右スペクトルＲｍ（ｆ）は、パワー比ＲＡｍに応じて、その強度を調整すれば、ほぼ元のものに復元される。それは、もともと両者の波形が非常に等しいためである。
なお、復号化後の左スペクトルＬｍ（ｆ）は、その状態で、ほぼ元の左スペクトルに復元されている。それは、元の和スペクトルＳＵＭｍ（ｆ）の強度が左スペクトルＬｍ（ｆ）の強度に調整され、それが左チャネルのスペクトルとして符号化されているためである。
【０１５０】
このように、信号強度差が小さい場合には、左右のスペクトルを、ほぼ、元のスペクトル信号に復号化することができる。そのため、再生時の音質の劣化があったとしても、それは極めて小さい。
【０１５１】
（２）ケースＢ（ＲＡｍ≫１、Ｌｍ（ｆ）≫Ｒｍ（ｆ））
図２０に図示するように、ケースＢは、合成処理前における、左スペクトルＬｍ（ｆ）が、右スペクトルＲｍ（ｆ）よりも非常に大きい場合である。すなわち、信号強度差が大きい場合である。
【０１５２】
ケースＢの場合、復号化後の右スペクトルＲｍ（ｆ）の波形は、元の波形と異なる。実際には、復号化後の右スペクトルＲｍ（ｆ）の波形は、和スペクトルＳＵＭｍ（ｆ）の波形に近いものとなる。
【０１５３】
しかしながら、復号化後の右スペクトルＲｍ（ｆ）の強度は、元の強度とほぼ同一に復元されている。それは、元の右スペクトルＲｍ（ｆ）の強度が、左スペクトルＬｍ（ｎ）の強度よりも非常に小さく、左スペクトルＬｍ（ｎ）のＳ／Ｎ比が十分に確保できているためである。
【０１５４】
このように、たとえ信号強度差が大きくても、Ｌｍ（ｆ）≫Ｒｍ（ｆ）の関係が成立する場合には、復号化後の右スペクトルＲｍ（ｆ）の強度を元の強度とほぼ同一に復元することができる。
右スペクトルＲｍ（ｆ）の波形は、元の波形と異なるが、その強度が小さいため、信号強度差を知覚するには至らず、再生時の音質の劣化は、ないに等しい。
【０１５５】
（３）ケースＣ（ＲＡｍ≪１、Ｌｍ（ｆ）≪Ｒｍ（ｆ））
図２１に図示するように、ケースＣは、合成処理前における、左スペクトルＬｍ（ｆ）が、右スペクトルＲｍ（ｆ）よりも非常に小さい場合である。すなわち、信号強度差が大きい場合である。
【０１５６】
ケースＣの場合、復号化後の左スペクトルＬｍ（ｆ）の波形が、元の波形と異なるばかりか、復号化後の右スペクトルＲｍ（ｆ）の波形も、元の波形と著しく異なる。実際には、両者とも、和スペクトルＳＵＭｍ（ｆ）の波形に近いものとなる。
【０１５７】
その理由は、次の通りである。もともと、左スペクトルＬｍ（ｆ）が右スペクトルＲｍ（ｆ）よりも非常に小さいため、和スペクトルＳＵＭｍ（ｆ）の波形は、基本的に、元の右スペクトルＲｍ（ｆ）の波形となる。
そして、調整処理において、和スペクトルＳＵＭｍ（ｆ）の強度が、もともと強度の小さい左スペクトルＬｍ（ｆ）のものに調整されるため、復号化後の左スペクトルＬｍ（ｆ）の波形は、和スペクトルＳＵＭｍ（ｆ）の波形に近いものとなる。
一方、復号化後の右スペクトルＲｍ（ｆ）は、和スペクトルＳＵＭｍ（ｆ）の強度を調節することによって得られるので、当然ながら、その波形は、和スペクトルＳＵＭｍ（ｆ）の波形に近いものとなる。
【０１５８】
復号化後の左スペクトルＬｍ（ｆ）は、もともと非常に小さな信号を復号化したものであるから、その波形が元の波形と異なっていても、左チャネルの音質の劣化を知覚するには至らない。
しかしながら、復号化後の右スペクトルＲｍ（ｆ）は、左スペクトルＬｍ（ｆ）と比べて非常に大きな信号であるから、その波形が元の波形と異なると、当然ながら、右チャネルの音質の劣化が知覚される。信号によっては、音声に異音が混入したかのように知覚される。
【０１５９】
（４）ケースＤ（ＲＡｍ≒０、Ｌｍ（ｆ）≒０、ただし、Ｌｍ（ｆ）≪Ｒｍ（ｆ））
図２２に図示するように、ケースＤは、合成処理前における、左スペクトルＬｍ（ｆ）がほぼ０の場合である。すなわち、信号強度差が大きい場合である。
【０１６０】
ケースＤの場合、復号化後の右スペクトルＲｍ（ｆ）は喪失し、０である。
その理由は、ケースＣの場合と同様に、和スペクトルＳＵＭｍ（ｆ）の強度が、もともと０に近い左スペクトルＬｍ（ｆ）の強度に調整されることに起因する。これに加え、その後の量子化処理の際の丸め処理により、量子化後の左スペクトルＬｍ（ｆ）が０となるため、復号化後の右スペクトルＲｍ（ｆ）は、０となる。
このように、信号強度差が大きく、左スペクトルＬｍ（ｆ）がほぼ０の場合には、左右チャネルの音声が喪失する。その結果、入力音を知覚することができない。
【０１６１】
次に、第１実施形態に係る符号化装置１が入力音声信号を符号化したときに、これがどのように復号化されるかを図２３に関連づけて説明する。
図２３は、本発明の第１実施形態を説明するための図である。図２３には、ケースＣの場合が例示されている。
【０１６２】
図２３に図示するように、もともと、左スペクトルＬｍ（ｆ）が、右スペクトルＲｍ（ｆ）よりも非常に小さい。
しかしながら、第１実施形態に係る符号化装置１は、調整部５が、演算部４が得たパワー比ＲＡｍを用いて、最小可聴域以下を越えないように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を左スペクトルＬｍ（ｆ）の強度よりも上げる。
そのため、復号化後の和スペクトルＳＵＭｍ（ｆ）のＳ／Ｎ比を十分に確保することができる。
【０１６３】
更に、調整部５が、和スペクトルＳＵＭｍ（ｆ）の波形が右スペクトルＲｍ（ｆ）の波形になるように、和スペクトルＳＵＭｍ（ｆ）の波形を調整する。
そのため、パワー比を用いて、復号化後の和スペクトルＳＵＭｍ（ｆ）から右スペクトルＲｍ（ｆ）を得ても、その波形は、元の波形とほぼ同一であり、その強度も、元の強度とほぼ同一である。
復号化後の左スペクトルＬｍ（ｆ）は、合成処理前のものと比べて大きいが、最小可聴域を越えていない。
したがって、これが、再生時に、左チャネルの音として知覚されることは、ないに等しい。
【０１６４】
以上の観点から、第１実施形態に係る符号化装置１を用いれば、ＩＳ符号化の際に、大きな信号強度差が生じた場合であっても、左右チャネルの音質を損なうことなく、鮮明なステレオ音声を聞くことができる。
【０１６５】
＜３．第３実施形態＞
第３実施形態では、第１実施形態に係る符号化装置１よりも、処理速度を向上させた符号化装置１ｂについて、第１実施形態と異なる点を説明する。
【０１６６】
［符号化装置１ｂの構成例］
符号化装置１ｂの構成例を図２４に関連づけて説明する。
図２４は、本発明の第３実施形態に係る符号化装置の構成例を示すブロック図である。
【０１６７】
図２４に図示する符号化装置１ｂは、フィルタバンク２ａ、２ｂ、合成部３、演算部４、調整部５ｂ、符号化部６およびビットストリーム発生部７を有する。
符号化装置１ｂは、基本的に、第１実施形態に係る符号化装置１と同様の構成であるが、調整部５ｂの構成が、第１実施形態のものと異なる。
【０１６８】
調整部５ｂの構成例を図２５に関連づけて説明する。図２５は、本発明の第３実施形態に係る調整部の構成例を示すブロック図である。
図２５に図示する調整部５ｂは、判断処理部５２、メモリ５３および調整処理部５４ａを有する。調整部５ｂは、図７に図示する分割処理部５１が搭載されていないため、分割処理部５１によって分割された帯域ごとに調整処理を行わず、次に述べる調整処理を行う。
【０１６９】
（１）判断結果ＳＪの入力がない場合（ケースＡまたはケースＢ）
この場合には、第１実施形態と同様に、調整処理部５４ａは、和スペクトルＳＵＭｍ（ｆ）ｋの強度が、左スペクトルＬｍ（ｆ）の強度と一致するように、和スペクトルＳＵＭｍ（ｆ）ｋの強度を調整する。
【０１７０】
（２）判断結果ＳＪの入力がある場合（ケースＣまたはケースＤ）
この場合には、調整処理部５４ａは、全周波数帯域の和スペクトルＳＵＭｍ（ｆ）ｋを、最小可聴域の低周波側の値に一致させる。
【０１７１】
「最小可聴域の低周波側」とは、たとえば、２ｋＨｚ〜４ｋＨｚの周波数帯域であって、ＩＳ符号化の対象となる周波数帯域の一部である。調整処理部５４ａは、和スペクトルＳＵＭｍ（ｆ）ｋを、たとえば、２ｋＨｚ〜４ｋＨｚのうち、任意の周波数（たとえば、２ｋＨｚ）における最小可聴値に一致させる。
【０１７２】
本実施形態では、分割処理を行わず、分割した帯域ごとに和スペクトルＳＵＭｍ（ｆ）ｋの強度を調整しないため、分割処理に要する時間が不要であり、符号化装置１ｂ自体の処理速度が、第１実施形態に係る符号化装置１の処理速度よりも向上する。無論、ＩＳ符号化の際に、大きな信号強度差が生じた場合であっても、左右チャネルの音質を損なうことなく、鮮明なステレオ音声を聞くことができる。
【０１７３】
＜４．第４実施形態＞
第４実施形態では、第１実施形態に係る符号化装置１を搭載した電子機器について説明する。第４実施形態では、ＡＶ（Audio Visual）機器を電子機器の一例に挙げる。
【０１７４】
図２６は、本発明の第４実施形態に係る電子機器の構成例を示すブロック図である。
図２６に図示する電子機器１００は、トランスコード部１１０、チューナー１２０、ハードディスク（ＨＤＤ）１３０、外部入力用のインターフェース（Ｉ／Ｆ）１４０、外部出力用のインターフェース（Ｉ／Ｆ）１５０、および、表示装置Ｏ４用のインターフェース（Ｉ／Ｆ）１６０を有する。
電子機器１００には、外部機器Ｏ１、Ｏ３、表示装置Ｏ４が接続されている。
【０１７５】
外部機器Ｏ１は、たとえば、パーソナルコンピュータ（ＰＣ）である。外部機器Ｏ１は、種々のコンテンツデータを有し、電子機器１００に接続される。外部機器Ｏ１と電子機器１００との接続は、有線、無線を問わない。両者のデータの授受は、インターフェース１４０を介して行われる。
【０１７６】
記録媒体Ｏ２は、たとえば、読み書き可能な光ディスクであって、種々のコンテンツデータを記録する。記録媒体Ｏ２は、使用時に、電子機器１００内部の光ディスクドライブ（不図示）に挿入される。
【０１７７】
外部機器Ｏ３は、たとえば、音楽を再生するオーディオプレーヤーである。外部機器Ｏ３は、電子機器１００に接続され、電子機器１００から入力されたデータを出力する。外部機器Ｏ３と電子機器１００との接続は、有線、無線を問わない。両者のデータの授受は、インターフェース１５０を介して行われる。
【０１７８】
表示装置Ｏ４は、たとえば、液晶ディスプレイである。表示装置Ｏ４は、電子機器１００に接続され、電子機器１００から入力されたデータ（映像信号）を表示する。表示装置Ｏ４と電子機器１００との接続は、有線、無線を問わない。両者のデータの授受は、インターフェース１６０を介して行われる。
【０１７９】
電子機器１００は、主に、入力コンテンツデータをトランスコードする機能、トランスコードしたデータを再生する機能、入力コンテンツデータをハードディスク１３０あるいは記録媒体Ｏ２に記録する機能を有する。
電子機器１００は、チューナー１２０あるいは外部機器Ｏ１から入力されたコンテンツデータのデータ形式を、トランスコード部１１０を用いて、外部機器Ｏ３あるいは表示装置Ｏ４に適合したデータ形式にトランスコードする。そして、電子機器１００は、トランスコード後のコンテンツデータを外部機器Ｏ３および表示装置Ｏ４に選択的に出力する。
【０１８０】
コンテンツデータは、たとえば、映画、音楽、ＷＥＢ（World Wide Web）サイトのデータであって、音声信号と映像信号とが、たとえば、ＭＰＥＧ４／ＡＡＣにより、（圧縮）符号化されている。
【０１８１】
トランスコード部１１０は、符号化装置１および復号化装置１１１を有し、入力コンテンツデータをトランスコードする。
ここでは、トランスコード部１１０が音声信号を取り扱う場合について説明する。
【０１８２】
復号化装置１１１は、チューナー１２０、ハードディスク１３０、記録媒体Ｏ２、および、インターフェース１４０の内、いずれかから音声信号が入力されると、これを復号化（デコード）する。復号化装置１１１に入力された音声信号は、たとえば、ＡＡＣによって符号化されている。そして、復号化装置１１１は、復号化した音声信号を符号化装置１に出力する。
なお、復号化装置１１１は、符号化されている映像信号を復号化した際には、これをインターフェース１６０を介して表示装置Ｏ４に出力する。
【０１８３】
符号化装置１は、図１に図示するものである。符号化装置１は、復号化された音声信号が復号化装置１１１から入力されると、これが外部機器Ｏ３のデータ形式（たとえば、ＭＰＥＧ２／ＡＡＣ）に適合するように、入力音声信号を符号化する。
【０１８４】
本実施形態では、トランスコードを行う電子機器１００に、符号化装置１が搭載されているため、ＩＳ符号化の際に、大きな信号強度差が生じた場合であっても、再生時の音質、特に、右チャネルの音質を損なうことなく、鮮明なステレオ音声を聞くことができる。
無論、電子機器１００に、第３実施形態に係る符号化装置１ｂを搭載しても、右チャネルの音質を損なうことなく、鮮明なステレオ音声を聞くことができる上、処理速度の向上化も図ることもできる。
【０１８５】
本実施形態では、電子機器としてトランスコードを行うＡＶ機器を例に挙げたが、たとえば、ブルーレイディスク（Blu-ray Disk；登録商標）やビデオカメラのように、ステレオ信号を扱う電子機器であれば、本発明に係る符号化装置を種々の電子機器に搭載可能である。
【０１８６】
本発明は、上述の実施形態に限定されることなく、本発明の要旨を逸脱しない範囲において、種々の変更が可能である。
【符号の説明】
【０１８７】
１、１ａ、１ｂ…符号化装置、２ａ、２ｂ…フィルタバンク、３…合成部、４、４ａ…演算部、５、５ａ、５ｂ…調整部、６…符号化部、７…ビットストリーム発生部、２１ａ、２１ｂ…変換ブロック部、２２ａ、２１ｂ…領域変換部、３１…ＴＮＳ処理部、３２…（合成部３の）判断処理部、３３…合成処理部、４１…パワー比算出処理部、４２…バッファ、５１…分割処理部、５２…（調整部５の）判断処理部、５３…メモリ、５４…調整処理部、１００…電子機器、１１０…トランスコード部、１１１…復号化装置、１２０…チューナー、１３０…ハードディスク、１４０、１５０、１６０…インターフェース。
【図１】
2011118215.tif 000003
【図２】
2011118215.tif 000004
【図３】
2011118215.tif 000005
【図４】
2011118215.tif 000006
【図５】
2011118215.tif 000007
【図６】
2011118215.tif 000008
【図７】
2011118215.tif 000009
【図８】
2011118215.tif 000010
【図９】
2011118215.tif 000011
【図１０】
2011118215.tif 000012
【図１１】
2011118215.tif 000013
【図１２】
2011118215.tif 000014
【図１３】
2011118215.tif 000015
【図１４】
2011118215.tif 000016
【図１５】
2011118215.tif 000017
【図１６】
2011118215.tif 000018
【図１７】
2011118215.tif 000019
【図１８】
2011118215.tif 000020
【図１９】
2011118215.tif 000021
【図２０】
2011118215.tif 000022
【図２１】
2011118215.tif 000023
【図２２】
2011118215.tif 000024
【図２３】
2011118215.tif 000025
【図２４】
2011118215.tif 000026
【図２５】
2011118215.tif 000027
【図２６】
2011118215.tif 000028