(57)【特許請求の範囲】
【請求項１】
複数のレイヤからなる階層構造を有する符号化を行う音声符号化装置であって、
入力信号を周波数分析して入力スペクトルを算出する第１分析手段と、
下位レイヤの復号信号を周波数分析して下位レイヤの復号スペクトルを算出する第２分析手段と、
前記下位レイヤの復号スペクトルのばらつき度に基づいて、複数の非線形変換関数のうちのいずれか一つの非線形変換関数を選択する選択手段と、
あらかじめ設定された複数のスカラーまたはベクトルを、残差スペクトル候補として格納した残差スペクトル符号帳と、
前記残差スペクトル符号帳から前記残差スペクトル候補を入力し、入力した前記残差スペクトル候補を、前記選択手段によって選択された非線形変換関数を用いて逆変換する逆変換手段と、
逆変換された前記残差スペクトル候補と前記下位レイヤの復号スペクトルとを加算して上位レイヤの復号スペクトルを得る加算手段と、
前記入力スペクトルから前記上位レイヤの復号スペクトルを減じて得られる誤差スペクトルを最小にする前記残差スペクトル候補を探索し、探索された前記残差スペクトル候補を残差スペクトルとして符号化する探索手段と、
を具備する音声符号化装置。
【請求項２】
前記残差スペクトル符号帳は、前記残差スペクトル候補として、前記複数の非線形変換関数のそれぞれに対応する複数の符号帳を具備し、
前記逆変換手段は、前記複数の符号帳の中の、前記選択手段によって選択された非線形変換関数に対応する符号帳から、前記残差スペクトル候補を入力する、
請求項１記載の音声符号化装置。
【請求項３】
前記選択手段は、複数のサブバンド各々に対して、前記複数のサブバンド毎に用意された複数の非線形変換関数のうちのいずれか一つの非線形変換関数を選択する、
請求項１記載の音声符号化装置。
【請求項４】
前記選択手段は、前記下位レイヤの復号スペクトルのばらつき度から推定した誤差スペクトルのばらつき度に応じて、前記複数の非線形変換関数のうちのいずれか一つの非線形変換関数を選択する、
請求項１記載の音声符号化装置。
【請求項５】
前記選択手段は、さらに前記誤差スペクトルのばらつき度を示す情報を符号化する、
請求項４記載の音声符号化装置。
【請求項６】
請求項１記載の音声符号化装置を具備する無線通信移動局装置。
【請求項７】
請求項１記載の音声符号化装置を具備する無線通信基地局装置。
【請求項８】
複数のレイヤからなる階層構造を有する符号化を行う音声符号化方法であって、
入力信号を周波数分析して入力スペクトルを算出する第１分析工程と、
下位レイヤの復号信号を周波数分析して下位レイヤの復号スペクトルを算出する第２分析工程と、
前記下位レイヤの復号スペクトルのばらつき度に基づいて、複数の非線形変換関数のうちのいずれか一つの非線形変換関数を選択する選択工程と、
あらかじめ設定された複数のスカラーまたはベクトルを残差スペクトル候補として格納した残差スペクトル符号帳から、前記残差スペクトル候補を入力し、入力した前記残差スペクトル候補を、前記選択工程において選択された非線形変換関数を用いて逆変換する逆変換工程と、
逆変換された前記残差スペクトル候補と前記下位レイヤの復号スペクトルとを加算して上位レイヤの復号スペクトルを得る加算工程と、
前記入力スペクトルから前記上位レイヤの復号スペクトルを減じて得られる誤差スペクトルを最小にする前記残差スペクトル候補を探索し、探索された前記残差スペクトル候補を残差スペクトルとして符号化する探索工程と、
を具備する音声符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声符号化装置および音声符号化方法に関し、特に、スケーラブル符号化に適した音声符号化装置および音声符号化方法に関する。
【背景技術】
【０００２】
移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。
【０００３】
このような相反する要求に対し、複数の符号化技術を階層的に統合するアプローチが有望視されている。このアプローチの一つに、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤと、入力信号と第１レイヤでの復号信号との差分信号を音声以外の信号にも適したモデルで符号化する第２レイヤとを階層的に組み合わせた符号化方式がある。このような階層構造を持つ符号化方式は、符号化により得られるビットストリームにスケーラビリティ性(ビットストリームの一部の情報からでも復号信号が得られること)を有するため、スケーラブル符号化と呼ばれる。スケーラブル符号化はその性質から、ビットレートの異なるネットワーク間の通信にも柔軟に対応できる特徴を持つ。この特徴は、ＩＰプロトコルで多様なネットワークが統合されていくと予想される今後のネットワーク環境に適したものといえる。
【０００４】
従来のスケーラブル符号化としては、例えば、ＭＰＥＧ−４（Moving Picture Experts Group phase-4）で規格化された技術を用いてスケーラブル符号化を行うものがある（非特許文献１参照）。このスケーラブル符号化では、音声信号に適したＣＥＬＰ（Code Excited Linear Prediction; 符号励信線形予測）を第１レイヤに用い、原信号から第１レイヤでの復号信号を減じた残差信号に対するＡＡＣ（Advanced Audio Coder）やＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization;周波数領域重み付きインターリーブベクトル量子化）のような変換符号化を第２レイヤとして用いる。
【０００５】
また、変換符号化においてスペクトルを効率的に量子化する技術がある（特許文献１参照）。この技術は、スペクトルをブロック化し、そのブロック内に含まれる係数のばらつき度を表す標準偏差を求める。そして、この標準偏差の値に応じてブロックに含まれる係数の確率密度関数を推定し、その確率密度関数に適した量子化器を選択する。この技術により、スペクトルの量子化誤差を小さくし、音質を改善することができる。
【特許文献１】特許第３２９９０７３号公報
【非特許文献１】三木弼一編著、ＭＰＥＧ−４の全て、初版、（株）工業調査会、１９９８年９月３０日、ｐ.１２６−１２７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１記載の技術では、量子化対象である信号そのものの分布に応じて量子化器を選択するため、どの量子化器を選択したかという選択情報を符号化して復号化装置へ伝送する必要がある。そのために、その選択情報が付加情報として伝送される分だけビットレートが増加してしまう。
【０００７】
本発明の目的は、ビットレートの増加を最小限に抑えつつ、量子化性能の向上を図ることができる音声符号化装置および音声符号化方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の音声符号化装置は、複数のレイヤからなる階層構造を有する符号化を行う音声符号化装置であって、入力信号を周波数分析して入力スペクトルを算出する第１分析手段と、下位レイヤの復号信号を周波数分析して下位レイヤの復号スペクトルを算出する第２分析手段と、前記下位レイヤの復号スペクトルのばらつき度に基づいて、複数の非線形変換関数のうちのいずれか一つの非線形変換関数を選択する選択手段と、あらかじめ設定された複数のスカラーまたはベクトルを、残差スペクトル候補として格納した残差スペクトル符号帳と、前記残差スペクトル符号帳から前記残差スペクトル候補を入力し、入力した前記残差スペクトル候補を、前記選択手段によって選択された非線形変換関数を用いて逆変換する逆変換手段と、逆変換された前記残差スペクトル候補と前記下位レイヤの復号スペクトルとを加算して上位レイヤの復号スペクトルを得る加算手段と、前記入力スペクトルから前記上位レイヤの復号スペクトルを減じて得られる誤差スペクトルを最小にする前記残差スペクトル候補を探索し、探索された前記残差スペクトル候補を残差スペクトルとして符号化する探索手段と、を具備する構成を採る。
また、本発明の音声符号化方法は、複数のレイヤからなる階層構造を有する符号化を行う音声符号化方法であって、入力信号を周波数分析して入力スペクトルを算出する第１分析工程と、下位レイヤの復号信号を周波数分析して下位レイヤの復号スペクトルを算出する第２分析工程と、前記下位レイヤの復号スペクトルのばらつき度に基づいて、複数の非線形変換関数のうちのいずれか一つの非線形変換関数を選択する選択工程と、あらかじめ設定された複数のスカラーまたはベクトルを残差スペクトル候補として格納した残差スペクトル符号帳から、前記残差スペクトル候補を入力し、入力した前記残差スペクトル候補を、前記選択工程において選択された非線形変換関数を用いて逆変換する逆変換工程と、逆変換された前記残差スペクトル候補と前記下位レイヤの復号スペクトルとを加算して上位レイヤの復号スペクトルを得る加算工程と、前記入力スペクトルから前記上位レイヤの復号スペクトルを減じて得られる誤差スペクトルを最小にする前記残差スペクトル候補を探索し、探索された前記残差スペクトル候補を残差スペクトルとして符号化する探索工程と、具備するようにした。
【発明の効果】
【０００９】
本発明によれば、ビットレートの増加を最小限に抑えつつ、量子化性能の向上を図ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、各実施の形態では、複数のレイヤからなる階層構造を有するスケーラブル符号化を行う。また、各実施の形態では、一例として、（１）スケーラブル符号化の階層構造は、第１レイヤ（下位レイヤ）と第１レイヤより上位にある第２レイヤ（上位レイヤ）の２階層とする、（２）第２レイヤの符号化では、周波数領域で符号化（変換符号化）を行う、（３）第２レイヤの符号化における変換方式にはＭＤＣＴ（Modified Discrete Cosine Transform；変形離散コサイン変換）を使用する、（４）第２レイヤの符号化では、入力信号帯域を複数のサブバンド（周波数帯域）に分割し、各々のサブバンド単位で符号化する、（５）第２レイヤの符号化では、サブバンド分割は、臨界帯域に対応付けて行われ、Ｂａｒｋスケールで等間隔に分割される、ものとする。
【００１１】
（実施の形態１）
本発明の実施の形態１に係る音声符号化装置の構成を図１に示す。
【００１２】
図１において、第１レイヤ符号化部１０は、入力される音声信号（原信号）を符号化して得られる符号化パラメータを第１レイヤ復号化部２０および多重化部５０に出力する。
【００１３】
第１レイヤ復号化部２０は、第１レイヤ符号化部１０から出力された符号化パラメータから第１レイヤの復号信号を生成して第２レイヤ符号化部４０に出力する。
【００１４】
一方、遅延部３０は、入力される音声信号（原信号）に所定の長さの遅延を与えて第２レイヤ符号化部４０に出力する。この遅延は、第１レイヤ符号化部１０および第１レイヤ復号化部２０で生じる時間遅れを調整するためのものである。
【００１５】
第２レイヤ符号化部４０は、遅延部３０から出力された原信号を第１レイヤ復号化部２０から出力された第１レイヤ復号信号を用いてスペクトル符号化し、このスペクトル符号化により得られる符号化パラメータを多重化部５０に出力する。
【００１６】
多重化部５０は、第１レイヤ符号化部１０から出力された符号化パラメータと第２レイヤ符号化部４０から出力された符号化パラメータとを多重化し、ビットストリームとして出力する。
【００１７】
次いで、第２レイヤ符号化部４０についてより詳細に説明する。第２レイヤ符号化部４０の構成を図２に示す。
【００１８】
図２において、ＭＤＣＴ分析部４０１は、第１レイヤ復号化部２０から出力された第１レイヤ復号信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（第１レイヤ復号スペクトル）を算出し、第１レイヤ復号スペクトルをスケールファクタ符号化部４０４および乗算器４０５に出力する。
【００１９】
ＭＤＣＴ分析部４０２は、遅延部３０から出力された原信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（原スペクトル）を算出し、原スペクトルをスケールファクタ符号化部４０４および誤差比較部４０６に出力する。
【００２０】
聴覚マスキング算出部４０３は、遅延部３０から出力された原信号を用いて、あらかじめ規定されている帯域幅を持つサブバンド毎の聴覚マスキングを算出し、この聴覚マスキングを誤差比較部４０６に通知する。人間の聴覚特性には、ある信号が聞こえているときに、その信号と周波数の近い音が耳に入ってきても聞こえにくい、という聴覚マスキング特性がある。上記聴覚マスキングは、この人間の聴覚マスキング特性を利用して、量子化歪が聞こえにくい周波数のスペクトルの量子化ビット数を少なくし、量子化歪が聞こえやすい周波数のスペクトルの量子化ビット数を多く配分することで効率的なスペクトル符号化を実現するために利用される。
【００２１】
スケールファクタ符号化部４０４は、スケールファクタ(スペクトル概形を表す情報)の符号化を行う。スペクトル概形を表す情報として、サブバンド毎の平均振幅を用いる。スケールファクタ符号化部４０４は、ＭＤＣＴ分析部４０１から出力された第１レイヤ復号スペクトルに基づいて第１レイヤ復号信号における各サブバンドのスケールファクタを算出する。それと共に、スケールファクタ符号化部４０４は、ＭＤＣＴ分析部４０２から出力された原スペクトルに基づいて原信号の各サブバンドのスケールファクタを算出する。そして、スケールファクタ符号化部４０４は、原信号のスケールファクタに対する第１レイヤ復号信号のスケールファクタの比を算出し、このスケールファクタ比を符号化して得られる符号化パラメータをスケールファクタ復号化部４０７および多重化部５０に出力する。
【００２２】
スケールファクタ復号化部４０７は、スケールファクタ符号化部４０４から出力された符号化パラメータを基に、スケールファクタ比を復号し、この復号した比（復号スケールファクタ比）を乗算器４０５に出力する。
【００２３】
乗算器４０５は、ＭＤＣＴ分析部４０１から出力された第１レイヤ復号スペクトルにスケールファクタ復号化部４０７から出力された復号スケールファクタ比を対応するサブバンド毎に乗じ、乗算結果を標準偏差算出部４０８および加算器４１３に出力する。この結果、第１レイヤ復号スペクトルのスケールファクタは原スペクトルのスケールファクタに近づく。
【００２４】
標準偏差算出部４０８は、復号スケールファクタ比乗算後の第１レイヤ復号スペクトルの標準偏差σcを算出して選択部４０９に出力する。この標準偏差σcの算出の際には、スペクトルを振幅値と正号／負号情報とに分離し、振幅値に対して標準偏差を算出するようにする。この標準偏差の算出により、第１レイヤ復号スペクトルのばらつき度が定量化される。
【００２５】
選択部４０９は、標準偏差算出部４０８から出力された標準偏差σcに基づいて、逆変換部４１１で残差スペクトルを非線形逆変換する関数としてどの非線形変換関数を用いるか選択し、その選択結果を示す情報を非線形変換関数部４１０に出力する。
【００２６】
非線形変換関数部４１０は、選択部４０９での選択結果に基づいて、複数用意されている非線形変換関数＃１〜＃Ｎのうちのいずれか一つを逆変換部４１１に出力する。
【００２７】
残差スペクトル符号帳４１２には、残差スペクトルを非線形変換して圧縮した複数の残差スペクトルの候補が格納されている。残差スペクトル符号帳４１２に格納されている残差スペクトル候補はスカラーでもベクトルでもよい。また、残差スペクトル符号帳４１２はあらかじめ学習用のデータを用いて設計される。
【００２８】
逆変換部４１１は、非線形変換関数部４１０から出力された非線形変換関数を用いて、残差スペクトル符号帳４１２に格納されている残差スペクトル候補のいずれか一つに対して逆変換（伸張処理）を施して加算器４１３に出力する。これは、第２レイヤ符号化部４０が伸張後の信号の誤差を最小化する構成になっているためである。
【００２９】
加算器４１３は、復号スケールファクタ比乗算後の第１レイヤ復号スペクトルに、逆変換後（伸張後）の残差スペクトル候補を加算して誤差比較部４０６に出力する。この加算の結果得られるスペクトルは第２レイヤ復号スペクトルの候補に相当する。
【００３０】
つまり、第２レイヤ符号化部４０は、後述する音声復号化装置に備えられる第２レイヤ復号化部と同一の構成を備え、第２レイヤ復号化部で生成されるであろう第２レイヤ復号スペクトルの候補を生成する。
【００３１】
誤差比較部４０６は、残差スペクトル符号帳４１２内の一部もしくは全ての残差スペクトル候補について、聴覚マスキング算出部４０３から通知された聴覚マスキングを用いて、原スペクトルと第２レイヤ復号スペクトル候補との比較を行い、残差スペクトル符号帳４１２内から最も適切な残差スペクトル候補を探索する。そして、誤差比較部４０６は、その探索した残差スペクトルを表す符号化パラメータを多重化部５０に出力する。
【００３２】
誤差比較部４０６の構成を図３に示す。図３において、減算器４０６１は、原スペクトルから第２レイヤ復号スペクトル候補を減じて誤差スペクトルを生成し、マスキング対誤差比算出部４０６２に出力する。マスキング対誤差比算出部４０６２は、聴覚マスキングに対する誤差スペクトルの大きさの比（マスキング対誤差比）を算出し、人間の聴感上どの程度誤差スペクトルが知覚されるかを定量化する。ここで算出されるマスキング対誤差比が大きい程、聴覚マスキングに対する誤差スペクトルが小さいとはいえ、人間に知覚される聴感的な歪は小さくなる。探索部４０６３は、残差スペクトル符号帳４１２内の一部もしくは全ての残差スペクトル候補の中でマスキング対誤差比が最も大きくなる(すなわち、知覚される誤差スペクトルが最も小さくなる)ときの残差スペクトル候補を探索し、その探索した残差スペクトル候補を表す符号化パラメータを多重化部５０に出力する。
【００３３】
なお、第２レイヤ符号化部４０の構成として、図２に示す構成からスケールファクタ符号化部４０４およびスケールファクタ復号化部４０７を除いた構成を採ってもよい。この場合、第１レイヤ復号スペクトルはスケールファクタにて振幅値が補正されることなく加算器４１３に与えられる。つまり、伸張後の残差スペクトルは第１レイヤ復号スペクトルに直接加算される構成になる。
【００３４】
また、上記説明では残差スペクトルを逆変換部４１１で逆変換(伸張処理)する構成について説明したが、次のような構成を採ってもよい。すなわち、原スペクトルからスケールファクタ比乗算後の第１レイヤ復号スペクトルを減じて目標残差スペクトルを生成し、この目標残差スペクトルを選択された非線形変換関数を用いて順変換(圧縮処理)し、非線形変換後の目標残差スペクトルに最も近い残差スペクトルを残差スペクトル符号帳より探索して決定する構成としてもよい。この構成では、逆変換部４１１に代えて、目標残差スペクトルを非線形変換関数にて順変換(圧縮処理)する順変換部を用いる。
【００３５】
また、図４に示すように、残差スペクトル符号帳４１２が各非線形変換関数＃１〜＃Ｎに対応した残差スペクトル符号帳＃１〜＃Ｎを有し、選択部４０９からの選択結果情報が
残差スペクトル符号帳４１２にも入力される構成としてもよい。この構成では、選択部４０９での選択結果に基づき、残差スペクトル符号帳＃１〜＃Ｎのうち、非線形変換関数部４１０において選択される非線形変換関数に対応するいずれか一つの残差スペクトル符号帳が選択される。このような構成を採ることで、各非線形変換関数に最適な残差スペクトル符号帳を用いることができるため、さらに音声品質を向上させることができる。
【００３６】
次いで、選択部４０９における、第１レイヤ復号スペクトルの標準偏差σcに基づく非線形変換関数の選択について詳しく説明する。図５のグラフは、第１レイヤ復号スペクトルの標準偏差σcと、原スペクトルから第１レイヤ復号スペクトルを減じて生成した誤差スペクトルの標準偏差σeとの関係を示している。またこのグラフは約３０秒間の音声信号に対しての結果である。ここでいう誤差スペクトルは、第２レイヤが符号化の対象とするスペクトルに相当する。よって、この誤差スペクトルをいかに少ないビット数で高品質に（聴感的な歪が小さくなるように）符号化できるかが重要となる。
【００３７】
ここで、第１レイヤ符号化へのビット配分が十分大きいときには、誤差スペクトルの特性は白色に近くなる。しかし、実用的なビット配分の下では誤差スペクトルの特性は十分に白色化されず、誤差スペクトルの特性は原信号のスペクトル特性にある程度類似した特性となる。そのため、第１レイヤ復号スペクトル(原スペクトルに近づくように符号化され求められたスペクトル)の標準偏差σcと誤差スペクトルの標準偏差σeの間には相関があると考えられる。
【００３８】
このことは図５のグラフにより確かめられる。つまり、図５のグラフより、第１レイヤ復号スペクトルの標準偏差σc（第１レイヤ復号スペクトルのばらつき度）と誤差スペクトルの標準偏差σe（誤差スペクトルのばらつき度）との間には、正の相関があることが分かる。つまり、第１レイヤ復号スペクトルの標準偏差σcが小さいときには誤差スペクトルの標準偏差σeも小さく、第１レイヤ復号スペクトルの標準偏差σcが大きいときには誤差スペクトルの標準偏差σeも大きくなる傾向にある。
【００３９】
そこでこの関係を利用し、本実施の形態では、選択部４０９において、第１レイヤ復号スペクトルの標準偏差σcから誤差スペクトルの標準偏差σeを推定し、この推定された標準偏差σeに最適な非線形変換関数を非線形変換関数＃１〜＃Ｎの中から選択する。
【００４０】
第１レイヤ復号スペクトルの標準偏差σcから誤差スペクトルの標準偏差σeを決定する具体例について図６を用いて説明する。図６において横軸は第１レイヤ復号スペクトルの標準偏差σc、縦軸は誤差スペクトルの標準偏差σeを表す。第１レイヤ復号スペクトルの標準偏差σcが範囲Ｘに属する場合に、あらかじめ定められた範囲Ｘ用の代表点で表される標準偏差σeが誤差スペクトルの標準偏差σeの推定値とされる。
【００４１】
このように第１レイヤ復号スペクトルの標準偏差σc（第１レイヤ復号スペクトルのばらつき度）を基に誤差スペクトルの標準偏差σe（誤差スペクトルのばらつき度）を推定し、この推定値に最適な非線形変換関数を選択することにより、誤差スペクトルを効率的に符号化することが可能となる。また、第１レイヤの復号信号は音声復号装置側でも得られるため、非線形変換関数の選択結果を示す情報を音声復号装置側へ伝送する必要がない。このために、ビットレートの増加を抑えて高品質に符号化を行うことができる。
【００４２】
次いで、非線形変換関数の一例を図７に示す。この例では３種類の対数関数（ａ）〜（ｃ）を用いている。選択部４０９において選択される非線形変換関数は、符号化対象の標準偏差の推定値（本実施形態では第１レイヤ復号スペクトルの標準偏差σc）の大きさに応じて選択される。すなわち、標準偏差が小さいときには関数（ａ）のようにばらつきの小さい信号に適した非線形変換関数が選択され、標準偏差が大きいときには関数（ｃ）のようにばらつきの大きい信号に適した非線形変換関数が選択される。このように、本実施形態では誤差スペクトルの標準偏差σeの大きさに応じて、非線形変換関数のいずれか一つを選択する。
【００４３】
非線形変換関数としては、例えば式（１）で表されるようなμ則ＰＣＭに用いられる非線形変換関数を用いる。
【数１】
0004859670.tif 000002
【００４４】
式（１）において、Ａ、Ｂは非線形変換関数の特性を規定する定数、ｓｇｎ（ ）は符号を返す関数を表す。底ｂには正の実数を用いる。μの異なる複数の非線形変換関数をあらかじめ用意しておき、第１レイヤ復号スペクトルの標準偏差σcを基に、誤差スペクトルを符号化する際にどの非線形変換関数を用いるかを選択する。標準偏差の小さい誤差スペクトルに対してはμの小さい非線形変換関数を用い、標準偏差の大きい誤差スペクトルに対してはμの大きい非線形変換関数を用いる。適切なμは第１レイヤ符号化の性質に依存するために、あらかじめ学習用のデータを利用して決定しておく。
【００４５】
また、非線形変換関数として、式（２）で表される関数を用いてもよい。
【数２】
0004859670.tif 000003
【００４６】
式（２）において、Ａは非線形関数の特性を規定する定数である。この場合、底ａの異なる複数の非線形変換関数をあらかじめ用意しておき、第１レイヤ復号スペクトルの標準偏差σcを基に、誤差スペクトルを符号化する際にどの非線形変換関数を用いるかを選択する。標準偏差の小さい誤差スペクトルに対してはａの小さい非線形変換関数を用い、標準偏差の大きい誤差スペクトルに対してはａの大きい非線形変換関数を用いる。適切なａは第１レイヤ符号化の性質に依存するために、あらかじめ学習用のデータを利用して決定しておく。
【００４７】
なお、これらの非線形変換関数は一例として挙げたものであり、本発明はどのような非線形変換関数を使用するかによって限定されるものではない。
【００４８】
次いで、スペクトル符号化を行う際に非線形変換が必要である理由について説明する。スペクトルの振幅値のダイナミックレンジ(最大振幅値と最小振幅値の比)は非常に大きい。そのため、振幅スペクトルを符号化する際に、量子化ステップサイズが均一の線形量子化を適用すると、非常に多くのビット数が必要になる。仮に符号化ビット数が限定される場合、ステップサイズを小さく設定すると振幅値の大きいスペクトルはクリッピングされてしまい、そのクリッピング部分の量子化誤差が大きくなる。一方で、ステップサイズを大きく設定すると振幅値の小さいスペクトルの量子化誤差が大きくなる。よって、振幅スペクトルのようにダイナミックレンジの大きい信号を符号化する場合には、非線形変換関数を用いて非線形変換を行った後に符号化する方法が効果的である。この場合、適切な非線形変換関数を用いることが重要となる。また、非線形変換を行う際には、スペクトルを振幅値と正号／負号情報とに分離し、振幅値に対してまず非線形変換を行う。そして非線形変換後に符号化を行い、その復号値に正号／負号情報を付加する。
【００４９】
なお、本実施の形態では全帯域を一括して処理する構成に基づいて説明しているが、本発明はこれに限定されず、スペクトルを複数のサブバンドに分割し、各サブバンド毎に第１レイヤ復号スペクトルの標準偏差から誤差スペクトルの標準偏差を推定し、その推定された標準偏差に最適な非線形変換関数を用いて各サブバンドのスペクトルを符号化する構成であってもよい。
【００５０】
また、第１レイヤ復号信号スペクトルのばらつき度は、低域ほどばらつき度が大きく、高域ほどばらつき度が小さい傾向にある。この傾向を利用し、複数のサブバンド毎に設計し用意した複数の非線形変換関数を用いてもよい。この場合、各サブバンド毎に非線形変換関数部４１０が複数備えられる構成を採る。つまり、各サブバンドに対応する非線形変換関数部がそれぞれ、非線形変換関数＃１〜＃Ｎの組を有する。そして、選択部４０９は、複数のサブバンド各々に対して、複数のサブバンド毎に用意された複数の非線形変換関数＃１〜＃Ｎの中のいずれか一つの非線形変換関数を選択する。このような構成を採ることにより、サブバンド毎に最適な非線形変換関数を用いることができ、さらに量子化性能を向上させて音声品質を向上させることができる。
【００５１】
次いで、本発明の実施の形態１に係る音声復号化装置の構成について図８を用いて説明する。
【００５２】
図８において、分離部６０は、入力されるビットストリームを符号化パラメータ（第１レイヤ用）と符号化パラメータ（第２レイヤ用）とに分離して、それぞれ第１レイヤ復号化部７０と第２レイヤ復号化部８０に出力する。符号化パラメータ（第１レイヤ用）は第１レイヤ符号化部１０で求められた符号化パラメータであり、例えば第１レイヤ符号化部１０にてＣＥＬＰ（Code Excited Linear Prediction）を用いた場合には、この符号化パラメータは、ＬＰＣ係数、ラグ、駆動信号、ゲイン情報などで構成されることになる。符号化パラメータ（第２レイヤ用）はスケールファクタ比の符号化パラメータおよび残差スペクトルの符号化パラメータである。
【００５３】
第１レイヤ復号化部７０は、第１レイヤ符号化パラメータから第１レイヤの復号信号を生成して、第２レイヤ復号化部８０に出力するとともに、必要に応じて低品質の復号信号として出力する。
【００５４】
第２レイヤ復号化部８０は、第１レイヤ復号信号、スケールファクタ比の符号化パラメータおよび残差スペクトルの符号化パラメータを用いて、第２レイヤの復号信号、すなわち、高品質の復号信号を生成し、必要に応じてこの復号信号を出力する。
【００５５】
このように、第１レイヤ復号信号によって再生音声の最低限の品質が担保され、第２レイヤ復号信号によって再生音声の品質を高めることができる。また、第１レイヤ復号信号または第２レイヤ復号信号のいずれを出力するかは、ネットワーク環境（パケットロスの発生等）によって第２レイヤ符号化パラメータが得られるかどうか、または、アプリケーションやユーザの設定等に依存する。
【００５６】
次いで、第２レイヤ復号化部８０についてより詳細に説明する。第２レイヤ復号化部８０の構成を図９に示す。なお、図９に示すスケールファクタ復号化部８０１、ＭＤＣＴ分析部８０２、乗算器８０３、標準偏差算出部８０４、選択部８０５、非線形変換関数部８０６、逆変換部８０７、残差スペクトル符号帳８０８、および加算器８０９は、音声符号化装置の第２レイヤ符号化部４０（図２）に備えられるスケールファクタ復号化部４０７、ＭＤＣＴ分析部４０１、乗算器４０５、標準偏差算出部４０８、選択部４０９、非線形変換関数部４１０、逆変換部４１１、残差スペクトル符号帳４１２、および加算器４１３にそれぞれ対応し、対応する各構成は同一の機能を有する。
【００５７】
図９において、スケールファクタ復号化部８０１は、スケールファクタ比の符号化パラメータを基に、スケールファクタ比を復号し、この復号した比（復号スケールファクタ比）を乗算器８０３に出力する。
【００５８】
ＭＤＣＴ分析部８０２は、第１レイヤ復号信号をＭＤＣＴ変換により周波数分析してＭＤＣＴ係数（第１レイヤ復号スペクトル）を算出し、第１レイヤ復号スペクトルを乗算器８０３に出力する。
【００５９】
乗算器８０３は、ＭＤＣＴ分析部８０２から出力された第１レイヤ復号スペクトルにスケールファクタ復号化部８０１から出力された復号スケールファクタ比を対応するサブバンド毎に乗じ、乗算結果を標準偏差算出部８０４および加算器８０９に出力する。この結果、第１レイヤ復号スペクトルのスケールファクタは原スペクトルのスケールファクタに近づく。
【００６０】
標準偏差算出部８０４は、復号スケールファクタ比乗算後の第１レイヤ復号スペクトルの標準偏差σcを算出して選択部８０５に出力する。この標準偏差の算出により、第１レイヤ復号スペクトルのばらつき度が定量化される。
【００６１】
選択部８０５は、標準偏差算出部８０４から出力された標準偏差σcに基づいて、逆変換部８０７で残差スペクトルを非線形逆変換する関数としてどの非線形変換関数を用いるか選択し、その選択結果を示す情報を非線形変換関数部８０６に出力する。
【００６２】
非線形変換関数部８０６は、選択部８０５での選択結果に基づいて、複数用意されている非線形変換関数＃１〜＃Ｎのうちのいずれか一つを逆変換部８０７に出力する。
【００６３】
残差スペクトル符号帳８０８には、残差スペクトルを非線形変換して圧縮した複数の残差スペクトルの候補が格納されている。残差スペクトル符号帳８０８に格納されている残差スペクトル候補はスカラーでもベクトルでもよい。また、残差スペクトル符号帳８０８はあらかじめ学習用のデータを用いて設計されている。
【００６４】
逆変換部８０７は、非線形変換関数部８０６から出力された非線形変換関数を用いて、残差スペクトル符号帳８０８に格納されている残差スペクトル候補のいずれか一つに対して逆変換（伸張処理）を施して加算器８０９に出力する。残差スペクトル候補のうち逆変換が施される残差スペクトルは、分離部６０から入力される残差スペクトルの符号化パラメータに従って選択される。
【００６５】
加算器８０９は、復号スケールファクタ比乗算後の第１レイヤ復号スペクトルに、逆変換後（伸張後）の残差スペクトル候補を加算して時間領域変換部８１０に出力する。この加算の結果得られるスペクトルは周波数領域の第２レイヤ復号スペクトルに相当する。
【００６６】
時間領域変換部８１０は、第２レイヤ復号スペクトルを時間領域の信号に変換した後、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行ってフレーム間に生じる不連続を回避し、最終的な高品質の復号信号を出力する。
【００６７】
このように、本実施の形態によれば、第１レイヤ復号スペクトルのばらつき度から誤差スペクトルのばらつき度を推定し、第２レイヤではこのばらつき度に最適な非線形変換関数を選択する。このとき、非線形変換関数の選択情報を音声符号化装置から音声復号化装置へ伝送しなくても音声復号化装置では音声符号化装置と同様にして非線形変換関数を選択可能である。このため、本実施の形態では、非線形変換関数の選択情報を音声符号化装置から音声復号化装置へ伝送する必要がない。よって、ビットレートを増加させることなく量子化性能を向上させることができる。
【００６８】
（実施の形態２）
本発明の実施の形態２に係る誤差比較部４０６の構成を図１０に示す。この図に示すように、本実施の形態に係る誤差比較部４０６は、実施の形態１の構成（図３）のマスキング対誤差比算出部４０６２に代えて重み付き誤差算出部４０６４を備える。図１０において図３と同一の構成には同一符号を付して説明を省略する。
【００６９】
重み付き誤差算出部４０６４は、減算器４０６１から出力された誤差スペクトルに聴覚マスキングで定められる重み関数を乗じ、そのエネルギー（重み付き誤差エネルギー）を算出する。重み関数は、聴覚マスキングの大きさで定まり、聴覚マスキングが大きい周波数に対しては、その周波数での歪は聞こえにくいため、重みを小さく設定する。逆に聴覚マスキングが小さい周波数に対しては、その周波数での歪は聞こえやすいので、重みを大きく設定する。重み付き誤差算出部４０６４は、このように聴覚マスキングが大きい周波数での誤差スペクトルの影響を小さくし、聴覚マスキングが小さい周波数での誤差スペクトルの影響を大きくするような重みを付与した上でエネルギーを算出する。そして、算出したエネルギー値を探索部４０６３に出力する。
【００７０】
探索部４０６３は、残差スペクトル符号帳４１２内の一部もしくは全ての残差スペクトル候補の中で重み付き誤差エネルギーを最も小さくするときの残差スペクトル候補を探索し、その探索した残差スペクトル候補を表す符号化パラメータを多重化部５０に出力する。
【００７１】
このような処理を行うことで、聴感的な歪を小さくする第２レイヤ符号化部を実現することができる。
【００７２】
（実施の形態３）
本発明の実施の形態３に係る第２レイヤ符号化部４０の構成を図１１に示す。この図に示すように、本実施の形態に係る第２レイヤ符号化部４０は、実施の形態１の構成（図２）の選択部４０９に代えて符号付き選択部４１４を備える。図１１において図２と同一の構成には同一符号を付して説明を省略する。
【００７３】
符号付き選択部４１４には、復号スケールファクタ比乗算後の第１レイヤ復号スペクトルが乗算器４０５より入力されるとともに、その第１レイヤ復号スペクトルの標準偏差σcが標準偏差算出部４０８より入力される。また、符号付き選択部４１４には、ＭＤＣＴ分析部４０２より原スペクトルが入力される。
【００７４】
符号付き選択部４１４は、まず、標準偏差σcを基に誤差スペクトルの推定標準偏差のとり得る値を限定する。次いで、符号付き選択部４１４は、原スペクトルと復号スケールファクタ比乗算後の第１レイヤ復号スペクトルから誤差スペクトルを求め、この誤差スペクトルの標準偏差を算出し、この標準偏差に最も近い推定標準偏差を、上記のようにして限定した推定標準偏差の中から選択する。そして、符号付き選択部４１４は、選択した推定標準偏差（誤差スペクトルのばらつき度）に応じて実施の形態１同様にして非線形変換関数を選択するとともに、選択した推定標準偏差を示す選択情報を符号化した符号化パラメータを多重化部５０に出力する。
【００７５】
多重化部５０は、第１レイヤ符号化部１０から出力された符号化パラメータ、第２レイヤ符号化部４０から出力された符号化パラメータおよび符号付き選択部４１４から出力された符号化パラメータを多重化し、ビットストリームとして出力する。
【００７６】
符号付き選択部４１４での誤差スペクトルの標準偏差の推定値の選択方法について図１２を用いてより詳しく説明する。図１２において横軸は第１レイヤ復号スペクトルの標準偏差σc、縦軸は誤差スペクトルの標準偏差σeを表す。第１レイヤ復号スペクトルの標準偏差σcが範囲Ｘに属する場合に、誤差スペクトルの標準偏差の推定値は、推定値σe(0)、推定値σe(1)、推定値σe(2)、推定値σe(3)のいずれかに限定される。これら４個の推定値のうち、原スペクトルと復号スケールファクタ比乗算後の第１レイヤ復号スペクトルとから求められる誤差スペクトルの標準偏差に最も近い推定値を選択する。
【００７７】
このように、第１レイヤ復号スペクトルの標準偏差を基に誤差スペクトルの推定標準偏差のとり得る推定値を複数に限定し、その限定された推定位置の中から、原スペクトルと復号スケールファクタ比乗算後の第１レイヤ復号スペクトルとから求められる誤差スペクトルの標準偏差に最も近い推定値を選択するため、第１レイヤ復号スペクトルの標準偏差による推定値の変動分に対して符号化することにより、より正確な標準偏差を求めることができ、さらに量子化性能を向上させて音声品質を向上させることができる。
【００７８】
次いで、本発明の実施の形態３に係る第２レイヤ復号化部８０の構成について図１３を用いて説明する。この図に示すように、本実施の形態に係る第２レイヤ復号化部８０は、実施の形態１の構成（図９）の選択部８０５に代えて符号付き選択部８１１を備える。図１３において図９と同一の構成には同一符号を付して説明を省略する。
【００７９】
符号付き選択部８１１には、分離部６０により分離された選択情報の符号化パラメータが入力される。符号付き選択部８１１は、選択情報によって示される推定標準偏差に基づいて、残差スペクトルを非線形変換する関数としてどの非線形変換関数を用いるか選択し、その選択結果を示す情報を非線形変換関数部８０６に出力する。
【００８０】
以上、本発明の実施の形態について説明した。
【００８１】
なお、上記各実施形態では、第１レイヤ復号スペクトルの標準偏差を用いずに、誤差スペクトルの標準偏差を直接符号化してもよい。このようにした場合、誤差スペクトルの標準偏差を表すための符号量は増加するものの、第１レイヤ復号スペクトルの標準偏差と誤差スペクトルの標準偏差との相関が小さいフレームについても量子化性能を向上させることができる。
【００８２】
また、（ｉ）第１レイヤ復号スペクトルの標準偏差を基にして誤差スペクトルの標準偏差がとり得る推定値を限定することと、（ｉｉ）第１レイヤ復号スペクトルの標準偏差を用いずに誤差スペクトルの標準偏差を直接符号化することとを、フレーム毎に切り替えるようにしてもよい。この場合、第１レイヤ復号スペクトルの標準偏差と誤差スペクトルの標準偏差との相関が所定値以上のフレームについては（ｉ）の処理を行い、その相関が所定値未満のフレームについては（ｉｉ）の処理を行う。このように、第１レイヤ復号スペクトルの標準偏差と誤差スペクトルの標準偏差との相関値に応じて処理（ｉ）と処理（ｉｉ）とを適応的に切り替えることにより、さらに量子化性能を向上させることができる。
【００８３】
また、上記各実施形態では、スペクトルのばらつき度を表す指標として標準偏差を用いたが、その他に、分散、最大振幅スペクトルと最小振幅スペクトルの差または比などを用いてもよい。
【００８４】
また、上記各実施形態では変換方式としてＭＤＣＴを使用する場合について説明したが、これに限定されず、他の変換方式、例えばＤＦＴやコサイン変換、Ｗａｖａｌｅｔ変換などを使用するときにも本発明を同様に適用することができる。
【００８５】
また、上記各実施形態ではスケーラブル符号化の階層構造を第１レイヤ（下位レイヤ）と第２レイヤ（上位レイヤ）の２階層として説明したが、これに限定されず、３階層以上の階層を持つスケーラブル符号化にも本発明を同様に適用することができる。この場合、複数のレイヤのうちのいずれかを上記各実施の形態における第１レイヤとみなし、そのレイヤより上位にあるレイヤを上記各実施の形態における第２レイヤとみなして、本発明を同様に適用することができる。
【００８６】
また、各レイヤが扱う信号のサンプリングレートが異なるときにも本発明を適用可能である。第ｎレイヤが扱う信号のサンプリングレートをＦｓ（ｎ）と表した場合、Ｆｓ（ｎ）≦Ｆｓ（ｎ＋１）の関係が成り立つ。
【００８７】
また、上記各実施の形態に係る音声符号化装置、音声復号化装置を、移動体通信システムにおいて使用される無線通信移動局装置や無線通信基地局装置等の無線通信装置に搭載することも可能である。
【００８８】
また、上記実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
【００８９】
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【００９０】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００９２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００９３】
本明細書は、２００４年１０月２７日出願の特願２００４−３１２２６２に基づくものである。この内容はすべてここに含めておく。
【産業上の利用可能性】
【００９４】
本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等における通信装置の用途に適用できる。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施の形態１に係る音声符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る第２レイヤ符号化部の構成を示すブロック図
【図３】本発明の実施の形態１に係る誤差比較部の構成を示すブロック図
【図４】本発明の実施の形態１に係る第２レイヤ符号化部の構成を示すブロック図（変形例）
【図５】本発明の実施の形態１に係る第１レイヤ復号スペクトルの標準偏差と誤差スペクトルの標準偏差との関係を示すグラフ
【図６】本発明の実施の形態１に係る誤差スペクトルの標準偏差の推定方法を示す図
【図７】本発明の実施の形態１に係る非線形変換関数の一例を示す図
【図８】本発明の実施の形態１に係る音声復号化装置の構成を示すブロック図
【図９】本発明の実施の形態１に係る第２レイヤ復号化部の構成を示すブロック図
【図１０】本発明の実施の形態２に係る誤差比較部の構成を示すブロック図
【図１１】本発明の実施の形態３に係る第２レイヤ符号化部の構成を示すブロック図
【図１２】本発明の実施の形態３に係る誤差スペクトルの標準偏差の推定方法を示す図
【図１３】本発明の実施の形態３に係る第２レイヤ復号化部の構成を示すブロック図
【図１】
0004859670.tif 000004
【図２】
0004859670.tif 000005
【図３】
0004859670.tif 000006
【図４】
0004859670.tif 000007
【図５】
0004859670.tif 000008
【図６】
0004859670.tif 000009
【図７】
0004859670.tif 000010
【図８】
0004859670.tif 000011
【図９】
0004859670.tif 000012
【図１０】
0004859670.tif 000013
【図１１】
0004859670.tif 000014
【図１２】
0004859670.tif 000015
【図１３】
0004859670.tif 000016