(57)【特許請求の範囲】
【請求項１】
音響時系列信号を符号化する音響信号符号化方法において、
上記音響時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化工程と、
上記トーン成分符号化工程にて、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程と
を有し、
上記トーン成分符号化工程は、
上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析工程と、
上記純音分析工程で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化工程と、
上記純音分析工程で得られた純音波形のパラメータを用いて純音波形を合成する純音合成工程と、
上記音響時系列信号から上記純音合成工程で合成された純音波形を順次減算することにより残差信号を得る減算工程と、
上記減算工程で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析工程の終了判定を行う終了条件判定工程とを有する
音響信号符号化方法。
【請求項２】
上記音響時系列信号がトーン性かノイズ性かを判定するトーン・ノイズ判定工程を有し、
上記トーン・ノイズ判定工程でノイズ性と判定された上記音響時系列信号は、上記残差成分符号化工程にて符号化される
請求項１記載の音響信号符号化方法。
【請求項３】
上記音響時系列信号を符号化する際の符号化単位が時間軸上でオーバーラップする場合に、当該オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られる上記トーン成分信号と時間的に後の符号化単位で得られる上記トーン成分信号とを合成した信号を上記音響時系列信号から抽出することで、上記残差時系列信号を得る請求項１記載の音響信号符号化方法。
【請求項４】
上記トーン成分符号化工程は、
上記オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られる上記トーン成分信号と時間的に後の符号化単位で得られる上記トーン成分信号とを合成して合成信号を生成する抽出波形合成工程と、
上記合成信号を上記音響時系列信号から減算して上記残差時系列信号を出力する減算出力工程と
を有する請求項３記載の音響信号符号化方法。
【請求項５】
上記トーン成分符号化工程は、
上記正規化・量子化工程で得られた純音波形のパラメータを逆量子化及び逆正規化する逆量子化・逆正規化工程とを更に有し、
上記純音波形合成工程では、上記逆量子化・逆正規化工程で得られた純音波形のパラメータに用いて純音波形を合成する
請求項１記載の音響信号符号化方法。
【請求項６】
上記トーン成分符号化工程は、
上記正規化・量子化工程で得られた純音波形のパラメータを逆量子化及び逆正規化する逆量子化・逆正規化工程とを更に有する
請求項１記載の音響信号符号化方法。
【請求項７】
音響時系列信号を符号化する音響信号符号化方法において、
上記音響時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化工程と、
上記トーン成分符号化工程にて、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程と
を有し、
上記トーン成分符号化工程は、
上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析工程と、
上記純音分析工程で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化工程と、
上記純音分析工程で得られた純音波形のパラメータを用いて純音波形を合成する純音合成工程と、
上記音響時系列信号から上記純音合成工程で合成された純音波形を順次減算することにより残差信号を得る減算工程と、
上記減算工程で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析工程の終了判定を行う終了条件判定工程とを有し、
上記音響時系列信号を符号化する際の符号化単位が時間軸上でオーバーラップする場合に、当該オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られる上記トーン成分信号と時間的に後の符号化単位で得られる上記トーン成分信号とを合成した信号を上記音響時系列信号から抽出することで、上記残差時系列信号を得る
音響信号符号化方法。
【請求項８】
音響時系列信号を符号化する音響信号符号化方法において、
上記音響時系列信号を複数の周波数帯域に分割する周波数帯域分割工程と、
少なくとも１つの周波数帯域の上記音響時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化工程と、
上記トーン成分符号化工程にて、少なくとも１つの周波数帯域の上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程と
を有し、
上記トーン成分符号化工程は、
上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析工程と、
上記純音分析工程で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化工程と、
上記純音分析工程で得られた純音波形のパラメータを用いて純音波形を合成する純音合成工程と、
上記音響時系列信号から上記純音合成工程で合成された純音波形を順次減算することにより残差信号を得る減算工程と、
上記減算工程で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析工程の終了判定を行う終了条件判定工程とを有する
音響信号符号化方法。
【請求項９】
音響時系列信号を符号化する音響信号符号化装置において、
上記時系列信号からトーン成分信号を抽出して符号化するトーン成分符号化手段と、
上記トーン成分符号化手段によって上記音響時系列信号から時間領域で上記トーン成分信号が抽出された残差時系列信号を符号化する残差成分符号化手段と
を備え、
上記トーン成分符号化手段は、
上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析手段と、
上記純音分析手段で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化手段と、
上記純音分析手段で得られた純音波形のパラメータを用いて純音波形を合成する純音合成手段と、
上記音響時系列信号から上記純音合成手段で合成された純音波形を順次減算することにより残差信号を得る減算手段と、
上記減算手段で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析手段の処理の終了判定を行う終了条件判定手段とを有する
音響信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音響信号を符号化して伝送又は記録媒体に記録する音響信号符号化方法及び装置に関する。
【０００２】
【従来の技術】
ディジタルオーディオ信号或いは音声信号等の高能率符号化の手法には種々あるが、例えば、時間軸上のオーディオ信号等をブロック化しないで、複数の周波数帯域に分割して符号化する非ブロック化周波数帯域分割方式である帯域分割符号化（SubBand Coding:SBC）や、時間軸上の信号を周波数軸上の信号に変換（スペクトル変換）して複数の周波数帯域に分割し、各帯域毎に符号化するブロック化周波数帯域分割方式、いわゆる変換符号化を挙げることができる。また、上述の帯域分割符号化と変換符号化とを組み合わせた高能率符号化の手法も考えられており、この場合には、例えば、上記帯域分割符号化で帯域分割を行った後、該各帯域毎の信号を周波数軸上の信号にスペクトル変換し、このスペクトル変換された各帯域毎に符号化が施される。
【０００３】
ここで、上述したスペクトル変換としては、例えば、入力された音響時系列信号を所定単位時間のフレームでブロック化し、当該ブロック毎に離散フーリエ変換（Discrete Fourier Transformation:DFT）、離散コサイン変換（Discrete Cosine Transformation:DCT）、変形離散コサイン変換（Modified Discrete Cosine Transformation:MDCT）等を行うことで時間軸を周波数軸に変換するようなものがある。ＭＤＣＴについては、例えば「"Subband/Transform Coding Using FilterBank Designs Based on Time Domain Aliasing Cancellation", J.P.Princen & A.B.Brandley, ICASSP 1987, Univ. of Surrey Royal Melbourne Inst. of Tech.」等に述べられている。
【０００４】
このようにフィルタやスペクトル変換によって帯域毎に分割された信号を量子化することにより、量子化雑音が発生する帯域を制御することができ、マスキング効果などの性質を利用して聴覚的により高能率な符号化を行うことができる。また、ここで量子化を行う前に、各帯域毎に、例えばその帯域における信号成分の絶対値の最大値で正規化を行うようにすれば、さらに高能率な符号化を行うことができる。
【０００５】
周波数帯域分割された各周波数成分を量子化する周波数分割幅としては、例えば人間の聴覚特性を考慮した帯域分割が行われる。すなわち、一般に臨海帯域（クリティカルバンド）と呼ばれている高域ほど帯域幅が広くなるような帯域幅で、オーディオ信号を例えば３２バンドのような複数の帯域に分割することがある。また、このときの各帯域毎のデータを符号化する際には、各帯域毎に所定のビット配分或いは、各帯域毎に適応的なビットアロケーションすなわちビット割当てによる符号化が行われる。例えば、上記ＭＤＣＴ処理されて得られた係数データを上記ビットアロケーションによって符号化する際には、上記各ブロック毎のＭＤＣＴ処理により得られる各帯域毎のＭＤＣＴ係数データに対して、適応的な割当てビット数で符号化が行われることになる。
【０００６】
【発明が解決しようとする課題】
ところで、音響時系列信号のスペクトル変換符号化及び復号化において、特定の周波数にスペクトルが集中するトーン性の音響信号に含まれる雑音は、非常に耳につき易く、聴感上大きな障害となることはよく知られている。このため、トーン性成分の符号化のためには、充分なビット数で量子化を行わなければならないが、所定の帯域毎に量子化精度が決められる場合、トーン性成分を含む符号化ユニット内の多数のスペクトルに対しても多くのビット割当てをすることとなり、符号化効率が悪くなってしまう。
【０００７】
そこで、この問題を解決するために、例えば特願平５−１５２８６５号や特願平７−１６８５９３号等の明細書及び図面において、スペクトルをトーン性成分とそれ以外の成分とに分離し、トーン性成分に対してのみ精度よく量子化する手法が提案されている。
【０００８】
この手法においては、図１７（Ａ）に示すようなスペクトルから、局所的にエネルギの高いスペクトル、すなわちトーン性成分Ｔを分離する。トーン性成分を除いたノイズ性成分は、図１７（Ｂ）のようなスペクトルになる。そして、それぞれに対し、充分且つ適切な精度で量子化がなされる。
【０００９】
しかしながら、ＭＤＣＴ等のスペクトル変換の手法においては、分析区間外では、分析区間内の波形が周期的に繰り返されていると仮定されており、その影響により、実際には存在しない周波数成分が観測されてしまう。例えば、ある周波数の正弦波が入力した場合、これをＭＤＣＴ処理によりスペクトル変換した際、スペクトルは、図１７（Ａ）のように、本来の周波数だけでなく、周りの周波数に広がって現れる。従って、この正弦波をより精度よく表現するためには、上記の手法によりトーン性成分に対してのみ精度よ量子化しようとした場合にも、本来の１つの周波数だけでなく、図１７（Ａ）で示したように、複数の周波数に対するスペクトル成分を充分な精度で量子化しなければならない。その結果、多くのビットが必要となり、符号化効率は悪くなる。
本発明は、このような従来の実情に鑑みて提案されたものであり、局所的周波数に存在するトーン成分により符号化効率が悪くなることを抑制する音響信号符号化方法及びその装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号符号化方法は、音響時系列信号を符号化する音響信号符号化方法において、上記音響時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化工程と、上記トーン成分符号化工程にて、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程とを有し、上記トーン成分符号化工程は、上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析工程と、上記純音分析工程で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化工程と、上記純音分析工程で得られた純音波形のパラメータを用いて純音波形を合成する純音合成工程と、上記音響時系列信号から上記純音合成工程で合成された純音波形を順次減算することにより残差信号を得る減算工程と、上記減算工程で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析工程の終了判定を行う終了条件判定工程とを有する。
また、上述した目的を達成するために、本発明に係る音響信号符号化方法は、音響時系列信号を符号化する音響信号符号化方法において、上記音響時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化工程と、上記トーン成分符号化工程にて、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程とを有し、上記トーン成分符号化工程は、上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析工程と、上記純音分析工程で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化工程と、上記純音分析工程で得られた純音波形のパラメータを用いて純音波形を合成する純音合成工程と、上記音響時系列信号から上記純音合成工程で合成された純音波形を順次減算することにより残差信号を得る減算工程と、上記減算工程で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析工程の終了判定を行う終了条件判定工程とを有し、上記音響時系列信号を符号化する際の符号化単位が時間軸上でオーバーラップする場合に、当該オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られる上記トーン成分信号と時間的に後の符号化単位で得られる上記トーン成分信号とを合成した信号を上記音響時系列信号から抽出することで、上記残差時系列信号を得る。
【００１１】
このような音響信号符号化方法では、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化する。
【００１２】
また、上述した目的を達成するために、本発明に係る音響信号復号化方法は、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化方法であって、上記符号列を分解する符号列分解工程と、上記符号列分解工程で得られたトーン成分情報に従って、トーン成分時系列信号を復号化するトーン成分復号化工程と、上記符号列分解工程で得られた残差成分情報に従って、残差成分時系列信号を復号化する残差成分復号化工程と、上記トーン成分復号化工程で得られたトーン成分時系列信号と残差成分復号化工程で得られた残差成分時系列信号とを加算して上記音響時系列信号を復元する加算工程とを有し、上記トーン成分復号化工程は、上記符号列分解工程で得られたトーン成分情報を逆量子化及び逆正規化する逆量子化・逆正規化工程と、上記逆量子化・逆正規化工程で得られたトーン成分情報に従ってトーン成分時系列信号を合成するトーン成分合成工程とを有する。
また、上述した目的を達成するために、本発明に係る音響信号復号化方法は、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化方法であって、上記符号列を分解する符号列分解工程と、上記符号列分解工程で得られたトーン成分情報に従って、トーン成分時系列信号を復号化するトーン成分復号化工程と、上記符号列分解工程で得られた残差成分情報に従って、残差成分時系列信号を復号化する残差成分復号化工程と、上記トーン成分復号化工程で得られたトーン成分時系列信号と残差成分復号化工程で得られた残差成分時系列信号とを加算して上記音響時系列信号を復元する加算工程とを有し、上記トーン成分復号化工程は、上記符号列分解工程で得られたトーン成分情報を逆量子化及び逆正規化する逆量子化・逆正規化工程と、上記逆量子化・逆正規化工程で得られたトーン成分情報に従ってトーン成分時系列信号を合成するトーン成分合成工程とを有し、上記音響時系列信号の符号化単位が時間軸上でオーバーラップする場合に、当該オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られた上記トーン成分信号と時間的に後の符号化単位で得られた上記トーン成分信号とを合成して上記トーン成分時系列信号を生成する。
【００１３】
このような音響信号復号化方法では、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化してなる符号列を復号化し、音響時系列信号を復元する。
【００１４】
また、上述した目的を達成するために、本発明に係る音響信号符号化方法は、音響時系列信号を符号化する音響信号符号化方法において、上記音響時系列信号を複数の周波数帯域に分割する周波数帯域分割工程と、少なくとも１つの周波数帯域の上記音響時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化工程と、上記トーン成分符号化工程にて、少なくとも１つの周波数帯域の上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程とを有し、上記トーン成分符号化工程は、上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析工程と、上記純音分析工程で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化工程と、上記純音分析工程で得られた純音波形のパラメータを用いて純音波形を合成する純音合成工程と、上記音響時系列信号から上記純音合成工程で合成された純音波形を順次減算することにより残差信号を得る減算工程と、上記減算工程で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析工程の終了判定を行う終了条件判定工程とを有する。
【００１５】
このような音響信号符号化方法では、複数の周波数帯域に分割された音響時系列信号の少なくとも１つの周波数帯域に対して、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化する。
【００１６】
また、上述した目的を達成するために、本発明に係る音響信号復号化方法は、音響時系列信号が複数の周波数帯域に分割され、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化方法であって、上記符号列を分解する符号列分解工程と、上記少なくとも１つの周波数帯域に対して、上記符号列分解工程で得られたトーン成分情報に従ってトーン成分時系列信号を合成するトーン成分復号化工程と、上記少なくとも１つの周波数帯域に対して、上記符号列分解工程で得られた残差成分情報に従って残差成分時系列信号を生成する残差成分復号化工程と、上記トーン成分復号化工程で得られたトーン成分時系列信号と上記残差成分符号化工程で得られた残差成分時系列信号とを加算合成して復号化信号を得る加算工程と、各帯域に対する復号化信号を帯域合成して上記音響時系列信号を復元する帯域合成工程とを有し、上記トーン成分復号化工程は、上記符号列分解工程で得られたトーン成分情報を逆量子化及び逆正規化する逆量子化・逆正規化工程と、上記逆量子化・逆正規化工程で得られたトーン成分情報に従ってトーン成分時系列信号を合成するトーン成分合成工程とを有する。
【００１７】
このような音響信号復号化方法では、複数の周波数帯域に分割された音響時系列信号の少なくとも１つの周波数帯域に対して、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化してなる符号列を復号化し、音響時系列信号を復元する。
【００２２】
また、上述した目的を達成するために、本発明に係る音響信号符号化装置は、音響時系列信号を符号化する音響信号符号化装置において、上記時系列信号からトーン成分信号を時間領域で抽出して符号化するトーン成分符号化手段と、上記トーン成分符号化手段によって上記音響時系列信号から上記トーン成分信号が抽出された残差時系列信号を符号化する残差成分符号化手段とを備え、上記トーン成分符号化手段は、上記音響時系列信号から、時間領域で残差エネルギが最小となる純音を分析する純音分析手段と、上記純音分析手段で得られた純音波形のパラメータを正規化及び量子化する正規化・量子化手段と、上記純音分析手段で得られた純音波形のパラメータを用いて純音波形を合成する純音合成手段と、上記音響時系列信号から上記純音合成手段で合成された純音波形を順次減算することにより残差信号を得る減算手段と、上記減算手段で得られた上記残差信号を分析し、所定の条件に基づいて上記純音分析手段の処理の終了判定を行う終了条件判定手段とを有する。
【００２３】
このような音響信号符号化装置は、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化する。
【００２４】
また、上述した目的を達成するために、本発明に係る音響信号復号化装置は、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化装置であって、上記符号列を分解する符号列分解手段と、上記符号列分解手段によって得られたトーン成分情報に従って、トーン成分時系列信号を復号化するトーン成分復号化手段と、上記符号列分解手段によって得られた残差成分情報に従って、残差成分時系列信号を復号化する残差成分復号化手段と、上記トーン成分復号化手段によって得られたトーン成分時系列信号と残差成分復号化手段によって得られた残差成分時系列信号とを加算して上記音響時系列信号を復元する加算手段とを備え、上記トーン成分復号化手段は、上記符号列分解手段で得られたトーン成分情報を逆量子化及び逆正規化する逆量子化・逆正規化手段と、上記逆量子化・逆正規化手段で得られたトーン成分情報に従ってトーン成分時系列信号を合成するトーン成分合成手段とを有する。
【００２５】
このような音響信号復号化装置は、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化してなる符号列を復号化し、音響時系列信号を復元する。
【００３０】
また、上述した目的を達成するために、本発明に係る記録媒体には、音響時系列信号から残差エネルギが最小となる純音を分析して得られた純音波形をトーン成分信号として抽出し、当該トーン成分信号となる純音波形のパラメータを正規化及び量子化したもの符号化し、さらに、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化してなる符号列が記録されている。
【００３１】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００３２】
先ず、本実施の形態における音響信号符号化装置の構成の一例を図１に示す。図１に示すように、この音響信号符号化装置１００は、トーン・ノイズ判定部１１０と、トーン成分符号化部１２０と、残差成分符号化部１３０と、符号列生成部１４０と、時系列保持部１５０とを備える。
【００３３】
トーン・ノイズ判定部１１０は、入力した音響時系列信号Sがトーン性信号であるかノイズ性信号であるかを判定し、判定結果に応じてトーン・ノイズ判定符号T/Nを出力して後段の処理を切り替える。
【００３４】
トーン成分符号化部１２０は、トーン成分を入力信号から抽出し、そのトーン成分信号を符号化するものであり、トーン・ノイズ判定部１１０によりトーン性と判断された入力信号からトーン成分パラメータN-TPを抽出するトーン成分抽出部１２１と、トーン成分抽出部１２１で得られたトーン成分パラメータN-TPを正規化及び量子化して、量子化されたトーン成分パラメータN-QTPを出力する正規化・量子化部１２２とを有する。
【００３５】
残差成分符号化部１３０は、トーン・ノイズ判定部１１０によりトーン性と判断された入力信号から上記トーン成分抽出部１２１においてトーン成分信号を抽出された残差時系列信号RS、或いはトーン・ノイズ判定部１１０によりノイズ性と判断された入力信号を符号化するものであり、これらの時系列信号を例えば変形離散コサイン変換（Modified Discrete Cosine Transformation:MDCT）によりスペクトル情報NSに変換するスペクトル変換部１３１と、スペクトル変換部１３１で得られたスペクトル情報NSを正規化及び量子化し、量子化されたスペクトル情報QNSを出力する正規化・量子化部１３２とを有する。
【００３６】
符号列生成部１４０は、トーン成分符号化部１２０及び残差成分符号化部１３０からの情報に基づいて符号列Cを生成し出力する。
【００３７】
時系列保持部１５０は、残差成分符号化部１３０へ入力される時系列信号を保持する。この時系列保持部１５０における処理については、後述する。
【００３８】
このように、本実施の形態における音響信号符号化装置１００は、入力した音響時系列信号がトーン性信号であるかノイズ性信号であるかに応じて、フレーム毎に後段の符号化処理の手法を切り替える。すなわち、トーン性信号については、後述するように一般調和解析（Generalized Harmonic Analysis:GHA）の手法を用いてトーン成分信号を抽出してそのパラメータを符号化し、トーン性信号からトーン成分信号を抽出した残差信号とノイズ性信号とについては、例えばＭＤＣＴによりスペクトル変換した後に符号化する。
【００３９】
ところで、一般にスペクトル変換に用いるＭＤＣＴにおいては、図２（Ａ）に示すように、その分析フレーム（符号化単位）は、前後の分析フレームと１／２フレームのオーバーラップを要する。トーン成分符号化処理における一般調和解析の分析フレームも前後の分析フレームと１／２フレームのオーバーラップを持たせることができ、抽出時系列信号を前後のフレームの抽出時系列信号と滑らかに繋ぐことが可能となる。
【００４０】
しかし、上述のようにＭＤＣＴの分析フレームには１／２フレームのオーバーラップがあるため、第１フレームの分析時における区間Ａの時系列信号と、第２フレーム分析時における区間Ａの時系列信号とが異なってはならない。このため、残差成分符号化処理において、第１フレームをスペクトル変換した時点で、区間Ａにおけるトーン成分抽出を完了している必要があり、以下のような処理を行うのが好ましい。
【００４１】
先ず、トーン成分符号化において、図２（Ｂ）に示す第２フレームの区間で一般調和解析により純音分析を行う。その後、得られたパラメータに基づいて波形抽出を行うが、その抽出区間は第１フレームと重なり合ったトーン成分抽出区間とする。ここで、第１フレームの区間での一般調和解析による純音分析は、既に終了しており、この区間での波形抽出は、この第１フレームと第２フレームとのそれぞれで得られたパラメータに基づいて行う。仮に第１フレームがノイズ性信号と判定されていた場合には、第２フレームで得られたパラメータのみに基づいて波形抽出を行う。
【００４２】
次に、各フレームにおいて抽出された抽出時系列信号を以下のようにして合成する。すなわち、図２（Ｃ）に示すように、各フレームで分析されたパラメータによる時系列信号に、例えば式（１）に示すハニング（Hanning）関数のような足して１になる窓関数をかけ、第１フレームから第２フレームにかけて滑らかに繋がった時系列信号を合成する。なお、式（１）において、Ｌは、フレーム長、すなわち符号化単位の長さである。
【００４３】
【数１】
0004622164.tif 000002
【００４４】
続いて、合成された時系列信号を入力信号から抽出する。これにより、第１フレームと第２フレームとが重なり合った区間（オーバーラップ区間）における残差時系列信号が求められ、この残差時系列信号を第１フレームの後半１／２フレームの残差時系列信号とする。この残差時系列信号と既に保持されている第１フレームの前半１／２フレームの残差時系列信号とにより第１フレームの残差時系列信号を構成し、第１フレームにおける残差時系列信号に対してスペクトル変換を施し、得られたスペクトル情報を正規化及び量子化することで、残差成分符号化を行う。ここで、符号列を第１フレームのトーン成分情報と第１フレームの残差成分情報とにより生成することで、復号時にトーン成分の合成と残差成分の合成とを同一のフレームで行うことが可能となる。
【００４５】
なお、第１フレームがノイズ性信号である場合には、第１フレームのパラメータが存在しないため、第２フレームにおいて抽出された抽出時系列信号のみに対して上述した窓関数をかける。得られた時系列信号を入力信号から抽出し、その残差時系列信号が、同様に第１フレームの後半１／２フレームの残差時系列信号とされる。
【００４６】
以上のようにして、不連続点を持たない滑らかなトーン成分時系列信号の抽出を可能とし、且つ、残差成分符号化におけるＭＤＣＴスペクトル変換でフレーム間の不整合が生じるのを防止することができる。
【００４７】
本実施の形態における音響信号符号化装置１００は、上述の処理を行うために、図１に示すように、残差成分符号化部１３０の前に時系列保持部１５０を有した構成となっている。この時系列保持部１５０は、１／２フレーム毎の残差時系列信号を保持している。また、トーン成分符号化部１２０は、後述するように、パラメータ保持部２１１５，２２１７，２３１９を有し、前フレームにおける波形パラメータ及び抽出波形情報を出力する。
【００４８】
図１に示したトーン成分符号化部１２０は、具体的には、図３に示すような構成のものを挙げることができる。ここで、トーン成分抽出における周波数分析、トーン成分合成及び抽出において、Ｗｉｅｎｅｒの提案した一般調和解析を応用する。この手法は、分析ブロック内で残差エネルギが最小となる正弦波を元の時系列信号から抽出し、その残差信号に対して同様の操作を繰り返すという解析手法であり、分析窓の影響は受けず、周波数成分を１本ずつ時間領域で抽出することができる。また、周波数分解能を自由に設定することができ、高速フーリエ変換（Fast Fourier Transformation:FFT）やＭＤＣＴといった手法に比べ、より詳細な周波数分析が可能である。
【００４９】
図３に示すトーン成分符号化部２１００は、トーン成分抽出部２１１０と正規化・量子化部２１２０とを有する。このトーン成分抽出部２１１０及び正規化・量子化部２１２０は、図１に示すトーン成分抽出部１２１及び正規化・量子化部１２２と同様のものである。
【００５０】
ここで、トーン成分符号化部２１００において、純音分析部２１１１は、入力した音響時系列信号Sから残差信号のエネルギが最小となる純音成分を分析し、純音波形パラメータTPを純音合成部２１１２及びパラメータ保持部２１１５に供給する。
【００５１】
純音合成部２１１２は、純音分析部２１１１により分析された純音成分の純音波形時系列信号TSを合成し、減算器２１１３において純音合成部２１１２で合成された純音波形時系列信号TSが入力された音響時系列信号Sから抽出される。
【００５２】
終了条件判定部２１１４は、減算器２１１３における純音抽出によって得られた残差信号がトーン成分抽出の終了条件を満たすかどうかの判定を行い、終了条件を満たすようになるまで、残差信号を純音分析部２１１１の次の入力信号として純音抽出を繰り返すように切換を行う。この終了条件については、後述する。
【００５３】
パラメータ保持部２１１５は、現フレームにおける純音波形パラメータTPと前フレームにおける純音波形パラメータPrevTPとを保持し、前フレームにおける純音波形パラメータPrevTPを正規化・量子化部２１２０に供給する。また、現フレームにおける純音波形パラメータTPと前フレームにおける純音波形パラメータPrevTPとを抽出波形合成部２１１６に供給する。
【００５４】
抽出波形合成部２１１６は、現フレームにおける純音波形パラメータTPによる時系列信号と前フレームにおける純音波形パラメータPrevTPによる時系列信号とを例えば前述したハニング関数を用いて合成し、互いに重なり合った区間（オーバーラップ区間）におけるトーン成分時系列信号N-TSを生成する。減算器２１１７では、トーン成分時系列信号N-TSが入力された音響時系列信号Sから抽出され、互いに重なり合った区間における残差時系列信号RSが出力される。この残差時系列信号RSは、上述した図１における時系列保持部１５０に供給されて保持される。
【００５５】
正規化・量子化部２１２０は、パラメータ保持部２１１５から供給された前フレームにおける純音波形パラメータPrevTPを正規化及び量子化し、前フレームにおける量子化されたトーン成分パラメータPrevN-QTPを出力する。
【００５６】
ところで、上述の図３の構成では、トーン成分符号化において量子化誤差が発生する。そこで、以下の図４、図５に示すように、量子化誤差を残差時系列信号に含める構成をとるようにしても構わない。
【００５７】
量子化誤差を残差時系列信号に含める第１の構成として、図４に示すトーン成分符号化部２２００は、トーン信号の情報を正規化及び量子化する正規化・量子化部２２１２を、トーン成分抽出部２２１０の中に有する。
【００５８】
ここで、トーン成分符号化部２２００において、純音分析部２２１１は、入力した音響時系列信号Sから残差信号のエネルギが最小となる純音成分を分析し、純音波形パラメータTPを正規化・量子化部２２１２に供給する。
【００５９】
正規化・量子化部２２１２は、純音分析部２２１１から供給された純音波形パラメータTPを正規化及び量子化し、量子化された純音波形パラメータQTPを逆量子化・逆正規化部２２１３及びパラメータ保持部２２１７に供給する。
【００６０】
逆量子化・逆正規化部２２１３は、量子化された純音波形パラメータQTPを逆量子化及び逆正規化し、逆量子化された純音波形パラメータTP'を純音合成部２２１４及びパラメータ保持部２２１７に供給する。
【００６１】
純音合成部２２１４は、逆量子化された純音波形パラメータTP'に基づいて純音成分の純音波形時系列信号TSを合成し、減算器２２１５において純音合成部２２１４で合成された純音波形時系列信号TSが入力された音響時系列信号Sから抽出される。
【００６２】
終了条件判定部２２１６は、減算器２２１５における純音抽出によって得られた残差信号がトーン成分抽出の終了条件を満たすかどうかの判定を行い、終了条件を満たすようになるまで、残差信号を純音分析部２２１１の次の入力信号として純音抽出を繰り返すように切換を行う。
【００６３】
パラメータ保持部２２１７は、量子化された純音波形パラメータQTPと逆量子化された純音波形パラメータTP'とを保持し、前フレームにおける量子化されたトーン成分パラメータPrevN-QTPを出力する。また、逆量子化された現フレームにおける純音波形パラメータTP'と逆量子化された前フレームにおける純音波形パラメータPrevTP'とを抽出波形合成部２２１８に供給する。
【００６４】
抽出波形合成部２２１８は、逆量子化された現フレームにおける純音波形パラメータTP'による時系列信号と逆量子化された前フレームにおける純音波形パラメータPrevTP'による時系列信号とを、例えば前述したハニング関数を用いて合成し、互いに重なり合った区間（オーバーラップ区間）におけるトーン成分時系列信号N-TSを生成する。減算器２２１９では、トーン成分時系列信号N-TSが入力された音響時系列信号Sから抽出され、互いに重なり合った区間における残差時系列信号RSが出力される。この残差時系列信号RSは、上述した図１における時系列保持部１５０に供給されて保持される。
【００６５】
また、量子化誤差を残差時系列信号に含める第２の構成として、図５に示すトーン成分符号化部２３００においても同様に、トーン信号の情報を正規化及び量子化する正規化・量子化部２３１５を、トーン成分抽出部２３１０の中に有する。
【００６６】
ここで、トーン成分符号化部２３００において、純音分析部２３１１は、入力した音響時系列信号Sから残差信号のエネルギが最小となる純音成分を分析し、純音波形パラメータTPを純音合成部２３１２及び正規化・量子化部２３１５に供給する。
【００６７】
純音合成部２３１２は、純音分析部２３１１により分析された純音成分の純音波形時系列信号TSを合成し、減算器２３１３において純音合成部２３１２で合成された純音波形時系列信号TSが入力された音響時系列信号Sから抽出される。
【００６８】
終了条件判定部２３１４は、減算器２３１３における純音抽出によって得られた残差信号がトーン成分抽出の終了条件を満たすかどうかの判定を行い、終了条件を満たすようになるまで、残差信号を純音分析部２３１１の次の入力信号として純音抽出を繰り返すように切換を行う。
【００６９】
正規化・量子化部２３１５は、純音分析部２３１１から供給された純音波形パラメータTPを正規化及び量子化し、量子化された純音波形パラメータN-QTPを逆量子化・逆正規化部２３１６及びパラメータ保持部２３１９に供給する。
【００７０】
逆量子化・逆正規化部２３１６は、量子化された純音波形パラメータN-QTPを逆量子化及び逆正規化し、逆量子化された純音波形パラメータN-TP'をパラメータ保持部２３１９に供給する。
【００７１】
パラメータ保持部２３１９は、量子化された純音波形パラメータN-QTPと逆量子化された純音波形パラメータN-TP'とを保持し、前フレームにおける量子化されたトーン成分パラメータPrevN-QTPを出力する。また、逆量子化された現フレームにおける純音波形パラメータN-TP'と逆量子化された前フレームにおける純音波形パラメータPrevN-TP'とを抽出波形合成部２３１７に供給する。
【００７２】
抽出波形合成部２３１７は、逆量子化された現フレームにおける純音波形パラメータN-TP'による時系列信号と逆量子化された前フレームにおける純音波形パラメータPrevN-TP'による時系列信号とを、例えば前述したハニング関数を用いて合成し、互いに重なり合った区間におけるトーン成分時系列信号N-TSを生成する。減算器２３１８では、トーン成分時系列信号N-TSが入力された音響時系列信号Sから抽出され、互いに重なり合った区間における残差時系列信号RSが出力される。この残差時系列信号RSは、上述した図１における時系列保持部１５０に供給されて保持される。
【００７３】
ところで、図４の構成例の場合、振幅に対する正規化係数は、取り得る最大値以上の値で固定となる。例えば、音楽用のコンパクトディスク（ＣＤ）に記録されている音響時系列信号を入力信号とする場合は、９６ｄＢを正規化係数として量子化を行うこととなる。なお、正規化係数は、固定値であるため、符号列に含める必要はない。
【００７４】
これに対して、図３や図５の構成例の場合、例えば図６に示すように、抽出した複数の正弦波の最大振幅値を基準に正規化係数を決めることが可能である。すなわち、予め用意された複数の正規化係数の中から最適な正規化係数を選択し、全ての正弦波の振幅値をこの正規化係数により量子化する。このとき、量子化に用いた正規化係数を示す情報を符号列に含める。図３や図５の構成例の場合では、上述した図４の構成例の場合と比較して、正規化係数を示す情報の分だけビットが余分に必要になるが、より精度の高い量子化が可能となる。
【００７５】
次に、図１のトーン成分符号化部１２０が図５に示すような構成を有する場合における音響信号符号化装置１００の処理を、図７のフローチャートを用いて詳細に説明する。
【００７６】
先ずステップＳ１において、ある一定の分析区間（サンプル数）での音響時系列信号を入力する。
【００７７】
次にステップＳ２において、上記分析区間において、この入力時系列信号がトーン性であるか否かを判別する。判別手法としては、種々の方法が考えられるが、例えば入力時系列信号ｘ（ｔ）をＦＦＴなどによりスペクトル分析を行い、得られたスペクトルＸ（ｋ）の平均値ＡＶＥ（Ｘ（ｋ））と最大値Ｍａｘ（Ｘ（ｋ））とが以下の式（２）を満たすとき、すなわち、その比が予め設定した閾値ＴＨｔｏｎｅよりも大きいときは、トーン性信号であると判定する等の手法が考えられる。
【００７８】
【数２】
0004622164.tif 000003
【００７９】
ステップＳ２において、トーン性であると判別された場合は、ステップＳ３に進み、ノイズ性であると判別された場合は、ステップＳ１０に進む。
【００８０】
ステップＳ３では、入力された時系列信号から残差エネルギが最小となる周波数成分を求める。ここで、入力された時系列信号ｘ０（ｔ）から周波数ｆの純音波形を抽出したときの残差成分は、以下の式（３）に示すようになる。なお、式（３）においてＬは、分析区間の長さ（サンプル数）である。
【００８１】
また、数（３）において、Ｓｆ及びＣｆは、以下の式（４）、式（５）のように与えられる。
【００８２】
【数３】
0004622164.tif 000004
【００８３】
このとき、この残差エネルギＥｆは、以下の式（６）のように与えられる。
【００８４】
【数４】
0004622164.tif 000005
【００８５】
全ての周波数ｆに対して上述の分析を行い、残差エネルギＥｆが最小となる周波数ｆ１を求める。
【００８６】
続いてステップＳ４において、ステップＳ３で得られた周波数ｆ１の純音波形を以下の式（７）のように入力時系列信号ｘ０（ｔ）から抽出する。
【００８７】
【数５】
0004622164.tif 000006
【００８８】
ステップＳ５では、抽出終了条件を満たしたか否かが判別される。抽出終了条件とは、例えば、残差時系列信号がトーン性の信号でないこと、残差時系列信号のエネルギが入力時系列信号のエネルギよりもＸｄＢ下がったこと、或いは、純音を抽出することによる残差時系列信号の減少量が閾値以下になったこと等が挙げられる。
【００８９】
ステップＳ５において、抽出終了条件を満たしていない場合は、ステップＳ３に戻る。ここで、式（７）で得られた残差時系列信号が次の入力時系列信号ｘ１（ｔ）とされる。抽出終了条件を満たすまで、ステップＳ３からステップＳ５までの処理をＮ回繰り返す。ステップＳ５において、抽出終了条件を満たしている場合は、ステップＳ６に進む。
【００９０】
ステップＳ６では、得られたＮ個の純音情報、すなわちトーン成分情報N-TPの正規化及び量子化を行う。ここで純音情報とは、図８（Ａ）に示すような抽出した純音波形の周波数ｆｎ，振幅Ｓｆｎ，振幅Ｃｆｎや、図８（Ｂ）に示すような周波数ｆｎ，振幅Ａｆｎ，位相Ｐｆｎが考えられる。ここで、０≦ｎ＜Ｎである。また、周波数ｆｎ，振幅Ｓｆｎ，振幅Ｃｆｎ，振幅Ａｆｎ，位相Ｐｆｎは、以下の式（８）〜式（１０）に示す関係を有する。
【００９１】
【数６】
0004622164.tif 000007
【００９２】
次にステップＳ７において、量子化されたトーン成分情報N-QTPを逆量子化及び逆正規化し、トーン成分情報N-TP'を得る。このように、トーン成分情報を一旦正規化及び量子化した後に逆量子化及び逆正規化することにより、音響時系列信号の復号工程において、ここで抽出するトーン成分時系列信号と全く相違ない時系列信号を加算することが可能になる。
【００９３】
続いてステップＳ８において、前フレームにおけるトーン成分情報PrevN-TP'と現フレームにおけるトーン成分情報N-TP'とのそれぞれについて、以下の式（１１）のように、トーン成分時系列信号N-TSを生成する。
【００９４】
【数７】
0004622164.tif 000008
【００９５】
これらのトーン成分時系列信号N-TSが上述したように互いに重なり合った区間で合成され、互いに重なり合った区間におけるトーン成分時系列信号N-TSが得られる。
【００９６】
ステップＳ９では、以下の式（１２）のように、合成されたトーン成分時系列信号N-TSを入力された時系列信号Sから差し引き、１／２フレーム分の残差時系列信号RSを求める。
【００９７】
【数８】
0004622164.tif 000009
【００９８】
次にステップＳ１０では、この１／２フレーム分の残差時系列信号RS、或いはステップＳ２でノイズ性と判別された入力信号のうちの１／２フレーム分と既に保持されている１／２フレーム分の残差時系列信号RS、或いは１／２フレーム分の入力信号とによって現在符号化しようとする１フレームを構成し、これをＤＦＴやＭＤＣＴによりスペクトル変換する。続くステップＳ１１では、得られたスペクトル情報の正規化及び量子化を行う。
【００９９】
ここで、純音波形パラメータの情報量やその量子化精度などに従って、残差時系列信号のスペクトル情報の正規化及び量子化精度を適応的に変えることも考えられる。この場合、ステップＳ１２において、それぞれの量子化精度や量子化効率等の量子化情報QIの整合性が取れているかを判別する。純音波形パラメータの量子化精度が高すぎて、スペクトル情報に充分な量子化精度が確保できないなど、純音波形パラメータと残差時系列信号のスペクトル情報との量子化精度や量子化効率の整合性が取れていない場合は、ステップＳ１３において純音波形パラメータの量子化精度を変更し、ステップＳ６に戻る。ステップＳ１２において、それぞれの量子化精度や量子化効率の整合性が取れている場合は、ステップＳ１４に進む。
【０１００】
ステップＳ１４では、得られた純音波形パラメータ、及び残差時系列信号若しくはノイズ性と判別された入力信号のスペクトル情報に従って符号列を生成し、ステップＳ１５において、その符号列を出力する。
【０１０１】
本実施の形態における音響信号符号化装置は、以上のような処理を行うことにより、音響時系列信号から、トーン成分信号を予め抽出し、そのトーン成分と残差成分とに対し、それぞれ効率的な符号化を施すことが可能となる。
【０１０２】
なお、図７のフローチャートでは、トーン成分符号化部１２０が図５のような構成を有する場合の音響信号符号化装置１００の処理を説明したが、トーン成分符号化部１２０が図４のような構成を有する場合の音響信号符号化装置１００の処理は、図９のフローチャートに示すようになる。
【０１０３】
図９において、ステップＳ２１では、ある一定の分析区間（サンプル数）での時系列信号を入力する。
【０１０４】
次にステップＳ２２において、上記分析区間において、この入力時系列信号がトーン性であるか否かを判別する。この判別手法は、上述した図７における手法と同様である。
【０１０５】
ステップＳ２３では、入力された時系列信号から残差エネルギが最小となる周波数ｆ１を求める。
【０１０６】
続いてステップＳ２４では、純音波形パラメータTPの正規化及び量子化を行う。ここで純音波形パラメータとは、抽出した純音波形の周波数ｆ１，振幅Ｓｆ１，振幅Ｃｆ１や、周波数ｆ１，振幅Ａｆ１，位相Ｐｆ１が考えられる。
【０１０７】
次にステップＳ２５において、量子化された純音波形パラメータQTPを逆量子化及び逆正規化し、純音波形パラメータTP'を得る。
【０１０８】
続いてステップＳ２６において、純音波形パラメータTP'に従って、以下の式（１３）のように、抽出する純音波形時系列信号TSを生成する。
【０１０９】
【数９】
0004622164.tif 000010
【０１１０】
ステップＳ２７では、ステップＳ２３で得られた周波数ｆ１の純音波形を以下の式（１４）のように入力時系列信号ｘ０（ｔ）から抽出する。
【０１１１】
【数１０】
0004622164.tif 000011
【０１１２】
続くステップＳ２８では、抽出終了条件を満たしたか否かが判別される。ステップＳ２８において、抽出終了条件を満たしていない場合は、ステップＳ２３に戻る。ここで、式（１０）で得られた残差時系列信号が次の入力時系列信号ｘ１（ｔ）とされる。抽出終了条件を満たすまで、ステップＳ２３からステップＳ２８までの処理をＮ回繰り返す。ステップＳ２８において、抽出終了条件を満たしている場合は、ステップＳ２９に進む。
【０１１３】
ステップＳ２９では、前フレームにおける純音波形パラメータPrevTP'と現フレームにおける純音波形パラメータTP'とに従って、抽出する１／２フレーム分のトーン成分時系列信号N-TSを合成する。
【０１１４】
次にステップＳ３０では、合成されたトーン成分時系列信号N-TSを入力された時系列信号Sから差し引き、１／２フレーム分の残差時系列信号RSを求める。
【０１１５】
続いてステップＳ３１では、この１／２フレーム分の残差時系列信号RS、或いはステップＳ２２でノイズ性と判別された入力信号のうちの１／２フレーム分と既に保持されている１／２フレーム分の残差時系列信号RS、或いは１／２フレーム分の入力信号とによって１フレームを構成し、これをＤＦＴやＭＤＣＴによりスペクトル変換する。続くステップＳ３２では、得られたスペクトル情報の正規化及び量子化を行う。
【０１１６】
ここで、純音波形パラメータの情報量やその量子化精度などに従って、残差時系列信号のスペクトル情報の正規化及び量子化精度を適応的に変えることも考えられる。この場合、ステップＳ３３において、それぞれの量子化精度や量子化効率等の量子化情報QIの整合性が取れているかを判別する。純音波形パラメータの量子化精度が高すぎて、スペクトル情報に充分な量子化精度が確保できないなど、純音波形パラメータと残差時系列信号のスペクトル情報との量子化精度や量子化効率の整合性が取れていない場合は、ステップＳ３４において純音波形パラメータの量子化精度を変更し、ステップＳ２３に戻る。ステップＳ３３において、それぞれの量子化精度や量子化効率の整合性が取れている場合は、ステップＳ３５に進む。
【０１１７】
ステップＳ３５では、得られた純音波形パラメータ、及び残差時系列信号若しくはノイズ性と判別された入力信号のスペクトル情報に従って符号列を生成し、ステップＳ３６において、その符号列を出力する。
【０１１８】
次に、本実施の形態における音響信号復号化装置の構成を図１０に示す。図１０に示すように、音響信号復号化装置４００は、符号列分解部４１０と、トーン成分復号化部４２０と、残差成分復号化部４３０と、加算器４４０とを備える。
【０１１９】
符号列分解部４１０は、入力した符号列をトーン成分情報N-QTPと残差成分情報QNSとに分解する。
【０１２０】
トーン成分復号化部４２０は、トーン成分情報N-QTPに従ってトーン成分時系列信号N-TS'を生成するものであり、符号列分解部４１０で得られたトーン成分情報N-QTPを逆量子化及び逆正規化する逆量子化・逆正規化部４２１と、逆量子化・逆正規化部４２１で得られたトーン成分パラメータN-TP'に従ってトーン成分時系列信号N-TS'を合成し出力するトーン成分合成部４２２とを有する。
【０１２１】
残差成分復号化部４３０は、残差成分情報QNSに従って残差時系列信号RS'を生成するものであり、符号列分解部４１０で得られた残差成分情報QNSを逆量子化及び逆正規化する逆量子化・逆正規化部４３１と、逆量子化・逆正規化部４３１で得られたスペクトル情報NS'を逆スペクトル変換し残差時系列信号RS'を生成する逆スペクトル変換部４３２とを有する。
【０１２２】
加算器４４０は、トーン成分復号化部４２０の出力と残差成分復号化部４３０の出力とを合成し、復元信号S'を出力する。
【０１２３】
このように、本実施の形態における音響信号復号化装置４００は、入力した符号列をトーン成分情報と残差成分情報とに分解し、それぞれに応じた復号化処理を行う。
【０１２４】
トーン成分復号化部４２０は、具体的には図１１に示すような構成のものを挙げることができる。図１１に示すように、トーン成分復号化部５００は、逆量子化・逆正規化部５１０とトーン成分合成部５２０とを有する。この逆量子化・逆正規化部５１０及びトーン成分合成部５２０は、図１０に示す逆量子化・逆正規化部４２１及びトーン成分合成部４２２と同様のものである。
【０１２５】
ここで、トーン成分復号化部５００において、逆量子化・逆正規化部５１０は、入力されたトーン成分パラメータN-QTPを逆量子化及び逆正規化し、トーン成分パラメータN-TP'の各純音波形に対応する純音波形パラメータTP'0,TP'1,・・・,TP'Nをそれぞれ純音合成部５２１０，５２１１，・・・，５２１Ｎに供給する。
【０１２６】
純音合成部５２１０，５２１１，・・・，５２１Ｎは、逆量子化・逆正規化部５１０から供給された純音波形パラメータTP'0,TP'2,・・・,TP'Nに基づいて、それぞれ１本の純音波形TS'0,TS'1,・・・,TS'Nを合成して加算器５２２に供給する。
【０１２７】
加算器５２２では、純音合成部５２１０，５２１１，・・・，５２１Ｎから供給された純音波形TS'0,TS'1,・・・,TS'Nを合成し、トーン成分時系列信号N-TS'として出力する。
【０１２８】
次に、図１０のトーン成分復号化部４２０が図１１に示すような構成を有する場合における音響信号復号化装置４００の処理を、図１２のフローチャートを用いて詳細に説明する。
【０１２９】
先ずステップＳ４１において、上述した音響信号符号化装置１００において生成された符号列を入力し、次にステップＳ４２において、この符号化列をトーン成分情報と残差信号情報とに分解する。
【０１３０】
続いてステップＳ４３では、分解された符号列にトーン成分パラメータが存在するか否かを判別する。トーン成分パラメータが存在する場合は、ステップＳ４４に進み、トーン成分パラメータが存在しない場合は、ステップＳ４６に進む。
【０１３１】
ステップＳ４４では、トーン成分の各パラメータを逆量子化及び逆正規化し、トーン成分信号の各パラメータを得る。
【０１３２】
続くステップＳ４５では、ステップＳ４４で得られた各パラメータに従い、トーン成分波形を合成し、トーン成分時系列信号を生成する。
【０１３３】
次にステップＳ４６では、ステップＳ４２で得た残差信号情報を逆量子化及び逆正規化し、残差時系列信号のスペクトルを得る。
【０１３４】
続くステップＳ４７では、ステップＳ４６で得られたスペクトル情報を逆スペクトル変換し、残差成分時系列信号を生成する。
【０１３５】
ステップＳ４８では、ステップＳ４５で生成されたトーン成分時系列信号とステップＳ４７で生成された残差成分時系列信号とを時系列上で加算して復元時系列信号を生成し、ステップＳ４９において、その復元時系列信号が出力される。
【０１３６】
本実施の形態における音響信号復号化装置４００は、以上のような処理を行うことにより入力された音響時系列信号を復元する。
【０１３７】
なお、図１２では、ステップＳ４３において、分解された符号列にトーン成分パラメータが存在するか否かを判別するようにしたが、判別を行わずに、直接ステップＳ４４に進むようにしても構わない。この場合、トーン成分パラメータが存在しなければ、ステップＳ４８において、トーン成分時系列信号として０が合成される。
【０１３８】
ここで、図１に示した残差成分符号化部１３０は、図１３に示すような構成のものに置き換えることも考えられる。図１３に示すように、残差成分符号化部７１００は、残差時系列信号RSをスペクトル情報RSPに変換するスペクトル変換部７１０１と、スペクトル変換部７１０１で得たスペクトル情報RSPを正規化し、正規化情報Nを出力する正規化部７１０２とを有する。つまり、残差成分符号化部７１００では、スペクトル情報の正規化のみを行って量子化を行わず、正規化情報Nのみを復号化側に出力する。
【０１３９】
このとき、復号化側は、図１４に示すような構成になる。すなわち、図１４に示すように、残差成分復号化部７２００は、適当な乱数分布の乱数によって擬似スペクトル情報GSPを生成する乱数発生部７２０１と、正規化情報に従って上記乱数発生部７２０１で生成された擬似スペクトル情報GSPを逆正規化する逆正規化部７２０２と、上記逆正規化部７２０２で逆正規化された擬似スペクトル情報RSP'を擬似的なスペクトル情報とみなし、これを逆スペクトル変換し擬似的な残差時系列信号RS'を生成する逆スペクトル変換部７２０３とを有する。
【０１４０】
ここで、乱数発生部７２０１においては、乱数を発生する際、その乱数分布を、一般的な音響信号やノイズ性信号をスペクトル変換し正規化した際の情報の分布に近いものにする。また、さらに、複数の乱数分布を用意しておき、符号化時にどの分布が最適かを分析して最適な分布のＩＤ情報を符号列に含め、復号化時に参照されたＩＤ情報の乱数分布を用いて乱数を発生させることで、より近似的な残差時系列信号を生成することが可能である。
【０１４１】
以上説明したように、本実施の形態では、音響信号符号化装置においてトーン成分信号を予め抽出し、そのトーン成分と残差成分に対してそれぞれ効率的な符号化を施すことが可能となり、音響信号復号化装置において、符号化された符号列を符号化側に対応する方法により復号することができる。
【０１４２】
なお、本発明は上述した実施の形態のみに限定されるものではなく、音響信号符号化装置及び音響信号復号化装置の第２の構成例として、例えば図１５に示すように、符号化効率を上げるために、音響時系列信号を複数の周波数帯域に分割し、それぞれの帯域に対し各処理を行って符号化し、復号化した後に周波数帯域を合成するようにする構成も考えられる。以下、簡単に説明する。
【０１４３】
図１５において、音響信号符号化装置８１０は、入力時系列信号を複数の周波数帯域に帯域分割する帯域分割フィルタ部８１１と、複数の周波数帯域に帯域分割された入力信号から、それぞれのトーン成分情報と残差成分情報とを得る帯域信号符号化部８１２，８１３，８１４と、各帯域のトーン成分情報及び／又は残差成分情報から符号列を生成する符号列生成部８１５とを有する。
【０１４４】
ここで、帯域信号符号化部８１２，８１３，８１４は、上述したトーン・ノイズ判定部、トーン成分符号化部、及び残差成分符号化部で構成されるが、トーン成分があまり存在しないことが多い高周波数帯域においては、帯域信号符号化部８１４に示すように残差成分符号化部のみで構成するようにしてもよい。
【０１４５】
また、音響信号復号化装置８２０は、上記音響信号符号化装置８１０で生成された符号列を入力し、複数の周波数帯域のトーン成分情報及び残差成分情報に分解する符号列分解部８２１と、帯域毎に分解されたトーン成分情報と残差成分情報から、それぞれの帯域における時系列信号を生成する帯域信号復号化部８２２，８２３，８２４と、上記帯域信号復号化部８２２，８２３，８２４で生成された各帯域の復元信号を帯域合成する帯域合成フィルタ部８２５とを有する。
【０１４６】
ここで、帯域信号復号化部８２２，８２３，８２４は、上述したトーン成分復号化部、残差成分復号化部、及び加算器で構成されるが、符号化側と同様に、トーン成分があまり存在しないことが多い高周波数帯域においては、残差成分復号化部のみで構成するようにしてもよい。
【０１４７】
また、音響信号符号化装置及び音響信号復号化装置の第３の構成例として、例えば図１６に示すように、複数の符号化方式による符号化効率を比較し、符号化効率のよい符号化方式による符号列を選択するようにする構成も考えられる。以下、簡単に説明する。
【０１４８】
図１６において、音響信号符号化装置９００は、入力時系列信号を第１の符号化方式で符号化する第１の符号化部９０１と、入力時系列信号を第２の符号化方式で符号化する第２の符号化部９０５と、第１の符号化方式と第２の符号化方式との符号化効率を判定する符号化効率判定部９０９とを備える。
【０１４９】
ここで、第１の符号化部９０１は、入力時系列信号のトーン成分を符号化するトーン成分符号化部９０２と、上記トーン成分符号化部９０２から出力された残差時系列信号を符号化する残差成分符号化部９０３と、上記トーン成分符号化部９０２と残差成分符号化部９０３とで得られたトーン成分情報及び残差成分情報から符号列を生成する符号列生成部９０４とを有する。
【０１５０】
また、第２の符号化部９０５は、入力時系列信号をスペクトル情報に変換するスペクトル変換部９０６と、上記スペクトル変換部９０６で得られたスペクトル情報を正規化及び量子化する正規化・量子化部９０７と、上記正規化・量子化部９０７で得られた量子化されたスペクトル情報から符号列を生成する符号列生成部９０８とを有する。
【０１５１】
符号化効率判定部９０９は、符号列生成部９０４と符号列生成部９０８において生成された符号列の符号化情報CIを入力する。これにより、第１の符号化部９０１の符号化効率と第２の符号化部９０５との符号化効率を比較して実際に出力する符号列を選択し、切替器９１０を制御する。切替器９１０は、符号化効率判定部９０９から供給された切替符号Fに従って出力する符号列を切り替える。また、切替器９１０は、第１の符号化部９０１の符号列を選択した場合には、符号列が後述する第１の復号化部９２１に供給されるように切替え、第２の符号化部９０５の符号列を選択した場合には、符号列が後述する第２の復号化部９２６に供給されるように切替える。
【０１５２】
一方、音響信号復号化装置９２０は、入力された符号列を第１の復号化方式で復号化する第１の復号化部９２１と、入力時系列信号を第２の復号化方式で復号化する第２の復号化部９２６とを備える。
【０１５３】
ここで、第１の復号化部９２１は、入力された符号列をトーン成分情報及び残差成分情報に分解する符号分解部９２２と、上記符号分解部９２２で得られたトーン成分情報からトーン成分時系列信号を生成するトーン成分復号化部９２３と、上記符号分解部９２２で得られた残差成分情報から残差成分時系列信号を生成する残差成分復号化部９２４と、上記トーン成分復号化部９２３及び残差成分復号化部９２４で生成されたトーン成分時系列信号及び残差成分時系列信号を合成する加算器９２５とを有する。
【０１５４】
また、第２の復号化部９２６は、入力された符号列から量子化されたスペクトル情報を得る符号分解部９２７と、上記符号分解部９２７で得られた量子化されたスペクトル情報を逆量子化及び逆正規化する逆量子化・逆正規化部９２８と、上記逆量子化・逆正規化部９２８で得られたスペクトル情報を逆スペクトル変換し時系列信号を得る逆スペクトル変換部９２９とを有する。
【０１５５】
すなわち、音響信号復号化装置９２０では、音響信号符号化装置９００で選択された符号化方式に対応する復号化方式で、入力した符号列が復号化される。
【０１５６】
以上、第２の構成例、第３の構成例として示した以外にも、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１５７】
例えば、上述の説明では、主としてＭＤＣＴを用いてスペクトル変換を行ったが、これに限定されるものではなく、ＦＦＴ、ＤＦＴ、ＤＣＴ等であっても構わない。また、フレーム間のオーバーラップも、１／２フレームに限定されるものではない。
【０１５８】
また、上述の説明では、ハードウェアとして構成したが、上述した符号化方法及び復号化方法に従ったプログラムが記録された記録媒体を提供することも可能である。さらには、これにより得られる符号列や、符号列を復号化した信号が記録された記録媒体を提供することも可能である。
【０１５９】
【発明の効果】
以上詳細に説明したように、本発明に係る音響信号符号化方法は、音響時系列信号を符号化する音響信号符号化方法において、上記音響時系列信号からトーン成分信号を抽出して符号化するトーン成分符号化工程と、上記トーン成分符号化工程にて、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程とを有することを特徴としている。
また、本発明に係る音響信号符号化方法は、音響時系列信号を符号化する音響信号符号化方法において、上記音響時系列信号からトーン成分信号を抽出して符号化するトーン成分符号化工程と、上記トーン成分符号化工程にて、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程と有し、上記音響時系列信号を符号化する際の符号化単位が時間軸上でオーバーラップする場合に、当該オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られる上記トーン成分信号と時間的に後の符号化単位で得られる上記トーン成分信号とを合成した信号を上記音響時系列信号から抽出することで、上記残差時系列信号を得ることを特徴としている。
【０１６０】
このような音響信号符号化方法では、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化する。
【０１６１】
これにより、局所的周波数に発生しているトーン成分によりスペクトルが拡散し、符号化効率が悪化するのを抑制することができる。
【０１６２】
また、本発明に係る音響信号復号化方法は、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化方法であって、上記符号列を分解する符号列分解工程と、上記符号列分解工程で得られたトーン成分情報に従って、トーン成分時系列信号を復号化するトーン成分復号化工程と、上記符号列分解工程で得られた残差成分情報に従って、残差成分時系列信号を復号化する残差成分復号化工程と、上記トーン成分復号化工程で得られたトーン成分時系列信号と残差成分復号化工程で得られた残差成分時系列信号とを加算して上記音響時系列信号を復元する加算工程とを有することを特徴としている。
また、本発明に係る音響信号復号化方法は、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化方法であって、上記符号列を分解する符号列分解工程と、上記符号列分解工程で得られたトーン成分情報に従って、トーン成分時系列信号を復号化するトーン成分復号化工程と、上記符号列分解工程で得られた残差成分情報に従って、残差成分時系列信号を復号化する残差成分復号化工程と、上記トーン成分復号化工程で得られたトーン成分時系列信号と残差成分復号化工程で得られた残差成分時系列信号とを加算して上記音響時系列信号を復元する加算工程とを有し、上記音響時系列信号の符号化単位が時間軸上でオーバーラップする場合に、当該オーバーラップ部分において、当該オーバーラップ部分を含む時間的に前の符号化単位で得られた上記トーン成分信号と時間的に後の符号化単位で得られた上記トーン成分信号とを合成して上記トーン成分時系列信号を生成することを特徴としている。
【０１６３】
このような音響信号復号化方法では、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化してなる符号列を復号化し、音響時系列信号を復元する。
【０１６４】
これにより、局所的周波数に発生しているトーン成分によりスペクトルが拡散して符号化効率が悪化するのを抑制された符号列を復号化することができる。
【０１６５】
また、本発明に係る音響信号符号化方法は、音響時系列信号を符号化する音響信号符号化方法において、上記音響時系列信号を複数の周波数帯域に分割する周波数帯域分割工程と、少なくとも１つの周波数帯域の上記音響時系列信号からトーン成分信号を抽出して符号化するトーン成分符号化工程と、上記トーン成分符号化工程にて、少なくとも１つの周波数帯域の上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化する残差成分符号化工程とを有することを特徴としている。
【０１６６】
このような音響信号符号化方法では、複数の周波数帯域に分割された音響時系列信号の少なくとも１つの周波数帯域に対して、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化する。
【０１６７】
これにより、局所的周波数に発生しているトーン成分によりスペクトルが拡散し、符号化効率が悪化するのを抑制することができる。
【０１６８】
また、本発明に係る音響信号復号化方法は、音響時系列信号が複数の周波数帯域に分割され、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化方法であって、上記符号列を分解する符号列分解工程と、上記少なくとも１つの周波数帯域に対して、上記符号列分解工程で得られたトーン成分情報に従ってトーン成分時系列信号を合成するトーン成分復号化工程と、上記少なくとも１つの周波数帯域に対して、上記符号列分解工程で得られた残差成分情報に従って残差成分時系列信号を生成する残差成分復号化工程と、上記トーン成分復号化工程で得られたトーン成分時系列信号と上記残差成分符号化工程で得られた残差成分時系列信号とを加算合成して復号化信号を得る加算工程と、各帯域に対する復号化信号を帯域合成して上記音響時系列信号を復元する帯域合成工程とを有することを特徴としている。
【０１６９】
このような音響信号復号化方法では、複数の周波数帯域に分割された音響時系列信号の少なくとも１つの周波数帯域に対して、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化してなる符号列を復号化し、音響時系列信号を復元する。
【０１７０】
これにより、局所的周波数に発生しているトーン成分によりスペクトルが拡散して符号化効率が悪化するのを抑制された符号列を復号化することができる。
【０１７７】
また、本発明に係る音響信号符号化装置は、音響時系列信号を符号化する音響信号符号化装置において、上記時系列信号からトーン成分信号を抽出して符号化するトーン成分符号化手段と、上記トーン成分符号化手段によって上記音響時系列信号から上記トーン成分信号が抽出された残差時系列信号を符号化する残差成分符号化手段とを備えることを特徴としている。
【０１７８】
このような音響信号符号化装置は、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化する。
【０１７９】
これにより、局所的周波数に発生しているトーン成分によりスペクトルが拡散し、符号化効率が悪化するのを抑制することができる。
【０１８０】
また、本発明に係る音響信号復号化装置は、所定の符号化が施された符号列を入力し、当該符号列を復号化する音響信号復号化装置であって、上記符号列を分解する符号列分解手段と、上記符号列分解手段によって得られたトーン成分情報に従って、トーン成分時系列信号を復号化するトーン成分復号化手段と、上記符号列分解手段によって得られた残差成分情報に従って、残差成分時系列信号を復号化する残差成分復号化手段と、上記トーン成分復号化手段によって得られたトーン成分時系列信号と残差成分復号化手段によって得られた残差成分時系列信号とを加算して上記音響時系列信号を復元する加算手段とを備えることを特徴としている。
【０１８１】
このような音響信号復号化装置は、音響時系列信号からトーン成分信号を抽出し、そのトーン成分信号と音響時系列信号からトーン成分信号を抽出した残差時系列信号とを符号化してなる符号列を復号化し、音響時系列信号を復元する。
【０１８２】
これにより、局所的周波数に発生しているトーン成分によりスペクトルが拡散して符号化効率が悪化するのを抑制された符号列を復号化することができる。
【０１８９】
また、本発明に係る記録媒体には、音響時系列信号からトーン成分信号を抽出し、当該トーン成分信号を符号化し、さらに、上記音響時系列信号から上記トーン成分信号を抽出した残差時系列信号を符号化してなる符号列が記録されている。
【０１９０】
すなわち、このような記録媒体には、局所的周波数に発生しているトーン成分によりスペクトルが拡散して符号化効率が悪化するのを抑制された符号列が記録されている。
【図面の簡単な説明】
【図１】本実施の形態における音響信号符号化装置の構成を説明する図である。
【図２】抽出時系列信号を前後のフレームと滑らかに繋ぐ方法を説明する図であり、同図（Ａ）は、ＭＤＣＴにおけるフレームを示し、同図（Ｂ）は、トーン成分を抽出する区間を示し、同図（Ｃ）は、前後のフレームとの合成に用いる窓関数を示す。
【図３】同音響信号符号化装置のトーン成分符号化部の構成を説明する図である。
【図４】量子化誤差を残差時系列信号に含めるトーン成分符号化部の第１の構成を説明する図である。
【図５】量子化誤差を残差時系列信号に含めるトーン成分符号化部の第１の構成を説明する図である。
【図６】抽出した複数の正弦波の最大振幅値を基準に正規化係数を決める例を説明する図である。
【図７】図５のトーン成分符号化部を有する音響信号符号化装置の一連の動作を示すフローチャートである。
【図８】純音波形のパラメータを説明する図であり、同図（Ａ）は、周波数と正弦波及び余弦波の振幅とを用いる例を示し、同図（Ｂ）は、周波数、振幅及び位相を用いる例を示す。
【図９】図４のトーン成分符号化部を有する音響信号符号化装置の一連の動作を示すフローチャートである。
【図１０】本実施の形態における音響信号復号化装置の構成を説明する図である。
【図１１】同音響信号復号化装置のトーン成分復号化部の構成を説明する図である。
【図１２】同音響信号復号化装置の一連の動作を説明するフローチャートである。
【図１３】同音響信号符号化装置の残差成分符号化部の他の構成例を説明する図である。
【図１４】図１３の残差信号符号化部に対応する残差信号復号化部の構成例を説明する図である。
【図１５】同音響信号符号化装置及び同音響信号復号化装置の第２の構成例を説明する図である。
【図１６】同音響信号符号化装置及び同音響信号復号化装置の第３の構成例を説明する図である。
【図１７】従来のトーン性成分の抽出手法を説明する図であり、同図（Ａ）は、トーン性成分を除く前のスペクトルを示し、同図（Ｂ）は、トーン性成分を除いた後のノイズ性成分のスペクトルを示す。
【符号の説明】
１００  音響信号符号化装置、１１０  トーン・ノイズ判定部、１２０  トーン成分符号化部、１２１  トーン成分抽出部、１２２  正規化・量子化部、１３０  残差成分符号化部、１３１  スペクトル変換部、１３２  正規化・量子化部、１４０  符号列生成部、１５０  時系列保持部、４００  音響信号復号化装置、４１０  符号分解部、４２０  トーン成分復号化部、４２１  逆量子化・逆正規化部、４２２  トーン成分合成部、４３０  残差成分復号化部、４３１  逆量子化・逆正規化部、４３２  逆スペクトル変換部、４４０  加算器、５００  トーン成分復号化部、５１０  逆量子化・逆正規化部、５２０  トーン成分合成部、５２１０，・・・５２１Ｎ  純音合成部、５２２  加算器、２１００，２２００，２３００  トーン成分符号化部、２１１０，２２１０，２３１０  トーン成分抽出部、２１１１，２２１１，２３１１  純音分析部、２１１２，２２１４，２３１２  純音合成部、２１１４，２２１６，２３１４  終了条件判定部、２１１５，２２１７，２３１９  パラメータ保持部、２１１６，２２１８，２３１７抽出波形合成部、２２１２，２３１５  正規化・量子化部、２２１３，２３１６  逆量子化・逆正規化部
【図１】
0004622164.tif 000012
【図２】
0004622164.tif 000013
【図３】
0004622164.tif 000014
【図４】
0004622164.tif 000015
【図５】
0004622164.tif 000016
【図６】
0004622164.tif 000017
【図７】
0004622164.tif 000018
【図８】
0004622164.tif 000019
【図９】
0004622164.tif 000020
【図１０】
0004622164.tif 000021
【図１１】
0004622164.tif 000022
【図１２】
0004622164.tif 000023
【図１３】
0004622164.tif 000024
【図１４】
0004622164.tif 000025
【図１５】
0004622164.tif 000026
【図１６】
0004622164.tif 000027
【図１７】
0004622164.tif 000028