(57)【要約】  各レイヤのコア符号化器及びコア復号器を入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することにより、精度の高い符号化を行うことができる音声符号化装置。この音声符号化装置（１００）は、下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する。また、この音声符号化装置（１００）では、コア符号化器（１０２）は、音声信号を符号化して符号を生成する。コア復号器（１０４）は、コア符号化器（１０２）で生成された符号を復号して復号信号を生成する。加算部（１０６）は、音声信号とコア復号器（１０４）で生成された復号信号との符号化残差を検出する。補助分析部（１０７）は、復号信号を入力して分析処理及び修正処理を行い、下位層のレイヤ情報を生成する。拡張符号化器（１０８）は、音声信号と下位層のレイヤ情報とを用いて符号化残差を符号化する。
2010103854.tif 000002
【特許請求の範囲】
【請求項１】
下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化装置であって、
前記音声信号を符号化して符号を生成する第１の符号化手段と、
前記符号を復号して復号信号を生成する復号手段と、
前記音声信号と前記復号信号との符号化残差を検出する検出手段と、
前記復号信号を入力し、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成する分析手段と、
前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化する第２の符号化手段と、
を具備する音声符号化装置。
【請求項２】
前記分析手段は、先読み区間を含まない窓関数を用いた前記分析処理を行う、
請求項１記載の音声符号化装置。
【請求項３】
前記分析手段は、前記復号信号に対して前記分析処理を行うことにより下位層に関するパラメータを生成し、前記下位層に関するパラメータに対して、前記音声信号から前記復号信号に至るまでの特性の変化に基づく前記修正処理を行うことにより前記下位層のレイヤ情報を生成する、
請求項１記載の音声符号化装置。
【請求項４】
前記分析手段は、前記復号信号に対して、前記音声信号から前記復号信号に至るまでの特性の変化に基づく前記修正処理を行うことにより修正復号信号を生成し、前記修正復号信号に対して前記分析処理を行うことにより前記下位層のレイヤ情報を生成する、
請求項１記載の音声符号化装置。
【請求項５】
音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を入力して復号する音声復号装置であって、
前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成する第１の復号手段と、
前記第１の復号信号を入力し、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成する分析手段と、
前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成する第２の復号手段と、
を具備する音声復号装置。
【請求項６】
下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化方法であって、
前記音声信号を符号化して符号を生成するステップと、
前記符号を復号して復号信号を生成するステップと、
前記音声信号と前記復号信号との符号化残差を検出するステップと、
前記復号信号に関して、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成するステップと、
前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化するステップと、
を具備する音声符号化方法。
【請求項７】
音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を復号する音声復号方法であって、
前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成するステップと、
前記第１の復号信号に関して、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成するステップと、
前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成するステップと、
を具備する音声復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法に関する。
【背景技術】
【０００２】
移動体通信においては伝送帯域の有効利用のために音声または画像のディジタル情報の圧縮符号化が必須である。その中でも携帯電話で広く利用されている音声コーデック（符号化／復号化）技術に対する期待は大きく、圧縮率の高い従来の高効率符号化に更によりよい音質の要求が強まっている。【０００３】
近年、多層構造を持つスケーラブルコーデックは、より効率的で高品質の音声コーデックとしてＩＰ（Internet Protocol）通信網に用いられ、ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector）やＭＰＥＧ（Moving Picture Experts Group）で標準化が検討されている。【０００４】
２０年前に確立された音声の発声機構をモデル化してベクトル量子化を応用した基本方式であるＣＥＬＰ（Code Excited Linear Prediction）によって大きく性能を向上させた音声符号化技術や、オーディオ符号化で用いられてきた変換符号化技術（ＭＰＥＧ標準ＡＣＣやＭＰ３等）により音声・楽音符号化技術は大きく前進し、高品質の通信や音楽鑑賞が可能になった。さらに近年はオールＩＰ化、シームレス化またはブロードバンド化を睨み、音声からオーディオまでをカバーするようなスケーラブルコーデックの開発や標準化（ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３）も進んでいる。このコーデックは、カバーする周波数帯域が階層的になっており、下位層の量子化誤差を上位層で符号化するコーデックである。【０００５】
特許文献１には、下位層の量子化誤差を上位層で符号化する階層型符号化の方法、及びサンプリング変換を用いて下位から上位に向かってより広い周波数帯域の符号化を行っていく方法について開示されている。【０００６】
ここで、スケーラブルコーデックでは、コアコーデックの上に拡張レイヤが複数準備されており、下位層（下位レイヤ）の符号化歪みを上位層（上位レイヤ）で符号化して伝送するという構成が一般的である。この際、各層に入力される信号に相関があるために、下位層からの符号化情報を用いて、上位層で効率よく符号化することは符号化の精度向上に有効である。なお、この場合、復号器でも下位層の符号化情報を用いて上位層で復号化する。【０００７】
特許文献２には、ＣＥＬＰを基本方式とする各レイヤで下位層の様々な符号化情報を利用する方法について開示されている。また、特許文献２には、コアと拡張の２階層を有し、拡張レイヤでは差分信号を符号化するマルチステージ型であり、音声の周波数帯域が変わる周波数スケーラブルであるという特徴を持つスケーラブルコーデックが開示されている。特許文献２の符号化装置において、性能に大きく貢献するのが、ブロック１５からブロック１７へ送られる下位層レイヤ情報である。この情報によって拡張符号化器ではより精度の高い符号化が出来る。【０００８】
また、符号化アルゴリズムは年々進歩しており、より符号化精度の良いコーデックが次々と開発される可能性があり、また事業化の観点から費用の安いコーデックを使用するというニーズが産まれてくる可能性がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平８−２６３０９６号公報
【特許文献２】特開２００６−７２０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の装置においては、各レイヤのコア符号化器及びコア復号器を入れ替えた場合、拡張符号化器は、入れ替える前のコア復号器から受け取る下位層レイヤ情報を前提に開発されているので、拡張符号化器における符号化ができなくなるという問題がある。【００１１】
本発明はかかる点に鑑みてなされたものであり、各レイヤのコア符号化器及びコア復号器を異なるコア符号化器及びコア復号器にそれぞれ入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の音声符号化装置は、下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化装置であって、前記音声信号を符号化して符号を生成する第１の符号化手段と、前記符号を復号して復号信号を生成する復号手段と、前記音声信号と前記復号信号との符号化残差を検出する検出手段と、前記復号信号を入力し、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成する分析手段と、前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化する第２の符号化手段と、を具備する構成を採る。【００１３】
本発明の音声復号装置は、音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を入力して復号する音声復号装置であって、前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成する第１の復号手段と、前記第１の復号信号を入力し、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成する分析手段と、前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成する第２の復号手段と、を具備する構成を採る。【００１４】
本発明の音声符号化方法は、下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化方法であって、前記音声信号を符号化して符号を生成するステップと、前記符号を復号して復号信号を生成するステップと、前記音声信号と前記復号信号との符号化残差を検出するステップと、前記復号信号に関して、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成するステップと、前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化するステップと、を具備するようにした。【００１５】
本発明の音声復号方法は、音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を復号する音声復号方法であって、前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成するステップと、前記第１の復号信号に関して、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成するステップと、前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成するステップと、を具備するようにした。
【発明の効果】
【００１６】
本発明によれば、各レイヤのコア符号化器及びコア復号器を異なるコア符号化器及びコア復号器にそれぞれ入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１に係る音声符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る補助分析部の構成を示すブロック図
【図３】本発明の実施の形態１に係る音声復号装置の構成を示すブロック図
【図４】先読み区間を用いた分析窓を示す図
【図５】本発明の実施の形態１に係る分析窓を示す図
【図６】特許文献２のコア符号化器の構成を示すブロック図
【図７】本発明の実施の形態２に係る補助分析部の構成を示すブロック図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る音声符号化装置１００の構成を示すブロック図である。
【００２０】
音声符号化装置１００は、周波数調整部１０１と、コア符号化器１０２と、コア復号器１０４と、周波数調整部１０５と、加算部１０６と、補助分析部１０７と、拡張符号化器１０８とから主に構成される。以下に、各構成について、詳細に説明する。
【００２１】
周波数調整部１０１は、入力した音声信号をダウンサンプリングし、得られる音声信号（狭帯域音声信号）をコア符号化器１０２へ出力する。ダウンサンプリングの方法は様々あり、低域透過（Low-pass）フィルタを通過させて間引く方法が一例としてあげられる。例えば、１６ｋＨｚサンプリングの入力音声を８ｋＨｚサンプリングに変換する場合は、４ｋＨｚ（８ｋＨｚサンプリングのナイキスト周波数）以上の周波数成分が極小さくなるような低域透過フィルタを掛ける。そして、周波数調整部１０１は、その後１つ置きに信号をピックアップして（２つに１つを間引いたことになる）メモリに格納することにより８ｋＨｚサンプリングの信号が得られる。
【００２２】
コア符号化器１０２は、後述するコア復号器１０４と共に、それぞれ異なるコア符号化器及びコア復号器に適宜置き換え可能であり、周波数調整部１０１から入力した音声信号を符号化し、得られた符号を伝送路１０３とコア復号器１０４へ出力する。
【００２３】
伝送路１０３は、コア符号化器１０２にて得られた符号及び拡張符号化器１０８にて得られた符号を後述する音声復号装置に伝送する。
【００２４】
コア復号器１０４は、コア符号化器１０２と共に適宜置き換え可能であり、コア符号化器１０２から入力した符号を用いて復号を行うことにより復号化信号を得る。そして、コア復号器１０４は、得られた復号化信号を周波数調整部１０５及び補助分析部１０７へ出力する。
【００２５】
周波数調整部１０５は、コア復号器１０４から入力した復号化信号に対して、周波数調整部１０１に入力する音声信号のサンプリングレートにまでアップサンプリングを行い、加算部１０６へ出力する。アップサンプリングの方法は様々あり、サンプルの間に０を挿入してサンプル数を増やし、低域透過(Low-pass)フィルタによって周波数成分を調整してから、パワーを調整するという方法が一例として挙げられる。
【００２６】
加算部１０６は、周波数調整部１０５から入力した復号化信号の極性を反転して、周波数調整部１０１に入力する音声信号と加算することにより、符号化残差を得る。すなわち、加算部１０６は、周波数調整部１０１に入力する音声信号から復号化信号を減ずる。そして、加算部１０６は、この処理で得られた符号化残差を拡張符号化器１０８へ出力する。
【００２７】
補助分析部１０７は、コア復号器１０４から入力した復号化音声信号に対して分析を行い、下位層のレイヤ情報を得る。そして、補助分析部１０７は、得られた下位層のレイヤ情報を拡張符号化器１０８へ出力する。ここで、下位層のレイヤ情報は、ＬＰＣ分析して得られたＬＰＣパラメータを符号化し、更に符号化したＬＰＣパラメータを復号することによって得られる復号化ＬＰＣ（Linear Prediction Coefficient）パラメータである。復号化ＬＰＣパラメータは、音声信号の低域スペクトルの概形を示すものであり、拡張符号化器１０８において低域のスペクトルに残留するスペクトルを予測するのに有効なパラメータである。ただし、実際に符号化と復号を行うと計算量が多くなる上に符号を伝送する必要もあり、コストの増大を招く。従って、本実施の形態においては、補助分析部１０７は、コア復号器１０４により得られた復号音声信号に対してＬＰＣ分析を行って得られたＬＰＣパラメータを、復号化ＬＰＣパラメータに近似したものとして出力する。なお、補助分析部１０７の構成の詳細については後述する。
【００２８】
拡張符号化器１０８は、音声符号化装置１００に入力した音声信号と、加算部１０６において得られた符号化残差と、補助分析部１０７において得られた下位層のレイヤ情報とを入力する。そして、拡張符号化器１０８は、音声信号から得られる情報と下位層のレイヤ情報とを利用して符号化残差の効率的な符号化を行い、得られた符号を伝送路１０３へ出力する。
【００２９】
次に、補助分析部１０７の構成について、図２を用いて説明する。図２は、補助分析部１０７の構成を示すブロック図である。なお、図２の説明においては、下位層のレイヤ情報をＬＰＣパラメータとする。
【００３０】
補助分析部１０７は、修正パラメータ格納部２０１と、ＬＰＣ分析部２０２と、修正処理部２０３とから主に構成される。
【００３１】
修正パラメータ格納部２０１は、修正用のパラメータを格納する。なお、修正用のパラメータの設定方法については後述する。
【００３２】
ＬＰＣ分析部２０２は、コア復号器１０４から入力した復号化音声信号に対してＬＰＣ分析を行い、ＬＰＣパラメータを得る。そして、ＬＰＣ分析部２０２は、ＬＰＣパラメータを修正処理部２０３へ出力する。
【００３３】
修正処理部２０３は、修正パラメータ格納部２０１に格納している修正用のパラメータを読み出し、読み出したパラメータを用いて、ＬＰＣ分析部２０２から入力したＬＰＣパラメータの修正を行う。そして、修正処理部２０３は、修正したＬＰＣパラメータを復号化ＬＰＣパラメータとして拡張符号化器１０８へ出力する。
【００３４】
以上で、音声符号化装置１００の構成の説明を終える。
【００３５】
次に、音声復号装置３００の構成について、図３を用いて説明する。図３は、音声復号装置３００の構成を示すブロック図である。
【００３６】
音声復号装置３００は、コア復号器３０２と、周波数調整部３０３と、補助分析部３０４と、拡張復号器３０５と、加算部３０６とから主に構成される。以下に、各構成について、詳細に説明する。
【００３７】
コア復号器３０２は、伝送路３０１から得た符号を復号して合成音Ａを得る。また、コア復号器３０２は、合成音Ａを周波数調整部３０３及び補助分析部３０４へ出力する。この際、コア復号器３０２は、聴感的な調整を行って合成音Ａとして出力する。
【００３８】
周波数調整部３０３は、コア復号器３０２から入力した合成音Ａに対してアップサンプリングを行い、アップサンプリング後の合成音Ａを加算部３０６へ出力する。
【００３９】
補助分析部３０４は、コア復号器３０２から入力した合成音Ａに対して符号化処理の一部を行って下位層のレイヤ情報を取得し、取得した下位層のレイヤ情報を拡張復号器３０５へ出力する。ここで、補助分析部３０４は、図２と同一構成を有する。
【００４０】
拡張復号器３０５は、補助分析部３０４から入力した下位層のレイヤ情報を用いて、伝送路３０１から取得した符号を復号して合成音を得る。そして、拡張復号器３０５は、得られた合成音を加算部３０６へ出力する。拡張復号器３０５は、音声復号装置３００に対応した下位層のレイヤ情報を利用して復号を行うことにより、良好な品質の合成音を得ることができる。
【００４１】
加算部３０６は、周波数調整部３０３から得られたアップサンプリング後の合成音Ａと拡張復号器３０５から得られた合成音とを加算して合成音Ｂを求め、求めた合成音Ｂを出力する。
【００４２】
以上で、音声復号装置３００の構成の説明を終える。
【００４３】
次に、ＬＰＣ分析部２０２におけるＬＰＣ分析について説明する。
【００４４】
ＬＰＣ分析では一般に先読み区間（未来の入力音声）を用いた分析窓を用いる。図４は、先読み区間を用いた分析窓（窓関数）を示す図である。
【００４５】
窓の種類としては、ハミング窓、ハニング窓、サイン窓またはブラックマンハリス窓などが挙げられる。したがって、ＬＰＣ分析部２０２では、この分析窓を用いて、同じ次数のＬＰＣ分析を行えばよい。しかし、補助分析部１０７において、図４の分析窓を用いた場合には、先読み区間分の遅延が発生してしまう。本実施の形態では、先読み区間を使用せずに、復号化音声信号のフレーム区間のみで分析するように設定する。
【００４６】
図５は、本実施の形態で用いる分析窓の一例を示す図である。即ち、本実施の形態では、図５に示すように、先読み区間の直前までの非対称窓を用いる。具体的には、前半をハニング窓にするとともに、後半をサイン窓にすることにより、良好な性能を得ることができる。各窓の長さの割合については、拡張符号化器１０８に入力する符号化残差（符号化歪み）を参照しながら調整して決定する。このような分析窓を設定することにより、補助分析部１０７での遅延発生を防ぐことができる。なお、補助分析部３０４についても、補助分析部１０７と同様に非対称窓を用いることにより、遅延発生を防ぐことができる。
【００４７】
次に、修正処理部２０３における処理について説明する。
【００４８】
修正処理部２０３では、符号化と復号化を受けて入力音声と復号化音声の特性が変化していることと、図５に示すように分析窓の特性が変化していることとの、２つの変化に対する修正を行い、拡張符号化器１０８でより精度の高い符号化ができるようにする。
【００４９】
本実施の形態ではＬＳＰ（line spectrum pair）の差分として補正分を表すこととする。手順を以下に示す。
【００５０】
１）ＬＰＣ分析部２０２において得られたＬＰＣパラメータをＬＳＰへ変換する。
【００５１】
２）（１）式に示すように、修正パラメータ格納部２０１の修正用のパラメータと修正前のＬＳＰとを加算して修正後のＬＳＰを求める。
【００５２】
【数１】
2010103854.tif 000003
３）ＬＳＰの昇順関係が保たれるように補正を行う。
【００５３】
４）ＬＳＰを逆変換することによりＬＰＣパラメータに戻す。
【００５４】
上記に示すＬＳＰ変換や昇順関係を保つ補正処理については、ＣＥＬＰ方式に基づく音声コーデックのアルゴリズムが記載されている教科書や規格書の殆どに開示されている一般的な処理であるので、その説明を省略する。
【００５５】
次に、修正パラメータ格納部２０１に格納される修正用のパラメータの設定方法について説明する。
【００５６】
修正用のパラメータは、コア符号化器１０２及びコア復号器１０４に依存するパラメータであり、コア符号化器１０２及びコア復号器１０４を実装した後に学習により求める。
【００５７】
まず、修正パラメータ学習用音声データ（任意であるが、スペクトルのあらゆるヴァリエーションを網羅していることが望ましい）を音声符号化装置１００に音声信号として入力する。そして、コア符号化器１０２のＬＰＣ分析部における分析で得られるＬＰＣパラメータをＬＳＰに変換したもの（以下「パラメータＡ」と記載する）を収集する。また、コア符号化器１０２及びコア復号器１０４を経て得られた復号化音声信号を、補助分析部１０７のＬＰＣ分析部２０２において分析することにより得られるＬＳＰ（以下「パラメータＢ」と記載する）を収集する。このプロセスを多数の修正パラメータ学習用音声データについて行い、パラメータＡ、Ｂを収集する。そして、収集が終了した際に、全てのパラメータを用いて、（２）式のコスト関数を最小にするパラメータＡ及びパラメータＢを求める。
【００５８】
【数２】
2010103854.tif 000004
また、（２）式より求めたパラメータＡ及びパラメータＢを用いて、（３）式より修正用のパラメータを求める。
【００５９】
【数３】
2010103854.tif 000005
そして、補助分析部１０７の修正パラメータ格納部２０１、及び補助分析部３０４の図示しない修正パラメータ格納部に、（３）式で求めた修正用のパラメータを格納する。
【００６０】
上記の設定方法は、入れ替えるコーデックが決まってから学習を行うので、入れ替えてすぐ音声通信を行うことができない。想定されるコーデック毎に予め求めておいてコーデックと共に用意しておき、入れ替えた時に修正パラメータ格納部２０１の内容を書き換えるなどの方法を取ることができれば、より簡便にコーデックを入れ替えることができる。
【００６１】
次に、補助分析部１０７、３０４が図２の構成を有する理由について、図６を用いて説明する。
【００６２】
図６は、特許文献２に記載されているコア符号化器の構成を示すブロック図である。なお、図６のコア符号化器の各構成については、特許文献２に記載されているので、その説明を省略する。
【００６３】
図６において、ＬＰＣ分析を行い、量子化及び逆量子化を行うＬＰＣ分析部と拡張符号化器とを接続する信号線Ｌ１は、本実施の形態における下位層のレイヤ情報を伝えるものである。
【００６４】
従って、補助分析部１０７、３０４は、図６に示すコア符号化器と同一構成にしても良い。しかし、ＬＰＣパラメータだけが下位層レイヤ情報であるので、図６のコア符号化器の殆どのブロックは必要がなくなり、補助分析部１０７、３０４は、図２の構成だけでよいことになる。
【００６５】
図２のＬＰＣ分析部２０２は、図６におけるＬＰＣ分析部の機能である分析、符号化、及び復号のうち、分析だけを行う。コア復号器１０４から補助分析部１０７に入力する信号、及びコア復号器３０２から補助分析部３０４に入力する信号は復号された信号であって、これは符号化器側でも復号器側でも同じであるので、分析するだけでＬＰＣパラメータに相当するものが得られる。
【００６６】
このように、本実施の形態によれば、下位層を新たなコア符号化器及びコア復号器と入れ替えた場合でも、入れ替える前と同様の下位層のレイヤ情報を得ることができる。この結果、各レイヤのコア符号化器及びコア復号器を入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる。また、本実施の形態によれば、先読み区間を含まない窓を設定して分析を行うので、分析に伴う遅延を抑制することができる。また、本実施の形態によれば、符号化と復号化を受けて入力音声と復号化音声の特性が変化していることと窓特性が変化していることとを修正用のパラメータを用いて補正する。この結果、入力した音声信号を分析して得られたパラメータに統計的により近づけることができ、より精度の高い符号化を行うことができる。
【００６７】
（実施の形態２）
図７は、本発明の実施の形態２に係る補助分析部７００の構成を示すブロック図である。なお、本実施の形態において、音声符号化装置は、補助分析部１０７を補助分析部７００に置き換える以外は図１と同一構成であるので、その説明を省略する。また、本実施の形態において、補助分析部７００以外の各構成については、図１の参照番号を用いて説明する。
【００６８】
補助分析部７００は、修正パラメータ格納部７０１と、修正処理部７０２と、ＬＰＣ分析部７０３とから主に構成される。
【００６９】
修正パラメータ格納部７０１は、修正用のパラメータを格納する。なお、修正用のパラメータの設定方法については後述する。
【００７０】
修正処理部７０２は、修正パラメータ格納部７０１に格納している修正用のパラメータを読み出し、読み出した修正用のパラメータを用いて、コア復号器１０４から入力した復号化信号を修正する。そして、修正処理部７０２は、修正した復号化信号をＬＰＣ分析部７０３へ出力する。
【００７１】
ＬＰＣ分析部７０３は、修正処理部７０２から入力した復号化信号に対してＬＰＣ分析を行い、ＬＰＣパラメータを得る。そして、ＬＰＣ分析部７０３は、ＬＰＣパラメータを拡張符号化器１０８へ出力する。
【００７２】
なお、本実施の形態において、音声復号装置は、補助分析部３０４を図７の補助分析部の構成にする以外は図３と同一構成であるので、その説明を省略する。
【００７３】
次に、修正処理部７０２における処理について説明する。
【００７４】
本実施の形態においては、ＭＡ（Moving Average）フィルタリングによる修正を行うものとする。この場合、修正パラメータ格納部７０１に格納された修正用のパラメータを用いてフィルタリングを行う。この一例を（４）式に示す。
【００７５】
【数４】
2010103854.tif 000006
そして、（４）式により得られた修正された復号化音声信号をＬＰＣ分析部７０３へ出力する。
【００７６】
上記の実施の形態１におけるＬＰＣパラメータの修正との違いは、本実施の形態では、ＬＳＰパラメータに変換する計算を行わなくていい代わりに、ＬＰＣ分析窓の違いを修正することが出来ないということである。
【００７７】
次に、修正用のパラメータの設定方法について説明する。
【００７８】
修正用のパラメータは、コーデックを入れ替えた後の事前の学習で求める。入力信号は実施の形態１と同様の修正パラメータ学習用音声データである。実施の形態１と異なるのは、コア符号化器１０２に入力する信号（以下「Ｃ信号」と記載する）と補助分析部７００に入力する復号化音声信号（以下「Ｄ信号」と記載する）を収集することである。収集された多数の信号を用いて、（５）式のコスト関数Ｆを最小にするＣ信号とＤ信号とを求める。この際には、２つの信号の位相（サンプルタイミング）を完全に一致させることが必要である。
【００７９】
【数５】
2010103854.tif 000007
また、（５）式より求めた信号Ｃ及び信号Ｄを用いて、（６）式より修正用のパラメータを求める。
【００８０】
【数６】
2010103854.tif 000008
そして、（６）式より求めた修正用のパラメータを符号化器側及び復号側の修正パラメータ格納部７０１に格納する。
【００８１】
このように、本実施の形態によれば、下位層を新たなコア符号化器及びコア復号器と入れ替えた場合でも、入れ替える前と同様の下位層のレイヤ情報を得ることができる。この結果、各レイヤのコア符号化器及びコア復号器を入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる。また、本実施の形態によれば、先読み区間を含まない窓を設定して分析を行うので、分析に伴う遅延を抑制することができる。また、本実施の形態によれば、符号化と復号化を受けて入力音声と復号化音声の特性が変化していることを修正用のパラメータを用いて補正する。この結果、入力した音声信号を分析して得られたパラメータに統計的により近づけることができ、より精度の高い符号化を行うことができる。
【００８２】
なお、上記の実施の形態１及び実施の形態２において、修正処理部２０３、７０２ではＬＳＰの加算を用いて修正を行ったが、本発明はこれに限らず、線形和、マトリクスの乗算またはマトリクスの和算を用いてもよい。また、修正を行うパラメータとして、ＬＰＣスペクトルやＰＡＲＣＯＲ（Partial Auto Correlation）、ＩＳＰ（Immittance Spectral Pair）等のＬＰＣ系パラメータ、または自己相関係数でも全く同様に実現できる。本発明は修正方法や修正を行うパラメータには依存しないことは明らかである。
【００８３】
また、上記の実施の形態１及び実施の形態２において、修正処理部２０３、７０２のフィルタリングはＭＡ型で行ったが、本発明はこれに限らず、ＩＩＲ（Infinite Impulse Response）型でもＡＲ（Auto Regressive ）型でもよい。本発明はフィルタの形状には依存しないことは明らかである。
【００８４】
また、上記の実施の形態１及び実施の形態２において、修正処理部２０３、７０２では、フィルタリングを行ったが、本発明はこれに限らず、アンプ（アンプリチュード）の加算や、ゲインの加算などを用いてもよい。本発明は修正の処理の方法に依存しないからである。
【００８５】
また、上記の実施の形態１及び実施の形態２において、コアレイヤを入れ替えたスケーラブルコーデックを用いたが、本発明はこれに限らず、構成にスイッチと従来のコーデックを追加してもよい。そして、この際、従来のコーデックと入れ替えたコーデックとをスイッチにより切り替えるようにしても良い。
【００８６】
また、上記の実施の形態１及び実施の形態２において、符号化情報として復号化ＬＰＣパラメータを用いたが、本発明はこれに限らず、他のパラメータの場合でも同様に本発明を実現できることは明らかである。例えば、入力音声から比較的少ない計算量で求められる全域パワーまたは帯域パワー、ピッチ分析で得られる周期または周期性の度合いを表すゲインなどが挙げられる。ただし、確率的符号帳のゲインなど、図６のＣＥＬＰ符号化器を最後まで動かして得られるパラメータは、その計算量の多さから実装上使用し難いことは自明である。
【００８７】
また、上記の実施の形態１及び実施の形態２において、コア符号化器としてＣＥＬＰの様な時系列信号をそのまま符号化する符号化方式を用いたが、本発明はこれに限らず、ＭＤＣＴ（Modified Discrete Cosine Transform）によるスペクトル符号化などの転換符号化でもよいし、ＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）のような波形符号化でもよい。また、これより、本発明では、入れ替える新しいコーデックの形態はどのようなものでもよいことは明らかである。スペクトル符号化でスペクトルの形態のまま拡張部に渡したい場合は、補助分析部１０７、３０４の入力はスペクトルになるので、それに対応するように入力系を変えればよい。本発明は元々のコーデック、及び入れ替えるコーデックの符号化方式に依存しないことは明らかである。
【００８８】
また、上記の実施の形態１及び実施の形態２において、簡潔な説明を行うために階層数が２つの場合について示したが、本発明はこれに限らず、現在の標準化済み、標準化の検討途上、または実用段階のスケーラブルコーデックの階層数のように、３つ以上の多数の階層数でも良い。例えば、ＩＴＵ−Ｔ標準Ｇ.７２９.１では１２もの階層数がある。この場合にでも本発明は有効であることは明らかである。本発明は階層数には依存しないからである。
【００８９】
また、上記の実施の形態１及び実施の形態２において、コアコーデックの入れ替えについて示したが、本発明はこれに限らず、拡張レイヤの入れ替えにも使用できることは明らかである。拡張レイヤの符号化情報を更に上位層で使用する場合は、入れ替えたレイヤの復号化信号を入れ替える前の拡張レイヤの一部から構成した補助コーデックを用いれば、本発明と全く同様に入れ替えを行うことが出来る。
【００９０】
また、上記の実施の形態１及び実施の形態２において、周波数スケーラブルコーデックの場合を示したが、本発明はこれに限らず、周波数が変わらない場合でも本発明は有効である。本発明は周波数調整部の有無に依存しないからである。
【００９１】
また、上記の実施の形態１及び実施の形態２の説明は、本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置を有するシステムであればどのような場合にも適用することができる。
【００９２】
また、上記の実施の形態１及び実施の形態２において説明した音声符号化装置および音声復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能である。これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【００９３】
また、上記の実施の形態１及び実施の形態２においては、ハードウェアで構成する場合を例に説明したが、本発明はこれに限らず、ソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る音声符号化装置等と同様の機能を実現することができる。
【００９４】
また、上記の実施の形態１及び実施の形態２の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここで、ＬＳＩは、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩ等と呼称されることもある。
【００９５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００９６】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【００９７】
２００９年３月１３日出願の特願２００９−６０７９１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【００９８】
本発明にかかる音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法は、特に多層構造を有するスケーラブルコーデックに好適である。
【図１】
2010103854.tif 000009
【図２】
2010103854.tif 000010
【図３】
2010103854.tif 000011
【図４】
2010103854.tif 000012
【図５】
2010103854.tif 000013
【図６】
2010103854.tif 000014
【図７】
2010103854.tif 000015
【手続補正書】
【提出日】平成23年6月22日(2011.6.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法に関する。
【背景技術】
【０００２】
移動体通信においては伝送帯域の有効利用のために音声または画像のディジタル情報の圧縮符号化が必須である。その中でも携帯電話で広く利用されている音声コーデック（符号化／復号化）技術に対する期待は大きく、圧縮率の高い従来の高効率符号化に更によりよい音質の要求が強まっている。
【０００３】
近年、多層構造を持つスケーラブルコーデックは、より効率的で高品質の音声コーデックとしてＩＰ（Internet Protocol）通信網に用いられ、ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector）やＭＰＥＧ（Moving Picture Experts Group）で標準化が検討されている。
【０００４】
２０年前に確立された音声の発声機構をモデル化してベクトル量子化を応用した基本方式であるＣＥＬＰ（Code Excited Linear Prediction）によって大きく性能を向上させた音声符号化技術や、オーディオ符号化で用いられてきた変換符号化技術（ＭＰＥＧ標準ＡＣＣやＭＰ３等）により音声・楽音符号化技術は大きく前進し、高品質の通信や音楽鑑賞が可能になった。さらに近年はオールＩＰ化、シームレス化またはブロードバンド化を睨み、音声からオーディオまでをカバーするようなスケーラブルコーデックの開発や標準化（ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３）も進んでいる。このコーデックは、カバーする周波数帯域が階層的になっており、下位層の量子化誤差を上位層で符号化するコーデックである。
【０００５】
特許文献１には、下位層の量子化誤差を上位層で符号化する階層型符号化の方法、及びサンプリング変換を用いて下位から上位に向かってより広い周波数帯域の符号化を行っていく方法について開示されている。
【０００６】
ここで、スケーラブルコーデックでは、コアコーデックの上に拡張レイヤが複数準備されており、下位層（下位レイヤ）の符号化歪みを上位層（上位レイヤ）で符号化して伝送するという構成が一般的である。この際、各層に入力される信号に相関があるために、下位層からの符号化情報を用いて、上位層で効率よく符号化することは符号化の精度向上に有効である。なお、この場合、復号器でも下位層の符号化情報を用いて上位層で復号化する。
【０００７】
特許文献２には、ＣＥＬＰを基本方式とする各レイヤで下位層の様々な符号化情報を利用する方法について開示されている。また、特許文献２には、コアと拡張の２階層を有し、拡張レイヤでは差分信号を符号化するマルチステージ型であり、音声の周波数帯域が変わる周波数スケーラブルであるという特徴を持つスケーラブルコーデックが開示されている。特許文献２の符号化装置において、性能に大きく貢献するのが、ブロック１５からブロック１７へ送られる下位層レイヤ情報である。この情報によって拡張符号化器ではより精度の高い符号化が出来る。
【０００８】
また、符号化アルゴリズムは年々進歩しており、より符号化精度の良いコーデックが次々と開発される可能性があり、また事業化の観点から費用の安いコーデックを使用するというニーズが産まれてくる可能性がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平８−２６３０９６号公報
【特許文献２】特開２００６−７２０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の装置においては、各レイヤのコア符号化器及びコア復号器を入れ替えた場合、拡張符号化器は、入れ替える前のコア復号器から受け取る下位層レイヤ情報を前提に開発されているので、拡張符号化器における符号化ができなくなるという問題がある。
【００１１】
本発明はかかる点に鑑みてなされたものであり、各レイヤのコア符号化器及びコア復号器を異なるコア符号化器及びコア復号器にそれぞれ入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の音声符号化装置は、下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化装置であって、前記音声信号を符号化して符号を生成する第１の符号化手段と、前記符号を復号して復号信号を生成する復号手段と、前記音声信号と前記復号信号との符号化残差を検出する検出手段と、前記復号信号を入力し、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成する分析手段と、前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化する第２の符号化手段と、を具備する構成を採る。
【００１３】
本発明の音声復号装置は、音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を入力して復号する音声復号装置であって、前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成する第１の復号手段と、前記第１の復号信号を入力し、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成する分析手段と、前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成する第２の復号手段と、を具備する構成を採る。
【００１４】
本発明の音声符号化方法は、下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化方法であって、前記音声信号を符号化して符号を生成するステップと、前記符号を復号して復号信号を生成するステップと、前記音声信号と前記復号信号との符号化残差を検出するステップと、前記復号信号に関して、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成するステップと、前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化するステップと、を具備するようにした。
【００１５】
本発明の音声復号方法は、音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を復号する音声復号方法であって、前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成するステップと、前記第１の復号信号に関して、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成するステップと、前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生
成するステップと、を具備するようにした。
【発明の効果】
【００１６】
本発明によれば、各レイヤのコア符号化器及びコア復号器を異なるコア符号化器及びコア復号器にそれぞれ入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１に係る音声符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る補助分析部の構成を示すブロック図
【図３】本発明の実施の形態１に係る音声復号装置の構成を示すブロック図
【図４】先読み区間を用いた分析窓を示す図
【図５】本発明の実施の形態１に係る分析窓を示す図
【図６】特許文献２のコア符号化器の構成を示すブロック図
【図７】本発明の実施の形態２に係る補助分析部の構成を示すブロック図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る音声符号化装置１００の構成を示すブロック図である。
【００２０】
音声符号化装置１００は、周波数調整部１０１と、コア符号化器１０２と、コア復号器１０４と、周波数調整部１０５と、加算部１０６と、補助分析部１０７と、拡張符号化器１０８とから主に構成される。以下に、各構成について、詳細に説明する。
【００２１】
周波数調整部１０１は、入力した音声信号をダウンサンプリングし、得られる音声信号（狭帯域音声信号）をコア符号化器１０２へ出力する。ダウンサンプリングの方法は様々あり、低域透過（Low-pass）フィルタを通過させて間引く方法が一例としてあげられる。例えば、１６ｋＨｚサンプリングの入力音声を８ｋＨｚサンプリングに変換する場合は、４ｋＨｚ（８ｋＨｚサンプリングのナイキスト周波数）以上の周波数成分が極小さくなるような低域透過フィルタを掛ける。そして、周波数調整部１０１は、その後１つ置きに信号をピックアップして（２つに１つを間引いたことになる）メモリに格納することにより８ｋＨｚサンプリングの信号が得られる。
【００２２】
コア符号化器１０２は、後述するコア復号器１０４と共に、それぞれ異なるコア符号化器及びコア復号器に適宜置き換え可能であり、周波数調整部１０１から入力した音声信号を符号化し、得られた符号を伝送路１０３とコア復号器１０４へ出力する。
【００２３】
伝送路１０３は、コア符号化器１０２にて得られた符号及び拡張符号化器１０８にて得られた符号を後述する音声復号装置に伝送する。
【００２４】
コア復号器１０４は、コア符号化器１０２と共に適宜置き換え可能であり、コア符号化器１０２から入力した符号を用いて復号を行うことにより復号化信号を得る。そして、コア復号器１０４は、得られた復号化信号を周波数調整部１０５及び補助分析部１０７へ出力する。
【００２５】
周波数調整部１０５は、コア復号器１０４から入力した復号化信号に対して、周波数調
整部１０１に入力する音声信号のサンプリングレートにまでアップサンプリングを行い、加算部１０６へ出力する。アップサンプリングの方法は様々あり、サンプルの間に０を挿入してサンプル数を増やし、低域透過(Low-pass)フィルタによって周波数成分を調整してから、パワーを調整するという方法が一例として挙げられる。
【００２６】
加算部１０６は、周波数調整部１０５から入力した復号化信号の極性を反転して、周波数調整部１０１に入力する音声信号と加算することにより、符号化残差を得る。すなわち、加算部１０６は、周波数調整部１０１に入力する音声信号から復号化信号を減ずる。そして、加算部１０６は、この処理で得られた符号化残差を拡張符号化器１０８へ出力する。
【００２７】
補助分析部１０７は、コア復号器１０４から入力した復号化音声信号に対して分析を行い、下位層のレイヤ情報を得る。そして、補助分析部１０７は、得られた下位層のレイヤ情報を拡張符号化器１０８へ出力する。ここで、下位層のレイヤ情報は、ＬＰＣ分析して得られたＬＰＣパラメータを符号化し、更に符号化したＬＰＣパラメータを復号することによって得られる復号化ＬＰＣ（Linear Prediction Coefficient）パラメータである。復号化ＬＰＣパラメータは、音声信号の低域スペクトルの概形を示すものであり、拡張符号化器１０８において低域のスペクトルに残留するスペクトルを予測するのに有効なパラメータである。ただし、実際に符号化と復号を行うと計算量が多くなる上に符号を伝送する必要もあり、コストの増大を招く。従って、本実施の形態においては、補助分析部１０７は、コア復号器１０４により得られた復号音声信号に対してＬＰＣ分析を行って得られたＬＰＣパラメータを、復号化ＬＰＣパラメータに近似したものとして出力する。なお、補助分析部１０７の構成の詳細については後述する。
【００２８】
拡張符号化器１０８は、音声符号化装置１００に入力した音声信号と、加算部１０６において得られた符号化残差と、補助分析部１０７において得られた下位層のレイヤ情報とを入力する。そして、拡張符号化器１０８は、音声信号から得られる情報と下位層のレイヤ情報とを利用して符号化残差の効率的な符号化を行い、得られた符号を伝送路１０３へ出力する。
【００２９】
次に、補助分析部１０７の構成について、図２を用いて説明する。図２は、補助分析部１０７の構成を示すブロック図である。なお、図２の説明においては、下位層のレイヤ情報をＬＰＣパラメータとする。
【００３０】
補助分析部１０７は、修正パラメータ格納部２０１と、ＬＰＣ分析部２０２と、修正処理部２０３とから主に構成される。
【００３１】
修正パラメータ格納部２０１は、修正用のパラメータを格納する。なお、修正用のパラメータの設定方法については後述する。
【００３２】
ＬＰＣ分析部２０２は、コア復号器１０４から入力した復号化音声信号に対してＬＰＣ分析を行い、ＬＰＣパラメータを得る。そして、ＬＰＣ分析部２０２は、ＬＰＣパラメータを修正処理部２０３へ出力する。
【００３３】
修正処理部２０３は、修正パラメータ格納部２０１に格納している修正用のパラメータを読み出し、読み出したパラメータを用いて、ＬＰＣ分析部２０２から入力したＬＰＣパラメータの修正を行う。そして、修正処理部２０３は、修正したＬＰＣパラメータを復号化ＬＰＣパラメータとして拡張符号化器１０８へ出力する。
【００３４】
以上で、音声符号化装置１００の構成の説明を終える。
【００３５】
次に、音声復号装置３００の構成について、図３を用いて説明する。図３は、音声復号装置３００の構成を示すブロック図である。
【００３６】
音声復号装置３００は、コア復号器３０２と、周波数調整部３０３と、補助分析部３０４と、拡張復号器３０５と、加算部３０６とから主に構成される。以下に、各構成について、詳細に説明する。
【００３７】
コア復号器３０２は、伝送路３０１から得た符号を復号して合成音Ａを得る。また、コア復号器３０２は、合成音Ａを周波数調整部３０３及び補助分析部３０４へ出力する。この際、コア復号器３０２は、聴感的な調整を行って合成音Ａとして出力する。
【００３８】
周波数調整部３０３は、コア復号器３０２から入力した合成音Ａに対してアップサンプリングを行い、アップサンプリング後の合成音Ａを加算部３０６へ出力する。
【００３９】
補助分析部３０４は、コア復号器３０２から入力した合成音Ａに対して符号化処理の一部を行って下位層のレイヤ情報を取得し、取得した下位層のレイヤ情報を拡張復号器３０５へ出力する。ここで、補助分析部３０４は、図２と同一構成を有する。
【００４０】
拡張復号器３０５は、補助分析部３０４から入力した下位層のレイヤ情報を用いて、伝送路３０１から取得した符号を復号して合成音を得る。そして、拡張復号器３０５は、得られた合成音を加算部３０６へ出力する。拡張復号器３０５は、音声復号装置３００に対応した下位層のレイヤ情報を利用して復号を行うことにより、良好な品質の合成音を得ることができる。
【００４１】
加算部３０６は、周波数調整部３０３から得られたアップサンプリング後の合成音Ａと拡張復号器３０５から得られた合成音とを加算して合成音Ｂを求め、求めた合成音Ｂを出力する。
【００４２】
以上で、音声復号装置３００の構成の説明を終える。
【００４３】
次に、ＬＰＣ分析部２０２におけるＬＰＣ分析について説明する。
【００４４】
ＬＰＣ分析では一般に先読み区間（未来の入力音声）を用いた分析窓を用いる。図４は、先読み区間を用いた分析窓（窓関数）を示す図である。
【００４５】
窓の種類としては、ハミング窓、ハニング窓、サイン窓またはブラックマンハリス窓などが挙げられる。したがって、ＬＰＣ分析部２０２では、この分析窓を用いて、同じ次数のＬＰＣ分析を行えばよい。しかし、補助分析部１０７において、図４の分析窓を用いた場合には、先読み区間分の遅延が発生してしまう。本実施の形態では、先読み区間を使用せずに、復号化音声信号のフレーム区間のみで分析するように設定する。
【００４６】
図５は、本実施の形態で用いる分析窓の一例を示す図である。即ち、本実施の形態では、図５に示すように、先読み区間の直前までの非対称窓を用いる。具体的には、前半をハニング窓にするとともに、後半をサイン窓にすることにより、良好な性能を得ることができる。各窓の長さの割合については、拡張符号化器１０８に入力する符号化残差（符号化歪み）を参照しながら調整して決定する。このような分析窓を設定することにより、補助分析部１０７での遅延発生を防ぐことができる。なお、補助分析部３０４についても、補助分析部１０７と同様に非対称窓を用いることにより、遅延発生を防ぐことができる。
【００４７】
次に、修正処理部２０３における処理について説明する。
【００４８】
修正処理部２０３では、符号化と復号化を受けて入力音声と復号化音声の特性が変化していることと、図５に示すように分析窓の特性が変化していることとの、２つの変化に対する修正を行い、拡張符号化器１０８でより精度の高い符号化ができるようにする。
【００４９】
本実施の形態ではＬＳＰ（line spectrum pair）の差分として補正分を表すこととする。手順を以下に示す。
【００５０】
１）ＬＰＣ分析部２０２において得られたＬＰＣパラメータをＬＳＰへ変換する。
【００５１】
２）（１）式に示すように、修正パラメータ格納部２０１の修正用のパラメータと修正前のＬＳＰとを加算して修正後のＬＳＰを求める。
【００５２】
【数１】
2010103854.tif 000016
３）ＬＳＰの昇順関係が保たれるように補正を行う。
【００５３】
４）ＬＳＰを逆変換することによりＬＰＣパラメータに戻す。
【００５４】
上記に示すＬＳＰ変換や昇順関係を保つ補正処理については、ＣＥＬＰ方式に基づく音声コーデックのアルゴリズムが記載されている教科書や規格書の殆どに開示されている一般的な処理であるので、その説明を省略する。
【００５５】
次に、修正パラメータ格納部２０１に格納される修正用のパラメータの設定方法について説明する。
【００５６】
修正用のパラメータは、コア符号化器１０２及びコア復号器１０４に依存するパラメータであり、コア符号化器１０２及びコア復号器１０４を実装した後に学習により求める。
【００５７】
まず、修正パラメータ学習用音声データ（任意であるが、スペクトルのあらゆるヴァリエーションを網羅していることが望ましい）を音声符号化装置１００に音声信号として入力する。そして、コア符号化器１０２のＬＰＣ分析部における分析で得られるＬＰＣパラメータをＬＳＰに変換したもの（以下「パラメータＡ」と記載する）を収集する。また、コア符号化器１０２及びコア復号器１０４を経て得られた復号化音声信号を、補助分析部１０７のＬＰＣ分析部２０２において分析することにより得られるＬＳＰ（以下「パラメータＢ」と記載する）を収集する。このプロセスを多数の修正パラメータ学習用音声データについて行い、パラメータＡ、Ｂを収集する。そして、収集が終了した際に、全てのパ
ラメータを用いて、（２）式のコスト関数を最小にするパラメータＡ及びパラメータＢを求める。
【００５８】
【数２】
2010103854.tif 000017
また、（２）式より求めたパラメータＡ及びパラメータＢを用いて、（３）式より修正用のパラメータを求める。
【００５９】
【数３】
2010103854.tif 000018
そして、補助分析部１０７の修正パラメータ格納部２０１、及び補助分析部３０４の図示しない修正パラメータ格納部に、（３）式で求めた修正用のパラメータを格納する。
【００６０】
上記の設定方法は、入れ替えるコーデックが決まってから学習を行うので、入れ替えてすぐ音声通信を行うことができない。想定されるコーデック毎に予め求めておいてコーデックと共に用意しておき、入れ替えた時に修正パラメータ格納部２０１の内容を書き換えるなどの方法を取ることができれば、より簡便にコーデックを入れ替えることができる。
【００６１】
次に、補助分析部１０７、３０４が図２の構成を有する理由について、図６を用いて説明する。
【００６２】
図６は、特許文献２に記載されているコア符号化器の構成を示すブロック図である。なお、図６のコア符号化器の各構成については、特許文献２に記載されているので、その説明を省略する。
【００６３】
図６において、ＬＰＣ分析を行い、量子化及び逆量子化を行うＬＰＣ分析部と拡張符号化器とを接続する信号線Ｌ１は、本実施の形態における下位層のレイヤ情報を伝えるものである。
【００６４】
従って、補助分析部１０７、３０４は、図６に示すコア符号化器と同一構成にしても良い。しかし、ＬＰＣパラメータだけが下位層レイヤ情報であるので、図６のコア符号化器の殆どのブロックは必要がなくなり、補助分析部１０７、３０４は、図２の構成だけでよいことになる。
【００６５】
図２のＬＰＣ分析部２０２は、図６におけるＬＰＣ分析部の機能である分析、符号化、及び復号のうち、分析だけを行う。コア復号器１０４から補助分析部１０７に入力する信号、及びコア復号器３０２から補助分析部３０４に入力する信号は復号された信号であって、これは符号化器側でも復号器側でも同じであるので、分析するだけでＬＰＣパラメー
タに相当するものが得られる。
【００６６】
このように、本実施の形態によれば、下位層を新たなコア符号化器及びコア復号器と入れ替えた場合でも、入れ替える前と同様の下位層のレイヤ情報を得ることができる。この結果、各レイヤのコア符号化器及びコア復号器を入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる。また、本実施の形態によれば、先読み区間を含まない窓を設定して分析を行うので、分析に伴う遅延を抑制することができる。また、本実施の形態によれば、符号化と復号化を受けて入力音声と復号化音声の特性が変化していることと窓特性が変化していることとを修正用のパラメータを用いて補正する。この結果、入力した音声信号を分析して得られたパラメータに統計的により近づけることができ、より精度の高い符号化を行うことができる。
【００６７】
（実施の形態２）
図７は、本発明の実施の形態２に係る補助分析部７００の構成を示すブロック図である。なお、本実施の形態において、音声符号化装置は、補助分析部１０７を補助分析部７００に置き換える以外は図１と同一構成であるので、その説明を省略する。また、本実施の形態において、補助分析部７００以外の各構成については、図１の参照番号を用いて説明する。
【００６８】
補助分析部７００は、修正パラメータ格納部７０１と、修正処理部７０２と、ＬＰＣ分析部７０３とから主に構成される。
【００６９】
修正パラメータ格納部７０１は、修正用のパラメータを格納する。なお、修正用のパラメータの設定方法については後述する。
【００７０】
修正処理部７０２は、修正パラメータ格納部７０１に格納している修正用のパラメータを読み出し、読み出した修正用のパラメータを用いて、コア復号器１０４から入力した復号化信号を修正する。そして、修正処理部７０２は、修正した復号化信号をＬＰＣ分析部７０３へ出力する。
【００７１】
ＬＰＣ分析部７０３は、修正処理部７０２から入力した復号化信号に対してＬＰＣ分析を行い、ＬＰＣパラメータを得る。そして、ＬＰＣ分析部７０３は、ＬＰＣパラメータを拡張符号化器１０８へ出力する。
【００７２】
なお、本実施の形態において、音声復号装置は、補助分析部３０４を図７の補助分析部の構成にする以外は図３と同一構成であるので、その説明を省略する。
【００７３】
次に、修正処理部７０２における処理について説明する。
【００７４】
本実施の形態においては、ＭＡ（Moving Average）フィルタリングによる修正を行うものとする。この場合、修正パラメータ格納部７０１に格納された修正用のパラメータを用いてフィルタリングを行う。この一例を（４）式に示す。
【００７５】
【数４】
2010103854.tif 000019
そして、（４）式により得られた修正された復号化音声信号をＬＰＣ分析部７０３へ出力する。
【００７６】
上記の実施の形態１におけるＬＰＣパラメータの修正との違いは、本実施の形態では、ＬＳＰパラメータに変換する計算を行わなくていい代わりに、ＬＰＣ分析窓の違いを修正することが出来ないということである。
【００７７】
次に、修正用のパラメータの設定方法について説明する。
【００７８】
修正用のパラメータは、コーデックを入れ替えた後の事前の学習で求める。入力信号は実施の形態１と同様の修正パラメータ学習用音声データである。実施の形態１と異なるのは、コア符号化器１０２に入力する信号（以下「Ｃ信号」と記載する）と補助分析部７００に入力する復号化音声信号（以下「Ｄ信号」と記載する）を収集することである。収集された多数の信号を用いて、（５）式のコスト関数Ｆを最小にするＣ信号とＤ信号とを求める。この際には、２つの信号の位相（サンプルタイミング）を完全に一致させることが必要である。
【００７９】
【数５】
2010103854.tif 000020
また、（５）式より求めた信号Ｃ及び信号Ｄを用いて、（６）式より修正用のパラメータを求める。
【００８０】
【数６】
2010103854.tif 000021
そして、（６）式より求めた修正用のパラメータを符号化器側及び復号側の修正パラメータ格納部７０１に格納する。
【００８１】
このように、本実施の形態によれば、下位層を新たなコア符号化器及びコア復号器と入れ替えた場合でも、入れ替える前と同様の下位層のレイヤ情報を得ることができる。この結果、各レイヤのコア符号化器及びコア復号器を入れ替えた場合でも、拡張符号化器において符号化を可能にすることができるとともに、都度適切なコーデックを使用することができることにより、精度の高い符号化及び復号を行うことができる。また、本実施の形態によれば、先読み区間を含まない窓を設定して分析を行うので、分析に伴う遅延を抑制することができる。また、本実施の形態によれば、符号化と復号化を受けて入力音声と復号化音声の特性が変化していることを修正用のパラメータを用いて補正する。この結果、入力した音声信号を分析して得られたパラメータに統計的により近づけることができ、より精度の高い符号化を行うことができる。
【００８２】
なお、上記の実施の形態１及び実施の形態２において、修正処理部２０３、７０２ではＬＳＰの加算を用いて修正を行ったが、本発明はこれに限らず、線形和、マトリクスの乗算またはマトリクスの和算を用いてもよい。また、修正を行うパラメータとして、ＬＰＣスペクトルやＰＡＲＣＯＲ（Partial Auto Correlation）、ＩＳＰ（Immittance Spectral Pair）等のＬＰＣ系パラメータ、または自己相関係数でも全く同様に実現できる。本発明は修正方法や修正を行うパラメータには依存しないことは明らかである。
【００８３】
また、上記の実施の形態１及び実施の形態２において、修正処理部２０３、７０２のフィルタリングはＭＡ型で行ったが、本発明はこれに限らず、ＩＩＲ（Infinite Impulse Response）型でもＡＲ（Auto Regressive ）型でもよい。本発明はフィルタの形状には依存しないことは明らかである。
【００８４】
また、上記の実施の形態１及び実施の形態２において、修正処理部２０３、７０２では、フィルタリングを行ったが、本発明はこれに限らず、アンプ（アンプリチュード）の加算や、ゲインの加算などを用いてもよい。本発明は修正の処理の方法に依存しないからである。
【００８５】
また、上記の実施の形態１及び実施の形態２において、コアレイヤを入れ替えたスケーラブルコーデックを用いたが、本発明はこれに限らず、構成にスイッチと従来のコーデックを追加してもよい。そして、この際、従来のコーデックと入れ替えたコーデックとをスイッチにより切り替えるようにしても良い。
【００８６】
また、上記の実施の形態１及び実施の形態２において、符号化情報として復号化ＬＰＣパラメータを用いたが、本発明はこれに限らず、他のパラメータの場合でも同様に本発明を実現できることは明らかである。例えば、入力音声から比較的少ない計算量で求められる全域パワーまたは帯域パワー、ピッチ分析で得られる周期または周期性の度合いを表すゲインなどが挙げられる。ただし、確率的符号帳のゲインなど、図６のＣＥＬＰ符号化器を最後まで動かして得られるパラメータは、その計算量の多さから実装上使用し難いことは自明である。
【００８７】
また、上記の実施の形態１及び実施の形態２において、コア符号化器としてＣＥＬＰの様な時系列信号をそのまま符号化する符号化方式を用いたが、本発明はこれに限らず、ＭＤＣＴ（Modified Discrete Cosine Transform）によるスペクトル符号化などの転換符号化でもよいし、ＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）のような波形符号化でもよい。また、これより、本発明では、入れ替える新しいコーデックの形態はどのようなものでもよいことは明らかである。スペクトル符号化でスペクトルの形態のまま拡張部に渡したい場合は、補助分析部１０７、３０４の入力はスペクトルになるので、それに対応するように入力系を変えればよい。本発明は元々のコーデック、及び入れ替えるコーデックの符号化方式に依存しないことは明らかである。
【００８８】
また、上記の実施の形態１及び実施の形態２において、簡潔な説明を行うために階層数が２つの場合について示したが、本発明はこれに限らず、現在の標準化済み、標準化の検討途上、または実用段階のスケーラブルコーデックの階層数のように、３つ以上の多数の階層数でも良い。例えば、ＩＴＵ−Ｔ標準Ｇ.７２９.１では１２もの階層数がある。この場合にでも本発明は有効であることは明らかである。本発明は階層数には依存しないからである。
【００８９】
また、上記の実施の形態１及び実施の形態２において、コアコーデックの入れ替えについて示したが、本発明はこれに限らず、拡張レイヤの入れ替えにも使用できることは明らかである。拡張レイヤの符号化情報を更に上位層で使用する場合は、入れ替えたレイヤの復号化信号を入れ替える前の拡張レイヤの一部から構成した補助コーデックを用いれば、本発明と全く同様に入れ替えを行うことが出来る。
【００９０】
また、上記の実施の形態１及び実施の形態２において、周波数スケーラブルコーデックの場合を示したが、本発明はこれに限らず、周波数が変わらない場合でも本発明は有効である。本発明は周波数調整部の有無に依存しないからである。
【００９１】
また、上記の実施の形態１及び実施の形態２の説明は、本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置を有するシステムであればどのような場合にも適用することができる。
【００９２】
また、上記の実施の形態１及び実施の形態２において説明した音声符号化装置および音声復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能である。これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【００９３】
また、上記の実施の形態１及び実施の形態２においては、ハードウェアで構成する場合を例に説明したが、本発明はこれに限らず、ソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る音声符号化装置等と同様の機能を実現することができる。
【００９４】
また、上記の実施の形態１及び実施の形態２の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここで、ＬＳＩは、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩ等と呼称されることもある。
【００９５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Pr
ogrammable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００９６】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【００９７】
２００９年３月１３日出願の特願２００９−６０７９１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【００９８】
本発明にかかる音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法は、特に多層構造を有するスケーラブルコーデックに好適である。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化装置であって、
前記音声信号を符号化して符号を生成する第１の符号化手段と、
前記符号を復号して復号信号を生成する復号手段と、
前記音声信号と前記復号信号との符号化残差を検出する検出手段と、
前記復号信号を入力し、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成する分析手段と、
前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化する第２の符号化手段と、
を具備する音声符号化装置。
【請求項２】
前記分析手段は、先読み区間を含まない窓関数を用いた前記分析処理を行う、
請求項１記載の音声符号化装置。
【請求項３】
前記分析手段は、前記復号信号に対して前記分析処理を行うことにより下位層に関するパラメータを生成し、前記下位層に関するパラメータに対して、前記音声信号から前記復号信号に至るまでの特性の変化に基づく前記修正処理を行うことにより前記下位層のレイヤ情報を生成する、
請求項１記載の音声符号化装置。
【請求項４】
前記分析手段は、前記復号信号に対して、前記音声信号から前記復号信号に至るまでの特性の変化に基づく前記修正処理を行うことにより修正復号信号を生成し、前記修正復号信号に対して前記分析処理を行うことにより前記下位層のレイヤ情報を生成する、
請求項１記載の音声符号化装置。
【請求項５】
音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を入力して復号する音声復号装置であって、
前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成する第１の復号手段と、
前記第１の復号信号を入力し、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成する分析手段と、
前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成する第２の復号手段と、
を具備する音声復号装置。
【請求項６】
下位層のレイヤ情報を上位層で使用して音声信号を階層的に符号化する音声符号化方法であって、
前記音声信号を符号化して符号を生成するステップと、
前記符号を復号して復号信号を生成するステップと、
前記音声信号と前記復号信号との符号化残差を検出するステップと、
前記復号信号に関して、分析処理及び修正処理を行うことにより前記下位層のレイヤ情報を生成するステップと、
前記音声信号と前記下位層のレイヤ情報とを用いて前記符号化残差を符号化するステップと、
を具備する音声符号化方法。
【請求項７】
音声符号化装置において下位層の符号化側レイヤ情報を上位層で使用して音声信号を階層的に符号化して生成された符号化情報を復号する音声復号方法であって、
前記符号化情報のうち下位層に関する符号を復号して第１の復号信号を生成するステップと、
前記第１の復号信号に関して、分析処理及び修正処理を行うことにより下位層の復号側レイヤ情報を生成するステップと、
前記符号化情報のうち上位層に関する符号を、前記下位層の復号側レイヤ情報を用いて復号することにより第２の復号信号を生成するステップと、
を具備する音声復号方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010103854.tif 000022
【図２】
2010103854.tif 000023
【図３】
2010103854.tif 000024
【図４】
2010103854.tif 000025
【図５】
2010103854.tif 000026
【図６】
2010103854.tif 000027
【図７】
2010103854.tif 000028