(57)【要約】  上位の階層において下位の階層の符号化結果に基づいた最適な符号化を柔軟に行い、限られた環境下で良質な音声信号をユーザに提供する符号化装置。この符号化装置では、基本レイヤ符号化部（２０２）は、入力信号を符号化して基本レイヤ情報源符号を生成し、符号化の際に算出されるパラメータであるＬＰＣおよび量子化ＬＰＣを拡張レイヤ制御部（２０５）に出力する。基本レイヤ復号化部（２０３）は、基本レイヤ情報源符号を復号化する。加算部（２０４）は、基本レイヤ復号化信号の極性を反転させて入力信号と加算して差分信号を算出する。拡張レイヤ制御部（２０５）は、ＬＰＣおよび量子化ＬＰＣに基づいて、拡張レイヤにおける符号化モードを示す拡張レイヤモード情報を生成する。拡張レイヤ符号化部（２０６）は、拡張レイヤ制御部（２０５）の制御により、加算器（２０４）から得られる差分信号に対して符号化を行う。
2007105586.tif 000002
【特許請求の範囲】
【請求項１】
入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化装置であって、
入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化手段と、
第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化手段と、
前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算手段と、
第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化手段と、
所定の階層の符号化手段の符号化パラメータに基づいて前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する拡張レイヤ制御手段と、を具備する符号化装置。
【請求項２】
前記拡張レイヤ制御手段は、前記所定の階層の符号化手段の符号化パラメータに基づいて前記所定の階層よりも上位の階層の符号化手段におけるビットアロケーションを制御する請求項１に記載の符号化装置。
【請求項３】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１のＬＰＣ符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のＬＰＣ符号帳よりもサイズが小さい第２のＬＰＣ符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項４】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１の固定音源符号帳を用いて符号化を行い、前記閾値以下の場合には前記第１の固定音源符号帳よりもサイズが大きい第２の固定音源符号帳を用いて符号化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項５】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１のシェイプ符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のシェイプ符号帳よりもサイズが小さい第２のシェイプ符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項６】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１のゲイン符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のゲイン符号帳よりもサイズが小さい第２のゲイン符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項７】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のピッチゲインの大きさが、所定の閾値より大きい場合には第１のシェイプ符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のシェイプ符号帳よりもサイズが小さい第２のシェイプ符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項８】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のピッチゲインの大きさが、所定の閾値より大きい場合には第１のゲイン符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のゲイン符号帳よりもサイズが小さい第２のゲイン符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項９】
入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化方法であって、
入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化工程と、
第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化工程と、
前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算工程と、
第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化工程と、
所定の階層の符号化パラメータに基づいて前記所定の階層よりも上位の階層における符号化方法を制御する拡張レイヤ制御工程と、を具備する符号化方法。
【請求項１０】
コンピュータに、入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化方法を実行させるプログラムであって、
入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化手順と、
第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化手順と、
前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算手順と、
第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化手順と、
所定の階層の符号化パラメータに基づいて前記所定の階層よりも上位の階層における符号化方法を制御する拡張レイヤ制御手順と、を具備するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置および符号化方法に関する。
【背景技術】
【０００２】
近年、音声信号、楽音信号の符号化において、符号化情報の一部からでも音声・楽音信号を復号化でき、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術が開発されている（例えば、特許文献１参照）。このスケーラブル符号化技術は、符号化情報の一部からでも音声、楽音信号を復号化できるように音声信号、楽音信号を符号化するものであり、パケット損失が発生するような状況においても音質劣化を抑制することができる。具体的には、第１階層で入力信号を符号化して符号化情報を生成し、上位の第（ｉ−１）目の階層（ｉは２以上の整数）で、入力信号と第（ｉ−１）階層の符号化情報に応じて得られる復号化信号との差である残差信号を生成し、さらに上位の第ｉ階層で残差信号に応じて符号化することを繰り返す方法が知られている。【０００３】
また、スケーラブル符号化技術を用いて、下位の階層における符号化結果と予め定められた閾値との比較結果に基づき上位の階層の符号化部の動作・非動作を切り替えるという方法も提案されている（例えば、特許文献２参照）。
【特許文献１】特開平１０−９７２９５号公報
【特許文献２】特開２００５−８００６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の方法は、上位の階層において残差信号を符号化する際、下位の階層における符号化結果を特に考慮せずに予め決められた符号化方式により残差信号を符号化する方法であり、下位と上位の階層間の関係は固定的なものであるから、限られた環境下で良質な音声信号を提供するにあたり最適な符号化を行っているとは言えない。【０００５】
また、上記特許文献２の方法は、下位の階層の符号化結果を考慮しているものの、その主たる目的は、回線が輻輳した場合に送信バッファのオーバーフローを避けるために上位の階層のビットレートを調整することであり、回線が輻輳していない場合においては良質な音声信号を提供するにあたり最適な符号化を行っているとは言えない。【０００６】
本発明の目的は、上位の階層において残差信号を符号化する際に、下位の階層の符号化結果を考慮し、それに基づいた最適な符号化を柔軟に行うことにより、限られた環境下で良質な音声信号をユーザに提供することである。
【課題を解決するための手段】
【０００７】
本発明の符号化装置は、入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化装置であって、入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化手段と、第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化手段と、前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算手段と、第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化手段と、所定の階層の符号化手段の符号化パラメータに基づいて前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する拡張レイヤ制御手段と、を具備する構成を採る。【０００８】
本発明の符号化方法は、入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化方法であって、入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化工程と、第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化工程と、前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算工程と、第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化工程と、所定の階層の符号化パラメータに基づいて前記所定の階層よりも上位の階層における符号化方法を制御する拡張レイヤ制御工程と、を具備する方法を採る。
【発明の効果】
【０００９】
本発明によれば、スケーラブル符号化技術において、下位の階層の符号化結果を考慮し、下位の階層の符号化結果と上位の階層の符号化結果を組み合わせた上で最適な品質の音声信号となるように上位の階層の符号化方式を柔軟に切り替えることができるので、回線の輻輳状態に関係なく、ユーザに対し良質な音声信号を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る符号化装置および復号化装置を有する通信システムの構成を示す図
【図２】本発明の実施の形態１に係る符号化装置の構成を示すブロック図
【図３】本発明の実施の形態１に係る符号化情報のビットストリーム構造を示す図
【図４】本発明の実施の形態１に係る符号化装置の基本レイヤ符号化部の内部構成を示すブロック図
【図５】本発明の実施の形態１に係る符号化装置の基本レイヤ復号化部の内部構成を示すブロック図
【図６】本発明の実施の形態１に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図
【図７】本発明の実施の形態１に係る符号化装置の拡張レイヤ符号化部の内部構成を示すブロック図
【図８】本発明の実施の形態１に係る復号化装置の構成を示すブロック図
【図９】本発明の実施の形態１に係る復号化装置の拡張レイヤ復号化部の内部構成を示すブロック図
【図１０】本発明の実施の形態２に係る符号化装置の構成を示すブロック図
【図１１】本発明の実施の形態２に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図
【図１２】本発明の実施の形態２に係る符号化装置の拡張レイヤ符号化部の内部構成を示すブロック図
【図１３】本発明の実施の形態２に係る復号化装置の構成を示すブロック図
【図１４】本発明の実施の形態２に係る復号化装置の拡張レイヤ復号化部の内部構成を示すブロック図
【図１５】本発明の実施の形態３に係る符号化装置の構成を示すブロック図
【図１６】本発明の実施の形態３に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図
【図１７】本発明の実施の形態３に係る復号化装置の構成を示すブロック図
【図１８】本発明の実施の形態４に係る符号化装置の構成を示すブロック図
【図１９】本発明の実施の形態４に係る復号化装置の構成を示すブロック図
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を用いて説明する。なお、以下の説明において、符号化および復号化は、ＣＥＬＰ（Code-Excited Linear Prediction）方法を用いて、階層的に行われることとする。また、以下の説明では、基本レイヤと一つの拡張レイヤからなる二層のスケーラブル符号化技術を例に採る。ここで、各階層（以下、「レイヤ」という）は、下の方から、それぞれ、「基本レイヤ」、「第１の拡張レイヤ」、「第２の拡張レイヤ」、「第３の拡張レイヤ」、・・・といい、基本レイヤ以外のレイヤを「拡張レイヤ」という。【００１２】
スケーラブル符号化技術は、階層化することによって、通信速度を表すビットレートが充分確保できるときには、全てのレイヤのデータを送信し、ビットレートが充分確保できなくなったときには、ビットレートに応じて下位のレイヤから所定のレイヤまでのデータを送信し、スケーラビリティを確保する技術である。【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る符号化装置および復号化装置を有する通信システムのブロック構成を示す図である。図１において、通信システムは、符号化装置１０１と復号化装置１０３とを備える。【００１４】
符号化装置１０１は、入力信号と伝送モード情報を入力し、伝送モード情報に基づいて入力信号を符号化し、伝送路１０２を介して復号化装置１０３に符号化情報を送信する。復号化装置１０３は、伝送路１０２を介して符号化装置１０１から送信された符号化情報を受信して復号化し、復号化した伝送モード情報に基づいて出力信号を生成し、後工程の装置に出力する。ここで、伝送モード情報とは、符号化装置１０１が復号化装置１０３に伝送するビットレートを示し、ＢＲ１、ＢＲ２（ＢＲ１＜ＢＲ２）のいずれかの値をとるものとする。【００１５】
図２は、本実施の形態に係る符号化装置１０１の構成を示すブロック図である。符号化装置１０１は、図２に示すように、符号化動作制御部２０１と、基本レイヤ符号化部２０２と、基本レイヤ復号化部２０３と、加算部２０４と、拡張レイヤ制御部２０５と、拡張レイヤ符号化部２０６と、符号化情報統合部２０７と、制御スイッチ２０８、２０９と、から主に構成される。【００１６】
符号化動作制御部２０１には、伝送モード情報が入力される。符号化動作制御部２０１は、入力した伝送モード情報に応じて、制御スイッチ２０８、２０９のオン／オフ制御を行う。具体的には、符号化動作制御部２０１は、伝送モード情報がＢＲ２である場合、制御スイッチ２０８、２０９を全てオンにする。また、符号化動作制御部２０１は、伝送モード情報がＢＲ１である場合、制御スイッチ２０８、２０９を全てオフにする。なお、伝送モード情報は、上記のように符号化動作制御部２０１に入力されるとともに、図２のように符号化動作制御部２０１経由か、あるいは符号化動作制御部２０１を経由せずに直接、符号化情報統合部２０７にも入力される。このように、符号化動作制御部２０１が伝送モード情報に応じて制御スイッチ群をオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。【００１７】
基本レイヤ符号化部２０２は、音声信号等の入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行って基本レイヤ情報源符号を生成し、生成した基本レイヤ情報源符号を符号化情報統合部２０７および制御スイッチ２０９に出力する。また、基本レイヤ符号化部２０２は、入力信号の音声符号化の際に算出されるパラメータであるＬＰＣ（線形予測係数）および量子化ＬＰＣを拡張レイヤ制御部２０５に出力する。なお、基本レイヤ符号化部２０２の内部構成の詳細については後述する。【００１８】
基本レイヤ復号化部２０３は、制御スイッチ２０９がオンのとき、基本レイヤ符号化部２０２から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を加算器２０４に出力する。一方、基本レイヤ復号化部２０３は、制御スイッチ２０９がオフのときには何も動作しない。なお、基本レイヤ復号化部２０３の内部構成の詳細については後述する。【００１９】
加算部２０４は、制御スイッチ２０８がオンのとき、基本レイヤ復号化信号の極性を反転させて入力信号と加算することにより差分信号を算出し、差分信号を拡張レイヤ符号化部２０６に出力する。一方、加算部２０４は、制御スイッチ２０８がオフのときには何も動作しない。【００２０】
拡張レイヤ制御部２０５は、基本レイヤ符号化部２０２から出力されたＬＰＣおよび量子化ＬＰＣに基づいて拡張レイヤモード情報を生成し、拡張レイヤモード情報を拡張レイヤ符号化部２０６および符号化情報統合部２０７に出力する。拡張レイヤモード情報とは、拡張レイヤにおける符号化モードを示す情報であり、復号化装置において拡張レイヤ情報源符号を復号化する際に利用される。なお、拡張レイヤ制御部２０５の内部構成の詳細については後述する。【００２１】
拡張レイヤ符号化部２０６は、制御スイッチ２０８、２０９がオンのとき、拡張レイヤ制御部２０５の制御により、加算器２０４から得られる差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行って拡張レイヤ情報源符号を生成し、拡張レイヤ情報源符号を符号化情報統合部２０７に出力する。一方、拡張レイヤ符号化部２０６は、制御スイッチ２０８、２０９がオフのときには何も動作しない。なお、拡張レイヤ制御部２０５による拡張レイヤ符号化部２０６の制御方法の詳細については後述する。【００２２】
符号化情報統合部２０７は、基本レイヤ符号化部２０２および拡張レイヤ符号化部２０６から出力された情報源符号と、拡張レイヤ制御部２０５から出力された拡張レイヤモード情報と、符号化動作制御部２０１から出力された伝送モード情報と、を統合して符号化情報を生成し、生成した符号化情報を伝送路１０２に出力する。【００２３】
次に、伝送前符号化情報のデータ構造（ビットストリーム）について図３を用いて説明する。伝送モード情報がＢＲ１である場合、符号化情報は、図３Ａに示すように、伝送モード情報、基本レイヤ情報源符号および冗長部によって構成される。伝送モード情報がＢＲ２である場合、符号化情報は、図３Ｂに示すように、伝送モード情報、基本レイヤ情報源符号、拡張レイヤ情報源符号、拡張レイヤモード情報および冗長部によって構成される。ここで、図３中のデータ構造における冗長部とは、ビットストリーム中に用意される冗長的なデータ格納部であり、伝送誤り検出・訂正用のビットおよび、パケットの同期をとるためのカウンタ等に利用される。【００２４】
次に、図２の基本レイヤ符号化部２０２の内部構成について図４を用いて説明する。前処理部４０１は、入力信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Xin）をＬＰＣ分析部４０２および加算部４０５に出力する。【００２５】
ＬＰＣ分析部４０２は、Xinを用いて線形予測分析を行い、分析結果であるＬＰＣをＬＰＣ量子化部４０３および拡張レイヤ制御部２０５に出力する。ＬＰＣ量子化部４０３は、ＬＰＣ分析部４０２から出力されたＬＰＣの量子化処理を行い、量子化ＬＰＣを合成フィルタ４０４および拡張レイヤ制御部２０５に出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部４１４に出力する。合成フィルタ４０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部４１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部４０５に出力する。加算部４０５は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部４１２に出力する。【００２６】
適応音源符号帳４０６は、過去に加算部４１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部４１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部４０９に出力する。量子化利得生成部４０７は、パラメータ決定部４１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部４０９と乗算部４１０とに出力する。固定音源符号帳４０８は、パラメータ決定部４１３から出力された信号によって特定される形状を有するパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部４１０に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部４１０に出力してもよい。【００２７】
乗算部４０９は、量子化利得生成部４０７から出力された量子化適応音源利得を、適応音源符号帳４０６から出力された適応音源ベクトルに乗じて、加算部４１１に出力する。乗算部４１０は、量子化利得生成部４０７から出力された量子化固定音源利得を、固定音源符号帳４０８から出力された固定音源ベクトルに乗じて、加算部４１１に出力する。加算部４１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ４０４および適応音源符号帳４０６に出力する。なお、適応音源符号帳４０６に入力された駆動音源は、バッファに記憶される。【００２８】
聴覚重み付け部４１２は、加算部４０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部４１３に出力する。パラメータ決定部４１３は、聴覚重み付け部４１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳４０６、固定音源符号帳４０８及び量子化利得生成部４０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）及び音源利得符号（Ｇ）を多重化部４１４に出力する。【００２９】
多重化部４１４は、ＬＰＣ量子化部４０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部４１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して基本レイヤ情報源符号として出力する。【００３０】
次に、図２の基本レイヤ復号化部２０３の内部構成について図５を用いて説明する。多重化分離部５０１は、入力した基本レイヤ情報源符号を個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離する。ＬＰＣ符号（Ｌ）はＬＰＣ復号化部５０２に出力され、適応音源ベクトル符号（Ａ）は適応音源符号帳５０５に出力され、音源利得符号（Ｇ）は量子化利得生成部５０６に出力され、固定音源ベクトル符号（Ｆ）は固定音源符号帳５０７に出力される。【００３１】
適応音源符号帳５０５は、多重化分離部５０１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部５０８に出力する。量子化利得生成部５０６は、多重化分離部５０１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部５０８及び乗算部５０９に出力する。固定音源符号帳５０７は、多重化分離部５０１から出力された符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部５０９に出力する。【００３２】
乗算部５０８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部５１０に出力する。乗算部５０９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部５１０に出力する。加算部５１０は、乗算部５０８、５０９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとの加算を行い駆動音源を生成し、これを合成フィルタ５０３及び適応音源符号帳５０５に出力する。【００３３】
ＬＰＣ復号化部５０２は、多重化分離部５０１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ５０３に出力する。合成フィルタ５０３は、ＬＰＣ復号化部５０２によって復号化されたフィルタ係数を用いて、加算部５１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部５０４に出力する。後処理部５０４は、合成フィルタ５０３から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号として出力する。【００３４】
次に、図２の拡張レイヤ制御部２０５の内部構成及び拡張レイヤ制御部２０５による拡張レイヤ符号化部２０６の制御方法について図６を用いて説明する。拡張レイヤ制御部２０５は、量子化歪み算出部６０１と、閾値比較部６０２と、拡張レイヤモード情報決定部６０３と、から主に構成される。【００３５】
量子化歪み算出部６０１は、まず、以下の式（１）により、入力したＬＰＣからＬＰＣケプストラムを、量子化ＬＰＣから量子化ＬＰＣケプストラムをそれぞれ算出する。ここで、式（１）中のαは、基本レイヤ符号化部２０２から入力されるｐ次のＬＰＣ（あるいは量子化ＬＰＣ）を表し、ｃは、ＬＰＣケプストラム（あるいは量子化ＬＰＣケプストラム）を表す。
【数１】
2007105586.tif 000003
【００３６】
量子化歪み算出部６０１は、次に、以下の式（２）および式（３）により、上記式（１）で算出されたＬＰＣケプストラムと量子化ＬＰＣケプストラムとの間の距離（ＬＰＣケプストラム距離（ＣＤ））を算出する。算出されたＬＰＣケプストラム距離は、閾値比較部６０２に出力される。ここで、式（２）中のｃ１はＬＰＣケプストラムを表し、ｃ２は量子化ＬＰＣケプストラムを表す。
【数２】
2007105586.tif 000004
【数３】
2007105586.tif 000005
【００３７】
閾値比較部６０２は、量子化歪み算出部６０１から出力されたＬＰＣケプストラム距離と、内部に保持する予め定められた閾値とを比較し、比較結果を拡張レイヤモード情報決定部６０３に出力する。なお、ＬＰＣが１２次程度の場合には、閾値を１．０程度とするのが適当である。【００３８】
拡張レイヤモード情報決定部６０３は、閾値比較部６０２から出力された比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部２０６に出力する。具体的には、拡張レイヤモード情報決定部６０３は、ＬＰＣケプストラム距離が閾値よりも大きいという比較結果の場合、すなわち、ＬＰＣの量子化誤差が大きい場合には拡張レイヤの符号化モードをＭｏｄｅＡにし、ＬＰＣケプストラム距離が閾値以下であるという比較結果の場合、すなわち、ＬＰＣの量子化誤差が小さい場合には拡張レイヤの符号化モードをＭｏｄｅＢにする。【００３９】
次に、図２の拡張レイヤ符号化部２０６の内部構成について図７を用いて説明する。前処理部７０１は、残差信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Xin）をＬＰＣ分析部７０２および加算部７０５に出力する。【００４０】
ＬＰＣ分析部７０２は、Xinを用いて線形予測分析を行い、分析結果であるＬＰＣをＬＰＣ量子化部７０３に出力する。ＬＰＣ量子化部７０３は、拡張レイヤ制御部２０５から出力される拡張レイヤモード情報を利用して、ＬＰＣ分析部７０２から出力されたＬＰＣの量子化処理を行い、量子化ＬＰＣを合成フィルタ７０４に出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部７１４に出力する。ここで、ＬＰＣ量子化部７０３は、拡張レイヤモード情報に基づいて、ＬＰＣの量子化に用いる符号帳（ＬＰＣ符号帳）を適宜切り替えるものとする。具体的には、ＬＰＣ量子化部７０３は、拡張レイヤモード情報がＭｏｄｅＡすなわちＬＰＣの量子化誤差が大きい場合に予め備えられたＬＰＣ符号帳Ａを利用した量子化を行い、拡張レイヤモード情報がＭｏｄｅＢである場合すなわちＬＰＣの量子化誤差が小さい場合に予め備えられたＬＰＣ符号帳Ｂを利用した量子化を行う。ここで、ＬＰＣ符号帳Ｂは、ＬＰＣ符号帳Ａよりもサイズが小さい符号帳である。なお、本実施の形態では、ＬＰＣ符号帳Ｂのサイズをゼロ、すなわち拡張レイヤにおいてはＬＰＣを用いないとすることもできる。【００４１】
合成フィルタ７０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部７１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部７０５に出力する。加算部７０５は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部７１２に出力する。【００４２】
適応音源符号帳７０６は、過去に加算部７１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部７１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部７０９に出力する。量子化利得生成部７０７は、パラメータ決定部７１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部７０９と乗算部７１０とに出力する。【００４３】
固定音源符号帳群７０８は、複数の固定音源符号帳を備え、拡張レイヤ制御部２０５から出力される拡張レイヤモード情報に応じて一つの固定音源符号帳を選択する。具体的には、固定音源符号帳群７０８は、拡張レイヤモード情報がＭｏｄｅＡすなわちＬＰＣの量子化誤差が大きい場合に固定音源符号帳Ａを選択し、拡張レイヤモード情報がＭｏｄｅＢである場合すなわちＬＰＣの量子化誤差が小さい場合に固定音源符号帳Ａのサイズよりも大きい固定音源符号帳Ｂを選択する。ここで、各フレームにおける固定音源符号帳Ｂと固定音源符号帳Ａのサイズ差（ビット差）が、ＬＰＣ符号帳ＡとＬＰＣ符号帳Ｂのサイズ差（ビット差）と同じである場合、符号化に利用されるビットレートは等しくなる。例えば、ＬＰＣ符号は１フレーム単位に算出し、固定音源符号は１／４フレーム毎に算出する符号化方式において、ＬＰＣ符号帳Ａのサイズが２５６、ＬＰＣ符号帳Ｂのサイズが１６、固定音源符号帳Ａのサイズが１６、固定音源符号帳Ｂのサイズが３２という場合がその例に該当する。【００４４】
そして、固定音源符号帳群７０８は、選択した固定音源符号帳に保存された複数のパルス音源ベクトルの中から、パラメータ決定部７１３から出力された信号によって特定される形状を有するパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部７１０に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部７１０に出力してもよい。【００４５】
乗算部７０９は、量子化利得生成部７０７から出力された量子化適応音源利得を、適応音源符号帳７０６から出力された適応音源ベクトルに乗じて、加算部７１１に出力する。乗算部７１０は、量子化利得生成部７０７から出力された量子化固定音源利得を、固定音源符号帳群７０８から出力された固定音源ベクトルに乗じて、加算部７１１に出力する。加算部７１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ７０４および適応音源符号帳７０６に出力する。なお、適応音源符号帳７０６に入力された駆動音源は、バッファに記憶される。【００４６】
聴覚重み付け部７１２は、加算部７０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部７１３に出力する。パラメータ決定部７１３は、聴覚重み付け部７１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳７０６、固定音源符号帳群７０８及び量子化利得生成部７０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）及び音源利得符号（Ｇ）を多重化部７１４に出力する。【００４７】
多重化部７１４は、ＬＰＣ量子化部７０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部７１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して拡張レイヤ情報源符号として出力する。【００４８】
次に、図１の復号化装置１０３の構成について図８を用いて説明する。復号化装置１０３は、復号化動作制御部８０１と、基本レイヤ復号化部８０２と、拡張レイヤ復号化部８０３と、制御スイッチ８０５と、加算部８０４と、から主に構成される。【００４９】
復号化動作制御部８０１は、符号化装置１０１から伝送路１０２を介して伝送される符号化情報を入力する。復号化動作制御部８０１は、符号化情報を、伝送モード情報、拡張レイヤモード情報および各レイヤの情報源符号に分離し、伝送モード情報に応じて制御スイッチ８０５のオン／オフ状態を制御する。また、復号化動作制御部８０１は、基本レイヤ復号化部８０２、拡張レイヤ復号化部８０３に、それぞれ各レイヤに対応する情報源符号および拡張レイヤモード情報を出力する。具体的には、復号化動作制御部８０１は、伝送モード情報がＢＲ２である場合は、制御スイッチ８０５をオン状態にし、基本レイヤ情報源符号を基本レイヤ復号化部８０２に、拡張レイヤモード情報および拡張レイヤ情報源符号を拡張レイヤ復号化部８０３に、それぞれ出力する。また、復号化動作制御部８０１は、伝送モード情報がＢＲ１である場合は、制御スイッチ８０５をオフ状態にし、基本レイヤ情報源符号を基本レイヤ復号化部８０２に出力する。またこの時、復号化動作制御部８０１は、拡張レイヤ復号化部８０３には何も出力しない。【００５０】
基本レイヤ復号化部８０２は、復号化動作制御部８０１から基本レイヤ情報源符号を入力し、これをＣＥＬＰタイプの音声復号化方法により復号化し、復号化信号を基本レイヤ復号化信号として加算部８０４に出力する。なお、図８の基本レイヤ復号化部８０２の内部構成は、図５に示した基本レイヤ復号化部２０３の内部構成と同一である。【００５１】
拡張レイヤ復号化部８０３は、制御スイッチ８０５がオン状態である場合、復号化動作制御部８０１から拡張レイヤモード情報および拡張レイヤ情報源符号を入力し、拡張レイヤモード情報に応じて拡張レイヤ情報源符号をＣＥＬＰタイプの音声復号化方法により復号化し、復号化信号を拡張レイヤ復号化信号として加算部８０４に出力する。一方、拡張レイヤ復号化部８０３は、制御スイッチ８０５がオフ状態である場合、何も動作しない。なお、拡張レイヤ復号化部８０３の構成については後述する。【００５２】
加算部８０４は、制御スイッチ８０５がオン状態である場合は、基本レイヤ復号化部８０２から基本レイヤ復号化信号を入力し、また拡張レイヤ復号化部８０３から拡張レイヤ復号化信号を入力し、これらの信号を加算した後、これを出力信号として後工程の装置に出力する。一方、加算部８０４は、制御スイッチ８０５がオフ状態である場合は、基本レイヤ復号化部８０２から基本レイヤ復号化信号を入力し、これを出力信号として後工程の装置に出力する。【００５３】
次に、図８の拡張レイヤ復号化部８０３の内部構成について図９を用いて説明する。図９において、多重化分離部９０１は、復号化動作制御部８０１から出力された拡張レイヤ情報源符号を個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離する。ＬＰＣ符号（Ｌ）はＬＰＣ復号化部９０２に出力され、適応音源ベクトル符号（Ａ）は適応音源符号帳９０５に出力され、音源利得符号（Ｇ）は量子化利得生成部９０６に出力され、固定音源ベクトル符号（Ｆ）は固定音源符号帳群９０７に出力される。【００５４】
ＬＰＣ復号化部９０２は、復号化動作制御部８０１から出力された拡張レイヤモード情報を用いて、多重化分離部９０１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ９０３に出力する。ここで、ＬＰＣ復号化部９０２は、拡張レイヤモード情報に基づいて、ＬＰＣの復号化に用いる符号帳（ＬＰＣ符号帳）を適宜切り替える。具体的には、ＬＰＣ復号化部９０２は、拡張レイヤモード情報がＭｏｄｅＡである場合には、予め備えられたＬＰＣ符号帳Ａを利用した復号化を行い、拡張レイヤモード情報がＭｏｄｅＢである場合には、予め備えられたＬＰＣ符号帳Ｂを利用した復号化を行う。ここで、ＬＰＣ符号帳Ｂは、ＬＰＣ符号帳Ａよりもサイズが小さい符号帳である。なお、本実施の形態では、ＬＰＣ符号帳Ｂのサイズをゼロ、すなわち拡張レイヤにおいてはＬＰＣを用いないとすることもできる。【００５５】
適応音源符号帳９０５は、多重化分離部９０１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部９０８に出力する。量子化利得生成部９０６は、多重化分離部９０１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部９０８及び乗算部９０９に出力する。【００５６】
固定音源符号帳群９０７は、複数の固定音源符号帳を備え、復号化動作制御部８０１から出力される拡張レイヤモード情報に応じて一つの固定音源符号帳を選択する。具体的には、固定音源符号帳群９０７は、拡張レイヤモード情報がＭｏｄｅＡである場合に固定音源符号帳Ａを選択し、拡張レイヤモード情報がＭｏｄｅＢである場合に固定音源符号帳Ｂを選択する。そして、固定音源符号帳群９０７は、選択した固定音源符号帳に保存された複数のパルス音源ベクトルの中から、多重化分離部９０１から出力された符号（Ｆ）で指定されるパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部９０９に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部９０９に出力してもよい。【００５７】
乗算部９０８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部９１０に出力する。乗算部９０９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部９１０に出力する。加算部９１０は、乗算部９０８、９０９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ９０３及び適応音源符号帳９０５に出力する。【００５８】
合成フィルタ９０３は、ＬＰＣ復号化部９０２によって復号化されたフィルタ係数を用いて、加算部９１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部９０４に出力する。後処理部９０４は、合成フィルタから出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、拡張レイヤ復号化信号として出力する。【００５９】
以上説明したように、本実施の形態によれば、スケーラブル符号化技術を用いて符号化を行う符号化装置において、下位の階層の符号化結果に基づいて、ＬＰＣ、固定音源符号などのパラメータ間でのビットアロケーションを変更する等の上位の階層における符号化方法を柔軟に変更することができるので、下位の階層の符号化結果と組み合わせた場合により良質な音声信号をユーザに提供する通信システムを実現することができる。【００６０】
なお、本実施の形態では、符号化装置において、下位の階層のＬＰＣの歪み（ＬＰＣケプストラム距離）を利用して、上位の階層の符号化時に、サイズの小さいＬＰＣ符号帳を用いることによりＬＰＣに割り当てるビット数を減らすとともに、サイズの大きい固定音源符号帳を用いることにより固定音源符号に割り当てるビットを増やすという場合を例に挙げて説明したが、本発明はこれに限らず、上位の階層の符号化時に、サイズの大きいＬＰＣ符号帳とサイズの小さい固定音源符号帳を用いる場合についても同様に適用される。【００６１】
また、本実施の形態では、符号化装置において、下位の階層のＬＰＣの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のＳＮＲ（信号対雑音比）に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部２０２内の合成フィルタ４０４において、ＬＰＣ量子化部４０３から出力されるＬＰＣ量子化係数と、適応音源符号帳４０６から出力される適応音源符号に利得を乗じた値とから合成される合成音のＳＮＲを算出し、これを拡張レイヤ制御部２０５内の閾値比較部６０２に出力する。閾値比較部６０２は、入力されたＳＮＲと、内部に予め格納された閾値とを比較し、比較結果を拡張レイヤモード情報決定部６０３に出力する。拡張レイヤモード情報決定部６０３は、閾値比較部６０２から出力された比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部２０６に出力する。具体的には、拡張レイヤモード情報決定部６０３は、基本レイヤ符号化部２０２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＡにし、基本レイヤ符号化部２０２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＢにする。【００６２】
また、上述したＬＰＣケプストラム距離を用いた拡張レイヤ制御方法、及び利得を乗じた適応音源符号とＬＰＣ係数から合成される合成音のＳＮＲを用いた拡張レイヤ制御方法を組合せることにより、上位の階層での符号化において、ＬＰＣ、適応音源符号、固定音源符号という３つのパラメータ間でのビット調整も可能である。【００６３】
（実施の形態２）
上記実施の形態１では、下位レイヤ、上位レイヤ共にＣＥＬＰタイプの符号化方法を用いるスケーラブル符号化方式について説明したが、本発明はこれに限らず、上位レイヤにおいてＣＥＬＰタイプ以外の符号化方法を用いるスケーラブル符号化方式においても同様に適用できる。実施の形態２では、下位レイヤにてＣＥＬＰタイプの符号化を行い、上位レイヤでは変換符号化を行う場合のスケーラブル符号化方式に本発明を適用する場合について説明する。本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図１と同一であるので説明を省略する。【００６４】
図１０は、本実施の形態に係る符号化装置１０１の構成を示すブロック図である。符号化装置１０１は、図１０に示すように符号化動作制御部１００１と、基本レイヤ符号化部１００２と、拡張レイヤ制御部１００３と、基本レイヤ復号化部１００４と、第１周波数領域変換部１００５と、遅延部１００６と、第２周波数領域変換部１００７と、拡張レイヤ符号化部１００８と、多重化部１００９と、から主に構成される。【００６５】
符号化動作制御部１００１には、伝送モード情報が入力される。符号化動作制御部１００１は、入力した伝送モード情報に応じて、制御スイッチ１０１０〜１０１２のオン／オフ制御を行う。具体的には、符号化動作制御部１００１は、伝送モード情報がＢＲ２である場合、制御スイッチ１０１０〜１０１２を全てオンにする。また、符号化動作制御部１００１は、伝送モード情報がＢＲ１である場合、制御スイッチ１０１０〜１０１２を全てオフにする。なお、伝送モード情報は、上記のように符号化動作制御部１００１に入力されるとともに、図１０のように符号化動作制御部１００１経由か、あるいは符号化動作制御部１００１を経由せずに直接、多重化部１００９にも入力される。このように、符号化動作制御部１００１が伝送モード情報に応じて制御スイッチ群をオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。【００６６】
基本レイヤ符号化部１００２は、音声信号等の入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行って基本レイヤ情報源符号を生成し、生成した基本レイヤ符号化情報を多重化部１００９および制御スイッチ１０１２に出力する。また、基本レイヤ符号化部１００２は、入力信号の音声符号化の際に算出されるパラメータであるＬＰＣ（線形予測係数）および量子化ＬＰＣを制御スイッチ１０１１に出力する。なお、基本レイヤ符号化部１００２の内部構成は、図４に示した基本レイヤ符号化部２０２のものと同一であるので、その説明は省略する。【００６７】
拡張レイヤ制御部１００３は、制御スイッチ１０１１がオンのとき、基本レイヤ符号化部１００２から出力されたＬＰＣおよび量子化ＬＰＣに基づいて拡張レイヤモード情報を生成し、拡張レイヤモード情報を拡張レイヤ符号化部１００８および多重化部１００９に出力する。拡張レイヤモード情報とは、拡張レイヤにおける符号化モードを示す情報であり、復号化装置において拡張レイヤ符号化情報を復号化する際に利用される。なお、拡張レイヤ制御部１００３の内部構成の詳細については後述する。また、拡張レイヤ制御部１００３は、制御スイッチ１０１１がオフの時には何も動作しない。【００６８】
基本レイヤ復号化部１００４は、制御スイッチ１０１２がオンのとき、基本レイヤ符号化部１００２から出力された基本レイヤ符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を第１周波数領域変換部１００５に出力する。一方、基本レイヤ復号化部１００４は、制御スイッチ１０１２がオフのときには何も動作しない。なお、基本レイヤ復号化部１００４の内部構成は、図５の基本レイヤ復号化部２０３のものと同一であるので、その説明は省略する。【００６９】
第１周波数領域変換部１００５は、基本レイヤ復号化部１００４から入力される基本レイヤ復号化信号に対して修正離散コサイン変換（ＭＤＣＴ）を行い、周波数領域のパラメータとして得られる基本レイヤ復号化ＭＤＣＴ係数を拡張レイヤ符号化部１００８に出力する。【００７０】
第１周波数領域変換部１００５は、Ｎ個のバッファを内蔵し、まず、下記の式（４）に従い、「０」値を用いて各バッファを初期化する。なお、式（４）において、ｂｕｆn（ｎ＝０、…、Ｎ−１）は第１周波数領域変換部１００５が内蔵しているＮ個のバッファの中のｎ＋１番目を示す。
【数４】
2007105586.tif 000006
【００７１】
次いで、第１周波数領域変換部１００５は、下記の式（５）に従い、基本レイヤ復号化信号ｘ１n を修正離散コサイン変換して基本レイヤ復号化ＭＤＣＴ係数Ｘ１k を求める。式（５）において、ｋは１フレームにおける各サンプルのインデックスを示す。なお、ｘ１’nは、下記の式（６）に従い、基本レイヤ復号化信号ｘ１n とバッファｂｕｆn とを結合させたベクトルである。
【数５】
2007105586.tif 000007
【数６】
2007105586.tif 000008
【００７２】
次いで、第１周波数領域変換部１００５は、下記の式（７）に示すようにバッファｂｕｆn（ｎ＝０、…、Ｎ−１）を更新する。
【数７】
2007105586.tif 000009
【００７３】
次いで、第１周波数領域変換部１００５は、求められた基本レイヤ復号化ＭＤＣＴ係数Ｘ１kを拡張レイヤ符号化部１００８に出力する。【００７４】
遅延部１００６は、制御スイッチ１０１０がオンのとき、入力される音声・オーディオ信号を内蔵のバッファに記憶し、所定時間経過後に音声・オーディオ信号を第２周波数領域変換部１００７に出力する。ここで、所定時間は、基本レイヤ符号化部１００２、基本レイヤ復号化部１００４、第１周波数領域変換部１００５、および第２周波数領域変換部１００７において生じるアルゴリズム遅延を考慮した時間である。また、遅延部１００６は、制御スイッチ１０１０がオフの時には何も動作しない。【００７５】
第２周波数領域変換部１００７は、制御スイッチ１０１０がオンのとき、遅延部１００６から入力される音声・オーディオ信号に対してＭＤＣＴを行い、周波数領域のパラメータとして得られる入力ＭＤＣＴ係数を拡張レイヤ符号化部１００８に出力する。ここで、第２周波数領域変換部１００７における周波数変換方法は、第１周波数領域変換部１００５における処理と同様であるため説明を省略する。また、第２周波数領域変換部１００７は、制御スイッチ１０１０がオフの時には何も動作しない。【００７６】
拡張レイヤ符号化部１００８は、制御スイッチ１０１０、１０１１、１０１２がオンのとき、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報と、第１周波数領域変換部１００５から入力される基本レイヤ復号化ＭＤＣＴ係数および第２周波数領域変換部１００７から入力される入力ＭＤＣＴ係数とを用いて拡張レイヤ符号化を行い、得られる拡張レイヤ符号化情報を多重化部１００９に出力する。拡張レイヤ符号化部１００８の内部の構成および具体的な動作については後述する。また、拡張レイヤ符号化部１００８は、制御スイッチ１０１０、１０１１、１０１２がオフの時には何も動作しない。【００７７】
多重化部１００９は、基本レイヤ符号化部１００２から入力される基本レイヤ符号化情報、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報、拡張レイヤ符号化部１００８から入力される拡張レイヤ符号化情報、及び符号化動作制御部１００１から入力される伝送モード情報を多重化し、得られるビットストリームを復号化装置に送信する。【００７８】
なお、伝送前符号化情報のデータ構造（ビットストリーム）については、実施の形態１で説明したものと同様であるため、ここでは説明を省略する。【００７９】
次に、図１０の拡張レイヤ制御部１００３の内部構成について図１１を用いて説明する。拡張レイヤ制御部１００３は、量子化歪み算出部１１０１と、拡張レイヤモード情報決定部１１０２と、から主に構成される。【００８０】
量子化歪み算出部１１０１は、まず上記式（１）により、入力したＬＰＣからＬＰＣケプストラムを、量子化ＬＰＣから量子化ＬＰＣケプストラムをそれぞれ算出し、次に、上記式（２）及び式（３）により、式（１）で算出されたＬＰＣケプストラムと量子化ＬＰＣケプストラムとの間の距離（ＬＰＣケプストラム距離（ＣＤ））を算出し、算出したＬＰＣケプストラム距離を拡張レイヤモード情報決定部１１０２に出力する。【００８１】
拡張レイヤモード情報決定部１１０２は、量子化歪み算出部１１０１から出力されたＬＰＣケプストラム距離と、内部に保持する予め定められた閾値とを比較し、その比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１１０２は、ＬＰＣケプストラム距離が閾値よりも大きいという比較結果の場合、すなわち、ＬＰＣの量子化誤差が大きい場合には拡張レイヤの符号化モードをＭｏｄｅＡにし、ＬＰＣケプストラム距離が閾値以下であるという比較結果の場合、すなわち、ＬＰＣの量子化誤差が小さい場合には拡張レイヤの符号化モードをＭｏｄｅＢにする。なお、ＬＰＣが１２次程度の場合には、閾値を１．０程度とするのが適当である。【００８２】
次に、図１０の拡張レイヤ符号化部１００８の内部構成について図１２を用いて説明する。拡張レイヤ符号化部１００８は、残差ＭＤＣＴ係数算出部１２０１と、帯域選択部１２０２と、シェイプ量子化部１２０３と、ゲイン量子化部１２０４と、多重化部１２０５と、から主に構成される。【００８３】
残差ＭＤＣＴ係数算出部１２０１は、第１周波数領域変換部１００５から入力される基本レイヤ復号化ＭＤＣＴ係数Ｘ１kと第２周波数領域変換部１００７から入力される入力ＭＤＣＴ係数Ｘkとの残差を求め、残差ＭＤＣＴ係数Ｘ２kとして帯域選択部１２０２に出力する。【００８４】
帯域選択部１２０２は、まず、残差ＭＤＣＴ係数を複数のサブバンドに分割する。ここでは、Ｊ（Ｊは自然数）個のサブバンドに均等に分割する場合を例に説明する。帯域選択部１２０２は、Ｊ個のサブバンドの中で連続するＬ（Ｌは自然数）個のサブバンドを選択し、Ｍ（Ｍは自然数）種類のサブバンドのグループを得る。以下、このＭ種類のサブバンドのグループをリージョンと呼ぶ。【００８５】
次いで、帯域選択部１２０２は、下記の式（８）に従い、Ｍ種類の各リージョンの平均エネルギＥ（ｍ）を算出する。
【数８】
2007105586.tif 000010
【００８６】
この式において、ｊはＪ個の各サブバンドのインデックスを示し、ｍは、Ｍ種類の各リージョンのインデックスを示す。なお、Ｓ（ｍ）は、リージョンｍを構成するＬ個のサブバンドのインデックスのうちの最小値を示し、Ｂ（ｊ）は、サブバンドｊを構成する複数のＭＤＣＴ係数のインデックスのうちの最小値を示す。Ｗ（ｊ）は、サブバンドｊのバンド幅を示し、以下の説明では、Ｊ個の各サブバンドのバンド幅が全て等しい場合、すなわちＷ（ｊ）が定数である場合を例にとって説明する。【００８７】
次いで、帯域選択部１２０２は、平均エネルギＥ（ｍ）が最大となるリージョン、例えばサブバンドｊ”〜ｊ”＋Ｌ−１からなる帯域を量子化対象となる帯域（量子化対象帯域）として選択し、このリージョンを示すインデックスｍ＿ｍａｘを帯域情報としてシェイプ量子化部１２０３、ゲイン量子化部１２０４、および多重化部１２０５に出力する。また、帯域選択部１２０２は、残差ＭＤＣＴ係数をシェイプ量子化部１２０３に出力する。なお、残差ＭＤＣＴ係数は、上記のように帯域選択部１２０２に入力されるとともに、図１２のように、帯域選択部１２０２経由か、あるいは帯域選択部１２０２を経由せずに直接、シェイプ量子化部１２０３にも入力される。【００８８】
シェイプ量子化部１２０３は、帯域選択部１２０２から入力される帯域情報ｍ＿ｍａｘが示す帯域に対応する残差ＭＣＤＴ係数に対して、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報を利用して、サブバンド毎にシェイプ量子化を行う。具体的には、シェイプ量子化部１２０３は、拡張レイヤモード情報がＭｏｄｅＡの場合には、Ｌ個の各サブバンド毎に、ＳＱＡ個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索して下記の式（９）の結果が最大となるシェイプコードベクトルのインデックスを求める。
【数９】
2007105586.tif 000011
【００８９】
この式（９）において、ＳＣはシェイプコードブックを構成するシェイプコードベクトルｋを示し、ｉはシェイプコードベクトルのインデックスを示し、ｋはシェイプコードベクトルの要素のインデックスを示す。【００９０】
また、シェイプ量子化部１２０３は、拡張レイヤモード情報がＭｏｄｅＢの場合には、Ｌ個の各サブバンド毎に、ＳＱＢ（ＳＱＢ＜ＳＱＡ）個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索して下記の式（１０）の結果が最大となるシェイプコードベクトルのインデックスを求める。
【数１０】
2007105586.tif 000012
【００９１】
シェイプ量子化部１２０３は、上記の式（９）あるいは式（１０）の結果が最大となるシェイプコードベクトルのインデックスＳ＿ｍａｘをシェイプ符号化情報として多重化部１２０５に出力する。また、シェイプ量子化部１２０３は、下記の式（１１）に従い、理想ゲイン値Ｇａｉｎ＿ｉ（ｊ）を算出してゲイン量子化部１２０４に出力する。
【数１１】
2007105586.tif 000013
【００９２】
ゲイン量子化部１２０４は、シェイプ量子化部１２０３から入力される理想ゲイン値Ｇａｉｎ＿ｉ（ｊ）に対して、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報を利用して、ゲイン値のベクトル量子化を行う。具体的には、ゲイン量子化部１２０４は、拡張レイヤモード情報がＭｏｄｅＡの場合には、理想ゲイン値をＬ次元ベクトルとして扱い、ＧＱＡ個のゲインコードベクトルからなる内蔵のゲインコードブックを探索して下記の式（１２）を最小にするコードブックのインデックスを求める。なお、上記の式（１２）を最小にするコードブックのインデックスをＧ＿ｍｉｎと記す。
【数１２】
2007105586.tif 000014
【００９３】
また、ゲイン量子化部１２０４は、拡張レイヤモード情報がＭｏｄｅＢの場合には、理想ゲイン値をＬ次元ベクトルとして扱い、ＧＱＢ（ＣＱＢ＜ＣＱＡ）個のゲインコードベクトルからなる内蔵のゲインコードブックを探索して下記の式（１３）を最小にするコードブックのインデックスを求める。
【数１３】
2007105586.tif 000015
【００９４】
ゲイン量子化部１２０４は、式（１２）あるいは式（１３）の結果が最小となるゲインコードベクトルのインデックスＧ＿ｍｉｎをゲイン符号化情報として多重化部１２０５に出力する。【００９５】
多重化部１２０５は、帯域選択部１２０２から入力される帯域情報ｍ＿ｍａｘ、シェイプ量子化部１２０３から入力されるシェイプ符号化情報Ｓ＿ｍａｘ、ゲイン量子化部１２０４から入力されるゲイン符号化情報Ｇ＿ｍｉｎを多重化し、得られるビットストリームを拡張レイヤ符号化情報として多重化部１００９に出力する。なお、これら情報を、多重化部１２０５で多重化せず、多重化部１００９に直接入力して、多重化部１００９で多重化してもよい。【００９６】
図１３は、本実施の形態に係る復号化装置１０３の主要な構成を示すブロック図である。図１３において、復号化装置１０３は、分離部１３０１と、基本レイヤ復号化部１３０２と、周波数領域変換部１３０３と、復号化動作制御部１３０４と、拡張レイヤ復号化部１３０５と、時間領域変換部１３０６と、から主に構成される。【００９７】
分離部１３０１は、符号化装置１０１から伝送されるビットストリームから基本レイヤ符号化情報、拡張レイヤ符号化情報、伝送モード情報、及び拡張レイヤモード情報を分離し、基本レイヤ符号化情報を基本レイヤ復号化部１３０２に出力し、拡張レイヤモード情報及び拡張レイヤ符号化情報を拡張レイヤ復号化部１３０５に出力し、伝送モード情報を復号化動作制御部１３０４に出力する。【００９８】
基本レイヤ復号化部１３０２は、分離部１３０１から出力された基本レイヤ符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を周波数領域変換部１３０３及び制御スイッチ１３０７に出力する。なお、基本レイヤ復号化部１３０２の内部構成は、図５の基本レイヤ復号化部２０３のものと同一であるので、その説明は省略する。【００９９】
周波数領域変換部１３０３は、基本レイヤ復号化部１３０２から入力される基本レイヤ復号化信号に対して修正離散コサイン変換（ＭＤＣＴ）を行い、周波数領域のパラメータとして得られる基本レイヤ復号化ＭＤＣＴ係数を拡張レイヤ復号化部１３０５に出力する。【０１００】
復号化動作制御部１３０４は、分離部１３０１から入力される伝送モード情報に応じて制御スイッチ１３０７のオン／オフの動作と、周波数領域変換部１３０３、拡張レイヤ復号化部１３０５、時間領域変換部１３０６の動作を制御する。具体的には、伝送モード情報がＢＲ２であった場合、復号化動作制御部１３０４は、周波数領域変換部１３０３、拡張レイヤ復号化部１３０５、時間領域変換部１３０６の動作をオン状態にし、また制御スイッチ１３０７を時間領域変換部１３０６側に接続する。また、伝送モード情報がＢＲ１であった場合、復号化動作制御部１３０４は、周波数領域変換部１３０３、拡張レイヤ復号化部１３０５、時間領域変換部１３０６の動作をオフ状態にし、また制御スイッチ１３０７を基本レイヤ復号化部１３０２側に接続する。このように、復号化動作制御部１３０４が伝送モード情報に応じて制御スイッチ、及び処理ブロックをオン／オフ制御することにより、符号化情報の復号化に用いる符号化部の組み合わせが決定される。【０１０１】
拡張レイヤ復号化部１３０５は、分離部１３０１から拡張レイヤ符号化情報及び拡張レイヤモード情報が入力され、また周波数領域変換部１３０３から基本レイヤ復号化ＭＤＣＴ係数Ｘ”１kが入力される。拡張レイヤ復号化部１３０５は、復号化動作制御部１３０４によりオン状態に制御されているとき、入力された情報から、加算ＭＤＣＴ係数Ｘ”kを算出し、これを時間領域変換部１３０６に出力する。拡張レイヤ復号化部１３０５は、復号化動作制御部１３０４によりオフ状態に制御されているときは何も動作しない。拡張レイヤ復号化部１３０５の処理の詳細については、後述する。【０１０２】
時間領域変換部１３０６は、復号化動作制御部１３０４によりオン状態に制御されているとき、拡張レイヤ復号部１３０５から入力される加算ＭＤＣＴ係数Ｘ”kに対してＩＭＤＣＴを行い、時間領域成分として得られる復号化信号を制御スイッチ１３０７に出力する。時間領域変換部１３０６は、復号化動作制御部１３０４によりオフ状態に制御されているときは何も動作しない。【０１０３】
以下、時間領域変換部１３０６がオン状態に制御されているときの処理を説明する。時間領域変換部１３０６は、バッファｂｕｆ´kを内部に有し、式（１４）により初期化される。
【数１４】
2007105586.tif 000016
【０１０４】
時間領域変換部１３０６は、拡張レイヤ復号化部１３０５から入力される加算レイヤ復号ＭＤＣＴ係数Ｘ”kを用いて、下記の式（１５）に従い拡張レイヤ復号化信号Ｙｎを求める。この式（１５）において、Ｘ’kは、復号ＭＤＣＴ係数Ｘ” とバッファｂｕｆ´k とを結合させたベクトルであり、下記の式（１６）を用いて求められる。
【数１５】
2007105586.tif 000017
【数１６】
2007105586.tif 000018
【０１０５】
次いで、時間領域変換部１３０６は、下記の式（１７）に従いバッファｂｕｆ´k を更新する。
【数１７】
2007105586.tif 000019
【０１０６】
時間領域変換部１３０６は、求められる拡張レイヤ復号化信号Ｙｎを制御スイッチ１３０７に出力する。【０１０７】
制御スイッチ１３０７は、復号化動作制御部１３０４の制御に基づいて、基本レイヤ復号化部１３０２から出力された基本レイヤ復号化信号あるいは時間領域変換部１３０６から出力された拡張レイヤ復号化信号を出力信号として出力する。【０１０８】
図１４は、拡張レイヤ復号化部１３０５の内部構成を示す図である。拡張レイヤ復号化部１３０５は、分離部１４０１と、シェイプ逆量子化部１４０２と、ゲイン逆量子化部１４０３と、加算ＭＤＣＴ係数算出部１４０４と、から主に構成される。【０１０９】
分離部１４０１は、分離部１３０１から入力される拡張レイヤ符号化情報から帯域情報、シェイプ符号化情報、及びゲイン符号化情報を分離し、帯域情報及びシェイプ符号化情報をシェイプ逆量子化部１４０２に、ゲイン符号化情報をゲイン逆量子化部１４０３に出力する。なお、分離部１４０１を設けずに、分離部１３０１でこれら情報を分離して、これら情報を直接、シェイプ逆量子化部１４０２、ゲイン逆量子化部１４０３に入力してもよい。【０１１０】
シェイプ逆量子化部１４０２は、シェイプ量子化部１２０３が備えるシェイプコードブックと同様なシェイプコードブックを内蔵し、分離部１４０１から入力されるシェイプ符号化情報Ｓ＿ｍａｘをインデックスとするシェイプコードベクトルを探索する。この時、シェイプ逆量子化部１４０２は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＡの時には、ＳＱＡ個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索し、探索されたコードベクトルを分離部１４０１から入力される帯域情報ｍ＿ｍａｘが示す量子化対象帯域のＭＤＣＴ係数のシェイプの値としてゲイン逆量子化部１４０３に出力する。また、シェイプ逆量子化部１４０２は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＢの時には、ＳＱＢ個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索し、探索されたコードベクトルを、分離部１４０１から入力される帯域情報ｍ＿ｍａｘが示す量子化対象帯域のＭＤＣＴ係数のシェイプの値としてゲイン逆量子化部１４０３に出力する。ここでは、シェイプの値として探索されたシェイプコードベクトルをＳｈａｐｅ＿ｑ（ｋ）（ｋ＝Ｂ（ｊ”），…，Ｂ（ｊ”＋Ｌ）−１）と記す。【０１１１】
ゲイン逆量子化部１４０３は、ゲイン量子化部１２０４と同様なゲインコードブックを内蔵しており、下記の式（１８）に従いゲインの値を逆量子化する。ここでは、ゲイン値をＬ次元ベクトルとして扱い、ベクトル逆量子化を行う。このとき、ゲイン逆量子化部１４０３は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＡの時には、ＧＱＡ個のゲインコードベクトルからなる内蔵のゲインコードブックを探索し、ゲインの逆量子化を行う。また、ゲイン逆量子化部１４０３は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＢの時には、ＧＱＢ個のゲインコードベクトルからなる内蔵のゲインコードブックを探索し、ゲインの逆量子化を行う。
【数１８】
2007105586.tif 000020
【０１１２】
次いで、ゲイン逆量子化部１４０３は、逆量子化で得られるゲイン値、およびシェイプ逆量子化部１４０２から入力されるシェイプの値を用いて、下記の式（１９）に従い拡張レイヤＭＤＣＴ係数を算出する。ここでは、算出された復号ＭＤＣＴ係数をＸ”kと記す。
【数１９】
2007105586.tif 000021
【０１１３】
ゲイン逆量子化部１４０３は、上記の式（１９）に従い算出された拡張レイヤＭＤＣＴ係数Ｘ”２kを加算ＭＤＣＴ係数算出部１４０４に出力する。【０１１４】
加算ＭＤＣＴ係数算出部１４０４は、周波数領域変換部１３０３から入力される基本レイヤ復号ＭＤＣＴ係数Ｘ”１kと、ゲイン逆量子化部１４０３から入力される拡張レイヤ復号ＭＤＣＴ係数Ｘ”２kとを加算し、得られる加算結果を加算ＭＤＣＴ係数Ｘ” kとして時間領域変換部１３０６に出力する。【０１１５】
以上説明したように、本実施の形態によれば、下位レイヤでＣＥＬＰタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用いる場合のスケーラブル符号化方式において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法（ビットアロケーション）を切り替えることにより、良好な品質の出力信号を提供することができる。【０１１６】
また、本実施の形態では、符号化装置において、下位の階層のＬＰＣの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のＳＮＲ（信号対雑音比）に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部１００２内の合成フィルタ４０４において、ＬＰＣ量子化部４０３から出力されるＬＰＣ量子化係数と、適応音源符号帳４０６から出力される適応音源符号に利得を乗じた値とから合成される合成音のＳＮＲを算出し、これを拡張レイヤ制御部１００３内の拡張レイヤモード情報決定部１１０２に出力する。拡張レイヤモード情報決定部１１０２は、入力されたＳＮＲと、内部に予め格納された閾値とを比較し、比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１１０２は、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＡにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＢにする。【０１１７】
また、拡張レイヤモードの決定方法は、逆でも構わない。つまり、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＢにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＡにしてもよい。【０１１８】
なお、本実施の形態では、符号化装置において、下位レイヤでＣＥＬＰタイプの符号化を行い、上位レイヤで変換符号化を行う場合について説明したが、本発明はこれに限らず、上位レイヤにおいてＬＰＣパラメータを量子化し、さらに音源成分について変換符号化を行う場合に対しても同様に適用できる。具体的には、下位レイヤのＣＤの大きさに応じて、上位レイヤのＬＰＣパラメータに割り当てるビットと、音源成分の変換符号化に割り当てるビットを変更する、という例が挙げられる。【０１１９】
（実施の形態３）
実施の形態２では、下位レイヤでＣＥＬＰタイプ符号化を行い、上位レイヤで変換符号化を行うスケーラブル符号化方式において、下位レイヤの符号化結果を利用して上位レイヤの符号化方法（ビットアロケーション）を変更する場合について説明した。その中で、下位レイヤの符号化結果としてＬＰＣパラメータの符号化歪みを利用する場合について説明したが、本発明はこれに限らず、下位レイヤの符号化結果としてピッチゲインの大きさなどのピッチに関する情報を利用して上位レイヤの符号化方法を変更する場合に対しても同様に適用できる。【０１２０】
実施の形態３では、下位レイヤにてＣＥＬＰタイプの符号化を行い、上位レイヤでは変換符号化を行う場合のスケーラブル符号化方式に対して、下位レイヤにおいて算出されたピッチゲインの大きさを利用して上位レイヤの符号化方法を変更する場合について説明する。なお、本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図１と同一であるので説明を省略する。【０１２１】
図１５は、本実施の形態に係る符号化装置１０１ａの構成を示すブロック図である。なお、図１５において、図１０と共通する部分には、図１０と同一の符号を付して説明を省略する。【０１２２】
図１５に示す符号化装置１０１ａは、基本レイヤ符号化部１５０２が制御スイッチ１０１１経由にて拡張レイヤ制御部１５０３に量子化適応音源利得を出力する点で、図１０のものと異なる。また、図１５に示す符号化装置１０１ａは、拡張レイヤ制御部１５０３の内部構成が、図１０の拡張レイヤ制御部１００３と異なる。また、図１５に示す符号化装置１０１ａは、拡張レイヤ制御部１５０３が、拡張レイヤモード情報を拡張レイヤ符号化部１００８のみに出力する点で、図１０と異なる。また、図１５に示す符号化装置１０１ａは、多重化部１５０９が、多重化する情報の数が異なる点で、図１０と異なる。【０１２３】
図１６は、図１５の拡張レイヤ制御部１５０３の内部構成を示す図である。拡張レイヤ制御部１５０３は、ピッチ情報判定部１６０１と、拡張レイヤモード情報決定部１６０２と、から主に構成される。【０１２４】
ピッチ情報判定部１６０１は、入力した量子化適応音源利得の値の絶対値を算出し、これを絶対値量子化適応音源利得として、拡張レイヤモード情報決定部１６０２に出力する。【０１２５】
拡張レイヤモード情報決定部１６０２は、ピッチ情報判定部１６０１から入力される絶対値量子化適応音源利得と、内部に保持する予め定められた閾値とを比較し、その比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１６０２は、絶対値量子化適応音源利得が閾値よりも大きいという比較結果の場合、すなわち、音源成分の周期性が高い場合には拡張レイヤの符号化モードをＭｏｄｅＡにし、絶対値量子化適応音源利得が閾値以下であるという比較結果の場合、すなわち、音源成分の周期性が低い場合には拡張レイヤの符号化モードをＭｏｄｅＢにする。【０１２６】
図１７は、本実施の形態に係る復号化装置１０３ａの主要な構成を示すブロック図である。なお、図１７において、図１３と共通する部分には、図１３と同一の符号を付して説明を省略する。【０１２７】
図１７の復号化装置１０３ａは、図１３に対して、拡張レイヤ制御部１７０８を追加した構成をとる。また、図１７の復号化装置１０３ａでは、分離部１７０１から拡張レイヤ復号化部１３０５に拡張レイヤモード情報は入力されず、図１３において分離部１３０１から拡張レイヤ復号化部１３０５に拡張レイヤモード情報が入力される処理が、まず基本レイヤ復号化部１３０２から拡張レイヤ制御部１７０８に量子化適応音源利得が入力され、次に拡張レイヤ制御部１７０８から拡張レイヤ復号化部１３０５に拡張レイヤモード情報が入力される処理に置き換わる。【０１２８】
また、拡張レイヤ制御部１７０８の内部構成は、拡張レイヤ制御部１５０３と同一であるため、説明を省略する。【０１２９】
以上説明したように、本実施の形態によれば、下位レイヤでＣＥＬＰタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用いる場合のスケーラブル符号化方式において、下位レイヤの符号化結果（量子化適応音源利得）に応じて上位レイヤの符号化方法（ビットアロケーション）を切り替えることにより、良好な品質の出力信号を提供することができる。具体的には、下位レイヤの符号化結果から、量子化対象の信号の周期性が高い場合には、上位レイヤにおいて、シェイプの量子化に割り当てるビットを多くし、量子化対象の信号の周期性が低い場合には、上位レイヤにおいて、シェイプの量子化に割り当てるビットを少なくすることによって、より効率的に符号化を行うことができる。なお、以上の構成を採る場合には、実施の形態２で説明した場合と異なり、ビットストリームに拡張レイヤモード情報を含める必要がなく、より低ビットレートで符号化することが可能である。【０１３０】
また、本実施の形態では、下位レイヤの符号化結果として、量子化適応音源利得を利用して上位レイヤの符号化方法を切り替える場合について説明したが、本発明はこれに限らず、下位レイヤで算出した適応音源ベクトルと、量子化対象の駆動音源ベクトルとから算出できる理想的な適応音源利得を使って上位レイヤの符号化方法を切り替える場合についても同様に適用できる。なお、この手法を採る場合には、符号化装置側の拡張レイヤ符号化部１００８から多重化部１５０９に拡張レイヤモード情報を伝送する必要がある。また、この場合は、復号化装置側では、拡張レイヤ復号化部１３０５は、分離部１７０１から拡張レイヤモード情報を得るため、拡張レイヤ制御部１７０８を備える必要はない。【０１３１】
また、本発明の実施の形態では、符号化装置において、下位の階層の符号化結果である量子化適応音源利得を予め定められた一定の閾値と比較する場合について説明したが、本発明はこれに限らず、適応音源符号、固定音源符号、あるいはゲインなどのパラメータの歪みを利用する場合にも適用することができる。例えば、適応音源符号を利用する場合、下位レイヤの符号化結果である適応音源符号が示すピッチ周期の大きさに応じて、上位レイヤの符号化方法を切り替える場合が挙げられる。具体的には、下位レイヤの符号化結果である適応音源符号が示すピッチ周期がある閾値以下の場合、つまり量子化対象の信号の周期性が高い場合には、拡張レイヤモード情報をＭｏｄｅＡとし、上位レイヤにおけるシェイプの量子化に割り当てるビットを多くし、閾値よりも大きい場合、つまり量子化対象の信号の周期性が低い場合には、拡張レイヤモード情報をＭｏｄｅＢとし、上位レイヤにおけるシェイプの量子化に割り当てるビットを少なくする、という方法が考えられる。【０１３２】
なお、当然、拡張レイヤモード情報を決定する条件が逆であっても構わない。つまり、下位レイヤの符号化結果である適応音源符号が示すピッチ周期がある閾値以下の場合には拡張レイヤモード情報をＭｏｄｅＢとし、閾値よりも大きい場合には拡張レイヤモード情報をＭｏｄｅＡとしてもよい。この構成は、上述した構成において、利用する符号化結果が、量子化適応音源利得から適応音源符号に置き換わっただけであるため、ここでは説明を省略する。【０１３３】
また、本実施の形態では、下位レイヤの符号化結果である量子化適応音源利得が閾値よりも大きい場合には拡張レイヤモード情報をＭｏｄｅＡとし、閾値より小さい場合には拡張レイヤモード情報をＭｏｄｅＢとする場合について説明したが、本発明はこれに限らず、下位レイヤの符号化結果である量子化適応音源利得が閾値よりも大きい場合には拡張レイヤモード情報をＭｏｄｅＢとし、閾値より小さい場合には拡張レイヤモード情報をＭｏｄｅＡとする場合についても同様に適用できる。【０１３４】
（実施の形態４）
実施の形態２では、下位レイヤでＣＥＬＰタイプ符号化を行い、上位レイヤで変換符号化を行うスケーラブル符号化方式において、下位レイヤの符号化結果を利用して上位レイヤの符号化方法（ビットアロケーション）を変更する場合について説明した。上述した説明では、下位レイヤと上位レイヤで量子化する帯域が同一であることを前提として説明したが、本発明はこれに限らず、下位レイヤと上位レイヤで量子化する帯域が異なる場合に対しても同様に適用できる。【０１３５】
実施の形態４では、下位レイヤと上位レイヤで量子化する帯域が異なる場合において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法を切り替える構成について説明する。なお、本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図１と同一であるので説明を省略する。【０１３６】
図１８は、本実施の形態に係る符号化装置１０１ｂの構成を示すブロック図である。なお、図１８において、図１０と共通する部分には、図１０と同一の符号を付して説明を省略する。【０１３７】
図１８の符号化装置１０１ｂは、図１０に対して、ダウンサンプリング部１８１３及びアップサンプリング部１８１４を追加した構成を採る。【０１３８】
ダウンサンプリング部１８１３は、入力信号に対してダウンサンプリング処理を行い、入力信号のサンプリング周波数をＲａｔｅ１からＲａｔｅ２に変換し（Ｒａｔｅ１＞Ｒａｔｅ２）、基本レイヤ符号化部１００２に出力する。【０１３９】
アップサンプリング部１８１４は、基本レイヤ復号化部１００４から入力される基本レイヤ復号化信号に対してアップサンプリング処理を行い、基本レイヤ復号化信号のサンプリング周波数をＲａｔｅ２からＲａｔｅ１に変換して第１周波数領域変換部１００５に出力する。【０１４０】
図１９は、本実施の形態に係る復号化装置１０３ｂの構成を示すブロック図である。なお、図１９において、図１３と共通する部分には、図１３と同一の符号を付して説明を省略する。【０１４１】
図１９の復号化装置１０３ｂは、図１３に対して、アップサンプリング部１９０８を追加した構成を採る。【０１４２】
アップサンプリング部１９０８は、基本レイヤ復号化部１３０２から入力される基本レイヤ復号化信号に対してアップサンプリング処理を行い、基本レイヤ復号化信号のサンプリング周波数をＲａｔｅ２からＲａｔｅ１に変換し、周波数領域変換部１３０３に出力する。【０１４３】
以上説明したように、本実施の形態によれば、下位レイヤでＣＥＬＰタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用い、さらに下位レイヤと上位レイヤの帯域が異なる場合のスケーラブル符号化方式において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法（ビットアロケーション）を切り替えることにより、良好な品質の出力信号を提供することができる。【０１４４】
また、本実施の形態では、符号化装置において、下位の階層のＬＰＣの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のＳＮＲ（信号対雑音比）に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部１００２内の合成フィルタ４０４において、ＬＰＣ量子化部４０３から出力されるＬＰＣ量子化係数と、適応音源符号帳４０６から出力される適応音源符号に利得を乗じた値とから合成される合成音のＳＮＲを算出し、これを拡張レイヤ制御部１００３内の拡張レイヤモード情報決定部１１０２に出力する。拡張レイヤモード情報決定部１１０２は、入力されたＳＮＲと、内部に予め格納された閾値とを比較し、比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１１０２は、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＡにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＢにする。【０１４５】
また、拡張レイヤモードの決定方法は、逆でも構わない。つまり、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＢにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＡにしてもよい。【０１４６】
なお、上記各実施の形態では、符号化装置において、下位の階層の符号化結果を利用して、上位の階層の符号化時に異なるサイズの符号帳を用いることにより符号化情報のビットアロケーションを変更する場合について説明したが、本発明は、符号帳のサイズ変更に留まらず、下位の階層の符号化結果と組み合わせた場合により良質な音声信号をユーザに提供するために、パラメータの取捨選択を含む、上位の階層における符号化方法を切り替える場合、あるいは上位の階層において同じサイズである別の符号帳と合わせた複数の符号帳から利用する符号帳を切り替えて選択する場合にも適用することができる。【０１４７】
また、上記各実施の形態では、符号化装置において、符号化に用いる情報量はほぼ一定という条件で符号化情報のビットアロケーションを変更する場合について説明したが、本発明はこれに限らず、符号化に用いることのできる情報量をある程度変更することが出来る場合にも同様に適用される。例えば、システム側、あるいはユーザ側からの指示等によりある閾値（ＳＮＲ等）が定められる場合においては、上述した拡張レイヤ制御方法により、その閾値を満たし、かつ最低限の情報量で入力信号を符号化することも可能である。これにより、回線使用率を抑えつつ、システムあるいはユーザの要求を満たす柔軟な符号化装置・方法を実現することができる。【０１４８】
また、上記各実施の形態では、符号化装置において、下位の階層の符号化結果であるＬＰＣケプストラム距離を予め定められた一定の閾値と比較する場合について説明したが、本発明はこれに限らず、ＬＰＣの次数などの符号化方法に基づく値、ユーザ指示および回線状況に等応じて閾値を動的に変化させる場合にも適用することができる。【０１４９】
また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化または復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する全ての場合について適用することができる。【０１５０】
また、本発明を、コンピュータに信号処理動作を行わせる信号処理プログラムに適用することもできる。また、この信号処理プログラムを、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。【０１５１】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。【０１５２】
２００６年３月１０日出願の特願２００６−０６６７７１および２００７年２月１３日出願の特願２００７−０３２７４６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１５３】
本発明は、スケーラブル符号化技術を用いた通信システムにおける符号化装置、復号化装置に用いるに好適である。
【図１】
2007105586.tif 000022
【図２】
2007105586.tif 000023
【図３】
2007105586.tif 000024
【図４】
2007105586.tif 000025
【図５】
2007105586.tif 000026
【図６】
2007105586.tif 000027
【図７】
2007105586.tif 000028
【図８】
2007105586.tif 000029
【図９】
2007105586.tif 000030
【図１０】
2007105586.tif 000031
【図１１】
2007105586.tif 000032
【図１２】
2007105586.tif 000033
【図１３】
2007105586.tif 000034
【図１４】
2007105586.tif 000035
【図１５】
2007105586.tif 000036
【図１６】
2007105586.tif 000037
【図１７】
2007105586.tif 000038
【図１８】
2007105586.tif 000039
【図１９】
2007105586.tif 000040
【手続補正書】
【提出日】平成20年7月30日(2008.7.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化装置であって、
入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化手段と、
第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化手段と、
前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算手段と、
第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化手段と、
所定の階層の符号化手段の符号化パラメータに基づいて前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する拡張レイヤ制御手段と、を具備する符号化装置。
【請求項２】
前記拡張レイヤ制御手段は、前記所定の階層の符号化手段の符号化パラメータに基づいて前記所定の階層よりも上位の階層の符号化手段におけるビットアロケーションを制御する請求項１に記載の符号化装置。
【請求項３】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１のＬＰＣ符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のＬＰＣ符号帳よりもサイズが小さい第２のＬＰＣ符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項４】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１の固定音源符号帳を用いて符号化を行い、前記閾値以下の場合には前記第１の固定音源符号帳よりもサイズが大きい第２の固定音源符号帳を用いて符号化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項５】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１のシェイプ符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のシェイプ符号帳よりもサイズが小さい第２のシェイプ符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項６】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のＬＰＣの量子化誤差が、所定の閾値より大きい場合には第１のゲイン符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のゲイン符号帳よりもサイズが小さい第２のゲイン符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項７】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のピッチゲインの大きさが、所定の閾値より大きい場合には
第１のシェイプ符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のシェイプ符号帳よりもサイズが小さい第２のシェイプ符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項８】
前記符号化手段の少なくとも１つがＣＥＬＰ型であって、前記拡張レイヤ制御手段は、前記所定の階層の符号化手段のピッチゲインの大きさが、所定の閾値より大きい場合には第１のゲイン符号帳を利用して量子化を行い、前記閾値以下の場合には前記第１のゲイン符号帳よりもサイズが小さい第２のゲイン符号帳を利用して量子化を行うように、前記所定の階層よりも上位の階層の符号化手段における符号化方法を制御する請求項１に記載の符号化装置。
【請求項９】
入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化方法であって、
入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化工程と、
第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化工程と、
前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算工程と、
第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化工程と、
所定の階層の符号化パラメータに基づいて前記所定の階層よりも上位の階層における符号化方法を制御する拡張レイヤ制御工程と、を具備する符号化方法。
【請求項１０】
コンピュータに、入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化方法を実行させるプログラムであって、
入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化手順と、
第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化手順と、
前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算手順と、
第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化手順と、
所定の階層の符号化パラメータに基づいて前記所定の階層よりも上位の階層における符号化方法を制御する拡張レイヤ制御手順と、を具備するプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置および符号化方法に関する。
【背景技術】
【０００２】
近年、音声信号、楽音信号の符号化において、符号化情報の一部からでも音声・楽音信号を復号化でき、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術が開発されている（例えば、特許文献１参照）。このスケーラブル符号化技術は、符号化情報の一部からでも音声、楽音信号を復号化できるように音声信号、楽音信号を符号化するものであり、パケット損失が発生するような状況においても音質劣化を抑制することができる。具体的には、第１階層で入力信号を符号化して符号化情報を生成し、上位の第（ｉ−１）目の階層（ｉは２以上の整数）で、入力信号と第（ｉ−１）階層の符号化情報に応じて得られる復号化信号との差である残差信号を生成し、さらに上位の第ｉ階層で残差信号に応じて符号化することを繰り返す方法が知られている。
【０００３】
また、スケーラブル符号化技術を用いて、下位の階層における符号化結果と予め定められた閾値との比較結果に基づき上位の階層の符号化部の動作・非動作を切り替えるという方法も提案されている（例えば、特許文献２参照）。
【特許文献１】特開平１０−９７２９５号公報
【特許文献２】特開２００５−８００６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の方法は、上位の階層において残差信号を符号化する際、下位の階層における符号化結果を特に考慮せずに予め決められた符号化方式により残差信号を符号化する方法であり、下位と上位の階層間の関係は固定的なものであるから、限られた環境下で良質な音声信号を提供するにあたり最適な符号化を行っているとは言えない。
【０００５】
また、上記特許文献２の方法は、下位の階層の符号化結果を考慮しているものの、その主たる目的は、回線が輻輳した場合に送信バッファのオーバーフローを避けるために上位の階層のビットレートを調整することであり、回線が輻輳していない場合においては良質な音声信号を提供するにあたり最適な符号化を行っているとは言えない。
【０００６】
本発明の目的は、上位の階層において残差信号を符号化する際に、下位の階層の符号化結果を考慮し、それに基づいた最適な符号化を柔軟に行うことにより、限られた環境下で良質な音声信号をユーザに提供することである。
【課題を解決するための手段】
【０００７】
本発明の符号化装置は、入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化装置であって、入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化手段と、第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化手段と、前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算手段と、第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化手段と、所定の階層の符号化手段の符号化パラメータに基づいて前記所定の階
層よりも上位の階層の符号化手段における符号化方法を制御する拡張レイヤ制御手段と、を具備する構成を採る。
【０００８】
本発明の符号化方法は、入力信号をｎ階層（ｎは２以上の整数）の符号化情報で符号化する符号化方法であって、入力信号を符号化して第１階層の符号化情報を生成する基本レイヤ符号化工程と、第ｉ階層（ｉは１以上ｎ−１以下の整数）の符号化情報を復号化して第ｉ階層の復号化信号を生成する第ｉ階層の復号化工程と、前記入力信号と第１階層の復号化信号との差分である第１階層の差分信号あるいは第（ｉ−１）階層の差分信号と第ｉ階層の復号化信号との差分である第ｉ階層の差分信号を求める加算工程と、第ｉ階層の差分信号を符号化して第（ｉ＋１）階層の符号化情報を生成する第（ｉ＋１）階層の拡張レイヤ符号化工程と、所定の階層の符号化パラメータに基づいて前記所定の階層よりも上位の階層における符号化方法を制御する拡張レイヤ制御工程と、を具備する方法を採る。
【発明の効果】
【０００９】
本発明によれば、スケーラブル符号化技術において、下位の階層の符号化結果を考慮し、下位の階層の符号化結果と上位の階層の符号化結果を組み合わせた上で最適な品質の音声信号となるように上位の階層の符号化方式を柔軟に切り替えることができるので、回線の輻輳状態に関係なく、ユーザに対し良質な音声信号を提供することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を用いて説明する。なお、以下の説明において、符号化および復号化は、ＣＥＬＰ（Code-Excited Linear Prediction）方法を用いて、階層的に行われることとする。また、以下の説明では、基本レイヤと一つの拡張レイヤからなる二層のスケーラブル符号化技術を例に採る。ここで、各階層（以下、「レイヤ」という）は、下の方から、それぞれ、「基本レイヤ」、「第１の拡張レイヤ」、「第２の拡張レイヤ」、「第３の拡張レイヤ」、・・・といい、基本レイヤ以外のレイヤを「拡張レイヤ」という。
【００１１】
スケーラブル符号化技術は、階層化することによって、通信速度を表すビットレートが充分確保できるときには、全てのレイヤのデータを送信し、ビットレートが充分確保できなくなったときには、ビットレートに応じて下位のレイヤから所定のレイヤまでのデータを送信し、スケーラビリティを確保する技術である。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係る符号化装置および復号化装置を有する通信システムのブロック構成を示す図である。図１において、通信システムは、符号化装置１０１と復号化装置１０３とを備える。
【００１３】
符号化装置１０１は、入力信号と伝送モード情報を入力し、伝送モード情報に基づいて入力信号を符号化し、伝送路１０２を介して復号化装置１０３に符号化情報を送信する。復号化装置１０３は、伝送路１０２を介して符号化装置１０１から送信された符号化情報を受信して復号化し、復号化した伝送モード情報に基づいて出力信号を生成し、後工程の装置に出力する。ここで、伝送モード情報とは、符号化装置１０１が復号化装置１０３に伝送するビットレートを示し、ＢＲ１、ＢＲ２（ＢＲ１＜ＢＲ２）のいずれかの値をとるものとする。
【００１４】
図２は、本実施の形態に係る符号化装置１０１の構成を示すブロック図である。符号化装置１０１は、図２に示すように、符号化動作制御部２０１と、基本レイヤ符号化部２０２と、基本レイヤ復号化部２０３と、加算部２０４と、拡張レイヤ制御部２０５と、拡張レイヤ符号化部２０６と、符号化情報統合部２０７と、制御スイッチ２０８、２０９と、から主に構成される。
【００１５】
符号化動作制御部２０１には、伝送モード情報が入力される。符号化動作制御部２０１は、入力した伝送モード情報に応じて、制御スイッチ２０８、２０９のオン／オフ制御を行う。具体的には、符号化動作制御部２０１は、伝送モード情報がＢＲ２である場合、制御スイッチ２０８、２０９を全てオンにする。また、符号化動作制御部２０１は、伝送モード情報がＢＲ１である場合、制御スイッチ２０８、２０９を全てオフにする。なお、伝送モード情報は、上記のように符号化動作制御部２０１に入力されるとともに、図２のように符号化動作制御部２０１経由か、あるいは符号化動作制御部２０１を経由せずに直接、符号化情報統合部２０７にも入力される。このように、符号化動作制御部２０１が伝送モード情報に応じて制御スイッチ群をオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。
【００１６】
基本レイヤ符号化部２０２は、音声信号等の入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行って基本レイヤ情報源符号を生成し、生成した基本レイヤ情報源符号を符号化情報統合部２０７および制御スイッチ２０９に出力する。また、基本レイヤ符号化部２０２は、入力信号の音声符号化の際に算出されるパラメータであるＬＰＣ（線形予測係数）および量子化ＬＰＣを拡張レイヤ制御部２０５に出力する。なお、基本レイヤ符号化部２０２の内部構成の詳細については後述する。
【００１７】
基本レイヤ復号化部２０３は、制御スイッチ２０９がオンのとき、基本レイヤ符号化部２０２から出力された基本レイヤ情報源符号に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を加算器２０４に出力する。一方、基本レイヤ復号化部２０３は、制御スイッチ２０９がオフのときには何も動作しない。なお、基本レイヤ復号化部２０３の内部構成の詳細については後述する。
【００１８】
加算部２０４は、制御スイッチ２０８がオンのとき、基本レイヤ復号化信号の極性を反転させて入力信号と加算することにより差分信号を算出し、差分信号を拡張レイヤ符号化部２０６に出力する。一方、加算部２０４は、制御スイッチ２０８がオフのときには何も動作しない。
【００１９】
拡張レイヤ制御部２０５は、基本レイヤ符号化部２０２から出力されたＬＰＣおよび量子化ＬＰＣに基づいて拡張レイヤモード情報を生成し、拡張レイヤモード情報を拡張レイヤ符号化部２０６および符号化情報統合部２０７に出力する。拡張レイヤモード情報とは、拡張レイヤにおける符号化モードを示す情報であり、復号化装置において拡張レイヤ情報源符号を復号化する際に利用される。なお、拡張レイヤ制御部２０５の内部構成の詳細については後述する。
【００２０】
拡張レイヤ符号化部２０６は、制御スイッチ２０８、２０９がオンのとき、拡張レイヤ制御部２０５の制御により、加算器２０４から得られる差分信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行って拡張レイヤ情報源符号を生成し、拡張レイヤ情報源符号を符号化情報統合部２０７に出力する。一方、拡張レイヤ符号化部２０６は、制御スイッチ２０８、２０９がオフのときには何も動作しない。なお、拡張レイヤ制御部２０５による拡張レイヤ符号化部２０６の制御方法の詳細については後述する。
【００２１】
符号化情報統合部２０７は、基本レイヤ符号化部２０２および拡張レイヤ符号化部２０６から出力された情報源符号と、拡張レイヤ制御部２０５から出力された拡張レイヤモード情報と、符号化動作制御部２０１から出力された伝送モード情報と、を統合して符号化情報を生成し、生成した符号化情報を伝送路１０２に出力する。
【００２２】
次に、伝送前符号化情報のデータ構造（ビットストリーム）について図３を用いて説明する。伝送モード情報がＢＲ１である場合、符号化情報は、図３Ａに示すように、伝送モード情報、基本レイヤ情報源符号および冗長部によって構成される。伝送モード情報がＢＲ２である場合、符号化情報は、図３Ｂに示すように、伝送モード情報、基本レイヤ情報源符号、拡張レイヤ情報源符号、拡張レイヤモード情報および冗長部によって構成される。ここで、図３中のデータ構造における冗長部とは、ビットストリーム中に用意される冗長的なデータ格納部であり、伝送誤り検出・訂正用のビットおよび、パケットの同期をとるためのカウンタ等に利用される。
【００２３】
次に、図２の基本レイヤ符号化部２０２の内部構成について図４を用いて説明する。前処理部４０１は、入力信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Xin）をＬＰＣ分析部４０２および加算部４０５に出力する。
【００２４】
ＬＰＣ分析部４０２は、Xinを用いて線形予測分析を行い、分析結果であるＬＰＣをＬＰＣ量子化部４０３および拡張レイヤ制御部２０５に出力する。ＬＰＣ量子化部４０３は、ＬＰＣ分析部４０２から出力されたＬＰＣの量子化処理を行い、量子化ＬＰＣを合成フィルタ４０４および拡張レイヤ制御部２０５に出力するとともに量子化ＬＰＣを表す符号
（Ｌ）を多重化部４１４に出力する。合成フィルタ４０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部４１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部４０５に出力する。加算部４０５は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部４１２に出力する。
【００２５】
適応音源符号帳４０６は、過去に加算部４１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部４１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部４０９に出力する。量子化利得生成部４０７は、パラメータ決定部４１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部４０９と乗算部４１０とに出力する。固定音源符号帳４０８は、パラメータ決定部４１３から出力された信号によって特定される形状を有するパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部４１０に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部４１０に出力してもよい。
【００２６】
乗算部４０９は、量子化利得生成部４０７から出力された量子化適応音源利得を、適応音源符号帳４０６から出力された適応音源ベクトルに乗じて、加算部４１１に出力する。乗算部４１０は、量子化利得生成部４０７から出力された量子化固定音源利得を、固定音源符号帳４０８から出力された固定音源ベクトルに乗じて、加算部４１１に出力する。加算部４１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ４０４および適応音源符号帳４０６に出力する。なお、適応音源符号帳４０６に入力された駆動音源は、バッファに記憶される。
【００２７】
聴覚重み付け部４１２は、加算部４０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部４１３に出力する。パラメータ決定部４１３は、聴覚重み付け部４１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳４０６、固定音源符号帳４０８及び量子化利得生成部４０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）及び音源利得符号（Ｇ）を多重化部４１４に出力する。
【００２８】
多重化部４１４は、ＬＰＣ量子化部４０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部４１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して基本レイヤ情報源符号として出力する。
【００２９】
次に、図２の基本レイヤ復号化部２０３の内部構成について図５を用いて説明する。多重化分離部５０１は、入力した基本レイヤ情報源符号を個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離する。ＬＰＣ符号（Ｌ）はＬＰＣ復号化部５０２に出力され、適応音源ベクトル符号（Ａ）は適応音源符号帳５０５に出力され、音源利得符号（Ｇ）は量子化利得生成部５０６に出力され、固定音源ベクトル符号（Ｆ）は固定音源符号帳５０７に出力される。
【００３０】
適応音源符号帳５０５は、多重化分離部５０１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部５０８に出力する。量子化利得生成部５０６は、多重化分離部５０１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部５０８及び乗算部５０９に出力する。固定音源符号帳５０７は、多重化分離部５０１から出力された符号（Ｆ）で指定される固定音源ベクトルを生成し、乗算部５０９に出力する。
【００３１】
乗算部５０８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部５１０に出力する。乗算部５０９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部５１０に出力する。加算部５１０は、乗算部５０８、５０９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとの加算を行い駆動音源を生成し、これを合成フィルタ５０３及び適応音源符号帳５０５に出力する。
【００３２】
ＬＰＣ復号化部５０２は、多重化分離部５０１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ５０３に出力する。合成フィルタ５０３は、ＬＰＣ復号化部５０２によって復号化されたフィルタ係数を用いて、加算部５１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部５０４に出力する。後処理部５０４は、合成フィルタ５０３から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号として出力する。
【００３３】
次に、図２の拡張レイヤ制御部２０５の内部構成及び拡張レイヤ制御部２０５による拡張レイヤ符号化部２０６の制御方法について図６を用いて説明する。拡張レイヤ制御部２０５は、量子化歪み算出部６０１と、閾値比較部６０２と、拡張レイヤモード情報決定部６０３と、から主に構成される。
【００３４】
量子化歪み算出部６０１は、まず、以下の式（１）により、入力したＬＰＣからＬＰＣケプストラムを、量子化ＬＰＣから量子化ＬＰＣケプストラムをそれぞれ算出する。ここで、式（１）中のαは、基本レイヤ符号化部２０２から入力されるｐ次のＬＰＣ（あるいは量子化ＬＰＣ）を表し、ｃは、ＬＰＣケプストラム（あるいは量子化ＬＰＣケプストラム）を表す。
【数１】
2007105586.tif 000041
【００３５】
量子化歪み算出部６０１は、次に、以下の式（２）および式（３）により、上記式（１）で算出されたＬＰＣケプストラムと量子化ＬＰＣケプストラムとの間の距離（ＬＰＣケプストラム距離（ＣＤ））を算出する。算出されたＬＰＣケプストラム距離は、閾値比較部６０２に出力される。ここで、式（２）中のｃ１はＬＰＣケプストラムを表し、ｃ２は量子化ＬＰＣケプストラムを表す。
【数２】
2007105586.tif 000042
【数３】
2007105586.tif 000043
【００３６】
閾値比較部６０２は、量子化歪み算出部６０１から出力されたＬＰＣケプストラム距離と、内部に保持する予め定められた閾値とを比較し、比較結果を拡張レイヤモード情報決定部６０３に出力する。なお、ＬＰＣが１２次程度の場合には、閾値を１．０程度とするのが適当である。
【００３７】
拡張レイヤモード情報決定部６０３は、閾値比較部６０２から出力された比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部２０６に出力する。具体的には、拡張レイヤモード情報決定部６０３は、ＬＰＣケプストラム距離が閾値よりも大きいという比較結果の場合、すなわち、ＬＰＣの量子化誤差が大きい場合には拡張レイヤの符号化モードをＭｏｄｅＡにし、ＬＰＣケプストラム距離が閾値以下であるという比較結果の場合、すなわち、ＬＰＣの量子化誤差が小さい場合には拡張レイヤの符号化モードをＭｏｄｅＢにする。
【００３８】
次に、図２の拡張レイヤ符号化部２０６の内部構成について図７を用いて説明する。前処理部７０１は、残差信号に対し、ＤＣ成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号（Xin）をＬＰＣ分析部７０２および加算部７０５に出力する。
【００３９】
ＬＰＣ分析部７０２は、Xinを用いて線形予測分析を行い、分析結果であるＬＰＣをＬＰＣ量子化部７０３に出力する。ＬＰＣ量子化部７０３は、拡張レイヤ制御部２０５から出力される拡張レイヤモード情報を利用して、ＬＰＣ分析部７０２から出力されたＬＰＣの量子化処理を行い、量子化ＬＰＣを合成フィルタ７０４に出力するとともに量子化ＬＰＣを表す符号（Ｌ）を多重化部７１４に出力する。ここで、ＬＰＣ量子化部７０３は、拡張レイヤモード情報に基づいて、ＬＰＣの量子化に用いる符号帳（ＬＰＣ符号帳）を適宜切り替えるものとする。具体的には、ＬＰＣ量子化部７０３は、拡張レイヤモード情報がＭｏｄｅＡすなわちＬＰＣの量子化誤差が大きい場合に予め備えられたＬＰＣ符号帳Ａを利用した量子化を行い、拡張レイヤモード情報がＭｏｄｅＢである場合すなわちＬＰＣの量子化誤差が小さい場合に予め備えられたＬＰＣ符号帳Ｂを利用した量子化を行う。ここで、ＬＰＣ符号帳Ｂは、ＬＰＣ符号帳Ａよりもサイズが小さい符号帳である。なお、本実施の形態では、ＬＰＣ符号帳Ｂのサイズをゼロ、すなわち拡張レイヤにおいてはＬＰＣを用いないとすることもできる。
【００４０】
合成フィルタ７０４は、量子化ＬＰＣに基づくフィルタ係数により、後述する加算部７１１から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部７０５に出力する。加算部７０５は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部７１２に出力する。
【００４１】
適応音源符号帳７０６は、過去に加算部７１１によって出力された駆動音源をバッファに記憶しており、パラメータ決定部７１３から出力された信号により特定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部７０９に出力する。量子化利得生成部７０７は、パラメータ決定部７１３から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部７０９と乗算部７１０とに出力する。
【００４２】
固定音源符号帳群７０８は、複数の固定音源符号帳を備え、拡張レイヤ制御部２０５から出力される拡張レイヤモード情報に応じて一つの固定音源符号帳を選択する。具体的には、固定音源符号帳群７０８は、拡張レイヤモード情報がＭｏｄｅＡすなわちＬＰＣの量子化誤差が大きい場合に固定音源符号帳Ａを選択し、拡張レイヤモード情報がＭｏｄｅＢである場合すなわちＬＰＣの量子化誤差が小さい場合に固定音源符号帳Ａのサイズよりも
大きい固定音源符号帳Ｂを選択する。ここで、各フレームにおける固定音源符号帳Ｂと固定音源符号帳Ａのサイズ差（ビット差）が、ＬＰＣ符号帳ＡとＬＰＣ符号帳Ｂのサイズ差（ビット差）と同じである場合、符号化に利用されるビットレートは等しくなる。例えば、ＬＰＣ符号は１フレーム単位に算出し、固定音源符号は１／４フレーム毎に算出する符号化方式において、ＬＰＣ符号帳Ａのサイズが２５６、ＬＰＣ符号帳Ｂのサイズが１６、固定音源符号帳Ａのサイズが１６、固定音源符号帳Ｂのサイズが３２という場合がその例に該当する。
【００４３】
そして、固定音源符号帳群７０８は、選択した固定音源符号帳に保存された複数のパルス音源ベクトルの中から、パラメータ決定部７１３から出力された信号によって特定される形状を有するパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部７１０に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部７１０に出力してもよい。
【００４４】
乗算部７０９は、量子化利得生成部７０７から出力された量子化適応音源利得を、適応音源符号帳７０６から出力された適応音源ベクトルに乗じて、加算部７１１に出力する。乗算部７１０は、量子化利得生成部７０７から出力された量子化固定音源利得を、固定音源符号帳群７０８から出力された固定音源ベクトルに乗じて、加算部７１１に出力する。加算部７１１は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ７０４および適応音源符号帳７０６に出力する。なお、適応音源符号帳７０６に入力された駆動音源は、バッファに記憶される。
【００４５】
聴覚重み付け部７１２は、加算部７０５から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部７１３に出力する。パラメータ決定部７１３は、聴覚重み付け部７１２から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳７０６、固定音源符号帳群７０８及び量子化利得生成部７０７から選択し、選択結果を示す適応音源ベクトル符号（Ａ）、固定音源ベクトル符号（Ｆ）及び音源利得符号（Ｇ）を多重化部７１４に出力する。
【００４６】
多重化部７１４は、ＬＰＣ量子化部７０３から量子化ＬＰＣを表す符号（Ｌ）を入力し、パラメータ決定部７１３から適応音源ベクトルを表す符号（Ａ）、固定音源ベクトルを表す符号（Ｆ）および量子化利得を表す符号（Ｇ）を入力し、これらの情報を多重化して拡張レイヤ情報源符号として出力する。
【００４７】
次に、図１の復号化装置１０３の構成について図８を用いて説明する。復号化装置１０３は、復号化動作制御部８０１と、基本レイヤ復号化部８０２と、拡張レイヤ復号化部８０３と、制御スイッチ８０５と、加算部８０４と、から主に構成される。
【００４８】
復号化動作制御部８０１は、符号化装置１０１から伝送路１０２を介して伝送される符号化情報を入力する。復号化動作制御部８０１は、符号化情報を、伝送モード情報、拡張レイヤモード情報および各レイヤの情報源符号に分離し、伝送モード情報に応じて制御スイッチ８０５のオン／オフ状態を制御する。また、復号化動作制御部８０１は、基本レイヤ復号化部８０２、拡張レイヤ復号化部８０３に、それぞれ各レイヤに対応する情報源符号および拡張レイヤモード情報を出力する。具体的には、復号化動作制御部８０１は、伝送モード情報がＢＲ２である場合は、制御スイッチ８０５をオン状態にし、基本レイヤ情報源符号を基本レイヤ復号化部８０２に、拡張レイヤモード情報および拡張レイヤ情報源符号を拡張レイヤ復号化部８０３に、それぞれ出力する。また、復号化動作制御部８０１は、伝送モード情報がＢＲ１である場合は、制御スイッチ８０５をオフ状態にし、基本レ
イヤ情報源符号を基本レイヤ復号化部８０２に出力する。またこの時、復号化動作制御部８０１は、拡張レイヤ復号化部８０３には何も出力しない。
【００４９】
基本レイヤ復号化部８０２は、復号化動作制御部８０１から基本レイヤ情報源符号を入力し、これをＣＥＬＰタイプの音声復号化方法により復号化し、復号化信号を基本レイヤ復号化信号として加算部８０４に出力する。なお、図８の基本レイヤ復号化部８０２の内部構成は、図５に示した基本レイヤ復号化部２０３の内部構成と同一である。
【００５０】
拡張レイヤ復号化部８０３は、制御スイッチ８０５がオン状態である場合、復号化動作制御部８０１から拡張レイヤモード情報および拡張レイヤ情報源符号を入力し、拡張レイヤモード情報に応じて拡張レイヤ情報源符号をＣＥＬＰタイプの音声復号化方法により復号化し、復号化信号を拡張レイヤ復号化信号として加算部８０４に出力する。一方、拡張レイヤ復号化部８０３は、制御スイッチ８０５がオフ状態である場合、何も動作しない。なお、拡張レイヤ復号化部８０３の構成については後述する。
【００５１】
加算部８０４は、制御スイッチ８０５がオン状態である場合は、基本レイヤ復号化部８０２から基本レイヤ復号化信号を入力し、また拡張レイヤ復号化部８０３から拡張レイヤ復号化信号を入力し、これらの信号を加算した後、これを出力信号として後工程の装置に出力する。一方、加算部８０４は、制御スイッチ８０５がオフ状態である場合は、基本レイヤ復号化部８０２から基本レイヤ復号化信号を入力し、これを出力信号として後工程の装置に出力する。
【００５２】
次に、図８の拡張レイヤ復号化部８０３の内部構成について図９を用いて説明する。図９において、多重化分離部９０１は、復号化動作制御部８０１から出力された拡張レイヤ情報源符号を個々の符号（Ｌ、Ａ、Ｇ、Ｆ）に分離する。ＬＰＣ符号（Ｌ）はＬＰＣ復号化部９０２に出力され、適応音源ベクトル符号（Ａ）は適応音源符号帳９０５に出力され、音源利得符号（Ｇ）は量子化利得生成部９０６に出力され、固定音源ベクトル符号（Ｆ）は固定音源符号帳群９０７に出力される。
【００５３】
ＬＰＣ復号化部９０２は、復号化動作制御部８０１から出力された拡張レイヤモード情報を用いて、多重化分離部９０１から出力された符号（Ｌ）から量子化ＬＰＣを復号化し、合成フィルタ９０３に出力する。ここで、ＬＰＣ復号化部９０２は、拡張レイヤモード情報に基づいて、ＬＰＣの復号化に用いる符号帳（ＬＰＣ符号帳）を適宜切り替える。具体的には、ＬＰＣ復号化部９０２は、拡張レイヤモード情報がＭｏｄｅＡである場合には、予め備えられたＬＰＣ符号帳Ａを利用した復号化を行い、拡張レイヤモード情報がＭｏｄｅＢである場合には、予め備えられたＬＰＣ符号帳Ｂを利用した復号化を行う。ここで、ＬＰＣ符号帳Ｂは、ＬＰＣ符号帳Ａよりもサイズが小さい符号帳である。なお、本実施の形態では、ＬＰＣ符号帳Ｂのサイズをゼロ、すなわち拡張レイヤにおいてはＬＰＣを用いないとすることもできる。
【００５４】
適応音源符号帳９０５は、多重化分離部９０１から出力された符号（Ａ）で指定される過去の駆動音源から１フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部９０８に出力する。量子化利得生成部９０６は、多重化分離部９０１から出力された音源利得符号（Ｇ）で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部９０８及び乗算部９０９に出力する。
【００５５】
固定音源符号帳群９０７は、複数の固定音源符号帳を備え、復号化動作制御部８０１から出力される拡張レイヤモード情報に応じて一つの固定音源符号帳を選択する。具体的には、固定音源符号帳群９０７は、拡張レイヤモード情報がＭｏｄｅＡである場合に固定音源符号帳Ａを選択し、拡張レイヤモード情報がＭｏｄｅＢである場合に固定音源符号帳Ｂ
を選択する。そして、固定音源符号帳群９０７は、選択した固定音源符号帳に保存された複数のパルス音源ベクトルの中から、多重化分離部９０１から出力された符号（Ｆ）で指定されるパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部９０９に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部９０９に出力してもよい。
【００５６】
乗算部９０８は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部９１０に出力する。乗算部９０９は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部９１０に出力する。加算部９１０は、乗算部９０８、９０９から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ９０３及び適応音源符号帳９０５に出力する。
【００５７】
合成フィルタ９０３は、ＬＰＣ復号化部９０２によって復号化されたフィルタ係数を用いて、加算部９１０から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部９０４に出力する。後処理部９０４は、合成フィルタから出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、拡張レイヤ復号化信号として出力する。
【００５８】
以上説明したように、本実施の形態によれば、スケーラブル符号化技術を用いて符号化を行う符号化装置において、下位の階層の符号化結果に基づいて、ＬＰＣ、固定音源符号などのパラメータ間でのビットアロケーションを変更する等の上位の階層における符号化方法を柔軟に変更することができるので、下位の階層の符号化結果と組み合わせた場合により良質な音声信号をユーザに提供する通信システムを実現することができる。
【００５９】
なお、本実施の形態では、符号化装置において、下位の階層のＬＰＣの歪み（ＬＰＣケプストラム距離）を利用して、上位の階層の符号化時に、サイズの小さいＬＰＣ符号帳を用いることによりＬＰＣに割り当てるビット数を減らすとともに、サイズの大きい固定音源符号帳を用いることにより固定音源符号に割り当てるビットを増やすという場合を例に挙げて説明したが、本発明はこれに限らず、上位の階層の符号化時に、サイズの大きいＬＰＣ符号帳とサイズの小さい固定音源符号帳を用いる場合についても同様に適用される。
【００６０】
また、本実施の形態では、符号化装置において、下位の階層のＬＰＣの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のＳＮＲ（信号対雑音比）に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部２０２内の合成フィルタ４０４において、ＬＰＣ量子化部４０３から出力されるＬＰＣ量子化係数と、適応音源符号帳４０６から出力される適応音源符号に利得を乗じた値とから合成される合成音のＳＮＲを算出し、これを拡張レイヤ制御部２０５内の閾値比較部６０２に出力する。閾値比較部６０２は、入力されたＳＮＲと、内部に予め格納された閾値とを比較し、比較結果を拡張レイヤモード情報決定部６０３に出力する。拡張レイヤモード情報決定部６０３は、閾値比較部６０２から出力された比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部２０６に出力する。具体的には、拡張レイヤモード情報決定部６０３は、基本レイヤ符号化部２０２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＡにし、基本レイヤ符号化部２０２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＢにする。
【００６１】
また、上述したＬＰＣケプストラム距離を用いた拡張レイヤ制御方法、及び利得を乗じた適応音源符号とＬＰＣ係数から合成される合成音のＳＮＲを用いた拡張レイヤ制御方法
を組合せることにより、上位の階層での符号化において、ＬＰＣ、適応音源符号、固定音源符号という３つのパラメータ間でのビット調整も可能である。
【００６２】
（実施の形態２）
上記実施の形態１では、下位レイヤ、上位レイヤ共にＣＥＬＰタイプの符号化方法を用いるスケーラブル符号化方式について説明したが、本発明はこれに限らず、上位レイヤにおいてＣＥＬＰタイプ以外の符号化方法を用いるスケーラブル符号化方式においても同様に適用できる。実施の形態２では、下位レイヤにてＣＥＬＰタイプの符号化を行い、上位レイヤでは変換符号化を行う場合のスケーラブル符号化方式に本発明を適用する場合について説明する。本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図１と同一であるので説明を省略する。
【００６３】
図１０は、本実施の形態に係る符号化装置１０１の構成を示すブロック図である。符号化装置１０１は、図１０に示すように符号化動作制御部１００１と、基本レイヤ符号化部１００２と、拡張レイヤ制御部１００３と、基本レイヤ復号化部１００４と、第１周波数領域変換部１００５と、遅延部１００６と、第２周波数領域変換部１００７と、拡張レイヤ符号化部１００８と、多重化部１００９と、から主に構成される。
【００６４】
符号化動作制御部１００１には、伝送モード情報が入力される。符号化動作制御部１００１は、入力した伝送モード情報に応じて、制御スイッチ１０１０〜１０１２のオン／オフ制御を行う。具体的には、符号化動作制御部１００１は、伝送モード情報がＢＲ２である場合、制御スイッチ１０１０〜１０１２を全てオンにする。また、符号化動作制御部１００１は、伝送モード情報がＢＲ１である場合、制御スイッチ１０１０〜１０１２を全てオフにする。なお、伝送モード情報は、上記のように符号化動作制御部１００１に入力されるとともに、図１０のように符号化動作制御部１００１経由か、あるいは符号化動作制御部１００１を経由せずに直接、多重化部１００９にも入力される。このように、符号化動作制御部１００１が伝送モード情報に応じて制御スイッチ群をオン／オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。
【００６５】
基本レイヤ符号化部１００２は、音声信号等の入力信号に対してＣＥＬＰタイプの音声符号化方法を用いて符号化を行って基本レイヤ情報源符号を生成し、生成した基本レイヤ符号化情報を多重化部１００９および制御スイッチ１０１２に出力する。また、基本レイヤ符号化部１００２は、入力信号の音声符号化の際に算出されるパラメータであるＬＰＣ（線形予測係数）および量子化ＬＰＣを制御スイッチ１０１１に出力する。なお、基本レイヤ符号化部１００２の内部構成は、図４に示した基本レイヤ符号化部２０２のものと同一であるので、その説明は省略する。
【００６６】
拡張レイヤ制御部１００３は、制御スイッチ１０１１がオンのとき、基本レイヤ符号化部１００２から出力されたＬＰＣおよび量子化ＬＰＣに基づいて拡張レイヤモード情報を生成し、拡張レイヤモード情報を拡張レイヤ符号化部１００８および多重化部１００９に出力する。拡張レイヤモード情報とは、拡張レイヤにおける符号化モードを示す情報であり、復号化装置において拡張レイヤ符号化情報を復号化する際に利用される。なお、拡張レイヤ制御部１００３の内部構成の詳細については後述する。また、拡張レイヤ制御部１００３は、制御スイッチ１０１１がオフの時には何も動作しない。
【００６７】
基本レイヤ復号化部１００４は、制御スイッチ１０１２がオンのとき、基本レイヤ符号化部１００２から出力された基本レイヤ符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を第１周波数領域変換部１００５に出力する。一方、基本レイヤ復号化部１００４は、制御スイッチ１０１２がオフのときには何も動作しない。なお、基本レイヤ復号化部１００４の
内部構成は、図５の基本レイヤ復号化部２０３のものと同一であるので、その説明は省略する。
【００６８】
第１周波数領域変換部１００５は、基本レイヤ復号化部１００４から入力される基本レイヤ復号化信号に対して修正離散コサイン変換（ＭＤＣＴ）を行い、周波数領域のパラメータとして得られる基本レイヤ復号化ＭＤＣＴ係数を拡張レイヤ符号化部１００８に出力する。
【００６９】
第１周波数領域変換部１００５は、Ｎ個のバッファを内蔵し、まず、下記の式（４）に従い、「０」値を用いて各バッファを初期化する。なお、式（４）において、ｂｕｆn（ｎ＝０、…、Ｎ−１）は第１周波数領域変換部１００５が内蔵しているＮ個のバッファの中のｎ＋１番目を示す。
【数４】
2007105586.tif 000044
【００７０】
次いで、第１周波数領域変換部１００５は、下記の式（５）に従い、基本レイヤ復号化信号ｘ１n を修正離散コサイン変換して基本レイヤ復号化ＭＤＣＴ係数Ｘ１k を求める。式（５）において、ｋは１フレームにおける各サンプルのインデックスを示す。なお、ｘ１’nは、下記の式（６）に従い、基本レイヤ復号化信号ｘ１n とバッファｂｕｆn とを結合させたベクトルである。
【数５】
2007105586.tif 000045
【数６】
2007105586.tif 000046
【００７１】
次いで、第１周波数領域変換部１００５は、下記の式（７）に示すようにバッファｂｕｆn（ｎ＝０、…、Ｎ−１）を更新する。
【数７】
2007105586.tif 000047
【００７２】
次いで、第１周波数領域変換部１００５は、求められた基本レイヤ復号化ＭＤＣＴ係数Ｘ１kを拡張レイヤ符号化部１００８に出力する。
【００７３】
遅延部１００６は、制御スイッチ１０１０がオンのとき、入力される音声・オーディオ信号を内蔵のバッファに記憶し、所定時間経過後に音声・オーディオ信号を第２周波数領域変換部１００７に出力する。ここで、所定時間は、基本レイヤ符号化部１００２、基本レイヤ復号化部１００４、第１周波数領域変換部１００５、および第２周波数領域変換部１００７において生じるアルゴリズム遅延を考慮した時間である。また、遅延部１００６は、制御スイッチ１０１０がオフの時には何も動作しない。
【００７４】
第２周波数領域変換部１００７は、制御スイッチ１０１０がオンのとき、遅延部１００６から入力される音声・オーディオ信号に対してＭＤＣＴを行い、周波数領域のパラメー
タとして得られる入力ＭＤＣＴ係数を拡張レイヤ符号化部１００８に出力する。ここで、第２周波数領域変換部１００７における周波数変換方法は、第１周波数領域変換部１００５における処理と同様であるため説明を省略する。また、第２周波数領域変換部１００７は、制御スイッチ１０１０がオフの時には何も動作しない。
【００７５】
拡張レイヤ符号化部１００８は、制御スイッチ１０１０、１０１１、１０１２がオンのとき、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報と、第１周波数領域変換部１００５から入力される基本レイヤ復号化ＭＤＣＴ係数および第２周波数領域変換部１００７から入力される入力ＭＤＣＴ係数とを用いて拡張レイヤ符号化を行い、得られる拡張レイヤ符号化情報を多重化部１００９に出力する。拡張レイヤ符号化部１００８の内部の構成および具体的な動作については後述する。また、拡張レイヤ符号化部１００８は、制御スイッチ１０１０、１０１１、１０１２がオフの時には何も動作しない。
【００７６】
多重化部１００９は、基本レイヤ符号化部１００２から入力される基本レイヤ符号化情報、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報、拡張レイヤ符号化部１００８から入力される拡張レイヤ符号化情報、及び符号化動作制御部１００１から入力される伝送モード情報を多重化し、得られるビットストリームを復号化装置に送信する。
【００７７】
なお、伝送前符号化情報のデータ構造（ビットストリーム）については、実施の形態１で説明したものと同様であるため、ここでは説明を省略する。
【００７８】
次に、図１０の拡張レイヤ制御部１００３の内部構成について図１１を用いて説明する。拡張レイヤ制御部１００３は、量子化歪み算出部１１０１と、拡張レイヤモード情報決定部１１０２と、から主に構成される。
【００７９】
量子化歪み算出部１１０１は、まず上記式（１）により、入力したＬＰＣからＬＰＣケプストラムを、量子化ＬＰＣから量子化ＬＰＣケプストラムをそれぞれ算出し、次に、上記式（２）及び式（３）により、式（１）で算出されたＬＰＣケプストラムと量子化ＬＰＣケプストラムとの間の距離（ＬＰＣケプストラム距離（ＣＤ））を算出し、算出したＬＰＣケプストラム距離を拡張レイヤモード情報決定部１１０２に出力する。
【００８０】
拡張レイヤモード情報決定部１１０２は、量子化歪み算出部１１０１から出力されたＬＰＣケプストラム距離と、内部に保持する予め定められた閾値とを比較し、その比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１１０２は、ＬＰＣケプストラム距離が閾値よりも大きいという比較結果の場合、すなわち、ＬＰＣの量子化誤差が大きい場合には拡張レイヤの符号化モードをＭｏｄｅＡにし、ＬＰＣケプストラム距離が閾値以下であるという比較結果の場合、すなわち、ＬＰＣの量子化誤差が小さい場合には拡張レイヤの符号化モードをＭｏｄｅＢにする。なお、ＬＰＣが１２次程度の場合には、閾値を１．０程度とするのが適当である。
【００８１】
次に、図１０の拡張レイヤ符号化部１００８の内部構成について図１２を用いて説明する。拡張レイヤ符号化部１００８は、残差ＭＤＣＴ係数算出部１２０１と、帯域選択部１２０２と、シェイプ量子化部１２０３と、ゲイン量子化部１２０４と、多重化部１２０５と、から主に構成される。
【００８２】
残差ＭＤＣＴ係数算出部１２０１は、第１周波数領域変換部１００５から入力される基本レイヤ復号化ＭＤＣＴ係数Ｘ１kと第２周波数領域変換部１００７から入力される入力ＭＤＣＴ係数Ｘkとの残差を求め、残差ＭＤＣＴ係数Ｘ２kとして帯域選択部１２０２に出
力する。
【００８３】
帯域選択部１２０２は、まず、残差ＭＤＣＴ係数を複数のサブバンドに分割する。ここでは、Ｊ（Ｊは自然数）個のサブバンドに均等に分割する場合を例に説明する。帯域選択部１２０２は、Ｊ個のサブバンドの中で連続するＬ（Ｌは自然数）個のサブバンドを選択し、Ｍ（Ｍは自然数）種類のサブバンドのグループを得る。以下、このＭ種類のサブバンドのグループをリージョンと呼ぶ。
【００８４】
次いで、帯域選択部１２０２は、下記の式（８）に従い、Ｍ種類の各リージョンの平均エネルギＥ（ｍ）を算出する。
【数８】
2007105586.tif 000048
【００８５】
この式において、ｊはＪ個の各サブバンドのインデックスを示し、ｍは、Ｍ種類の各リージョンのインデックスを示す。なお、Ｓ（ｍ）は、リージョンｍを構成するＬ個のサブバンドのインデックスのうちの最小値を示し、Ｂ（ｊ）は、サブバンドｊを構成する複数のＭＤＣＴ係数のインデックスのうちの最小値を示す。Ｗ（ｊ）は、サブバンドｊのバンド幅を示し、以下の説明では、Ｊ個の各サブバンドのバンド幅が全て等しい場合、すなわちＷ（ｊ）が定数である場合を例にとって説明する。
【００８６】
次いで、帯域選択部１２０２は、平均エネルギＥ（ｍ）が最大となるリージョン、例えばサブバンドｊ”〜ｊ”＋Ｌ−１からなる帯域を量子化対象となる帯域（量子化対象帯域）として選択し、このリージョンを示すインデックスｍ＿ｍａｘを帯域情報としてシェイプ量子化部１２０３、ゲイン量子化部１２０４、および多重化部１２０５に出力する。また、帯域選択部１２０２は、残差ＭＤＣＴ係数をシェイプ量子化部１２０３に出力する。なお、残差ＭＤＣＴ係数は、上記のように帯域選択部１２０２に入力されるとともに、図１２のように、帯域選択部１２０２経由か、あるいは帯域選択部１２０２を経由せずに直接、シェイプ量子化部１２０３にも入力される。
【００８７】
シェイプ量子化部１２０３は、帯域選択部１２０２から入力される帯域情報ｍ＿ｍａｘが示す帯域に対応する残差ＭＣＤＴ係数に対して、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報を利用して、サブバンド毎にシェイプ量子化を行う。具体的には、シェイプ量子化部１２０３は、拡張レイヤモード情報がＭｏｄｅＡの場合には、Ｌ個の各サブバンド毎に、ＳＱＡ個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索して下記の式（９）の結果が最大となるシェイプコードベクトルのインデックスを求める。
【数９】
2007105586.tif 000049
【００８８】
この式（９）において、ＳＣはシェイプコードブックを構成するシェイプコードベクトルｋを示し、ｉはシェイプコードベクトルのインデックスを示し、ｋはシェイプコードベクトルの要素のインデックスを示す。
【００８９】
また、シェイプ量子化部１２０３は、拡張レイヤモード情報がＭｏｄｅＢの場合には、Ｌ個の各サブバンド毎に、ＳＱＢ（ＳＱＢ＜ＳＱＡ）個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索して下記の式（１０）の結果が最大となるシェイプコードベクトルのインデックスを求める。
【数１０】
2007105586.tif 000050
【００９０】
シェイプ量子化部１２０３は、上記の式（９）あるいは式（１０）の結果が最大となるシェイプコードベクトルのインデックスＳ＿ｍａｘをシェイプ符号化情報として多重化部１２０５に出力する。また、シェイプ量子化部１２０３は、下記の式（１１）に従い、理想ゲイン値Ｇａｉｎ＿ｉ（ｊ）を算出してゲイン量子化部１２０４に出力する。
【数１１】
2007105586.tif 000051
【００９１】
ゲイン量子化部１２０４は、シェイプ量子化部１２０３から入力される理想ゲイン値Ｇａｉｎ＿ｉ（ｊ）に対して、拡張レイヤ制御部１００３から入力される拡張レイヤモード情報を利用して、ゲイン値のベクトル量子化を行う。具体的には、ゲイン量子化部１２０４は、拡張レイヤモード情報がＭｏｄｅＡの場合には、理想ゲイン値をＬ次元ベクトルとして扱い、ＧＱＡ個のゲインコードベクトルからなる内蔵のゲインコードブックを探索して下記の式（１２）を最小にするコードブックのインデックスを求める。なお、上記の式（１２）を最小にするコードブックのインデックスをＧ＿ｍｉｎと記す。
【数１２】
2007105586.tif 000052
【００９２】
また、ゲイン量子化部１２０４は、拡張レイヤモード情報がＭｏｄｅＢの場合には、理想ゲイン値をＬ次元ベクトルとして扱い、ＧＱＢ（ＣＱＢ＜ＣＱＡ）個のゲインコードベクトルからなる内蔵のゲインコードブックを探索して下記の式（１３）を最小にするコードブックのインデックスを求める。
【数１３】
2007105586.tif 000053
【００９３】
ゲイン量子化部１２０４は、式（１２）あるいは式（１３）の結果が最小となるゲインコードベクトルのインデックスＧ＿ｍｉｎをゲイン符号化情報として多重化部１２０５に出力する。
【００９４】
多重化部１２０５は、帯域選択部１２０２から入力される帯域情報ｍ＿ｍａｘ、シェイプ量子化部１２０３から入力されるシェイプ符号化情報Ｓ＿ｍａｘ、ゲイン量子化部１２０４から入力されるゲイン符号化情報Ｇ＿ｍｉｎを多重化し、得られるビットストリームを拡張レイヤ符号化情報として多重化部１００９に出力する。なお、これら情報を、多重化部１２０５で多重化せず、多重化部１００９に直接入力して、多重化部１００９で多重化してもよい。
【００９５】
図１３は、本実施の形態に係る復号化装置１０３の主要な構成を示すブロック図である。図１３において、復号化装置１０３は、分離部１３０１と、基本レイヤ復号化部１３０２と、周波数領域変換部１３０３と、復号化動作制御部１３０４と、拡張レイヤ復号化部１３０５と、時間領域変換部１３０６と、から主に構成される。
【００９６】
分離部１３０１は、符号化装置１０１から伝送されるビットストリームから基本レイヤ符号化情報、拡張レイヤ符号化情報、伝送モード情報、及び拡張レイヤモード情報を分離し、基本レイヤ符号化情報を基本レイヤ復号化部１３０２に出力し、拡張レイヤモード情報及び拡張レイヤ符号化情報を拡張レイヤ復号化部１３０５に出力し、伝送モード情報を復号化動作制御部１３０４に出力する。
【００９７】
基本レイヤ復号化部１３０２は、分離部１３０１から出力された基本レイヤ符号化情報に対してＣＥＬＰタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を周波数領域変換部１３０３及び制御スイッチ１３０７に出力する。なお、基本レイヤ復号化部１３０２の内部構成は、図５の基本レイヤ復号化部２０３のものと同一であるので、その説明は省略する。
【００９８】
周波数領域変換部１３０３は、基本レイヤ復号化部１３０２から入力される基本レイヤ復号化信号に対して修正離散コサイン変換（ＭＤＣＴ）を行い、周波数領域のパラメータとして得られる基本レイヤ復号化ＭＤＣＴ係数を拡張レイヤ復号化部１３０５に出力する。
【００９９】
復号化動作制御部１３０４は、分離部１３０１から入力される伝送モード情報に応じて制御スイッチ１３０７のオン／オフの動作と、周波数領域変換部１３０３、拡張レイヤ復号化部１３０５、時間領域変換部１３０６の動作を制御する。具体的には、伝送モード情報がＢＲ２であった場合、復号化動作制御部１３０４は、周波数領域変換部１３０３、拡張レイヤ復号化部１３０５、時間領域変換部１３０６の動作をオン状態にし、また制御スイッチ１３０７を時間領域変換部１３０６側に接続する。また、伝送モード情報がＢＲ１であった場合、復号化動作制御部１３０４は、周波数領域変換部１３０３、拡張レイヤ復号化部１３０５、時間領域変換部１３０６の動作をオフ状態にし、また制御スイッチ１３０７を基本レイヤ復号化部１３０２側に接続する。このように、復号化動作制御部１３０４が伝送モード情報に応じて制御スイッチ、及び処理ブロックをオン／オフ制御することにより、符号化情報の復号化に用いる符号化部の組み合わせが決定される。
【０１００】
拡張レイヤ復号化部１３０５は、分離部１３０１から拡張レイヤ符号化情報及び拡張レイヤモード情報が入力され、また周波数領域変換部１３０３から基本レイヤ復号化ＭＤＣＴ係数Ｘ”１kが入力される。拡張レイヤ復号化部１３０５は、復号化動作制御部１３０４によりオン状態に制御されているとき、入力された情報から、加算ＭＤＣＴ係数Ｘ”kを算出し、これを時間領域変換部１３０６に出力する。拡張レイヤ復号化部１３０５は、復号化動作制御部１３０４によりオフ状態に制御されているときは何も動作しない。拡張レイヤ復号化部１３０５の処理の詳細については、後述する。
【０１０１】
時間領域変換部１３０６は、復号化動作制御部１３０４によりオン状態に制御されているとき、拡張レイヤ復号部１３０５から入力される加算ＭＤＣＴ係数Ｘ”kに対してＩＭＤＣＴを行い、時間領域成分として得られる復号化信号を制御スイッチ１３０７に出力する。時間領域変換部１３０６は、復号化動作制御部１３０４によりオフ状態に制御されているときは何も動作しない。
【０１０２】
以下、時間領域変換部１３０６がオン状態に制御されているときの処理を説明する。時間領域変換部１３０６は、バッファｂｕｆ´kを内部に有し、式（１４）により初期化される。
【数１４】
2007105586.tif 000054
【０１０３】
時間領域変換部１３０６は、拡張レイヤ復号化部１３０５から入力される加算レイヤ復号ＭＤＣＴ係数Ｘ”kを用いて、下記の式（１５）に従い拡張レイヤ復号化信号Ｙｎを求める。この式（１５）において、Ｘ’kは、復号ＭＤＣＴ係数Ｘ” とバッファｂｕｆ´k とを結合させたベクトルであり、下記の式（１６）を用いて求められる。
【数１５】
2007105586.tif 000055
【数１６】
2007105586.tif 000056
【０１０４】
次いで、時間領域変換部１３０６は、下記の式（１７）に従いバッファｂｕｆ´k を更新する。
【数１７】
2007105586.tif 000057
【０１０５】
時間領域変換部１３０６は、求められる拡張レイヤ復号化信号Ｙｎを制御スイッチ１３０７に出力する。
【０１０６】
制御スイッチ１３０７は、復号化動作制御部１３０４の制御に基づいて、基本レイヤ復号化部１３０２から出力された基本レイヤ復号化信号あるいは時間領域変換部１３０６から出力された拡張レイヤ復号化信号を出力信号として出力する。
【０１０７】
図１４は、拡張レイヤ復号化部１３０５の内部構成を示す図である。拡張レイヤ復号化部１３０５は、分離部１４０１と、シェイプ逆量子化部１４０２と、ゲイン逆量子化部１４０３と、加算ＭＤＣＴ係数算出部１４０４と、から主に構成される。
【０１０８】
分離部１４０１は、分離部１３０１から入力される拡張レイヤ符号化情報から帯域情報、シェイプ符号化情報、及びゲイン符号化情報を分離し、帯域情報及びシェイプ符号化情報をシェイプ逆量子化部１４０２に、ゲイン符号化情報をゲイン逆量子化部１４０３に出
力する。なお、分離部１４０１を設けずに、分離部１３０１でこれら情報を分離して、これら情報を直接、シェイプ逆量子化部１４０２、ゲイン逆量子化部１４０３に入力してもよい。
【０１０９】
シェイプ逆量子化部１４０２は、シェイプ量子化部１２０３が備えるシェイプコードブックと同様なシェイプコードブックを内蔵し、分離部１４０１から入力されるシェイプ符号化情報Ｓ＿ｍａｘをインデックスとするシェイプコードベクトルを探索する。この時、シェイプ逆量子化部１４０２は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＡの時には、ＳＱＡ個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索し、探索されたコードベクトルを分離部１４０１から入力される帯域情報ｍ＿ｍａｘが示す量子化対象帯域のＭＤＣＴ係数のシェイプの値としてゲイン逆量子化部１４０３に出力する。また、シェイプ逆量子化部１４０２は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＢの時には、ＳＱＢ個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索し、探索されたコードベクトルを、分離部１４０１から入力される帯域情報ｍ＿ｍａｘが示す量子化対象帯域のＭＤＣＴ係数のシェイプの値としてゲイン逆量子化部１４０３に出力する。ここでは、シェイプの値として探索されたシェイプコードベクトルをＳｈａｐｅ＿ｑ（ｋ）（ｋ＝Ｂ（ｊ”），…，Ｂ（ｊ”＋Ｌ）−１）と記す。
【０１１０】
ゲイン逆量子化部１４０３は、ゲイン量子化部１２０４と同様なゲインコードブックを内蔵しており、下記の式（１８）に従いゲインの値を逆量子化する。ここでは、ゲイン値をＬ次元ベクトルとして扱い、ベクトル逆量子化を行う。このとき、ゲイン逆量子化部１４０３は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＡの時には、ＧＱＡ個のゲインコードベクトルからなる内蔵のゲインコードブックを探索し、ゲインの逆量子化を行う。また、ゲイン逆量子化部１４０３は、分離部１４０１から入力される拡張レイヤモード情報がＭｏｄｅＢの時には、ＧＱＢ個のゲインコードベクトルからなる内蔵のゲインコードブックを探索し、ゲインの逆量子化を行う。
【数１８】
2007105586.tif 000058
【０１１１】
次いで、ゲイン逆量子化部１４０３は、逆量子化で得られるゲイン値、およびシェイプ逆量子化部１４０２から入力されるシェイプの値を用いて、下記の式（１９）に従い拡張レイヤＭＤＣＴ係数を算出する。ここでは、算出された復号ＭＤＣＴ係数をＸ”kと記す。
【数１９】
2007105586.tif 000059
【０１１２】
ゲイン逆量子化部１４０３は、上記の式（１９）に従い算出された拡張レイヤＭＤＣＴ係数Ｘ”２kを加算ＭＤＣＴ係数算出部１４０４に出力する。
【０１１３】
加算ＭＤＣＴ係数算出部１４０４は、周波数領域変換部１３０３から入力される基本レイヤ復号ＭＤＣＴ係数Ｘ”１kと、ゲイン逆量子化部１４０３から入力される拡張レイヤ復号ＭＤＣＴ係数Ｘ”２kとを加算し、得られる加算結果を加算ＭＤＣＴ係数Ｘ” kとして時間領域変換部１３０６に出力する。
【０１１４】
以上説明したように、本実施の形態によれば、下位レイヤでＣＥＬＰタイプの符号化方
法を用い、上位レイヤでは変換符号化方法を用いる場合のスケーラブル符号化方式において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法（ビットアロケーション）を切り替えることにより、良好な品質の出力信号を提供することができる。
【０１１５】
また、本実施の形態では、符号化装置において、下位の階層のＬＰＣの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のＳＮＲ（信号対雑音比）に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部１００２内の合成フィルタ４０４において、ＬＰＣ量子化部４０３から出力されるＬＰＣ量子化係数と、適応音源符号帳４０６から出力される適応音源符号に利得を乗じた値とから合成される合成音のＳＮＲを算出し、これを拡張レイヤ制御部１００３内の拡張レイヤモード情報決定部１１０２に出力する。拡張レイヤモード情報決定部１１０２は、入力されたＳＮＲと、内部に予め格納された閾値とを比較し、比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１１０２は、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＡにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＢにする。
【０１１６】
また、拡張レイヤモードの決定方法は、逆でも構わない。つまり、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＢにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＡにしてもよい。
【０１１７】
なお、本実施の形態では、符号化装置において、下位レイヤでＣＥＬＰタイプの符号化を行い、上位レイヤで変換符号化を行う場合について説明したが、本発明はこれに限らず、上位レイヤにおいてＬＰＣパラメータを量子化し、さらに音源成分について変換符号化を行う場合に対しても同様に適用できる。具体的には、下位レイヤのＣＤの大きさに応じて、上位レイヤのＬＰＣパラメータに割り当てるビットと、音源成分の変換符号化に割り当てるビットを変更する、という例が挙げられる。
【０１１８】
（実施の形態３）
実施の形態２では、下位レイヤでＣＥＬＰタイプ符号化を行い、上位レイヤで変換符号化を行うスケーラブル符号化方式において、下位レイヤの符号化結果を利用して上位レイヤの符号化方法（ビットアロケーション）を変更する場合について説明した。その中で、下位レイヤの符号化結果としてＬＰＣパラメータの符号化歪みを利用する場合について説明したが、本発明はこれに限らず、下位レイヤの符号化結果としてピッチゲインの大きさなどのピッチに関する情報を利用して上位レイヤの符号化方法を変更する場合に対しても同様に適用できる。
【０１１９】
実施の形態３では、下位レイヤにてＣＥＬＰタイプの符号化を行い、上位レイヤでは変換符号化を行う場合のスケーラブル符号化方式に対して、下位レイヤにおいて算出されたピッチゲインの大きさを利用して上位レイヤの符号化方法を変更する場合について説明する。なお、本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図１と同一であるので説明を省略する。
【０１２０】
図１５は、本実施の形態に係る符号化装置１０１ａの構成を示すブロック図である。なお、図１５において、図１０と共通する部分には、図１０と同一の符号を付して説明を省略する。
【０１２１】
図１５に示す符号化装置１０１ａは、基本レイヤ符号化部１５０２が制御スイッチ１０１１経由にて拡張レイヤ制御部１５０３に量子化適応音源利得を出力する点で、図１０のものと異なる。また、図１５に示す符号化装置１０１ａは、拡張レイヤ制御部１５０３の内部構成が、図１０の拡張レイヤ制御部１００３と異なる。また、図１５に示す符号化装置１０１ａは、拡張レイヤ制御部１５０３が、拡張レイヤモード情報を拡張レイヤ符号化部１００８のみに出力する点で、図１０と異なる。また、図１５に示す符号化装置１０１ａは、多重化部１５０９が、多重化する情報の数が異なる点で、図１０と異なる。
【０１２２】
図１６は、図１５の拡張レイヤ制御部１５０３の内部構成を示す図である。拡張レイヤ制御部１５０３は、ピッチ情報判定部１６０１と、拡張レイヤモード情報決定部１６０２と、から主に構成される。
【０１２３】
ピッチ情報判定部１６０１は、入力した量子化適応音源利得の値の絶対値を算出し、これを絶対値量子化適応音源利得として、拡張レイヤモード情報決定部１６０２に出力する。
【０１２４】
拡張レイヤモード情報決定部１６０２は、ピッチ情報判定部１６０１から入力される絶対値量子化適応音源利得と、内部に保持する予め定められた閾値とを比較し、その比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１６０２は、絶対値量子化適応音源利得が閾値よりも大きいという比較結果の場合、すなわち、音源成分の周期性が高い場合には拡張レイヤの符号化モードをＭｏｄｅＡにし、絶対値量子化適応音源利得が閾値以下であるという比較結果の場合、すなわち、音源成分の周期性が低い場合には拡張レイヤの符号化モードをＭｏｄｅＢにする。
【０１２５】
図１７は、本実施の形態に係る復号化装置１０３ａの主要な構成を示すブロック図である。なお、図１７において、図１３と共通する部分には、図１３と同一の符号を付して説明を省略する。
【０１２６】
図１７の復号化装置１０３ａは、図１３に対して、拡張レイヤ制御部１７０８を追加した構成をとる。また、図１７の復号化装置１０３ａでは、分離部１７０１から拡張レイヤ復号化部１３０５に拡張レイヤモード情報は入力されず、図１３において分離部１３０１から拡張レイヤ復号化部１３０５に拡張レイヤモード情報が入力される処理が、まず基本レイヤ復号化部１３０２から拡張レイヤ制御部１７０８に量子化適応音源利得が入力され、次に拡張レイヤ制御部１７０８から拡張レイヤ復号化部１３０５に拡張レイヤモード情報が入力される処理に置き換わる。
【０１２７】
また、拡張レイヤ制御部１７０８の内部構成は、拡張レイヤ制御部１５０３と同一であるため、説明を省略する。
【０１２８】
以上説明したように、本実施の形態によれば、下位レイヤでＣＥＬＰタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用いる場合のスケーラブル符号化方式において、下位レイヤの符号化結果（量子化適応音源利得）に応じて上位レイヤの符号化方法（ビットアロケーション）を切り替えることにより、良好な品質の出力信号を提供することができる。具体的には、下位レイヤの符号化結果から、量子化対象の信号の周期性が高い場合には、上位レイヤにおいて、シェイプの量子化に割り当てるビットを多くし、量子化対象の信号の周期性が低い場合には、上位レイヤにおいて、シェイプの量子化に割り当てるビットを少なくすることによって、より効率的に符号化を行うことができる。なお、以上の構成を採る場合には、実施の形態２で説明した場合と異なり、ビットストリームに拡
張レイヤモード情報を含める必要がなく、より低ビットレートで符号化することが可能である。
【０１２９】
また、本実施の形態では、下位レイヤの符号化結果として、量子化適応音源利得を利用して上位レイヤの符号化方法を切り替える場合について説明したが、本発明はこれに限らず、下位レイヤで算出した適応音源ベクトルと、量子化対象の駆動音源ベクトルとから算出できる理想的な適応音源利得を使って上位レイヤの符号化方法を切り替える場合についても同様に適用できる。なお、この手法を採る場合には、符号化装置側の拡張レイヤ符号化部１００８から多重化部１５０９に拡張レイヤモード情報を伝送する必要がある。また、この場合は、復号化装置側では、拡張レイヤ復号化部１３０５は、分離部１７０１から拡張レイヤモード情報を得るため、拡張レイヤ制御部１７０８を備える必要はない。
【０１３０】
また、本発明の実施の形態では、符号化装置において、下位の階層の符号化結果である量子化適応音源利得を予め定められた一定の閾値と比較する場合について説明したが、本発明はこれに限らず、適応音源符号、固定音源符号、あるいはゲインなどのパラメータの歪みを利用する場合にも適用することができる。例えば、適応音源符号を利用する場合、下位レイヤの符号化結果である適応音源符号が示すピッチ周期の大きさに応じて、上位レイヤの符号化方法を切り替える場合が挙げられる。具体的には、下位レイヤの符号化結果である適応音源符号が示すピッチ周期がある閾値以下の場合、つまり量子化対象の信号の周期性が高い場合には、拡張レイヤモード情報をＭｏｄｅＡとし、上位レイヤにおけるシェイプの量子化に割り当てるビットを多くし、閾値よりも大きい場合、つまり量子化対象の信号の周期性が低い場合には、拡張レイヤモード情報をＭｏｄｅＢとし、上位レイヤにおけるシェイプの量子化に割り当てるビットを少なくする、という方法が考えられる。
【０１３１】
なお、当然、拡張レイヤモード情報を決定する条件が逆であっても構わない。つまり、下位レイヤの符号化結果である適応音源符号が示すピッチ周期がある閾値以下の場合には拡張レイヤモード情報をＭｏｄｅＢとし、閾値よりも大きい場合には拡張レイヤモード情報をＭｏｄｅＡとしてもよい。この構成は、上述した構成において、利用する符号化結果が、量子化適応音源利得から適応音源符号に置き換わっただけであるため、ここでは説明を省略する。
【０１３２】
また、本実施の形態では、下位レイヤの符号化結果である量子化適応音源利得が閾値よりも大きい場合には拡張レイヤモード情報をＭｏｄｅＡとし、閾値より小さい場合には拡張レイヤモード情報をＭｏｄｅＢとする場合について説明したが、本発明はこれに限らず、下位レイヤの符号化結果である量子化適応音源利得が閾値よりも大きい場合には拡張レイヤモード情報をＭｏｄｅＢとし、閾値より小さい場合には拡張レイヤモード情報をＭｏｄｅＡとする場合についても同様に適用できる。
【０１３３】
（実施の形態４）
実施の形態２では、下位レイヤでＣＥＬＰタイプ符号化を行い、上位レイヤで変換符号化を行うスケーラブル符号化方式において、下位レイヤの符号化結果を利用して上位レイヤの符号化方法（ビットアロケーション）を変更する場合について説明した。上述した説明では、下位レイヤと上位レイヤで量子化する帯域が同一であることを前提として説明したが、本発明はこれに限らず、下位レイヤと上位レイヤで量子化する帯域が異なる場合に対しても同様に適用できる。
【０１３４】
実施の形態４では、下位レイヤと上位レイヤで量子化する帯域が異なる場合において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法を切り替える構成について説明する。なお、本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図１と同一であるので説明を省略する。
【０１３５】
図１８は、本実施の形態に係る符号化装置１０１ｂの構成を示すブロック図である。なお、図１８において、図１０と共通する部分には、図１０と同一の符号を付して説明を省略する。
【０１３６】
図１８の符号化装置１０１ｂは、図１０に対して、ダウンサンプリング部１８１３及びアップサンプリング部１８１４を追加した構成を採る。
【０１３７】
ダウンサンプリング部１８１３は、入力信号に対してダウンサンプリング処理を行い、入力信号のサンプリング周波数をＲａｔｅ１からＲａｔｅ２に変換し（Ｒａｔｅ１＞Ｒａｔｅ２）、基本レイヤ符号化部１００２に出力する。
【０１３８】
アップサンプリング部１８１４は、基本レイヤ復号化部１００４から入力される基本レイヤ復号化信号に対してアップサンプリング処理を行い、基本レイヤ復号化信号のサンプリング周波数をＲａｔｅ２からＲａｔｅ１に変換して第１周波数領域変換部１００５に出力する。
【０１３９】
図１９は、本実施の形態に係る復号化装置１０３ｂの構成を示すブロック図である。なお、図１９において、図１３と共通する部分には、図１３と同一の符号を付して説明を省略する。
【０１４０】
図１９の復号化装置１０３ｂは、図１３に対して、アップサンプリング部１９０８を追加した構成を採る。
【０１４１】
アップサンプリング部１９０８は、基本レイヤ復号化部１３０２から入力される基本レイヤ復号化信号に対してアップサンプリング処理を行い、基本レイヤ復号化信号のサンプリング周波数をＲａｔｅ２からＲａｔｅ１に変換し、周波数領域変換部１３０３に出力する。
【０１４２】
以上説明したように、本実施の形態によれば、下位レイヤでＣＥＬＰタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用い、さらに下位レイヤと上位レイヤの帯域が異なる場合のスケーラブル符号化方式において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法（ビットアロケーション）を切り替えることにより、良好な品質の出力信号を提供することができる。
【０１４３】
また、本実施の形態では、符号化装置において、下位の階層のＬＰＣの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のＳＮＲ（信号対雑音比）に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部１００２内の合成フィルタ４０４において、ＬＰＣ量子化部４０３から出力されるＬＰＣ量子化係数と、適応音源符号帳４０６から出力される適応音源符号に利得を乗じた値とから合成される合成音のＳＮＲを算出し、これを拡張レイヤ制御部１００３内の拡張レイヤモード情報決定部１１０２に出力する。拡張レイヤモード情報決定部１１０２は、入力されたＳＮＲと、内部に予め格納された閾値とを比較し、比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部１００８に出力する。具体的には、拡張レイヤモード情報決定部１１０２は、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＡにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＢにする。
【０１４４】
また、拡張レイヤモードの決定方法は、逆でも構わない。つまり、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値よりも大きい場合には、拡張レイヤモードをＭｏｄｅＢにし、基本レイヤ符号化部１００２から出力されるＳＮＲが閾値以下である場合には拡張レイヤモードをＭｏｄｅＡにしてもよい。
【０１４５】
なお、上記各実施の形態では、符号化装置において、下位の階層の符号化結果を利用して、上位の階層の符号化時に異なるサイズの符号帳を用いることにより符号化情報のビットアロケーションを変更する場合について説明したが、本発明は、符号帳のサイズ変更に留まらず、下位の階層の符号化結果と組み合わせた場合により良質な音声信号をユーザに提供するために、パラメータの取捨選択を含む、上位の階層における符号化方法を切り替える場合、あるいは上位の階層において同じサイズである別の符号帳と合わせた複数の符号帳から利用する符号帳を切り替えて選択する場合にも適用することができる。
【０１４６】
また、上記各実施の形態では、符号化装置において、符号化に用いる情報量はほぼ一定という条件で符号化情報のビットアロケーションを変更する場合について説明したが、本発明はこれに限らず、符号化に用いることのできる情報量をある程度変更することが出来る場合にも同様に適用される。例えば、システム側、あるいはユーザ側からの指示等によりある閾値（ＳＮＲ等）が定められる場合においては、上述した拡張レイヤ制御方法により、その閾値を満たし、かつ最低限の情報量で入力信号を符号化することも可能である。これにより、回線使用率を抑えつつ、システムあるいはユーザの要求を満たす柔軟な符号化装置・方法を実現することができる。
【０１４７】
また、上記各実施の形態では、符号化装置において、下位の階層の符号化結果であるＬＰＣケプストラム距離を予め定められた一定の閾値と比較する場合について説明したが、本発明はこれに限らず、ＬＰＣの次数などの符号化方法に基づく値、ユーザ指示および回線状況に等応じて閾値を動的に変化させる場合にも適用することができる。
【０１４８】
また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化または復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する全ての場合について適用することができる。
【０１４９】
また、本発明を、コンピュータに信号処理動作を行わせる信号処理プログラムに適用することもできる。また、この信号処理プログラムを、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。
【０１５０】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【０１５１】
２００６年３月１０日出願の特願２００６−０６６７７１および２００７年２月１３日出願の特願２００７−０３２７４６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１５２】
本発明は、スケーラブル符号化技術を用いた通信システムにおける符号化装置、復号化装置に用いるに好適である。
【図面の簡単な説明】
【０１５３】
【図１】本発明の実施の形態１に係る符号化装置および復号化装置を有する通信システムの構成を示す図
【図２】本発明の実施の形態１に係る符号化装置の構成を示すブロック図
【図３】本発明の実施の形態１に係る符号化情報のビットストリーム構造を示す図
【図４】本発明の実施の形態１に係る符号化装置の基本レイヤ符号化部の内部構成を示すブロック図
【図５】本発明の実施の形態１に係る符号化装置の基本レイヤ復号化部の内部構成を示すブロック図
【図６】本発明の実施の形態１に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図
【図７】本発明の実施の形態１に係る符号化装置の拡張レイヤ符号化部の内部構成を示すブロック図
【図８】本発明の実施の形態１に係る復号化装置の構成を示すブロック図
【図９】本発明の実施の形態１に係る復号化装置の拡張レイヤ復号化部の内部構成を示すブロック図
【図１０】本発明の実施の形態２に係る符号化装置の構成を示すブロック図
【図１１】本発明の実施の形態２に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図
【図１２】本発明の実施の形態２に係る符号化装置の拡張レイヤ符号化部の内部構成を示すブロック図
【図１３】本発明の実施の形態２に係る復号化装置の構成を示すブロック図
【図１４】本発明の実施の形態２に係る復号化装置の拡張レイヤ復号化部の内部構成を示すブロック図
【図１５】本発明の実施の形態３に係る符号化装置の構成を示すブロック図
【図１６】本発明の実施の形態３に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図
【図１７】本発明の実施の形態３に係る復号化装置の構成を示すブロック図
【図１８】本発明の実施の形態４に係る符号化装置の構成を示すブロック図
【図１９】本発明の実施の形態４に係る復号化装置の構成を示すブロック図
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007105586.tif 000060
【図２】
2007105586.tif 000061
【図３】
2007105586.tif 000062
【図４】
2007105586.tif 000063
【図５】
2007105586.tif 000064
【図６】
2007105586.tif 000065
【図７】
2007105586.tif 000066
【図８】
2007105586.tif 000067
【図９】
2007105586.tif 000068
【図１０】
2007105586.tif 000069
【図１１】
2007105586.tif 000070
【図１２】
2007105586.tif 000071
【図１３】
2007105586.tif 000072
【図１４】
2007105586.tif 000073
【図１５】
2007105586.tif 000074
【図１６】
2007105586.tif 000075
【図１７】
2007105586.tif 000076
【図１８】
2007105586.tif 000077
【図１９】
2007105586.tif 000078
【国際調査報告】
2007105586.tif 000079
2007105586.tif 000080
2007105586.tif 000081
2007105586.tif 000082