(57)【特許請求の範囲】
【請求項１】
少なくとも低位レイヤと高位レイヤとからなるスケーラブル符号化装置であって、
前記低位レイヤにおける符号化を行って低位レイヤ符号化データを生成する低位レイヤ符号化手段と、
前記高位レイヤにおける符号化を行って高位レイヤ符号化データを生成する高位レイヤ符号化手段と、
前記低位レイヤ符号化データの複製データを生成する複製手段と、
前記高位レイヤ符号化データの一部を前記複製データで置換する置換手段と、
を具備し、
前記置換手段は、
特定フレームの低位レイヤ符号化データの前記複製データを用いて、当該特定フレームよりも前のフレームの前記高位レイヤ符号化データを置換する、
スケーラブル符号化装置。
【請求項２】
所定の判定条件に従って特定フレームを判定する判定手段をさらに具備し、
前記置換手段は、
前記判定手段で判定された特定フレームの前記複製データを用いて前記置換を行う、
請求項１記載のスケーラブル符号化装置。
【請求項３】
前記判定手段は、
音声信号の立ち上がり部を含むフレーム、無声非定常子音部を含むフレーム、または非定常信号の音声フレームを前記特定フレームと判定する、
請求項２記載のスケーラブル符号化装置。
【請求項４】
前記判定手段は、
入力信号の特性を示すパラメータの変化幅が所定レベル以上であるフレームを前記特定フレームと判定する、
請求項２記載のスケーラブル符号化装置。
【請求項５】
前記判定手段は、
前記パラメータとして、音声信号のパワー、ピッチ周期、ピッチ予測ゲイン、またはＬＰＣパラメータを用いる、
請求項４記載のスケーラブル符号化装置。
【請求項６】
前記判定手段は、
前記低位レイヤ符号化データからの復号データに含まれる符号化歪みと、前記低位レイヤ符号化データおよび前記高位レイヤ符号化データの双方からの復号データに含まれる符号化歪みと、を比較することにより、前記高位レイヤ符号化データの符号化歪み減少に対する寄与を判断し、当該寄与が所定レベル以下のフレームを前記特定フレームと判定する、
請求項２記載のスケーラブル符号化装置。
【請求項７】
前記判定手段は、
入力信号の低域エネルギーが全域エネルギーに占める割合を求め、当該割合が所定レベル以上のフレームを前記特定フレームと判定する、
請求項２記載のスケーラブル符号化装置。
【請求項８】
前記特定フレームの低位レイヤ符号化データから、一部のデータを抽出する抽出手段をさらに具備し、
前記複製手段は、
前記一部のデータの複製データを生成する、
請求項１記載のスケーラブル符号化装置。
【請求項９】
前記抽出手段は、
前記一部のデータとして、ＬＰＣパラメータ、適応符号帳ラグ、およびゲインを含むデータを抽出する、
請求項８記載のスケーラブル符号化装置。
【請求項１０】
前記置換手段は、
前記特定フレームよりも前のフレームの高位レイヤ符号化データのうち、一部のデータを前記複製データで置換する、
請求項１記載のスケーラブル符号化装置。
【請求項１１】
前記置換手段は、
前記一部のデータとして、ＬＰＣパラメータ、適応符号帳ラグ、ゲインのいずれもが含まれないデータを選択する、
請求項１０記載のスケーラブル符号化装置。
【請求項１２】
少なくとも低位レイヤと高位レイヤとからなるスケーラブル復号装置であって、
高位レイヤ符号化データから低位レイヤ符号化データの複製データを分離する分離手段と、
フレーム損失を検出する検出手段と、
フレーム損失を検出した場合、前記複製データを復号して第１復号データを生成する低位レイヤ復号手段と、
フレーム損失を検出した場合、前記第１復号データを用いて損失フレームの補償を行い、第２復号データを生成する高位レイヤ復号手段と、
を具備し、
前記分離手段は、
損失フレームよりも前のフレームの高位レイヤ符号化データから、前記損失フレームの低位レイヤ符号化データの前記複製データを分離する、
スケーラブル復号装置。
【請求項１３】
請求項１記載のスケーラブル符号化装置を具備する通信端末装置。
【請求項１４】
請求項１２記載のスケーラブル復号装置を具備する通信端末装置。
【請求項１５】
請求項１記載のスケーラブル符号化装置を具備する基地局装置。
【請求項１６】
請求項１２記載のスケーラブル復号装置を具備する基地局装置。
【請求項１７】
少なくとも低位レイヤと高位レイヤとからなるスケーラブル符号化装置において使用されるスケーラブル符号化方法であって、
前記低位レイヤにおける符号化を行って低位レイヤ符号化データを生成する工程と、
前記高位レイヤにおける符号化を行って高位レイヤ符号化データを生成する工程と、
前記低位レイヤ符号化データの複製データを生成する工程と、
前記高位レイヤ符号化データの一部を前記複製データで置換する工程と、
を具備し、
前記置換する工程は、
特定フレームの低位レイヤ符号化データの前記複製データを用いて、当該特定フレームよりも前のフレームの前記高位レイヤ符号化データを置換する、
スケーラブル符号化方法。
【請求項１８】
少なくとも低位レイヤと高位レイヤとからなるスケーラブル復号装置において使用されるスケーラブル復号方法であって、
高位レイヤ符号化データから低位レイヤ符号化データの複製データを分離する工程と、
フレーム損失を検出する工程と、
フレーム損失を検出した場合、前記複製データを復号して第１復号データを生成する工程と、
フレーム損失を検出した場合、前記第１復号データを用いて損失フレームの補償を行い、第２復号データを生成する工程と、
を具備し、
前記分離する工程は、
損失フレームよりも前のフレームの高位レイヤ符号化データから、前記損失フレームの低位レイヤ符号化データの前記複製データを分離する、
スケーラブル復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法に関する。
【背景技術】
【０００２】
ＩＰネットワーク上での音声データ通信において、ネットワーク上のトラフィック制御やマルチキャスト通信実現のために、スケーラブルな構成を有する音声符号化が望まれている。スケーラブルな構成とは、受信側で部分的な符号化データからでも音声データの復号が可能な構成をいう。
【０００３】
スケーラブル符号化においては、送信側で入力音声信号に対しての階層的な符号化により、コアレイヤを含む低位レイヤ（lower layer）から拡張レイヤを含む高位レイヤ（higher layer）まで複数に階層化された符号化データを伝送する。受信側では低位レイヤから任意の階層までの符号化データを用いて復号を行うことができる（例えば、非特許文献１参照）。
【０００４】
なお、ＩＰネットワーク上でのパケットロスに対する制御として、高位レイヤよりもコアレイヤを含む低位レイヤの符号化データの損失率を抑えることによって、パケットロスへの耐性を高めることができる。
【０００５】
それでもコアレイヤを含む低位レイヤの符号化データが損失することを避けられない場合は、過去に受信した符号化データを用いて誤り補償を行うことができる（例えば、非特許文献２参照）。つまり、入力音声信号に対しフレーム単位でスケーラブル符号化を行って得られた階層化符号化データの内、コアレイヤを含む低位レイヤの符号化データがパケットロスにより損失され受信できなかった場合、受信側は過去に受信した過去のフレームの符号化データを用いて誤り補償を行い、復号を行うことができる。従って、パケットロスが発生した場合の復号信号の品質劣化をある程度抑えることができる。
【非特許文献１】ISO/IEC 14496-3:2001(E) Prt-3 Audio(MPEG-4) Subpart-3 Speech Coding(CELP)
【非特許文献２】ISO/IEC 14496-3:2001(E) Prt-3 Audio(MPEG-4) Subpart-1 Main Annex1.B(Informative) Error Protection tool
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば音声信号の立ち上がり部のような変化が大きい音声信号のコアレイヤ符号化データを損失した場合は、上記のように過去のフレームの符号化データを用いて誤り補償を行っても、その補償の精度が著しく低下し、受信側の復号音声の品質は劣化してしまうという問題がある。
【０００７】
本発明の目的は、コアレイヤ符号化データを損失し、過去のフレームの符号化データを用いる方法では精度良く誤り補償を行うことができない場合でも、復号信号の品質劣化を抑えることができるスケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明のスケーラブル符号化装置は、少なくとも低位レイヤと高位レイヤとからなるスケーラブル符号化装置であって、前記低位レイヤにおける符号化を行って低位レイヤ符号化データを生成する低位レイヤ符号化手段と、前記高位レイヤにおける符号化を行って高位レイヤ符号化データを生成する高位レイヤ符号化手段と、前記低位レイヤ符号化データの複製データを生成する複製手段と、前記高位レイヤ符号化データの一部を前記複製データで置換する置換手段と、を具備し、前記置換手段は、特定フレームの低位レイヤ符号化データの前記複製データを用いて、当該特定フレームよりも前のフレームの前記高位レイヤ符号化データを置換する構成を採る。
【０００９】
本発明のスケーラブル復号装置は、少なくとも低位レイヤと高位レイヤとからなるスケーラブル復号装置であって、高位レイヤ符号化データから低位レイヤ符号化データの複製データを分離する分離手段と、フレーム損失を検出する検出手段と、フレーム損失を検出した場合、前記複製データを復号して第１復号データを生成する低位レイヤ復号手段と、フレーム損失を検出した場合、前記第１復号データを用いて損失フレームの補償を行い、第２復号データを生成する高位レイヤ復号手段と、を具備し、前記分離手段は、損失フレームよりも前のフレームの高位レイヤ符号化データから、前記損失フレームの低位レイヤ符号化データの前記複製データを分離する構成を採る。
【発明の効果】
【００１０】
本発明によれば、ビットレートを増加させることなく誤り補償を行って、復号信号の品質劣化を抑えることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル符号化装置１００の主要な構成を示すブロック図である。スケーラブル符号化装置１００は、コアレイヤと拡張レイヤとの２階層からなる構成を採り、入力される音声信号に対して音声フレームの単位でスケーラブル符号化処理を行う。以下、スケーラブル符号化装置１００に第ｍフレーム（ｍは整数）の音声信号Ｉ（ｍ）が入力される場合を例にとって説明する。
【００１３】
コアレイヤ符号化部１０１は、入力音声信号のコア成分となる信号に対して符号化処理を行い、コアレイヤ符号化データを生成する。コア成分となる信号とは、例えば、入力音声信号が７ｋＨｚ帯域幅を有する広帯域音声信号で、帯域スケーラブル符号化の場合、こ
の広帯域信号から帯域制限によって生成される電話帯域（３．４ｋＨｚ）幅の信号をいう。復号側では、このコアレイヤ符号化データだけを用いて復号を行っても、ある程度の復号信号の品質を保証することができる。コアレイヤ符号化部１０１は、入力音声信号Ｉ（ｍ）を用いてコアレイヤ符号化処理を行い、第ｍフレームのコアレイヤ符号化データＥｃ（ｍ）を生成する。生成されるＥｃ（ｍ）は、遅延部１０６に入力されると共に、置換部１０５にも入力される。即ち、置換部１０５に入力されるデータは遅延部１０６に入力されるデータの複製データとなっている。なお、コアレイヤ符号化部１０１は、入力音声信号そのものに対して符号化処理を行うことによりコアレイヤ符号化データを生成する構成としても良い。
【００１４】
拡張レイヤ符号化部１０２は、コアレイヤ符号化部１０１から入力されるＥｃ（ｍ）を局部復号して復号信号を得、この復号信号と入力音声信号とを比較することにより、入力音声信号のうちＥｃ（ｍ）で表現しきれていない残りの信号成分（例えば、コアレイヤでの符号化誤差信号成分、帯域スケーラブル符号化の場合はコアレイヤで符号化されなかった高帯域信号成分等）を把握し、この成分に対して符号化処理を行い、拡張レイヤ符号化データを生成する。復号側では、コアレイヤ符号化データに加え、拡張レイヤ符号化データを用いて復号を行うことによって、復号信号の品質を向上させることができる。拡張レイヤ符号化部１０２は入力音声信号Ｉ（ｍ）とコアレイヤ符号化部１０１から入力されるＥｃ（ｍ）とを用いて、第ｍフレームの拡張レイヤ符号化データＥｅ（ｍ）を生成する。
【００１５】
置換判定部１０３は、置換部１０５において、入力音声信号Ｉ（ｍ）、コアレイヤ符号化部１０１から入力されるＥｃ（ｍ）、および拡張レイヤ符号化部１０２から入力されるＥｅ（ｍ）を用いて、第（ｍ−１）フレームの拡張レイヤ符号化データＥｅ（ｍ−１）を第ｍフレームのコアレイヤ符号化データＥｃ（ｍ）で置換するか否かの置換判定処理を行う。置換判定部１０３は、この判定結果を示す置換判定フラグｆｌａｇ（ｍ−１）を置換部１０５および拡張レイヤ多重化部１０７へ出力する。
【００１６】
遅延部１０４は、拡張レイヤ符号化部１０２から第ｍフレームの拡張レイヤ符号化データＥｅ（ｍ）が入力され、第（ｍ−１）フレームの拡張レイヤ符号化データＥｅ（ｍ−１）を出力する。即ち、遅延部１０４が出力するＥｅ（ｍ−１）は、１フレーム前の符号化処理において拡張レイヤ符号化部１０２から入力された第（ｍ−１）フレームの拡張レイヤ符号化データＥｅ（ｍ−１）を１フレーム遅延させ、第ｍフレームの符号化処理において出力したものである。
【００１７】
置換部１０５は、置換判定部１０３から入力される置換判定フラグｆｌａｇ（ｍ−１）の値に基づき置換処理を行う。即ち、ｆｌａｇ（ｍ−１）が０である場合は、遅延部１０４から入力されるＥｅ（ｍ−１）をそのまま拡張レイヤ多重化部１０７に出力する。一方、ｆｌａｇ（ｍ−１）が１である場合、置換部１０５は遅延部１０４から入力されるＥｅ（ｍ−１）の中身をコアレイヤ符号化部１０１から入力されるＥｃ（ｍ）で置換して、拡張レイヤ多重化部１０７に出力する。
【００１８】
遅延部１０６は、コアレイヤ符号化部１０１から入力されるＥｃ（ｍ）が入力され、Ｅｃ（ｍ−１）を出力する。即ち、遅延部１０６が出力するＥｃ（ｍ−１）は１フレーム前の符号化処理においてコアレイヤ符号化部１０１から入力された第（ｍ−１）フレームのコアレイヤ符号化データＥｃ（ｍ−１）を１フレーム遅延させ、第ｍフレームの符号化処理において出力したものである。
【００１９】
拡張レイヤ多重化部１０７は、置換判定部１０３から入力される置換判定フラグｆｌａｇ（ｍ−１）、および置換部１０５から入力される拡張レイヤ符号化データＥｅ（ｍ−１）に対して多重化処理を行う。
【００２０】
送信部１０８は、遅延部１０６から入力されるコアレイヤ符号化データＥｃ（ｍ−１）、拡張レイヤ多重化部１０７から入力される拡張レイヤ符号化データＥｅ（ｍ−１）、および置換判定フラグｆｌａｇ（ｍ−１）を多重化してスケーラブル復号装置２００（図４参照）に送信する。
【００２１】
上記のようにスケーラブル符号化装置１００は、入力音声信号Ｉ（ｍ）に比べて１フレーム遅延された第（ｍ−１）フレームのコアレイヤ符号化データＥｃ（ｍ−１）および拡張レイヤ符号化データＥｅ（ｍ−１）をスケーラブル復号装置２００に送信する。なお、拡張レイヤ符号化データＥｅ（ｍ−１）の中身は第（ｍ−１）フレームの拡張レイヤ符号化データＥｅ（ｍ−１）そのものであるか、或いは第ｍフレームのコアレイヤ符号化データＥｃ（ｍ）である。即ち、第（ｍ−１）フレームを現フレームとする場合、第ｍフレームは未来のフレームとなり、スケーラブル符号化装置１００は現フレームの拡張レイヤ符号化データを未来のフレームのコアレイヤ符号化データの複製データで置換して、スケーラブル復号装置２００に伝送する。言い換えると、第ｍフレームを現フレームとする場合、第（ｍ−１）フレームは過去のフレームとなり、スケーラブル符号化装置１００は現フレームのコアレイヤ符号化データの複製データで過去のフレームの拡張レイヤ符号化データを置換して、スケーラブル復号装置２００に伝送する。
【００２２】
図２は、置換判定部１０３の置換判定処理の手順を示すフロー図である。
【００２３】
ステップ（以下、「ＳＴ」と省略する）２００１において、置換判定部１０３は入力音声信号に対して分析を行って、入力音声信号のパワー、ピッチ分析パラメータ（ピッチ周期、ピッチ予測ゲイン）、ＬＰＣスペクトルなどの特性パラメータの変化度合いを算出する。例えばフレーム単位で、入力音声信号のパワーと過去のフレームの入力音声信号のパワーとの差を算出し、入力音声信号の変化度合いを表すパラメータとする。
【００２４】
ＳＴ２００２において置換判定部１０３は、ＳＴ２００１において算出された入力音声信号の変化度合いが所定値以上であるか否かを判定する。音声信号の立ち上がり部、無声非定常子音部など非定常信号における、過去のフレームからの信号の変化が大きいフレームを損失した場合、復号側は過去のフレームの符号化データを用いて所定レベル以上の品質で誤り補償を行うことができない。従って、入力音声信号の変化度合いが所定値以上である場合（ＳＴ２００２：ＹＥＳ）は、復号側が過去のフレームの符号化データを用いて所定レベル以上の品質で誤り補償を行うことができないと判定し、置換判定部１０３はＳＴ２００６の処理に進む。一方、入力音声信号の変化度合いが所定値以上でない場合（ＳＴ２００２：ＮＯ）、置換判定部１０３はＳＴ２００３の処理に進む。
【００２５】
ＳＴ２００３において、置換判定部１０３はコアレイヤ符号化処理のみを行った場合の符号化歪みと、拡張レイヤ符号化処理まで行った場合の符号化歪みとを算出する。
【００２６】
ＳＴ２００４において、置換判定部１０３は拡張レイヤ符号化処理による復号信号の品質改善度合いが所定レベル以下であるか否かを判定する。具体的には、ＳＴ２００３において算出された２つの符号化歪みの差が所定値以下であれば、拡張レイヤ符号化処理による復号信号の品質改善度合いが所定レベル以下であると判定する（ＳＴ２００４：ＹＥＳ）。このとき、置換判定部１０３はＳＴ２００６の処理に進む。一方、拡張レイヤ符号化処理による復号信号の品質改善度合いが所定レベル以下でない場合（ＳＴ２００４：ＮＯ）、置換判定部１０３はＳＴ２００５の処理に進む。
【００２７】
ＳＴ２００５において、置換判定部１０３は置換判定フラグｆｌａｇ（ｍ−１）を「置換なし」を示す０に設定する。ＳＴ２００６において、置換判定部１０３は置換判定フラ
グｆｌａｇ（ｍ−１）を「置換あり」を示す１に設定する。
【００２８】
上記のように、置換判定部１０３は、拡張レイヤ符号化データＥｅ（ｍ−１）を次フレームのコアレイヤ符号化データＥｃ（ｍ）で置換するか否かの判定条件として、第ｍフレームの符号化データを損失した場合に、復号側が過去のフレームの符号化データを用いて所定レベル以上の品質で誤り補償を行うことができるか否か、または第（ｍ−１）フレームの拡張レイヤ符号化処理による復号信号の品質改善度合いが所定レベル以下であるか否かを判断する。
【００２９】
図３は、スケーラブル符号化装置１００における、拡張レイヤ符号化データからコアレイヤ符号化データへの置換の詳細を説明する為の図である。ここでは、第（ｍ−３）〜第（ｍ＋１）フレームの入力音声信号に対する処理を例にとって説明する。
【００３０】
この図において、１行目（１段目）はフレーム毎の入力音声信号を示し、２行目と３行目はそれぞれコアレイヤ符号化部１０１が生成するコアレイヤ符号化データ、および拡張レイヤ符号化部１０２が生成する拡張レイヤ符号化データを示す。
【００３１】
４行目と５行目はそれぞれ、置換部１０５を設けなかったと仮定する場合の、送信部１０８がスケーラブル復号装置２００に伝送するコアレイヤ符号化データおよび拡張レイヤ符号化データを示す。図示されるように、送信部１０８がスケーラブル復号装置２００に伝送する符号化データは、コアレイヤ符号化部１０１および拡張レイヤ符号化部１０２が１フレーム前の符号化処理において生成した符号化データである。
【００３２】
６行目は置換判定部１０３の判定結果を示す置換判定フラグの値である。７行目と８行目はそれぞれ、置換部１０５が置換判定フラグの値に基づき置換処理を行った場合、送信部１０８がスケーラブル復号装置２００に伝送するコアレイヤ符号化データおよび拡張レイヤ符号化データを示す。図示されるように置換判定フラグｆｌａｇ（ｍ−１）が１である場合、Ｅｅ（ｍ−１）はＥｃ（ｍ）に置換される。図中の矢印が示すように置換の結果、第８行第２列のデータは第７行第３列のデータと同一になり、第８行第４列のデータは第７行第５列のデータと同一になる。即ち、Ｅｃ（ｍ）をバックアップとして前もって、スケーラブル復号装置２００に伝送する必要があると置換判定部１０３が判定する場合、置換部１０５はＥｃ（ｍ）でＥｅ（ｍ−１）を置換する処理を施す。
【００３３】
図４は、スケーラブル復号装置２００の主要な構成を示すブロック図である。スケーラブル復号装置２００は、コアレイヤと拡張レイヤの２階層からなる構成を採る。以下、スケーラブル復号装置２００がスケーラブル符号化装置１００から第ｎフレームの符号化データを受信し、復号処理を行う場合について説明する。ここでｎとｍとは「ｎ＝ｍ−１」の関係にあるとする。
【００３４】
受信部２０１は、スケーラブル符号化装置１００から、コアレイヤ符号化データＥｃ（ｎ）、拡張レイヤ符号化データＥｅ（ｎ）、および置換判定フラグｆｌａｇ（ｎ）が多重化された符号化データを受信する。
【００３５】
拡張レイヤ逆多重化部２０２は、受信部２０１から入力される、拡張レイヤ符号化データＥｅ（ｎ）と置換判定フラグｆｌａｇ（ｎ）とが多重化されたデータに対し逆多重化処理を行い、拡張レイヤ符号化データＥｅ（ｎ）と置換判定フラグｆｌａｇ（ｎ）とを分離する。
【００３６】
切替部２０３は、拡張レイヤ逆多重化部２０２から入力される置換判定フラグｆｌａｇ（ｎ）の値に基づき、拡張レイヤ逆多重化部２０２から入力される拡張レイヤ符号化デー
タＥｅ（ｎ）の中身がＥｅ（ｎ）そのものであるか、それとも次フレームのコアレイヤ符号化データＥｃ（ｎ＋１）であるか判定する。切替部２０３はその判定結果に基づき、置換判定フラグｆｌａｇ（ｎ）が１である場合、コアレイヤ符号化データＥｃ（ｎ＋１）を遅延部２０４に出力し、置換判定フラグｆｌａｇ（ｎ）が０である場合、拡張レイヤ符号化データＥｅ（ｎ）を拡張レイヤ復号部２０６に出力する。
【００３７】
遅延部２０４は、切替部２０３から第（ｎ＋１）フレームのコアレイヤ符号化データＥｃ（ｎ＋１）が入力され、第ｎフレームのコアレイヤ符号化データＥｃ（ｎ）を出力する。即ち、遅延部２０４が出力するＥｃ（ｎ）は、１フレーム前の復号処理において切替部２０３から入力された第ｎフレームのコアレイヤ符号化データＥｃ（ｎ）を、１フレーム遅延させ、第（ｎ＋１）フレームの復号処理において出力したものである。
【００３８】
コアレイヤ復号部２０５は、パケットロス検出部（図示せず）から入力されるパケットロスフラグに基づいて、パケットロスがない場合は、受信部２０１から入力されるコアレイヤ符号化データＥｃ（ｎ）、および拡張レイヤ逆多重化部２０２から入力される置換判定フラグｆｌａｇ（ｎ）を用いて復号処理を行い、コアレイヤ復号信号Ｄｃ（ｎ）を生成する。また、パケットロスが発生した場合、コアレイヤ復号部２０５は、受信部２０１から入力されるコアレイヤ符号化データＥｃ（ｎ）の代わりに、遅延部２０４から入力されるコアレイヤ符号化データＥｃ（ｎ）を用いて復号処理を行う。コアレイヤ復号部２０５における処理の詳細については後述する。
【００３９】
拡張レイヤ復号部２０６は、パケットロス検出部（図示せず）から入力されるパケットロスフラグに基づいて、パケットロスがない場合は、切替部２０３から入力される拡張レイヤ符号化データＥｅ（ｎ）、拡張レイヤ逆多重化部２０２から入力される置換判定フラグｆｌａｇ（ｎ）、コアレイヤ復号部２０５から入力されるコアレイヤ符号化データＥｃ（ｎ）、およびコアレイヤ復号部２０５から入力されるコアレイヤ復号信号Ｄｃ（ｎ）を用いて復号処理を行い、拡張レイヤ復号信号Ｄｅ（ｎ）を出力する。また、パケットロスが発生した場合、拡張レイヤ復号部２０６は、過去に受信した拡張レイヤ符号化データとコアレイヤ復号部２０５で生成される補償データとを用いて誤り補償を行う。
【００４０】
図５は、コアレイヤ復号部２０５および拡張レイヤ復号部２０６における誤り補償処理および復号処理の手順を示すフロー図である。
【００４１】
ＳＴ５００１において、コアレイヤ復号部２０５はパケットロスフラグに基づき、第ｎフレームの符号化データを損失したか否かを判定する。フレームを損失しなかったと判定する場合（ＳＴ５００１：ＮＯ）、コアレイヤ復号部２０５はＳＴ５００２の処理に進み、フレームを損失したと判定する場合（ＳＴ５００１：ＹＥＳ）はＳＴ５００６に進む。
【００４２】
ＳＴ５００２において、コアレイヤ復号部２０５は受信部２０１から入力されるコアレイヤ符号化データＥｃ（ｎ）を用いて、コアレイヤ復号処理を行い、コアレイヤ復号信号Ｄｃ（ｎ）を生成する。
【００４３】
ＳＴ５００３において、拡張レイヤ復号部２０６は置換判定フラグｆｌａｇ（ｎ）が１であるか否かを判定する。ＳＴ５００３において置換判定フラグｆｌａｇ（ｎ）の値が１であると判定する場合（ＳＴ５００３：ＹＥＳ）、拡張レイヤ復号部２０６はＳＴ５００５の処理に進み、置換判定フラグｆｌａｇ（ｎ）の値が０であると判定する場合（ＳＴ５００３：ＮＯ）はＳＴ５００４に進む。
【００４４】
ＳＴ５００４において、拡張レイヤ復号部２０６は拡張レイヤ符号化データＥｅ（ｎ）を用いて拡張レイヤ復号処理を行い、拡張レイヤ復号信号Ｄｅ（ｎ）を生成する。
【００４５】
ＳＴ５００５において、拡張レイヤ復号部２０６は切替部２０３から拡張レイヤ符号化データＥｅ（ｎ）が入力されないため、コアレイヤ符号化データＥｃ（ｎ）、コアレイヤ復号信号Ｄｃ（ｎ）、１フレーム前の復号処理において受信した第（ｎ−１）フレームの拡張レイヤ符号化データＥｅ（ｎ−１）、および第（ｎ−１）フレームの拡張レイヤ復号信号Ｄｅ（ｎ−１）を用いて、誤り補償処理および復号処理を行い、第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）を生成する。
【００４６】
ＳＴ５００６において、コアレイヤ復号部２０５は１つ前のフレームの置換判定フラグｆｌａｇ（ｎ−１）の値が１であるか否かを判定する。ｆｌａｇ（ｎ−１）の値が１であると判定された場合（ＳＴ５００６：ＹＥＳ）は、１フレーム前の復号処理において受信された第（ｎ−１）フレームの拡張レイヤ符号化データＥｅ（ｎ−１）の中身は第ｎフレームのコアレイヤ符号化データＥｃ（ｎ）であることが判定できる。従って、コアレイヤ復号部２０５はＳＴ５００７の処理に進む。
【００４７】
ＳＴ５００７において、コアレイヤ復号部２０５は１フレーム前の復号処理において受信した第ｎフレームのコアレイヤ符号化データＥｃ（ｎ）を用いてコアレイヤ復号処理を行い、コアレイヤ復号信号Ｄｃ（ｎ）を生成する。
【００４８】
ＳＴ５００８において、拡張レイヤ復号部２０６は、コアレイヤ復号信号Ｄｃ（ｎ）と、１つ前のフレーム、即ち第（ｎ−１）フレームの拡張レイヤ符号化データＥｅ（ｎ−１）と、拡張レイヤ復号信号Ｄｅ（ｎ−１）とを用いて、誤り補償処理および復号処理を行い、第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）を生成する。
【００４９】
一方、ＳＴ５００６においてｆｌａｇ（ｎ−１）の値が０であると判定された場合（ＳＴ５００６：ＮＯ）、１フレーム前の復号処理において受信された、第（ｎ−１）フレームの拡張レイヤ符号化データＥｅ（ｎ−１）の中身は、第ｎフレームのコアレイヤ符号化データＥｃ（ｎ）ではなくＥｅ（ｎ−１）そのものであると判定できるため、コアレイヤ復号部２０５はＳＴ５００９の処理に進む。
【００５０】
ＳＴ５００９において、コアレイヤ復号部２０５は１つ前のフレーム、即ち第（ｎ−１）フレームのコアレイヤ符号化データＥｃ（ｎ−１）およびコアレイヤ復号信号Ｄｃ（ｎ−１）を用いて、誤り補償処理および復号処理を行い、第ｎフレームのコアレイヤ復号信号Ｄｃ（ｎ）を生成する。
【００５１】
ＳＴ５０１０において、拡張レイヤ復号部２０６は１つ前のフレーム、即ち第（ｎ−１）フレームのコアレイヤ符号化データＥｃ（ｎ−１）と、コアレイヤ復号信号Ｄｃ（ｎ−１）と、拡張レイヤ符号化データＥｅ（ｎ−１）と、拡張レイヤ復号信号Ｄｅ（ｎ−１）とを用いて、誤り補償処理および復号処理を行い、第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）を生成する。
【００５２】
この図６は、スケーラブル復号装置２００における復号処理を説明する為の図である。ここでは、図３に示したデータと基本的に同一のデータを用い、スケーラブル復号装置２００が受信する符号化データを追加して示し、パケットロスにより損失したフレームを区別して示す点が図３と相違する。即ち、第９行目はスケーラブル復号装置２００が受信するコアレイヤ符号化データを示し、第１０行目はスケーラブル復号装置２００が受信する拡張レイヤ符号化データを示す。なお、ここでは、第（ｍ−３）フレームおよび第ｍフレームの符号化データを損失している例を示している。
【００５３】
図６に示すデータを用いる場合、コアレイヤ復号部２０５および拡張レイヤ復号部２０
６における復号処理の手順は以下の通りである。
【００５４】
スケーラブル復号装置２００が第（ｍ−４）フレームまたは第（ｍ−２）フレームの符号化データを受信する場合、ＳＴ５００１、ＳＴ５００２、ＳＴ５００３、ＳＴ５００４の手順で復号処理を行う。
【００５５】
スケーラブル復号装置２００が第（ｍ−１）フレームの符号化データを受信する場合は、ＳＴ５００１、ＳＴ５００２、ＳＴ５００３、ＳＴ５００５の手順で誤り補償処理および復号処理を行う。
【００５６】
スケーラブル復号装置２００が第（ｍ−３）フレームの符号化データを受信する場合は、ＳＴ５００１、ＳＴ５００６、ＳＴ５００９、ＳＴ５０１０の手順で誤り補償処理および復号処理を行う。
【００５７】
スケーラブル復号装置２００が第ｍフレームの符号化データを受信する場合は、ＳＴ５００１、ＳＴ５００６、ＳＴ５００７、ＳＴ５００８の手順で誤り補償処理および復号処理を行う。
【００５８】
このように、本実施の形態によれば、スケーラブル符号化装置１００は、各フレームに対してコアレイヤ符号化データのバックアップを前もってスケーラブル復号装置２００に伝送する必要があるか否かの判定を行い、必要があると判定される特定のフレームに対しては、コアレイヤ符号化データで当該フレーム（現フレーム）よりも１フレーム前（過去のフレーム）の拡張レイヤ符号化データを置換する。
【００５９】
即ち、過去のフレームの符号化データを用いて所定レベル以上の品質で誤り補償を行うことができない場合、または、過去のフレームにおいて拡張レイヤ符号化処理による復号信号の品質改善度合いが所定レベル以下である場合、スケーラブル符号化装置１００はコアレイヤ符号化データで過去のフレームの拡張レイヤ符号化データを置換してスケーラブル復号装置２００に伝送する。従って、スケーラブル復号装置２００はパケットロスにより現フレームの符号化データを受信できない場合、過去のフレームの復号処理において受信された現フレームのコアレイヤ符号化データを用いて復号処理を行うことができるため、ビットレートを増加させることなく、復号信号の品質劣化を抑えることができる。
【００６０】
また、スケーラブル符号化装置１００は、未来のフレームのコアレイヤ符号化データをバックアップとして前もってスケーラブル復号装置２００に伝送する必要がないと判定されたフレームに対しては、拡張レイヤ符号化データ（現フレームのデータ）を１フレーム後のコアレイヤ符号化データ（未来のフレームのデータ）で置換せずそのままスケーラブル復号装置２００に伝送する。従って、スケーラブル復号装置２００は、パケットロスが発生しなかった場合、現フレームの符号化データを用いてコアレイヤから拡張レイヤまでの復号処理を行うことができるため、復号信号の品質を向上させることができる。
【００６１】
なお、本実施の形態においては、ＳＴ２００２またはＳＴ２００４の何れか１つの判定条件が満たされれば、符号化データの置換を行うと置換判定部１０３が判定する場合を例にとっているが、これらの２つの条件が同時に満たされる場合のみに符号化データの置換を行うと判定するようにしても良い。
【００６２】
また、本実施の形態においては、復号側が過去のフレームの符号化データを用いて所定レベル以上の品質で誤り補償を行うことができるか否か判定するために、置換判定部１０３が入力音声信号の変化度合いが所定値以上であるかを判定する場合を例にとっているが（ＳＴ２００２）、置換判定部１０３がパケットロスによりフレームを損失したことを想
定して、実際に過去のフレームの符号化データを用いて誤り補償処理および復号処理を行うことにより判定を行っても良い。即ち、生成された復号信号と入力音声信号との間の誤差の大きさを示す数値が所定値以上である、すなわち誤差が所定値以上に大きい場合は、ＳＴ２００６の処理に進み、所定値以上でない場合はＳＴ２００５の処理に進む。
【００６３】
また、本実施の形態においては、拡張レイヤ符号化処理による復号信号の品質改善度合いを判定するために置換判定処理のＳＴ２００３において、コアレイヤ符号化処理のみを行った場合の符号化歪みと、拡張レイヤ符号化処理まで行った場合の符号化歪みを算出する場合を例にとっているが、符号化歪みの代わりにＳＮＲを算出しても良い。このような場合ＳＴ２００４において、置換判定部１０３はＳＴ２００３において算出された２つのＳＮＲの差が所定値以下である否かを判定すれば良い。
【００６４】
また、本実施の形態においては、拡張レイヤ符号化処理による復号信号の品質改善度合いを判定するために、コアレイヤ符号化処理のみを行った場合の符号化歪みと、拡張レイヤ符号化処理まで行った場合の符号化歪みと、の差を算出する場合を例にとっているが（ＳＴ２００３およびＳＴ２００４）、スケーラブル符号化装置１００が周波数帯域スケーラブルを実現する装置である場合は、入力音声信号の帯域の偏り、即ち、コアレイヤ符号化部１０１の処理対象となる低域の信号のエネルギーの全帯域の信号のエネルギーに対する比率を算出しても良い。
【００６５】
また、本実施の形態においては、置換判定部１０３において、入力音声信号Ｉ（ｍ）、コアレイヤ符号化データＥｃ（ｍ）、および拡張レイヤ符号化データＥｅ（ｍ）を用いる場合を例にとって説明したが、Ｅｃ（ｍ）およびＥｅ（ｍ）に加えて、コアレイヤ符号化および拡張レイヤ符号化により得られる復号音声信号や符号化処理過程で得られるパラメータを用いるようにしても良いし、Ｅｃ（ｍ）およびＥｅ（ｍ）の代わりに、コアレイヤ符号化および拡張レイヤ符号化により得られる復号音声信号や符号化処理過程で得られるパラメータを用いるようにしても良い。
【００６６】
また、本実施の形態においては、復号処理のＳＴ５００５（拡張レイヤ誤り補償処理および復号処理）において、コアレイヤ復号信号Ｄｃ（ｎ）、拡張レイヤ復号信号Ｄｅ（ｎ−１）を用いる場合を例にとっているが、Ｄｃ（ｎ）、Ｄｅ（ｎ−１）ではなく、第ｎフレームのコアレイヤ復号処理で得られた復号パラメータ、および第（ｎ−１）フレームの拡張レイヤ復号処理で得られた復号パラメータを用いても良い。同様にＳＴ５００８、ＳＴ５００９、ＳＴ５０１０においても、復号信号の代わりに復号パラメータを用いて誤り補償処理および復号処理を行っても良い。
【００６７】
また、本実施の形態においては、スケーラブル符号化装置１００およびスケーラブル復号装置２００が２階層からなる構成を採る場合を例にとっているが、これに限定されるものではなく、３階層以上からなる構成を採っても良い。
【００６８】
また、本実施の形態においては、スケーラブル符号化装置１００が入力音声信号に比べ１フレーム遅延された符号化データを復号側に送信する場合を例にとっているが、これに限定されるものではなく、２フレーム以上遅延された符号化データを復号側に送信しても良い。即ち、拡張レイヤ符号化データを２フレーム以上後のフレームのコアレイヤ符号化データで置換しても良い。これにより、バースト的なパケットロスが発生し、２フレーム以上のフレームを連続して損失しても、所定レベル以上の品質で誤り補償処理および復号処理を行うことができる。
【００６９】
また、本実施の形態においては、スケーラブル符号化装置１００が生成するコアレイヤ符号化データＥｃ（ｍ）のビット数と拡張レイヤ符号化データＥｅ（ｍ−１）のビット数
とが同一である場合を例にとっているが、拡張レイヤ符号化データＥｅ（ｍ−１）のビット数がコアレイヤ符号化データＥｃ（ｍ）のビット数より大きい場合は、Ｅｅ（ｍ−１）の一部をＥｃ（ｍ）で置換すれば良い。このような場合、Ｅｅ（ｍ−１）の置換されなかった残りの一部はスケーラブル復号装置２００の復号処理に使われても良く、使われなくても良い。
【００７０】
（実施の形態２）
図７は、本発明の実施の形態２に係るスケーラブル符号化装置３００の主要な構成を示すブロック図である。スケーラブル符号化装置３００は、実施の形態１に係るスケーラブル符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。スケーラブル符号化装置３００は、抽出部３０９をさらに具備する点において、スケーラブル符号化装置１００と相違する。なお、スケーラブル符号化装置３００の置換部３０５と、スケーラブル符号化装置１００の置換部１０５とは処理の一部に相違点があり、それを示すために異なる符号を付す。
【００７１】
抽出部３０９は、コアレイヤ符号化部１０１から入力されるＥｃ（ｍ）の中から符号化品質への寄与が大きい部分を抽出して抽出コアレイヤ符号化データＥｃａ（ｍ）を生成する。例えばＣＥＬＰ（Code Excited Linear Prediction）符号化方式の場合、Ｅｃ（ｍ）の中から、ＬＰＣ（線形予測係数）パラメータ、適応符号帳ラグ、およびゲインを抽出する。
【００７２】
置換部３０５は、置換判定部１０３から入力される置換判定フラグｆｌａｇ（ｍ−１）の値が０である場合は、遅延部１０４から入力されるＥｅ（ｍ−１）をそのまま拡張レイヤ多重化部１０７に出力する。一方、ｆｌａｇ（ｍ−１）が１である場合、置換部３０５は遅延部１０４から入力されるＥｅ（ｍ−１）の一部を抽出部３０９から入力される抽出コアレイヤ符号化データＥｃａ（ｍ）で置換して、拡張レイヤ多重化部１０７に出力する。
【００７３】
図８は、スケーラブル符号化装置３００において、第（ｍ−１）フレームの拡張レイヤ符号化データＥｅ（ｍ−１）の一部が抽出コアレイヤ符号化データＥｃａ（ｍ）へと置換される処理について説明する為の図である。
【００７４】
ここでは、フレーム長が２０ｍｓで、コアレイヤ符号化データのビットレートが８ｋｂｐｓ（１６０ビット／フレーム）で、拡張レイヤ符号化データのビットレートが４ｋｂｐｓ（８０ビット／フレーム）である場合を例にとって説明する。抽出部３０９は、１６０ビットのＥｃ（ｍ）の内から抽出コアレイヤ符号化データＥｃａ（ｍ）を抽出する。即ち、ＣＥＬＰ符号化方式の場合はＥｃ（ｍ）の中から、ＬＰＣパラメータ、適応符号帳ラグ、およびゲインを抽出する。抽出するＥｃａ（ｍ）を例えば３ｋｂｐｓ（６０ビット／フレーム）とする場合、置換部３０５は拡張レイヤ符号化データＥｅ（ｍ−１）の内、符号化品質への寄与が大きい部分、即ち抽出拡張レイヤ符号化データＥｅａ（ｍ−１）を１ｋｂｐｓ（２０ビット／フレーム）に合わせて抽出する。Ｅｅａ（ｍ−１）のビット数の２０ビット（フレーム当たり）は、Ｅｅ（ｍ−１）のビット数の８０ビット（フレーム当たり）とＥｃａ（ｍ）のビット数の６０ビット（フレーム当たり）との差である。置換部３０５はＥｅ（ｍ−１）の内、Ｅｅａ（ｍ−１）以外の部分をＥｃａ（ｍ）で置換する。従って、置換部３０５が拡張レイヤ多重化部１０７に出力するデータは、Ｅｅａ（ｍ−１）とＥｃａ（ｍ）とのセットである。ここで、置換部３０５におけるＥｅａ（ｍ−１）の抽出方法は、抽出部３０９におけるＥｃａ（ｍ）の抽出方法と同様である。
【００７５】
上記のように、実施の形態１においては、第（ｍ−１）フレームの拡張レイヤ符号化データを第ｍフレームのコアレイヤ符号化データ全体を用いて置換するのに対して、本実施
の形態においては、第（ｍ−１）フレームの拡張レイヤ符号化データＥｅ（ｍ−１）の一部分を第ｍフレームのコアレイヤ符号化データＥｃ（ｍ）の一部分を用いて置換する。
【００７６】
図９は、本実施の形態に係るスケーラブル復号装置４００の主要な構成を示すブロック図である。
【００７７】
スケーラブル復号装置４００は、実施の形態１に係るスケーラブル復号装置２００（図４参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。スケーラブル復号装置４００の切替部４０３、コアレイヤ復号部４０５、および拡張レイヤ復号部４０６はそれぞれ、スケーラブル復号装置２００の切替部２０３、コアレイヤ復号部２０５、および拡張レイヤ復号部２０６と処理の一部に相違点があり、それを示すために異なる符号を付す。
【００７８】
切替部４０３は、拡張レイヤ逆多重化部２０２から入力される置換判定フラグｆｌａｇ（ｎ）の値に基づき、拡張レイヤ逆多重化部２０２から入力される拡張レイヤ符号化データＥｅ（ｎ）の中身がＥｅ（ｎ）そのものであるか、それとも抽出拡張レイヤ符号化データＥｅａ（ｎ）と次フレームの抽出コアレイヤ符号化データＥｃａ（ｎ＋１）とのセットであるかを判断し、出力先を切り替える。具体的には、置換判定フラグｆｌａｇ（ｎ）が１である場合、切替部４０３は、Ｅｃａ（ｎ＋１）を遅延部２０４に出力し、Ｅｅａ（ｎ）を拡張レイヤ復号部４０６に出力する。一方、置換判定フラグｆｌａｇ（ｎ）が０である場合、切替部４０３は拡張レイヤ符号化データＥｅ（ｎ）を拡張レイヤ復号部４０６に出力する。
【００７９】
コアレイヤ復号部４０５および拡張レイヤ復号部４０６と、スケーラブル復号装置２００のコアレイヤ復号部２０５および拡張レイヤ復号部２０６との処理上の相違点については、図１０のフロー図を用いて説明する。
【００８０】
図１０は、コアレイヤ復号部４０５および拡張レイヤ復号部４０６における誤り補償処理および復号処理の手順を示すフロー図である。この図は、実施の形態１に係るコアレイヤ復号部２０５および拡張レイヤ復号部２０６における誤り補償処理および復号処理を説明するフロー図（図５）と基本的に同様のステップを有しており、同一のステップには同一の符号を付し、その説明を省略する。図１０において、図５と相違するステップはＳＴ９００５およびＳＴ９００７である。
【００８１】
スケーラブル符号化装置３００において、第ｎフレームの拡張レイヤ符号化データＥｅ（ｎ）全体が次フレームのコアレイヤ符号化データで置換されるのではなく、Ｅｅａ（ｎ）の部分は置換されずスケーラブル復号装置４００に伝送される為、ＳＴ９００５において、拡張レイヤ復号部４０６はＥｅａ（ｎ）を用いて拡張レイヤ復号処理を行い、拡張レイヤ復号信号Ｄｅ（ｎ）を生成する。
【００８２】
ＳＴ９００７において、コアレイヤ復号部４０５は１フレーム前の復号処理において受信された抽出コアレイヤ符号化データＥｃａ（ｎ）を用いてコアレイヤ復号処理を行い、コアレイヤ復号信号Ｄｃ（ｎ）を生成する。
【００８３】
このように、本実施の形態によれば、符号化側で拡張レイヤ符号化データ全体ではなく、拡張レイヤ符号化データの一部分だけを次フレームのコアレイヤ符号化データのうち符号化品質への寄与が大きい部分に限定したデータを用いて置換することによって、復号側では拡張レイヤ符号化データの置換されなかった部分のデータを用いて拡張レイヤ復号を行うことができる。従って、復号信号の品質を向上させることができる。また、置換に用いるコアレイヤ符号化データとして符号化品質への寄与が大きい部分に限定することで、
拡張レイヤ符号化よりコアレイヤ符号化のビットレートが大きい場合にも、本実施の形態を適用して、復号信号の劣化を抑えることができる。
【００８４】
なお、本実施の形態では、符号化側で、拡張レイヤ符号化データ全体ではなく拡張レイヤ符号化データの一部分だけを置換する構成を例にとって説明したが、拡張レイヤ符号化データの全体を次フレームのコアレイヤ符号化データのうち符号化品質への寄与が大きい部分に限定したデータを用いて置換するようにしても良い。
【００８５】
また、本実施の形態では、復号処理のＳＴ９００５において、拡張レイヤ復号部４０６はＥｅａ（ｎ）を用いて拡張レイヤ復号処理を行う場合を例にとっているが、Ｅｅａ（ｎ）に加え、第（ｎ−１）フレームの拡張レイヤ符号化データＥｅ（ｎ−１）および拡張レイヤ復号信号Ｄｅ（ｎ−１）も用いて復号処理を行っても良い。
【００８６】
また、本実施の形態においては、抽出部３０９がすべてのフレームに対して同様の抽出方法を用いる場合を例にとっているが、各フレームに適応して異なる抽出方法を用いて、用いられた抽出方法に関する情報をスケーラブル復号装置４００に別途送信しても良い。これにより、スケーラブル復号装置４００において生成される復号信号の品質劣化をさらに抑えることができる。
【００８７】
（実施の形態３）
実施の形態１、２では、符号化側において現フレームの拡張レイヤ符号化データを次フレーム（または次フレーム以降）のコアレイヤ複製データで置換した。よって、符号化側で１フレーム（または１フレーム以上）余分に遅延することとなる。一方、本実施の形態では、符号化側にて、現フレームの拡張レイヤ符号化データをこれよりも前のフレームのコアレイヤ複製データで置換する構成を採る。この構成を採ることにより、符号化側での余分な遅延が発生しない代わりに復号側で１フレーム余分に遅延することとなる。
【００８８】
図１１は、本発明の実施の形態３に係るスケーラブル符号化装置５００の主要な構成を示すブロック図である。スケーラブル符号化装置５００は、実施の形態２に示したスケーラブル符号化装置３００（図７参照）と一部が同様の構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【００８９】
スケーラブル符号化装置５００をスケーラブル符号化装置３００と比較すると、遅延部１０４、１０６が削除され、代わりに遅延部５０１が追加されている点が大きく異なる。以下詳細に説明する。
【００９０】
コアレイヤ符号化部１０１の出力である第ｍフレームのコアレイヤ符号化データＥｃ（ｍ）は、送信部１０８へ直接出力される。また、拡張レイヤ符号化部１０２の出力である第ｍフレームの拡張レイヤ符号化データＥｅ（ｍ）は、置換部５０２へ直接出力される。さらに、抽出部３０９の出力である抽出コアレイヤ符号化データＥｃａ（ｍ）は、遅延部５０１を介すことにより１フレーム遅延され、第ｍ−１フレームの抽出コアレイヤ符号化データＥｃａ（ｍ−１）として、置換部５０２へ出力される。
【００９１】
置換判定部５０３は、置換部５０２において、入力音声信号、コアレイヤ符号化部１０１から入力されるコアレイヤ符号化データ、および拡張レイヤ符号化部１０２から入力される拡張レイヤ符号化データを用いて、第ｍフレームの拡張レイヤ符号化データＥｅ（ｍ）の一部を第ｍ−１フレームのコアレイヤ符号化データＥｃ（ｍ−１）の一部で置換するか否かの置換判定処理を行う。具体的には、置換判定部５０３は、第ｍ−１フレームの符号化データを損失した場合に、復号側が過去フレームの符号化データを用いて当該第ｍ−１フレームの復号信号に対して所定レベル以上の品質で誤り補償を行うことができないか
、または第ｍフレームの拡張レイヤ符号化処理による復号信号の品質改善具合が所定レベル以下であるかを判断し、これらの判定条件に該当する場合に置換判定部５０３は、上記置換を行うと判定する。置換判定部５０３は、第ｍフレームの判定結果を示す置換判定フラグｆｌａｇ（ｍ）を置換部５０２および拡張レイヤ多重化部１０７へ出力する。
【００９２】
置換部５０２は、置換判定部５０３から入力される置換判定フラグｆｌａｇ（ｍ）の値が０である場合、すなわち置換なしと判定された場合は、Ｅｅ（ｍ）をそのまま拡張レイヤ多重化部１０７へ出力する。一方、ｆｌａｇ（ｍ）が１である場合、すなわち、置換ありと判定された場合は、置換部５０２は、Ｅｅ（ｍ）の一部を抽出コアレイヤ符号化データＥｃａ（ｍ−１）で置換して拡張レイヤ多重化部１０７へ出力する。
【００９３】
置換判定フラグｆｌａｇ（ｍ）および拡張レイヤ符号化データＥｅ（ｍ）は、拡張レイヤ多重化部１０７において多重化され、送信部１０８を介して復号側へ送信される。
【００９４】
なお、ここでは、スケーラブル符号化装置５００が、置換判定フラグｆｌａｇ（ｍ）が１の場合に、コアレイヤ符号化データＥｃ（ｍ）から抽出部３０９にて抽出された後に遅延された抽出コアレイヤ符号化データＥｃａ（ｍ−１）で、置換部５０２にて拡張レイヤ符号化データＥｅ（ｍ）の一部を置換する構成として説明したが、一部のデータを抽出することなくコアレイヤ符号化データＥｃ（ｍ）全体を１フレーム遅延させたデータＥｃ（ｍ−１）でＥｅ（ｍ）の一部または全てを置換する構成としても良い。
【００９５】
また、ここでは、置換判定フラグｆｌａｇ（ｍ）が１の場合に、拡張レイヤ符号化部１０２にて符号化された拡張レイヤ符号化データＥｅ（ｍ）の一部を、置換部５０２にて抽出コアレイヤ符号化データＥｃａ（ｍ−１）で置換する構成として説明したが、置換判定フラグｆｌａｇ（ｍ）が１の場合に、拡張レイヤ符号化部１０２にて、ｆｌａｇ（ｍ）が０の場合に比べて抽出コアレイヤ符号化データＥｃａ（ｍ−１）に相当するビット数だけ少ない符号化ビット数で、拡張レイヤ符号化を行い、その結果得られた拡張レイヤ符号化データＥｅｐ（ｍ）と抽出コアレイヤ符号化データＥｃａ（ｍ−１）を拡張レイヤ多重化部１０７に出力するようにしても良い。
【００９６】
また、ここでは、置換判定部５０３での判定の結果、置換判定フラグｆｌａｇ（ｍ）が１の場合のみ、置換部５０２でＥｅ（ｍ）の一部を抽出コアレイヤ符号化データＥｃａ（ｍ−１）で置換する構成として説明したが、置換判定部５０３での判定結果によらず、常に置換部５０２でＥｅ（ｍ）の一部を抽出コアレイヤ符号化データＥｃａ（ｍ−１）で置換するようにしても良い。
【００９７】
次いで、スケーラブル符号化装置５００に対応する、本実施の形態に係るスケーラブル復号装置６００について説明する。
【００９８】
図１２は、スケーラブル復号装置６００の主要な構成を示すブロック図である。なお、実施の形態２に示したスケーラブル復号装置４００（図９参照）と同一の構成要素には同一の符号を付し、その説明を省略する。また、ここでは、スケーラブル符号化装置５００から送信された第ｎフレームの符号化データを受信し、復号処理を行う場合を例にとって説明する。ｎとｍとは「ｎ＝ｍ」の関係にある。
【００９９】
切替部４０３ａは、拡張レイヤ逆多重化部２０２から入力される置換判定フラグｆｌａｇ（ｎ）の値に基づき、拡張レイヤ逆多重化部２０２から入力される拡張レイヤ符号化データＥｅ（ｎ）の中身がＥｅ（ｎ）そのものであるか、それとも抽出拡張レイヤ符号化データＥｅａ（ｎ）と前フレームの抽出コアレイヤ符号化データＥｃａ（ｎ−１）とのセットであるかを判断し、出力先を切り替える。具体的には、切替部４０３ａは、置換判定フ
ラグｆｌａｇ（ｎ）が１である場合、Ｅｅａ（ｎ）とＥｃａ（ｎ−１）とのセットを前フレームコアレイヤ復号部６０１および拡張レイヤ復号部４０６へ出力する。一方、置換判定フラグｆｌａｇ（ｎ）が０である場合、切替部４０３ａは拡張レイヤ符号化データＥｅ（ｎ）を拡張レイヤ復号部４０６へ出力する。
【０１００】
コアレイヤ復号部４０５は、パケットロスフラグに基づいて処理を切り替え、第ｎフレームにおいてパケットロスがない場合、コアレイヤ符号化データＥｃ（ｎ）を用いて復号処理を行う。一方、第ｎフレームにおいてパケットロスが発生した場合、過去に受信したコアレイヤ符号化データを用いて誤り補償処理を行い、コアレイヤ復号信号Ｄｃ（ｎ）を生成する。
【０１０１】
前フレームコアレイヤ復号部６０１は、パケットロスフラグと置換判定フラグｆｌａｇ（ｎ）の双方を用いて、第ｎ−１フレームでパケットロスが発生し、かつ、符号化データにおいて一部置換が行われたか否かを判断し、当該条件に該当する場合には、切替部４０３ａから入力される第ｎ−１フレームの抽出コアレイヤ符号化データＥｃａ（ｎ−１）、コアレイヤ復号部４０５から入力される第ｎフレームのコアレイヤ符号化データ、および同じくコアレイヤ復号部４０５から入力される第ｎフレームより前のコアレイヤ符号化データを用いて、第ｎ−１フレームのコアレイヤ復号信号Ｄｃ_ｒ（ｎ−１）を生成する。
【０１０２】
遅延部６０２は、コアレイヤ復号部４０５から出力される第ｎフレームのコアレイヤ復号信号Ｄｃ（ｎ）を１フレーム遅延させて第ｎ−１フレームの復号信号Ｄｃ（ｎ−１）とした後、これを選択部６０３へ出力する。
【０１０３】
選択部６０３は、前フレームコアレイヤ復号部６０１からコアレイヤ復号信号Ｄｃ_ｒ（ｎ−１）が出力されてくる場合は、この信号をコアレイヤ復号信号として出力し、そうでない場合、すなわち遅延部６０２からコアレイヤ復号信号Ｄｃ（ｎ−１）が出力されてくる場合は、これを復号信号として出力する。
【０１０４】
拡張レイヤ復号部４０６は、パケットロスフラグに基づいて処理を切り替え、パケットロスがない場合は通常の復号処理を行って拡張レイヤ復号信号Ｄｅ（ｎ）を出力する。また、パケットロスが発生した場合は、過去に受信した拡張レイヤ符号化データとコアレイヤ復号部４０５で生成される補償データとを用いて誤り補償を行う。通常の復号処理は、より詳細には、切替部４０３ａから入力される拡張レイヤ符号化データＥｅ（ｎ）もしくは抽出拡張レイヤ符号化データＥｅａ（ｎ）、拡張レイヤ逆多重化部２０２から入力される置換判定フラグｆｌａｇ（ｎ）、コアレイヤ復号部４０５から入力されるコアレイヤ符号化データＥｃ（ｎ）、およびコアレイヤ復号部４０５から入力されるコアレイヤ復号信号Ｄｃ（ｎ）を用いて復号処理が行われる。
【０１０５】
前フレーム拡張レイヤ復号部６０４は、パケットロスフラグおよび置換判定フラグｆｌａｇ（ｎ）に基づき、第ｎ−１フレームでパケットロスが発生し、かつ、符号化データにおいて一部置換が行われたか否かを判断し、当該条件に該当する場合には、前フレームコアレイヤ復号部６０１から入力される第ｎ−１フレームのコアレイヤ符号化データ、コアレイヤ復号信号、拡張レイヤ復号部４０６から入力される第ｎフレームの拡張レイヤ符号化データ、および同じく拡張レイヤ復号部４０６から入力される第ｎフレームより前の拡張レイヤ符号化データを用いて、拡張レイヤの誤り補償を行い、拡張レイヤ復号信号Ｄｅ_ｒ（ｎ−１）を生成する。
【０１０６】
遅延部６０５は、拡張レイヤ復号部４０６から出力される第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）を１フレーム遅延させて第ｎ−１フレームの復号信号Ｄｅ（ｎ−１）とした後、これを選択部６０６へ出力する。
【０１０７】
選択部６０６は、前フレーム拡張レイヤ復号部６０４から拡張レイヤ復号信号Ｄｅ_ｒ（ｎ−１）が出力されてくる場合は、この信号を拡張レイヤ復号信号として出力し、そうでない場合、すなわち遅延部６０５から拡張レイヤ復号信号Ｄｅ（ｎ−１）が出力されてくる場合は、これを復号信号として出力する。
【０１０８】
図１３は、本実施の形態に係るスケーラブル復号装置６００の上記復号処理の一連の手順を示すフロー図である。
【０１０９】
まず、スケーラブル復号装置６００は、コアレイヤ復号部４０５および拡張レイヤ復号部４０６において、パケットロスフラグに基づき、第ｎフレームの符号化データを損失したか否かを判定する（ＳＴ３０１０）。
【０１１０】
ＳＴ３０１０において第ｎフレームの符号化データの損失ありと判定された場合、コアレイヤ復号部４０５において、第ｎ−１フレームのコアレイヤ符号化データＥｃ（ｎ−１）およびコアレイヤ復号信号Ｄｃ（ｎ−１）を用いた誤り補償処理および復号処理が行われ、第ｎフレームのコアレイヤ復号信号Ｄｃ（ｎ）が生成される（ＳＴ３０２０）。また、拡張レイヤ復号部４０６で、第ｎ−１フレームのコアレイヤ符号化データＥｃ（ｎ−１）、コアレイヤ復号信号Ｄｃ（ｎ−１）、拡張レイヤ符号化データＥｅ（ｎ−１）、および拡張レイヤ復号信号Ｄｅ（ｎ−１）を用いた誤り補償処理および復号処理が行われ、第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）が生成される（ＳＴ３０３０）。
【０１１１】
コアレイヤ復号部４０５で生成され、遅延部６０２を経た第ｎ−１フレーム、すなわち１フレーム前のコアレイヤ復号信号Ｄｃ（ｎ−１）と、拡張レイヤ復号部４０６で生成され、遅延部６０５を経た第ｎ−１フレームの拡張レイヤ復号信号Ｄｅ（ｎ−１）とが各々出力される（ＳＴ３０４０）。
【０１１２】
一方、ＳＴ３０１０において第ｎフレームの符号化データに損失なしと判定された場合、スケーラブル復号装置６００は、コアレイヤ復号部４０５において、第ｎフレームのコアレイヤ符号化データＥｃ（ｎ）を用いたコアレイヤ復号処理を行い、第ｎフレームのコアレイヤ復号信号Ｄｃ（ｎ）を生成する（ＳＴ３０５０）。
【０１１３】
次に、拡張レイヤ復号部４０６において、第ｎフレームの置換判定フラグｆｌａｇ（ｎ）が１であるか否かが判定される（ＳＴ３０６０）。
【０１１４】
ＳＴ３０６０において置換判定フラグｆｌａｇ（ｎ）の値が０の場合、すなわち「置換なし」の場合、拡張レイヤ復号部４０６で第ｎフレームの拡張レイヤ符号化データＥｅ（ｎ）を用いた拡張レイヤ復号処理が行われ、第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）が生成される（ＳＴ３０７０）。
【０１１５】
コアレイヤ復号部４０５で生成され、遅延部６０２を経た第ｎ−１フレームのコアレイヤ復号信号Ｄｃ（ｎ−１）と、拡張レイヤ復号部４０６で生成され、遅延部６０５を経た第ｎ−１フレームの拡張レイヤ復号信号Ｄｅ（ｎ−１）とが各々出力される（ＳＴ３０８０）。
【０１１６】
一方、ＳＴ３０６０において、置換判定フラグｆｌａｇ（ｎ）の値が１の場合、すなわち「置換あり」の場合、拡張レイヤ復号部４０６で第ｎフレームの抽出拡張レイヤ符号化データＥｅａ（ｎ）を用いた拡張レイヤ復号処理が行われ、第ｎフレームの拡張レイヤ復号信号Ｄｅ（ｎ）が生成される（ＳＴ３０９０）。
【０１１７】
かかる場合さらに、前フレームコアレイヤ復号部６０１において、第ｎ−１フレームの符号化データが損失されたか否かが判定される（ＳＴ３１００）。
【０１１８】
ＳＴ３１００において第ｎ−１フレームの符号化データに損失がないと判定された場合、コアレイヤ復号部４０５で生成され、遅延部６０２を経た第ｎ−１フレームのコアレイヤ復号信号Ｄｃ（ｎ−１）と、拡張レイヤ復号部４０６で生成され、遅延部６０５を経た第ｎ−１フレームの拡張レイヤ復号信号Ｄｅ（ｎ−１）とが各々出力される（ＳＴ３１１０）。
【０１１９】
ＳＴ３１００において第ｎ−１フレームの符号化データに損失があると判定された場合、前フレームコアレイヤ復号部６０１で、第ｎ−１フレームの抽出コアレイヤ符号化データＥｃａ（ｎ−１）を用いて、第ｎ−１フレームのコアレイヤ復号信号Ｄｃ_ｒ（ｎ−１）が生成される。また、前フレーム拡張レイヤ復号部６０４で、拡張レイヤ復号部４０６の第ｎ−１フレームの拡張レイヤ補償処理で生成される補償データを用いて、第ｎ−１フレームの拡張レイヤ復号信号Ｄｅ_ｒ（ｎ−１）が生成される。生成されたコアレイヤ復号信号Ｄｃ_ｒ（ｎ−１）および拡張レイヤ復号信号Ｄｅ_ｒ（ｎ−１）は、それぞれ選択部６０３、６０６を介して、第ｎ−１フレームの復号信号として出力される（ＳＴ３１２０）。
【０１２０】
なお、ここでは、前フレームコアレイヤ復号部６０１の復号処理において必要となる復号状態データをコアレイヤ復号部４０５から入力する場合を例にとって説明したが、前フレームコアレイヤ復号部６０１およびコアレイヤ復号部４０５の間で、双方の復号処理の過程で使用及び更新が必要となる復号状態データを入出力し合うようにしても良い。同様に、前フレーム拡張レイヤ復号部６０４および拡張レイヤ復号部４０６の間で、双方の復号状態データを入出力し合うようにしても良い。
【０１２１】
また、第ｎ−１フレームの拡張レイヤ復号信号Ｄｅ_ｒ（ｎ−１）として、前フレームコアレイヤ復号部６０１において第ｎ−１フレームの抽出コアレイヤ符号化データＥｃａ（ｎ−１）を用いて復号された第ｎ−１フレームの低位レイヤ復号信号Ｄｃ_ｒ（ｎ−１）と同一の信号としても良い。
【０１２２】
以上説明したように、本実施の形態によれば、符号化側にて、現フレームの拡張レイヤ符号化データをそれより前のフレームのコアレイヤ複製データで置換するため、符号化側での余分な遅延は発生しない代わりに復号側で１フレーム余分に遅延するようになる。
【０１２３】
よって、本実施の形態は、次に説明するようなケースに最適である。すなわち、コアレイヤ符号化としてＣＥＬＰ符号化を用い、変換符号化として変換長が符号化フレームの２倍であるようなＭＤＣＴを用いる場合、スケーラブル復号装置では、コアレイヤの復号処理に比べて拡張レイヤの復号処理において１フレーム余分に遅延が発生する。すなわち、拡張レイヤの符号化／復号処理に要するアルゴリズムの遅延が、コアレイヤの符号化／復号処理に要するアルゴリズムの遅延よりも必然的に大きくなる。
【０１２４】
かかる場合、本実施の形態の構成によれば、復号側で余分に生じる遅延を、拡張レイヤの復号処理で元々必要なアルゴリズムに起因する１フレームの遅延の範囲内に収めることにより、見かけ上遅延の発生を抑えることができる。例えば、上記のケースにおいては、スケーラブル復号装置６００の拡張レイヤ復号部４０６において、第ｎフレームの復号処理の結果、１フレーム遅延された第ｎ−１フレームの拡張レイヤ復号信号Ｄｅ（ｎ−１）が必ず生成され出力されることとなる。よって、本実施の形態で説明した遅延部６０５は上記ケースにおいて不要となる。
【０１２５】
このように、本実施の形態は、コアレイヤ符号化としてＣＥＬＰ符号化を用い、拡張レイヤの符号化として変換符号化を用いる場合のように、拡張レイヤの符号化／復号処理に要するアルゴリズムの遅延が、コアレイヤの符号化／復号処理に要するアルゴリズムの遅延よりも大きくなる場合に最適である。
【０１２６】
以上、本発明の各実施の形態について説明した。
【０１２７】
本発明に係るスケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。
【０１２８】
本発明に係るスケーラブル符号化装置およびスケーラブル復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【０１２９】
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るスケーラブル符号化方法およびスケーラブル復号方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るスケーラブル符号化装置およびスケーラブル復号装置と同様の機能を実現することができる。
【０１３０】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０１３１】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【０１３２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１３３】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【０１３４】
本明細書は、２００５年１０月１４日出願の特願２００５−３００７７７および２００５年１２月２８日出願の特願２００５−３７９３３５に基づく。これらの内容はすべてここに含めておく。
【産業上の利用可能性】
【０１３５】
本発明に係るスケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法は音声符号化等の用途に適用することができる。
【図面の簡単な説明】
【０１３６】
【図１】実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図
【図２】実施の形態１に係る置換判定部の置換判定処理の手順を示すフロー図
【図３】拡張レイヤ符号化データからコアレイヤ符号化データへの置換の詳細を説明する為の図
【図４】実施の形態１に係るスケーラブル復号装置の主要な構成を示すブロック図
【図５】実施の形態１に係るコアレイヤ復号部および拡張レイヤ復号部における誤り補償処理および復号処理の手順を示すフロー図
【図６】実施の形態１に係る復号処理を説明する為の図
【図７】実施の形態２に係るスケーラブル符号化装置の主要な構成を示すブロック図
【図８】拡張レイヤ符号化データの一部が抽出コアレイヤ符号化データへと置換される処理について説明する為の図
【図９】実施の形態２に係るスケーラブル復号装置の主要な構成を示すブロック図
【図１０】実施の形態２に係るコアレイヤ復号部および拡張レイヤ復号部における誤り補償処理および復号処理の手順を示すフロー図
【図１１】実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図
【図１２】実施の形態３に係るスケーラブル復号装置の主要な構成を示すブロック図
【図１３】実施の形態３に係る復号処理の一連の手順を示すフロー図
【図１】
0005142723.tif 000002
【図２】
0005142723.tif 000003
【図３】
0005142723.tif 000004
【図４】
0005142723.tif 000005
【図５】
0005142723.tif 000006
【図６】
0005142723.tif 000007
【図７】
0005142723.tif 000008
【図８】
0005142723.tif 000009
【図９】
0005142723.tif 000010
【図１０】
0005142723.tif 000011
【図１１】
0005142723.tif 000012
【図１２】
0005142723.tif 000013
【図１３】
0005142723.tif 000014