(57)【要約】  適応符号帳等の過去の音源情報を利用する音声コーデックをメインレイヤとする場合でも、消失したフレームおよび後続フレームの復号音声品質劣化の少ないフレーム消失補償方法。この方法では、現フレームの符号化情報として、ピッチ周期Ｔとピッチゲインｇとが得られているとする。前フレームの音源情報を１本のパルスで表現し、パルス位置ｂとパルス振幅ａとを補償用の符号化情報とする。このとき、符号化された音源信号は、現フレームの先頭位置からｂだけさかのぼった位置に振幅ａのパルスを１本立てたベクトルとなる。これを適応符号帳の内容として用いると、現フレームの位置（Ｔ−ｂ）に振幅（ｇ×ａ）のパルスを立てたものが現フレームにおける適応符号帳ベクトルとなる。このベクトルを用いて復号信号を合成し、合成信号と入力信号との誤差が最小となるように、パルス位置ｂとパルス振幅ａとを決定する。
2008007698.tif 000002
【特許請求の範囲】
【請求項１】
音声符号化装置と音声復号装置との間にある伝送路上で消失したパケットから復号されるべき音声信号を、前記音声復号装置において擬似的に生成して補償する消失フレーム補償方法であって、
前記音声符号化装置において、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて符号化する符号化ステップと、
前記音声復号装置において、前記現フレームの直前のフレームである第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する復号ステップと、
を有する消失フレーム補償方法。
【請求項２】
前記第１フレームの復号誤差は、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、
請求項１記載の消失フレーム補償方法。
【請求項３】
前記第１フレームの冗長情報は、前記音声符号化装置において、前記第１フレームの復号誤差を小さくする前記第２フレームの音源信号を符号化した情報である、
請求項１記載の消失フレーム補償方法。
【請求項４】
前記符号化ステップは、
前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置し、
前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置し、
前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差を小さくする前記第１パルスを、前記第２フレーム内で探索することにより求め、
求めた前記第１パルスの位置と振幅を、前記第１フレームの冗長情報とする、
請求項１記載の消失フレーム補償方法。
【請求項５】
符号化情報と冗長情報とを含むパケットを生成して送信する音声符号化装置であって、
現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて生成する現フレーム冗長情報生成部
を有する音声符号化装置。
【請求項６】
前記第１フレームの復号誤差は、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、
請求項５記載の音声符号化装置。
【請求項７】
前記第１フレームの冗長情報は、前記第１フレームの復号誤差を小さくする、前記現フレームの直前のフレームである第２フレームの音源信号を符号化した情報である、
請求項５記載の音声符号化装置。
【請求項８】
前記現フレーム冗長情報生成部は、
前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置する第１パルス生成部と、
前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置する第２パルス生成部と、
前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差が最小となるような前記第１パルスを、前記現フレームの前フレームである第２フレーム内で探索することにより求める誤差最小化部と、
求めた前記第１パルスの位置と振幅を前記第１フレームの冗長情報として符号化する冗長情報符号化部と、
を有する請求項５記載の音声符号化装置。
【請求項９】
前記冗長情報符号化部は、前記第１パルスの位置のとり得る値に応じた必要ビット数より１ビット少ないビット数で前記第１パルスの位置を量子化し、量子化後の位置を符号化する、
請求項８記載の音声符号化装置。
【請求項１０】
符号化情報と冗長情報とを含むパケットを受信して復号音声信号を生成する音声復号装置であって、
現フレームを第１フレームとし、前記現フレームの直前のフレームを第２フレームとして、前記第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差が小さくなるように生成された前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの符号化情報を生成する消失フレーム補償部
を有する音声復号装置。
【請求項１１】
前記第１フレームの冗長情報は、音声信号が符号化される際、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの音声信号との誤差が小さくなるように生成された情報である、
請求項１０記載の音声復号装置。
【請求項１２】
前記消失フレーム補償部は、
前記第２フレームの符号化情報を用いて前記第２フレームの音源復号信号である第１音源復号信号を生成する第１音源復号部と、
前記第１フレームの冗長情報を用いて前記第２フレームの音源復号信号である第２音源復号信号を生成する第２音源復号部と、
前記第１音源復号信号と前記第２音源復号信号とを入力し、前記第２フレームのパケット消失情報にしたがっていずれかの信号を出力する切り替え部と、を有する、
請求項１０記載の音声復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、消失フレーム補償方法、音声符号化装置、および音声復号装置に関する。
【背景技術】
【０００２】
ＶｏＩＰ（Voice over IP）用の音声コーデックには、高いパケットロス耐性が要求される。次世代のＶｏＩＰ用コーデックでは、比較的高いフレーム消失率（例えば６％のフレーム消失率）においてエラーフリーの品質を達成することが望まれる（ただし、消失誤りを補償するための冗長情報を伝送することは許容される）。【０００３】
ＣＥＬＰ（Code Excited Linear Prediction）型の音声コーデックの場合、音声の立ち上がり部のフレームが消失することによる品質劣化が問題となるケースが多い。その理由のひとつは、立ち上がり部における信号の変化は大きく、直前のフレームの信号との相関性が低いため、直前のフレームの情報を用いた隠蔽処理は有効に機能しないことにある。また別の理由としては、後続の有声部のフレームにおいて、立ち上がり部で符号化した音源信号が適応符号帳として積極的に使用されるため、立ち上がり部の消失の影響が後続する有声フレームに伝播し、復号音声信号の大きな歪につながりやすいことが挙げられる。【０００４】
上記のような問題に対して、現フレームの符号化情報と共に、直前や直後のフレームが消失した場合の補償処理用の符号化情報を現フレームの符号化情報と一緒に送る技術が開発されている（例えば、特許文献１参照）。この技術は、現フレームの音声信号の繰り返し又は該符号の特徴量の外挿により直前のフレーム（または直後のフレーム）の補償信号を合成してみて、直前のフレームの音声信号（または直後のフレームの音声信号）と比較することにより、現フレームから直前のフレームの音声信号（または直後のフレームの音声信号）を擬似的に作ることができるか否かを判断し、作ることができないと判断される場合には直前のフレームの音声信号（または直後のフレームの音声信号）をサブエンコーダによって符号化して直前の（または直後の）フレームの音声信号を表すサブコードを生成し、メインエンコーダで符号化した現フレームのメインコードにサブコードを追加して伝送することによって直前のフレーム（または直後のフレーム）が消失した場合においても高品質な復号信号の生成を可能としている。
【特許文献１】特開２００３−２４９９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術は、現フレームの符号化情報を基にして、直前のフレーム（つまり過去のフレーム）の符号化をサブエンコーダにおいて行う構成であるため、直前のフレーム（つまり過去のフレーム）の符号化情報が失われていても現フレームの信号を高品質に復号できるコーデック方式がメインエンコーダである必要がある。このため、過去の符号化情報（または復号情報）を用いる予測型の符号化方式をメインエンコーダとした場合には、上記技術を適用することは困難である。特に、適応符号帳を利用するＣＥＬＰ型の音声コーデックをメインエンコーダとして用いる場合、直前のフレームが消失すると現フレームの復号を正しく行うことができず、上記技術を適用しても高品質な復号信号を生成することは困難である。【０００６】
本発明の目的は、適応符号帳等の過去の音源情報を利用する音声コーデックをメインエンコーダとする場合に、直前のフレームが消失しても現フレームの補償をすることができる消失フレーム補償方法、および当該方法が適用される音声符号化装置、音声復号装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、音声符号化装置と音声復号装置との間にある伝送路上で消失したパケットから復号されるべき音声信号を、前記音声復号装置において擬似的に生成して補償する消失フレーム補償方法であって、前記音声符号化装置と前記音声復号装置は次のような動作を行うようにしたものである。前記音声符号化装置では、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて符号化する符号化ステップを有する。また、前記音声復号装置は、前記現フレームの直前のフレーム（すなわち第２フレーム）のパケットが消失した場合に、前記第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する復号ステップを有する。【０００８】
また、本発明は、符号化情報と冗長情報とを含むパケットを生成して送信する音声符号化装置であって、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて生成する現フレーム冗長情報生成部を有するようにした。【０００９】
また、本発明は、符号化情報と冗長情報とを含むパケットを受信して復号音声信号を生成する音声復号装置であって、現フレームを第１フレームとし、前記現フレームの直前のフレームを第２フレームとして、前記第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差が小さくなるように生成された前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する消失フレーム補償部を有するようにした。
【発明の効果】
【００１０】
本発明によれば、適応符号帳等の過去の音源情報を利用する音声コーデックをメインエンコーダとする場合に、前フレームが消失しても現フレームの復号信号の品質劣化を抑えることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る消失フレーム補償方法の前提を説明するための図
【図２】本発明で解決しようとする課題を説明するための図
【図３】本発明の実施の形態に係る消失フレーム補償方法のうちの音声符号化方法を具体的に説明するための図
【図４】本発明の実施の形態に係る音声符号化方法を具体的に説明するための図
【図５】本発明の実施の形態に係るパルス位置探索の式を示す図
【図６】本発明の実施の形態に係る歪最小化の式を示す図
【図７】本発明の実施の形態に係る音声符号化装置の主要な構成を示すブロック図
【図８】本発明の実施の形態に係る音声復号装置の主要な構成を示すブロック図
【図９】本発明の実施の形態に係る前フレーム音源探索部の主要な構成を示すブロック図
【図１０】本発明の実施の形態に係るパルス位置符号化部の動作フロー図
【図１１】本発明の実施の形態に係る前フレーム音源復号部の主要な構成を示すブロック図
【図１２】本発明の実施の形態に係るパルス位置復号部の動作フロー図
【発明を実施するための最良の形態】
【００１２】
図１は、本発明に係る消失フレーム補償方法の前提を説明するための図である。ここでは、現フレーム（図中の第ｎフレームがこれに該当）の符号化情報と、１フレーム前（図中の第ｎ−１フレームがこれに該当）の符号化情報と、を１つのパケットにパケット化し、伝送する場合を例にとっている。【００１３】
１フレーム前の符号化情報を補償処理用の冗長情報として伝送することにより、１つ前のパケットが消失した場合でも現在のパケットに格納されている１フレーム前の情報を復号することによって、パケット消失の影響を受けずに音声信号の復号を行うことが可能である。ただし、現パケットを受信してから前パケットで受信していたはずの前フレームの符号化情報を取り出さなければならないので、１フレーム分の遅延がデコーダ側で生じる。【００１４】
本発明では、このような現フレームの符号化情報に前フレームの符号化情報を冗長情報として付加して伝送するコーデックにおいて、効率的な消失フレーム補償方法および冗長情報の符号化方法を提案する。【００１５】
図２は、本発明で解決しようとする課題を説明するための図である。【００１６】
ＣＥＬＰ符号化の場合、フレーム消失による品質劣化要因は大きく２つに分けられる。第１は、消失したフレーム（図中のＳ１）そのものの劣化である。第２は、消失フレームの後続フレーム（図中のＳ２）における劣化である。【００１７】
前者は、消失したフレームを隠蔽処理（または補償処理と呼ぶ）によって本来の信号とは異なる信号を生成することによって生じる劣化である。一般に、図１で示したような方法では、「本来の信号とは異なる信号」ではなく「本来の信号」を生成できるようにするために冗長情報を伝送する。しかし、冗長情報の情報量を少なくすると、すなわちビットレートを下げると、「本来の信号」を高品質で符号化することが難しくなり、消失フレームそのものの劣化をなくすことが難しくなる。【００１８】
一方、後者の劣化は、消失フレームにおける劣化が後続フレームに伝播することによって生じる。これは、ＣＥＬＰ符号化が、過去に復号した音源情報を適応符号帳として現フレームの音声信号を符号化するのに利用していることに起因する。例えば、消失フレームが図２に示したように有声の立ち上がり部であった場合、立ち上がり部で符号化された音源信号は、メモリにバッファリングされ、後続フレームの適応符号帳ベクトルの生成に利用される。ここで、一旦、適応符号帳の内容（すなわち立ち上がり部で符号化された音源信号）が本来あるべき内容と異なってしまうと、それを利用して符号化された後続フレームの信号も、正しい音源信号とは大きく異なることとなり、後続フレームにおいて品質劣化が伝播することになる。このことは、消失フレームを補償するために付加する冗長情報が少ない場合は特に問題となる。すなわち、先に述べたように、冗長情報が不十分な場合、消失したフレームの信号を高品質に生成することができないため、後続フレームの品質劣化を招きやすくなる。【００１９】
そこで、本発明では、以下に示すように、冗長情報として符号化する直前のフレームの情報が、現フレームの適応符号帳として使用されるときに有効に働くか否かを、冗長情報を符号化する際の評価基準として用いる。【００２０】
換言すると、本発明は、現フレームにおける適応符号帳（つまり過去の符号化音源信号のバッファ）の符号化を行い、これを冗長情報として伝送するシステムにおいて、適応符号帳そのものを高品質に符号化するのではなく（すなわち過去の符号化音源信号をできるだけ忠実に符号化しようとするのではなく）、現フレームの符号化パラメータを用いて復号処理を行って得られる現フレームにおける復号信号と、現フレームの入力信号との歪を小さくするように適応符号帳の符号化を行うものである。【００２１】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。【００２２】
図３は、本発明の実施の形態に係る消失フレーム補償方法に係る音声符号化方法を具体的に説明するための図である。【００２３】
この図において、現フレームにおける符号化情報として、ピッチ周期（または、ピッチラグ、適応符号帳情報）であるＴと、ピッチゲイン（または適応符号帳利得）であるｇとが得られているとする。そして、前フレームの音源情報を１本のパルスとして符号化し、これを補償処理用の冗長情報とする。すなわち、パルス位置（ｂ）とパルス振幅（ａ、但し極性情報を含む）とを符号化情報とする。このとき、符号化された音源信号は、現フレームの先頭位置からｂだけさかのぼった位置に振幅ａのパルスを１本立てたベクトルとなる。これを適応符号帳の内容として用いると、現フレームの位置（Ｔ−ｂ）に振幅（ｇ×ａ）のパルスを立てたものが現フレームにおける適応符号帳ベクトルとなる。この「現フレームの位置（Ｔ−ｂ）に振幅ｇａのパルスを立てた」ベクトルを用いて復号信号を合成し、合成された復号信号と入力信号との誤差が最小となるように、パルス位置ｂとパルス振幅ａとを決定する。図３においては、パルス位置ｂの探索は、フレーム長をＬとして、Ｔ−ｂが０からＬ−１までの範囲内となるように行う。【００２４】
例えば、１フレームが２つのサブフレームから構成されている場合は、以下のように音声符号化を行う。図４は、この音声符号化方法を具体的に説明するための図である。【００２５】
サブフレーム長をＮとし、現フレームの最初のサンプルの位置を０としている。この図に示すように、基本的には、−１から−Ｔの範囲でパルス位置を探索する（図４(ａ)のＴ≦Ｎの場合を参照）。しかし、ＴがＮを超える場合（図４(ｂ)参照）は、−１から−Ｔ＋Ｎの範囲内にパルスを立てても、Ｔが整数精度の場合は、現在の第１サブフレームにパルスは立たず、第２サブフレームにパルスが立つこととなる（ただし、Ｔが分数精度の場合で、補間フィルタのタップ数が多い場合は、タップ数の分だけインパルスがＳｉｎｃ関数で広がることになるので、第１サブフレームにも非零成分が現れることがある）。【００２６】
そこで、かかる場合は、図４に示すように、まず、音源信号（未量子化音源信号を用いても良い）のエネルギが最大のサブフレームを選択し、次に、選択されたサブフレームに応じて−Ｔから−Ｔ＋Ｎ−１の範囲（第１サブフレームが選択された場合）、または−Ｔ＋Ｎから−１の範囲（第２サブフレームが選択された場合）のいずれかの範囲から、選択されたサブフレームでの誤差を最小とするパルス位置を探索する。例えば、第２サブフレームが選択された場合、パルス位置と第１サブフレームの先頭位置との差をｂとすれば、振幅がｇ２＊ａのパルスが、サンプル番号−ｂ＋Ｔ２の位置にパルスが立つことになる。ここで、ｇ２およびＴ２は前記第２サブフレームにおけるピッチゲインおよびピッチ周期をそれぞれ表す。本実施の形態では、このパルスを音源として合成信号を生成し、聴覚重み付けを施した後の誤差を最小化することによって、パルス位置探索を行う。【００２７】
より詳細には、図５に示す式を用いて、上記のパルス位置探索を行うことが可能である。【００２８】
図５において、ｘは符号化対象信号であるターゲットベクトル、ｇは現フレームで符号化された量子化適応符号帳ベクトル利得（ピッチゲイン）、Ｈは現フレームにおける重み付け合成フィルタのインパルス応答を畳み込む下三角テプリッツ行列、Ｓは音源パルスの形状を音源パルスに畳み込むためのテプリッツ行列（音源パルスの形状が因果的フィルタで表現される場合、すなわち、音源パルスより時間的に後ろにのみ形状を有する場合は下三角テプリッツ行列（すなわち ｈ-1〜ｈ-N+1＝０ ）となる。一方、音源パルスより時間的に前にも形状を有する場合はｈ-1〜ｈ-N+1の少なくとも一部は非零である）、Ｆは周期ＴのピッチフィルタＰ（ｚ）＝１／（１−ｇｚ−Ｔ）のインパルス応答を時刻Ｔから畳み込むテプリッツ行列（すなわち、フィルタＰ’（ｚ）＝ｚ−Ｔ／（１−ｇｚ−Ｔ）のインパルス応答を畳み込むテプリッツ行列、ピッチ周期Ｔが整数精度の場合は下三角テプリッツ行列（すなわちｆT-1〜ｆT-N+1＝０）となる。ピッチ周期が分数精度の場合は、ピッチフィルタはＰ（ｚ）＝１／（１−ｇΣIi=-Iγiz−(Ｔ-i)）のように表されるので、ｆT-1〜ｆT-N+1およびｆT+1〜ｆT+N-1は非零となる（ここでγiは(2I+1)次の補間フィルタの係数））、ｐは前フレームの音源ベクトルを振幅ａのパルス列で表した前フレーム音源用コードベクトル、ｃはコードベクトルｐを振幅ａで正規化した振幅１のパルス列で表される前フレーム音源用コードベクトル、をそれぞれ示している。式（１）は、現フレームにおけるターゲットベクトルｘ（聴覚重み付けを施した入力信号から現フレームにおける聴覚重み付け合成フィルタの零入力応答を除去した信号：現フレームにおける聴覚重み付け合成フィルタの零状態応答がターゲットベクトルと等しくなれば量子化誤差が零となる）と、前フレームの音源ベクトルを適応符号帳として用いた場合に得られる現フレームの適応符号帳ベクトルに聴覚重み付け合成フィルタをかけて得られる合成信号ベクトル（すなわち現フレームにおける合成信号の適応符号帳成分）との２乗誤差Ｄを表す式である。（１）式は、ベクトルｄと行列Φをそれぞれ（３）式、（４）式で定義すれば、（２）式のように表される。【００２９】
歪Ｄを最小とするａは、Ｄをａで偏微分した式が０に等しくなるようにする事で求めることができ、その結果図５の（２）式は図６の（５）式のようになる。したがって、ｃは（５）式における（ｄｃ）２／（ｃｔΦｃ）が最大となるように選べばよい。【００３０】
図７は、本実施の形態に係る音声符号化装置の主要な構成を示すブロック図である。【００３１】
本実施の形態に係る音声符号化装置は、線形予測分析部（ＬＰＣ分析部）１０１、線形予測係数符号化部（ＬＰＣ符号化部）１０２、聴覚重み付け部１０３、ターゲットベクトル算出部１０４、聴覚重み付け合成フィルタインパルス応答算出部１０５、適応符号帳探索部（ＡＣＢ探索部）１０６、固定符号帳探索部（ＦＣＢ探索部）１０７、利得量子化部１０８、メモリ更新部１０９、前フレーム音源探索部１１０、および多重化部１１１を備え、各部は以下の動作を行う。【００３２】
入力信号は、直流成分をカットするための高域通過フィルタや背景雑音信号を抑圧する処理等の必要な前処理が施され、ＬＰＣ分析部１０１およびターゲットベクトル算出部１０４に入力される。【００３３】
ＬＰＣ分析部１０１は、線形予測分析（ＬＰＣ分析）を行い、得られる線形予測係数（ＬＰＣパラメータ、または単にＬＰＣ）をＬＰＣ符号化部１０２および聴覚重み付け部１０３に入力する。【００３４】
ＬＰＣ符号化部１０２は、ＬＰＣ分析部１０１から入力されたＬＰＣの符号化を行い、符号化結果を多重化部１１１へ、量子化ＬＰＣを聴覚重み付け合成フィルタインパルス応答算出部１０５へ、それぞれ入力する。【００３５】
聴覚重み付け部１０３は、聴覚重み付けフィルタを有しており、ＬＰＣ分析部１０１から入力されたＬＰＣを用いて聴覚重み付けフィルタ係数を算出し、ターゲットベクトル算出部１０４および聴覚重み付け合成フィルタインパルス応答算出部１０５へ入力する。聴覚重み付けフィルタは、一般にＬＰＣ合成フィルタ１／Ａ（ｚ）に対して、Ａ（ｚ／γ１）／Ａ（ｚ／γ２）［０＜γ２＜γ１≦１．０］で表される。【００３６】
ターゲットベクトル算出部１０４は、入力信号に聴覚重み付けフィルタをかけた信号から聴覚重み付け合成フィルタの零入力応答を除去した信号（ターゲットベクトル）を算出し、ＡＣＢ探索部１０６、ＦＣＢ探索部１０７、利得量子化部１０８および前フレーム音源探索部１１０へ入力する。ここで、聴覚重み付けフィルタは、ＬＰＣ分析部１０１から入力したＬＰＣを用いた極零型フィルタで構成され、聴覚重み付けフィルタのフィルタ状態および合成フィルタのフィルタ状態は、メモリ更新部１０９によって更新されたものを入力して用いる。【００３７】
聴覚重み付け合成フィルタインパルス応答算出部１０５は、ＬＰＣ符号化部１０２から入力した量子化ＬＰＣによって構成される合成フィルタと、聴覚重み付け部１０３から入力した重み付けＬＰＣによって構成される聴覚重み付けフィルタと、を直列接続したフィルタ（すなわち聴覚重み付け合成フィルタ）において、インパルス応答を算出し、ＡＣＢ探索部１０６、ＦＣＢ探索部１０７、および前フレーム音源探索部１１０に入力する。なお、聴覚重み付け合成フィルタは、１／Ａ（ｚ）と、Ａ（ｚ／γ１）／Ａ（ｚ／γ２）［０＜γ２＜γ１≦１．０］とを掛け合わせた式で表される。【００３８】
ＡＣＢ探索部１０６には、ターゲットベクトル算出部１０４からターゲットベクトルが、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタのインパルス応答が、メモリ更新部１０９からは更新された最新の適応符号帳（ＡＣＢ）がそれぞれ入力される。ＡＣＢ探索部１０６は、聴覚重み付け合成フィルタのインパルス応答を畳み込んだＡＣＢベクトルと、ターゲットベクトルとの誤差が最小となるＡＣＢベクトルの切り出し位置を適応符号帳の中から決定し、この切り出し位置をピッチラグＴで表す。このピッチラグＴは、前フレーム音源探索部１１０へ入力される。なお、ＦＣＢベクトルにピッチ周期化フィルタを適用する場合には、ピッチラグＴはＦＣＢ探索部１０７へも入力される。また、ピッチラグＴを符号化したピッチラグ符号が多重化部１１１へ入力される。また、ピッチラグＴで指定される切り出し位置から切り出されたＡＣＢベクトルは、メモリ更新部１０９へ入力される。さらに、ＡＣＢベクトルに聴覚重み付け合成フィルタインパルス応答を畳み込んだベクトル（重み付け合成フィルタをかけた適応符号帳ベクトル）は、ＦＣＢ探索部１０７および利得量子化部１０８へ入力される。【００３９】
ＦＣＢ探索部１０７には、ターゲットベクトル算出部１０４からターゲットベクトルが、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタのインパルス応答が、ＡＣＢ探索部１０６から重み付け合成フィルタをかけた適応符号帳ベクトルがそれぞれ入力される。なお、ＦＣＢベクトルにピッチ周期化フィルタを適用する場合には、ＡＣＢ探索部１０６から入力されるピッチラグＴを用いてピッチフィルタを構成し、このピッチフィルタのインパルス応答を聴覚重み付け合成フィルタのインパルス応答に畳み込む、または、ＦＣＢベクトルにピッチフィルタをかける。ＦＣＢ探索部１０７は、聴覚重み付け合成フィルタのインパルス応答を畳み込んだＦＣＢベクトル（重み付け合成フィルタをかけた固定符号帳ベクトル）、および重み付け合成フィルタをかけた適応符号帳ベクトルの双方に対し適正な利得を乗じて加算し、加算後のベクトルとターゲットベクトルとの誤差が最小となるようなＦＣＢベクトルを決定する。このＦＣＢベクトルを示すインデックスは符号化されてＦＣＢベクトル符号となり、ＦＣＢベクトル符号が多重化部１１１へ入力される。また、決定したＦＣＢベクトルは、メモリ更新部１０９へ入力される。なお、ＦＣＢベクトルにピッチ周期化フィルタを適用する場合には、ＦＣＢベクトルにピッチフィルタのインパルス応答を畳み込む、または、ＦＣＢベクトルにピッチフィルタをかける。さらに、重み付け合成フィルタをかけた固定符号帳ベクトルは、利得量子化部１０８へ入力される。【００４０】
利得量子化部１０８には、ターゲットベクトル算出部１０４からターゲットベクトルが、ＡＣＢ探索部１０６から重み付け合成フィルタをかけた適応符号帳ベクトルが、ＦＣＢ探索部１０７からは重み付け合成フィルタをかけた固定符号帳ベクトルがそれぞれ入力される。利得量子化部１０８は、重み付け合成フィルタをかけた適応符号帳ベクトルに量子化ＡＣＢ利得を乗じ、重み付け合成フィルタをかけた固定符号帳ベクトルに量子化ＦＣＢ利得を乗じた後に、両者を加算する。そして、加算後のベクトルとターゲットベクトルとの誤差が最小となる量子化利得のセットを決定し、この量子化利得のセットに対応する符号（利得符号）を多重化部１１１へ入力する。また、利得量子化部１０８は、量子化ＡＣＢ利得と量子化ＦＣＢ利得とをメモリ更新部１０９へ入力する。また、量子化ＡＣＢ利得は前フレーム音源探索部１１０へも入力される。【００４１】
メモリ更新部１０９には、ＡＣＢ探索部１０６からＡＣＢベクトルが、ＦＣＢ探索部１０７からＦＣＢベクトルが、利得量子化部１０８から量子化ＡＣＢ利得と量子化ＦＣＢ利得とがそれぞれ入力される。メモリ更新部１０９は、ＬＰＣ合成フィルタ（単に、合成フィルタと記載することもあり）を有しており、量子化音源ベクトルを生成し、適応符号帳を更新し、ＡＣＢ探索部１０６へ入力する。また、メモリ更新部１０９は、生成した音源ベクトルでＬＰＣ合成フィルタを駆動し、ＬＰＣ合成フィルタのフィルタ状態を更新し、更新後のフィルタ状態をターゲットベクトル算出部１０４に入力する。また、メモリ更新部１０９は、生成した音源ベクトルで聴覚重み付けフィルタを駆動し、聴覚重み付けフィルタのフィルタ状態を更新し、更新後のフィルタ状態をターゲットベクトル算出部１０４に入力する。なお、フィルタ状態の更新方法は、ここで述べた方法以外にも数学的に等価なものであればどのような方法を用いても良い。【００４２】
前フレーム音源探索部１１０には、ターゲットベクトル算出部１０４からターゲットベクトルｘが、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタのインパルス応答ｈが、ＡＣＢ探索部１０６からピッチラグＴが、利得量子化部１０８から量子化ＡＣＢ利得がそれぞれ入力される。前フレーム音源探索部１１０は、図５に示したｄおよびΦを算出し、図６に示した（ｄｃ）２／（ｃｔΦｃ）を最大とする音源パルス位置およびパルス振幅を決定し、このパルス位置およびパルス振幅を量子化および符号化し、パルス位置符号およびパルス振幅符号を多重化部１１１へ入力する。なお、音源パルスの探索範囲は、基本的に、現フレームの先頭を０として、−Ｔから−１までの範囲であるが、図４に示すような方法を用いて、音源パルスの探索範囲を決定しても良い。【００４３】
多重化部１１１には、ＬＰＣ符号化部１０２からＬＰＣ符号が、ＡＣＢ探索部１０６からピッチラグ符号が、ＦＣＢ探索部１０７からＦＣＢベクトル符号が、利得量子化部１０８から利得符号が、前フレーム音源探索部１１０からパルス位置符号とパルス振幅符号とがそれぞれ入力される。多重化部１１１は、これらの多重化結果をビットストリームとして出力する。【００４４】
図８は、図７に示した音声符号化装置から出力されるビットストリームを受信し復号する本実施の形態に係る音声復号装置の主要な構成を示すブロック図である。【００４５】
図７に示した音声符号化装置から出力されたビットストリームは、多重分離部１５１へ入力される。【００４６】
多重分離部１５１は、ビットストリームから各種符号を分離し、ＬＰＣ符号、ピッチラグ符号、ＦＣＢベクトル符号、および利得符号を、遅延部１５２へ入力する。また、前フレーム音源のパルス位置符号およびパルス振幅符号を前フレーム音源復号部１６０へ入力する。【００４７】
遅延部１５２は、入力された各種パラメータを１フレーム時間遅延させ、遅延後のＬＰＣ符号をＬＰＣ復号部１５３へ、遅延後のピッチラグ符号をＡＣＢ復号部１５４へ、遅延後のＦＣＢベクトル符号をＦＣＢ復号部１５５へ、遅延後の量子化利得符号を利得復号部１５６へ、それぞれ入力する。【００４８】
ＬＰＣ復号部１５３は、入力されたＬＰＣ符号を用いて量子化ＬＰＣを復号し、合成フィルタ１６２へ入力する。【００４９】
ＡＣＢ復号部１５４は、ピッチラグ符号を用いてＡＣＢベクトルを復号し、増幅器１５７へ入力する。【００５０】
ＦＣＢ復号部１５５は、ＦＣＢベクトル符号を用いてＦＣＢベクトルを復号し、増幅器１５８へ入力する。【００５１】
利得復号部１５６は、利得符号を用いてＡＣＢ利得とＦＣＢ利得とをそれぞれ復号し、増幅器１５７、１５８へ各々入力する。【００５２】
適応符号帳ベクトル用の増幅器１５７は、ＡＣＢ復号部１５４から入力されたＡＣＢベクトルに、利得復号部１５６から入力されたＡＣＢ利得を乗じ、加算器１５９へ出力する。【００５３】
固定符号帳ベクトル用の増幅器１５８は、ＦＣＢ復号部１５５から入力されたＦＣＢベクトルに、利得復号部１５６から入力されたＦＣＢ利得を乗じ、加算器１５９へ出力する。【００５４】
加算器１５９は、ＡＣＢベクトル用の増幅器１５７から入力されたベクトルと、ＦＣＢベクトル用の増幅器１５８から入力されたベクトルとを加算し、加算結果をスイッチ１６１を介して合成フィルタ１６２へ入力する。【００５５】
前フレーム音源復号部１６０は、多重分離部１５１から入力されたパルス位置符号およびパルス振幅符号を用いて音源信号を復号して音源ベクトルを生成し、スイッチ１６１を介して合成フィルタ１６２へ入力する。【００５６】
スイッチ１６１は、フレーム消失が発生しているか否かを示すフレーム消失情報が入力され、復号中のフレームが消失フレームでない場合は入力端を加算器１５９側に接続し、復号中のフレームが消失フレームである場合は入力端を前フレーム音源復号部１６０側に接続する。【００５７】
合成フィルタ１６２は、ＬＰＣ復号部１５３から入力された復号ＬＰＣを用いてＬＰＣ合成フィルタを構成し、また、スイッチ１６１を介して入力される信号でこのＬＰＣ合成フィルタを駆動し、合成信号を生成する。この合成信号が復号信号となるが、一般的には、ポストフィルタ等の後処理を施した後に最終的な復号信号として出力される。【００５８】
次いで、前フレーム音源探索部１１０について詳細に説明する。図９に、前フレーム音源探索部１１０の内部構成を示す。前フレーム音源探索部１１０は、最大化回路１１０１、パルス位置符号化部１１０２およびパルス振幅符号化部１１０３を備える。【００５９】
最大化回路１１０１は、ターゲットベクトル算出部１０４からターゲットベクトルを、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタインパルス応答を、ＡＣＢ探索部１０６からピッチラグＴを、利得量子化部１０８からＡＣＢ利得をそれぞれ入力され、（５）式を最大とするパルス位置をパルス位置符号化部１１０２へ入力し、そのパルス位置でのパルス振幅をパルス振幅符号化部１１０３へ入力する。【００６０】
パルス位置符号化部１１０２は、ＡＣＢ探索部１０６から入力されるピッチラグＴを用いて、パルス位置符号化部１１０２から入力されたパルス位置を後述する方法により量子化および符号化してパルス位置符号を生成し、多重化部１１１に入力する。【００６１】
パルス振幅符号化部１１０３は、最大化回路１１０１から入力されたパルス振幅を量子化および符号化してパルス振幅符号を生成し、多重化部１１１に入力する。なお、パルス振幅の量子化はスカラ量子化でも良いし、他のパラメータと組み合わせて行うベクトル量子化でも良い。【００６２】
次いで、パルス位置符号化部１１０２で用いる量子化および符号化方法の一例を示す。【００６３】
図４に示したように、パルス位置ｂは通常Ｔ以下である。Ｔの最大値は例えばＩＴＵ−Ｔ勧告Ｇ.７２９によれば１４３である。よって、このパルス位置ｂを誤差なく量子化するには８ビット必要である。しかし、８ビットでは２５５まで量子化できるので、最大でも１４３のパルス位置ｂを量子化するには８ビットでは無駄が多い。そこで、ここでは、パルス位置ｂのとり得る範囲が１〜１４３である場合に、パルス位置ｂを７ビットで量子化する。また、パルス位置ｂの量子化には現フレームの第１サブフレームのピッチラグＴを利用する。【００６４】
以下、パルス位置符号化部１１０２の動作フローについて図１０を用いて説明する。【００６５】
まず、ステップＳ１１では、Ｔが１２８以下か否か判定する。Ｔが１２８以下である場合には（ステップＳ１１：ＹＥＳ）ステップＳ１２へ進み、Ｔが１２８より大きい場合には（ステップＳ１１：ＮＯ）ステップＳ１３へ進む。【００６６】
Ｔが１２８以下である場合にはパルス位置ｂを７ビットで誤差なく量子化できるので、ステップＳ１２において、パルス位置ｂをそのまま量子化値ｂ’および量子化インデックスｉｄｘ＿ｂとする。そして、ｉｄｘ＿ｂ−１が７ビットでストリーム化されて送出される。【００６７】
一方、Ｔが１２８より大きい場合には、パルス位置ｂを７ビットで量子化するために、ステップＳ１３において、量子化ステップ（ｓｔｅｐ）をＴ／１２８により算出して量子化ステップを１より大きくする。また、ｂ／ｓｔｅｐの小数点以下を四捨五入して整数化した値をパルス位置ｂの量子化インデックスｉｄｘ＿ｂとする。よって、パルス位置ｂの量子化値ｂ’をｉｎｔ（ｓｔｅｐ＊ｉｎｔ（０.５＋（ｂ／ｓｔｅｐ）））により算出する。そして、ｉｄｘ＿ｂ−１が７ビットでストリーム化されて送出される。【００６８】
次いで、前フレーム音源復号部１６０について詳細に説明する。図１１に、前フレーム音源復号部１６０の内部構成を示す。前フレーム音源復号部１６０は、パルス位置復号部１６０１、パルス振幅復号部１６０２および音源ベクトル生成部１６０３を備える。【００６９】
パルス位置復号部１６０１は、多重分離部１５１からパルス位置符号を入力され、量子化パルス位置を復号して音源ベクトル生成部１６０３へ入力する。【００７０】
パルス振幅復号部１６０２は、多重分離部１５１からパルス振幅符号を入力され、量子化パルス振幅を復号して音源ベクトル生成部１６０３へ入力する。【００７１】
音源ベクトル生成部１６０３は、パルス位置復号部１６０１から入力されたパルス位置に、パルス振幅復号部１６０２から入力されたパルス振幅を有するパルスを立てて音源ベクトルを生成し、その音源ベクトルをスイッチ１６１を介して合成フィルタ１６２へ入力する。【００７２】
以下、パルス位置復号部１６０１の動作フローについて図１２を用いて説明する。【００７３】
まず、ステップＳ２１では、Ｔが１２８以下か否か判定する。Ｔが１２８以下である場合には（ステップＳ２１：ＹＥＳ）ステップＳ２２へ進み、Ｔが１２８より大きい場合には（ステップＳ２１：ＮＯ）ステップＳ２３へ進む。【００７４】
ステップＳ２２では、Ｔが１２８以下であるので、量子化インデックスｉｄｘ＿ｂをそのまま量子化値ｂ’とする。【００７５】
一方、ステップＳ２３では、Ｔが１２８より大きいので、量子化ステップ（ｓｔｅｐ）をＴ／１２８により算出し、量子化値ｂ’をｉｎｔ（ｓｔｅｐ＊ｉｄｘ＿ｂ）により算出する。【００７６】
このように、本実施の形態では、パルス位置のとり得る値が１２８サンプルより大きい場合に、パルス位置のとり得る値に応じた必要ビット数（８ビット）より１ビット少ないビット数（７ビット）でパルス位置を量子化する。パルス位置の値のうち７ビットを超える範囲を７ビットに収めて量子化しても、その範囲が僅かであれば、パルス位置の量子化誤差を１サンプル以内に抑えることができる。よって、本実施の形態によれば、パルス位置を消失フレーム補償用の冗長情報として送信する場合に、量子化誤差の影響を最小限に抑えることができる。【００７７】
なお、本実施の形態においては、現フレームにおいて符号化を行う際、合成された復号信号と入力信号との誤差が最小となるように現フレームの冗長情報を生成する方法を説明したが、これに限定されるものではなく、合成された復号信号と入力信号との誤差を少しでも小さくするように現フレームの冗長情報を生成すれば、前フレームが消失した場合でも、現フレームの復号信号の品質劣化を少なからず抑えることが可能になるということは、言うまでもない。【００７８】
また、パルス位置の上記量子化方法は、パルス位置をピッチラグ（ピッチ周期）を用いて量子化するものであり、パルス位置の探索方法、ピッチ周期の分析、量子化および符号化方法によって限定されるものではない。【００７９】
また、上記実施の形態では、一例として量子化ビット数を７ビット、パルス位置の値を最大１４３サンプルとして説明したが、本発明はこれらの数値に限定されるものではない。【００８０】
ただし、パルス位置の量子化誤差を１サンプル以内に抑えるためには、パルス位置のとり得る最大値ＰＰｍａｘと量子化ビット数ＰＰｂｉｔとの間において以下の関係を満たす必要がある。
２＾ＰＰｂｉｔ  ＜  ＰＰｍａｘ  ＜  ２＾（ＰＰｂｉｔ＋１）【００８１】
また、量子化誤差が２サンプルまで許容される場合には以下の関係を満たす必要がある。
２＾ＰＰｂｉｔ  ＜  ＰＰｍａｘ  ＜  ２＾（２＾ＰＰｂｉｔ＋２）【００８２】
このように、本実施の形態は、補償用の冗長情報としてサブレイヤの符号化情報（サブ符号化情報）を用いてメインレイヤの消失フレームの補償を行う消失フレーム補償方法、および補償処理情報の符号化／復号化方法に関し、例えば、以下のような発明として示すことができる。【００８３】
すなわち、第１の発明としては、音声符号化装置と音声復号装置との間にある伝送路上で消失したパケットから復号されるべき音声信号を、前記音声復号装置において擬似的に生成して補償する消失フレーム補償方法であって、前記音声符号化装置と前記音声復号化装置は次のような動作を行うようにしたものである。前記音声符号化装置では、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて符号化する符号化ステップを有する。また、前記音声復号装置は、前記現フレームの直前のフレーム（すなわち第２フレーム）のパケットが消失した場合に、前記第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する復号ステップと、を有する消失フレーム補償方法である。【００８４】
第２の発明は、第１の発明において、前記第１フレームの復号誤差が、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、消失フレーム補償方法である。【００８５】
第３の発明は、第１の発明において、前記第１フレームの冗長情報が、前記音声符号化装置において、前記第１フレームの復号誤差を小さくする前記第２フレームの音源信号を符号化した情報である、消失フレーム補償方法である。【００８６】
第４の発明は、第１の発明において、前記符号化ステップが、前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置し、前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置し、前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差を小さくする前記第１パルスを、前記第２フレーム内で探索することにより求め、求めた前記第１パルスの位置と振幅を、前記第１フレームの冗長情報とする、消失フレーム補償方法である。【００８７】
第５の発明としては、符号化情報と冗長情報とを含むパケットを生成して送信する音声符号化装置であって、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて生成する現フレーム冗長情報生成部を有する音声符号化装置である。例えば、現フレーム冗長情報生成部は図７における前フレーム音源探索部１１０として表すことができる。【００８８】
第６の発明は、第５の発明において、前記第１フレームの復号誤差が、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、音声符号化装置である。【００８９】
第７の発明は、第５の発明において、前記第１フレームの冗長情報は、前記第１フレームの復号誤差を小さくする、前記現フレームの直前のフレームである第２フレームの音源信号を符号化した情報である、音声符号化装置である。【００９０】
第８の発明は、第５の発明において、前記現フレーム冗長情報生成部が、前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置する第１パルス生成部と、前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置する第２パルス生成部と、前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差が最小となるような前記第１パルスを、前記現フレームの前フレームである第２フレーム内で探索することにより求める誤差最小化部と、求めた前記第１パルスの位置と振幅を前記第１フレームの冗長情報として符号化する冗長情報符号化部と、を有する音声符号化装置である。例えば、第１パルスは式（１）におけるｐ（＝ａｃ）であり、第２パルスは式（１）におけるＦｐ（＝Ｆａｃ）であり、誤差最小化は式（５）における｜ｄｃ｜２／（ｃｔΦｃ）を最大とするｃを決定することである。式（５）の第２項を最大とするｃを見つけるために、前フレーム音源探索部１１０では式（３）および（４）に基づいてｄとΦが算出され、式（５）の第２項を最大とするｃ（すなわち第１パルス）の探索が行われる。つまり、第１パルスの生成と第２パルスの生成と誤差の最小化が前フレーム音源探索部で同時に行われているといえる。復号器側で言えば、第１パルス生成部は前フレーム音源復号部であり、第２パルス生成部はＡＣＢ復号部１５４であり、これらの処理と等価なことが式（１）（または（２））によって前フレーム音源探索部１１０において実施されている。【００９１】
第９の発明は、第８の発明において、前記冗長情報符号化部が、前記第１パルスの位置のとり得る値に応じた必要ビット数より１ビット少ないビット数で前記第１パルスの位置を量子化し、量子化後の位置を符号化する、音声符号化装置である。【００９２】
第１０の発明としては、符号化情報と冗長情報とを含むパケットを受信して復号音声信号を生成する音声復号装置であって、現フレームを第１フレームとし、前記現フレームの直前のフレームを第２フレームとして、前記第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差が小さくなるように生成された前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの符号化情報を生成する消失フレーム補償部を有する音声復号装置である。例えば、消失フレーム補償部は図８における前フレーム音源復号部１６０により表すことができる。【００９３】
第１１の発明は、第１０の発明において、前記第１フレームの冗長情報が、音声信号が符号化される際、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの音声信号との誤差が小さくなるように生成された情報である、音声復号装置である。【００９４】
第１２の発明は、第１０の発明において、前記消失フレーム補償部が、前記第２フレームの符号化情報を用いて前記第２フレームの音源復号信号である第１音源復号信号を生成する第１音源復号部と、前記第１フレームの冗長情報を用いて前記第２フレームの音源復号信号である第２音源復号信号を生成する第２音源復号部と、前記第１音源復号信号と前記第２音源復号信号とを入力し、前記第２フレームのパケット消失情報にしたがっていずれかの信号を出力する切り替え部と、を有する音声復号装置である。例えば、第１音源復号部は、遅延部１５２、ＡＣＢ復号部１５４、ＦＣＢ復号部１５５、利得復号部１５６、増幅器１５７、増幅器１５８、及び加算器１５９をまとめたもので表すことができ、第２音源復号部は前フレーム音源復号部１６０で、切り替え部はスイッチ１６１で表すことができる。【００９５】
なお、上記各発明の構成要素と図７及び図８の構成要素との対応が、必ずしもこのような対応に限定されるものではないことは言うまでもない。【００９６】
ところで、本実施の形態に係る音声符号化装置は、前フレームの音源情報の中でも、特に現フレームのＡＣＢベクトルの生成に重要な部分、たとえば現フレームに含まれるピッチピーク部に重点を置いて符号化を行い、生成される符号化情報を消失フレーム補償のための符号化情報として音声復号装置に伝送することが可能である。ここで、ピッチピークとは、音声信号の線形予測残差信号に、ピッチ周期間隔で周期的に現れる、振幅の大きな部分のことである。この振幅の大きな部分は、声帯振動によるピッチパルスと同じ周期で現れるパルス的波形となる。【００９７】
音源情報のピッチピーク部に重点を置いた符号化方法とは、より詳細には、ピッチピーク波形に使われる音源部分をインパルス（または単にパルス）で表し、このパルス位置を消失補償用の前フレームのサブ符号化情報として符号化することである。この際、パルスを立てる位置の符号化は、現フレームのメインレイヤで得られるピッチ周期（適応符号帳ラグ）およびピッチゲイン（ＡＣＢ利得）を用いて行う。具体的には、これらピッチ周期とピッチゲインとから適応符号帳ベクトルを生成し、この適応符号帳ベクトルが、現フレームの適応符号帳ベクトルとして有効となるように、すなわち、この適応符号帳ベクトルに基づく復号信号と入力音声信号との誤差が最小となるようなパルス位置が探索される。【００９８】
よって、本実施の形態に係る音声復号装置は、伝送されてきたパルス位置情報に基づいてパルスを立てて合成信号を生成することにより、音源信号のうち最も特徴的な部分であるピッチピークの復号をある程度の精度で実現することができる。すなわち、適応符号帳等の過去の音源情報を利用する音声コーデックをメインレイヤとする場合にも、音源信号のピッチピークについては過去の音源情報を利用せずに復号することができ、前フレームが消失しても現フレームの復号信号の著しい劣化を回避することができる。特に、本実施の形態は、過去の音源情報を参考にすることができない有声立ち上がり部等に有用である。また、シミュレーションによれば、冗長情報のビットレートを、１０ビット／フレーム程度のビットレートに抑えることができる。【００９９】
また、本実施の形態によれば、１フレーム前のフレームに対して冗長情報を送るので、エンコーダ側では補償のためのアルゴリズム遅延が生じない。これは、デコーダ側の判断で消失補償処理の高品質化のための情報を使用しないようにする代わりに、コーデック全体のアルゴリズム遅延を１フレーム分短くすることができるということを意味する。【０１００】
また、本実施の形態によれば、１フレーム前のフレームに対して冗長情報を送るので、時間的に未来の情報も用いて、消失が想定されるフレームが立ち上がり等の重要フレームであるか否かを判定することができ、立ち上がりフレームか否かの判定精度を向上させることができる。【０１０１】
また、本実施の形態によれば、現フレームでのＦＣＢ成分も考慮して探索を行うことにより、ＡＣＢとして、より適切なものを符号化することができる。【０１０２】
以上、本発明の実施の形態について説明した。【０１０３】
なお、本発明に係る音声符号化装置、音声復号装置、および消失フレーム補償方法は、上記実施の形態に限定されず、種々変更して実施することが可能である。【０１０４】
例えば、補償用のＡＣＢ符号化情報は、サブフレーム単位でなくフレーム単位で符号化するような構成としても良い。【０１０５】
また、本発明の実施の形態では、各フレームおいて配置されるパルスは、各フレームごとに１本のパルスとしたが、伝送する情報量が許容される限りは、複数のパルスを配置することも可能である。【０１０６】
また、１フレーム前の音源符号化において、１フレーム前における合成信号と入力音声との誤差を音源探索時の評価基準に組み込むような構成としても良い。【０１０７】
また、補償用のＡＣＢ符号化情報（すなわち前フレーム音源探索部１１０で探索された音源パルス）を用いて復号される現フレームの復号音声信号と、補償用のＡＣＢ符号化情報を用いずに（すなわち従来法によって補償処理を行った場合に）復号される現フレームの復号音声信号と、のいずれか一方を選択する選択手段を設け、補償用のＡＣＢ符号化情報を用いて復号される現フレームの復号音声信号が選択されたときにのみ、補償用のＡＣＢ符号化情報を送受信するような構成としても良い。上記選択手段が選択基準として用いる尺度としては、現フレームの入力音声信号と復号音声信号とのＳＮ比や、前フレーム音源探索部１１０で使用される評価尺度をターゲットベクトルのエネルギで正規化したものなどを用いることができる。【０１０８】
また、本発明に係る音声符号化装置および音声復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。【０１０９】
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、符号化／復号の双方を含めた本発明に係る消失フレーム補償方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る音声符号化装置または音声復号装置と同様の機能を実現することができる。【０１１０】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。【０１１１】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。【０１１２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０１１３】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。【０１１４】
２００６年７月１２日出願の特願２００６−１９２０６９および２００７年３月１日出願の特願２００７−０５１４８７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１１５】
本発明に係る音声符号化装置、音声復号装置、および消失フレーム補償方法は、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用することができる。
【図１】
2008007698.tif 000003
【図２】
2008007698.tif 000004
【図３】
2008007698.tif 000005
【図４】
2008007698.tif 000006
【図５】
2008007698.tif 000007
【図６】
2008007698.tif 000008
【図７】
2008007698.tif 000009
【図８】
2008007698.tif 000010
【図９】
2008007698.tif 000011
【図１０】
2008007698.tif 000012
【図１１】
2008007698.tif 000013
【図１２】
2008007698.tif 000014
【手続補正書】
【提出日】平成20年11月7日(2008.11.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声符号化装置と音声復号装置との間にある伝送路上で消失したパケットから復号されるべき音声信号を、前記音声復号装置において擬似的に生成して補償する消失フレーム補償方法であって、
前記音声符号化装置において、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて符号化する符号化ステップと、
前記音声復号装置において、前記現フレームの直前のフレームである第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する復号ステップと、
を有する消失フレーム補償方法。
【請求項２】
前記第１フレームの復号誤差は、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、
請求項１記載の消失フレーム補償方法。
【請求項３】
前記第１フレームの冗長情報は、前記音声符号化装置において、前記第１フレームの復号誤差を小さくする前記第２フレームの音源信号を符号化した情報である、
請求項１記載の消失フレーム補償方法。
【請求項４】
前記符号化ステップは、
前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置し、
前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置し、
前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差を小さくする前記第１パルスを、前記第２フレーム内で探索することにより求め、
求めた前記第１パルスの位置と振幅を、前記第１フレームの冗長情報とする、
請求項１記載の消失フレーム補償方法。
【請求項５】
符号化情報と冗長情報とを含むパケットを生成して送信する音声符号化装置であって、
現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて生成する現フレーム冗長情報生成部
を有する音声符号化装置。
【請求項６】
前記第１フレームの復号誤差は、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、
請求項５記載の音声符号化装置。
【請求項７】
前記第１フレームの冗長情報は、前記第１フレームの復号誤差を小さくする、前記現フレームの直前のフレームである第２フレームの音源信号を符号化した情報である、
請求項５記載の音声符号化装置。
【請求項８】
前記現フレーム冗長情報生成部は、
前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第
１パルスを配置する第１パルス生成部と、
前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置する第２パルス生成部と、
前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差が最小となるような前記第１パルスを、前記現フレームの前フレームである第２フレーム内で探索することにより求める誤差最小化部と、
求めた前記第１パルスの位置と振幅を前記第１フレームの冗長情報として符号化する冗長情報符号化部と、
を有する請求項５記載の音声符号化装置。
【請求項９】
前記冗長情報符号化部は、前記第１パルスの位置のとり得る値に応じた必要ビット数より１ビット少ないビット数で前記第１パルスの位置を量子化し、量子化後の位置を符号化する、
請求項８記載の音声符号化装置。
【請求項１０】
符号化情報と冗長情報とを含むパケットを受信して復号音声信号を生成する音声復号装置であって、
現フレームを第１フレームとし、前記現フレームの直前のフレームを第２フレームとして、前記第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差が小さくなるように生成された前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの符号化情報を生成する消失フレーム補償部
を有する音声復号装置。
【請求項１１】
前記第１フレームの冗長情報は、音声信号が符号化される際、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの音声信号との誤差が小さくなるように生成された情報である、
請求項１０記載の音声復号装置。
【請求項１２】
前記消失フレーム補償部は、
前記第２フレームの符号化情報を用いて前記第２フレームの音源復号信号である第１音源復号信号を生成する第１音源復号部と、
前記第１フレームの冗長情報を用いて前記第２フレームの音源復号信号である第２音源復号信号を生成する第２音源復号部と、
前記第１音源復号信号と前記第２音源復号信号とを入力し、前記第２フレームのパケット消失情報にしたがっていずれかの信号を出力する切り替え部と、を有する、
請求項１０記載の音声復号装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、消失フレーム補償方法、音声符号化装置、および音声復号装置に関する。
【背景技術】
【０００２】
ＶｏＩＰ（Voice over IP）用の音声コーデックには、高いパケットロス耐性が要求される。次世代のＶｏＩＰ用コーデックでは、比較的高いフレーム消失率（例えば６％のフレーム消失率）においてエラーフリーの品質を達成することが望まれる（ただし、消失誤りを補償するための冗長情報を伝送することは許容される）。
【０００３】
ＣＥＬＰ（Code Excited Linear Prediction）型の音声コーデックの場合、音声の立ち上がり部のフレームが消失することによる品質劣化が問題となるケースが多い。その理由のひとつは、立ち上がり部における信号の変化は大きく、直前のフレームの信号との相関性が低いため、直前のフレームの情報を用いた隠蔽処理は有効に機能しないことにある。また別の理由としては、後続の有声部のフレームにおいて、立ち上がり部で符号化した音源信号が適応符号帳として積極的に使用されるため、立ち上がり部の消失の影響が後続する有声フレームに伝播し、復号音声信号の大きな歪につながりやすいことが挙げられる。
【０００４】
上記のような問題に対して、現フレームの符号化情報と共に、直前や直後のフレームが消失した場合の補償処理用の符号化情報を現フレームの符号化情報と一緒に送る技術が開発されている（例えば、特許文献１参照）。この技術は、現フレームの音声信号の繰り返し又は該符号の特徴量の外挿により直前のフレーム（または直後のフレーム）の補償信号を合成してみて、直前のフレームの音声信号（または直後のフレームの音声信号）と比較することにより、現フレームから直前のフレームの音声信号（または直後のフレームの音声信号）を擬似的に作ることができるか否かを判断し、作ることができないと判断される場合には直前のフレームの音声信号（または直後のフレームの音声信号）をサブエンコーダによって符号化して直前の（または直後の）フレームの音声信号を表すサブコードを生成し、メインエンコーダで符号化した現フレームのメインコードにサブコードを追加して伝送することによって直前のフレーム（または直後のフレーム）が消失した場合においても高品質な復号信号の生成を可能としている。
【特許文献１】特開２００３−２４９９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術は、現フレームの符号化情報を基にして、直前のフレーム（つまり過去のフレーム）の符号化をサブエンコーダにおいて行う構成であるため、直前のフレーム（つまり過去のフレーム）の符号化情報が失われていても現フレームの信号を高品質に復号できるコーデック方式がメインエンコーダである必要がある。このため、過去の符号化情報（または復号情報）を用いる予測型の符号化方式をメインエンコーダとした場合には、上記技術を適用することは困難である。特に、適応符号帳を利用するＣＥＬＰ型の音声コーデックをメインエンコーダとして用いる場合、直前のフレームが消失すると現フレームの復号を正しく行うことができず、上記技術を適用しても高品質な復号信号を生成することは困難である。
【０００６】
本発明の目的は、適応符号帳等の過去の音源情報を利用する音声コーデックをメインエンコーダとする場合に、直前のフレームが消失しても現フレームの補償をすることができる消失フレーム補償方法、および当該方法が適用される音声符号化装置、音声復号装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、音声符号化装置と音声復号装置との間にある伝送路上で消失したパケットから復号されるべき音声信号を、前記音声復号装置において擬似的に生成して補償する消失フレーム補償方法であって、前記音声符号化装置と前記音声復号装置は次のような動作を行うようにしたものである。前記音声符号化装置では、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて符号化する符号化ステップを有する。また、前記音声復号装置は、前記現フレームの直前のフレーム（すなわち第２フレーム）のパケットが消失した場合に、前記第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する復号ステップを有する。
【０００８】
また、本発明は、符号化情報と冗長情報とを含むパケットを生成して送信する音声符号化装置であって、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて生成する現フレーム冗長情報生成部を有するようにした。
【０００９】
また、本発明は、符号化情報と冗長情報とを含むパケットを受信して復号音声信号を生成する音声復号装置であって、現フレームを第１フレームとし、前記現フレームの直前のフレームを第２フレームとして、前記第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差が小さくなるように生成された前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する消失フレーム補償部を有するようにした。
【発明の効果】
【００１０】
本発明によれば、適応符号帳等の過去の音源情報を利用する音声コーデックをメインエンコーダとする場合に、前フレームが消失しても現フレームの復号信号の品質劣化を抑えることができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明に係る消失フレーム補償方法の前提を説明するための図である。ここでは、現フレーム（図中の第ｎフレームがこれに該当）の符号化情報と、１フレーム前（図中の第ｎ−１フレームがこれに該当）の符号化情報と、を１つのパケットにパケット化し、伝送する場合を例にとっている。
【００１２】
１フレーム前の符号化情報を補償処理用の冗長情報として伝送することにより、１つ前のパケットが消失した場合でも現在のパケットに格納されている１フレーム前の情報を復号することによって、パケット消失の影響を受けずに音声信号の復号を行うことが可能である。ただし、現パケットを受信してから前パケットで受信していたはずの前フレームの符号化情報を取り出さなければならないので、１フレーム分の遅延がデコーダ側で生じる。
【００１３】
本発明では、このような現フレームの符号化情報に前フレームの符号化情報を冗長情報として付加して伝送するコーデックにおいて、効率的な消失フレーム補償方法および冗長情報の符号化方法を提案する。
【００１４】
図２は、本発明で解決しようとする課題を説明するための図である。
【００１５】
ＣＥＬＰ符号化の場合、フレーム消失による品質劣化要因は大きく２つに分けられる。第１は、消失したフレーム（図中のＳ１）そのものの劣化である。第２は、消失フレームの後続フレーム（図中のＳ２）における劣化である。
【００１６】
前者は、消失したフレームを隠蔽処理（または補償処理と呼ぶ）によって本来の信号とは異なる信号を生成することによって生じる劣化である。一般に、図１で示したような方法では、「本来の信号とは異なる信号」ではなく「本来の信号」を生成できるようにするために冗長情報を伝送する。しかし、冗長情報の情報量を少なくすると、すなわちビットレートを下げると、「本来の信号」を高品質で符号化することが難しくなり、消失フレームそのものの劣化をなくすことが難しくなる。
【００１７】
一方、後者の劣化は、消失フレームにおける劣化が後続フレームに伝播することによって生じる。これは、ＣＥＬＰ符号化が、過去に復号した音源情報を適応符号帳として現フレームの音声信号を符号化するのに利用していることに起因する。例えば、消失フレームが図２に示したように有声の立ち上がり部であった場合、立ち上がり部で符号化された音源信号は、メモリにバッファリングされ、後続フレームの適応符号帳ベクトルの生成に利用される。ここで、一旦、適応符号帳の内容（すなわち立ち上がり部で符号化された音源信号）が本来あるべき内容と異なってしまうと、それを利用して符号化された後続フレームの信号も、正しい音源信号とは大きく異なることとなり、後続フレームにおいて品質劣化が伝播することになる。このことは、消失フレームを補償するために付加する冗長情報が少ない場合は特に問題となる。すなわち、先に述べたように、冗長情報が不十分な場合、消失したフレームの信号を高品質に生成することができないため、後続フレームの品質劣化を招きやすくなる。
【００１８】
そこで、本発明では、以下に示すように、冗長情報として符号化する直前のフレームの情報が、現フレームの適応符号帳として使用されるときに有効に働くか否かを、冗長情報を符号化する際の評価基準として用いる。
【００１９】
換言すると、本発明は、現フレームにおける適応符号帳（つまり過去の符号化音源信号のバッファ）の符号化を行い、これを冗長情報として伝送するシステムにおいて、適応符号帳そのものを高品質に符号化するのではなく（すなわち過去の符号化音源信号をできるだけ忠実に符号化しようとするのではなく）、現フレームの符号化パラメータを用いて復号処理を行って得られる現フレームにおける復号信号と、現フレームの入力信号との歪を小さくするように適応符号帳の符号化を行うものである。
【００２０】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００２１】
図３は、本発明の実施の形態に係る消失フレーム補償方法に係る音声符号化方法を具体的に説明するための図である。
【００２２】
この図において、現フレームにおける符号化情報として、ピッチ周期（または、ピッチラグ、適応符号帳情報）であるＴと、ピッチゲイン（または適応符号帳利得）であるｇとが得られているとする。そして、前フレームの音源情報を１本のパルスとして符号化し、これを補償処理用の冗長情報とする。すなわち、パルス位置（ｂ）とパルス振幅（ａ、但し極性情報を含む）とを符号化情報とする。このとき、符号化された音源信号は、現フレームの先頭位置からｂだけさかのぼった位置に振幅ａのパルスを１本立てたベクトルとなる。これを適応符号帳の内容として用いると、現フレームの位置（Ｔ−ｂ）に振幅（ｇ×ａ）のパルスを立てたものが現フレームにおける適応符号帳ベクトルとなる。この「現フレームの位置（Ｔ−ｂ）に振幅ｇａのパルスを立てた」ベクトルを用いて復号信号を合成し、合成された復号信号と入力信号との誤差が最小となるように、パルス位置ｂとパルス振幅ａとを決定する。図３においては、パルス位置ｂの探索は、フレーム長をＬとして、Ｔ−ｂが０からＬ−１までの範囲内となるように行う。
【００２３】
例えば、１フレームが２つのサブフレームから構成されている場合は、以下のように音声符号化を行う。図４は、この音声符号化方法を具体的に説明するための図である。
【００２４】
サブフレーム長をＮとし、現フレームの最初のサンプルの位置を０としている。この図に示すように、基本的には、−１から−Ｔの範囲でパルス位置を探索する（図４(ａ)のＴ≦Ｎの場合を参照）。しかし、ＴがＮを超える場合（図４(ｂ)参照）は、−１から−Ｔ＋Ｎの範囲内にパルスを立てても、Ｔが整数精度の場合は、現在の第１サブフレームにパルスは立たず、第２サブフレームにパルスが立つこととなる（ただし、Ｔが分数精度の場合で、補間フィルタのタップ数が多い場合は、タップ数の分だけインパルスがＳｉｎｃ関数で広がることになるので、第１サブフレームにも非零成分が現れることがある）。
【００２５】
そこで、かかる場合は、図４に示すように、まず、音源信号（未量子化音源信号を用いても良い）のエネルギが最大のサブフレームを選択し、次に、選択されたサブフレームに応じて−Ｔから−Ｔ＋Ｎ−１の範囲（第１サブフレームが選択された場合）、または−Ｔ＋Ｎから−１の範囲（第２サブフレームが選択された場合）のいずれかの範囲から、選択されたサブフレームでの誤差を最小とするパルス位置を探索する。例えば、第２サブフレームが選択された場合、パルス位置と第１サブフレームの先頭位置との差をｂとすれば、振幅がｇ２＊ａのパルスが、サンプル番号−ｂ＋Ｔ２の位置にパルスが立つことになる。ここで、ｇ２およびＴ２は前記第２サブフレームにおけるピッチゲインおよびピッチ周期をそれぞれ表す。本実施の形態では、このパルスを音源として合成信号を生成し、聴覚重み付けを施した後の誤差を最小化することによって、パルス位置探索を行う。
【００２６】
より詳細には、図５に示す式を用いて、上記のパルス位置探索を行うことが可能である。
【００２７】
図５において、ｘは符号化対象信号であるターゲットベクトル、ｇは現フレームで符号化された量子化適応符号帳ベクトル利得（ピッチゲイン）、Ｈは現フレームにおける重み付け合成フィルタのインパルス応答を畳み込む下三角テプリッツ行列、Ｓは音源パルスの形状を音源パルスに畳み込むためのテプリッツ行列（音源パルスの形状が因果的フィルタで表現される場合、すなわち、音源パルスより時間的に後ろにのみ形状を有する場合は下三角テプリッツ行列（すなわち ｈ-1〜ｈ-N+1＝０ ）となる。一方、音源パルスより時間的に前にも形状を有する場合はｈ-1〜ｈ-N+1の少なくとも一部は非零である）、Ｆは周期ＴのピッチフィルタＰ（ｚ）＝１／（１−ｇｚ−Ｔ）のインパルス応答を時刻Ｔから畳み
込むテプリッツ行列（すなわち、フィルタＰ’（ｚ）＝ｚ−Ｔ／（１−ｇｚ−Ｔ）のインパルス応答を畳み込むテプリッツ行列、ピッチ周期Ｔが整数精度の場合は下三角テプリッツ行列（すなわちｆT-1〜ｆT-N+1＝０）となる。ピッチ周期が分数精度の場合は、ピッチフィルタはＰ（ｚ）＝１／（１−ｇΣIi=-Iγiz−(Ｔ-i)）のように表されるので、ｆT-1〜ｆT-N+1およびｆT+1〜ｆT+N-1は非零となる（ここでγiは(2I+1)次の補間フィルタの係数））、ｐは前フレームの音源ベクトルを振幅ａのパルス列で表した前フレーム音源用コードベクトル、ｃはコードベクトルｐを振幅ａで正規化した振幅１のパルス列で表される前フレーム音源用コードベクトル、をそれぞれ示している。式（１）は、現フレームにおけるターゲットベクトルｘ（聴覚重み付けを施した入力信号から現フレームにおける聴覚重み付け合成フィルタの零入力応答を除去した信号：現フレームにおける聴覚重み付け合成フィルタの零状態応答がターゲットベクトルと等しくなれば量子化誤差が零となる）と、前フレームの音源ベクトルを適応符号帳として用いた場合に得られる現フレームの適応符号帳ベクトルに聴覚重み付け合成フィルタをかけて得られる合成信号ベクトル（すなわち現フレームにおける合成信号の適応符号帳成分）との２乗誤差Ｄを表す式である。（１）式は、ベクトルｄと行列Φをそれぞれ（３）式、（４）式で定義すれば、（２）式のように表される。
【００２８】
歪Ｄを最小とするａは、Ｄをａで偏微分した式が０に等しくなるようにする事で求めることができ、その結果図５の（２）式は図６の（５）式のようになる。したがって、ｃは（５）式における（ｄｃ）２／（ｃｔΦｃ）が最大となるように選べばよい。
【００２９】
図７は、本実施の形態に係る音声符号化装置の主要な構成を示すブロック図である。
【００３０】
本実施の形態に係る音声符号化装置は、線形予測分析部（ＬＰＣ分析部）１０１、線形予測係数符号化部（ＬＰＣ符号化部）１０２、聴覚重み付け部１０３、ターゲットベクトル算出部１０４、聴覚重み付け合成フィルタインパルス応答算出部１０５、適応符号帳探索部（ＡＣＢ探索部）１０６、固定符号帳探索部（ＦＣＢ探索部）１０７、利得量子化部１０８、メモリ更新部１０９、前フレーム音源探索部１１０、および多重化部１１１を備え、各部は以下の動作を行う。
【００３１】
入力信号は、直流成分をカットするための高域通過フィルタや背景雑音信号を抑圧する処理等の必要な前処理が施され、ＬＰＣ分析部１０１およびターゲットベクトル算出部１０４に入力される。
【００３２】
ＬＰＣ分析部１０１は、線形予測分析（ＬＰＣ分析）を行い、得られる線形予測係数（ＬＰＣパラメータ、または単にＬＰＣ）をＬＰＣ符号化部１０２および聴覚重み付け部１０３に入力する。
【００３３】
ＬＰＣ符号化部１０２は、ＬＰＣ分析部１０１から入力されたＬＰＣの符号化を行い、符号化結果を多重化部１１１へ、量子化ＬＰＣを聴覚重み付け合成フィルタインパルス応答算出部１０５へ、それぞれ入力する。
【００３４】
聴覚重み付け部１０３は、聴覚重み付けフィルタを有しており、ＬＰＣ分析部１０１から入力されたＬＰＣを用いて聴覚重み付けフィルタ係数を算出し、ターゲットベクトル算出部１０４および聴覚重み付け合成フィルタインパルス応答算出部１０５へ入力する。聴覚重み付けフィルタは、一般にＬＰＣ合成フィルタ１／Ａ（ｚ）に対して、Ａ（ｚ／γ１）／Ａ（ｚ／γ２）［０＜γ２＜γ１≦１．０］で表される。
【００３５】
ターゲットベクトル算出部１０４は、入力信号に聴覚重み付けフィルタをかけた信号から聴覚重み付け合成フィルタの零入力応答を除去した信号（ターゲットベクトル）を算出
し、ＡＣＢ探索部１０６、ＦＣＢ探索部１０７、利得量子化部１０８および前フレーム音源探索部１１０へ入力する。ここで、聴覚重み付けフィルタは、ＬＰＣ分析部１０１から入力したＬＰＣを用いた極零型フィルタで構成され、聴覚重み付けフィルタのフィルタ状態および合成フィルタのフィルタ状態は、メモリ更新部１０９によって更新されたものを入力して用いる。
【００３６】
聴覚重み付け合成フィルタインパルス応答算出部１０５は、ＬＰＣ符号化部１０２から入力した量子化ＬＰＣによって構成される合成フィルタと、聴覚重み付け部１０３から入力した重み付けＬＰＣによって構成される聴覚重み付けフィルタと、を直列接続したフィルタ（すなわち聴覚重み付け合成フィルタ）において、インパルス応答を算出し、ＡＣＢ探索部１０６、ＦＣＢ探索部１０７、および前フレーム音源探索部１１０に入力する。なお、聴覚重み付け合成フィルタは、１／Ａ（ｚ）と、Ａ（ｚ／γ１）／Ａ（ｚ／γ２）［０＜γ２＜γ１≦１．０］とを掛け合わせた式で表される。
【００３７】
ＡＣＢ探索部１０６には、ターゲットベクトル算出部１０４からターゲットベクトルが、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタのインパルス応答が、メモリ更新部１０９からは更新された最新の適応符号帳（ＡＣＢ）がそれぞれ入力される。ＡＣＢ探索部１０６は、聴覚重み付け合成フィルタのインパルス応答を畳み込んだＡＣＢベクトルと、ターゲットベクトルとの誤差が最小となるＡＣＢベクトルの切り出し位置を適応符号帳の中から決定し、この切り出し位置をピッチラグＴで表す。このピッチラグＴは、前フレーム音源探索部１１０へ入力される。なお、ＦＣＢベクトルにピッチ周期化フィルタを適用する場合には、ピッチラグＴはＦＣＢ探索部１０７へも入力される。また、ピッチラグＴを符号化したピッチラグ符号が多重化部１１１へ入力される。また、ピッチラグＴで指定される切り出し位置から切り出されたＡＣＢベクトルは、メモリ更新部１０９へ入力される。さらに、ＡＣＢベクトルに聴覚重み付け合成フィルタインパルス応答を畳み込んだベクトル（重み付け合成フィルタをかけた適応符号帳ベクトル）は、ＦＣＢ探索部１０７および利得量子化部１０８へ入力される。
【００３８】
ＦＣＢ探索部１０７には、ターゲットベクトル算出部１０４からターゲットベクトルが、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタのインパルス応答が、ＡＣＢ探索部１０６から重み付け合成フィルタをかけた適応符号帳ベクトルがそれぞれ入力される。なお、ＦＣＢベクトルにピッチ周期化フィルタを適用する場合には、ＡＣＢ探索部１０６から入力されるピッチラグＴを用いてピッチフィルタを構成し、このピッチフィルタのインパルス応答を聴覚重み付け合成フィルタのインパルス応答に畳み込む、または、ＦＣＢベクトルにピッチフィルタをかける。ＦＣＢ探索部１０７は、聴覚重み付け合成フィルタのインパルス応答を畳み込んだＦＣＢベクトル（重み付け合成フィルタをかけた固定符号帳ベクトル）、および重み付け合成フィルタをかけた適応符号帳ベクトルの双方に対し適正な利得を乗じて加算し、加算後のベクトルとターゲットベクトルとの誤差が最小となるようなＦＣＢベクトルを決定する。このＦＣＢベクトルを示すインデックスは符号化されてＦＣＢベクトル符号となり、ＦＣＢベクトル符号が多重化部１１１へ入力される。また、決定したＦＣＢベクトルは、メモリ更新部１０９へ入力される。なお、ＦＣＢベクトルにピッチ周期化フィルタを適用する場合には、ＦＣＢベクトルにピッチフィルタのインパルス応答を畳み込む、または、ＦＣＢベクトルにピッチフィルタをかける。さらに、重み付け合成フィルタをかけた固定符号帳ベクトルは、利得量子化部１０８へ入力される。
【００３９】
利得量子化部１０８には、ターゲットベクトル算出部１０４からターゲットベクトルが、ＡＣＢ探索部１０６から重み付け合成フィルタをかけた適応符号帳ベクトルが、ＦＣＢ探索部１０７からは重み付け合成フィルタをかけた固定符号帳ベクトルがそれぞれ入力される。利得量子化部１０８は、重み付け合成フィルタをかけた適応符号帳ベクトルに量子
化ＡＣＢ利得を乗じ、重み付け合成フィルタをかけた固定符号帳ベクトルに量子化ＦＣＢ利得を乗じた後に、両者を加算する。そして、加算後のベクトルとターゲットベクトルとの誤差が最小となる量子化利得のセットを決定し、この量子化利得のセットに対応する符号（利得符号）を多重化部１１１へ入力する。また、利得量子化部１０８は、量子化ＡＣＢ利得と量子化ＦＣＢ利得とをメモリ更新部１０９へ入力する。また、量子化ＡＣＢ利得は前フレーム音源探索部１１０へも入力される。
【００４０】
メモリ更新部１０９には、ＡＣＢ探索部１０６からＡＣＢベクトルが、ＦＣＢ探索部１０７からＦＣＢベクトルが、利得量子化部１０８から量子化ＡＣＢ利得と量子化ＦＣＢ利得とがそれぞれ入力される。メモリ更新部１０９は、ＬＰＣ合成フィルタ（単に、合成フィルタと記載することもあり）を有しており、量子化音源ベクトルを生成し、適応符号帳を更新し、ＡＣＢ探索部１０６へ入力する。また、メモリ更新部１０９は、生成した音源ベクトルでＬＰＣ合成フィルタを駆動し、ＬＰＣ合成フィルタのフィルタ状態を更新し、更新後のフィルタ状態をターゲットベクトル算出部１０４に入力する。また、メモリ更新部１０９は、生成した音源ベクトルで聴覚重み付けフィルタを駆動し、聴覚重み付けフィルタのフィルタ状態を更新し、更新後のフィルタ状態をターゲットベクトル算出部１０４に入力する。なお、フィルタ状態の更新方法は、ここで述べた方法以外にも数学的に等価なものであればどのような方法を用いても良い。
【００４１】
前フレーム音源探索部１１０には、ターゲットベクトル算出部１０４からターゲットベクトルｘが、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタのインパルス応答ｈが、ＡＣＢ探索部１０６からピッチラグＴが、利得量子化部１０８から量子化ＡＣＢ利得がそれぞれ入力される。前フレーム音源探索部１１０は、図５に示したｄおよびΦを算出し、図６に示した（ｄｃ）２／（ｃｔΦｃ）を最大とする音源パルス位置およびパルス振幅を決定し、このパルス位置およびパルス振幅を量子化および符号化し、パルス位置符号およびパルス振幅符号を多重化部１１１へ入力する。なお、音源パルスの探索範囲は、基本的に、現フレームの先頭を０として、−Ｔから−１までの範囲であるが、図４に示すような方法を用いて、音源パルスの探索範囲を決定しても良い。
【００４２】
多重化部１１１には、ＬＰＣ符号化部１０２からＬＰＣ符号が、ＡＣＢ探索部１０６からピッチラグ符号が、ＦＣＢ探索部１０７からＦＣＢベクトル符号が、利得量子化部１０８から利得符号が、前フレーム音源探索部１１０からパルス位置符号とパルス振幅符号とがそれぞれ入力される。多重化部１１１は、これらの多重化結果をビットストリームとして出力する。
【００４３】
図８は、図７に示した音声符号化装置から出力されるビットストリームを受信し復号する本実施の形態に係る音声復号装置の主要な構成を示すブロック図である。
【００４４】
図７に示した音声符号化装置から出力されたビットストリームは、多重分離部１５１へ入力される。
【００４５】
多重分離部１５１は、ビットストリームから各種符号を分離し、ＬＰＣ符号、ピッチラグ符号、ＦＣＢベクトル符号、および利得符号を、遅延部１５２へ入力する。また、前フレーム音源のパルス位置符号およびパルス振幅符号を前フレーム音源復号部１６０へ入力する。
【００４６】
遅延部１５２は、入力された各種パラメータを１フレーム時間遅延させ、遅延後のＬＰＣ符号をＬＰＣ復号部１５３へ、遅延後のピッチラグ符号をＡＣＢ復号部１５４へ、遅延後のＦＣＢベクトル符号をＦＣＢ復号部１５５へ、遅延後の量子化利得符号を利得復号部
１５６へ、それぞれ入力する。
【００４７】
ＬＰＣ復号部１５３は、入力されたＬＰＣ符号を用いて量子化ＬＰＣを復号し、合成フィルタ１６２へ入力する。
【００４８】
ＡＣＢ復号部１５４は、ピッチラグ符号を用いてＡＣＢベクトルを復号し、増幅器１５７へ入力する。
【００４９】
ＦＣＢ復号部１５５は、ＦＣＢベクトル符号を用いてＦＣＢベクトルを復号し、増幅器１５８へ入力する。
【００５０】
利得復号部１５６は、利得符号を用いてＡＣＢ利得とＦＣＢ利得とをそれぞれ復号し、増幅器１５７、１５８へ各々入力する。
【００５１】
適応符号帳ベクトル用の増幅器１５７は、ＡＣＢ復号部１５４から入力されたＡＣＢベクトルに、利得復号部１５６から入力されたＡＣＢ利得を乗じ、加算器１５９へ出力する。
【００５２】
固定符号帳ベクトル用の増幅器１５８は、ＦＣＢ復号部１５５から入力されたＦＣＢベクトルに、利得復号部１５６から入力されたＦＣＢ利得を乗じ、加算器１５９へ出力する。
【００５３】
加算器１５９は、ＡＣＢベクトル用の増幅器１５７から入力されたベクトルと、ＦＣＢベクトル用の増幅器１５８から入力されたベクトルとを加算し、加算結果をスイッチ１６１を介して合成フィルタ１６２へ入力する。
【００５４】
前フレーム音源復号部１６０は、多重分離部１５１から入力されたパルス位置符号およびパルス振幅符号を用いて音源信号を復号して音源ベクトルを生成し、スイッチ１６１を介して合成フィルタ１６２へ入力する。
【００５５】
スイッチ１６１は、フレーム消失が発生しているか否かを示すフレーム消失情報が入力され、復号中のフレームが消失フレームでない場合は入力端を加算器１５９側に接続し、復号中のフレームが消失フレームである場合は入力端を前フレーム音源復号部１６０側に接続する。
【００５６】
合成フィルタ１６２は、ＬＰＣ復号部１５３から入力された復号ＬＰＣを用いてＬＰＣ合成フィルタを構成し、また、スイッチ１６１を介して入力される信号でこのＬＰＣ合成フィルタを駆動し、合成信号を生成する。この合成信号が復号信号となるが、一般的には、ポストフィルタ等の後処理を施した後に最終的な復号信号として出力される。
【００５７】
次いで、前フレーム音源探索部１１０について詳細に説明する。図９に、前フレーム音源探索部１１０の内部構成を示す。前フレーム音源探索部１１０は、最大化回路１１０１、パルス位置符号化部１１０２およびパルス振幅符号化部１１０３を備える。
【００５８】
最大化回路１１０１は、ターゲットベクトル算出部１０４からターゲットベクトルを、聴覚重み付け合成フィルタインパルス応答算出部１０５から聴覚重み付け合成フィルタインパルス応答を、ＡＣＢ探索部１０６からピッチラグＴを、利得量子化部１０８からＡＣＢ利得をそれぞれ入力され、（５）式を最大とするパルス位置をパルス位置符号化部１１０２へ入力し、そのパルス位置でのパルス振幅をパルス振幅符号化部１１０３へ入力する。
【００５９】
パルス位置符号化部１１０２は、ＡＣＢ探索部１０６から入力されるピッチラグＴを用いて、パルス位置符号化部１１０２から入力されたパルス位置を後述する方法により量子化および符号化してパルス位置符号を生成し、多重化部１１１に入力する。
【００６０】
パルス振幅符号化部１１０３は、最大化回路１１０１から入力されたパルス振幅を量子化および符号化してパルス振幅符号を生成し、多重化部１１１に入力する。なお、パルス振幅の量子化はスカラ量子化でも良いし、他のパラメータと組み合わせて行うベクトル量子化でも良い。
【００６１】
次いで、パルス位置符号化部１１０２で用いる量子化および符号化方法の一例を示す。
【００６２】
図４に示したように、パルス位置ｂは通常Ｔ以下である。Ｔの最大値は例えばＩＴＵ−Ｔ勧告Ｇ.７２９によれば１４３である。よって、このパルス位置ｂを誤差なく量子化するには８ビット必要である。しかし、８ビットでは２５５まで量子化できるので、最大でも１４３のパルス位置ｂを量子化するには８ビットでは無駄が多い。そこで、ここでは、パルス位置ｂのとり得る範囲が１〜１４３である場合に、パルス位置ｂを７ビットで量子化する。また、パルス位置ｂの量子化には現フレームの第１サブフレームのピッチラグＴを利用する。
【００６３】
以下、パルス位置符号化部１１０２の動作フローについて図１０を用いて説明する。
【００６４】
まず、ステップＳ１１では、Ｔが１２８以下か否か判定する。Ｔが１２８以下である場合には（ステップＳ１１：ＹＥＳ）ステップＳ１２へ進み、Ｔが１２８より大きい場合には（ステップＳ１１：ＮＯ）ステップＳ１３へ進む。
【００６５】
Ｔが１２８以下である場合にはパルス位置ｂを７ビットで誤差なく量子化できるので、ステップＳ１２において、パルス位置ｂをそのまま量子化値ｂ’および量子化インデックスｉｄｘ＿ｂとする。そして、ｉｄｘ＿ｂ−１が７ビットでストリーム化されて送出される。
【００６６】
一方、Ｔが１２８より大きい場合には、パルス位置ｂを７ビットで量子化するために、ステップＳ１３において、量子化ステップ（ｓｔｅｐ）をＴ／１２８により算出して量子化ステップを１より大きくする。また、ｂ／ｓｔｅｐの小数点以下を四捨五入して整数化した値をパルス位置ｂの量子化インデックスｉｄｘ＿ｂとする。よって、パルス位置ｂの量子化値ｂ’をｉｎｔ（ｓｔｅｐ＊ｉｎｔ（０.５＋（ｂ／ｓｔｅｐ）））により算出する。そして、ｉｄｘ＿ｂ−１が７ビットでストリーム化されて送出される。
【００６７】
次いで、前フレーム音源復号部１６０について詳細に説明する。図１１に、前フレーム音源復号部１６０の内部構成を示す。前フレーム音源復号部１６０は、パルス位置復号部１６０１、パルス振幅復号部１６０２および音源ベクトル生成部１６０３を備える。
【００６８】
パルス位置復号部１６０１は、多重分離部１５１からパルス位置符号を入力され、量子化パルス位置を復号して音源ベクトル生成部１６０３へ入力する。
【００６９】
パルス振幅復号部１６０２は、多重分離部１５１からパルス振幅符号を入力され、量子化パルス振幅を復号して音源ベクトル生成部１６０３へ入力する。
【００７０】
音源ベクトル生成部１６０３は、パルス位置復号部１６０１から入力されたパルス位置に、パルス振幅復号部１６０２から入力されたパルス振幅を有するパルスを立てて音源ベ
クトルを生成し、その音源ベクトルをスイッチ１６１を介して合成フィルタ１６２へ入力する。
【００７１】
以下、パルス位置復号部１６０１の動作フローについて図１２を用いて説明する。
【００７２】
まず、ステップＳ２１では、Ｔが１２８以下か否か判定する。Ｔが１２８以下である場合には（ステップＳ２１：ＹＥＳ）ステップＳ２２へ進み、Ｔが１２８より大きい場合には（ステップＳ２１：ＮＯ）ステップＳ２３へ進む。
【００７３】
ステップＳ２２では、Ｔが１２８以下であるので、量子化インデックスｉｄｘ＿ｂをそのまま量子化値ｂ’とする。
【００７４】
一方、ステップＳ２３では、Ｔが１２８より大きいので、量子化ステップ（ｓｔｅｐ）をＴ／１２８により算出し、量子化値ｂ’をｉｎｔ（ｓｔｅｐ＊ｉｄｘ＿ｂ）により算出する。
【００７５】
このように、本実施の形態では、パルス位置のとり得る値が１２８サンプルより大きい場合に、パルス位置のとり得る値に応じた必要ビット数（８ビット）より１ビット少ないビット数（７ビット）でパルス位置を量子化する。パルス位置の値のうち７ビットを超える範囲を７ビットに収めて量子化しても、その範囲が僅かであれば、パルス位置の量子化誤差を１サンプル以内に抑えることができる。よって、本実施の形態によれば、パルス位置を消失フレーム補償用の冗長情報として送信する場合に、量子化誤差の影響を最小限に抑えることができる。
【００７６】
なお、本実施の形態においては、現フレームにおいて符号化を行う際、合成された復号信号と入力信号との誤差が最小となるように現フレームの冗長情報を生成する方法を説明したが、これに限定されるものではなく、合成された復号信号と入力信号との誤差を少しでも小さくするように現フレームの冗長情報を生成すれば、前フレームが消失した場合でも、現フレームの復号信号の品質劣化を少なからず抑えることが可能になるということは、言うまでもない。
【００７７】
また、パルス位置の上記量子化方法は、パルス位置をピッチラグ（ピッチ周期）を用いて量子化するものであり、パルス位置の探索方法、ピッチ周期の分析、量子化および符号化方法によって限定されるものではない。
【００７８】
また、上記実施の形態では、一例として量子化ビット数を７ビット、パルス位置の値を最大１４３サンプルとして説明したが、本発明はこれらの数値に限定されるものではない。
【００７９】
ただし、パルス位置の量子化誤差を１サンプル以内に抑えるためには、パルス位置のとり得る最大値ＰＰｍａｘと量子化ビット数ＰＰｂｉｔとの間において以下の関係を満たす必要がある。
２＾ＰＰｂｉｔ  ＜  ＰＰｍａｘ  ＜  ２＾（ＰＰｂｉｔ＋１）
【００８０】
また、量子化誤差が２サンプルまで許容される場合には以下の関係を満たす必要がある。
２＾ＰＰｂｉｔ  ＜  ＰＰｍａｘ  ＜  ２＾（２＾ＰＰｂｉｔ＋２）
【００８１】
このように、本実施の形態は、補償用の冗長情報としてサブレイヤの符号化情報（サブ符号化情報）を用いてメインレイヤの消失フレームの補償を行う消失フレーム補償方法、
および補償処理情報の符号化／復号化方法に関し、例えば、以下のような発明として示すことができる。
【００８２】
すなわち、第１の発明としては、音声符号化装置と音声復号装置との間にある伝送路上で消失したパケットから復号されるべき音声信号を、前記音声復号装置において擬似的に生成して補償する消失フレーム補償方法であって、前記音声符号化装置と前記音声復号化装置は次のような動作を行うようにしたものである。前記音声符号化装置では、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて符号化する符号化ステップを有する。また、前記音声復号装置は、前記現フレームの直前のフレーム（すなわち第２フレーム）のパケットが消失した場合に、前記第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの復号信号を生成する復号ステップと、を有する消失フレーム補償方法である。
【００８３】
第２の発明は、第１の発明において、前記第１フレームの復号誤差が、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、消失フレーム補償方法である。
【００８４】
第３の発明は、第１の発明において、前記第１フレームの冗長情報が、前記音声符号化装置において、前記第１フレームの復号誤差を小さくする前記第２フレームの音源信号を符号化した情報である、消失フレーム補償方法である。
【００８５】
第４の発明は、第１の発明において、前記符号化ステップが、前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置し、前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置し、前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差を小さくする前記第１パルスを、前記第２フレーム内で探索することにより求め、求めた前記第１パルスの位置と振幅を、前記第１フレームの冗長情報とする、消失フレーム補償方法である。
【００８６】
第５の発明としては、符号化情報と冗長情報とを含むパケットを生成して送信する音声符号化装置であって、現フレームである第１フレームの復号誤差を小さくする前記第１フレームの冗長情報を、前記第１フレームの符号化情報を用いて生成する現フレーム冗長情報生成部を有する音声符号化装置である。例えば、現フレーム冗長情報生成部は図７における前フレーム音源探索部１１０として表すことができる。
【００８７】
第６の発明は、第５の発明において、前記第１フレームの復号誤差が、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの入力音声信号との誤差である、音声符号化装置である。
【００８８】
第７の発明は、第５の発明において、前記第１フレームの冗長情報は、前記第１フレームの復号誤差を小さくする、前記現フレームの直前のフレームである第２フレームの音源信号を符号化した情報である、音声符号化装置である。
【００８９】
第８の発明は、第５の発明において、前記現フレーム冗長情報生成部が、前記入力音声信号の前記第１フレームの符号化情報及び冗長情報を用いて時間軸上に第１パルスを配置する第１パルス生成部と、前記時間軸上で前記第１パルスからピッチ周期だけ後の時間に、前記第１フレームの符号化情報を示す第２パルスを配置する第２パルス生成部と、前記第１フレームの入力音声信号と、前記第２パルスを用いて復号された前記第１フレームの復号信号との誤差が最小となるような前記第１パルスを、前記現フレームの前フレームで
ある第２フレーム内で探索することにより求める誤差最小化部と、求めた前記第１パルスの位置と振幅を前記第１フレームの冗長情報として符号化する冗長情報符号化部と、を有する音声符号化装置である。例えば、第１パルスは式（１）におけるｐ（＝ａｃ）であり、第２パルスは式（１）におけるＦｐ（＝Ｆａｃ）であり、誤差最小化は式（５）における｜ｄｃ｜２／（ｃｔΦｃ）を最大とするｃを決定することである。式（５）の第２項を最大とするｃを見つけるために、前フレーム音源探索部１１０では式（３）および（４）に基づいてｄとΦが算出され、式（５）の第２項を最大とするｃ（すなわち第１パルス）の探索が行われる。つまり、第１パルスの生成と第２パルスの生成と誤差の最小化が前フレーム音源探索部で同時に行われているといえる。復号器側で言えば、第１パルス生成部は前フレーム音源復号部であり、第２パルス生成部はＡＣＢ復号部１５４であり、これらの処理と等価なことが式（１）（または（２））によって前フレーム音源探索部１１０において実施されている。
【００９０】
第９の発明は、第８の発明において、前記冗長情報符号化部が、前記第１パルスの位置のとり得る値に応じた必要ビット数より１ビット少ないビット数で前記第１パルスの位置を量子化し、量子化後の位置を符号化する、音声符号化装置である。
【００９１】
第１０の発明としては、符号化情報と冗長情報とを含むパケットを受信して復号音声信号を生成する音声復号装置であって、現フレームを第１フレームとし、前記現フレームの直前のフレームを第２フレームとして、前記第２フレームのパケットが消失した場合に、前記第１フレームの復号誤差が小さくなるように生成された前記第１フレームの冗長情報を用いて、消失した前記第２フレームのパケットの符号化情報を生成する消失フレーム補償部を有する音声復号装置である。例えば、消失フレーム補償部は図８における前フレーム音源復号部１６０により表すことができる。
【００９２】
第１１の発明は、第１０の発明において、前記第１フレームの冗長情報が、音声信号が符号化される際、前記第１フレームの符号化情報及び冗長情報に基づいて生成される前記第１フレームの復号信号と、前記第１フレームの音声信号との誤差が小さくなるように生成された情報である、音声復号装置である。
【００９３】
第１２の発明は、第１０の発明において、前記消失フレーム補償部が、前記第２フレームの符号化情報を用いて前記第２フレームの音源復号信号である第１音源復号信号を生成する第１音源復号部と、前記第１フレームの冗長情報を用いて前記第２フレームの音源復号信号である第２音源復号信号を生成する第２音源復号部と、前記第１音源復号信号と前記第２音源復号信号とを入力し、前記第２フレームのパケット消失情報にしたがっていずれかの信号を出力する切り替え部と、を有する音声復号装置である。例えば、第１音源復号部は、遅延部１５２、ＡＣＢ復号部１５４、ＦＣＢ復号部１５５、利得復号部１５６、増幅器１５７、増幅器１５８、及び加算器１５９をまとめたもので表すことができ、第２音源復号部は前フレーム音源復号部１６０で、切り替え部はスイッチ１６１で表すことができる。
【００９４】
なお、上記各発明の構成要素と図７及び図８の構成要素との対応が、必ずしもこのような対応に限定されるものではないことは言うまでもない。
【００９５】
ところで、本実施の形態に係る音声符号化装置は、前フレームの音源情報の中でも、特に現フレームのＡＣＢベクトルの生成に重要な部分、たとえば現フレームに含まれるピッチピーク部に重点を置いて符号化を行い、生成される符号化情報を消失フレーム補償のための符号化情報として音声復号装置に伝送することが可能である。ここで、ピッチピークとは、音声信号の線形予測残差信号に、ピッチ周期間隔で周期的に現れる、振幅の大きな部分のことである。この振幅の大きな部分は、声帯振動によるピッチパルスと同じ周期で
現れるパルス的波形となる。
【００９６】
音源情報のピッチピーク部に重点を置いた符号化方法とは、より詳細には、ピッチピーク波形に使われる音源部分をインパルス（または単にパルス）で表し、このパルス位置を消失補償用の前フレームのサブ符号化情報として符号化することである。この際、パルスを立てる位置の符号化は、現フレームのメインレイヤで得られるピッチ周期（適応符号帳ラグ）およびピッチゲイン（ＡＣＢ利得）を用いて行う。具体的には、これらピッチ周期とピッチゲインとから適応符号帳ベクトルを生成し、この適応符号帳ベクトルが、現フレームの適応符号帳ベクトルとして有効となるように、すなわち、この適応符号帳ベクトルに基づく復号信号と入力音声信号との誤差が最小となるようなパルス位置が探索される。
【００９７】
よって、本実施の形態に係る音声復号装置は、伝送されてきたパルス位置情報に基づいてパルスを立てて合成信号を生成することにより、音源信号のうち最も特徴的な部分であるピッチピークの復号をある程度の精度で実現することができる。すなわち、適応符号帳等の過去の音源情報を利用する音声コーデックをメインレイヤとする場合にも、音源信号のピッチピークについては過去の音源情報を利用せずに復号することができ、前フレームが消失しても現フレームの復号信号の著しい劣化を回避することができる。特に、本実施の形態は、過去の音源情報を参考にすることができない有声立ち上がり部等に有用である。また、シミュレーションによれば、冗長情報のビットレートを、１０ビット／フレーム程度のビットレートに抑えることができる。
【００９８】
また、本実施の形態によれば、１フレーム前のフレームに対して冗長情報を送るので、エンコーダ側では補償のためのアルゴリズム遅延が生じない。これは、デコーダ側の判断で消失補償処理の高品質化のための情報を使用しないようにする代わりに、コーデック全体のアルゴリズム遅延を１フレーム分短くすることができるということを意味する。
【００９９】
また、本実施の形態によれば、１フレーム前のフレームに対して冗長情報を送るので、時間的に未来の情報も用いて、消失が想定されるフレームが立ち上がり等の重要フレームであるか否かを判定することができ、立ち上がりフレームか否かの判定精度を向上させることができる。
【０１００】
また、本実施の形態によれば、現フレームでのＦＣＢ成分も考慮して探索を行うことにより、ＡＣＢとして、より適切なものを符号化することができる。
【０１０１】
以上、本発明の実施の形態について説明した。
【０１０２】
なお、本発明に係る音声符号化装置、音声復号装置、および消失フレーム補償方法は、上記実施の形態に限定されず、種々変更して実施することが可能である。
【０１０３】
例えば、補償用のＡＣＢ符号化情報は、サブフレーム単位でなくフレーム単位で符号化するような構成としても良い。
【０１０４】
また、本発明の実施の形態では、各フレームおいて配置されるパルスは、各フレームごとに１本のパルスとしたが、伝送する情報量が許容される限りは、複数のパルスを配置することも可能である。
【０１０５】
また、１フレーム前の音源符号化において、１フレーム前における合成信号と入力音声との誤差を音源探索時の評価基準に組み込むような構成としても良い。
【０１０６】
また、補償用のＡＣＢ符号化情報（すなわち前フレーム音源探索部１１０で探索された
音源パルス）を用いて復号される現フレームの復号音声信号と、補償用のＡＣＢ符号化情報を用いずに（すなわち従来法によって補償処理を行った場合に）復号される現フレームの復号音声信号と、のいずれか一方を選択する選択手段を設け、補償用のＡＣＢ符号化情報を用いて復号される現フレームの復号音声信号が選択されたときにのみ、補償用のＡＣＢ符号化情報を送受信するような構成としても良い。上記選択手段が選択基準として用いる尺度としては、現フレームの入力音声信号と復号音声信号とのＳＮ比や、前フレーム音源探索部１１０で使用される評価尺度をターゲットベクトルのエネルギで正規化したものなどを用いることができる。
【０１０７】
また、本発明に係る音声符号化装置および音声復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
【０１０８】
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、符号化／復号の双方を含めた本発明に係る消失フレーム補償方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る音声符号化装置または音声復号装置と同様の機能を実現することができる。
【０１０９】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０１１０】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【０１１１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１１２】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【０１１３】
２００６年７月１２日出願の特願２００６−１９２０６９および２００７年３月１日出願の特願２００７−０５１４８７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１１４】
本発明に係る音声符号化装置、音声復号装置、および消失フレーム補償方法は、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用することができる。
【図面の簡単な説明】
【０１１５】
【図１】本発明に係る消失フレーム補償方法の前提を説明するための図
【図２】本発明で解決しようとする課題を説明するための図
【図３】本発明の実施の形態に係る消失フレーム補償方法のうちの音声符号化方法を具体的に説明するための図
【図４】本発明の実施の形態に係る音声符号化方法を具体的に説明するための図
【図５】本発明の実施の形態に係るパルス位置探索の式を示す図
【図６】本発明の実施の形態に係る歪最小化の式を示す図
【図７】本発明の実施の形態に係る音声符号化装置の主要な構成を示すブロック図
【図８】本発明の実施の形態に係る音声復号装置の主要な構成を示すブロック図
【図９】本発明の実施の形態に係る前フレーム音源探索部の主要な構成を示すブロック図
【図１０】本発明の実施の形態に係るパルス位置符号化部の動作フロー図
【図１１】本発明の実施の形態に係る前フレーム音源復号部の主要な構成を示すブロック図
【図１２】本発明の実施の形態に係るパルス位置復号部の動作フロー図
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008007698.tif 000015
【図２】
2008007698.tif 000016
【図３】
2008007698.tif 000017
【図４】
2008007698.tif 000018
【図５】
2008007698.tif 000019
【図６】
2008007698.tif 000020
【図７】
2008007698.tif 000021
【図８】
2008007698.tif 000022
【図９】
2008007698.tif 000023
【図１０】
2008007698.tif 000024
【図１１】
2008007698.tif 000025
【図１２】
2008007698.tif 000026
【国際調査報告】
2008007698.tif 000027
2008007698.tif 000028
2008007698.tif 000029
2008007698.tif 000030