(57)【要約】  本発明は、符号化係数によってフレーム毎に表わされた情報の、周波数領域におけるエラー隠蔽技術に関する。基本的な考え方は、時間と周波数の両方における符号化係数の相関を利用することによって、誤り符号化係数を隠蔽することである。この技術は、音声、動画、画像データなど、符号化係数へと圧縮され、不利なチャネル条件の下で送信される情報であれば、いかなる情報にも適用可能である。本発明が提案するエラー隠蔽技術は、元の情報信号の周波数の冗長性だけでなく時間の冗長性も利用するという明らかな優位性を持っている。例えば、これにより、フレーム内の冗長性だけでなく、フレーム間の冗長性も利用する可能性が生まれる。同一フレームからの符号化係数を誤り符号化係数として使用することは、フレーム内係数相関として言及されることがあり、より一般的な周波数相関の内の特殊なケースである。
2007514977.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎に符号化係数で表される情報についての周波数領域におけるエラー隠蔽方法であって、
フレーム内の誤り符号化係数を隠蔽する工程を備え、該工程は、
時間及び周波数の両方における符号化係数の相関に基づいて新規の符号化係数を推定する工程と、
前記誤り符号化係数を前記新規の符号化係数により置換する工程と
を備えることを特徴とする方法。
【請求項２】
前記誤り符号化係数が、部分的に誤りのある符号化係数と、完全に欠落した符号化係数との少なくとも一方であることを特徴とする請求項１に記載の周波数領域におけるエラー隠蔽方法。
【請求項３】
前記符号化係数が量子化された符号化係数であることを特徴とする請求項１又は２に記載の周波数領域におけるエラー隠蔽方法。
【請求項４】
フレーム内の誤り符号化係数を隠蔽する前記工程は、
前記誤り符号化係数と同一フレーム内の少なくとも１つの他の符号化係数と、少なくとも１つの他のフレームの少なくとも１つの符号化係数とに基づいて新規の符号化係数を推定する工程と、
前記誤り符号化係数を前記新規の符号化係数により置換する工程と
を備えることを特徴とする請求項１乃至３のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項５】
前記情報は複数の周波数ビンの符号化係数によって表され、
前記誤り符号化係数はフレーム内の所定の周波数ビンについて検出され、
前記周波数ビンの新規の符号化係数は、前記フレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数に、少なくとも部分的に基づいて推定されることを特徴とする請求項４に記載の周波数領域におけるエラー隠蔽方法。
【請求項６】
前記周波数ビンの前記新規の符号化係数は、少なくとも１つの他のフレーム内の同一周波数ビンの少なくとも１つの符号化係数にも基づいて推定されることを特徴とする請求項５に記載の周波数領域におけるエラー隠蔽方法。
【請求項７】
前記周波数ビンの前記新規の符号化係数は、少なくとも１つの他のフレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数にも基づいて推定されることを特徴とする請求項６に記載の周波数領域におけるエラー隠蔽方法。
【請求項８】
前記新規の符号化係数を推定する前記工程は、所定の近似基準を用いたフレーム間の近似グループ遅延照合に基づいて、スペクトル位相成分を予測する工程を含むことを特徴とする請求項１乃至７のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項９】
前記スペクトル位相成分を予測する前記工程は、
少なくとも１つの他のフレームからグループ遅延を推定する工程と、
前記新規のスペクトル成分に関連するグループ遅延を、推定された前記グループ遅延と少なくとも近似的に照合することによりスペクトル位相を計算する工程と
を含むことを特徴とする請求項８に記載の周波数領域におけるエラー隠蔽方法。
【請求項１０】
前記新規の符号化係数を推定する前記工程は、フレーム間のスペクトルエネルギー照合に基づいてスペクトル振幅成分を予測する工程を含むことを特徴とする請求項１乃至９のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項１１】
前記スペクトル振幅成分を予測する前記工程は、
前記誤り符号化係数と同一フレームのスペクトル係数のエネルギーを、少なくとも１つの他のフレームの対応するスペクトル係数のエネルギーと照合することによって重み係数を計算する工程と、
前記少なくとも１つの他のフレームの同一周波数ビンのスペクトル振幅と、前記重み係数とに基づいてスペクトル振幅を計算する工程と
を含むことを特徴とする請求項１０に記載の周波数領域におけるエラー隠蔽方法。
【請求項１２】
前記少なくとも１つの他のフレームは、少なくとも１つの前フレームを含むことを特徴とする請求項４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１３】
前記少なくとも１つの他のフレームは、少なくとも１つの後フレームを含むことを特徴とする請求項４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１４】
前記符号化係数が、複素スペクトル変換係数であることを特徴とする請求項１に記載の周波数領域におけるエラー隠蔽方法。
【請求項１５】
特定の周波数ビンの新規の複素スペクトル符号化係数は、スペクトルの振幅及び位相を個々に予測した後、予測されたスペクトルの振幅及び位相を結合して前記新規の複素スペクトル符号化係数とすることによって推定されることを特徴とする請求項１４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１６】
前記スペクトル振幅は、少なくとも１つの他のフレームの同一周波数ビンの前記スペクトル振幅と重み係数とに基づいて予測され、
前記重み係数は、前記フレームのスペクトル係数の前記エネルギーを、前記少なくとも１つの他のフレームの対応するスペクトル係数の前記エネルギーと照合することによって計算されることを特徴とする請求項１５に記載の周波数領域におけるエラー隠蔽方法。
【請求項１７】
前記スペクトル位相は、
少なくとも１つの他のフレームの少なくとも２つのスペクトル位相成分からグループ遅延を推定し、
新規のスペクトル成分に関連するグループ遅延を、推定された前記グループ遅延と少なくとも近似的に照合することで前記スペクトル位相を計算することによって、
予測されることを特徴とする請求項１５又は１６に記載の周波数領域におけるエラー隠蔽方法。
【請求項１８】
新規の複素スペクトル符号化係数は直接に予測されることを特徴とする請求項１４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１９】
前記情報が音声、動画、画像データのうち、少なくとも一つを含むことを特徴とする請求項１乃至１８のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項２０】
フレーム毎に符号化係数で表される情報について周波数領域におけるエラー隠蔽を行う装置であって、
フレーム内の誤り符号化係数を隠蔽する隠蔽手段（４４）を備え、該隠蔽手段は、
時間及び周波数の両方における符号化係数の相関に基づいて新規の符号化係数を推定する推定手段（５６）と、
前記誤り符号化係数を前記新規の符号化係数により置換する置換手段（５６、５８）とを備えることを特徴とする装置。
【請求項２１】
前記誤り符号化係数が、部分的に誤りのある符号化係数と、完全に欠落した符号化係数との少なくとも一方であることを特徴とする請求項２０に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２２】
フレーム内の誤り符号化係数を隠蔽する前記隠蔽手段は、
前記誤り符号化係数と同一フレーム内の少なくとも１つの他の符号化係数と、少なくとも１つの他のフレームの少なくとも１つの符号化係数とに基づいて新規の符号化係数を推定する推定手段（５６）と、
前記誤り符号化係数を前記新規の符号化係数により置換する置換手段（５６、５８）とを備えることを特徴とする請求項２０又は２１に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２３】
前記情報は複数の周波数ビンの符号化係数によって表され、
前記誤り符号化係数は前記フレーム内の所定の周波数ビンについて検出され、
前記推定手段（５６）は、前記周波数ビンの新規の符号化係数を、前記フレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数に、少なくとも部分的に基づいて推定することを特徴とする請求項２２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２４】
前記推定手段（５６）は、前記周波数ビンの前記新規の符号化係数を、少なくとも１つの他のフレーム内の同一周波数ビンの少なくとも１つの符号化係数にも基づいて推定することを特徴とする請求項２３に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２５】
前記推定手段（５６）は、前記周波数ビンの前記新規の符号化係数を、少なくとも１つの他のフレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数にも基づいて推定することを特徴とする請求項２４に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２６】
前記新規の符号化係数を推定する前記推定手段（５６）は、所定の近似基準を用いたフレーム間の近似グループ遅延照合に基づいて、スペクトル位相成分を予測する予測手段（７４）を備えることを特徴とする請求項２０乃至２５のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２７】
前記スペクトル位相成分を予測する前記予測手段（７４）は、
少なくとも１つの他のフレームからグループ遅延を推定する手段と、
前記新規のスペクトル成分に関連するグループ遅延を、推定された前記グループ遅延と少なくとも近似的に照合することによりスペクトル位相を計算する手段と
を含むことを特徴とする請求項２６に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２８】
前記新規の符号化係数を推定する前記推定手段（５６）は、フレーム間のスペクトルエネルギー照合に基づいてスペクトル振幅成分を予測する手段を含むことを特徴とする請求項２０乃至２７のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２９】
前記スペクトル振幅成分を予測する前記予測手段は、
前記誤り符号化係数と同一フレームのスペクトル係数のエネルギーを、少なくとも１つの他のフレームの対応するスペクトル係数のエネルギーと照合することによって重み係数を計算する手段（７２）と、
前記少なくとも１つの他のフレームの同一周波数ビンのスペクトル振幅と、前記重み係数とに基づいてスペクトル振幅を計算する手段（７２）と
を含むことを特徴とする請求項２８に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３０】
前記少なくとも１つの他のフレームは、少なくとも１つの前フレームを含むことを特徴とする請求項２２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３１】
前記少なくとも１つの他のフレームは、少なくとも１つの後フレームを含むことを特徴とする請求項２２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３２】
前記符号化係数が、複素スペクトル変換係数であることを特徴とする請求項２０に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３３】
前記推定手段（５６）は、特定の周波数ビンの新規の複素スペクトル符号化係数を、スペクトルの振幅及び位相を個々に予測した後、予測されたスペクトルの振幅及び位相を結合して前記新規の複素スペクトル符号化係数とすることによって推定することを特徴とする請求項３２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３４】
前記推定手段（５６）は、前記スペクトル振幅を、少なくとも１つの他のフレームの同一周波数ビンの前記スペクトル振幅と重み係数とに基づいて予測し、
前記推定手段（５６）は、前記重み係数を、前記フレームのスペクトル係数の前記エネルギーを、前記少なくとも１つの他のフレームの対応するスペクトル係数の前記エネルギーと照合することによって計算することを特徴とする請求項３３に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３５】
前記推定手段（５６）は、前記スペクトル位相を、
少なくとも１つの他のフレームの少なくとも２つのスペクトル位相成分からグループ遅延を推定し、
新規のスペクトル成分に関連するグループ遅延を、推定された前記グループ遅延と少なくとも近似的に照合することで前記スペクトル位相を計算することによって、
予測することを特徴とする請求項３３又は３４に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３６】
新規の複素スペクトル符号化係数は直接に予測されることを特徴とする請求項３２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３７】
前記情報が音声、動画、画像データのうち、少なくとも一つを含むことを特徴とする請求項２０乃至３６のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３８】
請求項２０乃至３７のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置を備えることを特徴とするデコーダ（４０）。
【請求項３９】
請求項２０乃至３７のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置を備えることを特徴とする受信機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にエラー隠蔽(error concealment)に関するもので、更に詳しくはサブバンド・コーデックや変換コーデックのようなコーデックの復号化側で使用する周波数領域エラー隠蔽技術に関するものである。
【背景技術】
【０００２】
メディア・エンコーダは、音声、動画、画像データストリームのような情報ストリームを分析し、メディアを表す情報ストリームを符号化された形式で出力することができる、装置、回路構成、又はコンピュータ・プログラムである。その結果得られた情報は、伝送、保存及び符号化のうちの少なくともいずれかの目的でよく利用される。他方、デコーダは、符号化された情報ストリームを受信して復号化されたメディアストリームを出力するという点で、エンコーダ動作を逆に実行することができる、装置、回路構成、又はコンピュータ・プログラムである。
【０００３】
最新の音声及び動画エンコーダの多くは、入力信号の各フレームの分析を周波数領域で行う。この分析結果を量子化して符号化し、その後アプリケーションに応じて送信し保存する。受信側では、或いは保存された符号化信号を使用する場合には、復号化手順とそれに続く合成手順とによって時間領域で信号を復元する。
【０００４】
帯域幅が限定される通信チャネル上を効率よく伝送するために、音声や動画データなどの情報を圧縮、解凍するには、コーデックを用いることが多い。
【０００５】
最も一般的な音声及び動画コーデックは、サブバンド・コーデックと変換コーデックである。サブバンド・コーデックは、フィルタ・バンクに基づいており、変換コーデックは通常、例えば、ＤＣＴ（離散的コサイン変換）として、時間周波数領域変換に基づいている。しかし、これら２種類のコーデックは数学的に同等とみなすことができる。ある意味で、それらは同じ原理に基づいており、その原理の下では、変換コーデックは多数のサブバンドを備えたサブバンド・コーデックであると考えることができる。
【０００６】
これらのコーデックの共通の特徴は、それらがサンプル・ブロック、すなわちフレーム上で動作することである。各フレームの変換分析又はサブバンド分析に起因する符号化係数は、動的ビット配分に従って量子化されるが、フレーム毎に異なることがある。デコーダは、ビット・ストリームの受信と同時に、ビット配分を計算し、符号化された係数を復号化する。
【０００７】
パケットベースの通信では、量子化された符号化係数及びパラメータの少なくともいずれかは、パケットとしてグループ化されることがある。パケットはいくつかのフレーム又は１個のフレームに関するデータを含むことがあるが、データがフレームの一部である場合もある。
【０００８】
不利なチャネル条件の下では、コーダからの符号化され、圧縮された情報が行方不明になったり、エラー付きで復号化側へ到着したりすることがある。一般に、チャネル条件が不利な場合の音声、動画、その他の関連データの送信は、現在最も難しい問題の一つである。送信中のパケット・ロス或いはデータ破損に起因する問題の影響を軽減するために、いわゆるエラー隠蔽を行って、符号化係数で表す音声、動画、その他のデータの品質劣化を緩和することがよく行われる。
【０００９】
エラー隠蔽スキームは通常、行方不明のパケット、又はもっと一般的に言うと、誤ったパケットを、オリジナルに類似した量子化された符号化係数により置換を行うことに依存している。音声、特に発話のような情報は短時間で自己に類似したものを大量に提示するものであるため、これは可能である。従って、これらの技術は、損失率が比較的少なく(１０％)て小さなパケット(４−４０ｍｓ)について、最適に機能する。
【００１０】
低信頼チャネル上の情報通信の分野で知られた技術として、複合記述符号化（multiple description coding）がある。コーダは、同一音声信号について数種類の異なる記述を生成し、デコーダは、符号化された記述のサブセットがいかなるものであっても、元の音声信号を有効な状態で再構築できる。この技術は、各記述についてエラー又は損失が単独で発生することを想定している。つまり、各記述を別のチャネルで伝送するか、或いは同じチャネルを共有するけれども互に時間をずらすことを意味する。この場合、ある瞬間にデコーダが有効データを受信する確率は高い。従って、ある記述の損失があっても、同一信号の他の記述が利用できるならば埋め合わせできる。この方法だと送信機と受信機間の全体的遅延が拡大するのは明らかである。さらに、冗長の増加を許容するためには、データ速度を加速するか、品質を一部犠牲にするか、どちらかが必要になる。
【００１１】
ブロック又はフレーム指向の変換コーデックの場合、信号欠落が生じる間隔の推定は、時間領域で、すなわちデコーダの出力に対して行うか、又は周波数領域で、すなわちデコーダの内部で行うことができる。
【００１２】
時間領域では、先行技術としてエラー隠蔽技術がいくつか知られている。ミューティングを利用する方法としての初歩技術では、データが誤っている間、出力信号を弱めることによって、その損失を修復する。誤ったデータはゼロ信号と置換する。この方法は非常に単純である一方で、信号エネルギーの急落と共に不連続性が感知されるという非常に不愉快な結果をもたらす。
【００１３】
反復法は、ミューティング法に良く似ているが、誤ったデータが生じたときデータをゼロ信号で置換する代わりに、最後に受信したデータの一部を反復する。この方法は、メモリ消費の増加と引き換えだが、ミューティングより性能が高い。ただ、この方法の効果は限定的であり、困った副作用が生じる。例えば、最後に受信したフレームが太鼓の音だった場合、それを反復することになるため、太鼓の音を一回だけ予想しているところに２回太鼓が鳴ることになる。技術の副作用が他にも起きる場合がある。例えば、反復の周波数が短いと、コム・フィルタリング効果（comb filtering effect）によってうなるような雑音が入ることがある。
【００１４】
もう少し高度な技術として、例えば波形の置換、ピッチに基づく波形複製、或いは時間的尺度の修正によって音声信号を挿入することを目指しているものがある。これらの技術は上記の基本技術よりもはるかに効果がある。ただし、相当複雑である。しかも、挿入に必要な遅延量は、多くの場合、受け入れられない。
【００１５】
音声復元の文献でよく知られた技術、例えば非特許文献１、非特許文献２、非特許文献３は、有益な見識を提供しているし、実際、同様の問題を扱っている。
【００１６】
周波数領域のエラー隠蔽は、非特許文献４、非特許文献５で検討されている。ＤＣＴ (離散コサイン変換)の場合、単純な隠蔽技術は、大きなＤＣＴ係数を短縮することだと分かる。
【００１７】
特許文献１では、データ置換というアプローチを、スペクトルエネルギーのヒアリング調整の選択と共に採用している。具体的には、誤ったデータが発生する前に、損なわれていない音声データ中にパターンを見つける。このパターンが見つかると、このパターンに基づいて置換データを決定する。
【００１８】
特許文献２では、周波数領域エラー隠蔽技術について説明している。説明された技術は非常に一般的なものであり、変換コーダに当てはまる。欠落した係数又は誤り係数を修復するには、予測を用いる。誤ったビン(bin)/周波数チャネル係数の予測は、同じビン/チャネルの過去の係数に基づいて行う。従って、いわゆる水平位相コヒーレンスを保つ目的でビン/周波数チャネルの位相が時間と共にどう展開するかを考慮することがある。この技術が非常に満足の行く結果をもたらす場合もある。
【００１９】
しかし、特許文献２で提案したエラー隠蔽技術は、いわゆる垂直位相コヒーレンスが失われる結果になるのが一般的で、そのためフレーム不連続及び技術の副作用に至る可能性がある。
【００２０】
特許文献３では、Wiese他は、いくつかのマスキング法間の交換に基づくエラー隠蔽技術について説明している。この方法は、少なくともサブバンドをミューティングし、そのサブバンドを反復するか又は推定することを含んでいる。
【非特許文献１】S. J. Godsill, P. J. W. Rayner, "Digital Audio Restoration（デジタル音声の復元", Springer, 1998.
【非特許文献２】J. J. K. O Ruanaidh, W. J. Fitzgerald, "Numerical Bayesian MethodsApplied to Signal Processing（信号処理に適用される数値に関するベイズの方法）", Springer 1998.
【非特許文献３】R. Veldhuis "Restauration of lost samples in digital signals （デジタル信号における欠落サンプルの復元）", Prentice Hall, 1990.
【非特許文献４】J. Herre, E. Eberlein, "Error Concealment in the spectral domain（スペクトル領域におけるエラー隠蔽）", 93rd AES Convention, 1992 Oct, 1-4, preprint 3364.
【非特許文献５】J. Herre, E. Eberlein, "Evaluation of concealment techniques for compressed digital audio（圧縮デジタル音声のための隠蔽技術の評価）", 94th AES Convention, 1993 Oct, 1-4, preprint 3364.
【特許文献１】US-6 421802-B1
【特許文献２】EP-0 574288-B1
【特許文献３】US-6 351728-B1
【非特許文献６】A. M. Kondoz, "Digital Speech: Coding For Low Bit Rate Communication（デジタル音声：低ビットレート通信のための符号化技術）", Wiley (1994), pp. 123-128.
【非特許文献７】J.Laroche, M. Dolson, "Improved Phase Vocoder Time-Scale Modification of Audio（改良位相ボコーダによる音声の時間尺度での修正）", IEEE transactions on speech and audio processing（音声処理のトランザクション）, 323-332, Vol. 7, No 3, May 1999.
【発明の開示】
【発明が解決しようとする課題】
【００２１】
本発明は、先行技術のこのような、そしてその他の問題点を克服するものである。
【００２２】
本発明は、改良したエラー隠蔽技術を提供することを全体的な目的としている。
【００２３】
また本発明は、元の情報信号の冗長性を最適に活用する、周波数領域のエラー隠蔽技術を提供することを目的としている。
【００２４】
さらに本発明は、サブバンド・コーデック及び変換コーデックの両方に適用できる、汎用的で効率の良い周波数領域エラー隠蔽技術を提供することを目的としている。
【００２５】
また本発明は、改良した周波数領域エラー隠蔽装置、並びに、当該エラー隠蔽装置からなるデコーダ及び受信機を提供することを目的としている。
【課題を解決するための手段】
【００２６】
これら及び他の目的は、添付した特許請求の範囲において定義される本発明によって達成される。
【００２７】
本発明は、符号化係数によってフレーム毎に表わされた情報についての、周波数領域エラー隠蔽技術に関するものである。基本的な考え方は、時間と周波数の両方における符号化係数の相関を利用することによって、誤り符号化係数を隠蔽することである。この技術は、音声、動画、画像データなど、符号化係数へと圧縮され、不利なチャネル条件の下で送信される情報であれば、いかなる情報にも適用可能である。本発明が提案するエラー隠蔽技術は、元の情報信号の周波数の冗長性だけでなく時間の冗長性も利用するという明らかな優位性を持っている。例えば、これにより、フレーム内の冗長性だけでなく、フレーム間の冗長性も利用する可能性が生まれる。
【００２８】
時間と周波数相関を利用する可能性は多数考えられる。例えば、誤り符号化係数と1個以上の前後フレームからの係数とが一緒に常駐しているような同一フレームからの符号化係数を使用すること、複数の前後フレームの各々からの異なる係数を複数使用すること、或いは、符号化係数の対角パターンを利用することすら可能である。ただし、1個以上の後続フレームからの符号化係数の使用は、一般に遅延をもたらすため、アプリケーションによっては受け入れが可能であったり不可能であったりすることは理解する必要がある。
【００２９】
誤り符号化係数と同じフレームからの符号化係数の使用は、フレーム内係数相関と呼ばれることがあり、これはより一般的な周波数相関の特殊なケースである。同様に、前後にある1個以上のフレームからの係数の使用は、フレーム間相関、又は単に時間相関と呼ばれる。
【００３０】
本発明によるエラー隠蔽は、できれば、誤り係数と同じフレーム内の少なくとも1個の他の符号化係数及び1個以上の他のフレームの少なくとも1個の符号化係数に基づいて新規符号化係数を1個推定し、誤り（通常は欠落）符号化係数を新規符号化係数と置換することで実行することが望ましい。
【００３１】
サブバンド・コーデック及び変換コーデックでは普通だが、情報を、周波数帯又は変換周波数成分のいずれかの複数の周波数ビンの符号化係数で表してもよい。特に有益で実際的な実装においては、あるフレーム内のある周波数ビンについて誤り符号化係数が検出されたとき、同じフレーム内の少なくとも1個の他の周波数ビンの少なくとも1個の符号化係数に少なくとも部分的に基づいて、この周波数ビンの新規符号化係数を推定することがある。かつ、できれば1個以上の他のフレーム内の同じ周波数ビンの少なくとも1個の符号化係数にも基づく方が望ましい。また、1個以上の他のフレーム内の少なくとも1個の周波数ビンの少なくとも1個の符号化係数も考慮する方が有利なことがある。
【００３２】
余分な遅延をもたらさない特に有益な実装として、誤り又は欠落ビンの前のデータからだけでなく他のビンの現在又は前のデータからも誤り係数を推定するものがある。
【００３３】
これは、時間及び周波数冗長性を利用することを意味する。これは、周波数が時間と共に変化するハーモニックスの集合からなる音声信号の場合に特に良く当てはまる。この非常にありふれた音声の場合、スペクトルのピークの位置は時間と共に変化する。例えば、フレームm-1に位置するピークは、フレームmの他の位置に位置することもある。従って、この種の二重の冗長性を利用した推定器又は予測器が大いに望ましい。
【００３４】
特に本発明では、所定の近似基準を使って、フレーム間の近似グループ遅延照合に基づいてスペクトル位相成分を予測することによって、新規符号化係数を推定するための特別な技術も提案している。これはできれば、まず少なくとも1個の他のフレームからグループ遅延を推定し、その後、誤りスペクトル成分のグループ遅延と推定グループ遅延とを少なくとも近似的に照合することによってスペクトル位相を計算するという形で実行することが望ましい。
【００３５】
スペクトル振幅成分は、検討するフレームのスペクトル係数のエネルギーを少なくとも1個の他のフレームの対応するスペクトル係数のエネルギーとマッチングすることによって予測できる。
【００３６】
変換コーディングの場合、コーディング係数が複素スペクトル変換係数であるとき、ある周波数ビンの新規複素スペクトル符号化係数はできれば、スペクトル振幅と位相を別個に推定し、その後、推定したスペクトル振幅と位相を新規複素スペクトル符号化係数へと結合することが望ましい。そうすれば、スペクトル・エネルギー・マッチングとグループ遅延マッチングを、複素符号化係数のスペクトル振幅成分とスペクトル位相成分を個別に予測するのに使うことができる。
【００３７】
誤り符号化係数とは、部分的に誤りがある係数かもしれないし完全に欠落した符号化係数かもしれないことを理解する必要がある。より高度なエラー検出プロトコルなら、符号化係数の最下位ビットのエラーと最上位ビットのエラーを区別し、そのようにして少なくとも情報の一部を再利用できる可能性がある。
【００３８】
本発明は、下記の優位点を提供するものである。
【００３９】
・エラー隠蔽の改良
・元の情報信号の冗長性の最適利用
・いかなるサブバンド・コーデック、変換コーデック・アプリケーションにも全般的に適用可能。
【００４０】
本発明が提供する他の優位点は、下記の発明の実施形態の説明に基づき、十分に理解されるであろう。
【００４１】
本発明及びそのさらなる目的と優位点は、添付した図面と共に下記の説明を参照することによって最も良く理解できるであろう。
【発明を実施するための最良の形態】
【００４２】
図面全体を通して、対応する又は同様の要素には同じ参照文字を用いている。
【００４３】
本発明をより良く理解するために、通信チャネル上の符号化された情報の伝送に関わる共通ソース符号化アプリケーションの概要からはじめるのが有益であろう。上述のように、コーデックは、情報ストリームを処理できる複合装置、回路構成、又はコンピュータプログラムであり、一般に符号化部分と復号化部分を含んでいる。
【００４４】
コーデックは、帯域幅が限定的な通信チャネル上を効率よく伝送するため、音声や動画データのような情報を圧縮、解凍するのによく利用される。
【００４５】
最新の音声及び動画コーデックでは、入力信号の各フレームは周波数領域で分析される。この分析の結果が符号化され、そして伝送される。受信側では、合成手順により時間領域で信号が復元される。
【００４６】
周波数領域符号化の基本概念は、フィルタバンク又はブロック変換分析を用いて、スペクトルを通常周波数ビンと呼ばれる周波数帯又は成分に分割することである。符号化と復号化の後は、フィルタバンク合成又は逆変換のいずれかよって入力信号の複製を再合成するために、これらの周波数ビンを利用することができる。
【００４７】
周波数領域コーデックとして分類される二種類のよく知られたコーデックは、サブバンド・コーデックと変換コーデックである。両タイプのコーデックの基本原理は、スペクトルを周波数ビンに分割することである。サブバンド符号化では、フィルタバンクを使って入力信号を多数の比較的広い帯域の周波数帯に分割する。他方、変換符号化では、ブロック変換法を使ってかなり細かい周波数分解能を提供する。
【００４８】
これらのコーデックの共通の特徴として、サンプルのブロック、すなわちフレームに作用するということがある。各フレームの変換分析又はサブバンド分析の結果生じる符号化係数を、量子化し、符号化し、伝送する。受信側では、符号化され量子化された符号化係数を復号化して元の情報を復元する。
【００４９】
図１で、コーダ10は、符号化処理を実行し、情報ストリームを符号化された形式に変換する。通常は量子化され符号化された符号化係数に変換する。符号化された情報は次にチャネル処理ブロック20に転送され、符号化情報を適切な形式にして通信チャネル上で伝送する。受信側では、着信するビット・ストリームを通常、チャネルブロック30で処理する。チャネルブロック30は逆多重化とエラー検出を行うことがある。例えば、パケット・ベースの通信では、CRC（巡回冗長検査）又は同等のエラー検出を行ってパケットのビット・エラーをチェックすることがある。検査結果が不正確なパケットは単純に廃棄されることが多い。伝送中にパケットに取り込まれたエラーの影響を緩和する目的で、ブロック40の復号化処理内にエラー隠蔽ブロックを採用し、新規置換係数を推定することによって誤り符号化係数又は欠落符号化係数を隠蔽することがよく行われる。復号化ブロック40はその後、誤りのない係数と推定した置換係数について合成処理を実行し、元の情報を復元する。
【００５０】
本発明は、周波数領域エラー隠蔽についての特別に設計された技術に関するものであり、その技術は、時間と周波数の両方の符号化係数の相関を利用することによって誤り符号化係数を隠蔽するという考えに基づいている。この技術は、音声、動画、画像データなど、符号化係数へと圧縮され、不利なチャネル条件の下で送信される情報であれば、いかなる情報にも適用可能である。本発明が提案するエラー隠蔽技術は、時間及び周波数の両面で情報信号の冗長性を利用するものであり、フレーム内だけでなく、フレーム間の冗長性も利用する可能性を提供するものである。
【００５１】
符号化係数の時間及び周波数の相関や依存性を利用する可能性は多数考えられる。誤り係数又は欠落係数の変わりに新規符号化係数を推定するためには、位相及び振幅の少なくともいずれかが時間と共に（フレーム間で）どのように展開するか、また、位相及び振幅の少なくともいずれかが周波数に関してどのように展開するかを分析した上で決定することが望ましい。
【００５２】
これはそれぞれ、水平相関／依存性及び垂直相関／依存性と呼ばれることがある。
【００５３】
例えば、所与の誤り係数について、誤り符号化係数と同一のフレームからの符号化係数を、1個以上の前後フレームからの係数と共に利用して、新規符号化係数を推定することができる。他の可能性として、複数の前後フレームからの係数を複数使うこともできる。時間及び周波数における係数依存の対角パターンを利用することもできる。ただし、1個以上の後続フレームからの符号化係数の使用は、一般に遅延をもたらすため、アプリケーションによっては受け入れが可能であったり不可能であったりすることは理解する必要がある。一般に、非誤り符号化係数だけでなく以前に推定した置換係数を使うことも、もちろん可能である。
【００５４】
図２Ａから図２Ｈまでは、符号化係数の時間及び周波数相関を利用した各種の例の概略図である。設計の選択、希望する計算の複雑度などによって、他にも多くのバリエーションが可能であることを理解する必要がある。
【００５５】
単純化した概略図である図２Ａでは、所与のブロック又はフレームmの中の所与の周波数ビン：ｋについて、（×で示す）誤り符号化係数が検出されたことを想定している。図２Ａは、考察中の誤り係数が、同じ周波数ビンの前の係数及び考察中の誤り係数と同一のフレーム内の二つの隣接ビンの係数に基づいて置換される基本的な例を示している。これは、時間と周波数の両方の係数依存を利用した基本的な例である。誤り符号化係数と同一のフレームからの符号化係数の使用は、フレーム内係数相関と呼ばれることがあり、これはより一般的な周波数相関の特殊なケースである。同様に、1個以上の前後フレームからの係数の使用は、フレーム間相関、又は時間相関と呼ばれる。フレーム内及びフレーム間係数相関に基づいて誤り符号化係数を隠蔽するという原理は、特に有用である。
【００５６】
図２Ｂは、同一ビン内の連続的な誤り係数の一例を示す。ここでは、フレームmの誤り係数を、例えば図２Ａに示すように、新規推定置換係数で置換したことを想定している。次のフレームm+1では、誤り係数は、前フレームmの同一周波数ビンの置換係数（丸で囲んだ点線の×で示す）に加えて、例えば考察中の誤り係数と同一のフレーム内の2個の隣接ビンの係数に基づいて置換する。推定置換係数の影響を、非誤り係数との対比で調整できた方がいいこともある。これは、係数が誤りなく伝送された係数であるのかそれとも推定置換係数であるのかによって変わり、また、考察中の誤り係数からの時間「距離」（すなわち、フレームの数）及び周波数（すなわちビンの数）の少なくともいずれかによって変わる、重み係数を提供することによって得られることがある。
【００５７】
図２Ｃは、現フレーム中のいくつかの符号化係数が誤りである例を示す。この場合、現フレーム中の誤りでない符号化係数を、同一周波数ビンの前係数及び前フレームの中の他の周波数ビンの係数と共に使う。このプロセスを通常、現フレームの誤り係数のそれぞれについて、それらがすべて新規係数で置換されるまで繰り返す。
【００５８】
図２Ｄは、1個以上の前フレームの数個の符号化係数が現フレーム内の係数と共に考察される例を示す。
【００５９】
図２Ｅは、別の例として、数個の前フレームからの同一周波数ビンの係数を現フレーム内の数個のビンの係数と共に使う例を示す。
【００６０】
図２Ｆは、対角相関パターンを使う一例を示す。
【００６１】
図２Ｇは、後フレーム内の同一ビンの係数を、考察中の誤り係数と同一のフレーム内の２個の隣接ビンの係数と共に使用する、基本的な例を示す。この場合、エラー隠蔽アルゴリズムは、所与のフレーム内で誤り係数が検出された際、後フレームの係数にアクセスするのに次のフレームを待たなければならないこととなる。よって、１フレーム分の遅延がもたらされることとなるのは、明らかである。また、後フレームの中の同一ビンの係数は非誤り係数、或いは、修復済係数(non-errorneous/recovered coefficient)であることを想定している。
【００６２】
図２Ｈは、２フレームの遅延をもたらす別の例であるが、ここでは、考察中の誤り係数と同一のフレーム内の数個の係数を、直接続く２個のフレーム内のできるだけ多くの非誤り係数、或いは、修復済係数と共に用いる。
【００６３】
ここで本発明について、主に変換コーデックとサブバンド・コーデックに言及しながら詳細に説明する。ビット割当、ステップ・サイズ、デシメーションに関する情報を含めたサブバンド・コーデック及び変換コーデックの情報については、非特許文献６を参照されたい。
【００６４】
図３に示すとおり、各分析フレームmは、時間領域入力サンプルx(n)の重複の可能性が高いブロックで構成されている。図４は、単純な変換コーデックの一例を示す概略ブロック図である。入力信号の各ブロックx(m, n)に重み関数h(n)を掛け合わせ、それからFFT(高速フーリエ変換) ユニット 12を使って周波数領域で変換している。ここで、FFTに基づくエンコーダは一例にすぎず、他の種類の変換、例えばＭＤＣＴ(修正離散コサイン変換)を利用してもよい。得られた周波数領域複素係数y(m, k)はビン番号kという指数を持ち、量子化器１４によって量子化されて量子化複素係数yq(m, k)になる。量子化された係数は符号化され、ブロック１６によって多重化されて、多重化情報ストリームとなる。その結果得られたフレーム化されたビット・ストリームは、ブロック１８によってパケット化され、最後に受信側のデコーダに伝送される。
【００６５】
図５に示すとおり、受信側では、入力ビット・ストリームはブロック３２によって逆パケット化され、その結果、各フレームmについて不良フレーム指標bfi (m)だけでなくフレーム化されたビット・ストリームも生成される。不良フレーム指標は、CRC検査又は欠落パケットの検出の結果を示すことがある。フレーム化されたビット・ストリーム及び対応する不良フレーム指標は、ブロック４２に転送され、ブロック42は逆多重化と復号化を行って、量子化された複素変換係数を抽出する。エラーがまったく検出されない場合、量子化された係数は単純にIFFT(逆FFT)ユニット４６で逆変換され、時間領域信号が得られる。これに窓関数w(n)を乗じ、重複追加ユニット４８で重複を追加して、時間領域復号化信号xq(n)を復元する。
【００６６】
符号化されたデータがどのように多重化されパケット化されるかによって、１フレームに対するデータが部分的に又は完全に失われてしまうことがある。この結果、スペクトル係数の少なくとも一部に誤りが生ずることがある。不良フレーム指標bfi(m)の逆多重化によって、どの符号化係数が誤りなのかが判定され、不良係数指標bci(m, k)が生成される。本発明の好適な実施形態においては、エラー隠蔽ユニット(ECU)４４が、抽出した非誤りスペクトル係数y(m, k)に加えて、どのスペクトル係数に誤りがあって欠落しているのかについて指標bci(m, k)を受信する。不良係数指標bci(m, k)に基づいて、エラー隠蔽ユニット４４が、これらの誤り又は欠落と指摘されたスペクトル係数を新規スペクトル係数と置き換える。
【００６７】
図６は、本発明の好適な実施形態によるエラー隠蔽ユニット４４の概略ブロック図である。フレームmのすべての周波数ビン k の不良係数指標に基づいて、論理ユニット５２及び５４が誤り係数と非誤り係数を区別するよう作用する。できれば、不良係数指標bci(m, k)はブール関数であることが望ましい。チャネルエラーがないとき、指標は常にFALSEに設定される。これは、エラー隠蔽ユニット４４が単純にその入力を出力することを意味する。すなわち、
2007514977.tif 000003
である。他方、不良係数又は欠落係数が検出されると、指標はTRUEに設定される。すなわち、係数が推定器５６の出力により置換されることを意味する。時として、推定器がその内部メモリ状態を更新するため常に実行を続けなければならない場合があり、従って置換としてブリッジされるのはその出力だけである。それゆえ、推定器５６が推定するスペクトル係数で置換する必要があるのは、どのスペクトル係数かを選択するためにbci(m, k)が利用される。下記に、フレームmの誤りスペクトル係数のインデックスkの組をS= {k, such that bci(m, k) = TRUE（bci(m, k) = TRUEとなる場合のｋ）}と表す。再結合ユニット５８は、推定置換係数及びフレームmの非誤り係数を受信して出力の準備を整える。
【００６８】
一般性を失うことなく、サブバンド・コーデックの場合について、図７及び８に簡単に図示する。
【００６９】
図７は、基本的なサブバンド・コーダの一例の概略ブロック図である。サブバンド・コーダでは、フィルタ１２−１から１２−Ｎまでを使って入力信号をＮ個の周波数帯に分割し、その各々が通常、ゼロ周波数に低域変換されて、対応する符号化係数y(m, k)を生成する。得られた係数y(m, k)には、ビン番号ｋのインデックスをつけ、その後一組の量子化器１４−１から１４−Ｎまでによって個別に量子化されて、量子化された複素係数yq(m, k)が生成される。量子化された係数はその後ブロック１６において符号化、多重化され、受信側のデコーダに送信する前にブロック１８においてパケット化される。
【００７０】
図８に示すとおり、受信側では、着信ビットストリームがブロック３２によって逆パケット化され、それが各フレームmについて不良フレーム指標bfi(m)及びフレーム化されたビットストリームを生成する。フレーム化されたビットストリーム及び不良フレーム指標はブロック４２に転送され、ブロック４２は逆多重化及び復号化を行って、量子化された複素変換係数及び不良係数指標bci(m, k)を抽出する。エラーが検出されない場合、量子化された係数は４６−１から４６−Ｎまでのバンクフィルタによって単純にその元の周波数位置に変換され、元の信号の近似値xq(n)を求めるために合成される。不利なチャネル条件の下では、伝送中にエラーが発生すると、エラー隠蔽ユニット４４は、抽出された非誤り係数yq(m, k)に加えて、どのスペクトル係数が誤りであるかという指標bci(m, k)を受信する。エラー隠蔽ユニット４４は、この不良係数指標に基づいて、不良又は欠落と指摘された係数を上述の内容と同じように新規スペクトル係数で置換する。
【００７１】
次に複素符号化係数の場合について、一般性を失うことなく、時間と周波数相関を組み合わせた利用例をいくつか述べる。ただし、下記の、周波数だけでなく時間での係数相関も利用するという基本原理の一部は、一価の符号化係数にも適用可能だということを理解する必要がある。加えて、ここでは、遅延をほとんど必要としないリアルタイム・アプリケーションの実装に主眼を置いている。従って、下記の例においては、前フレームだけを新規符号化係数推定の検討対象とする。
【００７２】
＜振幅と位相の予測＞
本実施形態において、できれば振幅と位相を別々に予測し、後で結合することが望ましい。スペクトルの振幅と位相は下記の関係式によってスペクトル係数に関連付けられる。
2007514977.tif 000004
その後、予測手段が、振幅
2007514977.tif 000005
と位相
2007514977.tif 000006
を予測し、それらを結合して予測スペクトル係数を得る。
2007514977.tif 000007
【００７３】
＜振幅予測＞
従来の振幅の予測は、単に前のビンの振幅の繰り返しに基づいていることが多い。
2007514977.tif 000008
【００７４】
これには欠点がある。例えば、音声信号の幅が漸減する場合、予測に従うと高く評価しすぎる結果につながり、かなり大きめに聞こえてしまう。本発明が提案するもっと精巧なスキームでは、時間及び周波数の両面で冗長性を利用しているため、スペクトル振幅をもっとうまく予測できる。例えば、予測スペクトル振幅は以下のように書ける。
2007514977.tif 000009
【００７５】
ここでG(m)は現フレームの非誤り或いは修復済(non-errorneous/recovered)スペクトル係数エネルギーと前フレームの対応するスペクトル係数とを照合させて得られた適応ゲインであり、係数γは、減衰係数であって、0＜γ≦1、例えばγ = 0.9である。エネルギー照合の例は、以下のような適応ゲインの計算であっても良い。
2007514977.tif 000010
【００７６】
本発明の基本的な考えから逸脱することなく、他のタイプのスペクトルエネルギー照合方法を使ってもよい。
【００７７】
別の実施形態においては、スペクトル係数をサブバンドにグループ化して各サブバンド内でゲインを推定することによって、いくつかのスペクトル帯上でゲインG(m)を推定してもよい。サブバンドのグループ化は、均等目盛で行っても良いし、音響心理学を使ったバーク尺度でも良い。サブバンドlの適応ゲインは以下のように推定される。
2007514977.tif 000011
周波数サブバンドlのスペクトル係数の予測振幅は以下で与えられる。
2007514977.tif 000012
各スペクトル帯上の推定ゲインについては、周波数領域（lにおける平滑化）だけでなく時間領域（mにおける平滑化）における平滑化によって大きなメリットが得られる。例えば、時間領域及び周波数領域におけるローパス・フィルタ、或いは周波数領域における多項式フィット、及び、時間領域におけるローパス・フィルタを利用することができる。
【００７８】
サブバンドの実施形態は、スペクトル欠落係数が周波数軸に均一に分散している場合に特に有効である。何らかの事情で、以前に割り当てたサブバンドグルーピングがすべて欠落することもありうる。この場合、隣接するサブバンド・グルーピングを結合するか、或いは、隣接サブバンドで推定したゲインの平均値としてサブバンドに関するゲインを決めることも可能である。他の方法として、以前のゲインの再利用も考えられる。例えば、G(m,l)= G(m-1, l), 或いは、周波数領域フィルタ・バージョン、すなわち、
2007514977.tif 000013
である。その他の方法ももちろん基本的な考え方から逸脱することなく利用できる。
【００７９】
すべてのスペクトル係数が欠落する場合には、２個の前フレームを使うか、それとも前の適応ゲイン照合、すなわちG(m, l) = G(m-1, l) を使って、適応ゲイン照合を推定してもよい。
【００８０】
ゲインの予測に、もっと高度でもっと複雑な手段をを用いてもよい。例えば、線形適応ゲイン予測器を使っても良い。その場合、以下のように予測する。
2007514977.tif 000014
【００８１】
ここで、予測器係数Apl(m, k)は、例えば、最小２乗のような何らかの最小エラー検出で、適応的に調整される。
【００８２】
＜位相予測＞
位相の予測はもっと厳密である。予測したスペクトル係数の位相が本当のものとかけ離れている場合、重複部分での位相不整合のために、技術の副作用が明らかに人間の耳にも聞こえるからである。
【００８３】
LarocheとDolson は、その論文（非特許文献７）の中で、時間を延長する位相ボコーダと関連して、技術の副作用の主な理由の一つは位相コヒーレンスの欠如であると述べている。
【００８４】
好ましくは、本発明が提案する位相予測技術では、時間と周波数の両方において情報信号の冗長性を利用する。特に有利なモデルは、近似グループ遅延照合に基づいている。これは音声アプリケーションにおける観察に由来しており、同じ状態を保つ単一の音については、周波数に対する位相の微分、すなわちグループ遅延は、時間が経過してもおおよそ一定であるというものである。これは、一定の振幅の複合音についても、理論上正しいとされている。
2007514977.tif 000015
ここでLは重なりの量である。
【００８５】
両信号部分の窓DFT（離散型フーリエ変換）は、以下で与えられる。
2007514977.tif 000016
しかも、両信号部分のグループ遅延が同じだということが容易に分かる。
2007514977.tif 000017
これは、グループ遅延が一定であり、mに依存しないことを示している。この結果は、窓消去帯域がどの程度良いかにもよるが、複合音についてもほぼ適用できる。
【００８６】
従って、前フレームから位相の微分を推定すれば、欠落したスペクトル成分位相が推定法によって推定できる。
【００８７】
グループ遅延照合に基づいて位相予測を行う単純な方法は、まず前フレームにおける位相の微分を推定することである。これは単純な差分をとることで実行できる。
2007514977.tif 000018
【００８８】
グループ遅延を推定するのに、もちろん他の方法を使ってもよい。その場合の考え方は、欠落しているスペクトル成分のそれぞれについて同じグループ遅延をおおよそ復元することである。これは、エラー関数を最小化するように、予測した位相を計算することによって達成できる。例えば、
2007514977.tif 000019
ここで、未知のパラメータはφ(m, k)であり、k∈S、すなわち欠落したスペクトル係数の位相とW(k)は正の重み係数である。
【００８９】
重み係数が、前フレームのスペクトルの大きさ、又は現フレームの予測による大きさ、又は平滑化されたスペクトル包絡線に比例するよう設定されていることは有利である。これによって、スペクトルのピークの重要性を強調することができ、スペクトルの谷間のノイズがもたらした位相の微分のまずい推定をフィルタで除去することができる。
【００９０】
言い換えると、できれば位相の予測は、少なくとも1個の他の(前)フレームからグループ遅延を推定すること、そして、誤り係数に関連するグループ遅延が何らかの近似基準に従って推定グループ遅延にできる限り近づくような形で誤り係数のスペクトル位相を決めることをベースにすることが望ましい。
【００９１】
W(k) = 1の場合の解決策の一例を示す。図9Aと9Bに示すとおり、欠落係数はビン KとビンK+Nの間にある。
【００９２】
エラー基準を最小化すると、推定予測位相について下記のような循環解が得られる。
2007514977.tif 000020
ここで、
2007514977.tif 000021
である。
【００９３】
この解において、循環を始めるのに
2007514977.tif 000022
を用いるのは非常に明白である。
【００９４】
すべてのスペクトル係数が欠落した場合、第二の位相予測器を用いて上記の循環が開始できるようにする。
【００９５】
グループ遅延照合及び保全の基本概念から逸脱することなく、より高度で複雑な手段を使って位相を予測しても良い。例えば、グループ遅延保全に時間領域冗長性を追加利用することなど。
【００９６】
図１０は、本発明の好適な実施形態による複素係数の推定器の概略ブロック図である。推定器５６は基本的に、選択可能な複数個のフレームに属する符号化係数を保存するための保存ユニット６０と、新規置換係数を推定するのに必要な計算を実行するためのユニット７０で構成される。保存ユニットは、現フレームの抽出された係数を受信して、これらを１個以上の前フレームに属する非誤り、或いは、修復済の符号化係数と共に保存する。計算ユニット７０は、どの係数を推定すべきかに関する情報Ｓを受信して、保存ユニット６０がアクセスしてくる保存係数に基づいて対応する置換係数を計算する。複素変換係数に適合させた本発明の好適な実施形態では、計算ユニット７０は、あらかじめ記述したエネルギー照合原理に基づいて機能する振幅推定ユニット７２、あらかじめ記述したグループ遅延照合原理に基づいて機能する位相推定ユニット７４、そして、推定した位相成分と振幅成分を結合して複素係数を生成する結合ユニット７６からなる。
【００９７】
しかしながら、本発明が提案する高度な位相及び振幅推定技術は独立して使用できることを理解する必要がある。例えば、位相については、もっと単純な振幅の推定と共に、上述のようにグループ遅延照合に基づいて推定できる。他方、振幅については、上記のとおり、もっと単純な位相の推定と共に、スペクトルエネルギー照合に基づいて推定できる。
【００９８】
＜直接係数予測＞
本実施形態では、複素スペクトル係数は直接予測する。予測器の出力
2007514977.tif 000023
はできれば、他のビンの前スペクトル係数及び現スペクトル係数のうち少なくともいずれかだけでなく、少なくとも同じビンの前スペクトル係数に依存することが望ましい。
【００９９】
一般に、これは以下のような時間依存適応型予測器関数 で表すことができる。
2007514977.tif 000024
ここで、kl、k2、...、 kp は、非誤りスペクトル係数の指標を表す。予測器関数は例えば、線形予測器の形をとることができる
上記の実施形態は単に例としてあげたものであり、本発明はそれに限定されないことを理解する必要がある。本明細書で開示し、請求した基本原理を保有するこれ以外の修正、変更、改良等は、本発明の範囲内にある。
【図面の簡単な説明】
【０１００】
【図１】従来のソース符号化アプリケーションの概略図である。
【図２Ａ】、
【図２Ｂ】、
【図２Ｃ】、
【図２Ｄ】、
【図２Ｅ】、
【図２Ｆ】、
【図２Ｇ】、
【図２Ｈ】符号化係数の時間及び周波数相関の両方を利用する各種の例を図示した概略図である。
【図３】時間領域入力サンプルの、重複の可能性があるフレーム部分の概略図である。
【図４】基本的な変換ベース・コーダの一例の概略ブロック図である。
【図５】エラー隠蔽付の基本的な変換ベース・デコーダの一例の概略ブロック図である。
【図６】本発明の好適な実施形態によるエラー隠蔽ユニットの概略ブロック図である。
【図７】基本的なサブバンド・コーダの一例の概略ブロック図である。
【図８】エラー隠蔽付の基本的なサブバンド・デコーダの一例の概略ブロック図である。
【図９Ａ】、
【図９Ｂ】グループ遅延マッチングに基づく位相推定を示す概略図である。
【図１０】本発明の好適な実施形態による複素係数の推定手段の概略ブロック図である。
【図１】
2007514977.tif 000025
【図２Ａ】
2007514977.tif 000026
【図２Ｂ】
2007514977.tif 000027
【図２Ｃ】
2007514977.tif 000028
【図２Ｄ】
2007514977.tif 000029
【図２Ｅ】
2007514977.tif 000030
【図２Ｆ】
2007514977.tif 000031
【図２Ｇ】
2007514977.tif 000032
【図２Ｈ】
2007514977.tif 000033
【図３】
2007514977.tif 000034
【図４】
2007514977.tif 000035
【図５】
2007514977.tif 000036
【図６】
2007514977.tif 000037
【図７】
2007514977.tif 000038
【図８】
2007514977.tif 000039
【図９Ａ】
2007514977.tif 000040
【図９Ｂ】
2007514977.tif 000041
【図１０】
2007514977.tif 000042
【手続補正書】
【提出日】平成18年3月31日(2006.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレーム毎に符号化係数で表される情報についての周波数領域におけるエラー隠蔽方法であって、
フレーム内の誤り符号化係数を隠蔽する工程を備え、該工程は、
時間及び周波数の両方における符号化係数の相関に基づいて新規の符号化係数を計算する工程と、
前記誤り符号化係数を前記新規の符号化係数により置換する工程と
を備えることを特徴とする方法。
【請求項２】
前記誤り符号化係数が、部分的に誤りのある符号化係数と、完全に欠落した符号化係数との少なくとも一方であることを特徴とする請求項１に記載の周波数領域におけるエラー隠蔽方法。
【請求項３】
前記符号化係数が量子化された符号化係数であることを特徴とする請求項１又は２に記載の周波数領域におけるエラー隠蔽方法。
【請求項４】
フレーム内の誤り符号化係数を隠蔽する前記工程は、
前記誤り符号化係数と同一フレーム内の少なくとも１つの他の符号化係数と、少なくとも１つの他のフレームの少なくとも１つの符号化係数とに基づいて新規の符号化係数を計算する工程と、
前記誤り符号化係数を前記新規の符号化係数により置換する工程と
を備えることを特徴とする請求項１乃至３のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項５】
前記情報は複数の周波数ビンの符号化係数によって表され、
前記誤り符号化係数はフレーム内の所定の周波数ビンについて検出され、
前記周波数ビンの新規の符号化係数は、前記フレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数に、少なくとも部分的に基づいて計算されることを特徴とする請求項４に記載の周波数領域におけるエラー隠蔽方法。
【請求項６】
前記周波数ビンの前記新規の符号化係数は、少なくとも１つの他のフレーム内の同一周波数ビンの少なくとも１つの符号化係数にも基づいて計算されることを特徴とする請求項５に記載の周波数領域におけるエラー隠蔽方法。
【請求項７】
前記周波数ビンの前記新規の符号化係数は、少なくとも１つの他のフレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数にも基づいて計算されることを特徴とする請求項６に記載の周波数領域におけるエラー隠蔽方法。
【請求項８】
前記新規の符号化係数を計算する前記工程は、所定の基準を用いたフレーム間のグループ遅延照合に基づいて、スペクトル位相成分を予測する工程を含むことを特徴とする請求項１乃至７のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項９】
前記スペクトル位相成分を予測する前記工程は、
少なくとも１つの他のフレームからグループ遅延を計算する工程と、
前記新規のスペクトル成分に関連するグループ遅延を、計算された前記グループ遅延と照合することによりスペクトル位相を計算する工程と
を含むことを特徴とする請求項８に記載の周波数領域におけるエラー隠蔽方法。
【請求項１０】
前記新規の符号化係数を計算する前記工程は、フレーム間のスペクトルエネルギー照合に基づいてスペクトル振幅成分を予測する工程を含むことを特徴とする請求項１乃至９のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項１１】
前記スペクトル振幅成分を予測する前記工程は、
前記誤り符号化係数と同一フレームのスペクトル係数のエネルギーを、少なくとも１つの他のフレームの対応するスペクトル係数のエネルギーと照合することによって重み係数を計算する工程と、
前記少なくとも１つの他のフレームの同一周波数ビンのスペクトル振幅と、前記重み係数とに基づいてスペクトル振幅を計算する工程と
を含むことを特徴とする請求項１０に記載の周波数領域におけるエラー隠蔽方法。
【請求項１２】
前記少なくとも１つの他のフレームは、少なくとも１つの前フレームを含むことを特徴とする請求項４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１３】
前記少なくとも１つの他のフレームは、少なくとも１つの後フレームを含むことを特徴とする請求項４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１４】
前記符号化係数が、複素スペクトル変換係数であることを特徴とする請求項１に記載の周波数領域におけるエラー隠蔽方法。
【請求項１５】
特定の周波数ビンの新規の複素スペクトル符号化係数は、スペクトルの振幅及び位相を個々に予測した後、予測されたスペクトルの振幅及び位相を結合して前記新規の複素スペクトル符号化係数とすることによって計算されることを特徴とする請求項１４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１６】
前記スペクトル振幅は、少なくとも１つの他のフレームの同一周波数ビンの前記スペクトル振幅と重み係数とに基づいて予測され、
前記重み係数は、前記フレームのスペクトル係数の前記エネルギーを、前記少なくとも１つの他のフレームの対応するスペクトル係数の前記エネルギーと照合することによって計算されることを特徴とする請求項１５に記載の周波数領域におけるエラー隠蔽方法。
【請求項１７】
前記スペクトル位相は、
少なくとも１つの他のフレームの少なくとも２つのスペクトル位相成分からグループ遅延を計算し、
新規のスペクトル成分に関連するグループ遅延を、計算された前記グループ遅延と照合することで前記スペクトル位相を計算することによって、
予測されることを特徴とする請求項１５又は１６に記載の周波数領域におけるエラー隠蔽方法。
【請求項１８】
新規の複素スペクトル符号化係数は直接に予測されることを特徴とする請求項１４に記載の周波数領域におけるエラー隠蔽方法。
【請求項１９】
前記情報が音声、動画、画像データのうち、少なくとも一つを含むことを特徴とする請求項１乃至１８のいずれかに記載の周波数領域におけるエラー隠蔽方法。
【請求項２０】
フレーム毎に符号化係数で表される情報について周波数領域におけるエラー隠蔽を行う装置であって、
フレーム内の誤り符号化係数を隠蔽する隠蔽手段（４４）を備え、該隠蔽手段は、
時間及び周波数の両方における符号化係数の相関に基づいて新規の符号化係数を計算する計算手段（５６）と、
前記誤り符号化係数を前記新規の符号化係数により置換する置換手段（５６、５８）とを備えることを特徴とする装置。
【請求項２１】
前記誤り符号化係数が、部分的に誤りのある符号化係数と、完全に欠落した符号化係数との少なくとも一方であることを特徴とする請求項２０に記載の周波数領域におけるエラー隠蔽装置。
【請求項２２】
フレーム内の誤り符号化係数を隠蔽する前記隠蔽手段は、
前記誤り符号化係数と同一フレーム内の少なくとも１つの他の符号化係数と、少なくとも１つの他のフレームの少なくとも１つの符号化係数とに基づいて新規の符号化係数を計算する計算手段（５６）と、
前記誤り符号化係数を前記新規の符号化係数により置換する置換手段（５６、５８）とを備えることを特徴とする請求項２０又は２１に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２３】
前記情報は複数の周波数ビンの符号化係数によって表され、
前記誤り符号化係数は前記フレーム内の所定の周波数ビンについて検出され、
前記計算手段（５６）は、前記周波数ビンの新規の符号化係数を、前記フレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数に、少なくとも部分的に基づいて計算することを特徴とする請求項２２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２４】
前記計算手段（５６）は、前記周波数ビンの前記新規の符号化係数を、少なくとも１つの他のフレーム内の同一周波数ビンの少なくとも１つの符号化係数にも基づいて計算することを特徴とする請求項２３に記載の周波数領域におけるエラー隠蔽方法。
【請求項２５】
前記計算手段（５６）は、前記周波数ビンの前記新規の符号化係数を、少なくとも１つの他のフレーム内の少なくとも１つの他の周波数ビンの少なくとも１つの符号化係数にも基づいて計算することを特徴とする請求項２４に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２６】
前記新規の符号化係数を計算する前記計算手段（５６）は、所定の基準を用いたフレーム間のグループ遅延照合に基づいて、スペクトル位相成分を予測する予測手段（７４）を備えることを特徴とする請求項２０乃至２５のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２７】
前記スペクトル位相成分を予測する前記予測手段（７４）は、
少なくとも１つの他のフレームからグループ遅延を計算する手段と、
前記新規のスペクトル成分に関連するグループ遅延を、計算された前記グループ遅延と照合することによりスペクトル位相を計算する手段と
を含むことを特徴とする請求項２６に記載の周波数領域におけるエラー隠蔽手段。
【請求項２８】
前記新規の符号化係数を計算する前記計算手段（５６）は、フレーム間のスペクトルエネルギー照合に基づいてスペクトル振幅成分を予測する手段を含むことを特徴とする請求項２０乃至２７のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項２９】
前記スペクトル振幅成分を予測する前記予測手段は、
前記誤り符号化係数と同一フレームのスペクトル係数のエネルギーを、少なくとも１つの他のフレームの対応するスペクトル係数のエネルギーと照合することによって重み係数を計算する手段（７２）と、
前記少なくとも１つの他のフレームの同一周波数ビンのスペクトル振幅と、前記重み係数とに基づいてスペクトル振幅を計算する手段（７２）と
を含むことを特徴とする請求項２８に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３０】
前記少なくとも１つの他のフレームは、少なくとも１つの前フレームを含むことを特徴とする請求項２２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３１】
前記少なくとも１つの他のフレームは、少なくとも１つの後フレームを含むことを特徴とする請求項２２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３２】
前記符号化係数が、複素スペクトル変換係数であることを特徴とする請求項２０に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３３】
前記計算手段（５６）は、特定の周波数ビンの新規の複素スペクトル符号化係数を、スペクトルの振幅及び位相を個々に予測した後、予測されたスペクトルの振幅及び位相を結合して前記新規の複素スペクトル符号化係数とすることによって計算することを特徴とする請求項３２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３４】
前記計算手段（５６）は、前記スペクトル振幅を、少なくとも１つの他のフレームの同一周波数ビンの前記スペクトル振幅と重み係数とに基づいて予測し、
前記計算手段（５６）は、前記重み係数を、前記フレームのスペクトル係数の前記エネルギーを、前記少なくとも１つの他のフレームの対応するスペクトル係数の前記エネルギーと照合することによって計算することを特徴とする請求項３３に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３５】
前記計算手段（５６）は、前記スペクトル位相を、
少なくとも１つの他のフレームの少なくとも２つのスペクトル位相成分からグループ遅延を計算し、
新規のスペクトル成分に関連するグループ遅延を、計算された前記グループ遅延と照合することで前記スペクトル位相を計算することによって、
予測することを特徴とする請求項３３又は３４に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３６】
新規の複素スペクトル符号化係数は直接に予測されることを特徴とする請求項３２に記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３７】
前記情報が音声、動画、画像データのうち、少なくとも一つを含むことを特徴とする請求項２０乃至３６のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置。
【請求項３８】
請求項２０乃至３７のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置を備えることを特徴とするデコーダ（４０）。
【請求項３９】
請求項２０乃至３７のいずれかに記載の周波数領域におけるエラー隠蔽を行う装置を備えることを特徴とする受信機。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
しかし、特許文献２で提案したエラー隠蔽技術は、いわゆる垂直位相コヒーレンスが失われる結果になるのが一般的で、そのためフレーム不連続及び技術の副作用に至る可能性がある。
Zhang等の「Optimal estimation for Error Concealment in Scalable Video Coding（スケーラブルな動画の符号化におけるエラー隠蔽のための最適な推定）」という論文は、古典的な周波数領域エラー隠蔽スキームのもう一つの例である。このスキームは、時間（フレームからフレームまで）における変換係数の展開に統計モデルを採用し、再構成した係数の推定値を使用する。欠落したＤＣＴ係数は、現在の基層及び前の拡張層からの情報を使って再構成する。基層からのＤＣＴ係数の量子化間隔に関する情報を使って、元のＤＣＴ係数の可能な範囲を決めることができる。前の拡張層フレームにおけるＤＣＴ係数の情報に基づいて、そして元のDCT係数の範囲を制約として使って、欠落したＤＣＴ係数を再構成するために最も良い推定値を決めることができる。
【国際調査報告】
2007514977.tif 000043
2007514977.tif 000044
2007514977.tif 000045