(57)【特許請求の範囲】
【請求項１】
エラー・フレームが発生した場合に当該エラー・フレームよりも前の非エラー・フレームを検出する検出手段と、
検出された非エラー・フレームが音声フレームであるかオーディオ・フレームであるか判断する判断手段と、
音声フレームと判断された非エラー・フレームから、音声フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換音声フレーム生成手段と、
オーディオ・フレームと判断された非エラー・フレームから、オーディオ・フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換オーディオ・フレーム生成手段と、
前記置換音声フレーム生成手段または前記置換オーディオ・フレーム生成手段によって生成された置換フレームを前記エラー・フレームと置換して、前記エラー・フレームを隠蔽する置換手段と、を具備し、
前記置換オーディオ・フレーム生成手段は、
前記非エラー・フレームに含まれる過渡信号の開始位置を検出する過渡信号検出手段と、
前記置換フレームの生成において、前記非エラー・フレームの中から、前記過渡信号検出手段によって検出された過渡信号の開始位置よりも前の部分を除外する除外手段と、を具備する、
エラー隠蔽装置。
【請求項２】
前記置換オーディオ・フレーム生成手段は、
前記オーディオ・フレームと判断された非エラー・フレームを複数の周波数帯域の信号に分割する分割手段と、
前記複数の周波数帯域の信号に対し外挿を行うことによって、前記置換フレームを生成する生成手段と、
を具備する請求項１記載のエラー隠蔽装置。
【請求項３】
前記置換オーディオ・フレーム生成手段は、
前記オーディオ・フレームと判断された非エラー・フレームを複数の周波数帯域の信号に分割する分割手段と、
前記複数の周波数帯域の信号のそれぞれについて、周期性の程度を算出する算出手段と、
前記算出手段によって算出された周期性の程度に対応した処理を、前記複数の周波数帯域の信号のそれぞれに施すことによって、前記置換フレームを生成する生成手段と、
を具備する請求項１記載のエラー隠蔽装置。
【請求項４】
前記生成手段は、
前記算出手段によって算出された周期性の程度が低い場合、当該信号をノイズで置換、または前記分割手段によって得られた他の信号で置換し、
前記算出手段によって算出された周期性の程度が高い場合、当該信号に対し外挿を行う、
請求項３記載のエラー隠蔽装置。
【請求項５】
前記置換音声フレーム生成手段は、
前記非エラー・フレームの一部の複製を生成する複製手段と、
前記複製のピッチ周期が前記非エラー・フレームのピッチ周期と一致するように、前記複製の前記エラー・フレームに対する置換位置を調整する調整手段と、
を具備する請求項１記載のエラー隠蔽装置。
【請求項６】
前記置換音声フレーム生成手段は、
前記非エラー・フレームの一部を複製する複製手段と、
前記複製手段によって得られた複製のピッチ周期が前記非エラー・フレームのピッチ周期と一致するように、前記複製手段における複製区間を調整する調整手段と、
前記複製手段によって得られた複製を用いて前記置換フレームを生成する生成手段と、
を具備する請求項１記載のエラー隠蔽装置。
【請求項７】
前記置換手段は、
前記置換音声フレーム生成手段または前記置換オーディオ・フレーム生成手段によって生成された置換フレームのフレーム境界のスムージングを行う、
請求項１記載のエラー隠蔽装置。
【請求項８】
請求項１記載のエラー隠蔽装置を具備する通信端末装置。
【請求項９】
エラー・フレームが発生した場合に当該エラー・フレームよりも前の非エラー・フレームを検出する検出ステップと、
検出された非エラー・フレームが音声フレームであるかオーディオ・フレームであるか判断する判断ステップと、
音声フレームと判断された非エラー・フレームから、音声フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換音声フレーム生成ステップと、
オーディオ・フレームと判断された非エラー・フレームから、オーディオ・フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換オーディオ・フレーム生成ステップと、
前記置換音声フレーム生成ステップまたは前記置換オーディオ・フレーム生成ステップによって生成された置換フレームを前記エラー・フレームと置換して、前記エラー・フレームを隠蔽する置換ステップと、を具備し、
前記置換オーディオ・フレーム生成ステップは、
前記非エラー・フレームに含まれる過渡信号の開始位置を検出する過渡信号検出ステップと、
前記置換フレームの生成において、前記非エラー・フレームの中から、前記過渡信号検出ステップにおいて検出された過渡信号の開始位置よりも前の部分を除外する除外ステップと、を具備する、
エラー隠蔽方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信、配信、および記憶媒体において、損失または破損したデジタル信号（エラー）の隠蔽技術に関する。
【背景技術】
【０００２】
情報のパケットまたはフレームを送信する場合には、有線あるいは無線のいずれの手段を経由する場合でも、これらのパケットの一部が損失または破損する可能性がある。たとえ帯域幅が増強され、ネットワークまたは伝送技術が改良されたとしても、このような損失は完全には回避することができない。
【０００３】
音声・パケットまたはオーディオ・パケットが損失または破損した場合、結果として、耳に聞こえるアーティファクト、オーディオ品質の劣化、聞き取れないオーディオ・コンテンツをもたらすことになる。こうした劣化は、リアルタイムのストリーミング中または伝送中には特に不快なものである。
【０００４】
このような劣化を最小限に抑えるため、エラー隠蔽が行われる。この基本的な考えは、エラー・データを一部の合成データまたは生成データで置き換えることである。エラー隠蔽の目的は、その名称が示すように、送信、受信、保存、符号化処理、または復号処理中のデータ損失またはデータ破損から生じるエラーを隠す、すなわち、これをマスクして最善の場合にはエラーが認識されないか、または少なくともエラーがあまり顕著にならないようにすることである。
【０００５】
音声データおよびオーディオ・データを対象とするエラー隠蔽には、多数の方式と技術がある。送信側支援型のものもあれば、受信側ベース型のものもある。送信側支援型の方法では、送信側が損失または破損した情報を再送信するか、または損失データを回復できるように送信情報に誤り訂正情報を埋め込む。受信側ベース型の方法では、損失データの隠蔽を処理するにあたって送信側からの情報を必要としない。これは、損失または破損したデータを有益な情報に置き換えることによって機能させるためであり、この情報は通常は損失または破損した部分を推定したものとなっている。これらの置換データは、送信側の支援を受けることなく受信側で生成される。
【０００６】
受信側ベース型のエラー隠蔽には、さまざまな技術がある。簡単な方法は、ミューティングとデータ反復である。ミューティングは単に、エラー・データを、エラー・データと同じ時間長の無音またはゼロ値に置き換える。一方、データ反復は単に、エラー・データを最新の非エラー・データに置き換える。
【０００７】
データ補間技術（例えば、非特許文献１参照）を使用すれば、前述の簡単な方法よりも優れた結果をもたらすことができる。これは、エラー・データに隣接する非エラー・データから補間を行うことにより、置換データの再構成を試みる。
【０００８】
さらに、より複雑な方法もある。それは、音声またはオーディオのコーデックのあるタイプに対して最適化されているという点で、コーデック従属型である。これは、コーデック・パラメータを派生するオーディオ圧縮アルゴリズムの知識を利用して、損失データを置き換えるためのデータを再生成する。
【０００９】
図1は、ミューティング、複製、および補間の各種エラー隠蔽処理を組み入れたエラー隠蔽技術の手順を示すフローチャートである。
【００１０】
オーディオ・データのフレームを受信すると、ST101ではこれがエラー・フレームであるかどうかを検査する。これがエラー・フレームではない場合、受信データは、おそらくST107の補間処理中での将来の使用に備え、ST102においてメモリに保存される。受信フレームが、ST101においてエラー・フレームとして検出された場合、ST103およびST105において一連の決定が行われ、システム内に遅延が許容されるのであれば、以前または将来の非エラー・フレームに基づいて、現行エラー・フレームにどのエラー隠蔽技術を適用することが最適であるかを判定する。ST103において、現行エラー・フレームをミュートすることが適切であるかどうかを検査する。ミューティングが選択された場合、現行エラー・フレームはST104においてゼロ・データ・フレームに置き換えられる。すなわち、現行エラー・フレームは無音に置き換えられる。ミューティングがこのエラー・フレームにとって適切ではない場合、ST105においてこのフレームに補間を実行できるかどうか検査する。たとえばバースト・エラーの場合またはバッファの後のデータに遅延がない場合のように、補間が適していない場合には、ST106において最後の非エラー・フレームが現行エラー・フレームで繰り返される。ST105において補間が選択された場合は、ST102で保存されているデータを使用し、ST107において補間処理が実行される。
【非特許文献１】I. Kauppinen他著「Audio Signal Extrapolation - Theory and Applications」Proc. of 5th Int. Conf. on Digital Audio Effect、2000年9月
【発明の開示】
【発明が解決しようとする課題】
【００１１】
送信側ベースのエラー隠蔽方式は、再送信がさらに長い遅延の原因となり、しかもエラー回復のための埋込情報が伝送オーバーヘッドを増大させるという問題がある。これらの状態は、リアルタイムの通信または伝送システムなどのアプリケーションには適していない。
【００１２】
受信側ベースの場合には、再送または送信側からの追加情報を必要とはしないが、受信側において演算処理の負荷が増大するなどそれぞれ短所も備えている。しかし、通常、受信側端末には対応できる十分な能力があるため、演算処理の増大は通常取るに足らないものである。もう1つの利点は、再送の遅延およびオーバーヘッドがないため、リアルタイム・システムにより一層適しているという点である。しかし、上記の技術に示されているような簡単な受信側ベースのエラー隠蔽技術では、優れたエラー隠蔽結果をもたらすことはできない。
【００１３】
ミューティングは、受信信号を突然消失させてしまい、その結果音響レベルに急激な変化を生じるという問題がある。ミューティングを使用する場合にバースト・エラーが発生すると、長期間にわたる無音の原因となる。さらにこれは、一定したエラーが受信される場合には、「ぎくしゃくした」響きにもなる。
【００１４】
反復または複製は、エコー効果をもたらすという問題がある。この効果は、長期間にわたるバースト・エラーがある場合には減退する。また、隣接するフレームの信号特性を考慮せずにフレームがただ置き換えられているために境界不連続の問題があり、耳障りな「クリック」ノイズ・アーティファクトが発生する問題もある。しかし、これは単一のフレーム・エラーに対してはミューティングの場合をわずかに上回る隠蔽結果をもたらす。ただし、依然としてバースト・エラーに対しては、効果を奏し難い。
【００１５】
補間もまた、境界不連続の問題が原因となり「クリック」ノイズ・アーティファクトを生じさせるという問題がある。隠蔽の品質は、単一のフレーム・エラーに対しては、ミューティングおよび複製の場合に比べて優れているが、バースト・エラーに対しては大幅に減退する。これらの技術は簡単かつ容易に実施できるが、満足のゆく隠蔽結果を得ることはできない。
【００１６】
コーデック依存方式は、より優れた結果をもたらすが、汎用性の点ではまだ十分とはいえない。通常、これを使用できるのは、特定のアプリケーションあるいは特定の音声またはオーディオ・コーデックのみである。特定のコーデックによって使用されるパラメータを予測することで、多数のコーデック依存方式が圧縮ドメインで機能している。通常、そのような方式には、さらに高い演算処理コストも必要になる。
【００１７】
よって、本発明の目的は、エラー隠蔽による影響を可能な限り目立たせない音声信号またはオーディオ信号のエラー隠蔽技術を提供することである。
【課題を解決するための手段】
【００１８】
本発明は、音声データまたはオーディオ・データを異なる特性で分類し、エラー・データを隠蔽するための置換データを生成する適切な手段を適用する。
【００１９】
図2は、本発明に係るエラー隠蔽装置の主要な構成を示している。
【００２０】
音声データまたはオーディオ・データは、記憶媒体（あるいは有線または無線ネットワーク経由の伝送システム）200から受信するなど、さまざまな媒体を通じて供給することができる。これらのデータは、フレームまたはパケットにまとめられ、通常は圧縮形式をとる。パケットが受信されると、再生に適した非圧縮オーディオ形式のフレームにパケットをデコードするため、適切な音声またはオーディオ用デコーダ250が使用される。すべての段階において検証が行われ、受信されたパケットが損失または破損していないこと、および受信パケットのデコーディングにエラーがないことを確認する。いずれかの段階でエラーが発生している場合には、エラー・フレームを隠蔽するようエラー隠蔽処理部300に通知される。
【００２１】
本発明に係るエラー隠蔽処理部300の内部構成は、図3のブロック図に示されている。
【００２２】
すべてのフレームに対し、それがエラー・フレームであるか、または非エラー・フレームであるかを通知するための信号が送られる。通知信号検出部301は、この信号を検出し、入力データのフレームに関して取るべき処置を判断する。非エラー・フレームの場合は、サンプル保存部302において保存され、同じデータのフレームが再生または保存に備えて送出される。保存されたデータは、音声検出部303、過渡信号検出部305、および外挿処理部307において、将来エラー・フレームが発生した場合に使用される。エラー・フレームの場合、音声検出部303は、それが音声信号であるか非音声信号であるかの判断を、先行する非エラー・データのフレームに対し実行する。音声フレームの場合、音声複製処理部304が使用されて、ピッチ計算および複製を行うことによって、エラー・フレームを隠蔽するための置換フレームが生成される。非音声フレームの場合、過渡信号検出部305において、過渡信号の検出が実行され、それがアタック信号であるか否かが判断される。次に、過渡信号検出部305は、フィルタバンク分析部306のために、過渡信号を含んでいる領域として適切な領域（以下、過渡領域という）を先行非エラー・フレームの中から選択する。フィルタバンク分析部306は、フィルタバンク分析によって、N個のサブバンドを生成する。これらのサブバンドは、帯域幅の等しいものであっても、等しくないものであってもよい。これらのサブバンドはそれぞれ、外挿処理部307を経て、エラー隠蔽のためのサブバンド・サンプルが外挿され、現行エラー・フレームに対する置換サブバンド・データが生成される。フィルタバンク合成部308は、外挿処理部307で生成されたサブバンド・データと共に合成フィルタバンクを使用して、生成データのフレームを形成するためのサブバンド・データを再構築する。生成されたデータは、サンプル保存部302で保存されて送出される前に、フレーム境界不連続の問題および信号レベルの不一致の問題を解決するために、ポストプロセス部309に送られる。
【００２３】
外挿処理部307の内部構成は、図4のブロック図に示されている。
【００２４】
信号全体への重大な寄与があるかどうか判断するため、第1検査部401において、各サブバンドに対し第1の検査が実行される。重要ではないと見なされたサブバンドについては、外挿は行われないが、代わりに無音置換部402においてゼロに置き換えられる。重要と見なされたサブバンドについては、フィルタ係数算出部403において、外挿フィルタに使用されるフィルタ係数が算出される。これらのサブバンドには、サブバンドがどの程度周期性を有していて予測可能であるか（以下、予測可能性レベルという）を判断するため、第2検査部404において第2の検査も行われる。周期性がなく予測不可能と分類されたサブバンドの場合、このサブバンドはノイズに類似したものと見なされるので、サブバンド置換部407は、このサブバンド・データをノイズ置換の手段によりノイズ・データに置き換えるか、または、このサブバンド・データを同じ先行フレームに含まれるサブバンドに置き換える。周期性があり予測可能と分類されたサブバンドの場合、フィルタ次数調整部405において、外挿フィルタのフィルタ次数が第2検査部404で導出された予測可能性レベルに基づいて調整される。これらのサブバンドは、外挿部406において、フィルタリング技術で一般的に用いられる外挿フィルタを使用してサブバンド・サンプルの外挿が行われる。
【発明の効果】
【００２５】
本発明によれば、損失あるいは破損したフレームを効果的に隠蔽することができる。
【発明を実施するための最良の形態】
【００２６】
以下、図5〜図7の一連のフローチャートおよび図8〜図10の説明図を参照して、本発明の実施の形態について詳細に説明する。
【００２７】
（実施の形態１）
まず、メインのフレームワークについて説明する。図5は、実施の形態１におけるエラー隠蔽アルゴリズムの詳細なステップを示すフローチャートである。受信フレームは、非エラー・フレーム、音声としてのエラー・フレーム、またはオーディオとしてのエラー・フレームに分類される。
【００２８】
非エラー・フレームの処理は、以下のように行われる。
【００２９】
ST501において、受信したオーディオ・フレームがエラー・フレームであるか、または非エラー・フレームであるかを検出する。非エラー・フレームが受信された場合、ST513においてメモリ内にそのフレームを保存し、将来エラー・フレームが受信された場合に使用できるようにする。このメモリは、先入れ先出し（FIFO）構造を備えており、過去のオーディオ・サンプルのnフレームを保存することができる。メモリの標準的なサイズは2フレームに設定することができ、サンプルの過去のフレームで最新の2つがメモリ内に保存されるようになっている。新しいオーディオ・フレームが到着すると、メモリのnフレーム内で最も古いフレームが廃棄され、新しいフレームがメモリ内に残っているフレームに連結される。次に、ST512において、現行フレームのエラー・フラグが、前のエラー・フラグとして保存される。これは、先行フレームがエラー・フレームまたは非エラー・フレームのいずれであるかを検査するためにST502において使用される。
【００３０】
エラー・フレームが検出された場合のエラー・フレームのタイプ分類は、以下のように行われる。
【００３１】
ST501においてエラー・フレームが検出された場合、現行エラー・フレームが音声タイプ（つまり周期的）フレームまたはオーディオ・タイプ（つまり非周期的）フレームのいずれであるかを判断するために、ST504において分類が行われる。これに先立ち、ST502において、これが非エラー・フレームに続く最初のエラー・フレームであるかどうか、つまり先行フレームがエラー・フレームではないかどうか検査する。
【００３２】
先行フレームが非エラー・フレームである場合、ST504において、メモリに保存されている過去のサンプルを使用して、エラー・フレームが音声タイプ・フレームまたはオーディオ・タイプ・フレームのいずれであるか検出する。これらの過去のサンプルは基本的に、ST513で保存されている先行非エラー・フレームである。一般的な音声コーディングの技術に用いられる音声検出アルゴリズムを、ST503において使用することができる。1つの簡単な方法としては、エラー・フレームに先行する非エラー・フレームに自己相関を適用し、周期性およびピッチの情報を検索する方法がある。これらの情報は、今後の使用に備えて保存される。
【００３３】
音声として分類されたエラー・フレームの処理は、以下のように行われる。
【００３４】
ST504においてエラー・フレームが音声タイプ・フレームとして分類された場合、ST505において音声フラグが1に設定される。音声フラグは、連続する多数のフレームがエラーになるようなバースト・エラーの場合に使用される。そのような場合には、一連のエラー・フレームの最初のエラー・フレームのみがST503の音声検出を通過し、それ以降の連続エラー・フレームは、再度検出を経由する必要なく、ST503で最初の検出中にすでに取得されている結果を引き続き使用する。つまり、ST502において先行フレームもエラー・フレームであることを検出した場合、最初のエラー・フレームで検出がすでに行われているので、ST503の音声検出をスキップする。これは、音声フラグを使用して、それが音声タイプまたはオーディオ・タイプのいずれであるか、フレーム・タイプを判断する。音声タイプの信号については、ST506において音声サンプル生成処理を使用し、現行エラー・フレームを置き換えてエラーを隠蔽または最小化するためにサンプルを生成する。ST506については、後に図6を使用して説明する。
【００３５】
オーディオとして分類されたエラー・フレームの処理は、以下のように行われる。
【００３６】
ST504において、現行フレームがオーディオ・タイプ・フレームとして分類された場合、ST507において音声フラグが0に設定される。この場合、ST508においてオーディオ・サンプル生成処理を使用し、現行エラー・フレームを置き換えてエラーを隠蔽するためにサンプルを生成する。ST508については、後に図7を使用して詳細に説明する。
【００３７】
ポストプロセスと呼ばれる処理は、以下のように行われる。
【００３８】
エラーを隠蔽するためのサンプルが生成された後、ST509において、生成済みのサンプルに対して信号調整が実行される。この信号処理の目的は、フレーム境界において非エラー・フレームとエラー隠蔽フレームの間を通過する際の急激な信号特性の変化に起因する「クリック」ノイズおよび「ポッピング」ノイズなどの耳に聞こえるアーティファクトを低減することにある。たとえば、生成されたエラー隠蔽サンプルが、先行非エラー・フレームに比べて大きく異なる信号レベルまたはパワーを備えていることもある。したがって、生成されたサンプルは、ST509において、エラー・フレームに先行する信号レベルと一致するように調整される。
【００３９】
エラー隠蔽のサンプルが生成されると、エラー隠蔽のフレームの後続のフレームとは良好に連続しなくなる可能性がある。このため、フレーム境界において不連続の問題が生じる。ST510において、境界スムージング処理を実行することにより、この問題に対処する。この問題に対する効果的な方法は、逆方向外挿および信号の混合を使用する、図8に示すフレーム境界スムージング処理である。
【００４０】
ここにはまた、境界スムージング処理を使用しない場合に発生し得る副次作用も示されている。そのような副次作用の1つは、図8の下部に示されるような、信号に急激な変化が起こった場合の不連続の問題である。ポストプロセス後、ST511において、生成されたサンプルを保存する。現行エラー・フラグもまた、ST512において先行エラー・フラグとして保存される。これは、先行フレームがエラー・フレームまたは非エラー・フレームのいずれであるかを検査するために、ST502において使用される。
【００４１】
図6は、エラー・フレームが音声タイプとして分類された場合の音声サンプル生成処理（図5のST506）の詳細な手順を示すフローチャートである。このフローチャートでは、音声サンプルを導き出す方法として簡単な方法を提示している。なお、図6に示す音声サンプル生成処理によって得られる信号は、図9に示されている。
【００４２】
ST503でのフレーム・タイプの分類中に得られたピッチ情報を使用し、ST601において、先行非エラー・フレームからセグメント（フレームの一部）を複製する。このセグメントは、ST503で得られたピッチ周期の倍数の長さを有するが、1フレームの長さよりも小さい。ST602におけるピッチアラインメント、すなわち、複製フレームの置換位置の調整は、複製フレームのピッチ周期が先行フレームのピッチ周期と揃うように行われている。これは、非エラー・フレームから複製フレームまでの周期性に連続性を確保するためである。この複製と位置調整は、エラー・フレームを置き換えることのできる1つの完全な置換フレームがST603において得られるまで繰り返される。なお、上記の複製において、複製区間を調整することにより、すなわち、エラー・フレームを置換することができる置換フレームが得られるまで複製を繰り返すことにより、複製フレームのピッチ周期と先行フレームのピッチ周期とが揃うようにしても良い。
【００４３】
図7は、オーディオ・タイプとして分類されているエラー・フレームが検出された場合のオーディオ・サンプル生成処理（図5のST508）の詳細な手順を示すフローチャートである。
【００４４】
エラー・フレームを隠蔽するために生成されるサンプルは、主としてエラー・フレームに先行する非エラー・サンプルから（ST513から）導き出される。通常、これらの損失のない完璧なサンプルには情報が含まれており、抽出すれば後続の信号がどのようなものになるかについての手がかりを得ることができる。この処理には、2つの経路がある。1つは、このエラー・フレームに先行するフレームが非エラー・フレームである場合に使用される。もう一方の経路は、先行するフレームもエラー・フレームである場合に使用される。
【００４５】
新しいエラー・フレームに対して、以下の処理が行われる。
【００４６】
ST701において、先行フレームのエラー状態が検査される。先行フレームがエラー・フレームではない場合は、現行エラー・フレームが非エラー・フレームに続く最初のエラー・フレームであるということになる。ここで、現行エラー・フレームをフレームEと定義し、エラー・フレームに先行する非エラー・フレームをフレームPと定義する。
【００４７】
ST702において、アタック信号の検出がフレームPに対して実行される。このアタック信号の検出については、図10で説明されている。フレームPにアタック信号がない場合は、後続のST703のフィルタ・バンド分析において、フレーム全体が使用される。フレームPにおいてアタック信号が検出された場合は、アタック信号の開始位置が確認され、フレームPの中でアタック信号より前のサンプルが廃棄される。すなわち、アタック信号の開始位置よりも後のサンプルだけが、以降のフィルタ・バンド分析に使用される。前述のように、生成されるサンプルはフレームPの信号特性から導き出されるものである。生成される信号がフレームPを模して作成されるため、後続の処理においてアタック信号の開始位置より前のサンプル（領域）を除外しないことによって、生成された信号には通常、フレームPからのアタック信号と類似していながらそれよりも小さい縮小版（類似アタック信号）が現れる。このような「二重アタック」は非常に耳障りであるため、これは望ましくない。上記の検出を行う利点は、信号の不要部分、すなわち、アタック信号の開始位置より前の領域を後続の処理において除外することによって、生成される信号の「二重アタック」の問題を最小に抑えることができるという点にある。
【００４８】
フレームPから不要部分を除外し、適切な領域を選択した後、ST703において分析フィルタバンクを使用して、信号を複数の周波数帯域、すなわち、K個のサブバンドに分割する。各サブバンドの帯域幅は同じである必要はない。つまり、サブバンド帯域幅が等しくても、等しくなくてもよい。たとえば、長さLおよびK個のサブバンドのフレームがある場合、1つの考えられるサブバンド構成としては、最初のK/4サブバンドについて、各サブバンドがL/(2K)サンプルの帯域幅を持つものである。次のK/4サブバンドについて、各サブバンドがL/Kサンプルの帯域幅を持ち、最後のK/2サブバンドについて、各サブバンドが2L/Kサンプルの帯域幅を持つことになる。つまり、サブバンドが低くなれば、それに応じてサブバンド帯域幅も小さくなり、その結果より優れた周波数分解能がもたらされる。サブバンドが高くなれば、それに応じて帯域幅も大きくなる。もう1つの考えられる構成は、すべてのサブバンドが同じL/Kサンプルの帯域幅を持つようにすることである。
【００４９】
各サブバンドに対して、サブバンド・サンプルから数個のパラメータが導き出される。最初に、信号全体に対するその寄与の量と、その寄与が重要と見なされるかどうかを判断するために、パラメータが算出される。このパラメータを導き出す1つの可能な方法は、Σ{log[abs(Si+η)]}/Lsbを計算することである。ここでSiはサブバンド・サンプル、ηはアンダーフローを防ぐための小さい値、Lsbはサブバンドの長さ（つまり帯域幅）である。このパラメータは、ST704において閾値と比較される。この閾値を下回る場合は、ST705においてフラグ、スキップ・フラグが「1」に設定されて、このサブバンドが信号生成処理から除外されることを示し、ST706においてそのサブバンドはゼロに置き換えられ、ST716において次のサブバンドに進む。パラメータが閾値を上回る場合は、ST707においてスキップ・フラグが「0」に設定されて、このサブバンドが信号生成処理に含まれることを示し、スキップされない。このスキップ・フラグは、後続のフレームもST718においてエラー・フレームであった場合に、後続のフレームで使用される。
【００５０】
本発明のST713およびST721において、信号外挿がオーディオ・サンプル生成処理に使用されている。この方法では、ST708において、バーグのアルゴリズムを使用してインパルス応答係数asb,iのセットを導き出すために、既知のオーディオ信号のセグメントが使用される。これらの係数には、既知の信号（この場合は先行する非エラー・フレーム）が組み入れられ、以下の(式1)に示すように現行エラー・フレームを置き換えて隠蔽するために使用される線形に予測可能な一連の信号を取得する。この信号外挿法は、エラー・フレームを隠蔽するために使用できる適切な信号のセットを生成する1つの手段に過ぎないが、他の方法も利用可能である。
【００５１】
算出されるもう1つのパラメータは、ST709における予測可能性レベルPrsbである。これは、各サブバンドについて信号がどの程度予測可能であるかを評価するために使用される。このパラメータは、バーグのアルゴリズムから算出された予測誤差残差から導き出される。バーグのアルゴリズムの反復を開始する前に、初期誤差残差E0が算出される。この誤差残差は、係数算出処理の反復ごとに更新され、そこで最後の反復後に最終予測誤差残差E1を返す。予測可能性レベルPrsbおよび誤差残差率E0/E1の間の関係は、E0/E1の比率が小さい場合にそれに応じて予測可能性レベルが低下するもので、またその逆もある。これはつまり、より低いE0/E1率は、あまり予測可能ではない信号に相当するということである。
【００５２】
外挿フィルタFOsbの次数は、外挿係数を算出するために使用された過去のサンプルの長さによって異なる。たとえば、外挿フィルタ係数の算出にLサンプルが使用された場合、フィルタの最大次数はわずかL次である。また予測可能性レベルPrsbに基づいて、外挿フィルタFOsbの次数はST710において、予測可能性レベルが高ければ外挿フィルタの次数が減少するか、またはその逆になるように、しかるべく調整される。これはつまり、外挿フィルタの次数および予測可能性レベルには、反比例の関係FOsb∝(1/Prsb)があるということである。
【００５３】
ST711において、各サブバンドの予測可能性レベルPrsbは、エラーを隠蔽するためのサブバンド・サンプルを生成する外挿処理を使用するか、またはエラー・フレームを置き換えるサブバンド置換法を使用するかを決定するためにも使用される。外挿フラグはこの決定を示すように設定され、このフラグはST720において次のフレームもエラー・フレームである場合に使用され、同じサブバンドが同じタイプの信号生成方式を使用するようになっている。
【００５４】
予測可能性レベルが閾値Prsbを超える場合は、ST712において外挿フラグが「1」に設定され、信号外挿法を使用してサブバンドが生成されることを示す。予測可能性レベルPrsbはまた、予測可能性が閾値に近接するがこれを超える場合に外挿信号の結果が調整されるように、外挿信号の結果に影響を及ぼすためにも使用される。信号外挿法においては、以下に示すものと類似したARモデルを使用して、現行エラー・フレームを置き換えるために先行非エラー・サンプルから現行サンプルを予測して生成する。
y(n) = - a1y(n-1) - a2y(n-2) - … - apy(n-p)  …（式1）
ここでy(n)は現行外挿サンプル、y(n-i)は過去の出力サンプル、aiは外挿係数、pは予測子次数である。予測可能性レベルを使用して外挿信号に影響を与える方法の1つは、次のとおりである。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Prsb)  …（式2）
ここでαは、外挿信号への影響の量を制御する因数である。
【００５５】
予測可能性レベルPrsbが閾値を下回る場合、ST714において外挿フラグが「0」に設定され、ST715においてサブバンド置換法が使用されることを示す。同様に、予測可能性レベルは、使用する置換法を決めるためにも使用される。予測可能性レベルが閾値をわずかに下回る場合は、サブバンドには先行の非エラー・フレームPからの同じサブバンドが繰り返される。これが閾値よりもはるかに下回る場合は、サブバンドは単にランダム信号に置き換えられる。
【００５６】
すべてのサブバンドが処理されていることを検査するST716の後、ST717においてKサブバンド合成フィルタバンクを使用して集められ、現行エラー・フレームを隠蔽するための生成信号を再構成する。
【００５７】
後続のエラー・フレームに対しては、以下の処理が行われる。
【００５８】
ST701において先行フレームもエラー・フレームであることが示された場合、サンプル生成処理は先行フレームで停止した時点から続行する。フィルタ次数、予測可能性レベルなど、先に算出されたパラメータが再使用される。これらのパラメータは、再度算出されることはない。特定のサブバンドが生成される必要があるかどうかが検査されるが、これはST718におけるスキップ・フラグおよびST720における外挿フラグによって示されている。これらのフラグは、ST704、ST705、ST707、ST711、ST712、およびST714において、非エラー・フレームの後から最初のエラー・フレームの間に判定される。
【００５９】
ST718において、サブバンドを信号生成から除外できるかどうか検査される。スキップ・フラグが示すように除外することが可能な場合には、ST719においてゼロに置き換えられる。信号生成から除外できない場合は、ST720において、サブバンドが外挿によって生成されるか、または置換法を使用するかどうか検査する。
【００６０】
サブバンドを生成する必要がある場合は、ST713と類似したST721のサンプル外挿手順を使用して、そのサブバンド内のサンプルが再生成される。すでにST708、ST709、およびST710において算出されているフィルタ次数、フィルタ係数、予測可能性レベルなどのパラメータは、前述のように外挿手順で使用される。
【００６１】
サブバンドを生成する必要がない場合は、ST722においてサブバンド置換法が使用される。予測可能性レベルにより、前述のようにノイズ置換またはサブバンド反復のいずれの置換法を使用するかが決まる。
【００６２】
ST723で上記のステップがすべてのサブバンドに対して繰り返された後、タイム・サンプルのフレームが、ST717においてサブバンド合成フィルタバンクを使用してエラー・フレームを隠蔽するために再生成されているK個のサブバンドから再構成される。
【００６３】
以上説明したように、本発明によれば、単一または複数の、損失あるいは破損したフレームを効果的に隠蔽することができる。これは、受信側ベースのエラー隠蔽方式であり、再送遅延を生じることがなく伝送オーバーヘッドが少ないため、リアルタイム通信または伝送システムに適している。コーデック依存型ではなく、スタンドアロン・モジュールとして使用することができるので、幅広いオーディオ・アプリケーションに適している。ぎくしゃくした響き、エコー効果、クリックノイズなど、ノイズ・アーティファクトは大幅に減少される。入力信号は、音声とオーディオとに分類されて、信号の分類ごとに適切なエラー隠蔽方法を適用することができるようになっている。また、過渡信号および過渡領域の検出においては、フィルタバンク分析のフレームの適切な領域を選択することで、耳障りなものにもなり得る再生成信号の類似過渡信号が再生成される可能性を低減している。フィルタバンクを使用して信号をより小さい周波数帯域幅に分解することにより、予測可能性レベルおよび各サブバンドの信号全体に対する寄与の重要度など、信号特性に基づいて各バンクに異なる信号再生成方式を適用することができる。外挿処理は、連続的な信号をもたらし、それがノイズ・アーティファクトの主な原因の1つとなっているエラー・フレームの開始時点の境界不連続の問題を解消する。エラー・フレームの終了時点の不連続の問題は、逆方向外挿、信号混合および信号レベル調整を使用して解決される。
【００６４】
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
【００６５】
本発明の第1の態様は、エラー隠蔽の方法であって、入力データをさまざまな特性に分類し、適切な手段を適用してエラー・データを隠蔽するための置換データを生成し、前記方法が、
(1a) 受信したフレームがエラー・フレームまたは非エラー・フレームのいずれであるかを検出するステップと、
(1b) 前記受信フレームが、先行非エラー・フレームと呼ばれる前記非エラー・フレームとして検出される場合、前記非エラー・フレームを将来の処理に備えて保存するステップと、
(1c) 前記受信フレームが前記エラー・フレームとして検出される場合、可能な音声フレームまたはオーディオ・フレームと呼ばれる非音声フレームとして前記エラー・フレームを分類するステップと、
(1d) 前記エラー・フレームが前記音声フレームとして分類される場合、前記エラー・フレームを置き換えるための置換音声フレームを生成するステップと、
(1e) 前記エラー・フレームが前記オーディオ・フレームとして分類される場合、前記エラー・フレームを置き換えるための置換オーディオ・フレームを生成するステップと、
(1f) 前記置換フレームに対して信号処理を実行するステップと、
(1g) 前記置換フレームに対して境界スムージングを実行するステップと、
(1h) 将来の処理に備えて前記置換フレームを保存するステップと、
を含むエラー隠蔽方法である。
【００６６】
本発明の第2の態様は、ステップ(1b)および(1h)に記載の前記将来の処理が、ステップ(1b)から(1g)までの1つまたは複数のステップの繰り返しを含むことを特徴とする方法である。
【００６７】
本発明の第3の態様は、ステップ(1c)に記載の前記分類が、前記エラー・フレームの前の先行非エラー・フレームの自己相関を算出してピッチ周期の存在を検索することによって実行されることを特徴とする方法である。
【００６８】
本発明の第4の態様は、本発明の第3の態様に記載の前記ピッチ周期が、許容可能な前記ピッチ周期が検出できる場合は前記音声フレームとして前記エラー・フレームを分類し、前記ピッチ周期が検出できない場合は前記オーディオ・フレームとして前記エラー・フレームを分類するために使用されることを特徴とする方法である。
【００６９】
本発明の第5の態様は、ステップ(1d)に記載の前記置換音声フレーム生成処理がさらに、
(5a) 前記先行非エラー・フレームを複製するステップと、
(5b) 前記複製フレームのピッチ周期を前記非エラー・フレームの前記ピッチ周期に合わせて境界の非連続性の問題を解消するステップと、
(5c) 前記複製処理および前記位置合わせ処理を前記置換フレームの1つのフレームが形成されるまで繰り返すステップと、
を含むことを特徴とする方法である。
【００７０】
本発明の第6の態様は、ステップ(1e)に記載の前記置換オーディオ・フレームが、前記エラー・フレームの前の前記非エラー・フレームから外挿することによって生成され、前記方法がさらに、
(6a) 前記エラー・フレームの前の前記先行フレームがアタック信号であるかどうかを検出するステップと、
(6b) フィルタバンク分析のために前記先行フレームから適切な領域を選択するステップと、
(6c) フィルタバンク分析を前記先行フレームからの前記選択領域に実行して、K個の先行サブバンドと呼ばれるK個のサブバンドを取得するステップと、
(6d) エラー・サブバンドと呼ばれる、エラー・フレームの各前記エラー・サブバンドの重要度を判定するステップと、
(6e) 外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの次数を判定するステップと、
(6f) 外挿フィルタ係数と呼ばれる、外挿処理に使用される前記先行サブバンドを使用してフィルタ係数を算出するステップと、
(6g) 予測可能性レベルPrと呼ばれる、前記先行サブバンドがどの程度予測可能であるかを判定するステップと、
(6h) 外挿フィルタ次数FOと呼ばれる、前記予測可能性レベルに基づいて外挿フィルタの前記フィルタ次数を調整するステップと、
(6i) 前記エラー・サブバンドの置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
【００７１】
本発明の第7の態様は、ステップ(1f)に記載の前記信号処理が、信号レベルの急激な変化により生じるアーティファクトを低減するために信号レベルを先行フレームに近接させるよう前記置換フレームの信号を調整することによって実行されることを特徴とする方法である。
【００７２】
本発明の第8の態様は、ステップ(1g)に記載の前記境界スムージングが、逆方向外挿を使用して後続フレームからサンプルの短いセグメントを生成し、次いで前記セグメントを前記置換フレームとクロスフェードおよび混合して境界不連続の問題により生じるアーティファクトを軽減することによって達成されることを特徴とする方法である。
【００７３】
本発明の第9の態様は、ステップ(6b)に記載の前記適切な領域が、前記先行フレーム内のアタック信号の開始から前記先行フレームの終了までの領域であるか、または前記アタック信号が検出されない場合に前記適切な領域が前記先行フレーム全体であることを特徴とする方法である。
【００７４】
本発明の第10の態様は、ステップ(6c)に記載の前記サブバンドの帯域幅が、高い周波数の領域またはあらゆる可能な構成に比べて低い周波数領域が小さい前記帯域幅を持つように等しくても等しくなくてもよいことを特徴とする方法である。
【００７５】
本発明の第11の態様は、ステップ(6d)に記載の各前記エラー・サブバンドの前記重要度が、前記先行非エラー・フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決まることを特徴とする方法である。
【００７６】
本発明の第12の態様は、ステップ(6e)に記載の前記フィルタ次数が、本発明の第6の態様のステップ(6b)において選択された前記領域の長さをフィルタバンク分析のサブバンドの数で除算することにより算出されることを特徴とする方法である。
【００７７】
本発明の第13の態様は、ステップ(6f)に記載の前記外挿フィルタ係数が、前記先行サブバンドを入力として使用するバーグのアルゴリズムによって算出されることを特徴とする方法である。なお、前記フィルタ係数は、前記先行サブバンドのサンプルを使用してサンプルを外挿するためにARフィルタによって使用される。
【００７８】
本発明の第14の態様は、ステップ(6g)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
【００７９】
本発明の第15の態様は、ステップ(6h)に記載の前記外挿フィルタ次数FOが予測可能性レベルPrに基づいて調整されることを特徴とし、前記外挿フィルタ次数が、予測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少するかまたはその逆となるような、FO∝(1/Pr)で示されるように、前記予測可能性レベルの値に反比例することを特徴とする方法である。
【００８０】
本発明の第16の態様は、ステップ(6i)に記載の前記置換サブバンドが、前記重要度の条件および前記先行サブバンドの前記予測可能性レベルに応じて生成され、前記方法がさらに、
(16a) 前記エラー・サブバンドが、ステップ(6d)において重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿を使用して前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(16b) 前記エラー・サブバンドが、ステップ(6d)において重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、前記エラー・サブバンドを前記先行非エラー・フレームからの対応する前記先行サブバンドに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(16c) 前記エラー・サブバンドが、ステップ(6d)において重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー・サブバンドをノイズに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(16d) 前記エラー・サブバンドが、ステップ(6d)において重要ではないと分類される場合に、無音置換と呼ばれる、前記エラー・サブバンドをゼロに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
【００８１】
本発明の第17の態様は、ステップ(16a)に記載の前記置換サブバンドが、さらに予測可能性レベルPrによって影響を受けることを特徴とし、外挿値が次のように前記予測可能性レベルPrの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Pr)  …（式3）
【００８２】
本発明の第18の態様は、前記エラー・フレームの前の非エラー・フレームから外挿を行うことによりエラー・フレームの置換フレームを生成する方法であって、前記方法が、
(18a) 前記エラー・フレームの前の前記先行フレームがアタック信号であるかどうかを検出するステップと、
(18b) 分析のために前記先行フレームから適切な領域を選択するステップと、
(18c) フィルタバンク分析を前記先行フレームからの前記選択領域に実行して、K個の先行サブバンドと呼ばれるK個のサブバンドを取得するステップと、
(18d) エラー・サブバンドと呼ばれる、エラー・フレームの各前記エラー・サブバンドの重要度を判定するステップと、
(18e) 外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの次数を判定するステップと、
(18f) 外挿フィルタ係数と呼ばれる、外挿処理に使用される前記先行サブバンドを使用してフィルタ係数を算出するステップと、
(18g) 予測可能性レベルと呼ばれる、前記先行サブバンドがどの程度予測可能であるかを判定するステップと、
(18h) 前記予測可能性レベルに基づいて外挿フィルタの前記フィルタ次数を調整するステップと、
(18i) 前記エラー・サブバンドの置換サブバンドを生成するステップと、
を含む方法である。
【００８３】
本発明の第19の態様は、ステップ(18b)に記載の前記適切な領域が、前記先行フレーム内のアタック信号の開始から前記先行フレームの終了までの領域であるか、または前記アタック信号が検出されない場合に前記適切な領域が前記先行フレーム全体であることを特徴とする方法である。
【００８４】
本発明の第20の態様は、ステップ(18c)に記載の前記サブバンドの帯域幅が、高い周波数の領域またはあらゆる可能な構成に比べて低い周波数の領域が小さい前記帯域幅を持つように等しくても等しくなくてもよいことを特徴とする方法である。
【００８５】
本発明の第21の態様は、ステップ(18d)に記載の各前記エラー・サブバンドの前記重要度が、前記先行非エラー・フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決まることを特徴とする方法である。
【００８６】
本発明の第22の態様は、ステップ(18e)に記載の前記フィルタ次数が、ステップ(18b)において選択された前記領域の長さをフィルタバンク分析のサブバンドの数で除算することにより算出されることを特徴とする方法である。
【００８７】
本発明の第23の態様は、ステップ(18f)に記載の前記外挿フィルタ係数が、前記先行サブバンドを入力として使用するバーグのアルゴリズムによって算出されることを特徴とする方法である。なお、前記フィルタ係数は、前記先行サブバンドのサンプルを使用してサンプルを外挿するためにARフィルタによって使用される。
【００８８】
本発明の第24の態様は、ステップ(18g)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
【００８９】
本発明の第25の態様は、ステップ(18h)に記載の前記外挿フィルタ次数FOが予測可能性レベルPrに基づいて調整されることを特徴とし、前記外挿フィルタ次数が、予測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少するかまたはその逆となるような、FO∝(1/Pr)で示されるように、前記予測可能性レベルの値に反比例することを特徴とする方法である。
【００９０】
本発明の第26の態様は、ステップ(18i)に記載の前記置換サブバンドが、前記重要度の条件および前記先行サブバンドの前記予測可能性レベルに応じて生成され、前記方法がさらに、
(26a) 前記エラー・サブバンドが、ステップ(16d)において重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿を使用して前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(26b) 前記エラー・サブバンドが、ステップ(16d)において重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、前記エラー・サブバンドを前記先行非エラー・フレームからの対応する前記先行サブバンドに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(26c) 前記エラー・サブバンドが、ステップ(16d)において重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー・サブバンドをノイズに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(26d) 前記エラー・サブバンドが、ステップ(16d)において重要ではないと分類される場合に、無音置換と呼ばれる、前記エラー・サブバンドをゼロに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
【００９１】
本発明の第27の態様は、ステップ(26a)に記載の前記置換サブバンドが、さらに予測可能性レベルPrによって影響を受けることを特徴とし、外挿値が次のように前記予測可能性レベルPrの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Pr)  …（式4）
【００９２】
本発明の第28の態様は、エラー・フレームの置換サブバンドを重要度の条件および先行サブバンドの予測可能性レベルPrに基づいて生成する方法であって、前記方法がさらに、
(28a) 前記エラー・サブバンドが重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿を使用して前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(28b) 前記エラー・サブバンドが重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、前記エラー・サブバンドを前記先行非エラー・フレームからの対応する前記先行サブバンドに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(28c) 前記エラー・サブバンドが重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー・サブバンドをノイズに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(28d) 前記エラー・サブバンドが重要ではないと分類される場合に、無音置換と呼ばれる、前記エラー・サブバンドをゼロに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
を含む方法である。
【００９３】
本発明の第29の態様は、ステップ(28a)に記載の前記置換サブバンドが、さらに予測可能性レベルPrによって影響を受けることを特徴とし、外挿値が次のように前記予測可能性レベルPrの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Pr)  …（式5）
【００９４】
本発明の第30の態様は、フィルタバンク分析のために非エラー・フレームから適切な領域を選択する方法であって、前記方法が、
(30a) 前記非エラー・フレーム内のアタック信号の突然の開始を検索するステップと、
(30b) 前記フィルタバンク分析のための領域を選択するステップと、
を含む方法である。
【００９５】
本発明の第31の態様は、アタック信号の前記開始が前記非エラー・フレーム内に存在する場合に、ステップ(30b)において前記領域が前記アタック信号の開始から前記非エラー・フレームの終了まで選択されるか、または前記非エラー・フレームにアタック信号が存在しない場合に、ステップ(30b)において前記非エラー・フレームの領域全体を選択することを特徴とする方法である。
【００９６】
本発明の第32の態様は、外挿フィルタのフィルタ次数を算出する方法であって、前記方法が、
(32a) 非エラー・フレーム内のアタック信号の突然の開始を検索するステップと、
(32b) フィルタ次数を導き出すための長さを算出するステップと、
(32c) 前記長さをフィルタバンク分析のサブバンドの数で除算することにより前記フィルタ次数を算出するステップと、
を含む方法である。
【００９７】
本発明の第33の態様は、アタック信号の前記開始が前記非エラー・フレーム内に存在する場合に、ステップ(32b)において前記長さが前記アタック信号の開始から前記非エラー・フレームの終了まで選択されるか、または前記非エラー・フレームにアタック信号が存在しない場合に、ステップ(32b)において前記非エラー・フレームの領域全体を長さとして選択することを特徴とする方法である。
【００９８】
本発明の第34の態様は、外挿フィルタの次数を調整する方法であって、前記方法が、
(34a) 外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの初期次数を設定するステップと、
(34b) 外挿フィルタ係数と呼ばれる、サブバンドの外挿処理に使用されるフィルタ係数を算出するステップと、
(34c) 予測可能性レベルPrと呼ばれる、前記サブバンドがどの程度予測可能であるかを判定するステップと、
(34d) 外挿フィルタ次数FOと呼ばれる、前記予測可能性レベルに基づいて外挿フィルタの前記フィルタ次数を調整するステップと、
を含む方法である。
【００９９】
本発明の第35の態様は、ステップ(34b)に記載の前記外挿フィルタ係数が、前記サブバンドのサンプルを使用するバーグのアルゴリズムによって算出されることを特徴とする方法である。
【０１００】
本発明の第36の態様は、ステップ(34c)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
【０１０１】
本発明の第37の態様は、ステップ(34d)に記載の前記外挿フィルタ次数FOが予測可能性レベルPrに基づいて調整されることを特徴とし、前記外挿フィルタ次数が、予測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少するかまたはその逆となるような、FO∝(1/Pr)で示されるように、前記予測可能性レベルの値に反比例することを特徴とする方法である。
【０１０２】
本発明の第38の態様は、置換フレームを生成するためのサブバンド選択方法であって、前記方法が、
(38a) フレームに対する各前記エラー・サブバンドの重要度を判定するステップと、
(38b) 予測可能性レベルPrと呼ばれる、前記先行サブバンドがどの程度予測可能であるかを判定するステップと、
(38c) サブバンド置換方法を選択するステップと、
を含む方法である。
【０１０３】
本発明の第39の態様は、ステップ(38a)に記載の各前記サブバンドの前記重要度が、前記フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決まることを特徴とする方法である。
【０１０４】
本発明の第40の態様は、ステップ(38b)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
【０１０５】
本発明の第41の態様は、ステップ(38c)に記載の前記置換方法が、前記重要度の条件および前記サブバンドの前記予測可能性レベルに基づいて選択され、前記方法がさらに、
(41a) 前記サブバンドが、ステップ(38a)において重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、信号外挿方法を選択するステップと、
(41b) 前記エラー・サブバンドが、ステップ(38a)において重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復方法を選択するステップと、
(41c) 前記エラー・サブバンドが、ステップ(38a)において重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換方法を選択するステップと、
(41d) 前記エラー・サブバンドが、ステップ(38a)において重要ではないと分類される場合に、無音置換方法を選択するステップと、
を含むことを特徴とする方法である。
【０１０６】
なお、上記の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。
【０１０７】
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【０１０８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１０９】
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【０１１０】
本明細書は、２００４年３月５日出願の特願２００４−０６１７９７に基づく。この内容はすべてここに含めておく。
【産業上の利用可能性】
【０１１１】
本発明は、送信、配信、および記憶媒体において、損失または破損したデジタル・オーディオ信号（エラー）の隠蔽技術として有用である。
【図面の簡単な説明】
【０１１２】
【図１】各種エラー隠蔽処理を組み入れたエラー隠蔽技術の手順を示すフローチャート
【図２】本発明に係るエラー隠蔽装置の主要な構成を示す図
【図３】本発明に係るエラー隠蔽処理部の内部構成を示すブロック図
【図４】本発明に係る外挿処理部の内部構成を示すブロック図
【図５】実施の形態１におけるエラー隠蔽アルゴリズムの詳細なステップを示すフローチャート
【図６】実施の形態１における音声サンプル生成処理の詳細な手順を示すフローチャート
【図７】実施の形態１におけるオーディオ・サンプル生成処理の詳細な手順を示すフローチャート
【図８】実施の形態１におけるフレーム境界スムージング処理を示す図
【図９】実施の形態１における音声サンプル生成処理によって得られる信号を示す図
【図１０】実施の形態１におけるアタック信号の検出を説明する図
【図１】
0004744438.tif 000002
【図２】
0004744438.tif 000003
【図３】
0004744438.tif 000004
【図４】
0004744438.tif 000005
【図５】
0004744438.tif 000006
【図６】
0004744438.tif 000007
【図７】
0004744438.tif 000008
【図８】
0004744438.tif 000009
【図９】
0004744438.tif 000010
【図１０】
0004744438.tif 000011