(57)【要約】      （修正有）【課題】信号の特性に最適化した方式によってフレームエラーを隠匿することによって、正確に復元できるフレームエラー隠匿方法及び装置を提供する。【解決手段】エラーを含むフレームの一つ以上の信号特性に基づいて、エラーを隠匿するための方式を設定するステップ１４４と、設定された方式を使用してエラーを隠匿するステップ１５０と、を含む。また、設定ステップは、一つ以上の信号特性に基づいて、エラーを隠匿するための回帰分析方式を設定するステップである。【選択図】図１Ｂ
2014160280.tif 000002
【特許請求の範囲】
【請求項１】
エラーを含むフレームの一つ以上の信号特性に基づいて、線形回帰分析方式を前記エラーを隠匿するための方式として設定するステップと、
前記一つ以上の信号特性に基づいて、前記線形回帰分析で参照するための以前正常フレームの数を設定するステップと、
前記設定された数だけの前記以前正常フレームのパラメータに対して前記線形回帰分析を行って、前記エラーを含むフレームのためのパラメータを予測するステップと、
前記予測されたパラメータに基づいて前記エラーを隠蔽するステップと、
を含むことを特徴とするフレームエラー隠匿方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声信号またはオーディオ信号を復号化する方法及び装置に係り、より詳細には、復号化した信号にフレームエラーが発生した場合、フレームエラーを隠匿する方法及び装置に関する。
【背景技術】
【０００２】
有無線網を通じて符号化されたオーディオ信号を伝送する過程で一部パケットが損失するか、または歪曲される場合、伝送上のエラーによって復号化したオーディオ信号の一部フレーム信号にエラーが発生しうる。この場合、フレームに発生したエラーを適切に処理しなければ、エラーが発生したフレーム区間でオーディオ信号の音質が低下することはもとより、この復号化装置では予測技法により信号を復元するため、１フレームのエラーが以後のフレームにも影響を及ぼして、以後フレーム区間でも持続的に音質が低下する現象が現れる。したがって、復元されたオーディオ信号の音質低下を防止するためには、フレームエラーを効率的に隠匿することが非常に重要な問題である。
【０００３】
フレームエラーを隠匿するための方法には、次のような方法がある。例えば、エラーが発生したフレーム（Ｅｒｒｏｒ  Ｆｒａｍｅ、ＥＦ）で音を小さくすることでエラーが出力信号に及ぼす影響を弱化させる黙音（ｍｕｔｉｎｇ）法、ＥＦの以前正常フレーム（Ｐｒｅｖｉｏｕｓ  Ｇｏｏｄ  Ｆｒａｍｅ、ＰＧＦ）を反復して再生することでＥＦの信号を復元する反復（ｒｅｐｅｔｉｔｉｏｎ）法、ＰＧＦと以後正常フレーム（Ｎｅｘｔ  Ｇｏｏｄ  Ｆｒａｍｅ、ＮＧＦ）とのパラメータを補間してＥＦのパラメータを予測する補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ＰＧＦのパラメータを補外してＥＦのパラメータを求める補外法（ｅｘｔｒａｐｏｌａｔｉｏｎ）、ＰＧＦのパラメータを回帰分析してＥＦのパラメータを求める回帰分析法（Ｒｅｇｒｅｓｓｉｏｎ  Ａｎａｌｙｓｉｓ）などがある。
【０００４】
しかし、従来にはあらゆる入力信号に対して同じ方式によって画一的な方法でＥＦを復元したため、フレームエラーが効率的に隠匿されずに音質が低下する問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は、信号の特性に最適化した方式によってフレームエラーを隠匿することによって、ＥＦをさらに正確に復元できるフレームエラー隠匿方法及び装置を提供することである。
【０００６】
また、本発明の実施形態は、信号の特性に最適化した方式によってＥＦをさらに正確に復元することによって、フレームエラーによる音質低下を最小化できる復号化方法及び装置を提供することである。
【０００７】
また、本発明の実施形態は、前記フレームエラー隠匿方法及び復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本発明の実施形態によれば、フレームエラー隠匿方法は、エラーを含むフレームの一つ以上の信号特性に基づいて、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式を使用して前記エラーを隠匿するステップと、を含む。また、前記設定ステップは、前記一つ以上の信号特性に基づいて、前記エラーを隠匿するための回帰分析方式を設定するステップである。
【０００９】
また、前記設定ステップは、前記一つ以上の信号特性を分析するステップと、前記一つ以上の分析された信号特性に基づいて、前記回帰分析方式を設定するステップと、を含む。また、前記分析ステップは、以前正常フレームに関する情報に基づいて、前記一つ以上の信号特性を分析するステップである。
【００１０】
また、前記回帰分析方式設定ステップは、前記一つ以上の信号特性に基づいて、線形回帰分析方式または非線形回帰分析方式のうち、前記エラーを隠匿するためのいずれか一つの方式を選択するステップを含み、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームの数を設定するステップを含み、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームのパラメータを抽出する周期を設定するステップを含む。
【００１１】
また、前記隠匿ステップは、前記設定された回帰分析方式によって、以前正常フレームの一つ以上のパラメータから前記エラーが発生したフレームの一つ以上のパラメータを予測するステップを含み、前記隠匿ステップは、前記設定された回帰分析方式によって、前記以前正常フレームの一つ以上のパラメータから予測のための回帰分析関数を導出するステップと、前記導出された回帰分析関数により、前記エラーが発生したフレームのパラメータを予測するステップと、を含む。また、前記隠匿ステップは、前記予測されたパラメータの値が所定範囲を外れる場合、前記予測されたパラメータの値を前記所定範囲以内の値に調節するステップをさらに含む。
【００１２】
また、前記設定ステップは、前記一つ以上の信号特性によって前記予測されたパラメータ値を調節するための調節関数を設定するステップをさらに含み、前記パラメータ予測ステップは、前記設定された調節関数を利用して前記導出された関数の係数を調節し、前記係数が調節された関数により前記エラーが発生したフレームのパラメータを予測するステップである。また、前記設定された調節関数により係数が調節される関数は、前記エラーフレームのエネルギー情報と関連したパラメータを予測するための関数である。
【００１３】
また、前記本発明によるフレームエラー隠匿方法は、ビットストリームからエラーが発生したフレームを検出するステップをさらに含む。
【００１４】
また、本発明の実施形態によれば、フレームエラー隠匿方法は、エラーが発生したフレームの一つ以上の信号特性を考慮して、前記フレームで前記エラーが発生した位置を含む階層及び、それ以後の階層のエラーを隠匿するための方式を設定するステップと、前記設定された方式によって前記エラーを隠匿するステップと、を含む。また、前記設定ステップは、以前正常フレーム及び前記検出された位置を含む階層の以前階層に関する情報に基づいて、前記一つ以上の信号特性を分析するステップと、前記一つ以上の分析された信号特性を考慮して、前記エラーを隠匿するための方式を設定するステップと、を含む。
【００１５】
また、前記隠匿ステップは、前記設定された方式によって、以前正常フレーム及び前記検出された位置を含む階層の以前階層の一つ以上のパラメータから、前記検出された位置を含む階層及びそれ以後の階層の一つ以上のパラメータを予測するステップを含む。
【００１６】
また、本発明の実施形態によれば、フレームエラー隠匿装置は、エラーが発生したフレームの一つ以上の信号特性に基づいて前記エラーを隠匿するための方式を設定する隠匿方式設定部と、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。また、前記隠匿方式設定部は、前記エラーが発生したフレームの一つ以上の信号特性に基づいて回帰分析方式を設定し、前記エラー隠匿部は、前記設定された回帰分析方式によって前記エラーを隠匿する。
【００１７】
また、前記隠匿方式設定部は、前記一つ以上の信号特性を分析する信号特性分析部と、前記一つ以上の分析された信号特性に基づいて、前記回帰分析方式を設定する設定部と、を備える。また、前記信号特性分析部は、以前正常フレームに関する情報に基づいて前記信号特性を分析する。
【００１８】
また、前記隠匿方式設定部は、前記一つ以上の信号特性に基づいて、線形回帰分析方式または非線形回帰分析方式のうち、前記エラーを隠匿するためのいずれか一つの方式を選択でき、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームの数を設定でき、前記一つ以上の信号特性に基づいて、前記回帰分析方式によって前記エラーを隠匿するために参照する以前正常フレームの一つ以上のパラメータを抽出する周期を設定する。
【００１９】
また、前記エラー隠匿部は、前記設定された回帰分析方式によって、以前正常フレームのパラメータから前記エラーが発生したフレームの一つ以上のパラメータを予測できる。
【００２０】
また、前記エラー隠匿部は、前記設定された回帰分析方式によって、前記以前正常フレームのパラメータから予測のための回帰分析関数を導出する関数導出部と、前記導出された回帰分析関数により、前記エラーが発生したフレームの一つ以上のパラメータを予測する予測部と、を備え、前記予測されたパラメータの値が所定範囲を外れる場合に、前記予測されたパラメータの値を前記所定範囲以内に調節する後処理部をさらに備える。
【００２１】
また、前記隠匿方式設定部は、前記一つ以上の信号特性によって前記予測されたパラメータ値を調節するための調節関数を設定し、前記エラー隠匿部は、前記設定された調節関数を利用して前記導出された関数の係数を調節する調節部をさらに備え、前記予測部は、前記調節部で前記係数が調節された関数により前記エラーが発生したフレームのパラメータを予測する。また、前記設定された調節関数により係数が調節される関数は、前記エラーフレームのエネルギー情報と関連したパラメータを予測するための関数である。
【００２２】
また、前記フレームエラー隠匿装置は、ビットストリームからエラーが発生したフレームを検出するエラー検出部をさらに備える。
【００２３】
また、本発明の実施形態によれば、フレームエラー隠匿装置は、エラーが発生したフレームの一つ以上の信号特性を考慮して、前記フレームで前記エラーが発生した位置を含む階層及び以後階層のエラーを隠匿するための方式を設定する隠匿方式設定部と、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。また、前記隠匿方式設定部は、以前正常フレーム及び前記検出された位置を含む階層の以前階層の情報に基づいて、前記一つ以上の信号特性を分析する信号特性分析部と、前記一つ以上の分析された信号の特性を考慮して、前記エラーを隠匿するための方式を設定する設定部と、を備える。
【００２４】
また、前記エラー隠匿部は、前記設定された方式によって、以前正常フレーム及び前記検出された位置を含む階層の以前階層の一つ以上のパラメータから、前記検出された位置を含む階層及びそれ以後の階層の一つ以上のパラメータを予測する。
【００２５】
また、本発明の実施形態によれば、復号化方法は、ビットストリームからエラーが発生したフレームを検出するステップと、前記ビットストリームでエラーが発生していないフレームを復号化するステップと、前記検出されたエラーが発生したフレームの一つ以上の信号特性を考慮して、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式によって前記エラーを隠匿するステップと、を含む。
【００２６】
また、本発明の実施形態によれば、復号化方法は、ビットストリームからエラーが発生したフレーム及び前記フレームでエラーが発生した位置を検出するステップと、前記ビットストリームでエラーが発生していないフレーム及び前記検出されたエラーが発生したフレームで、前記検出されたエラーが発生した位置を含む階層の以前階層を復号化するステップと、前記検出されたエラーが発生したフレームの一つ以上の信号特性を考慮して、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式によって前記エラーを隠匿するステップと、を含む。
【００２７】
また、本発明の実施形態によれば、復号化装置は、ビットストリームからエラーが発生したフレームを検出するエラー検出部と、前記ビットストリームでエラーが発生していないフレームを復号化する復号化部と、前記検出されたフレームの一つ以上の信号特性を考慮して前記エラーを隠匿するための方式を設定し、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。
【００２８】
また、本発明の実施形態によれば、復号化装置は、ビットストリームでエラーが発生したフレーム及び前記フレームでエラーが発生した位置を検出するエラー検出部と、前記ビットストリームでエラーが発生していないフレーム及び前記エラーが発生したフレームの検出された位置を含む階層の以前階層を復号化する復号化部と、前記検出されたフレームの一つ以上の信号特性を考慮して前記エラーを隠匿するための方式を設定し、前記設定された方式によって前記エラーを隠匿するエラー隠匿部と、を備える。
【００２９】
また、本発明の実施形態によれば、エラーを含むフレームの一つ以上の信号特性に基づいて、前記エラーを隠匿するための方式を設定するステップと、前記設定された方式を使用して、前記エラーを隠匿するステップと、を含むフレームエラー隠匿方法を行うためのコンピュータで読み取り可能なコードを記録したコンピュータで読み取り可能な記録媒体を提供できる。
【００３０】
また、本発明の実施形態によれば、複数のフレームに伝送されたオーディオ信号のエラーを隠匿する方法は、前記複数のフレームのうちエラーを持つエラーフレームを検出するステップと、前記エラーフレームの一つ以上の信号特性に基づいて前記エラーを隠匿するための隠匿プロセスを設定するステップと、前記設定されたエラープロセスを使用して前記エラーを隠匿するステップと、を含むことができる。
【００３１】
また、本発明の実施形態によれば、オーディオ信号を復元する方法を提供できる。
【００３２】
また、本発明の実施形態によれば、オーディオ信号を復元する方法は、エラーを持つエラーフレームの存否を決定するステップと、エラーフレームが存在する場合に、エラーを持っていない以前フレームについての情報に基づいて一つ以上の信号特性を分析するステップと、前記分析された一つ以上の信号特性に基づいて回帰分析方式を設定するステップと、前記回帰分析方式を使用して、前記以前フレームの一つ以上のスプクトルパラメータから前記エラーフレームのスペクトルパラメータを復元するステップと、前記エラーフレームのオーディオ信号と前記復元されたスペクトルパラメータとを使用して前記オーディオ信号を復元するステップと、を含む。
【００３３】
また、本発明の実施形態によれば、オーディオ信号を復元する方法は、エラーを持つエラーフレームの存否を決定するステップと、エラーフレームが存在する場合に、エラーを持っていない以前フレームについての情報に基づいて一つ以上の信号特性を分析するステップと、前記分析された一つ以上の信号特性に基づいて回帰分析方式を設定するステップと、前記回帰分析方式を使用して、エラーを持っていない以前フレームの一つ以上の利得パラメータから前記エラーフレームの利得パラメータを復元するステップと、復元された利得パラメータに基づいて前記エラーフレームの励起信号を復元するステップと、前記回帰分析方式を使用して、以前フレームのＬＳＰパラメータから前記エラーフレームのＬＳＰパラメータを復元するステップと、前記エラーフレームのオーディオ信号、前記復元されたＬＳＰパラメータ及び前記復元された励起信号を用いて前記オーディオ信号を復元するステップと、を含む。
【図面の簡単な説明】
【００３４】
【図１Ａ】本発明の実施形態によってフレームエラー隠匿装置を示す復号化装置のブロック図である。
【図１Ｂ】図１Ａにおいて、フレームエラー隠匿部の細部ブロック図である。
【図２】実施形態によってフレームエラー隠匿装置を示す音声復号化装置のブロック図である。
【図３Ａ】図２に示した励起信号復元部の細部ブロック図である。
【図３Ｂ】図２に示したＬＳＰ（Ｌｉｎｅ  Ｓｐｅｃｔｒａｌ  Ｐａｉｒ）復元部の細部ブロック図である。
【図４Ａ】線形回帰分析により導出された関数の一例を示すグラフである。
【図４Ｂ】非線形回帰分析により導出された関数の一例を示すグラフである。
【図５】本発明の実施形態によって、フレームエラー隠匿装置を示すオーディオ復号化装置の構成を示すブロック図である。
【図６】本発明の実施形態によって、フレームエラー隠匿装置を示すオーディオ復号化装置の構成を示すブロック図である。
【図７】本発明の実施形態によって、フレームエラー隠匿方法を示す音声復号化方法のフローチャートである。
【図８】図７に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。
【図９】図７に示した励起信号復元ステップの細部フローチャートである。
【図１０】図７に示したＬＳＰパラメータ復元ステップの細部フローチャートである。
【図１１】本発明の実施形態によって、フレームエラー隠匿方法を示すオーディオ復号化方法のフローチャートである。
【図１２】図１１に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。
【図１３】本発明の実施形態によってフレームエラー隠匿方法を示すオーディオ復号化方法のフローチャートである。
【発明を実施するための形態】
【００３５】
以下、添付した図面を参照して、本発明の望ましい実施形態を説明する。
【００３６】
図１Ａは、本発明の実施形態によってフレームエラー隠匿装置を備えた復号化装置のブロック図であり、図１Ｂは、図１Ａに示したフレームエラー隠匿部１３０の細部ブロック図である。図１Ａ及び図１Ｂを参照するに、前記復号化装置１００は、エラー検出部１１０、復号化部１２０、フレームエラー隠匿部１３０を備え、フレームエラー隠匿部１３０は、信号特性分析部１４２及び設定部１４４を備える隠匿方式設定部１４０及びエラー隠匿部１５０を備える。
【００３７】
エラー検出部１１０は、伝送されたビットストリームにＥＦを検出し、ＥＦが検出されたことをフレームエラー隠匿部１３０に知らせる。ここでフレームは、一つのフレームまたは一つのフレームを構成するサブフレームでありうる。
【００３８】
復号化部１２０は、ビットストリームでエラーが発生していない正常フレーム（Ｇｏｏｄ  Ｆｒａｍｅ、ＧＦ）を復号化する。復号化部１２０は、ＩＴＵ−Ｔ  Ｇ．７２９のような音声コーデックまたはＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）−２／４ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）、ＭＰＥＧ−ＢＳＡＣ（Ｂｉｔ  Ｓｌｉｃｅｄ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）のようなオーディオコーデックで具現できる。
【００３９】
信号特性分析部１４２は、エラー検出部１１０で検出されたＥＦの信号の特性を分析し、分析された信号特性を設定部１４４に伝送する。設定部１４４は、伝送された信号特性を考慮してフレームエラーを隠匿するための方式を決定し、決定された方式によって隠匿部１４６で行われたフレームエラー隠匿方式を設定する。エラー隠匿部１５０は、設定された隠匿方式によってフレームエラーを隠匿する。
【００４０】
以下、復元する信号が音声信号である場合とオーディオ信号である場合、本発明の実施形態によるフレームエラー隠匿装置、これを利用した復号化装置の具体的な動作を説明する。
【００４１】
図２は、本発明の実施形態によってフレームエラー隠匿装置２３０を備えた音声復号化装置２００を示したブロック図であって、音声復号化装置２００は、エラー検出部２１０、復号化部２２０及びフレームエラー隠匿部２３０を備え、復号化部２２０は、励起信号復号化部２４０、線スペクトル対（Ｌｉｎｅ  Ｓｐｅｃｔｒａｌ  Ｐａｉｒ、以下、ＬＳＰという）復号化部２５０、ＬＰＳ／ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）変換部２６０、合成フィルター２７０を備える。また、フレームエラー隠匿部２３０は、隠匿方式設定部２８０及びエラー隠匿部２９０を備え、隠匿方式設定部２８０は、信号特性分析部２８２及び設定部２８４を備え、エラー隠匿部２９０は、励起信号復元部２９２及びＬＳＰ復元部２９４を備える。
【００４２】
以下、図２に示した音声復号化装置２００の動作を説明する。
【００４３】
エラー検出部２１０は、ビットストリームでＥＦを検出してフレームエラー隠匿部２３０に提供し、残りの正常フレームは復号化部２２０に提供する。
【００４４】
復号化部２２０は、提供された正常フレームのパラメータを復号化し、復号化したパラメータを利用して該当音声信号を復元する。本発明の実施形態で音声発声モデルに基づいたＣＥＬＰ（Ｃｏｄｅ  Ｅｘｃｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ）アルゴリズムを使用する場合、復号化部２２０は、音声信号の周波数特性を分析した１０個の根（ｒｏｏｔｓ）を持つＬＳＰパラメータと、励起信号を合成するためのパラメータとを復元し、復元されたパラメータを利用して音声信号を合成して出力する。励起信号を合成するためのパラメータには、ピッチ周期、パルス音源（パルスの位置）、パルス音源信号に対する利得ｇｃ及び適応コードブック音源信号に対する利得ｇｐが含まれる。励起信号復号化部２４０は、励起信号を合成するためのパラメータを復号化し、復号化したパラメータを利用して励起信号を合成する。
【００４５】
フレームエラー隠匿部２３０は、信号の特性によってＥＦを隠匿するための方式を設定し、設定された方式によってフレームエラーを隠匿する。
【００４６】
本発明の実施形態によれば、隠匿方式設定部２８０は信号の特性を分析し、分析された信号特性を考慮して回帰分析方式を設定し、エラー隠匿部２９０は、隠匿方式設定部２８０で設定された回帰分析方式によってフレームエラーを隠匿する。説明の便宜のために、隠匿方式設定部２８０でフレームエラーを隠匿するための回帰分析方式を設定する前に、エラー隠匿部２９０で回帰分析方式によってフレームエラーを隠匿する過程を先ず説明する。
【００４７】
前述したように、励起信号を合成するためのパラメータには、ピッチ周期、固定コードブックインデックス、適応コードブック利得パラメータｇｐ及び固定コードブック利得パラメータｇｃが含まれる。励起信号復元部２９２は、ＰＧＦの励起信号合成パラメータから、エラーが発生したフレームの励起信号の合成のためのパラメータを予測し、予測されたパラメータを利用して励起信号を合成することによって励起信号を復元する。ＰＧＦの励起信号合成のためのパラメータは、図２に示した励起信号復号化部２４０で復元され、ＥＦを復元するために使われるように、所定バッファ（図示せず）に保存されることが望ましい。励起信号復元部２９２は、フレームにエラーが発生した場合、所定バッファに保存されたＰＧＦのパラメータを読み取ってエラーフレームの励起信号を復元できる。
【００４８】
以下、図３Ａを参照して励起信号復元部２９２の動作を説明する。図３Ａは、図２に示した励起信号復元部２９２を図示したブロック図であって、励起信号復元部２９２は、第１関数導出部３００、利得調節部３１０、第１予測部３２０、第１後処理部３３０及び励起信号合成部３４０を備える。
【００４９】
第１関数導出部３００は、ＰＧＦの利得パラメータｇｐ、ｇｃから回帰分析を通じて関数を導出する。導出される関数は、線形関数または非線形関数である。非線形関数には、指数関数、ログ関数または累乗関数（ｐｏｗｅｒ  ｆｕｎｃｔｉｏｎ）などがある。隠匿方式設定部２８０（図２）で線形回帰分析によりエラーフレームのパラメータを予測するように設定された場合には線形関数が導出され、非線形回帰分析により予測するように設定された場合には非線形関数のうちいずれか一つが導出される。一つのフレームは複数のサブフレームで構成されるが、各サブフレーム別に持つ利得パラメータ値から、回帰分析を通じて各利得値に関する関数が導出される。
【００５０】
図４Ａ及び図４Ｂは、ＰＧＦまたはサブフレームのパラメータを回帰分析して導出される関数の例を示したものである。図４Ａは、ＰＧＦの利得パラメータ値ｘ１，ｘ２，…，ｘ８から導出された線形関数の例を示したものである。図４Ｂは、ＰＧＦの利得パラメータ値ｘ１，ｘ２，…，ｘ８から導出された非線形関数の例を示したものである。図４Ａ及び図４Ｂにおいて、ａ及びｂは回帰分析により求められる定数である。
【００５１】
図３Ａを参照するに、利得調節部３１０は、ＰＧＦの有声レベルによって前記導出された関数の係数を調節する。例えば、第１関数導出部３００では、次の式（１）のような線形関数が導出された場合、利得調節部３１０では、導出された非線形関数の係数を次の式（２）のように調節する。
【００５２】
【数１】
2014160280.tif 000003
ここで、ａ及びｂは、回帰分析により求められる定数であり、ｆ（  ）は、利得調節関数であり、有声レベルが高い時に勾配ａ’を小さくする役割を行う。
【００５３】
【数２】
2014160280.tif 000004
は、ＰＧＦの適応コードブック利得パラメータである。有声音は、同じ信号が一定時間持続することが特徴であるので、有声レベルが高い時に勾配ａ’を小さくすることで、音声信号の大きさが過度に減少することを適応的に防止できる。これら調節部３１０は、回帰分析により正確にエラーフレームの利得が予測されない場合にこれを補完する役割を行う。特に、利得パラメータに利得調節が適用されるのは、有声音で現在信号と以前信号との相関度が高いのは音声信号のエネルギー分布と関係あるが、利得パラメータは、音声信号のエネルギーと相関関係にあるパラメータであるためである。
【００５４】
図２及び図３Ａを参照するに、第１予測部３２０は、利得調節部３１０で係数が調節された関数により、エラーが発生したフレームのパラメータを予測する。後述する隠匿方式設定部２８０で、線形回帰分析によりパラメータを予測するように設定された場合は、例えば、図４Ａのように、線形関数によりＥＦの利得パラメータｘＰＬが予測され、非線形回帰分析によりパラメータを予測するように設定された場合は、図４Ｂのように、非線形関数によりＥＦの利得パラメータｘＰＮが予測される。もし、第１関数導出部３００から式（１）のような線形関数が導出され、利得調節部３１０で、例えば、式（２）のように導出された関数の係数が調節された場合、この係数が調節された関数により予測される利得パラメータ
【００５５】
【数３】
2014160280.tif 000005
は次のように予測される。
【００５６】
【数４】
2014160280.tif 000006
ここで、ａ’は、調節された係数であり、ｂは、回帰分析により求められる定数である。
【００５７】
第１後処理部３３０は、予測された利得パラメータを最適化する。例えば、予測された利得パラメータの値が所定範囲内に含まれるように上限値と下限値とをあらかじめ定めておき、予測された利得パラメータ値が上限値より高いか、または下限値より低ければ、該当ＬＰＳパラメータ値を上限値と下限値との間の値に修正する。このようにして、利得パラメータ値が予想できなかった値に予測されることを防止する。
【００５８】
励起信号合成部３４０は、利得調節部３１４または第１予測部３２０で予測されたＥＦの利得パラメータｇｐ、ｇｃを参照して、ＥＦの励起信号を合成する。本発明の実施形態によれば、励起信号を合成するために必要なピッチ周期や固定コードブックインデックスを、以前フレームの値を再使用するか、または任意の値を生成して使用できる。より詳細な内容は、ここにレファレンスによって併合されたＩＴＵ−Ｔ  Ｇ．７２９でフレームエラーを隠匿するために設けられた固有の機能を通じて説明する。
【００５９】
励起信号合成部３４０で合成された励起信号は、ＥＦの復元された励起信号であって、図２に示した合成フィルター２７０に出力される。
【００６０】
以下、図３Ｂを参照してＬＳＰ復元部２９４の動作を説明する。図３Ｂは、図２に示したＬＳＰ復元部２９２の細部ブロック図であって、ＬＰＳ復元部２９４は、ＬＳＰ／スペクトル変換部３５０、第２関数導出部３６０、第２予測部３７０、第２後処理部３８０及びスペクトル／ＬＳＰ変換部３９０を備える。ＬＳＰ復元部２９２は、ＰＧＦのＬＳＰパラメータから回帰分析を利用してエラーフレームのＬＳＰパラメータを復元する。
【００６１】
図２及び図３Ｂを参照するに、ＰＧＦのＬＳＰパラメータは、図２に示したＬＳＰ復号化部２４０で復元され、励起信号復元部２９２と同じく、ＥＦを復元するために使われるように所定バッファ（図示せず）に保存されることが望ましい。ＬＳＰ復元部２９４は、フレームにエラーが発生した場合、所定バッファに保存されたＰＧＦのパラメータを読み取ってエラーフレームのＬＳＰパラメータを復元できる。
【００６２】
ＬＳＰ／スペクトル変換部３５０は、ＰＧＦの１０個の根を持つＬＳＰパラメータをスペクトル領域に変換してスペクトルパラメータを得る。
【００６３】
第２関数導出部３６０は、ＰＧＦのスペクトルパラメータから回帰分析を通じて関数を導出する。第１関数導出部３００と同様に、この関数は、隠匿方式設定部２８０の設定事項によって線形関数または非線形関数でありうる。図４Ａ及び図４Ｂは、ＰＧＦまたはサブフレームのパラメータを回帰分析して導出される関数の例を示したものである。図４Ａは、ＰＧＦのスペクトルパラメータ値ｘ１，ｘ２，…，ｘ８から導出された線形関数ｘ（ｉ）＝ａｘ＋ｂの例を示したものである。図４Ｂは、ＰＧＦのスペクトルパラメータ値ｘ１，ｘ２，…，ｘ８から非線形関数ｘ（ｉ）＝ａが導出される例を示したものである。ここで、ａ及びｂは、回帰分析により求められる定数である。
【００６４】
第２予測部３７０は、導出された関数を利用してＥＦのスペクトルパラメータを予測する。図４Ａでは、線形関数によりＥＦのスペクトルパラメータｘＰＬが予測され、図４Ｂでは、非線形関数によりＥＦのスペクトルパラメータｘＰＮが予測される。
【００６５】
第２後処理部３８０は、予測されたＬＳＰパラメータを最適化する。例えば、予測されたＬＳＰパラメータが所定境界（ｔｈｒｅｓｈｏｌｄ）内の値を持つように、上限値と下限値とをあらかじめ定めておき、予測されたＬＰＳパラメータ値が上限値より高いか、または下限値より低ければ、該当ＬＰＳパラメータ値を上限値と下限値との間の値に修正する。このようにして、予想できなかった値にＬＳＰパラメータが予測されることを防止できる。
【００６６】
スペクトル／ＬＳＰ変換部３９０は、前記予測されたスペクトルパラメータをＬＳＰパラメータに変換することによって、ＥＦのＬＳＰパラメータを復元する。復元されたＬＳＰパラメータは、図２に示したＬＳＰ／ＬＰＣ変換部２５０に出力される。
【００６７】
前述したように、ＬＳＰ復元部２９４で復元されたＥＦのＬＳＰパラメータはＬＳＰ／ＬＰＣ変換部２６０に出力され、励起信号復元部２９２で復元されたＥＦの励起信号は合成フィルター２７０に出力される。したがって、復号化部２２０は、正常フレーム信号を復元して出力することと同様に、フレームエラー隠匿部２３０で復元されたＬＳＰパラメータ及び励起信号を利用して、エラーが発生したフレームの信号を復元して出力する。このようにして、ＥＦのエラーが隠匿される結果をもたらす。
【００６８】
以下、本発明の実施形態によって、隠匿方式設定部３００で信号の特性を考慮して回帰分析方式を設定する過程について説明する。図２を参照するに、隠匿方式設定部２８０は、信号特性分析部２８２及び設定部２８４とを備える。
【００６９】
信号特性分析部２８２は、ＰＧＦの情報に基づいてエラーが発生したフレーム信号特性を分析する。分析された信号特性は、後述する設定部２３４でフレームエラーを隠匿するための方式を設定する根拠として使われる。本発明の実施形態によれば、信号特性分析部２８２は、ＰＧＦの分類情報に基づいて信号の特性を分析する。分類情報とは、音声信号を周波数推移の特徴によって分類した情報であって、例えば、有声音（Ｖｏｉｃｅｄ）、無声音（Ｕｎｖｏｉｃｅｄ）、転移（Ｔｒａｎｓｉｔｉｏｎ）、オンセット（Ｏｎｓｅｔ）、オフセット（Ｏｆｆｓｅｔ）、黙音（Ｓｉｌｅｎｃｅ）、背景雑音（Ｂａｃｋｇｒｏｕｎｄ  Ｎｏｉｓｅ）などの類型がありうる。
【００７０】
信号特性分析部２８２で、ＰＧＦの分類情報に基づいて信号の特性を分析する場合、各分類情報によって次のように信号の特性を分析することができる。有声音は、所定の長い期間に一定周波数が持続するので、ＰＧＦが有声音である場合、現在信号と以前信号との相関度が高い特性がある。一方、無声音や背景雑音は、現在信号と以前信号との相関度が低い特性がある。したがって、音声が有声音であるか、無声音であるか、または転移状態であるかによって、音声の特徴を代表するパラメータが線形的に変化するか、非線形的に変化するか、以前フレームと相関度が高いか低いかに関する特性を分析することができる。
【００７１】
本発明の実施形態によれば、信号特性分析部２８２は、ＰＧＦのエネルギー情報に基づいて信号の特性を分析することができる。したがって、エネルギーの変化推移によって信号が安定か不安定かを分析して、現在フレームと以前フレームとの信号の相関度などを分析することができる。前記言及した実施形態以外にもその他の多様な観点での信号特性分析が可能であろう。
【００７２】
設定部２８４は、信号特性分析部２８２で分析された信号の特性を考慮して、フレームエラーを隠匿するための回帰分析方式を設定する。設定できる事項には、線形回帰分析を使用するか、または非線形回帰分析を使用するか、回帰分析を参照するＰＧＦの数などがある。また、回帰分析を利用してＥＦの利得パラメータを予測した場合、予測されたパラメータ値を調節するための調節関数を設定することもできる。
【００７３】
本発明の実施形態による隠匿方式設定部２８０の設定過程を、図２及び図８に示した分析及び設定ステップに関するフローチャートを参照して説明する。図８は、図７に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。
【００７４】
第８００ステップで、信号特性分析部２８２は、ＰＧＦの分類情報またはエネルギー情報に基づいて信号の特性を分析する。信号特性分析部２８２は、分析結果に基づいて現在信号が有声音であるか、無声音であるか、黙音であるか、転移状態であるか、オンセット状態であるか、オフセット状態であるか、背景雑音であるかなどを分析する。
【００７５】
第８１０ステップで、設定部２８４は、分析結果に基づいて現在信号が黙音であるかどうかを判断する。第８１０ステップで黙音であると判断された場合には、第８２０ステップで線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第８３０ステップで、以前Ｍ個の正常フレームを参照して回帰分析をすると設定する。第８１０ステップで、現在信号が黙音ではないと判断された場合には、第８４０ステップで非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定する。そして、第８５０ステップで、現在信号が有声音であるかどうかを判断する。第８５０ステップで有声音と判断される場合には、第８６０ステップで、Ｍ個のＰＧＦのパラメータを参照して回帰分析するように設定し、第８５０ステップで有声音でないと判断される場合には、第８７０ステップで、Ｎ個のＰＧＦのパラメータを参照して回帰分析するように設定する。ここでＭは、Ｎより大きい整数であることが望ましい。有声音は、以前信号との相関度が高いため、さらに正確で自然な信号を復元するために、さらに長い区間の以前信号を参照することが望ましいが、無声音は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。これは、一実施形態による設定方式であるので、信号特性を分析する方式や分析された信号特性によってフレームエラー隠匿方式を設定する多様な方法があり得、当業者が容易に変形して使用できる方法はいずれも本発明の実施形態の保護範囲に属する。
【００７６】
エラー隠匿部２９０は、隠匿方式設定部２８０で設定された隠匿方式によってフレームエラーを隠匿する。エラー隠匿部２９０の動作は前述した通りである。
【００７７】
次いで、図５を参照して本発明の実施形態によるフレームエラー隠匿部５３０を備えるオーディオ復号化装置５００の動作を説明する。図５に示したオーディオ復号化装置５００は、エラー検出部５１０、復号化部５２０及びフレームエラー隠匿部５３０を備える。また、復号化部５２０は、無損失復号化部５４０、逆量子化部５５０及びフィルターバンク５６０を備え、フレームエラー隠匿部５３０は、信号特性分析部５７２、設定部５７４を備える隠匿方式設定部５７０及びエラー隠匿部５８０を備える。
【００７８】
一般的にＭＰＥＧ−２／４ＡＡＣによるオーディオ符号化装置は、オーディオ信号をＭＤＣＴ（Ｍｏｄｕｌａｔｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｍａｔｉｏｎ）変換してオーディオ信号の周波数成分に関するスペクトルパラメータを抽出する。オーディオ信号は、抽出されたスペクトルパラメータを無損失符号化してビットストリームを生成し、生成されたビットストリームをオーディオ復号化装置５００に伝送する。
【００７９】
エラー検出部５１０は、図２のように、伝送されたビットストリームでＥＦを検出してフレームエラー隠匿部５３０に提供し、残りの正常フレームは復号化部５２０に提供する。
【００８０】
復号化部５２０は、提供された正常フレームのスペクトルパラメータを復元し、復元されたスペクトルパラメータから正常フレームのオーディオ信号を合成して出力する。無損失復号化部５４０は、正常フレームに該当するビットストリームをハフマンアルゴリズムなどを利用して無損失復号化し、逆量子化部５５０で逆量子化してスペクトルパラメータを復元する。フィルターバンク５６０は、復元されたスペクトルパラメータを逆ＭＤＣＴ変換して時間領域のオーディオ信号を復元して出力する。
【００８１】
信号特性分析部５７２は、ＥＦのＰＧＦの情報に基づいて信号の特性を分析する。オーディオ信号の特性を分析するために利用できるＰＧＦの情報には、アタック情報、ウィンドウ情報及びエネルギー情報などがある。
【００８２】
アタック信号情報とは、フレームに含まれたアタックサウンドに関する情報を含むことができる。アタックサウンドとは、オーディオ信号に含まれた低帯域の強度が強いサウンドをいい、これらのアタックサウンドは周期的ではない。したがって、信号特性分析部５６０は、アタックサウンドがオーディオ信号に含まれているならば、現在信号と以前信号との相関度が高くないと信号特性を分析することができる。
【００８３】
ウィンドウ情報とは、オーディオ符号化装置でオーディオ信号をサンプリングし、かつ量子化して得られたＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄａｕｌａｔｉｏｎ）サンプルをＭＤＣＴ変換する時に使われたウィンドウのサイズや形態に関する情報を含むことができる。オーディオ符号化装置でオーディオ信号の周波数スペクトルがあまり変わらない静的な信号は、サイズの大きいウィンドウを使用して時間領域信号をＭＤＣＴ変換してスペクトルパラメータを抽出するが、周波数スペクトルが多く変化する躍動的な信号は、さらに小さなサイズのウィンドウを使用してＭＤＣＴ変換をする。したがって、信号特性分析部５７２は、オーディオ符号化装置で使われたウィンドウのサイズが大きければ、信号が静的であると判断して現在信号と以前信号との相関度が高く、相関度の高い以前信号の区間が長いと信号特性を分析することができる。しかし、逆にウィンドウのサイズが小さいならば、現在信号と以前信号との相関度が低いか、または相関度の高い以前信号の区間が短いと信号特性を分析することができる。
【００８４】
エネルギー情報とは、フレームまたはサブフレームのエネルギー情報を含むことができる。信号特性分析部５７２は、ＰＧＦのエネルギー情報から以前信号のエネルギー変化推移を把握し、エネルギー変化推移によって信号が静的であるか、または動的であるかを分析する。以前信号のエネルギーがほぼ変化がないか、または安定している場合ならば、現在信号が以前信号との相関度が高い静的な信号であると分析し、エネルギーが急激に変わるか、または変化を予測し難い場合には、現在信号が以前信号との相関度が低い動的な信号であると分析することができる。前記実施形態以外にもその他の多様な観点での信号特性分析が可能であろう。
【００８５】
本発明の実施形態によれば、信号特性分析部５７２が突発情報、ウィンドウ情報及びエネルギー情報のうち少なくともいずれか一つの情報を総合的に考慮して信号の特性が静的であるか、または動的であるかを分析し、分析された信号特性を設定部５７４に提供する。
【００８６】
設定部５７４は、信号特性分析部５７２で提供された信号特性を考慮してフレームエラーを隠匿するための回帰分析方式を設定する。設定部５７４で設定できる事項は、図３に示した設定部２８４と同様に、線形回帰分析を使用するか、または非線形回帰分析を使用するか、回帰分析を参照するＰＧＦの数などがある。また、回帰分析を利用してエラー発生したフレームＥＦのスペクトルパラメータを予測した場合、予測されたパラメータ値を調節するための調節関数を設定することもできる。
【００８７】
本発明の実施形態による隠匿方式設定部５７０の設定過程を、図５及び図１２に示した分析及び設定ステップに関するフローチャートを参照して説明する。図１２は、図１１に示した信号特性分析及び隠匿方式設定ステップの細部フローチャートである。
【００８８】
第１２００ステップで、信号特性分析部５６０は、ＰＧＦのウィンドウ情報及びエネルギー情報に基づいて信号の特性を分析する。
【００８９】
第１２１０ステップで、設定部５７０は、分析結果現在信号が静的であるかどうかを判断する。第１２１０ステップで、現在信号が静的であると判断される場合、第１２２０ステップで線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２３０ステップで、以前Ｋ個の正常フレームを参照して回帰分析すると設定する。第１２１０ステップで現在信号が静的でないと判断される場合には、第１２４０ステップで、非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２５０ステップで、以前Ｌ個の正常フレームを参照して回帰分析すると設定する。したがって、ＫはＬより大きい整数でありうる。静的なオーディオ信号は以前信号と相関度が高いため、さらに正確で自然な信号を復元するために、さらに長い区間の以前信号を参照することが望ましいが、動的なオーディオ信号は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。これは実施形態に過ぎず、信号特性を分析する方式や分析された信号特性によってフレームエラー隠匿方式を設定する多様な方法があり、当業者が容易に変形して使用できる方法はいずれも本発明の保護範囲に属する。
【００９０】
エラー隠匿部５８０は、設定部５７４で設定された回帰分析方式によってフレームエラーを隠匿する。図２のエラー隠匿部２９０と同様に、ＰＧＦのスペクトルパラメータから回帰分析を通じてＥＦのスペクトルパラメータを復元することによって、フレームエラーを隠匿する。復元されたスペクトルパラメータは復号化部５２０のフィルターバンク５６０に提供され、フィルターバンク５６０は、正常フレームのスペクトルパラメータを使用して該当フレームのオーディオ信号を復元することと同様に、エラーが発生したフレームの復元されたスペクトルパラメータを使用してエラーが発生したフレームのオーディオ信号を復元する。ただし、ＰＧＦのＭＤＣＴパラメータが周波数帯域のサブバンド別に復号化されるならば、エラー隠匿部５８０でも各サブバンドごとに区別して、ＰＧＦのパラメータからＥＦのパラメータを復元せねばならない。
【００９１】
以下、本発明の実施形態によってエラー隠匿部５８０の動作を説明する。図５に示したエラー隠匿部５８０で、ＰＧＦがスペクトルパラメータから回帰分析を通じてＥＦのスペクトルパラメータを予測する過程は、図３に示した励起信号復元部３４０及びＬＳＰ復元部３５０で、以前正常フレームパラメータから回帰分析を通じてエラーが発生したフレームのパラメータを予測する過程と類似しているので、詳細な説明は省略する。
【００９２】
次いで、図６を参照して本発明の実施形態によるフレームエラー隠匿部６３０を備えたオーディオ復号化装置６００の動作を説明する。本発明の実施形態によれば、オーディオ復号化装置６００は、複数の階層で構成されたビットストリームを復号化する。ＢＳＡＣ（Ｂｉｔ  Ｓｌｉｃｅｄ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）のように複数の階層でビットストリームが構成され、各階層別に周波数帯域が割り当てられた場合、ビットストリームの中間にエラーが発生してもエラーが発生した位置の以前階層まではそのまま復元ができる。これによって実施形態では、エラーが発生したフレームであっても、エラーが発生するまで復号化した情報を検出することによってオーディオの音質を改善できる。
【００９３】
図６は、本発明の実施形態によるフレームエラー隠匿部６３０を備えたオーディオ復号化装置６００のブロック図であって、オーディオ復号化装置６００は、エラー検出部６１０、復号化部６２０及びフレームエラー隠匿部６３０を備える。また、復号化部６２０は、無損失復号化部６４０、逆量子化部６５０及びフィルターバンク６６０を備え、フレームエラー隠匿部６３０は、信号特性分析部６７２、設定部６７４を備える隠匿方式設定部６７０及びエラー隠匿部６８０を備える。
【００９４】
図６に示したオーディオ復号化装置６００は、図５に示したオーディオ復号化装置５００の構成と類似した部分があるので、類似した部分については簡略に説明し、区別される差異点を中心に記述する。
【００９５】
エラー検出部６１０は、伝送されたビットストリームでＥＦを検出し、それに加えて前記フレームでエラーが発生した位置を検出する。エラーが発生したフレームであってもビットストリームが階層構造を持つ場合、エラーが発生した位置の以前正常階層（Ｐｒｅｖｉｏｕｓ  Ｇｏｏｄ  Ｌａｙｅｒ、ＰＧＬ）は、復号化部６２０で正常に復号化が可能なためである。
【００９６】
復号化部６２０は、提供された正常フレームまたは正常階層のスペクトルパラメータを復元し、復元されたスペクトルパラメータから該当フレームのオーディオ信号を復元して出力する。無損失復号化部６４０は、正常フレームまたはエラーフレームの正常階層に該当するビットストリームを算術復号化方式によって無損失復号化し、逆量子化部６５０で逆量子化することでスペクトルパラメータを復元する。フィルターバンク６６０は、復元されたスペクトルパラメータを逆ＭＤＣＴ変換して時間領域のオーディオ信号を復元して出力する。
【００９７】
フレームエラー隠匿部６３０は、エラー検出部６１０からエラーが発生したフレームでエラーが発生した位置を含む階層及びそれ以後の階層を伝送され、エラーを隠匿する。
【００９８】
本発明の実施形態によれば、信号特性分析部６６０は、以前正常階層ＰＧＦの情報に基づいて信号特性を分析するだけではなく、エラーが発生した位置の以前正常階層ＰＧＬの情報に基づいても信号特性を分析する（Ｓ１３３０ステップ）。ＰＧＦまたは以前正常階層ＰＧＬの情報には、図５で既に説明したアタック信号情報、ウィンドウ情報及びエネルギー情報などが含まれうる。これら情報については前述したので、ここでは省略する。
【００９９】
設定部６７０は、信号特性分析部６６０で分析した信号特性を考慮してフレームエラーを隠匿するための回帰分析方式を設定する（Ｓ１３３０ステップ）。設定部６７０のさらに具体的な動作は、図５Ａに示した設定部５７０の動作と類似しているので、説明を省略する。
【０１００】
エラー隠匿部６８０は、設定部６７０で設定された回帰分析方式でフレームのエラーを隠匿する。エラー隠匿部６８０は、ＰＧＦのスペクトルパラメータに加えて、ＥＦの以前正常階層ＰＧＬのスペクトルパラメータも利用して、フレームでエラーが発生した階層及びそれ以後の階層のスペクトルパラメータを復元する（Ｓ１３４０ステップ）。以前信号のスペクトルパラメータから回帰分析を通じて現在信号のスペクトルパラメータを予測する具体的な方法は、図３Ａに示したＬＳＰ復元部２９４または励起信号復元部２９２の予測方法と類似しているので、説明を省略する。
【０１０１】
エラー隠匿部６８０で復元されたエラーが発生した階層及びそれ以後の階層のスペクトルパラメータは、復号化部６６０のフィルターバンク６５０に伝送される。
【０１０２】
フィルターバンク６５０は、復号化部６２０で正常に復号化したエラーが発生したフレームの以前正常階層ＰＧＬのスペクトルパラメータと、フレームエラー隠匿部６３０で復元されたエラーが発生した階層及びそれ以後の階層のスペクトルパラメータとを利用して、エラーが発生したフレームのオーディオ信号を復元して出力する。
【０１０３】
ＢＳＡＣのように複数の階層を持つビットストリームの場合には、ビットストリームの中間にエラーが発生しても、エラーが発生した以前階層までは復号化部６２０で正常に復号化できるので、前記以前階層のスペクトルパラメータは復号化部６２０で復元させ、残りのエラーが発生した階層及びそれ以後の階層のスペクトルパラメータのみフレームエラー隠匿部６３０で復元させることによって、さらに正確にエラーが発生したフレームのオーディオ信号を復元できる。
【０１０４】
以下、図７を参照して本発明の実施形態によるフレームエラー隠匿方法を利用した音声復号化方法を説明する。図７は、本発明の実施形態によるフレームエラー隠匿方法を利用した音声復号化方法を示すフローチャートである。
【０１０５】
第７００ステップで、ビットストリームのフレームにエラーが発生したかどうかを判断する。第７００ステップでエラーが発生していないと判断されれば、第７１０ステップで、エラーが発生していないＧＦの音声信号を復元する。第７００ステップでエラーが発生したと判断されれば、第７２０ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第７３０ステップで、分析された信号の特性を考慮して、フレームに発生したエラーを隠匿するための回帰分析方式を設定する。第７４０ステップで、設定された回帰分析方式によって、ＰＧＦの利得パラメータｇｐ、ｇｃを利用してＥＦの利得パラメータを復元し、第７４５ステップで、復元された利得パラメータを利用してＥＦの励起信号を復元する。第７５０ステップで、設定された隠匿方式によってＰＧＦのＬＳＰパラメータから、ＥＦのＬＳＰパラメータを復元する。第７６０ステップで復元された励起信号及びＬＳＰパラメータを利用して、ＥＦの音声信号を復元する。
【０１０６】
以下、図８を参照して図７に示した信号特性分析及び隠匿方式設定ステップ（第７２０及び第７３０ステップ）を説明する。図８は、第７２０及び第７３０ステップのさらに詳細なフローチャートである。
【０１０７】
第８００ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第８１０ステップで分析された信号特性に基づいて現在信号が黙音であるかどうかを判断する。第８１０ステップで、黙音であると判断された場合には、第８２０ステップで、線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第８３０ステップで、以前Ｍ個の正常フレームを参照して回帰分析をすると設定する。第８１０ステップで現在信号が黙音ではないと判断された場合には、第８４０ステップで、非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定する。第８５０ステップで現在信号が有声音であるかどうかを判断する。第８５０ステップで、有声音であると判断される場合には、第８６０ステップで、Ｍ個のＰＧＦのパラメータを参照して回帰分析するように設定する。第８５０ステップで有声音ではないと判断される場合には、第８７０ステップで、Ｎ個のＰＧＦのパラメータを参照して回帰分析するように設定する。ここでＭは、Ｎより大きい整数であることが望ましい。有声音は以前信号との相関度が高いため、さらに正確で自然な信号を復元するためにさらに長い区間の以前信号を参照することが望ましいが、無声音は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。
【０１０８】
以下、図９を参照して図７に示した励起信号復元ステップ（第７４０ステップ）を説明する。図９は、図７に示した第７４０ステップの細部フローチャートである。
【０１０９】
第９００ステップで、ＰＧＦの利得パラメータｇｐ、ｇｃから回帰分析を通じて関数を導出する。第９１０ステップで、ＰＧＦの有声レベルによって前記導出された関数の係数を調節する。第９２０ステップで、係数の調節された関数によりＥＦの利得パラメータを予測する。第９３０ステップで、予測された利得パラメータ値が所定範囲を外れるかどうかを判断する。第９３０ステップで、前記予測された利得パラメータ値が前記所定範囲を外れる場合、第９４０ステップで、前記予測された利得パラメータ値を所定範囲内の値に修正する。第９３０ステップで、前記予測された利得パラメータ値が前記所定範囲を外れない場合に第９５０ステップに進む。第９５０ステップで、前記第９２０ステップで予測された利得パラメータまたは第９４０ステップで、値が修正された利得パラメータを利用して励起信号を合成する。第９６０ステップで、合成された励起信号をＥＦの復元された励起信号として出力する。
【０１１０】
以下、図１０を参照して、図７に示したＬＳＰパラメータ復元ステップ（第７５０ステップ）を説明する。図１０は、図７に示した第７５０ステップの細部フローチャートである。
【０１１１】
第１０００ステップで、ＰＧＦのＬＳＰパラメータをスペクトル領域に変換してスペクトルパラメータを生成する。第１０１０ステップで、生成されたスペクトルパラメータから回帰分析を通じて関数を導出する。第１０２０ステップで、導出された関数によりＥＦのスペクトルパラメータを予測する。第１０３０ステップで、予測されたスペクトルパラメータ値が所定範囲を外れるかどうかを判断する。第１０３０ステップで所定範囲を外れると判断される場合、第１０４０ステップで前記予測されたスペクトルパラメータ値を所定範囲内の値に修正する。第１０３０ステップで前記所定範囲を外れないと判断される場合、第１０５０ステップに進む。第１０５０ステップで、前記第１０２０ステップで予測されたスペクトルパラメータまたは第１０４０ステップで修正されたスペクトルパラメータをＬＳＰパラメータに変換する。第１０６０ステップで、変換されたＬＳＰパラメータをＥＦの復元されたＬＳＰパラメータとして出力する。
【０１１２】
以下、図１１を参照して本発明の実施形態によるフレームエラー隠匿を利用したオーディオ復号化方法を説明する。
【０１１３】
第１１００ステップで、ビットストリームのフレームにエラーが発生したかどうかを判断する。第１１００ステップでエラーが発生していないと判断されれば、第１１０５ステップで、エラーが発生していないＧＦのスペクトルパラメータを復号化する。第１１１０ステップで、復号化したスペクトルパラメータを利用して正常フレームのオーディオ信号を復元する。第１１００ステップでエラーが発生したと判断されれば、第１１２０ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第１１３０ステップで、分析された信号の特性を考慮してフレームに発生したエラーを隠匿するための回帰分析方式を設定する。第１１４０ステップで、設定された回帰分析方式によって、ＰＧＦスペクトルパラメータを利用してＥＦのスペクトルパラメータを復元する。第１１５０ステップで、復元されたスペクトルパラメータを利用して、エラーが発生したフレームのオーディオ信号を復元する。
【０１１４】
以下、図１２を参照して、図１１に示した第１１２０及び第１１３０ステップを説明する。図１２は、図１１に示した第１１２０及び第１１３０ステップのさらに詳細なフローチャートである。
【０１１５】
第１２００ステップで、ＰＧＦの情報に基づいて信号の特性を分析する。第１２１０ステップで分析された結果に基づいて現在信号が静的であるかどうかを判断する。第１２１０ステップで現在信号が静的であると判断される場合、第１２２０ステップで、線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２３０ステップで、以前Ｋ個の正常フレームを参照して回帰分析を行うと設定する。第１２１０ステップで現在信号が静的でないと判断される場合には、第１２４０ステップで、非線形回帰分析を通じてエラーフレームのパラメータを復元すると設定し、第１２５０ステップで、以前Ｌ個の正常フレームを参照して回帰分析するように設定する。ここでＫは、Ｌより大きい整数であることが望ましい。静的なオーディオ信号は、以前信号と相関度が高いため、さらに正確で自然な信号を復元するためにさらに長い区間の以前信号を参照することが望ましいが、動的なオーディオ信号は以前信号との相関度が低いため、さらに短い区間の以前信号を参照することが望ましいためである。
【０１１６】
以下、図１３を参照して、本発明の実施形態によるフレームエラー隠匿を利用したオーディオ復号化方法を説明する。
【０１１７】
第１３００ステップで、ビットストリームのフレームにエラーが発生したかどうかを判断する。第１３００ステップでエラーが発生していないと判断されれば、第１３１０ステップで、エラーが発生していないＧＦのスペクトルパラメータを復号化する。第１３２０ステップで、復号化したスペクトルパラメータを利用してＧＦのオーディオ信号を復元する。
【０１１８】
第１３００ステップでエラーが発生したと判断されれば、第１３３０ステップで、前記フレームでエラーが発生した位置を検出する。エラーが発生したフレームであってもビットストリームが階層構造を持つ場合、エラーが発生した位置の以前正常階層ＰＧＬは正常に復号化できるためである。したがって、第１３４０ステップで、フレームでのエラーが発生した位置の以前正常階層ＰＧＬのスペクトルパラメータを復号化する。第１３５０ステップで、ＰＧＦの情報及び以前正常階層ＰＧＬの情報に基づいて信号の特性を分析する。１３６０ステップで、分析された結果に基づいて、エラーが発生した位置を含む階層及びそれ以後の階層のスペクトルパラメータを復元するための回帰分析方式を設定する。第１３７０ステップで、前記設定された回帰分析方式によって、ＰＧＦのスペクトルパラメータ及び以前正常階層ＰＧＬのスペクトルパラメータを利用して、エラーが発生した位置を含む階層及びそれ以後の階層のスペクトルパラメータを復元する。第１３８０ステップで、第１３４０ステップで復号化した以前正常階層ＰＧＬのスペクトルパラメータ及び、第１３７０ステップで復元されたエラーが発生した階層及びそれ以後の階層のスペクトルパラメータを利用して、エラーが発生したフレームのオーディオ信号を復元する。
【０１１９】
説明したように、本発明の実施形態によるフレームエラー隠匿を利用した復号化方法及び装置はエラーが発生したフレームの信号特性を分析し、分析された信号特性を考慮してエラーが発生したフレームを復元するための最適化した回帰分析方式を設定し、設定された方式によってエラーが発生したフレームのパラメータを復元することによって、さらに正確にエラーが発生したフレームを復元することによってフレームエラーによる音質低下を最小化できる。
【０１２０】
それに加えて実施形態によるフレームエラー隠匿を利用した復号化方法及び装置は、ビットストリームが階層構造を持つ場合、エラーが発生したフレーム全体をフレームエラー隠匿方式によって復元するのではなく、エラーが発生した位置の以前階層は正常に復元し、復元された以前正常階層のパラメータを参照して残りのエラーが発生した位置を含む階層及びそれ以後の階層のみをフレームエラー隠匿方式によって復元することによって、さらに正確にエラーが発生したフレームを復元でき、それによって音質低下を最小化できる。
【０１２１】
本発明の実施形態はまた、コンピュータで読み取り可能な媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じるデータ伝送）の形態で具現されるものも含む。またコンピュータで読み取り可能な媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて行われうる。そして実施形態を具現するための機能的なプログラム、コード及びコードセグメントは、当業界のプログラマーにより容易に推論される。
【０１２２】
以上、図面と明細書で最適の実施形態が開示された。ここで特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであって、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
【０１２３】
前述したように、本発明の実施形態によるフレームエラー隠匿方法及び装置は、信号の特性を考慮して設定された方式によってフレームエラーを隠匿することによって、エラーが発生したフレームをさらに正確に復元できる。
【０１２４】
また、階層構造を持つビットストリームの場合には、フレームでエラーが発生した階層の以前階層は正常に復号化し、残りの階層を以前正常フレームと以前階層の復号化した結果を参照して復元することで、エラーが発生した階層をさらに正確に復元できる。
【０１２５】
また、本発明の実施形態によるフレームエラー隠匿方法及び装置は、回帰分析を利用してフレームエラーを隠匿することによって、以前正常フレーム及び以前階層の推移をさらに細密に考慮してエラーが発生したフレームまたは階層をさらに正確に予測できる。
【０１２６】
本発明の実施形態による復号化方法及び装置は、本発明によるフレームエラー隠匿方法及び装置を利用してエラーが発生したフレームを隠匿するので、フレームエラーによる音質低下を最小化できる。
【符号の説明】
【０１２７】
１００  復号化装置
１１０  エラー検出部
１２０  復号化部
１３０  フレームエラー隠匿部
１４０  隠匿方式設定部
１４２  信号特性分析部
１４４  設定部
１５０  エラー隠匿部
２００  音声復号化装置
２１０  エラー検出部
２２０  復号化部
２３０  フレームエラー隠匿装置
２４０  励起信号復号化部
２５０  ＬＳＰ復号化部
２６０  ＬＰＳ／ＬＰＣ変換部
２７０  合成フィルター
２８０  隠匿方式設定部
２８２  信号特性分析部
２８４  設定部
２９０  エラー隠匿部
２９２  励起信号復元部
２９４  ＬＳＰ復元部
３００  第１関数導出部
３１０  利得調節部
３２０  第１予測部
３３０  第１後処理部
３４０  励起信号合成部
３５０  ＬＳＰ／スペクトル変換部
３６０  第２関数導出部
３７０  第２予測部
３８０  第２後処理部
３９０  スペクトル／ＬＳＰ変換部
５００  オーディオ復号化装置
５１０  エラー検出部
５２０  復号化部
５３０  フレームエラー隠匿部
５４０  無損失復号化部
５５０  逆量子化部
５６０  フィルターバンク
５７０  隠匿方式設定部
５７２  信号特性分析部
５７４  設定部
５８０  エラー隠匿部
６００  オーディオ復号化装置
６１０  エラー検出部
６２０  復号化部
６３０  フレームエラー隠匿部
６４０  無損失復号化部
６５０  逆量子化部
６６０  フィルターバンク
６７０  隠匿方式設定部
６７２  信号特性分析部
６７４  設定部
６８０  エラー隠匿部
【図１Ａ】
2014160280.tif 000007
【図１Ｂ】
2014160280.tif 000008
【図２】
2014160280.tif 000009
【図３Ａ】
2014160280.tif 000010
【図３Ｂ】
2014160280.tif 000011
【図４Ａ】
2014160280.tif 000012
【図４Ｂ】
2014160280.tif 000013
【図５】
2014160280.tif 000014
【図６】
2014160280.tif 000015
【図７】
2014160280.tif 000016
【図８】
2014160280.tif 000017
【図９】
2014160280.tif 000018
【図１０】
2014160280.tif 000019
【図１１】
2014160280.tif 000020
【図１２】
2014160280.tif 000021
【図１３】
2014160280.tif 000022