(57)【特許請求の範囲】
【請求項１】
受信オーディオ信号の損失オーディオフレームのコンシールメントを行う方法であって、
過去に受信又は再構成されたオーディオ信号から、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントを抽出するステップと、
前記抽出されたプロトタイプフレームを周波数領域表現に変換するステップと、
前記プロトタイプフレームの正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行うステップ（８１）と、
正弦波周波数ｆk、並びに、前記損失オーディオフレームと前記プロトタイプフレームとの間の時間差に比例する位相シフトにより、正弦波ｋの付近における区間Ｍkに含まれる前記プロトタイプフレームの全てのスペクトル係数を変更し、これにより、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分の時間発展を含め、かつ、それらのスペクトル係数の振幅を一定に保つステップと、
前記特定された正弦波の付近の領域に関連する区間のいずれにも含まれない前記プロトタイプフレームのスペクトル係数の位相を、ランダム値によって変更し、そのスペクトル係数の振幅を一定に保つステップと、
前記プロトタイプフレームの前記位相が調整された周波数スペクトルの逆周波数領域変換を行って前記損失オーディオフレームの前記代替フレームを生成するステップ（８３）と、
を有することを特徴とする方法。
【請求項２】
前記正弦波成分の周波数を特定することは、更に、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記正弦波成分の周波数を特定することは、前記使用される周波数領域変換の周波数分解能よりも高い分解能で行われることを特徴とする請求項２に記載の方法。
【請求項４】
前記正弦波成分の周波数を特定することは、補間を更に含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記補間は放物線型であることを特徴とする請求項４に記載の方法。
【請求項６】
窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出するステップを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記窓関数のスペクトルの近似であって、代替フレームスペクトルが当該近似された窓関数のスペクトルの部分と一切重複しないような近似を更に含むことを特徴とする請求項６に記載の方法。
【請求項８】
受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダ（１）であって、
前記デコーダは、プロセッサ（１１）と、前記プロセッサ（１１）によって実行可能な命令を含むメモリ（１２）とを含み、
これにより前記デコーダは、
過去に受信又は再構成されたオーディオ信号から、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントを抽出し、
前記抽出されたプロトタイプフレームを周波数領域表現に変換し、
前記プロトタイプフレームの正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、
正弦波周波数ｆk、並びに、前記損失オーディオフレームと前記プロトタイプフレームとの間の時間差に比例する位相シフトにより、正弦波ｋの付近における区間Ｍkに含まれる前記プロトタイプフレームの全てのスペクトル係数を変更し、これにより、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させ、かつ、それらのスペクトル係数の振幅を一定に保ちし、
前記特定された正弦波の付近の領域に関連する区間のいずれにも含まれない前記プロトタイプフレームのスペクトル係数の位相を、ランダム値によって変更し、そのスペクトル係数の振幅を一定に保ち、
前記プロトタイプフレームの前記位相が調整された周波数スペクトルの逆周波数領域変換を行って前記損失オーディオフレームの前記代替フレームを生成する、
ことを特徴とするデコーダ。
【請求項９】
前記正弦波成分の周波数を特定することは、更に、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することを含むことを特徴とする請求項８に記載のデコーダ。
【請求項１０】
前記オーディオ信号の正弦波成分の周波数を特定することは、放物線補間を更に含むことを特徴とする請求項８に記載のデコーダ。
【請求項１１】
更に、窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出することを特徴とする請求項８乃至１０のいずれか１項に記載のデコーダ。
【請求項１２】
前記窓関数のスペクトルの近似であって、代替フレームスペクトルが当該近似された窓関数のスペクトルの部分と一切重複しないような近似を更に含むことを特徴とする請求項１１に記載のデコーダ。
【請求項１３】
受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダ（１）であって、
前記デコーダは、符号化オーディオ信号を受信する入力ユニットと、フレーム損失コンシールメントユニット（１３）とを有し、
前記フレーム損失コンシールメントユニットは、
過去に受信又は再構成されたオーディオ信号から、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントを抽出する手段と、
前記抽出されたプロトタイプフレームを周波数領域表現に変換する手段と、
前記プロトタイプフレームの正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う手段と、
正弦波周波数ｆk、並びに、前記損失オーディオフレームと前記プロトタイプフレームとの間の時間差に比例する位相シフトにより、正弦波ｋの付近における区間Ｍkに含まれる前記プロトタイプフレームの全てのスペクトル係数を変更し、これにより、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させ、かつ、それらのスペクトル係数の振幅を一定に保つ手段と、
前記特定された正弦波の付近の領域に関連する区間のいずれにも含まれない前記プロトタイプフレームのスペクトル係数の位相を、ランダム値によって変更し、そのスペクトル係数の振幅を一定に保つ手段と、
前記プロトタイプフレームの前記位相が調整された周波数スペクトルの逆周波数領域変換を行って前記損失オーディオフレームの前記代替フレームを生成する手段と、  を含むことを特徴とするデコーダ。
【請求項１４】
請求項８乃至１３のいずれか１項に記載のデコーダを有する受信機。
【請求項１５】
プロセッサによって実行されると、前記プロセッサに、請求項１乃至７のいずれか１項に記載の方法を実行させる命令を有するコンピュータプログラム（９１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信オーディオ信号の損失オーディオフレームのコンシールメントを行う方法に関する。本発明はまた、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダに関する。本発明は更に、デコーダを含む受信機、及びコンピュータプログラム並びにコンピュータプログラム製品にも関連する。
【背景技術】
【０００２】
従来のオーディオ通信システムは、音声信号及びオーディオ信号をフレームごとに送信する。送信側は、まず信号を例えば２０〜４０ｍｓの短いセグメントとして配列する。これらは順次、符号化され、例えば送信パケットにおける論理ユニットとして送信される。受信側のデコーダは、これらの論理ユニットの各々を復号化し、対応するオーディオ信号フレームを再構成する。再構成されたフレームは最終的に、再構成信号サンプルの連続シーケンスとして出力される。
【０００３】
符号化に先立って、アナログ／デジタル（Ａ／Ｄ）変換により、マイクロホンからのアナログ音声信号又はアナログオーディオ信号がデジタルオーディオサンプルのシーケンスに変換される。逆に、受信端では、再構成デジタル信号サンプルをスピーカ再生のための連続時間アナログ信号に変換する最終Ｄ／Ａ変換ステップが通常実行される。
【０００４】
しかし、従来の音声又はオーディオ信号の伝送システムは、伝送誤りを受け、１つ又はいくつかの伝送フレームが受信側で再構成のため利用できない状況になる場合がある。この場合、デコーダは利用不可となった各フレームの代替信号を生成する必要がある。これは、受信側のデコーダにおける、いわゆるオーディオフレーム損失コンシールメント（audio frame loss concealment）ユニットで実行される。フレーム損失コンシールメントの目的は、フレーム損失を可能な限り聴き取れないようにし、それにより、フレーム損失が再構成信号の品質に与える影響を軽減することである。
【０００５】
従来のフレーム損失コンシールメント方法は、コーデックの構造又はアーキテクチャに依存して、例えば過去に受信されたコーデックパラメータを反復して適用するというものである。そのようなパラメータ反復技術は、使用されるコーデックの特定のパラメータに明らかに依存しており、従って、異なる構造を有する他のコーデックには容易に適用することはできない。従来のフレーム損失コンシールメント方法は、損失フレームに対する代替フレームを生成するために、例えば過去に受信されたフレームのパラメータのフリーズと外挿を行うというものがある。ＡＭＲ又はＡＭＲ−ＷＢなどの標準化された線形予測コーデックのような多くのパラメトリック音声コーデックは、通常、デコーダのために、過去に受信されたパラメータをフリーズするか又はそれらの外挿を使用する。本質的には、この原理は、符号化／復号化のために所定のモデルを設定し、フリーズされたパラメータ又は外挿されたパラメータによって同一のモデルを適用するというものである。
【０００６】
多くのコーデックは、周波数領域変換の後にスペクトルパラメータに符号化モデルが適用される周波数領域符号化技術を適用する。デコーダは、受信したパラメータから信号スペクトルを再構成し、スペクトルを変換して時間信号に戻す。通常、時間信号はフレームごとに再構成される。そのようなフレームは、オーバラップ加算技術により合成され、他の可能な処理を経て最終的な再構成信号が形成される。対応するオーディオフレーム損失コンシールメントは、損失フレームに対して同一の又は少なくとも類似する復号化モデルを適用する。ここで、過去に受信されたフレームからの周波数領域パラメータがフリーズされるか又は適切に外挿され、その後、周波数／時間領域変換で使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来のオーディオフレーム損失コンシールメント方法では、品質の不足が問題となる。これは、パラメータのフリーズ、外挿技術や損失フレーム対しても同一のデコーダモデルを再適用することによって、必ずしも、過去に復号化された信号フレームから損失フレームへの円滑かつ忠実な信号発展（signal evolution）が保証されるものではないからである。そのため、可聴信号はしばしば不連続になり、品質にも影響が出る。したがって、品質低下を抑えることができるオーディオフレーム損失コンシールメントが望まれ、必要である。
【０００８】
本発明の実施形態の目的は、上記した課題の少なくともいくつかを解決することである。この目的及びその他の目的は、添付の独立請求項に記載の方法及び装置、並びに従属請求項に記載の態様により達成される。
【課題を解決するための手段】
【０００９】
一側面によれば、実施形態により、損失オーディオフレームのコンシールメントを行う方法が提供される。方法は、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行うステップを含む。更に、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルが適用される。前記代替フレームの生成は、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることを含む。
【００１０】
第２の側面によれば、実施形態により、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダが提供される。これにより前記デコーダは、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う。前記デコーダは、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記損失オーディオフレームの前記代替フレームを生成する。
【００１１】
第３の側面によれば、実施形態により、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダが提供される。前記デコーダは、符号化オーディオ信号を受信する入力ユニットと、フレーム損失コンシールメントユニットとを有する。前記フレーム損失コンシールメントユニットは、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う手段を含む。前記フレーム損失コンシールメントユニットは、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用する手段を含む。前記フレーム損失コンシールメントユニットは、更に、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記損失オーディオフレームの前記代替フレームを生成する手段を含む。
【００１２】
デコーダは、携帯電話等の装置に実装されうる。
【００１３】
第４の側面によれば、実施形態により、上記第２及び第３の側面のうちのいずれかによるデコーダを有する受信機が提供される。
【００１４】
第５の側面によれば、実施形態により、損失オーディオフレームのコンシールメントのために定義されるコンピュータプログラムが提供される。コンピュータプログラムは、プロセッサによって実行されると、前記プロセッサに、上記第１の側面に従う損失オーディオフレームのコンシールメントを実行させるための命令を含む。
【００１５】
第６の側面によれば、実施形態により、上記第５の側面に従うコンピュータプログラムを格納したコンピュータ読み取り可能な媒体を含むコンピュータプログラム製品が提供される。
【００１６】
本明細書に記載される実施形態の利点は、オーディオ信号（例えば符号化音声）の伝送におけるフレーム損失による聴感への影響を軽減できるフレーム損失コンシールメントが提供されることである。一般的な利点は、損失フレームに対する再構成信号の円滑かつ忠実な発展（evolution）が提供されることである。フレーム損失の音質への影響は、従来技術と比べて大幅に低減される。
【００１７】
以下の説明及び添付の図面を読めば、本願実施形態の内容のさらなる特徴及び利点が明らかになろう。
【図面の簡単な説明】
【００１８】
【図１】代表的な窓関数を示す図。
【図２】特定の窓関数を示す図。
【図３】窓関数の振幅スペクトルの一例を示す図。
【図４】周波数ｆkの例示的な正弦波信号の線スペクトルを示す図。
【図５】周波数ｆkの窓掛け後の正弦波信号のスペクトルを示す図。
【図６】分析フレームに基づくＤＦＴのグリッドポイントの大きさに対応するバーを示す図。
【図７】ＤＦＴグリッドポイントを通るパラボラフィッティングを示す図。
【図８】実施形態に係る方法のフローチャート。
【図９】、
【図１０ａ】、
【図１０ｂ】実施形態におけるデコーダを示す図。
【図１１】実施形態におけるコンピュータプログラム及びコンピュータプログラム製品を示す図。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を詳しく説明する。より深い理解に資するべく、特定の状況、技術といった特定の詳細説明を行うが、これらに限定されるものではない。
【００２０】
また、以下で示される例示の方法及び装置の少なくとも一部は、プログラムされたマイクロプロセッサ、汎用コンピュータ、あるいは特定用途集積回路（ＡＳＩＣ）と共に機能するソフトウェアの使用によって実現されうることは明らかである。さらに、実施形態の少なくとも一部が、コンピュータプログラム製品として、あるいは、コンピュータプロセッサ及び、そのプロセッサに接続され、下記の機能を実行可能な１つ以上のプログラムを含むメモリとを含むシステムとして、実現されうる。
【００２１】
以下の実施形態の概念は、損失オーディオフレームのコンシールメントを行う方法であって、
-  過去に受信又は再構成されたオーディオ信号の少なくとも一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、
-  前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、
-  対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記代替フレームを生成する
ことにより、損失オーディオフレームのコンシールメントを行うものである。
【００２２】
正弦波分析
実施形態に係るフレーム損失コンシールメントは、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析（sinusoidal analysis）を含む。この正弦波分析の目的は、その信号の主正弦波成分（すなわち正弦波（sinusoids））の周波数を特定することである。これは、オーディオ信号は正弦波モデルによって生成され、限定された数の個別の正弦波から構成されていること、すなわち、オーディオ信号が以下に示すマルチ正弦波信号であることが、基本的な前提となっている。
【００２３】
0005978408.tif 000002
・・・（６．１）
ただし、Ｋは、信号を構成すると想定される正弦波の数である。添字ｋ＝１…Ｋの各正弦波に対して、ａkは振幅、ｆkは周波数、φkは位相である。サンプリング周波数はｆsで表され、時間離散信号サンプルｓ（ｎ）の時間インデックスはｎで表される。
【００２４】
可能な限り正確な正弦波の周波数を特定することが重要である。理想的な正弦波信号は線周波数ｆkの線スペクトルを有すると考えられるが、その真の値を特定するには、原理上、無限の測定時間が必要になるであろう。従って、実際には、本明細書において説明される正弦波分析に使用される信号セグメントに対応する短時間の測定に基づいて線周波数を推定することしかできないので、線周波数を特定するのは難しい。以下の説明中、この信号セグメントは分析フレームと呼ばれる。別の困難な問題は、信号が実際には時変信号であり、上記の式のパラメータが時間の経過に伴って変動するということである。そこで、測定をより正確にするためには長い分析フレームを使用することが望ましいが、起こりうる信号変動に更に適切に対応するためには、測定時間を短縮することが必要になる。その適切なトレードオフとしては、例えば２０〜４０ｍｓ程度の長さの分析フレームを使用することである。
【００２５】
好適な実施形態によれば、正弦波の周波数ｆkは、分析フレームの周波数領域分析によって特定される。この目的を達成するために、例えばＤＦＴ（Discrete Fourier Transform）又はＤＣＴ（Discrete Cosine Transform）、あるいは類似の周波数領域変換により、分析フレームは周波数領域に変換される。分析フレームのＤＦＴが使用される場合、スペクトルは次式により表される。
【００２６】
0005978408.tif 000003
・・・（６．２）
ただし、ｗ（ｎ）は、長さＬの分析フレームを抽出し重み付けする窓関数を表す。
【００２７】
図１は、典型的な窓関数を示している。これは、ｎ∈［０…Ｌ−１］に対して１であり、その他の場合は０である方形窓である。過去に受信されたオーディオ信号の時間指標は、分析フレームが時間指標ｎ＝０…Ｌ−１により参照されるように設定されると想定する。スペクトル分析に更に適すると思われる他の窓関数としては、例えばハミング窓、ハニング窓、カイザー窓又はブラックマン窓がある。
【００２８】
図２は、ハミング窓と方形窓との組み合わせによる、とりわけ有用な窓関数を示している。図２に示されるように、この窓は、長さＬ１のハミング窓の左半分のような立ち上がり端形状及び長さＬ１のハミング窓の右半分のような立ち下がり端形状を有し、立ち上がり端と立ち下がり端との間で、窓は、長さＬ−Ｌ１の場合に１に等しい。
【００２９】
窓分析フレーム｜Ｘ（ｍ）｜の振幅スペクトルのピークは、必要とされる正弦波周波数ｆkの近似を構成する。しかし、この近似の正確度は、ＤＦＴの周波数間隔により限定される。ブロック長ＬのＤＦＴの場合、正確度はｆs／（２Ｌ）に限定される。
【００３０】
しかし、このレベルの正確度は、本明細書において説明される方法の範囲内では低すぎるかもしれない。以下のことを考慮した結果に基づき、正確度の改善を得ることができる。
【００３１】
窓分析フレームのスペクトルは、正弦波モデル信号Ｓ（Ω）の線スペクトルによる窓関数のスペクトルの畳み込みと、その後に続く次式のＤＦＴのグリッドポイントにおけるサンプリングによって与えられる。
【００３２】
0005978408.tif 000004
・・・（６．３）
【００３３】
正弦波モデル信号のスペクトル表現を使用することにより、これを次のように書き換えることができる。
【００３４】
0005978408.tif 000005
・・・（６．４）
【００３５】
従って、サンプリングされたスペクトルは次式により表される。
【００３６】
0005978408.tif 000006
・・・（６．５）
ただし、ｍ＝０…Ｌ−１
【００３７】
これに基づき、分析フレームの振幅スペクトルにおいて観測されるピークは、それらのピークの近傍で真の正弦波周波数が特定されるＫ個の正弦波を含む窓掛け後正弦波信号に由来するものと想定される。したがって、正弦波成分の周波数を特定することは、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することをを更に含みうる。
【００３８】
観測されたｋ番目のピークのＤＦＴインデックス（グリッドポイント）をｍkとすると、対応する周波数は、
0005978408.tif 000007
であり、これは、真の正弦波周波数ｆkの近似であるとみなすことができる。真の正弦波周波数ｆkは、区間
0005978408.tif 000008
の中にあると想定できる。
【００３９】
なお、明確にするため、正弦波モデル信号の線スペクトルのスペクトルによる窓関数のスペクトルの畳み込みは、窓関数スペクトルの周波数シフトバージョンの重畳であると理解することができ、このため、シフト周波数は正弦波の周波数である。次に、この重畳はＤＦＴグリッドポイントでサンプリングされる。窓関数のスペクトルと正弦波モデル信号の線スペクトルのスペクトルとの畳み込みが、図３〜図７に示される。図３は窓関数の振幅スペクトルの一例を示す。図４は、周波数の１つの正弦波と共に正弦波信号の一例の振幅スペクトル（線スペクトル）を示す。図５は、正弦波の周波数における周波数シフト窓スペクトルを再現し、重畳する窓掛け後正弦波信号の振幅スペクトルを示す。図６の点線は、分析フレームのＤＦＴを計算することにより取得された窓掛け後正弦波におけるＤＦＴのグリッドポイントの振幅に対応する。なお、すべてのスペクトルは正規化周波数パラメータΩによって周期的である。ここで、Ωは、サンプリング周波数ｆsに対応する２πである。
【００４０】
上記の議論に基づき、また、図６の記載に基づき、探索の分解能を、使用される周波数領域変換の周波数分解能より高くなるように増加させることにより、真の正弦波周波数のより良い近似を得ることができる。
【００４１】
したがって、正弦波成分の周波数の特定は、使用される周波数領域変換の周波数分解能より高い分解能で行われることが好ましく、この特定は、更に補間を含むことができる。
【００４２】
正弦波の周波数ｆkの更によい近似を発見する好適な方法の１つは、放物線補間（parabolic interpolation）を適用することである。そのような方式の１つは、ピークを取り囲むＤＦＴ振幅スペクトルのグリッドポイントを通してパラボラフィッティングを行い、放物線最大値に属する各々の周波数を計算することである。放物線の次の例示の適切な選択肢は２である。詳細には、以下の手順を適用することができる。
【００４３】
１）窓掛け後分析フレームのＤＦＴのピークを特定する。ピーク探索はピークの数Ｋ及びピークの対応するＤＦＴインデックスを出力する。ピーク探索は、通常、ＤＦＴ振幅スペクトル又は対数ＤＦＴ振幅スペクトルに対して実行可能である。
【００４４】
２）対応するＤＦＴインデックスｍkを有するピークｋ（ｋ＝１…Ｋ）ごとに、３つのポイント
0005978408.tif 000009
を通してパラボラフィッティングを行う。その結果、次式により定義される放物線の放物線係数ｂk（０）、ｂk（１）、ｂk（２）が得られる。
【００４５】
0005978408.tif 000010
【００４６】
図７は、グリッドポイントＰ1，Ｐ2，Ｐ3を通るパラボラフィッティングを示している。
【００４７】
３）Ｋ個の放物線の各々に対して、その放物線が最大値を有するｑの値に対応する補間周波数インデックス
0005978408.tif 000011
を計算する。正弦波周波数ｆkの近似として
0005978408.tif 000012
を使用する。
【００４８】
正弦波モデルの適用
以下、実施形態に係るフレーム損失コンシールメント演算を実行するための正弦波モデルの適用について説明する。
【００４９】
対応する符号化情報が利用不可能であるため、すなわちフレームが消失したため、符号化信号の所定のセグメントをデコーダにより再構成できない場合、このセグメントより過去の信号の利用可能な部分を、プロトタイプフレームとして使用できる。ｙ（ｎ）（ただし、ｎ＝０…Ｎ−１）を、代替フレームｚ（ｎ）が生成されなければならない利用不可能セグメントであるとし、ｎ＜０の場合のｙ（ｎ）を、過去に復号された利用可能信号であるとすると、長さＬ及び開始インデックスｎ-1の利用可能信号のプロトタイプフレームが窓関数ｗ（ｎ）によって抽出され、例えば次式のＤＦＴによって周波数領域に変換される。
【００５０】
0005978408.tif 000013
【００５１】
窓関数は、先に正弦波分析に関して説明した窓関数のうち１つでありうる。数値の複雑さを軽減するために、周波数領域変換後のフレームは、正弦波分析において使用されるフレームと同一であるのが好ましい。
【００５２】
次のステップにおいて、想定正弦波モデルが適用される。想定正弦波モデルによれば、プロトタイプフレームのＤＦＴを次のように書き表すことができる。
【００５３】
0005978408.tif 000014
【００５４】
この式は、分析部においても使用される。以下詳しく説明する。
【００５５】
次に、使用される窓関数のスペクトルが０にごく近い周波数範囲において重大な寄与をすると理解される。図３に示されるように、窓関数の振幅スペクトルは、０にごく近い周波数に対しては大きく、そうでない周波数に対しては小さい（サンプリング周波数の２分の１に対応する−π〜πの正規化周波数範囲内）。従って、近似として、窓スペクトルＷ（ｍ）は、区間Ｍ＝［−ｍmin，ｍmax］（ｍmin及びｍmaxは小さな正の整数）に対してのみ０ではないと仮定する。特に、窓関数スペクトルの近似は、ｋごとに、上記の式中のシフトされた窓スペクトルの寄与が厳密に互いに重なり合わないように使用される。上記の式において、周波数インデックスごとに、１つの被加数からの、すなわち１つのシフトされた窓スペクトルからの寄与のみが常に最大である。これは、上記の式が下記の近似式に縮小されることを意味する。
【００５６】
非負であるｍ∈Ｍkに対して、ｋごとに、
0005978408.tif 000015
【００５７】
ここで、Ｍkは、整数区間
0005978408.tif 000016
を示し、ｍmin,k及びｍmax,kは、区間が互いに重なり合わないようにするという先に説明した制約に適合する。ｍmin,k及びｍmax,kの適切な選択は、それらの値を小さな整数値δ、例えばδ＝３に設定することである。しかし、２つの隣接する正弦波周波数ｆk及びｆk+1に関連するＤＦＴインデックスが２δより小さい場合、区間が重なり合わないことが保証されるように、δは、
0005978408.tif 000017
に設定される。関数floor(・)は、それ以下である関数引数に最も近い整数である。
【００５８】
一実施形態による次のステップは、上記の式による正弦波モデルを適用し、そのＫ個の正弦波を時間的に発展（evolve）させることである。プロトタイプフレームの時間インデックスと比較して、消去セグメントの時間インデックスはｎ-1サンプルだけ異なるという仮定は、正弦波の位相が
0005978408.tif 000018
だけ進んでいることを意味する。従って、発展させた正弦波モデルのＤＦＴスペクトルは次式により表される。
【００５９】
0005978408.tif 000019
【００６０】
シフトされた窓関数スペクトルが互いに重なり合わないという近似を再び適用すると、非負であるｍ∈Ｍkに対して、ｋごとに以下の式が得られる。
【００６１】
0005978408.tif 000020
【００６２】
近似を使用することにより、プロトタイプフレームＹ-1Ｙ（ｍ）のＤＦＴを、発展させた正弦波モデルＹ0（ｍ）のＤＦＴと比較すると、ｍ∈Ｍkごとに位相が
0005978408.tif 000021
だけシフトされる間、振幅スペクトルは不変のままであることがわかる。
【００６３】
従って、次式により代替フレームを計算できる。
非負のｍ∈Ｍkに対して、ｋごとに、
0005978408.tif 000022
とし、
0005978408.tif 000023
【００６４】
特定の一実施形態は、どの区間Ｍkにも属さないＤＦＴインデックスに関する位相ランダム化に対処する。先に説明したように、区間Ｍk，ｋ＝１…Ｋは、それらの区間が厳密に重なり合わないように設定されなければならず、これは、区間のサイズを制御する何らかのパラメータδを使用して実行される。２つの隣接する正弦の周波数距離に関連して、δが小さいということが起こりうる。従って、その場合、２つの区間の間に隙間ができることもありうる。そのため、対応するＤＦＴインデックスｍに対して、上記の式
0005978408.tif 000024
に従った位相シフトは定義されない。本実施形態による適切な選択肢は、それらのインデックスに対して位相をランダム化することであり、その結果、
0005978408.tif 000025
となる。ここで、関数rand(・)は何らかの乱数を返す。
【００６５】
上記に基づいて、実施形態に係る例示のオーディオフレーム損失コンシールメント方法を、図８に示す。
ステップ８１において、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析が実行される。ここで、正弦波分析は、オーディオ信号の正弦波成分（すなわち正弦波（sinusoids））の周波数を特定することを含む。次に、ステップ８２において、過去に受信又は再構成されたオーディオ信号のセグメントに正弦波モデルが適用される。ここで、セグメントは、損失オーディオフレームの代替フレームを生成するためのプロトタイプフレームとして使用される。そして、ステップ８３で、損失オーディオフレームの代替フレームが生成される。ここでは、対応する上記特定された周波数に応じて、損失オーディオフレームの時間インスタンス（time instance）までの、プロトタイプフレームの正弦波成分（すなわち正弦波（sinusoids））を時間発展（time-evolution）させることを含む。
【００６６】
他の実施形態によれば、オーディオ信号は限定された数の個別の正弦波成分から構成され、正弦波分析は周波数領域で行われると想定される。さらに、正弦波成分の周波数の特定は、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することを含みうる。
【００６７】
例示の実施形態によれば、正弦波成分の周波数の特定は、使用される周波数領域変換の分解能より高い分解能で行われ、この特定は、放物線型などの補間を更に含みうる。
【００６８】
例示の実施形態によれば、方法は、窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出することを含む。ここで、抽出されたプロトタイプフレームは、周波数領域表現に変換されうる。
【００６９】
さらなる実施形態によれば、窓関数のスペクトルの近似であって、代替フレームスペクトルが当該近似された窓関数スペクトルの部分と一切重複しないような近似を含む。
【００７０】
さらなる実施形態によれば、方法は、正弦波成分の位相を、当該正弦波成分の周波数に応じて、かつ、損失オーディオフレームとプロトタイプフレームとの間の時間差に応じて進めることにより、プロトタイプフレームの周波数スペクトルの正弦波成分を時間発展させることを含み、また、正弦波周波数ｆk、並びに、損失オーディオフレームとプロトタイプフレームとの間の時間差に比例する位相シフトにより、正弦波ｋの付近における区間Ｍkに含まれるプロトタイプフレームのスペクトル係数を変更することを含む。
【００７１】
さらなる実施形態は、特定された正弦波に属していないプロトタイプフレームのスペクトル係数の位相をランダム位相によって変更すること、又は、その特定された正弦波の付近に関連するいずれの区間にも含まれないプロトタイプフレームのスペクトル係数の位相をランダム値によって変更することを含む。
【００７２】
実施形態は更に、プロトタイプフレームの周波数スペクトルの逆周波数領域変換を含む。
【００７３】
具体的には、さらなる実施形態に従うオーディオフレーム損失コンシールメント方法は、以下のステップを含むことができる。
１）使用可能な過去に合成された信号のセグメントを分析して正弦波モデルの組成正弦波周波数ｆkを得る。
２）使用可能な過去に合成された信号からプロトタイプフレームｙ-1を抽出しそのフレームのＤＦＴを計算する。
３）正弦波周波数ｆkと、プロトタイプと代替フレームとの間の時間進みｎ-1とに応じて、正弦波ｋごとに、位相シフトθkを計算する。
４）正弦波ｋごとに、正弦波周波数ｆkの付近に関連するＤＦＴインデックスについて選択的に、プロトタイプフレームＤＦＴの位相をθkだけ進める。
５）４）で得られたスペクトルの逆ＤＦＴを計算する。
【００７４】
上述の実施形態は、更に以下の想定により説明される。
ａ）信号が、限定された数の正弦波により表現されうる、という想定。
ｂ）代替フレームは、時間発展されたこれらの正弦波によって、過去の時間インスタントと比べて、十分良好に表現される、という想定。
ｃ）シフト周波数を正弦波周波数とし、周波数シフトされた窓関数スペクトルの非オーバラップ部分によって代替フレームのスペクトルが構成されうるように、窓関数のスペクトルが近似される、という想定。
【００７５】
図９は、実施形態に従うオーディオフレーム損失コンシールメントの方法を実行する例示のデコーダ１を示すブロック図である。図示のデコーダは、１又は２以上のプロセッサ１１と、適切なソフトウェアを含む記憶部又はメモリ１２とを含む。入力される符号化オーディオ信号は、プロセッサ１１及びメモリ１２に接続される入力部（ＩＮ）により受信される。ソフトウェアから得られた、復号化され再構成されたオーディオ信号は、出力部（ＯＵＴ）から出力される。例示のデコーダは、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うように構成され、プロセッサ１１及びメモリ１２を有する。メモリは、プロセッサ１１によって実行可能な命令を含んでいる。これにより、デコーダ１は、
-  過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、
-  過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、
-  対応する上記特定された周波数に応じて、損失オーディオフレームの時間インスタンスまでのプロトタイプフレームの正弦波成分を時間発展させることにより、損失オーディオフレームの代替フレームを生成する。
【００７６】
デコーダの更なる実施形態によれば、適用される正弦波モデルは、オーディオ信号は限定された数の個別の正弦波成分で構成されることを前提としており、また、オーディオ信号の正弦波成分の周波数を特定することは、放物線補間を更に含みうる。
【００７７】
さらなる実施形態によれば、デコーダは、窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出し、また、抽出されたプロトタイプフレームを周波数領域に変換する。
【００７８】
さらなる実施形態によれば、デコーダは、正弦波成分の位相を、各正弦波成分の周波数に応じて、かつ、損失オーディオフレームとプロトタイプフレームとの間の時間差に応じて進めることにより、プロトタイプフレームの周波数スペクトルの正弦波成分を時間発展させ、また、周波数スペクトルの逆周波数変換を行うことにより代替フレームを生成する。
【００７９】
別の実施形態に係るデコーダを図１０ａに示す。このデコーダは、符号化オーディオ信号を受信する入力部を備える。同図において、論理フレーム損失コンシールメントユニット１３によるフレーム損失コンシールメントが行われる。ここで、デコーダ１は、上述した実施形態に従う損失オーディオフレームのコンシールメントを実行する。図１０ｂにも示されている論理フレーム損失コンシールメントユニット１３は、損失オーディオフレームのコンシールメントを行う適切な手段、すなわち、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う手段１４と、上記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用する手段１５と、対応する上記特定された周波数に応じて、損失オーディオフレームの時間インスタンスまでのプロトタイプフレームの正弦波成分を時間発展させることにより、損失オーディオフレームの代替フレームを生成する手段１６とを含む。
【００８０】
図示のデコーダに含まれるユニット及び手段は、その少なくとも一部がハードウェアに実装されうるものであり、デコーダのユニットの機能を実現するように使用され又は組み合わされうる回路要素の種々の変形がある。それらの変形は実施形態に包含される。デコーダのハードウェア実現の特定の例として、デジタル信号処理プロセッサ（ＤＳＰ）ハードウェア及び集積回路技術による実現がある。ここには汎用電子回路及び特定用途回路の双方が含まれる。
【００８１】
本発明の実施形態に係るコンピュータプログラムは、プロセッサによって実行されると、当該プロセッサに、図８に沿って説明した手順に従う方法を実行させる命令を含む。図１１は、実施形態に係るコンピュータプログラム製品９を示している。これは、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ、あるいはディスクドライブといった、不揮発性メモリの形式で実現されうる。コンピュータプログラム製品は、コンピュータプログラム９１を格納したコンピュータ読み取り可能な媒体を含む。ここで、コンピュータプログラム９１は、デコーダ１で実行されると、デコーダのプロセッサに、図８に従う手順を実行させるプログラムモジュール９１ａ，ｂ，ｃ，ｄを含む。
【００８２】
本発明の実施形態によるデコーダは、携帯電話やラップトップ等の移動体装置の受信機、あるいは、パーソナルコンピュータ等の固定式装置の受信機に使用されうる。
【００８３】
本明細書に記載した実施形態の利点は、符号化音声等のオーディオ信号の伝送におけるフレーム損失の聴感上の影響を軽減することができるフレーム損失コンシールメント方法が提供されることである。一般的な利点は、損失フレームに対して再構成される信号の円滑かつ忠実な発展（evolution）が提供されることである。フレーム損失の聴感上の影響は、従来技術と比べて大幅に低減される。
【００８４】
相互に作用するユニット又はモジュールの選択、並びにそれらのユニットの名前は単なる例であり、開示される処理動作を実行可能にするために複数の代替方法で構成されうることは理解されよう。なお、本明細書において説明されるユニット又はモジュールは、必ずしも個別の物理エンティティではなく、論理エンティティとしてみなされるべきものである。本明細書において開示される技術の範囲は、当業者には自明であると思われる他の実施形態をすべて含み、それに従って、本明細書の開示の範囲が限定されるべきではないことが理解されるだろう。
【図１】
0005978408.tif 000026
【図２】
0005978408.tif 000027
【図３】
0005978408.tif 000028
【図４】
0005978408.tif 000029
【図５】
0005978408.tif 000030
【図６】
0005978408.tif 000031
【図７】
0005978408.tif 000032
【図８】
0005978408.tif 000033
【図９】
0005978408.tif 000034
【図１０ａ】
0005978408.tif 000035
【図１０ｂ】
0005978408.tif 000036
【図１１】
0005978408.tif 000037