(57)【要約】オーディオ信号の置換フレーム（ｍ）のためのスペクトル係数を得るアプローチが記載される。オーディオ信号のスペクトルの音の成分を、置換フレーム（ｍ）に先行するフレームのスペクトルに存在するピークに基づいて検出する。スペクトルの音の成分について、置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺のスペクトル係数を予測し、かつスペクトルの非音の成分について、置換フレーム（ｍ）のための非予測スペクトル係数または置換フレーム（ｍ）に先行するフレームの対応するスペクトル係数を使用する。【選択図】図１
2016526703.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号の置換フレームのためのスペクトル係数を得る方法であって、
置換フレーム（ｍ）に先行するフレーム（ｍ−１、ｍ−２）のスペクトルに存在するピーク（５０２）に基づいてオーディオ信号のスペクトルの音の成分を検出するステップ（Ｓ２０６）と、
スペクトルの音の成分について、置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてスペクトル係数を予測するステップ（Ｓ２１０）と、
スペクトルの非音の成分について、置換フレーム（ｍ）のための非予測スペクトル係数または置換フレーム（ｍ）に先行するフレームの対応するスペクトル係数を使用するステップ（Ｓ２１４）とを含む、方法。
【請求項２】
置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行するフレーム（ｍ−２）の複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測位相に基づいて予測され、かつ
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行するフレーム（ｍ−２）の複素数スペクトルの位相および置換フレーム（ｍ）に先行するフレーム（ｍ−１、ｍ−２）間の位相シフトに基づいて予測される、請求項１に記載の方法。
【請求項３】
置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測位相に基づいて予測され、かつ
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルに基づいて予測される、請求項２に記載の方法。
【請求項４】
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行するフレーム（ｍ−２）におけるピークおよびその周辺の各スペクトル係数についての位相に基づいて予測される、請求項２または請求項３に記載の方法。
【請求項５】
置換フレーム（ｍ）に先行するフレーム（ｍ−１、ｍ−２）間の位相シフトが、それぞれのフレームにおけるピークとその周辺における各スペクトル係数について等しい、請求項２から請求項４のいずれか１項に記載の方法。
【請求項６】
音の成分がピークおよびその周辺により規定される、請求項１から請求項５のいずれか１項に記載の方法。
【請求項７】
ピークの周辺は、ピーク（５０２）の周りの予め規定された数の係数により規定される、請求項１から請求項６のいずれか１項に記載の方法。
【請求項８】
ピークの周辺は、ピーク（５０２）の左側の第１の数の係数およびピーク（５０２）の右側の第２の数の係数を含む、請求項１から請求項７のいずれか１項に記載の方法。
【請求項９】
第１の数の係数が、左足（５０８）とピーク（５０２）の間の係数＋左足（５０８）の係数を含み、第２の数の係数が、右足（５１０）とピーク（５０２）の間の係数＋右足（５１０）の係数を含む、請求項８に記載の方法。
【請求項１０】
ピーク（５０２）から左の係数の第１の数と、ピーク（５０２）から右の係数の第２の数が等しいかまたは異なる、請求項８または請求項９に記載の方法。
【請求項１１】
ピーク（５０２）から左の係数の第１の数が３であり、かつピーク（５０２）から右の係数の第２の数が３である、請求項１０に記載の方法。
【請求項１２】
ピーク（５０２）の周りの予め規定された数の係数が、音の成分を検出するステップに先立って設定される、請求項６から請求項１１のいずれか１項に記載の方法。
【請求項１３】
ピークの周辺の大きさは、適応性がある、請求項１から請求項１２のいずれか１項に記載の方法。
【請求項１４】
ピークの周辺が、２つのピークのまわりの周辺が重複しないように選択される、請求項１３に記載の方法。
【請求項１５】
置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測される位相に基づいて予測され、
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の精査された位相シフトに基づいて予測され、
置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさ、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の位相シフトおよび最後のフレーム（ｍ−１）の実スペクトルに基づいて決定され、かつ
精査された位相シフトが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相と置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相とに基づいて決定される、請求項２に記載の方法。
【請求項１６】
位相シフトの精査が、連続的な損失フレームの数に基づいて適応され得る、請求項１５に記載の方法。
【請求項１７】
第３の損失フレームからはじめて、ピークについて決定される位相フレームを、ピーク（５０２）の周囲のスペクトル係数を予測するために使用する、請求項１６に記載の方法。
【請求項１８】
置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）における位相シフトが、予め規定された閾値以下である場合、第２の損失フレームにおいてスペクトル係数を予測するために、ピーク（５０２）について決定された位相シフトを、周辺のスペクトル係数についてスペクトル係数を予測するために使用し、かつ置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）における位相シフトが、予め規定された閾値を上回る場合、それぞれの周辺のスペクトル係数について決定された位相シフトを、周辺のスペクトル係数のスペクトル係数を予測するために使用する、請求項１７に記載の方法。
【請求項１９】
置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの精査された大きさと、置換フレーム（ｍ）の複素数スペクトルの予測される位相とに基づいて予測され、かつ
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の位相シフトの２倍に基づいて予測される、請求項２に記載の方法。
【請求項２０】
置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの精査された大きさが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の実スペクトルの実スペクトル係数、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の位相シフトに基づいて決定される、請求項１９に記載の方法。
【請求項２１】
置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの精査された大きさが、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさにより制限される、請求項１９または請求項２０に記載の方法。
【請求項２２】
置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺ついてのスペクトル係数が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の中間フレームの複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測される位相に基づいて予測される、請求項２に記載の方法。
【請求項２３】
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する中間フレームの複素数スペクトルの位相および置換フレーム（ｍ）に先行する中間フレーム間の位相シフトに基づいて予測され、または
置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する中間フレーム間の精査された位相シフトに基づき予測され、精査された位相シフトが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する中間フレームの複素数スペクトルの位相に基づいて決定される、請求項２２に記載の方法。
【請求項２４】
オーディオ信号のスペクトルの音の成分を検出するステップが、
１以上の予め規定された閾値に基づいて、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のスペクトルにおけるピークをサーチするステップ（Ｓ４００）と、
１以上の閾値を適応させるステップ（Ｓ４０２）と、
１以上の適応された閾値に基づいて、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）のスペクトルにおけるピークをサーチするステップ（Ｓ４０４）とを含む、請求項１から請求項２３のいずれか１項に記載の方法。
【請求項２５】
１以上の閾値を適応させるステップが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のスペクトルおよびスペクトルエンベロープに基づくかまたは基本周波数に基づいて、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）において見つかったピーク周辺の領域において、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）におけるピークをサーチするための１以上の閾値を設定するステップを含む、請求項２４に記載の方法。
【請求項２６】
基本周波数が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のルックアヘッドを含む信号についてのものである、請求項２５に記載の方法。
【請求項２７】
置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のルックアヘッドが、ルックアヘッドを用いてエンコーダ側で計算される、請求項２６に記載の方法。
【請求項２８】
１以上の閾値を適用させるステップ（Ｓ４０２）が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）において見つかったピークの周辺ではない領域において、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）におけるピークをサーチするための１以上の閾値を、予め規定された閾値に設定するステップを含む、請求項２４から請求項２７のいずれか１項に記載の方法。
【請求項２９】
置換フレーム（ｍ）について、オーディオ信号の音の成分のスペクトル係数の予測を用いて、時間領域封じ込めまたは周波数領域封じ込めを適用するかを決定するステップ（Ｓ２０４）をさらに含む、請求項１から請求項２８のいずれか１項に記載の方法。
【請求項３０】
置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）および置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）が、一定のピッチを有するか、または置換フレーム（ｍ）に先行する１以上のフレームの分析が、信号における音の成分の数が予め規定された閾値を超えることを示す場合、周波数領域封じ込めが適用される、請求項２９に記載の方法。
【請求項３１】
オーディオ信号のフレームが、ＭＤＣＴを用いて符号化される、請求項１から請求項３０のいずれか１項に記載の方法。
【請求項３２】
置換フレーム（ｍ）が、受信データにおけるエラー等のせいで、オーディオ信号受信機で処理できないフレーム、オーディオ信号受信機への送信中に失われたフレーム、またはオーディオ信号受信機で受信が間に合わなかったフレームを含む、請求項１から請求項３１のいずれか１項に記載の方法。
【請求項３３】
符号スクランブル等の雑音発生方法またはルックアップテーブル等のメモリからの予め規定されたスペクトル係数を用いて、非予測スペクトル係数が生成される、請求項１から請求項３２のいずれか１項に記載の方法。
【請求項３４】
コンピュータで実行されると、請求項１から請求項３３のいずれか１項に記載の方法を実行する命令を記憶するコンピュータ可読媒体を含む非一時的コンピュータプログラム製品。
【請求項３５】
オーディオ信号の置換フレーム（ｍ）のためのスペクトル係数を得るための装置であって、
置換フレーム（ｍ）に先行するフレームのスペクトルにおいて存在するピークに基づいてオーディオ信号のスペクトルの音の成分を検出するよう構成される検出器（１３４）と、
置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数を、スペクトルの音の成分について予測するよう構成される予測器（１３８）とを含み、
スペクトルの非音の成分について、置換フレーム（ｍ）の非予測スペクトル係数または置換フレーム（ｍ）に先行するフレームの対応するスペクトル係数が使用される、装置。
【請求項３６】
オーディオ信号の置換フレーム（ｍ）のためのスペクトル係数を得るための装置であって、請求項１から請求項３３のいずれか１項に記載の方法に従って動作するよう構成される、装置。
【請求項３７】
請求項３５または請求項３６に記載の装置を含むオーディオデコーダ。
【請求項３８】
請求項３７に記載のオーディオデコーダを含むオーディオ受信機。
【請求項３９】
オーディオ信号を送信するためのシステムであって、
符号化されたオーディオ信号を生成するよう構成されるエンコーダ（１００）と、
符号化されたオーディオ信号を受信し、かつ符号化されたオーディオ信号を復号するよう構成される請求項３７に記載のデコーダ（１２０）とを含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたオーディオ信号の送信の分野に関連し、かつより詳細には、オーディオ信号の置換フレームのためのスペクトル係数を得るための方法および装置、オーディオデコーダ、オーディオ受信機ならびにオーディオ信号を送信するためのシステムに関連する。実施形態は、前に受信したフレームに基づいて置換フレームのためのスペクトルを構成するためのアプローチに関連する。
【０００２】
先行技術には、オーディオ受信機でのフレーム損失の扱いに関するいくつかのアプローチが記載される。たとえば、オーディオまたは音声コーデックの受信機側でフレームが失われると、以下のように非特許文献１に記載されるようなフレーム損失封じ込めのための簡単な方法が用いられ得る。
・最後に受信したフレームを繰り返す
・失われたフレームをミュートにする。
・符号スクランブル
【０００３】
また、非特許文献１では、サブバンドにおいて予測器を使用する高度な技術を提示する。予測器による技術と符号スクランブルとを組み合わせ、予測ゲインを、このサブバンドのスペクトル係数について、どの方法を用いるかを決定するサブバントによる決定基準として使用する。
【０００４】
特許文献１では、時間領域における波形信号外挿がＭＤＣＴ（修正離散余弦変換）領域コーデックに使用される。この種のアプローチは、音声を含むモノラルの信号には良いかもしれない。
【０００５】
１つのフレームの遅延が許容されると、周辺のフレームの内挿を使用して、損失フレームの構成を行うことができる。このようなアプローチについては、特許文献２に記載され、インデックスｍの損失フレームにおける音の成分の大きさが、ｍ−１およびｍ＋１のインデクスを付けた隣接するフレームを使用して内挿される。音の成分についてのＭＤＣＴ係数の符号を規定するサイド情報は、ビットストリームで送信される。他の非音のＭＤＣＴ係数については、符号スクランブルが使用される。音の成分は、最大の大きさの予め定められた固定された数のスペクトル係数として決定される。このアプローチでは、音の成分として、最大の大きさを有するｎ個のスペクトル係数を選択する。
【数１】
2016526703.tif 000003
【０００６】
2016526703.tif 000004
【０００７】
2016526703.tif 000005
【０００８】
ここで、図７のブロック図に記載のＦＬＣ（フレーム損失封じ込め）技術の動作について、より詳細に説明する。
【０００９】
図７において、基本的に、４つのモジュールを区別できる。
・整形雑音挿入モジュール（フレーム内挿７００、スケールファクタバンド内の大きさスケーリング７０２およびランダム符号変更７１２を含む）。
・ＭＤＣＴビン分類モジュール（擬似スペクトル７０６およびピーク検出７０８を含む）。
・音の封じ込め動作モジュール（インデクス集合内での大きさスケーリング７０４および符号訂正７１４を含む）。
・スペクトル構成７１０。
【００１０】
このアプローチは、以下の一般式に基づく。
【数２】
2016526703.tif 000006
【００１１】
2016526703.tif 000007
【数３】
2016526703.tif 000008
【００１２】
2016526703.tif 000009
【数４】
2016526703.tif 000010
・音の成分については、音の成分の周波数であるｆlを伴ってα＝ｃｏｓ（πｆl）であることがわかる。
【００１３】
エネルギＥは、単純な平滑化演算により導かれる擬似パワースペクトルに基づき導かれる。
【数５】
2016526703.tif 000011
2016526703.tif 000012
【００１４】
ピーク検出は、基礎となるシヌソイドに対応するスペクトルピークの正確な位置を検出するために、擬似パワースペクトルにおける極大値のサーチとして行われる。これは、非特許文献３に記載のＭＰＥＧ−１音響心理学モデルにおいて採用される音識別プロセスに基づく。これから、ＭＤＣＴビンと言う意味で分析窓のメインローブの帯域幅およびその中心に検出されたピークを有するインデクスの部分集合が規定される。これらのビンは、シヌソイドの音の支配的なＭＤＣＴビンとして扱われ、インデクスの部分集合は、個別の音の成分として扱われる。
【００１５】
2016526703.tif 000013
【００１６】
2016526703.tif 000014
【００１７】
以下の修正は、非特許文献２に関連する。
・ピーク検出のために使用される擬似パワースペクトルは、以下のとおり導出される。
【数６】
2016526703.tif 000015
【００１８】
・知覚的に無関係なまたは偽ピークをなくすため、ピーク検出は、限られたスペクトル領域にのみ適用され、擬似パワースペクトルの絶対最大値に対する相対的閾値を超える極大値のみが考慮される。残りのピークは、大きさの降順でソートし、予め指定された数の上位の最大値を音のピークとして分類する。
【００１９】
・このアプローチは、以下の一般式に基づく（今回は、αが符号付き）。
【数７】
2016526703.tif 000016
【００２０】
2016526703.tif 000017
【数８】
2016526703.tif 000018
【００２１】
Ｅm、Ｅm-1、Ｅm+1を以下と置換し、
【数９】
2016526703.tif 000019
ここで、
【数１０】
2016526703.tif 000020
【００２２】
であるならば、αの二次式が得られる。したがって、所与のＭＤＣＴ推定値について、乗算修正ファクタ（Ａ1、Ａ2、Ａ3は、変換行列）のための２つの候補（符号が反対の）が存在する。より良い推定の選択は、非特許文献２に記載されるものと同様に行われる。
【００２３】
・このより高度なアプローチには、前後のフレームのＭＤＳＴ係数を得るために、フレーム損失の前後２つのフレームが必要である。
【００２４】
2016526703.tif 000021
【数１１】
2016526703.tif 000022
【００２５】
2016526703.tif 000023
【数１２】
2016526703.tif 000024
【００２６】
・修正ファクタは、２つの前のフレームのエネルギを観察することにより決定される。エネルギの計算から、前のフレームのＭＤＳＴ係数は、以下のとおり近似される。
【数１３】
2016526703.tif 000025
【００２７】
・次いで、シヌソイドエネルギを以下のとおり計算する。
【数１４】
2016526703.tif 000026
【００２８】
・同様に、フレームｍ−２のシヌソイドエネルギを計算し、Ｅm-2で示すが、これは、αとは独立である。
【００２９】
・以下のエネルギ要件を採用し、
【数１５】
2016526703.tif 000027
ここでも、αの二次式が生成される。
【００３０】
・計算された候補の選択プロセスは、上記と同様行われるが、決定ルールは、前のフレームのパワースペクトルのみに当てはまる。
【００３１】
周波数領域における他の遅延のないフレーム損失封じ込めが、特許文献３に記載される。特許文献３の教示は、一般性を失わずに以下のとおり単純化することができる。
【００３２】
・時間信号のＤＦＴを用いる予測
（ａ）受信した符号化周波数領域係数Ｃmに対応する復号化時間領域信号からＤＦＴスペクトルを得る。
（ｂ）線形位相変化を想定して、ＤＦＴの大きさを変調し、次のフレームＣm+1における失われた周波数領域係数を予測する。
【００３３】
2016526703.tif 000028
【数１６】
2016526703.tif 000029
ここで、Ｑm（ｋ）は、Ｃm（ｋ）に対応するＤＦＴ係数の大きさである。
【００３４】
（ｂ）以下を計算する。
【数１７】
2016526703.tif 000030
【００３５】
（ｃ）大きさおよび位相の線形外挿を実行する。
【数１８】
2016526703.tif 000031
【００３６】
2016526703.tif 000032
【００３７】
2016526703.tif 000033
【数１９】
2016526703.tif 000034
【００３８】
予測されるべきスペクトル係数の選択については、特許文献３に説明されるが、詳細に説明されていない。
【００３９】
非特許文献６において、準定常信号について、連続するフレーム間の位相差は、ほとんど一定であり、フラクショナル周波数にのみ依存することが認識されている。しかしながら、最後の２つの複素数スペクトルからの線形外挿のみが用いられる。
【００４０】
ＡＭＲ−ＷＢ＋（非特許文献７を参照）において、特許文献４に記載の方法が用いられる。特許文献４における方法は、現在のフレームの一部のみが失われたと仮定して、現在のフレームの入手可能なスペクトル係数も使用すると言う意味で、特許文献３に記載の方法を発展させたものである。しかしながら、フレームが完全に失われる状況については、特許文献４では考慮されていない。
【００４１】
ＭＤＣＴ領域における他の遅延のないフレーム損失封じ込めが、特許文献５に記載される。特許文献５では、失われたＰ番目のフレームが、多重高調波フレームであるかどうかがまず決定される。Ｐ番目のフレームの前のＫ個のフレームのうちＫ0個のフレームより多いフレームが閾値より小さいスペクトル平坦性を有する場合には、失われたＰ番目のフレームは、多重高調波フレームである。失われたＰ番目のフレームが、多重高調波フレームの場合、ＭＤＣＴ−ＭＤＳＴ領域における（Ｐ−Ｋ）番目から（Ｐ−２）番目のフレームを、失われたＰ番目のフレームを予測するために使用する。パワースペクトルが、２つの隣接するパワースペクトル係数より大きい場合には、そのスペクトル係数がピークである。非特許文献８に記載の擬似スペクトルを（Ｐ−１）番目のフレームについて使用する。
【００４２】
スペクトル係数Ｓcの集合を、以下のように、Ｌ1のパワースペクトルのフレームから構成する。
【００４３】
Ｌ1個のフレームの各々におけるピークからなるＬ1個の集合Ｓ1、．．．、ＳL1を得ると、各集合におけるピークの数は、それぞれＮ1、．．．、ＮL1となる。Ｓ1、．．．、ＳL1からなるＬ1個の集合から集合Ｓiを選択する。各ピーク係数ｍj（集合Ｓ1においてｊ＝１．．．Ｎ1）について、ｍj、ｍj±1、．．．、ｍj±kの中で、他のすべてのピーク集合に属する周波数係数が存在するかどうか判断する。存在する場合には、すべての周波数ｍj、ｍj±1、．．．、ｍj±kを周波数の集合ＳCへ入れる。他のすべてのピーク集合に属する周波数係数が存在しない場合には、フレーム内の周波数係数をすべて周波数の集合ＳCに直接入れる。前記ｋは、非マイナスの整数である。集合ＳCにおけるすべてのスペクトル係数について、（Ｐ−Ｋ）番目から（Ｐ−２）番目のＭＤＣＴ−ＭＤＳＴフレームの中のＬ2フレームを用いて位相を予測する。予測は、線形外挿（Ｌ2＝２の場合）または線形のあてはめ（Ｌ2＞２の場合）を用いて行う。線形外挿については、以下のとおりであり、
【数２０】
2016526703.tif 000035
ここで、ｐ、ｔ１およびｔ２は、フレームインデクスである。
【００４４】
集合ＳCにないスペクトル係数は、（Ｐ−１）番目のフレームの前の複数のフレームを用いて得られるが、その方法は、詳説されていない。
【先行技術文献】
【特許文献】
【００４５】
【特許文献１】[2]C. J. Hwey, "Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment". Patent US 6,351,730 B2, 2002
【００４６】
【特許文献２】[3]S. K. Gupta, E. Choy and S.-U. Ryu, "Encoder-assisted frame loss concealment techniques for audio coding". Patent US 2007/094009 A1
【特許文献３】[8]M. Yannick, "Method and apparatus for transmission error concealment of frequency transform coded digital audio signals". Patent EP 0574288 B1, 1993
【特許文献４】[11]A. Taleb, "Partial Spectral Loss Concealment in Transform Codecs". Patent US 7,356,748 B2
【特許文献５】[12]C. Guoming, D. Zheng, H. Yuan, J. Li, J. Lu, K. Liu, K. Peng, L. Zhibin, M. Wu and Q. Xiaojun, "Compensator and Compensation Method for Audio Frame Loss in Modified Discrete Cosine Transform Domain". Patent US 2012/109659 A1
【非特許文献】
【００４７】
【非特許文献１】[1]P. Lauber and R. Sperschneider, "Error Concealment for Comp      ressed Digital Audio," in AES 111th Convention, New York, USA, 2001
【非特許文献２】[4]S.-U. Ryu and K. Rose, "A Frame Loss Concealment Technique for MPEG-AAC," in 120th AES Convention, Paris, France, 2006
【非特許文献３】[5]ISO/IEC JTC1/SC29/WG11, Information technology -- Codi      ng of moving pictures and associated, International Organization for Sta      ndardization, 1993
【非特許文献４】[6]S.-U. Ryu and R. Kenneth, An MDCT domain frame-loss concealment technique for MPEG Advanced Audio Coding, Department od Electrical and Computer Engineering, University of California, 2007
【非特許文献５】[7]S.-U. Ryu, Source Modeling Approaches to Enhanced Decoding in Lossy Audio Compression and Communication, UNIVERSITY of CALIFORNIA Santa Barbara, 2006
【非特許文献６】[9]Y. Mahieux, J.-P. Petit and A. Charbonnier, "Transform coding of audio signals using correlation between successive transform blocks," in Acoustics, Speech, and Signal Processing, 1989. ICASSP-89., 1989
【非特許文献７】[10]3GPP; Technical Specification Group Services and System Aspects, Extended Adaptive Multi-Rate - Wideband (AMR-WB+) codec, 2009
【非特許文献８】[13]L. S. M. Dauder, "MDCT Analysis of Sinusoids: Exact Results and Applications to Coding Artifacts Reduction," IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, pp. 302-312, 2004
【非特許文献９】[14]D. B. Paul, "The Spectral Envelope Estimation Vocoder," IEEE Transactions on Acoustics, Speech, and Signal Processing, pp. 786-794, 1981.
【非特許文献１０】[15]A. Ferreira, "Accurate estimation in the ODFT domain of the frequency, phase and magnitude of stationary sinusoids," 2001 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pp. 47-50, 2001
【発明の概要】
【００４８】
本発明の目的は、オーディオ信号の置換フレームのためのスペクトル係数を得るための改善されたアプローチを提供することである。
【００４９】
この目的は、請求項１に記載の方法、請求項３４に記載の非一時的コンピュータプログラム製品、請求項３５または請求項３６に記載の装置、請求項３７に記載のオーディオコーダ、請求項３８に記載のオーディオ受信機および請求項３９に記載のオーディオ信号を送信するためのシステムにより達成される。
【００５０】
本発明は、オーディオ信号の置換フレームのためのスペクトル係数を得るための方法を提供し、この方法は、置換フレームに先行するフレームのスペクトルに存在するピークに基づいてオーディオ信号のスペクトルの音の成分を検出するステップと、スペクトルの音の成分について、置換フレームのスペクトルにおけるピークおよびその周辺についてスペクトル係数を予測するステップと、スペクトルの非音の成分について、置換フレームのための非予測スペクトル係数または置換フレームに先行するフレームの対応するスペクトル係数を使用するステップとを含む。
【００５１】
本発明は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための装置を提供し、この装置は、置換フレームに先行するフレームのスペクトルに存在するピークに基づいてオーディオ信号のスペクトルの音の成分を検出するよう構成される検出器と、置換フレームのスペクトルにおけるピークおよびその周辺についてのスペクトル係数を、スペクトルの音の成分について予測するよう構成される予測器とを含み、スペクトルの非音の成分について、置換フレームの非予測スペクトル係数または置換フレームに先行するフレームの対応するスペクトル係数が使用される。
【００５２】
本発明は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための装置を提供し、この装置は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための本発明の方法に従って動作するよう構成される。
【００５３】
本発明は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための本発明の装置を含むオーディオデコーダを提供する。
【００５４】
本発明は、本発明のオーディオデコーダを含むオーディオ受信機を提供する。
【００５５】
本発明は、オーディオ信号を送信するためのシステムを提供し、このシステムは、符号化されたオーディオ信号を生成するよう構成されるエンコーダと、符号化されたオーディオ信号を受信し、かつ符号化されたオーディオ信号を復号するよう構成される本発明のデコーダとを含む。
【００５６】
本発明は、コンピュータで実行されると、オーディオ信号の置換フレームのためのスペクトル係数を得るための本発明の方法を実行する命令を記憶するコンピュータ可読媒体を含む非一時的コンピュータプログラム製品を提供する。
【００５７】
本発明のアプローチは、良い品質で、追加の遅延を導入せずに、音の信号の良好なフレーム損失封じ込めを図る点が有利である。本発明の低遅延コーデックは、音声およびオーディオ信号の両方についてよく機能し、定常の音の信号に特に実行される良いフレーム損失封じ込めを、たとえばエラーのありがちな環境で、うまく利用する点が有利である。モノラルおよび多声信号の遅延のないフレーム損失封じ込めが提案され、これは、非音の信号の劣化なしに音の信号に良い結果をもたらす。
【００５８】
本発明の実施形態によれば、ＭＤＣＴ領域における音の成分の改善された封じ込めが提供される。実施形態は、周波数領域コーデックまたは切替音声／周波数領域コーデックを組み込むオーディオおよび音声符号化に関し、詳細には、ＭＤＣＴ（修正離散余弦変換）領域におけるフレーム損失封じ込めに関する。本発明は、実施形態により、前に受信したフレームに基づいて損失フレームのためのＭＤＣＴスペクトルを構成するための遅延なしの方法を提案し、最後に受信されたフレームが、ＭＤＣＴを用いて周波数領域で符号化される。
【００５９】
好ましい実施形態によれば、本発明のアプローチは、たとえば、最後から２番目の複素数スペクトルを用いてピークの正確な位置または場所を取得し、最後の実スペクトルを用いて、ビンが音かどうかの決定を精査し、かつ音のオンセットまたはオフセットのいずれかをよりよく検出するためにピッチ情報を使用して、音のスペクトルの部分を検出することを含み、ピッチ情報は、すでにビットストリームに存在するかまたはデコーダ側で生成される。さらに、本発明のアプローチは、封じ込めをすべき高調波の信号適応幅を供給することを含む。高調波の一部である各スペクトル係数のフレーム間の位相シフトまたは位相差の計算も行われ、この計算は、最後から２番目のＣＭＤＣＴを必要とせずに、たとえばＣＭＤＣＴスペクトル等の最後に入手可能なスペクトルに基づく。実施形態によれば、位相差は、最後に受信したＭＤＣＴスペクトルを用いて精査され、この精査は、連続する損失フレームの数に依拠して適応性がある。ＣＭＤＣＴスペクトルは、復号化された時間領域信号から構成することが可能で、これは、コーデックのフレーミングと整合させる必要がなく、かつ低重複窓の特徴を利用することにより、できるだけ損失フレームに近い複素数スペクトルの構成を可能にするので有利である。本発明の実施形態は、時間領域または周波数領域封じ込めのいずれかを使用するためのフレームごとの判断を提供する。
【００６０】
本発明のアプローチが有利なのは、フレームが失われたかまたは置換する必要があると決定した場合に、受信機側ですでに入手可能な情報に基づいて完全に動作し、受信する必要がある追加のサイド情報が必要ないので、追加のサイド情報を受信するかまたはすぐ使える既存の情報から追加のサイド情報を生成する必要性を考えれば、先行技術のアプローチでは発生する付加的な遅延の原因も存在しない点である。
【００６１】
本発明のアプローチは、上記の先行技術のアプローチに比べて、本発明の発明者らが認識した後述するこれらのアプローチの欠点が、本発明のアプローチを適用すれば回避できる点が有利である。
【００６２】
非特許文献１に記載のフレーム損失封じ込めの方法は、十分に確固としておらず、音の信号について十分に良い結果をもたらさない。
【００６３】
特許文献１に記載の時間領域における波形信号外挿は、多声信号を扱えず、正確なピッチラグを決定する必要があるので、非常に定常な音の信号の封じ込めについて必要とする複雑さが大きい。
【００６４】
特許文献２では、追加の遅延が導入され、かなりのサイド情報が必要である。音の成分選択は、非常に単純で、非音成分の間で多くのピークを選択する。
【００６５】
非特許文献２に記載の方法は、デコーダ側でルックアヘッドを必要とするので、１つのフレーム分の追加の遅延を導入する。ピーク検出のために平滑化された擬似パワースペクトルを使用することで、ピークの場所の精度が減じられる。１つのフレームのみに現れる雑音からピークを検出することになるので、検出の信頼性も低下する。
【００６６】
非特許文献４に記載の方法は、デコーダ側でルックアヘッドを必要とするので、２つのフレーム分の追加の遅延を導入する。音の成分の選択は、２つのフレームにおいて音の成分を別々にチェックせず、平均化されたスペクトルに依拠するため、フォルスポジティブまたはフォルスネガティブのいずれかが多くなりすぎて、ピーク検出閾値を調節することが不可能になる。ピークの場所は、擬似パワースペクトルを使用するので正確にならない。ピークサーチのための制限されたスペクトル域は、擬似パワースペクトルを使用するために生じる上記の問題のための予備手段のように見える。
【００６７】
非特許文献５に記載の方法は、非特許文献４に記載の方法に基づくので、同じ欠点を有し、追加の遅延が克服されるに過ぎない。
【００６８】
2016526703.tif 000036
【００６９】
特許文献５において、３つ以上の前のフレームをメモリにストアする必要があり、したがってメモリの要件がかなり上げられる。音の封じ込めを使用するかどうかの判断は、誤りの可能性があり、１以上の高調波を有するフレームは、複数の高調波を有していないフレームとして分類され得る。最後に受信したＭＤＣＴフレームは、損失ＭＤＣＴスペクトルの予測を改善するために直接的に使用されないが、音の成分のサーチにおいてのみ使用される。しかしながら、高調波について封じ込められるべきＭＤＣＴ係数の数がノイズレベルに依拠して固定されており、１つの高調波を構成する可変な数のＭＤＣＴ係数を有することが望ましい。
【００７０】
以下では、本発明の実施形態について、添付の図面を参照しながらより詳細に説明する。
【図面の簡単な説明】
【００７１】
【図１】図１は、デコーダ側で本発明のアプローチを実現するオーディオ信号を送信するためのシステムの簡略化されたブロック図である。
【図２】図２は、ある実施形態による本発明のアプローチのフロー図である。
【図３】図３は、隣接するフレームについて重なるＭＤＣＴ窓の模式図である。
【図４】図４は、ある実施形態によるピークを取るためのステップを表すフロー図である。
【図５】図５は、１以上のピークが検出されるフレームのパワースペクトルの模式図である。
【図６】図６は、「間のフレーム」のための例を示す図である。
【図７】図７は、送信されるサイド情報なしの内挿アプローチを表すブロック図である。
【図８】図８は、図７に比べて精査されたＦＬＣ技術全体のブロック図である。
【発明を実施するための形態】
【００７２】
なお、以下に本発明のアプローチの実施形態についてより詳細に説明するが、添付の図面において、同じまたは類似の機能性を有する要素は同じ参照記号で示す。以下に、本発明のアプローチの実施形態について記載するが、これらの実施形態によれば、受信した最後の２つのフレームがＭＤＣＴを用いて符号化される場合にのみ、周波数領域において封じ込めが行われる。２つのＭＤＣＴフレームを受信した後のフレーム損失に対して時間領域かまたは周波数領域の封じ込めのいずれを用いるかの判断に関する詳細も説明する。なお、以下に記載の実施形態に関しては、切替コーデックでは、周波数領域は、定常の音の信号について使用されるので、最後の２つのフレームが周波数領域で符号化されると言う要件が、本発明のアプローチの適用性を狭めるということはない。
【００７３】
図１は、デコーダ側で本発明のアプローチを実現するオーディオ信号を送信するためのシステムの簡略化されたブロック図である。このシステムは、入力１０２において、オーディオ信号１０４を受信するエンコーダ１００を含む。エンコーダは、受信したオーディオ信号１０４に基づいて、エンコーダ１００の出力１０６に付与される符号化オーディオ信号を生成するよう構成される。エンコーダは、オーディオ信号のフレームがＭＤＣＴを用いて符号化されるように、符号化オーディオ信号を供給し得る。ある実施形態によれば、エンコーダ１００は、参照番号１１０で示すように、オーディオ信号の無線送信を図るためのアンテナ１０８を含む。他の実施形態では、エンコーダは、たとえば参照記号１１２で示すように、有線接続ラインを介して出力１０６に付与される符号化オーディオ信号を出力し得る。
【００７４】
このシステムは、エンコーダ１０６により付与される符号化オーディオ信号が受信される入力１２２を有するデコーダ１２０をさらに含む。ある実施形態によれば、エンコーダ１２０は、エンコーダ１００からの無線送信１１０を受信するためのアンテナ１２４を含み得る。他の実施形態では、入力１２２は、符号化オーディオ信号を受信するための有線送信１１２への接続を提供し得る。デコーダ１２０の入力１２２で受信されたオーディオ信号は、デコーダ１２０によって復号されるべき受信されたオーディオ信号の符号化されたフレームを置換する必要があるかどうかを決定する検出器１２６へ付与される。たとえば、ある実施形態によれば、検出器１２６が、前のフレームに追随すべきフレームが、デコーダで受信されていないと決定するか、または受信フレームが、デコーダ側１２０での復号化を回避するエラーを有すると決定される場合などが、これに当たる。復号化のために提示されたフレームが入手可能であると検出器１２６で決定される場合、このフレームは、デコーダ１３０の出力において、復号されたオーディオフレームのストリームまたは復号化されたオーディオ信号１３２を出力できるように、符号化フレームの復号化が行われる復号化ブロック１２８へ転送される。
【００７５】
現在処理対象のフレームは、置換が必要であるとブロック１２６で決定される場合、置換が必要でかつ検出器回路１２６でバッファされ得る現在のフレームに先行するフレームを、音検出器１３４へ付与して、置換のスペクトルが、音の成分を含むかどうかを決定する。音の成分が付与されない場合には、ノイズ生成器または符号スクランブル等他の別の従来技術のノイズ発生方法を用いて生成され得る非予測係数であるスペクトル係数を生成するノイズ生成器／メモリブロック１３６へ、このことが示される。代替的には、スペクトルの非音の成分のための予め規定されたスペクトル係数も、ルックアップテーブル等のメモリから入手できる。代替的には、スペクトルが音の成分を含まないと決定された場合、非予測スペクトル係数を生成する代わりに、置換に先行するフレームのうちの１つのフレームの対応するスペクトル特性を選択してもよい。
【００７６】
音検出器１３４が、スペクトルが音の成分を含むことを検出した場合、それぞれの信号が、後述する本発明の実施形態によれば、置換フレームのためのスペクトル係数を予測する予測部１３８に対して示される。置換フレームについて決定されたそれぞれの係数が、復号化ブロック１２８へ付与され、そこで、これらのスペクトル係数に基づいて、損失または置換フレームの復号化が実行される。
【００７７】
図１に示すとおり、音検出器１３４、ノイズ生成器１３６および予測器１３８は、デコーダ１２０における置換フレーム用のスペクトル係数を得るための装置１４０を規定する。図示する要素は、適切にプログラムされた処理ユニット等のハードウェアおよび／またはソフトウェアコンポーネントを用いて実現することができる。
【００７８】
図２は、実施形態による本発明のアプローチのフロー図を示す。第１のステップＳ２００において、図１に示すように、たとえば、デコーダ１２０で、符号化オーディオ信号が受信される。受信されたオーディオ信号は、ＭＤＣＴを用いて符号化されたそれぞれのオーディオフレームの形式になり得る。
【００７９】
ステップＳ２０２において、デコーダ１２０によって処理されるべき現在のフレームが置換される必要があるか否かが決定される。デコーダ側で置換フレームが必要になり得るのは、受信したデータ等にエラーがあり、フレームが処理できないか、フレームが受信器／デコーダ１２０への送信中に失われたか、またはたとえばエンコーダ側からデコーダ側へのフレーム送信中の遅延によってオーディオ信号受信機１２０でのフレームの受信が間に合わなかった場合等である。
【００８０】
ステップ２０２において、たとえばデコーダ１２０内の検出器１２６により、デコーダ１２０によって、現在処理対象のフレームは置換が必要であると決定されると、方法は、ステップＳ２０４へ進み、周波数領域封じ込めが必要か否かのさらなる決定が行われる。ある実施形態によれば、最後の２つの受信フレームについてピッチ情報が入手可能で、かつ、ピッチが変化しない場合には、ステップＳ２０４で、周波数領域封じ込めが望ましいと決定される。さもなければ、時間領域封じ込めが適用されるべきと決定される。代替的な実施形態では、ピッチは、復号化された信号および、ここでも、ピッチが存在し、サブフレームにおいて一定ならば、周波数領域封じ込めが使用され、それ以外では時間領域封じ込めが適用されるという決定を用いて、サブフレームごとに計算され得る。
【００８１】
本発明の他の実施形態では、たとえば、デコーダ１２０に検出器１２６等の検出器が設けられ、置換フレームに先行する最後から２番目のフレーム、最後のフレームまたはこれらのフレームの両方のスペクトルをさらに分析して、見つかったピークに基づいて、信号がモノラルかまたは多声かを決定するような態様で構成され得る。信号が多声である場合には、ピッチ情報の存在に関係なく、周波数領域封じ込めが使用されることになる。代替的には、デコーダ１２０における検出器１２６は、置換フレームに先行する１以上のフレームをさらに分析して、信号における音の成分の数が予め規定された閾値を超えるか否かを示すような態様で構成されてもよい。信号における音の成分の数が、閾値を超える場合には、周波数領域封じ込めが使用される。
【００８２】
ステップＳ２０４で、たとえば、上記の基準を適用して、周波数領域封じ込めが使用されることが決定される場合、方法は、ステップＳ２０６へ進み、オーディオ信号のスペクトルの音の部分または音の成分が、先行するフレームのスペクトルに存在する１以上のピーク、すなわち、置換フレームに先行する最後から２番目のフレームのスペクトルおよび最後のフレームのスペクトルにおいて実質的に同じ場所に存在する１以上のピークに基づいて検出される。ステップＳ２０８において、スペクトルの音の部分が存在するか否か決定される。スペクトルの音の部分が存在する場合には、方法は、ステップＳ２１０へ進み、たとえば、先行するフレーム、すなわち最後のフレームから２番目のフレームおよび最後のフレームから引き出せる情報に基づいて、置換フレームのスペクトルにおける１以上のピークおよびその周辺についての１以上のスペクトル係数が予測される。ステップＳ２１０で予測されるスペクトル係数（単数または複数）は、たとえば図１に示す復号化ブロック１２８へ転送され、それによりステップＳ２１２に示すように、ステップ２１０からのスペクトル係数に基づいて符号化オーディオ信号のフレームの復号化を実行することができる。
【００８３】
ステップＳ２０８において、スペクトルの音の部分が存在しないと決定されると、置換フレームについての非予測スペクトル係数または置換フレームに先行するフレームの対応のスペクトル係数を使用するステップＳ２１４へ進み、それらは、フレームを復号化するためのステップＳ２１２へ付与される。
【００８４】
ステップＳ２０４において、周波数領域封じ込めが望ましくないと決定される場合、方法は、ステップＳ２１６へ進み、置換されるフレームの従来技術による時間領域封じ込めが行われ、ステップＳ２１６におけるプロセスにより生成されるスペクトル係数に基づいて、符号化信号のフレームがステップＳ２１２で復号される。
【００８５】
ステップＳ２０２において、現在処理されるオーディオ信号に置換フレームがないと決定される場合、すなわち、現在処理されるフレームが、従来技術のアプローチを用いて完全に復号できる場合、方法は、符号化オーディオ信号のフレームを復号化するためのステップ２１２へ直接進む。
【００８６】
以下では、本発明の実施形態によるさらなる詳細について説明する。
【００８７】
＜パワースペクトルの計算＞
ｍ−２のインデクスを付けた最後から２番目のフレームについて、ＭＤＳＴ係数Ｓm-2を、復号された時間領域信号から直接計算する。
【００８８】
最後のフレームについては、最後に受信したフレームのＭＤＣＴ係数Ｃm-1から計算される推定ＭＤＳＴスペクトルを用いる（たとえば、非特許文献８を参照）。
【数２１】
2016526703.tif 000037
【００８９】
フレームｍ−２およびｍ−１のためのパワースペクトルは、以下のように計算される。
【数２２】
2016526703.tif 000038
ここで、
Ｓm-1（ｋ）は、フレームｍ−１におけるＭＤＳＴ係数であり、Ｃm-1（ｋ）は、フレームｍ−１におけるＭＤＣＴ係数であり、Ｓm-2（ｋ）は、フレームｍ−２におけるＭＤＳＴ係数であり、Ｃm-2（ｋ）は、フレームｍ−２におけるＭＤＣＴ係数である。
【００９０】
得られたパワースペクトルは、以下のとおり平滑化される。
【数２３】
2016526703.tif 000039
＜音の成分の検出＞
【００９１】
最後の２つのフレーム（ｍ−２およびｍ−１）に存在するピークは、音の成分を表すものとして考えられる。ピークが連続して存在することで、音の成分とノイズ信号におけるランダムに発生するピークの区別ができる。
【００９２】
＜ピッチ情報＞
ピッチ情報が入手可能であると想定する。
・エンコーダ側で計算され、ビットストリームで得られるか、または
・デコーダ側で計算される。
【００９３】
ピッチ情報は、以下の条件のすべてが満たされた場合にのみ使用される。
・ピッチゲインがゼロより大きい。
・ピッチラグが、最後の２つのフレームにおいて一定である。
・基本周波数が１００Ｈｚより大きい。
【００９４】
基本周波数は、ピッチラグから計算される。
【数２４】
2016526703.tif 000040
【００９５】
Ｎ＞５で、Ｆ’0＝ｎ・Ｆ0が存在する場合、スペクトルにおいて高調波が最強になり、Ｆ0は、Ｆ’0に設定される。高調波ｎ・Ｆ0の位置に強いピークが十分に存在しない場合には、Ｆ0は、信頼できない。
【００９６】
ある実施形態によれば、ピッチ情報は、図３のＭＤＣＴ窓の右側の境界に整列するフレーミングに対して計算される。この整列は、封じ込めを必要とする部分である重複領域３００もピッチラグ計算に用いられるので、信号の音の部分の外挿には有益である。
【００９７】
他の実施形態では、ピッチ情報は、ビットストリームで転送され、かつ、クリーンなチャネルにおいてコーデックにより使用され得るので、封じ込めについて追加のコストなしで得られる。
【００９８】
＜エンベロープ＞
以下に、後述するピークピッキングに必要なスペクトルエンベロープを得るための手順を示す。
【００９９】
最後の２つのフレームにおける各パワースペクトルのエンベロープは、長さＬの移動平均フィルタを用いて計算される。
【数２５】
2016526703.tif 000041
【０１００】
フィルタの長さは、基本周波数に依拠する（かつ範囲［７,２３］に限定され得る）。
【数２６】
2016526703.tif 000042
【０１０１】
ＬとＦ0のこの関係は、非特許文献９に記載の手順に類似するが、本発明においては、ルックアヘッドを含む現在のフレームからのピッチ情報が使用される一方、非特許文献９は、話者に特定的な平均ピッチを使用する。基本周波数が入手可能でないかまたは信頼できない場合には、フィルタの長さＬは１５に設定される。
【０１０２】
＜ピークピッキング＞
ピークは、フレームｍ−１のパワースペクトルにおいて、予め規定された閾値に基づいてサーチされる。フレームｍ−１におけるピークの場所に基づいて、フレームｍ−２のパワースペクトルにおけるサーチのための閾値を適応させる。こうして、両方のフレーム（ｍ−１およびｍ−２）に存在するピークが見つけられるが、正確な場所は、フレームｍ−２におけるパワースペクトルに基づく。この順序が重要なのは、フレームｍ−１におけるパワースペクトルが推定ＭＤＳＴのみを用いて計算されるため、ピークの場所が正確でないためである。また、フレームｍ−２にのみ存在し、フレームｍ−１に存在しない音で継続することは望ましくないので、フレームｍ−１のＭＤＣＴが使用されることも重要である。図４は、実施形態によってピークをピッキングするための上記のステップを表すフロー図である。ステップＳ４００において、１以上の予め規定された閾値に基づいて、置換フレームに先行する最後のフレームｍ−１のパワースペクトルにおいて、ピークのサーチが行われる。ステップＳ４０２において、１以上の閾値が適応される。ステップＳ４０４において、１以上の適応された閾値に基づいて置換フレームに先行する最後から２番目のフレームｍ−２のパワースペクトルにおいてピークがサーチされる。
【０１０３】
図５は、１以上のピークが検出されるフレームのパワースペクトルを表す模式図である。図５において、上記のとおり決定されるか、または他の既知のアプローチにより決定され得るエンベロープ５００が示される。図５において、円で表すいくつかのピーク候補が示される。ピーク候補からピークを見つけることについて以下により詳細に示す。図５は、偽ピーク５０４と共に見つかったピーク５０２およびノイズを表すピーク５０６示す。また、スペクトル係数の左足５０８と右足５１０が示される。
【０１０４】
ある実施形態によれば、置換フレームに先行する最後のフレームｍ−１のパワースペクトルＰm-1におけるピークは、以下のステップを用いて見つけられる（図４のステップＳ４００）。
【０１０５】
・以下の基準のすべてを満たす場合、スペクトル係数は、音のピーク候補として分類される。
・平滑化されたパワースペクトルとエンベロープ５００との比が、ある閾値より大きい。
【数２７】
2016526703.tif 000043
・平滑化されたパワースペクトルとエンベロープ５００との比が、周囲の隣接するものよりも大きい、すなわち極大値であることを意味する。
【０１０６】
・スペクトル係数ｋの左足５０８および右足５１０を見つけ、かつ、左足５０８と右足５１０との間の最大値を見つけることにより、極大値が決定される。このステップは、図４で示すとおり必要とされ、偽ピーク５０４がサイドローブまたは量子化雑音により生じ得る。
【０１０７】
最後から２番目のフレームｍ−２のパワースペクトルＰm-2におけるピークのサーチのための閾値は、以下のとおり設定される（図４におけるステップＳ４０２）。
【０１０８】
・Ｐm-1におけるインデクスｉのピークの周辺のスペクトル係数において、以下のとおりである。
【数２８】
2016526703.tif 000044
【０１０９】
・Ｆ0が入手可能であり、かつ、信頼できる場合、各∈［１，Ｎ］について、ｋ＝［ｎ・Ｆ0］およびｆｒａｃ＝ｎ・Ｆ0−ｋを設定する。
【数２９】
2016526703.tif 000045
【０１１０】
Ｐm-1におけるインデクスｉのピーク周辺でｋ∈［ｉ−１，ｉ＋１］ならば、第１のステップで設定した閾値は、上書きされる。
・他のすべてのインデクスについて
【数３０】
2016526703.tif 000046
である。
【０１１１】
最後から２番目のフレームｍ−２のパワースペクトルＰm-2において、以下のステップによって音のピークが見つけられる（図４におけるステップＳ４０４）。
【０１１２】
・以下が成り立つ場合、スペクトル係数は、音のピークとして分類される。すなわち
・パワースペクトルとエンベロープとの比が、閾値より大きい。
【数３１】
2016526703.tif 000047
・パワースペクトルとエンベロープとの比が、周りの隣接するものよりも大きい、すなわち極大値である。
【０１１３】
・スペクトル係数ｋの左足５０８および右足５１０を見つけ、かつ、左足５０８と右足５１０との間の最大値を見つけることにより極大値を決定する。
【０１１４】
・左足５０８および右足５１０は、音のピーク５０２の周辺、すなわち音の封じ込め法が用いられる音の成分のスペクトルビンも規定する。
【０１１５】
上記の方法を用いることにより、図４において、右ピーク５０６がフレームの１つにのみ存在する、すなわち、フレームｍ−１とｍ−２の両方には存在しないことがわかる。したがって、このピークは、ノイズとしてマークされ、音の成分としては選択されない。
【０１１６】
2016526703.tif 000048
【数３２】
2016526703.tif 000049
【０１１７】
このように、位相シフトが存在し、ここで、ｌは、ピークのインデクスである。したがって、位相シフトが、入力周波数の端数部分＋奇数スペクトル係数についてのπの付加的な加算に依拠する。
【０１１８】
周波数Δｌの端数部分は、たとえば非特許文献１０に記載の方法を用いて得ることができる。
【０１１９】
・サブバンドｋ＝ｌにおける信号の大きさが極大値であるとすれば、Δｌは、サブバンドｋ＝ｌ−１およびｋ＝ｌ＋１における信号の大きさの比を計算することにより、すなわち、以下を評価することにより決定され得る。
【数３３】
2016526703.tif 000050
ここで、窓の振幅特性の近似が用いられる。
【数３４】
2016526703.tif 000051
ここで、ｂはメインローブの幅である。この式の定数Ｇは、推定の最大絶対誤差を最小化するために、２７．４／２０．０に調節されている。
【０１２０】
・近似の周波数応答を置換し、かつ、以下のとおりなら
【数３５】
2016526703.tif 000052
次の式が導かれる。
【数３６】
2016526703.tif 000053
【０１２１】
＜ＭＤＣＴ予測＞
すべてのスペクトルピークおよびそれらの周辺について、ＭＤＣＴ予測が用いられる。他のすべてのスペクトル係数について、符号スクランブルまたは同様のノイズ発生方法を用いることができる。
【０１２２】
見つかったピークおよびそれらの周辺に属するすべてのスペクトル係数は、Ｋとして示される集合に属する。たとえば、図５において、ピーク５０２は、音の成分を表すピークとして識別された。ピーク５０２の周辺は、たとえば左足５０８と右足５１０との間のスペクトル係数＋足５０８および５１０の係数等、予め規定された数の隣接するスペクトル係数により表すことができる。
【０１２３】
実施形態によれば、ピークの周辺は、ピーク５０２の周りの予め規定された数の係数により規定される。ピークの周辺は、ピーク５０２の左の第１の数の係数およびピーク５０２の右の第２の数の係数を含み得る。ピーク５０２の左の係数の第１の数およびピーク５０２の右の係数の第２の数は、等しくてもよいし、異なっていてもよい。
【０１２４】
ＥＶＳ標準を適用する実施形態によれば、予め規定された数の隣接する係数が第１のステップにおいて、たとえば音の成分を検出する前に、設定されるか固定され得る。ＥＶＳ標準においては、ピーク５０２から左の３つの係数、右の３つの係数およびピーク５０２、すなわち合計７つの係数が使用され得る（この数は、複雑性を理由に選択したが、他の数でも同様に作用する）。
【０１２５】
実施形態によれば、ピークの周辺の大きさは、適応性がある。音の成分を表すとして識別されたピークの周辺は、２つのピークの周辺部が重ならないように修正され得る。実施形態によれば、ピークは、常に、その周辺部と共にのみ考慮され、これらは、共に音の成分を規定する。
【０１２６】
失われたフレームにおけるＭＤＣＴ係数の予測については、最後から２番目のフレームにおけるパワースペクトル（複素数スペクトルの大きさ）が使用される。
【数３７】
2016526703.tif 000054
【０１２７】
置換フレームにおける失われたＭＤＣＴ係数は、以下のとおり推定される。
【数３８】
2016526703.tif 000055
【０１２８】
2016526703.tif 000056
＜位相予測＞
【０１２９】
見つかったすべてのスペクトルについて、フラクショナル周波数Δｌを上記のとおり計算し、かつ位相シフトは、以下のようになる。
【数３９】
2016526703.tif 000057
【０１３０】
は、フレーム間の位相シフトである。これは、ピークおよびその周辺における係数について等しい。
ピーク位置およびその周辺部（ｋ∈Ｋ）における各スペクトル係数のための位相が、以下の式を用いて最後から２番目に受信されたフレームにおいて計算される。
【数４０】
2016526703.tif 000058
【０１３１】
失われたフレームにおける位相を以下のとおり予測する。
【数４１】
2016526703.tif 000059
【０１３２】
2016526703.tif 000060
【数４２】
2016526703.tif 000061
ここで、は、フレームｍ−２におけるパワースペクトル（複素数スペクトルの大きさ）である。
【０１３３】
このＭＤＳＴ推定および受信したＭＤＣＴから、フレームｍ−１における位相の推定値が以下のように得られる。
【数４３】
2016526703.tif 000062
【０１３４】
推定位相を用いて、位相シフトを精査する。
【数４４】
2016526703.tif 000063
2016526703.tif 000064
【０１３５】
損失フレームにおける位相は、以下のとおり予測される。
【数４５】
2016526703.tif 000065
【０１３６】
この実施形態による位相シフトリファインメントにより、背景ノイズが存在する場合またはシヌソイドの周波数が変化する場合に、シヌソイドの予測が改善される。一定周波数で背景ノイズがない非重複シヌソイドについては、位相シフトは、ピーク周辺のＭＤＣＴ係数のすべてについて同じである。
【０１３７】
使用される封じ込めは、音の部分と、ノイズ部分とでは異なるフェードアウト速度を有し得る。信号の音の部分のフェードアウトスピードが、複数のフレーム損失後に、より遅ければ、音の部分が支配的になる。シヌソイド成分の様々な位相シフトによるシヌソイドの変動が、不快なアーチファクトを作り出す。
【０１３８】
この問題を克服するため、実施形態によれば、第３の損失フレームからはじめて、ピーク（インデクスｋ）の位相差をその周辺の全スペクトル係数について使用する（ｋ-ｌは、左足のインデクスであり、ｋ+ｕは、右足のインデクスである）。
【数４６】
2016526703.tif 000066
【０１３９】
他の実施形態によれば、遷移が提供される。第２の損失フレームにおける高い減衰を有するスペクトル係数は、ピークの位相差を使用し、小さい減衰の係数は、訂正された位相差を使用する。
【数４７】
2016526703.tif 000067
【０１４０】
＜大きさのリファインメント＞
他の実施形態によれば、上記の位相シフトリファインメントを適用する代わりに、大きさのリファンメントを使用する他のアプローチを適用してもよい。
【数４８】
2016526703.tif 000068
ここで、ｌは、ピークのインデクスであり、フラクショナル周波数Δｌを、上記のとおり計算する。位相シフトは、以下のとおりである。
【数４９】
2016526703.tif 000069
【０１４１】
他の実施形態によれば、エネルギの増大を回避するため、精査した大きさは、最後から２番目の損失フレームからの大きさにより制限され得る。
【数５０】
2016526703.tif 000070
【０１４２】
さらに他の実施形態によれば、大きさの減少を、それをフェードさせるために使用し得る。
【数５１】
2016526703.tif 000071
【０１４３】
＜「間のフレーム＞を用いた位相予測＞
置換フレームに先行するフレームについてのスペクトル係数の予測を基礎にする代わりに、他の実施形態では、位相予測に、「間のフレーム」（「中間」フレームとも呼ぶ）を使用し得る。図６は、「間のフレーム」の例を示す。図６において、置換フレームに先行する最後のフレーム６００（ｍ−１）、置換フレームに先行する最後から２番目のフレーム６０２（ｍ−２）および間のフレーム６０４（ｍ−１．５）が、関連のＭＤＣＴ窓６０６〜６１０と共に示される。
【０１４４】
ＭＤＣＴ窓の重複が５０％未満の場合、損失フレームにより近いＣＭＤＣＴスペクトルを得ることができる。図６においては、２５％のＭＤＣＴ窓重複の例を示す。これにより、ＭＤＣＴ窓６０６または６０８に等しく、ただしコーデックフレーミングからフレーム長さの半分だけシフトさせたダッシュで示す窓６１０を用いて、間のフレーム６０４（ｍ−１．５）のＣＭＤＣＴスペクトルを得ることができる。間のフレーム６０４（ｍ−１．５）は、時間において損失フレーム（ｍ）により近いので、そのスペクトル特性は、最後から２番目のフレーム６０２（ｍ−２）と損失フレーム（ｍ）との間のスペクトル特性よりも、損失フレーム（ｍ）のスペクトル特性により類似することになる。
【０１４５】
この実施形態では、ＭＤＳＴ係数Ｓm-1.5およびＭＤＣＴ係数Ｃm-1.5両方の計算を、ＭＤＳＴおよびＣＭＤＣＴを構成するＭＤＣＴで、復号された時間領域信号から直接的に行う。代替的には、ＣＭＤＣＴを、隣接する既存のＭＤＣＴ係数からマトリックス演算を用いて得ることができる。
【０１４６】
パワースペクトル計算を上記のように行い、音の成分の検出を、ｍ−２番目のフレームをｍ−１．５番目のフレームで置換して上記のとおり行う。
【０１４７】
2016526703.tif 000072
【数５２】
2016526703.tif 000073
【０１４８】
2016526703.tif 000074
【０１４９】
損失フレームにおけるＭＤＣＴ係数の予測について、ｍ−１．５フレームからの大きさを使用する。
【数５３】
2016526703.tif 000075
【０１５０】
損失ＭＤＣＴ係数は、以下のとおり推定される。
【数５４】
2016526703.tif 000076
【０１５１】
2016526703.tif 000077
【数５５】
2016526703.tif 000078
【０１５２】
さらに、実施形態によれば、上記の位相シフトリファインメントを適用することができる。
【数５６】
2016526703.tif 000079
【０１５３】
さらに、ピーク周辺の全スペクトル係数についての位相シフトからピークの位相シフトへの収束を上記のように用いることができる。
【０１５４】
いくつかの態様について、装置に関連して説明したが、これらの態様が対応する方法の説明も表すことは明らかであり、その場合、ブロックまたは装置が方法ステップまたは方法ステップの特徴に相当する。同様に、方法ステップに関連して説明した態様も、対応の装置の対応のブロックもしくはアイテムまたは特徴の説明を表す。
【０１５５】
特定の実装要件に依拠して、本発明の実施形態を、ハードウェアまたはソフトウェアで実装することができる。実装は、それぞれの方法が実行されるように、プログラマブルコンピュータシステムと協働する（または協働することができる）電子的に可読な制御信号を記憶した、フロッピー（登録商標）ディスク、ＤＶＤ，ブルーレイ、ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭまたはフラッシュメモリ等のデジタル記憶媒体を用いて行うことができる。したがって、デジタル記憶媒体は、コンピュータ可読である。
【０１５６】
本発明によるいくつかの実施形態は、本件明細書に記載の方法の１つを実行するように、プログラマブルコンピュータシステムと協働することができる、電子的に可読な制御信号を有するデータキャリアを含む。
【０１５７】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実現することが可能で、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読なキャリア上に記憶することができる。
【０１５８】
他の実施形態は、機械可読なキャリア上に記憶される、本件明細書に記載の方法の１つを実行するためのコピュータプログラムを含む。
【０１５９】
したがって、言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行された時に、本件明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１６０】
したがって、本発明の方法の他の実施形態は、本件明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録するデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。
【０１６１】
したがって、本発明の方法の他の実施形態は、本件明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、インターネットを経由する等データ通信接続を経由して転送されるように構成され得る。
【０１６２】
他の実施形態は、たとえば、本件明細書に記載の方法の１つを実行するよう構成または適合されたコンピュータまたはプログラマブル論理装置等の処理手段を含む。
【０１６３】
他の実施形態は、本件明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
【０１６４】
いくつかの実施形態において、プログラマブル論理装置（フィールドプログラマブルゲートアレイ等）を使用して、本件明細書に記載の方法の機能性の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイが、本件明細書に記載の方法の１つを実行するために、マイクロプロセッサと協働し得る。一般に、方法は、なんらかのハードウェア装置により実行されることが好ましい。
【０１６５】
上記の実施形態は、本発明の原則を説明するに過ぎない。当業者には、本件明細書に記載の構成および詳細の変形例および修正例が明らかになることは当然である。したがって、特許請求の範囲によってのみ限定され、本件明細書における実施形態の記載および説明により提示される特定の詳細によっては限定されないことを意図する。
【図１】
2016526703.tif 000080
【図２】
2016526703.tif 000081
【図３】
2016526703.tif 000082
【図４】
2016526703.tif 000083
【図５】
2016526703.tif 000084
【図６】
2016526703.tif 000085
【図７】
2016526703.tif 000086
【図８】
2016526703.tif 000087
【国際調査報告】
2016526703.tif 000088
2016526703.tif 000089
2016526703.tif 000090