(57)【要約】  オーディオデコーダの様々な損失隠蔽ツールの位相セットの１つを、データストリームからデコードされるオーディオ信号の損失の影響を受ける部分に割り当てること、つまり異なる損失隠蔽ツールのセットからの選択は、割り当て／選択が次の２つの尺度に基づいて行われる場合には、損失をより快適に隠蔽する方法で行われてもよい。決定される第１の尺度は、オーディオ信号のスペクトルのスペクトル重心のスペクトル位置を示し、決定される第２の尺度は、オーディオ信号の時間的予測可能性を示す。次に、割り当てられた、または選択された損失隠蔽ツールを使用して、オーディオ信号の部分を復元することができる。【特許請求の範囲】
【請求項１】
データストリーム（１４）からオーディオ信号（１２）をデコードするためのオーディオデコーダであって、前記オーディオデコーダは、異なる損失隠蔽ツール（２８）のセット（２６）を含み、
前記オーディオ信号のスペクトル（４６）のスペクトル重心のスペクトル位置（４８）を示す第１の尺度（４２）を決定し（４０）、
前記オーディオ信号の時間的予測可能性を示す第２の尺度（５２）を決定し（５０）、
異なる損失隠蔽ツール（２８）の前記セット（２６）のうちの１つ（６２）を、前記第１および第２の尺度に基づいて前記オーディオ信号（１２）の損失の影響を受ける部分（２２）に割り当て（３２）、
前記部分（２２）に割り当てられた前記１つの損失隠蔽ツール（６２）を使用して、前記オーディオ信号の前記部分（２２）を回復する、
ように構成される、オーディオデコーダ。
【請求項２】
異なる損失隠蔽ツール（２８）の前記セット（２６）は、
前記データストリームから導出されたピッチ値（６６）に依存する周期性（６８）の周期信号（７０）を使用したオーディオ信号合成によるオーディオ信号回復のための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
前記オーディオ信号の調性スペクトル成分（７２）を検出し、調性スペクトル成分（７２）での位相検出と、前記位相検出に応じて前記信号間の相互位相シフトを調整して前記調性スペクトル成分（７２）に依存する周期性の前記信号を組み合わせることによるオーディオ信号合成を実行することによるオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
複製の変更の有無にかかわらず、フレームの繰り返しを使用してオーディオ信号を回復するための第３の損失隠蔽ツール（ＰＬＣ＃３）と、
のうちの１つまたは複数を含む、請求項１に記載のオーディオデコーダ。
【請求項３】
異なる損失隠蔽ツールの前記セット（２６）は、
モノフォニック部分のオーディオ信号を回復するための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
ポリフォニック部分のオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
を含む、請求項１または２に記載のオーディオデコーダ。
【請求項４】
異なる損失隠蔽ツールの前記セット（２６）は、
調性時間領域パケット損失隠蔽を使用してオーディオ信号を回復するための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
調性周波数領域パケット損失隠蔽を使用してオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
を含む、請求項１または２に記載のオーディオデコーダ。
【請求項５】
異なる損失隠蔽ツールの前記セットは、
前記データストリームから導出されたピッチ値に依存する周期性の周期信号を使用したオーディオ信号合成によるオーディオ信号回復のための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
前記オーディオ信号の調性スペクトル成分を検出し、調性スペクトル成分での位相検出と、前記位相検出に応じて前記信号間の相互位相シフトを調整して前記調性スペクトル成分に依存する周期性の前記信号を組み合わせることによるオーディオ信号合成を実行することによるオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
を含む、請求項１または２に記載のオーディオデコーダ。
【請求項６】
前記オーディオデコーダは、
前記データストリームで搬送された最新のピッチパラメータを前記ピッチ値として使用することにより、前記データストリームから前記ピッチ値（６６）を導出するように構成される、請求項５に記載のオーディオデコーダ。
【請求項７】
前記オーディオデコーダは、
前記データストリームの最新の非損失部分から導出された１つまたは複数の連続スペクトル（４６）において同じ場所にあるピークを特定することにより、前記調性スペクトル成分（７２）の前記検出を実行するように構成される、請求項５または６に記載のオーディオデコーダ。
【請求項８】
前記データストリーム（１４）は、スペクトル領域においてエンコードされた前記データストリームの前記最新の非損失部分を有する、請求項７に記載のオーディオデコーダ。
【請求項９】
前記オーディオデコーダは、異なる損失隠蔽ツールの前記セットのうちの前記１つを、前記第１および第２の尺度に基づいて前記オーディオ信号の前記部分に割り当てる際に、前記スペクトル重心の前記スペクトル位置が低くなるほど、かつ前記時間的予測可能性が高くなるほど、前記第１の損失隠蔽ツールを前記部分に割り当てる可能性が大きくなり、前記スペクトル重心の前記スペクトル位置が高くなるほど、かつ前記時間的予測可能性が低くなるほど、前記第２の損失隠蔽ツールを前記部分に割り当てる可能性が大きくなる、請求項３から８のいずれか一項に記載のオーディオデコーダ。
【請求項１０】
損失の影響を受けた部分（２２）を検出するために損失検出（３６）を実行し、
損失の影響を受けた前記部分（２２）を検出する損失検出に応答して、前記部分（２２）について前記第１および第２の尺度（４２；５２）の決定を実行し、損失の影響を受けない部分について前記決定を実行することを抑える、
ように構成される、請求項１から９のいずれか一項に記載のオーディオデコーダ。
【請求項１１】
前記オーディオ信号の調性を示す調性インジケータ（８６）を決定し（８４）、
互いに共通の要素をもたない異なる損失隠蔽ツールの前記セット（２６）からの１つまたは複数の損失隠蔽ツールの第１および第２のサブセット（８０、８２）の１つを、前記調性インジケータ（８６）に基づいて前記オーディオ信号の前記部分（２２）に割り当て、
前記第１のサブセット（８０）が前記部分（２２）に割り当てられ、前記部分（２２）に割り当てられた前記１つの損失隠蔽ツール（６２）を使用して前記オーディオ信号の前記部分（２２）の前記回復を実行する場合には、１つまたは複数の損失隠蔽ツールの前記第１のサブセット（８０）からの前記第１および第２の尺度に基づいて、異なる損失隠蔽ツールの前記セットの前記１つを前記オーディオ信号の前記部分に割り当てる（６０）ことにより、前記第１および第２の尺度に基づいて、前記オーディオ信号の前記部分に異なる損失隠蔽ツールの前記セットの前記１つを割り当て、前記損失隠蔽ツールの前記第２のサブセット（８２）が前記部分に割り当てられている場合には、前記損失隠蔽ツールの前記第２のサブセット（８２）のうちの１つを使用して前記オーディオ信号の前記部分（２２）の前記回復を実行する、
ようにさらに構成される、請求項１から１０のいずれかに一項に記載のオーディオデコーダ。
【請求項１２】
前記オーディオデコーダは、
前記第３の尺度として、前記データストリームで搬送されるパラメータを使用するように構成される、請求項１１に記載のオーディオデコーダ。
【請求項１３】
前記オーディオデコーダは、
前記データストリームの最新の失われていないフレームにおけるピッチパラメータ（６６）の存在または非存在を前記第３の尺度（８６）として使用するように構成される、請求項１１または１２に記載のオーディオデコーダ。
【請求項１４】
異なる損失隠蔽ツールの前記セット（２６）は、
前記データストリームから導出されたピッチ値に依存する周期性の周期信号を使用したオーディオ信号合成によるオーディオ信号回復のための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
前記オーディオ信号の調性スペクトル成分を検出し、調性スペクトル成分での位相検出と、前記位相検出に応じて前記信号間の相互位相シフトを調整して前記調性スペクトル成分に依存する周期性の前記信号を組み合わせることによるオーディオ信号合成を実行することによるオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
複製の変更の有無にかかわらず、フレームの繰り返しを使用してオーディオ信号を回復するための第３の損失隠蔽ツール（ＰＬＣ＃３）と、を含み、
前記第３の損失隠蔽ツールは前記第２のサブセット（８２）に含まれ、前記第２および前記第１および第２の損失隠蔽ツールは前記第１のサブセット（８０）に含まれる、請求項１１から１３のいずれか一項に記載のオーディオデコーダ。
【請求項１５】
スペクトル成分位置値の加重和によって前記第１の尺度（４２）を決定する（４０）ように構成され、各々は前記それぞれのスペクトル成分位置値での前記オーディオ信号の前記スペクトルを使用して重み付けされる、請求項１から１４のいずれか一項に記載のオーディオデコーダ。
【請求項１６】
前記オーディオ信号の自己相似性を示す相関尺度によって前記第２の尺度（５２）を決定する（５０）ように構成された、請求項１から１５のいずれか一項に記載のオーディオデコーダ。
【請求項１７】
前記オーディオ信号からピッチを導出し、前記ピッチに依存する時間的シフトでの前記オーディオ信号の自己相関を示す相関尺度として前記第２の尺度を決定することにより、前記第２の尺度（５２）を決定する（５０）ように構成される、請求項１から１６のいずれか一項に記載のオーディオデコーダ。
【請求項１８】
前記第１および第２の尺度に基づいて、異なる損失隠蔽ツールの前記セットの１つを前記オーディオ信号の損失の影響を受ける部分（２２）に割り当てる際に、スカラー和を取得し、前記スカラー和をしきい値処理するために、前記第１および第２の尺度（４２、５２）の総和演算を実行するように構成される、請求項１から１７のいずれか一項に記載のオーディオデコーダ。
【請求項１９】
データストリーム（１４）からオーディオ信号（１２）をオーディオデコードする際に損失隠蔽を実行するための方法であって、前記方法は、
前記オーディオ信号のスペクトル（４６）のスペクトル重心のスペクトル位置（４８）を示す第１の尺度（４２）を決定し（４０）、
前記オーディオ信号の時間的予測可能性を示す第２の尺度（５２）を決定し（５０）、
異なる損失隠蔽ツール（２８）のセット（２６）のうちの１つ（６２）を、前記第１および第２の尺度に基づいて前記オーディオ信号（１２）の損失の影響を受ける部分（２２）に割り当て（３２）、
前記部分（２２）に割り当てられた前記１つの損失隠蔽ツール（６２）を使用して、前記オーディオ信号の前記部分（２２）を回復する、
ことを含む方法。
【請求項２０】
プロセッサ上で実行される場合に、請求項１９に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、異なる損失隠蔽ツールのセットをサポートするオーディオデコーダに関する。
【背景技術】
【０００２】
パケット損失隠蔽（ＰＬＣ）は、エンコーダからデコーダへの送信中に失われたパケットまたは破損したパケットを隠蔽するために、オーディオコーデックで使用される。ＰＬＣはデコーダ側で実行され、変換領域または時間領域のいずれかでデコードされた信号を外挿することによって機能する。理想的には、隠蔽された信号はアーチファクトがなく、欠落した信号と同じスペクトル特性を有する必要がある。
【０００３】
［２］と［４］で説明されているように、エラーロバストオーディオコーデックは一般に、モノフォニック信号の例としてのスピーチ、ポリフォニック信号の例としての音楽またはノイズ信号など、様々な信号タイプに対して複数の隠蔽方法を備えている。選択は、ビットストリームから送信されデコードされるか、あるいはデコーダで推定される信号特徴のセットに基づいている。
【０００４】
ピッチベースのＰＬＣ技術は、一般にスピーチ信号とモノフォニック信号に良い結果をもたらす。これらの手法は、信号が局所的に定常的であると仮定し、外挿されたピッチ周期を使用して周期的な信号を合成することにより、失われた信号を回復する。これらの技術は、ＩＴＵ−Ｔ  Ｇ．７１８［２］などのＣＥＬＰベースのスピーチコーディングで広く使用されている。これらは、ＩＴＵ−Ｔ  Ｇ．７１１［３］などのＰＣＭコーディングにも使用することができ、最近では、ＤＥＣＴベースのオーディオコーディングに適用され、最も良い例は、３ＧＰＰ  ＥＶＳ標準［４］のＴＣＸ時間領域隠蔽ＴＣＸ  ＴＤ−ＰＬＣである。
【０００５】
ピッチラグは、ピッチベースのＰＬＣで使用される主要なパラメータである。このパラメータは、エンコーダ側で推定し、ビットストリームにエンコードすることができる。この場合、最後の良好なフレームのピッチラグを使用して、［２］および［４］のように現在の失われたフレームを隠蔽する。ビットストリームにピッチラグがない場合、［３］のようにデコードされた信号に対してピッチ検出アルゴリズムを実行することにより、デコーダ側でピッチラグを推定することができる。
【０００６】
非周期的、非調性、ノイズのような信号の場合、符号スクランブリングを使用したフレーム反復と呼ばれる複雑度の低い手法が効果的であることが分かっている。これは、最後のフレームを繰り返し、失われたフレームを隠蔽するためにランダムに生成された符号をスペクトル係数に乗算することに基づいている。符号スクランブリングを使用したＭＤＣＴフレーム反復の一例は、３ＧＰＰ  ＥＶＳ標準［４］に見いだすことができる。
【０００７】
調性ポリフォニック信号または複雑な音楽信号の場合、検出された調性成分のスペクトル係数の位相を予測することに基づく方法が使用される。この方法は、定常的な調性信号の一貫した改善を示している。調性成分は、前に受信したフレームにも存在していたピークで構成される。調性成分に属するスペクトル係数の位相は、最後に受信したフレームのパワースペクトルから決定される。調性ＭＤＣＴ隠蔽の一例は、３ＧＰＰ  ＥＶＳ標準［４］に見いだすことができる。
【０００８】
上記を要約すると、様々なＰＬＣ方法が知られているが、それらは特定の状況、つまり特定のオーディオ特性に固有である。すなわち、これらのＰＬＣ方法のいくつかをサポートするオーディオコーダには、フレームまたはパケットの損失が発生したときに最も適切なＰＬＣ方法を選択するメカニズムが必要である。最も適切なＰＬＣ方法は、失われた信号を最も目立たないように置き換えるものである。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本出願の目的は、異なる損失隠蔽ツールのセットを含むオーディオデコーダが改善された損失隠蔽を達成することを可能にするオーディオデコードのコンセプトを提供することである。
【課題を解決するための手段】
【００１０】
この目的は、本出願の独立請求項の主題によって達成される。
【００１１】
本発明のアイデアは、オーディオデコーダの異なる損失隠蔽ツールの位相セットの１つを、データストリームからデコードされる、損失の影響を受けるオーディオ信号の部分に割り当てるという発見に基づいている。すなわち、異なる損失隠蔽ツールのセットからの選択は、割り当て／選択が次の２つの尺度に基づいて行われる場合には、より快適な損失隠蔽につながる方法で行うことができる。決定される第１の尺度は、オーディオ信号のスペクトルのスペクトル重心のスペクトル位置を示し、決定される第２の尺度は、オーディオ信号の時間的予測可能性を示す。次に、割り当てられた、または選択された損失隠蔽ツールを使用して、オーディオ信号の部分を復元することができる。
【００１２】
例えば、前述の第１および第２の尺度に基づいて、第１および第２の損失隠蔽ツールのうちの一方は、損失部分に割り当てることができ、第１は、データストリームから導出されたピッチ値に依存する周期性の周期信号を使用するオーディオ信号合成によってオーディオ信号を回復するように構成され、第２の損失隠蔽ツールは、オーディオ信号の調性スペクトル成分を検出し、調性スペクトル成分での位相検出と、位相検出に応じて信号間の相互位相シフトを調整して調性スペクトル成分に依存する周期性の信号を組み合わせることによるオーディオ信号合成を実行することによってオーディオ信号を回復するように構成することができる。換言すれば、第１および第２の尺度に基づいて、調性周波数領域ＰＬＣツールおよび調性時間領域ＰＬＣツールの一方を損失部分に割り当てることができる。
【００１３】
一実施形態によれば、損失部分に対する割り当て／選択は、段階的に実行される。オーディオ信号のスペクトルの調性を示す第３の尺度が決定され、異なる損失隠蔽ツールのセットからの１つまたは複数の損失隠蔽ツールの第１および第２サブセットの１つが損失部分に割り当てられ、単に、１つまたは複数の損失隠蔽ツールの第１のサブセットが損失部分に割り当てられている場合には、損失部分に対する１つのＰＬＣツールの割り当ては、この第１のサブセットからの第１および第２の尺度に基づいて実行される。それ以外の場合には、割り当て／選択は第２のサブセットから実行される。
【００１４】
本出願の有利な態様は、従属請求項の主題である。本出願の好ましい実施形態は、以下の図面に関して述べる。
【図面の簡単な説明】
【００１５】
【図１】本出願の一実施形態によるオーディオデコーダの概略的なブロック図である。
【図２】一実施形態による、図１のオーディオデコーダのアサイナ３２の動作モードの流れ図である。
【図３】一実施形態による、図２のＰＬＣ割り当ての第１の尺度を決定するためのスペクトル重心検出を示す概略図である。
【図４】一実施形態による、図２のＰＬＣ割り当ての第２の尺度を決定するための時間的予測可能性検出を示す概略図である。
【図５】図２のＰＬＣ１の動作モードを例示するための概略図である。
【図６】一実施形態によるＰＬＣ２の動作モードを例示する概略図である。
【図７】一実施形態による、パケット損失隠蔽ＰＬＣ１からＰＬＣ３のためのＰＬＣツールのセットから割り当てを実行するように拡張された、図２の割り当て動作の変更されたバージョンの流れ図である。
【図８】図７の実施形態が対応する３つのＰＬＣツールの間で決定するための決定木を示す図である。
【発明を実施するための形態】
【００１６】
図１は、本出願の一実施形態によるオーディオデコーダを示す。そこに示すように、オーディオデコーダ１０は、データストリーム１４からのオーディオ信号１２をデコードするように構成される。オーディオ信号１２は、時間領域ベースのオーディオコーデックまたは周波数領域オーディオコーデックなどの任意の適切なオーディオコーデックに従ってデータストリーム１４にエンコードされてもよい。オーディオ信号１２は、それぞれフレーム１８の時間部分１６の単位でデータストリーム１４にコード化されてもよい。より正確には、オーディオ信号１２は、時間的に重複または非重複の時間部分または間隔１６に細分することができ、その各々は、データストリーム１４が細分されるフレーム１８の特定の１つに対応する。各フレーム１８は、対応する時間部分１６をエンコードする。例えば、部分１８は、対応する部分１６内のオーディオ信号のスペクトル包絡線を表す線形予測係数に関する情報を含むことができる。さらに、フレーム１８は、そのフレームに含まれる線形予測係数に従って、例えばオーディオデコーダ１０によって成形される部分１６内のオーディオ信号１２のスペクトルを表すスペクトル係数をその中にエンコードしていてもよい。データストリーム１４からオーディオ信号１２を再構成する際に、オーディオデコーダ１０によってオーバーラップ加算プロセスが適用されることもある。当然のことながら、可能性はここに提示された例にも当てはまり、理解を容易にするために役立つだけである。
【００１７】
データストリーム１４は、パケット化された形式で、すなわちパケットの単位で、オーディオデコーダ１０によって受信され得る。データストリーム１４のフレーム１８自体への分割は、一種のパケット化を表す。つまり、フレーム１８はパケットを表す。さらに、データストリーム１４は、トランスポートストリームまたはメディアファイルフォーマットのパケットにパックされ得るが、この状況は、ここではさらに詳細には検査されない。むしろ、オーディオデコーダ１０によるデータストリーム１４の受信は、以下ではパケット損失と呼ばれるデータまたは信号の損失を起こしやすいことを述べておけば十分であろう。すなわち、データストリーム１４の一部の連続部分２０は、送信中に失われ、したがってオーディオデコーダ１０によって受信されなかった可能性があり、その結果、対応する部分が欠落し、オーディオデコーダ１０で利用することができない。結果として、オーディオデコーダ１０は、データストリーム１４内の情報を見落として、部分２０に対応する部分２２を再構成する。言い換えると、オーディオデコーダ１０は、例えば、オーディオデコーダのオーディオデコードコア２４では、データストリーム１４の部分２０が失われているときに、実装された通常のオーディオデコードプロセスに従って、データストリーム１４から部分２２を再構成することができない。むしろ、そのような欠落部分２０に対処するために、オーディオデコーダ１０は、部分２２内のオーディオ信号１２を代替信号３０によって回復または合成するように、ＰＬＣツール２８のセット２６を含む。セット２６に含まれるＰＬＣツール２８は、異なるオーディオ信号特性に対するそれらの適合性が異なる。すなわち、オーディオ信号１２の特定の部分２２内の信号代替物３０の回復のために特定のＰＬＣツールを使用するときの不快さの程度は、その部分２２でのオーディオ信号特性に依存し、セット２６内のＰＬＣツール２８は、オーディオ信号特性の特定のセットについて相互に異なる程度の不快さを示す。したがって、オーディオデコーダ１０は、パケット損失隠蔽ツール２８のセット２６の１つを、データストリーム１４の損失部分２２などの、パケット損失によって影響を受けるオーディオ信号１２の部分２２に割り当てるアサイナ３２を含む。アサイナ３２は、最良のＰＬＣツール２８、すなわち、もたらす不快さが最低のものを部分２２に割り当てようと試みる。
【００１８】
アサイナ３２が特定のＰＬＣツール２８をオーディオ信号１２の損失部分２２に割り当てると、オーディオデコーダ１０は、割り当てられたＰＬＣツール２８を使用してオーディオ信号のこの部分２２を回復し、それにより、この部分２２内のオーディオ信号１２を置き換えるが、対応するデータストリーム部分２２が失われていない場合は、アサイナ３２によって部分２２に割り当てられたＰＬＣツール２８を使用して取得された代替信号３０によって、オーディオデータストリーム１４から再構築されるからである。
【００１９】
すでに上で示したように、特定のＰＬＣツール２８の特定の損失部分２２への割り当ては、損失隠蔽を可能な限り煩わしくしないために、信号に依存させる必要がある。しかしながら、信号依存性は、失われたデータストリーム部分２０に先行するデータストリーム１４の部分に制限され、ここに記載された実施形態によれば、アサイナ３２は以下のように機能する。
【００２０】
これをより詳細に説明するために、図２を参照する。図２は、特定の欠落部分２２に対する割り当てプロセス全体が、恐らくオーディオデコーダ１０に存在する可能性のある損失検出器３４によって引き起こされる可能性があることを示している。特に、符号３８でチェックされるように、損失検出器３４によって実行される損失検出３６が、データストリーム１４の一部２０が欠落または損失していることを明らかにした場合には、以下の割り当てプロセスがトリガされる。決定４０は、オーディオ信号のスペクトルのスペクトル重心のスペクトル位置を示す第１の尺度４２を決定するために実行される。すなわち、アサイナ３２は、オーディオ信号のスペクトルの質量中心のスペクトル位置を決定する（図３を参照）。オーディオデコーダは、オーディオ信号のスペクトル４６を、データストリーム１４の損失部分２０に先行する部分４４から、データストリーム順に先行して取り出す。図１に関して上述したように、データストリーム１４は、いずれにせよ、スペクトル領域においてエンコードされたオーディオ信号１２を有し、その結果、アサイナ３２がスペクトル４６を取得するためのスペクトル分解は必要ない。例えば、損失部分２０の前の、データストリーム１４の最新の受信されたフレーム１８または２つ以上の最近の取り出されたフレーム１８のスペクトル係数が、スペクトル４６を得るために使用される。２つ以上のフレーム１８が使用される場合には、アサイナ３２によって使用されるスペクトル４６が平均化によって得られる可能性がある。決定４０を実行するために、このスペクトル４６の質量中心、すなわち、スペクトル４６のスペクトル位置４８を示す尺度４２が決定される。後ほど、特定の例を示す。
【００２１】
さらに、損失検出によってトリガされる割り当てプロセスは、この時間的予測可能性の尺度５２を得るために、オーディオ信号の時間的予測可能性の決定５０を含み、詳細については図４を参照されたい。そこに示されているように、一実施形態によれば、時間的予測可能性の検出５０は、データストリーム１４から、データストリーム１４の部分２０の損失により欠落している信号部分２２まで、デコードされた信号またはオーディオ信号１２に依存し得る。言い換えると、時間的予測可能性の検出５０は、損失部分２２の直前にある部分５０内のオーディオ信号１２に基づくことができ、その損失は隠蔽され、データストリーム１４の部分４４からデコードされる。時間的予測可能性の検出５０は、尺度５２が図４の５４に示すように信号部分５０の自己類似性または自己相関の尺度であるような方法で行われてもよい。信号５０の自己相似性が尺度５２によって示される相互シフトは、異なる方法でアサイナ３２によって決定され得る。例えば、アサイナ３２は、データストリーム１４の損失部分２０に先行する部分４４内のフレーム１８のうちの１つまたは複数で搬送される対応するピッチパラメータを検査することができる。すなわち、自己相似性が示され得る相互シフトは、ピッチがデータストリーム１４内のパラメータ、すなわち部分４４に基づいて決定されるピッチ周期に対応し得る。そのピッチ周期シフトにおける自己相似性または相関５６は、第２の尺度５２として使用されてもよい。
【００２２】
決定４０および５０をそれぞれ実行する順序が入れ替えられてもよいこと、または両方の検出が同時に実行されてもよいことは明らかである。尺度４２と５２に基づいて、割り当て６０が実行される。この割り当て６０は、部分２２の損失を隠蔽するために２つのＰＬＣツール２８のうちの１つを選択する。このＰＬＣツール、すなわち、割り当てられたもの６２は、部分２２の損失の隠蔽に使用される。
【００２３】
簡単な注記として、割り当て６０による選択がその間に実行される、ＰＬＣツール２８の数は、２よりも多くてもよいことに留意されたい。
【００２４】
しかしながら、以下にさらに概説される実施形態によれば、図２のＰＬＣツールＰＬＣ１が１として記述されてもよく、それを用いて、代替信号３０、すなわち、部分２２内のオーディオ信号推定値が調性時間領域パケットの損失隠蔽を使用して取得または回復される。言い換えれば、ＰＬＣ１は、モノフォニック部分のオーディオ信号回復専用のパケット損失隠蔽であり得る。ＰＬＣ１は、データストリームから導出されたピッチパラメータまたはピッチ値に依存する周期性の周期信号を使用して、すなわち、データストリーム１４の部分４４から、つまり、データストリーム１４の損失部分２０に先行する部分４４から、オーディオ信号１２の欠落部分２２内のオーディオ信号を回復することができる。
【００２５】
第２のＰＬＣツールＰＬＣ２は、ポリフォニックタイプのオーディオ信号の回復のための専用であってもよい。この第２のＰＬＣツールＰＬＣ２の隠蔽は、調性周波数領域のパケット損失隠蔽に基づくことができる。
【００２６】
図５および図６に関して、ＰＬＣ１およびＰＬＣ２の可能な実施態様を簡単に説明する。
【００２７】
図５にＰＬＣ１を示す。データストリーム１４の損失部分２０に先行する部分４４内のフレーム１８で搬送されるピッチパラメータまたはピッチ値６６を使用して、周期信号７０の周期性または周期長６８を設定し、次にそれを用いて代替物を形成するか、あるいはオーディオ信号１２の部分２２内の損失を隠蔽する。ピッチパラメータまたはピッチ値６６は、例えば、高調波フィルタツールなどを制御するために、通常のオーディオデコード、すなわち信号損失がない場合にオーディオデコーダ１０によって使用されるために、データストリーム１４に存在してもよい。すなわち、パラメータ６６はとにかくデータストリーム１４に存在してもよい。そうでなければ、図５に従ってＰＬＣ１を実行するＰＬＣツール２８は、損失部分２２の前のデコードされた信号５０を解析すること、または図３に示すスペクトル４６などのスペクトルの最新のアクセス可能なバージョンを解析すること、などの解析によって、ピッチ周期６８を決定することができる。
【００２８】
図６は、一実施形態によるＰＬＣ２を示す。ここで、ＰＬＣ２を実行することを担当するＰＬＣツール２８は、例えば、データストリーム１４の部分４４から得られた１つまたは２つ以上の最新の取得されたスペクトルを使用して、その中の調性スペクトル成分、すなわち、それぞれ特定の数の連続するスペクトルまたはフレーム１８のスペクトルのその位置または十分に類似した位置で発生するスペクトル４６のピーク７２またはスペクトル４６のピーク７２を検出または決定する。十分に類似した位置は、スペクトル距離が特定のしきい値を下回っている位置であり得る。ピーク７２のスペクトル位置は、調性スペクトル成分を表し、ここでは、これらのスペクトル位置で、位相検出は、例えば、オーディオ信号のパワースペクトルの使用により、または例えば、評価により実行される。次に、信号損失が隠蔽される時間部分２２内で、周期性が調性スペクトル成分に依存する信号の組み合わせが形成されて、補足信号３０を生成し、組み合わされた信号間の相互位相シフトが位相検出に応じて調整される。例えば、各調性成分７２について位相が決定されるか、またはこれらの調性成分間の単に位相差が決定され、信号は、部分２２内の代替物３０として形成され、これは位相差または位相に従ってこれらの調性成分７２によって合成される。組み合わせは、逆変換によって代替信号３０を導出することによりスペクトル領域で、または例えば適切に相互にシフトされた信号を追加することによって時間領域で直接形成され、相互シフトは決定された相互位相シフトを反映する。
【００２９】
以下でより詳細に説明するように、割り当て６０は、スペクトル位置４８が低くなるほど、かつ時間的予測可能性が高くなるほど、ＰＬＣ１が部分２２に選択または割り当てられる可能性が大きくなり、その逆も同様であって、スペクトル位置４８が高くなるほど、かつ時間的予測可能性が低くなるほど、ＰＬＣ２が割り当てられるか選択される可能性が大きくなるように、行うことができる。高いスペクトル位置は高い周波数に対応し、低いスペクトル位置は低い周波数に対応する。この方法でこれを行うことにより、損失したスピーチに対応する部分２２の場合にＰＬＣ１が選択される可能性が高くなり、ポリフォン信号または音楽に関連する部分２２の場合にＰＬＣ２が選択される可能性が高くなる。
【００３０】
完全を期すために、図７は、図２の割り当てプロセスを拡張することができることを示している。特に、図２に示すように、割り当て６０は、割り当てまたは割り当て６０の選択をＰＬＣツール２８のサブセット８０に制限することによって行われた。ＰＬＣツール２８のセット２６は、サブセット８２などの１つまたは複数のＰＬＣツール２８のさらなるサブセットを含んでもよく、損失検出３６によってトリガされると、調性検出８４は、部分２２が調性部分に関連するかどうかを決定するために、最初にアサイナ３２によって使用されてもよい。調性決定８４は、調性尺度またはインジケータ８６をもたらし、この調性尺度インジケータ８６は、例えば、部分４４内の最新のフレーム１８が、図５に記載されているようなピッチ値６６などの特定のピッチパラメータを含むかどうかを検査することなどによって、データストリーム１４の部分４４内の１つまたは複数のパラメータを使用することによって符号８４で取得することができる。存在しない場合、これは、オーディオ信号が現在非調性であることを示すと解釈されてもよく、ピッチパラメータ６６が存在する場合、これは、オーディオ信号が現在調性であることを示すと解釈されてもよい。次に、この指標は調性尺度８６である。尺度８６を使用して、オーディオ信号が調性であるか否かが８８で識別され、それが非調性である場合には、部分２２に割り当てられたＰＬＣ６２は、サブセット８２から割り当てられる。図７は、１つのＰＬＣツール２８がサブセット８２によって構成され、これが選択された場合を示している。しかしながら、ここでも、サブセット８２からのさらなる選択が続く場合がある。調性が８８で確認された場合には、決定４０および５０に基づく割り当て６０は、図２に関して上述したように、サブセット８０に関して実行される。
【００３１】
ＰＬＣ３は、複製の変更の有無にかかわらず、フレーム反復を使用することにより部分２２のオーディオ信号を回復するＰＬＣなどの非調性ＰＬＣであってもよく、上記のように、複製の変更が符号スクランブリング、すなわち、スペクトル４６などの最新の受信したスペクトルのスペクトル係数のランダムな符号反転を伴う場合、これは、逆変換され、代替信号３０を導出するために使用される。
【００３２】
図８は、例えば図７に対応する方法に従って、ＰＬＣツール２８の中から選択するための決定木を視覚化する。決定ＡとＢは、最良の隠蔽性能を得るために、特定の欠落信号部分２２に異なる信号タイプ用に設計された３つのＰＬＣ方法ＰＬＣ１〜ＰＬＣ３のどれを使用するかを決定するために行われる。第１の決定である決定Ａは、調性に基づいている。信号が非調性であることが判明した場合には、ＰＬＣ３が隠蔽に使用される。調性である場合には、決定Ｂが行われる。決定Ｂは、図２および図７に関して上記で説明した方法で尺度４２、５２に基づいて調性信号特性をチェックし、特性に応じて、ＰＬＣ１またはＰＬＣ２のいずれかを選択する。上記で説明したように、ＰＬＣ１は、モノフォンおよび／またはスピーチ信号のための調性時間領域ＰＬＣであってもよく、一方、ＰＬＣ２は、ポリフォンおよび／または音楽信号のための調性周波数領域ＰＬＣであってもよい。
【００３３】
したがって、図８の決定木は決定を視覚化し、これは、最高の隠蔽性能を得るために、異なる信号タイプの３つのＰＬＣ方法間で行われてもよい。図７のチェック８８に対応し得る決定Ａは、信号タイプ分類を検査することによって、すなわちそれを指標として使用することによって、またはそこから調性インジケータを導出することによって行うことができる。信号タイプの分類は、各フレーム１８に存在する可能性があり、各フレームのフレームクラスを示す。これは、エンコーダ側で計算され、ビットストリーム１４でオーディオデコーダに送信される。あるいは、デコーダ側で計算することもできる。しかし、フレームクラスの計算は非常に複雑であり、フレームクラスのフレーム依存関係のために、すべての特徴をすべてのフレームで計算する必要があり得る。したがって、複雑度の低いアプリケーションでは、より単純な手法を使用することが望ましい場合がある。上記のように、いくつかのピッチパラメータ６６の存在または不在は、インジケータ８６として使用することができる。
【００３４】
決定４０、５２に基づく割り当て６０に対応する決定Ｂは、ＰＬＣ＃１とＰＬＣ＃２との間の適切な選択をもたらす。［６］では、このような選択は、信号の短期的な定常性に相関するスペクトル包絡線の安定性測定に基づいて行われた。しかし、信号が定常的であるほど、調性ＰＬＣ方法ＰＬＣ＃１とＰＬＣ＃２の両方の性能が向上する。それゆえ、定常性は、最適な調性隠蔽方法を選択するための適切な基準ではない。定常性特徴は調性を非常によく示すが、スピーチ／モノフォニックとポリフォニック／音楽を区別することができない。
【００３５】
上述のように、アサイナ３２によって表されるＰＬＣ分類器を使用して図８の決定木を実行することが可能であり、フレーム間依存性なしにフレームごとに動作することができ、したがって複雑さを低くするだけでよい。符号３８で検出またはチェックされたフレーム損失の場合にのみ、分類特徴４２および５２を計算し、したがってフレーム１８間のエラーのないフレームに内在的な複雑さのオフセットを追加しない。
【００３６】
決定Ａは、最後の良好な受信されたオーディオフレームにおけるピッチ値の存在であり得る調性インジケータ８６に基づいて行われ得る。決定Ｂは、スペクトル重心４８と、最後の良好な受信されたオーディオフレームで計算された長期予測ゲイン５６と、を使用することによって行うことができる。
【００３７】
決定Ｂは、モノフォニックおよびスピーチのような信号に最も適したピッチベースの時間領域隠蔽法ＰＬＣ＃１と、ポリフォンまたは複雑な音楽信号に最も適した周波数領域法ＰＬＣ＃２と、の間で切り替えることができる。決定Ｂの分類の利点は、以下の事実から生じる。
【００３８】
・スペクトルの重心は、スピーチ信号の場合はスペクトル的に非常に低い位置にあり、音楽信号の場合はより高い位置にある。
【００３９】
・長期予測ゲインは、スピーチ信号などのモノフォニック信号および定常信号では高く、調性信号もしくは複雑な音楽信号などのポリフォニック信号または定常的でない信号では低くなる。
【００４０】
したがって、特徴４２、５２の両方の重み付けされた組み合わせを決定Ｂおよび割り当てプロセス６０に使用することができ、スピーチ／モノフォニックおよびポリフォニック／複雑な音楽信号の信頼することができる識別をもたらす。同時に、複雑さを低く抑えることができる。
【００４１】
オーディオデコーダが破損したフレームを受信した場合、またはフレームが失われた場合、つまり、符号３８で検出されたように損失部分２０に遭遇した場合には、以下を実行することができ、図２も参照されたい。
【００４２】
ａ．符号８８で、ＰＬＣ＃２のような調性隠蔽方法を使用するか、あるいは部分２０を表す損失／破損したフレームを隠蔽する、または対応する部分２２の損失を隠蔽するためにＰＬＣ＃１を用いるかの決定Ａが成される。この決定Ａは、ビットストリームの最後の良好なフレームにおけるピッチ値６６の存在を使用することができる調性インジケータ６８に基づく。
【００４３】
ｂ．否定的な決定Ａの場合、調性ＰＬＣは使用されない。代わりに、その場合は別のＰＬＣ方法、つまりＰＬＣ＃３が使用される。同じものが、符号のスクランブリングを伴うフレーム反復を使用することができる。
【００４４】
ｃ．肯定的な決定Ａの場合、２つの調性ＰＬＣ方法ＰＬＣ＃１およびＰＬＣ＃２の１つを使用して、損失／破損したフレームを隠蔽する。２つのＰＬＣ方法は、［４］のＴＣＸ  ＴＤ−ＰＬＣなどの時間領域ピッチベースのＰＬＣか、［４］の調性ＭＤＣＴ隠蔽などの周波数領域の調性隠蔽のいずれかであり得る。対応する記載は参照により本明細書に組み込まれる。
【００４５】
肯定的な決定Ａの場合、特徴４２および５２は、次の方法で最後の良好なフレームに基づいて計算することができる。
【００４６】
・特徴または尺度５２として、長期予測ゲイン
2021502608.tif 000002
：
2021502608.tif 000003
は、符号５０で計算することができる。ここで、
2021502608.tif 000004
は最後の良好なフレームのピッチ値であり、
2021502608.tif 000005
は最後の良好なフレームの最後のデコードされた時間サンプルであり、
2021502608.tif 000006
ここで、
2021502608.tif 000007
は最大ピッチ値やフレーム長（例えば１０ｍｓ）などの制限された値とすることができる。
【００４７】
・特徴または尺度４２として、スペクトル重心
2021502608.tif 000008
：
2021502608.tif 000009
は符号４０で計算することができる。ここで、
2021502608.tif 000010
は最後に受信したスペクトル
2021502608.tif 000011
の長さであり、
2021502608.tif 000012
はマグニチュードスペクトルを意味する。
【００４８】
２つの計算された特徴は、次の式と組み合わされる。
2021502608.tif 000013
ここで、
2021502608.tif 000014
、
2021502608.tif 000015
および
2021502608.tif 000016
は重みである。一実施形態では、これらは、
2021502608.tif 000017
、
2021502608.tif 000018
および
2021502608.tif 000019
である。代替案が
2021502608.tif 000020
、
2021502608.tif 000021
および
2021502608.tif 000022
を設定しているので、
2021502608.tif 000023
、
2021502608.tif 000024
および
2021502608.tif 000025
である。重みは、［−１：１］の範囲になるようにここで正規化することができる。
【００４９】
次に、ＰＬＣ＃１、例えば時間領域のピッチベースのＰＬＣ方法は、符号６０および周波数領域の調性隠蔽などのＰＬＣ＃２において
2021502608.tif 000026
である場合に選択することができる。
【００５０】
上記の説明に関して、いくつかの留意事項がある。例えば、第１の尺度４２を得るためにスペクトル重心が測定されたスペクトルは、予め強調されたバージョンなどの、いわゆる重み付けされたバージョンであるかもしれない。このような重み付けは、例えば、量子化ノイズを心理音響マスキングしきい値に適合させるために使用される。言い換えれば、それは、第１の尺度４２が、音響信号の音響心理学的にスケーリングされたスペクトルのスペクトル重心のスペクトル位置４８を示すことであってもよい。これは、エンコードされた基礎となるオーディオデコードコア２４でコーディングされた通常のオーディオデコードが、とにかく、データストリーム１４は、スペクトル領域、すなわち重み付けされた領域において、その中にエンコードされたオーディオ信号１２を有することを含む場合に特に有利であるかもしれない。それに加えてまたはその代わりに、第１の尺度４２を得るためにスペクトル重心が測定されたスペクトルは、時間領域に移行するためにオーディオデコードコア２４で使用されるスペクトル分解能と同じくらい高いスペクトル分解能で表されるとは限らない。むしろ、それはより高くても低くてもよい。それに加えてまたはその代わりに、オーディオ信号のスペクトルもスケールファクタとして現れることに留意されたい。このようなスケールファクタは、オーディオ信号のスペクトルのコード化された表現を一緒に形成するために、スペクトル係数と共にデータストリーム１４で送信される。特定の部分２２について、スペクトル係数は、スケールファクタに従ってスケールされる。スケーラファクタよりも多くのスペクトル係数がある。例えば、各スケールファクタは、オーディオ信号の帯域幅が分割される、いわゆるスケールファクタバンドと呼ばれるいくつかのスペクトル帯域の１つに割り当てられる。したがって、スケールファクタは、量子化されたスペクトル係数がデータストリーム１４でコード化されるものと比較して低減されたあるスペクトル分解能での包絡線に関して、特定の部分のオーディオ信号のスペクトルを定義する。スケールファクタがデータストリーム１４でコード化されるスペクトル分解能は、デコードコア２４がスペクトル係数の逆量子化を実行するスペクトル分解能よりもさらに低い場合さえあり得る。例えば、デコードコア２４は、データストリーム１４にコード化されたスケールファクタをスペクトル補間にかけて、データストリームにコード化されたものとしてより高いスペクトル分解能の補間スケールファクタを得て、逆量子化のために補間スケールファクタを使用する。データストリームにコード化されたスケールファクタと補間されたスケールファクタのいずれかが、オーディオ信号のスペクトルとして使用され、そのスペクトル重心は、第１の尺度４２によって示される。これは、さらに努力を増やす、デコードされたオーディオ信号を追加のスペクトル分解にかけることにより重心測定用のスペクトルを取得する場合は、スペクトル係数がコード化されている場所やその他の分解能など、より高い分解能で重心測定を実行する場合と比較して、第１の尺度が低いと判断するために実行される計算操作の数として決定されるのに、重心測定は非常に計算効率が良くなることを意味する。したがって、具体的な例として、コード化されたダウンサンプリングされたスケールファクタＳＮＳ（スペクトルノイズシェーピング）に基づいて、次のように第１および第２の尺度を計算することができる。
【００５１】
まず、ピッチ値
2021502608.tif 000027
が基礎として計算される。
2021502608.tif 000028
ここで、
2021502608.tif 000029
および
2021502608.tif 000030
は、最後の適切なフレームからデコーダによって導出されたビットストリームパラメータである。
2021502608.tif 000031
は調性指標として解釈することができる。
【００５２】
第２の尺度として、長期予測ゲイン
2021502608.tif 000032
は次のように計算される。
2021502608.tif 000033
ここで、
2021502608.tif 000034
は最後にデコードされた時間サンプルであり、
2021502608.tif 000035
は最大ピッチ値などの制限された値やフレーム長
2021502608.tif 000036
（例えば１０ｍｓ）などの所定の長さの値にすることができる。
2021502608.tif 000037
2021502608.tif 000038
は最小ピッチ値である。したがって、第２の尺度は、ピッチで相互にシフトされた、それ自体との最新の受信された部分におけるデコードされたオーディオ時間信号の自己類似性として計算される。
【００５３】
第２の尺度として、スペクトル重心
2021502608.tif 000039
は次のように計算することができる。
2021502608.tif 000040
ここで、
2021502608.tif 000041
はサンプリングレートおよび
2021502608.tif 000042
であり、
2021502608.tif 000043
は不均一なバンドインデックスである。つまり、各バンドに対して、周波数の下限と上限をある方法で定義したバンドインデックスであり、関連する下側境界と上側境界の差によって定義される帯域幅は、周波数の増加に伴って増加するなど、相互に異なるが、差は任意選択である。バンドインデックスは、オーディオ信号のサンプリングレート／周波数に応じて定義することができる。さらに、
2021502608.tif 000044
ここで、
2021502608.tif 000045
は最後の適切なフレームのビットストリームに格納されているスケールファクタベクトルであり、
2021502608.tif 000046
は既定で設定されている可能性のある所定のチルトファクタであり、オーディオ信号のサンプル周波数に応じて異なる。項
2021502608.tif 000047
は、対数領域でスケールファクタをコード化して線形領域に戻すために適用される。項
2021502608.tif 000048
は、エンコーダ側のプリエンファシスフィルタを反転させるために適用され、これは、ディエンファシスフィルタと呼ばれる。
【００５４】
スケールファクタベクトルはエンコーダ側で計算され、ビットストリームで送信される。これは、ＭＤＣＴ係数のバンドあたりのエネルギーで決定され、バンドは不均一であり、知覚的に関連するバークスケールに従う（低周波数では小さく、高周波数では大きくなる）。エネルギーを平滑化し、予め強調し、対数領域に変換した後に、それらはエンコーダ側で６４個のパラメータから１６個のパラメータにダウンサンプリングされ、スケールファクタベクトルを形成し、その後に、これがコード化され、ビットストリームで送信される。したがって、
2021502608.tif 000049
は、音声信号のスペクトル４６のスペクトル重心のスペクトル位置４８の尺度であり、ここでは、スペクトル的に粗くサンプリングされたバージョン、すなわちＳＮＳパラメータに基づいて決定される。
【００５５】
次に、様々なＰＬＣ方法の決定または選択が、基準
2021502608.tif 000050
および
2021502608.tif 000051
を使用して行われる。
2021502608.tif 000052
であれば、符号スクランブリングを使用したフレーム反復が選択されている場合がある（調性インジケータ
2021502608.tif 000053
であることを意味する）。それ以外の場合、値
2021502608.tif 000054
は次のように計算される。
2021502608.tif 000055
2021502608.tif 000056
であれば、時間領域ピッチベースのＰＬＣ方法が選択される可能性があり、それ以外の場合は、周波数領域の調性隠蔽である。
【００５６】
したがって、データストリーム１４からオーディオ信号１２をデコードするためのオーディオデコーダは、異なる損失隠蔽ツール２８のセット２６を含み、データストリームの最新の非損失部分のスケールファクタからスペクトルを導出することにより、オーディオ信号のスペクトル４６のスペクトル重心のスペクトル位置４８を示す第１の尺度４２を決定し４０、オーディオ信号の時間的予測可能性を示す第２の尺度５２を決定し５０、異なる損失隠蔽ツール２８のセット２６の１つ６２を、第１および第２の尺度に基づいて損失の影響を受けるオーディオ信号１２の部分２２に割り当て３２、そして、部分２２に割り当てられた１つの損失隠蔽ツール６２を使用して、オーディオ信号の部分２２を回復する、ように構成されてもよい。説明したように、スペクトルの導出には、データストリームでコード化されたスケーラファクタにスペクトル補間を施すことが含まれてもよい。それに加えてまたはその代わりに、これらはディエンファシスフィルタリングが施されてもよい。つまり、ディエンファシスフィルタの伝達関数が乗算されてもよい。結果として得られるスケールファクタは、スペクトルの重心測定が施されてもよい。上記の他のすべての詳細も同様に適用される。つまり、排他的に意図されていない例に言及すると以下のようになる。異なる損失隠蔽ツールのセット２６は、モノフォニック部分のオーディオ信号回復のための第１の損失隠蔽ツールと、ポリフォニック部分のオーディオ信号回復のための第２の損失隠蔽ツールと、を含んでもよく、オーディオデコーダは、第１および第２の尺度に基づいて、異なる損失隠蔽ツールのセットの１つをオーディオ信号の部分に割り当てる際に、スペクトル重心のスペクトル位置が低くなるほど、かつ時間的予測可能性が高くなるほど、第１の損失隠蔽ツールをその部分に割り当てる可能性が大きくなり、スペクトル重心のスペクトル位置が高くなるほど、かつ時間的予測可能性が低くなるほど、第２の損失隠蔽ツールをその部分に割り当てる可能性が大きくなるように、構成されてもよい。それに加えてまたはその代わりに、オーディオデコーダは、異なる損失隠蔽ツールのセットの１つを、第１および第２の尺度に基づいて損失の影響を受けるオーディオ信号の部分２２に割り当てる際に、第１および第２の尺度４２、５２の総和演算を実行して、スカラー和を取得し、スカラー和にしきい値処理を適用するように構成することができる。
【００５７】
いくつかの態様を装置のコンテキストで説明したが、これらの態様は対応する方法の説明も表し、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップのコンテキストで説明される態様は、対応するブロックまたは項目または対応する装置の特徴の説明も表す。方法ステップの一部またはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路などのハードウェア装置によって（または使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つまたは複数は、そのような装置によって実行されてもよい。
【００５８】
特定の実施態様の要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施することができる。実施態様は、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
【００５９】
本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【００６０】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するように動作する。プログラムコードは、例えば、機械可読なキャリアに格納されてもよい。
【００６１】
他の実施形態は、機械可読なキャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
【００６２】
言い換えれば、したがって、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【００６３】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、それが記録されたデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタルストレージメディア、または記録されたメディアは、通常、有形および／または非一時的である。
【００６４】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えばインターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【００６５】
さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【００６６】
さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【００６７】
本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
【００６８】
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働してもよい。一般に、これらの方法は、任意のハードウェア装置によって実行されることが好ましい。
【００６９】
本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実施されてもよい。
【００７０】
本明細書で説明される装置、または本明細書で説明される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実施されてもよい。
【００７１】
本明細書で説明する方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されてもよい。
【００７２】
本明細書で説明される方法、または本明細書で説明される装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行されてもよい。
【００７３】
上述の実施形態は、本発明の原理の単なる例示に過ぎない。本明細書に記載の配置および詳細の修正および変更は、他の当業者には明らかであることを理解されたい。したがって、本明細書の実施形態の記載および説明として提示される特定の詳細によってではなく、以下の特許請求の範囲によってのみ限定されることが意図されている。
【００７４】
［１］  ３ＧＰＰ  ＴＳ  ２６．４４５；Ｃｏｄｅｃ  ｆｏｒ  Ｅｎｈａｎｃｅｄ  Ｖｏｉｃｅ  Ｓｅｒｖｉｃｅｓ  （ＥＶＳ）；Ｄｅｔａｉｌｅｄ  ａｌｇｏｒｉｔｈｍｉｃ  ｄｅｓｃｒｉｐｔｉｏｎ
【００７５】
［２］  ＩＴＵ−Ｔ  Ｇ．７１８：Ｆｒａｍｅ  ｅｒｒｏｒ  ｒｏｂｕｓｔ  ｎａｒｒｏｗ−ｂａｎｄ  ａｎｄ  ｗｉｄｅｂａｎｄ  ｅｍｂｅｄｄｅｄ  ｖａｒｉａｂｌｅ  ｂｉｔ−ｒａｔｅ  ｃｏｄｉｎｇ  ｏｆ  ｓｐｅｅｃｈ  ａｎｄ  ａｕｄｉｏ  ｆｒｏｍ  ８−３２  ｋｂｉｔ／ｓ
【００７６】
［３］  ＩＴＵ−Ｔ  Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉ：Ａ  ｈｉｇｈ  ｑｕａｌｉｔｙ  ｌｏｗ−ｃｏｍｐｌｅｘｉｔｙ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｐａｃｋｅｔ  ｌｏｓｓ  ｃｏｎｃｅａｌｍｅｎｔ  ｗｉｔｈ  Ｇ．７１１
【００７７】
［４］  ３ＧＰＰ  ＴＳ  ２６．４４７；Ｃｏｄｅｃ  ｆｏｒ  Ｅｎｈａｎｃｅｄ  Ｖｏｉｃｅ  Ｓｅｒｖｉｃｅｓ（ＥＶＳ）；Ｅｒｒｏｒ  ｃｏｎｃｅａｌｍｅｎｔ  ｏｆ  ｌｏｓｔ  ｐａｃｋｅｔｓ
【００７８】
［５］  Ｍｅｔｈｏｄ  ａｎｄ  ｄｅｖｉｃｅ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔ  ｆｒａｍｅ  ｅｒａｓｕｒｅ  ｃｏｎｃｅａｌｍｅｎｔ  ｉｎ  ｓｐｅｅｃｈ  ｃｏｄｅｃｓ；ＷＯ２００７０７３６０４  （Ａ１）−２００７−０７−０
【００７９】
［６］  Ｓｅｌｅｃｔｉｎｇ  ａ  Ｐａｃｋｅｔ  Ｌｏｓｓ  Ｃｏｎｃｅａｌｍｅｎｔ  Ｐｒｏｃｅｄｕｒｅ；ＥＰ３１１１６２４  Ａ１−２０１７−０１−０４
【図１】
2021502608.tif 000057
【図２】
2021502608.tif 000058
【図３】
2021502608.tif 000059
【図４】
2021502608.tif 000060
【図５】
2021502608.tif 000061
【図６】
2021502608.tif 000062
【図７】
2021502608.tif 000063
【図８】
2021502608.tif 000064
【手続補正書】
【提出日】令和2年6月27日(2020.6.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データストリーム（１４）からオーディオ信号（１２）をデコードするためのオーディオデコーダであって、前記オーディオデコーダは、異なる損失隠蔽ツール（２８）のセット（２６）を含み、
前記オーディオ信号のスペクトル（４６）のスペクトル重心のスペクトル位置（４８）を示す第１の尺度（４２）を決定し（４０）、
前記オーディオ信号の時間的予測可能性を示す第２の尺度（５２）を決定し（５０）、
異なる損失隠蔽ツール（２８）の前記セット（２６）のうちの１つ（６２）を、前記第１および第２の尺度に基づいて前記オーディオ信号（１２）の損失の影響を受ける部分（２２）に割り当て（３２）、
前記部分（２２）に割り当てられた前記１つの損失隠蔽ツール（６２）を使用して、前記オーディオ信号の前記部分（２２）を回復する、
ように構成される、オーディオデコーダ。
【請求項２】
異なる損失隠蔽ツール（２８）の前記セット（２６）は、
前記データストリームから導出されたピッチ値（６６）に依存する周期性（６８）の周期信号（７０）を使用したオーディオ信号合成によるオーディオ信号回復のための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
前記オーディオ信号の調性スペクトル成分（７２）を検出し、調性スペクトル成分（７２）での位相検出と、前記位相検出に応じて前記信号間の相互位相シフトを調整して前記調性スペクトル成分（７２）に依存する周期性の前記信号を組み合わせることによるオーディオ信号合成を実行することによるオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
複製の変更の有無にかかわらず、フレームの繰り返しを使用してオーディオ信号を回復するための第３の損失隠蔽ツール（ＰＬＣ＃３）と、
のうちの１つまたは複数を含む、請求項１に記載のオーディオデコーダ。
【請求項３】
異なる損失隠蔽ツールの前記セット（２６）は、
モノフォニック部分のオーディオ信号を回復するための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
ポリフォニック部分のオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
を含む、請求項１または２に記載のオーディオデコーダ。
【請求項４】
異なる損失隠蔽ツールの前記セット（２６）は、
調性時間領域パケット損失隠蔽を使用してオーディオ信号を回復するための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
調性周波数領域パケット損失隠蔽を使用してオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
を含む、請求項１または２に記載のオーディオデコーダ。
【請求項５】
異なる損失隠蔽ツールの前記セットは、
前記データストリームから導出されたピッチ値に依存する周期性の周期信号を使用したオーディオ信号合成によるオーディオ信号回復のための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
前記オーディオ信号の調性スペクトル成分を検出し、調性スペクトル成分での位相検出と、前記位相検出に応じて前記信号間の相互位相シフトを調整して前記調性スペクトル成分に依存する周期性の前記信号を組み合わせることによるオーディオ信号合成を実行することによるオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
を含む、請求項１または２に記載のオーディオデコーダ。
【請求項６】
前記オーディオデコーダは、
前記データストリームで搬送された最新のピッチパラメータを前記ピッチ値として使用することにより、前記データストリームから前記ピッチ値（６６）を導出するように構成される、請求項５に記載のオーディオデコーダ。
【請求項７】
前記オーディオデコーダは、
前記データストリームの最新の非損失部分から導出された１つまたは複数の連続スペクトル（４６）において同じ場所にあるピークを特定することにより、前記調性スペクトル成分（７２）の前記検出を実行するように構成される、請求項５または６に記載のオーディオデコーダ。
【請求項８】
前記データストリーム（１４）は、スペクトル領域においてエンコードされた前記データストリームの前記最新の非損失部分を有する、請求項７に記載のオーディオデコーダ。
【請求項９】
前記オーディオデコーダは、異なる損失隠蔽ツールの前記セットのうちの前記１つを、前記第１および第２の尺度に基づいて前記オーディオ信号の前記部分に割り当てる際に、前記スペクトル重心の前記スペクトル位置が低くなるほど、かつ前記時間的予測可能性が高くなるほど、前記第１の損失隠蔽ツールを前記部分に割り当てる可能性が大きくなり、前記スペクトル重心の前記スペクトル位置が高くなるほど、かつ前記時間的予測可能性が低くなるほど、前記第２の損失隠蔽ツールを前記部分に割り当てる可能性が大きくなる、請求項３から８のいずれか一項に記載のオーディオデコーダ。
【請求項１０】
損失の影響を受けた部分（２２）を検出するために損失検出（３６）を実行し、
損失の影響を受けた前記部分（２２）を検出する損失検出に応答して、前記部分（２２）について前記第１および第２の尺度（４２；５２）の決定を実行し、損失の影響を受けない部分について前記決定を実行することを抑える、
ように構成される、請求項１から９のいずれか一項に記載のオーディオデコーダ。
【請求項１１】
前記オーディオ信号の調性を示す調性インジケータ（８６）を決定し（８４）、
互いに共通の要素をもたない異なる損失隠蔽ツールの前記セット（２６）からの１つまたは複数の損失隠蔽ツールの第１および第２のサブセット（８０、８２）の１つを、前記調性インジケータ（８６）に基づいて前記オーディオ信号の前記部分（２２）に割り当て、
前記第１のサブセット（８０）が前記部分（２２）に割り当てられ、前記部分（２２）に割り当てられた前記１つの損失隠蔽ツール（６２）を使用して前記オーディオ信号の前記部分（２２）の前記回復を実行する場合には、１つまたは複数の損失隠蔽ツールの前記第１のサブセット（８０）からの前記第１および第２の尺度に基づいて、異なる損失隠蔽ツールの前記セットの前記１つを前記オーディオ信号の前記部分に割り当てる（６０）ことにより、前記第１および第２の尺度に基づいて、前記オーディオ信号の前記部分に異なる損失隠蔽ツールの前記セットの前記１つを割り当て、前記損失隠蔽ツールの前記第２のサブセット（８２）が前記部分に割り当てられている場合には、前記損失隠蔽ツールの前記第２のサブセット（８２）のうちの１つを使用して前記オーディオ信号の前記部分（２２）の前記回復を実行する、
ようにさらに構成される、請求項１から１０のいずれかに一項に記載のオーディオデコーダ。
【請求項１２】
前記オーディオデコーダは、
前記第３の尺度として、前記データストリームで搬送されるパラメータを使用するように構成される、請求項１１に記載のオーディオデコーダ。
【請求項１３】
前記オーディオデコーダは、
前記データストリームの最新の失われていないフレームにおけるピッチパラメータ（６６）の存在または非存在を前記第３の尺度（８６）として使用するように構成される、請求項１１または１２に記載のオーディオデコーダ。
【請求項１４】
異なる損失隠蔽ツールの前記セット（２６）は、
前記データストリームから導出されたピッチ値に依存する周期性の周期信号を使用したオーディオ信号合成によるオーディオ信号回復のための第１の損失隠蔽ツール（ＰＬＣ＃１）と、
前記オーディオ信号の調性スペクトル成分を検出し、調性スペクトル成分での位相検出と、前記位相検出に応じて前記信号間の相互位相シフトを調整して前記調性スペクトル成分に依存する周期性の前記信号を組み合わせることによるオーディオ信号合成を実行することによるオーディオ信号を回復するための第２の損失隠蔽ツール（ＰＬＣ＃２）と、
複製の変更の有無にかかわらず、フレームの繰り返しを使用してオーディオ信号を回復するための第３の損失隠蔽ツール（ＰＬＣ＃３）と、を含み、
前記第３の損失隠蔽ツールは前記第２のサブセット（８２）に含まれ、前記第２および前記第１および第２の損失隠蔽ツールは前記第１のサブセット（８０）に含まれる、請求項１１から１３のいずれか一項に記載のオーディオデコーダ。
【請求項１５】
スペクトル成分位置値の加重和によって前記第１の尺度（４２）を決定する（４０）ように構成され、各々は前記それぞれのスペクトル成分位置値での前記オーディオ信号の前記スペクトルを使用して重み付けされる、請求項１から１４のいずれか一項に記載のオーディオデコーダ。
【請求項１６】
前記オーディオ信号の自己相似性を示す相関尺度によって前記第２の尺度（５２）を決定する（５０）ように構成された、請求項１から１５のいずれか一項に記載のオーディオデコーダ。
【請求項１７】
前記オーディオ信号からピッチを導出し、前記ピッチに依存する時間的シフトでの前記オーディオ信号の自己相関を示す相関尺度として前記第２の尺度を決定することにより、前記第２の尺度（５２）を決定する（５０）ように構成される、請求項１から１６のいずれか一項に記載のオーディオデコーダ。
【請求項１８】
前記第１および第２の尺度に基づいて、異なる損失隠蔽ツールの前記セットの１つを前記オーディオ信号の損失の影響を受ける部分（２２）に割り当てる際に、スカラー和を取得し、前記スカラー和をしきい値処理するために、前記第１および第２の尺度（４２、５２）の総和演算を実行するように構成される、請求項１から１７のいずれか一項に記載のオーディオデコーダ。
【請求項１９】
前記データストリームの最新の非損失部分のスケールファクタから前記スペクトルを導出することにより、前記第１の尺度（４２）を決定する（４０）ように構成された、請求項１から１８のいずれか一項に記載のオーディオデコーダ。
【請求項２０】
前記データストリームの最新の非損失部分のスケールファクタから前記スペクトルを導出し、前記データストリームにコード化された前記スケールファクタにスペクトル補間を施すことにより、前記第１の尺度（４２）を決定する（４０）ように構成された、請求項１から１９のいずれか一項に記載のオーディオデコーダ。
【請求項２１】
デエンファシスフィルタの伝達関数との乗算により、前記スケールファクタにデエンファシスフィルタリングを施すように構成された、請求項１９または２０に記載のオーディオデコーダ。
【請求項２２】
データストリーム（１４）からオーディオ信号（１２）をオーディオデコードする際に損失隠蔽を実行するための方法であって、前記方法は、
前記オーディオ信号のスペクトル（４６）のスペクトル重心のスペクトル位置（４８）を示す第１の尺度（４２）を決定し（４０）、
前記オーディオ信号の時間的予測可能性を示す第２の尺度（５２）を決定し（５０）、
異なる損失隠蔽ツール（２８）のセット（２６）のうちの１つ（６２）を、前記第１および第２の尺度に基づいて前記オーディオ信号（１２）の損失の影響を受ける部分（２２）に割り当て（３２）、
前記部分（２２）に割り当てられた前記１つの損失隠蔽ツール（６２）を使用して、前記オーディオ信号の前記部分（２２）を回復する、
ように構成される方法。
【請求項２３】
プロセッサ上で実行される場合に、請求項２２に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【国際調査報告】
2021502608.tif 000065
2021502608.tif 000066
2021502608.tif 000067