(57)【特許請求の範囲】
【請求項１】
オーディオ信号の連続性を修復するためのコンピュータ実装方法であって、
オーディオ信号中の欠落セグメントの両対向側にある複数のセグメントのスペクトルを計算すること；
前記計算後のスペクトルのうち強度のあるピークを決定すること；
前記決定された複数のピークを強度によって順序づけること；
前記複数のピークから前記欠落セグメントの対向側における複数の近隣ピークを決定して、複数対のスペクトルピークを形成すること；
前記複数対のスペクトルピークを用いる複素係数内挿を前記オーディオ信号の前記欠落セグメントにわたって行い、前記欠落セグメント用の修復データを生成すること
を含む、コンピュータ実装方法。
【請求項２】
前記内挿は正弦波内挿である、請求項１に記載の方法。
【請求項３】
各ピーク対は、前記欠落セグメントの第１側における第１のピークと、前記欠落セグメントの第２側における第２のピークとから構成される、請求項１に記載の方法。
【請求項４】
最も高いピークで始まる近隣ピークの決定が前記複数のピークの各々について行われる、請求項１に記載の方法。
【請求項５】
前記欠落セグメントの両対向側にある前記複数のセグメントのデータで前記修復データをフェードすることを更に含む、請求項１に記載の方法。
【請求項６】
前記修復データは、前記欠落セグメントの両対向側にある前記複数のセグメントのデータで重畳加算演算を使ってフェードされる、請求項５に記載の方法。
【請求項７】
前記信号に対して高速フーリエ変換を行って、前記信号の周波数領域表現を生成すること；
前記変換後の信号の強度スペクトルをスムージングすること；
スムージング済みスペクトルの局所的傾斜の符号を決定すること；
前記局所的傾斜の符号が正から負に変化する地点に基づき前記複数のピークの評価を生成すること；
スムージングされていない信号を、対応する評価済みピークの近傍で検索することにより、前記複数のピークの各々の真の位置を決定すること
を更に含む、請求項１に記載の方法。
【請求項８】
前記信号の前記強度スペクトルは、当該スペクトルにローパスフィルタを適用することによってスムージングされる、請求項７に記載の方法。
【請求項９】
行われる内挿の区間は、補間器によって生成される瞬間的波形と既知の信号セグメントから評価される瞬間的波形との整列の測度を最大にするように、内挿区間の範囲から選択される、請求項１に記載の方法。
【請求項１０】
前記内挿区間の範囲は、予期されるパケット紛失と一致するレベルまで受信装置のジッタバッファを満たすように選択される、請求項９に記載の方法。
【請求項１１】
オーディオ信号の連続性を修復するためのコンピュータ実装方法であって、
オーディオ信号中の欠落セグメントの第１側に位置する第１のセグメントのスペクトルおよび前記オーディオ信号中の前記欠落セグメントの第２側に位置する第２のセグメントのスペクトルを計算すること；
前記第１のセグメントおよび前記第２のセグメントのスペクトルにおける、ピークに対応する複数のオブジェクトを特定すること；
特定された複数のオブジェクトを対応するピークの振幅によってソートすること；
ソートされた複数のオブジェクトのインデックスを決定すること；
前記複数のオブジェクトのうちの少なくとも１つに対して、マッチングオブジェクトを特定すること；
前記少なくとも１つのオブジェクト及び前記マッチングオブジェクトを用いる複素係数内挿を前記オーディオ信号の前記欠落セグメントにわたって行い、前記欠落セグメント用の修復データを生成すること
を含む、コンピュータ実装方法。
【請求項１２】
マッチングオブジェクトの特定は、前記複数のオブジェクトのうちの前記少なくとも１つについて、ソート済みの複数のオブジェクトのインデックスに従って、最大ピークのオブジェクトから開始して最小ピークのオブジェクトまで続けられる、請求項１１に記載の方法。
【請求項１３】
前記第１のセグメントおよび前記第２のセグメントのスペクトルにおける前記複数のオブジェクトを特定することは、オブジェクトリストを生成することを含み、前記第１のセグメントの前記スペクトルおよび前記第２のセグメントの前記スペクトルの両者の各ピークにつき１つのオブジェクトがある、請求項１１に記載の方法。
【請求項１４】
前記オブジェクトリストは、当該リスト中の複数のオブジェクトの各々について、対応するピークの振幅、対応するピークが位置する周波数、対応するピークが前記第１のセグメントの前記スペクトルあるいは前記第２のセグメントの前記スペクトルに属するかどうかを示すラベル、および対応するピークが属しているスペクトルに対して相補的なスペクトル中のマッチングピークの位置を含む、請求項１３に記載の方法。
【請求項１５】
前記複数のオブジェクトのうちの少なくとも１つに対して、マッチングオブジェクトを特定することは、
一つのオブジェクトについて、他のすべてのオブジェクトに対する検索を行うことにより、マッチングオブジェクトの候補を特定すること；
前記マッチングオブジェクトの候補から、マッチングオブジェクトを既に有するすべてのオブジェクトを取り除くこと；
残りのマッチングオブジェクトの候補の各々について、マッチング基準を評価すること；
残りのマッチングオブジェクトの候補のうちの１つを、前記評価したマッチング基準に基づき、前記オブジェクトに対するマッチングオブジェクトとして選択することを含む、請求項１１に記載の方法。
【請求項１６】
残りのマッチングオブジェクトの候補のうちの前記１つは、評価したマッチング基準における最高値を有するマッチングオブジェクトの候補に基づき、前記マッチングオブジェクトとして選択される、請求項１５に記載の方法。
【請求項１７】
残りのマッチングオブジェクトの候補を、相補スペクトルからのピークを備えるオブジェクトと、近隣周波数のピークを備えるオブジェクトとに制限することを更に含む、請求項１５に記載の方法。
【請求項１８】
マッチングオブジェクトの候補のないオブジェクトを特定すること；
そのオブジェクトの周波数と同一の周波数を有するとともにその同一の周波数でゼロ振幅または相補スペクトルの振幅のいずれかを有する仮想ピークを生成すること
を更に含む、請求項１５に記載の方法。
【請求項１９】
マッチングオブジェクトの候補のないオブジェクトを特定すること；
そのオブジェクトを前記複数のオブジェクトから取り除くことを
更に含む、請求項１５に記載の方法。
【請求項２０】
オーディオ信号の連続性を修復するためのコンピュータ実装方法であって、
オーディオ信号中の欠落セグメントの両対向側にある複数のセグメントのスペクトルを計算すること；
前記計算後のスペクトルのうち強度のあるピークを決定すること；
前記決定された複数のピークを強度によって順序づけること；
前記複数のピークから前記欠落セグメントの対向側における複数の近隣ピークを決定して、複数対のスペクトルピークを形成すること；
前記オーディオ信号の前記欠落セグメントの区間にわたって内挿を行なうことを含み、その区間の長さは、位相オフセットの振幅に応じて重み付けした位相オフセットの対応する組を整列することに基づいて決定される、コンピュータ実装方法。
【発明の詳細な説明】
【背景技術】
【０００１】
異なる装置間でのパケット紛失およびクロックドリフトによって、オーディオ信号の欠落セグメントや不連続性が生じ得る。オーディオ信号に対するゼロ挿入およびオーディオ信号の不連続性はどちらも聴者にはっきり聴き取られる。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
オーディオ信号の連続性の修復のための様々なアプローチが提案されているが、そのようなアプローチは通常発話信号（speech signals）のみを対象にしたものであり、オーディオ全般についてはうまく機能しない。
【課題を解決するための手段】
【０００３】
本概要は、本開示のいくつかの基本的な態様の理解のために、いくつかの技術的思想を単純化した形態で紹介する。本概要は、本開示の広範囲な概観ではなく、開示の主要なまたは重大な要素を特定したり開示の範囲を明示するようには意図されない。本概要は、以下の詳細な説明の前段として本開示の技術的思想のうちのいくつかを示すのみである。
【０００４】
本開示は、通常信号処理のための方法およびシステムに関する。より具体的には、本開示の態様は、内挿演算および外挿演算を使用して、オーディオ信号の欠落セグメントや不連続性の包隠（concealing）に関する。
【０００５】
本開示の一実施形態は、オーディオ信号中の欠落セグメントの両対向側にある複数のセグメントのスペクトルを計算すること；前記計算後のスペクトルのうち強度のあるピーク（magnitude peaks）を決定すること；前記決定された複数のピークを強度によって順序づけること；前記複数のピークから前記欠落セグメントの対向側における複数の近隣ピークを決定して、複数対のスペクトルピークを形成すること；前記複数対のスペクトルピークを用いる内挿を前記オーディオ信号の前記欠落セグメントにわたって行い、前記欠落セグメント用の修復データを生成することを含む、コンピュータ実装方法に関する。
【０００６】
別例において、コンピュータ実装方法は、前記欠落セグメントの両対向側にある前記複数のセグメントのデータで前記修復データをフェードすることを更に含む。
別例において、コンピュータ実装方法は、前記信号の強度スペクトル（magnitude spectrum）をスムージングすること；スムージング済みスペクトルの局所的傾斜の符号を決定すること；前記局所的傾斜の符号が正から負に変化する地点に基づき前記複数のピークの評価を生成すること：スムージングされていない信号を、対応する評価済みピークの近傍で検索することにより、前記複数のピークの各々の真の位置を決定することとを更に含む。
【０００７】
別例において、行われる内挿のレベルは、補間器によって生成される瞬間的波形と既知の信号セグメントから評価される瞬間的波形との整列の測度を最大にするように、内挿区間（interpolation intervals）の範囲から選択される。
【０００８】
本開示の別例は、オーディオ信号中の欠落セグメントの第１側に位置する第１のセグメントのスペクトルおよび前記オーディオ信号中の前記欠落セグメントの第２側に位置する第２のセグメントのスペクトルを計算すること；前記第１のセグメントおよび前記第２のセグメントのスペクトルにおける、ピークに対応する複数のオブジェクトを特定すること；特定された複数のオブジェクトを対応するピークの振幅によってソートすること；ソートされた複数のオブジェクトのインデックスを決定すること；前記複数のオブジェクトのうちの少なくとも１つに対して、マッチングオブジェクトを特定することを含む、コンピュータ実装方法に関する。
【０００９】
更なる別例において、コンピュータ実装方法では、第１のセグメントおよび第２のセグメントのスペクトルにおける複数のオブジェクトを特定する工程が、オブジェクトリストを生成することを含み、前記第１のセグメントの前記スペクトルおよび前記第２のセグメントの前記スペクトルの両者の各ピークにつき１つのオブジェクトがある。
【００１０】
更なる別例において、オブジェクトのうちの少なくとも１つにおいて、コンピュータ実装方法では、マッチングオブジェクトを特定する工程は、一つのオブジェクトについて、他のすべてのオブジェクトに対する検索を行うことにより、マッチングオブジェクトの候補を特定すること；、前記マッチングオブジェクトの候補から、マッチングオブジェクトを既に有するすべてのオブジェクトを取り除くこと；残りのマッチングオブジェクトの候補の各々について、マッチング基準を評価すること；残りのマッチングオブジェクトの候補のうちの１つを、前記評価したマッチング基準に基づき、前記オブジェクトに対するマッチングオブジェクトとして選択することとを含む。
【００１１】
更なる別例において、コンピュータ実装方法は、残りのマッチングオブジェクトの候補を、相補スペクトルからのピークを備えるオブジェクトと、近隣周波数のピークを備えるオブジェクトとに制限することを更に含む。
【００１２】
更なる別例において、コンピュータ実装方法は、マッチングオブジェクトの候補のないオブジェクトを特定すること；そのオブジェクトの周波数と同一の周波数を有するとともにその同一の周波数でゼロ振幅または相補スペクトルの振幅のいずれかを有する仮想ピークを生成することを更に含む。
【００１３】
別例において、コンピュータ実装方法は、マッチングオブジェクトの候補のないオブジェクトを特定することと、複数のオブジェクトからオブジェクトを取り除くこととを更に含む。
【００１４】
本開示の更なる別例は、オーディオ信号中の欠落セグメントの両対向側にある複数のセグメントのスペクトルを計算すること；前記計算後のスペクトルのうち強度のあるピークを決定すること；前記決定された複数のピークを強度によって順序づけること；前記複数のピークから前記欠落セグメントの対向側における複数の近隣ピークを決定して、複数対のスペクトルピークを形成すること；前記オーディオ信号の前記欠落セグメントの区間にわたって内挿を行なうことを含み、その区間の長さは、位相オフセットの振幅に応じて重み付けした位相オフセットの対応する組を整列することに基づいて決定される、コンピュータ実装方法に関する。
【００１５】
１つ以上の別例において、開示した方法およびシステムは、以下の付加的な特徴のうちの１つ以上を含む。内挿は正弦波内挿である；各ピーク対は、欠落セグメントの第１側における第１のピークと、欠落セグメントの第２側における第２のピークとから構成される；最も高いピークで始まる近隣ピークの決定が前記複数のピークの各々について行われる；修復データは、欠落セグメントの両対向側にある前記複数のセグメントのデータで重畳加算演算を使ってフェードされる；前記信号の前記強度スペクトルは、当該スペクトルにローパスフィルタを適用することによりスムージングされる；内挿区間の範囲は、予期されるパケット紛失と一致するレベルまで受信装置のジッタバッファを満たすように選択される；マッチングオブジェクトの特定は、前記複数のオブジェクトのうちの前記少なくとも１つについて、ソート済みの複数のオブジェクトのインデックスに従って、最大ピークのオブジェクトから開始して最小ピークのオブジェクトまで続けられる；オブジェクトリストは、当該リスト中の複数のオブジェクトの各々について、対応するピークの振幅、対応するピークが位置する周波数、対応するピークが第１あるいは第２のスペクトルに属するかどうかを示すラベル、および対応するピークが属しているスペクトルに対して相補的なスペクトル中のマッチングピークの位置を含む；かつ／または、残りのマッチングオブジェクトの候補のうちの前記１つは、評価したマッチング基準における最高値を有するマッチングオブジェクトの候補に基づき、前記マッチングオブジェクトとして選択される。
【００１６】
以下の詳細な説明から本開示の更なる適用可能な範囲が明らかになるであろう。しかしながら、本開示の趣旨および範囲内での様々な変更および修正が、この詳細な説明から当業者に明らかになるであろう。従って、詳細な説明および特定の例が好ましい実施形態を示し、例示のためにのみ示されることが理解されるべきである。
【００１７】
本開示のこれらおよび他の課題、特徴、および特性は、添付の特許請求の範囲および図面と組み合わせて以下の詳細な説明に関する研究から当業者により明らかになるであろう。これらのすべては本明細書の一部をなす。
【図面の簡単な説明】
【００１８】
【図１】図１は、開示した１つ以上の実施形態に従う、内挿演算および外挿演算を使用して、オーディオ信号の欠落セグメントや不連続性を包隠するための例示の適用を示す概略図である。
【図２】図２は、開示した１つ以上の実施形態に従う、信号に対する内挿演算および外挿演算の単純化された例を示す概略図である。
【図３】図３は、開示した１つ以上の実施形態に従う、修復されるオーディオ信号のセグメントの過去の端部および未来の端部でのデータが利用可能である例示の内挿方法を示すフローチャートである。
【図４】図４は、開示した１つ以上の実施形態に従う、ピーク抽出のための例示の方法を示すフローチャートである。
【図５】図５は、開示した１つ以上の実施形態に従う、相補ピークの対を選択する例示の方法を示すフローチャートである。
【図６】図６は、開示した１つ以上の実施形態に従う、例示のオブジェクトペアリング方法を示すフローチャートである。
【図７】図７は、開示した１つ以上の実施形態に従う、オーディオ信号の欠落セグメントの過去および未来のスペクトルにおける正弦波のピークに対応するオブジェクトについての例示のデータを示す表である。
【図８】図８は、開示した１つ以上の実施形態に従う、正弦内挿および外挿に基づく、オーディオ信号の欠落セグメントや不連続性を包隠するように構成される例示のコンピューティングデバイスを示すブロック図である。
【発明を実施するための形態】
【００１９】
ここに提供される標題は便宜のためのみであり、本開示で請求されるものの範囲や意味に必ずしも影響しない。
図面において、同様の参照符号および任意の頭文字は、容易に理解するためおよび便宜のために要素を特定するか、あるいは同様または類似の構造体や機能と作用する。図面は、次の詳細な説明の間に詳細に記載されるであろう。
【００２０】
［概観］
様々な例および実施形態が開示される。以下に、完全な理解のための特定の詳細およびこれらの例を可能とする記載が開示される。当業者は、しかしながら、ここに開示した１つ以上の実施形態がこれらの詳細の多くを伴うことなく実施可能であることを理解するであろう。同様に、当業者は、本開示の１つ以上の実施形態がここに詳細に開示されない他の多くの明らかな特徴を含むことができると理解するであろう。加えて、いくつかの周知な構造体あるいは機能は、不必要に関連する記載を不明瞭にしないように以下に詳細には示されず、開示されない。
【００２１】
本開示の実施形態は、オーディオ信号の欠落セグメントや不連続性を包隠し（例えば修復し）、これによりそのオーディオ信号の連続性を修復するための方法およびシステムに関する。この方法およびシステムは、内挿演算および外挿演算に基づきオーディオセグメントを伸張あるいは短縮することに更に使用される。
【００２２】
オーディオ信号の欠落セグメントや不連続性を修復する方法は、パケット紛失の包隠方法と呼ばれることもある。従来のパケット紛失の包隠方法は、典型的には発話のみを対象とする。その理由として、発話信号は、再送信が可能でないリアルタイムアプリケ―ションにおいて一般に行われることが挙げられる。しかしながら、インターネット系アプリケ―ションの増加により、一般的なオーディオ信号のためのパケット紛失の包隠がより重要になっている。発話のみを対象とする既存のパケット紛失包隠方法は、発話信号のピッチ構造に極度に依存し、その結果、発話信号の構造が通常より複雑であり、発話に使用することができる単純モデルによってはうまく表現できない音楽においては、これらの方法はうまく行われない。従って、本開示の方法およびシステムは、（発話のみに対するよりも概括的な意味における）オーディオアプリケ―ションにおいてうまく行われるように構成される。
【００２３】
上述した既存のアプローチの不十分さを考慮して、本開示の実施形態は、リアルタイムに作動することができる、オーディオ信号のパケット紛失および不連続性を包隠するための方法およびシステムを提供する。
【００２４】
ここにより詳細に開示されるように、内挿が外挿に続き、測定データが内挿に続く。内挿および外挿の両演算は、オーディオ信号を正弦波の和として示す。１つ以上の実施形態では、外挿の場合、１組の正弦波が、最後に観測されるデータ中に検知され、内挿の場合には、第１の組の正弦波が欠落セグメントの前に観測または生成されるデータ中に検知され、第２の組の正弦波が欠落データセグメントの後の観測中に検知される。
【００２５】
ここに開示される少なくとも１つの実施形態では、本開示の内挿方法は、欠落セグメントの前及び後に観測される複数の正弦波を対にする前に、それらの振幅によって正弦波をソートする。正弦波は複素指数関数の実部として示される。正弦波の複素利得および周波数は線形に内挿される。
【００２６】
より詳細に後述するように、内挿方法は２つのモード、すなわち、同期モードおよび非同期モードで作動可能である。同期モードでは、欠落データのセグメントの長さは固定である（かつ通常オリジナルの信号と一致する）。内挿モデルが同期モードにおいて欠落データに適合しない場合、複素指数関数がそれらの振幅に偏移を持たせることになり、これは聴き取られ得る。非同期モードでは、欠落データセグメントの長さはこれらの偏移の有意さを低減するように調整される。
【００２７】
図１は、本開示の１つ以上の実施形態に従う、オーディオ信号の外挿および内挿のための例示的適用を示す。例えば、２人のユーザ（例えば、ミュージシャン）１２０ａおよび１２０ｂが異なる物理的な位置（例えば遠隔の環境）で音楽を演奏しており、ユーザ１２０ａは「位置１」におり、ユーザ１２０ｂは「位置２」にいる。更に、ユーザ１２０ａおよび１２０ｂは、例えば有線接続またはネットワークを介して互いに通信し、ユーザ１２０ａおよび１２０ｂの各々は、オーディオ（例えば音楽）信号をレンダリングおよびキャプチャをそれぞれするためのスピーカ１０５およびマイクロホン１１０を有する。複数の信号源１０５（例えばスピーカ）が、複数のセンサ１２０（例えばマイクロホン、人、他のオーディオキャプチャ装置など）の間に配置される。
【００２８】
通信網を介してデータ（例えばオーディオ）パケットを送信する場合、パケットが長期間欠落したり、ネットワークの受信側で受信される前に、すべて紛失することがある。パケットが送信の間に欠落する場合、データのそのような紛失を補うために何かを行う必要がある。例えば、１つの既存のアプローチは欠落データの代わりにゼロを挿入することにある。しかしながら、このようなアプローチは、ユーザが劣化した性能およびオーディオ品質にさらされるため不十分な解決策を提供する。
【００２９】
発話信号の修復を目的とする他の従来のパケット紛失の包隠方法は、典型的には自己回帰（ＡＲ）モデル（例えばフィルタ）あるいはそのいくつかの近似法により信号の受信セグメントを外挿する。発話用自己回帰モデルは、通常短期的モデルと長期的モデルとを連結したものとして見られる。短期的モデルはスペクトル包絡線を記述し、長期的モデルはピッチ構造を記述する。パケット紛失の包隠にとってより重要なのは長期的モデルであり、これは典型的には２．５乃至１５ミリ秒（ｍｓ）の範囲の相関性をキャプチャする。いくつかの場合において、長期的モデルは、単一性フィルタ利得が割り当てられる。パケット紛失の包隠に対するいくつかの既存のアプローチは、欠落サンプルのギャップに対し、ゼロの励起（ｅｘｃｉｔａｔｉｏｎ）によるＡＲモデル（例えばフィルタ）であって、最初のフィルタ状態がギャップの前の信号に基いたものであるＡＲモデルを実行することにより、欠落セグメントの最小平均二乗誤差の外挿の評価をなす。
【００３０】
包隠演算を開始するときに信号の過去のセグメントおよび未来のセグメントの両者が分れば、内挿が使用され得る。内挿的アプローチは、信号修復（例えば損傷した録音のため）に従来使用されており、これは典型的により短いギャップを含む。
【００３１】
ＡＲ信号モデルに基づく既存の内挿の一方法は、エンコーダをカルマン推定器のための１組の測定とみなす完全なコード体系について開示する。カルマン推定器は、パケットが失われる際に最適な内挿を自然に導き、ギャップに関して未来および過去における既知のデータを占め得る。しかしながら、この既存のアプローチは既存のコーダと組み合わせた演算に対して互換性をもたない。
【００３２】
いくつかの既存のアプローチは、データが欠落したセグメントに対する外挿あるいは内挿のためのＡＲモデル以外の方法を探究する。例えば、１つのアプローチは、ギャップの前及び後の信号のスペクトルから特定される正弦波間の内挿に、周知の正弦波のモデルを使用する。他のアプローチは、適切な基底ベクトルおよびＡＲモデルの和として信号をモデル化し、次に、基底ベクトルおよびＡＲモデル信号の寄与の利得を同時に最適化する。基底ベクトルは正弦波にあり得るが、基底ベクトルの有効な選択プロセスはこの方法では提供されない。
【００３３】
一般に、既存の内挿方法はコンピュータ的に高価である。例えば、１つのアプローチは、線形予測子により欠落データの非常に長いセグメントにわたって正弦波の時間−周波数トラックを予測することを試みる。実際上、そのようなトラックの予測は信頼できるものとされない。別のアプローチでは、調波の正弦波のモデルは、隠れマルコフモデル（ＨＭＭ）と組み合わされて既知の発話セグメント間に内挿を行うことに使用され、発話の要素の展開を追跡する。調波の仮定は、そのような方法がオーディオ信号に有効ではないことを示唆する。
【００３４】
オーディオ包隠に対する既存のアプローチの様々な短所を克服するために、本開示の実施形態は欠落セグメントに対する外挿および内挿のための改善された方法およびシステムを提供する。ここに詳細に後述するように、方法およびシステムはオーディオ信号を対象に構成され、正弦波の内挿および外挿に基づいており、正弦波が調波であるという仮定に依存しない。
【００３５】
既存のアプローチに対する他の効果および改良とともに、本開示の方法およびシステムは、（ｉ）非同期内挿を促進し、（ｉｉ）信号が調波であれば時間領域（time-domain）波形内挿に対応する内挿手順を使用し、（ｉｉｉ）オーディオ信号に対して有効であるピーク選択手順を有する。
【００３６】
以下、本開示の正弦波に基づく内挿および外挿アプローチの動機を示し、本方法の全体的な構成について詳細に示し、本システムを含む様々な要素について更に開示する。
フーリエ変換は複素指数関数の基礎における信号（例えばオーディオ信号）を表す。信号は実在のものであるため、複素指数における拡張は、正弦波における拡張として再構成され得る。従って、スペクトルのピークは、ピーク周波数における正弦波の利得として解釈され得る。フーリエ変換は定常状態の正弦波の点から信号を拡張する（個別のフーリエ変換の場合には、正弦波は有限の時間セグメントにわたって拡張する）が、この分野での通常の拡張は、信号を、連続的に変化する利得および周波数を有する正弦波の和と見なすことにある。ウィンドウ化された信号セグメントに対するフーリエ変換は、正弦波を表す各ピークでこれらの正弦波の状態のおおよそのスナップショットと解釈することができる。このスナップショットにおけるピークからの徐々の強度ロールオフ（これは、スナップショットの有限の分解と更に考えられる）は、有限のウィンドウ長さを使用することによる副作用である。スナップショット間に個別の正弦波を内挿することが続いて可能である。この原理は、ここに開示される１つ以上の実施形態に従う、オーディオ信号の欠落セグメントに対する内挿のための方法およびシステムの基礎の部分を形成する。
【００３７】
より詳細に後述するように、本開示のアルゴリズムは、連続する欠落データのサンプルのセグメント（そのようなセグメントはオーディオ信号の欠落セグメントあるいは不連続性である）を修復することを目的とする。データは欠落データセグメントの過去の端部で略常に利用可能であるが、このデータは必ずしもセグメントの未来側についての場合ではない。少なくとも１つの実施形態では、アルゴリズムが開始される前に、修復されるデータセグメントの長さは特定される。修復セグメントは欠落データセグメントよりも短く、これにより、欠落セグメントの未来側のデータがまだ受信されていない場合を考慮に入れることができる。その場合、アルゴリズムは外挿を行う。データが欠落セグメントの未来側で利用可能なシナリオでは、続いて内挿が欠落セグメントに対して行われる。従って、方法の少なくとも１つの実施形態では、後の組の外挿演算に内挿演算が続き、内挿演算は、欠落データセグメントの修復を終える。
【００３８】
図２は、ここに開示される１つ以上の実施形態に従う、信号２０５（例えばオーディオ信号）に対する内挿（２２０）および外挿（２１０）の演算を単純化した例である。外挿（２１０）の適用は、外挿済み信号を、欠落データセグメントの未来端で、外挿済みデータと信号データとの間の併合演算に供するＡＲモデルベースのシステムで広く使用されるものとは異なる。
【００３９】
図３は、ここに開示される１つ以上の実施形態に従う例示の内挿演算３００を示し、ここでは、データが、修復対象のオーディオ信号のセグメントの過去の端部および未来の端部の両方で（例えばオーディオ信号の欠落セグメントに連続する前及び後で）利用可能である。
【００４０】
ブロック３０５では、既に利用可能でなければ、欠落セグメントの前及び後に位置するオーディオ信号の（例えば、欠落セグメントの直前および直後にすなわち前及び後に連続して位置する）セグメント（例えば第１および第２のセグメント）の短期の複素スペクトルが計算される。少なくとも１つの例において、欠落セグメントの前に（例えば、時間的により以前に）連続して来るオーディオ信号のセグメントは、欠落セグメントの第１側（すなわち過去の端部）にあると見なされ、欠落セグメントの後に（例えば、時間的に以後に）連続して来るセグメントは、欠落セグメントの第２側（すなわち未来の端部）にあると見なされる。
【００４１】
ブロック３１０では、ブロック３０５で計算されたスペクトルの強度のある複数のピーク（magnitude peaks）が決定される。
ブロック３１５では、ブロック３１０で決定されたピークが強度によって順序づけられる（例えば、配列される、リスト化されるなど）。例えば、少なくとも１つの実施形態では、ブロック３１０で決定されたピークは、リスト形式に配置され、強度の降順または昇順によりソートされる。欠落セグメントの過去の端部および未来の端部のピークが単一のリストに含まれることに注目されるべきである。例えば、ブロック３１０におけるリストは、ピークが欠落セグメントの過去の端部または未来の端部に属するかどうかの各ピークの情報を含む。
【００４２】
ブロック３２０では、各ピークについて、最も高いピークから開始して、欠落データセグメント（オーディオ信号の）の反対側において近隣するものが決定される。少なくとも１つの実施形態では、近隣ピークとして既に選択されているピークは、ブロック３２０の実行の間にスキップされる。強度によるピークのソートにより、最も高いピークが確実に適切な近隣ピークを有する。ブロック３２０では、演算は、不対の聴的性能に対して重大でない小さなピークを残すことを注目すべきである（残りのピークに対処する１つの方法をより詳細に後述する）。
【００４３】
ブロック３２５では、欠落データセグメントの未来の端部および過去の端部でのスペクトルのピークの対が、セグメントにわたる内挿の基礎として使用される。
ブロック３３０では、内挿段階の過去の端部および未来の端部における重畳加算演算により既存のデータを使ってデータがフェード（fade）される。
【００４４】
１つ以上の実施形態では、本開示の外挿演算は、未来の端部のスペクトルが位相の適切な前進（precession）により過去の端部のスペクトルに代えられる点を除いて、内挿演算と同様である。正弦波の周波数は外挿中に一定であると仮定される。少なくとも１つの実施形態では、フェージング演算は、別の外挿が続く場合、外挿演算の未来の端部で省略される。他方、フェージング演算に内挿が続く場合、フェージングは未来および過去のピークの対の一部でない小さなピークを占めるために必要である。
【００４５】
以下に、本開示のパケット紛失の包隠方法の要素に関する付加的な詳細を示す。
スペクトル評価およびピーク抽出
正弦波を内挿することができるように、欠落セグメントの両端部（未来の端部および過去の端部）でこれらを検知する必要があるが、外挿はセグメントの過去の端部で検知されている正弦波に依存する。この検知は様々な方法を使用して行われるが、正弦波の知覚的に正確な内挿を促進する正確さによりピーク振幅および周波数を見つけることが重要である。例えば、少なくとも８Ｈｚの周波数分解能は、この目的のためにうまく機能する。
【００４６】
少なくとも１つの実施形態では、３２ミリ秒（ｍｓ）のウィンドウが使用される。１６ｋＨｚで、このウィンドウは５１２のサンプルに対応する。信号は２０４８の一連のサンプルを得るためにＨａｎｎウィンドウでウィンドウ化されるとともにゼロパディングされ、高速フーリエ変換（ＦＦＴ）が行われる。
【００４７】
図４は、ピーク抽出の例示のプロセスを示す。ピーク抽出のプロセス４００は強度スペクトルに対して行われ、少なくとも実施形態では、ブロック４０５乃至４２０を含む。ブロック４０５では、強度スペクトルは小さな局所的ピークが確実に考慮されないようにローパスフィルタリング（例えば、スムージング）される。少なくとも１つの実施では、ブロック４０５でスペクトルに対するこのローパスフィルタリングはおおよそ０．０２秒の帯域幅で行われる。
【００４８】
ブロック４１０では、ブロック４０５からのスムージングされたスペクトルの局所的傾斜の符号が決定される。
ブロック４１５では、ピークの最初の評価は、当該傾斜の符号が正から負に変化する地点に基づき生成される。
【００４９】
ブロック４２０では、最初のピーク評価の近隣で、元の未スムージング信号における真のピーク位置が検索される。例えば、少なくとも１つの実施形態では、ブロック４２０で検索される領域は、帯域幅の逆数の半分（例えば２５Ｈｚ）であり得る。
【００５０】
［対選択］
内挿の例において、欠落信号のセグメントの過去の端部および未来の端部で特定される重要な正弦波は対にされる。少なくとも１つの実施形態では、本開示の方法はピークを順序づけ、続いて最も高いピークから開始して、適切な相補ピークを見つける。最大のピークから開始することは、重大な誤一致の数が少ないことを示す（誤一致があったとしても小さなピークにのみ通常生じる等）。
【００５１】
図５は、ここに開示される１つ以上の実施形態に従う、相補ピークの対を選択するための例示のプロセス５００を示す。ブロック５０５でプロセス５００は複数のオブジェクト（例えば、オブジェクトリストや収集を生成する）を特定する。１つのオブジェクトが過去および未来のスペクトルの両者の各ピークについて特定される。課題はオブジェクトに対してマッチングするものを見つけることにある。少なくとも１つの実施形態では、特定されるオブジェクトはそれぞれ４つのラベルを有する：（１）ピーク振幅；（２）ピークが位置する周波数；（３）ピークが未来または過去のスペクトルに属するかどうかを明示するラベル；（４）相補スペクトルにおけるマッチングピークの位置（マッチングするものがない場合、空またはゼロ）。
【００５２】
図７は、上述するとともに図５に示す例示のプロセス５００のブロック５０５で特定されるオブジェクトの各々についてのデータを含む例示の表７００を示す。少なくとも１つの実施形態では、表７００は、表７００を含むエントリーの各々を特定するエントリー（あるいは列）番号７０５を含む。表７００におけるエントリー７０５はそれぞれ、異なるオブジェクト７１０（例えば、例示のプロセス５００のブロック５０５で特定されるオブジェクト）であり、オブジェクト７１０の各々において、オブジェクトの振幅（例えばピーク振幅）７１５、オブジェクトが位置する周波数７２０、オブジェクトが未来または過去のスペクトルに属するかどうかを示すラベル７２５、および相補スペクトルにおけるマッチングピークの表７００における位置（例えば、エントリー番号７０５）（マッチングするものがない場合、空であるかゼロを含む）を含む。ここに開示される１つ以上の実施形態において、表７００は上述した例示のデータおよびフォーマットに加えて、あるいはこれに代えて、様々な他のフォーマットで設けられる様々な他のデータを含み、これらは例示の目的にのみ提供される。
【００５３】
図５の例示のプロセス５００に戻り、ブロック５１０では、ピークの振幅によってソートしたときのオブジェクトのインデックスが決定される。ブロック５１５では、ソートされたリスト中の一連のインデックスを使用して、最大ピークを備えるオブジェクトから最小ピークを備えるオブジェクトまで移り、各オブジェクトについて個別に実際に対にされる。ブロック５１５のオブジェクトの対に関する付加的な詳細を図６を参照して後述する。ブロック５２０では、欠落データセグメントの未来の端部および過去の端部のピークの対（ブロック５１５で形成される）は、セグメントにわたる内挿の基礎として使用される。
【００５４】
図６は、オブジェクトを対にする例示のプロセスを示す。ここに開示される１つ以上の実施形態に従う例示のプロセス６００（ブロック６０５乃至６４０）は、上述するとともに図５に示した例示のプロセス５００におけるブロック５１５の一部である。ブロック５１５では、ソートされたリスト中の一連のインデックスにより、最大ピークを備えるオブジェクトから始まり最小ピークを備えるオブジェクトまで、ブロック５０５で生成されたオブジェクトリストにおける各オブジェクトにおいて個別に対がなされる。
【００５５】
本開示の少なくとも１つの実施形態に従う例示のプロセス６００（例えばプロセス６００のブロック６０５乃至６３０）は、例示のプロセス５００のブロック５０５で生成されるオブジェクトリストにおいてオブジェクトのそれぞれ（例えば過去および未来のスペクトルの両者の各ピークにつき１つのオブジェクト）において繰り返し行われることを理解すべきである。
【００５６】
各オブジェクトにおいて、ブロック６０５で、評価されているオブジェクト（明瞭に示す目的のためにのみ以下にときに「現在のオブジェクト」と呼ぶ）はマッチングオブジェクトを有するかどうかに関して決定がなされる。ブロック６０５で現在のオブジェクトがマッチングオブジェクトを有すると判断されると、現在のオブジェクトはブロック６１０でスキップされる。
【００５７】
他方、ブロック６０５で、現在のオブジェクトがマッチングオブジェクトを有さないと判断されると、ブロック６１５で、マッチングオブジェクトの検索が、マッチングオブジェクトの候補を特定するためにすべての他のオブジェクトに対して行われる。
【００５８】
ブロック６２０では、マッチングオブジェクトの候補は、既にマッチングオブジェクトを有する場合、マッチングオブジェクトの候補から取り除かれる（例えば、マッチングオブジェクトリストから除かれる）。
【００５９】
ブロック６２５では、マッチング基準は、マッチングオブジェクトの候補の各々において評価される。一例のマッチング基準は、後述する方程式（１）でより詳細に提供される。
【００６０】
ブロック６３０では、マッチングオブジェクトの候補のうちの１つが、評価されたマッチング基準に基づきオブジェクトにおけるマッチングオブジェクトとして選択される。例えば、ここに開示される一実施形態によると、（例えば、ブロック６２５で行われた評価に基づき他のマッチングオブジェクトの候補のマッチング基準と比較して）マッチング基準に対する最高値（例えば、最大値）を有するマッチングオブジェクトの候補が、ブロック６３０で現在のオブジェクトに対するマッチングオブジェクトとして選択される。しかしながら、これは、マッチングオブジェクトが現在のオブジェクトに対して見つからない（例えば、マッチングピークがない）場合であると理解すべきである。例えば、相補スペクトルは、マッチングオブジェクトとして選択するための残りのオブジェクトを有さないか、あるいはマッチング基準は、相補スペクトルからの残りのピークの選択を考慮に入れない。効果的に、本開示のシステムは、そのようなシナリオ（すなわち、マッチングオブジェクトがない）が小さなピークにおいてのみ通常生じるように構成される。
【００６１】
図６に示さないが、ブロック６３０におけるマッチングオブジェクトの選択に続いて、マッチングオブジェクトのリスト位置は、現在のオブジェクトの４番目のラベルで特定され（例えば、記載、入力、挿入されるなど）、現在のオブジェクトの位置は、選択されたマッチングオブジェクトの４番目のラベルで同様に特定される（例えば、上述するとともに図７に示した例示の表７００において）。
【００６２】
上述したように、例示のプロセス６００は、例示のプロセス５００（上述するとともに図５に示した）のブロック５０５で生成されるオブジェクトリスト中のオブジェクトの各々に対して反復して行われる（例えば、プロセス６００はオブジェクトのすべてに対してループされる）。
【００６３】
方法の少なくとも１つの実施形態では、「周波数の近傍」は１００Ｈｚに設定される。基準は、近傍のピークに好適な距離に依存する重み付けを掛けたピーク値に比例する。すなわち、ｊが候補オブジェクトを特定し、ａ（ｊ）がそのピーク値を示し、ｆ（ｊ）が候補オブジェクトの周波数を示すものとする。すると、基準は、
【００６４】
【数１】
0006306718.tif 000002
であり、ここで、ｆ（ｋ）は現在のオブジェクトの周波数であり、
【００６５】
【数２】
0006306718.tif 000003
は、複数の非負実数の周波数を、一つの非負実数の距離ペナルティ値にマッピングする関数である。ｗに対する合理的な選択は、底ｆ０に従う距離による線形減少である：
【００６６】
【数３】
0006306718.tif 000004
少なくとも１つの実施形態によると、ｆ１は１００Ｈｚであり、ｆ０＝１である。
【００６７】
いくつかの状況において、いくつかのオブジェクトが適切なマッチングオブジェクトの候補を伴わないため、上述したピーク特定アルゴリズムによって特定されるすべてのピークがマッチングするものを得るのではないことが注目されるべきである。ここに開示される少なくとも１つの実施形態では、そのようなオブジェクトは、同一周波数を有する「仮想の」ピークであって、該周波数においてゼロの振幅または相補スペクトルの振幅を有する「仮想の」ピークを生成することにより一致される（例えば、信号が正弦波の単純な和と解釈される場合、ゼロの振幅のアプローチがより合理的である）。
【００６８】
［内挿］
正弦波の内挿は多様な異なる方法で行われ得る。そこで、以下は、それら異なる内挿アプローチのいくつかの基本原理を概略し、本開示の実施形態において利用される内挿方法の詳細を開示する。
【００６９】
正弦波のパラメータは振幅、周波数、および位相である。以下、用語「位相オフセット」は、特定の参照時刻における位相の値を示す。これらのパラメータの各々はスペクトルの一ピークに対して特定される。しかしながら、複雑化要因は、周波数が位相の導関数であるということである。つまり、振幅、周波数、および位相オフセットを線形的に内挿することによって、周波数は、位相オフセットが一定でないために、偏移を受ける。この周波数偏移は、内挿区間にわたって一定であり、内挿間隔の逆数の２分の１以下である。
【００７０】
位相オフセットの線形的内挿は、内挿区間の終点の周波数が、その区間の終点で評価された値と等しくないことを示唆する。第１の既存の内挿アプローチは、両方の終点における測定によって決定されたその値および導関数（周波数）により、位相の三次多項式の内挿を行うことによりこの問題を回避する。全体の位相前進（phase precession）が線形位相オフセットの内挿のものと同一である必要があるため、この第１の既存の内挿アプローチが線形的位相オフセットよりも大きく短い（larger-but-shorter）周波数偏移を導出するに相違ないことは明らかである。この第１の内挿アプローチの更なる短所は、サイン関数の不規則なサンプリングを導出することにあり、その結果、コンピュータ的に効率的な実装構築が阻害される。
【００７１】
実施において、上述した第１の内挿アプローチは、発話の反響性に影響されることが分かった。これはおそらく望ましくない周波数偏移に帰する。発話については、反響する性質は第２の内挿アプローチにおいて直ちに取り除くことができる。第２の内挿アプローチは、観測される位相オフセットを使用するのではなく、これに代えて調波最小位相モデルを使用する。しかしながら、この第２のアプローチは正弦波が調波でない音楽に対して適切ではない。更に、この第２のアプローチは、調波信号の発話波形を更に保持しない。
【００７２】
正弦波を複素指数の実部と見なすことにより、第３の内挿アプローチが当然生じる。例えば、次式を検討する。
【００７３】
【数４】
0006306718.tif 000005
ここで、ｆは周波数であり、ｔは時間であり、φは位相オフセットであり、αは複素係数であり、
【００７４】
【数５】
0006306718.tif 000006
であり、オペレータＲｅは、実際の要素を抽出する。
【００７５】
時間における周波数ｆおよび複素係数αの両者の線形的内挿を行うことが続いて可能である。上述した第１および第２の既存の内挿アプローチに対して、複素係数の内挿は、内挿区間にわたる振幅の変化を導出する。この第３のアプローチは、複素指数の規則的なサンプリングを更に促進し、これは少ない計算量で済む。
【００７６】
正弦波の組が調波であるとともに生じる波形の整列があるシナリオについては、複素係数の内挿は、発話についての波形内挿方法に類似する（例えば、波形内挿は、信号の波形を保持することを試みる）。波形内挿システムは、発話信号についての三次多項式の内挿アプローチほど通常反響しない。第２の内挿方法（上述した）に対して、複素係数の内挿は、発話信号の波形を保持する。
【００７７】
本開示の１つ以上の実施形態では、複素係数の内挿方法が使用される。元の信号が円滑に展開し、再構成されたデータのセグメントの長さが欠落データの長さと等しい場合、この方法はうまく機能する。
【００７８】
システムの内挿パフォーマンスはそのような信号が本来調波であるという事実の利用により言葉に表した発話についてに改善され得る。正弦波の周波数が調波となる状態に近接している場合、これら周波数が完全に調波でない理由は、おそらく測定誤差の結果である。従って、この場合、周波数は調波となるように修正され得る。例えば、実際的な実施では、３０００Ｈｚ未満の正弦波は言葉に表した発話セグメントに属する場合、次式
【００７９】
【数６】
0006306718.tif 000007
の基準を使用して、最初に試験され得る。ここで、ｆ０は、ピッチの候補であり、ｆｎは正弦波ｎの周波数であり、ａｎは正弦波ｎの振幅であり、Ｎは、３０００Ｈｚ未満の正弦波の数であり、
【００８０】
【数７】
0006306718.tif 000008
の関数は、ｆｎ／ｆ０を最も近い整数に丸める。
【００８１】
第１に、検索がξを最小化するｆ０の値を求めるべく行われ、続いて最良のξについての閾値が、信号が調波であるかどうかを判断するために使用され得る。信号が調波である場合、調波である状態に接近している周波数は、調波である状態に修正される（例えばｆ０の倍数）。
【００８２】
［非同期内挿］
上述した様々な内挿アプローチは、欠落データセグメントの長さを有する所与の区間に対する内挿に焦点を当てた。ここに開示される１つ以上の実施形態において利用される非同期内挿においては、そのような偏移が反響として聴き取られるので、内挿における振幅の偏移を最小化する目的でその区間の長さが調整される。
【００８３】
インデックスｎによって特定される正弦波の複素係数の線形的内挿は、
【００８４】
【数８】
0006306718.tif 000009
として記載され、ここでｔは時間であり、ｔ＝０で内挿が開始されるものとする。αｎ，−は複素係数の開始値であり、αｎ，１は、変化率に影響する係数である。更に、αｎ，＋は、観測される未来のデータにおけるαについて評価された値を示し、τは名目上の内挿終点を示すものとする。すると、線形的内挿方程式（３）は、
【００８５】
【数９】
0006306718.tif 000010
として書き換えられる。
【００８６】
ｆｎ，−およびｆｎ，＋は、修復ギャップの前及び後の正弦波周波数を示すものとする。合理的な目的は、ηを最小化する内挿区間τを見つけることである。
【００８７】
【数１０】
0006306718.tif 000011
方程式（７）は以下のように解釈される。各時点において、係数αｎおよび周波数ｆｎは「瞬間的」波形を特徴づける。したがって、上記の結果（方程式（７））は、瞬間的信号の波形の整列の測度として理解され得る。
【００８８】
【数１１】
0006306718.tif 000012
の因数は、正弦波ｎの重要性の重み付けを示す。
【００８９】
【数１２】
0006306718.tif 000013
の項は、前記区間に対する正弦波の位相の前進を示し、この前進が平均的には最初の周波数と最後の周波数の平均で進行することを示す。２つの比すなわち
【００９０】
【数１３】
0006306718.tif 000014
及び
【００９１】
【数１４】
0006306718.tif 000015
は、開始位相および終了位相を示す。
【００９２】
従って、全体的な目的は、未来の端部で観測される信号の位相と内挿した信号の位相とを並べる修復区間に対する端部時間τを見つけることに一致する。
非同期内挿の上記記載を考慮して、本開示の１つ以上の実施形態では、行われる内挿のレベルは、補間器によって生成される瞬間的波形と既知の信号セグメントから評価される瞬間的波形との整列の測度を最大にするように、内挿区間の範囲から選択される。更に、ここに開示される１つ以上の別例では、内挿区間の範囲は予期されるパケットの紛失と一致するレベルまで受信装置のジッタバッファを満たすように選択される。
【００９３】
なお、本開示の少なくとも１つの実施形態では、方程式（５）中の因数
【００９４】
【数１５】
0006306718.tif 000016
は、良好な性能を犠牲にせずに、かつコンピュータ的な複雑さの低さを維持しつつ省略されてもよい。
【００９５】
下記は、１つ以上の実施形態に従う本開示の非同期内挿プロセスの例の特性のリストであるが網羅的なものではない。
（１）整列基準（方程式（７））が通常多くの最小限を有するため、基準に対する検索が行われるべきである。
【００９６】
（２）本開示の非同期内挿方法は、ここに開示される方法が周波数の内挿を含むという点で直接的な時間領域整列処理とは区別される。
（３）本開示の非同期内挿方法は、任意の長さのセグメントに対する内挿を備える；観測されるデータおよび欠落セグメントの長さに対するモデルの「合理的な」適合は、もう仮定されない。
【００９７】
（４）本開示の内挿方法は、仮想の欠落セグメントを挿入することにより、およびデータを取り除き内挿を使用することにより、不連続性を取り除くために内挿を使用することにより、オーディオセグメントの速度を落とすために、また、場合によってはオーディオセグメントの速度を上げるために使用される。
【００９８】
（５）ここに開示される内挿方法は、正弦波の振幅偏移を最小化するため、反響を最小化する。この点で、複素係数の内挿方法がいずれの場合も周波数偏移を有さないことに注目することが重要である。
【００９９】
図８は、ここに開示される１つ以上の実施形態による、オーディオ信号の欠落セグメントや不連続性を、正弦波の内挿および外挿に基づき包隠する（例えば、修復する）ように構成される例示的なコンピュータ（８００）を示す高次ブロック図である。非常に基礎的な構成（８０１）において、コンピューティングデバイス（８００）は典型的に１つ以上のプロセッサ（８１０）およびシステムメモリ（８２０）を備える。メモリバス（８３０）はプロセッサ（８１０）とシステムメモリ（８２０）との間の通信のために使用可能である。
【０１００】
所望の構成に応じて、プロセッサ（８１０）は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセサ（ＤＳＰ）、あるいはこれらの任意の組み合わせを含む任意のタイプであるが、これらに限定されるものではない。プロセッサ（８１０）は、１次キャッシュ（８１１）および２次キャッシュ（８１２）、プロセッサコア（８１３）、およびレジスタ（８１４）などの１次以上のキャッシュを含む。プロセッサコア（８１３）は、論理演算装置（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、あるいはこれらの任意の組み合わせを含む。メモリコントローラ（８１６）もプロセッサ（８１０）と組み合わせて使用可能であるか、あるいは、いくつかの実施において、メモリコントローラ（８１５）はプロセッサ（８１０）の内部の部分であり得る。
【０１０１】
所望の構成に応じて、システムメモリ（８２０）は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、あるいはこれらの任意の組み合わせを含む任意のタイプであるが、これらに限定されるものではない。システムメモリ（８２０）はオペレーティングシステム（８２１）、１つ以上のアプリケーション（８２２）、およびプログラムデータ（８２４）を典型的に含む。アプリケーション（８２２）は、ここに開示される１つ以上の実施形態に従う、オーディオ信号中の連続的な欠落データのサンプルのセグメントを修復するための内挿および外挿アルゴリズム（８２３）を含む。プログラムデータ（８２４）は、１つ以上の制御演算装置によって実行されると、ここに開示される１つ以上の実施形態による正弦波用に構成される内挿演算および外挿演算を使用して、オーディオ信号の欠落セグメントや不連続性を包隠する方法を実施する指示を格納することを含む。
【０１０２】
加えて、少なくとも１つの実施形態では、プログラムデータ（８２４）は、例えば信号をウィンドウ化することにより得られるオーディオ信号のサンプルに関するデータを含むオーディオ信号データ（８２５）を含む。少なくとも１つの実施形態では３２ミリ秒（ｍｓ）のウィンドウが使用され、これは１６ｋＨｚで５１２のサンプルに対応する。少なくとも１つの別例では、オーディオ信号は２０４８の一連のサンプルを得るためにＨａｎｎウィンドウでウィンドウ化されるとともにゼロパディングされ、高速フーリエ変換（ＦＦＴ）が行われる。いくつかの実施形態では、アプリケーション（８２２）はオペレーティングシステム（８２１）上でプログラムデータ（８２４）により作動するように構成可能である。
【０１０３】
コンピューティングデバイス（８００）は、基本構成（８０１）と任意の要求される装置とインターフェースとの間の通信を促進する付加的な要素や機能、および付加的なインターフェースを有する。
【０１０４】
システムメモリ（８２０）はコンピュータ記憶装置媒体の例である。コンピュータ記憶装置媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリあるいは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）あるいは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置あるいは他の磁気記憶装置、あるいは所望の情報を格納するために使用可能であるとともにコンピューティングデバイス８００によってアクセス可能な他の媒体を含むが、これらに制限されるものではない。任意のそのようなコンピュータ記憶媒体が装置（８００）の一部になり得る。
【０１０５】
コンピューティングデバイス（８００）は、上記の機能のうちの任意のものを含む、携帯電話、スマートフォン、パーソナルデータアシスタント（ＰＤＡ）、パーソナルメディアプレーヤ装置、タブレットコンピュータ（タブレット）、無線ウェブ監視装置、パーソナルヘッドセット装置、アプリケーションに特有の装置、あるいはハイブリッド装置などのスモールフォームファクタポータブル（あるいはモバイル）電子装置の一部として実行することができる。コンピューティングデバイス（８００）は、ラップトップコンピュータおよび非ラップトップコンピュータ構造体の両者を含むパソコンとしても実行可能である。
【０１０６】
先の詳細な説明は、ブロック図、フローチャート、例を使用することにより、装置やプロセスの様々な実施形態を開示するものであるが、そのようなブロック図、フローチャート、例が１つ以上の機能や演算を含む限り、当業者は、これらのブロック図、フローチャート、あるいは例の範囲内の各機能や演算が、広範囲のハードウェア、ソフトウェア、ファームウェア、あるいは事実上これらの任意の組み合わせによって、個別におよび／または集合的に実行可能であると理解するであろう。一実施形態において、ここに開示される主題のいくつかの部分は、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、あるいは他の統合フォーマットによって実行される。しかしながら、当業者は、ここに開示される実施形態のいくつかの態様が、全体または一部において、集積回路で、１台以上のコンピュータ上で稼動する１つ以上のコンピュータプログラムとして、１つ以上のプロセッサ上で稼動する１つ以上のプログラムとして、ファームウェアとして、あるいは事実上これらの任意の組み合わせとして均等に実施可能であることことを認識するであろうし、回路類の設計、および／またはソフトウェアやファームウェアのためのコードを書くことが本開示に照らして当業者の技術の範囲内にあることを認識するであろう。
【０１０７】
更に、当業者は、ここに開示される主題の機構が、様々な形態のプログラム製品として配布可能であり、また、ここに開示される主題の例示的な実施形態が、実際に配布を実行するために使用される特定のタイプの非一時的な信号担持媒体にかかわらず適用されることを認識するであろう。非一時的な信号担持媒体の例は、フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオティスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなどのような記録可能なタイプの媒体；並びにデジタル通信媒体および／またはアナログ通信媒体のような送信タイプの媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）を含むが、これらに制限されるものではない。
【０１０８】
ここでの実質的な任意の複数および／または単数の用語の使用に関して、当業者は、文脈および／または適用に適切な場合、複数を単数に、かつ／または単数を複数にすることができる。様々な単数／複数の置換が、明瞭さを目的として明らかに行われてもよい。
【０１０９】
以上のように、主題の特定の実施形態が開示された。別例は以下の特許請求の範囲内にある。いくつかの場合において、特許請求の範囲に記載の実行は、異なる順序で行われても、望ましい結果を得られる。加えて、添付の図面に描かれたプロセスは、望ましい結果を得るべく図示の特定の順序、あるいは連続する順序を必ずしも要求しない。いくつかの実施において、マルチタスクおよび並列処理は効果的である。
【図１】
0006306718.tif 000017
【図２】
0006306718.tif 000018
【図３】
0006306718.tif 000019
【図４】
0006306718.tif 000020
【図５】
0006306718.tif 000021
【図６】
0006306718.tif 000022
【図７】
0006306718.tif 000023
【図８】
0006306718.tif 000024