(57)【要約】オーディオ信号の破損部分が検出されて修復される。オーディオ信号は、オーディオ入力装置から受信されてよい。オーディオ信号は、複数の連続的なフレームを含んでよい。オーディオ信号に含まれる１又はそれ以上の破損フレームが識別されてよい。非破損フレームを近似し且つ夫々の破損フレームに対応するフレームが構成されてよい。夫々の破損フレームは、修復されたオーディオ信号を生成するよう、対応する構成されたフレームにより置換されてよい。修復されたオーディオ信号は、オーディオ出力装置により出力されてよい。
2013527479.tif 000002
【特許請求の範囲】
【請求項１】
破損したオーディオ信号を修復する方法であって、
複数の連続的なフレームを含むオーディオ信号をオーディオ入力装置から受信するステップと、
前記複数の連続的なフレームにおいて破損フレームを識別するステップと、
前記破損フレームに対応するフレームを構成し、該構成されたフレームが非破損フレームを近似するようにするステップと、
修復されたオーディオ信号を生成するよう、前記対応する構成されたフレームにより前記破損フレームを置換するステップと、
前記修復されたオーディオ信号をオーディオ出力装置により出力するステップと
を有する方法。
【請求項２】
前記オーディオ信号を周波数サブバンドに分解するステップ
を更に有する請求項１に記載の方法。
【請求項３】
１又はそれ以上の前記破損フレームは連続的である、
請求項１に記載の方法。
【請求項４】
前記破損フレームの識別は、サブバンドごとに行われる、
請求項１に記載の方法。
【請求項５】
前記破損フレームの識別は、対象フレームと該対象フレームに近接した１又はそれ以上のフレームとの間の比較を形成することを含む、
請求項１に記載の方法。
【請求項６】
前記比較は、少なくとも部分的に、前記対象フレームと前記１又はそれ以上の近接フレームとの間のスペクトル流速に基づく、
請求項５に記載の方法。
【請求項７】
前記比較は、少なくとも部分的に、前記対象フレームと前記１又はそれ以上の近接フレームとの間の相関関係に基づく、
請求項５に記載の方法。
【請求項８】
前記フレームの構成は、少なくとも部分的に、１又はそれ以上の前記破損フレームに近接する１又はそれ以上のフレームに基づく、
請求項１に記載の方法。
【請求項９】
前記フレームの構成は、１又はそれ以上の前記破損フレームに先行する少なくとも１つのフレームから外挿することを含む、
請求項１に記載の方法。
【請求項１０】
前記フレームの構成は、１又はそれ以上の前記破損フレームに先行する少なくとも１つのフレームと該１又はそれ以上の破損フレームに続く少なくとも１つのフレームとの間の補間を含む、
請求項１に記載の方法。
【請求項１１】
構成されるフレーム及び隣接する非破損フレームをクロスフェードするステップ
を更に有する請求項１に記載の方法。
【請求項１２】
前記破損フレームの識別は、該破損フレームのインジケーションを受け取ることを含む、
請求項１に記載の方法。
【請求項１３】
前記破損フレームは、パケット損失の結果である、
請求項１に記載の方法。
【請求項１４】
破損したオーディオ信号を修復するシステムであって、
受信したオーディオ信号に含まれる１又はそれ以上の破損フレームを識別するようメモリに記憶され且つプロセッサによって実行可能な検出モジュールと、
前記１又はそれ以上の破損フレームの夫々に対応するフレームを構成し、該構成されたフレームの夫々が非破損フレームを近似するようにするようメモリに記憶され且つプロセッサによって実行可能な構成モジュールと、
修復されたオーディオ信号を生成するように前記対応する構成されたフレームにより前記破損フレームを置換するようメモリに記憶され且つプロセッサによって実行可能な修復モジュールと、
前記修復されたオーディオ信号をオーディオ出力装置により出力するようメモリに記憶され且つプロセッサによって実行可能な通信モジュールと
を有するシステム。
【請求項１５】
前記オーディオ信号を周波数サブバンドに分解するようメモリに記憶され且つプロセッサによって実行可能な分析モジュール
を更に有する請求項１４に記載のシステム。
【請求項１６】
前記通信モジュールは、更に、オーディオ信号をオーディオ入力装置から受信するよう実行可能である、
請求項１４に記載のシステム。
【請求項１７】
前記１又はそれ以上の破損フレームを識別するための前記検出モジュールの実行は、対象フレームと該対象フレームに近接した１又はそれ以上のフレームとの間の比較を形成することを含む、
請求項１４に記載のシステム。
【請求項１８】
前記比較は、少なくとも部分的に、前記対象フレームと前記１又はそれ以上の近接フレームとの間のスペクトル流速に基づく、
請求項１７に記載のシステム。
【請求項１９】
前記比較は、少なくとも部分的に、前記対象フレームと前記１又はそれ以上の近接フレームとの間の相関関係に基づく、
請求項１７に記載のシステム。
【請求項２０】
前記構成モジュールの実行により前記１又はそれ以上の破損フレームの夫々に対応するフレームを構成することは、少なくとも部分的に、前記１又はそれ以上の破損フレームに近接する１又はそれ以上のフレームに基づく、
請求項１４に記載のシステム。
【請求項２１】
前記１又はそれ以上の破損フレームの夫々に対応するフレームを構成するための前記構成モジュールの実行は、前記１又はそれ以上の破損フレームに先行する少なくとも１つのフレームからの外挿を含む、
請求項１４に記載のシステム。
【請求項２２】
前記１又はそれ以上の破損フレームの夫々に対応するフレームを構成するための前記構成モジュールの実行は、該１又はそれ以上の破損フレームに先行する少なくとも１つのフレームと該１又はそれ以上の破損フレームに続く少なくとも１つのフレームとの間の補間を含む、
請求項１４に記載のシステム。
【請求項２３】
前記修復モジュールは、更に、構成されるフレーム及び隣接する非破損フレームをクロスフェードするよう実行可能である
請求項１４に記載のシステム。
【請求項２４】
破損したオーディオ信号を修復する方法を実行するようプロセッサによって実行可能なプログラムを記憶するコンピュータ読出可能な記憶媒体であって、
前記方法は、
複数の連続的なフレームを含むオーディオ信号をオーディオ入力装置から受信するステップと、
前記オーディオ信号に含まれる１又はそれ以上の破損フレームを識別するステップと、
前記１又はそれ以上の破損フレームに対応するフレームを構成し、該構成されたフレームの夫々が非破損フレームを近似するようにするステップと、
修復されたオーディオ信号を生成するよう、前記対応する構成されたフレームにより前記１又はそれ以上の破損フレームの夫々を置換するステップと、
前記修復されたオーディオ信号をオーディオ出力装置により出力するステップと
を有する、コンピュータ読出可能な記憶媒体。
【請求項２５】
前記構成されたフレームは、少なくとも部分的に、前記１又はそれ以上の破損フレームに近接する１又はそれ以上のフレームに基づき、構成される、
請求項２４に記載のコンピュータ読出可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、音声処理に関する。より具体的には、本発明は、破損したオーディオ信号を修復することに関する。
【背景技術】
【０００２】
オーディオ信号は、連続したフレーム又は他の伝送ユニットを有することができる。オーディオ信号は、そのオーディオ信号に含まれる１又はそれ以上のフレームが損傷した場合に、破損することがある。フレームは、しばしば時間及び／又は周波数に集中する様々な事象の結果として、損傷することがある。そのような事象の例には、非定常ノイズ（例えば、衝撃音、キーボードクリック、ドア開閉、等）、オーディオ信号を搬送する通信ネットワークにおけるパケット損失、不確かなノイズ又はエコーフィルタリングによって引き起こされるノイズバースト漏れ、及び発話成分のような所望の信号成分の過剰抑制がある。それらの事象は、所望の信号成分が所与のオーディオ信号の１又はそれ以上のフレームにおいて失われる又は高度の損傷を受けることから、一般的に「ドロップアウト（dropouts）」と呼ばれることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
電気通信のような多くの用途において、オーディオ信号における破損は、不快感若しくはイライラ、又は、更に悪いことには、重要な通信の激烈な欠陥となりうる。ノイズ抑制機能を備えるシステムにおいてさえ、損傷を受けたフレームは、そのようなノイズ抑制が通常はドロップアウトのような極めて非定常のノイズ事象を追跡するには遅すぎるために、処理された信号においてユーザに聞こえることがある。従って、損傷を受けたフレームによって破損したオーディオ信号を修復する必要性が存在する。
【課題を解決するための手段】
【０００４】
本技術の実施形態は、破損したオーディオ信号が修復されることを可能にする。
【０００５】
第１の請求される実施形態において、破損したオーディオ信号を修復する方法が開示される。方法は、オーディオ信号をオーディオ入力装置から受信するステップを有する。前記オーディオ信号は、複数の連続的なフレームを含む。次いで、前記複数の連続的なフレームにおける破損フレームが識別される。該破損フレームに対応するフレームが構成される。そのようにして構成されたフレームは非破損フレームを近似する。前記破損フレームは、修復されたオーディオ信号を生成するよう、前記対応する構成されたフレームにより置換される。前記修復されたオーディオ信号は、オーディオ出力装置により出力される。
【０００６】
第２の請求される実施形態において、システムが示される。システムは、検出モジュール、構成モジュール、修復モジュール、及び通信モジュールを有する。これらのモジュールは、それらに属する機能を達成するようメモリに記憶されプロセッサによって実行されてよい。前記検出モジュールは、受信したオーディオ信号に含まれる１又はそれ以上の破損フレームを識別するよう実行されてよい。前記構成モジュールは、前記１又はそれ以上の破損フレームの夫々に対応するフレームを構成するよう実行されてよい。そのようにして構成されたフレームの夫々は、非破損フレームを近似してよい。前記修復モジュールは、修復されたオーディオ信号を生成するように前記対応する構成されたフレームにより前記破損フレームを置換するよう実行されてよい。前記通信モジュールは、前記修復されたオーディオ信号をオーディオ出力装置により出力するよう実行されてよい。
【０００７】
第３の請求される実施形態は、プログラムを記憶したコンピュータ読出可能な媒体を示す。前記プログラムは、破損したオーディオ信号を修復する方法を実行するようプロセッサによって実行可能である。前記プログラムは、前記プロセッサがオーディオ信号をオーディオ入力装置から受信することを可能にするよう実行されてよい。前記オーディオ信号は、複数の連続的なフレームを含んでよい。１又はそれ以上の破損フレームが前記オーディオ信号において識別されてよい。前記１又はそれ以上の破損フレームは連続的であってよい。前記１又はそれ以上の破損フレームの夫々に対応するフレームが構成されてよい。そのようにして構成されたフレームの夫々は、非破損フレームを近似する。前記プログラムの実行によって、前記プロセッサは、修復されたオーディオ信号を生成するよう前記１又はそれ以上の破損フレームの夫々を対応する構成されたフレームにより置換し、該修復されたオーディオ信号をオーディオ出力装置により出力することができる。
【図面の簡単な説明】
【０００８】
【図１】本技術の実施形態を実施する例となる環境のブロック図である。
【図２】例となるデジタル装置のブロック図である。
【図３】例となる信号処理エンジンのブロック図である。
【図４】破損したオーディオ信号の例となる修復を表す。
【図５Ａ】例となる実施形態に従って信号処理エンジンにおける信号処理経路を表す。
【図５Ｂ】例となる実施形態に従って信号処理エンジンにおける他の信号処理経路を表す。
【図６】信号処理エンジンに含まれる検出モジュールの例となる処理フローを表す。
【図７】破損したオーディオ信号を修復する例となる方法のフローチャートである。
【発明を実施するための形態】
【０００９】
本技術は、破損したオーディオ信号を修復する。オーディオ信号の損傷を受けた範囲（例えば、１又はそれ以上の連続するフレーム）が検出され得る。損傷を受けた範囲が検出されると、情報は、損傷を受けた範囲に隣接する非破損範囲から決定され得る。決定された情報は、損傷を受けた範囲を新たに構成されるフレーム又はその部分として再合成して、オーディオ信号を修復するために使用され得る。
【００１０】
ここで図１を参照すると、本技術の実施形態を実施する例となる環境のブロック図が示されている。表されているように、環境１００は、ユーザ１０５、デジタル装置１１０、及びノイズ源１１５を含む。ユーザ１０５又は他の何らかの音源は、オーディオ信号をデジタル装置１１０に与えてよい。更に、オーディオ信号は、通信ネットワーク（図示せず。）を介してデジタル装置１１０と通信する他のデジタル装置によって、デジタル装置１１０に与えられてよい。例えば、デジタル装置１１０は、ユーザ１０５又は他の電話機からオーディオ信号を受信することができる電話機を有してよい。デジタル装置１１０は、図２に関連して更に詳細に記載される。
【００１１】
ノイズ源１１５は、デジタル装置１１０によって受信されうるノイズを導入する。このノイズは、ユーザ１０５又は他の何らかの音源によって与えられるオーディオ信号を損なうことがある。ノイズ源１１５は図１においては単一の場所に由来するよう図示されているが、ノイズ源１１５は、１又はそれ以上の場所からの如何なる源を有してもよく、反響音及びエコーを含んでよい。ノイズ源１１５は、定常、非定常、又は定常及び非定常ノイズの組み合わせであってよい。注目すべきは、オーディオ信号は、ノイズ源１１５に加えて他の原因によって破損されることがある点である。例えば、オーディオ信号は、例えば、オーディオ信号に含まれる情報が失われるパケット損失又は他の信号損失メカニズムによって、ネットワークを通る伝送の間に又は処理の間に破損しうる。
【００１２】
図２は、例となるデジタル装置１１０のブロック図である。表されているデジタル装置１１０は、プロセッサ２０５、メモリ２１０、入力装置２１５、出力装置２２０、及びそれらの間の通信を助けるバス２２５を有する。本技術を記述するために必要でない他の様々な構成要素（図示せず。）も、例となる実施形態に従って、デジタル装置１１０に含まれてよい。図示されるように、メモリ２１０は信号処理エンジン２３０を有する。信号処理エンジン２３０については、図３に関連して更に詳細に論じられる。様々な実施形態に従って、デジタル装置１１０は、電話機（例えば、携帯電話機、スマートフォン、電話会議システム、及び固定電話機）、電気通信アクセサリ（例えば、ハンズフリーヘッドセット及びイヤーバッド）、携帯型トランシーバ（例えば、トランシーバ）、録音システム等のような、音声情報又は信号を受信し且つ任意に送信する如何なる装置も含んでよい。
【００１３】
プロセッサ２０５は、命令及び／又はプログラムを実行し、それによって記述される又はそれに関連する機能を達成してよい。そのような命令は、メモリ２１０に記憶されてよい。プロセッサ２０５は、マイクロコントローラ、マイクロプロセッサ、又は中央演算処理装置（ＣＰＵ）を含んでよい。幾つかの実施形態では、プロセッサは、幾つかのオンチップのＲＯＭ及び／又はＲＡＭを有することができる。そのようなオンチップのＲＯＭ及びＲＡＭは、メモリ２１０を含むことができる。
【００１４】
メモリ２１０は、コンピュータ読出可能な記憶媒体を含む。コンピュータ読出可能な記憶媒体の一般的な形態には、例えば、フロッピーディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、何らかの他の磁気媒体、ＣＤ−ＲＯＭディスク、デジタルビデオディスク（ＤＶＤ）、及び不揮発性メモリ（例えば、ＮＡＮＤフラッシュ及びＮＯＲフラッシュ）がある。更に、メモリ２１０は、利用可能になるならば、他のメモリ技術を有してよい。
【００１５】
入力装置２１５は、オーディオ信号を受信可能な如何なる装置も有することができる。例となる実施形態において、入力装置２１５は、環境１００からの可聴音響をオーディオ信号に変換することができるマイクロフォン又は他の電気音響装置を有する。入力装置２１５は、他の装置から通信ネットワークをわたってオーディオ信号を受信する伝送受信器を有してもよい。そのような通信ネットワークは、無線ネットワーク、有線ネットワーク、又はそれらの何らかの組み合わせを含んでよい。
【００１６】
出力装置２２０は、オーディオ信号を出力可能な如何なる装置も有してよい。例えば、出力装置２２０は、環境１００において可聴なオーディオ信号をレンダリングすることができるスピーカ又は他の電気音響装置を有することができる。更に、出力装置２２０は、通信ネットワークをわたって他の装置へオーディオ信号を送信することができる送信器を有することができる。
【００１７】
図３は、例となる信号処理エンジン２３０のブロック図である。図示されるように、信号処理エンジン２３０は、通信モジュール３０５、分析モジュール３１０、合成モジュール３１５、検出モジュール３２０、構成モジュール３２５、修復モジュール３３０、及び遅延モジュール３３５を有する。図２に関連して述べられたように、信号処理エンジン２３０及びその構成モジュールは、それらに対応する機能を達成するよう、メモリ２１０に記憶されプロセッサ２０５によって実行されてよい。信号処理エンジン２３０は、より多い又はより少ないモジュール（又はそれらの組み合わせ）から成り、依然として本技術の適用範囲内にあってよい。例えば、構成モジュール３２５の機能及び修復モジュール３３０の機能は、単一のモジュールにまとめられてよい。
【００１８】
通信モジュール３０５の実行は、プロセッサ２０５と入力装置２１５及び出力装置２２０の両方との間の通信を助ける。例えば、通信モジュール３０５は、入力装置２１５からプロセッサ２０５でオーディオ信号を受信するよう実行され得る。同様に、通信モジュール３０５は、プロセッサ２０５から出力装置２２０へオーディオ信号を送信するよう実行されてよい。
【００１９】
例となる実施形態において、受信されたオーディオ信号は、オーディオ信号の異なる周波数成分を表す周波数サブバンドに分解される。周波数サブバンドは、処理されて、出力されるべき加工オーディオ信号へと再構成される。分析モジュール３１０の実行は、プロセッサ２０５がオーディオ信号を周波数サブバンドに分解することを可能にする。合成モジュール３１５は、分解されたオーディオ信号からオーディオ信号を再構成するよう実行され得る。
【００２０】
分析モジュール３１０及び合成モジュール３１５は両方とも、様々な実施形態に従って、フィルタ又はフィルタバンクを含んでよい。そのようなフィルタは、複素数値フィルタであってよい。このようなフィルタは、二次以上のフィルタと比較して計算費用を削減する一次フィルタ（例えば、単極、複素数値）であってよい。更に、フィルタは、所望のチャネル分解能を生成するよう設計されたカットオフ周波数を有する有限インパルス応答（ＩＩＲ）であってよい。幾つかの実施形態において、フィルタは、特定の周波数バンド内の信号を抑制又は出力するように周波数選択性であってよい。幾つかの実施形態において、フィルタは、特定の周波数サブバンド内の信号を抑制又は出力するために、複素オーディオ信号に対して様々な係数による変換（例えば、ヒルベルト（Hilbert）変換）を実行してよい。他の実施形態では、フィルタは、人間の耳の聴覚反応をシミュレーションするよう高速内耳（cochlear）変換を実行してよい。フィルタは、フィルタカスケードとして組織されてよく、それにより、１つのフィルタの出力は、カスケードにおける隣のフィルタにおいて入力になる。カスケードにおけるフィルタの組は、オクターブに分けられてよい。集合的に、フィルタの出力は、オーディオ信号の周波数サブバンド又は成分に相当しうる。
【００２１】
検出モジュール３２０の実行は、オーディオ信号のフレームにおける損傷又は破損が識別されることを可能にする。そのような損傷又は破損は、フレームの１又はそれ以上のサブバンドにおいて存在しうる。損傷を受けたフレームの一例が図４に関連して論じられる。例となる実施形態に従って、損傷を受けた又は破損したフレームは、対象フレームをその対象フレームに隣接する１又はそれ以上のフレームと比較することによって、識別され得る。対象フレームは、それが損傷を受けている又は破損しているかどうかを決定するよう目下分析されているフレームである。
【００２２】
損傷を受けた又は破損したフレームを識別するために使用されてよい１つの比較は、スペクトル流速を決定することを必要とする。スペクトル流速は、信号のマグニチュードスペクトル又はパワースペクトルがどれくらい速く変化しているのかの指標である。スペクトル流速は、例えば、対象フレームのマグニチュードスペクトルを前のフレーム及び／又は後のフレームからのマグニチュードスペクトルと比較することによって、計算され得る。一例に従って、（フレームｎについての）オーディオ信号のスペクトル流速φ［ｎ］は、以下のように記述されてよい：
【００２３】
【数１】
2013527479.tif 000003
ここで、ｘｎ［ｆ］は、周波数サブバンドｆにおける対象フレームｎのマグニチュードスペクトルであり、ｘｎ＋１［ｆ］は、周波数サブバンドｆにおける対象フレームｎに先行するフレームｎ−１のマグニチュードスペクトルであり、ａｆは、周波数サブバンドによって異なるスケーリング係数であり、ｚは指数である。スケーリング係数ａｆは、例えば、特定の周波数（例えば、高周波）がより非定常ノイズを示す場合に、それらの特定の周波数に異なる重み付けを行ってよい。例となる実施形態において、指数ｚ＝２である。更に、幾つかの実施形態において、制限ｘｎ［ｆ］＜ｘｎ＋１［ｆ］を満足する（すなわち、マグニチュードスペクトルが増大している）上記の和の項のみが、スペクトル流速φ［ｎ］の計算において利用される。
【００２４】
発話における通常の抑揚により、スペクトル流速のみでは、オーディオ信号において破損した又は損傷を受けたフレームを識別するためには十分でないことがある。例えば、上昇調の母音は、たとえ隣接するフレームのいずれも破損していないとしても、隣接するフレームの間で大きなスペクトル流速を生じさせることがある。損傷を受けたフレームを識別するためにスペクトル流速をメトリックとして補完するよう、相関係数が、対象フレームと前のフレーム及び／又は後のフレームとの間で決定されてよい。一例において、対象フレームｎと前のフレームｎ−１との間の相関係数ρ［ｎ］は、以下のように記述され得る：
【００２５】
【数２】
2013527479.tif 000004
ここで、バーｘｎ［ｆ］及びバーｘｎ−１［ｆ］は、夫々、マグニチュードスペクトルｘｎ［ｆ］及びｘｎ−１［ｆ］の平均に対応する。そのようなものとして、フレームｎとフレームｎ−１との間のゲインは異なるが、各々のスペクトル形状は同じである場合に、フレームｎとフレームｎ−１との間の相関係数は１（unity）である。更に、例となる実施形態において、φ［ｎ］／ρ［ｎ］のような値は、損傷を受けた又は破損したフレームを識別するために使用されてよい。そのような値は、損傷を受けたフレームを識別するよう閾値を超えるよう要求されてよい。
【００２６】
注意すべきは、幾つかの実施形態において、破損フレームのインジケーションは検出モジュール３２０に与えられ得る点である。そのようなインジケーションは、例えば、デジタル装置１１０と通信する他のデジタル装置から受信されてよい。破損フレームのインジケーションは、失われた、消去された、又は損傷を受けたパケット又はフレームを識別することができる。破損フレームのインジケーションが与えられる場合に、破損フレームを検出するために検出モジュール３２０の実行を通じて別なふうに行われる信号処理は、バイパスされてよい。
【００２７】
構成モジュール３２５は、検出モジュール３２０によって識別される破損した又は損傷を受けたフレームの夫々に対応するフレームが構成又は構造解析されることを可能にするよう実行され得る。一般的に言えば、破損した又は損傷を受けたフレームに対応するフレームは、あらゆる信号破損に先立つオリジナルのオーディオ信号を含む損傷を受けていないフレームを近似するよう構成され得る。構成されたフレームは、対応する破損フレームに隣接する１又はそれ以上のフレームに基づいてよい。例えば、構成されたフレームは、破損フレームに先行する少なくとも１つのフレームからの外挿であるオーディオ信号を含んでよい。他の例では、構成されたフレームは、破損フレームに先行する少なくとも１つのフレームと、その破損フレームに続く少なくとも１つのフレームとの間の補間である信号を含んでよい。例となる実施形態に従って、補間及び外挿はサブバンド単位で行われ得る。構成されたフレームの例は、図４に関連して論じられる。
【００２８】
修復モジュール３３０の実行は、修復されたオーディオ信号を生成するよう、破損フレームが対応する構成されたフレームにより置換されることを可能にする。注目すべきは、全てのフレーム（すなわち、全ての周波数サブバンドにわたる）又は個々のサブバンドフレームが損傷を受けていると識別され得る点である。従って、フレームの修復は、全てのフレーム、又はフレーム内の１又はそれ以上の個々のサブバンドにおいて、行われてよい。例えば、所与のフレームの一部又は全ては、構成モジュール３２５によって構造解析される情報によって置換されてよい。別なふうに破損したフレームの所与のサブバンドが損傷を受けていない信号成分を含む場合に、その所与のサブバンドは置換されなくてよい。更に、幾つかの実施形態において、フレームの破損したサブバンドは、このフレームの対応する構成されたサブバンドが破損サブバンドの過小評価（underestimate）である場合に、その構成されたサブバンドによって置換されてよい。更に、その同じフレームの破損サブバンドは、このフレームの対応する構成されたサブバンドが破損サブバンドの過大評価（overestimate）である場合に、その構成されたサブバンドによって置換され得ない。構成されたフレームは平均化され、あるいは別なふうに、対応する破損フレームと結合されてよい。構成されたフレームと隣接する非破損フレームとの間の不連続を小さくするよう、クロスフェーディング（cross-fading）が実行されてよい。一実施形態において、２０ミリ秒の線形なクロスフェードが利用される。そのようなクロスフェードは振幅及び位相を含んでよい。
【００２９】
幾つかの実施形態に従って、１又はそれ以上のフレームによって信号を遅延させることが有利でありうる。遅延モジュール３３５の実行は、オーディオ信号が、信号処理エンジン２３０の様々な処理ステップの間に遅延されることを可能にする。そのような遅延の実行は、図５Ｂ及び図６に関連して更に記載される。
【００３０】
図４は、破損したオーディオ信号の例となる修復４００を表す。オーディオ信号は、様々な修復段階４０５Ａ〜４０５Ｃにおいて示されている。オーディオ信号は、５つのフレーム４１０Ａ〜４１０Ｅを含む。図示されるように、段４０５Ａにおけるフレーム４１０Ｃは破損している。これは、段４０５Ａでのフレーム４１０Ｃが隣接フレーム４１０Ｂ及び４１０Ｃに対して低い相関及び高いスペクトル流速を有するために、検出モジュール３２０によって識別され得る。構成されたデータ４１５が、段４０５Ｂでフレーム４１０Ｃにオーバレイされて示されている。構成されたデータ４１５は、フレーム４１０Ｂからの情報を外挿することによって、構成モジュール３２５によって構成される。代替的に、構成されたデータ４１５は、フレーム４１０Ｂと４１０Ｃとの間で補間されてよい。段４０５Ｃで、構成されたデータ４１５は、修復されたオーディオ信号を生じさせる修復モジュール３３０の実行を通じて、フレーム４１０Ｃを置換されている。留意すべきは、構成されたデータ４１５は、フレーム間の如何なる不連続も小さくするよう、段４０５Ｃでフレーム４１０Ｄによりクロスフェードされている。
【００３１】
図５Ａ及び図５Ｂは、夫々、例となる実施形態に従って、信号処理エンジン２３０におけるモジュール間信号経路を表す。図５Ａに表される実施形態では、破損したオーディオ信号は分析モジュール３１０によって受信され、分析モジュール３１０は、破損したオーディオ信号を周波数サブバンドに分解する。破損したオーディオ信号の周波数サブバンドは、次いで、修復モジュール３３０及び検出モジュール３２０によって受信される。検出モジュール３２０がオーディオ信号において１又はそれ以上の破損フレームを識別した後、構成モジュール３２５は、対応するフレームを生成又は構成し、そのようにして構成されたフレームを、受信したオーディオ信号における破損フレームと置換するよう、修復モジュール３３０へ送る。幾つかの実施形態において、修復された周波数サブバンドは、修復されたオーディオ信号として再構成されるよう、修復モジュール３３０から合成モジュール３１５へ送られる。注目すべきは、例となる実施形態において、損傷が検出されない場合には、フレームは単に信号処理エンジン２３０の様々なモジュールを通されるだけでよい点である。
【００３２】
図５Ｂの実施形態において、破損したオーディオ信号は、分析モジュール３１０Ａ及び遅延モジュール３３５によって受信される。次いで、遅延モジュール３３５は、遅延された破損したオーディオ信号を分析モジュール３１０Ｂに転送する。分析モジュール３１０Ａ及び３１０Ｂは、同じように実施され、図３及び図５Ａに関連して記載された分析モジュール３１０と同じように動作することができる。分析モジュール３１０Ａ及び３１０Ｂは、破損したオーディオ信号及び遅延された破損したオーディオ信号を、修復モジュール３３０に送られる周波数サブバンドに分解する。また、破損したオーディオ信号の周波数サブバンドは、損傷を受けたフレームを識別するよう検出モジュール３２０によっても受信される。あらゆる識別された損傷フレーム及び遅延された破損したオーディオ信号に基づき、フレームは構成モジュール３２５によって構造解析及び構成されてよい。次いで、識別された損傷フレームは、修復モジュール３３０によって、対応する構成されたフレームによって置換される。修復された周波数サブバンドは、修復されたオーディオ信号として再構成されるよう、修復モジュール３３０から合成モジュール３１５へ送られる。
【００３３】
図６は、検出モジュール３２０によって実行される例となる処理フロー６００を表す。周波数サブバンドデータは、フロー点６０５及び６３５で検出モジュール３２０によって受け取られる。ここで論じられるように、周波数サブバンドは、オーディオ信号の分解を通じて分析モジュール３１０によって生成されてよい。フロー点６０５で、周波数サブバンドのマグニチュードスペクトルが決定される。マグニチュードスペクトルはフロー点６１０で遅延され、それにより、マグニチュードスペクトル及び遅延されたマグニチュードスペクトルがフロー点６１５及び６２０に与えられる。遅延モジュール３３５は、幾つかの実施形態に従って、マグニチュードスペクトルを遅延してよい。フロー点６１５で、対象フレームのスペクトル流速が、マグニチュードスペクトル及び遅延されたマグニチュードスペクトルに基づき決定される。対象フレームの相関係数は、フロー点６２０で、マグニチュードスペクトル及び遅延されたマグニチュードスペクトルに基づき決定される。スペクトル流速及び相関係数は、フロー点６２５で、例えば、それらの間の比によって結合される。フロー点６３０で、対象フレームが破損しているか否かに関して、決定が行われる。更に、対象フレームのエンドポイントがフロー点６３５で決定される。破損決定は、対象フレームを破損フレームと又は非破損フレームと識別する。破損フレームの識別情報及びフレームエンドポイント情報は、修復モジュール３３０へ転送されてよい。更に、構成モジュール３２５は、修復された信号フレームを生成するために、エンドポイント情報を使用してよい。
【００３４】
図７は、破損したオーディオ信号を修復する例となる方法７００のフローチャートである。方法７００のステップは、様々な順序で実行されてよい。ステップは、方法７００から加減されてよく、依然として本技術の適用範囲内にある。
【００３５】
ステップ７０５で、オーディオ信号は、音声入力装置（例えば、入力装置２１５）から受信される。オーディオ信号は、多数の連続したフレームを含んでよい。更に、通信モジュール３０５は、プロセッサ２０５が入力装置２１５からオーディオ信号を受信するように、実行されてよい。
【００３６】
ステップ７１０で、ステップ７０５で受信されたオーディオ信号に含まれる１又はそれ以上の破損フレームが識別されてよい。それらの１又はそれ以上の破損フレームは連続的であってよい。様々な実施形態に従って、１又はそれ以上の破損フレームは、１又はそれ以上の破損フレームと近接の非破損フレームとの間のスペクトル流速及び／又は相関に基づき識別されてよい。更に、検出モジュール３２０は、ステップ７１０を実行するよう実行されよい。
【００３７】
ステップ７１５で、フレームは、１又はそれ以上の破損フレームの夫々に対応するよう構成される。ここで論じられるように、夫々の構成されたフレームは非破損フレームを近似する。ステップ７１５は、例となる実施形態に従って、構成モジュール３２５の実行を通じて実行される。
【００３８】
ステップ７２０で、１又はそれ以上の破損フレームの夫々は、修復されたオーディオ信号を生成するよう、対応する構成されたフレームにより置換される。例となる実施形態において、修復モジュール３３０は、ステップ７２０を実行するよう実行される。
【００３９】
ステップ７２５で、修復されたオーディオ信号は、音声出力装置（例えば、出力装置２２０）を介して出力される。通信モジュール３０５は、修復されたオーディオ信号が例となる実施形態に従ってプロセッサ２０５から出力装置２２０へ送信されるように、実行されてよい。
【００４０】
以上、様々な実施形態について記載してきたが、当然のことながら、それらは単に一例として提示されているにすぎず、限定でない。本明細書は、本技術の適用範囲をここで示される特定の形態に限定するよう意図されない。従って、好ましい実施形態の広さ及び範囲は、上記の例となる実施形態のいずれによっても制限されるべきではない。当然のことながら、上記は例示であり制限ではない。それとは反対に、本明細書は、添付の特許請求の範囲によって定義され且つ当業者によって別に認識される技術的範囲内に含まれるような代替、変形、及び均等を包含するよう意図される。従って、技術的範囲は、上記の参照により決定されるべきでなく、代わりに、添付の特許請求の範囲を、それらの均等の全範囲とともに参照することで決定されるべきである。
【図１】
2013527479.tif 000005
【図２】
2013527479.tif 000006
【図３】
2013527479.tif 000007
【図４】
2013527479.tif 000008
【図５Ａ】
2013527479.tif 000009
【図５Ｂ】
2013527479.tif 000010
【図６】
2013527479.tif 000011
【図７】
2013527479.tif 000012
【国際調査報告】
2013527479.tif 000013