(57)【要約】  ニューラル・ネットワークは、スピーカ、増幅放送アンテナ又はおそらくマイクロフォンといった音声変換器の線形及び非線形歪みを補償するための、効率的で、頑強で、精密なフィルタリング技術を提供する。これらの技術は、音声変換器が逆伝達関数を算出するように音声変換器を特徴付ける方法と、再現のためにそれらの逆伝達関数を実施する方法の両方を含む。逆伝達関数は、線形及び非線形ニューラル・ネットワークによって与えられるような時間領域計算を用いて抽出されることが好ましく、これは通常の周波数領域又はモデリングをベースとする手法と比較して、より正確に音声信号及び音声変換器の特性を表わす。好ましい手法は線形及び非線形歪みの両方を補償することであるが、ニューラル・ネットワーク・フィルタリング技術は、独立して適用することができる。【特許請求の範囲】
【請求項１】
音声変換器上で再現するために音声信号を予補償するように、音声変換器の逆線形及び非線形伝達関数を求めるための方法であって、
ａ）前記音声変換器を通して、線形試験信号の同期された再生及び記録を行い、
ｂ）前記音声変換器に対する前方線形伝達関数を、前記線形試験信号及び記録されたその形態から抽出し、
ｃ）前記変換器に対して逆線形伝達関数Ａ（）の推定を与えるように、前記前方線形伝達関数を反転させ、
ｄ）前記逆線形伝達関数を線形フィルタの対応係数にマッピングし、
ｅ）前記変換器を通して、非線形試験信号Ｉの同期された再生及び記録を行い、
ｆ）前記線形フィルタを前記記録された非線形試験信号に適用し、その結果を元の非線形試験信号から減じて、前記変換器の非線形歪みを推定し、
ｇ）前方非線形伝達関数Ｆ（）を前記非線形歪みから抽出し、
ｈ）前記変換器に対して逆非線形伝達関数ＲＦ（）の推定を与えるように、前記前方非線形伝達関数を反転させる、
ステップを含むことを特徴とする方法。
【請求項２】
前記線形試験信号の再生及び記録は、共有クロック信号に関して実行されて、前記信号は単一のサンプル期間内で時間配列されるようになることを特徴とする請求項１に記載の方法。
【請求項３】
前記試験信号は周期的なものであり、前記前方線形伝達関数は、
複数の期間の前記記録された信号を、平均化された記録された信号に平均化し、
前記平均化された記録された信号及び前記線形試験信号を、同様の複数のＭ個の時間セグメントに分割し、
各々が複数のスペクトル・ラインを有する同様の複数のスナップショットを形成するように、同様の記録されたセグメント及び試験セグメントを周波数変換及び分配し、
すべてがそのスペクトル・ラインに対して同様の振幅応答を有するＮ＜Ｍ個のスナップショットのサブセットを選択するように、各々のスナップショットをフィルタリングし、
Ｎ個のスナップショットを再構築するように、各々のサブセットにおいて列挙された前記スナップショットから前記スペクトル・ラインをマッピングし、
前記前方線形伝達関数のＮ個の時間領域スナップショットを与えるように、前記再構築されたスナップショットを逆変換し、
前記前方線形伝達関数を抽出するように、前記Ｎ個の時間領域スナップショットをウェーブレット・フィルタリングする、
ことによって抽出されることを特徴とする請求項１に記載の方法。
【請求項４】
前記平均化された記録された信号は、各々のセグメントは前記変換器インパルス応答の持続期間を超えなくてはならないという制約により、可能な限り多くのセグメントに分割されることを特徴とする請求項３に記載の方法。
【請求項５】
前記ウェーブレット・フィルタは、
各々の時間領域スナップショットを、２−Ｄ係数マップにウェーブレット変換し、
前記マップにわたり、前記係数の統計を算出し、
前記統計に基づいて、前記２−Ｄ係数マップにおいて係数を選択的にゼロにし、
前記２Ｄ係数マップを平均化されたマップに平均化し、
前記平均化されたマップを、前記前方線形伝達関数に逆ウェーブレット変換する、
ことによって並行して適用されることを特徴とする請求項３に記載の方法。
【請求項６】
前記統計は、前記異なるマップからの、同じ位置における係数間の偏差を測定し、前記係数は前記偏差が閾値を超えた場合にはゼロにされることを特徴とする請求項５に記載の方法。
【請求項７】
前記前方線形変換は、逆線形伝達関数Ａ（）を推定するために、前記前方線形伝達関数を入力として用い、ターゲット・インパルス信号をターゲットとして用いて、線形ニューラル・ネットワークの前記加重を訓練することにより反転されることを特徴とする請求項１に記載の方法。
【請求項８】
前記加重は誤差関数により訓練され、時間領域制約を前記誤差関数に置くことをさらに含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記時間領域制約は、プレエコー部分でより重く誤差を加重することを特徴とする請求項８に記載の方法。
【請求項１０】
前記加重は誤差関数により訓練され、周波数領域制約を前記誤差関数に置くことをさらに含むことを特徴とする請求項７に記載の方法。
【請求項１１】
前記周波数領域制約は、前記ターゲット・インパルス信号のエンベロープを減衰させて、該ターゲット・インパルス信号と前記元のインパルス応答との間の最大差異が、何らかの予め設定された限度でクリップされるようにすることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記周波数領域制約は、前記誤差関数の前記スペクトル成分を異なって加重することを特徴とする請求項１０に記載の方法。
【請求項１３】
前記線形ニューラル・ネットワークは、前記入力を通過するＮ個の遅延要素と、前記遅延された入力の各々に対するＮ個の加重と、該遅延された入力の加重和を出力として算出する単一のニューロンとを含むことを特徴とする請求項７に記載の方法。
【請求項１４】
前記前方非線形伝達関数Ｆ（）は、前記元の非線形試験信号Ｉを入力として用い、前記非線形歪みをターゲットとして用いて、非線形ニューラル・ネットワークの前記加重を訓練することにより抽出されることを特徴とする請求項１に記載の方法。
【請求項１５】
前記前方非線形伝達関数Ｆ（）が前記試験信号Ｉに再帰的に適用され、Ｃｊがｊ番目の再帰反復係数であり、ｊが１よりも大きい場合に、Ｃｊ*Ｆ（Ｉ）が試験信号Ｉから減じられて、前記逆非線形伝達関数ＲＦ（）が推定されることを特徴とする請求項１に記載の方法。
【請求項１６】
変換器上で再現するために音声信号を予補償するように、変換器の逆線形伝達関数Ａ（）を求めるための方法であって、
ａ）前記変換器を通して、線形試験信号の同期された再生及び記録を行い、
ｂ）前記変換器に対する前方線形伝達関数を、前記線形試験信号及び記録されたその形態から抽出し、
ｃ）前記変換器に対する逆線形伝達関数Ａ（）を推定するために、前方線形伝達関数を入力として用い、ターゲット・インパルス信号をターゲットとして用いて、線形ニューラル・ネットワークの加重を訓練し、
ｄ）前記ＮＮからの前記訓練された加重を、線形フィルタの対応係数にマッピングする、
ステップを含むことを特徴とする方法。
【請求項１７】
前記試験信号は周期的なものであり、前記前方線形伝達関数は、
複数の期間の前記記録された信号を、平均化された記録された信号に平均化し、
前記平均化された記録された信号及び前記線形試験信号を、同様の複数のＭ時間セグメントに分割し、
各々が複数のスペクトル・ラインを有する同様の複数のスナップショットを形成するように、同様の記録されたセグメント及び試験セグメントを周波数変換及び分配し、
すべてがそのスペクトル・ラインに対して同様の振幅応答を有するＮ＜Ｍ個のスナップショットのサブセットを選択するように、各々のスナップショットをフィルタリングし、
Ｎ個のスナップショットを再構築するように、各々のサブセットにおいて列挙された前記スナップショットから前記スペクトル・ラインをマッピングし、
前記前方線形伝達関数のＮ個の時間領域スナップショットを与えるように、前記再構築されたスナップショットを逆変換し、
前記前方線形伝達関数を抽出するように、前記Ｎ個の時間領域スナップショットをフィルタリングする、
ことによって抽出されることを特徴とする請求項１６に記載の方法。
【請求項１８】
前記時間領域スナップショットは、
各々の時間領域スナップショットを、２−Ｄ係数マップにウェーブレット変換し、
前記マップにわたり、前記係数の統計を算出し、
前記統計に基づいて、前記２−Ｄ係数マップにおいて係数を選択的にゼロにし、
前記２Ｄ係数マップを平均化されたマップに平均化し、
前記平均化されたマップを、前記前方線形伝達関数に逆ウェーブレット変換する、
ことによって並行してフィルタリングされることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記前方線形伝達関数は、
前記前方線形伝達関数のＮ個の時間領域スナップショットを与えるように、前記試験信号及び記録された信号を処理し、
各々の時間領域スナップショットを、２−Ｄ係数マップにウェーブレット変換し、
前記マップにわたり、前記係数の統計を算出し、
前記統計に基づいて、前記２−Ｄ係数マップにおいて係数を選択的にゼロにし、
前記２Ｄ係数マップを平均化されたマップに平均化し、
前記平均化されたマップを、前記前方線形伝達関数に逆ウェーブレット変換する、
ことによって抽出されることを特徴とする請求項１６に記載の方法。
【請求項２０】
前記統計は、前記異なるマップからの、同じ位置における係数間の前記偏差を測定し、前記係数は該偏差が閾値を超えた場合にはゼロにされることを特徴とする請求項１９に記載の方法。
【請求項２１】
前記線形ニューラル・ネットワークは、前記入力を通過するＮ個の遅延要素と、前記遅延された入力の各々に対するＮ個の加重と、該遅延された入力の加重和を出力として算出する単一のニューロンとを含むことを特徴とする請求項１６に記載の方法。
【請求項２２】
前記加重は誤差関数により訓練され、時間領域制約を前記誤差関数に置くことをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２３】
前記加重は誤差関数により訓練され、周波数領域制約を前記誤差関数に置くことをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２４】
変換器上で再現するために音声変換器を予補償するように、変換器の逆非線形伝達関数を求めるための方法であって、
ａ）前記変換器を通して、非線形試験信号Ｉの同期された再生及び記録を行い、
ｂ）前記記録された非線形試験信号から、前記変換器の非線形歪みを推定し、
ｃ）前方非線形伝達関数Ｆ（）の推定を与えるために、前記元の非線形試験信号Ｉを入力として用い、前記非線形歪みをターゲットとして用いて、非線形ニューラル・ネットワークの加重を訓練し、
ｄ）前記非線形ニューラル・ネットワークを用いて、前記前方非線形伝達関数Ｆ（）が前記試験信号Ｉに再帰的に適用され、Ｃｊがｊ番目の反復再帰係数である場合に、Ｃｊ*Ｆ（Ｉ）が試験信号Ｉから減じられて、前記変換器に対する逆非線形伝達関数ＲＦ（）が推定され、
ｅ）前記加重係数Ｃｊを最適化する、
ステップを含むことを特徴とする方法。
【請求項２５】
前記非線形歪みは、前記線形歪みを前記記録された非線形試験信号から除去し、その結果を前記元の非線形試験信号から減ずることにより推定されることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記非線形ニューラル・ネットワークに適用された非線形入力試験信号を入力として用い、前記再帰適用の出力をターゲットとして用いて、非線形再生ニューラル・ネットワーク（ＰＮＮ）を訓練して、前記ＰＮＮが前記逆非線形伝達関数ＲＦ（）を直接推定するようにするステップをさらに含むことを特徴とする請求項２４に記載の方法。
【請求項２７】
音声変換器上での再現のために、音声信号Ｘを予補償する方法であって、
ａ）線形予補償音声信号Ｘ‘＝Ａ（Ｘ）を与えるように、前記音声信号Ｘを、その伝達関数が前記変換器の逆線形伝達関数Ａ（）の推定である線形フィルタに適用し、
ｂ）予補償音声信号Ｙ＝ＲＦ（Ｘ‘）を与えるように、前記線形予補償音声信号Ｘ’を、その伝達関数が前記変換器の前記逆非線形伝達関数ＲＦ（）の推定である非線形フィルタに適用し、
ｃ）前記予補償された音声信号Ｙを前記変換器に向ける、
ステップを含むことを特徴とする方法。
【請求項２８】
前記線形フィルタは、その伝達関数が前記変換器の逆線形伝達関数を推定する線形ニューラル・ネットワークの加重から、その係数がマップされるＦＩＲフィルタを含むことを特徴とする請求項２７に記載の方法。
【請求項２９】
前記非線形フィルタは、
Ｘ‘を入力として、その伝達関数Ｆ（）が前記変換器の前記前方非線形伝達関数の表現であるニューラル・ネットワークに適用して、該変換器により生成される前記非線形歪みの推定Ｆ（Ｘ‘）を出力し、
前記予補償された音声信号Ｙ＝ＲＦ（Ｘ‘）を生成するために、Ｃｊがｊ番目の再帰反復の加重係数である場合に、加重された非線形歪みＣｊ*Ｆ（Ｘ‘）を音声信号Ｉから再帰的に減ずる、
ことにより実施されることを特徴とする請求項２７に記載の方法。
【請求項３０】
前記非線形フィルタは、
Ｘ‘を、その伝達関数ＲＦ（）が前記逆非線形伝達関数の推定である非線形再生ニューラル・ネットワークに通して、予補償された音声信号Ｙ＝ＲＦ（Ｘ‘）を生成する、
ことにより実施され、前記伝達関数ＲＦ（）は、Ｆ（）が前記変換器の前方非線形伝達関数であり、Ｃｊがｊ番目の再帰反復の加重係数である場合に、音声信号ＩからＣｊ*Ｆ（Ｉ）の前記再帰減算をエミュレートするように訓練されることを特徴とする請求項２７に記載の方法。
【請求項３１】
音声変換器の音声信号Ｉを補償する方法であって、
ａ）その伝達関数Ｆ（）が前記変換器の前方非線形伝達関数の表現であるニューラル・ネットワークに、前記音声信号Ｉを入力として与えて、該音声信号Ｉに対して該変換器により生成される非線形歪みの推定Ｆ（Ｉ）を出力し、
ｂ）Ｃｊがｊ番目の再帰反復の加重係数である場合に、加重された非線形歪みＣｊ*Ｆ（Ｉ）を音声信号Ｉから再帰的に減じて、補償された音声信号Ｙを生成する、
ステップを含むことを特徴とする方法。
【請求項３２】
音声変換器の音声信号Ｉを補償する方法であって、前記音声信号Ｉを、その伝達関数ＲＦ（）が前記変換器の逆非線形伝達関数の推定である非線形再生ニューラル・ネットワークに通過させて、予補償された音声信号Ｙを生成するステップ、
を含み、前記伝達関数ＲＦ（）は、Ｆ（）が前記変換器の前方非線形伝達関数であり、Ｃｊがｊ番目の再帰反復の加重係数である場合に、音声信号ＩからＣｊ*Ｆ（Ｉ）の再帰減算をエミュレートするように訓練されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声変換器の補償に関し、より具体的には、スピーカ、マイクロフォン、又はパワーアンプ、及び放送アンテナといった音声変換器の線形及び非線形歪みを補償するための方法に関する。
【背景技術】
【０００２】
音声スピーカは、均一かつ予測可能な入力／出力（Ｉ／Ｏ）応答特徴を示すことが好ましい。理想的には、スピーカの入力に結合されたアナログ音声信号は、リスナの耳に与えられるものである。現実には、リスナの耳に到達する音声信号は、スピーカ自体（例えば、その構成及びその中の成分の相互作用）によって、及び音声信号がリスナの耳に到達するのに移動しなくてはならないリスニング環境（例えば、リスナの位置、部屋の音響特徴、その他）によって生じる何らかの歪みが元の音声信号に加わる。所望のスピーカ応答を与えるためには、スピーカ自体によって生じる歪みを最小化するように、スピーカの製造中に実行される多くの技術がある。付加的には、さらに歪みを減少させるために、スピーカを機械的にハンド・チューニングするための技術がある。
【０００３】
Ｌｅｖｙによる特許文献１は、メモリ内に格納された特徴付けデータ、及び、スピーカ関連歪みとリスニング環境歪みを補償する入力音声信号に対して変換機能をデジタル的に実行するデジタル信号処理（ＤＳＰ）を用いる、プログラム可能スピーカを説明する。製造環境において、非嵌入システム及びスピーカを調整する方法は、プログラム可能スピーカの入力に、基準信号及び制御信号を適用することにより実行される。マイクロフォンは、スピーカの出力において入力基準信号に対応する可聴信号を検出し、それを、入力基準信号をスピーカからの可聴出力信号と比較することにより、スピーカの周波数応答を分析するテスタにフィードバックする。比較の結果に応じて、テスタは、新しい特徴付けデータをもつ更新デジタル制御信号をスピーカに与え、それは次いでスピーカのメモリ内に格納され、入力基準信号に変換関数を再び実行するのに用いられる。調整フィードバック・サイクルは、入力基準信号及びスピーカからの可聴出力信号が、テスタによって判断される所望の周波数応答を示すまで続く。消費者環境においては、マイクロフォンは、選択されたリスニング環境内に置かれ、調整デバイスは、選択されたリスニング環境内のマイクロフォンによって検出された歪み効果を補償するように、特徴付けデータを更新するのに再び用いられる。Ｌｅｖｙは、スピーカ及びリスニング環境の歪みを補償するのに、信号処理の分野では周知である逆変換を与えるための技術に依存する。
【０００４】
歪みは、線形及び非線形成分の両方を含む。“クリッピング”といった非線形歪みは、入力音声信号の振幅の関数であるのに対して線形歪みはそうではない。既知の補償技術は、問題の線形部分に対処して非線形成分を無視するか、又はその逆のいずれかである。線形歪みは主要な成分であることができるが、非線形歪みは、入力信号に存在しない付加的なスペクトル成分を生成する。結果として、補償は精密でなく、従って特定の高性能音声用途には好適でない。
【０００５】
問題の線形部分を解決するのには、多くの手法がある。最も単純な方法は、一揃いの帯域フィルタに独立した利得制御を与えるイコライザである。より緻密な技術は、位相及び振幅両方の修正を含む。例えば、非特許文献１は、ある周波数において誤差をバイアスする加重及び規則化条件を可能にする、周波数領域逆フィルタリング手法を説明する。この方法は、所望の周波数特徴を与えるのには良いが、逆応答の時間領域特徴にわたる制御がなく、例えば、周波数領域計算は、最終（スピーカを通じて修正及び再生される）信号におけるプレエコーを減少できない。
【０００６】
非線形歪みを補償するための技術は、それほど開発されていない。非特許文献２は、非線形歪み測定と、スピーカ及び他の変換器における信号歪みの物理的原因である非線形性との間の関係を説明する。非特許文献３は、スピーカの非線形性を推測するのに、周波数領域ボルテラ・カーネルに基づいた逆変換を用いる。逆変換は、前方周波数領域カーネルから逆変換ボルテラ・カーネルを分析的に計算することにより取得される。この手法は固定信号（例えば１組の正弦波）には良いが、音声信号の過渡的な非固定領域において、重大な非線形性が発生する可能性がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第６，７６６，０２５号
【非特許文献】
【０００８】
【非特許文献１】Ｎｏｒｃｒｏｓｓ他著「Ａｄａｐｔｉｖｅ  Ｓｔｒａｔｅｇｉｅｓ  ｆｏｒ  Ｉｎｖｅｒｓｅ  Ｆｉｌｔｅｒｉｎｇ」  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  ２００５年の１０月７−１０日
【非特許文献２】Ｋｌｉｐｐｅｌ他著「Ｌｏｕｄｓｐｅａｋｅｒ  Ｎｏｎｌｉｎｅａｒｉｔｉｅｓ  −  Ｃａｕｓｅｓ，  Ｐａｒａｍｅｔｅｒｓ，  Ｓｙｍｐｔｏｍｓ」  ＡＥＳ  ２００５年１０月７日―１０日
【非特許文献３】Ｂａｒｄ他著「Ｃｏｍｐｅｎｓａｔｉｏｎ  ｏｆ  Ｎｏｎｌｉｎｅａｒｉｔｉｅｓ  ｏｆ  ｈｏｒｎ  ｌｏｕｄｓｐｅａｋｅｓ」  ＡＥＳ  ２００５年１０月７日―１０日
【発明の概要】
【課題を解決するための手段】
【０００９】
以下は、本発明のいくつかの態様の基本的な理解を提供するための本発明の要約である。この要約は、本発明の重要又は重大な要素を識別すること、又は本発明の範囲を描くことを意図するものではない。その唯一の目的は、さらに詳細な説明及び定義的な特許請求の範囲の前置きとして、本発明のいくつかの概念を簡潔な形態で提示することである。
本発明は、スピーカといった音声変換器の線形及び非線形歪みを補償するための効率的で、頑強で、精密なフィルタリング技術を提供する。これらの技術は、音声変換器が逆伝達関数を計算するように特徴付ける方法と、再現のためにそれらの逆伝達関数を実施する方法の両方を含む。好ましい実施形態では、逆伝達関数は、線形及び非線形ニューラル・ネットワークによって与えられるような時間領域算出を用いて抽出され、これは通常の周波数領域又はモデリングをベースとした手法と比較して、音声信号及び変換器の特性を、より正確に示す。好ましい手法は線形及び非線形両方の歪みを補償することであるが、ニューラル・ネットワーク・フィルタリング技術は、独立して適用することができる。同じ技術はまた、変換器の歪み、及び、リスニング、レコーディング、又は放送環境を補償するように適応させることもできる。
【００１０】
例示的な実施形態では、線形試験信号は、音声変換器を通して再生され、同期して記録される。元の及び記録された試験信号は、前方線形伝達関数を抽出するよう処理され、例えば、時間、周波数、及び時間／周波数領域技術の両方を用いて、ノイズを減少させることが好ましい。変換の時間スケーリング特性を活用する、前方変換の‘スナップショット’への、ウェーブレット変換の並行適用は、変換器インパルス応答の特性に特に良好に適する。逆線形伝達関数は計算され、線形フィルタの係数にマップされる。好ましい実施形態では、線形ニューラル・ネットワークは、線形伝達関数を反転するように訓練され、それによって、ネットワーク加重がフィルタ係数に直接マップされる。時間及び周波数両方の領域制約は、誤差関数により伝達関数上に置いて、プレエコー及び過剰増幅のような課題に対処することができる。
非線形試験信号は音声変換器に適用され、同期的に記録される。記録された信号は、線形フィルタを通過して、デバイスの線形歪みを除去するのが好ましい。ノイズ減少技術はまた、記録された信号にも適用できる。記録された信号は次いで、非線形試験信号から減じられ、非線形歪みの推定を与え、そこから、前方及び逆非線形伝達関数が算出される。好ましい実施形態では、非線形ニューラル・ネットワークは、試験信号及び非線形歪みにおいて訓練されて、前方非線形伝達関数を推定する。逆変換は、試験信号を、非線形ニューラル・ネットワークを通して再帰的に通過させ、加重応答を試験信号から減じることによって求められる。再帰式の加重係数は、例えば、最小平均二乗誤差手法によって最適化される。この手法で用いられる時間領域表示は、音声信号の過渡領域において非線形性を扱うのに適している。
【００１１】
再現では、音声信号は、その伝達関数が音声再現デバイスの逆線形伝達関数の推定である線形フィルタに適用されて、線形予補償された音声信号が与えられる。線形に予補償された音声信号は次いで、その伝達関数が逆非線形伝達関数の推定である、非線形フィルタに適用される。非線形フィルタは、音声信号を、訓練された非線形ニューラル・ネットワーク及び最適化された再帰式に再帰的に通過させることによって、好適に実施される。効率性を改善するために、非線形ニューラル・ネットワーク及び再帰式は、シングルパス再生ニューラル・ネットワークを訓練するモデルとして用いられる。スピーカ又は増幅放送アンテナといった出力変換器に対しては、線形と非線形に予補償された信号は、変換器に送られる。マイクロフォンといった入力変換器に対しては、線形及び非線形補償は、変換器の出力に適用される。
本発明のこれら及び他の特徴及び利点は、添付の図面をと併せて、好ましい実施形態の以下の詳細な説明から、当業者には明らかになるであろう。
【図面の簡単な説明】
【００１２】
【図１ａ】音声再現デバイスで再生するために音声信号を予補償するように逆線形及び非線形伝達関数を算出するブロック図である。
【図１ｂ】音声再現デバイスで再生するために音声信号を予補償するように逆線形及び非線形伝達関数を算出するフロー図である。
【図２】前方線形伝達関数を抽出してノイズ減少をし、線形ニューラル・ネットワークを用いて、逆線形伝達関数を算出するためのフロー図である。
【図３ａ】周波数領域フィルタリング、及びスナップショットの再構築を説明する図である。
【図３ｂ】周波数領域フィルタリング、及びスナップショットの再構築を説明する図である。
【図３ｃ】結果として生じた前方線形伝達関数の周波数プロットである。
【図４ａ】前方線形伝達関数のスナップショットへの、ウェーブレット変換の並行適用を説明する図である。
【図４ｂ】前方線形伝達関数のスナップショットへの、ウェーブレット変換の並行適用を説明する図である。
【図４ｃ】前方線形伝達関数のスナップショットへの、ウェーブレット変換の並行適用を説明する図である。
【図４ｄ】前方線形伝達関数のスナップショットへの、ウェーブレット変換の並行適用を説明する図である。
【図５ａ】ノイズ減少された前方線形伝達関数のプロットである。
【図５ｂ】ノイズ減少された前方線形伝達関数のプロットである。
【図６】前方線形変換を反転する、単層単ニューロン・ニューラル・ネットワークの図である。
【図７】非線形ニューラル・ネットワークを用いて前方非線形伝達関数を抽出し、再帰減算式を用いて逆非線形伝達関数を算出するためのフロー図である。
【図８】非線形ニューラル・ネットワークの図である。
【図９ａ】スピーカの線形及び非線形歪みを補償するよう構成された音声システムのブロック図である。
【図９ｂ】スピーカの線形及び非線形歪みを補償するように構成された音声システムのブロック図である。
【図１０ａ】再生中、線形及び非線形歪みに対して音声信号を補償するためのフロー図である。
【図１０ｂ】再生中、線形及び非線形歪みに対して音声信号を補償するためのフロー図である。
【図１１】元の及び補償されたスピーカの周波数応答のプロットである。
【図１２ａ】補償前のスピーカのインパルス応答のプロットである。
【図１２ｂ】補償後のスピーカのインパルス応答のプロットである。
【発明を実施するための形態】
【００１３】
本発明は、スピーカ、増幅放送アンテナ又おそらくはマイクロフォンといった、音声変換器の線形及び非線形歪みを補償するための、効率的で、頑強で、精密なフィルタリング技術を提供する。これらの技術は、逆伝達関数を算出する音声変換器を特徴付ける方法と、再生、放送、又は記録中に、再現のためにそれらの逆伝達関数を実施する方法の両方を含む。好ましい実施形態では、逆伝達関数は、線形及び非線形ニューラル・ネットワークによって与えられるような時間領域計算を用いて抽出され、これは通常の周波数領域又はモデリング・ベースの手法と比較して、より正確に音声信号及び音声変換器の特性を正確に表わす。好ましい手法は線形及び非線形歪みの両方を補償することであるが、ニューラル・ネットワーク・フィルタリング技術は、独立して適用することができる。同技術はまた、スピーカと、リスニング、放送、又は記録環境の歪みを補償するのに適応させることもできる。
【００１４】
ここで用いられる“音声変換器”という用語は、１つのシステムからの動力により動作して、別のシステムに別の形態の動力を供給する何らかのデバイスを指し、動力の１つの形態は電気であり、別の物は音響又は電気であり、音声信号を再現する。変換器は、スピーカ又は増幅アンテナといった出力変換器、又はマイクロフォンといった入力変換器でよい。本発明の例示的な実施形態は、ここで、電気的入力音声信号を可聴音響信号に転換する拡声器について説明する。
【００１５】
スピーカの歪み特性を特徴付けるための試験設定、及び逆伝達関数を算出する方法は、図１ａと図１ｂに図解される。試験設定は、好適には、コンピュータ１０と、サウンド・カード１２と、試験されるスピーカ１４と、マイクロフォン１６とを含む。コンピュータは、音声試験信号１８を生成して、サウンド・カード１２に送り、それは次いでスピーカを駆動させる。マイクロフォン１６は、可聴信号を取り出して、電気信号に変換して戻す。サウンド・カードは、記録された音声信号２０を、分析のためにコンピュータに戻すように送る。完全二重化サウンド・カードは、試験信号の再生及び記録が共有クロック信号に関して実行されて、信号が単一サンプル期間内で時間配列され、故に完全に同期化されるように好適に用いられる。
【００１６】
本発明の技術は、再生から記録までの信号経路において、どのような歪みの源も特徴付けて補償する。従って、マイクロフォンによって誘起されるどのような歪みもわずかであるように、高性能マイクロフォンが用いられる。試験される変換器がマイクロフォンである場合には、望ましくない歪みの源を無効にするのに、高性能スピーカが用いられることに留意されたい。スピーカのみを特徴付けるためには、“リスニング環境”は、いずれの反響又は他の歪みの源を最小化するように構成するべきである。代替的には、例えば消費者のホームシアタのスピーカを特徴付けるのに同じ技術を用いることができる。後者の場合、消費者のレシーバ又はスピーカ・システムは、試験を実行し、データを分析し、再生のためにスピーカを構成するように構成されなくてはならない。
【００１７】
同じ試験設定は、スピーカの線形及び非線形歪み特性の両方を特徴付けるのに用いることができる。コンピュータは、異なる音声試験信号１８を生成して、記録された音声信号２０に異なる分析を実行する。線形試験信号のスペクトルコンテンツは、スピーカに対して、完全に分析された周波数域及び全振幅範囲をカバーすべきである。例示的な試験信号は、（ａ）０Ｈｚから２４ｋＨｚの周波数において７００ミリ秒の線形上昇、０Ｈｚの周波数への７００ミリ秒の線形下降、次いでその繰り返し、及び、（ｂ）０Ｈｚから２４ｋＨｚの周波数において３００ミリ秒の線形上昇、０Ｈｚの周波数への３００ミリ秒の線形下降、次いでその繰り返し、という２つの一続きの線形の完全周波数チャープで構成される。チャープの両種は、信号の全持続期間にわたり、同時に信号内に存在する。チャープは、時間領域において、鋭い開始及びゆっくりとした減衰を生成するように、振幅によって変調される。振幅変調の各期間の長さは任意であり、およそ０ミリ秒から１５０ミリ秒の範囲に及ぶ。好ましくは、非線形試験信号は、種々の振幅及び沈黙の期間のトーン及びノイズを含むべきである。ニューラル・ネットワークの首尾よい訓練のためには、信号に十分な可変性があるべきである。例示的な非線形試験信号は、同様の方法ではあるが、（ａ）０Ｈｚから２４ｋＨｚの周波数において４秒の線形上昇、周波数の下降なし、チャープの次の期間は０Ｈｚから再開する、及び、（ｂ）０Ｈｚの周波数への２５０ミリ秒の線形下降、という異なる時間パラメータで構築される。この信号におけるチャープは、任意の振幅変更によって変調される。振幅の速度は、８ミリ秒で、０からフルスケールまでの速さとすることができる。線形及び非線形試験信号の両方は、同期目的（例えば単一のフルスケール・ピーク）のために用いることができるある種のマーカーを含むことが好ましいが、これは必須ではない。
【００１８】
図１ｂに説明されるように、逆伝達関数を抽出するためには、コンピュータは、線形試験信号の同期された再生及び記録を実行する（ステップ３０）。コンピュータは、試験信号及び記録された信号の両方を処理して、線形伝達関数を抽出する（ステップ３２）。“インパルス応答”としても知られる線形伝達関数は、デルタ関数又はインパルスの適用に対するスピーカの応答を特徴付ける。コンピュータは、逆線形伝達関数を算出して、係数をＦＩＲフィルタといった線形フィルタの係数にマップする（ステップ３４）。逆線形伝達関数は、いくつもの方法で獲得できるが、以下に詳しく述べるように、線形ニューラル・ネットワークによって与えられるような時間領域計算の使用が、音声信号及びスピーカの特性を最も正確に示す。
【００１９】
コンピュータは、非線形試験信号の同期された再生及び記録を抽出する（ステップ３６）。このステップは、線形伝達関数が、線形試験信号が記録されるのと同時に抽出された又はオフラインにされた後で実行できる。好ましい実施形態では、ＦＩＲフィルタが記録された信号に適用されて、線形歪み成分を除去する（ステップ３８）。必ずしも必要ではないが、広範な試験は、線形歪みの除去は、特徴付け、従って非線形歪みの逆伝達関数を、大きく改善させることを示す。コンピュータは、フィルタ処理された信号から試験信号を減じて、非線形歪み成分のみの推定を与える（ステップ４０）。コンピュータは次いで、非線形歪み信号を処理して、非線形伝達関数を抽出し（ステップ４２）、逆非線形伝達関数を算出する（ステップ４４）。両方の伝達関数は、時間領域計算を用いて算出されることが好ましい。
【００２０】
我々のシミュレーション及び試験は、線形及び非線形歪み成分の両方に対する逆伝達関数の抽出が、スピーカ及びその歪み補償の特徴付けを改善することを示した。さらに、解決策の非線形部分の性能は、特徴付けの前に、典型的には主要な線形歪みを除去することによって大きく改善される。最後に、逆伝達関数を算出するための時間領域計算の使用もまた、性能を改善する。
【００２１】
線形歪みの特徴付け
前方及び逆線形伝達関数を抽出するための例示的な実施形態は、図２乃至図６に図解される。問題の第１の部分は、前方線形伝達関数の良好な推定を与えることである。これは、インパルスを単純にスピーカに適用し応答を測定するステップ、又は記録されて試験された信号のスペクトルの比率の逆変換を取るステップを含む多数の方法で実現できる。しかしながら、時間、周波数、及び／又は、時間／周波数ノイズ減少技術の組み合わせを用いた後者の手法の修正は、はるかに鮮明な前方線形伝達関数を与えることを見出した。例示的な実施形態では、３つのノイズ減少技術全てが採用されるが、それらのどの１つ又は２つを、所与の適用例に用いてもよい。
【００２２】
コンピュータは、記録された試験信号の多重期間を平均化して、ランダムな源からノイズを減少させる（ステップ５０）。コンピュータは次いで、各セグメントはスピーカのインパルス応答の持続期間を超えなくてはならないという制約により、試験及び記録された信号を、できるだけ多くのセグメントＭに分割する（ステップ５２）。この制約が満たされない場合には、スピーカのインパルス応答の部分は重なり、それらを分離することは不可能となる。コンピュータは、例えばＦＦＴを実行することにより試験及び記録されたセグメントのスペクトルを算出し（ステップ５４）、次いで、対応する試験スペクトルに対する記録されたスペクトルの比率を形成して、スピーカのインパルス応答の周波数領域で、Ｍ個の‘スナップショット’を形成する（ステップ５６）。コンピュータは、Ｍ個のスナップショットにわたり各々のスペクトル・ラインをフィルタ処理し、そのスペクトル・ラインに対して全てが同様の振幅応答を有するＮ＜Ｍ個のスナップショットのサブセットを選択する（ステップ５８）。この“最良−Ｎ個平均化”は、ノイズのある環境における典型的な音声信号では、対応スペクトル・ラインが‘総’ノイズによってほとんど影響を受けない１組のスナップショットが通常は存在するという我々の知識に基づいている。そのため、このプロセスは、ノイズを、ただ減少させる代わりに実際に回避する。例示的な実施形態では、最良−Ｎ個平均化アルゴリズムは（各スペクトル・ラインに対して）、
１．使用可能なスナップショットにわたり、スペクトル・ラインに対する平均を計算する。
２．Ｎ個のスナップショットしかない場合には、停止する。
３．＞Ｎ個のスナップショットがある場合には、スペクトル・ラインの値が、計算された平均から最も遠いスナップショットを見つけ、さらなる計算からスナップショットを除去する。
４．ステップ１から続行する。
各々のスペクトル・ラインに対するプロセスの出力は、最良スペクトル・ライン値をもつＮ個のスナップショットのサブセットである。コンピュータは次いで、各々のサブセットで列挙されたスナップショットからスペクトル・ラインをマップして、Ｎ個のスナップショットを再構築する（ステップ６０）。
【００２３】
簡単な例が図３ａと図３ｂに与えられ、最良−Ｎ個平均化及びスナップショット再構築のステップを図解する。図の左側は、Ｍ＝１０セグメントに対応する１０個の’スナップショット‘７０である。この例では、各スナップショットのスペクトル７２は、平均化アルゴリズムに対して５本のスペクトル・ライン７４及びＮ＝４によって表される。最良−４平均化の出力は、各々のライン（ライン１、ライン２、・・・ライン５）に対するスナップショットのサブセットである（ステップ７６）。第１のスナップショット’スナップ１‘７８は、ライン１、ライン２、・・・ライン５の各々における第１の入力であるスナップショットに対して、スペクトル・ラインを加えることによって再構築される。第２のスナップショット’スナップ２‘は、各々のラインにおける第２の入力であるスナップショットに対してスペクトル・ラインを加えることにより再構築され、以下同様である（ステップ８０）。
【００２４】
このプロセスは、アルゴリズム的には以下のように表すことができる。
Ｓ（ｉ，ｊ）＝ＦＦＴ（記録されたセグメント（ｉ，ｊ））／ＦＦＴ（試験セグメント（ｉ，ｊ））であり、ここでＳ（）はスナップショット７０、Ｉ＝ｌ−Ｍセグメント、ｊ＝ｌ−Ｐスペクトル・ラインであり、
ライン（ｊ，ｋ）＝Ｆ（Ｓ（ｉ，ｊ））であり、ここでＦ（）は最良−４個平均化アルゴリズム、ｋ＝ｌからＮであり、
ＲＳ（ｋ，ｊ）＝ライン（ｊ，ｋ）であり、ここでＲＳ（）は再構築されたスナップショットである。
【００２５】
最良−４平均化の結果は、図３ｃに表される。表されるように、各々のスペクトル・ラインに対する全スナップショットの単純な平均化から作成されたスペクトル８２には、非常にノイズがある。‘音調’ノイズは、スナップショットのいくつかでは非常に強い。比較すると、最良−４平均化によって作成されたスペクトル８４は、非常にノイズが少ない。このスムーズな周波数応答は、基になる伝達関数を曖昧にし、逆効果である、より多くのスナップショットを単純に平均化した結果ではないことに留意することが重要である。むしろ、スムーズな周波数応答は、周波数領域においてノイズのソースを理知的に回避し、従って基になる情報を保持しながらノイズ・レベルを減少させた結果である。
【００２６】
コンピュータは、Ｎ個の周波数領域のスナップショットの各々に、逆ＦＦＴを実行して、Ｎ個の時間領域スナップショットを与える（ステップ９０）。この時点で、Ｎ個の時間領域スナップショットは、単純に互いに平均化して、前方線形伝達関数を出力することができる。しかしながら例示的な実施形態では、付加的なウェーブレット・フィルタリング・プロセス（ステップ９２）がＮ個のスナップショットに実行されて、ウェーブレット変換の時間／周波数表現における多重タイムスケールにおいて局所化することができるノイズを減少させる。ウェーブレット・フィルタリングはまた、フィルタ処理された結果における‘リンギング’の最低量をもたらす。
【００２７】
１つの手法は、単一のウェーブレット変換を、平均化された時間領域スナップショット上に実行し、‘近似’係数を送って、所定のエネルギー・レベルに対する‘詳細’係数をゼロに閾値化し、次いで、前方線形伝達関数を抽出するように逆変換を行う。この手法はウェーブレット変換の異なる分解レベルで‘詳細’係数に一般的に見出されるノイズを減少させる。
【００２８】
図４ａ乃至図４ｄに表されるより良い手法は、Ｎ個のスナップショット９４の各々を用いて、各々のスナップショットに対して２Ｄ係数マップ９６を形成する’並行’ウェーブレット変換を実施し、出力マップ９８においてどの係数がゼロに設定されているかを判断するのに、各々の変換されたスナップショット係数の統計を活用する。係数がＮ個のスナップショットにわたり比較的均一である場合には、ノイズ・レベルはおそらく低く、その係数は平均化されて送られるべきである。反対に、係数の分散又は偏差が大きい場合には、それはノイズの良いインジケータである。従って１つの手法は、偏差の尺度を、閾値と比較することである。偏差が閾値を超える場合には、その係数はゼロに設定される。この基本原理は全係数に適用でき、その場合、ノイズがあると仮定されゼロに設定された、いくつかの’詳細’係数は保持され、別の方法により送られた、いくつかの’近似’係数はゼロに設定され、従って最終の前方線形伝達関数１００においてノイズが減少される。代替的には、’詳細’係数の全てはゼロに設定でき、統計はノイズのある近似係数を捕えるのに用いられる。別の実施形態では、統計は、各々の係数の周りの近隣の変形の尺度とすることができる。
【００２９】
ノイズ減少技術の有効性は、図５ａ及び図５ｂに図解され、典型的なスピーカの最終の前方線形伝達関数１００の周波数応答１０２を表す。表されるように、周波数応答は、高度に詳細で鮮明である。
【００３０】
前方線形伝達関数の精度を保持するために、スピーカ及びそのインパルス応答の時間及び周波数領域特性に柔軟に適応することができる、ＦＩＲフィルタを合成する伝達関数を反転させる方法が必要である。これを達成するために、我々は、ニューラル・ネットワークを選択した。線形起動関数の使用は、ニューラル・ネットワーク構成の選択を線形であるように制約する。線形ニューラル・ネットワークの加重は、前方線形伝達関数１００を入力として、及びターゲット・インパルス応答をターゲットとして用いて訓練され、スピーカの逆線形伝達関数Ａ（）の推定値を与える（ステップ１０４）。誤差関数は、所望の時間領域制約又は周波数領域特徴のいずれかを与えるように制約することができる。訓練されると、ノードからの加重は、線形ＦＩＲフィルタの係数にマップされる（ステップ１０６）。
【００３１】
ニューラル・ネットワークの多くの既知のタイプが好適である。ニューラル・ネットワーク構成及び訓練アルゴリズムにおける技術の現状は、フィードフォワード・ネットワーク（各々の層が前の層からの入力を受け取るだけの階層型ネットワーク）を良い候補とする。既存の訓練アルゴリズムは、安定した結果及び良好な一般化を与える。
【００３２】
図６に表されるように、単層の単ニューロン・ニューラル・ネットワーク１１７は、逆線形伝達関数を求めるのに十分である。時間領域前方線形伝達関数１００は、遅延ライン１１８を通じてニューロンに適用される。層は、ＦＩＲフィルタをＮ個のタップと合成するように、Ｎ個の遅延要素を有する。各々のニューロン１２０は、単に遅延された入力を通す遅延要素の加重和を算出する。起動関数１２２は線形であるため、加重和は、ニューラル・ネットワークの出力として通される。例示的な実施形態では、１０２４−１フィードフォワード・ネットワーク構成（１０２４遅延要素及び１ニューロン）は、５１２−ポイントの時間領域前方伝達関数及び１０２４−タップＦＩＲフィルタに対してうまく機能する。１つ又はそれ以上の隠れ層を含む、より高機能なネットワークを用いてもよい。これはいくらかの柔軟性を加えるが、加重をＦＩＲ係数にマップするために、訓練アルゴリズム及び隠れ層から入力層への加重の逆伝搬法に修正を必要とする。
【００３３】
オフラインで監視される弾性逆伝搬法訓練アルゴリズムは、時間領域前方線形伝達関数がニューロンに送られる加重を調整する。監視される学習では、訓練プロセスにおけるニューラル・ネットワーク性能を測定ために、ニューロンの出力をターゲット値と比較する。前方伝達関数を反転させるためには、ターゲット・シーケンスは、単一の“インパルス”を含み、ここですべての全ターゲット値Ｔiは、１に設定された１つを除いて、ゼロである（単位利得）。比較は、平均平方誤差（ＭＳＥ）といった数学的測定基準の手段によって実行される。標準的なＭＳＥの式は、
2009545914.tif 000002
であり、ここでＮは出力ニューロンの数であり、Ｏiはニューロン出力値であり、Ｔiはターゲット値のシーケンスである。訓練アルゴリズムは、加重のすべてを調整するように、ネットワークを通じて、誤差を“逆伝搬”する。プロセスは、ＭＳＥが最小化されて、加重が解法に向けて収束するまで繰り返される。これらの加重は、次いでＦＩＲフィルタにマップされる。
【００３４】
ニューラル・ネットワークは時間領域計算を実行するため、即ち出力値及びターゲット値は時間領域にあるため、時間領域制約は逆伝達関数の特性を改善するように誤差関数に適用することができる。例えば、プレエコーは心理音響的な現象であり、非常に目立つアーチファクトが、時間を逆行して不鮮明になる時間領域過渡電流のエネルギーから録音において聞こえる。その持続時間と振幅を制御することにより、その可聴性を低くすることができ、そうでなければ、‘前方一時マスキング’の存在により完全に聞こえないようにすることができる。
【００３５】
プレエコーを補償する１つの方法は、時間の関数として、誤差関数を加重することである。例えば、制約されたＭＳＥは
2009545914.tif 000003
によって求められる。プレエコーに対応する時間ｔ＜０、及びｔ＜０での誤差は、より重く加重すべきであると仮定できる。例えば、
Ｄ（−ｉｎｆ：−１）＝１００
及び
Ｄ（ｏ：ｉｎｆ）＝１
である。逆伝搬法アルゴリズムは、次いで、ニューロン加重Ｗiを、この加重されたＭＳＥｗ関数を最小化するように最適化する。加重は、一時マスキング曲線をたどるよう調整でき、及び、個々の誤差加重の他にも誤差測定関数に制約を課す方法がある（例えば選択された範囲にわたり複合誤差を制約する）。
【００３６】
選択された範囲Ａ：Ｂにわたる複合誤差を制約する代替的な例は、
2009545914.tif 000004
2009545914.tif 000005
で与えられ、ここで、
ＳＳＥABは何らかの範囲Ａ：Ｂにわたる和平方誤差、
Ｏiはネットワーク出力値、
Ｔiはターゲット値、
Ｌｉｍは何らかの既定制限、
Ｅｒｒは最終誤差（又は測定）値
である。
【００３７】
ニューラル・ネットワークは時間領域計算であるが、望ましい周波数特徴を保証するために周波数領域制約をネットワーク上に配置できる。例えば、“過度増幅”は、スピーカ応答が深いノッチを有する周波数で、逆伝達関数において発生することがある。過度増幅は、時間領域応答においてリンギングを生じさせる。過度増幅を防ぐためには、全周波数に対して元来１に等しいターゲット・インパルスの周波数のエンベロープは、元のスピーカ応答が深いノッチを有する周波数で減衰されて、元の物とターゲットとの間の最大振幅は、ｄｂ限度の幾らか下になるようにする。制約されたＭＳＥは、
2009545914.tif 000006
Ｔ‘＝Ｆ-1［Ａf・Ｆ（Ｔ）］
により求められ、ここで、
Ｔ‘は制約されたターゲット・ベクトル、
Ｔは元のターゲット・ベクトル、
Ｏはネットワーク出力ベクトル、
Ｆ（）はフーリエ変換を示し、
Ｆ-1（）は逆フーリエ変換を示し、
Ａfはターゲット減衰係数、
Ｎはターゲット・ベクトルにおけるサンプルの数である。
これが、時間領域における過度増幅及び連続リンギングを回避する。
【００３８】
代替的には、誤差関数に対する誤差の寄与は、スペクトル的に加重できる。そのような制約を課す１つの方法は、個々の誤差を算出し、それら個々の誤差にＦＴＴを実行し、次いで、例えば高周波数成分に、より加重を置くといった何らかの測定基準を用いて、その結果をゼロと比較することである。例えば、制約された誤差関数は、
2009545914.tif 000007
により与えられ、ここで
Ｓf−スペクトル加重
Ｏ−ネットワーク出力ベクトル
Ｔ−元のターゲット・ベクトル
Ｆ（）−フーリエ変換を示す
Ｅｒｒ−最終誤差（又は測定基準）値
Ｎ−スペクトル・ラインの数
である。
【００３９】
時間及び周波数領域制約は、両方の制約に組み入れるように誤差関数を変更することにより、又は誤差関数を単純に加え合わせて合計を最小化することによるいずれかで同時に適用することができる。
【００４０】
前方線形伝達関数、及び、時間及び周波数領域制約の両方を支持する時間領域線形ニューラル・ネットワークを抽出するためのノイズ減少技術の組み合わせは、逆線形伝達関数を実行して、再生中のスピーカの線形歪みを予補償する、ＦＩＲフィルタを合成するための頑強で精密な技術を提供する。
【００４１】
非線形歪みの特徴付け
前方及び逆線形伝達関数を抽出するための例示的な実施形態は、図７に図解される。上で説明されるように、ＦＩＲフィルタは、線形歪み成分を効果的に除去するように記録された非線形試験信号に適用されるのが好ましい。これは厳密に必要というわけではないが、逆非線形フィルタリングの性能を非常に向上させることがわかった。従来のノイズ減少技術（ステップ１３０）は、ランダムな、及び他のノイズ源を減少させるのに適用できるが、多くの場合は不要である。
【００４２】
問題の非線形部分を扱うために、我々は、非線形前方伝達関数を推定するニューラル・ネットワークを用いる（ステップ１３２）。図８に表されるように、フィードフォワード・ネットワーク１１０は、一般的には、入力層１１２と、１つ又はそれ以上の隠れ層１１４と、出力層１１６とを含む。起動関数は、標準的な非線形ｔａｎｈ（）関数であるのが好適である。非線形ニューラル・ネットワークの加重は、元の非線形試験信号Ｉ１１５を遅延ライン１１８への入力として用い、非線形歪み信号を出力層におけるターゲットとして用いて訓練されて、前方非線形伝達関数Ｆ（）の推定を与える。時間及び／又は周波数領域制約はまた、変換器の特定のタイプによって必要とされる誤差関数に適用することもできる。例示的な実施形態では、６４−１６−１フィードフォワード・ネットワークが、８秒の試験信号で訓練された。時間領域ニューラル・ネットワークの算出は、音声信号の過渡領域において発生する可能性がある重大な非線形性を示す非常に良好な働きをし、周波数領域ボルテラ・カーネルよりもはるかに優れている。
【００４３】
非線形伝達関数を反転させるために、我々は、非線形ニューラル・ネットワークを用いて、前方非線形伝達関数Ｆ（）を試験信号Ｉに再帰的に適用し、Ｃｊがｊ番目の再帰反復の加重係数である一次近似Ｃｊ*Ｆ（Ｉ）を試験信号Ｉから減じて、スピーカに対する逆非線形伝達関数ＲＦ（）を推定する（ステップ１３４）。加重係数Ｃｊは、例えば、通常の最小二乗最小化アルゴリズムを用いて最適化される。
【００４４】
単一反復（再帰なし）に対する逆伝達関数の式は、単純に、
Ｙ＝Ｉ−Ｃ１*Ｆ（Ｉ）
である。言い換えれば、線形歪みが好適に除去された入力音声信号Ｉを、前方伝達関数Ｆ（）に通過させ、それを音声信号Ｉから減ずることにより、スピーカの非線形歪みに対して“予補償”された信号Ｙが生成される。音声信号Ｙがスピーカを通過すると、効果は取り消される。あいにく、効果は、厳密に取り消されるのではなく、典型的には非線形残留信号が残る。２又はそれ以上の回数だけ再帰的に反復し、従って最適化するより多くの加重係数Ｃｉを有することにより、式は、非線形残留を、ゼロにより近く推し進めることができる。性能を向上させる２つ又は３つの反復のみが示される。
【００４５】
例えば、３つの反復公式は、
Ｙ＝Ｉ−Ｃ３*Ｆ（Ｉ−Ｃ２*Ｆ（Ｉ−Ｃ１*Ｆ（Ｉ）））
により与えられる。Ｉは線形歪みを予補償したと仮定すると、実際のスピーカ出力は
Ｙ＋Ｆ（Ｙ）
である。非線形歪みを効果的に除去するために、
Ｙ＋Ｆ（Ｙ）−Ｉ＝０
を解き、係数Ｃ１、Ｃ２、及びＣ３を解く。
【００４６】
再生には２つの選択肢がある。訓練されたニューラル・ネットワークの加重及び再帰式の加重係数Ｃｉを、非線形ニューラル・ネットワークと再帰式を単純に複製するように、スピーカ又はレシーバに与えることができる。算出上、より効率的な手法は、逆非線形伝達関数を直接算出する“再生ニューラル・ネットワーク”（ＰＮＮ）を訓練するために、訓練されたニューラル・ネットワーク及び再帰式を用いることである（ステップ１３６）。ＰＮＮはまた、フィードフォワード・ネットワークでもあり、元のネットワークと同じ構成（例えば層及びニューロン）を有することができる。ＰＮＮは、元のネットワークを訓練するのに用いられたのと同じ入力信号及びターゲットと同じ再帰式の出力を用いて、訓練することができる。代替的には、異なる入力信号は、ネットワーク及び再帰式、その入力信号、及びＰＮＮを訓練するのに用いた、結果としてもたらされる出力を通過することができる。明白な利点は、逆伝達関数が、ネットワークを通る複数（例えば３）の通過の代わりに、ニューラル・ネットワークの単一の通過で実行できることである。
【００４７】
歪み補償及び再現
スピーカの線形及び非線形歪み特徴を補償するために、逆線形及び非線形伝達関数は、スピーカを通したその再生の前に、音声信号に実際に適用されなくてはならない。これは、多数の異なるハードウェア構成、及び逆伝達関数の異なる適用により達成することができ、その２つは、図９ａ乃至９ｂ、及び１０ａ乃至１０ｃに図解される。
【００４８】
図９ａに表されるように、低音、中音域及び高周波のための、３つの増幅器１５２及び変換器１５４の組立体を有するスピーカ１５０もまた、スピーカ歪みを取り消す又は少なくとも減少するように入力音声信号を予補償する、処理機能１５６及びメモリ１５８が与えられる。標準的なスピーカでは、音声信号は、音声信号を低音、中音域及び高周波数出力変換器にマップするクロスオーバ・ネットワークに適用される。この例示的な実施形態では、スピーカの低音、中音域及び高周波数成分の各々は、それらの線形及び非線形歪み特性について個々に特徴付けられる。フィルタ係数１６０及びニューラル・ネットワーク加重１６２は、各々のスピーカ成分に対するメモリ１５８内に格納される。これらの係数及び加重は、特定のスピーカを特徴付けるように実行されるサービスとして、又はウェブサイトからそれらをダウンロードしてメモリ内に移すことによりエンドユーザによって、製造時にメモリ内に格納できる。プロセッサ１５６は、フィルタ係数をＦＩＲフィルタ１６４にロードし、加重をＰＮＮ１６６にロードする。図１０ａに表されるように、プロセッサは、線形歪みに対して予補償するようにＦＩＲフィルタを音声インに適用し（ステップ１６８）、次いで、非線形歪みに対して予補償するようにその信号をＰＮＮに適用する（ステップ１７０）。代替的には、ネットワーク加重及び再帰式係数は、プロセッサに格納及びロード可能である。図１０ｂに表されるように、プロセッサは、線形歪みに対して予補償するようにＦＩＲフィルタを音声インに適用し（ステップ１７２）、次いで、非線形歪みに対してそれを予補償するように、その信号をＮＮに（ステップ１７４）に適用し、再帰式（ステップ１７６）に適用する。
【００４９】
図９ｂに表されるように、音声レシーバ１８０は、クロスオーバ・ネットワーク１８４を有する従来のスピーカ１８２、及び、低音、中音域及び高周波のための増幅器／変換器に対して、予補償を実行するように構成することができる。フィルタ係数１９０及びネットワーク加重１９２を格納するためのメモリ１８８と、ＦＩＲフィルタ１９６及びＰＮＮ１９８を実施するためのプロセッサ１９４とは、音声デコーダ２００のための別個の又は付加的な構成部品として表されるが、この機能性を音声デコーダの中に設計することは十分に実現可能である。音声デコーダは、テレビ放送又はＤＶＤからエンコードした音声信号を受信し、それをデコードし、それぞれのスピーカに向けられるステレオ（Ｌ、Ｒ）又はマルチチャンネル（Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓ、ＬＦＥ）のチャンネルへと分離する。表されるように、各チャンネルに対して、プロセッサは、ＦＩＲフィルタ及びＰＰＮを音声信号に適用し、予補償された信号をそれぞれのスピーカ１８２に向ける。
【００５０】
前に述べたように、スピーカ自体又は音声レシーバは、マイクロフォン入力と、スピーカを特徴付け、ニューラル・ネットワークを訓練して、再生に必要とされる係数及び加重を与える処理及びアルゴリズム機能とが与えられる。これは、そのスピーカの歪み特性に加えて、各々の個々のスピーカの特定のリスニング環境の線形及び非線形歪みを補償するという利点を与える。
【００５１】
逆伝達関数を用いる予補償は、説明されるスピーカ又は増幅されたアンテナといったあらゆる出力音声変換器にも有効である。しかしながら、マイクロフォンといった何らかの入力変換器の場合には、例えば可聴信号から電気信号への変換“後”に何らかの補償が実行されなくてはならない。ニューラル・ネットワークその他を訓練するための分析は変更されない。再現又は再生のための合成は、変換後に発生することを除いては、非常に類似している。
【００５２】
試験及び結果
線形及び非線形歪み成分を別個に特徴付け、補償することを示す一般的な手法、及び時間領域ニューラル・ネットワークをベースとした解決策の有効性は、典型的なスピーカに対して測定された周波数及び時間領域インパルス応答により確認される。インパルスは、修正されて又は修正なしでスピーカに適用され、インパルス応答が記録される。図１１に表されるように、無修正インパルス応答のスペクトル２１０は、０Ｈｚからおよそ２２ｋＨｚまでの音声帯域にわたり、非常に不均一である。比較すると、修正インパルス応答のスペクトル２１２は、帯域全体にわたり、非常に平らである。図１２ａに表されるように、無修正時間領域インパルス応答２２０は、相当量のリンギングを含む。リンギングが、長時間であるか又は振幅が高いかのいずれかである場合には、人間の耳には、信号に加えられた反響として、又は信号の着色（スペクトル特徴における変化）として知覚することができる。図１２ｂに表されるように、修正時間領域インパルス応答２２２は、非常に明瞭である。明瞭なインパルスは、システムの周波数特徴が、図１０に表されるように、単位利得に近いことを示す。このことは、信号に着色、反響、又は他の歪みを加えないため、望ましい。
【００５３】
本発明のいくつかの例示的な実施形態が表され説明されてきたが、当業者は、幾多の変形態様及び代替的な実施形態に気付くであろう。そのような変形態様及び代替的な実施形態が検討され、添付の特許請求の範囲に定義されるように、本発明の精神と範囲からかけ離れることなく為されることができる。
【図１ａ】
2009545914.tif 000008
【図１ｂ】
2009545914.tif 000009
【図２】
2009545914.tif 000010
【図３ａ】
2009545914.tif 000011
【図３ｂ】
2009545914.tif 000012
【図３ｃ】
2009545914.tif 000013
【図４ａ】
2009545914.tif 000014
【図４ｂ】
2009545914.tif 000015
【図４ｃ】
2009545914.tif 000016
【図４ｄ】
2009545914.tif 000017
【図５ａ】
2009545914.tif 000018
【図５ｂ】
2009545914.tif 000019
【図６】
2009545914.tif 000020
【図７】
2009545914.tif 000021
【図８】
2009545914.tif 000022
【図９ａ】
2009545914.tif 000023
【図９ｂ】
2009545914.tif 000024
【図１０ａ】
2009545914.tif 000025
【図１０ｂ】
2009545914.tif 000026
【図１１】
2009545914.tif 000027
【図１２ａ】
2009545914.tif 000028
【図１２ｂ】
2009545914.tif 000029
【国際調査報告】
2009545914.tif 000030