(57)【要約】特に、多数の音声入力を聴覚的に分離する方法であって、異なる音の位置から複数の音声入力信号を受信するステップと、デジタルシグナルプロセッサ（ＤＳＰ）を使用して、頭部伝達関数（ＨＲＴＦ）を用いてこの音声入力信号をフィルタリングすることによって、この音声入力信号を仮想聴覚空間の異なる位置に割り当てるステップと、ＨＲＴＦフィルタリングした音声入力信号を２つの特性で変更するステップであって、その変更の際に、ピッチが変更され、且つ異なる大きさの声道を模した異なるフィルタを用いて信号がフィルタリングされて、音声入力信号が互いに分離される、前記音声入力信号を変更するステップとを含む方法を提供する。【特許請求の範囲】
【請求項１】
多数の音声入力を聴覚的に分離する方法であって、
複数の音声入力信号を受信するステップと、
前記音声入力信号を２つの特性で変更するステップであって、その変更の際に、ピッチが変更され、且つ異なる大きさの声道を模した１つ以上のフィルタを用いて信号がフィルタリングされて、前記音声入力信号が互いに分離される、前記音声入力信号を変更するステップと、
デジタルシグナルプロセッサ（ＤＳＰ）を使用して、頭部伝達関数（ＨＲＴＦ）を用いて前記音声入力信号をフィルタリングすることによって、該音声入力信号を仮想聴覚空間の異なる位置に割り当てるステップとを備える、方法。
【請求項２】
前記頭部伝達関数（ＨＲＴＦ）の空間構成ステップはさらに、前記複数の音声入力信号のそれぞれに自動ゲインコントロールを適用するステップを含む、請求項１に記載の方法。
【請求項３】
前記頭部伝達関数（ＨＲＴＦ）の空間構成ステップはさらに、システム演算子が前記音声入力信号の相関的レベルを制御することによって、単一の重要な音声入力信号を増幅する性能を提供するステップを含む、請求項１または２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信システムに関し、特に、空間処理を利用する複数の発話者の通信システムに関する。
【背景技術】
【０００２】
２人以上の発話者が同時に通話する通信タスクでは、個々のスピーチ信号をデジタル処理し、受聴者に対して空間的に異なる位置にいる発話者から発せられるこれらの信号の発信元を明らかにすることによって、全体的な受聴の明瞭性という点での実質的な利益を得ることができる。どのような場合であっても、このような明瞭性の利益には、受聴者の左右の耳に放音される音声信号を個別に操作することができるバイノーラル方式の通信システムが必要である。３つ以下のスピーチチャンネル（speech channels）が用いられる状況では、単純に発話者の左耳のみ、または右耳のみ、あるいは両耳同時に放音することによって、空間的分離による利益のほとんどを達成することができる。しかしながら、航空交通管制、軍事コマンドおよび軍事コントロール、電子監視および緊急サービス派遣などの多くの複雑なタスクでは、受聴者は４つ以上の同時システムを監視する必要がある。このような高度な用途のニーズに応えるように設計されたシステムでは、４つ以上の同時スピーチ信号を空間的に分離する必要があるため、参加発話者が現実世界で空間的に離れている場合に通常起こるバイノーラルキューを再生する、より精巧な信号処理技術が必要とされている。これは、音声信号が離れた音源から受聴者の左耳または右耳までを伝播するときに起こる線形変換を複製する線形デジタルフィルタを使用することで達成することができる。このような変換を一般に頭部伝達関数(head-related transfer functions)またはＨＲＴＦという。
【０００３】
左右の耳の頭部伝達関数を整合するデジタルフィルタを用いて音源を処理したのち、ステレオヘッドホンを介して受聴者に放音すると、頭部伝達関数を測定した受聴者の頭部に対する発信元の位置が明らかになる。事前の調査により、異なる位置に対する頭部伝達関数フィルタを用いて異なる参加発話者からの音声を処理したのちに発話者から受聴者に放音すると、マルチチャンネルのスピーチ用表示装置に見られるスピーチの明瞭性が実質的に改善されることがわかった。
【０００４】
実際には、マルチチャンネル通信システムでの空間的処理を実装するのに用いる方法は、そのシステムで使用する構造によって異なる。マルチチャンネル通信システムの基本的な目的は、多数のユーザが、音声表示装置（通常はヘッドセット）を介して多数の入力通信チャンネルを各自で自由に組み合わせて聴けるように選択できるようにすることである。
【０００５】
ＷＯ０６／０３９７４８Ａ１には、音声信号の処理方法が開示されている。この方法では、ＨＲＴＦフィルタの組を用いて各入力信号をフィルタリングした結果と一致する１組の出力信号を生成するプロセスによって１組の音声入力信号をフィルタリングし、ＨＲＴＦフィルタリングした信号を加算する。ＨＲＴＦフィルタの組は、ヘッドホンを介して出力信号の組を聴いている受聴者に、１組の所望の仮想スピーカーの位置から音が聞こえる体験をさせるものである。さらに、このフィルタリングは、音声入力信号の組にパン信号成分が含まれている場合、ヘッドホンを介して出力信号の組を聴いている受聴者に、このパン信号成分が仮想スピーカーの位置同士の間の中央位置にある仮想音源から発せられているような感覚を受けさせるものである。
【０００６】
米国特許第５７４２６８９号明細書には、マルチチャンネルの音声信号の処理方法が開示されており、各チャンネルが部屋の特定の位置に設置された拡声器に対応し、「幻覚的な」拡声器が部屋中に多数設置されているかのような感覚をヘッドホンを介して作り出すようになっている。受聴者に対して意図的に設置した各拡声器の仰角および方位角に応じて頭部伝達関数（ＨＲＴＦ）を決定し、各チャンネルをＨＲＴＦでフィルタリングし、これを左右のチャンネルに組み入れてヘッドホンを介して再生した際に、受聴者はその音が実際に「仮想の」部屋中に設置された幻覚的な拡声器によって生み出されたかのように感じる。
【０００７】
ＷＯ９９／１４９８３Ａ１には、向かい合って対面する１組のヘッドホンスピーカーを用いて、このヘッドホンの組の間の領域から空間的に離れている音源の感覚を作り出す装置が開示されており、この装置は、（ａ）理想化した受聴者に対して空間的位置にある理想化した音源から放射される音声信号を表現する一連の音声入力と、（ｂ）この音声入力に相互接続している第１のマトリクスミキシング手段、およびこの音声入力の所定の組み合わせを中間出力信号として出力するための一連のフィードバック入力と、（ｃ）中間出力信号をフィルタリングし、フィルタリングしたこの中間出力信号および一連のフィードバック入力を出力するフィルタシステムであって、直接応答と短時間応答とをフィルタリングするための分離フィルタと、フィードバック入力を生成するためにフィルタリングするフィードバック応答に加えて残響応答への近似値とを含むフィルタシステムと、（ｄ）フィルタリングした中間出力信号を組み合わせて左右のチャンネルのステレオ出力を生成する第２のマトリクスミキシング手段とを有する。
【０００８】
米国特許出願公開第２００８０１８７１４３号明細書には、シミュレートした空間音響をワイヤレス通信装置によってグループボイス通信セッションで提供するシステムおよび方法が開示されている。このワイヤレス通信装置は、ワイヤレス通信ネットワークに動作可能に接続するシステムで用いる２つ以上の装置の１つである。
【０００９】
米国特許第ＵＳ７３９１８７６号には、少なくとも２チャンネルを再現する装置を使用するオーディオシステムでの３Ｄ音響環境をシミュレートする方法が開示されており、この方法では、第１および第２の疑似的な頭部伝達関数（ＨＲＴＦ）データを生成し、最初に少なくとも１つのスピーカーを使用してからヘッドホンを使用する。つまり、データの第１および第２の周波数表現を除算したり、第１および第２のデータの時間領域の表現に解析演算子（deconvolutionoperator）を使用したり、第１および第２のデータ表現を減算したりする。また、この除算または減算の結果を使用して操作可能なインパルス応答を備えるフィルタを準備し、遠隔スピーカーの自然な音を発し、音声源から受聴者が使用する音再生装置へのオーディオパス内のシステムに接続可能な少なくとも２つのフィルタを準備する。一方、この文献では本発明にあるような音源の分離は提供されていない。したがって、本発明は新規性があり、この先行技術文献に対して発明性のあるステップを含んでいることは明らかである。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
例えば４〜８本の異なる線から音響入力を行う音響システムでは、どの音響も同じヘッドホンセットから配信される。これは、受聴者が音響入力を区別するための音源の空間化に適用するには不十分なことがある。そのため、先行技術による方法およびシステムをさらに改善してこの課題を克服する必要がある。
【課題を解決するための手段】
【００１１】
本発明の出願人は、入力チャンネルを８つまで受信できるデジタルシグナルプロセッサ（ＲＭ２、タッカーデービステクノロジーズ社）を使用することによって、音声の分離を実現できることを意外にも発見した。ピッチを変更し（リサンプリング）、声道特性を変更する（フィルタリング）ことによって音声特性を変化させ、その後、（カスタムセットのＨＲＴＦ係数を使用する）ＨＲＴＦフィルタリングによってこの信号を仮想空間での絶対位置に割り当て、ステレオヘッドホンを使用してこの信号を発信する。この信号の操作はリアルタイムで行う。このように分離することにより、１つのチャンネルを追跡する能力で測定するため、多数の信号の明瞭性が大幅に向上する。
【００１２】
このように、本発明の音響システムは、４〜８本の異なる線から音響入力を受信し、どの音響も同じヘッドホンセットを介して配信される。各線を、デジタルシグナルプロセッサ（ＤＳＰ）を使用して異なるＨＲＴＦでオンラインでフィルタリングし、これによって仮想聴覚空間の異なる位置に割り当てる。さらに、この音声特性を次の２つの特性（dimension）で変更する。ピッチを変更し、異なる大きさの声道を模した異なるフィルタを用いて信号をフィルタリングする。この操作によって男性の声を女性の声に変えることができ、このように各チャンネルに異なる音声特性を生成することができる。
【００１３】
特に本発明は、多数の音声入力を聴覚的に分離する方法であって、
−  複数の（実際のまたは人工の）音声入力信号を受信するステップと、
−  前記音声入力信号を２つの特性で変更するステップであって、その変更の際に、ピッチが変更され、且つ異なる大きさの声道を模した１つ以上のフィルタを用いて信号がフィルタリングされて、音声入力信号が互いに分離される、音声入力信号を変更するステップと、
−  デジタルシグナルプロセッサ（ＤＳＰ）を使用して、頭部伝達関数（head related transfer functions : ＨＲＴＦ）を用いてこの処理した音声入力信号をフィルタリングすることによって、該音声入力信号を仮想聴覚空間の異なる位置に割り当てるステップと
を含む方法を提供する。
【００１４】
本発明の好適な実施形態では、頭部伝達関数（ＨＲＴＦ）の空間構成ステップはさらに、この複数の音声入力信号のそれぞれに自動ゲインコントロールを適用するステップを含む。
【００１５】
もう一つの好適な実施形態では、頭部伝達関数（ＨＲＴＦ）の空間構成ステップはさらに、システム演算子がこの音声入力信号の相関レベルを制御することによって、単一の重要な音声入力信号を増幅する性能を提供するステップを含む。
【００１６】
引き続きもう一つの好適な実施形態において、この方法では、遅延信号に応答する定位演算子を用いてセンサの位置に対する干渉源の位置を特定し、複数の干渉源の信号を提供してこの信号を多数の周波数成分でそれぞれ表現する。本方法はさらに、各干渉源信号に対して選択した周波数成分を抑制し、所望の音源に対応する所望の信号を抽出する働きをする抽出演算子を含む。所望の信号に応答する出力装置を備えて所望の音源を示す出力を提供するようにしてもよい。このシステムをセンサと合体したシグナルプロセッサに搭載し、所望の信号を抽出する際に多数の雑音源の定位および抑制を容易にすることができる。
【００１７】
引き続き本発明のもう一つの実施形態は、音源の位置と周波数の特性に対応する。この実施形態では、多数の音響センサを位置決めし、異なる場所に位置する複数の音響源を検出する。この音響源からの振動（stimuli）を受信する多数のセンサによって、多数の信号がそれぞれ生じる。第１および第２の信号から多くの遅延信号の組が提供されるため、この遅延信号は第１および第２のセンサに対する多くの位置の１つにそれぞれ対応している。音源の位置は、遅延信号の組の関数および多くのコインシデンスパターンとして定位する。これらのパターンは、位置および周波数の詳細を示すものであり、位置データの概算を認識し、それに従ってこれを蓄積して実際の音源の位置をそれぞれ測定するのに使用することができる。その結果、これらのパターンは、よりよい定位方法を提供するとともに、スプリアスデータを消去するフィルタとして作用することができる。
【００１８】
同じくもう一つの実施形態では、本方法には多数のセンサが含まれ、各センサは、対応する第１および第２の入力信号ならびにこれらの信号に応答して多くの遅延信号を生成する遅延演算子を生成し、それぞれの遅延信号がセンサに対する多くの位置の１つに対応するように構成されている。このシステムには、遅延信号に応答して音源の定位信号の数を決定する定位演算子も含まれる。これらの定位信号は、遅延信号およびそれぞれが１つの位置に対応する多くのコインシデンスパターンを基に決定する。このパターンは、位相の倍数が不明瞭であることよって音源の位置情報が変動する周波数を、対応する位置に関連付けて音響源定位を改善する。このシステムには、定位信号に応答して少なくとも１つの音源に対応する出力を提供する入力装置も備えている。
【００１９】
さらに別の形態では、２つのセンサを使用して対応するバイノーラル信号を提供し、この信号によって第２の音響源からの第１の音響源の相対的な分離を時間の関数として確立することができ、所望の音響信号のスペクトルコンテンツを典型的な形式で第１の音源から抽出することができる。所望の音響信号のスペクトルコンテンツの定位および識別は、同時に行ってもよい。この形態では、近くの雑音源の相対強度が大きいものであっても、所望の音響信号を難なく抽出することができる。
【００２０】
本発明のさらに別の形態では、異なる位置で第１および第２のセンサを使用し、音響信号のバイノーラル表現を提供する。この表現には、選択した音源から発せられる所望の信号およびいくつかの干渉源から発せられる干渉信号が含まれる。このセンサ信号から、離散した第１のスペクトル信号および離散した第２のスペクトル信号をプロセッサが生成する。このプロセッサは、多くの時間間隔によって第１および第２のスペクトル信号を遅延させ、遅延された多くの第１の信号および遅延された多くの第２の信号を生成して、時間インクリメント信号を供給する。この時間インクリメント信号は、選択した音源の雑音源からの分離に相当する。プロセッサは、時間インクリメンタル信号の関数として入力信号を生成し、出力装置が入力信号に応答して所望の信号を表す出力を供給する。
【００２１】
したがって、改良された多数の音響源の定位を提供することが本発明の１つの目的である。
干渉源が多いことに起因する雑音の多い環境から所望の音響信号を抽出することが、もう一つの目的である。
【００２２】
本発明のさらに別の実施形態、目的、特徴、特性、利益、形態および利点は、詳細に示した図面および以下の説明により明らかになるであろう。
【発明を実施するための形態】
【００２３】
本発明の本質は、１つの信号を３つのステップで修正することである。第１のステップはピッチの変換、次のステップは口腔共鳴（mouth cavity resonances）の変換、第３のステップは仮想空間での信号位置の変換である。各ステップでの処理を以下に説明する。最大の制約は、この処理をリアルタイムで行う必要があるということである。これは、スピーカーの声道特徴などの事前測定を必ず除外するというものではなく、信号処理を強いるものである。また、信号の入力と出力と間に必ず遅延が生じる必要がある。ただし、この遅延は約１００ミリ秒未満でなければならない。
【００２４】
各入力チャンネルで以下の演算を平行して行う。
記載した演算は例にすぎず、処理ステップのこれ以外の実施（ピッチまたは声道共鳴を変更するための他のアルゴリズムなど）も本発明の範囲内である。
【００２５】
１．ピッチの変換。最も単純なバージョンで、コサインキャリア信号に変数としてのシフト周波数（ｆ＋ｆ０）をリアルタイムで乗算することによりピッチをシフトさせる。この関数は、すべての周波数をｆ＋ｆ０だけシフトさせることである。この乗算は成分ｆ−ｆ０も生成し、この成分は適切なデジタルフィルタリング（周波数ｆでのハイパス）によって取り除かれる。この結果は、信号が周波数ｆ０だけ上にシフトしたピッチとなることであり、入力信号を新たなサンプリング周波数でリサンプリングすることによってこの結果を具体化したのちに、信号の短時間セグメント（例えば５０ｍｓ）で動作させる補間法を行うことができる。これはピッチをシフトさせる最も単純なアルゴリズムである。このほか、同じくリアルタイムで動作するさらに精巧なアルゴリズムもある（米国特許第５９６９２８２号のレント（Ｌｅｎｔ）ピッチシフトなど。レント（Ｌｅｎｔ）１９８９も参照のこと）。
【００２６】
２．声道共鳴を短い校正セッション（数秒）の間に測定し、（デジタルフィルタを作製することによって）信号をデコンボリューションするのに使用する。実質的にはこの信号は、新たな声道特性によってフィルタリングする。
【００２７】
３．処理した信号は、適正な頭部伝達関数でフィルタリングすることによって仮想空間へ配置する。ＨＲＴＦは、デジタルフィルタのフィルタ係数のセットとして作製し、それぞれの音の位置に１つのセットを作製する。適正なＨＲＴＦでモノラル信号をフィルタリングすると、受聴者の頭部および外耳によって音のフィルタリングがシミュレートされ、ステレオ信号を生成してステレオヘッドホンで再生したときの音の位置であるかのような印象を与える。理想は、これらのＨＲＴＦを（多種多様な自由音場に対する外耳道内の音響を測定することによって）個別に測定することであるが、パイロット実験では、標準の一連のＨＲＴＦでも確実な仮想の音の位置を生成することができることがわかった。
【００２８】
４．この演算の出力は、それぞれの入力チャンネルに対するステレオ信号である。ステレオ信号をミキシングし、ステレオヘッドホンを用いて受聴者に放音する。
注釈：レント  ケイ（Ｌｅｎｔ  Ｋ）（１９８９年）、デジタルサンプリングした音をピッチシフトする有効な方法。コンピュータ音楽（Ｃｏｍｐｕｔｅｒ  Ｍｕｓｉｃ）  Ｊ  １３：第６５−７１頁
【国際調査報告】
2012531145.tif 000002
2012531145.tif 000003