(57)【要約】状態判定部１４により発話区間と判定すると、音源位置検出部１５により各音源９１〜９Ｋの位置を検出し、それらの音源に対応して共分散行列算出部１７により受音信号の共分散行列を求め、各音源に対応して共分散行列記憶部１８に保存する。共分散行列から各音源の収音レベルを収音レベル推定部１９により推定し、出力レベルが所定値となるよう、フィルタ係数算出部２１により推定収音レベルと共分散行列からフィルタ係数を決定し、フィルタ１２１〜１２Ｍに設定する。これらフィルタによりそれぞれのマイクロホンからの受音信号を処理し、処理結果を加算器１３で加算して送話信号として出力することにより、音源の位置にかかわらず、それぞれ所望のレベルの送話信号を生成できる。
2004071130.tif 000002
【特許請求の範囲】
【請求項１】
音響空間に配置された複数チャネルのマイクロホンにより各音源から発せられた音を収音する収音方法であって、
（ａ）上記複数チャネルのマイクロホンで受音された受音信号から、発話区間を判定する発話判定段階を含む状態判定段階と、
（ｂ）上記発話判定段階において発話区間と判定された場合に、上記受音信号から、各音源位置を検出する音源位置検出段階と、
（ｃ）上記受音信号を周波数領域の信号に変換する周波数領域変換段階と、
（ｄ）上記周波数領域の受音信号の共分散行列を算出する共分散行列算出段階と、
（ｅ）上記音源位置検出段階の検出結果に基づき、各音源に対し上記共分散行列を記憶する共分散行列記憶段階と、
（ｆ）記憶されている上記共分散行列と予め決めた出力レベルに基づき上記複数チャネルのフィルタ係数を算出するフィルタ係数算出段階と、
（ｇ）上記複数チャネルの受音信号をそれぞれ上記複数チャネルのフィルタ係数でフィルタリングするフィルタリング段階と、
（ｈ）上記複数チャネルのフィルタリング結果を加算して送話信号として出力する加算段階、
とを含む収音方法
【請求項２】
請求項１記載の収音方法において、更に、各音源に対応して記憶されている共分散行列に基づいて上記音源からの発話に対する収音レベルを推定する収音レベル推定段階を含み、上記フィルタ係数算出段階は上記各音源に対応して記憶された上記共分散行列及び上記推定された収音レベルに基づいて出力レベルが所望のレベルとなるよう、上記複数チャネルのフィルタ係数を算出する段階を含む。
【請求項３】
請求項２記載の収音方法において、上記状態判定段階は、上記複数チャネルの受音信号から雑音区間を判定する雑音判定段階を含み、
上記共分散行列算出段階は、上記雑音区間と判定された場合、その区間での受音信号の共分散行列を雑音の共分散行列として算出する段階を含み、
上記共分散行列記憶段階は、各音源ごとに対応して上記受音信号の共分散行列を記憶すると共に、上記雑音区間の共分散行列を記憶するよう適応されており、
上記フィルタ係数算出段階は、上記発話区間の各音源に対する記憶された共分散行列と上記雑音区間の記憶された共分散行列に基づいて、各音源に対する収音レベルが各々所望のレベルとなり、かつ雑音を抑圧するように複数チャネルのフィルタ係数を算出するよう適応されている。
【請求項４】
請求項２記載の収音方法において、上記音響空間に受話信号を再生して出力するスピーカが設けられており、上記状態判定段階は受話信号から受話区間を判定する受話判定段階を含み、
上記周波数領域変換段階は受話信号を周波数領域の信号に変換する段階を含み、
上記共分散行列算出段階は、上記発話区間及び上記受話区間のそれぞれにおいて上記共分散行列を周波数領域の上記複数チャネルの受音信号と上記受話信号から算出し、
上記共分散行列記憶段階は、上記発話区間の各音源に対応する共分散行列と、上記受話区間の共分散行列を記憶し、
上記フィルタ係数算出段階は、上記受話区間の記憶された共分散行列および上記発話区間の音源ごとに記憶された共分散行列に基づいて、各音源に対する収音レベルが各々所望のレベルとなり、上記受音信号に含まれる上記スピーカによる再生音の信号成分である音響エコーを抑圧するよう複数チャネルのフィルタ係数を算出する。
【請求項５】
請求項１乃至４のいずれか記載の収音方法において、上記音源は２以上のＫ個あり、上記フィルタ係数算出段階は、Ｋ個の音源に対する感度拘束の重みＣＳ１〜ＣＳＫを、過去に発音した音源に対する重みほど小さくしてそれぞれの共分散行列に与えてから上記フィルタ係数を算出する。
【請求項６】
請求項１乃至４のいずれか記載の収音方法において、上記複数チャネルをＭチャネルとすると、上記フィルタ係数算出段階は、各々の共分散行列ＲＸＸ（ω）の対角成分ｄｉａｇ（ＲＸＸ（ω））と任意のＭ行またはＭ＋１行の行列Ｄに基づく重み１／｛ＤＨｄｉａｇ（ＲＸＸ（ω））Ｄ｝を各々の共分散行列ＲＸＸ（ω）に乗じ白色化してから、上記フィルタ係数の算出を行う。
【請求項７】
請求項１乃至４のいずれか記載の収音方法において、上記共分散行列記憶段階は、過去に記憶されている共分散行列と、上記共分散行列算出段階により新たに算出された共分散行列を平均して、現在の共分散行列として記憶する。
【請求項８】
音響空間に配置された複数チャネルのマイクロホンにより各音源から発せられた音を収音する収音装置において、
複数チャネルのマイクロホンの各々で受音された受音信号から、発話区間を判定する発話判定部を含む状態判定部と、
上記発話判定部において発話区間と判定された場合に、上記受音信号から、音源位置を検出する音源位置検出部と、
上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
上記周波数領域の複数チャネルの受音信号の共分散行列を各音源ごとに算出する共分散行列算出部と、
上記音源位置検出手段の検出結果に基づき、上記共分散行列を音源ごとに記憶する共分散行列記憶部と、
記憶された上記共分散行列を用いて、各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出するフィルタ係数算出部と、
上記マイクロホン受音信号を、上記複数チャネルのフィルタ係数で、各々フィルタリングする複数チャネルのフィルタと、
上記複数チャネルのフィルタの出力信号し、送話信号として出力する加算器、
とを含む。
【請求項９】
請求項８記載の収音装置において、各音源に対応して記憶された共分散行列から各音源の収音レベルを推定する収音レベル推定部を更に含み、上記フィルタ係数算出部は上記推定された収音レベルに基づいて各音源に対する送話信号レベルが所定レベルとなるよう対応する共分散行列に重みを与えて上記フィルタ係数を算出するよう適応されている。
【請求項１０】
請求項１乃至７のいずれか記載の収音方法をコンピュータで実行させるための収音プログラム。
【請求項１１】
受話信号がスピーカから再生される音響空間内で少なくとも１つのマイクロホンで少なくとも１つの音源からの発音を収音する収音方法であり、
（ａ）上記少なくとも１チャネルのマイクロホンで受音された受音信号と受話信号から発話区間及び受話区間を判定する状態判定段階と、
（ｂ）上記受音信号及び上記受話信号を周波数領域の信号に変換する周波数領域変換段階と、
（ｃ）上記周波数領域の受音信号及び受話信号から発話区間での共分散行列及び受話区間での共分散行列を算出する共分散行列算出段階と、
（ｄ）上記状態判定段階の判定結果に基づいて、上記共分散行列を上記発話区間及び上記受話区間ごとに記憶する共分散行列記憶段階と、
（ｅ）上記発話区間及び上記受話区間での記憶された共分散行列に基づいて受話信号の音響エコーを抑圧するよう上記マイクロホンと同チャネル数の受音信号用フィルタ係数と、１チャネルの上記受話信号用フィルタ係数を算出するフィルタ係数算出段階と、
（ｆ）上記受音信号を、上記少なくとも１チャネルの受音信号用フィルタ係数でフィルタリングし、上記受話信号を上記受話信号用フィルタ係数でフィルタリングするフィルタリング段階と、
（ｇ）上記フィルタリングされた信号を加算して送話信号として出力する加算段階、
とを含む。
【請求項１２】
請求項１１記載の収音方法において、上記状態判定段階は、上記受音信号及び上記受話信号から雑音区間を判定する段階を含み、上記共分散行列算出段階は上記雑音区間での共分散行列を算出する段階を含み、上記共分散行列記憶段階は、上記雑音区間での共分散行列を記憶する段階を含み、上記フィルタ係数算出段階は、上記発話区間、上記受話区間及び上記雑音区間での記憶された共分散行列に基づいて上記音響エコーと雑音を抑圧するよう上記少なくとも１チャネルの受音信号用フィルタ係数と、上記受話信号用フィルタ係数を算出する。
【請求項１３】
請求項１１記載の収音方法において、上記マイクロホンは複数チャネルに設けられ、複数音源からの発音を受音し、上記方法は更に、上記状態判定段階により発話区間と判定された場合に、上記複数チャネルのマイクロホンからの受音信号から音源位置を検出する音源位置検出段階含み、上記共分散行列記憶段階は、上記状態判定段階の判定結果及び検出音源位置に基づいて上記上記共分散行列を音源位置、受話区間ごとに記憶する。
【請求項１４】
請求項１３の収音方法において、上記フィルタ係数算出段階は、Ｋ個の各音源位置に対する感度拘束の重み係数ＣＳ１〜ＣＳＫを、過去に発音した音源に対する重みほど小さくしてそれぞれの音源に対応する上記共分散行列に与えてから上記フィルタ係数を算出する。
【請求項１５】
請求項１１乃至１４のいずれかの収音方法において、上記複数チャネルは２以上のＭチャネルであり、上記フィルタ係数算出段階は、それぞれのＭ＋１行Ｍ＋１列の共分散行列ＲＸＸ（ω）の対角成分ｄｉａｇ（ＲＸＸ（ω））と任意のＭ＋１行の行列Ｄに基づく重み１／｛ＤＴｄｉａｇ（ＲＸＸ（ω））Ｄ｝をそれぞれの共分散行列ＲＸＸ（ω）に乗じて白色化してからフィルタ係数を算出する。
【請求項１６】
請求項１１乃至１４のいずれかの収音方法において、上記共分散行列記憶段階は、既に記憶されている共分散行列と、上記共分散行列算出部により新たに算出された共分散行列を平均して現在の共分散行列として記憶する。
【請求項１７】
収音装置であり、
音源からの送話音を収音して受音信号を出力する少なくとも１チャネルのマイクロホンと、
受話信号を再生出力するスピーカと、
受音信号と受話信号から発話区間及び受話区間を判定する状態判定部と、
上記受話信号及び上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
上記発話区間及び受話区間ごとに上記周波数領域の受音信号と受話信号の共分散行列を算出する共分散行列算出部と、
上記共分散行列を発話区間及び受話区間ごとに記憶する共分散行列記憶部と、
記憶された上記共分散行列に基づいて上記受話信号の音響エコーを抑圧するように上記少なくとも１チャネルの受音信号用フィルタ係数と上記受話信号用フィルタ係数を算出するフィルタ係数算出部と、
上記受音信号用フィルタ係数と受話信号用フィルタ係数が設定され、上記受音信号と受話信号をそれぞれフィルタリングする受音信号用フィルタと受話信号用フィルタと、
上記受音信号用フィルタの出力と上記受話信号用フィルタの出力を加算して送話信号として出力する加算器、
とを含む。
【請求項１８】
請求項１７記載の収音装置において、上記マイクロホンと上記受音信号用フィルタはそれぞれ複数チャネル設けられており、上記加算器は、上記複数チャネルの受音信号用フィルタの出力と上記受話信号用フィルタの出力を加算して送話信号として出力する。
【請求項１９】
請求項１８記載の収音装置において、上記状態判定部は上記受音信号と上記受話信号から雑音区間を判定する雑音判定部を含み、上記共分散行列算出部は上記雑音区間の受音信号と受話信号の共分散行列を算出するよう適応されており、上記共分散行列記憶部は上記雑音区間の共分散行列を記憶するよう適応されており、上記フィルタ係数算出部は記憶された上記共分散行列に基づいて上記受話信号の音響エコー及び雑音を抑圧するよう上記複数チャネルのフィルタ係数を算出し、上記複数チャネルのフィルタに設定するよう適応されている。
【請求項２０】
請求項１９記載の収音装置において、更に上記複数チャネルの受音信号に基づいてＫ個の音源の位置を検出する音源位置検出部が設けられ、上記共分散行列算出部は、上記発話区間の共分散行列を各音源ごとに算出するよう適応されており、上記共分散行列記憶部は上記発話区間の共分散行列を各音源ごとに記憶するよう適応されており、上記フィルタ係数算出部はそれぞれの音源に対し過去に発話した音源ほど小さな感度拘束の重みＣＳ１〜ＣＳＫを小さくしてそれぞれの共分散行列に与えて上記フィルタ係数を算出する手段を含む。
【請求項２１】
請求項１１乃至１６のいずれか記載の収音方法をコンピュータで実行させるための収音プログラム。
【発明の詳細な説明】
【技術分野】  この発明は収音方法及び収音装置に関し、特に、複数の音源からの送話音声を収音し、それぞれの音量を調整して出力する収音方法及び収音装置に関する。
【背景技術】  例えば互いに離れた複数地点間で行う遠隔会議（ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）においては、各地点で異なる位置の複数の参加者の音声を１つのマイクロホンで収音すると、参加者ごとにマイクロホンまでの距離、及び発声音量が異なるため、受音信号レベルが大きく異なってしまう。遠隔地点の受信側では、送信側の参加者によって再生音声の音量が大きく異なり、非常に聞き取りにくい場合がある。
図１７は例えば日本国特許出願公開８−２５０９４４に示されている従来の収音装置の原理的構成をブロック図で示す。この従来の収音装置は、マイクロホン４１と、パワー算出部４２と、増幅率設定部４３と、増幅器４４により構成される。パワー算出部４２は、マイクロホン４１で受音された信号の長時間平均パワーＰａｖｅを求める。長時間平均パワーは、受音信号を二乗し、時間積分することで求めることができる。次に、増幅率設定部４３は、パワー算出部４２で算出された受音信号の長時間平均パワーＰａｖｅと、あらかじめ設定した所望の送出レベルＰｏｐｔに基づき、増幅率Ｇを設定する。増幅率Ｇは、例えば、次式（１）により求められる。
2004071130.tif 000003
増幅器４４は、設定された増幅率Ｇで、マイクロホン受音信号を増幅し、出力する。
以上の処理により、出力信号パワーは、所望の送出レベルＰｏｐｔとなり、音量が自動的に調整される。しかし、従来技術の収音方法では、長時間平均パワーを基に増幅率を決定しているので、適切な増幅率が設定されるまでに数秒から数十秒の遅延が生じる。これにより、話者が複数人存在し、それぞれの話者音声が異なるレベルでマイクロホンに収音される場合、発話者が切り替るたびに、増幅率設定の適応が遅れ、不適切な音量となるという問題が生じる。
この発明の目的は、話者が複数人存在し、それぞれの話者音声が異なるレベルでマイクロホンに収音される場合においても、各話者音声が適切な音量となるように音量を自動調整する収音装置、収音方法、及びそのプログラムを提供することである。
【発明の開示】
この発明による複数チャネルのマイクロホンにより音源から発せられた音を収音する収音方法は、
（ａ）上記複数チャネルのマイクロホンで受音された受音信号から、発話区間を判定する発話判定段階を含む状態判定段階と、
（ｂ）上記発話判定段階において発話区間と判定された場合に、上記受音信号から、各音源位置を検出する音源位置検出段階と、
（ｃ）上記受音信号を周波数領域の信号に変換する周波数領域変換段階と、
（ｄ）上記周波数領域の受音信号の共分散行列を算出する共分散行列算出段階と、
（ｅ）上記音源位置検出段階の検出結果に基づき、各音源に対し上記共分散行列を記憶する共分散行列記憶段階と、
（ｆ）記憶されている上記共分散行列と予め決めた出力レベルに基づき上記複数チャネルのフィルタ係数を算出するフィルタ係数算出段階と、
（ｇ）上記複数チャネルの受音信号をそれぞれ上記複数チャネルのフィルタ係数でフィルタリングするフィルタリング段階と、
（ｈ）上記複数チャネルのフィルタリング結果を加算して送話信号として出力する加算段階、
とを含む収音方法。
この発明によれば、音響空間に配置された複数チャネルのマイクロホンにより各音源から発せられた音を収音する収音装置は、
複数チャネルのマイクロホンの各々で受音された受音信号から、発話区間を判定する発話判定部を含む状態判定部と、
上記発話判定部において発話区間と判定された場合に、上記受音信号から、音源位置を検出する音源位置検出部と、
上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
上記周波数領域の複数チャネルの受音信号の共分散行列を各音源ごとに算出する共分散行列算出部と、
上記音源位置検出手段の検出結果に基づき、上記共分散行列を音源ごとに記憶する共分散行列記憶部と、
記憶された上記共分散行列を用いて、各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出するフィルタ係数算出部と、
上記マイクロホン受音信号を、上記複数チャネルのフィルタ係数で、各々フィルタリングする複数チャネルのフィルタと、
上記複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算器、
とを含むように構成される。
この発明の第２の観点によれば、受話信号がスピーカから再生される音響空間内で少なくとも１つのマイクロホンにより少なくとも１つの音源からの発音を収音する収音方法は、
（ａ）上記少なくとも１チャネルのマイクロホンで受音された受音信号と受話信号から発話区間及び受話区間を判定する状態判定段階と、
（ｂ）上記受音信号及び上記受話信号を周波数領域の信号に変換する周波数領域変換段階と、
（ｃ）上記周波数領域の受音信号及び受話信号から発話区間での共分散行列及び受話区間での共分散行列を算出する共分散行列算出段階と、
（ｄ）上記状態判定段階の判定結果に基づいて、上記共分散行列を上記発話区間及び上記受話区間ごとに記憶する共分散行列記憶段階と、
（ｅ）上記発話区間及び上記受話区間での記憶された共分散行列に基づいて受音信号に含まれる受話信号成分である音響エコーを抑圧するよう上記少なくとも１チャネルの受音信号用のフィルタ係数と上記受話信号用のフィルタ係数を算出するフィルタ係数算出段階と、
（ｆ）上記受話信号及び上記受音信号を、上記受話信号用のフィルタ係数と上記少なくとも１チャネルの受音信号用のフィルタ係数でフィルタリングするフィルタリング段階と、
（ｇ）上記フィルタリングされた信号を加算して送話信号として出力する加算段階、
とを含む。
この発明の第２の観点による収音装置は、
音源からの送話音を収音して受音信号を出力する少なくとも１チャネルのマイクロホンと、
受話信号を再生出力するスピーカと、
受音信号と受話信号から発話区間及び受話区間を判定する状態判定部と、
上記受話信号及び上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
上記発話区間及び受話区間ごとに上記周波数領域の受音信号と受話信号の共分散行列を算出する共分散行列算出部と、
上記共分散行列を発話区間及び受話区間ごとに記憶する共分散行列記憶部と、
記憶された上記共分散行列に基づいて上記受話信号の音響エコーを抑圧するように上記少なくとも１チャネルの受音信号用のフィルタ係数と上記受話信号用のフィルタ係数を算出するフィルタ係数算出部と、
上記受音信号用のフィルタ係数と上記受話信号用のフィルタ係数が設定され、上記受音信号と上記受話信号をフィルタリングして出力する受音信号用フィルタと受話信号用フィルタと、
上記受音信号用フィルタの出力と上記受話信号用フィルタの出力を加算し、加算結果を送話信号として出力する加算器、
とを含むように構成される。
本発明は、話者が複数人存在し、それぞれの話者音声が異なるレベルでマイクロホンに収音される場合においても、複数のマイクロホンを用いて指向特性を適切に制御することにより、話者ごとに適切な音量となるように音量を自動調整する。
【図面の簡単な説明】  図１は本発明の第１の実施例である収音装置を示すブロック図。
図２は図１における状態判定部１４の構成例を示すブロック図。
図３は図１における音源位置検出部１５の構成例を示すブロック図。
図４は図１におけるフィルタ係数算出部２１の構成例を示すブロック図。
図５は図１の収音装置を使用した収音方法の第１の例を示すフロー図。
図６は図１の収音装置を使用した収音方法の第２の例を示すフロー図。
図７は図１の収音装置を使用した収音方法の第３の例を示すフロー図。
図８は本発明の第２の実施例である収音装置を示すブロック図。
図９は図８における状態判定部１４の構成例を示すブロック図。
図１０は本発明の第３の実施例である収音装置を示すブロック図。
図１１は図７における状態判定部１４の構成例を示すブロック図。
図１２は本発明の第４実施例の収音装置を示すブロック図。
図１３は本発明の第５実施例の収音装置を示すブロック図。
図１４は図４における重み係数設定部２１Ｈの構成例を示すブロック図。
図１５は図４における重み係数設定部２１Ｈの他の構成例を示すブロック図。
図１６は図４に設ける白色化部２１Ｊの構成例を示すブロック図。
図１７は各実施例において、共分散行列の平均化機能を設けた場合の共分散行列記憶部１８の構成例を示すブロック図。
図１８Ａは第１実施例による処理を行う前の話者Ａ及びＢのシミュレーションによる音声波形を示す図。
図１８Ｂは第１実施例による処理を行った場合の話者Ａ及びＢのシミュレーションによる音声波形を示す図。
図１９は第３実施例による音響エコー及び雑音の抑圧を示すシミュレーションによる受話及び送話音声波形を示す図。
図２０は従来の収音装置を示すブロック図。
【発明を実施するための最良の形態】第１実施例
図１は、本発明の第１の実施例である収音装置のブロック図である。
本実施例の収音装置は、音響空間内に配置されたＭチャネルのマイクロホン１１１〜１１Ｍと、フィルタ１２１〜１２Ｍと、加算器１３と、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１により構成される。
本実施例は、音響空間内の音源９１〜９Ｋの位置を検出し、各音源位置に対する受音信号の周波数領域での共分散行列を求めて保存しておき、これらを用いてフィルタ係数を求める。これらのフィルタ係数で、マイクロホン受音信号をフィルタリングすることで、各音源からの信号が一定の音量となるように制御する。この発明の実施例において、マイクロホン１１１〜１１Ｍの各出力受音信号は特に図示しないがディジタルアナログ変換器により予め決められたサンプリング周波数でディジタル値に変換して得られたディジタルの受音信号であるものとする。他の実施例においても同様である。
まず、状態判定部１４では、マイクロホン１１１〜１１Ｍで受音したマイクロホン受音信号から、発話区間を検出する。例えば、図２に示すように、状態判定部１４ではマイクロホン１１１〜１１Ｍからの全受話信号を加算部１４Ａで加算し、その加算出力を短時間平均パワー算出部１４Ｂと長時間平均パワー算出部１４Ｃでそれぞれ短時間平均パワー（例えば０．１〜１ｓ間程度の平均パワー）ＰａｖＳと、長時間平均パワー（例えば１〜１００ｓ間程度の平均パワー）ＰａｖＬを求め、割算部１４Ｄで短時間平均パワーと長時間平均パワーの比Ｒｐ＝ＰａｖＳ／ＰａｖＬを求め、発話判定部１４Ｅでそのパワー比Ｒｐを予め決めた発話の閾値ＲｔｈＵと比較し、それを超える場合に発話区間と判定する。
状態判定部１４の判定結果が発話区間であった場合に、音源位置検出部１５は、音源の位置を推定する。音源位置の推定方法は、例えば相互相関法による方法がある。
マイクロホンの数をＭ（Ｍは２以上の整数）個とし、ｉ番目マイクロホン１１ｉとｊ番目マイクロホン１１ｊで受音された信号より求められる受音信号間遅延時間差の測定値をτｉｊする。受音信号間遅延時間差の測定値は、信号間の相互相関を求め、その最大ピーク位置から求めることができる。次に、ｍ（ｍ＝１，．．．，Ｍ）番目のマイクロホン１１ｍの受音位置を（ｘｍ，ｙｍ，ｚｍ）、推定音源位置を（Ｘ，Ｙ，Ｚ）と表す。これらの位置から求められる受音信号間遅延時間差の測定値τｉｊは、式（２）で表される。
2004071130.tif 000004
ただし、ｃは音速である。
次に、受音信号間遅延時間差の測定値τｉｊび推定値τｉｊに音速ｃを乗じ距離に換算したものを、それぞれ受音位置間距離差の測定値ｄｉｊ及び推定値ｄｉｊとし、これらの二乗平均誤差ｅ（ｑ）を求めれば、式（３）となる。
2004071130.tif 000005
ただし、ｑ＝（Ｘ，Ｙ，Ｚ）である。ｒｉ及びｒｊは推定音源位置ｑ＝（Ｘ，Ｙ，Ｚ）とマイクロホン１１ｉ、１１ｊ間の距離を表している。
式（３）の二乗平均誤差ｅ（ｑ）を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定音源位置を求めることができる。ただし、式（３）は非線形連立方程式となっており、解析的に解くことは困難であるので、逐次修正を用いた数値解析により求める。
式（３）を最小化する推定音源位置（Ｘ，Ｙ，Ｚ）を求めるには、式（３）のある点における勾配を求め、誤差が小さくなる方向に、推定音源位置を修正していき、勾配が０となる点を求めればよいので、推定音源位置の修正は次式（４）をｕ＝０，１，．．．について繰り返し演算する。
2004071130.tif 000006
ただし、αは修正のステップサイズであり、α＞０の値を設定する。ｑ（ｕ）は、ｕ回修正後のｑを表し、ｕ＝０の場合のｑ（０）＝（Ｘ０，Ｙ０，Ｚ０）を予め決めた任意の初期値とする。ｇｒａｄは勾配を表し、次式（５）〜（１０）で表される。
2004071130.tif 000007
2004071130.tif 000008
以上、式（４）を繰返し計算することで、誤差が最小となる推定音源位置ｑ＝（Ｘ，Ｙ，Ｚ）を求めることができる。
図３は音源位置検出部１５の機能構成をブロック図で示す。この例では、音源位置検出部１５は、遅延時間差測定部１５Ａと、乗算器１５Ｂと、距離計算部１５Ｃと、二乗平均誤差計算部１５Ｄと、勾配計算部１５Ｅと、比較判定部１５Ｆと、推定位置更新部１５Ｇとから構成されている。
遅延時間差測定部１５Ａは１つの音源９ｋから発音されている期間に
ｉ＝１，２，．．．，Ｍ−１；
ｊ＝ｉ＋１，ｉ＋２，．．．，Ｍ
の全ての組の（ｉ，ｊ）についてマイクロホン１１ｉ、１１ｊによる受音信号に基いて相互相関法により遅延時間差τｉｊを測定する。乗算器１５Ｂは、測定された各遅延時間差τｉｊに音速ｃを乗算して音源とマイクロホン１１ｉ、１１ｊ間の距離差ｄｉｊを求める。距離計算部１５Ｃは推定位置更新部１５Ｇから与えられる推定音源位置（Ｘ，Ｙ，Ｚ）とマイクロホン１１ｉ、１１ｊ間の距離ｒｉ，ｒｊを式（９）、（１０）により計算する。ただし、推定位置更新部１５Ｇは、最初の推定音源位置として任意の初期値（Ｘ０，Ｙ０，Ｚ０）を距離計算部１５Ｃに与える。二乗平均誤差計算部１５Ｄは前述の全ての組の（ｉ，ｊ）についてｄｉｊ，ｒｉ，ｒｊを使って式（３）により二乗平均誤差ｅ（ｑ）を計算する。勾配計算部１５Ｆで現在の推定音源位置とｄｉｊ，ｒｉ，ｒｊを使って式（６）、（７）、（８）により二乗平均誤差ｅ（ｑ）の勾配ｇｒａｄ  ｅ（ｑ）を計算する。
比較判定部１５Ｆは二乗平均誤差の勾配ｇｒａｄ  ｅ（ｑ）の各要素と予め決めた閾値ｅｔｈとを比較し、全ての要素が閾値ｅｔｈより小さくなったか判定し、小さければそのときの推定音源位置（Ｘ，Ｙ，Ｚ）を出力する。ｅｔｈより小さくなければ、推定位置更新部１５Ｇは勾配ｇｒａｄ  ｅ（ｑ）と現在の推定位置ｑ＝（Ｘ，Ｙ，Ｚ）を使って式（４）により推定位置を更新し、更新された推定位置ｑｕ＋１＝（Ｘ，Ｙ，Ｚ）を距離計算部１５Ｃに与える。距離計算部１５Ｃは更新された推定位置（Ｘ，Ｙ，Ｚ）とｄｉｊを使って前述と同様に更新されたｒｉ，ｒｊを計算し、以下、二乗誤差平均部１５Ｄはｅ（ｑ）を更新し、勾配計算部１５Ｅは更新された勾配ｇｒａｄ  ｅ（ｑ）を計算し、比較判定部１５Ｆは更新された二乗平均誤差ｅ（ｑ）が閾値ｅｔｈより小となったか判定する。
このようにして推定位置（Ｘ，Ｙ，Ｚ）の更新を二乗平均誤差の勾配ｇｒａｄ  ｅ（ｑ）の全要素が十分小さい値（ｅｔｈより小）になるまで繰り返し実行して音源９ｋの位置（Ｘ，Ｙ，Ｚ）を推定する。他の音源についても同様に位置を推定する。
周波数領域変換部１６は、各マイクロホンの受音信号を周波数領域信号に変換する。例えば受音信号のサンプリング周波数は１６ｋＨｚであり、各マイクロホン１１ｍ（ｍ＝１，．．．，Ｍ）からの受音信号サンプルを１フレーム２５６サンプルごとにＦＦＴ（ファーストフーリエ変換）処理することにより同数の周波数領域信号サンプルＸｍ（ω）が得られる。
次に、共分散行列算出部１７では、マイクロホン受音信号の共分散を求め、共分散行列を生成する。各音源９ｋに対し周波数領域変換部１６で得られたマイクロホン受音信号の周波数領域変換信号をＸ１（ω）〜ＸＭ（ω）とすると、これらの信号のＭ×Ｍ共分散行列ＲＸＸ（ω）は一般に式（１１）で表される。
2004071130.tif 000009
ただし、＊は複素共役を表す。
次に、共分散行列記憶部１８では、音源位置検出部１５の検出結果に基づき、共分散行列ＲＸＸ（ω）を、各音源９ｋに対する受音信号のＭ×Ｍ共分散行列ＲＳｋＳｋ（ω）として保存する。
各音源９ｋごとのＭチャネルの受音信号に対する重み付けミキシングベクトルをＡｋ（ω）＝（ａｋ１（ω），．．．，ａｋＭ（ω））で表すと、収音レベル推定部１９は、各音源の収音レベルＰＳｋを、共分散行列記憶部１８に記憶した各音源９ｋに対する受音信号の共分散行列ＲＳｋＳｋ（ω）を使って次式（１２）
2004071130.tif 000010
により求める。ここでは重み付けミキシングベクトルは周波数特性も制御可能なベクトルＡｋ（ω）＝（ａｋ１（ω），．．．，ａｋＭ（ω））として表しているが、周波数特性の制御を行わないのであれば、ベクトルＡｋの要素は予め決めた値ａｋ１，ａｋ２，．．．，ａｋＭとしてよい。例えば各音源９ｋに対する重み付けミキシングベクトルＡｋの要素はその音源９ｋに近いマイクロホンに対応する要素ほど大きな値を与える。極端な例では、Ａｋ＝（０，．．，０，ａｋｍ＝１，０，．．．，０）のように、音源９ｋに最も近いマイクロホン１１ｍに対応する要素のみを１とし、その他を全て０とすることもできる。以下の説明においては、式を簡略化するため、ａｋ１（ω），．．．，ａｋＭ（ω）を単にａｋ１，．．．，ａｋＭと表すことにする。
式（１２）におけるＨは複素共役転置を表し、Ａｋ（ω）ＨＲＳｋＳｋ（ω）Ａｋ（ω）は次式のように展開すことができる。
2004071130.tif 000011
式（１２）はこの式（１３）で表すΩ（ω）が表すパワースペクトルサンプル値を、周波数領域変換部１６により生成される周波数領域信号の帯域０〜Ｗ（サンプル数）に渡って加算し、Ｗで割り算することにより受音信号の平均パワーＰＳｋを求めることを意味している。
例えば、音源９１に最も近いマイクロホンを１１１とすると、マイクロホン１１１（第１チャネル）の受音信号に最大の重み付けを与えるように重み係数ａｋ１の値を決め、その他のチャネルの受音信号に対する重み係数ａｋ２，ａｋ３，．．．，ａｋＭはａｋ１より小さい値に決める。このような重み付けを行うことにより、重み付けを行わない場合より、音源９１からの受音信号のＳ／Ｎを高め、あるいは室内残響の影響を減らすことができる。即ち、各音源９ｋに対する重み付けミキシングベクトルＡｋ（ω）の重み付け係数は、例えばその音源９ｋに対応する出力音声信号のＳ／Ｎが大きく、かつ室内残響が小さくなるように、マイクロホンの指向性や配置と音源の配置により最適な値を実験的に予め決めておく。しかしながら、この発明によれば全てのチャネルに等しく重み付けを行った場合でも、それぞれの音源からの受音信号を所望のレベルに制御して出力することができる。
次に、フィルタ係数算出部２１では、各音源から発せられた音を所望の音量で収音するためのフィルタ係数を計算する。まず、各マイクロホンに接続されたのフィルタ１２１〜１２Ｍのフィルタ係数を周波数領域に変換したものをＨ１（ω）〜ＨＭ（ω）とする。次に、これらのフィルタ係数を次式（１４）により行列としたものをＨ（ω）とする。
2004071130.tif 000012
また、ｋ番目音源９ｋが発音している期間の各マイクロホンで受音した信号の周波数領域変換信号をＸＳｋ，１〜ＸＳｋ，Ｍとする。
ここで、フィルタ係数行列Ｈ（ω）に要求される条件は、マイクホン受音信号をフィルタ係数行列Ｈ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を加算したときに、各音源の信号成分のレベルが所望のレベルＰｏｐｔなっていることである。従って、各音源９ｋの信号をフィルタリングおよび加算した信号が、マイクロホン１１１〜１１Ｍの受音信号に対する重み付けミキシングベクトルＡｋ（ω）と所望の利得を乗じた信号となる次式（１５）が理想条件となる。
2004071130.tif 000013
ただし、ｋ＝１，．．．，Ｋであり、Ｋは音源の数を表す。
次に、式（１５）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式（１６）となる。
2004071130.tif 000014
ただし、ＣＳｋはｋ番目の音源位置に対する感度拘束を与える重み係数である。感度拘束とは音源位置に対する本収音装置の周波数特性をフラットにすることを意味する。この値が大きくなればその音源に対する感度拘束が強くなり、よりフラットな周波数特性での収音が可能となるが、その他の音源位置に対する周波数特性の劣化が大きくなる。そのため、通常はＣＳｋを０．１〜１０程度の値とし、全ての音源をバランスよく感度拘束するのが好ましい。
図４は式（１６）で表されるフィルタ係数を計算するフィルタ係数算出部２１の機能構成ブロック図を示す。この例では、共分散行列記憶部１８から与えられたそれぞれの音源９１〜９Ｋに対応する共分散行列ＲＳ１Ｓ１〜ＲＳＫＳＫは乗算器２１Ａ１〜２１ＡＫでそれぞれ重み係数設定部２１Ｈにより設定された重み係数ＣＳ１〜ＣＳＫと乗算される。また収音レベル推定部１９により推定された音源９１〜９Ｋに対する収音レベルＰＳ１〜ＰＳＫは平方比算出部２１Ｂ１〜２１ＢＫで予め決めた所望の出力レベルＰｏｐｔとの平方比（Ｐｏｐｔ／ＰＳ１）１／２〜（Ｐｏｐｔ／ＰＳＫ）１／２が演算され、演算結果はそれぞれ乗算器２１Ｃ１〜２１ＣＫで乗算器２１Ａ１〜２１ＡＫの出力と乗算される。乗算器２１Ｃ１〜２１ＣＫの出力は乗算器２１Ｄ１〜２１ＤＫで更に重み付けミキシングベクトルＡ１（ω）〜ＡＫ（ω）と乗算され、これらの乗算結果の総和の行列が加算器２１Ｅで計算される。一方、乗算器２１Ａ１〜２１ＡＫの出力の総和の行列が加算器２１Ｆで計算され、逆行列乗算器２１Ｇにより、加算器２１Ｆの出力である総和の行列の逆行列を加算器２１Ｅの出力と乗算することによりフィルタ係数Ｈ（ω）が求まる。
次に、フィルタ係数算出部２１により求められたフィルタ係数Ｈ１（ω），Ｈ２（ω），．．．，ＨＭ（ω）は、フィルタ１２１〜１２Ｍに設定され、マイクロホン１１１〜１１Ｍからの受音信号をそれぞれフィルタ処理する。フィルタ処理後の信号は、加算器１３で加算され、出力信号として出力される。
この発明による収音装置を使用する方法の例として、以下に３つの方法を示す。
第１の方法は、図５に示すように、まず、ステップＳ１で音源数ＫをＫ＝０に初期設定する。次にステップＳ２で状態判定部１４により定期的に発話検出を行い、発話が検出されるとステップＳ３で音源位置検出部１５により音源位置検出を実行する。ステップＳ４で、検出された音源位置が以前に検出された音源位置のいずれかと一致するか判定し、一致するものがあればステップＳ５でその音源位置に対応する共分散行列ＲＸＸ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ６で共分散行列記憶部１８の対応する領域の共分散行列を更新する。
ステップＳ４で以前に検出された音源位置と一致しなかった場合は、ステップＳ７でＫを１だけ増加させ、ステップＳ８でその音源位置に対応する共分散行列ＲＸＸ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ９で共分散行列記憶部１８の新たな領域に共分散行列を記憶する。
次に、ステップＳ１０で記憶されている共分散行列から、収音レベル推定部１９により収音レベルを推定し、ステップＳ１１で推定収音レベルと共分散行列を使ってフィルタ係数算出部２１によりフィルタ係数Ｈ１（ω）〜ＨＭ（ω）の算出を行い、ステップＳ１２でフィルタ１２１〜１２Ｍの設定フィルタ係数を更新する。
第２の方法は、図６に示すように、ステップＳ１で予め音源数の最大値をＫｍａｘに設定し、また音源数Ｋの初期値を０に設定しておく。以下のステップＳ２からＳ６は図５の場合と同様に発話検出を行い、発話が検出されると音源位置の検出を行い、検出した音源位置が過去に検出したものと一致するか判定し、一致するものがあれば共分散行列を計算して対応する領域に更新保存する。
ステップＳ４で検出音源位置が過去の検出音源位置と一致しない場合は、ステップＳ７でＫに１を加算し、ステップＳ８でＫが最大値Ｋｍａｘより大となったか判定する。最大値Ｋｍａｘを越えてなければステップＳ９で検出位置に対する共分散行列を計算し、ステップＳ１０で新たな領域に共分散行列を保存する。ステップＳ８でＫが最大値Ｋｍａｘを超えている場合は、ステップＳ１１でＫ＝Ｋｍａｘとし、ステップＳ１２で共分散行列記憶部１８に記憶されている共分散行列のうち、最も過去に更新された共分散行列を消去し、その領域に、ステップＳ１３で共分散行列算出部１７により計算された新たな共分散行列をステップＳ１４で格納する。以下のステップＳ１５，Ｓ１６，Ｓ１７は図５のステップＳ１０，Ｓ１１，Ｓ１２と同様に、共分散行列から各音源の推定収音レベルを求め、フィルタ係数を計算してフィルタ１２１〜１２Ｍに設定する。この方法では、音源数Ｋの最大値をＫｍａｘに制限することにより図５の方法に比べて共分散行列記憶部１８の記憶領域を少なくすることができる利点がある。
上記第１及び第２の方法では、音源の発話を検出するごとに必ず共分散行列の計算と保存、及びフィルタ係数の更新を行う場合を示したが、第３の方法では、検出した発話の音源位置が、既に検出した音源位置のいずれかと一致した場合は更新を行わない。図７は第３の方法の処理手順を示す。ステップＳ１で音源数Ｋの初期値を０に設定し、ステップＳ２で状態検出部１４により定期的に発話検出動作を実行し、発話状態を検出するとステップＳ３で音源位置検出部１５で音源位置の検出を実行する。ステップＳ４で検出音源位置が既に検出された音源位置のいずれかと一致するか判定し、一致するものがあれば更新処理を行わずステップＳ２に戻る。ステップＳ４で既に検出した位置と一致するものがない場合、即ち、前回までと異なる位置にいずれかの音源９ｋが移動したか、又は新たな音源が加わった場合は、ステップＳ５でＫを１だけ増加し、ステップＳ６でその音源に対応する共分散行列ＲＳｋＳｋ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ７で共分散行列記憶部１８の対応する新たな領域ＭＡｋに保存すると共に、ステップＳ８でその共分散行列を使って収音レベル推定部１９により収音レベルを推定し、ステップＳ９で全ての共分散行列と推定収音レベルを使ってフィルタ係数算出部２１により更新したフィルタ係数の算出を実行し、ステップＳ１０でフィルタ１２１〜１２Ｍに更新したフィルタ係数を設定し、ステップＳ２に戻る。
以上示したように、本発明では、複数マイクロホンの受音信号から、音源位置を推定し、各音源に対し受音信号の共分散行列を求め、音源位置ごとに音量を調整するフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をフィルタリングすることで、話者位置ごとに音量を調整した出力信号を得ることができる。
図１の実施例では、音源位置検出部１５は各音源９ｋの座標位置を推定する場合について説明したが、音源方向、即ち、マイクロホン１１１〜１１Ｍの配列に対する各音源９ｋの角度位置を求めてもよい。音源方向の推定方法は、例えば田中、金田、小島による「音源方向推定方法の室内残響下での性能評価」、日本音響学会誌Ｖｏｌ．５０，Ｎｏ．７，１９９４，ｐｐ．５４０−５４８に示されている。要するに、各音源に対応して受音信号の共分散行列を求め、記憶しておけばよい。
第２実施例
図８は、本発明の第２の実施例である収音装置の機能ブロック図である。
本実施例の収音装置は、マイクロホン１１１〜１１Ｍと、フィルタ１２１〜１２Ｍと、加算器１３と、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１により構成される。
本実施例は、本発明の第１の実施例である収音装置の収音レベル調整に雑音抑圧を加えたものである。
まず、状態判定部１４では、マイクロホン１１１〜１１Ｍで受音したマイクロホン受音信号のパワーから、発話区間および雑音区間を検出する。状態判定部１４は図９に示すように、図２の状態判定部１４の構成に更に雑音判定部１４Ｆが追加された構成となっている。例えば、第１実施例と同様に、それぞれのマイクロホン受音信号について、短時間平均パワーＰａｖＳと、長時間平均パワーＰａｖＬを短時間平均パワー算出部１４Ｂと長時間平均パワー算出部１４Ｃで求め、割り算部１４Ｄで短時間平均パワーと長時間平均パワーの比Ｒｐ＝ＰａｖＳ／ＰａｖＬが求められ、発話判定部１４Ｅで発話の閾値ＰｔｈＵと比較され、それを超えていれば発話区間と判定される。雑音判定部１４Ｆはパワー比Ｒｐを雑音閾値ＰｔｈＮと比較し、それより小であれば雑音区間であると判定する。
発話判定部１４Ｅの判定結果が発話区間であった場合に、音源位置検出部１５は、本発明の第１の実施例と同様にして、音源位置を検出する。
次に、周波数領域変換部１６は各音源９ｋの発音区間及び雑音区間においてそれぞれのマイクロホン１１１〜１１Ｍからの受音信号を周波数領域信号に変換して共分散行列演算部１７に与える。共分散行列算出部１７は、本発明の第１の実施例と同様にして、各音源９ｋに対する周波数領域受音信号の共分散行列ＲＳｋＳｋ（ω）を算出する。更に、雑音区間における周波数領域受音信号の共分散行列ＲＮＮ（ω）を算出する。
共分散行列記憶部１８では、音源位置検出部１５の検出結果および状態判定部１５の判定結果に基づき、音源９１，．．．，９Ｋに対する共分散行列ＲＳｋＳｋ（ω）と雑音区間の共分散行列ＲＮＮ（ω）を領域ＭＡ１，．．．，ＭＡＫ，ＭＡＫ＋１に保存する。
収音レベル推定部１９は、各音源の収音レベルＰＳｋを、本発明の第１の実施例と同様にして推定する。
次に、フィルタ係数算出部２１では、各音源９ｋから発せられた音を所望の音量で収音し、かつ雑音を抑圧するためのフィルタ係数を算出する。まず、雑音抑圧の条件を求める。雑音区間のマイクロホン受音信号の周波数領域変換信号をＸＮ，１（ω）〜ＸＮ，Ｍ（ω）とする。雑音区間のマイクロホン受音信号ＸＮ，１（ω）〜ＸＮ，Ｍ（ω）がフィルタ１２１〜１２Ｍおよび加算器１３を通過後に０となれば、雑音を抑圧できているので、雑音抑圧のための条件式は、式（１７）となる。
2004071130.tif 000015
この式（１７）と、本発明の第１の実施例で示した収音レベル調整のための条件式（１５）の両方を満たせば、収音レベル調整と雑音抑圧の両方を実現できる。
次に、式（１５）、（１７）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式（１８）
2004071130.tif 000016
となる。ＣＮは雑音消去量に対する重みの定数であり、値が大きくなるほど雑音の消去量が増加する。ただし、ＣＮを大きくすることにより音源位置に対する感度拘束が弱くなり、収音信号周波数特性の劣化が大きくなるため、通常、ＣＮは０．１〜１０．０程度の適当な値に設定する。その他の記号の意味については、第１の実施例と同様である。
次に、式（１８）により求められた、フィルタ係数は、フィルタ１２１〜１２Ｍに設定され、マイクロホン受音信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。
以上、本発明の第２の実施例は、本発明の第１の実施例における収音レベル調整の効果に加え、雑音抑圧を行うことが可能である。
これら以外の部分に関しては、本発明の第１の実施例と同じであるので、説明を省略する。
第３実施例
図１０は、本発明の第３の実施例である収音装置の機能ブロック図である。
本実施例の収音装置は、スピーカ２２と、マイクロホン１１１〜１１Ｍと、フィルタ１２１〜１２Ｍ、２３と、加算器１３と、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１により構成される。
本実施例は、図８に示した本発明の第２の実施例である収音装置に受話信号を再生するスピーカ２２と、受話信号をフィルタリングするフィルタ２３とを追加し、第２実施例による収音レベル調整および雑音抑圧に加えてマイクロホン１１１〜１１Ｍで収音されるスピーカ再生信号成分である音響エコーを抑圧するようにしたものである。
状態判定部１４は、図１１に示すように、図４の状態判定部１４の構成に、更に受話信号の短時間平均パワーＰ’ａｖＳ及び長時間平均パワーＰ’ａｖＬを算出する短時間平均パワー算出部１４Ｂ’と長時間平均パワー算出部１４Ｃ’と、これらの比Ｒ’ｐ＝Ｐ’ａｖＳ／Ｐ’ａｖＬを計算する割り算部１４Ｄ’と、その比Ｒ’ｐを予め決めた受話信号の閾値ＲｔｈＲと比較し、それより大であれば受話区間であると判定する受話判定部１４Ｇと、発話判定部１４Ｅ、雑音判定部１４Ｆ、受話判定部１４Ｇの判定結果に基づいて状態を決定する状態決定部１４Ｈが追加されている。状態決定部１４Ｈは、受話判定部１４Ｇの判定結果が受話区間と判定した場合は、他の発話判定部１４Ｅ、雑音判定部１４Ｆの判定結果にかかわらず、受話区間と決定し、受話判定部１４Ｇが受話区間でないと判定した場合は、図４の場合と同様に発話判定部１４Ｅ及び雑音判定部１４Ｆの判定に従って、発話区間又は雑音区間と決定する。
状態判定部１４の判定結果が発話区間であった場合に、音源位置検出部１５は、本発明の第１の実施例と同様にして、音源位置を検出する。
次に、周波数領域変換部１６でマイクロホン受音信号および受話信号をそれぞれ周波数領域信号Ｘ１（ω），．．．，ＸＭ（ω）及びＺ（ω）に変換し、共分散行列算出部１７はそれらの周波数領域受音信号及び受話信号の共分散行列を生成にする。マイクロホン受音信号の周波数領域変換信号Ｘ１（ω）〜ＸＭ（ω）及び受話信号の周波数領域変換信号Ｚ（ω）の共分散行列ＲＸＸ（ω）は、次式（１９）により算出される。
2004071130.tif 000017
ただし、＊は複素共役を表す。
次に、共分散行列記憶部１８では、音源位置検出部１５の検出結果および状態判定部１４の判定結果に基づき、共分散行列ＲＸＸ（ω）を、発話区間における各音源９ｋに対する受音信号及び受話信号の共分散行列ＲＳｋＳｋ（ω）と、雑音区間における受音信号及び受話信号の共分散行列ＲＮＮ（ω）と、受話区間における受音信号と受話信号の共分散行列ＲＥＥ（ω）としてそれぞれ領域ＭＡ１，．．．，ＭＡＫ，ＭＡＫ＋１，ＭＡＫ＋２に保存する。
収音レベル推定部１９は、各音源９ｋの収音レベルＰＳｋを、各音源に対する共分散行列ＲＳ１Ｓ１，．．．，ＲＳＫＳＫと、各音源ごとのＭ＋１要素からなる予め決めた重み付けミキシングベクトルＡ１（ω），．．．，ＡＫ（ω）に基づく次式（２０）により求める。
2004071130.tif 000018
次に、フィルタ係数算出部２１では、各音源から発せられた音を所望の音量で収音するためのフィルタ係数を計算する。まず、各マイクロホンに接続されたのフィルタ１２１〜１２Ｍのフィルタ係数を周波数領域に変換したものをＨ１（ω）〜ＨＭ（ω）とし、受話信号をフィルタリングするフィルタ２３のフィルタ係数を周波数領域に変換したものをＦ（ω）とする。次に、これらのフィルタ係数を式（２１）により行列としたものをＨ（ω）とする。
2004071130.tif 000019
また、受話区間のマイクロホン受音信号の周波数領域変換信号をＸＥ，１（ω）〜ＸＥ，Ｍ（ω）、受話信号の周波数領域変換信号をＺＥ（ω）とし、雑音区間のマイクロホン受音信号の周波数領域変換信号をＸＮ，１（ω）〜ＸＮ，Ｍ（ω）、受話信号の周波数領域変換信号をＺＮ（ω）とし、ｋ番目の音源９ｋが発音している発話区間のマイクロホン受音信号の周波数領域変換信号をＸＳｋ，１（ω）〜ＸＳｋ，Ｍ（ω）、受話信号の周波数領域変換信号をＺＳｋ（ω）とする。
ここで、フィルタ係数行列Ｈ（ω）に要求される条件は、マイクロホン受音信号および送話信号をフィルタ係数行列Ｈ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を加算したときに、音響エコー信号と雑音信号が消去され、送話音声信号のみが所望のレベルで送話されることである。
従って、受話区間および雑音区間の信号に対しては、フィルタリングおよび加算後の信号が０となる次式（２２）及び（２３）
2004071130.tif 000020
が理想条件となり、発話区間の信号に対しては、フィルタリングおよび加算後の信号がマイクロホン受音信号および受話信号に予め決めたＭ＋１要素の重み付けミキシングベクトルＡｋ（ω）と所望の利得を乗じた信号となる次式
2004071130.tif 000021
が理想条件となる。重み付けミキシングベクトルＡｋ（ω）＝（ａ０（ω），ａｋ１（ω），．．．，ａｋＭ（ω））の要素ａ０（ω）は受話信号に対する重み係数を表し、通常はａ０（ω）＝０と設定する。
次に、式（２２）〜（２４）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式
2004071130.tif 000022
となる。ＣＥは音響エコー消去量に対する重みの定数であり、値が大きくなるほど音響エコーの消去量が増加する。ただし、ＣＥを大きくすることにより収音信号の周波数特性の劣化が大きくなり、雑音抑圧特性が低下する。このため、通常、ＣＥは０．１〜１０．０程度の適当な値に設定する。その他の記号の意味については、第２の実施例と同様である。
このようにして、音量を調整し、雑音を抑圧するようにフィルタ係数を決定することができる。
次に、式（２５）により求められた、フィルタ係数は、フィルタ１２１〜１２Ｍ、２３に設定され、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。これら以外の部分に関しては、本発明の第２の実施例と同じであるので、説明を省略する。
以上、本発明の第３の実施例は、本発明の第２の実施例における収音レベル調整、雑音抑圧の効果に加え、音響エコー抑圧を行うことが可能である。第３実施例では第２実施例において音響エコー抑圧機能を付加した場合を示したが、第１実施例に対し更に音響エコー抑圧機能を付加してもよい。その場合は、図１０の状態判定部１４の詳細を示す図１１において雑音判定部１４Ｆを除去し、図１０の共分散行列算出部１７は雑音区間における共分散行列ＲＮＮ（ω）の算出は行わない。従って、フィルタ係数算出部２１におけるフィルタ係数の算出は次式
2004071130.tif 000023
により行えばよいことは前述の説明から明らかである。
第４実施例
図１０の第３実施例は、第２実施例の収音レベル調整機能と雑音抑圧機能に更に音響エコー消去機能を付加した実施例として示したが、雑音抑圧と音響エコー消去機能のみを有する収音装置として構成してもよい。その構成例を図１２に示す。
図１２に示すように、この実施例の構成は図１０の構成から音源位置検出部１５と収音レベル推定部１９を除去し、共分散行列算出部１７は送話信号の共分散行列ＲＳＳ（ω）と、受話信号の共分散行列ＲＥＥ（ω）と、雑音信号の共分散行列ＲＮＮ（ω）を演算し、共分散行列記憶部１８の記憶領域ＭＡＳ，ＭＡＥ，ＭＡＮにそれぞれ保存する構成とされている。また、この音響エコー消去機能を実現するには、マイクロホンは少なくとも１つあればよいが、ここではＭ個のマイクロホンを使用する例を示している。
状態判定部１４は、図１０の実施例と同様にマイクロホン１２１〜１２Ｍで受音した受音信号、及び受話信号から、発話区間、受話区間、及び雑音区間を判定し、その具体的構成及び動作は図１１に示したものと同様である。受音信号及び受話信号は周波数領域変換部１６で周波数領域の受音信号Ｘ１（ω）〜ＸＭ（ω）と周波数領域受話信号Ｚ（ω）に変換され、共分散行列算出部１７に与えられる。
次に、共分散行列算出部１７はそれらの周波数領域受音信号及び受話信号の共分散行列を生成する。マイクロホン受音信号の周波数領域変換信号Ｘ１（ω）〜ＸＭ（ω）及び受話信号の周波数領域変換信号Ｚ（ω）の共分散行列ＲＸＸ（ω）は、次式（２７）により算出される。
2004071130.tif 000024
ただし、＊は複素共役を表す。
次に、共分散行列記憶部１８では、状態判定部１４の判定結果に基づき、共分散行列ＲＸＸ（ω）を、受話区間における受音信号及び受話信号の共分散行列ＲＳＳ（ω）と、雑音区間における受音信号及び受話信号の共分散行列ＲＮＮ（ω）と、発話区間における受音信号と受話信号の共分散行列ＲＥＥ（ω）としてそれぞれ領域ＭＡＳ，ＭＡＮ，ＭＡＥに保存する。
次に、フィルタ係数算出部２１では、音源から発せられた送話音を収音し、音響エコー及び雑音を抑圧するためのフィルタ係数を計算する。まず、マイクロホン１１１〜１１Ｍに接続されたのフィルタ１２１〜１２Ｍのフィルタ係数を周波数領域に変換したものをＨ１（ω）〜ＨＭ（ω）とし、受話信号をフィルタリングするフィルタ２３のフィルタ係数を周波数領域に変換したものをＦ（ω）とする。次に、これらのフィルタ係数を式（２８）により行列としたものをＨ（ω）とする。
2004071130.tif 000025
また、受話区間のマイクロホン受音信号の周波数領域変換信号をＸＥ，１（ω）〜ＸＥ，Ｍ（ω）、受話信号の周波数領域変換信号をＺＥ（ω）とし、雑音区間のマイクロホン受音信号の周波数領域変換信号をＸＮ，１（ω）〜ＸＮ，Ｍ（ω）、受話信号の周波数領域変換信号をＺＮ（ω）とする。発話区間のマイクロホン受音信号の周波数領域変換信号をＸＳ，１（ω）〜ＸＳ，Ｍ（ω）、受話信号の周波数領域変換信号をＺＳ（ω）とする。
ここで、フィルタ係数行列Ｈ（ω）に要求される条件は、マイクロホン受音信号および送話信号をフィルタ係数行列Ｈ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を加算したときに、音響エコー信号と雑音信号が消去され、送話音声信号のみが送話されることである。
従って、受話区間および雑音区間の信号に対しては、フィルタリングおよび加算後の信号が０となる次式（２９）及び（３０）
2004071130.tif 000026
が理想条件となり、発話区間の信号に対しては、フィルタリングおよび加算後の信号がマイクロホン受音信号および受話信号に予め決めたＭ＋１要素の重み付けミキシングベクトルＡ（ω）を乗じた信号となる次式
2004071130.tif 000027
が理想条件となる。重み付けミキシングベクトルＡ（ω）＝（ａ０（ω），ａｋ１（ω），．．．，ａｋＭ（ω））の第１要素ａ０（ω）は受話信号に対する重み係数を表し、通常はａ０（ω）＝０に設定する。
次に、式（２９）〜（３１）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式
2004071130.tif 000028
となる。ＣＥは音響エコー消去量に対する重みの定数であり、値が大きくなるほど音響エコーの消去量が増加する。ただし、ＣＥを大きくすることにより収音信号の周波数特性の劣化が大きくなり、雑音抑圧特性が低下する。このため、通常、ＣＥは０．１〜１０．０程度の適当な値に設定する。その他の記号の意味については、第２の実施例と同様である。
このようにして、音量を調整し、雑音を抑圧するようにフィルタ係数を決定することができる。
次に、式（３２）により求められたフィルタ係数は、フィルタ１２１〜１２Ｍ及び２３に設定され、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。これら以外の部分に関しては、本発明の第２の実施例と同じであるので、説明を省略する。
以上、本発明の第４の実施例は、雑音抑圧の効果に加え、音響エコー抑圧を行うことが可能である。
第５実施例
図１３に第５実施例を示す。第５実施例は、図１２に示した第４実施例において、発話区間に音源位置を検出し、音源位置ごとに共分散行列を求めこれらを保存しておき、雑音区間では雑音に対する共分散行列を求めて保存しておく。次にこれら保存されている共分散行列を用いて雑音と音響エコーを抑圧するフィルタ係数を求める。これらフィルタ係数でマイクロホン受音信号と受話信号をフィルタリングすることで、雑音と音響エコーを抑圧した送話信号を得る。
この第５実施例の構成は、図１０に示した第３実施例において収音レベル推定部１９を除去した構成と同等である。
状態判定部１４では、第３実施例と同様に発話区間、受話区間及び雑音区間を検出する。状態判定部１４の判定結果が発話区間であった場合に、音源位置検出部１５は各音源９ｋの位置を推定する。音源位置の推定方法は、図１で示した第１実施例と同様であるので説明を省略する。
次に、周波数領域変換部１６で受音信号及び受話信号は周波数領域信号に変換され、共分散行列算出部１７に与えられる。
共分散行列算出部１７は、各音源９ｋに対する受音信号と受話信号の共分散行列ＲＳ１Ｓ１（ω）〜ＲＳＫＳＫ（ω）と、受話区間の共分散行列ＲＥＥ（ω）と、雑音区間の共分散行列ＲＮＮ（ω）を算出する。共分散行列記憶部１８は状態判定部１４の判定結果及び音源位置検出部１５の位置検出結果に基づいて、共分散行列ＲＳ１Ｓ１（ω）〜ＲＳＫＳＫ（ω）、ＲＥＥ（ω）、ＲＮＮ（ω）を対応する領域ＭＡ１〜ＭＡＫ、ＭＡＫ＋１、ＭＡＫ＋２に保存する。
フィルタ係数算出部２１は、送話音声が収音されると、音響エコー及び雑音を抑圧するフィルタ係数を計算する。第３実施例と同様に、フィルタ係数行列Ｈ（ω）についての条件式を最小二乗解で解けば、次式
2004071130.tif 000029
となる。ただし、ＣＳ１〜ＣＳＫは各音源に対する感度拘束の重み定数、ＣＥは音響エコー消去量に対する重みの定数、ＣＮは雑音消去量に対する重み定数である。
このようにして求められたフィルタ係数は、フィルタ１２１〜１２Ｍ、２３に設定され、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。これら以外の部分に関しては、本発明の第３の実施例と同じであるので、説明を省略する。この第５実施例により、第４実施例と同様に音響エコーと雑音を抑圧した送話信号を生成することができる。また、第５実施例では、複数音源位置について感度を拘束でき、過去に発話した音源に対しても感度を保持しておくことが可能である。従って、音源位置の移動があっても、過去に発話した音源であれば感度が保持されているので、送話音声の話頭の音質劣化がないという利点がある。
第６実施例
本発明の第６の実施例である収音装置について説明する。
本発明の第６の実施例である収音装置では、本発明の第１〜３、５の実施例である収音装置の各音源位置９ｋに対する感度拘束の重み係数ＣＳ１〜ＣＳＫを時間的に変化させる。
音源９１〜９Ｋに対する時間的に変化する感度拘束の重み係数ＣＳ１〜ＣＳＫは、過去に発話された音源ほど小さくする。その第１の方法は、既に検出されているそれぞれの音源位置の検出時刻から最も最近に検出された音源位置の検出時刻までの経過時間が長いほど重み係数ＣＳｋを小さくする。第２の方法は、Ｋ個の音源位置の検出時刻順に重み係数ＣＳｋを小さくする。
図１４は上記第１の方法を実施する重み係数設定部２１Ｈの機能構成ブロック図を示す。この例では、重み係数設定部２１Ｈは時刻を出力するクロック２１Ｈ１と、音源位置検出ごとに検出された音源９ｋを表す番号ｋをアドレスとしてその検出時刻ｔを上書きする時刻記憶部２１Ｈ２と、重み係数決定部２１Ｈ３とから構成されている。重み係数決定部２１Ｈ３は時刻記録部２１Ｈ２に記録されている音源位置検出時刻に基づいて今回検出された番号ｋ（ｔ）の音源に対し、予め決めた値ＣＳを重み係数ＣＳｋとして与え、その他の番号ｋ≠ｋ（ｔ）に対してはそれぞれの検出時刻ｔｋからの経過時間ｔ−ｔｋによりｑ（ｔ−ｔｋ）ＣＳを重み係数ＣＳｋとして与える。ｑは０＜ｑ≦１の予め決めた値である。このようにして各音源に対して感度拘束の重み係数ＣＳ１〜ＣＳＫが決定され、乗算器２１Ａ１〜２１ＡＫに与えられる。
図１５は上記第２の方法を実施する重み係数設定部２１Ｈの機能構成ブロック図を示す。この例ではクロック２１Ｈ１と、時刻記録部２１Ｈ２と、順序判定部２１Ｈ４と、重み係数決定部２１Ｈ５とから構成されている。順序判定部２１Ｈ４は時刻記録部２１Ｈ２に記録されている時刻から音源９１〜９Ｋの位置検出順（最も新しい順）｛ｋ（ｔ）｝＝｛ｋ（１），．．．，ｋ（Ｋ）｝を判定する。重み係数決定部２１Ｈ５は最も最近の検出音源９ｋ（１）に対し予め決めた値ＣＳを重み係数ＣＳｋ（１）として与える。その他の音源に対し、ＣＳｋ（ｔ＋１）←ｑＣＳｋ（ｔ）をｔ＝１，２，．．．，Ｋ−１までそれぞれ計算して重み係数ＣＳｋ（２），．．．，ＣＳｋ（Ｋ）を得る。これらＣＳｋ（１）〜ＣＳｋ（Ｋ）は｛ｋ（１），．．．，ｋ（Ｋ）｝の順に従って並び替えて重み係数ＣＳ１，．．．，ＣＳＫとして出力される。ｑの値は０＜ｑ＜１の予め決めた値である。
このように各音源位置に対する感度拘束の重みを変化させることにより、過去に発話のあった音源位置に対する感度拘束を減少させることができる。これにより、本発明の第１〜３の実施例である収音装置に比べ、感度拘束する音源数を抑えることができ、収音レベル調整の性能および雑音、音響エコー抑圧性能を向上することができる。
これら以外の部分に関しては、本発明の第１〜３、５等の実施例と同じであるので、説明を省略する。
第７実施例
本発明の第７の実施例である収音装置について説明する。
本発明の第７の実施例である収音装置は、本発明の第１〜６の実施例である収音装置のフィルタ係数算出部２１において、共分散行列ＲＸＸ（ω）を白色化することを特徴とする。図１６は図４のフィルタ係数算出部２１中に破線で示す白色化部２１Ｊ１〜２１ＪＫの１つを代表してその機能構成を示す。この白色化部２１Ｊは対角行列算出部２１ＪＡと、重み付け部２１ＪＢと逆演算部２１ＪＣと、乗算部２１ＪＤとにより構成されている。対角行列算出部２１ＪＡは与えられた共分散行列ＲＸＸ（ω）の対角行列ｄｉａｇ（ＲＸＸ（ω））を生成する。重み付け部２１ＪＢは予め決めた任意のＭ行またはＭ＋１行の行列Ｄに基づく重みにより、次式を計算して対角行列に重みを与える。
2004071130.tif 000030
逆演算部２１ＪＣは式（３４）の逆数
2004071130.tif 000031
を計算する。ただし、Ｔは行列の転置を表す。この逆演算部２１ＪＣの演算結果は入力されたそれぞれの共分散行列ＲＸＸ（ω）と乗算部２１ＪＤで乗算され、白色化された共分散行列が得られる。
共分散行列の白色化により、フィルタ係数算出部２１において求められるフィルタ係数は、送話信号、受話信号、雑音信号のスペクトルの変化に対して、変化しなくなる。これにより、スペクトル変化による収音レベル調整性能、および音響エコー、雑音の抑圧性能の変化がなくなり、定常的な収音レベル調整と音響エコー、雑音抑圧を得ることができる。
これら以外の部分に関しては、本発明の第１〜４の実施例と同じであるので、説明を省略する。
第８実施例
本発明の第８の実施例である収音装置について説明する。
本発明の第８の実施例である収音装置は、本発明の第１〜７の実施例である収音装置の共分散行列記憶部１８が、既に記憶されている共分散行列と、共分散行列算出部１７により新たに算出された共分散行列を平均して、現在の共分散行列として記憶することを特徴とする。
共分散行列の平均は、例えば以下の方法により行われる。既に記憶されている共分散行列をＲＸＸ，ｏｌｄ（ω）とし、共分散行列算出部１７により新たに算出された共分散行列をＲＸＸ，ｎｅｗ（ω）とし、次式
2004071130.tif 000032
により平均された共分散行列ＲＸＸ（ω）を求める。ただし、ｐは、平均の時定数を決定する定数であり、０≦ｐ＜１の値をとる。
図１７は共分散行列記憶部１８とその中に設けられた平均化部１８Ａの機能構成を示す。平均化部１８Ａは乗算器１８Ａ１と、加算器１８Ａ２と、乗算器１８Ａ３とから構成されている。共分散行列算出部１７により算出された音源９ｋに対応する共分散行列ＲＳｋＳｋ（ω）は新共分散行列ＲＳｋＳｋ，ｎｅｗ（ω）として乗算器１８Ａ１に与えられ、（１−ｐ）と乗算され、その乗算結果は加算器１８Ａ２に与えられる。一方、音源９ｋに対応する共分散行列ＲＳｋＳｋ（ω）が記憶領域１８Ｂから読み出され、旧共分散行列ＲＳｋＳｋ，ｏｌｄ（ω）として乗算器１８Ａ３に与えられ、定数ｐと乗算される。その乗算結果は加算器１８Ａ２により乗算器１８Ａ１の出力（１−ｐ）ＲＳｋＳｋ，ｎｅｗ（ω）と加算され、得られた平均共分散行列ＲＳｋＳｋ（ω）が音源９ｋに対応する記憶領域に上書きされる。
以上の方法により、共分散行列を平均して記憶することにより、平均前より回路雑音などの外乱の影響を減らし、正確な共分散行列を求めることができ、従って、収音レベル調整、雑音抑圧、あるいは音響エコー抑圧の性能を向上させたフィルタ係数を決定することができる。
これら以外の部分に関しては、本発明の第１〜５の実施例と同じであるので、説明を省略する。
なお、本発明は専用のハードウェアにより実現することもできるし、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行することもできる。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，不揮発性半導体メモリ、内蔵または外付けハードディスク、等の記憶装置をさす。更に、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送は）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【発明の効果】
次に、本発明による収音装置の第１実施例の有効性を示すために、図１８Ａ，１８Ｂに一辺が２０ｃｍの正方形のそれぞれの角にマイクロホンを配置した場合のシミュレーション結果を示す。シミュレーション条件は、マイクロホン数：４、信号対雑音比：約２０ｄＢ、部屋の残響時間：３００ｍｓ、話者数：２（話者Ａは４つのマイクロホンの中心から正方形の一辺と直角方向に５０ｃｍの位置、話者Ｂは上記中心から話者Ａと９０°成す方向に２００ｃｍの位置）である。これらの条件のもとで、話者Ａと話者Ｂが交互に発音した場合のマイクロホン受音信号波形を図１８Ａに示す。話者Ａと話者Ｂの音声波形を比較すると、話者Ｂの音声の振幅が低くなっていることが分かる。これに対し、本発明により処理を行った後の波形を図１８Ｂに示す。話者Ａと話者Ｂの音声波形の振幅の大きさがほぼ同じとなっており、収音レベル調整の効果が確認できる。
図１９は図１０に示した第３実施例によるシミュレーション結果を示す。シミュレーション条件は、マイクロ本数Ｍ：４，処理前の送話信号対雑音比：２０ｄＢ、送話信号対音響エコー信号比：−１０ｄＢ、部屋の残響時間：３００ｍｓｅｃである。この条件で、送話と受話を交互に繰り返し、そのときの送話信号レベルを図１９に示す。行Ａが処理前の送話信号レベルであり、行Ｂが第３実施例により処理した後の送話信号レベルである。以上の結果より、第３実施例は音響エコー信号を約４０ｄＢ、雑音信号を約１５ｄＢ低減していることがわかり、この発明の実施例が有効であることが確認できる。
以上説明したように、本発明の第１実施例によれば、複数のマイクロホンで受音した信号から音源位置を検出し、音源位置ごとの発話区間の共分散行列に基づきフィルタ係数を算出し、これらのフィルタ係数で、マイクロホン受音信号をフィルタリングして加算することにより、音量を音源位置ごとに調整した送話信号を得ることができる。
この発明の第２実施例によれば、第１実施例において発話区間の共分散行列に加え更に雑音区間の共分散行列を使用してフィルタ係数を決定することにより、収音レベル調整に加えて雑音抑圧が可能になる。
この発明の第３実施例によれば、第１又は第２実施例において、発話区間の共分散行列に加えて更に受話区間における共分散行列を使用してフィルタ係数を決定することにより、音響エコーの抑圧が可能となる。
この発明の第４実施例によれば、発話区間の共分散行列と受話区間の共分散行列を使ってフィルタ係数を決めることにより、受話信号がスピーカで再生され、収音された音響エコーを抑圧することができる。
この発明の第５実施例によれば、第４実施例において、発話区間及び受話区間の共分散行列に加え更に雑音区間の共分散行列を使ってフィルタ係数を決めることにより、更に雑音抑圧が可能となる。
この発明の第６実施例によれば、上記第１、２、３及び５の実施例において、フィルタ係数計算時に、より古い発音の共分散行列に対してより小さい感度拘束の重み係数を与えることにより、収音レベルの調整性能、雑音抑圧性能、あるいは音響エコー抑圧性能を更に向上することができる。
この発明の第７実施例によれば、上記第１乃至第６実施例において、フィルタ係数計算時に、共分散行列を白色かすることにより、信号スベクトルの変化による影響の少ない収音レベル調整、雑音抑圧、音響エコー抑圧を可能にする。
この発明の第８実施例によれば、第１乃至第７実施例において、共分散行列の保存時に、対応する領域に既に保存されている共分散行列との重み付き平均共分散行列で更新保存することにより、よし正確な共分散行列が得られ、収音レベル調整、雑音抑圧、音響エコー抑圧の性能を向上したフィルタ係数を決めることができる。
【図１】
2004071130.tif 000033
【図２】
2004071130.tif 000034
【図３】
2004071130.tif 000035
【図４】
2004071130.tif 000036
【図５】
2004071130.tif 000037
【図６】
2004071130.tif 000038
【図７】
2004071130.tif 000039
【図８】
2004071130.tif 000040
【図９】
2004071130.tif 000041
【図１０】
2004071130.tif 000042
【図１１】
2004071130.tif 000043
【図１２】
2004071130.tif 000044
【図１３】
2004071130.tif 000045
【図１４】
2004071130.tif 000046
【図１５】
2004071130.tif 000047
【図１６】
2004071130.tif 000048
【図１７】
2004071130.tif 000049
2004071130.tif 000050
【図１９】
2004071130.tif 000051
【図２０】
2004071130.tif 000052
【国際調査報告】
2004071130.tif 000053
2004071130.tif 000054
2004071130.tif 000055