(57)【特許請求の範囲】
【請求項１】
音響空間に設置され音源からの音声を収音して収音信号として出力する複数のマイク素子と、
該複数のマイク素子の前記収音信号を比較することにより、いずれかのマイク素子を選択し、選択されたマイク素子の収音信号を通過させる選択部と、
を備えたマイク選択装置であって、
前記選択部は、
各マイク素子の収音信号に含まれる前記音響空間における残響成分を抑圧することにより、各マイク素子の参照信号を生成する残響抑圧部と、
各マイク素子の前記参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイク素子を決定する相関判定部と、
を備え、
前記残響抑圧部は、
前記収音信号の時間変化に追従する第１指標値と、前記第１指標値と比較して低い追従性で前記収音信号の時間変化に追従する第２指標値とを算定する指標値算定部と、
前記第１指標値と前記第２指標値との比に応じて、前記残響成分を抑圧するための調整値を算定する調整値算定部と、
前記収音信号に対して前記調整値を作用させて前記参照信号を生成する残響調整部と
を備えた
マイク選択装置。
【請求項２】
音響空間に設置され音源からの音声を収音する複数のマイク素子と、
スピーカと、
前記複数のマイク素子の各々に設けられ、対応するマイク素子の収音信号から前記スピーカによって放音された音声の回帰音成分を、エコーキャンセルフィルタによってキャンセルし、該回帰音成分がキャンセルされた信号を前記対応するマイク素子の収音信号として出力するエコーキャンセラと、
該複数のマイク素子の前記収音信号を比較することにより、いずれかのマイク素子を選択し、選択されたマイク素子の前記収音信号を通過させる選択部と、
を備えたマイク選択装置であって、
前記選択部は、
各マイク素子の前記収音信号に含まれる前記音響空間における残響成分を抑圧することにより、各マイク素子の参照信号を生成する残響抑圧部と、
各マイク素子の前記参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイク素子を決定する相関判定部と、
を備え、
前記残響抑圧部は、
前記エコーキャンセラから取り出された前記エコーキャンセルフィルタのフィルタ係数列に基づき、前記スピーカおよび前記マイク素子が存在する空間の周波数帯域毎の残響時間を推定する残響時間推定部と、
推定された周波数帯域毎の残響時間に基づき、残響時間の長い周波数帯域を抑制するフィルタ係数を算出するフィルタ係数算出部と、
前記フィルタ係数算出部によって算出されたフィルタ係数を用いて、前記収音信号から前記残響成分をフィルタリングする残響抑圧フィルタと、
を備えた
マイク選択装置。
【請求項３】
前記残響抑圧部は、前記収音信号の特定の周波数を固定的にカットまたは抑制する低域制御フィルタをさらに備えた請求項１または請求項２に記載のマイク選択装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載のマイク選択装置を備えた複数のマイクユニットと、各マイクユニットが収音した音声信号を受け取る本体装置とを有するマイクシステムであって、
各マイクユニットは、少なくとも３つのマイク素子を備え、該マイクユニット内で選択されたマイク素子の収音信号を本体装置に出力するとともに、各マイク素子の参照信号に基いて該マイクユニットの参照信号を生成して本体装置に出力し、
前記本体装置は、各マイクユニットの参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイクユニットを決定する信号判定部を備えた
マイクシステム
【請求項５】
少なくとも３つのマイク素子および請求項１乃至請求項３のいずれかに記載のマイク選択装置を備えた複数のマイクユニットと、各マイクユニットが収音した音声信号を受け取る本体装置とを有するマイクシステムのマイク選択方法であって、
各マイクユニットが、自ユニット内の各マイク素子の参照信号に基づいて、自ユニットにおいて選択すべきマイク素子を決定するステップと、
各マイクユニットが、自ユニット内の各マイク素子の参照信号に基づいて自ユニットの参照信号を生成するステップと、
各マイクユニットが、前記自ユニットにおいて選択されたマイク素子の収音信号、および、前記自ユニットの参照信号を、前記本体装置へ送信するステップと、
前記本体装置が、各マイクユニットの参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイクユニットを決定するステップと、
を有するマイクシステムのマイク選択方法。
【請求項６】
音響空間に設置され音源からの音声を収音して収音信号として出力する複数のマイクユニットと、
該複数のマイクユニットの前記収音信号から残響成分を抑圧して生成された参照信号を比較することにより、いずれかのマイクユニットを選択し、選択されたマイクユニットの収音信号を通過させる選択部と、
を備えたマイク選択装置であって、
前記選択部は、
各マイクユニットの参照信号ごとに、信号レベルが所定のしきい値を超えているかに基づいて各マイクユニットの信号レベルを正、負、または０のポイントで評価し、
各マイクユニットの参照信号間の相互相関を判定し、各マイクユニットの参照信号の信号位相の遅速に基づいて各マイクユニットの相関を正、負、または０のポイントで評価し、
前記信号レベルの評価ポイントおよび前記相関の評価ポイントの合計値に基づいて、選択すべきマイクユニットを決定する
マイク選択装置。
【請求項７】
前記選択部は、
各マイクユニットの参照信号を複数の周波数帯域毎の帯域信号に分割し、
各マイクユニットの参照信号ごとに、各帯域信号の信号レベルが所定のしきい値を超えているかを判定し、
各マイクユニットの帯域信号間の相互相関を、周波数帯域ごとに判定する
請求項６に記載のマイク選択装置。
【請求項８】
複数のマイクユニットと、各マイクユニットから入力される収音信号から外部出力する収音信号を選択する本体装置とを有するマイクシステムであって、
各マイクユニットは、
音響空間に設置され音源からの音声を収音して前記収音信号として出力する複数のマイク素子と、
各マイク素子の収音信号から残響成分を抑圧して生成され、各マイク素子の選択に用いられる参照信号を生成し、これら参照信号を比較することによりいずれかのマイク素子を選択し、選択されたマイク素子の収音信号を前記本体装置に出力するとともに、前記各マイク素子の参照信号に基づいて生成された該マイクユニットの参照信号を前記本体装置に出力する選択部と、
を備え、
前記本体装置は、
各マイクユニットの参照信号ごとに、信号レベルが所定のしきい値を超えているかに基づいて各マイクユニットの信号レベルを評価し、
各マイクユニットの参照信号間の相互相関を判定し、各マイクユニットの参照信号の信号位相の遅速に基づいて各マイクユニットの相関を評価し、
前記信号レベルの評価内容および前記相関の評価内容に基づいて、選択すべきマイクユニットを決定し、選択されたマイクユニットから入力された収音信号を外部に出力する
マイクシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、同一の音源の音声を収音している複数のマイクから、最適のものを選択するマイク選択装置、マイクシステムおよびマイク選択方法に関する。
【背景技術】
【０００２】
拠点間をネットワークで接続して音声を送受信する音声会議システムが実用化されている。音声会議システムには、複数のマイクを設置し、広範囲をカバーするものも提案されている（例えば特許文献１参照）。この種の音声会議システムでは、複数のマイクのうちどのマイクを選択するか、または、どのマイクの方向にカメラを向けるかが問題になる。このため、発言者（音源）に最も近いマイクを検出して、そのマイクを収音用マイクとして選択し、且つ、その方向にカメラを向けることが好適である。
【０００３】
図２３は、従来のマイク選択装置を説明する図である。２つのマイクＭ１、Ｍ２が収音した音声信号が、収音信号切替部および相互相関係数算出部に入力されている。相互相関係数算出部が、これら２つの収音信号の相互相関係数を算出してそのピーク位置を求める。ピーク位置が中立（同時）からどちらにずれているかによって、マイクＭ１，Ｍ２のうちどちらが音源Ｓに近いかを判定し、収音信号切替部に対して選択ＩＤを出力する。収音信号切替部は、選択ＩＤに従って信号を切り替え、選択された信号を所望信号として出力する。
【０００４】
また、特許文献２は、２つのマイクが収音した音声信号をそれぞれ複数の周波数成分に分割し、各周波数成分について両マイクの信号の位相差を求め、この位相差に基づいて、両マイクの収音時間差すなわち音源の方向を推定する。全ての周波数成分に基づいて推定された音源方向をヒストグラムで集計し、最も度数の高かった方向を音源方向とするものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６７２３２０号公報
【０００６】
【特許文献２】特許第４８７２８７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
図２３に示した相互相関係数によるマイク（収音信号）の選択は、２つのマイクＭと音源Ｓとの距離の差が小さくても精度良く音源Ｓに近いマイクＭを割り出すことができる。しかしながら、図２４に示すように、マイクＭ１，Ｍ２および音源Ｓが、会議室など反射による残響が生じる空間に設置されている場合、相互相関波形に反射音によるピークが表れてしまう。残響が複雑な場合には、相互相関波形がより崩れたものになってしまう。このため、ピーク位置を正確に検出することができず、正確なマイクの選択ができなくなってしまう問題点がある。特に、発言者の発言が間欠的である場合などは、発言の合間に残響の影響が強く現れる。たとえば、発言が途切れた瞬間は、直接音がなく反射音（残響）のみが到来しているため、反射音に引き寄せられてマイクの選択が切り換わってしまい、発言が途切れるごとにマイクの選択がばたついてしまうという問題が生じる。
【０００８】
特許文献２のものは、ヒストグラム上に加算する度数を正規分布させ、残響などのノイズの大きさに応じてその分布の広さを可変しているが、残響やノイズを抑圧処理した後の信号を用いて方位を推定することは行っていない。
【０００９】
この発明は、残響のある空間でも正確なマイク選択が可能なマイク選択装置、マイクシステムおよびマイク選択方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のマイク選択装置は、音響空間に設置され音源からの音声を収音して収音信号として出力する複数のマイク素子と、複数のマイク素子の収音信号を比較することによりいずれかのマイク素子を選択し、選択されたマイク素子の収音信号を通過させる選択部とを備える。選択部は、各マイク素子の収音信号に含まれる音響空間における残響成分を抑圧することにより、各マイク素子の参照信号を生成する残響抑圧部と、各マイク素子の前記参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイク素子を決定する相関判定部と、を備える。残響抑圧部は、収音信号の時間変化に追従する第１指標値と、第１指標値と比較して低い追従性で前記収音信号の時間変化に追従する第２指標値とを算定する指標値算定部と、第１指標値と前記第２指標値との比に応じて、前記残響成分を抑圧するための調整値を算定する調整値算定部と、収音信号に対して前記調整値を作用させて前記参照信号を生成する残響調整部とを備える。
【００１１】
本発明のマイク選択装置は、音響空間に設置され音源からの音声を収音する複数のマイク素子と、スピーカと、複数のマイク素子の各々に設けられ、対応するマイク素子の収音信号からスピーカによって放音された音声の回帰音成分をキャンセルし、該回帰音成分がキャンセルされた信号を対応するマイク素子の収音信号として出力するエコーキャンセラと、複数のマイク素子の収音信号を比較することにより、いずれかのマイク素子を選択し、選択されたマイク素子の収音信号を通過させる選択部とを備える。選択部は、各マイク素子の収音信号に含まれる音響空間における残響成分を抑圧することにより、各マイク素子の参照信号を生成する残響抑圧部と、各マイク素子の前記参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイク素子を決定する相関判定部と、を備える。残響抑圧部は、エコーキャンセラから取り出されたエコーキャンセルフィルタのフィルタ係数列に基づき、スピーカおよび前記マイク素子が存在する空間の周波数帯域毎の残響時間を推定する残響時間推定部と、推定された周波数帯域毎の残響時間に基づき、残響時間の長い周波数帯域を抑制するフィルタ係数を算出するフィルタ係数算出部と、フィルタ係数算出部によって算出されたフィルタ係数を用いて、収音信号から前記残響成分をフィルタリングする残響抑圧フィルタと、を備える。
【００１２】
本発明のマイク選択装置は、音響空間に設置され音源からの音声を収音して収音信号として出力する複数のマイクユニットと、複数のマイクユニットの収音信号から残響成分を抑圧して生成された参照信号を比較することにより、いずれかのマイクユニットを選択し、選択されたマイクユニットの収音信号を通過させる選択部と、を備える。選択部は、各マイクユニットの参照信号ごとに、信号レベルが所定のしきい値を超えているかに基づいて各マイクユニットの信号レベルを正、負、または０のポイントで評価し、各マイクユニットの参照信号間の相互相関を判定し、各マイクユニットの参照信号の信号位相の遅速に基づいて各マイクユニットの相関を正、負、または０のポイントで評価し、信号レベルの評価ポイントおよび相関の評価ポイントの合計値に基づいて選択すべきマイクユニットを決定する。
【００１３】
上記発明において、残響抑圧部が音声を含む残響成分の特定の周波数を固定的にカットまたは抑制する低域制御フィルタをさらに備えていてもよい。
【００１４】
上記発明において、選択部が各マイク素子の収音した音声の信号レベルを比較する信号レベル比較部を備えてもよい。
【００１５】
この発明のマイクシステムは、上述したマイク選択装置を備えた複数のマイクユニットと、各マイクユニットが収音した音声信号を受け取る本体装置とを有する。各マイクユニットは、少なくとも３つのマイク素子を備え、該マイクユニット内で選択されたマイク素子の収音信号を本体装置に出力するとともに、各マイク素子の参照信号に基いて該マイクユニットの参照信号を生成して本体装置に出力する。本体装置は、各マイクユニットの参照信号間の相互相関を算出し、この相互相関に基づいて選択すべきマイクユニットを決定する信号判定部を備える。
【００１６】
この発明のマイク選択方法は、少なくとも３つのマイク素子および上述のマイク選択装置を備えた複数のマイクユニットと、各マイクユニットが収音した音声信号を受け取る本体装置とを有するマイクシステムで実行され、各マイクユニットが、自ユニット内の各マイク素子の参照信号に基づいて、自ユニットにおいて選択すべきマイク素子を決定するステップ、各マイクユニットが、自ユニット内の各マイク素子の参照信号に基づいて自ユニットの参照信号を生成するステップ、各マイクユニットが、自ユニットにおいて選択されたマイク素子の収音信号および自ユニットの参照信号を本体装置へ送信するステップ、および、本体装置が、各マイクユニットの参照信号間の相互相関を算出し、該相互相関に基づいて選択すべきマイクユニットを決定するステップ、を有する。
【００１７】
この発明のマイクシステムは、複数のマイクユニットと、各マイクユニットから入力される収音信号から外部出力する収音信号を選択する本体装置とを有する。各マイクユニットは、音響空間に設置され音源からの音声を収音して収音信号として出力する複数のマイク素子と、各マイク素子の収音信号から残響成分を抑圧して生成され、各マイク素子の選択に用いられる参照信号を生成し、これら参照信号を比較することによりいずれかのマイク素子を選択し、選択されたマイク素子の収音信号を本体装置に出力するとともに、各マイク素子の参照信号に基づいて生成されたこのマイクユニットの参照信号を本体装置に出力する選択部と、を備える。本体装置は、各マイクユニットの参照信号ごとに、信号レベルが所定のしきい値を超えているかに基づいて各マイクユニットの信号レベルを評価し、各マイクユニットの参照信号間の相互相関を判定し、各マイクユニットの参照信号の信号位相の遅速に基づいて各マイクユニットの相関を評価し、信号レベルの評価内容および相関の評価内容に基づいて、選択すべきマイクユニットを決定し、選択されたマイクユニットから入力された収音信号を外部に出力する。
【発明の効果】
【００１９】
この発明によれば、収音信号から残響を抑圧した参照信号を用いて判定することにより、反射や残響のある空間でも相互相関関数に基づいて適格なマイク（収音信号）の選択が可能になる。
【図面の簡単な説明】
【００２０】
【図１】この発明の実施形態であるマイク選択装置のブロック図である。
【図２】マルチパス残響抑圧部のブロック図である。
【図３】解析処理部のブロック図である。
【図４】第１指標値と第２指標値と調整値との関係の説明図である。
【図５】音声信号の到来方向に応じて複数のマイクへ到達した音声信号に生じる位相差を説明する図である。
【図６】信号判定部のブロック図である。
【図７】この発明の他の実施形態であるマイク選択装置のブロック図である。
【図８】この発明が適用される音声会議システムの設置形態の一例を示す図である。
【図９】会議室における音声の反射の形態を説明する図である。
【図１０】音声会議システムの収音器のブロック図である。
【図１１】音声会議システムの収音器のマイクの指向性を示す図である。
【図１２】収音器の回帰音エコーキャンセラのブロック図である。
【図１３】収音器の音声選択部のブロック図である。
【図１４】音声選択部のマルチパス残響抑圧部のブロック図である。
【図１５】残響抑圧のプロセスの流れを示す図である。
【図１６】パラメータ推定部において現れる信号波形を例示した図である。
【図１７】マルチパス残響抑圧部の補正特性算出部のゲインテーブルの例を示す図である。
【図１８】音声会議システムの通信器のブロック図である。
【図１９】通信器の音声選択部のブロック図である。
【図２０】相互相関係数を算出する一対一の組み合わせを示す図である。
【図２１】マイク（収音器）を略直線状に配列した音声会議システムの例を示す図である。
【図２２】信号レベルと位相進度を用いてマイクを選択する手法を説明する図である。
【図２３】従来のマイク選択装置のブロック図である。
【図２４】従来のマイク選択装置で、反射による残響が生じた場合の相互相関係数波形の変化を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施形態について説明する。図１は、この発明の第１の実施形態であるマイク選択装置Ｄのブロック図である。マイク選択装置Ｄは、複数（この実施形態では２つ）のマイクＭ（Ｍ１、Ｍ２）で、音源Ｓの音声を収音し、収音した音声信号ＳｃからどのマイクＭが音源Ｓに最も近いかを判定し、最も近いと判定されたマイクＭで収音された音声信号を所望信号Ｓｄとして出力する。マイク選択装置Ｄは、音声信号をデジタル処理するプロセッサ、および、該プロセッサに所望の動作をさせるためのプログラムとを有するコンピュータシステムで実現される。マイク選択装置Ｄは、マイクＭ１，Ｍ２にそれぞれ対応する２つのエコーキャンセラ１０５、マルチパス残響抑圧部１１０、信号判定部１１１および信号切換部１１２を有している。
【００２２】
エコーキャンセラ１０５は、図示しないスピーカから放音された音声が回帰音としてマイクＭに収音されるとエコーの原因となるが、エコーキャンセラ１０５は、回帰音をキャンセルしてエコーを防止する。エコーキャンセラ１０５は、スピーカから放音される音声信号および会議室Ｃの推定された伝達関数に基いてフィルタ係数を算出し、この係数のフィルタでマイクＭの収音信号をフィルタリングすることで、回帰音を除去する。また、図１に示すように、会議室Ｃなどの壁や天井を有する空間では音源Ｓが発生した音声は直接マイクＭに到達するのみならず、壁や天井で反射した成分もマイクＭに到達する。このように、一つの音声信号が距離の異なる複数の経路を経てマイクに到来し、残響を生じさせることをマルチパスと言う。マルチパス残響抑圧部１１０は、マイクＭ（Ｍ１、Ｍ２）が収音した音声信号から、直接音（どこかで反射することなく音源から直接到来した音）の波形を残し、反射音（壁などで１回以上反射して到来した音）の波形を抑圧するための信号処理部である。マルチパス残響抑圧部１１０の詳細構成は、後で図２−図４を参照して詳述する。マルチパス残響抑圧部１１０から出力された音声信号は、反射音の成分が抑圧されることにより、相対的に直接音成分が強調された信号となっている。この残響抑圧された信号が、マイク選択のための参照信号Ｓｒとして信号判定部１１１に入力される。
【００２３】
信号判定部１１１は、マルチパス残響抑圧部１１０から入力されたマイクＭ１，Ｍ２のそれぞれに対応する参照信号Ｓｒ（Ｓｒ１，Ｓｒ２）に基いて、どちらのマイクＭ１，Ｍ２が音源Ｓに近いかを判定する。信号判定部１１１は、マイクＭ１，Ｍ２の参照信号Ｓｒの相互相関を求めることにより、どちらのマイクＭ１，Ｍ２が音源Ｓに近いかを判定して信号切換部１１２に選択ＩＤを出力する。信号判定部１１１の詳細な動作は、図６，図７を参照して後述する。
【００２４】
参照信号Ｓｒは、直接音成分が強調され、反射音成分が抑圧されているため、相互相関を求めた場合に、直接音成分同士の相互相関が求められ、音源ＳとマイクＭ１，Ｍ２間の距離に応じた相関波形を得ることができる。以上の処理により、複数のマイクＭがそれぞれ収音した音声信号Ｓｃの音量レベルに殆ど差がない場合でも、収音した信号波形の時間差を正確に推定することができ、音源Ｓに最も近いマイクＭを的確に選択する事が可能になる。
【００２５】
信号切換部１１２には、マイクＭ１の収音信号およびマイクＭ２の収音信号Ｓｃがそれぞれ入力される。信号切換部１１２は、信号判定部１１１から入力される選択ＩＤに基いて、マイクＭ１，Ｍ２の収音信号Ｓｃのいずれか一方を所望信号Ｓｄとして出力する。
【００２６】
マルチパス残響抑圧部１１０の構成を図２−図４を参照して説明する。図２−図４に示すマルチパス残響抑圧部１１０は、時定数の異なる２つのフィルタを用いて残響の生じている周波数帯域を割り出し、この周波数帯域を抑制するフィルタを形成して音声信号をフィルタリングすることにより、残響を抑圧するものである。ただし、本発明のマルチパス残響抑圧部１１０が、この構成に限定されないことは勿論である。
【００２７】
図２は、マルチパス残響抑圧部１１０のブロック図である。図２に示すように、マルチパス残響抑圧部１１０にはマイクＭおよび信号判定部１１１が接続される。マイクＭは、収音した音声信号Ｓｃ＝ｘ(t)をマルチパス残響抑圧部１１０に供給する。音声信号ｘ(t)は、発音源から収音点に対して直接的に到来する直接音に会議室Ｃなどの音響空間内での反射後に収音点に到来する残響（初期反射音および後部残響音）が重畳された時間領域の信号である（ｔ：時間）。マルチパス残響抑圧部１１０は、音声信号ｘ(t)の残響成分（特に後部残響音）を抑圧した参照信号Ｓｒ＝ｙs(t)を生成する。
【００２８】
マルチパス残響抑圧部１１０は、演算処理装置２２２と記憶装置２２４とを備えるコンピュータシステムで実現される。記憶装置２２４は、演算処理装置２２２が実行するプログラムＰGMや演算処理装置２２２が使用する各種のデータを記憶する。演算処理装置２２２は、記憶装置２２４に格納されたプログラムＰGMを実行することで、音声信号ｘ(t)から参照信号ｙs(t)を生成するための複数の機能（周波数分析部２３２，解析処理部２３４，残響調整部２３６，波形合成部２３８）を実現する。
【００２９】
周波数分析部２３２は、音声信号ｘ(t)のスペクトル（複素スペクトル）Ｘ(k,m)を時間軸上の単位期間（フレーム）毎に順次に生成する。記号ｋは、周波数軸上の任意の１個の周波数（帯域）を指定する変数であり、記号ｍは、時間軸上の任意の１個の単位期間（時間軸上の特定の時点）を指定する変数である。スペクトルＸ(k,m)の生成には、短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。なお、周波数分析部２３２として、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを採用してもよい。
【００３０】
解析処理部２３４は、音声信号ｘ(t)のスペクトルＸ(k,m)に応じた調整値Ｇs(k,m)を各単位期間にて周波数毎に算定する。調整値Ｇs(k,m)は、音声信号ｘ(t)の残響成分（特に後部残響音）を抑圧するための変数である。概略的には、第ｍ番目の単位期間の音声信号ｘ(t)のうち第ｋ番目の周波数の成分において残響成分（後部残響音）が優勢であるほど調整値Ｇs(k,m)は小さい数値に設定されるという傾向がある。
【００３１】
残響調整部２３６は、解析処理部２３４が算定する調整値Ｇs(k,m)を音声信号ｘ(t)に作用させる。残響調整部２３６による調整は、各周波数について単位期間毎に順次に実行される。具体的には、残響調整部２３６は、音声信号ｘ(t)のスペクトルＸ(k,m)に対し、当該スペクトルＸ(k,m)と共通の単位期間および周波数について算定された調整値Ｇs(k,m)を乗算することで、参照信号ｙs(t)のスペクトルＹs(k,m)を算定する。すなわち、「Ｙs(k,m)＝Ｇs(k,m)Ｘ(k,m)」である。調整値Ｇs(k,m)は、音声信号ｘ(t)のスペクトルＸ(k,m)に対するゲインに相当する。
【００３２】
波形合成部２３８は、残響調整部２３６が単位期間毎に生成するスペクトルＹs(k,m)から時間領域の参照信号ｙs(t)を生成する。すなわち、波形合成部２３８は、各単位期間のスペクトルＹs(k,m)を短時間逆フーリエ変換で時間領域の信号に変換するとともに相前後する単位期間について相互に連結することで参照信号ｙs(t)を生成する。波形合成部２３８が生成した参照信号ｙs(t)が、マイクＭ１またはＭ２のいずれを選択するかを判定するための信号として音声選択部１１１に出力される。
【００３３】
図３は、解析処理部２３４のブロック図である。解析処理部２３４は、指標値算定部２４２Ａと調整値算定部２４４とを備える。指標値算定部２４２Ａは、音声信号ｘ(t)に応じた第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)を順次に算定する。具体的には、指標値算定部２４２Ａは、第１平滑部２５１と第２平滑部２５２とを含んで構成される。第１平滑部２５１は、音声信号ｘ(t)のパワー|Ｘ(k,m)|^2の時系列を短い時定数で平滑化することで各周波数の第１指標値Ｑ1(k,m)を単位期間毎に順次に算定する。同様に、第２平滑部５２は、音声信号ｘ(t)のパワー|Ｘ(k,m)|^2の時系列を長い時定数で平滑化することで各周波数の第２指標値Ｑ2(k,m)を単位期間毎に順次に算定する。
【００３４】
第１指標値Ｑ1(k,m)は、以下の数式(1A)で定義されるように、相前後するＮ1個（Ｎ1は１以上の自然数）の単位期間で構成される第１期間内におけるパワー|Ｘ(k,m)|^2の移動平均（単純移動平均）である。第１期間は、例えば第ｍ番目の単位期間を最後尾とするＮ1個の単位期間の集合である。他方、第２指標値Ｑ2(k,m)は、以下の数式(1B)で定義されるように、相前後するＮ2個（Ｎ2は２以上の自然数）の単位期間で構成される第２期間内におけるパワー|Ｘ(k,m)|^2の移動平均である。第２期間は、例えば第ｍ番目の単位期間を最後尾とするＮ2個の単位期間の集合である。以上の説明から理解されるように、第１平滑部２５１および第２平滑部２５２はＦＩＲ（finite impulse response）型のローパスフィルタに相当する。なお、個数Ｎ1を１に設定した構成（すなわち、音声信号ｘ(t)のパワー|Ｘ(k,m)|^2自体を第１指標値Ｑ1(k,m)として利用する構成）を採用してもよい。
【００３５】
【数１】
0006631010.tif 000002
【００３６】
第２指標値Ｑ2(k,m)の算定に加味される単位期間の個数Ｎ2は、第１指標値Ｑ1(k,m)の算定に加味される単位期間の個数Ｎ1を上回る（Ｎ2＞Ｎ1）。すなわち、第２期間は第１期間よりも長い。例えば、第１期間は１００ミリ秒から３００ミリ秒程度の時間に設定され、第２期間は３００ミリ秒から６００ミリ秒程度の時間に設定される。したがって、第２平滑部２５２による平滑化の時定数τ2は第１平滑部２５１による平滑化の時定数τ1を上回る（τ2＞τ1）。第１平滑部２５１および第２平滑部２５２をローパスフィルタで実現する場合を想定すると、第２平滑部２５２の遮断周波数が第１平滑部２５１の遮断周波数を下回ると換言することも可能である。
【００３７】
図４（Ｂ）は、音声信号ｘ(t)の任意の周波数について算定される第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)の時間変化のグラフである。図４（Ａ）のようにパワー|Ｘ(k,m)|^2（パワー密度）が指数減衰する室内インパルス応答（RIR）を音声信号ｘ(t)としてマルチパス残響抑圧部１００に供給した場合の第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)が図４（Ｂ）には図示されている。
【００３８】
図４（Ｂ）から理解されるように、第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)は、音声信号ｘ(t)のパワー|Ｘ(k,m)|^2に追従して経時的に変化する。ただし、第２平滑部５２による平滑化の時定数τ2は第１平滑部５１による平滑化の時定数τ1を上回るから、第２指標値Ｑ2(k,m)は、第１指標値Ｑ1(k,m)と比較して低い追従性（変化率）で音声信号ｘ(t)のパワー|Ｘ(k,m)|^2の時間変化に追従する。具体的には、図４（Ｂ）に示すように、室内インパルス応答の開始の時点ｔ0の直後の区間では、第１指標値Ｑ1(k,m)が第２指標値Ｑ2(k,m)を上回る変化率で増加する。そして、第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)は、時間軸上の相異なる時点でピークに到達し、第１指標値Ｑ1(k,m)は第２指標値Ｑ2(k,m)を上回る変化率で減少する。
【００３９】
以上のように第１指標値Ｑ1(k,m)と第２指標値Ｑ2(k,m)とは相異なる変化率で変化するから、第１指標値Ｑ1(k,m)と第２指標値Ｑ2(k,m)との大小は時間軸上の特定の時点ｔxで反転する。すなわち、時点ｔ0から時点ｔxまでの区間ＳAでは第１指標値Ｑ1(k,m)が第２指標値Ｑ2(k,m)を上回り、時点ｔx以降の区間ＳBでは第２指標値Ｑ2(k,m)が第１指標値Ｑ1(k,m)を上回る。区間ＳAは、室内インパルス応答の直接音が存在する区間に相当し、区間ＳBは、室内インパルス応答の後部残響音が存在する区間に相当する。
【００４０】
図３の調整値算定部２４４は、指標値算定部２４２Ａが算定した第１指標値Ｑ1(k,m)と第２指標値Ｑ2(k,m)とに応じた調整値Ｇs(k,m)を各周波数について単位期間毎に順次に算定する。第１実施形態の調整値算定部２４４は、比算定部２６２と閾値処理部２６４とを含んで構成される。
【００４１】
比算定部２６２は、第１指標値Ｑ1(k,m)と第２指標値Ｑ2(k,m)との比Ｒ(k,m)を算定する。具体的には、比算定部２６２は、以下の数式(2)で表現される通り、第２指標値Ｑ2(k,m)に対する第１指標値Ｑ1(k,m)の比Ｒ(k,m)を単位期間毎に算定する。
【００４２】
【数２】
0006631010.tif 000003
【００４３】
図３の閾値処理部２６４は、比算定部２６２が算定した比Ｒ(k,m)と所定値Ｇmaxおよび所定値Ｇminとを比較した結果に応じた調整値Ｇs(k,m)を単位期間毎に算定する。所定値Ｇmaxおよび所定値Ｇminは、例えば利用者からの指示に応じて事前に設定されて比Ｒ(k,m)と比較されるしきい値である。第１実施形態では、所定値Ｇmaxを１に設定した場合を例示する。所定値Ｇminは、所定値Ｇmaxを下回る数値（０以上かつ１未満の範囲内の数値）に設定される。
【００４４】
具体的には、しきい値処理部２６４は、以下の数式(3)の演算を実行する。第１に、比Ｒ(k,m)が所定値Ｇmax（Ｇmax＝１）を上回る場合（Ｒ(k,m)≧Ｇmax）、しきい値処理部2２６４は、所定値Ｇmaxを調整値Ｇs(k,m)として設定する。第２に、比Ｒ(k,m)が所定値Ｇminを下回る場合（Ｒ(k,m)≦Ｇmin）、しきい値処理部２６４は、所定値Ｇminを調整値Ｇs(k,m)として設定する。第３に、比Ｒ(k,m)が所定値Ｇmaxと所定値Ｇminとの間の数値である場合（Ｇmin＜Ｒ(k,m)＜Ｇmax）、しきい値処理部２６４は、比Ｒ(k,m)を調整値Ｇs(k,m)として設定する。
【００４５】
【数３】
0006631010.tif 000004
【００４６】
第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)が図４（Ｂ）のように変化する場合の調整値Ｇs(k,m)の変化が図４（Ｃ）に図示されている。図４（Ｃ）から理解されるように、概略的には、第１指標値Ｑ1(k,m)が第２指標値Ｑ2(k,m)を上回る場合（区間ＳA）の調整値Ｇs(k,m)は、第１指標値Ｑ1(k,m)が第２指標値Ｑ2(k,m)を下回る場合（区間ＳB）の調整値Ｇs(k,m)よりも大きい数値となる。具体的には、第１指標値Ｑ1(k,m)が第２指標値Ｑ2(k,m)を上回る区間ＳA内では比Ｒが所定値Ｇmax（Ｇmax＝１）を上回るから、調整値Ｇs(k,m)は所定値Ｇmaxに維持される。また、第１指標値Ｑ1(k,m)が第２指標値Ｑ2(k,m)を下回る区間ＳBのうち比Ｒが所定値Ｇminを上回る区間ＳB1では、調整値Ｇs(k,m)は比Ｒ(k,m)に設定されて経時的に減少する。そして、区間ＳBのうち比Ｒが所定値Ｇminを下回る区間ＳB2では、調整値Ｇs(k,m)は所定値Ｇminに維持される。
【００４７】
すなわち、第１実施形態の調整値Ｇs(k,m)は、直接音および初期反射音が存在する区間ＳAでは所定値（最大値）Ｇmaxに設定され、後部残響音が存在する区間ＳBでは所定値（最小値）Ｇminまで経時的に減少する。したがって、残響調整部３６が音声信号ｘ(t)に調整値Ｇs(k,m)を作用させることで、音声信号ｘ(t)の残響成分を抑圧（直接音を強調）した参照信号ｙs(t)が生成される。
【００４８】
以上のように、音声信号ｘ(t)の時間変化に追従する第１指標値Ｑ1(k,m)および第２指標値Ｑ2(k,m)の比Ｒ(k,m)に応じて調整値Ｇs(k,m)が算定されるから、簡便な処理で音声信号ｘ(t)の残響成分を抑圧できる。
【００４９】
図１において、信号判定部１１１は、２つの参照信号Ｓｒの相互相関に基いて、マイクＭ１，Ｍ２のどちらが音源Ｓに近いかを判定し、音源Ｓに近いと判定されたマイクＭを選択する選択信号（選択ＩＤ）を出力する。図５は、相互相関による音源Ｓの方向推定の手法を説明する図である。図５（Ａ）に示すように、音源ＳがマイクＭ１，Ｍ２の正面から左側（マイクＭ１側）にθの角度の方向にあるとする。この場合、マイクＭ１がマイクＭ２よりもｄだけ音源Ｓに近い。したがって、マイクＭ１，Ｍ２が収音した信号（参照信号Ｓｒ１，Ｓｒ２）を比較すると、図５（Ｂ）のように、マイクＭ１の参照信号Ｓｒ２がマイクＭ２の参照信号Ｓｒ１よりもｔｄだけ位相が遅れている。信号判定部１１１は、この位相差を検出することにより、音源Ｓの方向すなわちどちらのマイクＭ１，Ｍ２が音源Ｓに近いかを判定する。
【００５０】
相互相関による位相差の検出は、一般的には、両方の信号Ｓｒ１，Ｓｒ２の瞬時値同士を乗算したものを加算合成する畳み込み積分の演算を、一方の信号波形（例えばＳｒ２）をもう一方の信号波形（例えばＳｒ１）の時間軸上を平行移動させながら繰り返し行うことで実現される。この積分値がピークになった時間軸上の位置が、両信号Ｓｒ１，Ｓｒ２の位相差に対応している。この相関値を演算式で表すと、数４のようになる。
【００５１】
【数４】
0006631010.tif 000005
【００５２】
この実施形態では、参照信号Ｓｒ１，Ｓｒ２をそれぞれ複数の周波数帯域に分割し、各周波数帯域の成分信号毎に相互相関を求めて集計し、その集計結果に基づきマイクＭ１、Ｍ２のうちどちらが音源Ｓに近いかを判断するようにしている。分割する周波数帯域は任意であるが、例えば、３１５Ｈｚ〜８０００Ｈｚまでを１５のチャンネルに分割するなどの帯域分割を行えばよい。信号判定部１１１の構成を図６を参照して説明する。
【００５３】
図６は、信号判定部１１１のブロック図である。信号判定部１１１は、周波数分割部１２０、位相差判定部１２１、度数積算部１２２およびマイク選択部１２３を有している。周波数分割部１２０は、マルチパス残響抑圧部１１０から入力された参照信号Ｓｒ１，Ｓｒ２をそれぞれ複数の周波数帯域に分割する。位相差判定部１２１は、各周波数帯域に分割された成分信号について、図５に示した相互相関を求める。ここでは、図５のように音源Ｓの方向を推定する必要はなく、参照信号Ｓｒ１の成分信号および参照信号Ｓｒ２の成分信号のどちらが位相的に先であるか、すなわち、マイクＭ１，Ｍ２のどちらに先に音声信号が到達したか判定されればよい。度数積算部１２２は、各周波数帯域毎に判定されたマイクＭ１，Ｍ２のどちらに音声信号が先に到達したかの判定結果を集計する。そして、マイク選択部１２３は、その集計結果に基いてマイクＭ１，Ｍ２のいずれかを選択する。すなわち、音声信号が先に到達したと判定された度数の多い方のマイクＭが音源Ｓに近いと判断して、そのマイクＭを選択する。マイク選択部１２３は、この選択結果を選択ＩＤとして信号切換部１１２に出力する。
【００５４】
信号判定部１１１は、短い間隔、例えば、４ミリ秒毎に相互相関係数の算出を行って、どのマイクＭが音源Ｓに最も近いかを判定する。そして、この判定結果を複数回（例えば５０回程度）移動平均した結果を選択ＩＤとして出力する。このようにすることにより、音源Ｓが移動してもリアルタイムに追従することができるとともに、複数のマイクＭが音源Ｓに対してほぼ等距離にある場合でもチャタリングを無くすことができる。また、信号切換部１１２は、入力された収音信号Ｓｃを単に切り換えるものであってもよいが、選択ＩＤが切り換わったとき、今まで選択されていた収音信号Ｓｃから新たに選択された収音信号Ｓｃへクロスフェードするミキサ機能を備えたものであってもよい。これにより、選択が切り換わった場合でも出力される音声信号が不連続にならず、耳障りなノイズが発生することがなくなる。
【００５５】
図７は、図１に示したマイク選択装置の変形例を示す図である。この実施形態では、マルチパス残響抑圧部１１０の後段にエコーキャンセラ１１３を設けている。エコーキャンセラ１１３は、スピーカ（例えば図８のスピーカ２６）から放音される音声信号に対して線形な信号を入力することが基本であるが、ここではマルチパス残響抑圧部１１０によって残響が非線形に抑圧された信号を入力してエコーを除去している。このため、音質をそれほど考慮する必要がなく、簡易な構成で処理量の少ないエコーキャンセラとすることができる。なお、マルチパス残響抑圧部１１０の抑圧量が大きい場合には放音信号のゲインを調整してからフィルタ係数を算出するようにしてもよい。
【００５６】
また、図１または図７の構成において、信号切換部１１２から出力された所望信号Ｓｄに対して高音質のエコーキャンセラを１つ設けてもよい。これにより、複数のマイクＭのそれぞれに対して高音質のエコーキャンセラを設ける構成に比してエコー除去の処理負担を軽減することができる。
【００５７】
このマイク選択装置Ｄは、複数のマイクが会議室に設置される音声会議システムにおいて、発言者に最も近いマイクを選択する処理部に適用可能である。会議などでは、収音音声の明瞭度が強く要求される。したがって、会議において拡声や遠隔転送に用いる音声信号は、複数のマイクをミキシングした音声信号よりも、最適な１本のマイクで収音された音声信号のほうが好適である。図１に示したマイク選択装置Ｄであれば、最適なマイクの選択が可能である。
【００５８】
以下、図面を参照して上記マイク選択装置Ｄが適用された音声会議システムについて説明する。図８は、音声会議システム１の設置形態の一例を示す図である。なお、以下の説明において、図１−図４に示した構成部と同一構成の部分は、同一番号を付して説明を省略する。
【００５９】
この音声会議システム１は、会議室Ｃの会議机Ｈ上に設置される。音声会議システム１は、１台の通信器１０および複数台（この実施形態では５台）の収音器１１を有する。通信器１０は、スピーカ２６を有する。収音器１１は、複数のマイク素子３１を備える。通信器１０および収音器１１は通信ケーブル１２で相互に接続され、デジタル通信を行う。収音器１１は、３つのマイク素子３１のうち最も音源Ｓに近いと推定されるマイク素子３１で収音した音声信号（所望信号Ｓｄ）、および、３つのマイク素子３１の参照信号Ｓｒを加算合成した信号である合成参照信号Ｓｒａを通信器１１に送信する。通信器１０は、５つの収音器１１から受信した５つの所望信号Ｓｄのなかから、最適と思われる所望信号Ｓｄを選択する（２段階選抜）。この信号を送信音声信号Ｓｄｄとして出力する。通信器１０は、ホスト装置であるパーソナルコンピュータ２に接続される。パーソナルコンピュータ２は、インターネットなどのネットワーク３を介して、他の拠点に設置されている他の音声会議システム（相手システム）と通信する。パーソナルコンピュータ２は、送信音声信号Ｓｄｄを相手システムに送信するとともに、相手システムから受信した音声信号（送信音声信号Ｓｄｄ）を通信器１０に入力する。通信器１０は、この信号を放音信号Ｓｏとしてスピーカ２６から放音する。
【００６０】
図９は、会議室Ｃにおける音声伝搬の形態を説明する図である。スピーカ２６から放音された音声（放音音声）は、参加者ＳＰに到達するとともに、収音器１１のマイク素子３１にも到達する。スピーカ２６の放音音声がマイク素子３１に到達して収音されると、回帰音となり、エコーの原因となる。また、参加者ＳＰ（音源Ｓ）が発言した音声は、直接および会議室Ｃの壁および天井で様々に反射して複数のマイク素子３１に到達する。直接音以外の音声がマイク素子３１に収音されるとマルチパスによる残響の原因となる。
【００６１】
以下の説明では、スピーカ２６から放音された音声がマイク素子３１に収音されてシステム内を循環する現象をエコーと呼び、参加者ＳＰが発言した音声が空間内の様々な経路を経てマイク素子３１に到達するマルチパス現象を残響と呼ぶ。すなわち、エコーは、他拠点に設置された他の音声会議システムで収音された音声がスピーカ２６から放音され、この音声がマイク素子３１によって収音され、上記他の音声会議システムに返送される現象であり、残響は、参加者Ｓが発言した音声が、距離の異なる複数の経路を経てマイク素子３１に収音されることにより、波形が崩れる現象である。
【００６２】
《マルチパス残響抑圧部の変形例》
図１０は、収音器１１のブロック図である。図１１は、収音器１１の３つのマイク素子３１のそれぞれの指向性を示す図である。図１２は、収音器１１の回帰音エコーキャンセラ３２のブロック図である。図１３は、収音器１１の音声選択部３３のブロック図である。図１４は、マルチパス残響抑圧部１１４のブロック図である。なお、通信器１０および収音器１１に内蔵の機能部は、電子回路で構成されてもよく、コンピュータなどのプロセッサとプログラムの協働によって実現されてもよい。
【００６３】
この音声会議システム１では、回帰音エコーを防止するため、各マイク素子３１毎に、スピーカ２６から放音された音声をキャンセルする回帰音エコーキャンセラ３２（図１０参照）が接続される。また、本実施例において、マルチパス残響を抑圧してマイク素子３１を選択するための参照信号Ｓｒを生成するマルチパス残響抑圧部１１４は、図１−図４で説明したもの（マルチパス残響抑圧部１１０）と異なり、回帰音エコーキャンセラ３２が算出した推定インパルス応答Ｉｒを用いて残響を抑圧している。
【００６４】
収音器１１は、３つのマイク素子３１を備える。図８および図１１に示すように、収音器１１は円盤状の平面形状をしており、その円周上に１２０度ずつの間隔で３つのマイク素子３１が外向き（法線方向）に放射状に設けられている。各マイク素子３１は単一指向性マイクであり、マイク素子３１が向いている方向を中心にカージオイド形状の収音特性を有する。各マイク素子３１は１２０度の間隔で設けられ、その指向特性は図１１に示すような配置になるため、各マイク素子３１の収音信号を合成すればほぼ無指向性に近い特性の信号が得られる。なお、マイク素子３１は、指向特性がカージオイドのものに限定されない。後方に若干の指向性を持つものであってもよく、双指向性のものであってもよい。
【００６５】
図１０において、収音器１１は、３つのマイク素子３１に加えて、各マイク素子３１に対応する回帰音エコーキャンセラ３２、音声選択部３３、および、通信インタフェース３４を備えている。各マイク素子３１にはそれぞれ対応する回帰音エコーキャンセラ３２が接続されている。回帰音エコーキャンセラ３２は、マイク素子３１で収音された音声信号のなかからスピーカ２６から放音された音声信号の成分をキャンセルする。回帰音エコーキャンセラ３２の詳細構成は、図１２で説明する。回帰音エコーキャンセラ３２には、スピーカ２６から放音される音声信号（放音信号Ｓｏ）が入力される。放音信号Ｓｏは、通信インタフェース３４を介して通信器１０から送られてきたものである。各マイク素子３１の音声信号は、回帰音エコーキャンセラ３２によって、スピーカ２６からの回帰音がキャンセルされ、収音信号Ｓｃとして信号選択部３３に出力される。また、回帰音エコーキャンセラ３２は、回帰音エコーをキャンセルするために空間Ｃのインパルス応答を推定して推定インパルス応答Ｉｒを算出する。この推定インパルス応答Ｉｒが信号選択部３３に入力される。信号選択部３３は、この推定インパルス応答Ｉｒをマルチパス残響の抑圧に用いる。
【００６６】
図１２は、回帰音エコーキャンセラ３２のブロック図である。回帰音エコーキャンセラ３２は、フィルタ係数設定部３５Ｂおよび可変フィルタ３５Ｂを有する適応フィルタ３５を有し、さらに加算器３７を有している。一般的に適応フィルタとは、所定の最適化アルゴリズムに従って自己の伝達関数（適応フィルタ係数列）を自動適応させるフィルタである。
【００６７】
フィルタ係数設定部３５Ｂは、会議室Ｃの音響伝達系（スピーカ２６からマイク素子３１に至る音響伝搬経路）の伝達関数を推定し、推定した伝達関数のフィルタとなるようなフィルタ係数を可変フィルタ３５Ａに設定する。
【００６８】
可変フィルタ３５Ａには、スピーカ２６から放音される音声信号（放音信号）が入力される。可変フィルタ３５Ａの伝達関数は、会議室Ｃの音響伝達系（スピーカ２６からマイク素子３１に至る音響伝搬経路）が模擬された伝達関数であるため、可変フィルタ３５Ａでフィルタリングされた放音信号は、スピーカ２６から放音され会議室Ｃを伝搬してマイク素子３１に収音された音声信号（回帰音信号）を模擬した音声信号（擬似回帰音信号）である。この擬似回帰音信号は加算器３７に入力される。
【００６９】
また、加算器３７には、マイク素子３１が収音した音声信号が入力される。加算器３７は、この音声信号から模擬回帰音信号を減算する。マイク素子３１が収音した音声信号には、会議の参加者ＭＰの発話音声信号とともにスピーカ２６から放音されて回り込んだ回帰音信号も含まれている。加算器３７が、収音信号から模擬回帰音信号を減算することにより、収音信号から回帰音が除去される。回帰音が除去された、すなわち、回帰音エコーをキャンセルされた音声信号は、収音信号Ｓｃとして音声選択部３３に入力されるとともに、参照信号としてフィルタ係数設定部３５Ｂに入力される。また、フィルタ係数設定部３５Ｂには、もう一つの参照信号としてスピーカ２６から放音される音声信号である放音信号Ｓｏも入力される。フィルタ係数設定部３５Ｂは、これら参照信号Ｓｃ，Ｓｏに基づいてフィルタ係数を継続的に更新する。なお、このフィルタ係数の更新は、スピーカ２６から音声が放音されていて、かつ、会議室Ｃにいる参加者ＭＰが発話をしていない時間区間を自動的に検出し、その時間区間の参照信号を用いて行われることが好適である。
【００７０】
ここで、可変フィルタ３５ＡはＦＩＲフィルタである。したがって、可変フィルタ３５Ａに設定されるフィルタ係数は、フィルタ係数設定部３５Ｂが、スピーカ２６からマイク素子３１に至る音響伝搬経路のインパルス応答を推定して模擬したものである。フィルタ係数設定部３５Ｂは、このフィルタ係数を推定インパルス応答Ｉｒとして、音声選択部３３（マルチパス残響抑圧部１１４）に入力する。
【００７１】
図１３は、音声選択部３３のブロック図である。音声選択部３３は、３つのマイク素子３１の収音信号Ｓｃのうちどの収音信号Ｓｃが最適であるかを判定し、その収音信号Ｓｃを所望信号Ｓｄとして通信器１０に出力する機能部である。音声選択部３３は、各マイク素子３１に対応する３つのマルチパス残響抑制部１１４、信号判定部１１１、信号切替器１１２、および、加算器１１３を備えている。マルチパス残響抑圧部１１４は、後で、図１４−図１７を参照して詳述する。マルチパス残響抑圧部１１４で、マルチパスによる残響を除去された音声信号は、マイク選択用の参照信号Ｓｒとして相互相関係数算出部１１１に入力されるとともに、加算器１１３に入力される。加算器１１３は、３つのマルチパス残響抑圧部１１４でそれぞれ残響抑圧された３つの参照Ｓｒを加算合成する。加算合成された合成参照信号Ｓｒａは、通信器１０における収音器１１の選択用（２段階選抜用）の参照信号として用いられる。なお、通信器１０における収音器１１の選択用（２段階選抜用）の参照信号として、所望信号Ｓｄのマイク素子３１の参照信号Ｓｒが用いられてもよい。
【００７２】
信号判定部１１１は、マルチパス残響抑圧部１１４から入力された参照信号Ｓｒに基いて、どのマイク素子３１が参加者ＳＰに最も近いかを判定する。この判定は、図５，図６で説明した手法を用いて行われればよい。信号判定部１１１は、３つのマイク素子３１の全ての組み合わせで、図１で説明した相互相関係数の算出処理を行う。すなわち、図２０（Ａ）に示すように、３つのマイク素子３１の場合、一対一の組み合わせが３種類あるため、相互相関係数の算出を３回行う。その結果に基いて、すなわち、どのマイク素子３１の参照信号Ｓｒの相互相関のピークが時間的に先んじているかによって、どのマイク素子３１を選択するかを決定する。決定されたマイク素子３１を選択するための選択ＩＤを信号切替器１１２に出力する。信号切替器１１２は、選択ＩＤにもとづき、回帰音エコーキャンセラ３２から入力されている２つの収音信号Ｓｃから１つを選択し、所望信号Ｓｄとして通信インタフェース３４に出力する。
【００７３】
図１４は、マルチパス残響抑圧部１１４のブロック図である。マルチパス残響抑圧部１１０は、収音信号Ｓｃのマルチパス残響を抑圧する。マルチパス残響抑圧部１１４は、残響を抑圧するための残響抑圧フィルタ２４、および、回帰音エコーキャンセラ３２から入力された推定インパルス応答Ｉｒに基づいて残響抑圧フィルタ２４のフィルタ係数を決定するパラメータ推定部２３を有している。残響抑圧フィルタ２４には、会議室Ｃの残響時間の長い周波数帯域のレベルを抑制するような信号処理を行うようなフィルタ係数が設定される。この場合、低音域の残響が明瞭度の低下の原因になるため、低音域に対しては抑制の度合いを強くする。残響抑圧フィルタ２４によって残響時間の長い周波数帯域が抑制された信号が参照信号Ｓｒとして、信号判定部１１１および加算器１１３に入力される。
【００７４】
図１５は、マルチパス残響抑圧部１１４の動作を示すフローチャートである。また、図１６は、残響抑制処理の手順のなかで現れる信号波形を例示した図である。図１４−図１６を参照してマルチパス残響抑圧部１１４の構成および動作を説明する。
【００７５】
図１５において、収音（Ｓ１０１）はマイク素子３１が行う。エコーキャンセル処理（Ｓ１０２）、および、適応フィルタ３５からのフィルタ係数（推定インパルス応答Ｉｒ）の取り出し（Ｓ１０３）は、回帰音エコーキャンセラ３２が行う。回帰音エコーキャンセラ３２は、可変フィルタ３５Ａのフィルタ係数を推定インパルス応答としてマルチパス残響抑圧部１１４に出力する。
【００７６】
図１４において、パラメータ推定部２３は、残響時間推定部４１、補正特性算出部４３、および、フィルタ係数算出部４４を備える。
【００７７】
回帰音エコーキャンセラ３２から入力された推定インパルス応答Ｉｒは、残響時間推定部４１に入力される。残響時間推定部４１では以下の処理が行われる。まず、推定インパルス応答を複数チャンネルのバンド・パス・フィルタに通して帯域を分割する。分割するチャンネルの数や各チャンネルの周波数帯域は任意であるが、例えば、３１５Ｈｚ〜８０００Ｈｚまでを１５のチャンネルに分割するなどの帯域分割を行えばよい。この処理により、各周波数帯域（チャンネル）の信号成分のインパルス応答が推定される。この処理が図１５のＳ１０４の処理である。
【００７８】
残響時間推定部４１は、各周波数帯域の推定インパルス応答に基づき、各周波数帯域の信号の残響時間を求める。残響時間は、一般的に信号レベルが−６０ｄＢ（１００万分の１）に減衰するまでの時間を言い、その算出・推定方法は種々あるが、ここではシュレーダー法により残響時間を求めればよい。シュレーダー法は、インパルス応答をシュレーダー積分または後方累積加算によって、図１６（Ａ）に例示するようなシュレーダー曲線（残響減衰曲線）を求め、この曲線が−６０ｄＢになるまでの時間を求めれば良い。簡略にはシュレーダー曲線の直接音や誤差成分等の含まれない所定区間を取り出してその区間の傾きをこの曲線の傾きとし、この傾きにより０ｄＢから−６０ｄＢまで減衰する時間を推定してもよい。この処理が、図１５のＳ１０５に相当し、各収音器１１毎の周波数帯域毎に行われ、各収音器１１の位置における周波数帯域毎の残響時間が推定される。
【００７９】
Ｓ１０５の処理によって求められた各周波数帯域毎の残響時間を周波数軸にプロットすることにより、例えば、図１６（Ｂ）に示すような会議室Ｃ全体の平均した残響特性が求められる。
【００８０】
残響時間推定部４１によって求められた残響特性は、補正特性算出部４３に入力される。補正特性算出部４３およびフィルタ係数算出部４４は、入力された残響特性に基づき、残響時間の長い周波数帯域を抑制するような周波数領域の補正特性（フィルタ係数）を決定する。基本的には、シュレーダー法で求められた図１６（Ｂ）のような残響特性に基づき、この残響をキャンセルするような（例えば図１６（Ｃ）に示すような）、フィルタ係数が算出され、残響抑圧フィルタ２４に設定される。この補正係数（フィルタ係数）の決定は、残響時間の閾値や音域などを考慮して以下の手法で行われる。
【００８１】
補正特性の決定は、周波数帯域ごとに残響時間の閾値を定めておき、残響時間が閾値を超えている周波数帯域を抽出してこの周波数帯域のパワーを抑制する方法や、残響音を抑制する既知のフィルタリング法、周波数帯域ごとのゲインテーブルを用いることで周波数帯域ごとのパワーの抑制量を定める方法などを選択することができる。周波数帯域ごとのゲインテーブルは図１７に示すようなものが使用できる。このゲインテーブルは縦軸がゲイン（ｄＢ）、横軸が残響時間ＲＴ（秒）となっており、周波数帯域ごとのゲイン値が傾きを有する線分で示されている。ｆ１〜ｆｎの線分は、上述したバンドパスフィルタにより分割された周波数帯域に対応し、ｆ１が低音域側、ｆｎが高音域側となっている。例えば帯域ｆ３において残響時間が１．０秒であればゲインは−３０ｄＢと定められる。このゲインテーブルでは低音域の線分がより急峻な傾きをもつように設定されている。高帯域側のｆ４では残響時間が１．０秒であればゲインは−２４ｄＢ付近となる。このように低音域の残響時間が長い場合には、この低音域を高音域の残響時間が長い場合よりも強く抑制するような補正特性が決定される。
【００８２】
なお、ゲイン値には下限があり、所定の値（図に示したゲインテーブルでは−３０ｄＢ）を超える抑制は行われないようにしている。また各周波数帯域において所定の残響時間（ｆ３においては１．０秒）を超えた場合はゲインの下限値を適用するようにしている。この処理が図１５のＳ１０６である。決定された補正特性はフィルタ係数算出部４４に入力される。
【００８３】
フィルタ係数算出部４４は、残響抑圧フィルタ２４が補正特性算出部４３で算出された補正特性を持つようにフィルタ特性を決定する。残響抑圧フィルタ２４は、ＦＩＲフィルタやＩＩＲフィルタで構成される。フィルタ係数は、残響抑圧フィルタ２４の構成に合わせて、離散時間逆フーリエ変換や、パラメトリックなピークフィルタなどの演算によって算出される。この処理が図１５のＳ１０７である。算出されたフィルタ係数は、残響抑圧フィルタ２４に設定される（Ｓ１０８）。このフィルタ２４で収音信号Ｓｃをフィルタリングすることにより、参加者ＭＰの発話音声のマルチパス残響を抑圧して相互相関値演算の精度を向上させることができる。
【００８４】
図１８は、通信器１０のブロック図である。通信器１０は、パーソナルコンピュータ２と通信するための通信インタフェース２１、マイクミキサ２２、オーディオ回路２５、スピーカ２６および収音器１１と通信するための通信インタフェース２７を有する。通信インタフェース２１は、パーソナルコンピュータ２とデジタル通信を行うためのインタフェースであり、たとえばＵＳＢインタフェースが用いられる。ＵＳＢインタフェースを用いた場合、パソコン２がホストであり通信器１０がオーディオデバイスとなる。一方、収音器１１が接続される通信インタフェース２７は複数（実施形態では５つ）設けられており、それぞれケーブル１２を介して個別の収音器１１が接続される。通信インタフェース２７は例えば有線ＬＡＮのインタフェースを用いればよい。
【００８５】
通信器１０は、通信インタフェース２７を介して、収音器１１から、所望信号Ｓｄおよび合成参照信号Ｓｒａを受信する。受信した所望信号Ｓｄおよび合成参照信号Ｓｒａは音声選択部２２に入力される。音声選択部２２は、図１９に示すような構成をしており、収音器１１の音声選択部３３と同様に、複数の音声信号（５つの所望信号Ｓｄ）の中から最適な一つを選択して出力する。音声選択部２２については、後で図１９を参照して詳述する。音声選択部２２によって選択された音声信号は、送信音声信号Ｓｄｄとして通信インタフェース２１を介してパーソナルコンピュータ２に送信される。パーソナルコンピュータ２は、この送信音声信号Ｓｄｄをネットワーク３を介して他拠点の音声会議システムに送信する。
【００８６】
また、パーソナルコンピュータ２は、他拠点の音声会議システムから音声信号（送信音声信号Ｓｄｄ）を受信する。この音声信号は、通信インタフェース２１を介して通信器１０に入力され、放音信号Ｓｏとしてオーディオ回路２５に入力されるとともに、通信インタフェース２７を介して各収音器１１に送信される。オーディオ回路２５は、放音信号Ｓｃをアナログの音声信号に変換し、所定のレベルで増幅してスピーカ２６に入力する。スピーカ２６は、この放音信号を音声として会議室Ｃに放音する。放音された音声は会議の出席者ＳＰに聴取されるとともに、マイク素子３１によって収音される。
【００８７】
図１９は、通信器１０の音声選択部２２のブロック図である。音声選択部２２は、５つの収音器１１から受信した５つの所望信号Ｓｄから１つの送信音声信号Ｓｄｄを選択する。音声選択部２２は、信号判定部１１１および信号切換器１１２を有している。信号判定部１１１には、５つの収音器１１から受信した５つの参照信号Ｓｒａが入力される。また、信号切換器１１２には、５つの収音器１１から受信した５つの所望信号Ｓｄが入力される。信号判定部１１１は、一対一の全ての組み合わせについて相互相関係数の算出を行う。５つから２つを取り出す組み合わせは、図２０（Ｂ）に示すように１０種類あるため、信号判定部１１１は、相互相関係数の算出を１０回行う。信号判定部１１１は、算出結果に基づき、最も発言している参加者ＭＰ（音源Ｓ）に近いと判定された収音器１１から受信した所望信号Ｓｄを選択する。信号判定部１１１は、この信号の選択ＩＤを信号切換器１１２に出力する。信号切換器１１２は、選択ＩＤで選択された所望信号Ｓｄを送信音声信号Ｓｄｄとして通信インタフェース２１に出力する。
【００８８】
図１の実施形態では、時定数の異なる２つのフィルタを用いて残響特性を推定し、これに基いて残響を抑圧した。また、図８の実施形態では、シュレーダー曲線を用いて残響特性を推定し、これに基いて残響を抑圧した。ところで、マルチパスによる残響は、主として低音域で強く生じる。会議室などの音響空間で用いる人の音声を伝送する会議システムにおいては、特定の周波数を上限とした低音域においてマルチパスによる残響が生じることがわかった。この特定の周波数は４ＫＨｚが上限となることがわかっている。上記のマルチパス残響抑圧部１１０、１１４はこの特定の周波数を上限とした低音域を効果的に抑圧することができる。上記のマルチパス残響抑圧部１１０、１１４に、特定の周波数を上限とした低音域を固定的に削ってしまうローカットフィルタを追加で設けてもよい。これにより、残響成分をより強く抑圧することが可能になる。なお、参照信号Ｓｒは、マイク素子３１（収音信号Ｓｃ）を選択するためみに用いられ、相手システムに音声信号として伝送されるものではないため、強い信号処理によって音質が劣化することを考慮する必要はなく、不要成分を効率的に除去して必要成分（本願の場合直接音信号）のみを残すようにすればよい。上記上限とした特定の周波数は、例えば４ｋＨｚ程度とすることができる。また、人の聴覚器官は入口付近で高い周波数を感知するため３ＫＨｚ〜４ＫＨｚの音声は聞きやすい音域となる。この音域を相関関係係数算出のためのターゲットとするため３Ｋｈｚ以下の音声をカットオフするようにマルチパス残響抑圧部を設定することも効果的である。さらに、３ＫＨｚ〜４ＫＨｚの音声のゲインを持ち上げることもできる。
【００８９】
また、残響抑圧の処理を簡略化する場合には、マルチパス残響抑圧部１１０、１１４に代えてローカットフィルタを設け、このローカットフィルタで収音信号Ｓｃの低音域を抑圧した信号を参照信号Ｓｒとして用いてもよい。この場合でも、ローカットフィルタのカットオフ周波数は、例えば４ｋＨｚ程度が好適である。また、ローカットフィルタに代えて、４ｋＨｚ以下の音域をダウンサンプリングしてもよい。
【００９０】
また、上記実施形態の信号判定部１１１では、どのマイクＭ（マイク素子３１）が音源Ｓ（発言者ＳＰ）に最も近いかを相互相関係数のみで判定しているが、相互相関係数に加えて信号レベルも考慮して判定してもよい。
【００９１】
例えば、以下のような処理を行ってもよい。「相互相関係数を算出する前に、まず２つのマイクＭの収音信号Ｓｃ間のレベル差を検出する。」、「レベル差が明確なとき（レベル差が所定値以上の場合）は、信号レベルが大きいマイクＭが音源Ｓに近いと判定して、相互相関係数の算出を省略する。」、「レベル差が所定値未満の場合には、相互相関係数を算出してどちらのマイクＭが音源Ｓに近いかを判定する。」
【００９２】
以上の処理により、信号レベルの差が大きい場合に、相互相関係数の算出処理を省略することができる。また、２つのマイクＭと音源Ｓとの距離差が小さいときは、信号レベルの差が僅かであり、時にはその大小が逆転したりするため、信号レベルに基いてどちらのマイクＭが音源Ｓに近いかを判定するのは困難である。このため、２つのマイクＭと音源Ｓとの距離差が小さい場合には、相互相関係数を用いて判定したほうが有利である。一方、２つのマイクＭと音源Ｓとの距離差が大きい場合は、信号レベルの差が大きく、その違いは明確であり、わざわざ相互相関係数を算出して判定するまでもない。さらに、信号レベルの差が大きい２つの信号は、信号波形も（振幅以外に）形状の相違があるため、正規化して相互相関係数を算出しても相関値が大きくならず、ピークが明確でなくなってしまう場合がある。したがって、信号レベル差が所定値よりも大きい場合には、相互相関係数を用いずに、信号レベル差のみで判定することも有効である。
【００９３】
上記実施形態では、信号判定部１１１が、図５，図６に示したように２本のマイクＭで収音した音声信号の相互相関を求めてどちらのマイクＭが音源Ｓに近いかを判定する。この２本のマイクＭ間の相互相関演算を全てのマイクＭｎ（ｎ＝１，２，…）における２本の組み合わせについて行う。したがって、マイクの本数が多くなるにしたがって、相互相関の演算回数が増加し、マイクＭがｎ本ある場合には数式５に示す組み合わせの相互相関の演算が必要になる。
【００９４】
【数５】
0006631010.tif 000006
【００９５】
たとえば、図２０（Ａ）に示すように３本のマイクＭ１−Ｍ３がある場合には、３回の演算が必要であり、図２０（Ｂ）に示すように５本のマイクＭ１−Ｍ５がある場合、１０回の演算が必要である。このように、マイクの本数が多くなるほど、演算回数が増加するが、全てのマイクＭの２本の組み合わせについて演算することにより、マイクＭがどのような配置になっていても、またマイクＭが途中で移動しても、適切に音源Ｓに最も近いマイクＭを選択することが可能である。たとえば、マイクＭが５本設置される場合、図８のようなＵ字形の配置もあれば、図２１のような数珠つなぎの直線状（ジグザグ）の配置もある。図２１のような直線状の配列の場合、装置にその配列を設定しておけば、隣同士のマイクについて相互相関演算をするのみで（この例の場合４回の演算で）、最適なマイクＭを選択することができる。しかし、全ての組み合わせの相互相関演算を行うことにより、ユーザにこのような配置形態の設定を行わせることなく、どのような配置形態であっても装置が適切なマイクＭを選択する。また、それぞれのマイクの参照信号を複数の周波数帯域に分割し、各周波数帯域の成分信号毎に相互相関を求めて集計してもよい。なお、図２０、図２１の例はマイクが３本および５本の場合を例示しているが、マイクの本数に理論上制限はない。
【００９６】
上記実施形態では、音源Ｓに最も近いマイクＭを１つ選択しているが、音源Ｓに最も近いものから複数のマイクを選択してその信号をミキシングしてもよい。その場合、その近さの程度に応じた重み付けでミキシングするようにしてもよい。
【００９７】
図２２を参照して、信号レベル判定値および相関値に基いてマイクを選択する手法について説明する。この実施形態では、複数（ここでは３本）のマイクＭ１−Ｍ３の信号レベルおよび相関度を一括して比較し、所定の閾値を超えたマイクを収音用マイクとして選択する。ここで、信号レベル判定値とは、分割帯域ごとに一定レベルを超えたマイクに付与される値であり、相関値とは、信号位相が他の信号に比べてどれだけ進んでいるかを示す値である。例えば、上述した相互関係算出部で得られたピークが近い方のマイクに正の値、遠いマイクに負の値、中間である場合は０を相関値として付与することができる。数値の段階は任意に設定できる。また信号レベルは任意のマイク間で帯域ごとにレベルを比較し、レベルの高いマイクへ正の値、中間である場合に０、低いマイクへ負の値を信号レベル判定値として付与することができる。
【００９８】
この実施形態の信号判定部１１１は、以下のような処理を実行する。マイクＭ１−３によって収音されマルチパスエコーを抑圧された参照信号Ｓｒ１−３を入力し、これら参照信号Ｓｒ１−３をそれぞれ複数の周波数帯域Ｂ１−Ｂ７に分割する。各参照信号の各周波数帯域の成分信号Ｓｒ１Ｂ１−７、Ｓｒ２Ｂ１−７、Ｓｒ３Ｂ１−７の信号レベル判定値を求めるとともに、各周波数帯域Ｂ１−７において、各成分信号Ｓｒ１−３Ｂ１−７の相関値を求める。ここで、相関値とは、信号位相が他の信号に比べてどれだけ進んでいるかを示す値であるため、各参照信号の成分信号Ｓｒ１−３Ｂｎの中でどの信号の位相が進んでいるか／どの信号の位相が遅れているかを検出し、その位相の進度の順番を判定する。この処理を周波数帯域Ｂ１からＢ７まで行う。このようにして求められた各参照信号Ｓｒ１−３の信号レベル判定値および相関値の順位をポイント化してその合計値である判断基準値を求める。この判断基準値が所定の閾値に達している場合、そのマイクを収音用マイクとして選択する。選択されるマイクが複数ある場合には、それらのマイクが収音した信号をミキシングして所望信号Ｓｄとする。
【００９９】
図２２に示した例では、各周波数帯域Ｂ１−７において、信号レベルが高いものに１ポイント、低いものに０ポイントの信号レベル判定値を、信号の位相進度が早いものに１ポイント、中間のものに０ポイント、遅いものに−１ポイントの相関値を付している。そして、閾値を例えば２ポイントとする。この例では、それぞれの判断基準値は参照信号Ｓｒ１が７ポイント、参照信号Ｓｒ２が２ポイント、参照信号Ｓｒ３が−５ポイントであるため、閾値を超えたマイクＭ１およびマイクＭ２が選択される。この実施例の場合、レベル判定値のみで判定すると、マイクＭ２、マイクＭ３は同じ値「２」であるが、相関値を加えて算出するとマイクＭ３は選択すべきマイクではないことがわかる。このように算出することで信号レベルと相関度という異なるパラメータを同一の観点で比較することができる。また3つ以上のマイクを比較する場合、第一に任意の２つのマイクを比較し、得られた比較結果（信号レベル判定値、相関値）を保存しておき、第二に結果が得られた一方のマイクと比較を行っていない他のマイクとを比較し、先の比較結果に新たな結果を累積していくことができる。
【０１００】
上述したように任意の２つのマイクを選択して比較を繰り返すこともできるが、それぞれの帯域において複数のマイクの信号レベル判定値、相関値を同時に比較することもできる。この場合は、一定のレベルを超えたマイクに正の値、一定のレベル付近である場合に０、一定のレベルよりも低いマイクへ負の値を信号レベル判定値として付与し、さらに、それぞれのマイクの音源からの遅延時間が一定の遅延時間よりも早いマイクに正の値、遅いマイクに負の値、一定の遅延時間付近である場合は０を相関値として付与することができる。なお、この実施形態において、複数のマイクが閾値を超えても、ポイントが最大の１本のマイクのみを選択するようにしてもよい。
【符号の説明】
【０１０１】
Ｃ  会議室
Ｄ  マイク選択装置
Ｈ  会議机
Ｍ（Ｍ１、Ｍ２）  マイク
Ｓ  音源
ＳＰ  会議参加者（発言者）
１  音声会議システム
２  パーソナルコンピュータ
３  ネットワーク
１０  通信器
１１  収音器
２６  スピーカ
３１  マイク素子
１１０、１１４  マルチパス残響抑圧部
１１１  信号判定部
１１２  信号切換部
【図１】
0006631010.tif 000007
【図２】
0006631010.tif 000008
【図３】
0006631010.tif 000009
【図４】
0006631010.tif 000010
【図５】
0006631010.tif 000011
【図６】
0006631010.tif 000012
【図７】
0006631010.tif 000013
【図８】
0006631010.tif 000014
【図９】
0006631010.tif 000015
【図１０】
0006631010.tif 000016
【図１１】
0006631010.tif 000017
【図１２】
0006631010.tif 000018
【図１３】
0006631010.tif 000019
【図１４】
0006631010.tif 000020
【図１５】
0006631010.tif 000021
【図１６】
0006631010.tif 000022
【図１７】
0006631010.tif 000023
【図１８】
0006631010.tif 000024
【図１９】
0006631010.tif 000025
【図２０】
0006631010.tif 000026
【図２１】
0006631010.tif 000027
【図２２】
0006631010.tif 000028
【図２３】
0006631010.tif 000029
【図２４】
0006631010.tif 000030