(57)【要約】【課題】遠隔会議装置において、スピーカから出力される音声がマイクに回り込んで収音される可能性があっても、音源の位置を正しく推定する。【解決手段】  スピーカアレイＳＰＡとその両側にマイクアレイＭＲ、ＭＬを備え、話者の位置として複数の焦点を、マイクアレイＭＲ、ＭＬそれぞれの前方に、スピーカアレイＳＰＡの中心線１０１に関して対称に設定し、その焦点に向けた収音ビームの束を出力する。中心線１０１に関して互いに対称の焦点に向けた収音ビーム同士の差分値を計算して、スピーカアレイＳＰＡからマイクに回り込んだ音声成分をキャンセルする。さらに、前記差分値の波高値の２乗の特定時間分の合計から前記設定した焦点のいずれに近いか推定し、さらに前記した互いに対称の焦点に向けた収音ビーム同士の波高値の２乗の合計を比較して、話者９９８、９９９のいずれであるかを判定する。【選択図】図１
2007142595.tif 000002
【特許請求の範囲】
【請求項１】
上方向、または下方向に音声を出力する複数のスピーカからなるスピーカアレイと、
前記スピーカアレイの長手方向の両側を収音するように設けた第１、第２のマイクアレイと、
前記第１のマイクアレイの各マイクが収音した音声信号に対し予め定められたディレイ量で該音声信号にディレイ処理をして合成することにより、前記第１のマイクアレイ側の予め定めた複数の第１収音エリアに焦点を当てた複数の第１収音ビームを生成する第１ビーム生成手段と、
前記第２のマイクアレイの各マイクが収音した音声信号に対し予め定められたディレイ量で該音声信号にディレイ処理をして合成することにより、前記第２のマイクアレイ側の予め定めた複数の第２収音エリアにそれぞれ焦点を当てた第２収音ビームを複数生成する第２ビーム生成手段と、
前記複数の第１収音エリア、複数の第２収音エリアからそれぞれ収音した音声信号のうち、前記スピーカアレイの長手方向の中心線に関し互いに対称な位置の収音エリア対から収音した音声信号の差分信号をそれぞれ計算する差分信号計算手段と、
前記差分信号の信号強度が大きい収音エリア対を選択する第１の音源位置推定手段と、
前記第１の音源位置推定手段が選択した収音エリア対のうち、収音した音声信号の強度の大きい方の収音エリアを選択し、この収音エリアに音源位置があると推定する第２の音源位置推定手段と、
を備えた遠隔会議装置。
【請求項２】
前記第１ビーム生成手段および第２ビーム生成手段は、前記第２の音源位置推定手段が選択した収音エリア内にさらに複数の狭収音エリアを設定して、この複数の狭収音エリアにそれぞれ焦点を当てた複数の狭収音ビームを生成する機能を備えるとともに、
前記複数の狭収音エリアのうち、収音した音声信号の強度が大きいエリアに音源位置があると推定する第３の音源位置推定手段を備えた請求項１に記載の遠隔会議装置。
【請求項３】
上方向、または下方向に音声を出力する複数のスピーカからなるスピーカアレイと、
前記スピーカアレイの長手方向の中心線の両側に、互いに対称に複数のマイクを配置して構成された第１，第２のマイクアレイと、
前記第１，第２のマイクアレイの各マイクが収音した音声信号を、互いに対称位置にあるマイク対ごとに差分して差分信号を計算する差分信号計算手段と、
前記差分信号を互いにそのディレイ量を調整して合成することにより、予め定めた複数の収音エリア対に焦点を当てた第３収音ビームを複数生成する第３ビーム生成手段と、
前記複数の収音エリア対のうち、前記差分信号の信号強度が大きい収音エリア対を選択する第１の音源位置推定手段と、
前記第１，第２のマイクアレイの各マイクが収音した音声信号に基づき、前記第１の音源位置推定手段が選択した収音エリア対の各収音エリアの音声信号を収音する収音ビームを形成する第４，第５ビーム形成手段と、
第４，第５ビーム形成手段が形成した収音ビームで収音した音声信号のうち、その信号強度の大きい方の収音エリアを選択し、この収音エリアに音源位置があると推定する第２の音源位置推定手段と、
を備えた遠隔会議装置。
【発明の詳細な説明】
【技術分野】
【０００１】
マイクアレイと、スピーカアレイを備え、受信した音声とその音場を再現する装置に関し、特に、マイクアレイから話者または音源の位置を特定することに関する。
【背景技術】
【０００２】
従来、送信側の音声を受信して、送信側の音声の音場を再現する手段が提案されている（特許文献１〜３参照。）。このような装置では、複数のマイク等より収音した音声信号等を送信して、受信側では複数のスピーカを用いて、送信側の音場を再現するものである。このようにすれば話者の位置を音声で特定できる利点がある。
【０００３】
特許文献１では、複数のマイクアレイで受け取った音声情報を送信して、これと同数のスピーカアレイで出力することにより、送信元の音場を再現する立体音声情報の創出方法等が開示されている。
【０００４】
この特許文献１の方法によれば、確かに送信元の音場そのものを伝送可能であり、話者の位置を音声で特定することが可能であるが、回線リソースを多く使用する等の問題があり、話者の位置情報を特定し、伝送する手段等が開示されている（例えば、特許文献２参照。）。
【０００５】
特許文献２では、マイクによって話者の音声をとらえ、マイクから得られる話者情報によって話者位置情報を生成し、この話者位置情報を音声情報と共に多重化して伝送させる。受信側では送られて来る話者位置情報により鳴動させるスピーカの位置を切り替え、話者の声と位置を受信側で再現する装置が開示されている。
【０００６】
特許文献３では、多人数の会議システムで、各話者にマイクをすべて持たせることが現実的でないことから、マイク制御部を用いて、各マイクに入力された音声信号の位相をシフトさせて合成することにより話者を特定する会議システムについての記載がある。特許文献３では、話者の座席位置に対応した位相シフトのパターンを変化させて、音声が最大となる位相パターンを決定し、この決定された位相シフトのパターンより話者の位置を特定している。
【特許文献１】特開平２−１１４７９９号公報
【特許文献２】特開平９−２６１３５１号公報
【特許文献３】特開平１０−１４５７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、以上の特許文献では、以下の問題があった。
【０００８】
特許文献１の方法では前述のとおり、回線リソースを多く使用する等の問題があった。
【０００９】
特許文献２、３の方法では、マイクから得られる話者情報によって話者位置情報を生成することが可能であるが、相手装置から送信される音声を出力するスピーカの音声によってこの位置検出がかく乱され、実際とは異なる方向に音源があると誤認して、マイクアレイ（特許文献３ではカメラ）を指向させてしまう問題があった。
【００１０】
そこで、本発明は、遠隔会議装置において、相手装置から送信される音声を出力するスピーカがマイクに回り込んで収音されても、真の音源を推定できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上述の課題を解決するための手段を以下のように構成している。
【００１２】
（１）本発明は、上方向、または下方向に音声を出力する複数のスピーカからなるスピーカアレイと、前記スピーカアレイの長手方向の両側を収音するように設けた第１、第２のマイクアレイと、前記第１のマイクアレイの各マイクが収音した音声信号に対し予め定められたディレイ量で該音声信号にディレイ処理をして合成することにより、前記第１のマイクアレイ側の予め定めた複数の第１収音エリアに焦点を当てた複数の第１収音ビームを生成する第１ビーム生成手段と、前記第２のマイクアレイの各マイクが収音した音声信号に対し予め定められたディレイ量で該音声信号にディレイ処理をして合成することにより、前記第２のマイクアレイ側の予め定めた複数の第２収音エリアにそれぞれ焦点を当てた第２収音ビームを複数生成する第２ビーム生成手段と、前記複数の第１収音エリア、複数の第２収音エリアからそれぞれ収音した音声信号のうち、前記スピーカアレイの長手方向の中心線に関し互いに対称な位置の収音エリア対から収音した音声信号の差分信号をそれぞれ計算する差分信号計算手段と、前記差分信号の信号強度が大きい収音エリア対を選択する第１の音源位置推定手段と、前記第１の音源位置推定手段が選択した収音エリア対のうち、収音した音声信号の強度の大きい方の収音エリアを選択し、この収音エリアに音源位置があると推定する第２の音源位置推定手段と、を備えたことを特徴とする。
【００１３】
第１ビーム生成手段と、第２ビーム生成手段は、それぞれ、対称となる位置を収音エリアとし、その収音エリアに焦点を当てて第１、第２の収音ビームを生成している。また、相手装置から送信され、スピーカアレイから出力される音声は、前記１対のマイクアレイそれぞれのいずれの側にも略対称に音声が出力される。したがって、第１、第２の収音ビームには、スピーカアレイから出力される音声が略等しく入力されると考えられ、差分信号計算手段が第１、第２の収音ビームの差分信号を計算しているので、スピーカアレイから出力される音声をキャンセルできる。また、収音ビームの実効値の差分を計算しても、収音ビームが当てている焦点には、スピーカアレイから出力される音声が略等しく入力されると考えられ、同様にスピーカアレイから出力される音声をキャンセルできる。
【００１４】
また、このマイクアレイに対して入力されるスピーカアレイから出力される音声以外の音声は、このような差分を取ったとしても、消えてなくなることがない。例えば、典型的には、片側のマイクアレイ側にのみ話者が話した場合であってその話者の方向に向けた収音ビームを生成した場合には、一方の収音ビームには、その話者の音声が入り、逆側には音声が入力されないから、前記差分の計算には、その話者の音声そのものまたはその逆相の音声が残る。また、両側に音源があったとしても、音声が異なるので、ほとんどの場合、１対のマイクアレイに入力される音声は非対称となる。したがって、このような差分を取ったとしても、話者の音声が残る。また、前記実効値を計算しても、同様に、話者の音声の存在を抽出できる。
【００１５】
第１の音源位置推定手段は、上記差分信号の大きい収音エリア対のどちらかに音源位置が存在すると推定する。第２の音源位置推定手段は、収音エリア対のそれぞれで収音した音声信号を比較し、どちらに音源位置が存在するかを推定する。このように、この発明によればスピーカから出力される音声がマイクに回り込んで収音される可能性があっても、音源（話者の音声を含む。以下同じ。）の位置を正しく推定することができる。
【００１６】
なお、音声信号の実効値は、特定時間の波高値の２乗の時間平均をリアルタイムで計算することで得られる。差分信号の信号強度は、所定の時間の波高値の２乗の時間平均やＦＦＴ変換したゲインの予め定めた複数の周波数ゲインの２乗和等で比較する。実効値の差分信号の信号強度は、実効値の計算よりも長い所定時間分のデータを用いて、実効値の差分信号の時間平均、またはこの差分信号の２乗の時間平均で計算することができる。以下同じである。
【００１７】
（２）本発明は、（１）の発明において、前記第１ビーム生成手段および第２ビーム生成手段は、前記第２の音源位置推定手段が選択した収音エリア内にさらに複数の狭収音エリアを設定して、この複数の狭収音エリアにそれぞれ焦点を当てた複数の狭収音ビームを生成する機能を備えるとともに、前記複数の狭収音エリアのうち、収音した音声信号の強度が大きいエリアに音源位置があると推定する第３の音源位置推定手段を備えたことを特徴としている。
【００１８】
この発明では、第２の音源位置推定手段により音源位置があると推定された収音エリア内にさらに複数の狭収音エリアを設定し、そのそれぞれに狭収音ビームを生成する。第３の音源位置推定手段は、狭収音エリアのうち信号強度が大きいエリアを選択することにより、段階的に音源の位置を絞り込んで最初から細かく推定するよりも、短期間に音源の位置を推定することができる。
【００１９】
（３）本発明は、上方向、または下方向に音声を出力する複数のスピーカからなるスピーカアレイと、前記スピーカアレイの長手方向の中心線の両側に、互いに対称に複数のマイクを配置して構成された第１，第２のマイクアレイと、前記第１，第２のマイクアレイの各マイクが収音した音声信号を、互いに対称位置にあるマイク対ごとに差分して差分信号を計算する差分信号計算手段と、前記差分信号を互いにそのディレイ量を調整して合成することにより、予め定めた複数の位置に焦点を当てた第３収音ビームを複数生成する第３ビーム生成手段と、前記複数の収音エリア対のうち、前記差分信号の信号強度が大きい収音エリア対を選択する第１の音源位置推定手段と、前記第１，第２のマイクアレイの各マイクが収音した音声信号に基づき、前記第１の音源位置推定手段が選択した収音エリア対の各収音エリアの音声信号を収音する収音ビームを形成する第４，第５ビーム形成手段と、第４，第５ビーム形成手段が形成した収音ビームで収音した音声信号のうち、その信号強度の大きい方の収音エリアを選択し、この収音エリアに音源位置があると推定する第２の音源位置推定手段と、を備えたことを特徴とする。
【００２０】
本発明は、まず先に両側のマイクアレイの対称位置にある各マイク対が収音した音声信号を差分して差分信号を計算した上で、この差分信号を用いて予め定めた複数方向にビームを生成する。両側のマイクアレイは、スピーカアレイに対して左右対称に配置されているため、この差分信号は、既にスピーカアレイから回り込んだ音声がキャンセルされたものである。第４の音源位置推定手段は、この差分信号に基づいて音源位置を推定する。この推定は、形成された複数の収音ビームのうち信号強度の大きいものを選択すればよく、音源位置は、前記第１，第２のマイクアレイでそれぞれ該収音ビームを形成した場合の一対の焦点位置のどちらかと推定される。
【発明の効果】
【００２１】
本発明によれば、遠隔会議装置においてスピーカから出力される音声がマイクに回り込んで収音される可能性があっても、音源の位置を正しく推定することができる。
【発明を実施するための最良の形態】
【００２２】
＜第１の実施形態＞
図１を用いて、本願発明の第１の実施形態である遠隔会議装置の構成と使用形態について説明する。この第１の実施形態の遠隔会議装置は、相手装置から送信された音声をスピーカアレイを用いて相手装置側における話者の位置を再現して出力するとともに、マイクアレイを用いて話者の音声を収音するとともにその話者の位置を検出し、収音した音声および位置情報を相手装置に送信する装置である。
【００２３】
図１は、この遠隔会議装置の外観図と使用形態を示しており、図１（Ａ）は、遠隔会議装置の外観 斜視図、図１（Ｂ）は遠隔会議装置の底面図Ａ−Ａ矢視図である。また図１（Ｃ）は遠隔会議装置の使用形態を示す図である。
【００２４】
図１（Ａ）に示すように、遠隔会議装置１は、長直方体の装置本体と脚１１とを備えている。遠隔会議装置１の本体は、脚１１により設置面から所定間隔上方に浮かせて支えられている。遠隔会議装置１の底面には、複数のスピーカＳＰ１〜ＳＰ４を、長直方体である装置本体の長手方向に直線状に配置したスピーカアレイＳＰＡが下向きに設けられている。このスピーカアレイＳＰＡにより、遠隔会議装置１の底面から下向きに音声が出力され、この音声が会議机等の設置面で反射して会議参加者に到達する（図１（Ｃ）参照。）。
【００２５】
また、図１（Ａ），（Ｂ）に示すように、装置本体の長手方向の両側面（以下、この両側面を右側面（同図（Ｂ）の上辺）および左側面（同図（Ｂ）の下辺）と呼ぶ。）には、マイクを直線状に配置したマイクアレイが設けられている。すなわち、装置本体の右側面には、マイクＭＲ１〜ＭＲ４からなるマイクアレイＭＲが設けられ、装置本体の左側面には、マイクＭＬ１〜ＭＬ４からなるマイクアレイＭＬが設けられている。遠隔会議装置１は、これらのマイクアレイＭＲ，ＭＬを用いて、話者である会議参加者の話し声を収音するとともに、その話者の位置を検出する。
【００２６】
なお、図１では図示を省略しているが、遠隔会議装置１の内部には、マイクアレイＭＲ、ＭＬから収音した音声を加工して、話者の位置（人間の声のみならず、物体から出る音声でも良い。以下同じ、）を推定して、この位置とマイクアレイＭＲ、ＭＬから収音した音声とを多重化して送信する送信部２（図４参照）、および、相手装置から受信した音声をスピーカＳＰ１〜ＳＰ４からビーム化して出力する受信部３（図６参照）を備えている。
【００２７】
なお、図１ではマイクアレイＭＲ、ＭＬをスピーカアレイＳＰＡの中心線１０１に関して対称位置に設けているが、第１の実施形態の装置では、必ずしも対称に設ける必要はない。マイクアレイＭＲ、ＭＬが左右非対称であっても、左右の収音エリア（図３参照）が左右対称に形成されるように、送信部（図４参照）で信号処理を行うようにすればよい。
【００２８】
次に、図１（Ｃ）を用いて遠隔会議装置１の使用形態を説明する。遠隔会議装置１は、通常、会議机１００の中央に置いて使用される。会議机１００の左右両側または片側には話者９９８または／および話者９９９が着席する。スピーカアレイＳＰＡが出力した音声は、会議机１００で反射して左右の話者に到達するが、スピーカアレイＳＰＡが音声をビーム化して出力することにより、左右の話者に対してその音声を特定位置に定位させることができる。スピーカアレイＳＰＡによる音声のビーム化処理についての詳細は後述する。
【００２９】
また、マイクアレイＭＲ，ＭＬは、話者の音声を収音する。マイクアレイＭＲ，ＭＬに接続されている信号処理部（送信部）は、各マイクユニットＭＲ１〜４，ＭＬ１〜４に入力される音声のタイミングの違いに基づいて話者の位置を検出する。
【００３０】
また、図１では、図示の容易のため、スピーカの数、マイクの数を４つとしたが、第１の実施形態の装置を使用するためには４つに限らず、１つまたは多数のスピーカ、マイクを設けても良く、またマイクアレイＭＲ、ＭＬ、スピーカアレイＳＰＡは、１列でなく複数列設けても良い。そこで、以下の説明では、例えば、スピーカＳＰ１〜ＳＰＮをＳＰｉ（ｉ＝１〜Ｎ）、マイクＭＬ１〜ＭＬＮをＭＬｉ（ｉ＝１〜Ｎ）という風に添え字ｉを用いてスピーカアレイ、マイクアレイのそれぞれのスピーカおよびマイクを表現することにする。例えば、ＳＰｉ（ｉ＝１〜Ｎ）で、ｉ＝１についてはＳＰ１に対応する。
【００３１】
ここで、図２を参照して、スピーカアレイＳＰＡによる音声のビーム化処理、すなわち音声ビーム、および、マイクアレイＭＬ，ＭＲが形成する収音ビームについて説明する。
【００３２】
同図（Ａ）は音声ビームを説明する図である。スピーカアレイＳＰＡの各スピーカユニットＳＰ１〜ＳＰＮに音声信号を供給する信号処理部（受信部）は、相手側装置から受信した音声信号を、同図に示すような遅延時間ＤＳ１〜ＤＳＮだけ遅延させて各スピーカユニットＳＰ１〜ＳＰＮに供給する。この図では、各スピーカは、仮想音源位置（焦点ＦＳ）に最も近いスピーカは遅延時間なしで音声を放音し、仮想音源位置に遠くなるほどその距離に応じた遅延時間を経て音声を放音するような遅延パターンが与えられる。この遅延パターンにより、各スピーカユニットＳＰ１〜ＳＰＮから出力される音声は、同図の仮想音源から発せられた音声と同じような波面を形成して広がってゆき、ユーザである会議出席者に対して、あたかも相手側の話者が仮想音源の位置に居るかのように音声を聴かせることができる。
【００３３】
同図（Ｂ）は、収音ビームを説明する図である。各マイクユニットＭＲ１〜ＭＲＮに入力された音声信号を図示のようにそれぞれ遅延時間ＤＭ１〜ＤＭＮだけ遅延させたのち合成する。この図では、各マイクが収音した音声信号は、収音エリア（焦点ＦＭ）に最も遠いマイクが収音した音声は遅延時間なしで加算部に入力され、収音エリアから近くなるほどその近づいた距離に応じた時間遅延させたのち加算部に入力されるような遅延パターンが与えられる。この遅延パターンにより、各音声信号は、収音エリア（焦点ＦＭ）から音波伝搬において等距離になり、合成した各音声信号は、この収音エリアの音声信号を同位相で強調するとともに、他のエリアの音声信号を位相ずれで相殺したものになっている。このように、複数のマイクに入力された音声をある収音エリアから音波伝搬上等距離になるように遅延させて合成することにより、その収音エリアの音声のみを収音することができる。
【００３４】
本実施形態の遠隔会議装置では、各マイクアレイＭＲ，ＭＬがそれぞれ複数（図３では４つ）の収音エリアに対して同時に収音ビームを形成している。これにより、話者がこの収音エリアのどこにいてもその音声を収音することができるとともに、その音声が収音された収音エリアにより、その話者の位置を検出することができる。
【００３５】
次に図３を参照しつつ、前記収音ビームによる音源位置の検出およびその音源位置からの収音動作について説明する。図３は、遠隔会議装置および話者を上方から見下ろした平面図、すなわち図１（Ｃ）のＢ−Ｂ矢視図であり、マイクアレイによる収音ビーム形成の態様を説明する図である。
【００３６】
≪デーモン音源を排除した音源位置検出・収音方式の説明≫
まず、この遠隔会議装置の音源位置検出および収音方式の原理について説明する。この説明では、スピーカアレイＳＰＡから音声ビームが出力されていないものとする。
【００３７】
ここでは、右側面のマイクアレイＭＲの収音信号に対する処理について説明する。遠隔会議装置１の送信部２（図４参照）は、上述の遅延合成により収音エリア４１１〜４１４の４つのエリアを焦点とする収音ビームを形成する。これら複数の収音エリアは、遠隔会議装置１を用いた会議に出席する話者が存在する可能性のある位置を想定して決定されている。
【００３８】
この、収音エリア４１１Ｒ〜４１４Ｒのうち、収音した音声信号のレベルが最も大きいエリアに話者（音源）が存在すると考えられる。たとえば、図３に示すように音源９９９が収音エリア４１４Ｒに存在する場合には、他の収音エリア４１１Ｒ〜４１３Ｒから収音した音声信号に比べて、収音エリア４１４Ｒから収音した音声信号のレベルが大きくなる。
【００３９】
左側面のマイクアレイＭＬについても同様に、右側面とほぼ線対称に４系統の収音ビームを形成して、収音エリア４１１Ｌ〜４１４Ｌのうち、収音した音声信号のレベルが最も大きいエリアを検出する。なお、上記線対称の対称線は、スピーカアレイＳＰＡの軸とほぼ一致するように形成する。
【００４０】
以上が、本実施形態の遠隔会議装置の音源位置検出および収音方式の原理である。
【００４１】
スピーカアレイＳＰＡから音声が出力されず、マイクアレイＭＲ、ＭＬが回り込み音を収音しない状態では、この原理どおりで正しい音源位置検出と収音をすることができるが、遠隔会議装置は双方向に音声信号を送受信し、マイクアレイＭＲ、ＭＬによる収音と並行してスピーカアレイＳＰＡから音声が放音される。
【００４２】
スピーカアレイＳＰＡの各スピーカに供給される音声信号は、スピーカアレイ後方に設定された仮想音源位置から音声が到来した場合と同じ波面を形成するよう、図２（Ａ）に示すようなパターンの遅延が与えられている。一方、マイクアレイＭＲが収音した音声信号は、所定の収音エリアから到来する音声信号のタイミングが一致するように、図２（Ｂ）に示すようなパターンで遅延させたのち合成される。
【００４３】
ここで、スピーカアレイＳＰＡの仮想音源位置が、マイクアレイＭＲの複数の収音エリアのうちいずれかと一致した場合には、スピーカアレイＳＰＡの各スピーカＳＰ１〜ＳＰＮに付与される遅延パターンとマイクアレイＭＲが収音した音声信号に対してその収音エリアについて付与される遅延パターンがちょうど裏返しになり、スピーカアレイＳＰＡから放音されマイクアレイＭＲに回り込んで収音された音声信号が大きなレベルで合成されてしまう。
【００４４】
上に述べた一般の音源位置検出方式で処理した場合、この大きなレベルで合成された回り込み音声信号が、本来はない音源（デーモン音源）として誤認識されてしまうという問題点がある。
【００４５】
したがって、このデーモン音源をキャンセルしなければ、相手装置から到来した音声信号をそのまま返信してしまいエコーの原因になるとともに、本来の音源（話者）の音声を検出および収音することができなくなる。
【００４６】
以上はマイクアレイＭＲについての説明であるが、マイクアレイＭＬについても（左右対称であるため）、全く同様である。
【００４７】
すなわち、デーモン音源は、音声ビームが、会議机１００で反射して左右対称に放射されることから、右側マイクアレイＭＲ，左側マイクアレイＭＬに同様に、左右対称に生じる。
【００４８】
そこで、左側収音エリア４１１Ｌ〜４１４Ｌと右側収音エリア４１１Ｒ〜４１４Ｒの音量を比較し、音量レベルが大きく、音源が存在すると推定されても、左右の対応するエリアで同じように音量レベルが大きい場合には、これは、スピーカアレイＳＰＡの音声ビームが回り込んだデーモン音源であるとして、これを収音対象から外すことで、真の音源の音声の検出および収音を可能にするとともに、回り込み音声によるエコーを防止するようにしている。
【００４９】
このため、この遠隔会議装置の送信部では、左側マイクアレイＭＬの収音エリア４１１Ｌ〜４１４Ｌから収音した音声信号レベルと、右側マイクアレイＭＲの収音エリア４１１Ｒ〜４１４Ｒから収音した音声信号レベルとを比較し、左右の収音エリアでレベルがほぼ同じ対を排除し、左右の収音エリアでレベルが大きく異なる場合に、その大きい方の収音エリアに音源が存在すると判断するようにしている。
【００５０】
そして相手装置には、その大きい方の音声信号のみを送信するとともに、その信号（デジタル信号）のサブコード等にその音声信号を検出した収音エリアの位置を表す位置情報を付加する。
【００５１】
以下、上記のデーモン音源排除処理を実行する信号処理部（送信部）の構成について説明する。なお、図３の狭収音ビーム４３１〜４３４については、図７の第２実施形態の説明で参照して説明する。
【００５２】
≪収音ビームを形成する送信部の構成≫
図４は、遠隔会議装置１の送信部２の構成を示すブロック図である。ここで、太い矢印は、複数系統の音声信号が伝送されていることを示し、細い矢印は、１つの音声信号が伝送されていることを示している。また、破線の矢印は指示入力が伝送されていることを示している。
【００５３】
図中の第１ビーム生成部２３１および第２ビーム生成部２３２は、図３に示した左右の収音エリア４１１Ｒ〜４１４Ｒ、４１１Ｌ〜４１４Ｌを焦点とするそれぞれ４系統の収音ビームを形成する信号処理部である。
【００５４】
第１ビーム生成部２３１には、Ａ／Ｄ変換器２１１を介して右側マイクアレイＭＲの各マイクユニットＭＲ１〜ＭＲＮが収音した音声信号が入力される。また、同様に、第２ビーム生成部２３２には、Ａ／Ｄ変換器２１２を介して左側マイクアレイＭＬの各マイクユニットＭＬ１〜ＭＬＮが収音した音声信号が入力される。
【００５５】
第１ビーム生成部２３１，第２ビーム生成部２３２は、それぞれ４つの収音ビームを形成して４つの収音エリア４１１Ｒ〜４１４Ｒ、４１１Ｌ〜４１４Ｌから音声を収音し、この収音した音声信号を差分値計算回路２２およびセレクタ２７１，２７２に出力する。
【００５６】
図５は、第１ビーム形成部２３１の詳細構成を示す図である。第１ビーム生成部２３１では、各収音エリア４１ｊ（ｊ＝１〜Ｋ）に対応する複数の遅延処理部４５ｊを有している。各遅延処理部４５ｊでは、各収音エリア４１ｊに焦点を持つ収音ビーム出力ＭＢｊを生成するため、ディレイパターンのデータ４０ｊに基づき、各マイク出力毎に音声信号を遅延させる。各遅延処理部４５ｊは、ＲＯＭ上に記憶したディレイパターンのデータ４０ｊを入力して、ディレイ４６ｊｉ（ｊ＝１〜Ｋ、ｉ＝１〜Ｎ）にディレイ量を設定する。
【００５７】
そして、加算部４７ｊは、これらディレイがかけられたディジタル音声信号を加算して、マイクビーム出力ＭＢｊ（ｊ＝１〜Ｋ）として出力する。この収音ビーム出力ＭＢｊは、それぞれ、図３に示す収音エリア４１ｊへ焦点を結ぶ収音ビームとなる。そして、各遅延処理部４５ｊが演算した収音ビーム出力ＭＢｊは、それぞれ差分値計算回路２２等に出力される。
【００５８】
また、図５では第１ビーム形成部２３１について説明したが、第２ビーム形成部２３２も、これと同様の構成である。
【００５９】
図４において、差分値計算回路２２は、各収音エリアで収音した音声信号のうち左右対称の位置にある収音エリアで収音したもの同士の音量レベルを比較し、その差分値を算出する。すなわち、収音エリアＡの信号レベルをＰ（Ａ）で表すとすると、差分値計算回路２２は、
Ｄ（４１１）＝｜Ｐ（４１１Ｒ）−Ｐ（４１１Ｌ）｜
Ｄ（４１２）＝｜Ｐ（４１２Ｒ）−Ｐ（４１２Ｌ）｜
Ｄ（４１３）＝｜Ｐ（４１３Ｒ）−Ｐ（４１３Ｌ）｜
Ｄ（４１４）＝｜Ｐ（４１４Ｒ）−Ｐ（４１４Ｌ）｜
を計算する。この計算した差分値Ｄ（４１１）〜Ｄ（４１４）を第１推定部２５１に出力する。
【００６０】
なお、差分値計算回路２２は、左右の収音エリアで収音した音声信号の信号波形をそのまま引き算して差分値信号を出力するよう構成してもよく、左右の収音エリアで収音した音声信号の実効値を一定時間積分した音量レベル値を引き算した値を前記一定時間毎に出力するよう構成してもよい。
【００６１】
差分値計算回路２２が差分値信号を出力する場合には、第１推定部２５１の推定を容易にするため、差分値計算回路２２と第１推定部２５１との間にＢＰＦ２４１を挿入すればよい。ＢＰＦ２４１は、差分値信号から、会話音声の周波数領域のなかで、収音ビームによって指向性制御を良好に行うことができる１ｋ〜２ｋＨｚ周辺の周波数帯域を通過させるように設定される。
【００６２】
このように、スピーカアレイＳＰＡの中心線を対称軸として左右対称の位置にある左右の収音エリアの収音信号の音量レベル同士を差分することにより、スピーカアレイＳＰＡから左右のマイクアレイＭＲ、ＭＬへ左右対称に回り込んだ音声成分がキャンセルされ、回り込みの音声信号をデーモン音源として誤認識してしまうことがない。
【００６３】
第１推定部２５１は、差分値計算回路２２から入力された差分値のうち最大のものを選択し、その最大の差分値が計算された収音エリアのペアを選択する。この収音エリアを第２推定部２５２に入力すべく、第１推定部２５１は、この収音エリアの音声信号を第２推定部２５２に出力する選択信号をセレクタ２７１，２７２に出力する。
【００６４】
セレクタ２７１は、この選択信号に基づき、右側ビーム生成部２３１がビーム化して収音した４つの収音エリアの信号のうち第１推定部２５１が選択した収音エリアの信号を第２推定部２５２および信号選択部２６に供給すべく信号を選択する。また、セレクタ２７２は、前記選択信号に基づき、左側ビーム生成部２３２がビーム化して収音した４つの収音エリアの信号のうち第１推定部２５１が選択した収音エリアの信号を第２推定部２５２および信号選択部２６に供給すべく信号を選択する。
【００６５】
第２推定部２５２は、第１推定部２５１で推定され、セレクタ２７１，２７２から選択的に出力された収音エリアの音声信号を入力する。第２推定部２５２は入力された左右の収音エリアの音声信号を比較し、そのレベルの大きい方を真の音源の音声信号であると判断する。第２推定部２５２は、この真の音源が存在する収音エリアの方向，距離を示す情報を位置情報２５２２として多重化部２８に出力するとともに、信号選択部２６にこの真の音源の音声信号を選択的に多重化部２８に入力するように指示する。
【００６６】
多重化部２８は、第２推定部２５２から入力された位置情報２５２２と、信号選択部２６から選択された真の音源の音声信号２６１とを多重化し、この多重化した信号を相手装置に対して送信する。
【００６７】
なお、これらの推定部２５１、２５２は、音源位置の推定を一定期間ごとに繰り返して行う。例えば０．５秒ごとに繰り返す。この場合、０．５秒分の信号波形または振幅実効値を比較すればよい。このように所定期間ごとに繰り返し音源位置を推定して収音エリアを切り換えるようにすれば、話者の移動に対応した収音をすることができる。
【００６８】
なお、真の音源位置と回り込みによるデーモン音源位置が重なった場合には、左右の信号波形を差分した差分信号を収音信号として相手装置に出力するようにしてもよい。差分信号はデーモン音源波形のみキャンセルして真の音源の信号波形を保存しているからである。
【００６９】
また、話者が２つの収音エリアに跨がって存在している場合や話者が移動した場合に対応するため、以下のような別形態も考えられる。第１推定部２５１が差分信号の強度が大きい順に２つの収音エリアを選択するとともに、その強度比を出力する。第２推定部２５２はこの信号強度の最大のペアまたは２つのペアを比較して真の音源がどちら側にあるかを推定する。信号選択部２６は、第１推定部２５１および第２推定部２５２によって選択された一方の側の２つの音声信号を、この指示された強度比の重みをかけて合成し、出力信号２６１として出力する。このように信号強度比の重みつきで常に２つの位置の音声を合成すれば、話者の移動に対して、常に上述と同様のクロスフェードがかかることになり、音像定位が自然に移動する。
【００７０】
≪音声ビームを形成する受信部３の構成≫
次に図６を用いて、受信部３の内部構成について説明する。受信部３は、相手装置から音声信号を受信するとともに、音声信号のサブコードから位置情報を分離する音声信号受信部３１と、音声信号受信部３１が分離した位置情報からこの音声信号を定位させる位置を決定し、その位置に音像を定位させるための指向性制御パラメータを算出するパラメータ算出部３２と、パラメータ算出部３２から入力されたパラメータに基づいて、受信した音声信号の指向性を制御する指向性制御部３３と、指向性が制御された音声信号をアナログ信号に変換するＤ／Ａ変換器３４ｉ（ｉ＝１〜Ｎ）と、Ｄ／Ａ変換器３４ｉ（ｉ＝１〜Ｎ）から出力されたアナログの音声信号を増幅するアンプ３５ｉ（ｉ＝１〜Ｎ）とを備えている。アンプ３５ｉが出力したアナログの音声信号は、図１で示した外部のスピーカＳＰｉ（ｉ＝１〜Ｎ）に供給される。
【００７１】
音声信号受信部３１は、インターネットや公衆電話回線等を介して相手装置と通信をする機能部であり、通信インタフェースやバッファメモリ等を備えている。音声信号受信部３１は、相手装置から位置情報２５２２をサブコードとして含む音声信号３０を受信する。受信した音声信号のサブコードから位置情報を分離してパラメータ算出部３２に入力するとともに、音声信号を指向性制御部３３に入力する。
【００７２】
パラメータ算出部３２は、指向性制御部３３で用いるパラメータを算出する計算部であり、パラメータ算出部３２は、受信した位置情報に基づく位置に焦点を生成し、音声信号にこの焦点から放音されているような指向性を持たせるための、各スピーカユニットに供給する音声信号に与えるディレイ量を算出する。
【００７３】
指向性制御部３３は、パラメータ算出部３２で設定されたパラメータに基づいて、音声信号受信部３１で受信した音声信号を、スピーカＳＰｉ（ｉ＝１〜Ｎ）の出力系統ごとに処理する。即ち、スピーカＳＰｉ（ｉ＝１〜Ｎ）の各々に対応する複数の処理部をパラレルに設ける。各処理部は、パラメータ算出部３２が算出したパラメータ（ディレイ量パラメータ等）に基づいて、音声信号に対してディレイ量等を設定してＤ／Ａ変換器３４ｉ（ｉ＝１〜Ｎ）にそれぞれ出力する。
【００７４】
Ｄ／Ａ変換器３４ｉ（ｉ＝１〜Ｎ）は、指向性制御部３３から出力された各出力系統ごとのデジタル音声信号をアナログ信号に変換して出力する。アンプ３５ｉ（ｉ＝１〜Ｎ）は、Ｄ／Ａ変換器３４ｉ（ｉ＝１〜Ｎ）から出力されたアナログの音声信号をそれぞれ増幅して、スピーカＳＰｉ（ｉ＝１〜Ｎ）に出力する。
【００７５】
以上説明した受信部３が、相手装置から受信した音声信号を、相手装置における音源の位置関係を自装置で再現するために、装置本体底面に設置されているスピーカアレイＳＰＡから音声信号を位置情報に基づいてビーム化して出力し、仮想的な音源位置から音声が出力されたような指向性を再現する処理を行う。
【００７６】
＜第２の実施形態＞
次に、図７を参照して、第２の実施形態の遠隔会議装置について説明する。この実施形態は図４で示した第１の実施形態の応用であって、同一部分は、同じ符号を付して説明を準用する。また、図３を収音ビームの説明において、補助的に参照する。
【００７７】
第１実施形態では、差分信号が大きい収音エリアのペアのどちらかに真の音源が存在するとし、第２推定部２５２がどちらに真の音源が存在するかを推定しているが、この実施形態では、さらに、第２推定部２５２が推定した真の音源が存在する収音エリアをさらに詳細に探索して、音源位置を正確に検出するための詳細位置探索用ビーム（狭ビーム）生成機能２３１３、２３２３を備えている。
【００７８】
第２推定部２５２が、図３に図示するように、真の音源９９９が収音エリア４１４Ｒに存在すると推定すると、第２推定部２５２は、この推定結果を第１ビーム生成部２３１に通知する。このように、第２推定部２５２では、マイクアレイＭＲ、ＭＬのどちら側に真の音源があるのか推定しているので、推定結果の通知２５２３、２５２４は、いずれか一方にしか入力されない。もし、左側エリアに真の音源が存在すると推定した場合には、第２推定部２５２は、第２ビーム生成部２３２にその推定結果を通知する。
【００７９】
第１ビーム生成部２３１は、この通知に基づき、詳細位置探索用ビーム生成機能２３１３を動作させて、図３の狭収音エリア４３１〜４３４を焦点とする狭ビームを生成して、さらに詳細に音源９９９の位置を探索する。
【００８０】
また、第２の実施形態の装置では、第３推定部２５３、第４推定部２５４を備えている。この詳細位置探索用ビーム生成機能２３１３、２３２３の収音ビームから信号強度の高い順に２つ選択する。ただし、推定部２５３、２５４のうちで動作するのは、第２推定部２５２が推定した側のみである。
【００８１】
図３の例では、狭収音エリア４３１〜４３４へ指向させた収音ビームから音声信号を収音しており、真の音源９９９は、収音エリア４３４と収音エリア４３３に跨がった位置に存在している。この場合、第３推定部２５３は、信号強度の大きい順に収音エリア４３４、４３３から収音した音声信号を選択する。第３推定部２５３は、選択した２つの音声信号の信号強度に応じて、この選択した収音エリアの焦点位置を比例配分して話者の位置を推定・出力するとともに、選択した２つの音声信号を重みづけ合成して音声信号として出力する。
【００８２】
以上は、右側エリアの第１ビーム生成部２３１（詳細位置探索用ビーム生成機能２３１３）および第３推定部２５３について説明したが、左側エリアの第２ビーム形成部２３２（詳細位置探索用ビーム生成機能２３２３）および第４推定部２５４についても同様の構成であるとともに同様の処理動作を実行する。
【００８３】
なお、以上で示した第２の実施形態の装置の詳細位置探索の機能は、話者が頻繁に移動する場合には、処理が追いつかない場合もある。そこで、第２推定部２５２から出力される話者の位置が一定時間留まっている場合にのみ、この機能を働かせることも考えられる。この場合、第２推定部２５２から出力される話者の位置が一定時間以内に移動する場合には、図７に示した構成を備えていても、図４に示した第１実施形態と同様の動作を行うようにすればよい。
【００８４】
なお、この絞込み推定を行う推定部２５３、２５４は、本発明の「第３の音源位置推定手段」に相当する。
【００８５】
＜第３の実施形態＞
次に、図８を用いて、この発明の第３の実施形態の遠隔会議装置の送信部について説明する。図８は、この送信部のブロック図である。この実施形態の装置の送信部２は、差分値計算回路２２の入力がＡ／Ｄ変換器２１１、２１２の出力である点、差分値計算回路２２の出力信号を用いて収音ビームを生成する第３ビーム生成部２３７を設けている点、第４ビーム生成部２３８、第５ビーム生成部２３９を設けている点、セレクタ２７１、２７２がない点が異なる。その他の部分は、同様の符号を付して、以上の説明を準用する。以下、この実施形態の装置の相違点、重要点のみ説明する。
【００８６】
図８に示すように、差分値計算回路２２には、直接、Ａ／Ｄ変換器２１１、２１２の出力を入力する。そのため、第２の実施形態の装置では、マイクＭＲｉとマイクＭＬｉの数Ｎは同数として、互いに対称の位置に設ける。差分値計算回路２２は、「（マイクＭＲｉの音声信号）−（マイクＭＬｉの音声信号）」（ｉ＝１〜Ｎ）をそれぞれ計算する。これにより、図４で示した実施形態の装置と同様、スピーカアレイＳＰＡから回り込んだ音声がマイクアレイＭＲ、ＭＬに入力される分をキャンセルできる。
【００８７】
ここで、この第３の実施形態の装置では、それぞれのマイクＭＲｉ、ＭＬｉは、スピーカアレイＳＰＡの長手方向の中心線に関して略左右対称である必要がある。差分値計算回路２２で各マイク同士で回り込み音声をキャンセルするためである。なお、この差分値計算回路２２は、遠隔会議装置１のマイクアレイＭＲ、ＭＬの起動中は、常時計算を行う。
【００８８】
第３ビーム生成部２３７は、差分値計算回路２２の出力信号の束を基にして、第１ビーム生成部２３１、第２ビーム生成部２３２と同様に、仮想的な４つの収音エリアを焦点とする収音ビームを出力する。この仮想的な収音エリアは、スピーカアレイＳＰＡの中心線１０１に関して左右対称に設定した収音エリア対（４１１Ｒと４１１Ｌ、４１２Ｒと４１２Ｌ、４１３Ｒと４１３Ｌ、４１４Ｒと４１４Ｌ：図３参照）に対応し、第３ビーム生成部２３７が出力する音声信号は、第１の実施形態における差分信号Ｄ（４１１）、Ｄ（４１２）、Ｄ（４１３）、Ｄ（４１４）と同様のものである。この差分信号を、ＢＰＦ２４１を通して第１推定部２５１に出力すれば、図４で示した装置の第１推定部２５１と同様に音源位置の推定を行うことができる。この推定結果２５１１、２５１２は、第４ビーム生成部２３８、第５ビーム生成部２３９に出力される。
【００８９】
図８の第４ビーム生成部２３８、第５ビーム生成部２３９について説明する。第４ビーム生成部２３８、第５ビーム生成部２３９には、Ａ／Ｄ変換器２１１、２１２が出力するデジタル音声信号が直接入力されている。このデジタル音声信号に基づいて、第１推定部２５１から入力された推定結果２５１１，２５１２が指示する収音エリアを焦点とする収音ビームを生成し、その収音エリアの音声信号を取り出す。すなわち、この第４ビーム生成部２３８、第５ビーム生成部２３９が生成する収音ビームが、第１実施形態において、セレクタ２７１，２７２が選択した収音ビームに対応する。
【００９０】
このように、この第４ビーム生成部２３８、第５ビーム生成部２３９は、第１推定部２５１から指示された収音ビームで収音した１系統の音声出力のみを出力する。この第４ビーム生成部２３８、第５ビーム生成部２３９が、各収音ビームの焦点である収音エリアから収音した音声信号は、第２推定部２５２に入力される。
【００９１】
以下の動作は、第１の実施形態と同様である。第２推定部２５２は、２つの音声信号を比較し、そのレベルの大きい方の収音エリアに音源が存在すると判定する。第２推定部２５２は、この真の音源が存在する収音エリアの方向，距離を示す情報を位置情報２５２２として多重化部２８に出力するとともに、信号選択部２６にこの真の音源の音声信号を選択的に多重化部２８に入力するように指示する。多重化部２８は、第２推定部２５２から入力された位置情報２５２２と、信号選択部２６から選択された真の音源の音声信号２６１とを多重化し、この多重化した信号を相手装置に対して送信する。
【００９２】
なお、図８に示した第３の実施形態においても、第２の実施形態と同様、多段階に推定を行って、音源の位置を最初は広く、再度狭く絞り込んで探索することも可能である。その場合には、第２推定部２５２は、１回の探索が終了すると、さらに狭い範囲を探索するよう指示する指示入力２５２３、２５２４を第４，第５ビーム生成部２３８、２３９に出力する。この動作は音源が存在する側のビーム生成部のみに対して出力する。この指示入力を受けたビーム生成部は、この指示入力を受けると内部のさらに狭い範囲に対応するディレイパターンを読み出し、ＲＯＭからディレイパターンのデータ４０ｊを書き換える。
【００９３】
なお、第１，第３の実施形態では、第１推定部２５１が、左右の収音エリア４１１Ｒ〜４１４Ｒ、４１１Ｌ〜４１４Ｌからそれぞれ１つずつの収音エリア（４１ｊＲ、４１ｊＬ）を選択し、さらに、第２推定部２５２が、４１ｊＲ、４１ｊＬのどちらに真の音源が存在するかを推定しているが、必ずしも第２推定部を設ける必要はない。
【００９４】
たとえば、遠隔会議装置を右側または左側片方のみで使用している場合など、真の音源の反対側に雑音源がない場合には、収音エリア４１ｊＲ、４１ｊＬの両方の音声の合成信号（または差分信号）をそのまま収音信号として相手装置に出力しても問題ないからである。
【００９５】
また、これらの実施形態で示した数値等は、本発明を限定するものではない。また、以上の図で、機能を発揮するブロックの構成間に信号のやり取りがある場合には、これらのブロックの機能の一部が他方のブロックで処理する構成でも、以上で示した実施形態と同様の効果を奏する場合がありうる。
【図面の簡単な説明】
【００９６】
【図１】この発明の第１の実施形態に係る遠隔会議装置の外観および使用形態を示す図
【図２】同遠隔会議装置の音声ビームおよび収音ビームを説明する図
【図３】同遠隔会議装置のマイクアレイに設定される収音エリアを説明する図
【図４】同遠隔会議装置の送信部のブロック図
【図５】同遠隔会議装置の第１ビーム生成部の構成図
【図６】同遠隔会議装置の受信部のブロック図
【図７】この発明の第２の実施形態の遠隔会議装置の送信部のブロック図
【図８】この発明の第３の実施形態の遠隔会議装置の送信部のブロック図
【符号の説明】
【００９７】
１…遠隔会議装置、２…送信部、２２…差分値計算回路、２３１…第１ビーム生成部、２３２…第２ビーム生成部、２３７…第３ビーム生成部、２３８…第４ビーム生成部、２３９…第５ビーム生成部、２５１…第１推定部、２５２…第２推定部、２５３…第３推定部、２５４…第４推定部、２６…信号選択部、２７１，２７２…セレクタ、２８…多重化部
３…受信部、３１…データ受信部、３２…パラメータ算出部、３３…指向性制御部
４５ｊ（ｊ＝１〜Ｋ）…遅延処理部、４０ｊ（ｊ＝１〜Ｋ）…ディレイパターンメモリ、４６１ｉ（ｉ＝１〜Ｎ）…ディレイ、４７ｊ（ｊ＝１〜Ｋ）…マイク入力合成部
ＳＰｉ（ｉ＝１〜Ｍ）…スピーカ、ＳＰＡ…スピーカアレイ
ＭＬ，ＭＲ…マイクアレイ、ＭＬｉ（ｉ＝１〜Ｎ），ＭＲｉ（ｉ＝１〜Ｎ）…マイク
１００…机、１０１…中心線
４１１Ｒ〜４１４Ｒ，４１１Ｌ〜４１４Ｌ…収音エリア、９９９…音源（話者）
【図１】
2007142595.tif 000003
【図２】
2007142595.tif 000004
【図３】
2007142595.tif 000005
【図４】
2007142595.tif 000006
【図５】
2007142595.tif 000007
【図６】
2007142595.tif 000008
【図７】
2007142595.tif 000009
【図８】
2007142595.tif 000010