(57)【要約】  無指向性マイクを用いても高いエコー消去を実現することができる音声コミュニケーション技術を提供する。近端話者が発した音声を話者音声、スピーカが遠端話者の音声信号である受話信号を放声した音を再生音、第１マイクが話者音声と再生音を含む音響信号を収音した信号を第１収音信号、第２マイクが話者音声と再生音を含む音響信号を収音した信号を第２収音信号とし、スピーカと第１マイクの距離d1とスピーカと第２マイクの距離d2（d2≦d1）との違いに基づく振幅の違いに基づいて第１収音信号または第２収音信号のいずれか１つの信号を補正した補正済収音信号と、第２収音信号または第１収音信号の差である第１減算済第１収音信号を生成する第１減算部と、第１減算済第１収音信号から、エコーを消去した適応フィルタリング済第２収音信号を減じることにより、遠端話者に送信する送話信号を生成する第２減算部とを含む。
2019098178.tif 000002
【特許請求の範囲】
【請求項１】
遠端話者の音声信号である受話信号を放声するスピーカと、
近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正部と、
前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部と
を含む音声コミュニケーション装置。
【請求項２】
遠端話者の音声信号である受話信号を放声するスピーカと、
近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、
前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、
前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延部と、
前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算部と、
前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、
前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、
前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部とを含む音声コミュニケーション装置であって、
前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
前記固定係数は、前記距離d2と前記距離d1の比d2/d1である
音声コミュニケーション装置。
【請求項３】
請求項１または２に記載の音声コミュニケーション装置であって、
前記適応フィルタのフィルタ係数は、前記送話信号のパワーPow1と前記第２収音信号のパワーPow2の比Pow1/Pow2が小さいことを示す所定の範囲にある場合にNLMS（Normalized Least Mean Squares）アルゴリズムまたはLMS（Least Mean Squares）アルゴリズムを用いて更新される
ことを特徴とする音声コミュニケーション装置。
【請求項４】
請求項１または２に記載の音声コミュニケーション装置であって、
前記適応フィルタのフィルタ係数は、修正アフィン射影アルゴリズムで用いるリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にある場合に前記修正アフィン射影アルゴリズムを用いて更新される
ことを特徴とする音声コミュニケーション装置。
【請求項５】
遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が、前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
前記音声コミュニケーション装置が、前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正ステップと、
前記音声コミュニケーション装置が、前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップと
を含む音声コミュニケーション方法。
【請求項６】
遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクとを含む音声コミュニケーション装置が、前記遠端話者に送信する送話信号を生成する音声コミュニケーション方法であって、
前記音声コミュニケーション装置が、前記第２収音信号に所定の遅延を加えた信号である遅延済第２収音信号を生成する遅延ステップと、
前記音声コミュニケーション装置が、前記遅延済第２収音信号に所定の固定係数を乗じた信号であるゲイン済第２収音信号を生成する乗算ステップと、
前記音声コミュニケーション装置が、前記第１収音信号から前記ゲイン済第２収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算ステップと、
前記音声コミュニケーション装置が、前記第２収音信号と前記送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタリングステップと、
前記音声コミュニケーション装置が、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算ステップとを含み、
前記スピーカから前記第１マイクまでの距離d1は、前記スピーカから前記第２マイクまでの距離d2以上であり、
前記固定係数は、前記距離d2と前記距離d1の比d2/d1である
音声コミュニケーション方法。
【請求項７】
請求項１ないし４のいずれか１項に記載の音声コミュニケーション装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハンズフリー通話においてスピーカからマイクロホンへ回り込んだ音であるエコーを消去するエコー消去技術に関する。
【背景技術】
【０００２】
ＴＶ会議や音声会議などのハンズフリー通話においてスピーカからマイクロホンへ回り込んだ音であるエコー（音響エコー）を消去する装置はエコー消去装置と呼ばれる。図１６は、特許文献１で開示されている従来技術のエコー消去装置８０５を含む音声コミュニケーション装置８００の構成を示す。図１６に示すようにエコー消去装置８０５は、減算部８２０と、加算部８３０と、第１適応フィルタ８４０と、第２適応フィルタ８５０を含む。また、エコー消去装置８００に、スピーカ８９０とメインマイク８９２とサブマイク８９４を加えた構成が音声コミュニケーション装置８００である。エコー消去装置８０５は、近端話者１０の音声をなるべく大きく拾いスピーカ８９０からの音をなるべく拾わないように配置されたメインマイク８９２と、スピーカ８９０からの音をなるべく大きく拾い近端話者１０の音声をなるべく拾わないように配置されたサブマイク８９４に接続する。メインマイク８９２、サブマイク８９４は、話者方向を向いた指向性マイク、スピーカ方向を向いた指向性マイクによりそれぞれ実現される。エコー消去装置８０５は、サブマイク８９４による収音信号を処理する第１適応フィルタ８４０とスピーカから出力される前の受話信号（つまり、ネットワーク９００を介して伝達された、遠端話者（図示しない）の音声信号）を処理する第２適応フィルタ８５０の２つの適応フィルタを用いて、エコーを消去する。これにより、スピーカ音の歪成分も含めエコーを消去することが可能となり、音声コミュニケーション装置８００の筐体が小型であっても、高性能なハンズフリー通話を実現することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１６０４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、音声コミュニケーション装置８００の構成に用いる指向性マイクは無指向性マイクと比べコストが高い。また、指向性マイクを音声コミュニケーション装置８００の筐体に組み込む際に多数の音孔が必要であり、デザイン上の制約が大きい。【０００５】
そこで本発明では、無指向性マイクを用いても高いエコー消去を実現することができる音声コミュニケーション技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、遠端話者の音声信号である受話信号を放声するスピーカと、近端話者が発した音声である話者音声と前記受話信号を放声した再生音を含む音響信号を第１収音信号として収音する第１マイクと、前記話者音声と前記再生音を含む音響信号を第２収音信号として収音する第２マイクと、前記第１収音信号または前記第２収音信号のいずれか１つの信号から、前記スピーカから前記第１マイクまでの距離d1と前記スピーカから前記第２マイクまでの距離d2（ただし、d2≦d1）との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する補正部と、前記補正済収音信号から前記第２収音信号を減じた信号または前記第１収音信号から前記補正済収音信号を減じた信号である第１減算済第１収音信号を生成する第１減算部と、前記第２収音信号と前記遠端話者に送信する送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する適応フィルタと、前記第１減算済第１収音信号から前記適応フィルタリング済第２収音信号を減じた信号を前記送話信号として生成する第２減算部とを含む。
【発明の効果】
【０００７】
本発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。
【図面の簡単な説明】
【０００８】
【図１】音声コミュニケーション装置１００の構成の一例を示すブロック図である。
【図２】音声コミュニケーション装置１００の動作の一例を示すフローチャートである。
【図３Ａ】スピーカとマイクの位置関係の例を示す図である。
【図３Ｂ】スピーカとマイクの位置関係の例を示す図である。
【図３Ｃ】スピーカとマイクの位置関係の例を示す図である。
【図３Ｄ】スピーカとマイクの位置関係の例を示す図である。
【図４】音声コミュニケーション装置２００の構成の一例を示すブロック図である。
【図５】音声コミュニケーション装置２００の動作の一例を示すフローチャートである。
【図６】音声コミュニケーション装置３００の構成の一例を示すブロック図である。
【図７】音声コミュニケーション装置３００の動作の一例を示すフローチャートである。
【図８】音声コミュニケーション装置４００の構成の一例を示すブロック図である。
【図９】音声コミュニケーション装置４００の動作の一例を示すフローチャートである。
【図１０】音声コミュニケーション装置５００の構成の一例を示すブロック図である。
【図１１】音声コミュニケーション装置５００の動作の一例を示すフローチャートである。
【図１２】音声コミュニケーション装置６００の構成の一例を示すブロック図である。
【図１３】音声コミュニケーション装置６００の動作の一例を示すフローチャートである。
【図１４】音声コミュニケーション装置６０１の構成の一例を示すブロック図である。
【図１５】音声コミュニケーション装置６０１の動作の一例を示すフローチャートである。
【図１６】音声コミュニケーション装置８００の構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
＜第一実施形態＞
以下、図１〜図２を参照して音声コミュニケーション装置１００を説明する。図１は、音声コミュニケーション装置１００の構成を示すブロック図である。図２は、音声コミュニケーション装置１００の動作を示すフローチャートである。図１に示すように音声コミュニケーション装置１００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、乗算部１１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。
【００１１】
スピーカ１０２は、ネットワーク９００を介して伝達された、遠端話者（図示しない）の音声信号（以下、受話信号という）を放声する。また、近端話者１０は、適宜発話する。近端話者１０が発した音声を話者音声という。
【００１２】
第１マイク１０４は、第２マイク１０６よりもスピーカ１０２から遠い位置に配置される。つまり、第２マイク１０６は、第１マイク１０４よりもスピーカ１０２に近い位置に配置される。第１マイク１０４、第２マイク１０６は、無指向性マイクでよい。スピーカ１０２、第１マイク１０４、第２マイク１０６は音声コミュニケーション装置１００の筐体に収容されている。例えば、スピーカ１０２と第１マイク１０４の距離は30mm程度、スピーカ１０２と第２マイク１０６の距離は10mm程度であり、音声コミュニケーション装置１００の筐体の大きさは80mm×40mm程度と比較的小型のものでよい。
【００１３】
音声コミュニケーション装置１００は遠端話者に送信する送話信号を出力する。送話信号はネットワーク９００を介して遠端話者に伝達される。
【００１４】
以下、図２を参照し、音声コミュニケーション装置１００の動作について説明する。乗算部１１０は、第２マイク１０６で収音した収音信号（以下、第２収音信号という）に所定の固定係数を乗じた信号（以下、ゲイン済第２収音信号という）を生成する（Ｓ１１０）。第２収音信号は、話者音声や受話信号を放声した再生音などを収音した信号である。固定係数の決定方法については後述する。
【００１５】
第１減算部１２０は、第１マイク１０４で収音した収音信号（以下、第１収音信号という）からゲイン済第２収音信号を減じた信号（以下、第１減算済第１収音信号という）を生成する（Ｓ１２０）。第１収音信号も、第２収音信号同様、話者音声や再生音などを収音した信号である。Ｓ１２０により、第１収音信号に含まれるエコー成分が消去され、エコー成分が小さくなった信号（つまり、第１減算済第１収音信号）が得られる。
【００１６】
適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。換言すると、適応フィルタ１４０は、第２収音信号を入力として、送話信号からエコーを消去した適応フィルタリング済第２収音信号を生成する。エコー成分には、マイク特性のばらつき、音声コミュニケーション装置１００の筐体特性や音声コミュニケーション装置１００を利用する部屋の反響特性などの影響により残留した再生音成分が含まれる。つまり、適応フィルタ１４０は、事前に考慮できていない部屋の反響特性などの影響によるエコーを消去するために用いられるものである。経時的に変化するエコーに対応するため、適応フィルタ１４０に設定されるフィルタ係数は逐次更新される。フィルタ係数の更新方法（適応アルゴリズム）については、後述する。
【００１７】
スピーカ１０２で発生する歪成分も含め消去するために、スピーカ１０２により近い位置にある第２マイク１０６でこの歪みを含む再生音を収音した第２収音信号を用いて、Ｓ１４０の処理は実行される。
【００１８】
第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じた信号を送話信号として生成する（Ｓ１３０）。
【００１９】
[固定係数]
ここでは、固定係数について説明する。自由空間に均等に放射される音声信号は、距離に反比例して振幅が小さくなる。スピーカ１０２から第２マイク１０６までの距離をd2、スピーカ１０２から第１マイク１０４までの距離をd1とする（ただし、d2≦d1）と、第１マイク１０４で観測される音の振幅P1と第２マイク１０６で観測される音の振幅P2の間には以下の関係が成立する。
【００２０】
【数１】
2019098178.tif 000003
【００２１】
この関係を利用して、スピーカ１０２から直接第１マイク１０４に到達する音を推定して減算する。具体的には、マイク配置から算出される値、すなわち、スピーカ１０２と第２マイク１０６の距離d2とスピーカ１０２と第１マイク１０４の距離d1の比d2/d1を固定係数とし、第２収音信号に固定係数d2/d1を乗じた信号（ゲイン済第２収音信号）を第１収音信号から減算する。
【００２２】
ここで、第２マイク１０６が収音する第２収音信号は、スピーカ１０２による再生音を主たる成分として含んでいることを期待している。
【００２３】
なお、単純に２つの距離の比d2/d1を用いる代わりに、第１減算部１２０が出力するエコーが最小となる値を実験的に求め、その値を固定係数としてもよい。
【００２４】
[スピーカと２つのマイクの位置関係]
上記説明では、第２マイク１０６が第１マイク１０４よりスピーカ１０２に近い位置にあることのみを要求した。図３Ａ、図３Ｂ、図３Ｃ、図３Ｄにスピーカとマイクの位置関係の例を示す。図３Ａはスピーカに対してマイクが片側にしかないような位置関係であるが、図３Ｂのようにスピーカを挟み込むように２つのマイクを配置してもよい。また、図３Ｃのようにスピーカが２つのマイクからほぼ等しい距離にあるように配置してもよい。さらに、図３Ｄのように（当該図上）左右方向に偏りがあるように配置してもよい。
【００２５】
[適応アルゴリズム]
適応フィルタではフィルタ係数を逐次更新する適応アルゴリズムが用いられる。この適応アルゴリズムの代表的なものとして、NLMS（Normalized Least Mean Squares）アルゴリズムやLMS（Least Mean Squares）アルゴリズムなどがある。フィルタ係数は、遠端話者からの受話信号x(t)と遠端話者への送話信号e(t)等を用いて更新される。以下、NLMSアルゴリズムとLMSアルゴリズムについて、簡単に説明する（特許文献１参照）。
【００２６】
（NLMSアルゴリズム）
NLMSアルゴリズムは、観測された最新の1サンプルの送話信号e(t)のみを用いてフィルタ係数を更新するアルゴリズムであり、演算量が少ない特徴を持つ。フィルタ係数の更新式は、以下の２つ式で表される。
【００２７】
【数２】
2019098178.tif 000004
【００２８】
ただし、H1(t)、Hm(t)(m=2, …, M、Mは2以上の整数であり、マイクロホンの数を表す)は、時刻tにおける受話信号x(t)に対するフィルタ係数のベクトルであり、Hm(t)=(hm(t, 0), …, hm(t, L-1))T(m=1, …, M)で表され、Lはタップ数である。a1とam(m=2, …, M)は事前に設定されたNLMSアルゴリズムのステップサイズであり、0<a1<2, 0<am<2を満たす。また、X(t)は時刻tにおける受話信号x(t)のLサンプル分のベクトルであり、X(t)=(x(t-0), …, x(t-L+1))Tで表す。Y(t)は時刻tにおける受音信号y(t)のLサンプル分のベクトルであり、Ym(t)=(ym(t-0), …, ym(t-L+1))Tで表す（受音信号ym(t)は、マイクロホンmで収音した音声信号である）。
【００２９】
（LMSアルゴリズム）
LMSアルゴリズムも、NLMSアルゴリズムと同様、観測された最新の1サンプルの送話信号ｅ(t)のみを用いてフィルタ係数を更新するアルゴリズムであり、演算量が少ない特徴を持つ。LMSアルゴリズムの更新式は、以下の２つの式で表すことができる。
【００３０】
【数３】
2019098178.tif 000005
【００３１】
ただし、b1とbm(m=2, …, M)は事前に設定されたLMSアルゴリズムのステップサイズである。
【００３２】
スピーカから遠端話者の音声信号（受話信号）が出力されるのと同時に近端話者の音声（話者音声）が発せられているダブルトーク状態において、フィルタ係数更新のための適応フィルタの学習を行うと近端話者の音声（話者音声）も消去するようフィルタ係数を更新してしまう可能性がある。これを防ぐために、第２減算部１３０の出力信号（送話信号）において、スピーカからの遠端話者の音声信号（受話信号）が減衰していることに着目する。第２マイク１０６の出力信号（第２収音信号）のパワーと第２減算部１３０の出力信号（送話信号）のパワーを比較し、第２減算部１３０の出力信号（送話信号）のパワーが第２マイク１０６の出力信号（第２収音信号）のパワーよりも十分に小さい場合に適応フィルタを学習する（つまり、適応フィルタのフィルタ係数を更新する）。十分に小さいとは、例えば0.5〜0.1倍程度である。つまり、閾値を所定の実数（例えば、0.1以上0.5以下のある実数）とし、第２減算部１３０の出力信号（送話信号）のパワーPow1と第２マイク１０６の出力信号（第２収音信号）のパワーPow2の比Pow1/Pow2が閾値以下となるか、閾値より小さくなることである。なお、比Pow1/Pow2が閾値以下となるか、閾値より小さくなることを比Pow1/Pow2が小さいことを示す所定の範囲にあるという。
【００３３】
また、参考特許文献１に記載の適応アルゴリズム（以下、修正アフィン射影アルゴリズムという）を用いてもよい。
（参考特許文献１：特開２００６−１３５８８６号公報）
【００３４】
エコー消去装置は、スピーカとマイクロホンの間の反響路のインパルス応答を要素として持つ長さLのベクトルh*（以下、＊*はベクトルを表わす）の模擬特性h'*(k)（kは所定間隔の離散時間を指すステップ数）を保持する模擬反響路を有するものとする。ここで、模擬特性h'*(k)がフィルタ係数に対応するものである。模擬特性h'*(k)の更新式は以下の式で表される。
【００３５】
【数４】
2019098178.tif 000006
【００３６】
ただし、x(k)は遠端話者からの受話信号、x*(k)=(x(k), x(k-1), …, x(k-L+1))T、X*(k)=(x*(k), x*(k-1), …, x*(k-p+1))T、μ(k)は固定または時変の更新調整係数（0<μ(k)<2）、e(k)は遠端話者への送話信号であり、e*(k)は次式で表される誤差信号ベクトルである。
【００３７】
【数５】
2019098178.tif 000007
【００３８】
また、リミッタ関数ψ(a)は、入力値aが大きくなるほどその値を抑圧する特性を持つ任意の関数である。
【００３９】
修正アフィン射影アルゴリズムにおいて、リミッタ関数ψ(a)の上限値を1未満の値に設定し、近端話者の音声成分が多く含まれる区間では適応フィルタの学習を遅くする。つまり、閾値を所定の実数（例えば、0.1以上0.5以下のある実数）とし、リミッタ関数ψ(a)の上限値が閾値以下となるか、閾値より小さくなることである。なお、リミッタ関数ψ(a)の上限値が閾値以下となるか、閾値より小さくなることをリミッタ関数ψ(a)の上限値が小さいことを示す所定の範囲にあるという。
【００４０】
リミッタ関数ψ(a)の上限値を所定の値より小さい値に設定して、修正アフィン射影アルゴリズムによりフィルタ係数を更新することにより、近端話者の音声（話者音声）を消去することを防止することができる。
【００４１】
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
【００４２】
本実施形態の発明では、あらかじめ既知の情報（比d2/d1）で固定係数を設定しているため、初期状態からエコー消去が可能となる。さらに、適応フィルタを用いることにより、マイク特性のばらつき、音声コミュニケーション装置の筐体特性や音声コミュニケーション装置を利用する部屋の反響特性などの影響により残留した再生音成分をさらに消去することができる。これにより、マイク特性のばらつきや筐体への組み付け誤差が大きくても安定したエコー消去が可能となる。
【００４３】
＜第二実施形態＞
スピーカ１０２と第２マイク１０６の距離d2がスピーカ１０２と第１マイク１０４の距離d1より小さいことから、受音信号がスピーカ１０２から放声された再生音は、第２マイク１０６、第１マイク１０４の順に収音される。この収音のタイミングのずれを考慮することにより、エコー消去性能をさらに高めることが可能となる。以下、収音タイミングのずれを考慮した第二実施形態について説明する。
【００４４】
以下、図４〜図５を参照して音声コミュニケーション装置２００を説明する。図４は、音声コミュニケーション装置２００の構成を示すブロック図である。図５は、音声コミュニケーション装置２００の動作を示すフローチャートである。図４に示すように音声コミュニケーション装置２００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、遅延部２１０と、乗算部１１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置２００は、遅延部２１０をさらに含む点において音声コミュニケーション装置１００と異なる。
【００４５】
以下、図５を参照し、音声コミュニケーション装置２００の動作について説明する。遅延部２１０は、第２収音信号に所定の遅延を加えた信号（以下、遅延済第２収音信号という）を生成する（Ｓ２１０）。遅延時間の決定方法については後述する。
【００４６】
乗算部１１０は、遅延済第２収音信号に所定の固定係数を乗じることにより、ゲイン済第２収音信号を生成する（Ｓ１１０）。第１減算部１２０は、第１収音信号からゲイン済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
【００４７】
[遅延時間]
ここでは、遅延部２１０で加える遅延時間について説明する。スピーカ１０２と第１マイク１０４の距離ｄ１とスピーカ１０２と第２マイク１０６の距離ｄ２の差に相当する距離d1-d2を音が進むのにかかる時間τを遅延時間とすればよい。
【００４８】
【数６】
2019098178.tif 000008
【００４９】
ただし、vは音速を表す。
【００５０】
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
【００５１】
本実施形態の発明では、スピーカとマイクの位置関係に起因する収音タイミングのずれを考慮するため、エコー消去性能をさらに高めることが可能となる。
【００５２】
＜第三実施形態＞
第二実施形態の遅延部２１０と乗算部１１０では、第１マイク１０４と第２マイク１０６の間の収音タイミングのずれ（遅延時間差）や収音信号の振幅の差については考慮することができるが、第１マイク１０４と第２マイク１０６の間の周波数特性の差については考慮することができない。そこで、第三実施形態では、第１マイク１０４と第２マイク１０６の間の周波数特性の差についても扱える固定フィルタを用いた構成について説明する。
【００５３】
以下、図６〜図７を参照して音声コミュニケーション装置３００を説明する。図６は、音声コミュニケーション装置３００の構成を示すブロック図である。図７は、音声コミュニケーション装置３００の動作を示すフローチャートである。図６に示すように音声コミュニケーション装置３００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、固定フィルタ３１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置３００は、遅延部２１０と乗算部１１０の代わりに固定フィルタ３１０を含む点において音声コミュニケーション装置２００と異なる。
【００５４】
以下、図７を参照し、音声コミュニケーション装置３００の動作について説明する。固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。固定フィルタ３１０には、例えば、FIR(Finite Impulse Response)フィルタを用いることができる。以下、固定フィルタの設定について説明する。スピーカ１０２の音の放射特性やマイク特性のばらつきにより、第１マイク１０４と第２マイク１０６に到達するエコーの直接音成分の周波数特性に差が出ることがあると考えられる。そこで、第１マイク１０４と第２マイク１０６の間の遅延時間差、振幅差、周波数特性差を実験やシミュレーションで求め、これらの差を固定フィルタに設定する。
【００５５】
第１減算部１２０は、第１収音信号からフィルタリング済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
【００５６】
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
【００５７】
本実施形態の発明では、マイクの周波数特性差についても固定フィルタで考慮するため、第一実施形態や第二実施形態よりもエコー直接音成分の推定精度が上がり、エコー消去性能が向上する。
【００５８】
＜第四実施形態＞
第三実施形態では、第１収音信号からフィルタリング済第２収音信号を減算しているが、これにより、目的音である近端話者の音声に対する周波数特性の劣化が生じてしまうことがある。この劣化は、スピーカ１０２と第１マイク１０４の距離d1とスピーカ１０２と第２マイク１０６の距離d2が近い場合ほど大きくなる。そこで、この周波数特性の劣化を補正する固定フィルタを加えた構成について第四実施形態では説明する。
【００５９】
以下、図８〜図９を参照して音声コミュニケーション装置４００を説明する。図８は、音声コミュニケーション装置４００の構成を示すブロック図である。図９は、音声コミュニケーション装置４００の動作を示すフローチャートである。図８に示すように音声コミュニケーション装置４００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、固定フィルタ３１０と、第２固定フィルタ４１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置４００は、第２固定フィルタ４１０をさらに含む点において音声コミュニケーション装置３００と異なる。
【００６０】
以下、図９を参照し、音声コミュニケーション装置４００の動作について説明する。第２固定フィルタ４１０は、第１収音信号に所定のフィルタリングを行うことにより、フィルタリング済第１収音信号を生成する（Ｓ４１０）。固定フィルタ４１０には、例えば、FIR(Finite Impulse Response)フィルタを用いることができる。
【００６１】
固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。第１減算部１２０は、フィルタリング済第１収音信号からフィルタリング済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
【００６２】
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
【００６３】
本実施形態の発明では、第１収音信号に所定のフィルタリングを加え補正することにより、目的音である近端話者の音声の周波数特性の劣化を抑えることが可能となる。
【００６４】
＜第五実施形態＞
これまで説明してきた各実施形態では、第２収音信号を入力とする適応フィルタ１４０を用いてエコー消去を行った。ここでは、受話信号を入力とする第２の適応フィルタを追加した構成を第五実施形態として説明する。なお、ここでは、第四実施形態に第２の適応フィルタを追加した構成について説明するが、第四実施形態の代わりに第一実施形態〜第三実施形態のいずれかに当該適応フィルタを追加する構成としてもよい。
【００６５】
以下、図１０〜図１１を参照して音声コミュニケーション装置５００を説明する。図１０は、音声コミュニケーション装置５００の構成を示すブロック図である。図１１は、音声コミュニケーション装置５００の動作を示すフローチャートである。図１０に示すように音声コミュニケーション装置５００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、固定フィルタ３１０と、第２固定フィルタ４１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０と、第２適応フィルタ５４０を含む。つまり、音声コミュニケーション装置５００は、第２適応フィルタ５４０をさらに含む点において音声コミュニケーション装置４００と異なる。
【００６６】
以下、図１１を参照し、音声コミュニケーション装置５００の動作について説明する。第２固定フィルタ４１０は、第１収音信号に所定のフィルタリングを行うことにより、フィルタリング済第１収音信号を生成する（Ｓ４１０）。固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。第１減算部１２０は、フィルタリング済第１収音信号からフィルタリング済第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。
【００６７】
第２適応フィルタ５４０は、受話信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済受話信号を生成する（Ｓ５４０）。換言すると、第２適応フィルタ５４０は、受話信号を入力として、送話信号からエコーを消去した適応フィルタリング済受話信号を生成する。
【００６８】
第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号と適応フィルタリング済受話信号を減じた信号を送話信号として生成する（Ｓ１３０）。
【００６９】
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
【００７０】
本実施形態の発明では、受話信号を入力とする適応フィルタを追加することにより、残留しているスピーカ音をさらに消去することでき、エコー消去性能が向上する。
【００７１】
＜第六実施形態＞
以下、図１２〜図１３を参照して音声コミュニケーション装置６００を説明する。図１２は、音声コミュニケーション装置６００の構成を示すブロック図である。図１３は、音声コミュニケーション装置６００の動作を示すフローチャートである。図１２に示すように音声コミュニケーション装置６００は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、補正部６１０と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置６００は、乗算部１１０の代わりに補正部６１０を含む点において音声コミュニケーション装置１００と異なる。
【００７２】
以下、図１３を参照し、音声コミュニケーション装置６００の動作について説明する。補正部６１０は、第１収音信号から、スピーカ１０２から第１マイク１０４までの距離d1とスピーカ１０２から第２マイク１０６までの距離d2との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する（Ｓ６１０）。補正の程度は、例えば、第一実施形態の[固定係数]で説明した式(1)を考慮して決定するとよい。
【００７３】
第１減算部１２０は、Ｓ６１０で生成した補正済収音信号から第２収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
【００７４】
（変形例）
音声コミュニケーション装置６００では、第１収音信号を補正するように構成したが、第２収音信号を補正するよう構成することもできる。このような構成である音声コミュニケーション装置６０１について説明する。
【００７５】
以下、図１４〜図１５を参照して音声コミュニケーション装置６０１を説明する。図１４は、音声コミュニケーション装置６０１の構成を示すブロック図である。図１５は、音声コミュニケーション装置６０１の動作を示すフローチャートである。図１４に示すように音声コミュニケーション装置６０１は、スピーカ１０２と、第１マイク１０４と、第２マイク１０６と、補正部６１１と、第１減算部１２０と、第２減算部１３０と、適応フィルタ１４０を含む。つまり、音声コミュニケーション装置６０１は、補正部６１０の代わりに補正部６１１を含む点において音声コミュニケーション装置６００と異なる。
【００７６】
以下、図１５を参照し、音声コミュニケーション装置６０１の動作について説明する。補正部６１１は、第２収音信号から、スピーカ１０２から第１マイク１０４までの距離d1とスピーカ１０２から第２マイク１０６までの距離d2との違いに基づく振幅の違いを補正した信号である補正済収音信号を生成する（Ｓ６１１）。補正の程度は、例えば、第一実施形態の[固定係数]で説明した式(1)を考慮して決定するとよい。
【００７７】
第１減算部１２０は、第１収音信号からＳ６１１で生成した補正済収音信号を減じることにより、第１減算済第１収音信号を生成する（Ｓ１２０）。適応フィルタ１４０は、第２収音信号と送話信号から、経時的に変化するエコーを消去することにより、適応フィルタリング済第２収音信号を生成する（Ｓ１４０）。第２減算部１３０は、第１減算済第１収音信号から適応フィルタリング済第２収音信号を減じることにより、送話信号を生成する（Ｓ１３０）。
【００７８】
本実施形態の発明によれば、無指向性マイクを用いても高いエコー消去を実現する音声コミュニケーションが可能となる。特に、スピーカ音の歪が大きい小型の音声コミュニケーション装置であっても、安価な無指向性マイクを用いて高いエコー消去を実現することが可能となる。
【００７９】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００８０】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００８１】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００８２】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００８３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００８７】
上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。
【図１】
2019098178.tif 000009
【図２】
2019098178.tif 000010
【図３Ａ】
2019098178.tif 000011
【図３Ｂ】
2019098178.tif 000012
【図３Ｃ】
2019098178.tif 000013
【図３Ｄ】
2019098178.tif 000014
【図４】
2019098178.tif 000015
【図５】
2019098178.tif 000016
【図６】
2019098178.tif 000017
【図７】
2019098178.tif 000018
【図８】
2019098178.tif 000019
【図９】
2019098178.tif 000020
【図１０】
2019098178.tif 000021
【図１１】
2019098178.tif 000022
【図１２】
2019098178.tif 000023
【図１３】
2019098178.tif 000024
【図１４】
2019098178.tif 000025
【図１５】
2019098178.tif 000026
【図１６】
2019098178.tif 000027
【手続補正書】
【提出日】令和2年3月24日(2020.3.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
以下、図７を参照し、音声コミュニケーション装置３００の動作について説明する。固定フィルタ３１０は、第２収音信号に所定のフィルタリングを行うことにより、フィルタリング済第２収音信号を生成する（Ｓ３１０）。固定フィルタ３１０には、例えば、FIR(Finite Impulse Response)フィルタを用いることができる。以下、固定フィルタ３１０の設定について説明する。スピーカ１０２の音の放射特性やマイク特性のばらつきにより、第１マイク１０４と第２マイク１０６に到達するエコーの直接音成分の周波数特性に差が出ることがあると考えられる。そこで、第１マイク１０４と第２マイク１０６の間の遅延時間差、振幅差、周波数特性差を実験やシミュレーションで求め、これらの差を固定フィルタ３１０に設定する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
以下、図９を参照し、音声コミュニケーション装置４００の動作について説明する。第２固定フィルタ４１０は、第１収音信号に所定のフィルタリングを行うことにより、フィルタリング済第１収音信号を生成する（Ｓ４１０）。第２固定フィルタ４１０には、例えば、FIR(Finite Impulse Response)フィルタを用いることができる。
【国際調査報告】
2019098178.tif 000028
2019098178.tif 000029
2019098178.tif 000030
2019098178.tif 000031