(57)【要約】【課題】携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供する。【解決手段】複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出し、検出された信号レベルの差に基づいて、話者までの距離を求める。【選択図】  図１
2004226656.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、
前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、
検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とするマイクロホンアレイを用いた話者距離検出装置。
【請求項２】
前記信号レベル差検出部において、話者の発生した音声が前記複数のマイクロホンに到達する時間差を用いて、前記基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出する請求項１に記載の話者距離検出装置。
【請求項３】
複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、
前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、
検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むことを特徴とするマイクロホンアレイを用いた話者距離検出方法。
【請求項４】
複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法を具現化するコンピュータ実行可能なプログラムであって、
前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出するステップと、
検出された信号レベルの差に基づいて、話者までの距離を求めるステップとを含むことを特徴とするコンピュータ実行可能なプログラム。
【請求項５】
請求項１又は２に記載のマイクロホンアレイを用いた話者距離検出装置を用いることを特徴とする音声入出力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マイクロホンアレイを用いて話者がどの程度離れて発声しているのか検出できる話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置に関する。
【０００２】
【従来の技術】
昨今のコンピュータ技術の急速な進展に伴って、通信機器としての携帯電話や携帯端末等はますます高機能化あるいは小型化しており、特に計算機処理負荷の観点から実用化が困難であった音声を用いた各種アプリケーションについても、実用化段階から、より利便性を求められる段階へと移行している。
【０００３】
最近では、複数のマイクロホンを用いることによって、音声を発する話者の発話方向を検出して、指向性を高めることによって周囲の雑音を拾いにくくすることができる音声入出力装置も実用段階に入りつつある。
【０００４】
しかし、特に携帯電話等においては、音声入力に対する認識精度は周囲の雑音に左右されることが多く、認識精度を高めるためにはハンドセットを顔に近づけて音声を入力する以外、効果的な手段が見出せていないのが現状である。
【０００５】
そこで、最近では、携帯電話に赤外線センサや他のセンサを設けることによって話者と携帯電話との距離を検出し、その距離に応じて認識精度の高低を推定することによって、認識エンジンを変更したり、認識結果の出力方法を変更したりする技術が開発されている。（特許文献１〜３参照）
【０００６】
【特許文献１】
特開平６−１２４０９７号公報
【０００７】
【特許文献２】
特開平９−１６２７７２号公報
【０００８】
【特許文献３】
特開平２００２−１１１８０１号公報
【０００９】
【発明が解決しようとする課題】
しかし、上述したような方法では、以下のような問題点があった。まず、話者と携帯電話の距離を検出して、それに応じた認識エンジンを用いる場合であっても、実際に認識モードは手動で切り替えることが多く、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては操作自体がわずらわしいという問題点があった。
【００１０】
また、認識エンジンの切り替えを自動で行う場合においても、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては、実際の状態と認識エンジンの切り替えとの間にどうしても時間的誤差が生じることから、認識モードと携帯電話の使用形態が合わず、不適切な音声入出力レベルになってしまうために所望の認識精度が確保できないという問題点があった。
【００１１】
さらに、話者と携帯電話の距離を検出するために、赤外線センサ等の他のセンサ構造を設ける必要があることから、特に小型化の要請が強い携帯電話においては物理的な制約があり、実際に設けることが困難であるという問題点もあった。
【００１２】
本発明は、上記問題点を解決するために、携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とする。
【００１４】
かかる構成により、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【００１５】
また、本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、信号レベル差検出部において、話者の発生した音声が複数のマイクロホンに到達する時間差を用いて、基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出することが好ましい。
【００１６】
また、本発明は、上記のようなマイクロホンアレイを用いた話者距離検出装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むマイクロホンアレイを用いた話者距離検出方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００１７】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することができるマイクロホンアレイを用いた話者距離検出装置を実現することが可能となる。
【００１８】
また、上述したようなマイクロホンアレイを用いた話者距離検出装置あるいは方法を用いた音声入出力装置においても、同様の効果が期待できる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置について、図面を参照しながら説明する。図１は本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置の構成図である。
【００２０】
図１に示すように、本実施の形態にかかる話者距離検出装置は、二本のマイクロホン１１と１２で構成されるマイクロホンアレイが入力系として設けられている。もちろん、二本に限定されるものではなく、二本以上の複数のマイクロホンで構成されていれば良い。
【００２１】
そして、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンをあらかじめ決定しておく。本実施の形態においては、最も話者に近い位置にあるマイクロホン１１を基準マイクロホンとしている。もちろん基準マイクロホンとしては、最も話者に近い位置にあるマイクロホン１１に特定されるものではなく、例えば話者から最も離れているマイクロホン、本実施の形態の場合はマイクロホン１２を基準マイクロホンとしても良い。
【００２２】
また、基準マイクロホン検出部１３を設けて、基準マイクロホンを条件に応じて自動的に検出するものであっても良い。
【００２３】
さらに、信号レベル差検出部１４では、基準マイクロホン検出部１３で検出された基準マイクロホンの信号レベルと、それ以外のマイクロホンの信号レベルとの差を検出する。信号レベルの差とは音圧のレベル差を意味しており、デシベル値として検出されるものである。当該信号レベルの差を検出するために、まずマイクロホンアレイを構成するマイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の相関を求め、話者の発する音声信号が各マイクロホンに到達する時間差を（数１）に従って算出する。
【００２４】
【数１】
2004226656.tif 000003
【００２５】
ただし、（数１）の分母については、（数２）で示す値を示している。なお、（数１）及び（数２）において、ｉはサンプル番号を、ｊは相関計算のためのサンプル番号を、ｎは相関計算のための畳込み演算の次数を、ｋは到達時間の違いを、それぞれ示している。なお、図１におけるマイクロホン１１及び１２と、音声を入力する話者との位置関係においては、ｋ＞０となる。
【００２６】
【数２】
2004226656.tif 000004
【００２７】
そして、（数１）を用いて計算したｒ（ｋ）が最大になる場合におけるｋの値ｋ＿ｍａｘが、マイクロホン１１とマイクロホン１２に音声が到達した時間差を表している。
【００２８】
次に、（数１）で計算した音声の到達時間差ｋ＿ｍａｘを考慮してマイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の信号レベル差を計算する。このレベル差がマイクロホンアレイから話者までの距離を示している。
【００２９】
入力信号ｘ１とｘ２の信号レベル差の計算は、（数３）を用いて行う。
【００３０】
【数３】
2004226656.tif 000005
【００３１】
（数３）では、分子は比較対象となるマイクロホンへの入力信号の相互相関を、分母は基準マイクロホンへの入力信号の自己相関を、それぞれ求めている。このようにすることで、マイクロホンへ入力される音声以外の周囲の雑音の影響を、最小限にすることが可能となる。
【００３２】
（数３）を用いて算出された信号レベル差ｄｉｆｆ＿ｇは、図１におけるマイクロホン１１及び１２と、音声を入力する話者との位置関係においては、マイクロホンアレイと話者間の距離が短ければ短いほど小さくなり、距離が長ければ長いほど大きくなる。これは、話者により発声された音声信号が球面波に近い形で伝播してくるためである。
【００３３】
そして、話者距離算出部１５において、信号レベル差検出部１４で検出された信号レベルの差に基づいて、話者までの距離を求める。このようにすることで、外部センサ等を新たに付加することなく、話者までの距離を求めることができることから、距離に応じた各種の制御を容易に行うことが可能となる。
【００３４】
例えば、図２においては、本実施の形態にかかる話者距離検出装置を用いた音声を用いた音声入出力装置の実施例を示している。図２において、２１は制御判定部を示しており、話者距離算出部１５において算出された距離に基づいて以下の処理を制御する。
【００３５】
具体的には、話者距離算出部１５で算出された構成マイクロホン間の信号レベル差ｄｉｆｆ＿ｇと事前に設定した所定のしきい値との比較を行い、例えばｄｉｆｆ＿ｇがしきい値よりも小さい場合には話者がマイクロホンアレイの近くで発声しているものと判断し、ｄｉｆｆ＿ｇがしきい値よりも大きい場合には話者がマイクロホンアレイから離れて発声しているものと判断することになる。
【００３６】
そして、制御判定部２１における判断に基づいて、例えばマイクロホンアレイの指向性を高める指向性受音処理を行う。この場合、指向性受音処理部２２では、話者とマイクロホンアレイとの距離に応じて、信号レベル差検出部１４において算出された音声信号の到達時間差ｋ＿ｍａｘを用い、マイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の同期減算を（数４）を用いて行う。
【００３７】
【数４】
2004226656.tif 000006
【００３８】
（数４）においては、話者と反対方向に零点ができるように減算を行うことにより、話者の方向に強い指向性を生成することを意図している。なお、係数αは０≦α≦１の範囲の値であり、マイクロホンアレイと話者間の距離が短い場合には小さく、話者とマイクロホンアレイとの距離が離れている場合には大きくすることになる。
【００３９】
指向性受音処理部２２で算出されたｂ’については、話者とマイクロホンアレイの距離に応じてレベル制御を行うことがより好ましい。すなわち、アンプ２３において、話者とマイクロホンアレイの距離が近い場合にはゲインｂを小さく、離れている場合にはゲインｂを大きくする。
【００４０】
また、イコライザ（図示せず）が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、音声信号の誤認識等を防止することができる。
【００４１】
あるいは、スピーカスイッチ２４によって、スピーカの切り替えを行うことも考えられる。すなわち、話者とマイクロホンアレイの距離が近い場合にはハンドセット用スピーカ２５に、話者とマイクロホンアレイの距離が離れている場合には拡声用スピーカ２６に、それぞれ切り替えることによって、出力音声が大きすぎたり、あるいは聞き取りにくかったりすることを防止することができる。
【００４２】
また、イコライザ（図示せず）が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、出力音声信号を正確に聞き取れるようにすることができる。
【００４３】
さらに、例えば音声出力による情報提供を行うアプリケーションの場合、拡声用スピーカを用いる場合に生じるおそれが高いハウリング現象を防止するために、割込み処理として、話者が発声中は拡声用スピーカ２６からの音声出力を止めることも可能となる。
【００４４】
あるいは、エコーキャンセラ２７を制御して、ハンドセット用スピーカ２５あるいは拡声用スピーカ２６からの音声出力がマイクロホンアレイに回り込む現象を抑制することも考えられる。エコーキャンセラ２７を介した入力音声ｅは、（数５）を用いて算出される。
【００４５】
【数５】
2004226656.tif 000007
【００４６】
（数５）において、ｈはエコーキャンセラ２７内で用いられるＦＩＲフィルタの係数を、ｎ’は当該ＦＩＲフィルタの次数を、それぞれ示している。また、フィルタ係数ｈは、（数６）に示すように学習同定法を用いて更新することになる。なお、（数６）においてβは一般的には定数であり、０＜β＜１である。
【００４７】
【数６】
2004226656.tif 000008
【００４８】
そして、（数５）及び（数６）におけるＦＩＲフィルタの次数ｎ’を、話者とマイクロホンアレイとの距離に応じて変更することになる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、処理演算量を削減するためにＦＩＲフィルタの次数ｎ’を小さくし、離れている場合には十分な抑制量を得るためにＦＩＲフィルタの次数ｎ’を大きくすることになる。
【００４９】
なお、本実施の形態においては、回り込み音声信号を抑制するエコーキャンセラについて説明しているが、特にエコーキャンセラに限定されるものではなく、例えば雑音を抑制するノイズキャンセラ等についても、話者とマイクロホンアレイとの距離に応じて同様に処理を制御することが可能となる。
【００５０】
また、音声認識アプリケーションにおいても、高い音声認識率を得るために、話者とマイクロホンアレイとの距離に適した音響モデルを選択することが考えられる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、近接話者用の音響モデルを、離れている場合には遠隔話者用の音響モデルを用いることで、より認識精度の高いアプリケーションを構成することが可能となる。
【００５１】
さらに、話者とマイクロホンアレイとの距離に応じて、認識語彙数を変更することも考えられる。すなわち、話者とマイクロホンアレイとの距離が離れている場合には認識語彙数を減らし、距離が近い場合と比較して、音声認識率の劣化を抑制することが可能となる。
【００５２】
上述した実施例の他、話者とマイクロホンアレイとの距離に応じて画像表示の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、画像表示やバックライトをオフにする等の制御である。
【００５３】
あるいは、話者とマイクロホンアレイとの距離に応じて情報送信の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、情報のパケット送信を停止する等して、パケット送信の無駄を削減することも可能となる。
【００５４】
次に、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れについて説明する。図３に本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れ図を示す。
【００５５】
まず、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンを１つ検出する（ステップＳ３０１）。そして、各マイクロホンから話者が発した音声信号が入力される（ステップＳ３０２）。
【００５６】
次に、話者が発した音声信号の基準マイクロホン、及びそれ以外のマイクロホンに到達する時間差を算出する（ステップＳ３０３）。そして、到達時間差に基づいて、基準マイクロホンとそれ以外のマイクロホンへの入力信号の信号レベル差を算出する（ステップＳ３０４）。最後に、信号レベル差に基づいて、話者までの距離を求める（ステップＳ３０５）。
【００５７】
以上のように本実施の形態によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【００５８】
なお、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムは、図４に示すように、ＣＤ−ＲＯＭ４２−１やフレキシブルディスク４２−２等の可搬型記録媒体４２だけでなく、通信回線の先に備えられた他の記憶装置４１や、コンピュータ４３のハードディスクやＲＡＭ等の記録媒体４４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００５９】
【発明の効果】
以上のように本発明にかかる話者距離検出装置によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる話者距離検出装置の構成図
【図２】本発明の実施の形態にかかる話者距離検出装置を含む音声入出力装置の構成図
【図３】本発明の実施の形態にかかる話者距離検出装置における処理の流れ図
【図４】コンピュータ環境の例示図
【符号の説明】
１１  基準マイクロホン
１２  マイクロホン
１３  基準マイクロホン検出部
１４  信号レベル差検出部
１５  話者距離算出部
２１  制御判定部
２２  指向性受音処理部
２３  アンプ
２４  スピーカスイッチ
２５  ハンドセット用スピーカ
２６  拡声用スピーカ
２７  エコーキャンセラ
４１  回線先の記憶装置
４２  ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
４２−１  ＣＤ−ＲＯＭ
４２−２  フレキシブルディスク
４３  コンピュータ
４４  コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【図１】
2004226656.tif 000009
【図２】
2004226656.tif 000010
【図３】
2004226656.tif 000011
【図４】
2004226656.tif 000012