(57)【要約】【課題】  装着性よく、かつ、周囲の環境が雑音の多い雰囲気であっても、必要な信号を感度よく受信することができるヘッドセット型マイクロフォンアレイ音声入力装置を提供することにある。【解決手段】  ヘッドセット型マイクロフォンアレイ音声入力装置は、ヘッドバンドと、該ヘッドバンドの両端にそれぞれ設けられたイヤーパッド付き収容ケースと、両イヤーパッド付き収容ケースにそれぞれ設けられた支柱とからなり、該支柱には１以上の任意数のマイクロフォンを設け、該マイクロフォンの出力信号を前記イヤーパッド付き収容ケースへ出力できるように構成したことを特徴とする。【選択図】  図１
2008042334.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドバンドと、該ヘッドバンドの両端にそれぞれ設けられたイヤーパッド付き収容ケースと、両イヤーパッド付き収容ケースにそれぞれ設けられた支柱とからなり、該支柱には１以上の任意数のマイクロフォンを設け、該マイクロフォンの出力信号を前記イヤーパッド付き収容ケースへ出力できるように構成したことを特徴とするヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項２】
前記支柱毎のマイクロフォンを複数にし、それらを所定距離離間して配置したことを特徴とする請求項１記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項３】
前記支柱毎のマイクロフォンを、両支柱の対向する面にそれぞれ設けたことを特徴とする請求項１又は２記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項４】
前記各イヤーパッド付き収容ケースはケース本体とイヤーパッドを備え、前記ケース本体に各マイクロフォンの出力信号を演算処理して求める音声信号を出力する回路を設けたことを特徴とする請求項１乃至３のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項５】
前記各ケース本体に前記音声信号を入力するイヤホーンを設け、前記各イヤーパッドにスピーカを設けたことを特徴とする請求項４記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項６】
前記各ケース本体に、無線通信手段を設けたことを特徴とする請求項４又は５記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項７】
前記支柱は、前記各ケース本体に取付角度調整自在に設けたことを特徴とする請求項４乃至６のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項８】
前記両支柱は互いに平行に設けたことを特徴とする請求項１乃至７のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【請求項９】
前記ヘッドバンドは相互に摺動してその長さを変えられる構造を有し、前記ヘッドバンドに対し前記各ケース本体を取付角度自在に設けたことを特徴とする請求項４乃至８のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、様々な環境騒音が存在する実環境下において、周囲雑音をユーザ音声として誤検出することなく、周囲雑音を抑圧しユーザ音声を強調することで、劣悪な雑音環境下においても高いＳＮＲ（信号対雑音比）でユーザ音声を録音することが可能なヘッドセット型マイクロフォンアレイ音声入力装置に関する。
【背景技術】
【０００２】
従来、劣悪な雑音環境下において高いＳＮＲでユーザ音声を録音するために（例えば、特許文献１参照）、口元近くにマイクロフォンを１つ配置する接話型のヘッドセットマイクロフォン（例えば、特許文献２参照）が用いられている。
特許文献１には、騒音下で入力された音声信号、あるいは通信路で雑音が混入された音声信号においても頑健に動作する音声推定方法および音声認識方法を得るために、
入力音響信号を短時間セグメントごとに切り出し、短時間周波数分析を行う音響分析ステップと、音声推定に必要とする要素を推定する要素推定ステップと、要素推定ステップによって得られた要素を用いて音声を推定する音声推定ステップを含む音声推定方法。具体的には、入力音響信号を短時間セグメントごとに切り出し、短時間周波数分析を行い、音声認識が符合帳で保持する音声のスペクトル包絡を知識として利用し、音モデルを生成し、前記短時間周波数分析によって得られたスペクトル情報を確率密度関数とみなし、最大事後確率推定を用いて、混合重み値を推定し、各時刻で最大の重み値を持つ音モデルを生成した要素の存在仮定が最も尤度が高いとして、その要素を出力する方法が開示されている。
【０００３】
しかし、特許文献１のものは、伝送路歪や背景雑音に関する十分な量の情報が予め利用可能でない環境では使用不可能である。またそのような雑音に関する事前情報が利用できるとしても、それらに基づいてモデル（ＨＭＭ）の学習など煩雑な作業を必要とする。
また、特許文献２には、単純且つ低コストの構造で、接続されたヘッドセットを効果的且つ確実に制御するために、  移動端末装置が、音響信号を出力する内部スピーカ２及び音響信号が入力される内部マイクロフォン３と、ヘッドセットスピーカ１２及びヘッドセットマイクロフォン１３を備える外部ヘッドセット１０が接続されるコネクタ４と、内部スピーカ１２、内部マイクロフォン１３及び外部ヘッドセット１０を制御する処理回路５と、処理回路５を内部スピーカ１２及び内部マイクロフォン１３と外部ヘッドセット１０とに切り換えて接続する切換回路６とを備える。処理回路５は、内部マイクロフォン３に接続され、電気的変化を検出する検出回路７を備え、外部ヘッドセット１０が接続されているか否かを検出し、検出結果に応じてヘッドセット１０の動作を制御する。
しかし、特許文献２のものは、マイクロフォンが１つなので、雑音と必要な信号との識別能力が悪く、マイクロフォンの向く方向や位置によって受信信号の感度が大きく左右される欠点がある。
【特許文献１】特開２００３−０７６３９３号公報
【特許文献２】特開２００２−１５２３６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のヘッドセットマイクロフォンは、口元近くにシングルマイクロフォンを配置することで、通常の環境であれば多少の雑音が存在しても高いＳＮＲで音声の録音が可能であるが、例えば、工場やスピーカから大音量で音が放出されているような過酷な雑音環境下では、ＳＮＲが低下してその効果を失ってしまう。この様な場合、ヘッドセットマイクロフォンを使用したとしても、雑音環境下で高いＳＮＲで音声の録音が困難になるだけでなく、例えば、ヘッドセットマイクロフォンで収録した音声を認識する場合に、周囲雑音を誤認識するなどの問題が生じる。
【０００５】
本発明の目的は、装着性よく、かつ、周囲の環境が雑音の多い雰囲気であっても、必要な信号を感度よく受信することができるヘッドセット型マイクロフォンアレイ音声入力装置を提供することにある。
【課題を解決するための手段】
【０００６】
周囲雑音からの識別性を向上するために、信号を採取するためのマイクロフォンを複数配置したマイクロフォンアレイ構造を採用し、その構造を前提とした特別な信号処理を行う。マイクロフォンアレイを用いることで、音源の発生位置や音波の到来方向推定、また目的音を強調して妨害雑音を抑圧するなどの信号処理ができるようになり、雑音環境下での音声入力装置として多くの利点を持っている。
しかし、従来のマイクロフォンアレイの使い方は、マイクロフォンスタンドに実装したり、機器に組み込んで使用したりするなど、ユーザ自身がマイクロフォンアレイを身に付けるような使い方はされていない。
一方、接話型のヘッドセットマイクロフォンは、マイクロフォンを１つだけしか用いないが、そのマイクロフォンを口元に近づけることで、通常の周囲雑音に対してユーザ音声のＳＮＲを相対的に高くすることができるという単純な原理を用いている。本発明は、マイクロフォンアレイを対にして接話型に実装することで、ヘッドセットマイクロフォンの効果とマイクロフォンアレイの効果を併せ持った、劣悪な雑音環境下でも高いＳＮＲで音声収録や音声認識などで誤動作の少ないヘッドセットマイクロフォンアレイを構成する。
【０００７】
具体的には
（１）ヘッドセット型マイクロフォンアレイ音声入力装置は、ヘッドバンドと、該ヘッドバンドの両端にそれぞれ設けられたイヤーパッド付き収容ケースと、両イヤーパッド付き収容ケースにそれぞれ設けられた支柱とからなり、該支柱には１以上の任意数のマイクロフォンを設け、該マイクロフォンの出力信号を前記イヤーパッド付き収容ケースへ出力できるように構成したことを特徴とする。
（２）上記（１）記載のヘッドセット型マイクロフォンアレイ音声入力装置は、前記支柱毎のマイクロフォンを複数にし、それらを所定距離離間して配置したことを特徴とする。
（３）上記（１）又は（２）記載のヘッドセット型マイクロフォンアレイ音声入力装置は、前記支柱毎のマイクロフォンを、両支柱の対向する面にそれぞれ設けたことを特徴とする。
【０００８】
（４）上記（１）乃至（３）のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置は、前記各イヤーパッド付き収容ケースはケース本体とイヤーパッドを備え、前記ケース本体に各マイクロフォンの出力信号を演算処理して求める音声信号を出力する回路を設けたことを特徴とする。
（５）上記（１）乃至（４）のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置は、前記各ケース本体に前記音声信号を入力するイヤホーンを設け、前記各イヤーパッドにスピーカを設けたことを特徴とする。
（６）上記（１）乃至（５）のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置は、前記各ケース本体に、無線通信手段を設けたことを特徴とする。
（７）上記（１）乃至（６）のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置において、前記支柱は、前記各ケース本体に取付角度調整自在に設けたことを特徴とする。
（８）上記（１）乃至（７）のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置において、前記両支柱は互いに平行に設けたことを特徴とする。
（９）上記（１）乃至（８）のいずれか１項記載のヘッドセット型マイクロフォンアレイ音声入力装置において、前記ヘッドバンドは相互に摺動してその長さを変えられる構造を有し、前記ヘッドバンドに対し前記各ケース本体を取付角度自在に設けたことを特徴とする。
【発明の効果】
【０００９】
本発明のヘッドセット型マイクロフォンアレイ音声入力装置は、マイクロフォンアレイを接話型に実装するだけで、ヘッドセットマイクロフォンの原理（複数のマイクロフォンを左右に任意数対にして配置する構成を採用することにより、これらのマイクロフォンから採取した信号（座標位置情報等を含む）を信号処理することにより、精度高く必要な信号の抽出ができる）が働くため、周囲雑音に対してユーザ音声のＳＮＲを高くできる。更に、マイクロフォンアレイ処理により、妨害雑音を抑圧しユーザ音声を強調することで、より一層高いＳＮＲでの音声収録が実現される。また、マイクロフォンアレイを用いることで音源の発生位置や音波の到来方向が推定できるため、劣悪な雑音環境下でも、その音源の発生位置や音波の到来方向の推定結果に基づいて、入力された音がユーザの音声なのかそれとも周囲雑音なのかの判断が容易であるため、音声認識などのアプリケーションにおいて周囲雑音による誤認識を避けることができる。
特許文献１のものは、伝送路歪や背景雑音に関する十分な量の情報が予め利用可能でない環境では使用不可能である。またそのような雑音に関する事前情報が利用できるとしても、それらに基づいてモデル（ＨＭＭ）の学習など煩雑な作業を必要とする。本発明装置では、マイクロフォンアレイを用いることで、雑音に関する事前情報が利用できなくても、空間的に異なる位置に置かれている雑音を抑圧することができるようになる。
【発明を実施するための最良の形態】
【００１０】
本発明の実施の形態を図に基づいて詳細に説明する。
【実施例】
【００１１】
図１は本発明のヘッドセット型マイクロフォンアレイ音声入力装置の概略図である。従来のヘッドセットマイクロフォンはヘッドセットの左右のどちらか一方だけに支柱が固定され、その先端に１つのマイクロフォンが配置される構造を持っている。これに対し、本発明のヘッドセット型マイクロフォンアレイ音声入力装置は、ヘッドセットマイクロフォンがヘッドセットの左右両側に支柱が固定され、その先端に１つのマイクロフォンが配置される構造を持っている。
本発明のヘッドセット１は、頭に装着するためのヘッドバンド３と、ヘッドバンド３の両端にそれぞれ取り付けられるイヤーパッド付き収容ケース２Ｒおよび２Ｌと、イヤーパッド付き収納ケース２Ｒに設けた略棒状の支柱４Ｒおよびイヤーパッド付き収納ケース２Ｌに設けた略棒状の支柱４Ｌとからなる。イヤーパッド付き収容ケース２Ｒおよび２Ｌは、それぞれケース本体２Ｒａおよび２Ｌａとイヤーパッド２Ｒｂおよび２Ｌｂから構成する。
支柱４Ｒおよび４Ｌには、それぞれ同じ数の１以上の任意数のマイクロフォン５を離間して配置してある。好ましくは、支柱４Ｒと４Ｌ毎に同じ３個のマイクロフォン５をそれぞれ設ける。
ヘッドバンド３は、長さの調節を可能とするために下記のようにスライド調節可能に構成することができる。
【００１２】
イヤーパッド付き収納ケース２Ｒおよび２Ｌのケース本体２Ｒａおよび２Ｌａには、電池ボックス、無線の送受信回路、マイクロフォンアレイ６の各マイクロフォン５からの入力信号を必要な処理を行う処理回路等を必要に応じて収納する。ケース本体２Ｒａおよび２Ｌａとイヤーパッド２Ｒｂおよび２Ｌｂは、例えばイヤーパッドに設けた中空のボルトとケースと一体になったナットとの螺合により互いの間隔を調節する。他の手段によって互いの間隔を調節するようにしてもよい。
【００１３】
本発明は、イヤーパッド付き収容ケース２Ｒおよび２Ｌのケース本体２Ｒａおよび２Ｌａの両方にそれぞれ支柱４Ｒと４Ｌが固定され、その支柱上に複数のマイクロフォン５を配置することにより、マイクロフォンアレイ６を形成する。実装に用いるマイクロフォン５は、シリコンマイクロフォンなど１つの大きさが５ｍｍ×３ｍｍ程度のごく小さなものを用いる。支柱４Ｒおよび４Ｌ上に配置するマイクロフォンの個数や配置する間隔は、ソフトウエアで調整可能であるので、任意である。マイクロフォンアレイ６では、マイクロフォン５間の相対的な位置関係が常に保たれていることが必要な場合が多くある。しかし、ヘッドセットの場合、頭部の大きさによって左右のマイクロフォンアレイ６間の距離が変化する場合がある。これに対処するために、図２に示すように、左右のマイクロフォンアレイ６、６間の距離は支柱４Ｒと４Ｌを取り付けた収納ケース２Ｒおよび２Ｌのケース本体２Ｒａおよび２Ｌａとイヤーパッド２Ｒｂおよび２Ｌｂとの間隔を調節することにより調節する。
【００１４】
図２は本発明の両イヤーパッド付き収納ケースの間隔を調節する手段を示す構成図である。
両者の間隔の調節は両者を図２中矢印方向に移動可能とした構造により行う。
このような構造の他に、装着状態を良好なものとするために、マイクロフォンアレイ６を備えたケース本体２Ｒａおよび２Ｌａを支持するヘッドバンド３を、剛性部材によりＵ字状に形成される固定ヘッドバンドと、前記ケース本体２Ｒａおよび２Ｌａのそれぞれに前後方向に揺動自在に設けられ、剛性部材によりＵ字状に形成される可動ヘッドバンドとから構成することもできる。
また、左右一対のイヤーパッド付き収納ケース２Ｒおよび２Ｌによる左右の耳への押し当てを、ユーザの頭の大きさに応じて調節できるようにするために、左右一対のケース本体２Ｒａおよび２Ｌａ間で略円弧状の左右一対のヘッドバンド３をスライド調整する。これら左右一対のヘッドバンド３を入れ子式に連結した状態で調節できるように組み合わせ、ユーザの頭の大きさに応じて左右一対のヘッドバンド３の入れ子式に重なり合う長さを調節して、左右一対のヘッドホンユニットをユーザの左右の耳に合わせる。
その他、ヘッドバンドに対するケース本体２Ｒａおよび２Ｌａの任意方向への取り付け角度を調整することができるように構成する。
一対の支柱４Ｒおよび４Ｌは平行に配置され、ユーザの口元より先まで達する程度の長さを持ち、その上にマイクロフォンを配置できるようにする。
【００１５】
（平行マイクロフォンアレイ音声入力装置）
音声入力手段は、ユーザ音声を受音するために相互に離間して配置した複数のマイクロフォンアレイ６からなる受音手段を備える。
図１および図２に示した平行マイクロフォンアレイ音声入力装置の構成について、以下に説明する。図１に示すように、マイクロフォンを取り付ける２本の金具は、一端をヘッドバンドに固定し、例えば２０ｃｍの間隔で平行にユーザの口元より先まで達する程度の長さを持ち、左右それぞれの金具上に任意数、例えば２つのマイクロフォン（計４個）を任意の間隔、例えば３ｃｍ間隔で配置している。
図３に示すように、音声入力手段は、平行マイクロフォンアレイ３０ａ、３０ｂと、マイクロフォンアンプとＡＤＣ（アナログ／デジタルコンバータ）３２を有する。
受音手段は、少なくとも複数のマイクロフォンを備え、好ましくは多数個のマイクロフォンをアレイ状に配置したマイクロフォンアレイが好ましい。また、マイクロフォンの配置方向は、少なくとも相互に離間して、音源からのベクトルが異なるようにする。さらに好ましくは、マイクロフォンがユーザの口元先の両側に配置されていることが好ましい。このようにユーザの口元先の両側に配置されることにより、ユーザの音声入力が容易に且つ明瞭になる。
【００１６】
図３は本発明のケース本体に収納される処理回路のブロック図である。特にマイクロフォンアレイの各マイクロフォンからの入力信号を必要な処理を行う処理回路の例である。
本発明の処理回路は、平行マイクロフォンアレイ３０ａ、３０ｂはマイクロフォンアンプとＡＤＣ３２を介してＣＰＵ（中央演算処理装置）ボード３３に接続され、ＣＰＵ（中央演算処理装置）ボード３３は記憶装置３４にバスで接続される。ＣＰＵ（中央演算処理装置）ボード３３は、出力表示するためにディスプレイ３１に接続され、また、イヤーパッド内のイヤホーンスピーカ３５に接続され、更に、ケース本体２Ｒａおよび２Ｌａ内の送信装置３６に接続される。送受信装置３６は、有線、無線に限らず、任意の通信手段を採用できる。
ＣＰＵ（中央演算処理装置）ボード３３は、ＣＰＵを搭載したボードからなり、発声位置推定手段および制御手段を含む。発声位置推定手段および制御手段は、ＣＰＵボード３３とそれに接続される記憶装置３４により構成される。
発声位置推定手段は、平行マイクロフォンアレイ３０ａ、３０ｂで受音したマルチチャネル音声データに基づきユーザの発声位置を推定し発声位置推定信号を出力する。
サンプリングレートは任意に設定でき、例えば８ｋＨｚとし、量子化ビット数は任意に設定でき、例えば１６ｂｉｔとする。処理精度を上げるときには、サンプリングレートおよび量子化ビット数を上げる。
【００１７】
（画像表示手段）
ヘッドセット型マイクロフォンアレイ音声入力装置は、画像表示手段として、小型で薄型のディスプレイ（例えば、液晶、ＥＬ（エレクトロルミネッセンス、プラズマディスプレイ等））やヘッドマウンテッドディスプレイ等を備えることができ、前記発声位置推定処理の結果等を視覚的に示す。
【００１８】
（音声認識装置）
図４は音声認識装置のブロック構成図である。
音声認識装置４０は、マイクロフォンアレイ処理部４１と、音声認識処理部４２から構成される。
マイクロフォンアレイ処理部４１は、入力音声をひろうマイクロフォンアレイ音声入力装置４３と、装置４３の出力のひろった音から遠距離にある音源の音波到来方向を推定する遠距離にある音源の音波到来方向推定手段４５と、装置４３の出力のひろった音から近距離にある音源の位置を推定する近距離にある音源の位置推定手段４６と、手段４５および４６の音源位置情報に基づいて装置４３の出力のひろった音から抽出対象の音源の音声を分離する音源分離処理手段４４と、手段４５および４６の音源位置情報に基づいてユーザ（ヘッドセット型マイクロフォンアレイ音声入力装置装着者）の発話を検出するユーザの発話検出手段４７と、ユーザの発話検出手段４７からの検出信号に応じて音源分離処理手段４４からの音声信号を切換出力する切換手段４８から構成される。
音声認識処理部４２は、切換手段４８からの音声信号に対して特徴を補正処理する特徴補正処理手段４９と、手段４９からの特徴を補正した音声信号を音声認識して認識結果を出力する音声認識手段５０から構成される。
本発明のマイクロフォンアレイを用いる音声認識装置は、図４にも示すように下記の５つの要素技術から構成される。
１．マイクロフォンアレイから近距離にある音源の位置推定
２．マイクロフォンアレイから遠距離にある音源の音波到来方向の推定
３．使用者の発話検出
４．音源分離処理
５．音声認識処理（特願2003-320183）
これらの要素技術の詳細について以下で説明する。
（音源位置推定）
図５は本発明のマイクロフォンアレイの機能説明図である。
マイクロフォン１、２、３、４と、マイクロフォン５、６、７、８は、図５に示されるように、対向して、配置される。また、各マイクロフォンと音源の位置等は図のような関係になっているものとする。
マイクロフォンアレイから約１ｍ以内の近距離にある音源の位置を、マイクロフォンアレイで推定する方法について以下に説明する。
３次元空間中の任意の位置に置かれた音源の位置を位置ベクトルＰ0で表す。
【数１】
2008042334.tif 000003
この３次元空間中の任意の位置に置かれた音源から出力された音響信号を、３次元空間中の任意の位置に配置されたＱ個のマイクロフォンで受音する。各マイクロフォンの位置は位置ベクトルＰｑで表す。
【数２】
2008042334.tif 000004
【００１９】
音源と各マイクロフォン間の距離Ｒｑは次式で求められる。
【数３】
2008042334.tif 000005
音源から各マイクロフォンまでの伝播時間τｑは、音速をｖとすると、次式で求められる。
【数４】
2008042334.tif 000006
各マイクロフォンで受音した中心周波数ωの狭帯域信号の、音源のそれに対する利得ｇｑは、一般的に、音源とマイクロフォン間の距離Ｒｑと中心周波数ωの関数として下記のように定義される。
【００２０】
【数５】
2008042334.tif 000007
例えば、利得を距離Ｒｑ（＝ｒ）だけの関数として、実験的に求めた次式のような関数ｇ（ｒ）を用いる。
【数６】
2008042334.tif 000008
中心周波数ωの狭帯域信号に関する、音源と各マイクロフォン間の伝達特性は、
【００２１】
【数７】
2008042334.tif 000009
と表される。そして、位置Ｐ０にある音源を表す位置ベクトルａ（ω，Ｐ０）を、次式のように、狭帯域信号に関する、音源と各マイクロフォン間の伝達特性を要素とする複素ベクトルとして定義する。
【数８】
2008042334.tif 000010
音源位置の推定はＭＵＳＩＣ法（相関行列を固有値分解することで信号部分空間と雑音部分空間を求め、任意の音源位置ベクトルと雑音部分空間の内積の逆数を求めることにより、音源の到来方向や位置を調べる手法）を用いて、以下の手順で行う。ｑ番目のマイクロフォン入力の短時間フーリエ変換を
【数９】
2008042334.tif 000011
で表し、これを要素として観測ベクトルを次のように定義する。
【００２２】
【数１０】
2008042334.tif 000012
ここで、ｎはフレーム時刻のインデックスである。連続するＮ個の観測ベクトルから相関行列を次式により求める。
【数１１】
2008042334.tif 000013
【００２３】
この相関行列の大きい順に並べた固有値を
【数１２】
2008042334.tif 000014
とし、それぞれに対応する固有ベクトルを
【数１３】
2008042334.tif 000015
とする。そして、音源数Ｓを次式により推定する。
【数１４】
2008042334.tif 000016
【００２４】
雑音部分空間の基底ベクトルから行列Ｒｎ（ω）を次のように定義し、
【数１５】
2008042334.tif 000017
周波数帯域
【数１６】
2008042334.tif 000018
および音源位置推定の探索領域Ｕを
【数１７】
2008042334.tif 000019
として、
【００２５】
【数１８】
2008042334.tif 000020
を計算する。そして、関数Ｆ（Ｐ）が極大値をとる座標ベクトルを求める。ここでは仮にＳ個の極大値を与える座標ベクトルがＰ１，Ｐ２，・・・，Ｐｓが推定されたとする。次にその各々の座標ベクトルにある音源のパワーを次式により求める。
【数１９】
2008042334.tif 000021
そして、２つの閾値Ｆｔｈｒ，  Ｐｔｈｒを用意し、各位置ベクトルにおけるＦ（Ｐｓ）とＰ（Ｐｓ）が次の条件を満足するときに、
【００２６】
【数２０】
2008042334.tif 000022
連続するＮ個のフレーム時間内の座標ベクトルＰｌにおいて発声があったと判断する。
音源位置の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。音源位置の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式（３０）の条件が満たされたら発声があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音源の移動奇跡を捉えることができる。
【００２７】
（周囲雑音の到来方向推定）
マイクロフォンアレイから遠距離にある音源の音波が到来する方向を、マイクロフォンアレイで推定する手法について以下に述べる。
複数のマイクロフォンは３次元空間中の任意の位置に配置可能である。遠距離から到来する音波は平面波として観測されると考える。図５は、例として、８個の平行マイクロフォンアレイで、音源から到来した音波を受音する場合を示している。図５で、点ｃは基準点を示しており、この基準点のまわりで音波の到来方向を推定する。図５で、平面ｓは、基準点ｃを含む平面波の断面を示している。平面ｓの法線ベクトルｎは、そのベクトルの向きを音波の伝播方向と逆向きとし、次式のように定義する。
【数２１】
2008042334.tif 000023
３次元空間中の音源の到来方向は２つのパラメータ（θ，φ）で表される。方向（θ，φ）から到来する音波を各マイクロフォンで受音し、そのフーリエ変換を求めることで受音信号を狭帯域信号に分解し、各受音信号の狭帯域信号毎に利得と位相を複素数として表し、それを要素として狭帯域信号毎に全受音信号分だけ並べたベクトルを音源の位置ベクトルと定義する。以下の処理において、方向（θ，φ）から到来する音波は、前述の位置ベクトルとして表現される。位置ベクトルは具体的に以下のように求められる。ｑ番目のマイクロフォンと平面ｓの間の距離ｒｑを次式により求める。
【００２８】
【数２２】
2008042334.tif 000024
距離ｒｑは平面ｓに関してマイクロフォンが音源側に位置すれば正となり、逆に音源と反対側にある場合は負の値をとる。音速をｖとするとマイクロフォンと平面ｓ間の伝播時間Ｔｑは次式で表される。
【数２３】
2008042334.tif 000025
平面ｓでの振幅を基準としてそこから距離ｒｑ離れた位置の振幅に関する利得を、狭帯域信号の中心周波数ωと距離ｒｑの関数として次のように定義する。
【数２４】
2008042334.tif 000026
【００２９】
平面ｓでの位相を基準としてそこから距離ｒｑ離れた位置の位相差は、次式で表される。
【数２５】
2008042334.tif 000027
以上より、平面ｓを基準として、各マイクロフォンで観測される狭帯域信号の利得と位相差は次式で表される。
【数２６】
2008042334.tif 000028
Ｑ個のマイクで（θ、φ）方向から到来する音波を観測するとき、音源の位置ベクトルは、各マイクロフォンについて式（２６）に従い求めた値を要素とするベクトルとして次式のように定義される。
【００３０】
【数２７】
2008042334.tif 000029
音源の位置ベクトルが定義されたら、音波の到来方向推定は、ＭＵＳＩＣ法を用いて行われる。式（１５）で与えられる行列Ｒｎ（ω）を用い、到来方向推定の探索領域Ｉを
【数２８】
2008042334.tif 000030
として、
【数２９】
2008042334.tif 000031
を計算する。そして、関数Ｊ（θ、φ）が極大値を与える方向（θ、φ）を求める。ここでは仮にＫ個の音源が存在し、極大値を与えるＫ個の到来方向（（θ１、φ１），・・・，（θＫ、φＫ））が推定されたとする。次にその各々の到来方向にある音源のパワーを次式により求める。
【００３１】
【数３０】
2008042334.tif 000032
そして、２つの閾値Ｊｔｈｒ，  Ｑｔｈｒを用意し、各到来方向におけるＪ（θｋ，φｋ）とＱ（θｋ，φｋ）が次の条件を満足するときに、
【数３１】
2008042334.tif 000033
連続するＮ個のフレーム時間内の到来方向（θｋ，φｋ）において周囲音源があったと判断する。音波の到来方向の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。到来方向の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式（３１）の条件が満たされたらその方向から音波の到来があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音波の到来方向の移動奇跡を捉えることができる。
【００３２】
近距離音源の位置推定結果と遠距離音源の音波到来方向推定結果は、続く発話検出処理や音源分離処理で重要な役割を果たすが、近距離音源と遠距離音源が同時に発生していて、更に、遠距離音源から到来する音波に対して近距離音源のパワーが著しく大きくなるとき、遠距離音源の音波の到来方向推定がうまく行えない場合がある。このような時は、近距離音源が発生する直前に推定された、遠距離音源の音波の到来方向推定結果を用いるなどして対処する。
【００３３】
（発話検出処理）
複数の音源が存在している場合、どの音源が認識すべき音声なのかの特定は一般的に難しい。一方、音声を用いたインタフェースを採用するシステムでは、予めシステムのユーザがシステムに対して相対的にどのような位置で発声するかを表すユーザ発声領域を決めておくことができる。この場合、前述の方法でシステムの周囲に音源が複数存在しているとしても、各音源の位置や音波の到来方向を推定できれば、システムが予め想定しているユーザ発声領域に入る音源を選択することで容易にユーザの音声を特定できるようになる。
式（２０）や式（３１）の条件が満たされることで音源の存在を検出し、更に音源の位置や音波の到来方向の条件が満たされてユーザの発声が検出される。この検出結果は発話区間情報として、後続音声認識処理において重要な役割を果たす。音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。一般的に、発話区間の開始時点がずれると音声認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式（１８）や式（２９）で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができるという利点を持つ。
【００３４】
例えば、図６に示すようなユーザの発声領域を定義することができる。
図６は本発明による発話検出処理の機能説明図である。
この図では簡単のためにＸ−Ｙ平面のみで表すが、一般的に３次元空間においても同様に任意のユーザ発声領域を定義することができる。図６では、任意の位置に配置された８個のマイクロフォンｍ１、ｍ２、ｍ３、ｍ４、ｍ５、ｍ６、ｍ７、ｍ８を用いた処理を仮定し、近距離音源の探索領域および遠距離音源の探索領域のそれぞれで、ユーザ発声領域を定義している。近距離音源の探索空間は、（ＰｘＬ，ＰｙＬ）と（ＰｘＨ，ＰｙＨ）の２点を結ぶ直線を対角線とする矩形領域で、その領域内で（ＰＴｘＬ１，ＰＴｙＬ１）と（ＰＴｘＨ１，ＰＴｙＨ１）、（ＰＴｘＬ２，ＰＴｙＬ２）と（ＰＴｘＨ２，ＰＴｙＨ２）のそれぞれの２点を結ぶ直線を対角線とする２つの矩形領域をユーザの発声領域と定義している。従って、式（２０）により発声があったと判断された音源位置のなかで、その座標ベクトルが前記ユーザ発声領域内に入っているものを選択することで、近距離に存在する音源の中でユーザ音声を特定できる。一方、遠距離音源の探索空間は点Ｃを基準として、角度θＬからθＨの方向を探索領域とし、その領域内で角度θＴＬ１からθＴＨ１の領域をユーザの発声領域と定義している。従って、式（３１）により発声があったと判断された音波の到来方向のなかで、到来方向が前記ユーザ発声領域内に入っているものを選択することで、遠距離に存在する音源の中でユーザ音声を特定できる。
【００３５】
（音源分離処理）
発話検出された音源の位置推定結果または音波の到来方向推定結果を用いて、ユーザの音声を強調し周囲雑音を抑圧する音源分離処理について以下に説明する。
ユーザ音声の発話位置または到来方向は前記発話検出処理により求められている。また、周囲雑音の音源位置または到来方向も既に推定されている。これらの推定結果と式（８）と式（２７）の音源位置ベクトル、そして無指向性雑音の分散を表すσを用いて、行列Ｖ（ω）を次式のように定義する。
【数３２】
2008042334.tif 000034
この相関行列の大きい順に並べた固有値を
【数３３】
2008042334.tif 000035
とし、それぞれに対応する固有ベクトルを
【００３６】
【数３４】
2008042334.tif 000036
とする。ここで、相関行列Ｖ（ω）には近距離音源Ｓ個と遠距離音源Ｋ個を合わせて（Ｓ＋Ｋ）個の音源が含まれているから、固有値の大きい方から（Ｓ＋Ｋ）の固有値と固有ベクトルを用いて、Ｚ（ω）を次式のように定義する。
【数３５】
2008042334.tif 000037
そして、近距離の座標ベクトルＰに居るユーザの音声を強調する分離フィルタＷ（ω）は、次式で与えられる。
【数３６】
2008042334.tif 000038
【００３７】
式（３６）の分離フィルタに式（１０）の観測ベクトルを乗じることで座標ベクトルＰに居るユーザの音声ｖ（ω）が得られる。
【数３７】
2008042334.tif 000039
この強調されたユーザ音声の波形信号は式（３７）の逆フーリエ変換を計算することで求められる。
一方、遠距離の方向（θ，φ）に居るユーザの音声を強調する場合の分離フィルタＭ（ω）は次式で与えられる。
【００３８】
【数３８】
2008042334.tif 000040
式（３８）の分離フィルタに式（１０）の観測ベクトルを乗じることで方向（θ，φ）に居るユーザの強調音声ｖ（ω）が得られる。
【数３９】
2008042334.tif 000041
この強調されたユーザ音声の波形信号は式（３７）の逆フーリエ変換を計算することで求められる。
連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により移動しているユーザの強調音声が得られる。
【００３９】
（音声認識処理）
前記音源分離処理は、指向性雑音に対しては有効であるが、無指向性雑音に対してはある程度雑音が残留してしまう。また、突発性雑音のように短時間で発生する雑音に対してもあまり雑音抑圧効果を望めない。そこで、前記音源分離処理により強調された操作者音声の認識に、例えば、特願２００３−３２０１８３「背景雑音歪みの補正処理方法及びそれを用いた音声認識システム」で述べられている特徴補正法を組み込んだ音声認識エンジンを用いることで、残留雑音の影響を軽減する。なお本発明は、音声認識エンジンとして特願２００３−３２０１８３に限定するものではなく、この他にも雑音に頑健な様々な手法を実装した音声認識エンジンを使用することが考えられる。
【００４０】
特願２００３−３２０１８３で述べられている特徴補正法は、音声認識エンジンが予め音声認識のためにテンプレートモデルとして持っているＨｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ（ＨＭＭ）に基づいて雑音重畳音声の特徴量補正を行う。ＨＭＭは雑音のないクリーン音声から求めたＭｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ（ＭＦＣＣ）に基づいて学習されている。このため、特徴補正のために新たにパラメータを用意する必要がなく、既存の認識エンジンに比較的容易に特徴補正法を組み込むことができるという利点がある。この手法は雑音を定常成分と一時的に変化を示す非定常成分に分けて考え、定常成分に関しては発話直前の数フレームから雑音の定常成分を推定する。ＨＭＭが持っている分布のコピーを生成し、推定した雑音の定常成分を加えることで定常雑音重畳音声の特徴量分布を生成する。観測された雑音重畳音声の特徴量の事後確率を、この定常雑音重畳音声の特徴量分布で評価することで、雑音の定常成分による歪を吸収する。しかし、この処理だけでは雑音の非定常成分による歪が考慮されていないので、雑音の非定常成分が存在する場合には、前記手段で求めた事後確率は正確ではなくなる。一方、特徴補正にＨＭＭを用いることで、  特徴量時系列の時間的構造とそれに沿って求められる累積出力確率が利用可能となる。この累積出力確率から算出される重みを前述の事後確率に付与することにより、雑音の一時的に変化する非定常成分により劣化した事後確率の信頼度を改善することが出来る。
【００４１】
音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。特に、前記特徴補正を組み込んだ音声認識エンジンは、発話開始直前の数フレームから周囲雑音の定常的な特徴を推定するので、発話区間の開始時点がずれると認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式（１８）や式（２９）で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができる。
【産業上の利用可能性】
【００４２】
クレーン車やショベルカーなど雑音が大きく複雑な操作のため手が使えないような重機、また、リビングのソファーなどにマイクロフォンアレイを仕込むことで、テレビやビデオなど様々な家電機器を操作するインタフェースとしての応用など、その他様々な雑音があり更に振動を伴うような環境下で音・音声による操作を必要とする状況において利用可能である。
【図面の簡単な説明】
【００４３】
【図１】本発明のヘッドセット型マイクロフォンアレイ音声入力装置の概略図である。
【図２】本発明の両イヤーパッド付き収納ケースの間隔を調節する手段を示す構成図である。
【図３】本発明のケース本体に収納される処理回路のブロック図である。
【図４】本発明の音声認識処理装置のブロック図である。
【図５】本発明のマイクロフォンアレイの機能説明図である。
【図６】本発明による発話検出処理の機能説明図である。
【符号の説明】
【００４４】
１    ヘッドセット
２Ｒ、２Ｌ    イヤーパッド付き収容ケース
２Ｒａ、２Ｌａ  ケース本体
２Ｒｂ、２Ｌｂ  イヤーパッド
３    ヘッドバンド
４Ｒ、４Ｌ  支柱
５    マイクロフォン
６    マイクロフォンアレイ
【図１】
2008042334.tif 000042
【図２】
2008042334.tif 000043
【図３】
2008042334.tif 000044
【図４】
2008042334.tif 000045
【図５】
2008042334.tif 000046
【図６】
2008042334.tif 000047