(57)【特許請求の範囲】
【請求項１】
インターフェイス装置は、マイクロフォンアレイと、前記マイクロフォンアレイの出力を取り込み記憶部に記憶されているプログラムに基づいて動作するＣＰＵを有し、
前記マイクロフォンアレイは、スタンド上に垂直に立設された主支柱と、前記主支柱から左右に枝分かれした左側支柱および右側支柱と、それぞれの支柱に設けられたマイクロフォン群とを有し、左側支柱に配されたマイクロフォン群と右側支柱に配されたマイクロフォン群は略ハの字のレイアウトとなるように配置され、
ユーザーの発声検出領域を前記マイクロフォンアレイに基づいて定義すると共にその領域内を任意数の分割領域に分割し、この発声検出領域の中のユーザーの発声のみを検出すると共に、発声検出領域外からの音は雑音として処理するようにし、
マイクロフォンアレイから音声データの取り込みを行なうステップＳ１０１と、ユーザー発声位置と周囲雑音到来方向の３次元的な情報の特定を行うステップＳ１０２と、
ユーザーの発声を検出し、ユーザーの発声が検出されなければ、ステップＳ１０１から繰り返し、ユーザーの発声が検出されればステップＳ１０４へ進むステップＳ１０３と、周囲雑音を抑圧しユーザーの発声を強調する音源分離処理を行うステップＳ１０４と、予めユーザーの発声検出領域を定義し、その発声検出領域を任意数の領域に分割し該分割領域を定義しておき、前記３次元空間内で推定された発声位置が分割領域の中で、発声がどの分割領域内で検出されたかを特定するステップＳ１０５と、予め発声検出位置とイベントとの組み合わせを定義してデータベースに保持しておき、発声位置が前記分割領域内の特定位置になっているか否かを判断するステップＳ１０６ａと、発声継続時間が所定のしきい値以下であるか否かを判断するステップＳ１０６ｂと、発声が無声音であるか否かを判断するステップＳ１０６ｃを順次実行し、
前記ステップＳ１０６ａで発声位置が前記分割領域内の特定位置と判断され、前記ステップＳ１０６ｂで発声継続時間が所定のしきい値以下と判断され、前記ステップＳ１０６ｃで発声が無声音と判断されて全ての条件が適合したときに該当するイベントの特定が実行されるステップＳ１０６と、
前記ステップＳ１０６で、イベントデータベースに適合するイベントが検出されたかどうかを調べ、イベントが一つも検出されなければステップＳ１０１へ戻り、イベントが検出された場合はステップＳ１０８へ進むステップＳ１０７と、
コンピュータ側のアプリケーションレベルに対して、イベント検出信号を送信するステップＳ１０８を実行するように機能し、
音源位置推定の探索範囲を前記ユーザーの発声検出領域と設定し、
前記ステップＳ１０２において、
音源位置の推定のためにＭＵＳＩＣ法を用い、
ユーザー発声位置の推定を行うとき、
下記関数Ｆ（Ｐ）が極大値をとる座標ベクトルを求め、
【数４０】
0004822458.tif 000041
求めた座標ベクトルにある音源のパワーＰ（Ｐｓ）を求め、
前記関数Ｆ（Ｐ）と前記音源のパワーＰ（Ｐｓ）がそれぞれ所定の閾値以上であるとき、座標ベクトルＰｌにおいて発声があったと判断し、
音波到来方向推定の探索範囲を到来波が平面波であるとして設定し、
音波の到来方向推定のためにＭＵＳＩＣ法を用い、
周囲雑音の到来方向推定を行うとき、
下記関数Ｊ（θ、φ）が極大値をとる方向（θ、φ）を求め、
【数４１】
0004822458.tif 000042
求めた音波到来方向にある音源のパワーＱ（θｋ、φｋ）を求め、
前記関数Ｊ（θ、φ）と前記音源のパワーＱ（θｋ、φｋ）がそれぞれ所定の閾値以上であるとき、前記座標ベクトルにおいて発声があったと判断し、
音波到来方向（θｋ、φｋ）において発声があったと判断し、
前記ステップＳ１０４において、
前記座標ベクトルＰｌと音波到来方向（θｋ、φｋ）および音源位置ベクトルおよび無指向性雑音の分散σを用いて相関行列Ｖ（ω）を下記のように定義し、
【数４２】
0004822458.tif 000043
この相関行列Ｖ（ω）の固有値と固有ベクトルｅｋを用いて、Ｚ（ω）を次式のように定義し、
【数４３】
0004822458.tif 000044
近距離の座標ベクトルＰにいるユーザーの音声を強調する分離フィルタＷ（ω）を次式で与え、
【数４４】
0004822458.tif 000045
上式の分離フィルタに観測ベクトルを乗じることで座標ベクトルＰにいるユーザーの音声ｖ（ω）を得、
前記ユーザーの音声ｖ（ω）に基づいてユーザーの鼻口腔から発せられた音の発声位置を３次元的に特定する発声位置特定手段と、を有することを特徴とするインターフェイス装置。
但し、Ｐは３次元空間中の任意の位置、ωは狭帯域信号の周波数、
ａ（ω，Ｐ）は位置Ｐにある音源を表す位置ベクトルで、狭帯域信号に関する、音源と各マイクロフォン間の伝達特性を要素とする複素ベクトルとして定義し、
Ｒｎ（ω）は、各マイクロフォン入力の短時間フーリエ変換値からなる観測ベクトルｙ（ω，ｎ）を、Ｎ個集めた相関行列Ｒ（ω）の固有値λから求めた音源数Ｓと、固有値λに対応する固有ベクトルｄｋに基づいて
【数４５】
0004822458.tif 000046
として求めたもの、
ｂ（ω、θ、φ）は、周波数ωで、（θ，φ）方向から到来する音波を観測するときの音源の位置ベクトル。
【請求項２】
前記発声位置特定手段によって特定された発声位置に基づいた信号を生成する発声位置検
出信号生成手段を有することを特徴とする請求項１記載のインターフェイス装置。
【請求項３】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始位置と発声終了位置との間を結ぶベクトルを３次元的に特定するベクトル特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項４】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始位置から発声終了位置までの軌跡を３次元的に特定する軌跡特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項５】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音が到来する方向の方位角と仰角とを特定する発声方向特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項６】
前記発声方向特定手段によって特定された方位角と仰角とに基づいた信号を生成する発声
方向検出信号生成手段を有することを特徴とする請求項５に記載のインターフェイス装置
。
【請求項７】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始方向の方位角と仰角、及び、発声終了方向の方位角と仰角との間を結ぶベクトルを特定する方向ベクトル特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項８】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始方向の方位角と仰角から、発声終了方向の方位角と仰角までの軌跡を特定する方向軌跡特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項９】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始から発声終了までの時間を特定する時間特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項１０】
前記発声位置特定手段を、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の移動速度を特定する移動速度特定手段としたことを特徴とする請求項１記載のインターフェイス装置。
【請求項１１】
ユーザーの鼻口腔から発せられた音の特徴点を特定する特徴点特定手段と、前記特徴点特定手段によって特定された特徴点に基づいた信号を生成する特徴点検出信号生成手段と、を有することを特徴とする請求項１乃至請求項１０のいずれかに記載のインターフェイス装置。
【請求項１２】
前記特徴点特定手段によって抽出するユーザーの鼻口腔から発せられた音の特徴点が、基本周波数の特徴点、無声音・有声音の別に係る特徴点、音量の特徴点、音源の別に係る特徴点、発話内容に係る特徴点のいずれかであることを特徴とする請求項１１に記載のインターフェイス装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元空間内の位置を呼気や音声を用いてコンピュータなどにユーザー操作を入力するインターフェイス装置とインターフェイス方法に関する。
【背景技術】
【０００２】
従来、マウス、タッチパッド、トラックボール、ポインティングスティックなど多くのポインティングデバイスがあるが、これらはいずれも２次元平面上の位置を入力することを目的としている。しかし、例えば、３次元ＣＡＤシステムなどで、画面上に表示されている立体的なモデルの姿勢あるいは視点の位置を従来のマウスなどでコントロールする手法などが既にあるが、２次元的な移動の組み合わせで３次元的な空間情報の入力を実現しているため、なかなか希望の位置や視点を指示することが難しいという問題がある。
【０００３】
このような問題を解決するためには、３次元的な情報を直感的に入力できるポインティングデバイスの開発が不可欠である。例えば、従来のマウスやジョイスティックなどにおいて、センサの回転軸を増やすことで３次元的な情報の入力を可能にしたスペースボールやスペースマウスなどポインティングデバイスが既に実用化されている。また、更に、アームの組み合わせで３次元的な位置を指示する装置の開発なども行われている。
【０００４】
従来のポインティングデバイスは、ユーザーが何らかのデバイスを把持しながら、または接触しながら操作する必要がある。しかし、例えば、手の不自由な方などにとってはこれらのポインティングデバイスを扱うのは困難であり、これらのポインティングデバイスを用いた情報端末などへのアクセスの障害となってしまう。
【０００５】
このような問題を解決するために、例えば、特許文献１（特開２００４−２８０３０１号公報）などでは、ユーザーが特別な装置を装着することなく、マイクロフォンアレイに呼気を吹きかけながら口先を移動し、あるいは顔を移動させることによって滑らかにカーソルを移動させるポインティングデバイスを開発している。
【０００６】
また、特許文献２（特開２００７−２２８１３５号公報）に記載された手法は、周囲雑音がある環境下でも、特定の領域内で発声したユーザーの発声位置をマイクロフォンアレイで推定している。
【特許文献１】特開２００４−２８０３０１号公報
【特許文献２】特開２００７−２２８１３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された手法はユーザーの呼気音と周囲雑音の区別がつけられないため、雑音により容易に誤動作を起こすという問題がる。また、マイクロフォンを平面上に配列したマイクロフォンアレイを使用して、ユーザーの口先や顔の移動を２次元的に感知しているため、従来の２次元的な位置の入力を目的としたポインティングデバイスと同様に、３次元的な位置の入力が困難であるという問題がある。
【０００８】
また、特許文献２に記載された手法においては、周囲雑音がある環境下でも、特定の領域内で発声したユーザーの発声位置をマイクロフォンアレイで推定している。しかし、ユーザーの発声位置を２次元的な位置として推定しているため、３次元的な情報を入力するポインティングデバイスとしては機能していなかった。
【０００９】
以上のような従来技術の問題点を鑑み、本発明では、雑音がある環境下でもユーザーの呼気音や音声の発声位置などを３次元的に特定可能なインターフェイス装置を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を３次元的に特定する発声位置特定手段と、を有することを特徴とするインターフェイス装置である。
【００１１】
また、請求項２に係る発明は、請求項１に記載のインターフェイス装置において、前記発声位置特定手段によって特定された発声位置に基づいた信号を生成する発声位置検出信号生成手段を有することを特徴とする。
【００１２】
また、請求項３に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始位置と発声終了位置との間を結ぶベクトルを３次元的に特定するベクトル特定手段と、を有することを特徴とするインターフェイス装置である。
【００１３】
また、請求項４に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始位置から発声終了位置までの軌跡を３次元的に特定する軌跡特定手段と、を有することを特徴とするインターフェイス装置である。
【００１４】
また、請求項５に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音が到来する方向の方位角と仰角とを特定する発声方向特定手段と、を有することを特徴とするインターフェイス装置である。
【００１５】
また、請求項６に係る発明は、請求項５に記載のインターフェイス装置において、前記発声方向特定手段によって特定された方位角と仰角とに基づいた信号を生成する発声方向検出信号生成手段を有することを特徴とする。
【００１６】
また、請求項７に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始方向の方位角と仰角、及び、発声終了方向の方位角と仰角との間を結ぶベクトルを特定する方向ベクトル特定手段と、を有することを特徴とするインターフェイス装置である。
【００１７】
また、請求項８に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始方向の方位角と仰角から、発声終了方向の方位角と仰角までの軌跡を特定する方向軌跡特定手段と、を有することを特徴とするインターフェイス装置である。
【００１８】
また、請求項９に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始から発声終了までの時間を特定する時
間特定手段と、を有することを特徴とするインターフェイス装置である。
【００１９】
また、請求項１０に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の移動速度を特定する移動速度特定手段と、を有することを特徴とするインターフェイス装置である。
【００２０】
また、請求項１１に係る発明は、請求項１乃至請求項１０のいずれかに記載のインターフェイス装置において、ユーザーの鼻口腔から発せられた音の特徴点を特定する特徴点特定手段と、前記特徴点特定手段によって特定された特徴点に基づいた信号を生成する特徴点検出信号生成手段と、を有することを特徴とする。
【００２１】
また、請求項１２に係る発明は、請求項１１に記載のインターフェイス装置において、前記特徴点抽出手段によって抽出するユーザーの鼻口腔から発せられた音の特徴点が、基本周波数の特徴点、無声音・有声音の別に係る特徴点、音量の特徴点、音源の別に係る特徴点、発話内容に係る特徴点のいずれかであることを特徴とする。
【００２２】
また、請求項１３に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を３次元的に特定する発声位置特定ステップを有することを特徴とするインターフェイス方法である。
【００２３】
また、請求項１４に係る発明は、請求項１３に記載のインターフェイス方法において、前記発声位置特定ステップによって特定された発声位置に基づいた信号を生成する発声位置検出信号生成ステップを有することを特徴とする。
【００２４】
また、請求項１５に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始位置と発声終了位置との間を結ぶベクトルを３次元的に特定するベクトル特定ステップを有することを特徴とするインターフェイス方法である。
【００２５】
また、請求項１６に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始位置から発声終了位置までの軌跡を３次元的に特定する軌跡特定ステップを有することを特徴とするインターフェイス方法である。
【００２６】
また、請求項１７に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音が到来する方向の方位角と仰角とを特定する発声方向特定ステップを有することを特徴とするインターフェイス方法である。
【００２７】
また、請求項１８に係る発明は、請求項１７に記載のインターフェイス方法において、前記発声方向特定ステップによって特定された方位角と仰角とに基づいた信号を生成する発声方向検出信号生成ステップを有することを特徴とする。
【００２８】
また、請求項１９に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始方向の方位角と仰角、及び、発声終了方向の方位角と仰角との間を結ぶベクトルを特定する方向ベクトル特定ステップと、を有することを特徴とするインターフェイス方法。
【００２９】
また、請求項２０に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始方向の方位角と仰角から、発声終了方向の方位角と仰角までの軌跡を特定する方向軌跡特定ステップを有することを特徴とするインターフェイス方法である。
【００３０】
また、請求項２１に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の発声開始から発声終了までの時間を特定する時間特定ステップを有することを特徴とするインターフェイス方法である。
【００３１】
また、請求項２２に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた継続音の移動速度を特定する移動速度特定ステップを有することを特徴とするインターフェイス方法である。
【００３２】
また、請求項２３に係る発明は、請求項１３乃至請求項２２のいずれかに記載のインターフェイス方法において、ユーザーの鼻口腔から発せられた音の特徴点を特定する特徴点特定ステップと、前記特徴点特定ステップによって特定された特徴点に基づいた信号を生成する特徴点検出信号生成ステップと、を有することを特徴とする。
【００３３】
また、請求項２４に係る発明は、請求項２３に記載のインターフェイス方法において、前記特徴点抽出ステップによって抽出するユーザーの鼻口腔から発せられた音の特徴点が、基本周波数の特徴点、無声音・有声音の別に係る特徴点、音量の特徴点、音源の別に係る特徴点、発話内容に係る特徴点のいずれかであることを特徴とする。
【発明の効果】
【００３４】
本発明のインターフェイス装置とインターフェイス方法によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などの事項が３次元的に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施の形態に係るインターフェイス装置の外観を斜視的に示す図であり、図２は本発明の実施の形態に係るインターフェイス装置のブロック構成を示す図である。図１及び図２において、１００はインターフェイス装置、２００はマイクロフォンアレイ、２０１はシリコンマイク、２０２はウインドスクリーン、２１０はスタンド、２１１は主支柱、２１２は左側支柱、２１３は右側支柱、２８０はマイクアンプ、２９０はＡＤ変換部、３００はＣＰＵ、４００は記憶部、５００は接続ポート部をそれぞれ示している。
【００３６】
図１はインターフェイス装置１００のユーザーインターフェイス部の構成を示しており、図示するようなユーザーの鼻腔・口腔から発せられた音に基づいて、不図示のコンピュータなどに対する入力デバイスとして機能するものである。ここで、コンピュータとしては、例えば汎用のパーソナルコンピュータなどを挙げることができるが、これに限らず、種々のコンピュータに対するインターフェイス装置として用いることができる。また、本発明のインターフェイス装置１００は、コンピュータに対する入力用途のみならず、電気製品や車両に対する入力用途にも用いることが可能である。
【００３７】
インターフェイス装置１００の外観は、スタンド２１０上に立設された主支柱２１１と
、主支柱２１１から左右に枝分かれし、左側支柱２１２と右側支柱２１３と、それぞれの支柱に設けられたマイクロフォン群とから構成されており、卓上に設置が可能なようになっている。より具体的には、これら主支柱２１１、左側支柱２１２、右側支柱２１３のそれぞれに３ｃｍ間隔でシリコンマイク２０１が不図示の基板上に設けられており、計１２個のマイクロフォン群からマイクロフォンアレイ２００が構成されている。なお、本実施形態に係るインターフェイス装置１００においては、シリコンマイク２０１が１２個用いられたものに基づいて説明するが、シリコンマイク２０１の数は３個以上で構成すればよく、本発明が１２個のシリコンマイク２０１の使用に限定されるものではない。なお、シリコンマイク２０１の数が少ないと耐雑音性が悪化するし、また、シリコンマイク２０１の数が多いと音声データの処理負荷が重くなるので、本実施形態では先に述べたようにマイクロフォンアレイ２００を１２個のシリコンマイク２０１で構成している。また、シリコンマイク２０１には、３ｍｍ×５ｍｍ程度の小型シリコンマイクを採用している。
【００３８】
それぞれの支柱に配された４つのシリコンマイク２０１は、ウインドスクリーン２０２によって覆われており、風きり音が入力されるのを伏せいている。また、左側支柱２１２に配されたマイクロフォン群、右側支柱２１３に配されたマイクロフォン群は略「ハ」の字のレイアウトとなるように配置されており、主支柱２１１に配されたマイクロフォン群は垂直に配置されている。
【００３９】
図２はインターフェイス装置１００のブロック構成を示す図である。１２個のシリコンマイク２０１から構成されるマイクロフォンアレイ２００の出力は、マイクアンプ２８０で増幅されＡＤ変換部２９０でアナログ−デジタル変換された後、ＣＰＵ３００に入力されるようになっている。記憶部４００は、ＣＰＵ３００上で動作するプログラムを保持するＲＯＭや、ＣＰＵ３００のワークエリアとして機能するＲＡＭから構成されている。この記憶部４００に記憶されているプログラムに基づいてＣＰＵ３００が動作することによって、本発明のインターフェイス装置１００として機能する。
【００４０】
なお、特許請求の範囲のカテゴリーが「装置」である請求項に記載されている「発声位置特定手段」、「発声位置検出信号生成手段」、「ベクトル特定手段」、「軌跡特定手段」、「発声方向特定手段」、「発声方向検出信号生成手段」、「方向ベクトル特定手段」、「方向軌跡特定手段」、「時間特定手段」、「移動速度特定手段」、「特徴点特定手段」などの各手段は、記憶部４００に記憶されているプログラムに基づいて動作するＣＰＵ３００によって実現されるものである。
【００４１】
また、特許請求の範囲のカテゴリーが「方法」である請求項に記載されている「発声位置特定ステップ」、「発声位置検出信号生成ステップ」、「ベクトル特定ステップ」、「軌跡特定ステップ」、「発声方向特定ステップ」、「発声方向検出信号生成ステップ」、「方向ベクトル特定ステップ」、「方向軌跡特定ステップ」、「時間特定ステップ」、「移動速度特定ステップ」、「特徴点特定ステップ」などの各ステップは、記憶部４００に記憶されているプログラムに基づいて動作するＣＰＵ３００によって実現されるものである。
【００４２】
また、記憶部４００には、後述するイベントデータベースが記憶保持されている。接続ポート部５００は、コンピュータなどの他の機器と接続するためのインターフェイス手段であり、ＵＳＢなどの周知のものを利用することができる。
【００４３】
以上のように構成されるインターフェイス装置１００の利用形態について説明する。なお、以下に種々の実施形態を個別的に説明するが、それぞれの実施形態は記憶部４００に記憶させるプログラムを変更することによってそれぞれ実現することができる。また、以下に個別的に説明する種々の実施形態を任意に組み合わせて構成したインターフェイス装
置も、本発明のインターフェイス装置に含まれるものである。
【００４４】
図３は本発明の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態に係るインターフェイス装置１００では、インターフェイス装置１００を用いて、３次元空間内で推定された発声位置がどの領域に属すかを特定するものである。
【００４５】
なお、以下、「発声」という語には、ユーザーの鼻口腔から発せられた全ての種類の音が含まれるものとする。ユーザーの鼻口腔から発せられた音には、例えば、舌打ちの音なども含まれるものであるが、一般的な利用としては、ユーザーの「シュッ」、「パッ」などの短い発声音や「シュー」、「アー」などの継続する継続的発声音が想定される。
【００４６】
図３に示す実施形態においては、ユーザーの発声検出領域を定義し、この発声検出領域の中のユーザーの発声のみを検出するようにして、発声検出領域外からの音は雑音として処理する。さらに、定義されたユーザーの発声検出領域は、図示するように例えば８つの領域に分割する。そして、その８つの分割領域の中で、発声がどの領域内で検出されたかを特定するものである。これが特許請求の範囲に記載される「発声位置特定手段」、「発声位置特定ステップ」である。また、手前、左上の分割領域での発声が検出された場合には、例えば、マウスの左クリックに相当する信号を生成し、コンピュータ側に送信する。このような信号を生成については、特許請求の範囲において、「発声位置検出信号生成手段」、「発声位置検出信号生成ステップ」として表現されている。
【００４７】
以上のような実施形態におけるインターフェイス装置の処理について説明する。図４は本発明の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。
【００４８】
ステップＳ１００で、処理が開始されると、次にステップＳ１０１に進み、マイクロフォンアレイ２００から音声データの取り込みが行われる。このステップではより具体的には、マイクロフォンアレイ２００から出力される音声のアナログ信号をマイクアンプ２８０で増幅した後、ＡＤ変換部２９０でデジタル信号に変換し、記憶部４００に一時記憶する。
【００４９】
次のステップＳ１０２では、ユーザー発声位置と周囲雑音到来方向の３次元的な情報の特定を行う。より詳細には、本願の発明者らによる特開２００７−２２８１３５号公報、特開２００８−６７８５４号公報、特願２００６−２４０７２１号の明細書、図面に記載の手法を用いて、ユーザーの発声位置と周囲雑音到来方向を３次元空間内で特定する。
【００５０】
次に、ステップＳ１０３では、ユーザーの発声があるか否かが判定される。このステップでは、特願２００６−２４０７２１号に記載の手法を用いてユーザーの発声を検出し、もしユーザーの発声が検出されなければ、ステップＳ１０１から繰り返す。もしユーザーの発声が検出されればステップＳ１０４へ進む。
【００５１】
ステップＳ１０４では、周囲雑音の抑制を実行する。このステップでは、特願２００６−２４０７２１号に記載の手法を用いて周囲雑音を抑圧しユーザーの発声を強調する音源分離処理を行う。
【００５２】
ステップＳ１０５では、３次元的な発声位置の特定を行う。より具体的には、３次元空間内で推定された発声位置がどの領域に属すかを特定する。例えば、図３示すようにユーザーの発声検出領域を定義し、更にその発声検出領域を８つの領域に分割する。そして、その８つの分割領域の中で、発声がどの領域内で検出されたかを特定する。
【００５３】
ステップＳ１０６では、イベントの特定が実行される。記憶部４００に保持されるイベントデータベースには、発声検出位置などに応じたイベントが記憶されている。すなわち、発声検出位置などとイベントとの組み合わせが定義されて、当該イベントデータベースに保持されるようになっている。
【００５４】
イベントデータベースには、例えば、図３の上段手前の左側の領域で短時間の発声として定義したイベントがあらかじめ登録されている。そして、ステップＳ１０６のイベントの特定処理では、発声位置が前述の位置になっているかを判断し、発声継続時間があるしきい値以下であるかを判断し、更に発声が無声音であるかなどを判断し、全ての条件が適合したときにそのイベントが発生したと判断する。
【００５５】
ステップＳ１０７では、該当イベントがあるかが判定される。ステップＳ１０６で、イベントデータベースに適合するイベントが検出されたかどうかを調べ、もしイベントが一つも検出されなければ、ステップＳ１０１へ戻る。もし、イベントが検出された場合は、ステップＳ１０８へ進む。
【００５６】
ステップＳ１０８では、コンピュータ側のアプリケーションレベルに対して、イベント検出信号を送信する。
【００５７】
アプリケーション側の典型的な処理が点線の囲み中に示されている。以下、アプリケーション側で想定される典型的な処理について説明する。ステップＳ２０１では、本発明のインターフェイス装置から送られるイベント検出信号の受信を待ち続ける。もし、イベント検出信号を受信した場合は、ステップＳ２０２へ移る。ステップＳ２０２では、受信したイベント検出信号に対応した適切な処理を実行する。そして、ステップＳ２０１へ戻る。
【００５８】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などが３次元的に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００５９】
なお、以上に説明した実施形態においては、発声検出領域を８つの領域に分割する例について説明したが、これに限らず、例えば図５に示すような４つに分割することによって、コンピュータ側のディスプレイ部に表示されるカーソルの十字移動に利用することも可能である。図５は本発明の実施の形態に係るインターフェイス装置の他の領域分割例を示す図である。
【００６０】
次に、本発明の他の実施形態について説明する。図６は本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態では、ユーザーによって「アー」などの継続音の発声があった場合にその継続音の発声開始位置（Ａ）と発声終了位置（Ｂ）との間を結ぶベクトルを３次元的に特定するものである。このような特定について、特許請求の範囲において、「ベクトル特定手段」、「ベクトル特定ステップ」として表現されている。
【００６１】
このような実施形態は、図４に示すフローチャートのステップ１０５における処理を、発声開始時の位置と発声終了時の位置を記録し、その２点を結ぶベクトルを特定する処理に変更することによって実現することが可能となる。
【００６２】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などが３次元内でベクトル的に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００６３】
次に、本発明の他の実施形態について説明する。図７は本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態では、ユーザーによって「アー」などの継続音の発声があった場合にその継続音の発声開始位置（Ａ）から発声終了位置（Ｂ）までの軌跡を３次元的に特定するものである。このような特定について、特許請求の範囲において、「軌跡特定手段」、「軌跡特定ステップ」として表現されている。
【００６４】
このような実施形態は、図４に示すフローチャートのステップ１０５における処理を、発声開始時の位置と発声終了時の位置を記録し、その間の軌跡を特定する処理に変更することによって実現することが可能となる。
【００６５】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などが３次元内で軌跡状に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００６６】
次に、本発明の他の実施形態について説明する。図８は本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態は、前記マイクロフォンアレイ２００により取得された音声データに基づいてユーザーの鼻口腔から発せられた音が到来する方向の方位角（θ）と仰角（φ）とを特定するものである。このような特定は、特許請求の範囲において、「発声方向特定手段」、「発声方向特定ステップ」として表現されている。
【００６７】
また、上記のようにユーザーの発声が到来する方向の方位角（θ）と仰角（φ）特定されたとき、特定された方位角（θ）と仰角（φ）とに基づいた信号を生成する。このような機能は、特許請求の範囲においては、「発声方向検出信号生成手段」、「発声方向検出信号生成ステップ」と表現されている。
【００６８】
このような実施形態は、図４に示すフローチャートのステップ１０５において、発声方向の特定処理を行うようにすることで、実現することが可能となる。また、ステップＳ１０６における発声方向である方位角（θ）と仰角（φ）と応じたイベントを定義しておく。
【００６９】
より具体的には、ステップ１０５においては、３次元空間内で発声した音声の到来方向の方位角（θ）と仰角（φ）を推定し、その到来方向が方位角−仰角平面上でどの領域に属すかを特定する。例えば、図１０のＡに示すように、方位角−仰角平面を一定の間隔でグリッド状に分割する。そして、推定された到来方向が方位角−仰角平面内のどの領域内で検出されたかを特定する。図１０は本発明の他の実施の形態に係るインターフェイス装置で想定する方位角（θ）―仰角（φ）平面を示す図である。
【００７０】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などの方向が特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００７１】
次に、本発明の他の実施形態について説明する。図９は本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態では、ユーザーによって「アー」などの継続音の発声があった場合にその継続音の発声開始方向（Ａ）の方位角（θA）と仰角（φA）と発声終了方向（Ｂ）の方位角（θB）と仰角（φB）との間を結ぶベクトルを特定するものである。このような特定について、特許請求の範囲において、「方向ベクトル特定手段」、「方向ベクトル特定ステップ」として表現されている。なお、こ
の実施形態における「ベクトル」は、図１０の方位角−仰角平面内に示されるものである。
【００７２】
このような実施形態は、図４に示すフローチャートのステップ１０５における処理を、発声開始時の方向と発声終了時の方向を記録し、その２点を結ぶベクトルを特定する処理に変更することによって実現することが可能となる。つまり、ステップＳ１０５において、３次元空間内で発声開始時の音声の到来方向（方位角と仰角）と発声終了時の音声の到来方向（方位角と仰角）を記録し、方位角−仰角平面上でその２点を結ぶベクトルを特定する。
【００７３】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の発声方向がベクトル的に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００７４】
次に、本発明の他の実施形態について説明する。図９は本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態では、ユーザーによって「アー」などの継続音の発声があった場合にその継続音の発声開始方向（Ａ）の方位角（θA）と仰角（φA）から、発声終了方向（Ｂ）の方位角（θB）と仰角（φB）までの軌跡を特定するものである。このような特定について、特許請求の範囲において、「方向軌跡特定手段」、「方向軌跡特定ステップ」として表現されている。なお、この実施形態における「軌跡」は、図１０の方位角−仰角平面内に示されるものである。
【００７５】
このような実施形態は、図４に示すフローチャートのステップ１０５における処理を、発声開始時の方向と発声終了時の方向を記録し、その２点を結ぶ軌跡を特定する処理に変更することによって実現することが可能となる。つまり、ステップＳ１０５において、３次元空間内で発声開始から発声終了までの音声の到来方向（方位角と仰角）を全て記録し、方位角−仰角平面上でその移動軌跡を特定する。
【００７６】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の発声方向が軌跡的に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００７７】
次に、本発明の他の実施形態について説明する。図１１は本発明の他の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。図１１のフローチャートにおいて、図４のフローチャートと同じ内容が記載されたステップは、同様の処理を示しているので省略する。図１１のフローチャートにおいて本実施形態と関連する部分のみを説明する。
【００７８】
本実施形態においては、図１１のステップＳ３０５であり、ステップＳ３０５では、継続音の開始から終了までの時間を特定する処理を行う。このような特定処理については、特許請求の範囲において「時間特定手段」、「時間特定ステップ」として示されている。
【００７９】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の継続時間が特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００８０】
次に、本発明の他の実施形態について説明する。図１１は本発明の他の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。図１１のフローチャートにおいて、図４のフローチャートと同じ内容が記載されたステップは、同様の処理を示しているので省略する。図１１のフローチャートにおいて本実施形態と関連する部分のみ
を説明する。
【００８１】
本実施形態においては、図１１のステップＳ３０５であり、ステップＳ３０５では、継続音の発生位置の移動速度を特定する処理を行う。このような特定処理については、特許請求の範囲において「移動速度特定手段」、「移動速度特定ステップ」として示されている。
【００８２】
このように本実施形態によれば、雑音がある環境下でもユーザーの呼気音や発声の移動速度が特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００８３】
次に、本発明の他の実施形態について説明する。図１１は本発明の他の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。図１１のフローチャートにおいて、図４のフローチャートと同じ内容が記載されたステップは、同様の処理を示しているので省略する。図１１のフローチャートにおいて本実施形態と関連する部分のみを説明する。
【００８４】
本実施形態における特徴的な処理はステップＳ３０６であり、ステップＳ３０６ではユーザーの鼻口腔から発せられた音の特徴点を特定する処理を実行する。なお、このようなステップは、図４に記載されたフローチャートにおいても、ステップＳ１０６とステップＳ１０７との間に加入することもできる。先に述べたように、本発明のインターフェイス装置には、明細書に記載された任意の実施形態を組み合わせたものが含まれる。
【００８５】
このようなユーザーの鼻口腔から発せられた音の特徴点を特定することは、特許請求の範囲においては「特徴点特定手段」、「特徴点特定ステップ」として表現されている。
【００８６】
次に、このような特徴点特定手段で特定するユーザーの鼻口腔から発せられた音の特徴点とは具体的にどのようなものであるのかについて説明する。図１２は本発明の他の実施の形態に係るインターフェイス装置における特徴点抽出処理の種類を示す図である。
【００８７】
図１２に示すように、ユーザーの鼻口腔から発せられた音の特徴点には、「基本周波数の特徴点」、「無声音・有声音の別に係る特徴点」、「音量の特徴点」、「音源の別に係る特徴点」、「発話内容に係る特徴点」を挙げることができる。
【００８８】
「基本周波数の特徴点」の特定は、ユーザーの鼻口腔から発せられた音の基本周波数を抽出することによって行う。
【００８９】
また、「無声音・有声音の別に係る特徴点」の特定は、無声音・有声音を判別することによって行う。
【００９０】
また、「音量の特徴点」の特定は、音の大きさを表すパワーなどの音量に相当するパラメータを計測することによって行う。
【００９１】
また、「音源の別に係る特徴点」の特定は、音声や呼気音以外にも口笛、舌打ちなど様々な音源の種類の同定を行うことによって行う。
【００９２】
また、「発話内容に係る特徴点」の特定は、音声認識などを行い、発話内容を認識することによって行う。
【００９３】
このように本実施形態によれば、雑音がある環境下でもユーザーの鼻口腔から発せられ
た音の特徴点が特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【００９４】
次に、インターフェイス装置１００の処理における要素技術について説明する。
【００９５】
インターフェイス装置１００では、周囲雑音が存在する環境下でも、３次元的なユーザの発声位置、および雑音を分離したユーザー音声が必要となる。これらの情報を抽出するために必要な3次元音声ポインティングデバイスであるインターフェイス装置１００の５
つの処理、1．ユーザ発声位置の推定（近距離音源の推定）、2．周囲雑音の到来方向推定（遠距離にある音源の音波到来方向の推定）、3．ユーザーの発話検出、４．音源分離、
５．音声認識処理（特願２００３−３２０１８３号）について以下に述べる。
1．ユーザー発声位置の推定（近距離音源の推定）
マイクロフォンアレイから約１ｍ以内の近距離にある音源の位置を、マイクロフォンアレイで推定する方法について以下に説明する。
【００９６】
複数のマイクロフォンは3次元空間中の任意の位置に配置可能である。３次元空間中の
任意の位置
【００９７】
【数１】
0004822458.tif 000002
に置かれた音源から出力された音響信号を、３次元空間中の任意の位置
【００９８】
【数２】
0004822458.tif 000003
に配置されたＱ個のマイクロフォンで受音する。音源と各マイクロフォン間の距離Ｒｑは次式で求められる。
【００９９】
【数３】
0004822458.tif 000004
音源から各マイクロフォンまでの伝播時間τｑは、音速をｖとすると、次式で求められる。
【０１００】
【数４】
0004822458.tif 000005
各マイクロフォンで受音した中心周波数ωの狭帯域信号の、音源のそれに対する利得ｇｑは、一般的に、音源とマイクロフォン間の距離Ｒｑと中心周波数ωの関数として定義される。
【０１０１】
【数５】
0004822458.tif 000006
例えば、利得を距離Ｒｑだけの関数として、実験的に求めた次式のような関数を用いる。
【０１０２】
【数６】
0004822458.tif 000007
中心周波数ωの狭帯域信号に関する、音源と各マイクロフォン間の伝達特性は、
【０１０３】
【数７】
0004822458.tif 000008
と表される。そして、位置Ｐ０にある音源を表す位置ベクトルａ（ω，Ｐ０）を、次式のように、狭帯域信号に関する、音源と各マイクロフォン間の伝達特性を要素とする複素ベクトルとして定義する。
【０１０４】
【数８】
0004822458.tif 000009
音源位置の推定はＭＵＳＩＣ法（相関行列を固有値分解することで信号部分空間と雑音部分空間を求め、任意の音源位置ベクトルと雑音部分空間の内積の逆数を求めることにより、音源の音波到来方向や位置を調べる手法）を用いて、以下の手順で行う。ｑ番目のマイクロフォン入力の短時間フーリエ変換を
【０１０５】
【数９】
0004822458.tif 000010
で表し、これを要素として観測ベクトルを次のように定義する。
【０１０６】
【数１０】
0004822458.tif 000011
ここで、ｎはフレーム時刻のインデックスである。連続するＮ個の観測ベクトルから相関行列を次式により求める。
【０１０７】
【数１１】
0004822458.tif 000012
この相関行列の大きい順に並べた固有値を
【０１０８】
【数１２】
0004822458.tif 000013
とし、それぞれに対応する固有ベクトルを
【０１０９】
【数１３】
0004822458.tif 000014
とする。そして、音源数Ｓを次式により推定する。
【０１１０】
【数１４】
0004822458.tif 000015
もしくは、固有値に対する閾値を設け、その閾値を超える固有値の数を音源数Sとするこ
とも可能である。
雑音部分空間の基底ベクトルから行列Ｒｎ（ω）を次のように定義し、
【０１１１】
【数１５】
0004822458.tif 000016
周波数帯域
【０１１２】
【数１６】
0004822458.tif 000017
および音源位置推定の探索領域Ｕを
【０１１３】
【数１７】
0004822458.tif 000018
として、
【０１１４】
【数１８】
0004822458.tif 000019
を計算する。そして、関数Ｆ（Ｐ）が極大値をとる座標ベクトルを求める。ここでは仮にＳ個の極大値を与える座標ベクトルがＰ１，Ｐ２，・・・，Ｐｓが推定されたとする。次にその各々の座標ベクトルにある音源のパワーを次式により求める。
【０１１５】
【数１９】
0004822458.tif 000020
そして、２つの閾値Ｆｔｈｒ，  Ｐｔｈｒを用意し、各位置ベクトルにおけるＦ（Ｐｓ）とＰ（Ｐｓ）が次の条件を満足するときに、
【０１１６】
【数２０】
0004822458.tif 000021
連続するＮ個のフレーム時間内の座標ベクトルＰｌにおいて発声があったと判断する。
音源位置の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。音源位置の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式（３０）の条件が満たされたら発声があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音源の移動奇跡を捉えることができる。
2．周囲雑音の到来方向推定（遠距離にある音源の音波到来方向の推定）
マイクロフォンアレイから遠距離にある音源の音波が到来する方向を、マイクロフォンアレイで推定する手法について以下に述べる。
複数のマイクロフォンは3次元空間中の任意の位置に配置可能である。遠距離から到来す
る音波は平面波として観測されると考える。
【０１１７】
図１３は本発明のマイクロフォンアレイを用いた受音機能を説明する説明図である。図１３は、例として、任意の位置に配置された３個のマイクロフォンｍ１、ｍ２、ｍ３で、音源から到来した音波を受音する場合を示している。図１３で、点ｃは基準点を示しており、この基準点のまわりで音波の到来方向を推定する。図１３で、平面ｓは、基準点ｃを含む平面波の断面を示している。平面ｓの法線ベクトルｎは、そのベクトルの向きを音波の伝播方向と逆向きとし、次式のように定義する。
【０１１８】
【数２１】
0004822458.tif 000022
3次元空間中の音源の音波到来方向は２つのパラメータ（θ，φ）で表される。方向（θ
，φ）から到来する音波を各マイクロフォンで受音し、そのフーリエ変換を求めることで受音信号を狭帯域信号に分解し、各受音信号の狭帯域信号毎に利得と位相を複素数として表し、それを要素として狭帯域信号毎に全受音信号分だけ並べたベクトルを音源の位置ベクトルと定義する。以下の処理において、方向（θ，φ）から到来する音波は、前述の位
置ベクトルとして表現される。位置ベクトルは具体的に以下のように求められる。ｑ番目のマイクロフォンと平面ｓの間の距離ｒｑを次式により求める。
【０１１９】
【数２２】
0004822458.tif 000023
距離ｒｑは平面ｓに関してマイクロフォンが音源側に位置すれば正となり、逆に音源と反対側にある場合は負の値をとる。音速をｖとするとマイクロフォンと平面ｓ間の伝播時間Ｔｑは次式で表される。
【０１２０】
【数２３】
0004822458.tif 000024
平面ｓでの振幅を基準としてそこから距離ｒｑ離れた位置の振幅に関する利得を、狭帯域信号の中心周波数ωと距離ｒｑの関数として次のように定義する。
【０１２１】
【数２４】
0004822458.tif 000025
平面ｓでの位相を基準としてそこから距離ｒｑ離れた位置の位相差は、次式で表される。
【０１２２】
【数２５】
0004822458.tif 000026
以上より、平面ｓを基準として、各マイクロフォンで観測される狭帯域信号の利得と位相差は次式で表される。
【０１２３】
【数２６】
0004822458.tif 000027
Ｑ個のマイクで（θ、φ）方向から到来する音波を観測するとき、音源の位置ベクトルは、各マイクロフォンについて式（２６）に従い求めた値を要素とするベクトルとして次式のように定義される。
【０１２４】
【数２７】
0004822458.tif 000028
音源の位置ベクトルが定義されたら、音波の到来方向推定は、ＭＵＳＩＣ法を用いて行われる。式（１５）で与えられる行列Ｒｎ（ω）を用い、音波到来方向推定の探索領域Ｉを
【０１２５】
【数２８】
0004822458.tif 000029
として、
【０１２６】
【数２９】
0004822458.tif 000030
を計算する。そして、関数Ｊ（θ、φ）が極大値を与える方向（θ、φ）を求める。ここでは仮にＫ個の音源が存在し、極大値を与えるＫ個の音波到来方向（（θ１、φ１），・・・，（θＫ、φＫ））が推定されたとする。次にその各々の音波到来方向にある音源のパワーを次式により求める。
【０１２７】
【数３０】
0004822458.tif 000031
そして、２つの閾値Ｊｔｈｒ，  Ｑｔｈｒを用意し、各到来方向におけるＪ（θｋ，φｋ）とＱ（θｋ，φｋ）が次の条件を満足するときに、
【０１２８】
【数３１】
0004822458.tif 000032
連続するＮ個のフレーム時間内の到来方向（θｋ，φｋ）において発声があったと判断する。音波の到来方向の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。到来方向の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式（３１）の条件が満たされたらその方向から音波の到来があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音波の到来方向の移動奇跡を捉えることができる。
【０１２９】
近距離音源の位置推定結果と遠距離音源の音波到来方向推定結果は、続く発話検出処理や音源分離処理で重要な役割を果たすが、近距離音源と遠距離音源が同時に発生していて、更に、遠距離音源から到来する音波に対して近距離音源のパワーが著しく大きくなるとき、遠距離音源の音波の到来方向推定がうまく行えない場合がある。このような時は、近距離音源が発生する直前に推定された、遠距離音源の音波の到来方向推定結果を用いるなどして対処する。
3．ユーザーの発話検出
複数の音源が存在している場合、どの音源が認識すべき音声なのかの特定は一般的に難しい。一方、音声を用いたインタフェースを採用するシステムでは、予めシステムのユーザがシステムに対して相対的にどのような位置で発声するかを表すユーザ発声領域を決めておくことができる。この場合、前述の方法でシステムの周囲に音源が複数存在しているとしても、各音源の位置や音波の到来方向を推定できれば、システムが予め想定しているユーザ発声領域に入る音源を選択することで容易にユーザの音声を特定できるようになる。
【０１３０】
式（２０）や式（３１）の条件が満たされることで音源の存在を検出し、更に音源の位置や音波の到来方向の条件が満たされてユーザの発声が検出される。この検出結果は発話区間情報として、後続音声認識処理において重要な役割を果たす。音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。一般的に、発話区間の開始時点がずれると音声認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式（１８）や式（２９）で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができるという利点を持つ。
【０１３１】
例えば、図１４に示すようなユーザの発声領域を定義することができる。図１４は本発明による発話検出処理の機能説明図である。この図では簡単のためにＸ−Ｙ平面のみで表すが、一般的に3次元空間においても同様に任意のユーザ発声領域を定義することができ
る。図１４では、任意の位置に配置された８個のマイクロフォンｍ１〜ｍ８を用いた処理を仮定し、近距離音源の探索領域および遠距離音源の探索領域のそれぞれで、ユーザ発声領域を定義している。近距離音源の探索空間は、（ＰｘＬ，ＰｙＬ）と（ＰｘＨ，ＰｙＨ）の2点を結ぶ直線を対角線とする矩形領域で、その領域内で（ＰＴｘＬ１，ＰＴｙＬ１
）と（ＰＴｘＨ１，ＰＴｙＨ１）、（ＰＴｘＬ２，ＰＴｙＬ２）と（ＰＴｘＨ２，ＰＴｙＨ２）のそれぞれの2点を結ぶ直線を対角線とする２つの矩形領域をユーザー発声領域と
定義している。従って、式（２０）により発声があったと判断された音源位置のなかで、その座標ベクトルが前記ユーザ発声領域内に入っているものを選択することで、近距離に存在する音源の中でユーザー声を特定できる。
【０１３２】
一方、遠距離音源の探索空間は点Ｃを基準として、角度θＬからθＨの方向を探索領域とし、その領域内で角度θＴＬ１からθＴＨ１の領域をユーザーの発声領域と定義している。従って、式（３１）により発声があったと判断された音波の到来方向のなかで、到来方向が前記ユーザ発声領域内に入っているものを選択することで、遠距離に存在する音源の中でユーザ音声を特定できる。
４．音源分離
発話検出された音源の位置推定結果または音波の到来方向推定結果を用いて、ユーザの音声を強調し周囲雑音を抑圧する音源分離処理について以下に説明する。ユーザ音声の発話位置または到来方向は前記発話検出処理により求められている。また、周囲雑音の音源位置または到来方向も既に推定されている。これらの推定結果と式（８）と式（２７）の音源位置ベクトル、そして無指向性雑音の分散を表すσを用いて、行列Ｖ（ω）を次式のように定義する。
【０１３３】
【数３２】
0004822458.tif 000033
この相関行列の大きい順に並べた固有値を
【０１３４】
【数３３】
0004822458.tif 000034
とし、それぞれに対応する固有ベクトルを
【０１３５】
【数３４】
0004822458.tif 000035
とする。
ここで、相関行列Ｖ（ω）には近距離音源Ｓ個と遠距離音源Ｋ個を合わせて（Ｓ＋Ｋ）個の音源が含まれているから、固有値の大きい方から（Ｓ＋Ｋ）の固有値と固有ベクトルを用いて、Ｚ（ω）を次式のように定義する。
【０１３６】
【数３５】
0004822458.tif 000036
そして、近距離の座標ベクトルＰに居るユーザの音声を強調する分離フィルタＷ（ω）は、次式で与えられる。
【０１３７】
【数３６】
0004822458.tif 000037
式（３６）の分離フィルタに式（１０）の観測ベクトルを乗じることで座標ベクトルＰに居るユーザの音声ｖ（ω）が得られる。
【０１３８】
【数３７】
0004822458.tif 000038
この強調されたユーザ音声の波形信号は式（３７）の逆フーリエ変換を計算することで求められる。
【０１３９】
一方、遠距離の方向（θ，φ）に居るユーザの音声を強調する場合の分離フィルタＭ（ω）は次式で与えられる。
【０１４０】
【数３８】
0004822458.tif 000039
式（３８）の分離フィルタに式（１０）の観測ベクトルを乗じることで方向（θ，φ）に居るユーザの強調音声ｖ（ω）が得られる。
【０１４１】
【数３９】
0004822458.tif 000040
この強調されたユーザ音声の波形信号は式（３７）の逆フーリエ変換を計算することで求められる。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により移動しているユーザーの強調音声が得られる。
５．音声認識処理
前記音源分離処理は、指向性雑音に対しては有効であるが、無指向性雑音に対してはある程度雑音が残留してしまう。また、突発性雑音のように短時間で発生する雑音に対してもあまり雑音抑圧効果を望めない。そこで、前記音源分離処理により強調されたユーザー音声の認識に、例えば、特願２００３−３２０１８３号「背景雑音歪みの補正処理方法及びそれを用いた音声認識システム」で述べられている特徴補正法を組み込んだ音声認識エンジンを用いることで、残留雑音の影響を軽減する。なお本発明は、音声認識エンジンとして特願２００３−３２０１８３号に限定するものではなく、この他にも雑音に頑健な様々な手法を実装した音声認識エンジンを使用することが考えられる。
【０１４２】
特願２００３−３２０１８３号で述べられている特徴補正法は、音声認識エンジンが予め音声認識のためにテンプレートモデルとして持っているＨｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ（ＨＭＭ）に基づいて雑音重畳音声の特徴量補正を行う。ＨＭＭは雑音のないクリーン音声から求めたＭｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ（ＭＦＣＣ）に基づいて学習されている。このため、特徴補正のために新たにパラメータを用意する必要がなく、既存の認識エンジンに比較的容易に特徴補正法を組み込むことができるという利点がある。この手法は雑音を定常成分と一時的に変化を示す非定常成分に分けて考え、定常成分に関しては発話直前の数フレームから雑音の定常成分を推定する。
【０１４３】
ＨＭＭが持っている分布のコピーを生成し、推定した雑音の定常成分を加えることで定常雑音重畳音声の特徴量分布を生成する。観測された雑音重畳音声の特徴量の事後確率を、この定常雑音重畳音声の特徴量分布で評価することで、雑音の定常成分による歪を吸収する。しかし、この処理だけでは雑音の非定常成分による歪が考慮されていないので、雑音の非定常成分が存在する場合には、前記手段で求めた事後確率は正確ではなくなる。一方、特徴補正にＨＭＭを用いることで、 特徴量時系列の時間的構造とそれに沿って求め
られる累積出力確率が利用可能となる。この累積出力確率から算出される重みを前述の事後確率に付与することにより、雑音の一時的に変化する非定常成分により劣化した事後確率の信頼度を改善することが出来る。
【０１４４】
音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。特に、前記特徴補正を組み込んだ音声認識エンジンは、発話開始直前の数フレームから周囲雑音の定常的な特徴を推定するので、発話区間の開始時点がずれると認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式（１８）や式（２９）で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができる。
【０１４５】
次に、インターフェイス装置１００の雑音に対する頑健性を調べるための実験について説明する。
【０１４６】
実験は防音室内で行った。ユーザー音声と周囲雑音を別々に録音し、計算機上で所望のＳＮＲになるように音声と雑音を混合する。雑音を混合する前のクリーン・ユーザ音声から推定した音源位置を正解とする。そして、同様に雑音混合音声から音源位置を推定し、クリーン・ユーザ音声から推定した結果と比較することで、雑音が音源定位の推定にどれだけ影響を及ぼすかを測定する。
【０１４７】
実験には、図１に示す構造のインターフェイス装置１００を用いた。各マイクアレイユニットには、３ｃｍ間隔で４つのマイクを配置して、計１２個のマイクから構成される。音源位置の検出空間（ユーザ発話領域）は、一辺が２ｃｍでＸ，Ｙ，Ｚ軸をそれぞれ１０点に離散化した、１０×１０×１０の格子状の離散点上で行う。
【０１４８】
インターフェイス装置１００の周囲には１つのスピーカを置く。そのスピーカからは、男性と女性の音声を雑音としてそれぞれ流す。スピーカは、インターフェイス装置１００の中心から１２０ｃｍ離し、前後左右の４ヵ所に順に設置し、それぞれの場所で流した雑音を録音する。ＳＮＲを２０ｄＢから−１０ｄＢまで５ｄＢ刻みとし、雑音混合音声を生成した。
【０１４９】
実験結果を図１５、図１６に示す。
【０１５０】
図１５の結果は、クリーン・ユーザ音声からは音源位置が検出されなかったが雑音混合音声からは検出された場合（誤検出）、クリーン・ユーザ音声からは音源位置が検出されたが雑音混合音声からは検出されなかった場合（検出漏れ）が起こった割合を表している。このような誤検出または検出漏れはＳＮＲが低くなるほど増加する傾向にあるが、−１０ｄＢほどの雑音優位な環境下でも、誤検出・検出漏れが起こるのは３％弱程度であった。
【０１５１】
図１６の結果は、クリーン・ユーザ音声と雑音混合音声の両方から音源位置が推定されたときに、３次元空間内でクリーン・ユーザ音声から推定された音源位置と雑音混合音声から推定された音源位置の間の誤差の平均を表している。誤差の平均は２ｃｍから２．５ｃｍ程度であった。この実験では、一辺２ｃｍの格子点上で音源位置を推定しているので、この平均誤差は格子点上で推定された位置が正解位置に隣接する格子点で推定されたという程度の誤差である。
【０１５２】
以上の結果から、本発明のインターフェイス装置１００は、周囲の雑音の影響を受けにくいと言うことができる。
【０１５３】
次に、インターフェイス装置１００の雑音に対する頑健性を調べる別の実験について説明する。本実実験は防音室内で行った。ユーザ音声と周囲雑音を別々に録音し、計算機上で所望のＳＮＲになるように混合した。雑音を混合する前のクリーン・ユーザ音声から推定した音源位置を正解とする。そして、同様に雑音混合ユーザ音声から音源位置を推定し、クリーン・ユーザ音声から推定した結果と比較することで、雑音が音源定位の推定にどれだけ影響を及ぼすかを測定する。
【０１５４】
実験には、図１に示す構造のインターフェイス装置１００を用いた。各マイクアレイユニットには、３ｃｍ間隔で４つのマイクを配置して、計１２個のマイクから構成される。音源位置の検出空間（ユーザ発話領域）は、一辺が２ｃｍでＸ、Ｙ、Ｚ軸をそれぞれ１０点に離散化した、１０×１０×１０の格子状の離散点上で行った。
【０１５５】
インターフェイス装置１００の周囲には１つのスピーカを置く。そのスピーカからは、男性と女性の音声を雑音としてそれぞれ流す。スピーカは、ポインティングデバイスの中
心から１２０ｃｍ離した前後左右の４ヵ所に順次に設置し、それぞれの場所で雑音を流してマイクアレイで録音する。ＳＮＲは２０ｄＢから−１０ｄＢまで５ｄＢ刻みとし、各ＳＮＲの雑音混合ユーザ音声を生成した。
【０１５６】
実験結果を図１７、図１８に示す。
図１７の結果は、
Ａ．クリーン・ユーザ音声からは音源が検出されなかったが雑音混合ユーザ音声からは検出された場合（誤検出）と、クリーン・ユーザ音声からは音源が検出されたが雑音混合ユーザ音声からは検出されなかった場合（検出漏れ）
Ｂ．クリーン・ユーザ音声と雑音混合ユーザ音声から推定された音源位置が一致した場合（正解）
Ｃ．両音声から推定された音源位置が一致しなかった場合（誤り）
の３つの割合を示している。
【０１５７】
Ａの誤検出・検出漏れはＳＮＲが低くなるほど増加する傾向にあるが、−１０ｄＢほどの雑音優位な環境下でさえも、その割合は３％弱程度であった。Ｂの正解はＳＮＲが低くなるにつれて緩やかに減少し、Ｃの誤りは緩やかに増加する。Ｃの誤りとなった場合の雑音混合ユーザ音声から推定した音源位置とそれに対応するクリーン・音声から推定した音源位置間の距離を測定し、その平均と標準偏差を求めた結果を図１８に示す。誤差は、平均が２ｃｍから２．５ｃｍ程度、標準偏差は最大でも１ｃｍ程度で分布している。この実験では、一辺２ｃｍの格子点上で音源位置を推定しているので、音源位置が誤って推定された場合でも、正解位置にほぼ隣接する格子点にずれて推定されたという程度の誤差である。
【０１５８】
以上の実験結果から、本発明の３次元音声ポインティングデバイスによる音源位置推定は、周囲雑音の影響を受けにくいと言うことができる。
【０１５９】
以上、本発明のインターフェイス装置とインターフェイス方法によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などの事項が３次元的に特定され、特定された事項に応じた処理をコンピュータ側で実行することができるようになる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の実施の形態に係るインターフェイス装置の外観を斜視的に示す図である。
【図２】本発明の実施の形態に係るインターフェイス装置のブロック構成を示す図である。
【図３】本発明の実施の形態に係るインターフェイス装置の利用形態例を示す図である。
【図４】本発明の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。
【図５】本発明の実施の形態に係るインターフェイス装置の他の領域分割例を示す図である。
【図６】本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。
【図７】本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。
【図８】本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。
【図９】本発明の他の実施の形態に係るインターフェイス装置の利用形態例を示す図である。
【図１０】本発明の他の実施の形態に係るインターフェイス装置で想定する方位角（θ）―仰角（φ）平面を示す図である。
【図１１】本発明の他の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。
【図１２】本発明の他の実施の形態に係るインターフェイス装置における特徴点抽出処理の種類を示す図である。
【図１３】本発明のマイクロフォンアレイを用いた受音機能を説明する説明図である。
【図１４】本発明による発話検出処理の機能説明図である。
【図１５】本発明の雑音に対する頑健性を調べるための実験結果を示す図である。
【図１６】本発明の雑音に対する頑健性を調べるための実験結果を示す図である。
【図１７】本発明の雑音に対する頑健性を調べるための実験結果を示す図である。
【図１８】本発明の雑音に対する頑健性を調べるための実験結果を示す図である。
【符号の説明】
【０１６１】
１００・・・インターフェイス装置、２００・・・マイクロフォンアレイ、２０１・・・シリコンマイク、２０２・・・ウインドスクリーン、２１０・・・スタンド、２１１・・・主支柱、２１２・・・左側支柱、２１３・・・右側支柱、２８０・・・マイクアンプ、２９０・・・ＡＤ変換部、３００・・・ＣＰＵ、４００・・・記憶部、５００・・・接続ポート部
【図１】
0004822458.tif 000047
【図２】
0004822458.tif 000048
【図３】
0004822458.tif 000049
【図４】
0004822458.tif 000050
【図５】
0004822458.tif 000051
【図６】
0004822458.tif 000052
【図７】
0004822458.tif 000053
【図８】
0004822458.tif 000054
【図９】
0004822458.tif 000055
【図１０】
0004822458.tif 000056
【図１１】
0004822458.tif 000057
【図１２】
0004822458.tif 000058
【図１３】
0004822458.tif 000059
【図１４】
0004822458.tif 000060
【図１５】
0004822458.tif 000061
【図１６】
0004822458.tif 000062
【図１７】
0004822458.tif 000063
【図１８】
0004822458.tif 000064