(57)【要約】【課題】雑音環境下であっても、目的話者の音声区間を検出することができる音声区間検出技術を提供する。【解決手段】マイクロホンiで収音した音声データの各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(jはフレーム番号)を計算する尤度計算部１１０と、音声データから、目的話者音声到来方向θest,jを推定する目的話者音声到来方向推定部１２０と、θest,jとマイクロホンiの位置を表す方向θiと距離riから、マイクロホンiの重みwi,jを計算する重み計算部１３０と、θest,jから、目的話者音声到来方向時間変化Δθjを計算する目的話者音声到来方向時間変化計算部１３５と、Lspeech_i,j、Lnoise_i,jとwi,jとΔθjから、重み付き尤度比Ljを計算する重み付き尤度比計算部１４０と、Ljから、音声区間判定結果jを生成する音声区間判定部１５０とを含む。【選択図】図２
2018084748.tif 000002
【特許請求の範囲】
【請求項１】
目的話者が発話すると想定される方向（以下、正面方向という）に向けて設置されるマイクロホンをマイクロホン0、それ以外のM個（M≧1）のマイクロホンをマイクロホン1、マイクロホン2、…、マイクロホンMとし、
前記マイクロホン0から見て正面方向を0度の方向とし、
前記マイクロホン0を中心として0度の方向を基準としたM+1個のマイクロホンi(i=0, 1, 2,…, M)の方向をθi（0≦θi≦2π, ただし、θ0=0とする）、前記マイクロホン0とM+1個のマイクロホンi(i=0, 1, 2,…, M)の距離をri（ri≧0, r0=0）とし、
前記マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する尤度計算部と、
前記音声データxi(i=0, 1, 2,…, M)から、各フレームについて、前記マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する目的話者音声到来方向推定部と、
前記目的話者音声到来方向θest,jと、前記マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、前記マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する重み計算部と、
前記目的話者音声到来方向θest,jから、各フレームについて、過去tフレーム分（tは1以上の整数）の目的話者音声到来方向の変化分である目的話者音声到来方向時間変化Δθjを計算する目的話者音声到来方向時間変化計算部と、
前記音声尤度Lspeech_i,j、前記非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、前記重みwi,j(i=0, 1, 2,…, M)と、前記目的話者音声到来方向時間変化Δθjから、各フレームについて、重み付き尤度比Ljを計算する重み付き尤度比計算部と、
前記重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する音声区間判定部と
を含む音声区間検出装置。
【請求項２】
目的話者が発話すると想定される方向（以下、正面方向という）に向けて設置されるマイクロホンをマイクロホン0、それ以外のM個（M≧1）のマイクロホンをマイクロホン1、マイクロホン2、…、マイクロホンMとし、
前記マイクロホン0から見て正面方向を0度の方向とし、
前記マイクロホン0を中心として0度の方向を基準としたM+1個のマイクロホンi(i=0, 1, 2,…, M)の方向をθi（0≦θi≦2π, ただし、θ0=0とする）、前記マイクロホン0とM+1個のマイクロホンi(i=0, 1, 2,…, M)の距離をri（ri≧0, r0=0）とし、
前記マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する尤度計算部と、
前記音声データxi(i=0, 1, 2,…, M)から、各フレームについて、前記マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する目的話者音声到来方向推定部と、
前記目的話者音声到来方向θest,jと、前記マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、前記マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する重み計算部と、
前記音声尤度Lspeech_i,j、前記非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、前記重みwi,j(i=0, 1, 2,…, M)から、各フレームについて、重み付き尤度比Ljを計算する重み付き尤度比計算部と、
前記重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する音声区間判定部と
を含む音声区間検出装置。
【請求項３】
請求項１または２に記載の音声区間検出装置であって、
前記重みwi,j(i=0, 1, 2,…, M)は、前記マイクロホン0とマイクロホンの距離をr、前記マイクロホン0を中心として0度の方向を基準としたマイクロホンの方向をθ、前記マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θestとして、前記距離rと、前記方向θと前記目的話者音声到来方向θestのずれであるθ-θestとの関数w(r, θ-θest)を用いて計算されるものであり、
前記関数w(r, θ-θest)は、rについて、単調減少関数であり、
前記関数w(r, θ-θest)は、θ-θestについて、θ-θest=0のとき最大、θ-θest=πのとき最小となるように単調減少し、w(r, -(θ-θest))=w(r, θ-θest)となる周期2πの関数であることを特徴とする音声区間検出装置。
【請求項４】
目的話者が発話すると想定される方向（以下、正面方向という）に向けて設置されるマイクロホンをマイクロホン0、それ以外のM個（M≧1）のマイクロホンをマイクロホン1、マイクロホン2、…、マイクロホンMとし、
前記マイクロホン0から見て正面方向を0度の方向とし、
前記マイクロホン0を中心として0度の方向を基準としたM+1個のマイクロホンi(i=0, 1, 2,…, M)の方向をθi（0≦θi≦2π, ただし、θ0=0とする）、前記マイクロホン0とM+1個のマイクロホンi(i=0, 1, 2,…, M)の距離をri（ri≧0, r0=0）とし、
音声区間検出装置が、前記マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する尤度計算ステップと、
前記音声区間検出装置が、前記音声データxi(i=0, 1, 2,…, M)から、各フレームについて、前記マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する目的話者音声到来方向推定ステップと、
前記音声区間検出装置が、前記目的話者音声到来方向θest,jと、前記マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、前記マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する重み計算ステップと、
前記音声区間検出装置が、前記目的話者音声到来方向θest,jから、各フレームについて、過去tフレーム分（tは1以上の整数）の目的話者音声到来方向の変化分である目的話者音声到来方向時間変化Δθjを計算する目的話者音声到来方向時間変化計算ステップと、
前記音声区間検出装置が、前記音声尤度Lspeech_i,j、前記非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、前記重みwi,j(i=0, 1, 2,…, M)と、前記目的話者音声到来方向時間変化Δθjから、各フレームについて、重み付き尤度比Ljを計算する重み付き尤度比計算ステップと、
前記音声区間検出装置が、前記重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する音声区間判定ステップと
を含む音声区間検出方法。
【請求項５】
請求項１ないし３のいずれか１項に記載の音声区間検出装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声区間検出技術に関し、特に複数のマイクロホンで収音した音声信号を用いて目的話者が発話した音声区間を検出する技術に関する。
【背景技術】
【０００２】
音声認識技術においては、音声区間検出技術を用いて話者が発話した区間（以下、音声区間という）のみを切り出し、音声認識を行う。認識対象となる音声データから音声区間のみを切り出し、話者が発話していない雑音区間（以下、雑音区間のことを非音声区間ともいう）を除去した上で音声認識を行うことで、精度よく音声認識することができる（非特許文献１）。音声区間検出の一手法として、入力した音声データの各フレームに対して、音声が含まれる尤もらしさである音声尤度、音声が含まれない尤もらしさである非音声尤度を算出し、音声区間を決定する手法がある。
【０００３】
音声認識技術は、会話ができるロボットであるコミュニケーションロボットやデジタルサイネージ用のデバイスなどに適用されている。このコミュニケーションロボットやデジタルサイネージ用のデバイスでは、話者の位置が正面にくることがある程度想定されるため、特定のマイクロホン（具体的には、ロボットやデバイスの正面に位置するマイクロホン）で収音される音声データを強調した上で音声認識を行うことができる。これにより認識精度を向上させることが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】藤本雅清, “音声区間検出の基礎と最近の研究動向”,  IEICE Technical Report, SP2010-23, pp.7-pp.12, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、コミュニケーションロボット等の実際の使用環境では、雑音が存在する。雑音がある環境では、雑音の影響により、精度よく音声区間の検出が行えず、結果音声認識精度が低下してしまうという問題がある。
【０００６】
この問題を解決する一つの方法として、雑音抑圧技術を用いることが考えられる。雑音抑圧技術を用いることによりある程度雑音の影響を低減することができる。しかし、干渉性雑音である、音声認識の対象となる目的話者と異なる話者の音声の影響を低減することは難しく、人混み等では十分な性能を発揮することができない。
【０００７】
そこで本発明は、雑音環境下であっても、目的話者の音声区間を検出することができる音声区間検出技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、目的話者が発話すると想定される方向（以下、正面方向という）に向けて設置されるマイクロホンをマイクロホン0、それ以外のM個（M≧1）のマイクロホンをマイクロホン1、マイクロホン2、…、マイクロホンMとし、前記マイクロホン0から見て正面方向を0度の方向とし、前記マイクロホン0を中心として0度の方向を基準としたM+1個のマイクロホンi(i=0, 1, 2,…, M)の方向をθi（0≦θi≦2π, ただし、θ0=0とする）、前記マイクロホン0とM+1個のマイクロホンi(i=0, 1, 2,…, M)の距離をri（ri≧0, r0=0）とし、前記マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する尤度計算部と、前記音声データxi(i=0, 1, 2,…, M)から、各フレームについて、前記マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する目的話者音声到来方向推定部と、前記目的話者音声到来方向θest,jと、前記マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、前記マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する重み計算部と、前記目的話者音声到来方向θest,jから、各フレームについて、過去tフレーム分（tは1以上の整数）の目的話者音声到来方向の変化分である目的話者音声到来方向時間変化Δθjを計算する目的話者音声到来方向時間変化計算部と、前記音声尤度Lspeech_i,j、前記非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、前記重みwi,j(i=0, 1, 2,…, M)と、前記目的話者音声到来方向時間変化Δθjから、各フレームについて、重み付き尤度比Ljを計算する重み付き尤度比計算部と、前記重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する音声区間判定部とを含む。
【０００９】
本発明の一態様は、目的話者が発話すると想定される方向（以下、正面方向という）に向けて設置されるマイクロホンをマイクロホン0、それ以外のM個（M≧1）のマイクロホンをマイクロホン1、マイクロホン2、…、マイクロホンMとし、前記マイクロホン0から見て正面方向を0度の方向とし、前記マイクロホン0を中心として0度の方向を基準としたM+1個のマイクロホンi(i=0, 1, 2,…, M)の方向をθi（0≦θi≦2π, ただし、θ0=0とする）、前記マイクロホン0とM+1個のマイクロホンi(i=0, 1, 2,…, M)の距離をri（ri≧0, r0=0）とし、前記マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する尤度計算部と、前記音声データxi(i=0, 1, 2,…, M)から、各フレームについて、前記マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する目的話者音声到来方向推定部と、前記目的話者音声到来方向θest,jと、前記マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、前記マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する重み計算部と、前記音声尤度Lspeech_i,j、前記非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、前記重みwi,j(i=0, 1, 2,…, M)から、各フレームについて、重み付き尤度比Ljを計算する重み付き尤度比計算部と、前記重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する音声区間判定部とを含む。
【発明の効果】
【００１０】
本発明によれば、目的話者の音声が到来する方向を推定し、当該方向からの音声を強調したうえで目的話者による音声区間を検出することにより、雑音環境下であっても、目的話者の音声区間を精度よく検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】収音システムの一例を示す図。
【図２】音声区間検出装置１００の構成の一例を示す図。
【図３】音声区間検出装置１００の動作の一例を示す図。
【図４】尤度計算部１１０の構成の一例を示す図。
【図５】尤度計算部１１０の動作の一例を示す図。
【図６】目的話者音声到来方向の一例を示す図。
【図７】重み付き尤度比計算部１４０の構成の一例を示す図。
【図８】重み付き尤度比計算部１４０の動作の一例を示す図。
【図９】音声区間検出装置２００の構成の一例を示す図。
【図１０】音声区間検出装置２００の動作の一例を示す図。
【図１１】重み付き尤度比計算部２４０の構成の一例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１３】
＜定義＞
以下、各実施形態で用いる用語について説明する。
【００１４】
まず、目的話者の発話を収音する複数のマイクロホンからなる収音システムについて説明する。
【００１５】
［収音システム］
収音システムは、1個のメインマイクロホンとM個（M≧1）のサブマイクロホンから構成される。メインマイクロホンとは、目的話者が発話すると想定される方向（以下、正面方向という）に向けて設置されるマイクロホンである。例えば、コミュニケーションロボットに搭載されるマイクロホンの場合、ロボットの前面につけられた、正面方向に向けられたマイクロホンのことである。また、サブマイクロホンとは、メインマイクロホン以外のマイクロホンのことをいう。
【００１６】
以下、メインマイクロホンをマイクロホン0と、M個のサブマイクロホンをそれぞれマイクロホン1、マイクロホン2、…、マイクロホンMということにする。
【００１７】
マイクロホン0から地面に対して垂直となるよう直線を下し、当該直線を法線としマイクロホン0を通る平面Pを考える（図１参照）。この平面P上で目的話者が発話すると想定される方向、つまりマイクロホン0から見て正面方向を0度の方向とする。
【００１８】
マイクロホン0を中心として0度の方向を基準としたM+1個のマイクロホンi(i=0, 1, 2,…, M)の方向（以下、マイクロホン0に対するマイクロホンiの方向という）をθi(i=0, 1, 2,…, M)とする（0≦θi≦2π, ただし、θ0=0とする）。また、マイクロホン0とM+1個のマイクロホンi(i=0, 1, 2,…, M)の距離をri(i=0, 1, 2,…, M)とする（ri≧0, r0=0）。つまり、マイクロホンiの位置は、マイクロホン0に対するマイクロホンiの方向θiとマイクロホン0とマイクロホンiの距離riで表される。
【００１９】
図１は、メインマイクロホン（マイクロホン0）と２個のサブマイクロホン（マイクロホン1とマイクロホン2）で構成される収音システムの一例(M=2)を示す。図１ではサブマイクロホンが平面P上にある例を示したが、サブマイクロホンは必ずしも平面P上に存在しなくてもよい。平面P上に存在しない場合、サブマイクロホンから平面Pに下した垂線と平面Pの交点を用いてマイクロホン0に対するマイクロホンiの方向θi(iは1以上M以下の整数)を定義する。
【００２０】
＜第一実施形態＞
以下、図２〜図３を参照して音声区間検出装置１００について説明する。
【００２１】
図２に示すように音声区間検出装置１００は、尤度計算部１１０、目的話者音声到来方向推定部１２０、重み計算部１３０、目的話者音声到来方向時間変化計算部１３５、重み付き尤度比計算部１４０、音声区間判定部１５０、記録部１９０を含む。記録部１９０は、音声区間検出装置１００の処理に必要な情報を適宜記録する構成部である。例えば、重み計算部１３０で用いるマイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riや、音声区間判定部１５０で用いる閾値thを事前に記録しておく。
【００２２】
音声区間検出装置１００は、収音システムで収音したM+1個の音声データ、つまりマイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxiを入力として、各フレームが音声区間であるか否かの判定結果である音声区間判定結果を生成し、出力する。
【００２３】
図３に従い音声区間検出装置１００の動作について説明する。尤度計算部１１０は、マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する（Ｓ１１０）。インデックスjは、例えば、j=0, 1, …とすればよい。
【００２４】
以下、図４〜図５を参照して尤度計算部１１０について説明する。図４に示すように尤度計算部１１０は、特徴量抽出部１１１、尤度算出部１１３を含む。図５に従い尤度計算部１１０の動作について説明する。特徴量抽出部１１１は、入力された音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、特徴量jを抽出する（Ｓ１１１）。特徴量には、MFCC(Mel-Frequency Cepstrum Coefficients: メル周波数ケプストラム係数)やパワーを用いるとよい。尤度算出部１１３は、Ｓ１１１で抽出した特徴量jから、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)を算出する（Ｓ１１３）。例えば、ガウス混合分布モデルGMM(Gaussian Mixture Model)を用いる方法がある（参考非特許文献１）。この方法では、音声GMMと非音声GMMから、それぞれ音声尤度と非音声尤度を算出する。
（参考非特許文献１）藤本雅清, 有木康雄, “GMMに基づく音声信号推定法と時間領域SVDに基づく音声強調法の併用による雑音下音声認識”, 電子情報通信学会論文誌, D-II, Vol.J88-D-II, No.2, pp.250-265, 2005.
【００２５】
目的話者音声到来方向推定部１２０は、入力された音声データxi(i=0, 1, 2,…, M)から、各フレームについて、マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する（Ｓ１２０）。図６に目的話者とマイクロホン0の位置関係を示す。目的話者音声到来方向の推定には、参考非特許文献２の技術を用いることができる。
（参考非特許文献２）C. H. Knapp, G. C. Carter, “The Generalized Correlation Method for Estimation of Time Delay”, IEEE Transactions on Acoustics, Speech and Signal Processing, Vol.24, No.4, pp.320-327, 1976.
【００２６】
この推定技術を用いると、複数のマイクロホンを用いて目的話者にフォーカスし、周囲の雑音の影響を軽減することができる。
【００２７】
重み計算部１３０は、Ｓ１２０で推定した目的話者音声到来方向θest,jと、マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する（Ｓ１３０）。ここで、マイクロホンiの重みとは、マイクロホン0とマイクロホンiの距離と、マイクロホン0に対するマイクロホンiの方向と目的話者音声到来方向のずれに基づいて決定される実数である。例えば、式(1)を用いて、重みwi,j(i=0, 1, 2,…, M)を計算する。
【００２８】
【数１】
2018084748.tif 000003
【００２９】
ここで、1/2(1+ri)はマイクロホン0との距離riに依存する項であり、マイクロホン0に近いほど大きい値をとる。また、cos(θi-θest,j)はマイクロホン0に対する方向θiと目的話者音声到来方向θest,jに依存する項であり、0からπまで変化すると（つまり、θiとθest,jのずれが大きくなるほど）、その値は小さくなる。w0,jはフレームjに対するマイクロホン0の重みを表し、先ほどの式(1)は以下の式(2)のようになる。
【００３０】
【数２】
2018084748.tif 000004
【００３１】
したがって、目的話者音声到来方向θest,jが正面方向である(θest,j=0)場合は、w0,j=1となる。
【００３２】
一般に、重みwi,jは、マイクロホン0とマイクロホンの距離をr、マイクロホン0を中心として0度の方向を基準としたマイクロホンの方向をθ、マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θestとして、距離rと、方向θと目的話者音声到来方向θestのずれであるθ-θestの関数w(r, θ-θest)を用いて計算される（rは0以上の実数、θ-θestは実数)。関数w(r, θ-θest)は、rについて、単調減少関数となる。また、関数w(r, θ-θest)は、θ-θestについて、θ-θest=0のとき最大、θ-θest=πのとき最小となるように単調減少し、w(r, -(θ-θest))=w(r, θ-θest)となる周期2πの関数となる。上述のような性質を有する関数w(r, θ-θest)を用いて重みwi,jを計算すればよい。
【００３３】
目的話者音声到来方向時間変化計算部１３５は、Ｓ１２０で推定した目的話者音声到来方向θest,jから、各フレームについて、過去tフレーム分（tは1以上の整数）の目的話者音声到来方向の変化分である目的話者音声到来方向時間変化Δθjを計算する（Ｓ１３５）。例えば、1フレームが20msecである場合、t=5程度としてΔθjを計算するとよい。つまり、現フレームの目的話者音声到来方向θest,jとその5フレーム前の目的話者音声到来方向θest,j-5の差θest,j-θest,j-5をΔθjとする（Δθj=θest,j-θest,j-5）。また、目的話者音声到来方向については、逐次記録部１９０に記録しておくなどすればΔθjを計算することができる。この処理は、目的話者の位置はごく短い時間間隔では大きくは動かないと仮定し（つまり、収音する目的話者の音声が正常であり）、目的話者音声到来方向の時間変化Δθjを後述の重み付き尤度比計算部１４０における処理で考慮するために行う処理である。
【００３４】
重み付き尤度比計算部１４０は、Ｓ１１０で計算した音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、Ｓ１３０で計算した重みwi,j(i=0, 1, 2,…, M)と、Ｓ１３５で計算した目的話者音声到来方向時間変化Δθjから、各フレームについて、重み付き尤度比Ljを計算する（Ｓ１４０）。以下、図７〜図８を参照して重み付き尤度比計算部１４０について説明する。図７に示すように重み付き尤度比計算部１４０は、重み付き尤度算出部１４１、重み付き尤度比算出部１４３を含む。図８に従い重み付き尤度比計算部１４０の動作について説明する。
【００３５】
重み付き尤度算出部１４１は、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、重みwi,j(i=0, 1, 2,…, M)から、各フレームについて、重み付き音声尤度Lspeech_all,j、重み付き非音声尤度Lnoise_all,jを算出する（Ｓ１４１）。重み付き音声尤度Lspeech_all,j、重み付き非音声尤度Lnoise_all,jは、それぞれ式(3a)、式(3b)のように重み付き加算を用いて算出される。
【００３６】
【数３】
2018084748.tif 000005
【００３７】
重み付き尤度比算出部１４３は、Ｓ１４１で算出した重み付き音声尤度Lspeech_all,j、重み付き非音声尤度Lnoise_all,jと、目的話者音声到来方向時間変化Δθjから、各フレームについて、重み付き尤度比Ljを算出する（Ｓ１４３）。重み付き尤度比Ljは式(4)を用いて算出される。
【００３８】
【数４】
2018084748.tif 000006
【００３９】
ここで、Kはフレームが音声区間であると判定される程度を調整するためのパラメータである。通常はK=1とすればよい。音声以外の区間が誤検出されたとしても、音声を含むフレームである正しい音声区間を取りこぼすよりはよいと判断する場合には、Kの値が1より大きい値に調整し、音声区間として判定されやすくなるようにすればよい。
【００４０】
また、目的話者音声到来方向時間変化Δθjが大きくなると、重み付き尤度比Ljは小さくなる。このような形で、目的話者音声到来方向時間変化Δθjを重み付き尤度比Ljの計算に反映した理由は、以下の通りである。例えば、コミュニケーションロボットと目的話者の会話を考えると、目的話者は基本的に立ち止まって発話すると考えられる。その結果、目的話者の位置がずれていない（目的話者音声到来方向時間変化Δθjが小さい）ことから目的話者は発話していると、目的話者の位置がずれている(目的話者音声到来方向時間変化Δθjが大きい)ことから目的話者は発話していないと判断できる。そこで、目的話者音声到来方向時間変化Δθjを式(4)のような形で重み付けに利用し、重み付き尤度比Ljを計算することとした。
【００４１】
一般に、重み付き尤度比Ljは、重み付き音声尤度Lspeech_allと重み付き非音声尤度Lnoise_allの比であるLspeech_all/Lnoise_all、過去tフレーム分（tは1以上の整数）の目的話者音声到来方向の変化分である目的話者音声到来方向時間変化Δθの関数L(Lspeech_all/Lnoise_all, Δθ)を用いて計算される。関数L(Lspeech_all/Lnoise_all, Δθ)は、Lspeech_all/Lnoise_allについて、単調増加関数となる。また、関数L(Lspeech_all/Lnoise_all, Δθ)は、Δθについて、Δθ=0のとき最大、Δθ=πのとき最小となるように単調減少し、L(Lspeech_all/Lnoise_all, -Δθ)= L(Lspeech_all/Lnoise_all, Δθ)となる周期2πの関数となる。上述のような性質を有する関数L(Lspeech_all/Lnoise_all, Δθ)を用いて重み付き尤度比Ljを計算すればよい。
【００４２】
音声区間判定部１５０は、Ｓ１４０で計算した重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する（Ｓ１５０）。例えば、重み付き尤度比Ljと閾値thを比較し、重み付き尤度比Ljが閾値thより大きい（あるいは閾値th以上である）場合に、音声区間であると判定し、フレームjが音声区間であることを示す音声区間判定結果jを生成する。それ以外については、非音声区間であると判定し、フレームjが非音声区間であることを示す音声区間判定結果jを生成する。
【００４３】
本実施形態の発明によれば、複数のマイクロホンで収音した音声データを用いて目的話者の音声が到来する方向を推定し、当該方向からの音声を強調するよう重みづけした音声尤度・非音声尤度を用いて目的話者による音声区間を検出することにより、雑音環境下であっても、目的話者の音声区間を精度よく検出することが可能となる。
【００４４】
また、音声区間を精度よく切り出せるようになることにより、音声認識の信頼性を向上させることができる。
【００４５】
＜第二実施形態＞
第一実施形態では、目的話者の動きの程度を示す目的話者音声到来方向時間変化を反映した重み付き尤度比に基づいて音声区間であるか否かを判定したが、目的話者の動きを考慮しない形で重み付き尤度比を計算してもよい。そこで、本実施形態では、目的話者音声到来方向時間変化を用いないで音声区間であるか否かを判定する方法について説明する。
【００４６】
以下、図９〜図１０を参照して音声区間検出装置２００について説明する。
【００４７】
図９に示すように音声区間検出装置２００は、尤度計算部１１０、目的話者音声到来方向推定部１２０、重み計算部１３０、重み付き尤度比計算部２４０、音声区間判定部１５０、記録部１９０を含む。
【００４８】
音声区間検出装置２００は、収音システムで収音したM+1個の音声データ、つまりマイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxiを入力として、各フレームが音声区間であるか否かの判定結果である音声区間判定結果を生成し、出力する。
【００４９】
図１０に従い音声区間検出装置２００の動作について説明する。尤度計算部１１０は、マイクロホンi(i=0, 1, 2,…, M)で収音した目的話者の音声を含む音声データxi(i=0, 1, 2,…, M)をフレームに分割し、各フレームについて、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M、jはフレーム番号を表すインデックス)を計算する（Ｓ１１０）。
【００５０】
目的話者音声到来方向推定部１２０は、入力された音声データxi(i=0, 1, 2,…, M)から、各フレームについて、マイクロホン0を中心として0度の方向を基準とした目的話者の方向である目的話者音声到来方向θest,j（0≦θest,j≦2π）を推定する（Ｓ１２０）。
【００５１】
重み計算部１３０は、Ｓ１２０で推定した目的話者音声到来方向θest,jと、マイクロホンi(i=0, 1, 2,…, M)の位置を表す方向θiと距離riから、各フレームについて、マイクロホンi(i=0, 1, 2,…, M)の重みwi,jを計算する（Ｓ１３０）。
【００５２】
重み付き尤度比計算部２４０は、Ｓ１１０で計算した音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、Ｓ１３０で計算した重みwi,j(i=0, 1, 2,…, M)から、各フレームについて、重み付き尤度比Ljを計算する（Ｓ２４０）。以下、図１１を参照して重み付き尤度比計算部２４０について説明する。図１１に示すように重み付き尤度比計算部２４０は、重み付き尤度算出部１４１、重み付き尤度比算出部２４３を含む。
【００５３】
重み付き尤度算出部１４１は、音声尤度Lspeech_i,j、非音声尤度Lnoise_i,j(i=0, 1, 2,…, M)と、重みwi,j(i=0, 1, 2,…, M)から、各フレームについて、重み付き音声尤度Lspeech_all,j、重み付き非音声尤度Lnoise_all,jを算出する（Ｓ１４１）。
【００５４】
重み付き尤度比算出部２４３は、Ｓ１４１で算出した重み付き音声尤度Lspeech_all,j、重み付き非音声尤度Lnoise_all,jから、各フレームについて、重み付き尤度比Ljを算出する（Ｓ２４３）。重み付き尤度比Ljは式(5)を用いて算出される。
【００５５】
【数５】
2018084748.tif 000007
【００５６】
なお、Kを用いない形、つまりK=1としてもよい。
【００５７】
音声区間判定部１５０は、Ｓ２４０で計算した重み付き尤度比Ljから、各フレームについて、音声区間であるか否かの判定結果である音声区間判定結果jを生成する（Ｓ１５０）。
【００５８】
本実施形態の発明によれば、複数のマイクロホンで収音した音声データを用いて目的話者の音声が到来する方向を推定し、当該方向からの音声を強調するよう重みづけした音声尤度・非音声尤度を用いて目的話者による音声区間を検出することにより、雑音環境下であっても、目的話者の音声区間を精度よく検出することが可能となる。
【００５９】
また、音声区間を精度よく切り出せるようになることにより、音声認識の信頼性を向上させることができる。
【００６０】
＜変形例＞
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００６１】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００６２】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００６３】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００６４】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００６５】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００６６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６９】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018084748.tif 000008
【図２】
2018084748.tif 000009
【図３】
2018084748.tif 000010
【図４】
2018084748.tif 000011
【図５】
2018084748.tif 000012
【図６】
2018084748.tif 000013
【図７】
2018084748.tif 000014
【図８】
2018084748.tif 000015
【図９】
2018084748.tif 000016
【図１０】
2018084748.tif 000017
【図１１】
2018084748.tif 000018