(57)【要約】  音源からの音量が変動する場合や、音源数が未知の場合、異なる種類のマイクを混在して使用するような場合にも、観測信号の有音区間をその音源ごとへ適切に分類する。  有音区間分類装置１００が、複数のマイクで集音した音声信号のパワースペクトル時系列から、マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出手段１０１と、任意の時間長に区切った多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出手段１０４と、非直交を許容し、かつ空間次元を超えることを許容した状態で求めた差分ベクトルの主成分を、音源方向として推定する音源方向推定手段１０５と、各時刻ごとに入力された音声信号の有音区間らしさを示す所定の有音性指標を用いて、音源方向推定手段で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定手段１０６とを備える。
2012105385.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクで集音した音声信号のパワースペクトル時系列から、前記マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出手段と、
任意の時間長に区切った前記多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出手段と、
非直交を許容し、かつ空間次元を超えることを許容した状態で求めた前記差分ベクトルの主成分を、音源方向として推定する音源方向推定手段と、
各時刻ごとに入力された前記音声信号の有音区間らしさを示す所定の有音性指標を用いて、前記音源方向推定手段で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定手段と
を備えることを特徴とする有音区間分類装置。
【請求項２】
前記有音区間判定手段が、
前記音源方向に係る各時刻の前記有音性指標の和を算出し、当該和を所定の閾値と比較して、前記音源方向が有音区間であるか無音区間であるかを判別することを特徴とする請求項１に記載の有音区間分類装置。
【請求項３】
前記音源方向推定手段が、音源方向をベクトルとして算出し、そのノルムが音源方向の推定の確からしさとなるように算出し、前記有音区間判定手段が、
前記音源方向に係る各時刻の前記有音性指標の和と、有音性指標において推定された音源方向ベクトルのノルムを乗算した値を算出し、当該和を所定の閾値と比較して、前記音源方向が有音区間であるか無音区間であるかを判別することを特徴とする請求項２に記載の有音区間分類装置。
【請求項４】
前記多次元ベクトル系列をクラスタリングするクラスタリング手段を備え、
前記差分算出手段が、
前記クラスタリング手段のクラスタリング結果に基づいて、前記差分ベクトルを算出することを特徴とする請求項１から請求項３に記載の有音区間分類装置。
【請求項５】
前記クラスタリング手段が、確率的なクラスタリングを行い、
前記差分算出手段が、前記クラスタリング結果から差分ベクトルの期待値を算出することを特徴とする請求項４に記載の有音区間分類装置。
【請求項６】
前記多次元ベクトル系列が、対数パワースペクトルのベクトル系列であることを特徴とする請求項１から請求項５に記載の有音区間分類装置。
【請求項７】
前記有音性指標を算出する有音性指標算出手段を備え、
前記遊音静指標算出手段は、
任意の時間長に区切った前記多次元ベクトル系列の各時刻において、ノイズクラスタの中心ベクトルと、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトルをそれぞれ算出し、前記ノイズクラスタの中心ベクトルと、当該時刻のベクトルを、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトル方向に射影した後、信号ノイズ比を有音性指標として算出することを特徴とする請求項１から請求項６の何れか１項に記載の有音区間分類装置。
【請求項８】
複数のマイクで集音した音声信号から、有音区間を音源ごとに分類する有音区間分類装置の有音区間分類方法であって、
複数のマイクで集音した前記音声信号のパワースペクトル時系列から、前記マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出ステップと、
任意の時間長に区切った前記多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出ステッと、
非直交を許容し、かつ空間次元を超えることを許容した状態で求めた前記差分ベクトルの主成分を、音源方向として推定する音源方向推定ステップと、
各時刻ごとに入力された前記音声信号の有音区間らしさを示す所定の有音性指標を用いて、前記音源方向推定ステップで求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定ステップと
を有することを特徴とする有音区間分類方法。
【請求項９】
前記多次元ベクトル系列をクラスタリングするクラスタリングステップを備え、
前記差分算出ステップで、
前記クラスタリングステップでのクラスタリング結果に基づいて、前記差分ベクトルを算出することを特徴とする請求項８に記載の有音区間分類方法。
【請求項１０】
複数のマイクで集音した音声信号から、有音区間を音源ごとに分類する有音区間分類装置として機能するコンピュータ上で動作する有音区間分類プログラムであって、
前記コンピュータに、
複数のマイクで集音した前記音声信号のパワースペクトル時系列から、前記マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出処理と、
任意の時間長に区切った前記多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出処理と、
非直交を許容し、かつ空間次元を超えることを許容した状態で求めた前記差分ベクトルの主成分を、音源方向として推定する音源方向推定処理と、
各時刻ごとに入力された前記音声信号の有音区間らしさを示す所定の有音性指標を用いて、前記音源方向推定処理で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定処理と
を実行させることを特徴とする有音区間分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号から有音区間を分類する技術に関し、特に、複数のマイクで集音された音声信号から、有音区間をその音源ごとに分類する有音区間分類装置、有音区間分類方法、及び有音区間分類プログラムに関する。
【背景技術】
【０００２】
複数のマイクで収音された音声信号から有音区間を分類する技術は数多く開示されており、その一例が、例えば特許文献１に記載されている。【０００３】
特許文献１に記載の技術では、複数のマイクそれぞれの有音区間を正しく判定するために、まず周波数領域に変換された時間周波数ごとの各観測信号を音源毎に分類し、その分類された各観測信号について有音区間、無音区間の判定を行なっている。【０００４】
ここで、特許文献１等の背景技術における有音区間分類装置の構成図を図５に示す。背景技術における有音区間分類装置は、一般的に観測信号分類部５０１と、信号分離部５０２と有音区間判定部５０３とから構成されている。【０００５】
このような構成を有する背景技術における音声区間分類装置の動作を示すフローチャートを、図８に示す。【０００６】
背景技術における音声区間分類装置は、まず、Ｍ本のマイクで観測された音声を各マイクで時間−周波数分析した多マイク音声信号ｘｍ（ｆ，ｔ）（ここでｍはマイク番号、ｆは周波数、ｔは時間を示す）と、各マイクにおける周波数ごとのノイズパワー推定値λｍ（ｆ）とを入力する（ステップＳ８０１）。【０００７】
次いで、観測信号分離部５０１が、各時間周波数について音源分類を行い、分類結果Ｃ（ｆ，ｔ）を算出する（ステップＳ８０２）。【０００８】
次いで、信号分離部５０２が、該分類結果Ｃ（ｆ，ｔ）及び多マイク音声信号を用いて、音源ごとの分離信号ｙｎ（ｆ，ｔ）を算出する（ステップＳ８０３）。【０００９】
次いで、有音区間判定部５０３が、該分離信号ｙｎ（ｆ，ｔ）とノイズパワー推定値推定値λｍ（ｆ）とを用いて、音源ごとに、Ｓ／Ｎ（ｓｉｇｎａｌ−ｎｏｉｓｅ  ｒａｔｉｏ）に基づき有音か無音かを判定する（ステップＳ８０４）。【００１０】
ここで、図６に示すように、観測信号分類部５０１は無音判定部６０２と分類部６０１とから構成されており、次のように動作する。観測信号分類部５０１の動作を示すフローチャートを、図９に示す。【００１１】
まず、無音判定部６０２のＳ／Ｎ非計算部６０７が、多マイク音声信号ｘｍ（ｆ，ｔ）とノイズパワー推定値λｍ（ｆ）を入力し、各マイクごとに、数１に従いＳ／Ｎ比γｍ（ｆ，ｔ）を計算する（ステップＳ９０１）。
【数１】
2012105385.tif 000003
【００１２】
次いで、非線形変換部６０８が、各マイクごとに、下式に従い非線形変換を施し、非線形変換後のＳ／Ｎ比Ｇｍ（ｆ，ｔ）を計算する（ステップＳ９０２）。
Ｇｍ（ｆ，ｔ）＝γｍ（ｆ，ｔ）−ｌｎγｍ（ｆ，ｔ）−１【００１３】
次に、判定部６０９が、予め定めた閾値η’と各マイクの非線形変換後のＳ／Ｎ比Ｇｍ（ｆ，ｔ）とを比較して、すべてのマイクにおいて非線形変換後のＳ／Ｎ比Ｇｍ（ｆ，ｔ）が閾値以下であれば、その時間−周波数における信号はノイズであるとみなして、Ｃ（ｆ，ｔ）＝０を出力する（ステップＳ９０３）。なお、分類結果Ｃ（ｆ，ｔ）は、０からＮまでの値をとるクラスタ情報である。【００１４】
次に、分類部６０１の正規化部６０３が、多マイク音声信号ｘｍ（ｆ，ｔ）を入力し、ノイズと判断されなかった区間において、数２に従いＸ’（ｆ，ｔ）を計算する（ステップＳ９０４）。
【数２】
2012105385.tif 000004
【００１５】
Ｘ’（ｆ，ｔ）は、Ｍ本のマイクの信号の振幅絶対値｜ｘｍ（ｆ，ｔ）｜をＭ次元ベクトルとし、そのベクトルのノルムで正規化したベクトルである。【００１６】
次いで、尤度計算部６０４が、あらかじめ定めた平均ベクトルと共分散行列をもつガウス分布で表した話者Ｎ人の音源モデルとの尤度ｐｎ（Ｘ’（ｆ，ｔ））ｎ＝１，…，Ｎを計算する（ステップＳ９０５）。【００１７】
次いで、最大値決定部６０６が、尤度ｐｎ（Ｘ’（ｆ，ｔ））が最大値となるｎを、Ｃ（ｆ，ｔ）＝ｎとして出力する（ステップＳ９０６）。【００１８】
ここで、音源数ＮとＭは異なっていてもよいが、音源であるＮ人の各話者の近くにいずれかのマイクが配置されていると想定しているため、ｎは１，…，Ｍをとるものである。【００１９】
また、モデル更新部６０５は、Ｍ次元の各座標軸方向を平均ベクトルとするガウス分布を初期分布とし、話者推定結果を用いて自身の音源モデルに分類された信号を用いて平均ベクトルおよび共分散行列を更新することにより、音源モデルの更新を行う。【００２０】
信号分離部５０２は、入力された多マイク音声信号ｘｍ（ｆ，ｔ）と観測信号分類部５０１で出力されたＣ（ｆ，ｔ）を用いて、数３に従い音源ごとの信号ｙｎ（ｆ，ｔ）に分離する。
【数３】
2012105385.tif 000005
【００２１】
ここで、ｋ（ｎ）は音源ｎの最寄りのマイク番号を表し、音源モデルのガウス分布が近接している座標軸から算出できる。【００２２】
有音区間判定部５０３は次のように動作する。【００２３】
有音区間判定部５０３は、まず、信号分離部５０２で計算された分離信号ｙｎ（ｆ，ｔ）を用いて、数４に従いＧｎ（ｔ）を求める。
【数４】
2012105385.tif 000006
【００２４】
次いで、有音区間判定部５０３は、算出したＧｎ（ｔ）と、予め定めた閾値ηとを比較し、Ｇｎ（ｔ）が閾値ηよりも大きければ、時刻ｔは音源ｎの発話区間と判定し、Ｇｎ（ｔ）が閾値η以下であれば、時刻ｔはノイズ区間であると判定する。【００２５】
なお、Ｆは考慮する波数の集合であり、｜Ｆ｜は集合Ｆの要素数である。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特開２００８−１５８０３５号公報
【非特許文献】
【００２７】
【非特許文献１】Ｐ．  Ｆｅａｒｎｈｅａｄ，  “Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒｓ  ｆｏｒ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌｓ  ｗｉｔｈ  ａｎ  Ｕｎｋｎｏｗｎ  Ｎｕｍｂｅｒ  ｏｆ  Ｃｏｍｐｏｎｅｎｔｓ”，Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ｃｏｍｐｕｔｉｎｇ，  ｖｏｌ  １４，  ｐｐ．１１−２１，  ２００４．
【非特許文献２】Ｂ．Ａ．  Ｏｌｓｈａｕｓｅｎ  ａｎｄ  Ｄ．Ｊ．  Ｆｉｅｌｄ，  “Ｅｍｅｒｇｅｎｃｅ  ｏｆ  ｓｉｍｐｌｅ−ｃｅｌｌ  ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ  ｐｒｏｐｅｒｔｉｅｓ  ｂｙ  ｌｅａｒｎｉｎｇ  ａ  ｓｐａｒｓｅ  ｃｏｄｅ  ｆｏｒ  ｎａｔｕｒａｌ  ｉｍａｇｅｓ”，  Ｎａｔｕｒｅ  ｖｏｌ．  ３８１，  ｐｐ６０７−６０９，  １９９６．
【発明の概要】
【発明が解決しようとする課題】
【００２８】
特許文献１に記載の技術では、観測信号分類部５０１において行われる音源分類は、正規化ベクトルＸ’（ｆ，ｔ）が音源に近いマイクの座標軸方向にあるとして算出している。【００２９】
しかしながら実際には、音源が話者の場合などでは音声パワーは常に変動するため、音源位置が全く移動しない場合においても正規化ベクトルＸ’（ｆ，ｔ）はマイクの座標軸方向から大きく離れ、十分な精度で観測信号の音源分類が出来ないという課題がある。【００３０】
例えば２つのマイクで観測した信号の場合を図７に示す。今、マイク番号２の近くの話者が発話している場合を考えると、２つのマイクの観測信号絶対値からなる空間において、音源位置が変化していなくても、音声パワーは常に変動するため、図７の太線上を変動することとなる。【００３１】
ここで、λ１（ｆ），λ２（ｆ）はノイズパワーであり、その平方根が各マイクで観測される最小振幅程度に相当する。【００３２】
この時、正規化ベクトルＸ’（ｆ，ｔ）は半径１の円弧の上に制約されたベクトルとなるが、マイク番号１の観測振幅が小さくノイズレベルと同等で、マイク番号２の観測振幅がノイズレベルより十分に大きい領域である場合（すなわちγ２（ｆ，ｔ）が閾値η’を超えて有音区間とみなせる場合）でも、Ｘ’（ｆ，ｔ）はマイク番号２の座標軸（すなわち音源方向）から大きく外れることとなり、音声区間分類性能を劣化させる。【００３３】
また、特許文献１に記載の技術では、観測信号分類部５０１において、音源数Ｎは未知量であるため、尤度計算部６０４で音源分類のための適切な音源モデルを設定することは困難であることから、音声区間分類性能が劣化してしまうという課題がある。【００３４】
例えば２マイク３音源（話者）で３番目の話者が２つのマイクの中間近くに位置していた場合、マイク軸近くの音源モデルでは適切に分類することはできない。また、事前の話者数の知識なしにマイク軸から離れた適切な位置に音源モデルを用意することは困難で、その結果観測信号の音源分類が正しく行えない。【００３５】
さらに、これら観測信号分類性能劣化の要因は、異なる種類のマイクをキャリブレーションせずに混在して使用するような場合、各マイクの振幅値やノイズレベルに差が生じることにより影響が増大して、音声区間分類性能劣化が大きくなるという課題がある。【００３６】
（発明の目的）
本発明の目的は、上述した課題を解決し、音源からの音量が変動する場合や、音源数が未知の場合、異なる種類のマイクを混在して使用するような場合にも、観測信号の有音区間をその音源ごとへ適切に分類することが出来る、有音区間分類装置、有音区間分類方法、及び有音区間分類プログラムを提供することである。
【課題を解決するための手段】
【００３７】
本発明の第１の有音区間分類装置は、複数のマイクで集音した音声信号のパワースペクトル時系列から、マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出手段と、任意の時間長に区切った多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出手段と、非直交を許容し、かつ空間次元を超えることを許容した状態で求めた差分ベクトルの主成分を、音源方向として推定する音源方向推定手段と、各時刻ごとに入力された音声信号の有音区間らしさを示す所定の有音性指標を用いて、音源方向推定手段で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定手段とを備える。【００３８】
本発明の第１の有音区間分類方法は、複数のマイクで集音した音声信号から、有音区間を音源ごとに分類する有音区間分類装置の有音区間分類方法であって、複数のマイクで集音した音声信号のパワースペクトル時系列から、マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出ステップと、任意の時間長に区切った多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出ステッと、非直交を許容し、かつ空間次元を超えることを許容した状態で求めた差分ベクトルの主成分を、音源方向として推定する音源方向推定ステップと、各時刻ごとに入力された音声信号の有音区間らしさを示す所定の有音性指標を用いて、音源方向推定ステップで求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定ステップとを有する。【００３９】
本発明の第１の有音区間分類プログラムは、複数のマイクで集音した音声信号から、有音区間を音源ごとに分類する有音区間分類装置として機能するコンピュータ上で動作する有音区間分類プログラムであって、コンピュータに、複数のマイクで集音した音声信号のパワースペクトル時系列から、マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出処理と、任意の時間長に区切った多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出処理と、非直交を許容し、かつ空間次元を超えることを許容した状態で求めた差分ベクトルの主成分を、音源方向として推定する音源方向推定処理と、各時刻ごとに入力された音声信号の有音区間らしさを示す所定の有音性指標を用いて、音源方向推定処理で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定処理とを実行させる。
【発明の効果】
【００４０】
本発明によれば、音源からの音量が変動する場合や、音源数が未知の場合、異なる種類のマイクを混在して使用するような場合にも、観測信号の音声区間分類を適切に行うことが出来る。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施の形態による有音区間分類装置の構成を示すブロック図である。
【図２】本発明の第２の実施の形態による有音区間分類装置の構成を示すブロック図である。
【図３】本発明の効果を説明する図である。
【図４】本発明の効果を説明する図である。
【図５】背景技術による多マイク音声検出装置の構成を示すブロック図である。
【図６】背景技術による多マイク音声検出装置の構成を示すブロック図である。
【図７】背景技術による多マイク音声検出装置の課題を説明する図である。
【図８】背景技術による多マイク音声検出装置の動作を示すフローチャートである。
【図９】背景技術による多マイク音声検出装置の動作を示すフローチャートである。
【図１０】本発明の有音区間分類装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００４２】
本発明の上記及び他の目的、特徴及び利点を明確にすべく、添付した図面を参照しながら、本発明の実施形態を以下に詳述する。
【００４３】
なお、上述の本願発明の目的のほか、他の技術的課題、その技術的課題を解決する手段及びその作用効果についても、以下の実施形態による開示によって明らかとなるものである。また、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００４４】
（第１の実施の形態）
本発明の第１の実施の形態について、図面を参照して詳細に説明する。以下の図において、本発明の本質に関わらない部分の構成については適宜省略してあり、図示されていない。
【００４５】
図１は、本発明の第１の実施の形態による有音区間分類装置１００の構成を示すブロック図である。図１を参照すると、本実施の形態による有音区間分類装置１００は、ベクトル算出手段１０１と、クラスタリング手段１０２と、差分算出手段１０４と、音源方向推定手段１０５と、有音声指標入力手段１０３と、有音区間判定手段１０６とを備えている。
【００４６】
ベクトル算出手段１０１は、時間−周波数分析した多マイク音声信号ｘｍ（ｆ，ｔ）（ｍ＝１，…，Ｍ）を入力し、数５に従いＭ次元パワースペクトルのベクトルＳ（ｆ，ｔ）を算出する。
【数５】
2012105385.tif 000007
【００４７】
ここで、Ｍはマイクの数を示す。
【００４８】
また、ベクトル算出手段１０１は、数６に示すように、対数パワースペクトルのベクトルＬＳ（ｆ，ｔ）を算出することとしてもよい。
【数６】
2012105385.tif 000008
【００４９】
なお、ｆは各周波数を表すが、いくつかの周波数のまとまりごとに和を取り、それらをブロック化しておくことも出来る。以降、ｆは周波数あるいは、それらをブロック化した指標も含めて表すものとする。さらにこれには、扱う周波数全域を一つのブロックとすることも含まれる。
【００５０】
クラスタリング手段１０２は、ベクトル算出手段１０１で算出したＭ次元空間のベクトルをクラスタリングする。
【００５１】
クラスタリング手段１０２は、周波数ｆの時刻１からｔまでのＭ次元パワースペクトルのベクトルＳ（ｆ，１：ｔ）が得られたとき、これらｔ個のベクトルデータをクラスタリングした状態をｚｔで表す。なお、時刻の単位は、信号を所定の時間長で区切ったものである。
【００５２】
また、ｈ（ｚｔ）はクラスタリング状態ｚｔを持つ系から算出できる任意の量ｈを表す関数とする。本実施の形態においては、クラスタリングは確率的に行うものとする。
【００５３】
クラスタリング手段１０２は、数７の第２項に従い、事後分布ｐ（ｚｔ｜Ｓ（ｆ，１：ｔ））を乗じてあらゆるクラスタリング状態ｚｔについて積分することでｈの期待値を算出することが可能である。
【数７】
2012105385.tif 000009
【００５４】
しかし、実際には数７の第３項に示すようにＬ個のクラスタリング状態ｚｔｌ（ｌ＝１，…，Ｌ）とその重みωｔｌを用いることにより、重み付き和をとることで近似的に算出する。
【００５５】
ここで、クラスタリング状態ｚｔｌとは、ｔ個のデータがそれぞれどのようにクラスタリングされたかを表す。例えばｔ＝３の場合は、３個のデータのクラスタリングのすべての組み合わせが考えられ、クラスタリング状態ｚｔｌは、クラスタ番号の集合で表すとｚｔ１＝｛１，１，１｝，ｚｔ２＝｛１，１，２｝，ｚｔ３＝｛１，２，１｝，ｚｔ４＝｛１，２，２｝，ｚｔ５＝｛１，２，３｝のＬ＝５種類となる。
【００５６】
また、例えば、ｈ（ｚｔｌ）として、時刻ｔのデータのクラスタ中心ベクトルを算出するものを考えると、前記ｔ＝３の場合では、クラスタリング状態ｚｔｌは、各ｚｔｌの集合に含まれるそれぞれのクラスタを、共役な事前分布を持つガウス分布として事後分布を算出し、そのうちｔ＝３のデータを含むクラスタの分布平均の値を取るものとなる。
【００５７】
ここで、ｚｔｌおよびωｔｌは、ディリクレプロセスミクスチャモデルに粒子フィルタ法適応することにより算出でき、例えば非特許文献１に詳細が記載されている。
【００５８】
なお、Ｌ＝１とした場合には決定的なクラスタリングとなり、その場合も含んでいることとみなせる。
【００５９】
また、１つのクラスタには１データのみ含むという制約を付けると、実質的にはクラスタリングを実施しないことと同等で、入力される信号を個別に取り扱うことなり、この場合も含んでいることとみなせる。
【００６０】
差分算出手段１０４は、前記クラスタリング手段１０２におけるｈ（）として、数８に示すΔＱ（ｚｔｌ）の期待値ΔＱ（ｆ，ｔ）を計算し、クラスタ中心の変動方向を算出する。
【数８】
2012105385.tif 000010
【００６１】
ここで、数８は、時刻ｔとｔ−１のデータが含まれるクラスタ中心ベクトル差分Ｑｔ−Ｑｔ−１を、それら平均ノルム｜Ｑｔ＋Ｑｔ−１｜／２で規格化したものを表す。
【００６２】
音源方向推定手段105は、差分算出手段104において算出された、ΔＱ（ｆ，ｔ）のｆ∈Ｆ，ｔ∈τのデータを用いて、数９に従い、Ｉを最小とする基底ベクトルφ（ｉ）、及び係数ａｉ（ｆ，ｔ）を算出する。
【数９】
2012105385.tif 000011
【００６３】
数９はこれに限らず、数１０などでもよく、スパースコーディングとして知られる、基底ベクトル算出のための目的関数となっていればよい。スパースコーディングの詳細は、たとえば非特許文献２に記載されている。
【数１０】
2012105385.tif 000012
【００６４】
ここで、Ｆは考慮する波数の集合であり、τは予め定めたｔの前後のバッファ幅である。なお音源方向の不定を減少させるため、ｔ∈｛ｔ−τ１，…，ｔ＋τ２｝として、後述の有音区間判定手段１０６でノイズ区間と判定された領域を含まないように変動を許したバッファ幅を用いることも出来る。
【００６５】
音源方向推定手段１０５は、数１１に従い、各ｆ，ｔにおいて、ａｉ（ｆ，ｔ）が最大となる基底ベクトルを、音源方向Ｄ（ｆ，ｔ）として推定する。
【数１１】
2012105385.tif 000013
【００６６】
Ｉを最小にするφ及びａは、数１２に従いａ及びφについて交互に算出できる。
【数１２】
2012105385.tif 000014
すなわち、φを固定してI(a,φ)を最小とするａを共役勾配法などで算出し、次にａを固定し、数１２を最小化するφを最急降下法などで算出する手順を繰り返し、φが不変となるところで終了する。
【００６７】
スパースコーディングにおいては、基底ベクトルのノルム|φ|が無限に大きくなったとき、係数ａの値がすべて０になる自明な解が存在する。それを避けるため、|φ|に制約を加えておく必要がある。ここでは、数１２のφの繰り返し算出の際に、次の数１３の制約を加える。
【数１３】
2012105385.tif 000015
ここで、<ai2>はai(f,t)の二乗の平均値である。
【００６８】
数１３の制約によると、基底ベクトルのノルム|φi|は、ΔQ(f,t)を基底ベクトルの空間で表現した時のi番目の座標である
ａiの2乗平均が、指定したσgoal2と同程度になるように調整される。これにより、ΔQ(f,t)が複数を許す特定の方向に大きな成分を持つときには基底ベクトルのノルムが大きな値を持つように算出され、それ以外の場合には小さな値となって算出されることとなる。
【００６９】
有音声指標入力手段１０３は、各時刻（ｔ＝１〜ｔ）における、多マイク音声信号の有音区間らしさを示す有音声指標Ｇ（ｆ，ｔ）を入力する。
【００７０】
有音区間判定手段１０６は、有音性指標算出手段１０３で入力された有音性指標Ｇ（ｆ，ｔ）と、音源方向推定手段１０５で推定さた音源方向Ｄ（ｆ，ｔ）を用いて、数１４に従い、各音源φｊに分類された周波数の有音性指標Ｇ（ｆ，ｔ）の和Ｇｊ（ｔ）を算出する。
【数１４】
2012105385.tif 000016
【００７１】
あるいはまた、数１５に従い各音源φｊに分類された周波数の有音性指標Ｇ（ｆ，ｔ）和に各音源φｊの音源方向の確からしさの重みを付けを行った値、Ｇｊ（ｔ）を算出する。
【数１５】
2012105385.tif 000017
【００７２】
次いで、有音区間判定手段１０６は、予め定めた閾値ηと、算出したＧｊ（ｔ）とを比較し、Ｇｊ（ｔ）が閾値ηよりも大きければ、該音源方向は音源φｊの発話区間と判定する。
【００７３】
また、Ｇｊ（ｔ）が閾値η以下であれば、該音源方向はノイズ区間であると判定する。
【００７４】
次いで、有音区間判定手段１０６は、判定結果および音源方向Ｄ（ｆ，ｔ）を音声区間分類結果として出力する。
【００７５】
（第１の実施の形態による効果）
次に、本実施の形態の効果について説明する。
【００７６】
本実施の形態では、クラスタリング手段１０２において、ベクトル算出手段１０１で算出したＭ次元空間のベクトルをクラスタリングする。これにより、音源からの音量変動を反映したクラスタリングが行われる。
【００７７】
例えば、図３に示すように、２つのマイクで観測する場合を考えると、マイク番号２の近くで話者が発話している場合、あるクラスタリング状態ｚｔｌにおいて、ノイズベクトルΛ（ｆ，ｔ）近くのクラスタ１、マイク番号１の音量が小さい領域でのクラスタ２、より音量が大きい領域のクラスタ３といった、クラスタリングが行われる。
【００７８】
ここで、さまざまなクラスタ数を持つクラスタリング状態ｚｔｌを考慮して、それらクラスタリング状態を確率的に取り扱っているため、クラスタ数は予め決める必要はない。
【００７９】
また、差分算出手段１０４において、各時刻のパワースペクトルのベクトルＳ（ｆ，ｔ）が入力されたとき、クラスタリング手段１０２で算出されたその時刻および前時刻のデータが属するクラスタ中心の差分ベクトルΔＱ（ｆ，ｔ）を算出している。これにより、音源からの音量が変動する場合においてもその影響を受けずにΔＱ（ｆ，ｔ）は概ね音源方向を正しく示す効果がある。
【００８０】
例えば図４に示すように、クラスタ間の差分は太点線で示すベクトルとなり、音源方向を示していることが分かる。
【００８１】
また、音源方向推定手段１０５は、差分算出手段１０４で算出されたΔＱ（ｆ，ｔ）から、その主要成分を、非直交および空間次元を超えることを許して算出する。ここで、音源数を事前に知っておく必要はなく、また初期音源位置などを指定する必要もない。音源数が未知の場合でも、音源方向を算出できる効果がある。
【００８２】
また、音源方向推定手段１０５において、数１３の制約のもとで音源方向ベクトルを算出した場合、ΔQ(f,t)が複数を許す特定の方向に大きな成分を持つときには基底ベクトルのノルムが大きな値を持つように算出され、それ以外の場合には小さな値となって算出されることから、音源方向ベクトルのノルムにより推定された音源方向の確からしさを算出できる効果がある。
【００８３】
また、有音区間判定手段１０６は、これら算出されたより適切な音源方向をもちいるため、音源からの音量が変動する場合や、音源数が未知の場合、異なる種類のマイクを混在して使用するような場合にも、音源方向ごとの音声検出を適切に算出することができ、その結果音声区間を適切に分類できる。
【００８４】
さらにまた、有音区間判定手段１０６において、数１５を用いた場合には、音源方向の確からしさを考慮した指標を用いることにより、高い精度で有音性区間判定が可能となる。
【００８５】
なお、ベクトル算出手段、差分算出手段、音源方向推定手段、有音区間判定手段からなる最小限の構成によっても、本発明の課題を解決することができる。
【００８６】
（第２の実施の形態）
次に、本発明の第２の実施の形態について、図面を参照して詳細に説明する。以下の図において、本発明の本質に関わらない部分の構成については適宜省略してあり、図示されていない。
【００８７】
図２は本発明の第２の実施の形態による有音区間分類装置１００の構成を示すブロック図である。
【００８８】
本実施の形態による有音区間分類装置１００は、図１に示す第１の実施の形態の構成と比べ、有音声指標入力手段１０３の代わりに有音声指標算出手段２０３を備えている。
【００８９】
有音性指標算出手段２０３は、前述のクラスタリング手段１０２におけるｈ（）として，数１６に示すＧ（ｚｔｌ）の期待値Ｇ（ｆ，ｔ）を計算し、有音性の指標を算出する。
【数１６】
2012105385.tif 000018
【００９０】
ここで、数１６のＱは、ｚｔｌにおける時刻ｔのクラスタ中心ベクトル、Λはｚｔｌに含まれるクラスタのうちクラスタ中心が最小となる中心ベクトル、ＳはＳ（ｆ，ｔ）を略記したもので「・」は内積を表す。
【００９１】
数１６におけるγは、クラスタリング状態ｚｔｌにおいて、ノイズパワーベクトルΛとパワースペクトルＳをそれぞれクラスタ中心ベクトル方向に射影して算出したＳ／Ｎ比に相当する。すなわちＧは
Ｇｍ（ｆ，ｔ）＝γｍ（ｆ，ｔ）−ｌｎγｍ（ｆ，ｔ）−１
をＭ次元空間上へ拡張したものである。
【００９２】
有音区間判定手段１０６は、有音性指標算出手段２０３で算出されたＧ（ｆ，ｔ）と、前述の音源方向推定手段１０５で算出された音源方向Ｄ（ｆ，ｔ）を用いて、数１４に従い、各音源φｊに分類された周波数のＧ（ｆ，ｔ）の和を算出する。その後、有音区間判定手段１０６は、算出した和が予め定めた閾値ηと比較して大きければ、該音源方向は音源φｊの発話区間と判定し、小さければ、該音源方向はノイズ区間であると判定し、判定結果および音源方向Ｄ（ｆ，ｔ）を音声区間分類結果として出力する。
【００９３】
（第２の実施の形態による効果）
次に、本実施の形態の効果について説明する。
【００９４】
本実施の形態では、有音性指標算出手段２０３において、各時刻のパワースペクトルＳ（ｆ，ｔ）が入力されたとき、そのデータが属するクラスタ中心ベクトル方向において、有音性指標Ｇ（ｆ，ｔ）を算出する。
【００９５】
このため、異なる種類のマイクを混在して使用するような場合、すなわち各マイク軸におけるパワースペクトルの値やノイズレベルに差が生じる場合でも、Ｍ次元空間でクラスタリングを行い、データ変動の影響を考慮して実現されたクラスタ中心ベクトルを算出し、その方向において有音性指標を評価しているため、マイク差の影響を受けにくい効果がある。
【００９６】
また、有音区間判定手段１０６は、これら算出された有音性指標および音源方向をもちいて有音区間を判定するため、音源からの音量が変動する場合や、音源数が未知の場合、異なる種類のマイクを混在して使用するような場合にも、観測信号の音源分類および音声区間検出を適切に行うことが出来る。
【００９７】
なお、本発明では、音源は音声としたが、これに限定されるものではなく、例えば楽器の音等、他の音源についても適用できる。
【００９８】
次に、本発明の有音区間分類装置１００のハードウェア構成例について、図１０を参照して説明する。図１０は有音区間分類装置１００のハードウェア構成例を示すブロック図である。
【００９９】
図１０を参照すると、有音区間分類装置１００は、一般的なコンピュータ装置と同様のハードウェア構成であり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリからなる、データの作業領域やデータの一時退避領域に用いられる主記憶部８０２、ネットワークを介してデータの送受信を行う通信部８０３、入力装置８０５や出力装置８０６及び記憶装置８０７と接続してデータの送受信を行う入出力インタフェース部８０４、上記各構成要素を相互に接続するシステムバス８０８を備えている。記憶装置８０７は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気ディスク、半導体メモリ等の不揮発性メモリから構成されるハードディスク装置等で実現される。
【０１００】
本発明の有音区間分類装置１００のベクトル算出手段１０１、クラスタリング手段１０２、差分算出手段１０４、音源方向推定手段１０５、有音区間判定手段１０６、有音声指標入力手段１０３、有音声指標算出手段２０３は、プログラムを組み込んだ、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等のハードウェア部品である回路部品を実装することにより、その動作をハードウェア的に実現することは勿論として、その機能を提供するプログラムを、記憶装置８０７に格納し、そのプログラムを主記憶部８０２にロードしてＣＰＵ８０１で実行することにより、ソフトウェア的に実現することも可能である。
【０１０１】
なお、ハードウェア構成は上記に限定されるものではない。
【０１０２】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１０３】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【０１０４】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【０１０５】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施する時には、その複数の手順の順番は内容的に支障しない範囲で変更することができる。
【０１０６】
また、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【０１０７】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【０１０８】
（付記１）
複数のマイクで集音した音声信号のパワースペクトル時系列から、前記マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出手段と、
任意の時間長に区切った前記多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出手段と、
非直交を許容し、かつ空間次元を超えることを許容した状態で求めた前記差分ベクトルの主成分を、音源方向として推定する音源方向推定手段と、
各時刻ごとに入力された前記音声信号の有音区間らしさを示す所定の有音性指標を用いて、前記音源方向推定手段で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定手段と
を備えることを特徴とする有音区間分類装置。
【０１０９】
（付記２）
前記有音区間判定手段が、
前記音源方向に係る各時刻の前記有音性指標の和を算出し、当該和を所定の閾値と比較して、前記音源方向が有音区間であるか無音区間であるかを判別することを特徴とする付記１に記載の有音区間分類装置。
【０１１０】
（付記３）
前記多次元ベクトル系列をクラスタリングするクラスタリング手段を備え、
前記差分算出手段が、
前記クラスタリング手段のクラスタリング結果に基づいて、前記差分ベクトルを算出することを特徴とする付記１又は付記２に記載の有音区間分類装置。
【０１１１】
（付記４）
前記クラスタリング手段が、確率的なクラスタリングを行い、
前記差分算出手段が、前記クラスタリング結果から差分ベクトルの期待値を算出することを特徴とする付記３に記載の有音区間分類装置。
【０１１２】
（付記５）
前記多次元ベクトル系列が、対数パワースペクトルのベクトル系列であることを特徴とする付記１から付記４に記載の有音区間分類装置。
【０１１３】
（付記６）
前記有音性指標を算出する有音性指標算出手段を備え、
前記遊音静指標算出手段は、
任意の時間長に区切った前記多次元ベクトル系列の各時刻において、ノイズクラスタの中心ベクトルと、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトルをそれぞれ算出し、前記ノイズクラスタの中心ベクトルと、当該時刻のベクトルを、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトル方向に射影した後、信号ノイズ比を有音性指標として算出することを特徴とする付記１から付記５の何れか１項に記載の有音区間分類装置。
【０１１４】
（付記７）
複数のマイクで集音した音声信号から、有音区間を音源ごとに分類する有音区間分類装置の有音区間分類方法であって、
複数のマイクで集音した前記音声信号のパワースペクトル時系列から、前記マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出ステップと、
任意の時間長に区切った前記多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出ステッと、
非直交を許容し、かつ空間次元を超えることを許容した状態で求めた前記差分ベクトルの主成分を、音源方向として推定する音源方向推定ステップと、
各時刻ごとに入力された前記音声信号の有音区間らしさを示す所定の有音性指標を用いて、前記音源方向推定ステップで求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定ステップと
を有することを特徴とする有音区間分類方法。
【０１１５】
（付記８）
前記有音区間判定ステップで、
前記音源方向に係る各時刻の前記有音性指標の和を算出し、当該和を所定の閾値と比較して、前記音源方向が有音区間であるか無音区間であるかを判別することを特徴とする付記７に記載の有音区間分類方法。
【０１１６】
（付記９）
前記多次元ベクトル系列をクラスタリングするクラスタリングステップを備え、
前記差分算出ステップで、
前記クラスタリングステップでのクラスタリング結果に基づいて、前記差分ベクトルを算出することを特徴とする付記７又は付記８に記載の有音区間分類方法。
【０１１７】
（付記１０）
前記クラスタリングステップで、確率的なクラスタリングを行い、
前記差分算出ステップで、前記クラスタリング結果から差分ベクトルの期待値を算出することを特徴とする付記９に記載の有音区間分類方法。
【０１１８】
（付記１１）
前記多次元ベクトル系列が、対数パワースペクトルのベクトル系列であることを特徴とする付記７から付記１０に記載の有音区間分類方法。
【０１１９】
（付記１２）
前記有音性指標を算出する有音性指標算出ステップを有し、
前記遊音静指標算出ステップは、
任意の時間長に区切った前記多次元ベクトル系列の各時刻において、ノイズクラスタの中心ベクトルと、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトルをそれぞれ算出し、前記ノイズクラスタの中心ベクトルと、当該時刻のベクトルを、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトル方向に射影した後、信号ノイズ比を有音性指標として算出することを特徴とする付記７から付記１１の何れか１項に記載の有音区間分類方法。
【０１２０】
（付記１３）
複数のマイクで集音した音声信号から、有音区間を音源ごとに分類する有音区間分類装置として機能するコンピュータ上で動作する有音区間分類プログラムであって、
前記コンピュータに、
複数のマイクで集音した前記音声信号のパワースペクトル時系列から、前記マイクの数の次元を持つパワースペクトルのベクトル系列である多次元ベクトル系列を算出するベクトル算出処理と、
任意の時間長に区切った前記多次元ベクトル系列の各時刻について、当該時刻とその直前の時刻との差分ベクトルを算出する差分算出処理と、
非直交を許容し、かつ空間次元を超えることを許容した状態で求めた前記差分ベクトルの主成分を、音源方向として推定する音源方向推定処理と、
各時刻ごとに入力された前記音声信号の有音区間らしさを示す所定の有音性指標を用いて、前記音源方向推定処理で求めた音源方向ごとに、当該音源方向が有音区間であるか無音区間であるかを判別する有音区間判定処理と
を実行させることを特徴とする有音区間分類プログラム。
【０１２１】
（付記１４）
前記有音区間判定処理で、
前記音源方向に係る各時刻の前記有音性指標の和を算出し、当該和を所定の閾値と比較して、前記音源方向が有音区間であるか無音区間であるかを判別することを特徴とする付記１３に記載の有音区間分類プログラム。
【０１２２】
（付記１５）
前記コンピュータに、前記多次元ベクトル系列をクラスタリングするクラスタリング処理を実行させ、
前記差分算出処理で、
前記クラスタリング処理でのクラスタリング結果に基づいて、前記差分ベクトルを算出することを特徴とする付記１３又は付記１４に記載の有音区間分類プログラム。
【０１２３】
（付記１６）
前記クラスタリング処理で、確率的なクラスタリングを行い、
前記差分算出処理で、前記クラスタリング結果から差分ベクトルの期待値を算出することを特徴とする付記１５に記載の有音区間分類プログラム。
【０１２４】
（付記１７）
前記多次元ベクトル系列が、対数パワースペクトルのベクトル系列であることを特徴と
する付記１３から付記１６に記載の有音区間分類プログラム。
【０１２５】
（付記１８）
前記コンピュータに、
前記有音性指標を算出する有音性指標算出処理を実行させ、
前記遊音静指標算出処理は、
任意の時間長に区切った前記多次元ベクトル系列の各時刻において、ノイズクラスタの中心ベクトルと、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトルをそれぞれ算出し、前記ノイズクラスタの中心ベクトルと、当該時刻のベクトルを、当該時刻の前記音声信号のベクトルが属するクラスタの中心ベクトル方向に射影した後、信号ノイズ比を有音性指標として算出することを特徴とする付記１３から付記１７の何れか１項に記載の有音区間分類プログラム。
【０１２６】
この出願は、２０１１年２月１日に出願された日本出願特願２０１１−０１９８１２と２０１１年６月２１日に出願された日本出願特願２０１１−１３７５５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１２７】
本発明によれば、多マイクを用いて集音して音声認識を行うための、発話区間分類といった用途に適応できる。
【図１】
2012105385.tif 000019
【図２】
2012105385.tif 000020
【図３】
2012105385.tif 000021
【図４】
2012105385.tif 000022
【図５】
2012105385.tif 000023
【図６】
2012105385.tif 000024
【図７】
2012105385.tif 000025
【図８】
2012105385.tif 000026
【図９】
2012105385.tif 000027
【図１０】
2012105385.tif 000028
【国際調査報告】
2012105385.tif 000029
2012105385.tif 000030
2012105385.tif 000031
2012105385.tif 000032