(57)【要約】【課題】観測位置が未知であったとしても、信号区間分類を精度よく行う。【解決手段】複数個のチャネルで得られた所定の時間区間ごとの周波数領域のデジタル音響信号を入力とし、チャネルごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した正規化信号を得、１個または複数個の基本周波数について、基本周波数の整数倍および基本周波数の整数倍の近傍の周波数の正規化信号を、基本周波数の整数倍以外および基本周波数の整数倍の近傍以外の周波数の正規化信号よりも優先した調波構造信号を得、複数個のチャネルに対して得られた調波構造信号から特徴量列を得、特徴量列をクラスタリングして特徴量列が属する信号区間分類を決定する。【選択図】図１
2015045737.tif 000002
【特許請求の範囲】
【請求項１】
複数個のチャネルで得られた所定の時間区間ごとの周波数領域のデジタル音響信号を入力とし、前記チャネルごとに音声区間の前記デジタル音響信号の大きさを非音声区間の前記デジタル音響信号の大きさで正規化した正規化信号を得る正規化部と、
１個または複数個の基本周波数について、前記基本周波数の整数倍および前記基本周波数の整数倍の近傍の周波数の前記正規化信号を、前記基本周波数の整数倍以外および前記基本周波数の整数倍の近傍以外の周波数の前記正規化信号よりも優先した調波構造信号を得る調波構造化部と、
前記複数個のチャネルに対して得られた前記調波構造信号から特徴量列を得る特徴量列算出部と、
前記特徴量列をクラスタリングし、前記特徴量列が属する信号区間分類を決定する分類部と
を有する信号区間分類装置。
【請求項２】
請求項１の信号区間分類装置であって、
前記調波構造化部は、前記基本周波数の整数倍以外および前記基本周波数の整数倍の近傍以外の周波数の前記正規化信号を抑圧する
ことを特徴とする信号区間分類装置。
【請求項３】
請求項１または２の信号区間分類装置であって、
前記特徴量列が属する信号区間分類から得られる、前記特徴量列がいずれの信号区間分類に属するかを表す確率に対応する値を出力する確率計算部を
さらに有する信号区間分類装置。
【請求項４】
請求項３の信号区間分類装置であって、
前記確率が所定の値以上となる時間区間の前記デジタル音響信号を強調する信号強調部を
さらに有する信号区間分類装置。
【請求項５】
複数個のチャネルで得られた所定の時間区間ごとの周波数領域のデジタル音響信号を入力とし、前記チャネルごとに音声区間の前記デジタル音響信号の大きさを非音声区間の前記デジタル音響信号の大きさで正規化した正規化信号を得る正規化ステップと、
１個または複数個の基本周波数について、前記基本周波数の整数倍および前記基本周波数の整数倍の近傍の周波数の前記正規化信号を、前記基本周波数の整数倍以外および前記基本周波数の整数倍の近傍以外の周波数の前記正規化信号よりも優先した調波構造信号を得る調波構造化ステップと、
前記複数個のチャネルに対して得られた前記調波構造信号から特徴量列を得る特徴量列算出ステップと、
前記特徴量列をクラスタリングし、前記特徴量列が属する信号区間分類を決定する分類ステップと
を有する信号区間分類方法。
【請求項６】
請求項１から４の何れかの信号区間分類装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数個のチャネルのデジタル音響信号から、音源位置に基づいた信号区間分類を行う技術に関する。
【背景技術】
【０００２】
複数のマイクロホンからなるマイクロホンアレーを利用し、複数の音源（例えば、話者）から発せられた音響信号の信号区間分類を行う手法の一つに、ＭＵＳＩＣ法を用いた手法がある（例えば、非特許文献１参照）。この手法では、同期した音響信号を収録可能なＫ個（Ｋ＞１）のマイクロホンを利用して音響信号を取得する。取得された音響信号はフレーム（所定の時間区間）ごとの周波数領域信号に変換され、それらを要素とするＫ次元の時間周波数領域信号ベクトルＸτ，ωが得られる。ただし、τはフレーム番号を表し、ωは周波数ビンを示す。フレーム番号τのフレームを「フレームτ」と表記し、周波数ビンωの周波数を「周波数ω」と表記する。次に、時間周波数領域信号ベクトルＸτ，ωから、入力信号の自己相関行列Ｒτ，ωが以下のように計算される。
Ｒτ，ω＝Ｅ｛Ｘτ，ωＸτ，ωＨ｝    (1)
ただし、Ｅ｛・｝は｛・｝の期待値を表し、・Ｈは・の共役転置を表す。自己相関行列Ｒτ，ωは固有値分解される。ここで、音響信号中にＮ個（Ｎ＞１）の音源から発せられた音響信号が含まれる場合、固有値が降順に並んでいるとすると、Ｎ番目までの固有値が各音源から発せられた音響信号のエネルギーに対応する大きな値を持つ。それに対して、残りのＮ＋１番目からＫ番目までの固有値はノイズに対応している。この残りのＮ＋１番目からＫ番目までの固有値に対応する固有ベクトルｅτ，ωＮ＋１からｅτ，ωＫは音源到来方向に対応する伝達関数ベクトルと直交するという性質がある。次に、ＭＵＳＩＣスペクトルが計算される。ＭＵＳＩＣスペクトルは以下のように計算される。
【数１】
2015045737.tif 000003
ただし、ａｄ，ωは方向ｄおよび周波数ビンωに対応するＫ次元の伝達関数ベクトルである。これらの伝達関数ベクトルは、マイクロホンアレーを用いて事前に音響信号を測定して得られたものである。固有ベクトルｅτ，ωＮ＋１からｅτ，ωＫは、常に音源到来方向ｄ＝ｄ’に対応する伝達関数ベクトルａｄ，ωと直行する。従って、ＭＵＳＩＣスペクトルＰτ，ｄ，ωの分母は、音源到来方向ｄ＝ｄ’に対して０となる。つまり、ＭＵＳＩＣスペクトルＰτ，ｄ，ωは、音源到来方向ｄ＝ｄ’において発散する。ここで、周波数ビンωについてＭＵＳＩＣスペクトルを以下のように合算する。
【数２】
2015045737.tif 000004
ただし、ωｍｉｎは周波数ビンの下限値であり、ωｍａｘは周波数ビンの上限値であり、ｑτ，ω１は周波数ビンωにおける最大固有値である。このＭＵＳＩＣスペクトルＰτ，ｄ’により、周波数ビンωごとに存在する各音源から発せられた音響信号を観測することができる。つまり、あるフレームτあたりに含まれる音源の方向がわかり、音源の方向からフレーム内に含まれる当該音源から発せられた音響信号を分類することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】大塚琢馬，中臺一博，尾形哲也，奥乃博，“音源定位手法ＭＵＳＩＣのベイズ拡張，”人工知能学会研究会資料，ＳＩＧ−Ｃｈａｌｌｅｎｇｅ−Ｂ１０２−６.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来のマイクロホンアレーを利用した音源方向に基づいて信号区間を分類する手法では、マイクロホンの相対位置関係が既知である必要がある。そのため自由に配置されたマイクロホンで観測して得られたデジタル音響信号に対しては、従来のＭＵＳＩＣ法を利用した信号区間分類を行うことができない。
【０００５】
本発明はこのような点に鑑みてなされたものであり、たとえ観測位置が未知であったとしても、信号区間分類を精度よく行うことができる技術を提供する。
【課題を解決するための手段】
【０００６】
複数個のチャネルで得られた所定の時間区間ごとの周波数領域のデジタル音響信号を入力とし、チャネルごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した正規化信号を得、１個または複数個の基本周波数について、基本周波数の整数倍および基本周波数の整数倍の近傍の周波数の正規化信号を、基本周波数の整数倍以外および基本周波数の整数倍の近傍以外の周波数の正規化信号よりも優先した調波構造信号を得、複数個のチャネルに対して得られた調波構造信号から特徴量列を得、特徴量列をクラスタリングして特徴量列が属する信号区間分類を決定する。
【発明の効果】
【０００７】
本発明では、観測位置の情報を用いることなく、調波構造を考慮して得られた特徴量列を用いて信号区間分類を行う。そのため、たとえ観測位置が未知であったとしても、信号区間分類を精度よく行うことができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の信号区間分類装置の機能構成を例示するための図である。
【図２】図２は、実施形態の信号区間分類方法を例示するための図である。
【図３】図３は、調波構造フィルタを説明するための図である。
【図４】図４は、調波構造フィルタを例示するための図である。
【図５】図５Ａ〜図５Ｃは、信号区間分類結果を例示するための図である。
【図６】図６Ａ〜図６Ｃは、信号区間分類結果を例示するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］
図１に例示するように、本形態の信号区間分類装置１００は、サンプリング周波数変換部１１１、信号同期部１１２、フレーム分割部１１３、周波数領域変換部１１４、ＶＡＤ判定部１１５、非音声パワー記憶部１１６、ゲイン正規化部１１７（正規化部）、調波構造化部１１８、特徴量列算出部１１９、およびベクトル分類部１２０（分類部）を有する。本形態の信号区間分類装置１００は、例えばＣＰＵ（central processing unit）やＲＡＭ（random-access memory）等を備える汎用または専用のコンピュータに所定のプログラムが読み込まれて構成される装置である。信号区間分類装置１００に入力されたデータおよび処理されたデータは、図示していないメモリに格納され、必要に応じて各部から読み出される。
【００１０】
信号区間分類装置１００は、自由に配置されたＫ個（Ｋは２以上の整数）の観測装置２０−１，・・・，２０−Ｋに接続されている。観測装置２０−１，・・・，２０−Ｋの位置や互いの相対位置は、未知であってもよいし、既知であってもよい。ただし、観測装置２０−１，・・・，２０−Ｋの位置がすべて同一でないことが好ましく、より好ましくは観測装置２０−１，・・・，２０−Ｋの位置が互いに相違することが望ましい。また各観測装置２０−ｋ（ｋ＝１，２，・・・，Ｋ）は、マイクロホン２１−ｋおよびＡ／Ｄ変換器２２−ｋを有する。観測装置２０−１，・・・，２０−Ｋは、互いに独立に動作するものであってもよいし、互いに何らかの連携を行うものであってもよい。マイクロホン２１−１，・・・，２１−Ｋの感度は、互いに異なっていてもよいし、同一であってもよく、Ａ／Ｄ変換器２２−１，・・・，２２−Ｋのサンプリング周波数は、互いに異なっていてもよいし、同一であってもよい。観測装置２０−１，・・・，２０−Ｋの具体例は、互いにサンプリング周波数およびマイクロホン感度が異なる、スマートフォン、固定電話、ボイスレコーダなどの録音機能をもつ端末装置である。
【００１１】
各観測装置２０−ｋのマイクロホン２１−ｋは音響信号を観測する。各マイクロホン２１−ｋで観測された音響信号はＡ／Ｄ変換器２２−ｋに入力される。各Ａ／Ｄ変換器２２−ｋはそれぞれのサンプリング周波数で当該音響信号をＡ／Ｄ変換し、複数個のサンプル点での入力デジタル音響信号ｘｋ（ｉｋ）を得て出力する。ただし、ｉｋは時間領域のサンプル点を表す整数のインデックスである。すなわち、ｘｋ（ｉｋ）は、インデックスｉｋで表されるサンプル点の入力デジタル音響信号を表す。
【００１２】
観測装置２０−ｋで得られた入力デジタル音響信号ｘｋ（ｉｋ）に対応する処理を行う処理系列をチャネルｋと呼ぶ。言い換えると、Ａ／Ｄ変換器２２−ｋで音響信号を変換して得られた入力デジタル音響信号ｘｋ（ｉｋ）に対応する処理を行う処理系列をチャネルｋと呼ぶ。すなわち、チャネルｋは入力デジタル音響信号ｘｋ（ｉｋ）および入力デジタル音響信号ｘｋ（ｉｋ）から得られる値を取り扱う。本形態ではＫ個のチャネルｋ＝１，・・・，Ｋが存在する。
【００１３】
＜サンプリング周波数変換部１１１＞
複数個の観測装置２０−１，・・・，２０−Ｋで得られた複数個のチャネルｋ＝１，・・・，Ｋの入力デジタル音響信号ｘｋ（ｉｋ）は、サンプリング周波数変換部１１１に入力される。異なるチャネルｋの入力デジタル音響信号ｘｋ（ｉｋ）は、異なるＡ／Ｄ変換器２２−ｋで得られたものであるため、サンプリング周波数が異なる場合がある。サンプリング周波数変換部１１１は、すべてのチャネルｋ＝１，・・・，Ｋの入力デジタル音響信号ｘｋ（ｉｋ）のサンプリング周波数を任意の同一のサンプリング周波数に揃える。言い換えると、サンプリング周波数変換部１１１は、複数個のチャネルｋ＝１，・・・，Ｋの入力デジタル音響信号ｘｋ（ｉｋ）をサンプリング周波数変換し、特定のサンプリング周波数の変換デジタル音響信号ｃｘｋ（ｉｋ）を複数個のチャネルｋ＝１，・・・，Ｋについて得る。「特定のサンプリング周波数」は、Ａ／Ｄ変換器２２−１，・・・，２２−Ｋの何れか一つのサンプリング周波数であってもよいし、その他のサンプリング周波数であってもよい。「特定のサンプリング周波数」の一例は１６ｋＨｚである。サンプリング周波数変換部１１１は、各Ａ／Ｄ変換器２２−ｋのサンプリング周波数の公称値に基づいてサンプリング周波数変換を行う。すなわち、サンプリング周波数変換部１１１は、各Ａ／Ｄ変換器２２−ｋのサンプリング周波数の公称値でサンプリングされた信号を、特定のサンプリング周波数でサンプリングされた信号に変換する。このようなサンプリング周波数変換は周知である。サンプリング周波数変換部１１１は、以上のように得た各チャネルｋの変換デジタル音響信号ｃｘｋ（ｉｋ）を出力する（ステップＳ１１１）。
【００１４】
＜信号同期部１１２＞
信号同期部１１２は、チャネルｋ＝１，・・・，Ｋの変換デジタル音響信号ｃｘ１（ｉ１），・・・，ｃｘＫ（ｉＫ）を入力として受け取る。信号同期部１１２は、変換デジタル音響信号ｃｘ１（ｉ１），・・・，ｃｘＫ（ｉＫ）をチャネルｋ＝１，・・・，Ｋ間で同期させ、チャネルｋ＝１，・・・，Ｋのデジタル音響信号ｓｘ１（ｉ１），・・・，ｓｘＫ（ｉＫ）を得て出力する（ステップＳ１１２）。以下にこの詳細を説明する。
【００１５】
Ａ／Ｄ変換器２２−ｋには個体差がある。そのためＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値がｆｋであったとしても、Ａ／Ｄ変換器２２−ｋがサンプリング周波数ｆｋ／αｋでＡ／Ｄ変換を行う場合もある。ただし、αｋはＡ／Ｄ変換器２２−ｋの実際のサンプリング周波数とサンプリング周波数の公称値との間の周波数ずれを表す正のパラメータである。音響信号をサンプリング周波数ｆｋでＡ／Ｄ変換して得られる入力デジタル音響信号をｘｋ’（ｉｋ）とおくと、同じ音響信号をサンプリング周波数ｆｋ／αｋでＡ／Ｄ変換して得られる入力デジタル音響信号はｘｋ’（ｉｋ×αｋ）となる。ただし「×」は乗算演算子を表す。すなわち、サンプリング周波数の周波数ずれは、入力デジタル音響信号の時間領域でのタイミングずれとなって現れる。
【００１６】
サンプリング周波数変換部１１１は、各Ａ／Ｄ変換器２２−ｋのサンプリング周波数の公称値ｆｋに基づいてサンプリング周波数変換を行っている。すなわち、すべてのチャネルｋ＝１，・・・，Ｋに共通の「特定のサンプリング周波数」をｆとすると、サンプリング周波数変換部１１１は、各チャネルｋのサンプリング周波数をｆ／ｆｋ倍にするサンプリング周波数変換を行っている。そのため、各Ａ／Ｄ変換器２２−ｋの実際のサンプリング周波数がｆｋ／αｋであるとすると、各チャネルｋの変換デジタル音響信号ｃｘｋ（ｉｋ）のサンプリング周波数はｆ×αｋとなる。この個体差に基づく周波数ずれは、チャネルｋ＝１，・・・，Ｋ間における、変換デジタル音響信号ｃｘｋ（ｉｋ）の時間領域でのタイミングずれとなって現れる。
【００１７】
信号同期部１１２は、個体差に基づく変換デジタル音響信号ｃｘｋ（ｉｋ）の時間領域でのタイミングずれを減らすために、時間領域の変換デジタル音響信号ｃｘ１（ｉ１），・・・，ｃｘＫ（ｉＫ）をチャネルｋ＝１，・・・，Ｋ間で同期させる。例えば信号同期部１１２は、チャネル間の相互相関が最大になるように、変換デジタル音響信号ｃｘ１（ｉ１），・・・，ｃｘＫ（ｉＫ）を時間軸方向（サンプル点方向）に互いにずらし、同期後のデジタル音響信号ｓｘ１（ｉ１），・・・，ｓｘＫ（ｉＫ）を得る。
【００１８】
例えば信号同期部１１２は、各チャネルｋの変換デジタル音響信号ｃｘｋ（ｉｋ）から、単語の発話など十分特徴的な波形の変化を観測できる長さ（例えば３秒）のサンプル列ｃｘｋ（１），・・・，ｃｘｋ（Ｉ）をとりだす（ステップＳ１１２ａ）。ただし、Ｉは正整数を表す。次に信号同期部１１２は、取り出したサンプル列のうち、１つのチャネルｋ’∈｛１，・・・，Ｋ｝のサンプル列ｃｘｋ’（１），・・・，ｃｘｋ’（Ｉ）を基準サンプル列とする（ステップＳ１１２ｂ）。次に信号同期部１１２は、チャネルｋ’以外のチャネルｋ”∈｛１，・・・，Ｋ｝（ｋ”≠ｋ’）のサンプル列ｃｘｋ”（１），・・・，ｃｘｋ”（Ｉ）を時間軸に沿ってずらしたサンプル列ｃｘｋ”（１＋ｒｋ”），・・・，ｃｘｋ”（Ｉ＋ｒｋ”）と基準サンプル列ｃｘｋ’（１），・・・，ｃｘｋ’（Ｉ）との相互相関Σｎ｛ｃｘｋ”（ｎ）×ｃｘｋ’（ｎ）｝を最大にする遅延ｒｋ”を所定の探索範囲から探索し、ｓｘｋ”（ｉｋ”）＝ｃｘｋ”（ｉｋ”＋ｒｋ”）およびｓｘｋ’（ｉｋ’）＝ｃｘｋ’（ｉｋ’）とする（ステップＳ１１２ｃ）。さらに信号同期部１１２は、サンプル列ｃｘｋ（１），・・・，ｃｘｋ（Ｉ）を切り出す範囲をシフトさせ（例えば１秒の時間に対応するサンプル点だけシフトさせ）、ステップＳ１１２ａ〜Ｓ１１２ｃの処理を実行する処理を繰り返し、同期後のデジタル音響信号ｓｘ１（ｉ１），・・・，ｓｘＫ（ｉＫ）をすべてのサンプル点について得て出力する。なお、サンプル列ｃｘｋ（１），・・・，ｃｘｋ（Ｉ）を切り出す範囲のシフト量（上記の例では１秒の時間に対応するサンプル点の個数）は、十分特徴的な波形の変化を観測できる長さ（上記の例では３秒）よりも短いものとする。
【００１９】
＜フレーム分割部１１３＞
フレーム分割部１１３は、同期後のデジタル音響信号ｓｘ１（ｉ１），・・・，ｓｘＫ（ｉＫ）を入力として受け取る。フレーム分割部１１３は、チャネルｋごとにデジタル音響信号ｓｘｋ（ｉｋ）を所定の時間区間であるフレームに分割する（ステップＳ１１３）。このフレーム分割処理では、フレーム切り出し区間長（フレーム長）Ｌ点と切り出し区間のずらし幅ｍ点を任意に決めることができる。ただし、Ｌおよびｍは正整数である。例えば、切り出し区間長を２０４８点、切り出し区間のずらし幅を２５６点とする。フレーム分割部１１３は、チャネルｋごとに切り出し区間長のデジタル音響信号ｓｘｋ（ｉｋ）を切り出して出力する。さらにフレーム分割部１１３は、決められた切り出し区間のずらし幅に従い切り出し区間をずらし、チャネルｋごとに上記切り出し区間長のデジタル音響信号ｓｘｋ（ｉｋ）を切り出して出力する処理を繰り返す。以上の処理により、各チャネルｋについて各フレームのデジタル音響信号が出力される。以下では、チャネルｋのフレームτに属するデジタル音響信号をｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）と表現する。なお、τはフレーム番号を表し、フレーム番号τのフレームを「フレームτ」と表記する。フレーム番号が大きいほど、後の時刻に対応する。
【００２０】
周波数領域変換部１１４は、各チャネルｋの各フレームτに属するｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を入力とし、チャネルｋおよびフレームτごとに、これらに対する周波数領域変換を行い、チャネルｋおよびフレームτごとの周波数領域のデジタル音響信号Ｘτ（ｋ）（ω）（複数個のチャネルで得られた所定の時間区間ごとの周波数領域のデジタル音響信号）に変換する。例えば、周波数領域変換部１１４は、ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）に対する離散フーリエ変換を行い、チャネルｋおよびフレームτごとに周波数領域のデジタル音響信号Ｘτ（ｋ）（ω）を得る。ただし、ωは周波数ビンを表し、周波数ビンωの周波数を「周波数ω」と表記する。周波数領域変換部１１４は、周波数領域のデジタル音響信号Ｘτ（ｋ）（ω）を出力する（ステップＳ１１４）。
【００２１】
＜ＶＡＤ判定部１１５＞
ＶＡＤ判定部１１５は、各チャネルｋおよび各フレームτの周波数領域のデジタル音響信号Ｘτ（ｋ）（ω）を入力として受け取る。ＶＡＤ判定部１１５は、入力されたデジタル音響信号Ｘτ（ｋ）（ω）を用い、各チャネルｋの各フレームτが音声区間であるか非音声区間であるかを判定する（ステップＳ１１５）。音声区間であるか非音声区間であるかの判定には、例えば、音声の確率モデルと非音声の確率モデルを作成し、非音声の確率モデルに対する音声の確率モデルの相対値（比率等）が閾値を超えれば音声区間、超えなければ非音声区間と判断する方法（例えば、参考文献１参照）等の周知技術を利用することができる。
［参考文献１］Jongseo Sohn, Nam Soo Kim, Wonyong Sung, “A Statistic Model-Based Voice Activity Detection,” IEEE SIGNAL PROCESSING LETTERS, VOL.6, NO.1, 1999．
【００２２】
ＶＡＤ判定部１１５は、各チャネルｋの各フレームτが音声区間であるか非音声区間であるかの判定結果を用い、各フレームτが音声区間であるか非音声区間であるかを判定する。例えば、ＶＡＤ判定部１１５は、過半数以上のチャネルで音声区間と判別したフレームτを音声区間であると判定し、そうでないフレームτを音声区間であると判定する。その他、チャネルｋ＝１，・・・，Ｋのうち、Ｘτ（ｋ）（ω）のパワーもしくはＳ／Ｎ比、またはｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）の平均パワーや平均Ｓ／Ｎ比が最も大きなチャネルに対する判定結果をフレームτでの判定結果としてもよい。
【００２３】
ＶＡＤ判定部１１５は、音声区間と判定したフレームτの全チャネルｋ＝１，…，ＫのＸτ（ｋ）（ω）をゲイン正規化部１１７に送る。また、ＶＡＤ判定部１１５は、非音声区間と判定したフレームτの全チャネルｋ＝１，…，ＫのＸτ（ｋ）（ω）を非音声パワー記憶部１１６に送る。さらに、ＶＡＤ判定部１１５は、各フレームτに対し、音声区間であるか非音声区間であるかの判定結果を表すラベルθτを付与する。フレームτが音声区間であることを表すラベルの例はθτ＝１であり、フレームτが非音声区間であることを表すラベルの例はθτ＝０である。ＶＡＤ判定部１１５は、各フレームτのラベルθτをベクトル分類部１２０に送る。
【００２４】
＜非音声パワー記憶部１１６＞
非音声パワー記憶部１１６は、非音声区間と判定されたフレームτのデジタル音響信号Ｘτ（ｋ）（ω）を用い、非音声区間のデジタル音響信号の大きさＰＮ（ｋ）（ω）を算出して格納する（ステップＳ１１６）。「非音声区間のデジタル音響信号の大きさＰＮ（ｋ）（ω）」の例は、非音声区間のデジタル音響信号のパワーや絶対値、非音声区間のデジタル音響信号のパワーの平均値、非音声区間のデジタル音響信号のパワーの重み付け平均値、非音声区間のデジタル音響信号のパワーの合計値、それらの正負反転値や関数値などである。「平均値」の例は、時間平均値である。ＰＮ（ｋ）（ω）は、各チャネルｋおよび周波数ビンωに対応する。ＰＮ（ｋ）（ω）は、チャネルｋおよび周波数ビンωごとに算出されてもよいし、何れかのチャネルまたは周波数ビンで算出されたものを複数のチャネルｋや周波数ビンωでのＰＮ（ｋ）（ω）としてもよい。例えば、非音声パワー記憶部１１６は、チャネルｋおよび周波数ビンωごとに、非音声区間と判定されたフレームτのデジタル音響信号Ｘτ（ｋ）（ω）の大きさの平均値や重み付け平均値を算出し、それらをＰＮ（ｋ）（ω）とする。例えば、非音声パワー記憶部１１６は、以下の式（４）のようにＰＮ（ｋ）（ω）を得る。
【数３】
2015045737.tif 000005
ただし、ηは予め定められた忘却係数である。忘却係数ηの例は０＜η≦１であり、例えばη＝０．１である。また、Ｐ’Ｎ（ｋ）（ω）は、非音声区間と判定された過去のフレームで算出されたＰＮ（ｋ）（ω）である。例えば、Ｐ’Ｎ（ｋ）（ω）は、前回行われた式（４）の計算によって得られた最新のＰＮ（ｋ）（ω）である。なお、非音声区間と判定された過去のフレームが存在しない場合には、Ｐ’Ｎ（ｋ）（ω）を定数（例えば、０）とする。なお、式（４）のように、「ＰＮ（ｋ）（ω）」「Ｐ’Ｎ（ｋ）（ω）」の上付き添え字「（ｋ）」は、下付き添え字「Ｎ」の真上に表記されるべきであるが、表記上の制約から、上付き添え字「（ｋ）」を下付き添え字「Ｎ」の右上に表記する場合がある。すなわち、上付き添え字「（ｋ）」が下付き添え字「Ｎ」の真上に表記された記号と、上付き添え字「（ｋ）」が下付き添え字「Ｎ」の右上に表記された記号とは同じものを指す。同様に、上付き添え字「Ｃ」が下付き添え字Ｂの真上に表記されたその他の記号「ＡＢＣ」は、その上付き添え字「Ｃ」が下付き添え字Ｂの右上に表記された記号と同じものを指す。
【００２５】
＜ゲイン正規化部１１７＞
ゲイン正規化部１１７は、音声区間と判定されたフレームτの全チャネルｋ＝１，…，ＫのＸτ（ｋ）（ω）を受け取る。さらにゲイン正規化部１１７は、非音声パワー記憶部１１６からＰＮ（ｋ）（ω）を抽出する。ゲイン正規化部１１７は、これらを用い、チャネルｋごとに音声区間のデジタル音響信号Ｘτ（ｋ）（ω）の大きさを非音声区間のデジタル音響信号の大きさＰＮ（ｋ）（ω）で正規化した正規化信号Ｐ〜Ｘτ（ｋ）（ω）を得る（ステップＳ１１７）。「音声区間のデジタル音響信号Ｘτ（ｋ）（ω）の大きさ」の例は、音声区間のデジタル音響信号Ｘτ（ｋ）（ω）のパワーや絶対値、音声区間のデジタル音響信号Ｘτ（ｋ）（ω）のパワーの平均値、音声区間のデジタル音響信号Ｘτ（ｋ）（ω）のパワーの重み付け平均値、音声区間のデジタル音響信号Ｘτ（ｋ）（ω）のパワーの合計値、それらの正負反転値や関数値などである。正規化信号Ｐ〜Ｘτ（ｋ）（ω）は、例えば、非音声区間のデジタル音響信号の大きさＰＮ（ｋ）（ω）に対する音声区間のデジタル音響信号Ｘτ（ｋ）（ω）の大きさの比を表す値である。「比を表す特徴量」の例は、「非音声区間のデジタル音響信号の大きさＰＮ（ｋ）（ω）に対する音声区間のデジタル音響信号Ｘτ（ｋ）（ω）の大きさの比」そのもの、その逆数その他の関数値である。例えば、ゲイン正規化部１１７は、以下の式（５）（６）のようにＰ〜Ｘτ（ｋ）（ω）を得る。
【数４】
2015045737.tif 000006
なお、「Ｐ〜Ｘτ（ｋ）（ω）」の「〜」は「Ｐ」の真上に表記されるべきであるが、表記上の制約から、「〜」を下付き添え字「Ｐ」の右上に表記する場合がある。すなわち、「〜」が「Ｐ」の真上に表記された記号と、「〜」が「Ｐ」の右上に表記された記号とは同じものを指す。なお、非音声パワー記憶部１１６にＰＮ（ｋ）（ω）がまだ格納されていない場合には、ゲイン正規化部１１７は、ＰＮ（ｋ）（ω）を定数として正規化信号Ｐ〜Ｘτ（ｋ）（ω）を得る。例えば、ゲイン正規化部１１７は、過去の計算されたＰＮ（ｋ）（ω）の平均値等を用いて正規化信号Ｐ〜Ｘτ（ｋ）（ω）を得る。ゲイン正規化部１１７は、各チャネルｋおよびフレームτの正規化信号Ｐ〜Ｘτ（ｋ）（ω）を調波構造化部１１８に送る。
【００２６】
＜調波構造化部１１８＞
調波構造化部１１８は、各チャネルｋおよび音声区間と判定された各フレームτの正規化信号Ｐ〜Ｘτ（ｋ）（ω）を受け取る。調波構造化部１１８は、１個または複数個の基本周波数ｆ０（ｋｆ０）について、基本周波数ｆ０（ｋｆ０）の整数倍および基本周波数ｆ０（ｋｆ０）の整数倍の近傍の周波数ωの正規化信号Ｐ〜Ｘτ（ｋ）（ω）を、それら以外の周波数ω（基本周波数ｆ０（ｋｆ０）の整数倍以外および基本周波数ｆ０（ｋｆ０）の整数倍の近傍以外の周波数ω）の正規化信号Ｐ〜Ｘτ（ｋ）（ω）よりも優先した調波構造信号Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）を得る（ステップＳ１１８）。ここで、観測された音響信号の基本周波数は未知であるため、調波構造化部１１８は、所定の範囲内の１個または複数個の基本周波数ｆ０（ｋｆ０）について調波構造信号Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）を得る。ｋｆ０は基本周波数ｆ０（ｋｆ０）を表すインデックスである。例えば、基本周波数ｆ０（ｋｆ０）は離散値であり、ｋｆ０が整数インデックスであり、ｆ０（ｋｆ０−１）＜ｆ０（ｋｆ０）である。「基本周波数ｆ０（ｋｆ０）の整数倍」とは、ｈ×ｆ０（ｋｆ０）を意味する。ｈは調波構造を考慮する倍音の次数であり、１以上の整数である。「基本周波数ｆ０（ｋｆ０）の整数倍の近傍の周波数」とは、例えば、ｈ×ｆ０（ｋｆ０）−δ１以上、ｈ×ｆ０（ｋｆ０）＋δ２以下の周波数を意味する。ただし、δ１およびδ２は、正の定数である。例えば、ｆ０（ｋｆ０−１）＜ｆ０（ｋｆ０）である場合、ｈ×ｆ０（ｋｆ０−１）＋δ２＜ｈ×ｆ０（ｋｆ０）−δ１であり、かつ、ｈ×ｆ０（ｋｆ０）＋δ２＜ｈ×ｆ０（ｋｆ０＋１）−δ１である。「基本周波数ｆ０（ｋｆ０）の整数倍および基本周波数ｆ０（ｋｆ０）の整数倍の近傍の周波数ωの正規化信号Ｐ〜Ｘτ（ｋ）（ω）（以下「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」）を、それら以外の周波数ωの正規化信号Ｐ〜Ｘτ（ｋ）（ω）（以下「倍音またはその近傍以外のＰ〜Ｘτ（ｋ）（ω）」）よりも優先する」とは、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」を「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に対して差別化し、優先することを意味する。以下にこの例を列挙する。
（例１）「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に対し、「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」よりも平均して大きな重みを与える。例えば、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に対し、「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」よりも大きな重みを与える。
（例２）「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」を強調する。
（例３）「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」を抽出する。
（例４）大きさを変更しつつ、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」を抽出する。
（例５）「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」よりも、「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に対して平均して小さな重みを与える。例えば、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」よりも、「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に対して小さな重みを与える。
（例６）「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」を抑圧する（減衰させる）。
（例７）「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」を除去する。
（例８）（例２）または（例３）と（例６）または（例７）との組み合わせ。
【００２７】
図３を用い、これらを例示する。図３の横軸は周波数を表し、縦軸は正規化信号の大きさ（パワーや絶対値等）を表す。β１〜β５の範囲は、基本周波数ｆ０（ｋｆ０）の整数倍および基本周波数ｆ０（ｋｆ０）の整数倍の近傍の周波数を例示し、α１〜α６の範囲は、基本周波数ｆ０（ｋｆ０）の整数倍以外および基本周波数ｆ０（ｋｆ０）の整数倍の近傍以外の周波数を例示する。調波構造化部１１８は、例えば、β１〜β５の範囲の周波数ωのＰ〜Ｘτ（ｋ）（ω）に重みｗβを乗じて得られる値を、β１〜β５の範囲の周波数ωに対する調波構造信号Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）とし、α１〜α６の範囲の周波数ωのＰ〜Ｘτ（ｋ）（ω）に重みｗαを乗じて得られる値を、α１〜α６の範囲の周波数ωに対する調波構造信号Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）とする。ただし、ｗβ＞ｗαである（例１，２，５，６）。例えば、ｗβ＝１かつｗα＝０であってもよいし（例３，６，７）、ｗβ＝０．５かつｗα＝０であってもよいし（例４）、ｗβ＝２かつｗα＝０．１であってもよい（例２と例６との組み合わせ）。なお、α１〜α６の範囲に対する重みは同一値である必要はなく、β１〜β５の範囲に対する重みも同一値である必要はない。例えば、これらの重みが周波数に依存したものであってもよい。すなわち、
β１〜β５の範囲に対する重みの平均がα１〜α６の範囲に対する重みの平均よりも大きいのであれば、どのような重みであってもよい。
【００２８】
調波構造化部１１８は、例えば、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」を「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」よりも優先するための櫛型の調波構造フィルタｆ（ω，ｆ０（ｋｆ０））を正規化信号Ｐ〜Ｘτ（ｋ）（ω）に乗じ、Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）を得る。ｆ（ω，ｆ０（ｋｆ０））は、Ｐ〜Ｘτ（ｋ）（ω）に乗じられる重みである。例えばｆ（ω，ｆ０（ｋｆ０））≧０を満たす。「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））の大きさの平均値は「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））の大きさの平均値よりも大きい。例えば、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））の大きさは「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））の大きさよりも大きい。「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））は０であってもよいし、０以外であってもよい。「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））は１であってもよいし、１よりも大きくても小さくてもよい。「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））は、全てのωおよびｋｆ０に対して同一であってもよいし、ωおよびｋｆ０の少なくとも一方に応じて異なってもよい。同様に、「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））は、全てのωおよびｋｆ０に対して同一であってもよいし、ωおよびｋｆ０の少なくとも一方に応じて異なってもよい。例えば、「倍音範囲のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））が、ωが大きい（周波数が高い）ほど小さくてもよいし、「倍音範囲外のＰ〜Ｘτ（ｋ）（ω）」に乗じられるｆ（ω，ｆ０（ｋｆ０））が、ωが大きいほど小さくてもよい。調波構造フィルタは、所定範囲内のωおよびｆ０（ｋｆ０）に対して事前に計算されたｆ（ω，ｆ０（ｋｆ０））の集合であってもよいし、ωおよびｆ０（ｋｆ０）を定義域としｆ（ω，ｆ０（ｋｆ０））を値域とする関数であってもよい。以下に調波構造フィルタｆ（ω，ｆ０（ｋｆ０））の一例を示す。
【数５】
2015045737.tif 000007
ただし、Ａは調波構造を模擬した倍音成分の形状を設定する定数（Ａ＞０）を表し、σはガウス分布の分散（σ＞０）を表す。Ｈはｈの上限値である１以上の整数を表す。一例として、Ｈ＝８，Ａ＝０．９８４９，σ＝７であり、基本周波数ｆ０（ｋｆ０）が分析範囲１４８．４≦ｆ０≦５００［Ｈｚ］に属するΔｆ０＝７．８１［Ｈｚ］刻みの離散値であり、ｋｆ０の個数が４６個であり、１≦ｋｆ０≦４６である。図４は、式（７）の調波構造フィルタｆ（ω，ｆ０（ｋｆ０））を例示するためのグラフである。図４の横軸は基本周波数ｆ０（ｋｆ０）のインデックスｋｆ０を表し、縦軸は周波数ωを表す。図４では、Ｈ＝１〜８についての調波構造フィルタｆ（ω，ｆ０（ｋｆ０））を例示している。このグラフでは、白に近いほどｆ（ω，ｆ０（ｋｆ０））の大きさが大きいことを表し、黒はｆ（ω，ｆ０（ｋｆ０））の大きさがゼロであることを表す。調波構造化部１１８は、例えば、以下のように調波構造フィルタｆ（ω，ｆ０（ｋｆ０）にＰ〜Ｘτ（ｋ）（ω）を乗じ、Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）を得る。
【数６】
2015045737.tif 000008
調波構造化部１１８は、音声区間と判定された各フレームτ，各チャネルｋ，各周波数ビンω，各インデックスｋｆ０に対してそれぞれ得られた調波構造信号Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）を特徴量列算出部１１９に送る。
【００２９】
＜特徴量列算出部１１９＞
特徴量列算出部１１９は、調波構造信号Ｐｏｕｔτ（ｋ）（ω，ｋｆ０）を入力とし、複数個のチャネルｋ＝１，…，Ｋの調波構造信号Ｐｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）から特徴量列ＰＨ（τ）（ω，ｋｆ０）を得る（ステップＳ１１９）。ここで、全てのインデックスｋｆ０について特徴量列ＰＨ（τ）（ω，ｋｆ０）が生成されてもよいが、観測された音響信号に対応しない基本周波数ｆ０（ｋｆ０）が存在する可能性がある。そのため、観測された音響信号に対応する基本周波数ｆ０（ｋｆ０）のインデックスｋｆ０のみについて特徴量列ＰＨ（τ）（ω，ｋｆ０）を生成することが望ましい。観測された音響信号に対応する基本周波数ｆ０（ｋｆ０）のインデックスｋｆ０の選択方法としては、例えば、正の閾値γを決め、全てのチャネルｋ＝１，…，ＫについてＰｏｕｔτ（ｋ）（ω，ｋｆ０）＞γを満たすインデックスｋｆ０を選択する方法がある。或いは、チャネルｋについてのＰｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）の平均値がγを超えるインデックスｋｆ０を選択してもよい。或いは、特定のチャネルｋのＰｏｕｔτ（ｋ）（ω，ｋｆ０）がＰｏｕｔτ（ｋ）（ω，ｋｆ０）＞γを満たすインデックスｋｆ０を選択してもよい。その他、例えば、正の閾値γおよびρを決め、チャネルｋ＝１，…，Ｋのうちρ個以上のチャネルｋについてＰｏｕｔτ（ｋ）（ω，ｋｆ０）＞γを満たすインデックスｋｆ０を選択してもよい。或いは、閾値γが固定値でなくてもよい。例えば、各フレームτでのＰｏｕｔτ（ｋ）（ω，ｋｆ０）の最小値ｍｉｎ（Ｐｏｕｔτ（ｋ）（ω，ｋｆ０））の定数倍ａ×ｍｉｎ（Ｐｏｕｔτ（ｋ）（ω，ｋｆ０））を閾値γとしてもよい。ただし、ａは正の定数であり、例えばａ＝１００である。各フレームτでの最小値ｍｉｎ（Ｐｏｕｔτ（ｋ）（ω，ｋｆ０））を基準とすることで、観測された音響信号に重畳した雑音成分の大きさに応じて閾値を変動させることができる。
【００３０】
特徴量列算出部１１９は、例えば、複数個のチャネルｋ＝１，…，Ｋの調波構造信号Ｐｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）の大きさを正規化して得られる列を、特徴量列ＰＨ（τ）（ω，ｋｆ０）とする。例えば、特徴量列算出部１１９は、Ｐｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）を要素とするＫ次元ベクトル［Ｐｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）］Ｔの大きさを所定値に正規化して得られるベクトルを、特徴量列ＰＨ（τ）（ω，ｋｆ０）とする。ただし、・Ｔは・の転置を表す。例えば、特徴量列算出部１１９は、以下のようにＰＨ（τ）（ω，ｋｆ０）を得る。以下の例のＰＨ（τ）（ω，ｋｆ０）は単位ベクトルである。
【数７】
2015045737.tif 000009
特徴量列算出部１１９は、得られた特徴量列ＰＨ（τ）（ω，ｋｆ０）をベクトル分類部１２０に送る。
【００３１】
＜ベクトル分類部１２０＞
ベクトル分類部１２０は、各フレームτのラベルθτおよび音声区間と判定された各フレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）を受け取る。ベクトル分類部１２０は、特徴量列ＰＨ（τ）（ω，ｋｆ０）をクラスタリングし、音声区間と判定された各フレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）が属する信号区間分類（クラスタ）を決定する（ステップＳ１２０）。ベクトル分類部１２０は、クラスタによって各フレームτのラベルθτを更新し、各フレームτのラベルθτを出力する。
【００３２】
音源から観測装置２０−１〜Ｋのマイクロホン２２−１〜Ｋまでの距離に従って生じる減衰に基づいて、特徴量列ＰＨ（τ）（ω，ｋｆ０）を音源ごとの信号区間分類にクラスタリングする。クラスタリング方法には、例えば、学習情報なしにフレームτごとに特徴量列ＰＨ（τ）（ω，ｋｆ０）のクラスタリングを行うオンラインクラスタリングや、観測装置２０−１〜Ｋやユーザから与えられた正解情報を元に教師ありで学習するオフラインクラスタリングを利用できる。オンラインクラスタリングとしては、例えば、leader-followerクラスタリングや予め分類するクラスタ数を決めておくｋ近傍法を利用することができる。その他のオフラインクラスタリングとしては、ＧＭＭ（Gaussian mixture model）学習を行ってＭＡＰ（Maximum a posteriori）推定を行う手法や、ＳＶＭ（Support vector machine）を利用する手法などがある（例えば、参考文献２参照）。
［参考文献２］Richard O. Duda, Peter E. Hart, David G. Stork, “Pattern
Classification，” Wiley-Interscience, 2000.
【００３３】
以下では、leader-followerクラスタリングを用いる例とクラスタ数を固定したｋ近傍法を用いる例とを説明する。
［leader-followerクラスタリングを用いる例］
ベクトル分類部１２０は、特徴量列ＰＨ（τ）（ω，ｋｆ０）を入力とし、教師なし学習のleader-followerクラスタリングを用いて各フレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）が属するクラスタを決定することができる。クラスタリングの指標となる距離にはコサイン類似度を用いることができる。コサイン類似度の距離関数は以下のように定義できる。
【数８】
2015045737.tif 000010
ただし、ＣＬは各クラスタのラベルであり、ラベルＣＬは非音声区間を表すラベルθｒ（例えば０）以外の値（例えば、１以上の整数）をとる。ラベルＣＬのクラスタを「クラスタＣＬ」と表記する。ＰＣＬはクラスタＣＬの重心ベクトルである。ｄ（ＣＬ）はクラスタＣＬの重心ベクトルＰＣＬと入力された特徴量列（ベクトル）ＰＨ（τ）（ω，ｋｆ０）との距離を表す。ＰＨ（τ）（ω，ｋｆ０）・ＰＣＬはＰＨ（τ）（ω，ｋｆ０）とＰＣＬの内積を表し、｜ＰＨ（τ）（ω，ｋｆ０）｜｜ＰＣＬ｜は、ＰＨ（τ）（ω，ｋｆ０）の大きさ｜ＰＨ（τ）（ω，ｋｆ０）｜とＰＣＬの大きさ｜ＰＣＬ｜との積を表す。ベクトルの大きさの例は、ユークリッドノルム等のノルムである。ここで、分類を行おうとするＰＨ（τ）（ω，ｋｆ０）のｄ（ＣＬ）がすべてのクラスタＣＬの候補について閾値η（ηは正の定数）を超えれば、ベクトル分類部１２０は、このＰＨ（τ）（ω，ｋｆ０）を重心ベクトルとする新たなクラスタをクラスタ候補に加え、このＰＨ（τ）（ω，ｋｆ０）をこの新たなクラスタに分類する。一方、分類を行おうとするＰＨ（τ）（ω，ｋｆ０）のｄ（ＣＬ）が何れかのクラスタＣＬの候補について閾値ηを下回れば、このＰＨ（τ）（ω，ｋｆ０）を最小のｄ（ＣＬ）に対応するクラスタＣＬに分類する。ベクトル分類部１２０は、音声区間と判定されたフレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）が分類されたクラスタＣＬを表すラベルＣＬの集合を、このフレームτのラベルθτとする。すなわち、音声区間と判定されたフレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）が属するクラスタＣＬを表すラベルＣＬの集合を、このフレームτのラベルθτとする。
【００３４】
［クラスタ数を固定したｋ近傍法を用いる例］
ベクトル分類部１２０は、特徴量列ＰＨ（τ）（ω，ｋｆ０）の分類の基準となるＰＣＬベクトルを定める。ＰＣＬベクトルはクラスタＣＬにそれぞれ対応し、各クラスタＣＬは互いに異なる観測装置２０−ｋに対応する。本形態では、観測装置２０−１〜Ｋの総数はＫであるため、互いに直交するＫ個のＰＣＬベクトルを定める。ＰＣＬベクトルはＫ次元ベクトルである。ＰＣＬベクトルの例は、Ｋ個の要素のうち１個の要素だけが１となり、他の要素がすべて０となるベクトルである。ＰＣＬベクトルの一例は［１，０，...，０］Ｔである。以上のように、ベクトル分類部１２０は、観測装置２０−１〜Ｋの総数ＫからＰＣＬベクトルを定める。ベクトル分類部１２０は、分類を行おうとする特徴量列ＰＨ（τ）（ω，ｋｆ０）と各ＰＣＬベクトルとの距離を計算する。ＰＨ（τ）（ω，ｋｆ０）は音源から発せられた音響信号を各観測装置２０−ｋで観測して得られたデジタル音響信号の音声区間と雑音区間とのパワー比に対応する。音源から発せられた音響信号のパワーは、空気中を伝搬する間に距離に反比例して減衰する。そのため、異なる位置に配置された各観測装置２０−ｋで或る音源から発せられた音響信号を観測すると、当該音源に最も近い観測装置２０−ｋが最もパワーの大きな音響信号を観測する。例えば、ｋ番目の観測装置２０−ｋのみで音源から発せられた音響信号を観測すると、式（９）で算出される特徴量列ＰＨ（τ）（ω，ｋｆ０）はｋ番目の要素のみが１で、その他の要素が０である単位ベクトルとなる。この性質から、或るフレームτで音響信号を発した音源がどの観測装置２０−ｋに最も近いかを分類することができる。特徴量列ＰＨ（τ）（ω，ｋｆ０）を、それに対応する音響信号を発した音源に最も近い観測装置２０−ｋに対応するクラスタＣＬに分類することで、各音源から発せられた音響信号の分類を行うことができる。ベクトル分類部１２０は、音声区間と判定されたフレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）と各ＰＣＬベクトルとの距離を求め、最も距離が小さいＰＣＬベクトルに対応するクラスタＣＬに当該特徴量列ＰＨ（τ）（ω，ｋｆ０）を分類する。距離尺度にはコサイン類似度を用いることができる（式（１０））。ベクトル分類部１２０は、音声区間と判定されたフレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）が分類されたクラスタＣＬを表すラベルＣＬの集合を、このフレームτのラベルθτとする。すなわち、音声区間と判定されたフレームτの特徴量列ＰＨ（τ）（ω，ｋｆ０）が属するクラスタＣＬを表すラベルＣＬの集合を、このフレームτのラベルθτとする。
【００３５】
［第２実施形態］
図１に例示するように、本形態の信号区間分類装置２００は、第１実施形態の信号区間分類装置１００に確率計算部２２１を追加したものである。すなわち、信号区間分類装置２００は、サンプリング周波数変換部１１１、信号同期部１１２、フレーム分割部１１３、周波数領域変換部１１４、ＶＡＤ判定部１１５、非音声パワー記憶部１１６、ゲイン正規化部１１７（正規化部）、調波構造化部１１８、特徴量列算出部１１９、ベクトル分類部１２０（分類部）、および確率計算部２２１を有する。本形態の信号区間分類装置２００は、例えばＣＰＵやＲＡＭ等を備える汎用または専用のコンピュータに所定のプログラムが読み込まれて構成される装置である。信号区間分類装置２００に入力されたデータおよび処理されたデータは、図示していないメモリに格納され、必要に応じて各部から読み出される。その他は、第１実施形態と同じである。以下では、第１実施形態との相違点のみを説明し、第１実施形態と共通する事項には前述と同じ参照番号を用い、説明を省略する。
【００３６】
確率計算部２２１には、ベクトル分類部１２０から出力された各フレームτのラベルθτが入力される。確率計算部２２１は、ラベルθτによって表される各特徴量列ＰＨ（τ）（ω，ｋｆ０）が属する信号区間分類（クラスタ）から、特徴量列ＰＨ（τ）（ω，ｋｆ０）がいずれの信号区間分類に属するかを表す確率に対応する値を得て、それらの値を出力する。例えば、確率計算部２２１は、フレームτごとに「確率に対応する値」を出力する。例えば、確率計算部２２１は、フレームτごとに、ラベルθτが表すクラスタＣＬの度数分布を度数の総和が所定値（例えば１）になるように正規化し、このように正規化された各クラスタＣＬの度数を「確率に対応する値」とする。ここで度数の総和が１になるように正規化すると、確率計算部２２１が出力する値は、特徴量列が各クラスタに属する確率となる。例えば、クラスタの総数が５種類であり、１個のフレームτのラベルθτが分類結果である４７個のクラスタＣＬを表しており、度数の総和が１に正規化されるとする。このうち、４５個がクラスタ１を表し、２個がクラスタ２を表しているとすると、クラスタ１に特徴量列が属する確率（確率に対応する値）は約９５％となり、クラスタ１に特徴量列が属する確率（確率に対応する値）は約５％となる。或いは、確率計算部２２１が、フレームτごとに、特徴量列がクラスタに属する確率が閾値以上となるクラスタの個数を「確率に対応する値」として出力してもよい。或いは、確率計算部２２１が、フレームτごとに、特徴量列がクラスタに属する確率が最大となるクラスタを表す識別番号を「確率に対応する値」として出力してもよい。
【００３７】
図４Ａ〜４Ｃ，５Ａ〜５Ｃに実験結果を示す。これらのグラフでは、横軸がフレーム番号τを表し、縦軸がクラスタＣＬを表す。また、これらのグラフでは、白に近いほど確率が大きいことを表し、黒は確率がゼロであることを表す。また、クラスタの総数を５とし、観測装置２０−１，…，５として５台のスマートフォンを用い（Ｋ＝５）、５台のスマートフォンからの距離がそれぞれ異なる配置の２個の音源から発せられた音響信号を録音した。このように録音された音響信号を各チャネルｋ＝１，…，５の入力デジタル音響信号とし、信号区間分類装置２００に入力し、インデックスｋｆ０の総数を４６個として本装置の処理を実施した。図５Ａおよび図６Ａは音源１のみから音響信号が発せられた場合の実験結果を表し、図５Ｂおよび図６Ｂは音源２のみから音響信号が発せられた場合の実験結果を表し、図５Ｃおよび図６Ｃは音源１および２から音響信号が発せられた場合の実験結果を表す。
【００３８】
≪実験１≫
図５Ａ〜図５Ｃは、上記の条件のもと、クラスタリンング手法としてｋ近傍法を用いた実験１の結果を表す。図５Ａおよび図５Ｂから、音源１から音響信号が発せられているフレームの特徴量列がクラスタ５に分類され、音源２から音響信号が発せられているフレームの特徴量列がクラスタ４に分類される確率が高いことが分かる。図５Ｃから、音源１および２から音響信号が発せられているフレームの特徴量列は、クラスタ４およびクラスタ５の２個のクラスタに分かれて分類される可能性が高いことが分かる。
【００３９】
≪実験２≫
図６Ａ〜図６Ｃは、上記の条件のもと、クラスタリンング手法としてleader-followerクラスタリングを用いた実験２の結果を表す。leader-followerクラスタリングで新たなクラスタリングを生成するための閾値を０．３５とした。図６Ａおよび図６Ｂから、音源１から音響信号が発せられているフレームの特徴量列がクラスタ１に分類され、音源２から音響信号が発せられているフレームの特徴量列がクラスタ２に分類される確率が高いことが分かる。図６Ｃから、音源１および２から音響信号が発せられているフレームの特徴量列は、クラスタ１およびクラスタ２の２個のクラスタに分かれて分類される可能性が高いことが分かる。
【００４０】
［第３実施形態］
図１に例示するように、本形態の信号区間分類装置３００は、第２実施形態の信号区間分類装置２００にさらに信号強調部３２２を追加したものである。すなわち、信号区間分類装置３００は、サンプリング周波数変換部１１１、信号同期部１１２、フレーム分割部１１３、周波数領域変換部１１４、ＶＡＤ判定部１１５、非音声パワー記憶部１１６、ゲイン正規化部１１７（正規化部）、調波構造化部１１８、特徴量列算出部１１９、ベクトル分類部１２０（分類部）、確率計算部２２１、および信号強調部３２２を有する。本形態の信号区間分類装置３００は、例えばＣＰＵやＲＡＭ等を備える汎用または専用のコンピュータに所定のプログラムが読み込まれて構成される装置である。信号区間分類装置３００に入力されたデータおよび処理されたデータは、図示していないメモリに格納され、必要に応じて各部から読み出される。その他は、第２実施形態と同じである。以下では、第１，２実施形態との相違点のみを説明し、第１，２実施形態と共通する事項には前述と同じ参照番号を用い、説明を省略する。
【００４１】
信号強調部３２２は、確率計算部２２１から出力された確率に対応する値と、何れかのチャネルｋの各フレームτに属するデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）とを受け取る。信号強調部３２２は、「確率に対応する値」を用い、音源から発せられたデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を強調し、雑音成分を抑圧する。すなわち、信号強調部３２２は、特徴量列が属する確率が所定の値ＴＨｐ以上（例えば７０％以上）であるクラスタに対応するフレームτのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を強調し、強調されたデジタル音響信号を出力する。例えば、信号強調部３２２は、上記の確率が所定の値以上となるフレームτのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を強調する。この場合、特定のクラスタに特徴量列が属する確率が所定の値以上となるフレームτのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を強調してもよい。この場合には、特定の音源から発せられた音響信号を強調することができる。或いは、何れかのクラスタに特徴量列が属する確率が所定の値以上となるフレームτのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を強調してもよい。この場合には、何れの音源から発せられた音響信号も強調し、雑音信号成分を抑制することができる。なお、所定の値ＴＨｐは、例えば、１個のクラスタのみが特定されるための値である。例えば、ＴＨｐは５０％よりも大きな値である。具体的には、例えばＴＨｐ＝７０％である。また、或るフレームτのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）を強調する方法としては、例えば、これらのデジタル音響信号に１を超える重みを乗じた値の列を強調されたデジタル音響信号とする方法がある。或いは、上記確率が所定の値未満のフレームのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）に０以上１未満の重みを乗じることによって、相対的に上記確率が所定の値以上のフレームのデジタル音響信号ｓｘｋ（ｉｋ，τ，０），・・・，ｓｘｋ（ｉｋ，τ，Ｌ−１）が強調されてもよい。
【００４２】
［特徴］
以上のように、各実施形態では、複数個のチャネルで得られた所定の時間区間ごとの周波数領域のデジタル音響信号を入力とし、チャネルごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した正規化信号を得、１個または複数個の基本周波数について、基本周波数の整数倍および基本周波数の整数倍の近傍の周波数の正規化信号を、基本周波数の整数倍および基本周波数の整数倍の近傍以外の周波数の正規化信号よりも優先した調波構造信号を得、複数個のチャネルに対して得られた調波構造信号から特徴量列を得、特徴量列をクラスタリングし、特徴量列が属する信号区間分類を得る。これらの処理では音響信号を観測するマイクロホンの位置に関する情報を用いない。そのため、自由に配置されたマイクロホン感度が異なる複数個のスマートフォン端末装置、固定電話、ボイスレコーダなどの録音機能をもつ端末装置で録音されたデジタル音響信号から、音源位置に基づいた信号区間分類を行うことができる。また、区間分類結果を用いて目的音区間とその他の音源区間に分類ができるため、雑音を抑圧し目的音を強調するフィルタの設計のための情報として利用できる。さらに、各々のフレームに含まれる音源（話者等）を判別できるため、目的音を強調すべきフィルタを選択することに利用することもできる。
【００４３】
さらに各実施形態では、サンプリング周波数変換部１１１でサンプリング周波数変換を行ってチャネル間のサンプリング周波数のずれを補正し、信号同期部１１２でチャネル間での同期を行って観測装置２０−ｋの個体差による影響を抑制した。そのため、各チャネルのＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値が互いに異なっていたり、サンプリング周波数の個体差があったりしても、信号区間分類を精度よく決定することができる。
【００４４】
また、音声信号の周波数領域信号はスパース性（信号が疎らにしか存在しない性質）を有する。上述の各実施形態では、周波数領域の信号をクラスタリングするため、同時発話が行われる環境であっても信号区間分類を行うことができる。
【００４５】
基本周波数の整数倍および基本周波数の整数倍の近傍の周波数の正規化信号を、基本周波数の整数倍および基本周波数の整数倍の近傍以外の周波数の正規化信号よりも優先した調波構造信号から特徴量列を得るため、音声や弦楽器等の調波構造を有する音響信号の信号区間分類を精度よく行うことができる。
【００４６】
［変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上記の各実施形態では、特徴量列算出部１１９が、チャネルｋ＝１，…，Ｋの調波構造信号Ｐｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）の大きさを正規化して得られる列を特徴量列ＰＨ（τ）（ω，ｋｆ０）とした（例えば、式（９））。しかしながら、チャネルｋ＝１，…，Ｋの調波構造信号Ｐｏｕｔτ（１）（ω，ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ω，ｋｆ０）それぞれの周波数成分の総和Σω Ｐｏｕｔτ（k）（ω，ｋｆ０）を計算することによって、調波構造信号のパワーＰｏｕｔτ（１）（ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ｋｆ０）に変換し、調波構造信号Ｐｏｕｔτ（１）（ｋｆ０），…，Ｐｏｕｔτ（Ｋ）（ｋｆ０）の大きさを正規化して得られる列を特徴量列ＰＨ（τ）（ｋｆ０）としてもよい。例えば、以下のように特徴量列ＰＨ（τ）（ｋｆ０）が生成されてもよい。
【数９】
2015045737.tif 000011
この場合、特徴量列としてＰＨ（τ）（ω，ｋｆ０）に代えてＰＨ（τ）（ｋｆ０）が用いられ、ベクトル分類部１２０の処理が行われる。その他は、上述した各実施形態と同じである。
【００４７】
また、ベクトル分類部１２０が、フレームごとに独立に特徴量列のクラスタリングを行うことに代え、複数個のフレームごとに特徴量列のクラスタリングを行ってもよい。すなわち、複数個のフレームに対応するすべての特徴量列が同じクラスタリングの対象とされてもよい。
【００４８】
或いは、第１実施形態においてベクトル分類部１２０が、各フレームτの特徴量列が最も多く分類されたクラスタＣＬをこのフレームτが属するクラスタとし、このフレームτのラベルθτをこのクラスタのラベルＣＬに更新してもよい。或いは、このフレームτの一部の特徴量列が最も多く分類されたクラスタＣＬをこのフレームτが属するクラスタとし、ラベルθτをこのクラスタのラベルＣＬに更新しもよいし、このフレームτの何れかの特徴量列が分類されたクラスタＣＬをこのフレームτが属するクラスタとし、ラベルθτをこのクラスタのラベルＣＬに更新しもよい。
【００４９】
例えば、すべてのチャネルｋ＝１，・・・，ＫのＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値が互いに同一であるならば、サンプリング周波数変換部１１１の処理を行わなくてもよい。この場合には「入力デジタル音響信号」がそのまま「変換デジタル音響信号」として信号同期部１１２に入力されてもよい。このような場合にはサンプリング周波数変換部１１１を設けなくてもよい。
【００５０】
さらにすべてのチャネルｋ＝１，・・・，ＫのＡ／Ｄ変換器２２−ｋのサンプリング周波数の公称値が互いに同一であり、それらの個体差の影響も小さいのであれば、サンプリング周波数変換部１１１および信号同期部１１２の処理を行わなくてもよい。この場合には「入力デジタル音響信号」がそのまま「デジタル音響信号」としてフレーム分割部１１３に入力されてもよい。このような場合にはサンプリング周波数変換部１１１および信号同期部１１２を設けなくてもよい。
【００５１】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００５２】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００５３】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００５５】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【符号の説明】
【００５６】
観測装置  ２０−１〜Ｋ
信号区間分類装置  １００，２００，３００
【図１】
2015045737.tif 000012
【図２】
2015045737.tif 000013
【図３】
2015045737.tif 000014
【図４】
2015045737.tif 000015
【図５】
2015045737.tif 000016
【図６】
2015045737.tif 000017