(57)【要約】【課題】音源分離装置において、音源数が未知であっても動作し、周波数成分間のパーミュテーションの問題を生ずることなく音源分離を可能とする。【解決手段】周波数領域変換部が各マイクにおける時間領域での観測信号をそれぞれ周波数領域の観測信号スペクトルに変換し、位相差計算部が各マイクにおける観測信号スペクトルの位相差（マイク間位相差）を計算し、モデル推定部が前記観測信号スペクトルをスペクトルの分布を示すスペクトル確率モデルに、前記マイク間位相差を位相差の分布を示す位相差確率モデルに、それぞれ逐次当てはめ、各確率モデルを評価する所定の評価関数を用いて信号抽出に適した各確率モデルのモデルパラメタと各音源の存在確率を計算する。この各確率モデルのモデルパラメタと各音源の存在確率を用いて有効音源を抽出し、当該有効音源に対応するマスクを用いて前記観測信号スペクトルを前記有効音源ごとに分離する。【選択図】図１
2011164467.tif 000002
【特許請求の範囲】
【請求項１】
混合された複数の音源からの信号を複数個のマイクで観測し、混合された各信号を抽出するモデル推定装置であって、
各マイクにおける時間領域での観測信号をそれぞれ周波数領域の観測信号スペクトルに変換する周波数領域変換部と、
各マイクにおける観測信号スペクトル間の位相差（以下、「マイク間位相差」という。）を計算する位相差計算部と、
前記観測信号スペクトルをスペクトルの分布を示すスペクトル確率モデルに、また、前記マイク間位相差を位相差の分布を示す位相差確率モデルに、それぞれ逐次当てはめ、各確率モデルを評価する所定の評価関数を用いて、信号抽出に適した各確率モデルのモデルパラメタを計算するモデル推定部と、
を備えるモデル推定装置。
【請求項２】
請求項１に記載のモデル推定装置であって、
前記評価関数は、それぞれの信号について、各周波数成分の強弱がより同期しているほど、信号抽出により適するという評価を与える
ことを特徴とするモデル推定装置。
【請求項３】
請求項１又は２に記載のモデル推定装置であって、
前記モデル推定部は、
前記観測信号スペクトルと前記マイク間位相差と、パラメタ保持部に記憶された、前記位相差確率モデルのモデルパラメタと前記スペクトル確率モデルのモデルパラメタと各音源の存在確率（以下、「混合重み」という。）とから、当該観測信号スペクトルと当該マイク間位相差とが各時間周波数において各音源からの信号によるものである確率（以下、「事後確率」という。）を計算する事後確率計算部と、
前記事後確率を用いて前記スペクトル確率モデルのモデルパラメタを更新するスペクトルパラメタ更新手段と、前記事後確率を用いて前記位相差確率モデルのモデルパラメタを更新する位相差パラメタ更新手段と、前記事後確率を用いて前記混合重みを更新する混合重み更新手段と、を備えるパラメタ更新部と、
前記パラメタ更新部で更新した、各モデルパラメタと混合重みを記憶するパラメタ保持部と、
を備える
ことを特徴とするモデル推定装置。
【請求項４】
請求項１乃至３のいずれかに記載のモデル推定装置と、
更新後の前記混合重みに基づき有効音源を抽出し、各有効音源に対応する更新後の前記事後確率を用いてマスクを作成し、当該マスクを用いて前記観測信号スペクトルを前記有効音源ごとに分離した分離信号を生成する信号分離部と、
各有効音源ごとの前記分離信号を、時間領域の信号に変換する時間領域変換部と、
を備える音源分離装置。
【請求項５】
混合された複数の音源からの信号を複数個のマイクで観測し、混合された各信号を抽出するモデル推定方法であって、
各マイクにおける時間領域での観測信号をそれぞれ周波数領域の観測信号スペクトルに変換する周波数領域変換ステップと、
各マイクにおける観測信号スペクトル間の位相差を計算する位相差計算ステップと、
前記観測信号スペクトルをスペクトルの分布を示すスペクトル確率モデルに、また、前記観測信号スペクトル間の位相差を位相差の分布を示す位相差確率モデルに、それぞれ逐次当てはめ、各確率モデルを評価する所定の評価関数を用いて、信号抽出に適した各確率モデルのモデルパラメタを計算するモデル推定ステップと、
を備えるモデル推定方法。
【請求項６】
請求項５に記載のモデル推定方法であって、
前記評価関数は、それぞれの信号について、各周波数成分の強弱がより同期しているほど、信号抽出により適するという評価を与える
ことを特徴とするモデル推定方法。
【請求項７】
請求項５又は６に記載のモデル推定方法であって、
前記モデル推定ステップは、
前記観測信号スペクトルと前記観測信号スペクトル間の位相差と、パラメタ保持部に記憶された、前記位相差確率モデルのモデルパラメタと前記スペクトル確率モデルのモデルパラメタと各音源の存在確率（以下、「混合重み」という。）とから、当該観測信号スペクトルと当該観測信号スペクトル間の位相差とが各時間周波数において各音源からの信号によるものである確率（以下、「事後確率」という。）を計算する事後確率計算ステップと、
前記事後確率を用いて前記スペクトル確率モデルのモデルパラメタを更新するスペクトルパラメタ更新サブステップと、前記事後確率を用いて前記位相差確率モデルのモデルパラメタを更新する位相差パラメタ更新サブステップと、前記事後確率を用いて前記混合重みを更新する混合重み更新サブステップと、を実行するパラメタ更新ステップと、
前記パラメタ更新ステップで更新した、各モデルパラメタと混合重みをパラメタ保持部に記憶するパラメタ保持ステップと、
を、所定の回数又は前記各モデルパラメタと前記混合重みの値が収束するまで繰り返し実行する
ことを特徴とするモデル推定方法。
【請求項８】
請求項５乃至７のいずれかに記載のモデル推定方法と、
更新後の前記混合重みに基づき有効音源を抽出し、各有効音源に対応する更新後の前記事後確率を用いてマスクを作成し、当該マスクを用いて前記観測信号スペクトルを前記有効音源ごとに分離した分離信号を生成する信号分離ステップと、
各有効音源ごとの前記分離信号を、時間領域の信号に変換する時間領域変換ステップと、
を実行する音源分離方法。
【請求項９】
請求項５乃至８のいずれかに記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数信号が混在している音響データからそれぞれの原信号を推定する音源分離技術に属し、特にそれぞれの原信号やそれらがどのように混ざったかの情報を用いずに、複数信号が混在している音響データのみからそれぞれの原信号を推定するブラインド音源分離技術に属するモデル推定装置、音源分離装置、それらの方法及びプログラムに関する。
【背景技術】
【０００２】
従来のブラインド音源分離技術（例えば非特許文献１）に基づいて構成された音源分離装置１０を図９に示す。ある時刻ｔにおいてＭ個の音源から放音されノイズとともに混合された信号を２個のマイク＃１、＃２で観測し、
【０００３】
【数１】
2011164467.tif 000003
【０００４】
を得たとする。
【０００５】
まず、周波数領域変換部１１０において、上記時間領域の観測信号を短時間フーリエ変換により
【０００６】
【数２】
2011164467.tif 000004
【０００７】
に変換する。ｎはフーリエ変換を行う時間フレームのインデックスであり、ｆは周波数成分のインデックスである。以後、断りのない場合、観測信号とは周波数領域の信号を指すとし、時間領域の観測信号の場合はそれを明記する。
【０００８】
ここで観測信号スペクトルは、
【０００９】
【数３】
2011164467.tif 000005
【００１０】
で表されると仮定する。ここで、ｈf,L,mは音源ｍ（ｍ＝１、２、・・・、Ｍ）からマイクＬ（Ｌ＝１、２）までの周波数応答、Ｓn,f,mは音源ｍの信号の周波数領域表現、ｎ(＝0,・・・,Ｎｎ−1)は時刻、
【００１１】
【数４】
2011164467.tif 000006
【００１２】
は周波数、ｆｓはサンプリング周波数、Ｆはサンプリング点数、を表す。
【００１３】
音源分離を行うために、音源がスパースである、すなわち音源信号ｓn,f,mはまれにしか大きな値をとらず各時間周波数 (ｎ,ｆ)では高々１個の音源Ｓn,f,mのみが大きな値をとることを仮定する。これは、互いに異なる音声信号などで確認される性質である。これを仮定すると式(1)は、
【００１４】
【数５】
2011164467.tif 000007
【００１５】
と書ける。ここで、Ｓn,f,mは時間周波数 (ｎ,ｆ)にて支配的な音源信号である。
【００１６】
次に、位相差計算部１２０において、マイク＃１とマイク＃２における観測信号スペクトル間の位相差（マイク間位相差と呼ぶ）Ａn,f＝arg[Ｘn,f,1／Ｘn,f,2]を計算する。このマイク間位相差Ａn,fは、信号の音源とマイクとの位置関係によって定まり、音源の位置が互いに異なっていれば、Ａn,fは各音源固有の値をとる。
【００１７】
次に、位相差分類部３１において、マイク間位相差Ａn,fを周波数ごとにクラスタリングする。スパース性を仮定した式(2)より、音源ｍが支配的な時間周波数(ｎ,ｆ)では音源ｍに対応する位相差μn,f,mが、音源ｍ´が支配的な時間周波数(ｎ,ｆ)では音源ｍ´に対応する位相差μn,f,m´が求まっているため、位相差Ａn,fをクラスタリングすると、各音源成分に対応するクラスタが形成される。ここで従来法では、クラスタリングでいくつのクラスタを作るかを指定するため、音源数保持部３２から音源数Ｍを読み込み、位相差分類部３１ではk-means法などを用いてクラスタリングを行う。クラスタリングは周波数ごとに行われるため、クラスタのインデックスと、そのクラスタに対応する音源のインデックスとの対応関係は、周波数ごとにばらばらである。例えば、ある周波数ｆでは１番目のクラスタが音源１に、２番目のクラスタが音源２に対応するが、別の周波数ｆ´では１番目のクラスタが音源２に、２番目のクラスタに音源１に対応する、というように、クラスタと音源との対応関係がばらばらになってしまうことが一般的である。これをパーミュテーションの問題という。そこで、このパーミュテーションの問題を解決するために、パーミュテーション解決部３３を設け、ここで全ての周波数についてクラスタインデックスと音源のインデックスとを揃え、クラスタと音源とが完全に一対一に対応するように整える。これは例えば次のように行われる。まず、各周波数において得られた各クラスタについて、そのクラスタ内の位相差Ａn,fの平均値Ａfを求める。次に、平均値Ａfを周波数ｆで正規化したＡf／２πｆをクラスタリングし、同じ音源に対応する周波数成分をまとめる。これにより全ての周波数でクラスタインデックスと音源のインデックスを揃えることができる。最終的には、ｍ番目のクラスタＣｍには音源ｍに対応するＡn,fの成分のみが含まれる。
【００１８】
次に音源分離部４０において、Ｃｍを参照し音源ｍに対応するクラスタを形成している時間周波数(ｎ,ｆ)では１を、それ以外の時間周波数(ｎ,ｆ)では０をとるマスクＭn,f,mを作る。これを全ての音源ｍについて作る。更に、マスクＭn,f,mを観測信号の１つ（ここではＸn,f,1）に乗算し、分離信号Ｙn,f,mを得る。
【００１９】
Ｙn,f,m＝Ｘn,f,1・Ｍn,f,m          (3)
最後に、時間領域変換部１５０において、得られた分離信号Ｙn,f,mを時間領域信号に変換する。
【先行技術文献】
【非特許文献】
【００２０】
【非特許文献１】H.Sawada, S.Araki and S.Makino, "A two-stage frequency-domain blind source separation method for underdetermined convolutive mixtures", Proc. WASPAA2007, 2007, p.139-142
【発明の概要】
【発明が解決しようとする課題】
【００２１】
上記のように従来の手法では、周波数間のパーミュテーションの問題が生じるため、それを解決することが不可欠である。しかし解決に際しては、パーミュテーション解決部３３でよく用いられるＡf／２πｆのクラスタリングが、部屋の残響が多い場合やマイク間隔が広い場合にうまく動作しないという問題がある。すなわち、部屋の残響が多い場合にはマイク間位相差が周波数依存性を持つためにＡf／２πｆの値が各周波数で一定の値をとらず、Ａf／２πｆのクラスタリングが困難になる。また、マイク間隔が広い場合には、Ａn,f＝arg[ｘn,f,1／ｘn,f,2]の計算において実際のマイク間位相差は±２πを超えるにもかかわらず、argの計算でＡn,fの値が−２π≦Ａn,f≦２πの範囲に押さえこまれるため、Ａf／２πｆの値が各周波数で一定の値を取らず、Ａf／２πｆのクラスタリングが困難になる。また、従来の手法では分離すべき音源数Ｍがわかっている必要があるため、音源数Ｍが未知の場合は適用が困難であった。
【００２２】
本発明の目的は、音源数が未知であっても動作し、周波数成分間のパーミュテーションの問題を生ずることなく良好に音源分離が可能なモデル推定装置及びそれを用いた音源分離装置を提供することにある。
【課題を解決するための手段】
【００２３】
本発明のモデル推定装置は、混合された複数の音源からの信号を複数個のマイクで観測し、混合された各音源の信号を抽出するモデル推定装置であり、周波数領域変換部と位相差計算部とモデル推定部とを備える。周波数領域変換部は、各マイクにおける時間領域での観測信号をそれぞれ周波数領域の観測信号スペクトルに変換する。位相差計算部は、各マイクにおける観測信号スペクトル間の位相差（マイク間位相差）を計算する。モデル推定部は、前記観測信号スペクトルをスペクトルの分布を示すスペクトル確率モデルに、また、前記マイク間位相差を位相差の分布を示す位相差確率モデルに、それぞれ逐次当てはめ、各確率モデルを評価する所定の評価関数を用いて、信号抽出に適した各確率モデルのモデルパラメタと各音源の存在確率を計算する。
【００２４】
また、本発明の音源分離装置は、前記のモデル推定装置と信号分離部と時間領域変換部とを備える。信号分離部は、前記各音源の存在確率に基づき有効音源を抽出し、各確率モデルのモデルパラメタと各音源の存在確率に基づき計算した事後確率を用いて各有効音源に対応するマスクを作成し、当該マスクを用いて前記観測信号スペクトルを前記有効音源ごとに分離した分離信号を生成する。時間領域変換部は、各有効音源ごとの前記分離信号を、時間領域の信号に変換する。
【発明の効果】
【００２５】
本発明のモデル推定装置及びそれを用いた音源分離装置によれば、音源数が未知であっても動作し、かつ、周波数成分間のパーミュテーションの問題を生ずることなく良好に音源分離をすることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明のモデル推定装置１００の構成例を示すブロック図。
【図２】本発明のモデル推定装置１００の処理フロー例を示す図。
【図３】信号の周波数成分が同期する様子を示す図。
【図４】本発明の音源分離装置２００の構成例を示すブロック図。
【図５】本発明の音源分離装置２００の処理フロー例を示す図。
【図６】マスク生成部１４２により得られるマスクの例を示す図。
【図７】図６において、ｍ＝４、５の場合の位相差パラメタ（平均値）の周波数特性とスペクトルパラメタの時間特性の例を示す図。
【図８】本発明のモデル推定装置２００と従来の音源分離装置１０との性能比較を示す図。
【図９】従来の音源分離装置１０の構成例を示すブロック図。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、詳細に説明する。
【実施例１】
【００２８】
図１に本発明のモデル推定装置１００の構成例を示すブロック図を、図２にその処理フロー例を示す。モデル推定装置１００は、ノイズとともに混合された複数の音源からの信号を複数個のマイクで観測し、混合された各信号を抽出するモデル推定装置であり、周波数領域変換部１１０と位相差計算部１２０とモデル推定部１３０とを備える。
【００２９】
周波数領域変換部１１０と位相差計算部１２０は従来の音源分離装置１０と同様のものである。すなわち、ある時刻ｔにおいてＭ個の音源から放音され混合された信号を、２個のマイク＃１、＃２で観測することにより得られた
【００３０】
【数６】
2011164467.tif 000008
【００３１】
を、周波数領域変換部１１０において短時間フーリエ変換により
【００３２】
【数７】
2011164467.tif 000009
【００３３】
に変換する（Ｓ１）。ｎはフーリエ変換を行うフレームのインデックスであり、ｆは周波数成分のインデックスである。位相差計算部１２０は、マイク＃１の観測信号スペクトルとマイク＃２の観測信号スペクトルの位相差（以下、「マイク間位相差」という。）Ａn,f＝arg[Ｘn,f,1／Ｘn,f,2]を計算する（Ｓ２）。
【００３４】
以後、マイク＃１の観測信号スペクトルをＸn,fと表記し、これを説明に用いる。
【００３５】
モデル推定部１３０は、マイク間位相差を位相差の分布を示す位相差確率モデルに、また、観測信号スペクトルをスペクトルの分布を示すスペクトル確率モデルにそれぞれ逐次当てはめ、各確率モデルを評価する所定の評価関数を用いて、信号抽出に適した各確率モデルのモデルパラメタ等を計算する（Ｓ３〜５）。
【００３６】
位相差の分布を示す位相差確率モデル及びスペクトルの分布を示すスペクトル確率モデルは以下のようにモデル化されたものである。
【００３７】
音源の位置が固定で、かつ全ての音源のマイクから見た方向が異なる場合、マイク間位相差Ａn,fはそれぞれの音源ｍごとに固有の値をとる。そのため、本発明では音源ｍに関するマイク間位相差Ａn,fの分布を平均μf,m、分散σ2f,mの正規分布で以下のようにモデル化する。
【００３８】
【数８】
2011164467.tif 000010
【００３９】
これを、位相差確率モデルと呼ぶ。なお、位相差の分布は周波数ｆごとに定義する。なお、Ｎは正規分布
【００４０】
【数９】
2011164467.tif 000011
【００４１】
である。以上に基づき、位相差確率モデルのモデルパラメタを、
θＡ＝{μf,m,σ2f,m}
と表すことができる。
【００４２】
また、観測信号スペクトルＸn,fをモデル化するため、本発明では式(2)と同様に音源のスパース性を仮定する。加えて、記載の平易化のため、音源ｍからマイク１までの周波数応答|ｈf,1,m|＝１、arg(ｈf,1,m)＝０とする。これにより、式(2)は、
【００４３】
【数１０】
2011164467.tif 000012
【００４４】
と表すことができる。このような仮定を元に、観測信号スペクトルＸn,fを平均値０、分散γ2n,f,mの複素正規分布で以下のようにモデル化する。
【００４５】
【数１１】
2011164467.tif 000013
【００４６】
これをスペクトル確率モデルと呼ぶ。ここで、Ｎｃは複素正規分布
【００４７】
【数１２】
2011164467.tif 000014
【００４８】
である。またＭは混合数であり、音源数が既知であればそれと同じ数を用い、音源数が未知であれば十分に大きな数（例えばＭ＝１０）を用いる。また、分散γ2n,f,mは音源ｍのパワーの期待値Ｅ[|Ｓn,f,m|２]を意味する量である。更に、γn,f,mを時間依存ではあるが周波数には依存しないスペクトル包絡ρn,mと時間・周波数の双方に依存するスペクトル形状ａn,f,mとを用いて、以下のようにモデル化する。
【００４９】
γn,f,m＝ａn,f,m・ρn,m      (7)
ここで、スペクトル包絡ρn,mは信号の周波数成分のオンセット（信号のパワーが強い成分の開始時点）やオフセット（信号のパワーが強い成分の終了時点）が、全ての周波数で同期する性質をモデル化している。図３に同期のイメージを示す。色が濃いほどパワーが強いことを示し、この図から各周波数成分のパワーが強くなっている部分がほぼ同じ時期に同期していることがわかる。また、本発明ではスペクトル形状ａn,f,mを観測信号スペクトルの振幅|Ｘn,f|で代用する。すなわち、ａn,f,m＝|Ｘn,f|とする。以上に基づき、スペクトル確率モデルのモデルパラメタを
θＸ＝{ρ2n,m}
と表すことができる。
【００５０】
以上より、観測データ（マイク間位相差Ａn,fと観測信号スペクトルＸn,f）のモデルｐn,f(Ｘn,f,Ａn,f；θ)は、
【００５１】
【数１３】
2011164467.tif 000015
【００５２】
となる。ここで、αｍは音源ｍの存在確率ｐ(ｍ；θ）であり、Σｍαｍ＝１である。αｍを以下、混合重みと呼ぶ。また、ｐn,f(Ｘn,f,Ａn,f|ｍ；θ)は、マイク間位相差Ａn,fと観測信号スペクトルＸn,fが互いに独立であると仮定し、
【００５３】
【数１４】
2011164467.tif 000016
【００５４】
となる。ここで、ｗａとｗｘはそれぞれ、位相差の尤度に対する重みとスペクトルの尤度に対する重みである。
【００５５】
モデル推定部１３０では、以上のようにモデル化された位相差確率モデル及びスペクトル確率モデルを用い、マイク間位相差Ａn,fを位相差確率モデルに、また、観測信号スペクトルＸn,fをスペクトル確率モデルにそれぞれ逐次当てはめ、各確率モデルを評価する所定の評価関数を用いて、事後確率（説明は後述する。）と信号抽出に適したパラメタ集合θ＝{θＡ,θＸ,αｍ}＝{μf,m,σ2f,m,ρ2n,m,αｍ}とを求める。
【００５６】
モデル推定部１３０は、事後確率計算部１３１とパラメタ更新部１３２とパラメタ保持部１３３とを備える。なお、モデル推定部１３０での処理に先立ち、パラメタ集合θ＝{μf,m,σ2f,m,ρ2n,m,αｍ}の初期値θ０をパラメタ保持部１３３に用意しておき、また、パラメタ更新回数インデックスｔの初期値、混合数Ｍ、及びパラメタ更新回数の最大値Ｔ又は収束判定の閾値Δを設定しておく（Ｓ０）。なお、モデル推定部１３０での処理の前であればいつ行っても構わない。
【００５７】
事後確率計算部１３１は、観測信号スペクトルＸn,fとマイク間位相差Ａn,fと、パラメタ保持部に記憶された現在のパラメタ集合θｔ＝{μtf,m,(σ2f,m)t,(ρ2n,m)t,αtｍ}とから、事後確率ｐｍn,f、すなわちマイク間位相差Ａn,fと観測信号スペクトルＸn,fとが各時間周波数(ｎ,ｆ)において各音源ｍからの信号によるものである確率を以下のように計算する（Ｓ３）。
【００５８】
【数１５】
2011164467.tif 000017
【００５９】
ここで、ｗａとｗｘは例えばｗａ＝１．０、ｗｘ＝０．２などを用いる。
【００６０】
パラメタ更新部１３２は、スペクトルパラメタ更新手段１３２ａと位相差パラメタ更新手段１３２ｂと混合重み更新手段１３２ｃとを備え、現在のパラメタ集合θｔをθt+1に更新する（Ｓ４）。
【００６１】
スペクトルパラメタ更新手段１３２ａは、事後確率ｐｍn,fを用いてスペクトル確率モデルのモデルパラメタ(ρ2n,m)tを、次の計算により更新する（Ｓ４−１）。
【００６２】
【数１６】
2011164467.tif 000018
【００６３】
ここで、Ｎｆは周波数成分の数である。
【００６４】
位相差パラメタ更新手段１３２ｂは、事後確率ｐｍn,fとマイク間位相差Ａn,fとを用いて位相差確率モデルのモデルパラメタθＡｔ＝{μtf,m,(σ2f,m)t}を、次の計算により更新する（Ｓ４−２）。
【００６５】
【数１７】
2011164467.tif 000019
【００６６】
混合重み計算手段１３２ｃは、事後確率ｐｍn,fを用いて混合重みαｔｍを次の計算により更新する（Ｓ４−３）。
【００６７】
【数１８】
2011164467.tif 000020
【００６８】
ここで、Ｎｎは時間フレームの数である。
【００６９】
パラメタ更新部１３２における各更新式(11)〜(14)の導出根拠を説明する。パラメタ更新はＥＭアルゴリズムを導出してそれに基づき行う。なお、正規分布のインデックスｍはＥＭアルゴリズムにおける隠れ変数として扱う。まず、最尤推定のためのコスト関数Ｌ(θ)は次のように与えられる。
【００７０】
【数１９】
2011164467.tif 000021
【００７１】
ここで、ｐ(ｍ|θ)は混合重みαｍであり、ｐn,f(Ｘn,f,Ａn,f|ｍ;θ)は式(9)の通りである。
また、ｗａとｗｘはそれぞれ、位相差との尤度とスペクトルの尤度に対する重みである。そして、ＥＭアルゴリズムで用いる評価関数（Ｑ関数）は次のように与えられる。
【００７２】
【数２０】
2011164467.tif 000022
【００７３】
このＱ関数はオンセットとオフセットが同期するスペクトル包絡が１つのクラスタにクラスタリングされているほど高い評価値を与える。すなわち、それぞれの信号について、各周波数成分の強弱がより同期しているほど信号抽出により適するという評価を与える。
更新後のパラメタ集合θｔ+1＝{μｔ+1f,m,(σ2f,m)ｔ+1,(ρ2n,m)ｔ+1,αｔ+1ｍ}は、このＱ関数を最大にするものとして推定される。すなわち、スペクトル確率モデルのモデルパラメタ(ρ2n,m)ｔ+1を求める式(11)は、
【００７４】
【数２１】
2011164467.tif 000023
【００７５】
により導出され、位相差確率モデルのモデルパラメタμｔ+1f,m、(σ2f,m)ｔ+1を求める式(12)、(13)はそれぞれ、
【００７６】
【数２２】
2011164467.tif 000024
【００７７】
により導出され、混合重みαｔ+1ｍを求める式(14)は、
【００７８】
【数２３】
2011164467.tif 000025
【００７９】
により導出される。
【００８０】
パラメタ保持部１３３は、パラメタ更新部１３２での更新処理により得られたパラメタ集合θｔ+1を保存し、事後確率推定部１３１及びパラメタ更新部１３２での次回の処理の際にパラメタ集合θｔとして提供する。
【００８１】
モデル推定部１３０における、事後確率計算部１３１、パラメタ更新部１３２（及びパラメタ保持部１３３への更新データの読み書き）は、事前に設定したパラメタ更新回数の最大値Ｔに達するか、又は各パラメタ値の更新による変動幅が収束判定の閾値Δより小さくなるまで反復して行う。そして、モデル推定部１３０は、反復終了後のパラメタ集合θｅ＝{μef,m,(σef,m)2,(ρen,m)2,αeｍ}及びその時点での事後確率ｐｍｅn,fを出力する。
【実施例２】
【００８２】
実施例１で説明したモデル推定装置１００に、図４に示すように信号分離部１４０と時間領域変換部１５０とを追加することで音源分離装置２００を構成することができる。また、処理フローを図５に示す。
【００８３】
信号分離部１４０は、有効音源推定部１４１とマスク作成部１４２と分離信号作成部１４３とを備え、観測信号スペクトルＸn,fから各音源の信号を分離する（Ｓ６）。
【００８４】
有効音源推定部１４１は、計算に用いた混合数Ｍ個の各インデックスｍのうち、実際に存在する音源（以下、「有効音源」という。）のインデックスを抽出する。具体的には、音源数が既知であり混合数Ｍ＝音源数である場合には、全てのインデックスｍを出力する。音源数が未知である場合には、更新後の混合重みαeｍのうち、十分大きな値（例えばαeｍ＞ε（εは１０−６など））を満たすｍを有効音源と判定し、そのｍを全て出力する。
【００８５】
マスク作成部１４２は、有効音源として出力した音源のインデックスｍに対応するそれぞれの音源を抽出するマスクＭn,f,mを作成する。マスクＭn,f,mは
更新後の事後確率ｐｍｅn,fを用いて、
Ｍn,f,m＝ｐｍｅn,f          (17)
により求めることができる。
【００８６】
分離信号作成部１４３は、マスクＭn,f,mを観測信号スペクトルＸn,fに乗算し、分離信号Ｙn,f,mを計算する。
【００８７】
Ｙn,f,m＝Ｘn,f・Ｍn,f,m        (18)
最後に時間領域変換部１５０において、分離信号Ｙn,f,mを音源ｍごとに時間領域信号ｙm(t)に変換して出力する。
【００８８】
以上、実施例１、２で説明したモデル推定装置１００及び音源分離装置２００により、音源数が未知であっても有効音源を抽出することができ、周波数成分間のパーミュテーションの問題を生ずることなく良好に音源分離をすることができる。その理由を説明する。
【００８９】
・有効音源を抽出できる理由
スペクトルのモデルをあらわす式(6)は、少ない数のクラスタが大きい分散を持っている方が、その尤度が大きくなることを示している。すなわち、式(6)は観測信号をなるべく少数のクラスタで説明する効果を持つ。これにより、有効音源に相当するインデックスｍに対応する混合重みαｍのみが大きな値を持ち、その他のインデックスｍ´に対応する混合重み（αｍ´）は限りなく０に近くなるため、これにより有効音源を抽出することができる。
【００９０】
・パーミュテーションの問題が生じない理由
評価関数である式(16)の第一項の最大化は、各周波数における位相差クラスタリングによる分離と解釈でき、第二項の最大化は、オンセットやオフセットが同期するスペクトル包絡のクラスタリングと解釈できる。すなわち、式(16)は第二項の最大化により、周波数ごとのパーミュテーションの問題を本質的に生じさせないようにしながら、第一項で分離を行える構成となっている。
【実施例３】
【００９１】
上記の各実施例では、スペクトル形状ａn,f,mを観測信号スペクトルの振幅|Ｘn,f|で代用したが、スペクトル形状を時間に依存しないパラメタａf,mとしてモデルパラメタθに含め、スペクトルパラメタ更新手段１３２ａで計算してもよい。この場合、スペクトルパラメタ更新手段１３２ａでは以下の式(19)〜(21)の計算を行う。
【００９２】
【数２４】
2011164467.tif 000026
【００９３】
ここで、式(20)はａf,mとρn,mのスケーリングの不定性を解消するために、Σfａf,m＝１の制約を与えたものである。
【実施例４】
【００９４】
上記の各実施例では、マイクが２個の場合、すなわちマイク間位相差としてマイク＃１とマイク＃２との位相差Ａn,f＝arg[Ｘn,f,1／Ｘn,f,2]を用いたが、２個以上のマイクを用いることもできる。すなわち、マイク＃ｊとマイクｊ´における観測信号の位相差Ａjj'n,f＝arg[Ｘn,f,j／Ｘn,f,j']を全てのマイクペアについて並べた縦ベクトルを考えて、マイク間位相差をモデル化することもできる。この場合、式(4)を複数マイクに拡張し、音源ｍに係るマイク間位相差の分布を、
【００９５】
【数２５】
2011164467.tif 000027
【００９６】
でモデル化する。この時、位相差パラメタ更新手段１３２ｂでは、
【００９７】
【数２６】
2011164467.tif 000028
【００９８】
を計算する。
【００９９】
＜発明の効果＞
本発明の効果を確認するため、従来法及び本発明の方法で音源分離の実験を行った。音源数・マイク数はともに２とした。また、サンプリング周波数は８ｋＨｚ、マイク間隔は４ｃｍ及び２０ｃｍである。発明法において、混合数Ｍ＝８とした。一方、従来法としてはｋ−ｍｅａｎｓ法を用いてマイク間位相差のクラスタリングを行った。ｋ−ｍｅａｎｓ法で与える音源数(=クラスタリング数)は、発明法の混合数と同じくｋ＝８とした。
【０１００】
図６は、混合数Ｍ＝８を仮定して本発明の方法を用いた時に得られるマスクＭn,f,m＝ｐｍｅn,fをｍ＝１〜８のそれぞれ場合についてプロットしたものである。図６より、本発明の方法では２つの信号に対するマスクが大きなパワーを持つことがわかる。この結果と式(14)により有効音源の抽出が可能であることがわかる。
【０１０１】
図７は、図６のｍ＝４とｍ＝５について、得られた位相差確率モデルのモデルパラメタのうちμf,m（図７(a)）の周波数特性と、スペクトル確率モデルのモデルパラメタρn,m（図７(b)）の時間特性を示したものである。図７(a)より、線形位相特性を持つパラメタμf,mが得られていることがわかる。また、図７(b)より、信号のスペクトル包絡がスペクトルパラメタρn,mにより得られていることがわかる。
【０１０２】
図８は、２０通りの音声組み合わせについて音源分離性能（信号対妨害音比(Signal to interference ratio: SIR)と信号対歪比(Signal to distortion ratio: SDR))を評価し、その平均を求めたものである。図８において、ｋ−ｍｅａｎｓが従来法の、ｐｒｏｐｏｓｅｄが本発明の方法の性能を示す。本発明の方法では従来法より高い分離性能が得られることがわかる。
【０１０３】
以上のモデル推定装置及び音源分離装置をコンピュータによって実現する場合、割当制御部が担う処理機能はプログラムによって記述される。そしてパソコンや携帯端末上で、入力手段や各種記憶手段とＣＰＵとのデータのやりとりを通じてこのプログラムを実行することにより、ハードウェアとソフトウェアが協働し、上記処理機能がコンピュータ上で実現されて本発明のモデル推定装置及び音源分離装置の作用効果を奏する。なおこの場合、処理機能の少なくとも一部をハードウェア的に実現することとしてもよい。また、上記の各種処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【図１】
2011164467.tif 000029
【図２】
2011164467.tif 000030
【図４】
2011164467.tif 000031
【図５】
2011164467.tif 000032
【図７】
2011164467.tif 000033
【図８】
2011164467.tif 000034
【図９】
2011164467.tif 000035
【図３】
2011164467.tif 000036
【図６】
2011164467.tif 000037