(57)【要約】【課題】  各時間周波数成分に寄与する音源信号が複数の場合でも音源分離の精度を向上する。【解決手段】  複数の音源より発せられて混合された音響信号から変換された電気的な観測信号を音源分離する方法ないし装置であって、入力された音源集合候補を用いて、音源集合占有度を計算し、計算された音源集合占有度を用いて、音源分離するための情報を生成する。【選択図】  図１
2018028620.tif 000002
【特許請求の範囲】
【請求項１】
複数の音源より発せられて混合された音響信号から変換された電気的な観測信号を音源分離する方法であって、
音源分離装置が、
入力された音源集合候補を用いて、音源集合占有度を計算し、
計算された音源集合占有度を用いて、音源分離するための情報を生成すること
を特徴とする音源分離方法。
【請求項２】
請求項１に記載の音源分離方法であって、
前記音源分離装置の計算部と更新部が、
入力された音源集合候補の制約を受けるモデルのパラメータが収束するように計算し、
前記音源分離装置の分離部が、
収束したモデルのパラメータと、計算された音源集合占有度を用いて、マルチチャネルウィナーフィルタを生成し、
生成されたウィナーフィルタを観測信号へ適用して音源分離すること
を特徴とする音源分離方法。
【請求項３】
請求項１に記載の音源分離方法であって、
前記音源分離装置の計算部が、
観測信号の時間周波数領域それぞれに対して、観測信号に寄与する音源集合が、入力された音源集合候補であるという事後確率を、音源集合占有度として計算すること
を特徴とする音源分離方法。
【請求項４】
請求項２に記載の音源分離方法であって、
前記計算部と前記更新部が、
入力された音源集合候補における音源集合の候補数のモデルのパラメータが収束するように計算すること
を特徴とする音源分離方法。
【請求項５】
請求項４に記載の音源分離方法であって、
前記計算部が、
観測信号の時間周波数領域それぞれに対して、観測信号に寄与する音源集合が、入力された音源集合候補であるという事後確率を、音源集合占有度として計算することにより、ＥＭ処理における期待値処理を行い、
前記更新部が、
ＥＭ処理における最大化処理を行い、
ＥＭ処理によりモデルのパラメータが収束するように計算すること
を特徴とする音源分離方法。
【請求項６】
請求項１に記載の音源分離方法であって、
前記音源分離装置の分離部が、
計算された音源集合占有度を用いて、マスクを生成し、
生成されたマスクを観測信号へ適用して音源分離すること
を特徴とする音源分離方法。
【請求項７】
請求項１に記載の音源分離方法であって、
前記音源分離装置の計算部が、
観測信号の時間領域それぞれに対して、観測信号に寄与する音源集合が、入力された音源集合候補であるという事後確率を、音源集合占有度として計算すること
を特徴とする音源分離方法。
【請求項８】
複数の音源より発せられて混合された音響信号から変換された電気的な観測信号を音源分離する音源分離装置であって、
入力された音源集合候補を用いて音源集合占有度を計算する計算部と、
計算された音源集合占有度を用いて、音源分離するための情報を生成する分離部と、を備えたこと
を特徴とする音源分離装置。
【請求項９】
請求項８に記載の音源分離装置であって、
前記複数の音源の個数と、音源集合候補が入力されるユーザインターフェースを、さらに備えたこと
を特徴とする音源分離装置。
【請求項１０】
請求項９に記載の音源分離装置であって、
前記ユーザインターフェースは、複数種類の音源集合候補を表示し、表示された複数種類の音源集合候補の中から選択された音源集合候補を、音源集合候補の入力とすること
を特徴とする音源分離装置。
【請求項１１】
請求項１０に記載の音源分離装置であって、
複数種類の音源集合候補の表示は、前記音源分離装置の設置される環境に関する情報の表示であること
を特徴とする音源分離装置。
【請求項１２】
請求項８に記載の音源分離装置と、
前記音源分離装置により分離された観測信号を音声認識する認識装置と、
音声認識の結果に基づいて、案内の情報を出力する音声合成装置と、を備えたこと
を特徴とするロボット。
【請求項１３】
請求項８に記載の音源分離装置と、
前記音源分離装置により分離された観測信号を音声認識する認識部と、
音声認識の結果に基づいて、情報を出力するディスプレイと、を備えたこと
を特徴とするデジタルサイネージ。
【請求項１４】
複数の音源より発せられて混合された音響信号から変換された電気的な観測信号を音源分離するコンピュータで実行されるプログラムであって、
前記コンピュータが、
入力された音源集合候補を用いて、音源集合占有度を計算する計算機能と、
計算された音源集合占有度を用いて、音源分離するための情報を生成する分離機能と、を実現すること
を特徴とする音源分離プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源分離方法、装置およびプログラムに関するものである。
【背景技術】
【０００２】
空中で混合される音を発する音源の総数Ｎに対して、混合された音信号を観測するマイクロホンが総数Ｍの場合、Ｎ≦Ｍが成立することは一般には仮定できない。実環境に即したＮ＞Ｍの状況下での音源分離は、劣決定音源分離と呼ばれ、多くの技術が開発されている。
【０００３】
このような技術に関して、特許文献１には「複数の収音手段で観測された観測信号を周波数領域の信号に変換し、観測信号と、各音源が各時間周波数において観測信号にどの程度寄与するかを表す音源占有度と、を用いて、空間パラメータを推定し、観測信号と音源占有度とを用いて、音源信号の分散と空間相関行列とを含むモデルパラメータを推定し、音源信号の分散と空間相関行列に基づくウィナーフィルタを生成し、観測信号と、空間パラメータまたはモデルパラメータと、を用いて、音源占有度を推定し、ウィナーフィルタを用いて、観測信号からソースイメージを推定し分離信号を生成し、分離信号を時間領域の信号に変換する」技術が開示されている（要約）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１７３５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術を用いれば、Ｎ＞Ｍの状況下で音源分離することができる。しかしながら、特許文献１に開示された技術は、Ｎ個の音源の中で、各時間周波数成分に寄与する音源信号は高々１個であるという仮定をおいており、例えばＮ個の音源の中の２個の音源が１つの時間周波数成分に寄与する状況下では、十分な精度の音源分離が得られるとは限らない。
【０００６】
そこで、本発明の目的は、各時間周波数成分に寄与する音源信号が複数の場合でも音源分離の精度を向上することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る代表的な音源分離方法ないし装置は、複数の音源より発せられて混合された音響信号から変換された電気的な観測信号の音源分離であって、入力された音源集合候補を用いて、音源集合占有度を計算し、計算された音源集合占有度を用いて、音源分離するための情報を生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、各時間周波数成分に寄与する音源信号が複数の場合でも音源分離の精度を向上することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第一実施形態による音源分離装置の例を示す図である。
【図２】第一実施形態による音源分離の処理フローの例を示す図である。
【図３】第二実施形態による音源分離装置の例を示す図である。
【図４】第二実施形態による音源分離の処理フローの例を示す図である。
【図５】第四実施形態による音源分離装置の例を示す図である。
【図６】第五実施形態による装置の例を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施の形態について説明する前に、本発明における音源信号の観測モデルについて説明し、記号を定義する。
【００１１】
＜観測モデル＞
N個の音源が発する時間領域の時系列信号Sｎ, n＝1,…,Nが混合して、M個のマイクロホンで混合信号として観測される。ここで、n＝1,…,Nは音源を表すインデックスである。まず、周波数領域変換をするために、短時間フーリエ変換などにより、観測された混合信号の時間周波数領域表現xｍ(f,t), m＝1,…,M; f＝1,…,F; t＝1,…,Tを計算する。
【００１２】
ここで、m＝1,…,Mはマイクロホンを表すインデックス、f＝1,…,Fは周波数領域を表すインデックス、t＝1,…,Tは時間フレームを表すインデックスである。各時間周波数領域(f,t)における観測信号のベクトルx(f,t)を
X(f,t)＝(x１(f,t),…,xＭ(f,t))Ｔ
で定義する。ここで、「Ｔ」はベクトルの転置を表す。
【００１３】
本観測モデルでは、各音源のマイクロホンによる観測信号（M次元ベクトル）cｎ(f,t), n＝1,…,N; f＝1,…,F; t＝1,…,Tが平均0の時変型の複素ガウス分布に従うとする。すなわち、各(n,f,t)に対して、
【００１４】
【数１】
2018028620.tif 000003
であるとする。
ここでは、とりわけ、共分散行列Rｎ(f,t)が、
【００１５】
【数２】
2018028620.tif 000004
【００１６】
のように、時間変化するスカラーvｎ(f,t)と、時間変化しないM×Mの半正定値エルミート行列Vｎ(f)に分解されるとしたアルゴリズムとなる。各音源の観測信号（確率変数）の族{cｎ(f,t)|n＝1,…,N}f,tは独立であるとする。  
また、本観測モデルにおいて、各時間周波数領域(f,t)の観測信号x(f,t)は、
【００１７】
【数３】
2018028620.tif 000005
に従って観測されるとする。ただし、
【００１８】
【数４】
2018028620.tif 000006
【００１９】
であり、IＭはM×Mの単位行列、ε＞0は十分に小さい実数であるとして、アルゴリズムのε＞0をε→0とすることで、εに依らないアルゴリズムとなる。
【００２０】
本観測モデルのポイントは、音源集合占有度の計算において、各時間周波数領域(f,t)に対して、観測信号x(f,t)に寄与する音源集合がS⊆[N]であるという事後確率γＳ(f,t)を処理することにある。なお、これに関しては、図１の音源集合占有度計算部１２０と図３の音源集合占有度計算部３２０の処理として、後に実施の形態で説明する。
【００２１】
ここで、
[N]＝{1,2,…,N}
と定義する。また、S⊆[N]は、Sが[N]の部分集合であることを意味する。
【００２２】
音源集合占有度は、各時間周波数領域(f,t)に対して、予めユーザが定めた[N]のべき集合2［Ｎ］の部分集合族D(f,t)⊆2［Ｎ］に対して定義されるとする。このとき、
【００２３】
【数５】
2018028620.tif 000007
が成立する。このD(f,t)のことを時間周波数領域(f,t)に対する音源集合候補と呼ぶことにする。
【００２４】
例えば、対象となる時間周波数領域(f,t)に対して、音源集合候補D(f,t)が
【００２５】
【数６】
2018028620.tif 000008
【００２６】
と定義（設定あるいは選択）されれば、これは既存の音源のスパース性制約である「各時間周波数領域に寄与する音源は高々１つ」という仮定に一致する。
【００２７】
また、音源集合候補D(f,t)が
【００２８】
【数７】
2018028620.tif 000009
【００２９】
と定義（設定あるいは選択）されれば、「時間周波数領域(f,t)に寄与する音源数は２以下である」という、既存の音源のスパース性制約を緩和した制約となる。
他にも、音源集合候補D(f,t)が
【００３０】
【数８】
2018028620.tif 000010
【００３１】
と定義（設定あるいは選択）されれば、「時間周波数領域(f,t)に寄与する音源数は３以下であり、音源１を含み、音源２を含まない」という制約となる。
【００３２】
なお、これらは音源集合候補D(f,t)の例であって、音源集合候補D(f,t)はこれらに限定されるものではないため、本観測モデルにおいて、各時間周波数領域(f,t)に対し、音源集合候補D(f,t)は任意のものが設定されてもよいが、以下の説明では、音源集合候補の記号を簡単に表記するために、対象となる時間周波数領域(f,t)に対して音源集合候補D(f,t)は同一であるとして、記号としてD(f,t)の代わりに単にDと表記する。ただし、D⊆2［Ｎ］は任意である。
【００３３】
時間周波数領域(f,t)の観測信号x(f,t)に寄与する音源集合S∈Dが設定されたもとでの各音源nのマイクロホンによる観測cｎ(f,t)は
【００３４】
【数９】
2018028620.tif 000011
とモデル化する。
ここで、
【００３５】
【数１０】
2018028620.tif 000012
【００３６】
は、各周波数領域(f,t)における潜在変数zｆ,ｔによるS∈Dの表現であり、Dの要素の１つに対して値の「1」が設定され、その他の要素については値の「0」が設定される。
すなわち、
【００３７】
【数１１】
2018028620.tif 000013
【００３８】
を満たす。また、εｎ＞0は十分に小さい実数であり、時間周波数領域(f,t)の観測信号x(f,t)に寄与する音源集合S∈Dが設定されたとき、
【００３９】
【数１２】
2018028620.tif 000014
であるので、アルゴリズムのεｎ＞0をεｎ→0とすることで、εｎに依らないアルゴリズムとなる。
【００４０】
以上のモデル化により、時間周波数領域(f,t)に対して、観測信号x(f,t)の観測モデルは、時間周波数領域(f,t)に寄与する音源集合がS∈Dである確率（混合重み）πＳ(t)：＝p(Zｆ,ｔ(S))＝1)と、時間周波数領域(f,t)に寄与する音源集合がS∈Dであるときの観測信号が得られる確率p(x(f,t)｜S;Θ)を用いた混合モデルで表現できる。
すなわち、
【００４１】
【数１３】
2018028620.tif 000015
として表現できる。ここで、
【００４２】
【数１４】
2018028620.tif 000016
はモデルパラメータを集めた集合である。
【００４３】
また、混合重みπＳ(t)を周波数非依存にしているために、後で説明するように、パーミュテーションの尤度の最大化によって達成できるため、音源分離後のパーミュテーション問題を解決する必要がない。
【００４４】
以上が、音源分離装置の第一実施形態、第二実施形態、第三実施形態における観測信号の生成モデルの基となる観測モデルの説明である。本観測モデルでは、音源分離の実施とモデルパラメータΘの推定はほぼ等価であるが、モデルパラメータΘの推定は、観測信号の対数尤度
【００４５】
【数１５】
2018028620.tif 000017
【００４６】
の最大化問題を解くことで実行される。各実施形態の説明では、対数尤度の最大化を一般化EMアルゴリズム（Expectation−Maximizationアルゴリズム、EMアルゴリズムに基づく処理をEM処理とする）を用いて実行する例を説明するが、他の既存の最適化アルゴリズムを用いてもよい。詳細な説明は省略するが、MAP推定によりモデルパラメータΘを推定してもよい。
【００４７】
以下では、図面を参照して各実施形態について説明する。
【００４８】
＜第一実施形態＞
図１および図２を用いて、第一実施形態に関わる音源分離装置１００を説明する。図１は音源分離装置１００の例を示すブロック図である。音源分離装置１００の各部は、専用回路のハードウェアにより構成されてもよいし、プログラムを実行するプロセッサにより構成されてもよい。プロセッサにより構成する例は後でさらに説明する。
【００４９】
図２は音源分離装置１００の動作の例を示すフロー図である。図１に示した各部が、図２に示した各ステップのいずれかとして動作する。なお、以下の説明において、特に断わらないかぎり、観測信号の生成モデルと、生成モデルにおける記号の定義は、上記の＜観測モデル＞を基にする。
【００５０】
音源分離装置１００の各部はステップ２００で、音源分離処理のための初期化を行う。初期化される対象は、各モデルパラメータΘと音源集合占有度γＳ(f,t)であり、これらはステップＳ２０２からステップＳ２０５までのループによる音源集合占有度計算部１２０とモデルパラメータ更新部との繰り返し処理の初期値となる。また、以下で説明する計算に必要な他の値が初期化として設定されてもよい。
【００５１】
ステップ２００で音源の個数Nが外部から定数として設定されてもよい。また、音源集合候補D(f,t)が設定されてもよい。この音源集合候補D(f,t)の設定は、既に説明した例えば３種類の音源集合候補D(f,t)が記憶されており、その３種類の中の１つが選択されることにより、選択された音源集合候補D(f,t)が設定されてもよいし、音源集合候補D(f,t)を生成する計算式が設定されてもよい。
【００５２】
周波数領域変換部１１０は、マイクロホンで観測された信号それぞれを入力し、短時間フーリエ変換などにより、観測された混合信号の時間周波数領域表現x(f,t), f＝1,…,F; t＝1,…,Tを計算し、音源集合占有度計算部１２０とモデルパラメータ更新部１３０と周波数領域分離音計算部１４２へ出力する（ステップＳ２０１）。
【００５３】
モデルパラメータΘの推定は、（式１）を一般化EMアルゴリズムに基づき最大化することで達成されるが、第一実施形態では、EMアルゴリズムにおける潜在変数が{zｆ,ｔ}ｆ,ｔ、完全データが({xｆ,ｔ}ｆ,ｔ,{zｆ,ｔ}ｆ,ｔ)であるとして、一般化EMアルゴリズムを用いる。
【００５４】
音源集合占有度計算部１２０は、周波数領域変換部１１０が出力した観測信号の時間周波数表現{x(f,t)}ｆ,ｔと、後述のモデルパラメータ更新部１３０が出力する各モデルパラメータΘと、を用いて、各時間周波数領域(f,t)に対して、観測信号x(f,t)に寄与する音源集合がS⊆[N]であるという事後確率γＳ(f,t)を計算してモデルパラメータ更新部１３０へ出力する（ステップＳ２０２）。このステップＳ２０２は、一般化EMアルゴリズムのE−step（期待値処理）に対応する。
【００５５】
既に述べたように事後確率γＳ(f,t)のことを音源集合占有度と呼ぶ。音源集合占有度は、更新式
【００５６】
【数１６】
2018028620.tif 000018
に基づき計算される。ここで、
【００５７】
【数１７】
2018028620.tif 000019
である。また、音源集合候補D(f,t)に含まれる音源Sに対する音源集合占有度となる。
【００５８】
モデルパラメータ更新部１３０は、周波数領域変換部１１０が出力した観測信号の時間周波数表現{x(f,t)}ｆ,ｔと、音源集合占有度計算部１２０が出力する音源集合占有度{γＳ(f,t)｜S∈D}ｆ,ｔとを用いて、各モデルパラメータΘを推定する（ステップＳ２０３）。
【００５９】
このステップＳ２０３は、一般化EMアルゴリズムのM−step（最大化処理）に対応し、以下のとおり、モデルパラメータ更新部１３０において、混合重み更新部１３１と相関行列更新部１３２により実行される。
【００６０】
EMアルゴリズムにおけるQ関数は
【００６１】
【数１８】
2018028620.tif 000020
と表される。ここで、「＊」は共役転置を表し、CはモデルパラメータΘに依らない定数である。
【００６２】
混合重み更新部１３１は、ステップＳ２０３の一部として、Q関数を最大化するπＳ(t)を
【００６３】
【数１９】
2018028620.tif 000021
により計算する。
【００６４】
相関行列更新部１３２は、ステップ２０３の一部として、Q関数を増加させるようなモデルパラメータvｎ(f,t)とVｎ(f)を計算する。このモデルパラメータvｎ(f,t)とVｎ(f)の計算には、既存の最適化の計算が用いられる。
【００６５】
パーミュテーション解決部１３３は、対数尤度(1)を増加させるように、各周波数帯域に対して、モデルパラメータvｎ(f,t)とVｎ(f)の音源番号n∈[N]を置換する（ステップＳ２０４）。音源番号の置換は、更新式
【００６６】
【数２０】
2018028620.tif 000022
に基づき行われる。ここで、σ：[N]→[N]は置換（n次対象群の元）を表す。
【００６７】
このパーミュテーション解決部１３３によれば、対数尤度最大化基準によって、M−stepに対応するモデルパラメータ更新部１３０がパーミュテーション問題を解決できるため、従来の音源分離装置と異なり、音源分離の後で、音源分離と独立にパーミュテーション問題を解決する必要がない。
【００６８】
モデルパラメータ更新部１３０は、混合重み更新部１３１、相関行列更新部１３２、パーミュテーション解決部１３３によって計算されたモデルパラメータΘの推定値を、音源集合占有度計算部１２０へ出力する。
【００６９】
ステップＳ２０２からステップＳ２０４までの処理は、ユーザにより予め設定されて更新回数に達したと判定されたとき、あるいは、モデルパラメータ更新部１３０において各モデルパラメータΘが収束されたと判定されるまで、反復して行われる（ステップＳ２０５）。
【００７０】
反復回数の最大値は100などの値に設定されてもよい。反復処理が終わったとき、すなわちステップＳ２０５でＹＥＳと判定されたとき、音源集合占有度計算部１２０は時間周波数マスク作成部１４１へ音源集合占有度γＳ(f,t)を出力する。
【００７１】
次に音源分離部１４０について説明する。音源分離部１４０は、周波数領域変換部１１０が出力した観測信号の時間周波数表現{x(f,t)}ｆ,ｔと、音源集合占有度計算部１２０が出力する音源集合占有度γＳ(f,t)とを用いて、各時間周波数領域(f,t)における各音源n∈[N]の分離信号sｎ(f,t)を計算して出力する。
【００７２】
このために、時間周波数マスク作成部１４１は、音源集合占有度計算部１２０が出力する音源集合占有度γＳ(f,t)を用いて、各時間周波数領域(f,t)と各音源n∈[N]に対する時間周波数マスクMｎ(f,t)を計算する（ステップＳ２０６）。時間周波数マスクMｎ(f,t)の計算は、例えば、  
【００７３】
【数２１】
2018028620.tif 000023
によって行ってもよい。
【００７４】
周波数領域分離音計算部１４２は、時間周波数マスク作成部１４１が出力する時間周波数マスクMｎ(f,t)を、周波数領域変換部１１０の出力した観測信号のm番目のマイクロホンの観測xｍ(f,t)に乗算し、各時間周波数領域(f,t)における各音源n∈[N]の分離信号sｎ(f,t)を計算する。
【００７５】
すなわち、
sｎ(f,t)＝Mｎ(f,t)xｍ(f,t)
を計算して、時間領域変換部１５０へ出力する（ステップＳ２０７）。なお、周波数領域分離音計算部１４２は、出力された観測信号の時間周波数表現{x(f,t)}ｆ,ｔを、時間周波数マスクMｎ(f,t)が計算されるまで保持していてもよい。
【００７６】
時間領域変換部１５０は、各音源n∈[N]に対して、時間周波数領域の分離信号sｎ(f,t)を時間領域の分離信号に変換して出力する（ステップＳ２０８）。
【００７７】
以上で説明したように、各時間周波数領域に寄与する音源に関する音源集合候補を設定可能とし、設定された音源集合候補に基づいて、事後確率を音源集合占有度として計算でき、音源集合占有度により計算した時間周波数マスクで音源分離できる。これにより、各時間周波数成分に寄与する音源信号が複数の場合であっても、そのように音源集合候補を設定することで、音源分離の精度を向上することができる。
【００７８】
また、音源分離のための音源の推定処理の一部としてパーミュテーション問題を解決できるので、音源分離の後で独立してパーミュテーション問題を解決する必要がない。
【００７９】
＜第二実施形態＞
図３および図４を用いて、第二実施形態に関わる音源分離装置３００を説明する。図３は音源分離装置３００の例を示すブロック図である。第二実施形態は、第一実施形態の図２を用いて説明した時間周波数マスク作成部１４１の代わりにマルチチャネルウィナーフィルタ作成部３４１で構成された例である。
【００８０】
また、モデルパラメータΘの推定は、（式１）を一般化EMアルゴリズムに基づき最大化することで達成されるが、第二実施形態では、第一実施形態とは異なり、EMアルゴリズムにおける潜在変数が({zｆ,ｔ}ｆ,ｔ,{cｎ(f,t)}ｎ,ｆ,ｔ)、完全データが({xｆ,ｔ}ｆ,ｔ,{zｆ,ｔ}ｆ,ｔ, {cｎ(f,t)}ｎ,ｆ,ｔ)であるとして、一般化EMアルゴリズムを用いる。
【００８１】
これにより、モデルパラメータ更新部３３０の計算は、図２を用いて説明したモデルパラメータ更新部１３０と異なる。なお、音源分離装置３００の各部は、専用回路のハードウェアにより構成されてもよいし、プログラムを実行するプロセッサにより構成されてもよい。プロセッサにより構成される例は後でさらに説明する。
【００８２】
図４は音源分離装置３００の動作の例を示すフロー図である。図３に示した各部が、図４に示した各ステップのいずれかとして動作する。なお、以下の説明において、特に断わらないかぎり、観測信号の生成モデルと、生成モデルにおける記号の定義は、上記の＜観測モデル＞を基にする。
【００８３】
音源分離装置３００の各部が実行するステップＳ４００および周波数領域変換部Ｓ３１０が実行するステップＳ４０１の処理は、図２を用いて説明したステップＳ２００およびステップ２０１の処理と同じである。
【００８４】
音源集合占有度計算部３２０は、図２を用いて説明したステップＳ２０２と同じ処理により事後確率（音源集合占有度）γＳ(f,t)を計算する（ステップＳ４０２）。このステップＳ４０２は、一般化EMアルゴリズムのE−stepに対応し、音源集合占有度γＳ(f,t)は、更新式
【００８５】
【数２２】
2018028620.tif 000024
【００８６】
に基づき計算される。ここで、RＳ(f,t)は第一実施形態で定義したとおりである。また、音源集合候補D(f,t)に含まれる音源Sに対する音源集合占有度となる。
【００８７】
モデルパラメータ更新部３３０は、周波数領域変換部３１０が出力した観測信号の時間周波数表現{x(f,t)}ｆ,ｔと、音源集合占有度計算部１２０が出力する音源集合占有度{γＳ(f,t)｜S∈D}ｆ,ｔとを用いて、各モデルパラメータΘを推定する（ステップＳ４０３）。
【００８８】
このステップＳ４０３は、一般化EMアルゴリズムのM−stepに対応し、以下のとおり、モデルパラメータ更新部３３０において、混合重み更新部３３１と相関行列更新部３３２により実行される。
【００８９】
EMアルゴリズムにおけるQ関数は
【００９０】
【数２３】
2018028620.tif 000025
と表される。
【００９１】
ここで、Tｒは行列のトレース、Cはモデルパラメータに依らない定数、Φｎ,ｓ(f,t)は、
【００９２】
【数２４】
2018028620.tif 000026
【００９３】
で定義される定数である。ただし、R’ｎ(f,t)とR’Ｓ(f,t)は、EMアルゴリズムの一反復前に推定したパラメータである。
【００９４】
混合重み更新部３３１は、ステップＳ４０３の一部として、Q関数を最大化するπＳ(t)を
【００９５】
【数２５】
2018028620.tif 000027
により計算する。
【００９６】
相関行列更新部３３２は、ステップ４０３の一部として、Q関数を最大化するように、モデルパラメータvｎ(f,t)とVｎ(f)を更新する。ここでは、
【００９７】
【数２６】
2018028620.tif 000028
と
【００９８】
【数２７】
2018028620.tif 000029
に基づいて計算されて更新される。
【００９９】
パーミュテーション解決部３３３は、第一実施形態すなわち図１に示したパーミュテーション解決部１３３と同様に、対数尤度(1)を増加させるように、各周波数帯域に対して、モデルパラメータvｎ(f,t)とVｎ(f)の音源番号n∈[N]を置換する（ステップＳ４０４）。音源番号の置換の更新式も、第一実施形態と同じであって、従来の音源分離装置と異なり、音源分離の後で、音源分離と独立にパーミュテーション問題を解決する必要がない。
【０１００】
モデルパラメータ更新部３３０は、混合重み更新部３３１、相関行列更新部３３２、パーミュテーション解決部３３３によって計算されたモデルパラメータの推定値を、音源集合占有度計算部３２０へ出力する。
【０１０１】
ステップＳ４０２からステップＳ４０４までの処理は、ユーザにより予め設定されて更新回数に達したと判定されたとき、あるいは、モデルパラメータ更新部１３０において各パラメータが収束されたと判定されるまで、反復して行われる（ステップＳ４０５）。
【０１０２】
反復回数の最大値は100などの値に設定されてもよい。反復処理が終わったとき、すなわちステップＳ４０５でＹＥＳと判定されたとき、モデルパラメータ更新部３３０はマルチチャネルウィナーフィルタ作成部３４１へ推定したモデルパラメータΘを出力する。
【０１０３】
次に音源分離部３４０について説明する。音源分離部３４０は、周波数領域変換部３１０が出力した観測信号の時間周波数表現{x(f,t)}ｆ,ｔと、音源集合占有度計算部３２０が出力する音源集合占有度γＳ(f,t)と、モデルパラメータ更新部３３０が出力するモデルパラメータΘとを用いて、各時間周波数領域(f,t)における各音源n∈[N]の分離信号sｎ(f,t)を計算して出力する。
【０１０４】
このために、マルチチャネルウィナーフィルタ作成部３４１は、音源集合占有度計算部３２０が出力する音源集合占有度γＳ(f,t)と、モデルパラメータ更新部３３０が出力するモデルパラメータΘとを用いて、各時間周波数領域(f,t)における各音源n∈[N]に対して、音源分離を行うためのマルチチャネルウィナーフィルタすなわちフィルタWｎ(f,t)を計算する（ステップＳ４０６）。
【０１０５】
フィルタWｎ(f,t)の計算は、例えば、音源集合占有度γＳ(f,t)でマルチチャネルウィナーフィルタを重みづけた
【０１０６】
【数２８】
2018028620.tif 000030
によって計算する。  他にも、例えば、
【０１０７】
【数２９】
2018028620.tif 000031
によって計算してもよい。
【０１０８】
周波数領域分離音計算部３４２は、マルチチャネルウィナーフィルタ作成部３４１が出力するフィルタWｎ(f,t)を、周波数領域変換部３１０の出力した観測信号x(f,t)に乗算し、各時間周波数領域(f,t)における各音源n∈[N]の分離信号cｎ(f,t)を計算する。
【０１０９】
すなわち、
cｎ(f,t)＝Wｎ(f,t)x(f,t)
を計算する。分離信号cｎ(f,t)は、各音源sｎ(f,t)のマイクロホンでの観測（M次元ベクトル）であるため、周波数領域分離音計算部３４２は、既存の音声強調処理を用いて、分離信号cｎ(f,t)から音源sｎ(f,t)を推定して出力する（ステップＳ４０７）。
【０１１０】
例えば、既存のビームフォーマWＢＦを用いて
sｎ(f,t)＝WＢＦcｎ(f,t)
と推定してもよい。他にも、例えば、分離信号cｎ(f,t)のm番目のマイクロホンに対応する信号を音源sｎ(f,t)と推定してもよい。
【０１１１】
時間領域変換部３５０は、各音源n∈[N]に対して、時間周波数領域の分離信号sｎ(f,t)を時間領域の分離信号に変換して出力する（ステップＳ４０８）。
【０１１２】
以上で説明したように、第一実施形態の説明で述べた主たる効果に加えて、音源集合占有度に応じたウィナーフィルタを作成でき、一般に知られたウィナーフィルタを用いて音源分離することが可能となる。
【０１１３】
＜第三実施形態＞
第三実施形態の音源分離装置は、EMアルゴリズムにおける潜在変数と、それによるEMアルゴリズムにおける各変数の更新式が異なることを除けば、第二実施形態の図３に示した音源分離装置３００と同じ構成であるので、以下では便宜的に第三実施形態も音源分離装置３００とする。
【０１１４】
また、第三実施形態の処理フローも潜在変数と各変数の更新式が異なることを除けば、第二実施形態の図４に示した処理フローと同じである。このため、第三実施形態の音源分離装置３００については、EMアルゴリズムにおける潜在変数と各変数の更新式について説明し、他の説明を省略する。
【０１１５】
第三実施形態の音源分離装置３００では、潜在変数を
({zｔ}ｔ,{cｎ(f,t)}ｎ,ｆ,ｔ)
とする。ここで、
【０１１６】
【数３０】
2018028620.tif 000032
【０１１７】
は、各時間フレームtにおける潜在変数zｔによるS∈Dの表現であり、Dの要素の１つに対して値の「１」が設定され、その他の要素については値の「0」が設定される。
【０１１８】
この潜在変数zｔは、観測モデルで定義した潜在変数zｆ,ｔとは異なり、潜在変数zｔは時間フレームに依存するが、周波数領域には依存しない。これにともない、音源集合占有度も、時間フレームに依存するが、周波数領域には依存しなくなるため、以下では音源集合占有度γＳ(t)と表記する。
【０１１９】
モデルパラメータΘの推定は、（式１）を一般化EMアルゴリズムに基づき最大化することで達成されるが、第三実施形態では、第一実施形態や第二実施形態とは異なり、EMアルゴリズムにおける潜在変数が({zｆ}ｆ,{cｎ(f,t)}ｎ,ｆ,ｔ)、完全データが({xｆ,ｔ}ｆ,ｔ,{zｆ}ｆ, {cｎ(f,t)}ｎ,ｆ,ｔ)であるとして、一般化EMアルゴリズムを用いる。
【０１２０】
一般化EMアルゴリズムのE−stepにおける音源集合占有度γＳ(t)の更新式は、
【０１２１】
【数３１】
2018028620.tif 000033
である。ここで、RＳ(f,t)は第一実施形態で定義したとおりである。
【０１２２】
一般化EMアルゴリズムのM−stepにおけるQ関数は、
【０１２３】
【数３２】
2018028620.tif 000034
である。ここで、Cはモデルパラメータに依らない定数、Φｎ,ｓ(f,t)は第二実施形態で定義したとおりである。
【０１２４】
一般化EMアルゴリズムのM−stepにおけるモデルパラメータπＳ(t)の更新式は、
【０１２５】
【数３３】
2018028620.tif 000035
であり、モデルパラメータvｎ(f,t)の更新式は、
【０１２６】
【数３４】
2018028620.tif 000036
であり、モデルパラメータVｎ(f)の更新式は、
【０１２７】
【数３５】
2018028620.tif 000037
である。
【０１２８】
以上で説明したように、第一実施形態と第二実施形態の説明で述べた主たる効果に加えて、各時間フレームにおける周波数領域に依存しない計算も可能となる。
【０１２９】
＜第四実施形態＞
図５を用いて、第四実施形態に関わる音源分離装置５００を説明する。図５は音源分離装置５００の例を示す図である。音源分離装置５００はいわゆるコンピュータであり、メモリ５１０に格納されたプログラムに従ってプロセッサ５２０が処理を実行する。メモリ５１０に格納されるプログラムとデータについては後で説明する。
【０１３０】
プロセッサ５２０はメモリ５１０に格納されたプログラムに従って計算を行うとともに音源分離装置５００を制御する。プロセッサ５２０は一般的なプロセッサでもよく、複数のプロセッサから構成されてもよい。記憶装置５３０はソリッドステートドライブなどのフラッシュメモリやハードディスクドライブであり、メモリ５１０に格納されるプログラムやデータが不揮発に格納される。
【０１３１】
入力インターフェース５６０は１以上のマイクロホンからの入力信号を受信するインターフェースであり、受信された入力信号はプロセッサ５２０の動作によってメモリ５１０へ格納される。入力インターフェースは無線通信のインターフェースであっても有線通信のインターフェースであってもよい。有線通信のインターフェースである場合、複数の通信線で接続されてもよいし、音源分離装置５００の外部にハブなどを備え、論理的な通信路を複数として物理的に１本の通信線で接続されてもよい。
【０１３２】
ネットワークインターフェース５４０は、他の装置とネットワークを経由して通信するインターフェースである。入力インターフェース５６０の代わりにネットワーク経由でマイクロホンからの入力信号を受信してもよく、プロセッサ５２０の計算結果がネットワーク経由で送信されてもよい。また、ネットワークインターフェース５４０は、記憶装置５３０に格納されるプログラムやデータをネットワーク経由で送受信してもよい。
【０１３３】
ユーザインターフェース５５０は、キーボード、マウス、ディスプレイなどであり、ユーザの操作を受け付け、ユーザへ情報を提供する。メモリ５１０に格納されたプログラムの実行において、入力されるデータや出力されるデータの入出力に用いられてもよい。また、音源分離装置５００は、ユーザインターフェース５５０を備えず、ネットワークインターフェース５４０に接続されたネットワークを介してリモートで操作されてもよい。
【０１３４】
メモリ５１０、プロセッサ５２０、記憶装置５３０、ネットワークインターフェース５４０、ユーザインターフェース５５０、入力インターフェース５６０のそれぞれは、バス５７０に接続され、プロセッサ５２０以外の各部は、プロセッサ５２０の制御を受ける。
【０１３５】
メモリ５１０に格納されるプログラムには、周波数領域変換部１１０、３１０に相当する処理を実行するための周波数領域変換プログラム５１１、音源集合占有度計算部１２０、３２０に相当する処理を実行するための音源集合占有度計算プログラム５１２がある。
【０１３６】
また、メモリ５１０に格納されるプログラムには、モデルパラメータ更新部１３０、３３０に相当する処理を実行するためのモデルパラメータ更新プログラム５１３、音源分離部１４０、３４０に相当する処理を実行するための音源分離プログラム５１４がある。モデルパラメータ更新プログラム５１３は、混合重みを更新するためのプログラムなどにさらに分かれてもよく、音源分離プログラム５１４は、マスクやフィルタを作成するプログラムなどにさらに分かれてもよい。
【０１３７】
また、メモリ５１０に格納されるプログラムには、時間領域変換部１５０、３５０に相当する処理を実行するための時間領域変換プログラム５１５がある。以上のプログラムそれぞれをプロセッサ５２０が実行しての動作は、第一実施形態から第三実施形態で既に説明したとおりであるが、第一実施形態から第三の実施形態のいずれかで説明した処理を行うためのプログラムの一部と、他の実施形態で説明した処理を行うためのプログラムの一部とが、置き換えられてもよいし、互いに追加されてもよい。さらに、図５に示したプログラムの一部が他の装置に格納され、音源分離装置５００と他の装置が協調してプログラムを実行してもよい。
【０１３８】
また、メモリ５１０に格納されるプログラムには、以上で説明したプログラムを呼び出して実行されるための音源処理プログラム５１６があってもよい。音源処理プログラム５１６は図２あるいは図４を用いて説明した処理フローを実行させるものであってもよい。そして、メモリ５１０は、図示を省略した基本的なプログラムであって、コンピュータで一般的なプログラムが格納されてもよいし、音源分離以外のアプリケーションのプログラムが格納されてもよい。
【０１３９】
また、メモリ５１０にはデータ５１７も格納される。データ５１７は、例えば計算式の入力の値、途中結果の値、計算結果の値などであり、ユーザインターフェース５５０から入力されたデータすなわち定数値や初期値などが含まれてもよい。
【０１４０】
以上で説明したように、第一実施形態から第三実施形態の説明で述べた機能および作用の得られる音源分離装置を、コンピュータで実現することが可能になる。
【０１４１】
＜第五実施形態＞
図６を用いて音源分離装置６１０を含む装置６００の例を説明する。装置６００は、装置６００の前にいる人に何かを案内する装置であり、訪問者に対する会社や店舗の受付の装置などであってもよい。例えば、装置６００はロボットであってもよいし、デジタルサイネージであってもよい。装置６００がロボットの場合は、図示を省略した頭部や腕などを備えた受付であってもよいし、デジタルサイネージの場合は、街頭に設置される何等かの案内をする装置であってもよい。
【０１４２】
訪問者などに案内の情報を示すために、装置６００はディスプレイ６５０あるいは音声合成装置６４０を備えてもよい。案内の情報の内容を決定するために、装置６００は音声認識装置６３０を備えてもよい。音声認識の結果に基づいて決定された案内の情報は、ディスプレイ６５０で表示されてもよいし、音声合成装置６４０から出力されてもよい。
【０１４３】
装置６００は音声認識の前処理として音源分離装置６１０を備え、話者を音源として、音源分離装置６１０は話者ごとに観測信号を分離する。音源分離装置６１０は、既に説明した音源分離装置１００、３００、５００であり、音源からの信号が入力されるマイク６２１、６２２を備える。図６の例では２個のマイク６２１、６２２としたが、３個以上であってもよい。
【０１４４】
装置６００は操作パネル６６０を備えてもよく、操作パネル６６０は装置６００の裏側や開閉可能なカバーの中に備えられてもよい。操作パネル６６０は、図２のステップＳ２００、図４のステップＳ４００、図５のユーザインターフェース５５０の処理に対応するものである。
【０１４５】
このために、操作パネル６６０はタッチパネルであって、音源の個数であるNがプルダウンメニュー６６１から選択されて入力される。また、音源集合候補D(f,t)がプルダウンメニュー６６２から選択されて入力される。プルダウンメニュー６６２は、「時間周波数領域(f,t)に寄与する音源数は２以下」すなわちD(f,t)＝{S⊆[N]｜0≦｜S｜≦2}などが直接的に選択可能であってもよいし、図６に示すように、「環境」という表示に対して、表示が「案内（室内）」などであってもよい。
【０１４６】
例えば、案内対象となる訪問者の人数が、装置６００の設置される受付の前の空間から予め推定されていて、その推定に基づくプルダウンメニュー６６２の「案内（室内）」の選択に対して「時間周波数領域(f,t)に寄与する音源数は２以下」が選択されたとして処理してもよい。
【０１４７】
屋外では工事などの騒音の発生数と話者数が予め推定されていて、その推定に基づくプルダウンメニュー６６２の「案内（屋外）」の選択に対して「時間周波数領域(f,t)に寄与する音源数は３以下であり、音源１を必ず含み、音源２は決して含まない」が選択されたとして処理してもよい。
【０１４８】
装置６００はテレビ会議や電子的な議事録作成に用いられてもよい。これらでは「環境という表示に対してプルダウンメニュー６６２の表示が「会議（空調無）」や「会議（空調有）」であってもよい。
【０１４９】
会議では多くの人数が参加しても同時に発言する人数は限られるため、「会議（空調無）」の選択に対して「時間周波数領域(f,t)に寄与する音源数は２以下」が選択されたとして処理し、「会議（空調有）」の選択に対して空調のノイズも含めて「時間周波数領域(f,t)に寄与する音源数は３以下であり、音源１を必ず含み、音源２は決して含まない」が選択されたとして処理してもよい。
【０１５０】
以上で説明したように、ロボットやデジタルサイネージなどによる案内のための音声認識に、音源分離装置を利用することができる。また、音源分離の技術に関する知識がなくても、音源集合候補を設定することが可能となり、音源分離の精度を向上させることにより音声認識の精度も向上できる。
【符号の説明】
【０１５１】
１００、３００、５００、６１０：音源分離装置
１１０、３１０：周波数領域変換部
１２０、３２０：音源集合占有度計算部
１３０、３３０：モデルパラメータ更新部
１３３、３３３：パーミュテーション解決部
１４０、３４０：音源分離部
３４１：マルチチャネルウィナーフィルタ作成部
１５０、３５０：時間領域変換部
【図１】
2018028620.tif 000038
【図２】
2018028620.tif 000039
【図３】
2018028620.tif 000040
【図４】
2018028620.tif 000041
【図５】
2018028620.tif 000042
【図６】
2018028620.tif 000043