(57)【要約】【課題】ブラインド音源分離の精度が十分でない場合であっても高品質な音声を供給できる信号処理装置、信号処理方法およびプログラムを提供する。【解決手段】実施形態の信号処理装置は、計算部と、生成部と、を備える。計算部は、ブラインド音源分離により得られた複数の分離信号の各々に対し、設定したクラスタに属する度合いを表す帰属度を計算する。生成部は、前記帰属度が高いほど大きな重みで重み付けした複数の前記分離信号を合成し、前記クラスタに対応する合成信号を生成する。【選択図】図１
2018036523.tif 000002
【特許請求の範囲】
【請求項１】
ブラインド音源分離により得られた複数の分離信号の各々に対し、設定したクラスタに属する度合いを表す帰属度を計算する計算部と、
前記帰属度が高いほど大きな重みで重み付けした複数の前記分離信号を合成し、前記クラスタに対応する合成信号を生成する生成部と、
を備える信号処理装置。
【請求項２】
前記クラスタは、人の音声というカテゴリのクラスタであり、
前記計算部は、複数の前記分離信号の各々に対し、人の音声らしさを表す特徴量の値に基づいて前記帰属度を計算する、
請求項１に記載の信号処理装置。
【請求項３】
前記計算部は、複数の前記分離信号の各々に対し、複数のクラスタごとに前記帰属度を計算し、
前記生成部は、複数の前記クラスタの各々に対応する複数の前記合成信号を生成する、
請求項１に記載の信号処理装置。
【請求項４】
前記計算部は、複数の前記分離信号の互いの類似性に基づいて複数の前記クラスタを設定し、各クラスタに対する各分離信号の近さに基づいて、複数の前記クラスタごとの前記帰属度を計算する、
請求項３に記載の信号処理装置。
【請求項５】
複数の前記合成信号から人の音声を含む前記合成信号を選択する選択部をさらに備える、
請求項３または４に記載の信号処理装置。
【請求項６】
前記選択部は、複数の前記合成信号のうち、人の音声らしさを表す特徴量の値が所定の閾値を超える前記合成信号を選択する、
請求項５に記載の信号処理装置。
【請求項７】
前記計算部は、複数の前記分離信号を重み付けする重みの合計が所定の値になるように正規化する、
請求項１乃至６のいずれか一項に記載の信号処理装置。
【請求項８】
複数の前記分離信号の各々はフレーム単位の信号であり、
前記計算部による前記帰属度の計算および前記生成部による前記合成信号の生成を前記フレーム単位で行う、
請求項１乃至７のいずれか一項に記載の信号処理装置。
【請求項９】
信号処理装置により実行される信号処理方法であって、
ブラインド音源分離により得られた複数の分離信号の各々に対し、設定したクラスタに属する度合いを表す帰属度を計算するステップと、
前記帰属度が高いほど大きな重みで重み付けした複数の前記分離信号を合成し、前記クラスタに対応する合成信号を生成するステップと、
を含む信号処理方法。
【請求項１０】
コンピュータに、
ブラインド音源分離により得られた複数の分離信号の各々に対し、設定したクラスタに属する度合いを表す帰属度を計算する機能と、
前記帰属度が高いほど大きな重みで重み付けした複数の前記分離信号を合成し、前記クラスタに対応する合成信号を生成する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、信号処理装置、信号処理方法およびプログラムに関する。
【背景技術】
【０００２】
ブラインド音源分離は、複数の音源から発せられた信号の混合信号をＩ個（Ｉは２以上の自然数）の入力装置により入力し、音源ごとの信号に分離したＩ個の分離信号を出力する技術である。本技術を応用して、例えば、雑音を含む音声信号をクリーンな音声と雑音に分離することで、雑音の少ない聴き心地のよい音声をユーザに提供したり、音声認識の精度を高めたりすることができる。
【０００３】
ブラインド音源分離では、出力する分離信号の順序が不定であることが知られており、Ｉ個の分離信号のうち何番目の分離信号に目的とする音源の信号が出力されるかを事前に知ることができない。そのため、Ｉ個の分離信号から目的信号を含む１つの分離信号を事後的に選択するための技術が提案されている。しかし、雑音や残響などの影響によっては、ブラインド音源分離の精度が十分に得られずに、１つの音源から発せられた信号が複数の分離信号に分散して出力されてしまう場合がある。このような場合、Ｉ個の分離信号から事後的に１つの分離信号を選択すると、信号成分の一部が欠損した低品質な音声を供給してしまうことになる。その結果、ユーザに聴き心地の悪い音声を提供したり、不正確な音声認識結果を提供したりする懸念がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７９５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、ブラインド音源分離の精度が十分でない場合であっても高品質な音声を供給できる信号処理装置、信号処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の信号処理装置は、計算部と、生成部と、を備える。計算部は、ブラインド音源分離により得られた複数の分離信号の各々に対し、設定したクラスタに属する度合いを表す帰属度を計算する。生成部は、前記帰属度が高いほど大きな重みで重み付けした複数の前記分離信号を合成し、前記クラスタに対応する合成信号を生成する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の信号処理装置の機能的な構成例を示すブロック図。
【図２】第１実施形態の信号処理装置による処理手順の一例を示すフローチャート。
【図３】混合信号の一例を示す図。
【図４】分離信号の一例を示す図。
【図５】帰属度の一例を示す図。
【図６】重みの一例を示す図。
【図７】合成信号の一例を示す図。
【図８】第２実施形態の信号処理装置の機能的な構成例を示すブロック図。
【図９】第２実施形態の信号処理装置による処理手順の一例を示すフローチャート。
【図１０】クラスタリング結果の一例を示す模式図。
【図１１】合成信号の一例を示す図。
【図１２】信号処理装置の適用例を示す図。
【図１３】信号処理装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照しながら、実施形態の信号処理装置、信号処理方法およびプログラムについて詳細に説明する。
【０００９】
＜第１実施形態＞
まず、第１実施形態の信号処理装置の構成について、図１を参照して説明する。図１は、第１実施形態の信号処理装置１０の機能的な構成例を示すブロック図である。図１に示すように、信号処理装置１０は、取得部１１と、計算部１２と、変換部１３と、生成部１４と、出力部１５と、を備える。
【００１０】
取得部１１は、ブラインド音源分離により得られた複数（Ｉチャンネル）の分離信号Ｓｉ（ｉ＝１・・・Ｉ）を取得する。ブラインド音源分離は、例えばマイクロホンアレーを構成する複数のマイクロホンに各々入力された、複数の音源から発せられた信号の混合信号Ｘｉ（ｉ＝１・・・Ｉ）を、音源別に異なる複数の分離信号Ｓｉ（ｉ＝１・・・Ｉ）に分離する処理である。ブラインド音源分離の方法としては、独立成分分析や独立ベクトル分析、時間周波数マスキングなどの方法が知られている。取得部１１が取得する複数の分離信号Ｓｉは、どのような方法のブラインド音源分離により得られたものであってもよい。また、複数の分離信号Ｓｉの各々はフレーム単位の信号であってもよい。例えば、混合信号Ｘｉに対してフレーム単位でブラインド音源分離を行うことで得られたフレーム単位の分離信号Ｓｉを取得部１１が取得する構成であってもよいし、取得部１１が取得した分離信号Ｓｉをフレーム単位に切り出して後の処理を行う構成であってもよい。
【００１１】
ブラインド音源分離により得られる複数の分離信号Ｓｉは、音源ごとに精密に分離された信号であることが理想であるが、音源ごとの精密な分離は難しく、１つの音源からの信号成分が別々のチャンネルに分散してしまうことがある。特に、ブラインド音源分離をオンラインで実行する場合、混合信号Ｘｉを音源別の分離信号Ｓｉに精度よく分離できるようになるまでには時間がかかるため、１つの音源からの信号成分が別々のチャンネルに分散してしまう現象は、特にその音源が音を発する初期段階において顕著となる。例えば人の音声の場合、発話の開始からある時間が経過するまでの間は、その音声の成分が別々のチャンネルに分散してしまうことが多い。本実施形態の信号処理装置１０は、このように分離精度が不十分な分離信号Ｓｉから、高品位な音声の合成信号Ｙｃを生成する。
【００１２】
計算部１２は、取得部１１が取得した複数の分離信号Ｓｉの各々に対し、あるクラスタｃに属する度合いを表す帰属度Ｋｉｃを計算する。本実施形態では、「人の音声」というカテゴリのクラスタｃを予め定めているものとする。この場合、各分離信号Ｓｉのクラスタｃへの帰属度Ｋｉｃは、例えば、各分離信号Ｓｉから得られる人の音声らしさを表す特徴量の値に基づいて計算される。人の音声らしさを表す特徴量としては、例えば、振幅スペクトルの白色性を表したスペクトルエントロピーなどを用いることができる。
【００１３】
なお、「人の音声」以外にも、例えば「ピアノの音」、「水の流れる音」、「猫の鳴き声」などのように、信号の種類に応じた他のクラスタｃを設定してもよい。複数のクラスタｃ（ｃ＝１・・・Ｃ）を設定した場合、計算部１２は、取得部１１が取得した複数の分離信号Ｓｉの各々に対し、それぞれのクラスタｃごとに帰属度Ｋｉｃを計算する。この場合も、それぞれのクラスタｃに対応する任意の特徴量の値に基づいて、各クラスタｃへの帰属度をＫｉｃを計算することができる。
【００１４】
変換部１３は、計算部１２で計算した帰属度Ｋｉｃが高いほど大きな重みとなるよう、帰属度Ｋｉｃを重みＷｉｃに変換する。変換方法は、例えば、下記式（１）に示すソフトマックス関数を使う方法であってもよい。
【数１】
2018036523.tif 000003
【００１５】
生成部１４は、変換部１３で帰属度Ｋｉｃから変換した重みＷｉｃにより重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成し、上述のクラスタｃに対応する合成信号Ｙｃ（Ｙｃ＝ΣＷｉｃ・Ｓｉ）を生成する。
【００１６】
出力部１５は、生成部１４が生成した合成信号Ｙｃを出力する。出力部１５による合成信号Ｙｃの出力は、例えば、スピーカを用いた合成信号Ｙｃの再生であってもよいし、音声認識システムに合成信号Ｙｃに供給することであってもよい。また、合成信号ＹｃをＨＤＤなどのファイル記憶装置に格納したり、通信Ｉ／Ｆを介してネットワークに送信したりする処理であってもよい。
【００１７】
次に、第１実施形態の信号処理装置１０の動作について、図２を参照して説明する。図２は、第１実施形態の信号処理装置１０による処理手順の一例を示すフローチャートである。この図２のフローチャートで示す一連の処理は、例えばフレーム単位などの所定単位ごとに信号処理装置１０によって繰り返し実行される。
【００１８】
図２のフローチャートで示す処理が開始されると、まず、取得部１１が、ブラインド音源分離により得られた複数の分離信号Ｓｉを取得する（ステップＳ１０１）。取得部１１が取得した複数の分離信号Ｓｉは、計算部１２と生成部１４とに渡される。
【００１９】
次に、計算部１２が、ステップＳ１０１で取得された複数の分離信号Ｓｉの各々に対し、設定したクラスタｃ（例えば「人の音声」）への帰属度Ｋｉｃを計算する（ステップＳ１０２）。計算部１２が計算した複数の分離信号Ｓｉごとの帰属度Ｋｉｃは、変換部１３に渡される。
【００２０】
次に、変換部１３が、ステップＳ１０２で複数の分離信号Ｓｉごとに計算された帰属度Ｋｉｃを、それぞれ重みＷｉｃに変換する（ステップＳ１０３）。変換部１３により帰属度Ｋｉｃから変換された分離信号Ｓｉごとの重みＷｉｃは、生成部１４に渡される。
【００２１】
次に、生成部１４が、ステップＳ１０１で取得された複数の分離信号Ｓｉの各々に対し、ステップＳ１０３で帰属度Ｋｉｃから変換された重みＷｉｃを掛け合わせて重み付けし、重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成して、クラスタｃに対応する合成信号Ｙｃを生成する（ステップＳ１０４）。生成部１４により生成された合成信号Ｙｃは、出力部１５に渡される。
【００２２】
最後に、出力部１５が、ステップＳ１０４で生成された合成信号Ｙｃを出力し（ステップＳ１０５）、一連の処理が終了する。
【００２３】
次に、具体的な事例を挙げながら、本実施形態における処理の一例をさらに詳しく説明する。
【００２４】
図３は、混合信号Ｘｉの一例を示す図であり、チャンネル１〜チャンネル４の４個のマイクから成るマイクロホンアレーを用いてオフィス環境での２人の話者（話者Ａと話者Ｂ）の発話を集音した場合の混合信号Ｘｉ（ｉ＝１・・・４）の周波数スペクトログラムを示している。図の横軸が時間、縦軸が周波数をそれぞれ表している。図３で例示する混合信号Ｘｉには、話者Ａの発話Ｕ１、話者Ｂの発話Ｕ２、話者Ａの発話Ｕ３の順に並んだ３つの発話と、オフィスでの雑音とが含まれている。
【００２５】
図４は、分離信号Ｓｉの一例を示す図であり、図３の混合信号Ｘｉに対してブラインド音源分離を行った結果得られた分離信号Ｓｉ（ｉ＝１・・・４）の周波数スペクトログラムを示している。図の横軸が時間、縦軸が周波数をそれぞれ表している。図４に例示する分離信号Ｓｉは、図３の混合信号Ｘｉに対して、下記の参考文献１に記載されたオンライン型の独立ベクトル分析を実行することで得られたものである。
（参考文献１）Toru  Taniguchi，et  al．，“An  Auxiliary-Function  Approach  to  Online  Independent  Vector  Analysis  for  Real-Time  Blind  Source  Separation，”Proc．HSCMA，May．2014．
【００２６】
図４の発話Ｕ１に着目すると、音声成分がチャンネル１とチャンネル２に分散してしまっていることがわかる。また、発話Ｕ２についても同様に、音声成分がチャンネル３とチャンネル４に分散してしまっている。このことから、発話Ｕ１と発話Ｕ２は、ブラインド音源分離によって精密に分離できなかったと言える。この原因の１つに、本例で実行したオンライン型のブラインド音源分離の場合、混合信号Ｘｉを分離する分離行列を逐次的に更新するため、ある音源から信号が発せられてからその信号を精度よく分離できるようになるまでに時間がかかってしまう点が挙げられる。このような場合に、ユーザがチャンネル１の分離信号Ｓ１を再生して発話Ｕ１を聴くと、音声成分の一部が欠損しているため、ユーザに聴き心地の悪い音声を提供してしまう可能性がある。あるいは、このような分離信号Ｓ１を音声認識システムに入力すると、ユーザに不正確な音声認識結果を提供してしまう可能性がある。
【００２７】
本例では、このように分離精度が不十分な分離信号Ｓｉから、高品位な音声の合成信号Ｙｃを生成して出力する。以下では、図２のステップＳ１０１で図４に例示する分離信号Ｓｉをフレーム単位で取得した場合を想定し、図２のステップＳ１０２からステップＳ１０４までの各ステップにおける処理の具体例を説明する。
【００２８】
ステップＳ１０２では、計算部１２が、ステップＳ１０１で取得された分離信号Ｓｉ（ｔ）の各々に対し、設定したクラスタｃに属する度合いを表す帰属度Ｋｉｃ（ｔ）を計算する。ここで、ｔはフレームの番号を示している。本例では、「人の音声」というカテゴリのクラスタｃへの帰属度Ｋｉｃ（ｔ）を、スペクトルエントロピーにより求めた音声らしさを表す特徴量の値に基づいて計算する。
【００２９】
図５は、帰属度Ｋｉｃの一例を示す図であり、図４の分離信号Ｓｉの各々から求めた帰属度Ｋｉｃを示している。図の横軸が時間、縦軸が帰属度Ｋｉｃ（本例では、音声らしさ）をそれぞれ表している。図５において、発話の存在する時間の帰属度Ｋｉｃに着目すると、分離信号Ｓｉの音声成分が存在するチャンネルにて高い帰属度Ｋｉｃが得られていることがわかる。例えば、音声成分がチャンネル１とチャンネル２に分散していた発話Ｕ１では、チャンネル１と２の帰属度Ｋｉｃが他のチャンネルより高い値となっている。
【００３０】
次に、ステップＳ１０３では、変換部１３が、帰属度Ｋｉｃが高いほど大きな重みＷｉｃとなるよう、ステップＳ１０２で計算された帰属度Ｋｉｃ（ｔ）を重みＷｉｃ（ｔ）に変換する。
【００３１】
図６は、重みＷｉｃの一例を示す図であり、図５の帰属度Ｋｉｃより求めた重みＷｉｃを示している。図の横軸が時間、縦軸が重みをそれぞれ表している。本例では、重みＷｉｃの調整のためにスペクトルエントロピーの値を定数倍した上で、下記式（２）に示すソフトマックス関数を適用した後、すべてのチャンネルの重みＷｉｃの合計が１．０になるよう正規化を行うことで、帰属度Ｋｉｃを重みＷｉｃに変換している。図５と図６を比較すると、本例で示す変換方法によって、帰属度Ｋｉｃの高かったチャンネルは重みＷｉｃが大きくなることがわかる。
【数２】
2018036523.tif 000004
【００３２】
次に、ステップＳ１０４では、生成部１４が、ステップＳ１０１で取得された分離信号Ｓｉ（ｔ）の各々にステップＳ１０３で得られた重みＷｉｃ（ｔ）を掛け合わせ、重み付けした複数の分離信号Ｗｉｃ・Ｓｉ（ｔ）を合成することで、合成信号Ｙｃ（ｔ）を生成する。本例では、下記式（３）により、合成信号Ｙｃ（ｔ）を生成する。
【数３】
2018036523.tif 000005
【００３３】
図７は、合成信号Ｙｃの一例を示す図であり、図４の分離信号Ｓｉの各々に図６の重みＷｉｃを掛け合わせた後に足し合わせて生成した合成信号Ｙｃの周波数スペクトログラムを示している。図の横軸が時間、縦軸が周波数をそれぞれ表している。図４に示した分離信号Ｓｉに対して本実施形態の処理を実行することにより、図７に示すように、図４に示した分離信号Ｓｉにおいて音声成分がチャンネル１とチャンネル２に分散していた発話Ｕ１と、音声成分がチャンネル３とチャンネル４に分散していた発話Ｕ２と、チャンネル２に含まれていた発話Ｕ３との３つの発話をすべて含む合成信号Ｙｃが得られることがわかる。
【００３４】
以上のことから、分離精度が不十分な複数の分離信号Ｓｉの各々に対し、例えば「人の音声」というカテゴリのクラスタｃへの帰属度Ｋｉｃを計算し、帰属度Ｋｉｃを重みＷｉｃに変換して、得られた重みＷｉｃで複数の分離信号Ｓｉを重み付けし、重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成することで、高品位な音声の合成信号Ｙｃが得られることがわかる。そして、この合成信号Ｙｃを出力することで、例えば、ユーザに聴き心地の良い音声を提供したり、正確な音声認識結果を提供したりすることができる。
【００３５】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の信号処理装置１０は、ブラインド音源分離により得られた複数の分離信号Ｓｉの各々に対し、設定したクラスタｃに属する度合いを示す帰属度Ｋｉｃを計算する。そして、帰属度Ｋｉｃが高いほど大きな重みとなるよう、帰属度Ｋｉｃを重みＷｉｃに変換する。そして、重みＷｉｃで重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成して合成信号Ｙｃを生成し、合成信号Ｙｃを出力する。したがって、本実施形態の信号処理装置１０によれば、ブラインド音源分離の精度が十分でない場合であっても高品質な音声を供給することができる。
【００３６】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、複数の分離信号Ｓｉの互いの類似性に基づいて複数のクラスタｃ（ｃ＝１・・・Ｃ）を生成し、複数の分離信号Ｓｉの各々に対し、各クラスタｃに対する分離信号Ｓｉの近さに基づいて、各クラスタｃへの帰属度Ｋｉｃ（ｃ＝１・・・Ｃ）を計算する。そして、複数のクラスタｃごとに、当該クラスタｃに対応する帰属度Ｋｉｃから変換した重みＷｉｃで重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成し、複数のクラスタｃごとの合成信号Ｙｃ（ｃ＝１・・・Ｃ）を生成する。その後、生成した複数のクラスタｃごとの合成信号Ｙｃのうち、人の音声を含む合成信号Ｙｃを選択して出力する。
【００３７】
まず、第２実施形態の信号処理装置の構成について、図８を参照して説明する。図８は、第２実施形態の信号処理装置２０の機能的な構成例を示すブロック図である。図８に示すように、信号処理装置２０は、取得部１１と、計算部２２と、変換部１３と、生成部２４と、選択部２６と、出力部２５と、を備える。
【００３８】
取得部１１は、第１実施形態と同様に、ブラインド音源分離により得られた複数の分離信号Ｓｉを取得する。
【００３９】
計算部２２は、取得部１１が取得した複数の分離信号Ｓｉの各々に対し、複数のクラスタｃ（ｃ＝１・・・Ｃ）ごとに帰属度Ｋｉｃ（ｃ＝１・・・Ｃ）を計算する。計算部２２は、例えば、取得部１１が取得した複数の分離信号Ｓｉの互いの類似性に基づいて、複数のクラスタｃを生成（設定）する。そして、各分離信号Ｓｉの各クラスタｃへの帰属度Ｋｉｃを、当該分離信号Ｓｉから計算されるクラスタｃへの近さに基づく方法で求める。ここで、分離信号Ｓｉとクラスタｃの近さの基準としては、例えば、分離信号Ｓｉとクラスタｃのセントロイドとの距離を用いてもよいし、クラスタｃごとに学習した統計モデルに対する分離信号Ｓｉの尤度を用いてもよい。
【００４０】
変換部１３は、第１実施形態と同様に、計算部２２が計算した帰属度Ｋｉｃを重みＷｉｃに変換する。
【００４１】
生成部２４は、計算部２２が設定した複数のクラスタｃごとに、第１実施形態と同様の手法により合成信号Ｙｃ（ｃ＝１・・・Ｃ）を生成する。すなわち生成部２４は、複数のクラスタｃの各々に対応した複数の合成信号Ｙｃを生成する。
【００４２】
選択部２６は、生成部２４が生成した複数の合成信号Ｙｃのうち、人の音声を含む合成信号Ｙｃを選択する。人の音声を含む信号を選択する方法としては、例えば、各合成信号Ｙｃから得られる人の音声らしさを表す特徴量の値を所定の閾値と比較し、特徴量の値が閾値を超える合成信号Ｙｃを選択する方法などを用いることができる。また、人の音声らしさを表す特徴量としては、例えば、上述したスペクトルエントロピーなどを用いることができる。
【００４３】
出力部２５は、選択部２６により選択された合成信号Ｙｃを出力する。出力部２５による合成信号Ｙｃの出力は、第１実施形態と同様に、スピーカを用いた合成信号Ｙｃの再生であってもよいし、音声認識システムに合成信号Ｙｃに供給することであってもよい。また、合成信号ＹｃをＨＤＤなどのファイル記憶装置に格納したり、通信Ｉ／Ｆを介してネットワークに送信したりする処理であってもよい。
【００４４】
次に、第２実施形態の信号処理装置２０の動作について、図９を参照して説明する。図９は、第２実施形態の信号処理装置２０による処理手順の一例を示すフローチャートである。この図９のフローチャートで示す一連の処理は、例えばフレーム単位などの所定単位ごとに信号処理装置２０によって繰り返し実行される。
【００４５】
図９のフローチャートで示す処理が開始されると、まず、取得部１１が、ブラインド音源分離により得られた複数の分離信号Ｓｉを取得する（ステップＳ２０１）。取得部１１が取得した複数の分離信号Ｓｉは、計算部２２と生成部２４とに渡される。
【００４６】
次に、計算部２２が、ステップＳ２０１で取得された複数の分離信号Ｓｉの互いの類似性に基づいて、複数のクラスタｃを生成する（ステップＳ２０２）。ここで生成された複数のクラスタｃが、帰属度Ｋｉｃを計算する対象となるクラスタｃとして設定される。
【００４７】
次に、計算部２２が、ステップＳ２０１で取得された複数の分離信号Ｓｉの各々に対し、ステップＳ２０２で設定された複数のクラスタｃごとに、帰属度Ｋｉｃを計算する（ステップＳ２０３）。計算部２２が計算した複数の分離信号Ｓｉごとの各クラスタｃへの帰属度Ｋｉｃは、変換部１３に渡される。
【００４８】
次に、変換部１３が、ステップＳ２０３で複数の分離信号Ｓｉごとに計算された各クラスタｃへの帰属度Ｋｉｃを、それぞれ重みＷｉｃに変換する（ステップＳ２０４）。変換部１３により帰属度Ｋｉｃから変換された重みＷｉｃは、生成部２４に渡される。
【００４９】
次に、生成部２４が、ステップＳ２０２で設定された複数のクラスタｃごとに、ステップＳ２０１で取得された複数の分離信号Ｓｉの各々に対してステップＳ２０４で帰属度Ｋｉｃから変換された重みＷｉｃを掛け合わせて重み付けし、重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成して、複数のクラスタｃの各々に対応する複数の合成信号Ｙｃを生成する（ステップＳ２０５）。生成部２４により生成されたクラスタｃごとの複数の合成信号Ｙｃは、選択部２６に渡される。
【００５０】
次に、選択部２６が、ステップＳ２０５でクラスタｃごとに生成された複数の合成信号Ｙｃのうち、人の音声を含む合成信号Ｙｃを選択する（ステップＳ２０６）。選択部２６により選択された合成信号Ｙｃは、出力部２５に渡される。
【００５１】
最後に、出力部２５が、ステップＳ２０６で選択された合成信号Ｙｃを出力し（ステップＳ２０７）、一連の処理が終了する。
【００５２】
次に、具体的な事例を挙げながら、本実施形態における処理の一例をさらに詳しく説明する。以下では、図９のステップＳ２０１で図４に例示した分離信号Ｓｉを取得してフレーム単位に分割した場合を想定し、図９のステップＳ２０２からステップＳ２０６までの各ステップにおける処理の具体例を説明する。
【００５３】
ステップＳ２０２では、計算部２２が、図４に例示した複数の分離信号Ｓｉの互いの類似性に基づいて複数のクラスタｃを生成する。本例では、はじめに、ステップＳ２０１で取得された複数の分離信号Ｓｉの各々をフレームに分割した後、フレームごとにＭＦＣＣ（Ｍｅｌ―Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔ）などの音響特徴量を算出する。その後、すべてのフレームから算出した音響特徴量をサンプルとして、ｍｅａｎ  ｓｈｉｆｔ法などのクラスタリング手法をバッチ的に実行する。クラスタリングに用いるサンプル数は、例えば、フレーム数が１０００、チャンネル数が４の場合は４０００（１０００×４）である。
【００５４】
図１０は、クラスタリング結果の一例を示す模式図である。クラスタリングで用いる音響特徴量の次元数は通常３より大きいが、ここでは説明のために２次元でクラスタリング結果を示している。図１０に示すように、上述のクラスタリングの結果、本例ではクラスタ１〜クラスタ３の３つのクラスタが生成され、クラスタ１が話者Ａの音声、クラスタ２が話者Ｂの音声、クラスタ３が雑音から主に構成されていることがわかる。本例では、これら３つのクラスタが、帰属度Ｋｉｃを計算する対象となるクラスタｃとして設定される。
【００５５】
次に、ステップＳ２０３では、計算部２２が、フレーム単位の複数の分離信号Ｓｉ（ｔ）の各々について、ステップＳ２０２で生成された３つのクラスタｃに対する帰属度Ｋｉｃ（ｔ）をそれぞれ計算する。ここで、ｔはフレームの番号を示している。本例では、例えば下記式（４）に示すように、帰属度Ｋｉｃ（ｔ）を計算する。
【数４】
2018036523.tif 000006
【００５６】
ここで、上記式（４）におけるｆｉ（ｔ）は、分離信号Ｓｉにおけるｔ番目のフレームから算出した音響特徴量のベクトルを表しており、ｅｃはクラスタｃの音響特徴空間上でのセントロイドを表している。また、二重括弧は距離を意味している。すなわち、上記式（４）は、音響特徴空間上でのフレーム（サンプル）とクラスタのセントロイドの距離にマイナス１を乗じた値を帰属度Ｋｉｃ（ｔ）として計算している。このように帰属度Ｋｉｃ（ｔ）を計算することにより、例えば、図１０に示すサンプルＸの場合、最も近いセントロイドはクラスタ１のセントロイドであるため、サンプルＸのクラスタ１への帰属度Ｋｉｃ（ｔ）は高い値になる。一方、クラスタ２や３のセントロイドはサンプルＸと離れているため、サンプルＸの帰属度Ｋｉｃ（ｔ）は低い値になる。
【００５７】
次に、ステップＳ２０４では、変換部１３が、上記式（２）に示したソフトマックス関数などを用いて、ステップＳ２０３で計算された帰属度Ｋｉｃ（ｔ）を重みＷｉｃ（ｔ）に変換する。
【００５８】
次に、ステップＳ２０５では、生成部２４が、ステップＳ２０２で生成された３つのクラスタｃごとに、フレーム単位の分離信号Ｓｉ（ｔ）の各々にステップＳ２０４で得られた重みＷｉｃ（ｔ）を掛け合わせ、重み付けした分離信号Ｗｉｃ・Ｓｉ（ｔ）を合成することで、合成信号Ｙｃ（ｔ）を生成する。本例では、上記式（３）により、３つのクラスタｃの各々に対応する３つの合成信号Ｙｃ（ｔ）を生成する。
【００５９】
図１１は、合成信号Ｙｃの一例を示す図であり、図１０の３つのクラスタ（クラスタ１〜クラスタ３）に対応する合成信号Ｙｃそれぞれ周波数スペクトログラムを示している。図の横軸が時間、縦軸が周波数をそれぞれ表している。図１１に示すように、クラスタ１に対応する合成信号Ｙｃには、話者Ａの音声成分（発話Ｕ１と発話Ｕ３の音声成分）が多く含まれることがわかる。これは、クラスタ１のセントロイドの近くに話者Ａの音声のフレームが多く存在したため、それらのフレームに対してクラスタ１への大きな重みが与えられたためである。同様に、クラスタ２に対応する合成信号Ｙｃには話者Ｂの音声成分（発話Ｕ２の音声成分）が多く含まれ、クラスタ３に対応する合成信号Ｙｃには雑音が多く含まれることがわかる。
【００６０】
次に、ステップＳ２０６では、選択部２６が、ステップＳ２０５で生成された３つの合成信号Ｙｃ（ｔ）のうち、人の音声を含む合成信号Ｙｃ（ｔ）を選択する。本例では、３つのクラスタに対応する合成信号Ｙｃ（ｔ）のうち、クラスタ１とクラスタ２に対応する合成信号Ｙｃ（ｔ）が人の音声を含む。そのため、クラスタ１に対応する合成信号Ｙｃ（ｔ）と、クラスタ２に対応する合成信号Ｙｃ（ｔ）とが選択される。そして、この選択された合成信号Ｙｃ（ｔ）が、出力部２５により出力される。
【００６１】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の信号処理装置２０は、ブラインド音源分離により得られた複数の分離信号Ｓｉの互いの類似性に基づいて複数のクラスタｃを設定し、複数の分離信号Ｓｉの各々に対し、複数のクラスタｃごとに帰属度Ｋｉｃを計算する。そして、複数のクラスタｃごとの帰属度Ｋｉｃを重みＷｉｃに変換し、複数のクラスタｃごとに、重みＷｉｃで重み付けした複数の分離信号Ｗｉｃ・Ｓｉを合成して合成信号Ｙｃを生成する。そして、複数のクラスタｃごとに生成された複数の合成信号Ｙｃのうち、人の音声を含む合成信号Ｙｃを選択して出力する。したがって、本実施形態の信号処理装置２０によれば、第１実施形態と同様に、ブラインド音源分離の精度が十分でない場合であっても高品質な音声を供給することができる。さらに本実施形態では、例えば話者ごとの発話を分離して提供するなど、人の音声よりも粒度が細かいカテゴリで音声を含む信号を分離して提供することができる。
【００６２】
＜補足説明＞
上述の第１実施形態の信号処理装置１０および第２実施形態の信号処理装置２０（以下、これらを総称して、実施形態の信号処理装置１００と呼ぶ）は、例えば、雑音の混じった音声信号からクリーンな音声を抽出する雑音抑圧装置として好適に利用できる。実施形態の信号処理装置１００は、このような雑音抑圧装置としての機能が求められる様々な機器、例えば、パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォンなどで実現され得る。
【００６３】
また、本実施形態の信号処理装置１００は、上述した各部（取得部１１、計算部１２，２２、変換部１３、生成部１４，２４、出力部１５，２５、選択部２６など）を所定のプログラム（ソフトウェア）として備えたサーバコンピュータにて実現し、例えば、複数のマイクロホンを有するヘッドセットシステム、および通信端末とともに用いる構成であってもよい。
【００６４】
上述のサーバコンピュータとしての信号処理装置１００の適用例を図１２に示す。なお、図１２では、実施形態の信号処理装置１００の機能を持つサーバコンピュータに符号１００を付している。ここで、ヘッドセットシステム３００は、複数のマイクロホンを持つ集音部３１０とユーザの耳に装着されるスピーカ部３２０を有する。ヘッドセットシステム３００は、集音部３１０によりユーザの発話と雑音の混じった信号を収音し、有線あるいは無線を介して接続された通信端末２００に信号を送信する。
【００６５】
通信端末２００は、ヘッドセットシステム３００から受信した信号を、通信回線を経由してサーバコンピュータ１００に送信する。この場合、サーバコンピュータ１００は、受信した信号に対し上述のブラインド音源分離を行った後、実施形態の信号処理装置１００の機能により、ブラインド音源分離により得られた分離信号から合成信号を生成し、雑音を取り除いたクリーンなユーザの発話を得る。
【００６６】
あるいは、通信端末２００がブラインド音源分離を行い、通信回線を経由してサーバコンピュータ１００に分離信号を送信する構成であってもよい。この場合、サーバコンピュータ１００は、実施形態の信号処理装置１００の機能により、通信端末２００から受信した分離信号から合成信号を生成し、雑音を取り除いたクリーンなユーザの発話を得る。
【００６７】
また、サーバコンピュータ１００は、得られた発話に音声認識処理を行って認識結果を得てもよい。さらに、サーバコンピュータ１００は、得られた発話や認識結果をストレージに保存したり、通信回線を経由して通信端末に送信したりしてもよい。
【００６８】
また、図１２に示すサーバコンピュータ１００は、ヘッドセットシステム３００の集音部３１０で集音した信号、あるいはこの信号に対してブラインド音源分離を行うことで得られた分離信号を通信端末２００から受信するが、ヘッドセットシステム３００が通信端末２００としての機能を持つ場合は、集音部３１０で集音した信号、あるいはこの信号に対してブラインド音源分離を行うことで得られた分離信号を、ヘッドセットシステム３００から受信してもよい。
【００６９】
図１３は、実施形態の信号処理装置１００のハードウェア構成例を示すブロック図である。実施形態の信号処理装置１００は、例えば図１３に示すように、ＣＰＵ１０１などのプロセッサと、ＲＡＭ１０２やＲＯＭ１０３などの記憶装置と、周辺機器を接続するための機器Ｉ／Ｆ１０４と、ＨＤＤ１０５などのファイル記憶装置と、ネットワークを介して外部と通信を行う通信Ｉ／Ｆ１０６と、を備えた通常のコンピュータのハードウェア構成を有する。
【００７０】
このとき、上記のプログラムは、例えば、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、またはこれに類する記録媒体に記録されて提供される。なお、プログラムを記録する記録媒体は、コンピュータシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。また、上記プログラムを、コンピュータシステムに予めインストールするように構成してもよいし、ネットワークを介して配布される上記のプログラムをコンピュータシステムに適宜インストールするように構成してもよい。
【００７１】
上記のコンピュータシステムで実行されるプログラムは、実施形態の信号処理装置１００における機能的な構成要素である上述した各部（取得部１１、計算部１２，２２、変換部１３、生成部１４，２４、出力部１５，２５、選択部２６）を含むモジュール構成となっており、プロセッサがこのプログラムを適宜読み出して実行することにより、上述した各部がＲＡＭ１０２などの主記憶上に生成されるようになっている。
【００７２】
なお、実施形態の信号処理装置１００の上述した各部は、プログラム（ソフトウェア）により実現するだけでなく、その一部または全部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの専用のハードウェアにより実現することもできる。
【００７３】
また、実施形態の信号処理装置１００は、複数台のコンピュータを通信可能に接続したネットワークシステムとして構成し、上述した各部を複数台のコンピュータに分散して実現する構成であってもよい。
【００７４】
以上述べた少なくとも１つの実施形態によれば、ブラインド音源分離によって音声成分が複数のチャンネルに分散してしまったとしても、元の音源の信号に近い高品質な音声を得ることができる。その結果、ユーザに聴き心地の良い音声を提供できる。あるいは、このような分離信号を音声認識システムに入力することで、ユーザに正確な音声認識結果を提供することができる。
【００７５】
以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１０  信号処理装置
１１  取得部
１２  計算部
１３  変換部
１４  生成部
１５  出力部
２０  信号処理装置
２２  計算部
２４  生成部
２５  出力部
２６  選択部
１００  信号処理装置
【図１】
2018036523.tif 000007
【図２】
2018036523.tif 000008
【図３】
2018036523.tif 000009
【図４】
2018036523.tif 000010
【図５】
2018036523.tif 000011
【図６】
2018036523.tif 000012
【図７】
2018036523.tif 000013
【図８】
2018036523.tif 000014
【図９】
2018036523.tif 000015
【図１０】
2018036523.tif 000016
【図１１】
2018036523.tif 000017
【図１２】
2018036523.tif 000018
【図１３】
2018036523.tif 000019