(57)【要約】      （修正有）【課題】事前の学習なしに、第一の成分と第二の成分が混合した音響信号から第一の成分と第二の成分の少なくとも一方を分離する。【解決手段】入力部１１０は、第一の成分と第二の成分が混合した音響信号を入力する。時間周波数変換部１２０は、音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する。帯域分割部１３０は、時間周波数信号を複数の帯域に分割する。NMF部１４０は、第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する。NMF部１５０は、第一のアクティビティ行列Ｕ１を教師アクティビティとして、音響信号から変換された時間周波数信号を第二のアクティビティ行列Ｕ２に分解する。【選択図】図１
2015138053.tif 000002
【特許請求の範囲】
【請求項１】
第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する変換手段と、
前記時間周波数信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段とを有する音響信号処理装置。
【請求項２】
第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の音響信号を時間と信号周波数の関係を示す第一の時間周波数信号に変換する第一の変換手段と、
前記音響信号を第二の時間周波数信号に変換する第二の変換手段と、
前記第一の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記第一のアクティビティ行列を教師アクティビティとして、前記第二の時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段とを有する音響信号処理装置。
【請求項３】
さらに、前記第一および第二のアクティビティ行列から前記第一および第二の成分の時間周波数信号を生成する生成手段を有する請求項1または請求項2に記載された音響信号処理装置。
【請求項４】
さらに、前記第一および第二の成分の時間周波数信号からフィルタを生成し、前記音響信号から変換された時間周波数信号をフィルタリングするフィルタ手段を有する請求項3に記載された音響信号処理装置。
【請求項５】
第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する変換手段と、
前記音響信号に含まれる前記第二の成分の強度を判定する判定手段と、
前記第二の成分の強度に応じて前記時間周波数信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段とを有する音響信号処理装置。
【請求項６】
前記第一および第二のアクティビティ行列から前記第二の成分を抑圧した時間周波数信号を生成する生成手段を有する請求項5に記載された音響信号処理装置。
【請求項７】
第一の成分と第二の成分が混合した音響信号を入力する入力手段と、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換する変換手段と、
前記時間周波数信号を複数の帯域に分割する分割手段と、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解する第一の分解手段と、
前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する第二の分解手段と、
前記第二のアクティビティ行列を、前記第一のアクティビティ行列と相関が高い第三のアクティビティ行列、および、前記第一のアクティビティ行列と相関がない第四のアクティビティ行列に分類する分類手段とを有する音響信号処理装置。
【請求項８】
前記第二のアクティビティ行列が含むアクティビティベクトルの数は、前記第一のアクティビティ行列が含むアクティビティベクトルの数よりも多い請求項7に記載された音響信号処理装置。
【請求項９】
さらに、前記第三および第四のアクティビティ行列から前記第一および第二の成分の時間周波数信号を生成する生成手段を有する請求項7または請求項8に記載された音響信号処理装置。
【請求項１０】
さらに、前記時間周波数信号を音響信号に逆変換する逆変換手段を有する請求項1から請求項9の何れか一項に記載された音響信号処理装置。
【請求項１１】
前記第一の成分は音声信号であり、前記第二の成分は雑音信号である請求項1から請求項10の何れか一項に記載された音響信号処理装置。
【請求項１２】
第一の成分との第二の成分が混合した音響信号を入力し、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、
前記時間周波数信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する音響信号処理方法。
【請求項１３】
第一の成分と第二の成分が混合した音響信号を入力し、
前記音響信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の音響信号を時間と信号周波数の関係を示す第一の時間周波数信号に変換し、
前記音響信号を第二の時間周波数信号に変換し、
前記第一の時間周波数信号を第一のアクティビティ行列に分解し、
前記第一のアクティビティ行列を教師アクティビティとして、前記第二の時間周波数信号を第二のアクティビティ行列に分解する音響信号処理方法。
【請求項１４】
第一の成分と第二の成分が混合した音響信号を入力し、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、
前記音響信号に含まれる前記第二の成分の強度を判定し、
前記第二の成分の強度に応じて前記時間周波数信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、
前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する音響信号処理方法。
【請求項１５】
第一の成分と第二の成分が混合した音響信号を入力し、
前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、
前記時間周波数信号を複数の帯域に分割し、
前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、
前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解し、
前記第二のアクティビティ行列を、前記第一のアクティビティ行列と相関が高い第三のアクティビティ行列、および、前記第一のアクティビティ行列と相関がない第四のアクティビティ行列に分類する音響信号処理方法。
【請求項１６】
コンピュータを請求項1から請求項11の何れか一項に記載された音響信号処理装置の各手段として機能させるためのプログラム。
【請求項１７】
請求項16に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、
【０００２】
教師アクティビティの取得装置および教師アクティビティを用いた音源分離あるいは雑音抑制装置
【０００３】
単一チャネルの音響信号に対する音源分離あるいは雑音抑制のための教師アクティビティの取得装置および該教師アクティビティを用いた音源分離装置あるいは雑音抑制装置に関する。
【背景技術】
【０００４】
ディジタルビデオカメラは勿論、最近ではディジタルカメラにおいても動画撮影が可能になり、音声が録音される機会が増えている。撮影中に録音される音声を確認することは困難であり、撮影後、録音された音声を再生すると、雑音が混入していたり、音声以外の音が大き過ぎて聴き取りたい音声が隠されていることがある。そのため、目的音と不要音の成分を分離したり、雑音成分を除去する技術が提案されている。
【０００５】
例えば、音源の方向性を利用して、複数のマイクロホン信号を信号処理して目的の音声を強調して取り出すビームフォーマが知られている（例えば、非特許文献1参照）。
【０００６】
また、撮影中に混入する風雑音を除去する方法として、並列に収音された複数の音響信号に非負値行列因子分解を行う方法が提案されている（特許文献1参照）。この方法は、複数の音響信号のうち一つの音響信号の基底と、それとは別の音響信号の基底の間で、相関が高い基底を雑音成分とし、雑音成分を抑制する。
【０００７】
しかし、ディジタルカメラにはマイクロホンが一つしかない場合もあり、複数のマイクロホン信号を用いる上記技術を適用して、目的音を分離したり、風雑音のような非定常の雑音を除去したりすることができない。
【０００８】
単一チャネルの音源分離技術として、非負値行列因子分解(non-negative matrix factorization)を用いる方法が知られている。しかし、非負値行列因子分解で分離された信号を用いて雑音抑制を行うには、分離された信号が雑音か音声かを、事前に学習した辞書などを用いて、クラスタリングする必要がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開2011-227417号公報
【特許文献２】特開2005-258440号公報
【非特許文献】
【００１０】
【非特許文献１】浅野太「音のアレイ信号処理−音源の定位・追跡と分離−」音響テクノロジーシリーズ16、2011年2月25日、ISBN978-4-339-01116-6
【非特許文献２】P. Smaragdis, Judith C. Brown「Non-Negative Matrix Factorization for Polyphonic Music Transcription」2003 IEEE Workshop on Application of Signal Processing to Audio and Acoustics, October 19-22, 2003
【非特許文献３】亀岡弘和、小野順貴、柏野邦夫、嵯峨山茂樹「複素NMF：新しいスパース信号分解表現と基底系学習アルゴリズム」日本音響学会講演論文集、2-8-13、657-660頁、2008年9月
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、事前の学習なしに、第一の成分と第二の成分が混合した音響信号から第一の成分と第二の成分の少なくとも一方を分離することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１３】
本発明にかかる音響信号処理は、第一の成分と第二の成分が混合した音響信号を入力し、前記音響信号を時間と信号周波数の関係を示す時間周波数信号に変換し、前記時間周波数信号を複数の帯域に分割し、前記第二の成分の影響が小さい帯域の時間周波数信号を第一のアクティビティ行列に分解し、前記第一のアクティビティ行列を教師アクティビティとして、前記音響信号から変換された時間周波数信号を第二のアクティビティ行列に分解する。
【発明の効果】
【００１４】
本発明によれば、事前の学習なしに、第一の成分と第二の成分が混合した音響信号から、第一の成分と第二の成分の少なくとも一方を分離することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例1の音響信号処理装置の構成例を示すブロック図。
【図２】帯域の分割と抽出を説明する図。
【図３】実施例1の音響信号処理装置における音響信号処理を説明するフローチャート。
【図４】音響信号処理装置の変形例を示すブロック図。
【図５】音響信号処理装置の第二の変形例を示すブロック図。
【図６】音響信号処理装置の第三の変形例を示すブロック図。
【図７】実施例2の音響信号処理装置の構成例を示すブロック図。
【図８】実施例2の音響信号処理装置における音響信号処理を説明するフローチャート。
【図９】実施例3の音響信号処理装置の構成例を示すブロック図。
【図１０】実施例3の音響信号処理装置における音響信号処理を説明するフローチャート。
【発明を実施するための形態】
【００１６】
以下、本発明にかかる実施例の音響信号処理を図面を参照して詳細に説明する。なお、以下の実施例に示す構成は一例であり、本発明は、図示する構成に限定されるものではない。
【実施例１】
【００１７】
［装置の構成］
図1のブロック図により実施例1の音響信号処理装置の構成例を示す。
【００１８】
入力部110は、音声と雑音が混合した混合信号が記録された音響データまたはアナログ信号を入力する。アナログ信号を入力した場合、入力部110は、アナログ-ディジタル変換(ADC)により、アナログ信号をディジタル信号に変換する。
【００１９】
時間周波数変換部120は、入力部110から入力される音響データのディジタル波形信号を時間周波数信号に変換（以下「時間周波数変換」）する。なお、波形信号は時間と信号振幅の関係を示し、時間周波数信号は時間と信号周波数の関係を表す。時間周波数信号は例えばスペクトログラムであり、以下、時間周波数変換部120がスペクトログラムを出力するとして説明を行う。また、スペクトログラムは、所定の時間幅の区間を移動しながら、波形信号を窓関数に通して信号を切り出し、切り出した信号を高速フーリエ変換(FFT)などによって周波数変換した周波数スペクトルを時系列に並べたデータである。
【００２０】
時間周波数変換部120は、スペクトログラムを帯域分割部130と第二の非負値行列因子分解(NMF)部150に出力するとともに、スペクトログラムの位相成分を逆時間周波数変換部170に出力する。
【００２１】
帯域分割部130は、スペクトログラムの帯域を分割し、特定の帯域を抽出する。図2により帯域の分割と抽出を説明する。図2(A)は混合信号のスペクトログラムを表す。一般に風雑音のエネルギは低周波数域に集中する。300Hz以上の周波数域において風雑音の影響が少ないとすると、帯域分割部130は300Hzを境に帯域を分割し、風雑音の影響が少ない300Hz以上の高周波数域を抽出する。その結果、図2(B)に示すように、高周波数域のスペクトログラムだけが抽出される。
【００２２】
第一の非負値行列因子分解(NMF)部140は、スペクトログラムの振幅成分に非負値行列因子分解(NMF)を施す。つまり、帯域分割部130から出力されるスペクトログラムの帯域成分を非負値の基底行列と非負値のアクティビティ行列を含む成分に分解し、算出したアクティビティ行列を第一のアクティビティ行列として出力する。
【００２３】
NMFは、例えば非特許文献2に詳しいが、非負値の行列（ここではスペクトログラムの振幅成分）を非負値の基底行列とアクティビティ行列の積として近似する。以下では、基底行列およびアクティビティ行列は非負値の行列とする。
|Y| ≒ HU      …(1)
ここで、Yはスペクトログラム、
Hは基底行列、
Uはアクティビティ行列。
【００２４】
式(1)において、スペクトログラムYがM＊Nの行列であるとすると、基底行列HはM＊Kの行列に、アクティビティ行列UはK＊Nの行列になる。なお、Kは基底数と呼ばれる。これら基底行列Hとアクティビティ行列Uは反復計算により算出される。
【００２５】
基底行列Hは、次式で表され、K個の基底ベクトルhn（基底スペクトル）からなる。以下、基底ベクトルhnは非負値のベクトルとする。
H = [h1, h2, …, hK]      …(2)
【００２６】
アクティビティ行列Uは、次式で表され、K個のアクティビティベクトルun（重みベクトル）からなる。以下、アクティビティベクトルunは非負値のベクトルとする。
U = [u1, u2, …, uK]T      …(3)
ここで、Tは転置行列を表す。
【００２７】
第二のNMF部150は、NMF部140から出力される第一のアクティビティ行列を教師アクティビティに用いて、時間周波数変換部120から出力される混合信号のスペクトログラムにNMFを施す。つまり、第一のアクティビティ行列をU1とし、NMF部150において追加される第二のアクティビティ行列をU2とすると、NMF部150は、次式に示すU1とU2の結合になるようにアクティビティ行列Uを計算する。
U = [U1 U2]T      …(4)
【００２８】
また、U1とU2のアクティビティベクトルunの数Kは、分離する音声や雑音の種類などに基づき決定する。例えば、混合信号が雑音と音声の場合、雑音のアクティビティベクトルunの数Kが増えると、雑音成分に音声成分が混じり易くなる。従って、U1のアクティビティベクトルunの数をK1、U2のアクティビティベクトルunの数をK2とすると、K1＞K2に設定することが好ましい。
【００２９】
分離部160は、NMF部150から第一および第二のアクティビティ行列U1、U2、並びに、基底行列Hを入力し、次式により、U1に対応する成分のスペクトログラムY1とU2に対応する成分のスペクトログラムY2を生成する。
|Y1| = H1U1
|Y2| = H2U2      …(5)
ここで、H1はU1に対応する基底行列、
H2はU2に対応する基底行列。
【００３０】
U1は風雑音の影響が弱い高周波数域のアクティビティ行列であり、Y1は音声成分を表すと考えられる。また、Y2は音声と異なる成分、つまり雑音成分を表すと考えられる。
【００３１】
逆時間周波数変換部170は、時間周波数変換の逆変換により、スペクトログラムをディジタル波形信号に逆変換する。つまり、分離部160から出力される音声成分のスペクトログラムY1および雑音成分のスペクトログラムY2、並びに、時間周波数変換部120が算出した混合信号のスペクトログラムの位相成分を用いて、音声信号と雑音信号を生成する。
【００３２】
出力部180は、例えばディジタル-アナログ変換変換器(DAC)などを有し、逆時間周波数変換部170から入力される音声信号および雑音信号の少なくとも一方を再生する。なお、出力部180は、音声増幅器やスピーカを含んでもよい。あるいは、出力部180は、例えば、音声信号をディジタル音声データとして記録媒体に記録してもよい。
【００３３】
［音響信号処理］
図3のフローチャートにより実施例1の音響信号処理装置における音響信号処理を説明する。
【００３４】
入力部110は混合信号を入力し(S110)、時間周波数変換部120は混合信号をスペクトログラムに変換する(S120)。帯域分割部130は、スペクトログラムを帯域分割し、特定の帯域（例えば300Hz以上の高周波数域）を抽出する(S130)。NMF部140は、スペクトログラムの帯域成分にNMFを施して、第一のアクティビティ行列U1を生成する(S140)。
【００３５】
次に、NMF部150は、第一のアクティビティ行列U1を教師アクティビティとして、時間周波数変換部120から入力される混合信号のスペクトログラムにNMFを施す(S150)。そして、NMFによって得られる第二のアクティビティ行列U2と基底行列H2、および、教師アクティビティである第一のアクティビティ行列U1と基底行列H1を分離部160に出力する。
【００３６】
次に、分離部160は音源ごとのスペクトログラムY1、Y2を生成し(S160)、逆時間周波数変換部170はスペクトログラムY1、Y2を逆時間周波数変換して音源ごとの音響信号を生成する(S170)。そして、出力部180は、音源ごとの音響信号を再生する(S180)。
【００３７】
このように、分離したい第一の成分（例えば音声）以外の第二の成分（例えば雑音）を含まない帯域、または、第二の成分の影響が小さい帯域で教師アクティビティを学習する。そして、教師アクティビティを用いて全帯域のNMFを行う。これにより、クラスタリングを行わずに、混合信号から、第一の成分（例えば音声）の音響信号と、第二の成分（例えば雑音）の音響信号を分離することができる。
【００３８】
［変形例1］
上記では、時間周波数変換、帯域分割の順に処理する例を説明したが、時間周波数変換と帯域分割の順番は逆でもよい。図4のブロック図により音響信号処理装置の変形例を示す。
【００３９】
図4に示す構成は、帯域分割部131がハイパスフィルタ、ローパスフィルタまたはバンドパスフィルタを用いて入力信号を帯域分割する。そして、時間周波数変換部120が入力信号に時間周波数変換を施し、時間周波数変換部121が帯域分割部131によって抽出された特定の帯域の信号を時間周波数変換する。その他の構成は実施例1と同様である。
【００４０】
［変形例2］
上記では、第二のNMF部150は、時間周波数変換部120の出力にNMFを施す例を説明した。しかし、NMF部150は、帯域分割部130から出力される帯域信号A以外の周波数帯域の帯域信号BにNMFを施せばよい。例えば、雑音と音声を分離する場合、雑音の影響が少ない帯域信号が帯域信号Aに相当し、雑音と音声が混合した帯域信号が帯域信号Bに相当する。
【００４１】
図5のブロック図により音響信号処理装置の第二の変形例を示す。帯域分割部130は、帯域信号Aと帯域信号Bを出力する。NMF部140は、帯域信号AにNMFを施して得られるアクティビティ行列U1を出力する。また、NMF部150は、アクティビティ行列U1を教師アクティビティとして、帯域信号BにNMFを施す。
【００４２】
分離部160は、帯域信号BのスペクトログラムY1とY2を分離する。つまり、雑音のスペクトログラムY2と音声のスペクトログラムY1に分離される。合成部190は、雑音の影響が少ない帯域信号Aのスペクトログラムと、分離部160で分離された音声のスペクトログラムY1を合成する。このようにして、雑音成分を含まない音声成分を分離することができる。
【００４３】
［変形例3］
上記では、分離部160において分離されたスペクトログラムY1とY2から分離信号（音声信号と雑音信号）を生成する例を説明した。しかし、分離部160の出力を用いて混合信号を分離するフィルタを生成し、入力信号をフィルタリング処理することで、音源分離を行ってもよい。
【００４４】
図6のブロック図により音響信号処理装置の第三の変形例を示す。例えば信号を二つに分離する場合、フィルタ生成部191は、分離部160から出力されるスペクトログラムY1とY2から下式に示すバイナリマスクBM1およびBM2を生成する。
if (|Y1|t, f＞|Y2|t, f) {
BM1 =‘1’；
BM2 =‘0’；
} else {
BM1 =‘0’；
BM2 =‘1’；
}                                …(6)
ここで、tはスペクトログラムの時間フレーム、
fはスペクトログラムの周波数ビン。
【００４５】
フィルタリング部192は、下式により、生成されたバイナリマスクを混合信号のスペクトログラムに適用する。
|Zn|t, f = |Y|t, f＊BMnt, f      …(7)
ここで、Yは混合信号のスペクトログラム、
Zは出力されるスペクトログラム、
n = 1, 2。
【００４６】
なお、フィルタ生成部191が生成するフィルタは例えばWienerフィルタなどでもよいし、分離した雑音成分のスペクトログラムを用いて混合信号からスペクトルサブトラクションを行ってもよい。また、図6には図1に示す構成にフィルタ生成部191とフィルタリング部192を追加した構成を示したが、図4の構成にフィルタ生成部191とフィルタリング部192を追加した構成でも同じ処理を実現することができる。
【００４７】
［その他の変形例］
上記では、入力部110が混合信号が記録された音響データを入力する例を説明したが、入力部110はマイクロホンが収音した混合信号を入力し、入力した混合信号をADCしたディジタル信号を出力してもよい。その場合、一連の処理は、所定の時間幅ごとに行われるようにするとよい。
【００４８】
また、上記では、時間周波数信号をスペクトログラムとする例を説明したが、ウェーブレット変換などの時間周波数変換に用いて時間周波数信号を取得してもよい。その場合、逆時間周波数変換部170は逆ウェーブレット変換などの逆変換を行う。
【００４９】
また、上記では、帯域分割部130において帯域を二分割する例を説明したが、混合信号の音源が三つ以上あり、各音源の成分の強い帯域がそれぞれ異なる場合、それら複数の帯域を抽出してもよい。その場合、第一のNMF部140は、抽出された帯域ごとにNMFを行って各帯域の教師アクティビティを取得する。
【００５０】
また、上記では、混合信号を風雑音と音声と仮定したため、風雑音の影響が弱い高周波数域の成分を抽出する例を示した。しかし、混合信号に含まれる成分が音域が異なる楽器の音の場合、例えば、低い音域の楽器の成分が含まれ、高い音域の楽器の成分が含まれない帯域を抽出してもよい。
【００５１】
また、上記では、風雑音の影響の少ない300Hz以上の高周波数域を抽出する例を説明したが、非常に高い周波数には音声の成分も少ないため、抽出する帯域に上限を設けてもよい。例えば、音声の主要な帯域を含む300Hzから2,000Hzの帯域を抽出すればよい。また、風雑音の影響はマイクロホンやその周囲の構造などに影響されるため、帯域分割の周波数は、録音を行う機器ごとに設定することが望ましい。
【００５２】
また、上記では、NMFを行う例を説明したが、非負値の基底行列とアクティビティ行列を含む成分を出力する処理であればよい。例えば、非負行列因子デコンボリューション（NMFD、特許文献2参照）や複素非負値行列因子分解（複素NMF、非特許文献3参照）を用いてもよい。例えば複素NMFを使用する場合、逆時間周波数変換部170が用いる位相成分として複素NMFによって得られる位相成分を用いることが望ましい。
【００５３】
また、上記では、第二のNMF部150が第一のアクティビティ行列U1を教師アクティビティとする例を説明したが、第二のNMF部150は、第一のNMF部140が算出した基底を基底の一部（部分的な教師基底）として使用してもよい。
【００５４】
また、図1、4-6に示す音響信号処理装置は、実施例の音響信号処理を実行するプログラムを記録媒体を介してコンピュータに供給することで実現可能である。
【実施例２】
【００５５】
以下、本発明にかかる実施例2の音響信号処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５６】
図7のブロック図により実施例2の音響信号処理装置の構成例を示す。
【００５７】
雑音強度判定部210は、入力部110から混合信号を入力し、風雑音の強度を判定し、強度に応じて帯域分割部130の分割周波数を調整する。例えば、雑音強度判定部210は、音声区間を検出する機能を備え、非音声区間の信号強度から風雑音強度を判定する。そして、例えば、風雑音が強い場合は分割周波数をより高く調整し、風雑音が弱い場合は分割周波数をより低く調整する。
【００５８】
雑音抑圧部220は、第二のNMF部150から出力される第一および第二のアクティビティ行列U1とU2に対応する基底行列をそれぞれH1、H2とすると、下式の処理を行うことで、雑音を抑圧したスペクトログラムYsupを生成する。
|Ysup|= H1U1 + αH2U2      …(8)
ここで、αは抑圧係数（0≦α＜1）。
【００５９】
雑音抑圧部220は、抑圧係数αによって抑圧した雑音成分H2U2を音声成分H1U1に加算することで雑音を抑圧し、雑音を抑圧したスペクトログラムYsupを出力する。
【００６０】
図8のフローチャートにより実施例2の音響信号処理装置における音響信号処理を説明する。
【００６１】
混合信号が入力され(S110)、混合信号がスペクトログラムに変換されると(S120)、雑音強度判定部210は、風雑音の強度を判定し、判定結果に基づき帯域分割部130の分割周波数を調整する(S210)。
【００６２】
その後、実施例1と同様に、スペクトログラムの帯域分割(S130)、スペクトログラムの帯域成分のNMF(S140)、混合信号のスペクトログラムのNMF(S150)が実行される。
【００６３】
次に、雑音抑圧部220は、第一および第二のアクティビティ行列U1とU2を用いて雑音抑圧を行う(S220)。逆時間周波数変換部170は、雑音抑圧されたスペクトログラムYsupと混合信号のスペクトログラムの位相成分から雑音抑圧信号を生成する(S230)。そして、出力部180は、雑音抑圧信号を再生（または記録）する(S240)。
【００６４】
このように、主要な成分の周波数帯域が限定されるような雑音に対し、雑音の影響が少ない周波数帯域で教師アクティビティを学習し、クラスタリングを行わずに混合信号の雑音成分を抑圧した雑音抑圧信号を生成することができる。
【００６５】
［変形例］
上記では、雑音強度判定部210が非音声区間の信号から風雑音強度を判定する例を説明したが、低周波数域と高周波数域の信号振幅（あるいはパワー）の比から風雑音強度を判定してもよい。
【００６６】
また、雑音強度判定部210が混合信号から風雑音強度を判定する例を説明したが、例えば、入力部110が混合信号と、混合信号の録音時の風の強度を記録した信号のセットを入力し、風の強度信号から風雑音強度を判定してもよい。風の強度信号は、例えば、録音時のマイクロホン付近の風速を記録した風速の時間変化を表すようなデータである。
【００６７】
また、上記では、雑音抑圧部220が風雑音成分H2U2に抑圧係数αを乗じて雑音を抑圧する例を説明した。しかし、風雑音成分H2U2のみにハイパスフィルタまたはバンドストップフィルタなどのフィルタ処理を施して雑音成分を帯域別に処理し、その後、音声成分に加算してもよい。
【００６８】
また、雑音抑圧部220がスペクトルサブトラクションを用いてもよい。つまり、混合信号のスペクトログラムから風雑音成分H2U2をスペクトルサブトラクションして雑音成分を抑圧すればよい。
【００６９】
また、風雑音成分H2U2には、帯域分割部130から出力される信号の帯域成分、つまり高周波数域の成分をほとんど含まれない。そこで、第二のNMF部150において、基底行列H2に、帯域分割部130から出力される信号の帯域の成分をもたせない拘束条件を設け、NMFを行ってもよい。
【実施例３】
【００７０】
以下、本発明にかかる実施例3の音響信号処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７１】
図9のブロック図により実施例3の音響信号処理装置の構成例を示す。
【００７２】
実施例3の第二のNMF部151は、実施例1の第二のNMF部150と異なり教師信号を用いずに、混合信号のスペクトログラムにNMFを施す。NMF部151は、第一のNMF部140が算出するアクティビティ行列UBのアクティビティベクトルuの数nをよりも多い数mのアクティビティベクトルuを含むアクティビティ行列UAを算出する。そして、NMF部151は、算出したアクティビティ行列UAと基底行列HAを出力する。
【００７３】
アクティビティ分類部230は、NMF部151からアクティビティ行列UAと基底行列HAを入力し、1NMF部140からアクティビティ行列UBと基底行列HBを入力し、アクティビティ行列UAを二つのアクティビティ行列に分類する。
【００７４】
例えば、アクティビティ分類部230は、アクティビティ行列UAに含まれるアクティビティベクトルamとアクティビティ行列UBに含まれるアクティビティベクトルbnの相関をとる。そして、アクティビティ行列Bと相関が高いアクティビティベクトルamからアクティビティ行列UCを作成する。また、アクティビティ行列Bと相関がないアクティビティベクトルamからアクティビティ行列UDを作成して、アクティビティ行列UAを二つのアクティビティ行列に分類する。そして、分類後のアクティビティ行列UC、UDと、対応する基底行列HC、HDを出力する。
【００７５】
分離部161は、入力されるアクティビティ行列UC、UDと基底行列HC、HDから、下式に示すように、混合信号のスペクトログラムYを分離する。
|YC|= HCUC
|YD|= HDUD      …(9)
ただし、|Y|=|YC|+|YD|。
【００７６】
このように、分離したい第一の成分（例えば音声）以外の第二の成分（例えば雑音）を含まない帯域、または、第二の成分の影響が小さい帯域で教師アクティビティを学習する。そして、教師アクティビティの信号を用いてクラスタリングを行うことで、混合信号を第一の成分（例えば音声）の信号YCと、第二の成分（例えば雑音）の信号YDに分離することができる。
【００７７】
図10のフローチャートにより実施例3の音響信号処理装置における音響信号処理を説明する。
【００７８】
実施例1と同様に、混合信号の入力(S110)、混合信号のスペクトログラムへの変換(S120)、スペクトログラムの帯域分割(S130)、スペクトログラムの帯域成分のNMF(S140)が実行される。
【００７９】
次に、NMF部151は、混合信号のスペクトログラムにNMFを施し、アクティビティ行列UAと基底行列HAを出力する(S310)。
【００８０】
次に、アクティビティ分類部230は、アクティビティ行列UAを、アクティビティ行列UBと相関が高いアクティビティ行列UCCと相関がないアクティビティ行列UDに分類する(S320)。
【００８１】
次に、分離部161は、アクティビティ行列UC、UDと基底行列HC、HDから、混合信号のスペクトログラムをYCとYDに分離する(S330)。
【００８２】
以下、実施例1と同様に、逆時間周波数変換によりスペクトログラムYC、YDから音源ごとの音響信号が生成され(S170)、音源ごとの音響信号が再生される(S180)。
【００８３】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【図１】
2015138053.tif 000003
【図２】
2015138053.tif 000004
【図３】
2015138053.tif 000005
【図４】
2015138053.tif 000006
【図５】
2015138053.tif 000007
【図６】
2015138053.tif 000008
【図７】
2015138053.tif 000009
【図８】
2015138053.tif 000010
【図９】
2015138053.tif 000011
【図１０】
2015138053.tif 000012