(57)【要約】【課題】音声と非音声（楽器音、騒音）の混合信号が与えられたときに、その信号から音声成分のみを抽出し、もしくは非音声成分のみを抽出する。【解決手段】音声成分を含む音信号の長いフレーム長の時間周波数分解能の時間周波数平面上で周波数方向に滑らかなスペクトル成分を検出して、当該スペクトル成分を音声成分を含むスペクトル成分として抽出する処理と、音声成分を含む音信号の短いフレーム長の時間周波数分解能の時間周波数平面上で時間方向に滑らかなスペクトル成分を検出して、当該スペクトル成分を音声成分を含むスペクトル成分として抽出する処理と、を用いることで、音声成分を含む原信号において、音声成分以外のスペクトル成分を抑圧して音声成分を抽出ないし強調する。【選択図】図７
2010210758.tif 000002
【特許請求の範囲】
【請求項１】
音声を含む音信号の第１のフレーム長の時間周波数分解能のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWlongにおける他のスペクトル成分から分離する処理と、
音声を含む音信号の第２のフレーム長の時間周波数分解能のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWshortにおける他のスペクトル成分から分離する処理と、
を用いることで、音声を含む原信号において、前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する、音信号の処理方法。
ここで、
第１のフレーム長は、音声のスペクトル成分が時間周波数平面上で周波数方向に滑らかとなる程度に長いフレーム長であり、
第２のフレーム長は、音声のスペクトル成分が時間周波数平面上で時間方向に滑らかとなる程度に短いフレーム長である。
【請求項２】
前記２つの処理の一方の処理を原信号に対して適用して、音声成分を含むスペクトル成分を原信号から分離し、
前記２つの処理の他方の処理を前記分離された音声成分を含むスペクトル成分に適用して、当該音声成分を含むスペクトル成分から音声成分を抽出する、
請求項１に記載の音信号の処理方法。
【請求項３】
原信号を第１のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWlongを取得するステップと、
前記原信号のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分をスペクトログラムWlongから分離するステップと、
前記分離したスペクトル成分を時間領域の波形に変換するステップと、
前記波形を第２のフレーム長の時間周波数分解能で時間周波数領域に変換してスペクトログラムWshortを取得するステップと、
前記スペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を音声成分としてスペクトログラムWshortから分離するステップと、
を備えた請求項２に記載の音信号の処理方法。
【請求項４】
原信号を第２のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWshortを取得するステップと、
前記原信号のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分をスペクトログラムWshortから分離するステップと、
前記分離したスペクトル成分を時間領域の波形に変換するステップと、
前記波形を第１のフレーム長の時間周波数分解能で時間周波数領域に変換してスペクトログラムWlongを取得するステップと、
前記スペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を音声成分としてスペクトログラムWlongから分離するステップと、
を備えた請求項２に記載の音信号の処理方法。
【請求項５】
前記２つの処理を、原信号に対して並列で適用し、それぞれの処理により取得された前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する、
請求項１に記載の音信号の処理方法。
【請求項６】
前記２つの処理の一方の処理は、
原信号を第１のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWlongを取得するステップと、
前記原信号のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を第１のスペクトル成分としてスペクトログラムWlongにおける他のスペクトル成分から分離するステップと、
からなり、
前記２つの処理の他方の処理は、
原信号を第２のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWshortを取得するステップと、
前記原信号のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を第２のスペクトル成分としてスペクトログラムWshortにおける他のスペクトル成分から分離するステップと、
からなり、
前記原信号のスペクトル成分、前記第１のスペクトル成分、前記第２のスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する、
請求項５に記載の音信号の処理方法。
【請求項７】
前記第１のフレーム長は、０．０５秒より大きいフレーム長である、請求項１乃至６いずれかに記載の音信号の処理方法。
【請求項８】
前記第１のフレーム長は、０．１秒以上〜１秒以下の範囲のフレーム長である、請求項１乃至７いずれかに記載の音信号の処理方法。
【請求項９】
前記第２のフレーム長は、０．１秒未満（０を除く）のフレーム長である、請求項１乃至８いずれかに記載の音信号の処理方法。
【請求項１０】
前記第２のフレーム長は、０．００５秒以上〜０．０５秒以下の範囲のフレーム長である、請求項１乃至９いずれかに記載の音信号の処理方法。
【請求項１１】
音声を含む音信号を、０．０５秒より大きいフレーム長の時間周波数分解能で時間周波数領域に変換して得られたスペクトログラムにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分として前記スペクトログラムから分離する、音信号の処理方法。
【請求項１２】
前記原信号は、ボーカルを含む音楽信号である、請求項１乃至１１いずれかに記載の音信号の処理方法。
【請求項１３】
前記原信号から、抽出された音声成分を除くことで、ボーカルキャンセル音を取得する、請求項１２に記載の音信号の処理方法。
【請求項１４】
前記抽出された音声成分から音声成分を抑圧する時間周波数マスクを設計し、
前記時間周波数マスクを前記原信号に適用することで、音楽信号からボーカルを除去する、
請求項１３に記載の音信号の処理方法。
【請求項１５】
各処理で分離された打楽器音成分、調波音成分を保存し、これらの成分を足し合わせることでボーカルキャンセル音を取得する、請求項１３に記載の音信号の処理方法。
【請求項１６】
前記原信号は、音声成分と雑音成分を含む、請求項１乃至１１いずれかに記載の音信号の処理方法。
【請求項１７】
前記原信号の雑音成分から音声成分を分離することで、音声成分を強調する、請求項１６に記載の音信号の処理方法。
【請求項１８】
前記原信号から抽出された音声成分を除くことで、雑音成分を取得する、請求項１６に記載の音信号の処理方法。
【請求項１９】
音声を含む音信号の第１のフレーム長の時間周波数分解能のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWlongにおける他のスペクトル成分から分離する手段と、
音声を含む音信号の第２のフレーム長の時間周波数分解能のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWshortにおける他のスペクトル成分から分離する手段と、
音声を含む原信号において、前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する手段と、を備えた音信号の処理装置。
ここで、
第１のフレーム長は、音声のスペクトル成分が時間周波数平面上で周波数方向に滑らかとなる程度に長いフレーム長であり、
第２のフレーム長は、音声のスペクトル成分が時間周波数平面上で時間方向に滑らかとなる程度に短いフレーム長である。
【請求項２０】
音声を含む原信号から音声成分あるいは非音声成分を抽出するためにコンピュータを、
音声を含む音信号の第１のフレーム長の時間周波数分解能のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWlongにおける他のスペクトル成分から分離する手段、
音声を含む音信号の第２のフレーム長の時間周波数分解能のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWshortにおける他のスペクトル成分から分離する手段、
音声を含む原信号において、前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する手段
として実行させるためのコンピュータプログラム。
ここで、
第１のフレーム長は、音声のスペクトル成分が時間周波数平面上で周波数方向に滑らかとなる程度に長いフレーム長であり、
第２のフレーム長は、音声のスペクトル成分が時間周波数平面上で時間方向に滑らかとなる程度に短いフレーム長である。
【請求項２１】
音信号のスペクトログラムを、時間周波数領域でのスペクトル成分の滑らかさに時間周波数平面上で周波数方向に方向性を備えた第１スペクトログラムと、時間方向に方向性を備えた第２スペクトログラムの和であると仮定し、
時間周波数平面上でのスペクトル成分の滑らかさの方向性にしたがって音信号を第１スペクトログラムと第２スペクトログラムに分離する方法において、
前記音信号は音声を含んでおり、
前記音声を含む音信号のスペクトログラムの時間周波数分解能を異ならしめることで、
異なる時間周波数分解能に応じて、音声のスペクトル成分の、前記第１スペクトログラム、前記第２スペクトログラムへの分配割合を変化させる、
音信号の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を含む音信号において、音声成分と非音声成分を分離する手法に関するものである。より具体的な技術分野としては、音声信号処理、音楽信号処理、メディア信号処理、ボーカルキャンセラ、音声区間抽出を例示することができる。
【背景技術】
【０００２】
音響信号から、音声と非音声（楽器音、騒音など）を分離する技術は、音声認識や音楽信号処理の前処理として重要であり、さまざまな研究例がある。
【０００３】
音楽音響信号には通常、多種の音が混合されている。このような混合信号の中から、特にボーカル成分を抑圧する技術は、カラオケなど音楽市場での需要があり、すでに多数の実装が知られている。これらの多くは、現代のレコーディング・ミキシングにおいてボーカルを中央に定位させるという慣習に基づき、ステレオ信号の左の波形（ボーカル＋左に寄っている楽器）から右の波形（ボーカル＋右に寄っている楽器）を減算することによりボーカル成分を相殺する手法を用いている。しかしこの手法は、ライブ録音などのようにボーカルの定位が一定しない場合などにはあまり効果が見込めない。これに対し、より広範囲な信号に対して適用可能なボーカル抑圧/抽出の手法として、これまでに様々なものが提案されている（非特許文献１乃至４）。
【０００４】
音声信号には、実環境においては様々な雑音が加わる。このような雑音は、音声認識などの音声アプリケーションの性能を低下させる原因となる。このため、これまでに様々な音声強調手法が提案されている（非特許文献５乃至８）。従来、音声が倍音構造を持つことを利用して音声成分を抜き出す手法が研究されてきたが、適用範囲や性能には課題があった。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】M. Lagrange, L.G. Martins, J. Murdoch, G. Tzanetakis, “Normalized cuts for predominant melodicsource separation,” IEEE Trans. ASLP, Vol.16, No.2, pp.278-290, 2008.
【非特許文献２】Y. Li, D. L.Wang, “Separation of Singing Voice From Music Accompaniment for MonauralRecordings,” IEEE Trans. ASLP, Vol.15, No.4, pp.1475-1487, 2007.
【非特許文献３】A. Ozerov, P.Philippe, R. Gribonval, F. Bimbot, “One Microphone Singing Voice SeparationUsing Source-Adapted Models,” Proc. WASPAA, pp.90-93, 2005.
【非特許文献４】C.H. You, H. W. Sun, “Multi-Band Adaptive Filtering Application On Vocal Mute,”Proc. ICSP, pp.1711-1714, 2002.
【非特許文献５】M. Berouti, R.Schwartz, J. Makhoul, “Enhancement of speech corrupted by acoustic noise,” inProc. ICASSP, pp.208-211, 1979.
【非特許文献６】S. Boll,“Suppression of Acoustic Noise in Speech Using Spectral Subtraction,” IEEETrans. ASSP, Vol. 27, No.2, pp.113-120, 1979.
【非特許文献７】Y.Ephraim, D. Malah, “Speech Enhancement Using a Minimum Mean-Square ErrorShort-Time Spectral Amplitude Estimator, ”IEEE Trans. ASSP, Vol.32, No.6,pp.1109-1121, 1984.
【非特許文献８】I.Cohen, B. Berdugo, “Speech enhancement for non-stationary noise environment,”Signal Processing, Vol. 81, pp.2403-2418, Elsevier, 2001.
【非特許文献９】N.Ono, K. Miyamoto, H. Kameoka, S. Sagayama “A Real-time Equalizer of Harmonicand Percussive Components in Music Signals,” Proc. of ISMIR, pp.139-144, 2008.
【非特許文献１０】N.Ono, K. Miyamoto, J. Le Roux, H. Kameoka, S. Sagayama, “Separation of a MonauralAudio Signal into Harmonic/Percussive Components by Complementary Diffusion onSpectrogram,” Proc. of EUSIPCO, 2008.
【非特許文献１１】宮本賢一，亀岡弘和，小野順貴，嵯峨山茂樹，“スペクトログラムの滑らかさの異方性に基づいた調波音・打楽器音の分離,” 日本音響学会春季研究発表会講演集, pp.903-904, 2008.
【非特許文献１２】宮本賢一，立薗真理，ルルージョナトン，亀岡弘和，小野順貴，嵯峨山茂樹，“スペクトログラム2 次元フィルタによる調波音・打楽器音の分離,” 日本音響学会秋季研究発表会講演集, pp.825-826, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来技術とは全く異なる新しい着想に立脚して、音声と非音声（楽器音、騒音）の混合信号が与えられたときに、その信号から音声成分のみを抽出し、もしくは非音声成分のみを抽出することを目的とする。
【課題を解決するための手段】
【０００７】
本発明が採用した技術手段は、
音声を含む音信号の第１のフレーム長の時間周波数分解能のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWlongにおける他のスペクトル成分から分離する処理と、
音声を含む音信号の第２のフレーム長の時間周波数分解能のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWshortにおける他のスペクトル成分から分離する処理と、
を用いることで、音声を含む原信号において、前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する、音信号の処理方法、である。
ここで、
第１のフレーム長は、音声のスペクトル成分が時間周波数平面上で周波数方向に滑らかとなる程度に長いフレーム長であり、
第２のフレーム長は、音声のスペクトル成分が時間周波数平面上で時間方向に滑らかとなる程度に短いフレーム長である。
１つの態様では、第１のフレーム長は、０．０５秒より大きいフレーム長である。
１つの好ましい態様では、第１のフレーム長は、０．１秒以上〜１秒以下の範囲のフレーム長である。
１つの態様では、第２のフレーム長、すなわち短いフレーム長は、０．１秒未満（０を除く）のフレーム長である。
１つの好ましい態様では、第２のフレーム長は、０．００５秒以上〜０．０５秒以下の範囲のフレーム長である。さらに好ましくは、第２のフレーム長は、０．０１秒以上〜０．０５秒以下の範囲のフレーム長である。
フレーム長、すなわち時間周波数分解能は、窓関数の長さ（分析窓長）によって選択できることは当業者に周知である。また、窓関数としても、ハニング窓、ハミング窓、その他の窓関数が当業者に知られている。
【０００８】
本発明は、時間領域における音声の波形を時間周波数領域に変換した時に、時間周波数平面上（スペクトログラム）における音声成分の形状が、時間周波数分解能によって異なることに着目したものである。例えば、音声信号を短時間フーリエ変換する時に、フレーム長を変化させることで、時間周波数平面上（スペクトログラム）上での音声成分の形状が変化する。より具体的には、STFT（短時間フーリエ変換）のフレーム長（分析窓長）が長い場合には、スペクトログラムにおいて、音声成分は打楽器音成分に近い形状を示し、STFTのフレーム長（分析窓長）が短い場合には、スペクトログラムにおいて、音声成分は調波音成分に近い形状を示す。すなわち、音声成分は、時間周波数分解能の違いによって、時間周波数平面上での滑らかさの方向性が変化する。
これに対して、音声成分以外の成分（打楽器音、調波音、雑音）のスペクトル形状は、音声成分に比べて時間周波数分解能の違いの影響を受けにくい。例えば、打楽器音、調波音は、それぞれ、時間周波数領域でのスペクトル成分の滑らかさに時間周波数平面上で方向性を備えており、時間周波数分解能が変化しても、スペクトログラムの滑らかさの時間周波数平面上での方向に基づいて、これらのスペクトル成分を検出することができる。
本発明は、時間周波数解析において、複数種類の時間周波数分解能でスペクトログラムの形状の分析を行なうことにより、これらの分析結果を用いて、原信号から音声成分を抽出ないし強調する。
本発明によれば、与えられたスペクトログラムは、音声成分を含むスペクトログラムとして抽出されたスペクトログラムと、それ以外のスペクトログラムに分離される。典型的な態様では、音声を含む信号において、音声成分以外のスペクトル成分を抑圧して音声成分を抽出ないし強調する。分離されたそれぞれのスペクトログラムを用いてどのように音声成分あるいは非音声成分を抽出するかについては幾つかの組み合わせがあることが当業者に理解される。また、処理時には、必要に応じて、波形領域と周波数領域との間で適宜変換が行なわれ得ることも当業者に理解される。
典型的には、２種類の長短のフレーム長の時間周波数分解能を用いて信号を処理するが、３種類以上の異なる時間周波数分解能を用いてもよい。例えば、時間周波数分解能が異なる２つの第１のフレーム長と、１つの第２のフレーム長と、を用いて信号を処理するものでもよい。
また、同じ時間周波数分解能を２段階以上用いて信号を処理することを含んでいてもよい。
【０００９】
１つの態様では、前記２つの処理の一方の処理を原信号に対して適用して、音声成分を含むスペクトル成分を原信号から分離し、
前記２つの処理の他方の処理を前記分離された音声成分を含むスペクトル成分に適用して、当該音声成分を含むスペクトル成分から音声成分を抽出する。
段階処理によって、ボーカルを含む音楽信号からボーカル成分を抽出することができ、抽出したボーカル成分を用いてボーカルキャンセル成分を取得することができる。同様に、音声および雑音を含む音信号においても、音声成分の抽出ないし強調、あるいは非音声成分（雑音成分）の抽出を行なうことができる。
【００１０】
上記のような段階処理を行なう場合に、１つの態様では、
原信号を第１のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWlongを取得するステップと、
前記原信号のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分（原信号が音楽信号の場合には、音声成分＋打楽器音的成分）をスペクトログラムWlongから分離するステップと、
前記分離したスペクトル成分を時間領域の波形に変換するステップと、
前記波形を第２のフレーム長の時間周波数分解能で時間周波数領域に変換してスペクトログラムWshortを取得するステップと、
前記スペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を音声成分としてスペクトログラムWshortから分離するステップと、
を備える。
【００１１】
上記のような段階処理を行なう場合に、１つの態様では、
原信号を第２のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWshortを取得するステップと、
前記原信号のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分（原信号が音楽信号の場合には、音声成分＋調波音的成分）をスペクトログラムWshortから分離するステップと、
前記分離したスペクトル成分を時間領域の波形に変換するステップと、
前記波形を第１のフレーム長の時間周波数分解能で時間周波数領域に変換してスペクトログラムWlongを取得するステップと、
前記スペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を音声成分としてスペクトログラムWlongから分離するステップと、
を備える。
【００１２】
１つの態様では、前記２つの処理を、原信号に対して並列で適用し、それぞれの処理により取得された前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する。
【００１３】
上記のような並列処理を行なう場合に、１つの態様では、
前記２つの処理の一方の処理は、
原信号を第１のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWlongを取得するステップと、
前記原信号のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を第１のスペクトル成分（原信号が音楽信号の場合には、音声成分＋打楽器音的成分）としてスペクトログラムWlongにおける他のスペクトル成分から分離するステップと、
からなり、
前記２つの処理の他方の処理は、
原信号を第２のフレーム長の時間周波数分解能で時間周波数領域に変換して原信号のスペクトログラムWshortを取得するステップと、
前記原信号のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を第２のスペクトル成分（原信号が音楽信号の場合には、音声成分＋調波音的成分）としてスペクトログラムWshortにおける他のスペクトル成分から分離するステップと、
からなり、
前記原信号のスペクトル成分、前記第１のスペクトル成分、前記第２のスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する。
より具体的な態様について、入力される原信号がボーカルを含む音楽信号である場合について図１１を参照しつつ説明する。W:原信号のスペクトル成分、H:調波音的成分、P:打楽器音的成分、V：ボーカル成分、とすると、図１１において、H＋V：第２スペクトル成分、P、H：その他のスペクトル成分、V+P：第１のスペクトル成分、であり、V（ボーカル成分）を、(H＋V)−H；(P＋V)−P；W−H−P；(H＋V)＋(P＋V)−H−P；などの処理で抽出することができる。
また、H＋Pなどの処理でボーカル以外を抽出したり、H、Pを、それぞれ調波楽器、打楽器に対応づけてもよい。
ボーカルを含む音楽信号について説明したが、音声および雑音を含む音信号においても、同様に、音声成分の抽出、あるいは非音声成分（雑音成分）の抽出を行なうことができる。
【００１４】
音楽信号を処理する場合を例にとると、打楽器＋音声＋ギターというような、普通のポップスの場合では、１つの典型的な態様では、前記第１のフレーム長は、およそ0.1〜1秒程度のフレーム長、前記第２のフレーム長は、およそ0.01〜0.05秒程度のフレーム長である。例えば打楽器をまったく含まないような音楽であれば、そもそも短いフレーム長での分析は必要なくなるので、第２のフレーム長については、どれだけ短いフレーム長でもよく、１つの態様では、第２のフレーム長、すなわち短いフレーム長は、０．１秒未満（０を除く）のフレーム長であり、好ましくは0.005程度〜0.05秒程度である。第１のフレーム長についても、ピアノなどをまったく含まないような状況であれば、1曲まるごとを2〜3フレームで表すような極端な場合を考えることができ、0.05秒程度よりは大きく、曲の長さよりは短い、好ましくは0.1秒〜1秒程度である。
【００１５】
１つの態様では、前記原信号は、ボーカルを含む音楽信号である。
１つの態様では、前記原信号から、抽出された音声成分を除くことで、ボーカルキャンセル音を取得する。
１つの態様では、前記抽出された音声成分から音声成分を抑圧する時間周波数マスクを設計し、
前記時間周波数マスクを前記原信号に適用することで、音楽信号からボーカルを除去する。
１つの態様では、前記時間周波数マスクは、抽出されたボーカル成分を閾値処理することで２値化してなるバイナリマスクである。
１つの態様では、前記時間周波数マスクは、抽出された音声成分Vの基本周波数及びその倍音を抑圧するマスクである。さらに、音声区間と非音声区間を検出することで、音声区間のみマスクを適用してもよい。
１つの態様では、各処理で分離された打楽器音成分、調波音成分を保存し、これらの成分を足し合わせることでボーカルキャンセル音を取得する。
【００１６】
１つの態様では、前記原信号は、音声成分と雑音成分を含む。本発明により、原信号において音声成分を強調することができる。
【００１７】
また、本発明は、音声を含む音信号を、０．０５秒より大きいフレーム長の時間周波数分解能で時間周波数領域に変換し、得られたスペクトログラムにおいて時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分として抽出する、音信号の処理方法、として捉えることもできる。
この方法は、他の異なるフレーム長の時間周波数分解能による処理と併用して上記の方法を構成することができる。あるいは、単独で用いることも可能である。例えば、分離前の音に関する事前知識があって「入力音楽信号において打楽器がないので短いフレーム長での分離が不要」と事前に判断できれば、短いフレーム長の時間周波数領域に変換する必要はなく、その場合は長いフレーム長の分析の結果出てきた時間周波数平面上で周波数方向に滑らかなスペクトル成分を取り出すだけで、ボーカル成分が得られる。
【００１８】
本発明のハードウエア構成としては、パーソナルコンピュータ等のコンピュータ（具体的には、入力装置、表示装置を含む出力装置、ＣＰＵ、記憶装置（ＲＯＭ、ＲＡＭ等）、これらを接続するバス等、を備えている。）から構成することができる。したがって、本発明は、音信号を処理させるために、コンピュータを、上記方法を実行させる、コンピュータプログラムとしても提供される。
【００１９】
本発明は、音信号を分離する装置としても提供され、前記装置は、
音声を含む音信号の第１のフレーム長の時間周波数分解能のスペクトログラムWlongにおいて、時間周波数平面上で周波数方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWlongにおける他のスペクトル成分から分離する手段と、
音声を含む音信号の第２のフレーム長の時間周波数分解能のスペクトログラムWshortにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分を、音声成分を含むスペクトル成分としてスペクトログラムWshortにおける他のスペクトル成分から分離する手段と、
音声を含む原信号において、前記分離された音声成分を含むスペクトル成分、前記他のスペクトル成分、の少なくとも一部を用いて、音声成分あるいは非音声成分を抽出する手段と、を備えている。
ここで、
第１のフレーム長は、音声のスペクトル成分が時間周波数平面上で周波数方向に滑らかとなる程度に長いフレーム長であり、
第２のフレーム長は、音声のスペクトル成分が時間周波数平面上で時間方向に滑らかとなる程度に短いフレーム長である。
典型的には、前記装置は、さらに、音信号を時間周波数領域に変換する手段と、分離されたスペクトル成分を時間領域に変換する手段と、を備えている。
【００２０】
さらに、本発明に係る技術思想を、
音信号のスペクトログラムを、時間周波数領域でのスペクトル成分の滑らかさに時間周波数平面上で周波数方向に方向性を備えた第１スペクトログラムと、時間方向に方向性を備えた第２スペクトログラムの和であると仮定し、
時間周波数平面上でのスペクトル成分の滑らかさの方向性にしたがって音信号を第１スペクトログラムと第２スペクトログラムに分離する方法において、
前記音信号は音声を含んでおり、
前記音声を含む音信号のスペクトログラムの時間周波数分解能を異ならしめることで、
異なる時間周波数分解能に応じて、音声のスペクトル成分の、前記第１スペクトログラム、前記第２スペクトログラムへの分配割合を変化させる、
音信号の処理方法、
として規定することもできる。
【００２１】
本発明は、スペクトログラムにおけるスペクトル成分の滑らかな方向の違いに着目した点に特徴を有するものであるが、分離信号を得る処理ステップにおいて、スペクトログラムを実際に画面に表示することを要しない。本発明においては、分析対象となる音信号が時間周波数領域に変換され、スペクトル成分が得られていればよい。時間周波数領域への変換手段は、典型的な例では、短時間フーリエ変換(STFT)であるが、ウェーブレット変換、定Ｑフィルタバンク分析、その他のフィルタバンク分析でもよい。また、１つの態様では、本発明は、観測信号である音信号を時間周波数領域に変換するステップ、および/あるいは、分離された各スペクトログラムに対応するスペクトル成分を時間領域に変換するステップを含み得る。実際のスペクトログラムの計算では、短時間周波数分析によって離散的な時間と周波数ごとに成分が得られる。したがって、１つの態様では、スペクトログラムにおける各スペクトル成分（時間周波数成分）は、時間bin（フレーム)と周波数binにより特定される時間周波数binである。本発明において、スペクトログラムは、STFTの各binの絶対値の2乗したものという狭義に限定して解釈されるものではなく、処理時に、その対数や冪乗などを用いても良いことが当業者に理解される。例えば、１つの態様では、|STFT|2を求めて、さらに0.6乗などをしてから用いる。
【発明の効果】
【００２２】
本発明によれば、音声、楽器音、騒音の混合信号から、音声成分とそれ以外の成分とに分離することができる。
本発明を音楽信号へ適用することによってボーカルと楽器音の分離が可能であり、カラオケの自動作成技術などに直接利用することが可能である。
本発明を音声と騒音の混合信号へ適用することで、大幅な雑音抑圧が可能であり、これは音声認識の前処理として有用である。
本発明による音声成分の抽出は、音声区画検出へ応用することもできる。
また、音声、騒音の混合信号から抽出した非音声成分は、原信号の背景雑音の特性の推定への応用が考えられ、フィルタ設計の前処理としても有効である。
【図面の簡単な説明】
【００２３】
【図１】時間周波数スペクトログラムの観測モデルを示す図である。
【図２】左図は、調波音のスペクトログラムであり、時間方向に滑らか・周波数方向に急峻なスペクトル成分からなる。右図は、打楽器音のスペクトログラムであり、時間方向に急峻・周波数方向に滑らかなスペクトル成分からなる。左図のスペクトル成分と右図のスペクトル成分は、時間周波数平面上でスパースに存在している。
【図３】上図は、時間周波数領域の音声の模式図であり、音声の性質（持続的、ピッチにゆらぎがある）を示している。下図は、STFTのフレーム長によって、前者と後者の影響の大きさが変わることを示しており、フレーム長が長い場合は、P成分になり、フレーム長が短い場合は、H成分になる。すなわち、ボーカルは時間周波数分解能次第でH成分にもP成分にもなり得ることを示している。
【図４】STFTの時間周波数分解能を変えてHPSSを行なった結果を示す図である。
【図５Ａ】RWC no.25 "tell me"の一部の時間周波数分解能（STFTのフレーム長：0.008秒）でのスペクトログラムを示す。
【図５Ｂ】RWC no.25 "tell me"の一部の時間周波数分解能（STFTのフレーム長：0.016秒）でのスペクトログラムを示す。
【図５Ｃ】RWC no.25 "tell me"の一部の時間周波数分解能（STFTのフレーム長：0.032）でのスペクトログラムを示す。
【図５Ｄ】RWC no.25 "tell me"の一部の時間周波数分解能（STFTのフレーム長：0.064秒）でのスペクトログラムを示す。
【図５Ｅ】RWC no.25 "tell me"の一部の時間周波数分解能（STFTのフレーム長：0.128秒）でのスペクトログラムを示す。
【図５Ｆ】RWC no.25 "tell me"の一部の時間周波数分解能（STFTのフレーム長：0.256秒）でのスペクトログラムを示す。
【図６Ａ】図５Ａにおいて、各ピクセルが正方形になるように調整したスペクトログラムである。
【図６Ｂ】図５Ｂにおいて、各ピクセルが正方形になるように調整したスペクトログラムである。
【図６Ｃ】図５Ｃにおいて、各ピクセルが正方形になるように調整したスペクトログラムである。
【図６Ｄ】図５Ｄにおいて、各ピクセルが正方形になるように調整したスペクトログラムである。
【図６Ｅ】図５Ｅにおいて、各ピクセルが正方形になるように調整したスペクトログラムである。
【図６Ｆ】図５Ｆにおいて、各ピクセルがなるべく正方形になるように調整したスペクトログラムである。
【図７】２段階HPSSによるボーカル抽出を示す図である。フレーム長を変えて２段階でHPSSすることで、ボーカルに近い成分Vを抽出する。
【図８】H成分、P成分、V成分から「ボーカルキャンセル音」を取得する手順を示す図である。１つのやり方では、抽出されたP成分＋H成分から「ボーカルキャンセル音」を取得する。もう１つのやり方では、原信号−抽出されたV成分から「ボーカルキャンセル音」を取得する。
【図９】音楽信号におけるボーカル除去の手順を示す図である。
【図１０】本発明における２段階処理の概念図である。
【図１１】本発明における並列化処理の概念図である。
【図１２】長いフレーム長で短時間フーリエ変換された時間周波数領域における調波音成分、ボーカル成分、打楽器音成分のパワースペクトルを示す図であり、ボーカル成分は調波音成分よりも広い帯域を占めることがわかる。
【図１３】左図は原信号のスペクトログラム、中央図は抽出されたボーカル成分のスペクトログラム、右図はボーカル成分が抑圧されたスペクトログラム、を示す。
【図１４】ピッチ抽出の手順を示す図である。
【図１５】抽出したボーカルと、ボーカル区間の検出を説明する図である。
【図１６】入力信号のSNRと、多重HPSS法適用によるSNRの改善値（音声はすべて女声）を示す図である。
【発明を実施するための形態】
【００２４】
［Ａ］調波打楽器音分離(Harmonic/Percussive  Sound  Separation：HPSS)手法の原理
ＨＰＳＳは本発明の背景技術であると同時に、本発明の実施形態を実施する上でも用いられ得る技術である。
ＨＰＳＳの原理を要約すると以下のとおりである。
原信号Wを調波Hと打楽器Pに分離する。
個別の楽器に関する事前知識は不要である。
目的関数を定義して、最適化問題を考える。目的関数の設計の指針は、以下のとおりである。
Hは時間方向に滑らかであってほしい。
Pは周波数方向に滑らかであってほしい。
HとPを足せば、元のWに戻ってほしい。
以下に、ＨＰＳＳについて詳細に説明する。
【００２５】
［Ａ−１］ＨＰＳＳの詳細
調波音と打楽器音の混在した音楽信号を分析対象とし、入力信号の短時間周波数解析によって得られるスペクトログラムをＷ（ｘ，ｔ）とする（ｘ:周波数、ｔ：時刻)。ここで行なうことは、このＷ（ｘ，ｔ）を打楽器的な音程を持たない非調波成分Ｐ（ｘ，ｔ）と音程を持つ楽器のような調波成分Ｈ（ｘ，ｔ）の２つのスペクトログラムに分解することである。このとき満たすべき要件は、任意の時間周波数（ｘ，ｔ）において、
【数１】
2010210758.tif 000003
が成り立つことである。
【００２６】
調波成分・打楽器成分の時間周波数領域におけるスペクトル成分の異方性に着目する。より具体的には、図１、図２に示すようにポピュラー音楽の音響信号のスペクトログラムが、時間周波数領域において、一般的に周波数方向に形成される山脈ないし畝のようなスペクトル成分と、時間方向に形成される山脈ないし畝のようなスペクトル成分とからなることが多い点に着目する。
前者は、打楽器のように時間方向には急峻に変化するが周波数方向にはブロード（滑らか）である成分Ｐ（ｘ，ｔ）に、後者は逆に周波数方向には急峻な形状だが時間方向には滑らかな成分Ｈ（ｘ，ｔ）に対応するとみなすことができ、また２成分は時間周波数平面上においてスパースに存在しているとみなせる。
【００２７】
入力信号のスペクトログラムを、時間周波数マスクによって２つのスペクトログラムに分解する。すなわち、前述したＰ（ｘ，ｔ）とＨ（ｘ，ｔ）のスパース性から、任意の時間周波数において０〜１の値をとる時間周波数マスクｍＰ（ｘ，ｔ），ｍＨ（ｘ，ｔ）を設計することで、
【数２】
2010210758.tif 000004
とＷ（ｘ，ｔ）を分解できると考えられる。
【００２８】
時間周波数マスクは、分解された２つのスペクトログラムの夫々を形成するスペクトル成分の滑らかな方向を検出するように設計される。打楽器成分のスペクトル成分が周波数方向に滑らかであるという特徴、及び、調波成分のスペクトル成分が時間方向に滑らかであるという特徴を用いて、入力信号のスペクトログラムをそれぞれのスペクトル成分に分離する時間周波数マスクが設計される。０〜１の値を取る時間周波数マスクは、一つの態様では、０か１の値を取るバイナリマスクである。
【００２９】
このように、ＨＰＳＳは、音楽音響信号の時間周波数スペクトログラム上において、調波成分は時間方向に滑らか、打楽器成分は周波数方向に滑らかであるという時間周波数スペクトログラム上の性質の違いを用いることにより、これらを分離する。具体的には、与えられた時間周波数スペクトログラムを、時間方向に滑らかな成分と周波数方向に滑らかな成分に分解する相補的な時間周波数マスクを設計し、音楽音響信号の時間周波数スペクトログラムに対して時間周波数マスキングを行って、調波成分・打楽器成分を分離する。マスクの設計方法として、１）２次元フィルタを用いる手法、２）Divergenceと滑らかさコストをＥＭアルゴリズム的手法で最小化する手法、３）レベル圧縮したスペクトログラムに対し滑らかさコストをＥＭアルゴリズム的手法で最小化する手法、の実施形態が、非特許文献９乃至１２に開示されており、詳細についてはこれらの文献を参照することができる。本発明において、スペクトログラムにおいて所望の方向性を備えたスペクトル成分を抽出する手段には、これらの手段を用いることができるが、本発明におけるスペクトル成分の抽出手段はこれらのものに限定されるものではない。
【００３０】
［Ａ−２］目的関数と拘束条件の組合せ
１つの態様では、ＨＰＳＳでは、各スペクトログラムに分配された各スペクトル成分の滑らかさ指標の関数を含む目的関数を設定し、前記目的関数を最適化するパラメータを推定することで時間周波数マスクを設計する。分配された各スペクトル成分の滑らかさ指標は、着目したスペクトル成分と、当該着目スペクトル成分の時間周波数平面上での近傍にある分配されたスペクトル成分とのエネルギーの差に基づいて決定される。着目スペクトル成分の近傍のスペクトル成分は、典型的には、時間周波数平面上で隣接するスペクトル成分であるが、近傍の範囲はこれに限定されるものではない。時間周波数マスクの設定は、滑らかさのコストをスペクトログラムの微分（差分）の関数で設計し、これを最小化する最適化問題として捉えることができる。
【００３１】
目的関数と拘束条件の組合せの具体的な態様例について以下に述べる。これらは、HPSSで用いられ得ると共に、そのまま本発明にも適用できるものである。
［Ａ−２−１］ラグランジュ未定乗数法版
以下の式において、｜At，k|は、時刻t、周波数kにおける、信号Aの振幅スペクトルとする。
目的関数
【数３】
2010210758.tif 000005
を拘束条件
【数４】
2010210758.tif 000006
のもとで最適化する。この条件から導出される更新式は、
【数５】
2010210758.tif 000007
である。
ただしcは、当業者によって適宜設定され、例えば、c＝0.6やc＝0.5（この場合拘束条件が厳密に成り立つ）が与えられる。
(1)式で、第1項(Hに関する項)と第2項(Pに関する項)に、適当な重み付け定数wh，wpを掛けることで、どちらかの音質の優先順位を上げることもできる。
後述する実験例では、ラグランジュ未定乗数法で、数４に規定する拘束条件を、c=0.6として用いた。
【００３２】
［Ａ−２−２］ラグランジュ未定乗数法版2
上記目的関数において、拘束条件を
【数６】
2010210758.tif 000008
としてもよい。この条件で更新式を導出すると、
【数７】
2010210758.tif 000009
となる。同様に、cは当業者によって適宜設定され、c＝1のとき拘束条件が厳密に成り立つ。
【００３３】
［Ａ−２−３］拘束条件を含む目的関数
目的関数
【数８】
2010210758.tif 000010
を最適化する。目的関数の第1項、第2項はこれまでと同様で、第3項に、これまで拘束条件として課していたものが、コストとして入っている。
このときの更新式は、
【数９】
2010210758.tif 000011
となる。同様に、cは当業者によって適宜設定され、c＝0.6、c＝1などが与えられる。
【００３４】
［Ａ−２−４］I-divergence版
上記の目的関数では、H＋PとWの隔たりを測るのにユークリッド距離(l2−norm)を用いたが、距離を拡張した概念として、カルバック・ライブラー・ダイバージェンス、I-divergence、板倉斎藤距離などを用いることができる。
これらの距離において、
ユークリッド距離は、
【数１０】
2010210758.tif 000012
で計算される。
KLダイバージェンスは、
【数１１】
2010210758.tif 000013
で計算される。
I-divergenceは、
【数１２】
2010210758.tif 000014
で計算される。
板倉斎藤距離は、
【数１３】
2010210758.tif 000015
で計算される。
I-divergenceを使って、次のように目的関数を設計する。前節で、拘束条件を目的関数に含めるために目的関数に付け加えた項が(Hc＋Pc)とWcのユークリッド距離を測っていたのに対して、ここでは(H2＋P2)とW2の隔たりをI-divergenceを使って測る。
【数１４】
2010210758.tif 000016
これを最適化するための更新式は、
【数１５】
2010210758.tif 000017
である。
ただし、a、b、cはそれぞれ
【数１６】
2010210758.tif 000018
とする。
【００３５】
目的関数におけるパラメータを推定するアルゴリズムとしては、一つの態様ではＥＭアルゴリズムであるが、最急降下法やニュートン法等の他の最適化アルゴリズムを用いてもよい。また、ＥＭアルゴリズム等を解くにあたって、補助変数を導入してもよい。補助変数法については、例えば、下記の文献を参照することができる。
H. Kameoka, N. Ono, and S. Sagayama, “Auxiliary
functional approach to parameter estimation of constrained sinusoidal model for
monaural speech separation,” Proc. ICASSP, pp. 29.32, 2008.
【００３６】
［Ｂ］本発明の概要
［Ｂ−１］本発明のアプローチ
音声には、楽器音や騒音とは異なる特徴として、ピアノなどの楽器音に比べ、ピッチが変動しやすい、打楽器や突発的な雑音に比べ、比較的長時間安定している、という性質がある。
これらの性質により、短時間フーリエ変換などの時間周波数表現における、分析フレーム長さ（時間周波数分解能）を変化させることにより、音声成分のスペクトログラム上での現れ方を、以下のように様々に変化させることができる。
【００３７】
分析フレーム長を長く（時間分解能を粗に、周波数分解能を密に）したとき、音声信号のピッチの変動は、周波数変調とみなされる。したがって、音声はピッチが変動しない音よりも広い帯域幅が占有する。また、音声信号のある適当な周波数に着目したとき、音声信号はその周波数成分に関しては振幅変調しているものとみなすことができるため、長時間一定に鳴り続ける音よりも広い帯域幅を占有する。
このように、音声信号は、粗い時間分解能で分析すると広い帯域幅を占める。すなわち、パワーの強い成分が周波数方向に連続的に連なって表現される。
【００３８】
一方、分析フレーム長を短く（時間分解能を密に、周波数分解能を粗に）したときには、分析フレーム内におけるピッチの変動はごくわずかであり、ほとんど無視することができる。
すなわち、音声信号は長時間安定した信号と見なされ、パワーの強い成分が周波数方向には連ならず、時間方向に連なって表現される。
【００３９】
このように、短時間フーリエ変換のフレーム長を変化させることで、音声信号は時間周波数平面において異なる性質を示す（図３参照）。
すなわち、音声が持つ、「持続的」、「ピッチにゆらぎがある」という性質に着目すると、STFTのフレーム長によって、前者と後者の影響の大きさが変化し、フレーム長が長い場合には、音声成分は打楽器音成分になり、フレーム長が短い場合には、音声成分は調波音成分になる。このように、ボーカル（音声成分）は時間周波数分解能に依存して、次第で調波音成分Hにも打楽器音成分Pにもなり得る（図４参照）。
【００４０】
他方、ピアノなどの楽器音はフレーム長をどのように変えてもパワーが強い成分は時間方向に連なり、打楽器音の場合は同様に周波数方向に連なる。
したがって、上記両方の分析を段階的に行なうことで、音声成分と楽器成分を分離することができる。フレーム長を変えて２段階でHPSSすることで、ボーカルに近い成分Vを抽出することができる。
【００４１】
また、この２段階の処理において、音声成分と非音声成分を分離する際に、ホワイトノイズのような雑音成分は各分離されたスペクトル成分へほぼ均等に配分される。このため、音声成分に残る雑音は元の入力信号に含まれる雑音よりも少なくなり、ＳＮ比を向上させることができる。また、その他の雑音に関しては、何かをコツコツ叩いたような音は打楽器に近い傾向（周波数方向に滑らか）を示し、サイレン音などは、ピアノなどと近い傾向（時間方向に滑らか）を示すので、音声成分とこれらの雑音の分離を、音声成分と楽器成分の分離に類似して扱うことができる。
この処理において抽出された音声成分から特にパワーの強い成分のみを抽出することにより、さらに音声が強調された信号を得ることが可能である。
【００４２】
図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｅ、図５Ｆは、RWC no.25 "tell me"（サンプリング周波数：16000Hz）の一部を異なるフレーム長（0.008秒、0.016秒、0.032秒、0.064秒、0.128秒、0.256秒）で短時間フーリエ変換してなるスペクトログラムを示す。1.8秒付近から1秒間を抜粋したものであり、1800±300Hzの範囲を表示している。全ての画像で、同じ枠の中にスペクトログラムを納めたものを示し、画像のほぼ中央にボーカル成分（音声成分）が白色で表れており、同じ音声信号を異なる分解能で見ることで、スペクトログラムの「分解能」が変わる様子を示している。
【００４３】
図６Ａ、図６Ｂ、図６Ｃ、図６Ｄ、図６Ｅ、図６Ｆは、それぞれ、STFTのフレーム長0.008秒、0.016秒、0.032秒、0.064秒、0.128秒、0.256秒の時間分解能に相当するスペクトログラムであり、それぞれ、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｅ、図５Ｆに表示されたデータと同一のデータを、全ての画像において、各ピクセル（時間周波数bin）ができるだけ同じ大きさの正方形になるように調整して表示したものを示す。
ボーカル成分（音声成分）は、フレーム長が0.008秒、0.016秒のときは明らかに「横長成分」だが、フレーム長を長くするにつれ、「横長」よりも「縦長」の傾向が強くなるのが観察できる。
１つの態様では、図６Ｂ（256/16000＝0.016秒）、図６Ｃ（512/16000＝0.032秒）のフレーム長は、本発明に係る第２のフレーム長（短いフレーム長）として効果的である。
図６Ｄ（1024/16000＝0.064秒）の場合は、ボーカル成分はHにも残るものの、Pにも少なからず配分される傾向がある。
図６Ｅ（2048/16000＝0.128秒）の場合には、ボーカルはほとんどPに分離され、Hにはあまり残らなくなる傾向がある。図６Ｅ、図６Ｆに示すように、フレーム長が０．１秒を超えてくると、音声成分が時間方向に滑らかなスペクトル成分としては検出されなくなる。
図６Ａ、図６Ｂ、図６Ｃ、図６Ｄ、図６Ｅ、図６Ｆは、各時間周波数binを正方形にして表示することで、プログラム内部でスペクトログラムが実際にはどのようにデータ構造として保持されているのかを示している。HPSSのアルゴリズムは、この図を見て時間周波数平面上でスペクトル成分の方向性が「縦長」なのか「横長」なのかを判定する。
【００４４】
［Ｂ−２］本発明の手順
本発明の１つの実施形態では、以下のような手順で、音声と非音声成分を自動的に分離する。
図９に示すように、
１  2段階でHPSSを実行して、Vを抽出する。具体的には、
(i)フレーム長を長くとり、P+Vを抽出する。
(ii)フレーム長を短くとり、Vを抽出する。
２  VをHPFなどで後処理する。
具体的な態様例では、ハイパスフィルタによって、明らかにボーカルではないような低音(〜80Hz程度まで)を除去する。これは、ベースやバスドラムがボーカルとして抽出されやすいことに対処したものである。
３  時間周波数マスクを設計して、原信号からVを除去する。
以下、詳細に説明する。
【００４５】
１．音声・非音声の混合信号を入力とする。入力信号に対し、０．５[s]程度の時間分解能で短時間フーリエ変換をすることにより、入力信号のスペクトログラムを得る。
【００４６】
２．スペクトログラム上において、パワーの強い成分が周波数方向に連続的に連なっている部分を検出し、それを抽出する。
【００４７】
３．抽出した成分を、逆短時間フーリエ変換により波形情報に戻す。
【００４８】
４．得られた信号に対し、０．０１［ｓ］程度の時間分解能で短時間フーリエ変換をすることにより、得られた信号のスペクトログラムを得る。そのスペクトログラム上で、パワーの強い成分が時間方向に連続的に連なっている部分を検出し、それを抽出する。
【００４９】
５．抽出した成分を、逆短時間フーリエ変換により波形情報に戻す。これにより、音声が強調された信号を得る。
【００５０】
６．得られた音声強調信号に対し、０．０１６［ｓ］程度（取り得るフレーム長は、１つの態様では、0.005〜0.5秒であり、典型的には、0.01〜0.1秒である。）の時間分解能で短時間フーリエ変換をすることで、音声強調信号のスペクトログラムを得る。このスペクトログラムのうち、パワーがある閾値を超える成分は０、閾値を超えない成分は１とすることで、バイナリマスクを設計する。
【００５１】
７．設計したバイナリマスクと、入力信号のスペクトログラムとの各成分の積を計算し、それを逆短時間フーリエ変換することによって、音声が抑圧された信号を得る。
【００５２】
上述の実施態様では、直列に2段階でHPSS分析を行なう手法について説明した。しかしながら、多段階で処理を行なうことにより、入力と出力の間に時間遅れが生じることになる（図１０参照）。
HPSS分析を並列化することで、時間遅れを回避することができる。演算量は2段階でHPSSとほぼ同じであるが、時間遅れは1段階HPSSと同じ程度に縮められる。図１１に示すように、2種類の分析ブロックで同時に分析し、それぞれの分析の出力を用いて、音声成分Vを合成する。例えば、V＝(H＋V)＋(V＋P)−H−Pで音声成分Vを求める。
音声成分Vを求めるあるいは非音声成分を求める場合には、適宜波形を経由して処理が行なわれることが当業者に理解される。H+V、Pを求めるときの時間周波数領域をTFshort、H、V+Pを求めるときの時間周波数領域をTFlongとすると、それぞれの処理で分離されたスペクトログラムH+V、P、TFlong領域→波形、TFshort領域→波形、に変換してから処理を行なう。あるいは、TFlong領域→波形→TFshort領域として、両方とも同じ時間周波数領域TFshortに変換してから処理を行なってもよい。同様に、TFlong領域に統一してもよく、あるいは、TFshort領域、TFlong領域以外の第３の分解能TFanother領域に統一してもよい。
【実施例１】
【００５３】
［Ｃ］音楽音響信号に対するボーカル抑圧
本実施例は、スペクトログラムの時間周波数分解能を変えたときの、スペクトログラムにおけるボーカル成分の形状の変化という新しい着眼点によって両者を分離する多重HPSS法を提案し、それによりボーカル成分を抑圧する。
スペクトログラム上で、ピアノやギターなどの音は時間方向に滑らかに現れ、打楽器音は周波数方向に滑らかに現れる。この性質は、スペクトログラムの時間周波数分解能によらず概ね同様の傾向を示す。一方、ボーカル成分は時間周波数分解能によって現れ方が異なる。短いフレーム長でのSTFTでは、ピアノの音などと同様、時間方向に滑らかなのに対し、長いフレーム長でのSTFTでは打楽器音と同様、周波数方向に滑らかに現れる。
この性質を利用すると、時間周波数分解能を変えた2段階での分離により、ボーカル成分を抽出することができる。
抽出したボーカル成分を利用して設計した時間周波数マスクによりボーカル成分を抑圧した信号が得られる。
以下、詳細に説明する。
【００５４】
［Ｃ−１］調波打楽器音分離(HPSS)
調波打楽器音分離(Harmonic/Percussive Sound Separation:HPSS)（非特許文献９乃至１２）は、音楽音響信号から調波楽器音と打楽器音を分離する手法である。
調波楽器と打楽器の混合信号を考え、それを短時間フーリエ変換(STFT)したとする。そのとき、調波楽器は比較的長時間にわたり一定の周波数が鳴り続けるため、時間方向の筋となって現れる。一方、打楽器は瞬間的に多くの帯域を占めるため、周波数方向の筋となって現れる。HPSSではこのことを利用して、個々の楽器音の調波構造に関する事前知識を用いることなく、調波楽器的な成分(H)と打楽器的な成分(P)に関する以下の3つの指針のもとで目的関数を設計し、その最適化によりH、Pを求める手法である。
Hの時間方向の変化が可能な限り小
Pの周波数方向の変化が可能な限り小
HとPの和は原信号に可能な限り一致
これまでの研究では、楽器毎の特徴として、ピアノ、ギター、バスドラム、ボーカルがHに分離される傾向にあり、スネアドラムやハイハットがPに分離される傾向にあることがわかっている。
【００５５】
［Ｃ−２］時間周波数分解能とボーカル成分の形状
このような楽器毎の傾向は、通常の時間周波数分解能（音楽の場合は、0.01〜0.1秒程度のフレーム長）で計算したスペクトログラム上でのHPSSにおけるものであるが、本発明者等が研究したところ、STFTのフレーム長を通常のフレーム長よりも長く与えた場合、ボーカル成分がH成分ではなくP成分に分離されるようになるという性質があることがわかった。これは、ボーカル成分のピッチやパワーなどのゆらぎ(短時間変動)に由来すると考えられる。
【００５６】
フレーム長が10[ms]程度である場合、フレーム内でのボーカル成分のゆらぎは無視できる程度であり、短時間スペクトル上でエネルギーは特定の周波数に局在する。これに対し、フレーム長が100[ms]から1[s]程度であると、フレーム内にボーカル成分のゆらぎが収まる。すなわち振幅や周波数の変調が短時間スペクトル上に現れ、周波数と振幅が一定の無変調信号に比べ広い帯域にエネルギーが分散される。言い換えれば、ボーカル成分は、ピアノやギターなどの調波楽器音よりも広い帯域を占有する(図１２)。
【００５７】
HPSSは、打楽器ほど広帯域を占有していない音でも、周波数方向にある程度のクラスタをなしている音はP成分に分離する。したがって、ボーカル成分のこのような性質を検出するのに適し、実際にボーカル成分の多くはP成分に分離されやすくなる傾向にある。
【００５８】
［Ｃ−３］多重HPSS法によるボーカル成分抽出
以上のようなボーカル成分の性質を利用すれば、HPSSを2段階で用いることにより、ボーカルに相当する成分を強調することができる。すなわち、長いフレーム長llongでのスペクトログラム上でのHPSSによりH（調波楽器）とP（打楽器＋ボーカル）を分離し、次にPを一度波形に戻してから再び短いフレーム長lshortでSTFTし、そのスペクトログラム上でHPSSしてH（ボーカル）とP（打楽器）を分離することで、調波楽器、ボーカル、打楽器の混合信号からボーカル成分を抽出することができる。
この手法を、多重HPSS法と呼ぶこととする。
【００５９】
［Ｃ−４］時間周波数マスクによるボーカル抑圧
多重HPSS法で抽出したボーカル成分Ｖ＝｛Ｖt,ω}1≦t≦T,1≦ω≦Ωでは、ボーカル成分が他の成分よりも強調されている。したがって、ボーカル成分Ｖのうち特にパワーが大きい成分を用いてバイナリマスクを設計すると、それを原信号に掛けることでボーカルを抑圧することができる。
【００６０】
スペクトログラムＶの各成分のうち、ある閾値を超えたものを0、超えないものを1とするような直接的な2値化によりマスクを得るのも一つの方法であるが、ここではボーカル成分の持つ倍音構造と、時刻上でボーカル成分が存在する区間と休止区間（歌っている区間と歌っていない区間）があることを利用して、より適切なマスクを設計することを考える（図１４参照）。
音声には調波性（倍音構造）があることを着目し、基本周波数とその倍音を抑圧するような時間周波数マスクを作ることを考える。基本周波数の抽出手段としては、様々な手法が知られており、これらを利用できることが当業者に理解される。
図１３上図には、各時刻のエネルギーを示し、下図には、各時刻のエネルギーの対数の分布を示す。下図において、左の山は非音声区間と考えられ、右の山は音声区間と考えられる。判別分析によって谷間を検出することで音声区画を検出する。
手順は以下のとおりである。
抽出された音声成分Vに対し各時刻でピッチ（基本周波数）を抽出する。
櫛形フィルタを用いて基本周波数と、その倍音を通過させた信号を得る。
エネルギーが小さい時刻ではマスクしない。
【００６１】
倍音構造を持つマスクを設計するため、まず各時刻でＶのピッチを抽出する。これにより、Ｆ0および倍音のみを抑圧するような各時刻のマスクｍtが設計できる。また、それらを並べることにより、時間周波数マスクＭ＝[ｍ1,ｍ2, ・・・ ,ｍT]を作ることができる。
１つの態様では、倍音構造を持つマスクは、
2010210758.tif 000019
である。
これは、ガウス関数を使って連続的な値をとるように設計したマスクを意味する。
【００６２】
ここで得たマスクを単純に原信号に掛ければ、ボーカル成分を抑圧した信号を得ることができるが、時間周波数Ｍではボーカルが休止している場合でも何らかの成分が遮断されるため、ここで得られた信号では前奏などでも一部の音が抑圧されてしまう。これを防ぐため、抽出したボーカル成分にマスクを反転して掛けたスペクトログラムＶt,ω´＝(１−Ｍt,ω)Ｖt,ωでは、ボーカル以外の成分がほとんど抑圧されていると仮定し、エネルギーがある閾値θに満たない時刻{t｜Σω（Ｖt,ω´）2＜θ}＝:Θではボーカルが歌っていないものとみなした。これにより、マスクを
【数１７】
2010210758.tif 000020
と再設計し、これを原信号に掛けることで、より適切なボーカル抑圧信号が得られると考えられる。
以上を、本実施態様で提案するボーカル抑圧手法とする．
【００６３】
［Ｃ−５］実音楽信号による実験
［Ｃ−５−１］実験条件
実験には、RWC研究用音楽データベース（Goto et al., Proc. of ISMIR,
pp.287-288, 2002.）よりポピュラー音楽、ジャズ、著作権切れ音楽を16kHzのモノラル音楽音響信号に変換して用いた。多重HPSS法のSTFTのフレーム長はllong＝512[ms]、lshort＝16[ms]、フレームシフトはフレーム長の半分、窓関数は分析窓、合成窓ともにハニング窓の平方根とした。ピッチ抽出にはラグ窓を用いた方法（嵯峨山, 古井, 信学総大, Vol.5,
1235, 1978.10）を使用し、抽出したピッチをftとしたとき、マスクの各成分を
【数１８】
2010210758.tif 000021
とした。なお、62Hzは、時間分解能が16[ms]のときのスペクトログラムの周波数分解能である。マスクの再設計に用いる閾値は、V´のエネルギーの冪乗変換{Σω(Ｖt,ω´)2}0.1に対する判別分析により決定した。
【００６４】
［Ｃ−５−２］実験結果
RWC研究用音楽データベースのポピュラー音楽より、“tell me”(RWC-MDB-P-2001 No. 25)に対して提案法を適用した結果を図１３に示す。原信号のスペクトログラム（左図）の2[s], 4.5 [s], 7[s] 付近に顕著に見られるボーカル成分が、V´（中央図）に抽出され、右図では抑圧されている様子が観察できる。また聴感上も、ボーカル成分が抑圧されたことがこの楽曲を含む複数の楽曲において確認された。
【００６５】
［Ｃ−６］小括
本実施例では、スペクトログラムの時間周波数分解能を変えた2段階の分析によりボーカル成分を抽出し、それにより設計した時間周波数マスクでボーカル成分を抑圧する手法を提案、および聴感的な検証をした。
【実施例２】
【００６６】
［Ｄ］混合音中の音声強調
本実施例は、スペクトログラムの時間周波数分解能を変えたときの音声と雑音の形状の変化に着眼し、調波打楽器音分離（Harmonic/Percussive Sound Separation: HPSS  非特許文献９乃至１２)を多段階で用いる多重HPSS法により検出することにより音声を強調する、新しい手法を提案する。
スペクトログラムの時間周波数分解能によって音声と雑音のスペクトログラムの時間方向・周波数方向への滑らかさが異なることを利用して、音声と雑音の混合音から、音声を強調する手法を提案する。
正弦波、インパルス、ホワイトノイズなどは、スペクトログラムの時間周波数分解能が10[ms]程度でも100[ms]程度でもスペクトログラムの時間・周波数方向への滑らかさはおおむね同様の傾向を示す。
一方、音声にはピッチやパワーやスペクトルのゆらぎがあることが多いため、10ms程度の短いフレーム長のスペクトログラム上では時間方向に滑らかであるのに対し、100ms程度の長いフレーム長のスペクトログラム上では周波数方向への滑らかさが強い。
このような傾向の違いを利用することで、時間周波数分解能を変えた2段階での分析により、音声を強調した信号を得た。
【００６７】
［Ｄ−１］多重HPSS法による音声強調
HPSSは、入力信号をスペクトログラム上で時間方向への連結が強い成分(H)と、周波数方向への連結が強い成分(P)とに分離する手法である。以下の3つの指針
HとPの和は原信号に可能な限り一致
Hの時間方向の変化が可能な限り小
Pの周波数方向の変化が可能な限り小
に基づいて目的関数を設計し、その最適化によりH、Pを求める問題として定式化されている。なお、HPSSではスペクトログラムの計算方法に関しては規定していないため、短時間フーリエ変換(STFT)の窓関数やフレーム長、フレームシフトは任意である。
【００６８】
ある入力信号をHPSSにより分離したときのHとPのエネルギーの比率を、H/P比(H/P Ratio)と呼ぶ。H/P比は、ピアノやギターの音に関しては大きく、打楽器の音に関しては小さいことがこれまでの研究により分かっている。
【００６９】
［Ｄ−２］様々な音響信号のH/P比の傾向
音声信号には実環境においてはさまざまな種類の雑音が加わるが、特に理想化した雑音として、純音(正弦波)、インパルス、ホワイトノイズの3種類に関するH/P比について定性的に述べる。
【００７０】
正弦波はどのようなフレーム長でSTFTを行った場合も、ある特定の周波数に高いピークが現れ、それが長時間保持される。すなわち，純音は時間方向への連結が強く、HPSSによりほとんどの成分がHに分離される(H/P>>1)。
【００７１】
インパルスは、どのようなフレーム長でSTFTを行った場合も、ある瞬間のみに全帯域を占め、その直前と直後の時刻には全くエネルギーがない。すなわち、インパルスは周波数方向への連結が強く、HPSSによりほとんどの成分がPに分離される(H/P<<1)。
【００７２】
ホワイトノイズは、どのようなフレーム長でSTFTを行った場合も、すべての時刻・周波数でほぼ等しいパワーを持つ。このため、時間方向と周波数方向の連結の強さは同等であり、HPSSを適用すると，H、Pのどちらかへ極端にエネルギーが集中することはない。すなわち、H/Pは中程度の値を示す。
【００７３】
このように、正弦波、インパルス、ホワイトノイズは、いずれもフレーム長に関わらずH/P比は同様の傾向を示す。
【００７４】
［Ｄ−３］音声のH/P比
音声には多くの場合に振幅やピッチにゆらぎ(短時間変動)が含まれるため、STFTのフレーム長に依存して異なったH/P比の傾向が見られると考えられる。
【００７５】
音声を短いフレーム長(10[ms]程度)でSTFTすると、フレーム内での音声は定常に近く、かつ周波数分解能が低いため、特定の周波数binにエネルギーが集中するため、周波数方向への連結性は弱く、HPSSによりHへやや多く分離される(H/P>1)。
【００７６】
一方、長いフレーム長(100[ms]程度)でのSTFTの場合、フレーム内に音声の非定常な現象が含まれ、同時に周波数分解能が高くなるため、音声のピッチやパワーの変動に由来するスペクトルの広がりが複数の周波数binに亘って観測される。これにより、音声スペクトルでは周波数方向への連結が強く見られ、HPSSによりPへやや多く分離される(H/P<1)。このように、音声はSTFTのフレーム長によってH/P比の傾向が異なる(表１)。
【表１】
2010210758.tif 000022
【００７７】
［Ｄ−４］多重HPSS法による混合音中の音声強調
雑音と音声のH/P比のこのような傾向の違いを利用すると、HPSSを2段階で用いることによって、音声を強調した信号が得られる。
すなわち、第1段階として、長いフレーム長のスペクトログラム上におけるHPSSによりP成分を抽出し、第2段階では、ここで得られたP成分を一度波形に戻し、再び短いフレーム長のスペクトログラム上でのHPSSによってH成分を抽出する。
【００７８】
以上の2段階の処理において、音声はいずれの段階も通過しやすいのに対し、正弦波、インパルス、ホワイトノイズに類する雑音はいずれかの段階において抑圧される。これにより、音声強調信号が得られると考えられる。
この分離手法を多重HPSS法と呼ぶこととし、この手法を本稿で提案する音声強調手法とする。
【００７９】
［Ｄ−５］音声強調の性能評価
［Ｄ−５−１］実験目的と条件
提案手法の性能を評価するため、音声信号に雑音を加算した信号に対し多重HPSS法を適用し、SNRの改善値を調べた。
音声信号には、SMILE2004データベース[DVD版建築と環境のサウンドライブラリ，日本建築学会編，技報堂出版(SMILE2004)]より、男女それぞれの日本語の朗読音声を使用した。雑音には、同データベースから、ホワイトノイズ、ピンクノイズ、1kHzの帯域雑音、足音（ボイド280素面、ハイヒール強め歩行）、ドライヤー、地下鉄車内騒音、弦楽四重奏、赤ん坊の泣き声、合唱、池袋駅地下コンコースの10種類と、計算機上で生成した1kHzの正弦波、1[s]間隔のインパルス、の計12種類を用いた。
音声と雑音は、10[s]を切り出して使い、-10dBから10dBまで、2.5dB刻みのSNRで混合した。
多重HPSS法に用いたフレーム長は、第1段階HPSSでは256[ms]とし、第2段階HPSSでは16[ms]とした。それぞれのHPSSにおいて、STFTに用いた窓関数は、分析窓、合成窓ともにハニング窓の平方根とした。
【００８０】
［Ｄ−５−２］音声強調の実験結果
女性の朗読音声に各雑音を加算して提案手法を適用したときのSNRの改善値を図１４に示す。なお、男性の朗読音声に関しては、ここで示した値より1dB程度ずつ低い値を示した。
今回用いた12種類の雑音の中では、正弦波とインパルスに対して高い改善値を示した。次いで足音、ホワイトノイズ、ピンクノイズ、地下鉄車内騒音、ドライヤーの順に高い改善値を示した。ほとんどの雑音に関してある程度の効果が認められたが、合唱や赤ん坊の泣き声のように雑音自体も音声である場合は、SNRの向上は認められなかった。
【００８１】
［Ｄ−６］小括
本実施例では、音声の調波構造や入力信号のSNRなどの事前知識を用いることなく、スペクトログラムの時間周波数分解能を変えた2段階の分析のみによって音声を強調する手法を提案した。また、雑音と音声の混合信号を用いた評価実験により、複数の種類の雑音に対する効果を確認した。
【産業上の利用可能性】
【００８２】
本発明は、音声、楽器音、騒音の混合信号から、音声成分とそれ以外とを分離する技術である。本発明を音楽信号へ適用することによってボーカルと楽器音の分離が可能であり、カラオケの自動作成技術などに直接利用することが可能であると考えられる。また、本発明を音声と騒音の混合信号へ適用することで、大幅な雑音抑圧が可能であり、これは音声認識の前処理として有用である。
本発明による音声成分の抽出は、音声区画検出へ応用することもできる。
また、音声、騒音の混合信号から抽出した非音声成分は、原信号の背景雑音の特性の推定への応用が考えられ、フィルタ設計の前処理としても有効である。
【図１２】
2010210758.tif 000023
【図１】
2010210758.tif 000024
【図２】
2010210758.tif 000025
【図３】
2010210758.tif 000026
【図４】
2010210758.tif 000027
【図５Ａ】
2010210758.tif 000028
【図５Ｂ】
2010210758.tif 000029
【図５Ｃ】
2010210758.tif 000030
【図５Ｄ】
2010210758.tif 000031
【図５Ｅ】
2010210758.tif 000032
【図５Ｆ】
2010210758.tif 000033
【図６Ａ】
2010210758.tif 000034
【図６Ｂ】
2010210758.tif 000035
【図６Ｃ】
2010210758.tif 000036
【図６Ｄ】
2010210758.tif 000037
【図６Ｅ】
2010210758.tif 000038
【図６Ｆ】
2010210758.tif 000039
【図７】
2010210758.tif 000040
【図８】
2010210758.tif 000041
【図９】
2010210758.tif 000042
【図１０】
2010210758.tif 000043
【図１１】
2010210758.tif 000044
【図１３】
2010210758.tif 000045
【図１４】
2010210758.tif 000046
【図１５】
2010210758.tif 000047
【図１６】
2010210758.tif 000048