(57)【要約】【課題】音声信号が有する音質的特徴を可能な限り損なうことなく、複数の音源からの音声を含む音声信号から所望の成分を取得すること。【解決手段】複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出する抽出部と、前記抽出部により抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類する分類部と、前記分類部により第１のクラスに分類された成分から合成される第１の合成スペクトル及び前記分類部により第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整する調整部と、前記調整部により特性が調整された前記適応フィルタを前記音声信号に適用するフィルタリング部と、を備える信号処理装置を提供する。【選択図】図１
2011215357.tif 000002
【特許請求の範囲】
【請求項１】
複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出する抽出部と；
前記抽出部により抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類する分類部と；
前記分類部により第１のクラスに分類された成分から合成される第１の合成スペクトル及び前記分類部により第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整する調整部と；
前記調整部により特性が調整された前記適応フィルタを前記音声信号に適用するフィルタリング部と；
を備える信号処理装置。
【請求項２】
前記分類条件は、前記複数の音源のうち少なくとも１つの音源と他の音源とを分類するための条件である、請求項１に記載の信号処理装置。
【請求項３】
前記第１のクラスは、前記少なくとも１つの音源についての成分であると推定される成分が属するクラスであり、前記第２のクラスは、前記少なくとも１つの音源についての成分ではないと推定される成分が属するクラスである、請求項２に記載の信号処理装置。
【請求項４】
前記調整部は、各周波数における前記第１の合成スペクトルと前記第２の合成スペクトルとの間のパワーの比に応じて、前記適応フィルタの特性を調整する、請求項１〜３のいずれか１項に記載の信号処理装置。
【請求項５】
前記調整部は、前記第１の合成スペクトルに対する前記第２の合成スペクトルのパワーの比が相対的に小さい周波数においては信号を維持し、当該比が相対的に大きい周波数においては信号を抑制するようなフィルタ特性を、前記適応フィルタの特性とする、請求項４に記載の信号処理装置。
【請求項６】
前記分類条件は、前記抽出部により抽出された各成分の周波数に関する条件を含む、請求項２に記載の信号処理装置。
【請求項７】
前記分類条件は、前記抽出部により抽出された各成分のパワーに関する条件を含む、請求項２に記載の信号処理装置。
【請求項８】
前記抽出部は、１つの音源からの音声の周波数スペクトルを表現するためのモデルであって、少なくとも基本周波数とパワーとをパラメータとして含むモデルを用いて、前記周波数スペクトルを分解することにより、前記音源ごとの成分を抽出する、請求項１に記載の信号処理装置。
【請求項９】
前記分類部は、前記抽出部により抽出された各成分についての基本周波数とパワーとに関する前記分類条件に従って、各成分を２つ以上のクラスのいずれかに分類する、請求項８に記載の信号処理装置。
【請求項１０】
複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出するステップと；
抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類するステップと；
第１のクラスに分類された成分から合成される第１の合成スペクトル及び第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整するステップと；
特性が調整された前記適応フィルタを前記音声信号に適用するステップと；
を含む信号処理方法。
【請求項１１】
信号処理装置を制御するコンピュータを：
複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出する抽出部と；
前記抽出部により抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類する分類部と；
前記分類部により第１のクラスに分類された成分から合成される第１の合成スペクトル及び前記分類部により第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整する調整部と；
前記調整部により特性が調整された前記適応フィルタを前記音声信号に適用するフィルタリング部と；
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の音源から発せられる音声を含む音声信号から、特定の音源についての音声を抽出するための技術が研究されている。例えば、下記特許文献１及び非特許文献１は、音声信号（音楽音響信号）のスペクトルを解析することにより当該音声信号に含まれるメロディー音又はベース音のピッチを推定し、推定したピッチに対応する音声を正弦波合成により生成する手法を開示している。また、下記特許文献２は、ステレオ音声信号の左右の信号に対して所定の信号演算を行ってボーカル成分をキャンセルすることにより、ステレオ音声信号に含まれる演奏成分のみを抽出する手法を開示している。
【０００３】
これら音声抽出技術は、様々な用途に応用され得る。例えば、楽曲の歌詞の自動認識に際して、楽曲の音声信号に自動認識処理を直接適用する代わりに、楽曲の音声信号から抽出されるボーカル成分に自動認識処理を適用することで、認識の精度を向上させることができる。また、キー、コード、テンポ又はリズムなどの楽曲の構成要素を自動判別する場合にも、楽曲の音声信号から特定の楽器についての成分を事前に抽出することで、判別の精度を向上させることができる。さらに、鑑賞、カラオケ又はリミックスなどを目的として、楽曲の音声信号からの特定の楽器又はボーカルについての成分を抽出することが直接的に必要とされる場合もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１２５５６２号公報
【特許文献２】特開平７−３１９４８８号公報
【非特許文献】
【０００５】
【非特許文献１】後藤真孝,  “実世界の音楽音響信号を対象としたメロディーとベースの音高推定”,  情報処理学会  音楽情報科学研究会  研究報告,99-MUS-31-16，Vol.99，No.68，August  1999
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献２のようなステレオ音声信号を用いる技術は、本質的にモノラル音声信号には適用し得ないため、その用途が制限される。また、仮にステレオ音声信号を得ることができたとしても、目的とする特定の音源についての成分が必ずしも予期される位置（中央又は左右のいずれかなど）に定位されているとは限らない。
【０００７】
一方、上記特許文献１及び非特許文献１に記載された技術は、モノラル音声信号にも適用可能である。しかし、正弦波合成による合成信号は、一般的に、基音及び倍音以外の成分を含まない。そのため、正弦波合成による合成信号からは、自然な歌声又は演奏により得られる音声信号が有する音質的特徴が損なわれている場合が多い。例えば、実際に用いられる楽器の音声は、基本周波数に対し厳密な整数倍ではなくわずかにずれた周波数を有する倍音を含んでいるが、このような周波数の揺らぎを正弦波合成で再現することは難しい。また、例えば、正弦波合成によりボーカル成分を生成する場合には、合成信号において歌詞の子音の情報が欠落することが知られている。このような音質的特徴の欠落は、音質の著しい劣化として感知され得る。従って、正弦波合成による合成信号は、鑑賞又はリミックスなどの用途に適さないばかりか、音質的特徴を手がかりとする上述した音声信号処理（歌詞の自動認識等）にとっても不都合なものとなっていた。
【０００８】
そこで、本発明は、音声信号が有する音質的特徴を可能な限り損なうことなく、複数の音源からの音声を含む音声信号から所望の成分を取得することのできる、新規かつ改良された信号処理装置、信号処理方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００９】
本発明のある実施形態によれば、複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出する抽出部と、上記抽出部により抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類する分類部と、上記分類部により第１のクラスに分類された成分から合成される第１の合成スペクトル及び上記分類部により第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整する調整部と、上記調整部により特性が調整された上記適応フィルタを上記音声信号に適用するフィルタリング部と、を備える信号処理装置が提供される。
【００１０】
かかる構成によれば、入力音声信号の周波数スペクトルを構成する音源ごとの成分が抽出された後、第１のクラス（例えば、後述する信号クラス）に分類された成分から合成される第１の合成スペクトル及び第２のクラス（例えば、後述するノイズクラス）に分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性が調整される。そして、特性が調整された適応フィルタが、入力音声信号の周波数スペクトルに適用される。それにより、出力音声信号において、例えば、一方のクラスの成分が他方のクラスの成分に対して相対的に強調され、あるいは抑制され得る。
【００１１】
また、上記分類条件は、上記複数の音源のうち少なくとも１つの音源と他の音源とを分類するための条件であってもよい。
【００１２】
また、上記第１のクラスは、上記少なくとも１つの音源についての成分であると推定される成分が属するクラスであり、上記第２のクラスは、上記少なくとも１つの音源についての成分ではないと推定される成分が属するクラスであってもよい。
【００１３】
また、上記調整部は、各周波数における上記第１の合成スペクトルと上記第２の合成スペクトルとの間のパワーの比に応じて、上記適応フィルタの特性を調整してもよい。
【００１４】
また、上記調整部は、上記第１の合成スペクトルに対する上記第２の合成スペクトルのパワーの比が相対的に小さい周波数においては信号を維持し、当該比が相対的に大きい周波数においては信号を抑制するようなフィルタ特性を、上記適応フィルタの特性としてもよい。
【００１５】
また、上記分類条件は、上記抽出部により抽出された各成分の周波数に関する条件を含んでもよい。
【００１６】
また、上記分類条件は、上記抽出部により抽出された各成分のパワーに関する条件を含んでもよい。
【００１７】
また、上記抽出部は、１つの音源からの音声の周波数スペクトルを表現するためのモデルであって、少なくとも基本周波数とパワーとをパラメータとして含むモデルを用いて、上記周波数スペクトルを分解することにより、上記音源ごとの成分を抽出してもよい。
【００１８】
また、上記分類部は、上記抽出部により抽出された各成分についての基本周波数とパワーとに関する上記分類条件に従って、各成分を２つ以上のクラスのいずれかに分類してもよい。
【００１９】
また、本発明の別の実施形態によれば、複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出するステップと、抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類するステップと、第１のクラスに分類された成分から合成される第１の合成スペクトル及び第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整するステップと、特性が調整された上記適応フィルタを上記音声信号に適用するステップと、を含む信号処理方法が提供される。
【００２０】
また、本発明の別の実施形態によれば、信号処理装置を制御するコンピュータを、複数の音源からの音声を含む音声信号の周波数スペクトルについて、当該周波数スペクトルを構成する音源ごとの成分を抽出する抽出部と、上記抽出部により抽出された各成分を、所定の分類条件に従って２つ以上のクラスのいずれかに分類する分類部と、上記分類部により第１のクラスに分類された成分から合成される第１の合成スペクトル及び上記分類部により第２のクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性を調整する調整部と、上記調整部により特性が調整された上記適応フィルタを上記音声信号に適用するフィルタリング部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように、本発明に係る信号処理装置、信号処理方法及びプログラムによれば、音声信号が有する音質的特徴を可能な限り損なうことなく、複数の音源からの音声を含む音声信号から所望の成分を取得することができる。
【図面の簡単な説明】
【００２２】
【図１】一実施形態に係る信号処理装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る音源モデルについて説明するための説明図である。
【図３】一実施形態に係る抽出部による音源ごとのスペクトル成分の抽出について説明するための説明図である。
【図４】一実施形態に係る抽出部によるパラメータセット決定処理の流れの一例を示すフローチャートである。
【図５】一実施形態に係る分類部による分類処理について説明するための説明図である。
【図６】一実施形態に係る調整部によるフィルタ特性の調整について説明するための説明図である。
【図７】一実施形態に係る信号処理装置による信号処理の流れの一例を示すフローチャートである。
【図８】あるウィンドウにおける入力音声信号の周波数スペクトルの一例を示すグラフである。
【図９】図８の周波数スペクトルに対するフィルタリング処理後の出力周波数スペクトルの一例を示すグラフである。
【図１０】汎用コンピュータのハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２４】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る信号処理装置の構成例
１−１．全体的な構成
１−２．ウィンドウ処理部
１−３．ＦＦＴ部
１−４．抽出部
１−５．分類部
１−６．調整部
１−７．フィルタリング部
１−８．ＩＦＦＴ部
２．一実施形態に係る信号処理の流れ
３．処理結果の例
４．ハードウェア構成例
５．まとめ
【００２５】
＜１．一実施形態に係る信号処理装置の構成例＞
［１−１．全体的な構成］
まず、図１を用いて、本発明の一実施形態に係る信号処理装置１００の全体的な構成を説明する。次に、図２〜図６を用いて、各構成要素について詳細に説明する。
【００２６】
図１は、本発明の一実施形態に係る信号処理装置１００の構成の一例を示すブロック図である。図１を参照すると、信号処理装置１００は、ウィンドウ処理部１１０、ＦＦＴ（Fast  Fourier  transform：高速フーリエ変換）部１２０、抽出部１３０、分類部１４０、調整部１５０、フィルタリング部１６０、及びＩＦＦＴ（Inverse  Fast  Fourier  transform：逆高速フーリエ変換）部１７０を備える。
【００２７】
信号処理装置１００は、信号処理のための入力信号として、複数の音源から発せられた音声を含む入力音声信号Ａ（ｔ）を取得する。入力音声信号Ａ（ｔ）は、例えば、演奏された楽曲を時間軸に沿って記録した信号であってよい。その場合には、楽曲を構成する各音源から発せられる音声に対応する成分が、入力音声信号Ａ（ｔ）に含まれる。音源とは、例えば、ボーカル（歌手）及び任意の楽器（例えば、ピアノ、ギター、ベース又はドラムなど）を含み得る。そして、信号処理装置１００は、入力音声信号Ａ（ｔ）について後述する信号処理を行った後、出力音声信号Ａ´（ｔ）を出力する。出力音声信号Ａ´（ｔ）は、入力音声信号Ａ（ｔ）から１つ以上の音源についての成分が抽出された（あるいは強調された）信号である。但し、後に詳しく説明するように、信号処理装置１００は特定の１つ以上の音源についての成分のみを純粋に抽出して出力音声信号Ａ´（ｔ）を生成するのではないことに留意すべきである。信号処理装置１００から出力される出力音声信号Ａ´（ｔ）は、そのまま鑑賞若しくはリミックスなどの用途に供されてもよく、又は歌詞の自動認識などのさらなる音声信号処理に供されてもよい。
【００２８】
［１−２．ウィンドウ処理部］
ウィンドウ処理部１１０は、所定のウィンドウ幅を有する時間ウィンドウごとに、当該時間ウィンドウに対応する音声信号であるフレーム信号を入力音声信号Ａ（ｔ）から切り出す。本明細書では、ｉ番目の時間ウィンドウについて切り出された音声信号を、フレーム信号Ａｉ（ｔ）と表す。ウィンドウ処理部１１０は、入力音声信号Ａ（ｔ）から切り出される各フレーム信号Ａｉ（ｔ）を、ＦＦＴ部１２０へ順次出力する。
【００２９】
［１−３．ＦＦＴ部］
ＦＦＴ部１２０は、ウィンドウ処理部１１０から入力される各フレーム信号Ａｉ（ｔ）を高速フーリエ変換することにより、ｉ番目の時間ウィンドウに対応する周波数スペクトルＳｉ（ω）を生成する。そして、ＦＦＴ部１２０は、生成した各周波数スペクトルＳｉ（ω）を、抽出部１３０及びフィルタリング部１６０へ順次出力する。
【００３０】
［１−４．抽出部］
抽出部１３０は、ＦＦＴ部１２０から入力される周波数スペクトルＳｉ（ω）を構成する音源ごとのスペクトル成分を抽出する。より具体的には、抽出部１３０は、１つの音源から発せられる音声の周波数スペクトルを表現するための音源モデルを予め保持する。そして、抽出部１３０は、当該音源モデルを用いて周波数スペクトルＳｉ（ω）を分解することにより、音源ごとのスペクトル成分を抽出する。本実施形態において、抽出部１３０が使用する音源モデルは、少なくとも基本周波数とパワーとをパラメータとして含むモデルである。
【００３１】
（音源モデルの説明）
図２は、本実施形態に係る音源モデルについて説明するための説明図である。図２を参照すると、抽出部１３０が使用する音源モデルＭ（ω）のスペクトル例が示されている。図から理解されるように、音源モデルＭ（ω）は、基音（基本周波数μ）及びＮ−１個の倍音（周波数ｎμ（ｎ＝２，３，…，Ｎ））においてそれぞれガウシアン分布の形状をしたスペクトルを有するモデルである。なお、これ以降の説明においては、説明の簡明さの観点から、基音を１番目（ｎ＝１）の倍音として扱う場合がある。ｎ番目の倍音のスペクトルのパワーは、倍音比ｒｎ（ｎ＝１，２，…，Ｎ）により表される。
【００３２】
即ち、音源モデルＭ（ω）のスペクトルの形状は、基本周波数μ及びＮ個の倍音比ｒｎをパラメータとして決定される。さらに、周波数スペクトルＳｉ（ω）に占める音源ごとのパワーの割合が異なることを考慮すると、第ｍ音源についてのスペクトル成分Ｍｍ（ω）は、音源別のパワーｑｍ、基本周波数μｍ及び倍音比ｒｍ，ｎを用いて、次式により表される。
【００３３】
【数１】
2011215357.tif 000003
【００３４】
なお、式（１）に含まれる各パラメータは、式（２）〜式（４）に示す条件を充足する。式（１）及び式（４）において、ｇ（ω，ｎμｍ）は、周波数ωを変数とし、平均値がｎμｍであるガウシアン分布を表す。
【００３５】
【数２】
2011215357.tif 000004
【００３６】
（抽出処理の概要）
図３は、抽出部１３０による音源ごとのスペクトル成分の抽出について概念的に説明するための説明図である。図３の上段には、ＦＦＴ部１２０から入力される周波数スペクトルＳｉ（ω）の一例が示されている。抽出部１３０は、かかる周波数スペクトルＳｉ（ω）を、第１音源から第Ｍ音源までのＭ個の音源についてのスペクトル成分の合成スペクトルであると仮定し、周波数スペクトルＳｉ（ω）と合成スペクトルとの差を最小化する尤もらしいパラメータセットΘを最尤推定法を用いて決定する。なお、パラメータセットΘには、Ｍ個の音源のそれぞれの音源別パワーｑｍ、基本周波数μｍ及び倍音比ｒｍ，ｎが含まれる。
【００３７】
【数３】
2011215357.tif 000005
【００３８】
その結果、図３の下段に示しているように、周波数スペクトルＳｉ（ω）は、第１音源についてのスペクトル成分Ｍ１（ω）から第Ｍ音源についてのスペクトル成分ＭＭ（ω）までのＭ個の音源についてのスペクトル成分に分解される。
【００３９】
（抽出処理の詳細）
より詳細に説明すると、例えば、抽出部１３０は、以下のように最尤推定法の１つであるＥＭ（Expectation-Maximization）アルゴリズムを応用することにより、尤もらしいパラメータセットΘを決定することができる。
【００４０】
まず、所与のパラメータセットΘについての上述した音源モデルを用いた合成スペクトルをｆ（ω｜Θ）とすると、ｆ（ω｜Θ）は次式により表される。
【００４１】
【数４】
2011215357.tif 000006
【００４２】
周波数スペクトルＳｉ（ω）と合成スペクトルｆ（ω｜Θ）との差を評価するための指標としては、例えば次式により表されるＩ−ｄｉｖｅｒｇｅｎｃｅを用いることができる。Ｉ−ｄｉｖｅｒｇｅｎｃｅは、２つの信号波形又は２つのスペクトルの間の形状の近さを表す尺度として用いられる概念である。
【００４３】
【数５】
2011215357.tif 000007
【００４４】
最尤推定法のための目的関数Ｆ（Θ）は、式（７）のＩ−ｄｉｖｅｒｇｅｎｃｅに正規化項Ｈ（Θ）を加えることにより、次式のように導かれる。なお、正規化項Ｈ（Θ）は、確率モデルを用いて最尤推定を行う場合の事前確率（事前知識）に相当する項である。
【００４５】
【数６】
2011215357.tif 000008
【００４６】
例えば、事前知識として第ｍ音源の基本周波数μｍがある周波数ｕの近傍に存在することが分かっている場合には、式（９）に示すような二乗誤差が正規化項Ｈ（Θ）に含まれてもよい。
【００４７】
【数７】
2011215357.tif 000009
【００４８】
また、例えば、第ｍ音源の音声の周波数が一定の帯域範囲［ａ，ｂ］に含まれる場合には、式（１０）に示すような制約条件を正規化項Ｈ（Θ）としてもよい。
【００４９】
【数８】
2011215357.tif 000010
【００５０】
また、例えば、第ｍ音源の倍音比ｒｍ，ｎがある程度既知である場合には、式（１１）に示すように、既知である重みｄｎを用いた制約条件が正規化項Ｈ（Θ）に含まれてもよい。
【００５１】
【数９】
2011215357.tif 000011
【００５２】
そして、抽出部１３０は、式（８）の目的関数Ｆ（Θ）を最小化する尤もらしいパラメータセットΘを、図４に示すようなパラメータセット決定処理により決定する。
【００５３】
図４は、抽出部１３０によるパラメータセット決定処理の流れの一例を示すフローチャートである。
【００５４】
まず、抽出部１３０は、パラメータセットΘに含まれる各パラメータの初期値を決定する（ステップＳ１０２）。例えば、入力音声信号Ａ（ｔ）の第１フレームについての各パラメータの初期値は、予め設定される固定的な値であってよい（例えば、基本周波数μｍについては、４４０Ｈｚを中央として周波数軸上で一定の間隔を置いて配置されるｍ個の固定的な周波数など）。また、第２フレーム以降の各フレームについての各パラメータの初期値は、前フレームにおいて決定された各パラメータの値であってよい。
【００５５】
次に、抽出部１３０は、式（１２）〜式（１４）のように、パラメータの更新のための補助変数αｍ，ｎ（ω）の値を決定する（ステップＳ１０４）。
【００５６】
【数１０】
2011215357.tif 000012
【００５７】
次に、抽出部１３０は、式（１５）〜式（１７）のように、ステップＳ１０４において決定された補助変数αｍ，ｎ（ω）を用いて、各パラメータの値を更新する（ステップＳ１０６）。なお、式（１５）は、音源別のパワーｑｍを更新するための更新式である。式（１６）は、倍音比ｒｍ，ｎを更新するための更新式である。式（１７）は、基本周波数μｍを更新するための更新式を導く微分方程式である。
【００５８】
【数１１】
2011215357.tif 000013
【００５９】
次に、抽出部１３０は、更新した音源別のパワーｑｍ、基本周波数μｍ及び倍音比ｒｍ，ｎを式（８）の目的関数Ｆ（Θ）に代入する（ステップＳ１０８）。そして、抽出部１３０は、目的関数Ｆ（Θ）の出力値に応じて、収束の有無を判定する（ステップＳ１１０）。例えば、抽出部１３０は、出力値の増加が予め設定される閾値を超えない場合には、目的関数Ｆ（Θ）が収束したと判定してもよい。また、例えば、抽出部１３０は、処理の繰返し回数が所定の閾値に到達した場合には、目的関数Ｆ（Θ）が収束したと判定してもよい。目的関数Ｆ（Θ）が収束していない場合には、処理はステップＳ１０４へ戻る。一方、目的関数Ｆ（Θ）が収束した場合には、抽出部１３０は、その時点のパラメータセットΘを尤もらしいパラメータであると決定し、決定したパラメータセットΘを分類部１４０へ出力する（ステップＳ１１２）。
【００６０】
［１−５．分類部］
上述した抽出部１３０の処理により決定されたパラメータセットΘは、周波数スペクトルＳｉ（ω）から抽出された音源ごとのスペクトル成分Ｍｍ（ω）を特定する。分類部１４０は、かかるパラメータセットΘにより特定される音源ごとのスペクトル成分Ｍｍ（ω）を、それぞれ所定の分類条件に従って２つ以上のクラスのいずれかに分類する。典型的には、分類条件は、各スペクトル成分Ｍｍ（ω）のパワーｑｍ、基本周波数μｍ及び倍音比ｒｍ，ｎの少なくとも１つに関する条件を含む。
【００６１】
例えば、信号処理の目的がボーカル成分の抽出である場合には、上記分類条件として、複数の音源をボーカルに関連する音源と他の音源とに分類するための条件が設定され得る。また、信号処理の目的がベース成分の抽出である場合には、上記分類条件として、複数の音源をベースと他の音源とに分類するための条件が予め設定され得る。
【００６２】
図５は、本実施形態に係る分類部１４０による分類処理について説明するための説明図である。なお、ここでは、信号処理の目的がボーカル成分の抽出である例について説明する。
【００６３】
図５の上段には、周波数スペクトルＳｉ（ω）から抽出されたＭ個のスペクトル成分Ｍ１（ω）〜ＭＭ（ω）が示されている。分類部１４０は、これらスペクトル成分の分類のために、次のような分類条件を用いる。
・分類条件１：ｑｍ＞ＱＴＨ  かつ
・分類条件２：μｍ＞ＦＴＨ
そして、分類部１４０は、分類条件１及び２を共に満たすスペクトル成分を第１のクラスＣ１、分類条件１及び２のいずれか一方又は双方を満たさないスペクトル成分を第２のクラスＣ２に分類する。図５の例では、第１のクラスＣ１は、ボーカル成分であると推定される成分が属するクラスである。本明細書では、第１のクラスＣ１を「信号クラス」という。第２のクラスＣ２は、ボーカル成分ではないと推定される成分が属するクラスである。本明細書では、第２のクラスＣ２を「ノイズクラス」という。
【００６４】
ここで、上記分類条件において、ＦＴＨは基本周波数μｍに関する閾値である。例えばＦＴＨ＝２２０Ｈｚであってよい。分類条件１は、ボーカル成分が一定の周波数よりも低い周波数の音声を含まないことに基づく（ベースなどの他のいくつかの音源は、ボーカルと比較して低い周波数の音声を発し得る）。一方、ＱＴＨはパワーｑｍに関する閾値である。閾値ＱＴＨの値は、周波数スペクトルＳｉ（ω）の全体のパワーの大きさに応じて設定され得る。分類条件２は、楽曲の中で相対的に音量の小さい（パワーの低い）成分をノイズであるとみなす条件である。分類条件２は、ボーカル成分以外の他の音源成分の抽出のための条件としても用いられ得る。
【００６５】
分類部１４０は、このように、Ｍ個のスペクトル成分Ｍ１（ω）〜ＭＭ（ω）のそれぞれを、信号クラスＣ１及びノイズクラスＣ２のいずれかに分類する。そして、分類部１４０は、例えば、信号クラスＣ１に分類された成分の合成スペクトルＣ１（ω）、及び信号クラスＣ２に分類された成分の合成スペクトルＣ２（ω）を算出する。
【００６６】
【数１２】
2011215357.tif 000014
【００６７】
そして、分類部１４０は、算出した合成スペクトルＣ１（ω）及びＣ２（ω）を調整部１５０へ出力する。
【００６８】
［１−６．調整部］
調整部１５０は、分類部１４０から入力される信号クラスの合成スペクトルＣ１（ω）及びノイズクラスの合成スペクトルＣ２（ω）を用いて、適応フィルタの特性を調整する。調整部１５０により特性が調整される適応フィルタとは、後に説明するフィルタリング部１６０がフィルタリング処理に用いるフィルタである。なお、一般的に、適応フィルタとは、伝達関数あるいはフィルタ係数が可変であるフィルタをいう。本実施形態において、調整部１５０は、信号クラスの合成スペクトルＣ１（ω）とノイズクラスの合成スペクトルＣ２（ω）との間のパワーの比に応じて、第ｉウィンドウに対応する周波数スペクトルＳｉ（ω）に適用されるべき適応フィルタの特性Ｇｉ（ω）を調整する。
【００６９】
図６は、本実施形態に係る調整部１５０によるフィルタ特性の調整について説明するための説明図である。
【００７０】
図６の上段には、信号クラスＣ１に分類された１つ以上のスペクトル成分、及びノイズクラスＣ２に分類された１つ以上のスペクトル成分が示されている。また、図６の中段には、分類部１４０から入力される信号クラスの合成スペクトルＣ１（ω）及びノイズクラスの合成スペクトルＣ２（ω）が示されている。
【００７１】
調整部１５０は、まず、各周波数における信号クラスの合成スペクトルＣ１（ω）に対するノイズクラスの合成スペクトルＣ２（ω）の比であるＳＮ比Δｉ（ω）を、次式のように計算する。
【００７２】
【数１３】
2011215357.tif 000015
【００７３】
次に、調整部１５０は、ＳＮ比Δｉ（ω）が相対的に小さい周波数においては信号を維持し、ＳＮ比Δｉ（ω）が相対的に大きい周波数においては信号を抑制するようなフィルタ特性Ｇｉ（ω）を、上記ＳＮ比Δｉ（ω）を用いて決定する。例えば、フィルタ特性Ｇｉ（ω）は、次式に従って計算され得る。
【００７４】
【数１４】
2011215357.tif 000016
【００７５】
式（２１）における［Δｉ（ω）］τは、時間τの間のＳＮ比Δｉ（ω）の時間平均を表す。例えば、時間τがウィンドウ処理部１１０におけるウィンドウ幅と等しい場合には、［Δｉ（ω）］τは、ｉ番目及びｉ−１番目の２つのフレームの間でのＳＮ比Δｉ（ω）の平均となる。このような時間平均を導入することにより、フィルタ特性が複数の時間ウィンドウにわたって平滑化され、より自然な出力音声信号が得られる。
【００７６】
上記式（２１）によれば、信号クラスの成分のパワーがノイズクラスの成分のパワーと比較して大きくなるほど、フィルタ特性の利得（ゲイン）は１に近付く。利得が１に近付けば、フィルタリング処理の前後で信号は維持される。一方、信号クラスの成分のパワーがノイズクラスの成分のパワーと比較して小さくなるほど、フィルタ特性の利得はゼロに近付く。利得がゼロに近付けば、フィルタリング処理の前後で信号はより強く抑制される。このようなフィルタ特性により、抽出することが望まれる信号クラスに分類された音源についての成分をフィルタリング処理後の信号において残し、ノイズであると見なされる他の音源についての成分を相対的に抑制することが可能となる。
【００７７】
なお、調整部１５０は、フィルタ特性Ｇｉ（ω）のゲインの上限値が所定の閾値Ｖｍａｘを超えないように、フィルタ特性Ｇｉ（ω）をさらに加工してもよい。
【００７８】
【数１５】
2011215357.tif 000017
【００７９】
［１−７．フィルタリング部］
フィルタリング部１６０は、調整部１５０により特性が調整された適応フィルタを、入力音声信号Ａ（ｔ）の各フレームの周波数スペクトルＳｉ（ω）に適用する（周波数スペクトルＳｉ（ω）をマスキングする）ことにより、各フレームの出力周波数スペクトルＳ´ｉ（ω）を生成する。そして、フィルタリング部１６０は、生成した各出力周波数スペクトルＳ´ｉ（ω）を、ＩＦＦＴ部１７０へ順次出力する。
【００８０】
フィルタリング部１６０によるフィルタリング処理は、次式のように表される。
【００８１】
【数１６】
2011215357.tif 000018
【００８２】
［１−８．ＩＦＦＴ部］
ＩＦＦＴ部１７０は、フィルタリング部１６０から入力される各フレームの出力周波数スペクトルＳ´ｉ（ω）を逆高速フーリエ変換することにより、ｉ番目の時間ウィンドウに対応する出力フレーム信号Ａ´ｉ（ｔ）を生成する。そして、ＩＦＦＴ部１７０は、生成した出力フレーム信号Ａ´ｉ（ｔ）を順次出力する。その結果、信号処理装置１００の出力信号として、出力音声信号Ａ´（ｔ）が出力される。なお、ＩＦＦＴ部１７０から出力される一連の出力フレーム信号Ａ´ｉ（ｔ）を含む出力音声信号Ａ´（ｔ）は、信号処理装置１００が有する記憶媒体により記憶されてもよく、信号処理装置１００に接続されるスピーカなどの他の装置へ出力されてもよい。
【００８３】
＜２．一実施形態に係る信号処理の流れ＞
図７は、ここまでに説明した信号処理装置１００による信号処理の流れの一例を示すフローチャートである。
【００８４】
図７を参照すると、まず、ウィンドウ処理部１１０は、所定のウィンドウ幅を有する時間ウィンドウを用いて、入力音声信号Ａ（ｔ）からｉ番目（ｉ＝１，２，…）のフレーム信号Ａｉ（ｔ）を順次切り出す（ステップＳ２０２）。
【００８５】
次に、ＦＦＴ部１２０は、ウィンドウ処理部１１０から入力されるフレーム信号Ａｉ（ｔ）を高速フーリエ変換することにより、周波数スペクトルＳｉ（ω）を生成する（ステップＳ２０４）。
【００８６】
次に、抽出部１３０は、図４を用いて説明したパラメータセット決定処理により、周波数スペクトルＳｉ（ω）を構成する音源ごとのスペクトル成分Ｍｍ（ω）を特定するためのパラメータセットΘを決定する。その結果、音源ごとのスペクトル成分Ｍｍ（ω）が抽出される（ステップＳ２０６）。
【００８７】
次に、分類部１４０は、抽出部１３０により抽出された音源ごとのスペクトル成分Ｍｍ（ω）を、信号処理の目的に応じた分類条件に従って、信号クラス及びノイズクラスのいずれかに分類する（ステップＳ２０８）。
【００８８】
次に、調整部１５０は、信号クラスの合成スペクトルＣ１（ω）とノイズクラスの合成スペクトルＣ２（ω）との間のパワーの比に応じて、ステップＳ２０４で生成された周波数スペクトルＳｉ（ω）に適用すべき適応フィルタの特性Ｇｉ（ω）を調整する（ステップＳ２１０）。
【００８９】
次に、フィルタリング部１６０は、調整部１５０により特性が調整された適応フィルタを周波数スペクトルＳｉ（ω）に適用することにより、出力周波数スペクトルＳ´ｉ（ω）を生成する（ステップＳ２１２）。
【００９０】
次に、ＩＦＦＴ部１７０は、フィルタリング部１６０から入力される出力周波数スペクトルＳ´ｉ（ω）を逆高速フーリエ変換することにより、出力フレーム信号Ａ´ｉ（ｔ）を生成する（ステップＳ２１４）。そして、ＩＦＦＴ部１７０は、生成した出力フレーム信号Ａ´ｉ（ｔ）を順次出力する（ステップＳ２１６）。それにより、一連の出力フレーム信号Ａ´ｉ（ｔ）を含む出力音声信号Ａ´（ｔ）が信号処理装置１００から出力される。
【００９１】
このようなステップＳ２０２からステップＳ２１８までの処理は、入力音声信号Ａ（ｔ）の次のフレームが存在しなくなるまで繰り返される（ステップＳ２１８）。そして、入力音声信号Ａ（ｔ）の次のフレームが存在しない場合には、信号処理装置１００による信号処理は終了する。
【００９２】
また、本実施形態では、信号処理装置１００の分類部１４０が音源ごとのスペクトル成分を信号クラス及びノイズクラスの２つのクラスに分類する例について主に説明した。しかしながら、分類部１４０による分類処理はかかる例に限定されない。例えば、分類部１４０は、さらに第３のクラスを含む３つ以上のクラスに音源ごとのスペクトル成分を分類してもよい。その場合には、調整部１５０は、例えば第３のクラスに含まれるスペクトル成分を無視し、第１のクラス及び第２のクラスの合成スペクトルのパワーの比に応じて、適応フィルタの特性を調整してもよい。
【００９３】
＜３．処理結果の一例＞
次に、図８及び図９を用いて、上述した信号処理による処理結果の一例について説明する。図８は、あるウィンドウにおける入力音声信号の周波数スペクトルの一例を示すグラフである。また、図９は、図８の周波数スペクトルに対するフィルタリング処理後の出力周波数スペクトルの一例を示すグラフである。
【００９４】
図８及び図９を対比すると、出力周波数スペクトル（図９）において、上述した分類条件１を満たさない低い基本周波数（０．２２ｋＨｚ以下）を有する音源成分が抑制されていることが分かる。また、ノイズであると推定される音源成分が抑制されることにより出力周波数スペクトルのパワーは総じて下がる傾向にあるものの、上述した低周波領域を除く部分の全体的な音質的特徴は、信号処理の前後で維持されている。これに対し、仮に正弦波合成により特定の音源成分についての音声信号を合成した場合には、その合成信号の周波数スペクトル（図示せず）は、通常、基本周波数及び倍音の周波数においてのみパワーが突出するようなスペクトルとなる。図９に示した出力周波数スペクトルは、そのような正弦波合成による合成信号のスペクトルとは相違していることが理解される。
【００９５】
＜４．ハードウェア構成例＞
上述した一実施形態に係る信号処理装置１００による信号処理をハードウェアで実現するかソフトウェアで実現するかは問わない。信号処理をソフトウェアで実現する場合には、ソフトウェアを構成するプログラムが、例えば図１０に示したハードウェア構成を有する汎用コンピュータなどを用いて実行され得る。
【００９６】
図１０において、ＣＰＵ（Central  Processing  Unit）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read  Only  Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random  Access  Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられるプログラムやデータなどが一時的に記憶される。
【００９７】
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９１０を介して相互に接続される。バス９１０にはさらに、入出力インタフェース９１２が接続される。入出力インタフェース９１２は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力装置９２０、出力装置９２２及び記憶装置９２４とを接続するためのインタフェースである。
【００９８】
入力装置９２０は、例えばボタン、スイッチ、レバー、マウスやキーボードなどの入力装置を介して、ユーザからの指示や情報入力を受け付ける。出力装置９２２は、例えばＣＲＴ（Cathode  Ray  Tube）、液晶ディスプレイ、ＯＬＥＤ（Organic  Light  Emitting  Diode）などの表示装置を介してユーザに情報を出力する。また、出力装置９２２は、上述した信号処理後の出力音声信号から音声を再生するスピーカを含んでもよい。
【００９９】
記憶装置９２４は、例えばハードディスクドライブ又は半導体メモリなどの記憶媒体を用いて、プログラムやプログラムデータなどを記憶する。また、記憶装置９２４は、上述した信号処理の対象となる楽曲データを予め記憶していてもよい。さらに、記憶装置９２４は、信号処理後の出力音声信号を記憶してもよい。
【０１００】
＜５．まとめ＞
ここまで、図１〜図１０を用いて、本発明の一実施形態に係る信号処理装置１００について説明した。信号処理装置１００によれば、複数の音源から発せられた音声を含む音声信号の周波数スペクトルを構成する音源ごとの成分が抽出された後、信号クラスに分類された成分から合成される第１の合成スペクトル及びノイズクラスに分類された成分から合成される第２の合成スペクトルを用いて、適応フィルタの特性が調整される。そして、特性が調整された適応フィルタが、入力音声信号の周波数スペクトルに適用される。かかる構成によれば、正弦波合成により生成される合成信号と比較して、原信号の音質的特徴を損なうことなく、所望の成分が強調された出力音声信号を取得することができる。また、かかる構成は、モノラル音声信号及びステレオ音声信号のいずれにも適用可能である。
【０１０１】
また、本実施形態によれば、音源ごとのスペクトル成分を分類するための分類条件は、複数の音源のうち少なくとも１つの音源と他の音源とを分類するための条件である。そして、上記信号クラスは、当該少なくとも１つの音源についての成分であると推定される成分が属するクラスであり、上記ノイズクラスは、当該少なくとも１つの音源についての成分ではないと推定される成分が属するクラスである。例えば、ボーカル成分を抽出することが望まれる場合には、ボーカル成分の周波数、パワー又は倍音比に関する条件が分類条件として設定される。また、例えば、ベース成分を抽出することが望まれる場合には、ベース成分の周波数、パワー又は倍音比に関する条件が分類条件として設定される。即ち、上記構成によれば、分類条件を変化させるのみで、目的に応じて異なる音源についての音声信号を、音質的特徴を大きく損なうことなく入力音声信号から抽出することができる。
【０１０２】
また、本実施形態によれば、各周波数における信号クラスの合成スペクトルとノイズクラスの合成スペクトルとの間のパワーの比であるＳＮ比に応じて、適応フィルタの特性が調整される。具体的には、適応フィルタの特性は、ＳＮ比が相対的に小さい周波数においては信号を維持し、ＳＮ比が相対的に大きい周波数においては信号を抑制するように利得が変化する特性となる。かかる構成によれば、正弦波合成により得られる合成信号のように特定の周波数においてパワーが突出するような人工的な出力信号ではなく、歌声や現実の楽器が有する周波数の揺らぎをも含む音質的特徴を残した自然な出力信号を得ることができる。
【０１０３】
また、本実施形態におけるこれらの効果は、音質の劣化を感知させにくい点で鑑賞及びリミックスなどの用途にとって有益である。さらに、歌詞の自動認識及び楽曲の構成要素（例えばキー、コードなど）の自動判別といった楽曲の音質的特徴を手がかりとする音声信号処理を目的とする場合には、その前段階として本実施形態に係る信号処理を入力信号に施すことで、処理結果の品質又は精度を高めることができる。
【０１０４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０５】
１００    信号処理装置
１１０    ウィンドウ処理部
１２０    ＦＦＴ部
１３０    抽出部
１４０    分類部
１５０    調整部
１６０    フィルタリング部
１７０    ＩＦＦＴ部
【図１】
2011215357.tif 000019
【図２】
2011215357.tif 000020
【図３】
2011215357.tif 000021
【図４】
2011215357.tif 000022
【図５】
2011215357.tif 000023
【図６】
2011215357.tif 000024
【図７】
2011215357.tif 000025
【図８】
2011215357.tif 000026
【図９】
2011215357.tif 000027
【図１０】
2011215357.tif 000028