"音響信号をn種の異なるフレーム長を用いて時間周波数領域へ変換することで得られたn個の音響信号のスペクトログラムを用意するステップと、各スペクトログラム上でHPSS分析を適用することでn個のH成分分離信号セットあるいはn個のP成分分離信号セットを取得するステップと、前記取得した分離信号セットにおける分離信号間の差分信号を当該音響信号の特徴として取得するステップと、を備えた音響信号の特徴抽出方法。ここで、前記HPSS分析は、音響信号の所定のフレーム長での時間周波数分解能のスペクトログラムにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分をH成分信号、周波数方向に滑らかなスペクトル成分をP成分信号として分離するものである。前記特徴取得ステップは、選択した分離信号セットにおけるn個の分離信号をフレーム長の長さ順に差分を計算し、n-1個の差分信号を特徴として取得するものである、請求項1に記載の音響信号における特徴抽出方法。選択した分離信号セットにおける最小フレーム長に対応する分離信号と、最大フレーム長に対応する分離信号と原信号である前記音響信号との差分信号、あるいは、選択した分離信号セットにおける最大フレーム長に対応する分離信号と、最小フレーム長に対応する分離信号と原信号である前記音響信号との差分信号、を前記特徴に加えることでn1個の特徴の和を当該音響信号と一致させてなる、請求項2に記載の音響信号における特徴抽出方法。前記特徴を、各信号の成分slのパワーとして表現する、請求項1~3いずれか1項に記載の音響信号における特徴抽出方法。前記特徴を、τ-k領域τ:時間、k:フレーム長に対応する指標で二次元表現する、請求項1~4いずれか1項に記載の音響信号における特徴抽出方法。前記特徴を、ω-k領域ω:周波数、k:フレーム長に対応する指標で二次元表現する、請求項1~4いずれか1項に記載の音響信号における特徴抽出方法。前記特徴の二次元表現は、各信号の成分slの短時間フーリエ変換のパワーの時間方向の総和として、で取得される、請求項6に記載の音響信号における特徴抽出方法。ここで、lは適宜与えられるフレーム長である。音響信号をn種の異なるフレーム長を用いて時間周波数領域へ変換することで得られたn個の音響信号のスペクトログラムを用意するステップと、各スペクトログラム上でHPSS分析を適用することでn個のH成分分離信号セットあるいはn個のP成分分離信号セットを取得するステップと、前記取得した分離信号セットのn個の成分を用いて、前記音響信号を、n個の分離信号をフレーム長の長さ順に差分を計算して取得したn-1個の差分信号、選択した分離信号セットにおける最小フレーム長に対応する1つの成分信号、最大フレーム長に対応する成分信号と原信号である当該音響信号との1つの差分信号、からなるn1個の信号、あるいは、n個の分離信号をフレーム長の長さ順に差分を計算して取得したn-1個の差分信号、選択した分離信号セットにおける最大フレーム長に対応する1つの成分信号、最小フレーム長に対応する成分信号と原信号である当該音響信号との1つの差分信号、からなるn1個の信号に分離するステップと、を備えた音響信号の処理方法。ここで、前記HPSS分析は、音響信号の所定のフレーム長での時間周波数分解能のスペクトログラムにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分をH成分信号、周波数方向に滑らかなスペクトル成分をP成分信号として分離するものであり、また、前記n1個の分離信号の和は、前記音響信号と一致する。請求項4~7いずれか1項に記載の方法により取得された特徴、および/あるいは、請求項8に記載の方法により取得された分離信号を用いて、音響信号の処理方法。請求項8に記載の方法により取得された音響信号xの分離信号xlを、各フレーム長lごとにフィルタMlによりフィルタリングして、を取得し、さらに、フレーム長lについてx ́lの総和をとることで、信号x ́を取得する、請求項8、9いずれかに記載の音響信号の処理方法。本発明は、従来技術とは全く異なる新しい着想に立脚するものであり、調波打楽器音分離に用いられるHPSS分析を多重的に用いることで音響信号の変動に係るパラメータを特徴として取得し、また、当該特徴を用いた音響信号の処理方法を提供することを目的とする。本発明が採用した技術手段は、音響信号をn種の異なるフレーム長を用いて時間周波数領域へ変換することで得られたn個の音響信号のスペクトログラムを用意するステップと、各スペクトログラム上でHPSS分析を適用することでn個のH成分分離信号セットあるいはn個のP成分分離信号セットを取得するステップと、前記取得した分離信号セットにおける分離信号間の差分信号を当該音響信号の特徴として取得するステップと、を備えた音響信号の特徴抽出方法、である。ここで、前記HPSS分析は、音響信号の所定のフレーム長での時間周波数分解能のスペクトログラムにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分をH成分信号、周波数方向に滑らかなスペクトル成分をP成分信号として分離するものである。1つの態様では、前記特徴取得ステップは、選択した分離信号セットにおけるn個の分離信号をフレーム長の長さ順に差分を計算し、n-1個の差分情報を特徴量としてフレーム長フレーム長の対数kやフレーム長を表す点数と対応付けて取得するものである。HPSS分析は、音響信号の所定のフレーム長での時間周波数分解能のスペクトログラムにおいて、時間周波数平面上で時間方向に滑らかなスペクトル成分をH成分信号、周波数方向に滑らかなスペクトル成分をP成分信号として分離するものである。音響信号のスペクトログラムを、時間周波数領域でのスペクトル成分の滑らかさに時間周波数平面上で方向性を備えた複数のサブスペクトログラムの和、すなわち、時間周波数平面上で時間方向横方向に滑らかなH成分信号と、周波数方向縦方向に滑らかなP成分信号であると仮定し、各サブスペクトログラムの滑らかさの時間周波数平面上での方向時間軸方向、周波数軸方向に基づいて、時間周波数領域における音響信号のスペクトル成分を、H成分信号とP成分信号に分離する。HPSSは本発明の背景技術であると同時に、本発明の構成要素でもあるので、HPSSについてさらに説明する。調波音と打楽器音の混在した音楽信号を分析対象とし、入力信号の短時間周波数解析によって得られるスペクトログラムをWx,tとするx周波数、t:時刻。HPSS分析は、Wx,tを打楽器的な音程を持たない非調波成分Px,tと音程を持つ楽器のような調波成分Hx,tの2つのスペクトログラムに分解することである。このとき満たすべき要件は、任意の時間周波数x,tにおいて、が成り立つことである。入力信号のスペクトログラムを、時間周波数マスクによって2つのスペクトログラムに分解する。任意の時間周波数において0~1の値をとる時間周波数マスクmPx,t,mHx,tを設計することで、とWx,tを分解する。時間周波数マスクは、分解された2つのスペクトログラムの夫々を形成するスペクトル成分の滑らかな方向を検出するように設計される。打楽器成分のスペクトル成分が周波数方向に滑らかであるという特徴、及び、調波成分のスペクトル成分が時間方向に滑らかであるという特徴を用いて、入力信号のスペクトログラムをそれぞれのスペクトル成分に分離する時間周波数マスクが設計される。0~1の値を取る時間周波数マスクは、一つの態様では、0か1の値を取るバイナリマスクである。1つの態様では、HPSSでは、各スペクトログラムに分配された各スペクトル成分の滑らかさ指標の関数を含む目的関数を設定し、前記目的関数を最適化するパラメータを推定することで時間周波数マスクを設計する。分配された各スペクトル成分の滑らかさ指標は、着目したスペクトル成分と、当該着目スペクトル成分の時間周波数平面上での近傍にある分配されたスペクトル成分とのエネルギーの差に基づいて決定される。着目スペクトル成分の近傍のスペクトル成分は、典型的には、時間周波数平面上で隣接するスペクトル成分であるが、近傍の範囲はこれに限定されるものではない。時間周波数マスクの設定は、滑らかさのコストをスペクトログラムの差分の関数で設計し、これを最小化する最適化問題として捉えることができる。目的関数では、HPとWの隔たりを測る距離指標として、ユークリッド距離、カルバックライブラーダイバージェンス、Idivergence、板倉斎藤距離などを用いることができる。これらの距離指標は当業者によく知られている。目的関数におけるパラメータを推定するアルゴリズムとしては、一つの態様ではEMアルゴリズムであるが、最急降下法やニュートン法等の他の最適化アルゴリズムを用いてもよい。また、EMアルゴリズム等を解くにあたって、補助変数を導入してもよい。補助変数法については、例えば、下記の文献を参照することができる。HKameokaNOnoandSSagayamaAuxiliaryfunctionalapproachtoparameterestimationofconstrainedsinusoidalmodelformonauralspeechseparationProcICASSPpp29322008HPSS分析において、スペクトログラムにおいて周波数軸方向あるいは時間軸方向の方向性を備えたスペクトル成分を抽出する手段は、目的関数を用いた最適化問題に限定されるものではなく、非特許文献4に開示されているようなフィルタを用いるものでもよい。ここで、音響信号を時間周波数領域に変換してスペクトログラムを取得する際に、フレーム長によって異なるスペクトログラムが得られることが当業者に理解される。短時間フーリエ変換などの時間周波数表現における、分析フレーム長さ時間周波数分解能を変化させることにより、音声成分のスペクトログラム上での現れ方を、様々に変化させることができる。特許文献2には、異なるフレーム長0008秒、0016秒、0032秒、0064秒、0128秒、0256秒で短時間フーリエ変換してなるスペクトログラムが示してある。音響信号を短時間フーリエ変換してスペクトログラムを取得する際に、通常ではフレーム長は固定音声の場合は例えば30ms程度しているが、フレーム長を変えると、フレーム長に応じた異なるスペクトログラムが得られる。音声信号は、短時間フーリエ変換のフレーム長を変化させることで、時間周波数平面において異なる性質を示す図2参照。したがって、音声のようにゆらぎのある成分が、縦となるか横となるかはフレーム長依存であり、HPSSにおける縦と横は、時間周波数領域に変換する時のフレーム長で決まる。本発明は、様々なフレーム長のSTFTにおいて、各時間変動成分のスペクトログラムの方向性縦横が異なる点に着目し、様々な音が混合する音響信号のn種のフレーム長の時間周波数分解能のn個のスペクトログラムのそれぞれについてHPSS分析を適用することで、時間周波数平面上で周波数方向に滑らかなスペクトル成分、時間方向に滑らかなスペクトル成分を分離する。上述のように、音声はごく短時間では定常的な信号と見なせる一方で、長時間では非定常的な信号である。本発明では、ある信号が定常的と見なせる場合と見なせない場合の境界となる時間をその信号の変動長と呼び、信号の各成分の変動長に着目することで、信号中の音声を強調する手法を提案する。n種のフレーム長l0×2kを用いたSTFTによりスペクトログラムがn個得られる。それぞれのスペクトログラム上でHPSSを適用することにより縦成分と横成分がn個ずつ、計2n個得られる。例えば、7つの異なるフレーム長、n10008s,n20016s,n30032s,n40064s,n50128s,n60256s,n70512sとすると、それぞれのフレーム長でHPSS分析した結果、以下の7個のH成分信号hnのセット、7個のP成分縦成分信号pnのセット、合計14個の成分、フレーム長n10008sについて、h0008,p0008、フレーム長n20016sについて、h0016,p0016、フレーム長n30032sについて、h0032,p0032、フレーム長n40064sについて、h0064,p0064、フレーム長n50128sについて、h0128,p0128、フレーム長n60256sについて、h0256,p0256、フレーム長n70512sについて、h0512,p0512、が得られる。HPSS分析において、H成分横成分はP成分縦成分に従属するので、縦成分あるいは横成分のいずれか一方のみを用いることで音響信号の特徴量を抽出することができる。ここでは、P成分のセットを選択する。そして、異なるフレーム長のP成分の差分を取得する。この差分には、より短いフレーム長以下ではP的ではなくすなわちH的であり、より長いフレーム長longで初めてP的となるような成分が含まれることになる。したがって、差分によって、ある信号が定常的と見なせる場合と見なせない場合の境界となるフレーム長変動長が短いフレーム長shortと長いフレーム長longの間にあるような成分を取得することができる。各分離信号同士の減算により、各スケールの変動長成分が抽出可能である図4、図5参照。Skを入力信号sのl0×2kのフレーム長l0は当業者によって適宜設定される値でのスペクトログラムとし、各スペクトログラム上においてHPSSを実行すると、n個のP成分pk1≦k≦nが得られる。これらの成分を用いると、変動長成分差分情報は、と定義することができ、また、分離されたn1個の信号の和は原信号に一致、すなわち、である。変動長の指標kフレーム長の対数は、時間フレームのインデックス、周波数とは独立したパラメータである。このため、信号のSTFTを時間周波数領域にプロットすることで信号を分析することと同じ要領で、信号をτ-k領域やk-ω領域にプロットした表現を考えることができ、τ-k領域上ではxk成分差分情報がどの時刻τに強く現れているか、k-ω領域上ではxk成分差分情報がどの周波数ωに強く現れているかを分析することができる。またこれらの領域上では、τ-ω領域上での信号処理手法と同様の、例えばバンドパスフィルタや時間周波数マスキングと類似した方法により、信号を分析加工分離、判別、識別、強調、抑圧等することが可能である。よって、τ-k領域、k-ω領域は、信号分析加工するための新しい領域として用いることができる。各変動長成分差分情報s~のパワーであるを変動長スペクトルと定義する。変動長スペクトルは、音響信号の特徴量として用いることができる。変動長スペクトルは、通常のスペクトル表現と同様の要領で信号の分析分離に利用することができる。より具体的には、変動長スペクトル領域上では、通常の周波数領域上での信号処理手法と同様に、例えばバンドパスフィルタと類似した方法により、信号に含まれる特定の変動成分のみを強調するように信号を加工するような処理ができる。変動長スペクトルについての線形フィルタリングは、差分情報とフィルタaa=[a1...an1]Tの積で表すことができる。このフィルタリングは周波数領域上のフィルタと類似に扱うことができ、例えば、ある特定のkに対応する成分を強調するようなローパスフィルタを設計することができる。また、信号sαβ、ソースA、Bの変動長スペクトルが与えられている時に、以下のようなWiener型フィルタを設計することができる。1つの態様では、本発明は、上述の方法により取得された特徴量を用いて、複数の音が混合された音響信号を処理する方法である。本発明は、スペクトログラムにおけるスペクトル成分の滑らかな方向の違いに着目した点に特徴を有するものであるが、特徴量や分離信号を得る処理ステップにおいて、スペクトログラムや処理結果等を実際に画面に表示することを要しない。本発明においては、分析対象となる音響信号が時間周波数領域に変換され、スペクトル成分が得られていればよい。時間周波数領域への変換手段は、典型的な例では、短時間フーリエ変換であるが、ウェーブレット変換、定Qフィルタバンク分析、その他のフィルタバンク分析でもよい。また、処理時には、必要に応じて、波形領域と周波数領域との間で適宜変換が行なわれ得ることも当業者に理解される。実際のスペクトログラムの計算では、短時間周波数分析によって離散的な時間と周波数ごとに成分が得られる。したがって、1つの態様では、スペクトログラムにおける各スペクトル成分時間周波数成分は、時間binフレームと周波数binにより特定される時間周波数binである。本発明において、スペクトログラムは、STFTの各binの絶対値の2乗したものSTFT2という狭義に限定して解釈されるものではなく、処理時に、その対数や冪乗などを用いても良いことが当業者に理解される。フレーム長を異ならしめて行なうHPSSにおいて、フレーム長、すなわち時間周波数分解能は、窓関数の長さ分析窓長によって選択できることは当業者に周知である。また、窓関数としても、ハニング窓、ハミング窓、その他の窓関数が当業者に知られている。本発明のハードウェア構成は、大きく分けて、HPSS分析部と、特徴量取得部と、分析部と、からなり、これらは、パーソナルコンピュータ等のコンピュータ具体的には、入力装置、表示装置を含む出力装置、CPU、記憶装置ROM、RAM等、これらを接続するバス等、を備えている。から構成することができる。本発明はHPSSを複数のフレーム長での分析により得られたスペクトログラムに対し適用することにより、任意の信号を、定常狭帯域成分から非定常広帯域成分に段階的に分離する。本発明により、変動の大きさと概ね対応するパラメータを持った分離信号を得ることができ、そのパラメータを用いることにより周波数表現や時間周波数表現などとは異なる新しい信号の表現例えば、周波数-変動長表現、時間-変動長等の2次元表現が可能となり、その領域上で従来の周波数領域や時間周波数領域での処理と同様の要領で信号の分析加工ができる。本発明は、例えば非特許文献7開示された変調スペクトルと比較して、信号を包絡mと狭帯域な搬送波cの積和で表現するというモデルを必要とせず、また、本発明はスペクトログラム上でのフーリエ解析を行わないため、そのことに伴って生じうる問題のいくつかを回避することができる。さらに、本発明は変調スペクトル等の従来手法とは異なる着眼点に基づいているため、相互に補完しながら、従来手法と組み合わせて音響信号を分析することができる。[A]複数スペクトログラムに基づく信号の変動長スペクトル表現とそれに基づく信号の分析分離手法[A-1]概要本手法ではHPSSを複数のフレーム長での分析により得られたスペクトログラムに対し適用することにより、任意の信号を、定常狭帯域成分から非定常広帯域成分に段階的に分離する。本手法により、時間領域、周波数領域とも異なる新たな信号分解表現が得られ、音楽信号と音声信号を分離するような処理が可能になることを示す。本実施形態では、信号を変動ごとに分離する手法の新しい枠組みとして、分離性能がスペクトログラムの分解能に依存する信号分離手法を様々な分解能のスペクトログラム上で適用することにより、信号の変動に関するある種のフィルタバンクを構成することを考える。このとき、定常狭帯域成分と非定常広帯域成分とを分離する手法であるHPSSにおいて、定常狭帯域性と非定常広帯域性は相対的なものであり、基準とする尺度によって同じ音が定常狭帯域とも非定常広帯域とも見なされうることに着目し、様々な方法で分離した際の信号を適当に組み合わせることにより、信号の時間変動の大きさに概ね基づく分離について検討する。本実施形態ではHPSSを2段階で適用する枠組みをさらに拡張し、さらに多くの条件でのHPSSによって信号をより細かく分解する方法を提案する。また、これにより変動の大きさと概ね対応するパラメータを持った分離信号が得ること、およびそのパラメータを用いることによって、周波数表現や時間周波数表現などとは異なる新しい信号の表現が可能となることを示す。また、その信号表現を用いることにより、従来の周波数領域や時間周波数領域での処理と同様の要領で、従来とは異なった信号の分析分離ができることを示す。[A-2]調波打楽器音分離の概要調波打楽器音分離では、信号sを定常的狭帯域的な成分hと、非定常的広帯域的な成分pとの和、すなわちとして表わすことを考える。HPSSでは、hとpの短時間フーリエ変換スペクトログラム表現H{Htω}1≦t<T,1≦ω<Ω、P{Ptω}1≦t<T,1≦ω<Ωの振幅の時間方向および周波数方向への滑らかさに着目し、それに基づいてhの定常狭帯域性とpの非定常広帯域性を評価し、それを最適化することによって両者を分離する。具体的には、与えられたスペクトログラムをSとしたとき、次のような目的関数を最小化することによりH、Pを求める。ただし、とする。ここで、目的関数の第1項はスペクトログラムHの時間方向への滑らかさに関するコスト関数となっている。同様に第2項はスペクトログラムPの周波数方向への滑らかさに関するコスト関数となっている。また、第3項はスペクトログラムSとHPの隔たりに関するコスト関数であり、I-ダイバージェンスにより評価される。HPSSでは、目的関数をEMアルゴリズムに類似した技法により導かれる更新式を反復することにより最小化し、スペクトログラムSを定常狭帯域なHと非定常広帯域なPに分離し、これにより得られた振幅スペクトログラムを用いたウィーナーマスキングにより、複素スペクトログラムH、Pを以下のように推定する。また、これらを逆短時間フーリエ変換することにより、h、pを得ることができる図3。[A-3]変動長スペクトルと時間-変動表現[A-3-1]複数のSTFT上でのHPSSに基づく信号分離HPSSでは、スペクトログラム上の隣接binとの差分情報を用いることにより信号を分離しているが、STFTにおいては様々なフレームの取り方が可能であり、そのそれぞれによってHPSSの分離結果は異なったものになる。特に重要な要素のひとつが、STFTにおけるフレーム長であり、HPSSの分離結果はSTFTのフレーム長に依存する。例えば歌声のようにピッチがあり、かつゆらぎのある音は、十分短いフレームで観測すれば定常狭帯域的であるが、十分長いフレームで観測すれば非定常的であり、また変調の効果によりスペクトログラムは広帯域となる。すなわち、歌声信号は短いフレーム長のSTFT領域上ではhへ、長いフレーム長のSTFT領域上ではpへ、それぞれ分離されやすい非特許文献6。一般に、信号sに対して、異なったn通りのフレーム長l1lm1のスケールにおいてもP的であると仮定できるとすると、xmpm-pm-1より、xmには、フレーム長lm-1以下ではP的ではなくすなわちH的であり、フレーム長lmで初めてP的となるような成分が抽出されていることになるためである。そこで以下では、xの各成分の添え字変数をkで表記し、このkは変動を表す指標である。なお、kはフレーム長の対数に相当する。[A-3-2]信号の変動長スペクトル表現と時間-変動表現以上によって得られるxのうちどの成分が強く現れているかを調べることにより、信号の変動に関する特徴を調べることができる。その方法の一例として、各成分のパワーが挙げられる。本実施形態ではこれを変動長スペクトルと呼ぶこととする。これは、通常のスペクトル表現と同様の要領で信号の分析分離に利用することができると考えられる。すなわち、変動長スペクトル領域上では、通常の周波数領域上での信号処理手法と同様に、例えばバンドパスフィルタと類似した方法により、信号に含まれる特定の変動成分のみを強調するように信号を加工するような処理ができる。他の例として、変動長スペクトルが時間情報を失っているという欠点を補うために、適当な窓関数wにより信号を時間局在化した変動長スペクトル表現を考えることもできる。本実施形態ではこれを信号の時間-変動表現と呼ぶこととする。これは、短時間フーリエ変換による時間-周波数表現と同様の要領で信号を扱うことができると考えられる。これにより、時間-周波数領域上でどの時刻にどの周波数が強く現れているのかを分析できるのと同様に、時間-変動領域上ではどの時刻でどの変動成分が強く現れているかを分析することができる。[A-4]変動長スペクトルと時間変動表現に基づく信号の分析分離実験[A-4-1]実験条件前節にて示した信号の変動長スペクトル表現の、信号の分析分析に用いる領域としての妥当性や、これらの音響特徴量としての妥当性を検証するため、実際の音響信号に対して本手法により変動長スペクトルと時間変動表現を求め、信号を表示分析分離する実験を行った。実験には新聞記事読み上げ音声コーパスJNAS、RWC研究用音楽データベース、および建築と環境のサウンドライブラリより数データを抜粋して使用した。いずれも簡単のためサンプリング周波数8kHzでリサンプリングし、両チャンネルを加算してモノラル信号として用いた。また、いずれの信号もフレーム長が長い場合のHPSSを行うにあたって十分な長さ10秒程度になるように、元データの長さが短い場合は適当な回数だけ繰り返すように編集した。STFTのフレーム長はlk64×2ksamples、すなわち128...16384samplesとした。分散σ21、σ22はいずれも2とした。また、HPSSのスライディング分析におけるブロック数は30とし、後処理として連続値マスキングを施した。これらはいずれも、フレーム長を除き通常のHPSS非特許文献5と同じ条件である。[A-4-2]変動長スペクトルとそれに基づく信号の分析分離[A-4-2-1]音声信号の変動長スペクトル新聞記事読み上げ音声コーパスJNASより抜粋した男声,女声それぞれ10話者の各1データずつに関して変動長スペクトルを求めた結果を図6に示す。男声、女声合わせた20話者のほとんどのデータにおいて、変動長スペクトルは、話者に関わらずk=34程度すなわちフレーム長64ms、128ms程度の成分に大部分のパワーが集中していること、k=5678にはあまり強く現れないことなど、概ね同様な傾向を示していることが観察できる。[A-4-2-2]音楽信号の変動長スペクトルRWC研究用音楽データベースよりポピュラー音楽、RWCMDBP2001No1‐No10、クラシック音楽管弦楽曲RWCMDBC2001No1‐No10、クラシック音楽ピアノ曲RWCMDBC2001No26‐No35、ジャズRWCMDBJ2001No1‐No10を抜粋し、各曲冒頭10秒のそれぞれに関して変動長スペクトルを求めた結果を図7、8に示す。いずれのジャンルも、音声に比較すると比較的広いkにパワーが分散していることが観察できる。また、特にピアノ曲、管弦楽曲、ジャズに関しては、いずれの曲も、k=567程度にパワーが集中する傾向にあることが観察できる。[A-4-2-3]変動長スペクトル上での音声と音楽の分離実験上述のように、音声と音楽では変動長スペクトルの形状が異なっている。このことを利用すると、k軸上でバンドパスフィルタに類似した処理を行うことにより、音声と音楽が分離できると考えられる。本節では、音楽信号を音声信号を混合した信号を変動長スペクトル領域上で分離する実験を行った例を示す。実験に用いたデータは、音声、音楽ともに建築と環境のサウンドライブラリからの抜粋で、日本語女性朗読音声s13104wavと弦楽四重奏s12202wavである。本実験では両者を0dBで混合して用いた。混合信号の変動長スペクトルを図9、スペクトログラムを図10上図に示す。混合信号の変動長スペクトルにおいて、k=34におけるピークは混合信号に含まれる音声の性質に由来していると考えられる。一方、それ以外のkでは、全体にパワーが分散しながらもk=6を中心にパワーが集中しやすいという傾向が見られ、これは音楽の性質と考えられる。そこで、ローパスフィルタに類似した次のようなフィルタを考え、これをxにかけることにより、音声^vと音楽^mを分離することができる。すなわち、これにより得られたそれぞれの信号v^、m^のスペクトログラムを、それぞれ図10中央図、下図に示す。推定された音声信号v^,音楽信号m^のいずれのスペクトログラムに関しても、それぞれ音楽、音声に相当する成分の大部分が抑圧されていることが観察できる。なお、このとき得られた信号のそれぞれにおいて、v^中の音声信号のSNRは60dB、m^中の音楽信号のSNRは63dBであった。[A-4-3]時間-変動表現とそれに基づく信号分析分離[A-4-3-1]音声と音楽の時間-変動表現に基づく信号分析前節で使用したものと同じ音声、音楽信号、および両者の混合信号に関して時間変動表現を求めた結果を図11、図12に示す。日本語女性朗読音声図11の時間変動領域表現では、変動長スペクトル領域表現と同様に、概ねk=345に強い成分が現れやすいことが観察できる。一方、非定常的広帯域的な成分がある時刻では、実際にk=12など小さなkに強い成分が現れていることが観察できる。弦楽四重奏図12の時間-変動領域表現では、変動長スペクトル領域表現と同様に、概ねk=567などの成分が強い一方、57s付近のように、高域にゆらぎがあるなど非定常性が強い時刻には、より小さなk=34にも強い成分が現れていることが観察できる。[A-4-3-2]音声と音楽の混合信号の時間-変動表現に基づく信号分離両者の混合信号の時間変動表現を図13に示す。ここで、図13から適当な成分のみを取り出すことにより、信号を分離することができると考えられる。今、適当な方法により図14のようなマスクが得られたとする。なお本実施形態では、混合前の信号の時間変動表現が既知のものとして、それを利用することによりマスクを設計した。このマスクを用いて時間-変動表現上でマスキングを行った結果を図15に、さらにこの時間変動表現に基づいて再合成された信号のスペクトログラムを図16に示す。図15、16を観察すると、信号が効果的に分離されていることが確認できる。なお、推定された音声信号中の真の音声信号のSNRは58dB推定された音楽信号中の真の音楽信号のSNRは59dBであった。[A-5]小括本実施形態では、フレーム長の異なる複数のSTFT上で、定常的狭帯域的成分と非定常的広帯域的成分とを分離する手法HPSSを並列的に適用することにより、信号を概ね変動の大きさに対応して分離する、新しい信号の分離手法変動長スペクトルを提案した。また、ここで得られる分解信号を用いることで、周波数表現と同様の要領で信号を扱うことができる、新しい信号表現が得られることを示した。また、この信号表現を用いることにより音声信号と音楽信号を分析分離した例を示した。本実施形態ではxの全帯域に関するパワーを用いることで信号の変動軸表現を得たが、これは帯域ごとに分けて考えることも可能である。時間、周波数、および変動の3変数をパラメータとして持つ信号表現を用いた信号処理を行い得ることが当業者に理解される。また、本実施形態で述べた時間周波数マスキング以外にも様々なスペクトログラム領域上での信号処理手法があり、これらを時間-変動領域上での処理に応用することも可能であると考えられる。また、xの各成分を特徴量として利用し、音声認識や音楽情報検索などの認識問題へ応用することも可能であると考えられる。[B]周波数-変動長フィルタによる音声強調[B-1]概要本実施形態では、音声信号の変動長に着目した音声強調手法、より具体的には、音声を各変動長成分に分解し、加工することにより、音声強調を行うことを検討する。変動長は本発明者らが提案している信号の新しいパラメータであり、ある信号をフレーム分析したとき、その信号が定常的狭帯域と見なされる場合のフレーム長と非定常的広帯域と見なされる場合のフレーム長の境界に相当するフレーム長である。音声はごく短時間では定常的な信号と見なせる一方で、長時間では非定常的な信号と見なされるため、いくつかの種類の雑音と比較したとき、特徴的な周波数-変動長の分布を示す。このため、信号の周波数-変動長分布に基づいた処理により音声強調が可能であると考えられる。本実施形態では、信号の周波数-変動長表現と、それに基づくフィルタリング、および音声強調用のフィルタの設計方法について述べる。信号を周波数-変動長の2次元平面上で表現した場合に、音声は話者に関わらずほぼ同様の形状を示すことに着目し、音声を通過するような単一のフィルタを設計し、音声強調を行った。音声は周波数変動長領域上にて、話者や発話内容に関わらずほぼ同様の形状を示すため、音声を通過するような単一の音声強調用の汎用的なフィルタを構成し、それにより音声をある程度強調することができると考えた。本手法による音声強調の性能の評価を行った結果、00dBで混合された音声信号を3‐8dB程度に強調する性能を示した。これらの実験結果より本手法の音声強調への有効性が確認された。[B-2]多重HPSSによる信号分解信号を変動長ごとに分離表示する手法である変動長スペクトル、周波数-変動長表現、およびそれに関するいくつかの用語を定義する。[B-2-1]変動長音声信号のように、あるフレーム長ではほとんど定常的であると見なせる信号も、それより長いフレーム長では定常的とは見なしえないことがある。両者の境界として、信号の変動長を以下のように定義する。[定義1]変動長信号をフレーム分析する際に、その信号が非定常的広帯域な信号と見なされうるような最小のフレーム長lを、その信号の変動長と呼ぶ。例えば、打楽器音は瞬間的な信号であり、非常に短いフレーム長で分析してもほとんど非定常的であるため、打楽器は変動長が非常に短い信号である。逆に、長時間持続するような定常的な正弦波は、変動長が非常に長い信号である。これら両極端の信号の中間に位置すると考えられるのが音声などゆらぎがある信号である。これは、音声はごく短時間で見れば定常的と見なせる一方、長時間で見ると非定常的であるためである。すなわち、音声は変動長が中程度の信号である。[B-2-2]調波打楽器音分離HPSS信号を各変動長成分ごとに分離するための準備として、ある変動長以上の成分とそれ以下の成分を大まかに分ける手法について説明する。変動長がある一定値より長い信号は、スペクトログラム上で時間方向に滑らかな形状を示し、一方、変動長がある一定値より短い信号は、スペクトログラム上で周波数方向に滑らかな形状を示すと考えられる。このことに着目すると、HPSSにより前者と後者が分離可能であると考えられる。HPSSは、信号のスペクトログラムが時間方向と周波数方向のいずれの方向により滑らかであるかに着目することで信号を分離する手法であり、信号sが与えられたとき、ある長さlのフレームを用いてスペクトログラムSl=STFTlsを求め、そのスペクトログラムを時間方向に滑らかな成分Hlと周波数方向に滑らかな成分Plに分離することによって、信号sをと分解する手法である。ただし、hl=STFT1lH、plSTFT1lPとし、XSTFTlxは、フレーム長をl、フレームシフトをl2、窓関数をサイン窓とした短時間フーリエ変換、xSTFT1lHはその逆変換とする。HPSSでは概ね、変動長がl以上の成分はhlに、l以下の成分はplに分離されると考えられる。これは、前者については、変動長がl以上の成分は、l程度のフレーム長では定常的狭帯域な信号と見なされ、スペクトログラム上では時間方向に滑らかに表現されるためである。また後者も同様に、変動長がl以下の成分は、l程度のフレーム長では非定常的広帯域な信号と見なされ、スペクトログラム上では周波数方向に滑らかに表現されるためである。[B-2-3]多重HPSSHPSSのこのような性質を利用すると、複数のフレーム長l1、l2を利用することにより、というように信号を3つ以上の成分に分解することができる。このときの中間的な成分β=pl2-pl1は、変動長がl1からl2程度の間にある成分にほぼ相当していると考えられる。これを一般化すると、次のような信号の分解方法を考えることができる。[定義2]多重HPSSSlkを入力信号sをフレーム長{lk}1≦k≦nで分析して得たスペクトログラムとする。それぞれのスペクトログラム上にてHPSSを適用することにより得たn個の信号{plk}1≦k≦nを用いて次のような新しいn1個の信号を得る処理を多重HPSSと呼ぶ。[命題1]多重HPSSにより得られた各信号slのlに関する総和は原信号sに一致する。多重HPSSにより得られた各成分slkは、それぞれ変動長が概ねlk-1からlk程度の間にある成分にほぼ相当していると考えられる。なお各フレーム長lkは、離散フーリエ変換の計算の効率の観点から、あまり大きな素数を因数に持たないような数であることが望ましい。この点を踏まえ、本実施形態ではフレーム長として、で表現できる値を用いた。具体的には、648000s以上、81928000s以下で条件に該当する44のフレーム長を用いた。[B-3]多重HPSSによる信号分解に基づく信号表現[B-3-1]変動長スペクトル多重HPSSにより得られたslkは変動長が概ねlk-1からlk程度までの成分であると考えられるため、slkの各成分のパワーを比較することにより、原信号sはどの変動長の成分が強い信号であるかを調べることができると考えられる。この点を踏まえ、変動長スペクトルを次のように定義する。[定義3]変動長スペクトル多重HPSSにより得られた各成分slのパワーを信号sの変動長スペクトルと呼ぶ。[B-3-2]周波数変動長表現変動長スペクトルでは時間や周波数に関する情報が失われているが、特に音声に注目する場合、高次倍音においては低次倍音よりも変動長が短いと考えられることから、変動長に加えて周波数もパラメータとして含むように表現することが有効であると考えられる。そこで、周波数、変動長の2つをパラメータとするような信号表現として、周波数-変動長表現を次にように定義する。[定義4]周波数-変動長表現多重HPSSによって得られたslの各成分の短時間フーリエ変換のパワーの時間方向の総和によって得られる二次元表現を、信号sの周波数-変動長表現と呼ぶ。ただしlは適当なフレーム長とする。周波数-変動長表現の例を図17、18に示す。図17は、異なる4話者の音声の周波数-変動長表現である。音声の場合、いずれもほぼ同様の形状を示していることが観察できる。一方、4種類の雑音の周波数変動長表現を図18に示す。雑音の種類ごとに様々な形状を示しているが、いずれも音声とは異なった形状であることが観察できる。図17、18に見られるように、音声といくつかの種類の雑音の周波数-変動長表現の形状が明確に異なっていることから、周波数-変動長領域における処理により、両者の分離が可能であることを期待することができる。[B-4]周波数-変動長表現上のフィルタリング図19は音声と雑音の混合信号xの周波数-変動長表現Xである。本節では、混合信号xとその多重HPSSxlおよび周波数-変動長表現Xが与えられたとして、これらを用いて音声信号を再現すること、すなわち音声強調手法の検討を行う。[B-4-1]多重HPSSによる信号分解に基づいた信号の加工周波数-変動長表現Xの情報のみからは、一般には信号xに逆変換することはできないが、多重HPSSにより得られた各信号xlのlに関する総和は原信号sに一致することから、各xlに適切にフィルタをかけることにより、xの特定の周波数-変動長成分を強調することができると考えることができる。このことを踏まえ、次のようなフィルタリング手法を定義する。[定義5]周波数-変動長領域上フィルタリング信号xの多重HPSSxlが与えられたとき、各変動長lごとにフィルタMlによりフィルタリングしさらに変動長lに関する総和x ́=Σlx ́lをとることにより新しい信号x ́を得ることを、周波数-変動長領域上フィルタリングと呼ぶ。また、このときMlを周波数-変動長フィルタと呼び、以降Mと表記する。フィルタMは人手で与えることも可能であるが、本実施形態では最終的に単一の汎用的なフィルタを自動的に決定することの検討を行う。その準備として、まず周波数-変動長領域上でのWiener型フィルタを定義する。[B-4-2]Wiener型フィルタ混合信号において、仮に目的信号と雑音の周波数-変動長表現が既知であったと仮定すると、次のようなWiener型フィルタを考えることができる。[定義6]周波数-変動長領域上におけるWiener型フィルタ目的信号と雑音の周波数-変動長表現をそれぞれS,Nとしたときに、以下によって得られるMを、周波数-変動長領域上のWiener型フィルタと呼ぶ。Wiener型フィルタに得られた信号のSNRのヒストグラムを図20に示す。これらは、00dBで混合された60個の信号に関する実験結果であり、音声と雑音の周波数-変動長表現が既知であると仮定してWiener型フィルタを設計している。なお、実験に用いたデータは[B-5-2]で示すものと同じである。いずれのデータに関しても、00dBよりも改善していることが観察できる。特に5‐10dB程度に強調されている場合が多く、一部に20dB程度の改善が見られる場合もある。以上のことから、Wiener型フィルタは目的信号と雑音の周波数-変動長表現が既知である条件下では、00dBの音声信号を概ね5‐10dB程度に強調することが可能であることが確認された。[B-4-3]単一フィルタによる音声強調の検討[B-4-2]では、目的信号と雑音の周波数-変動長表現が既知であることを仮定していたが、実際には両者は未知である。このため、実際の問題においてはフィルタを適切に推定する必要がある。ここで、音声の周波数-変動長表現は話者に関わらずほぼ同様の形状を示していることに加え、雑音と音声の周波数-変動長表現はあまり重ならないことに着目する。同程度のSNRの信号であれば、個別の信号それぞれについてフィルタを設計することなく、単一のフィルタによってある程度の分離性能を期待することができると考えられる。そこで本実施形態では、あらかじめ複数の学習データに関して求めた複数のフィルタから単一の汎用的なフィルタを学習することを検討する。今、同程度のSNRのN個の信号xi=siniが学習データとして与えられているとすると、それぞれに関するWiener型フィルタMiを得ることができる。これらN個のフィルタから、これらを代表する一つのフィルタMoptを求める。このとき、単一のフィルタによって代表させたことによって生じる誤差を最小二乗規準により評価し、全データiに関する誤差の総和をで評価すると、これを最小にするようなMoptは、∂E∂Mopt0をMoptについて解くことによって、以下のように得られる。このようにして得られるMoptは、N個の学習データとの二乗誤差が最小であるようなフィルタである。本実施形態ではこの方法により求めたフィルタを用いる。[B-5]周波数-変動長フィルタによる音声強調実験[B-5-1]実験条件上述の周波数変動長表現上でのフィルタリングが音声強調において有効であることを確認するため、雑音と音声の混合信号に対して本手法を適用し、その分離性能を評価する実験を行った。実験には音声と雑音を60データずつ用意し、両者を無作為に組み合わせて、00dBで混合した信号を使用した。これら60個の混合信号について、周波数変動長領域上でのフィルタリングにより音声強調を行い、それによって得られた信号のSNRをLOOCVの枠組みにより評価した。すなわち、60個の混合信号のうち59個を学習データとし、これらを用いてフィルタを設計し、残りの1個のデータに関して音声強調の性能評価を行うことを、各データに関して繰り返した。なお、HPSSのパラメータは非特許文献1、5に記されている標準的なパラメータを用いている。また、l^=128/8000sとした。[B-5-2]実験に使用した音声と雑音実験には用いたデータは以下の通りである。音声には、新聞記事読み上げ音声コーパスJNASより、10s以上の長さのあるデータの中から男女30話者ずつを無作為に抜粋して使用した。雑音には、建築と環境のサウンドライブラリより、楽音、交通音、機械音、生活音、都市音、自然音のそれぞれから、10s以上の長さのあるデータを、それぞれ10データずつ全60データを抜粋して使用した。いずれのデータもサンプリング周波数8kHzでリサンプリングし、両チャンネルを加算してモノラル信号とし、長さは10sに揃えて用いた。[B-5-3]実験結果60個の混合信号に関して本手法を適用した結果得られたフィルタの例を図21に示す。このフィルタは、図18において音声成分が強く合われている成分を概ねカバーしていることを観察することができる。このフィルタによって得られた信号のSNRのヒストグラムを図22に示す。概ね3‐8dB程度に強調されている信号が多いことを観察することができる。学習したフィルタにより得られた信号のSNRと、目的信号と雑音の周波数変動長表現を既知としたときのWiener型フィルタにより得られた信号のSNRとを比較したものが図23である。この図が示すように、両者の間には相関が見られる。すなわち、目的信号と雑音の周波数-変動長表現が既知の場合に高精度で分離することができる信号は、学習したフィルタでも高精度で分離することができることを示している。なお、両者の相関係数は076である。このことは、フィルタの学習のある程度の有効性を示していると考えられる。60個の信号から抜粋した一つの信号女性音声と琴の混合信号の、音声信号s、混合信号x、および推定された音声信号x ́のスペクトログラムをそれぞれ図24に示す。推定された音声信号のスペクトログラムにおいて、高周波成分がやや失われているものの、背景音楽の多くが抑圧されていることが観察できる。[B-6]小括本実施形態では、信号の新しいパラメータとして変動長を定義し、音声の周波数変動長領域上でのパワーの分布が雑音とは異なることに着目して、周波数変動長の2次元表現上でのフィルタリングを行うことにより音声強調を行う手法の検討を行った。目的信号と雑音の周波数-変動長表現を既知と仮定して設計したWiener型フィルタによる音声強調の性能を評価した結果、00dBで混合された音声信号を5‐10dB程度に強調する性能を示した。また、話者や発話内容に関わらず、音声信号は周波数-変動長表現上で同様の形状を示すことを利用し、多量の音声信号からフィルタの学習を行った結果得られたフィルタは、理想的なWiener型フィルタよりも僅かに劣る程度の3‐8dB程度の分離性能を示した。これらの実験結果より本手法の音声強調への有効性が確認された。なお、本実施形態の手法で着目したのは信号の周波数と変動長のみであり、音声の調波構造等の情報は利用していない。これらを利用することにより音声強調性能の改善を行い得ることが当業者に理解される。[C]変動長スペクトル特徴量を用いた朗読音声と歌声の判別[C-1]概要ミュージカルや音楽番組の分析、音声対話システムのための基礎技術として、朗読音声と歌声の判別技術が重要である。しかし、これは従来多く研究されてきた音声と音楽の識別と比較すると困難な問題である。その理由として、音声と音楽の識別では、楽器音の様々な性質を利用できるのに対し、音声と歌声の識別では、両者がいずれも人の声であり、音声と楽器音の間ほど明確な違いが見出されにくいという点が挙げられる。本実施形態では、朗読音声歌声判別の性能の向上を目的とし、音色や基本周波数これらは従来の識別手法にしばしば用いられるとは独立していると考えられる新しい特徴量変動長スペクトルを利用した識別手法を提案する。変動長スペクトルは信号の新しい表現方法であり、信号のパラメータとして新しく変動長を導入し、各変動長成分のパワーにより信号の特徴を表現する手法である。朗読音声と歌声では変動長スペクトルの形状が異なっていると考えられるため、変動長スペクトルは両者の判別の特徴量として有効であると考えられる。[C-2]変動長スペクトル多重HPSSにより得られた各成分s~lkは、それぞれ変動長が概ねlk-1からlk程度までの成分で占められていると考えられる。従って、各成分のパワーを比較することにより、原信号sはどの変動長の成分が強いかを調べることができると考えられる。変動長スペクトルは、多重HPSSにより得られた各成分s~lkのパワーを配列したベクトルSと定義される。信号の変動長スペクトルの例を図25に示す。図25は、サンプリング周波数8kHz、l0=64点、n=6の条件で、朗読音声および歌声の変動長スペクトルを求め、正規化してから、100サンプルずつ重ねてプロットしたものである。朗読音声と歌声の変動長スペクトルを比較すると、朗読音声の変動長スペクトルは、歌声の変動長スペクトルに比べて変動長128点成分が大きく、変動長8192点成分が小さい傾向にあり、変動長512点、1024点付近に強いパワーが現れやすいことが観察できる。一方、歌声の変動長スペクトルは、概ね朗読音声よりも長い変動長1024点、2048点付近に強いパワーが現れやすく、変動長128点成分が小さい傾向にあることが観察できる。図25に見られるように、朗読音声と歌声の変動長スペクトルの形状が明確に異なっていることから、簡単な識別器により両者を識別することが可能である。[C-3]朗読音声と歌声の判別実験[C-3-1]実験条件変動長スペクトルが朗読音声と歌声を識別する際の特徴量として有効であることを検証するため、多数の朗読音声と歌声データに関してそれぞれ変動長スペクトルを求め、それを特徴量として両者を識別する実験を行った。変動長スペクトルはサンプリング周波数8kHz、l064点、n6の条件で求め、それを正規化し、対数値をとったものを使用した。識別器には、簡単な識別器であるマハラノビス距離に基づく判別分析、および、強力な識別器として知られるAdaBoostのそれぞれを使用した。AdaBoostの弱識別器には、ある程度の識別能力を有し且つ計算コストが小さい識別器として、朗読音声と歌声の特徴量ベクトルの重心間の垂直二等分面を識別面とするような線形判別器を用いた。なお、本実験では比較対象として、12次MFCClogenergyΔΔΔの計39次元の時間平均を特徴量として使用した場合の性能、および変動長スペクトルとMFCCを組み合わせて使用した場合の性能も評価した。これらの条件で、10foldの交差検定を行い、朗読音声歌声判別の正解率を求めた。[C-3-2]実験データ実験に用いた歌声と朗読音声データは以下に述べる通りである。歌声データには、RWCデータベースの楽器音データベースより歌声、市販の模範歌唱付きカラオケデータからスペクトル減算法により抽出された擬似的なアカペラ、およびMIR1Kデータベースの歌声のトラックを使用した。これらには、クラシック音楽とポピュラー音楽の両方の歌唱法のデータが含まれており、少数だがラップも含まれている。それぞれのデータは2秒ずつに区切って使用した。また、音量が一定値に満たないデータは、無音区間が占める割合が長いデータであると見なし、実験には不適であるため自動的に除去した。これにより得られた歌声データは、全18715ファイル10時間23分50秒である。朗読音声データには、新聞記事読み上げ音声コーパスを使用した。朗読音声も歌声と同様に2秒ずつに区切り、実験に不適なデータを自動的に除去した。これにより得られた朗読音声データのファイル数は8万個強で、実験ではその中から歌声と同数の18715個のファイルを無作為に抽出して使用した。[C-3-3]実験結果考察実験により得られた歌声朗読音声判別の正解率を表1に示す。特徴量に変動長スペクトルを用い、識別器にAdaBoostを用いた場合、朗読音声歌声判別の正解率は867であった。この値は、MFCCを特徴量とした場合の正解率789と比較して大きな値であり、本特徴量の有効性を示していると考えられる。また、マハラノビス距離に基づく判別分析の場合も85程度の正解率が得られた。この結果は、変動長スペクトルの特徴量空間上において、朗読音声、および歌声がそれぞれ特定の領域に集中して分布していることを示唆していると考えられる。このため、他の特徴量を用いた判別手法に比較的容易に変動長スペクトル特徴量を組み合わせることが可能であること、また、この組み合わせにより性能が改善されることを期待することができると考えられる。実際に本実験においても、MFCCのみを特徴量とした場合のAdaBoostによる判別の正解率が789であったのに対し、変動長スペクトルを組み合わせたことによって性能が100ポイント改善し、889の正解率を示した。[C-4]小括本実施形態では、音響信号の新しい特徴量である変動長スペクトルを朗読音声と歌声の判別に利用することの有効性の検討を行った。変動長スペクトルを特徴量、AdaBoostを識別器として、朗読音声と歌声を識別する実験を行った結果、87程度の正解率を示した。これは、MFCCを特徴量として用いた場合の正解率を上回っている。また、MFCCと変動長スペクトルを併用した結果、MFCCのみを用いた場合と比較して性能の向上が見られ、89程度の正解率を示した。これらの結果から、変動長スペクトルの、朗読音声と歌声の判別のための特徴量としての有効性が示された。本実験では朗読音声と歌声の二値判別問題を扱ったが、より現実的な環境においては、朗読音声と歌声以外にも楽器音や雑音などが現れうるため、多値判別が必要となり得ることが当業者に理解される。上記実施形態で述べた手法を以下にまとめる。音響信号が入力として与えられる。上記実施形態では、音声、歌声、雑音音楽含、雑音音声、の4種類の音響信号を入力として想定している。入力された音響信号に対して、n種の異なるフレーム長を用いてn個のHPSSを適用することで、n個のH成分分離信号、または、n個のP成分分離信号を取得する。実施形態では、n個のP成分分離信号を取得している。両方の分離信号を取得して、一方の分離信号を選択してもよい。各分離信号の差分と両端の信号からn1個の信号を取得する。n1個の信号の和が原信号である音響信号と一致する。すなわち、原信号は、n1個の信号に分離されたことになる。n1個の信号として得られた情報の圧縮例えば、時間方向や周波数方向に総和を取る処理を行うことによって特徴量を得る。特徴量として変動長スペクトル段落0072、0096、時間変動長表現、周波数変動長表現を示した。得られた特徴量を用いて音響信号を処理する。得られたn1個の数値変動長スペクトルを音声と歌声の認識タスクへの特徴量として利用する[C]変動長スペクトル特徴量を用いた朗読音声と歌声の判別。具体的な処理としては、既知の識別器を用いる。得られた時間変動長表現や周波数変動長表現での情報を、信号を再合成する際の手掛かりとして利用する[A]複数スペクトログラムに基づく信号の変動長スペクトル表現とそれに基づく信号の分析分離手法、[B]周波数-変動長フィルタによる音声強調上記で得られた手掛かりを、上記で得られたn1個の信号の総和を取るときの係数等の設計に利用する。ここでいう、係数等は、具体的にはベクトルaやフィルタMに相当する。そして実際に係数をかけて総和をとることにより信号の加工が達成され、音声強調や、音声と音楽の分離が実現する。ただし、上記で得られた手掛かり無しでもaやMの設計は可能であり、何らかの方法でaやMが既に得られていれば、上記から直接にジャンプすることが可能である。例えば、最も初等的な方法としてはaやMを人手で与えてもよく、また、処理対象の信号とは別に用意した学習データから自動的に生成してもよい。実施形態では、特にMoptの設計は学習データを用いている。学習データからMoptを得る際には上記、のステップを踏む必要があるが、一旦Moptが得られてしまえばから直接に飛ぶことができる。段落0078の式がそれに相当しており、分離信号xlとMのみから信号を加工している。"