(57)【特許請求の範囲】
【請求項１】
複数の音から構成される混合音中より特定の音を分離する混合音分離装置であって、
前記混合音中の波形である被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を求める局所周波数情報作成手段と、
前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間のパターンマッチングを行ない、当該パターンマッチングの結果に基づいて、前記複数の局所周波数情報の組を抽出する特定音周波数特徴量抽出手段と、
前記特定音周波数特徴量抽出手段で抽出された前記組における複数の局所周波数情報の総和を求め、前記局所周波数情報作成手段において前記複数の局所周波数情報を求める際に使用した周波数変換の逆の周波数変換を前記総和に適用することによって前記特定の音の信号を作成する音信号作成手段とを備える
ことを特徴とする混合音分離装置。
【請求項２】
前記特定音周波数特徴量抽出手段は、前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間の距離を算出し、当該距離が所定の閾値以下の場合に、前記複数の局所周波数情報の組を抽出する
ことを特徴とする請求項１に記載の混合音分離装置。
【請求項３】
前記特定音周波数特徴量抽出手段は、前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間の類似度を算出し、当該類似度が所定の閾値以上の場合に、前記複数の局所周波数情報の組を抽出する
ことを特徴とする請求項１に記載の混合音分離装置。
【請求項４】
さらに、前記同一の時空間分解能に基づいて、前記分析波形を、時間的に重なることを許して分割して、前記複数の局所分析波形を作成する分析波形分割手段を備える
ことを特徴とする請求項１に記載の混合音分離装置。
【請求項５】
さらに、時空間分解能の入力を受付ける時空間分解能入力受付手段を備え、
前記分析波形分割手段は、入力された前記時空間分解能に基づいて、前記分析波形を分割して、前記複数の局所分析波形を作成する
ことを特徴とする請求項４に記載の混合音分離装置。
【請求項６】
さらに、前記同一の時空間分解能に基づいて、前記分析波形を、時間的に重なることのないように分割して、前記複数の局所分析波形を作成する分析波形分割手段を備える
ことを特徴とする請求項１に記載の混合音分離装置。
【請求項７】
被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形を用いて、前記被分析波形を周波数分析するための周波数情報を作成する局所周波数情報作成装置であって、
前記分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を求める局所周波数情報作成手段と、
前記複数の局所周波数情報を組として、所定の記憶装置に格納する格納手段とを備える
ことを特徴とする局所周波数情報作成装置。
【請求項８】
被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形を用いて、前記被分析波形を周波数分析する装置であって、
前記分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を取得する取得手段と、
前記取得手段が取得した前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間のパターンマッチングを行ない、当該パターンマッチングの結果に基づいて、前記複数の局所周波数情報の組を抽出する被分析波形周波数特徴量抽出手段とを備える
ことを特徴とする周波数特徴量分析装置。
【請求項９】
複数の音から構成される混合音中より特定の音を分離する混合音分離方法であって、
前記混合音中の波形である被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を求める局所周波数情報作成ステップと、
前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間のパターンマッチングを行ない、当該パターンマッチングの結果に基づいて、前記複数の局所周波数情報の組を抽出する特定音周波数特徴量抽出ステップと、
前記特定音周波数特徴量抽出ステップで抽出された前記組における複数の局所周波数情報の総和を求め、前記局所周波数情報作成ステップにおいて前記複数の局所周波数情報を求める際に使用した周波数変換の逆の周波数変換を前記総和に適用することによって前記特定の音の信号を作成する音信号作成ステップとを含む
ことを特徴とする混合音分離方法。
【請求項１０】
複数の音から構成される混合音中より特定の音を分離するプログラムであって、
前記混合音中の波形である被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を求める局所周波数情報作成ステップと、
前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間のパターンマッチングを行ない、当該パターンマッチングの結果に基づいて、前記複数の局所周波数情報の組を抽出する特定音周波数特徴量抽出ステップと、
前記特定音周波数特徴量抽出ステップで抽出された前記組における複数の局所周波数情報の総和を求め、前記局所周波数情報作成ステップにおいて前記複数の局所周波数情報を求める際に使用した周波数変換の逆の周波数変換を前記総和に適用することによって前記特定の音の信号を作成する音信号作成ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、混合音から所望の音を分離する混合音分離装置に関する。
【背景技術】
【０００２】
混合音から所望の音を分離する装置として混合音分離装置がある。混合音分離処理では、混合音を周波数分析することにより、縦軸を周波数、横軸を時間とし、それぞれの点におけるパワーの強弱を濃淡で示したスペクトログラムを作成する。また、当該処理では、スペクトログラム上で、混合音から所望の音を分離する。このような処理により音の分離性能が高くなる。このように音声からスペクトログラムへの変換方法、すなわち音声の周波数分析方法としては、フーリエ変換が一般的に用いられる。このため、フーリエ変換は、混合音分離処理において、重要な役割を担っている。
【０００３】
周波数分析を行うための従来技術としては、上述したフーリエ変換（例えば、非特許文献１、非特許文献２参照）の他に、コサイン変換（例えば、非特許文献２参照）およびウェーブレット変換（例えば、非特許文献１参照）などが知られている。これらの従来技術では、被分析波形と所定の時間幅をもつ分析波形との相互相関（畳み込み）を用いて、周波数分析が行われる。
【０００４】
フーリエ変換では、時間分解能（空間分解能）と周波数分解能とから決定された時間幅をもつコサイン波形およびサイン波形（上記時間幅以外の時間区間ではゼロの値をもつ分析波形）を用いて周波数分析が行われる。
【０００５】
ここで、分析波形の時間幅を決めることは、フーリエ変換における分析フレーム幅（時間幅）を決定することと等価である。また、被分析波形に、分析対象区間（分析波形が存在する時間区間）ではゼロでない値をもつ窓関数をかけて周波数分析を行うこともある。
【０００６】
図１は、フーリエ変換（離散フーリエ変換）の方法を説明する図である。図１（ａ）に示すサンプリングポイントでＮポイントの時間幅をもつコサイン波形およびサイン波形である分析波形を用いて、数１により、図１（ｃ）に示す被分析波形と分析波形との相互相関（畳み込み）を求めることで（図１（ｂ））、被分析波形の周波数情報（振幅スペクトルおよび位相スペクトル）を求める。ここで数１のインデックスｋは、分析する周波数を示すインデックスであり、フーリエ変換では、複数の分析する周波数での周波数情報を同時に求めることになる。インデックスの値が大きいほど高い周波数での分析結果を示す。
【０００７】
【数１】
0004041154.tif 000002
ここで、
【０００８】
【数２】
0004041154.tif 000003
は、被分析波形をサンプリングした値であり、
【０００９】
【数３】
0004041154.tif 000004
は、被分析波形の周波数情報であり、
【００１０】
【数４】
0004041154.tif 000005
は、Ｎポイントの時間幅をもつコサイン波形とサイン波形から構成される値、すなわち分析波形の値である。
【００１１】
フーリエ変換では、分析波形の時間幅の設定により、時間分解能と周波数分解能との両方の値が自動的に決定される。ここでいう「時間分解能」とは、被分析波形と分析波形との相互相関（畳み込み）を求めるときに平均化する時間区間の長さのことである。「周波数分解能」とは、被分析波形の周波数成分が通過する周波数帯域幅のことであり、分析する周波数の周辺に当該帯域幅が存在する。
【００１２】
図２は、所定の時間幅をもつ分析波形と、被分析波形を上記分析波形により周波数分析したときの周波数特性との関係を示した図である。図２には、３種類の時間分解能を用いて周波数分析を行なった場合の周波数特性を示しており、左列より１周期分、２周期分および３周期分の時間分解能を持つ分析波形を用い周波数分析を行なった場合の分析波形と周波数特性との関係を示している。
【００１３】
図２より、１周期分のコサイン波形を分析波形に用いて時間分解能を細かくして周波数分析を行なったときには周波数分解能が粗くなり、３周期分のコサイン波形（１周期分のコサイン波形と比較して時間幅が３倍になったもの）を分析波形に用いて時間分解能を粗くして周波数分析を行なったときには周波数分解能が細かくなることがわかる。このように、従来技術では時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能とはトレードオフの関係にある。
【００１４】
なお、連続値をもつ被分析波形におけるフーリエ変換の場合は、数１においてΣ演算の代わりに、積分の形をした被分析波形と分析波形との相互相関（畳み込み）を用いて周波数分析を行うことになる。
【００１５】
コサイン変換では、時間分解能（空間分解能）と周波数分解能とから決定された時間幅をもつコサイン波形（上記時間幅以外の時間区間はゼロの値をもつ分析波形）を用いて周波数分析が行われている。
【００１６】
図３は、コサイン変換（離散コサイン変換）を説明する図である。図３（ａ）に示すサンプリングポイントでＮポイントの時間幅をもつコサイン波形（上記時間幅以外の時間区間ではゼロの値をもつ分析波形）を用いて、数５、数６により、図３（ｃ）に示す被分析波形と分析波形の相互相関（畳み込み）を求めることで（図３（ｂ））、被分析波形の周波数情報（振幅スペクトルと位相スペクトルとを合わせて表現したもの）を求める。ここで数５、数６のインデックスｋは、分析する周波数を示すインデックスであり、コサイン変換では、複数の分析する周波数での周波数情報を同時に求めることになる。インデックスの値が大きいほど高い周波数での分析結果を示す。
【００１７】
【数５】
0004041154.tif 000006
【００１８】
【数６】
0004041154.tif 000007
ここで、
【００１９】
【数７】
0004041154.tif 000008
は、被分析波形をサンプリングした値であり、
【００２０】
【数８】
0004041154.tif 000009
は、被分析波形の周波数情報である。
【００２１】
コサイン変換では、分析波形の時間幅の設定により、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能との両方が自動的に決定される。この仕組みは、フーリエ変換の場合と同様である（図２を参照）。
【００２２】
なお、連続値をもつ被分析波形におけるコサイン変換の場合は、数５は、積分の形をした被分析波形と分析波形との相互相関（畳み込み）を用いて周波数分析を行うことになる。
【００２３】
ウェーブレット変換では、時間分解能（空間分解能）と周波数分解能とから決定された時間幅をもつウェーブレット基底関数を用いて周波数分析が行われている。
【００２４】
図４は、ウェーブレット変換を説明する図である。図４において、図４（ａ）に示すような所定の時間幅をもつ分析波形であるウェーブレット基底関数（上記時間幅以外の時間区間ではゼロの値をもつ分析波形）を用いて、図４（ｂ）に示す式、すなわち数９により、図４（ｃ）に示す被分析波形と図４（ａ）に示す分析波形の相互相関（畳み込み）を計算することにより、被分析波形の周波数情報（振幅スペクトルおよび位相スペクトル）を求める。
【００２５】
【数９】
0004041154.tif 000010
ここで、ｘｔは、被分析波形であり、
【００２６】
【数１０】
0004041154.tif 000011
は、ウェーブレット基底関数である。
【００２７】
ウェーブレット変換では、ウェーブレット基底関数の時間幅を決定することにより、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能との両方が自動的に決定される。この仕組みは、フーリエ変換の場合と同様である（図２を参照）。
【００２８】
なお、ウェーブレット変換では、分析する周波数ごとに、独立に、時間分解能（または周波数分解能）を設定することができる。一方、フーリエ変換では、全ての分析する周波数は、同じ時間分解能（分析する時間窓の時間幅）および周波数分解能をもつことになり、分析する周波数ごとにこれらを独立に設定することはできない。ただし、ウェーブレット変換でも、時間分解能（または周波数分解能）により周波数分解能（または時間分解能）が自動的に決定されることは同じである。
【００２９】
なお、ここではウェーブレット基底関数としてメキシカンハットを用いて説明したが、ドベシイ、メイエ、ガボールなどのウェーブレット基底関数を用いたウェーブレット変換もある。
【非特許文献１】中野宏毅、外２名、“ウェーブレットによる信号処理と画像処理”、１９９９年８月１５日、共立出版株式会社、ｐｐ．３５−３９、ｐｐ．４９−５２
【非特許文献２】中川聖一、“パターン情報処理”、平成１１年３月３０日、丸善株式会社、ｐｐ．１４−１９
【発明の開示】
【発明が解決しようとする課題】
【００３０】
従来技術では、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能（被分析波形の周波数成分が通過する分析周波数の周辺の周波数帯域幅）とは、互いに干渉する。このため、分析波形の時間幅を短くして時間分解能を細かくすると周波数分解能が粗くなり、分析波形の時間幅を長くして周波数分解能を細かくすると時間分解能が粗くなる。そのため、時間分解能と周波数分解能とを独立に設定することができないという課題がある。
【００３１】
例えば、混合音分離システムにおいて、突発音と楽音とから構成される混合音から楽音を抽出するには、突発音の分析として時間分解能を細かくして微小時間での波形の変化を分析する必要があり、楽音の分析として周波数分解能を細かくして微小周波数帯域での周波数の変化を分析する必要がある。このため、両者が混合した時間・周波数領域に対しては、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能（被分析波形の周波数成分が通過する分析周波数の周辺の周波数帯域幅）とを同時に細かくする必要があるが、トレードオフの関係にある両者を同時に細かく設定することは従来技術ではできない。このため、混合音の中から高い精度で抽出したい音を抽出することができない。
【００３２】
そこで、本発明は、このような問題点に鑑みてなされたものであり、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能（被分析波形の周波数成分が通過する分析周波数の周辺の周波数帯域幅）とをあたかも同時に細かく設定して周波数分析を行なったかのような結果に基づいて、混合音から特定の音を高い精度で分離することができる混合音分離装置等を提供することを目的とする。
【課題を解決するための手段】
【００３３】
上記目的を達成するために、本発明のある局面に係る混合音分離装置は、複数の音から構成される混合音中より特定の音を分離する混合音分離装置であって、前記混合音中の波形である被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を求める局所周波数情報作成手段と、前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間のパターンマッチングを行ない、当該パターンマッチングの結果に基づいて、前記複数の局所周波数情報の組を抽出する特定音周波数特徴量抽出手段と、前記特定音周波数特徴量抽出手段で抽出された前記組における複数の局所周波数情報の総和を求め、前記局所周波数情報作成手段において前記複数の局所周波数情報を求める際に使用した周波数変換の逆の周波数変換を前記総和に適用することによって前記特定の音の信号を作成する音信号作成手段とを備える。
【００３４】
これによって、時間分解能と周波数分解能を独立に設定することができ、複数の周波数分解能（複数の時間分解能）でそれぞれ周波数分析された複数の局所周波数情報の組と、予め定められた特定の音に対する周波数情報の組とを比較することにより、あたかも時間分解能と周波数分解能を同時に細かくして周波数分析したかのような結果を得ることができる。このため、混合音の中から高い精度で抽出したい音を取り出すことができる。
【００３５】
また、上述の混合音分離装置は、さらに、前記所定の周波数分解能に基づいて、前記分析波形の時間幅を決定する分析波形時間幅決定手段を備えていてもよい。
【００３６】
好ましくは、前記分析波形は、コサイン波形またはサイン波形を含み、前記分析波形時間幅決定手段は、前記所定の周波数分解能に基づいて、前記分析波形が整数周期分のコサイン波形または整数周期分のサイン波形の分析波形を含むように前記分析波形の時間幅を決定することを特徴とする。
【００３７】
これによって、被分析波形を分析するための周波数帯域通過フィルタの設計が容易になる。
【００３８】
さらに好ましくは、前記整数周期は、１周期であることを特徴とする。
【００３９】
これによって、細かい時間分解能で周波数分析できる。
【００４０】
また、上述の混合音分離装置は、さらに、周波数分解能の入力を受付ける周波数分解能入力受付手段を備え、前記分析波形時間幅決定手段は、入力された前記周波数分解能に基づいて、前記分析波形の時間幅を決定することを特徴としていてもよい。
【００４１】
これによって、被分析波形の性質やアプリケーションの仕様などに基づいて、周波数分解能を制御することができる。
【００４２】
また、上述の混合音分離装置は、さらに、前記同一の時空間分解能に基づいて、前記分析波形を、時間的に重なることのないように分割して、前記複数の局所分析波形を作成する分析波形分割手段を備えることを特徴としていてもよい。
【００４３】
これによって、被分析波形を分析するための周波数帯域通過フィルタの設計が容易になる。
【００４４】
また、前記分析波形分割手段は、複数の時空間分解能を有するように前記分析波形を分割して、前記複数の局所分析波形を作成することを特徴としていてもよい。
【００４５】
これによって、被分析波形の時間的性質に対応した複数の時間分解能を設定することができる。
【００４６】
また、上述の混合音分離装置は、さらに、時空間分解能の入力を受付ける時空間分解能入力受付手段を備え、前記分析波形分割手段は、入力された前記時空間分解能に基づいて、前記分析波形を分割して、前記複数の局所分析波形を作成することを特徴としていてもよい。
【００４７】
これによって、被分析波形の性質やアプリケーションの仕様などに基づいて、周波数分解能を制御することができる。
【００４８】
本発明の他の局面に係る周波数特徴量分析装置は、被分析波形と時間が対応付けられ、かつ、前記被分析波形を分析する周波数の成分を有する分析波形を用いて、前記被分析波形を周波数分析する装置であって、前記分析波形の一部を構成し同一の時空間分解能を有する複数の局所分析波形を用いて、前記局所分析波形と時間が対応する被分析波形の周波数を分析することによって、前記分析する周波数における振幅スペクトルおよび位相スペクトルの少なくとも一方を含む前記局所分析波形に対応する複数の局所周波数情報を取得する取得手段と、前記取得手段が取得した前記複数の局所周波数情報を組とし、当該組と予め定められた特定の音に対する複数の周波数情報の組であって予め記憶された複数の組との間のパターンマッチングを行ない、当該パターンマッチングの結果に基づいて、前記複数の局所周波数情報の組を抽出する被分析波形周波数特徴量抽出手段とを備えることを特徴とする。
【００４９】
図５〜図９を用いて、本発明のポイントを説明する。
【００５０】
図５は、本発明の全体構成を説明する図である。図５の例では、図５（ａ）に示すような所定の周波数分解能に基づいて分析波形の時間幅を決定している。すなわち、図５（ｂ）に示すように３周期分のコサイン波形を分析波形としている。例えば、３人の音声から構成される混合音を分離する場合には周波数分解能を細かくする設定する必要があるため、周波数分解能が約１５Ｈｚになるように分析波形の時間幅を設定する。
【００５１】
ここで、従来技術である離散コサイン変換を用いて周波数分析を行った場合、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は分析波形の時間幅により決定され、時間分解能は３周期分のコサイン波形の時間幅となり、時間分解能は粗くなってしまう。そのため、被分析波形の細かい時間的な構造（３周期分のコサイン波形の時間幅よりも細かい時間間隔での周波数情報の変化）が表現できなくなってしまう。
【００５２】
そこで、本発明では、所望の時間分解能に基づいて分析波形を時間的に分割する。例えば、音声を分析する場合には、音声の基本波形の構造が見えるように基本波形の長さよりも細かい時間間隔に分析波形を分割する。図５の例では、図５（ｃ）に示すように分析波形を１周期分のコサイン波形に分割して、３個の局所分析波形を作成する。ここでの時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は、１周期分のコサイン波形の時間幅であり、３周期分のコサイン波形の時間幅と比べて細かくなっている。すなわち、時間分解能は、周波数分解能とは独立に細かく設定されている（ただし、３個の局所分析波形は、同一の分析波形からそれぞれ抽出された波形である。）
【００５３】
次に、図５（ｃ）に示すように３個の局所分析波形を用いて周波数分析を行うことで、３個の局所周波数情報を求める。局所周波数情報の求め方は、従来技術での周波数分析において、分析波形を局所分析波形に置き換えて、被分析波形と局所分析波形との相互相関（畳み込み）を計算することで求める。
【００５４】
ここで、従来技術である離散コサイン変換により、３周期分のコサイン波形である分析波形を用いて求めた周波数情報と、本発明において、３周期分のコサイン波形を時間的に分割した局所分析波形を用いて求めた３個の局所周波数情報との関係を考える。図５の例の場合、従来技術である離散コサイン変換により求めた周波数情報は、数１１により表現される。
【００５５】
【数１１】
0004041154.tif 000012
【００５６】
また、本発明における３個の局所周波数情報は、数１２、数１３、数１４により表現される。
【００５７】
【数１２】
0004041154.tif 000013
【００５８】
【数１３】
0004041154.tif 000014
【００５９】
【数１４】
0004041154.tif 000015
【００６０】
局所分析波形の作成方法を考えると、数１５に示すように、離散コサイン変換で求めた周波数情報は、本発明で求めた３個の局所周波数情報の総和と等価であることがわかる。
【００６１】
【数１５】
0004041154.tif 000016
【００６２】
このことから、本発明で求めた３個の局所周波数情報には、離散コサイン変換で求めた周波数分解能をもつ周波数情報が含まれていることがわかる。すなわち、局所周波数情報を３個合わせて考えると、細かい周波数分解能をもつ周波数情報が得られることがわかる。
【００６３】
また、数１５より、所望の周波数分解能で求めた離散コサイン変換による周波数情報の値（数１１）において、局所周波数情報の値（数１２、数１３、数１４）の組み合わせが複数存在することがわかる。例えば、数１６に示す組み合わせが存在する。すなわち、Ｘｆ＝５となる（Ｘｆ１，Ｘｆ２，Ｘｆ３）の組み合わせの一例としてとして、（Ｘｆ１，Ｘｆ２，Ｘｆ３）＝（１，２，２）が考えられる。それ以外にも（Ｘｆ１，Ｘｆ２，Ｘｆ３）＝（２，１，２）などが考えられる。
【００６４】
【数１６】
0004041154.tif 000017
【００６５】
このことから、図５（ｄ）に示すように３個の局所周波数情報をひとかたまりのデータとして扱ったものは、所望の周波数分解能をもつ周波数情報を、所望の細かい時間分解能をもつ３個の局所周波数情報を成分として分散的に表現したものであり、従来の離散コサイン変換で求めた周波数情報に、さらに時間的な周波数構造の変化に関する情報を付加したものであることがわかる。
【００６６】
このように、３個の局所周波数情報をひとかたまりのデータとして用いることにより、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能との両方をあたかも同時に細かくして周波数分析を行なったかのような、被分析波形に含まれる周波数特徴量を抽出することができる。ただし、周波数特徴量を抽出するときは、時間分解能の概念とは別に、３個の局所周波数情報を求めるために３周期分のコサイン波形に相当する時間幅の被分析波形が必要となる。そのため、周波数分析に必要な被分析波形の時間区間の長さは従来の分析方法と同じである。
【００６７】
図６は、別の周波数分解能に基づいて周波数分析を行う例を示す図である。図６の例では、図６（ａ）に示すように図５の例よりも細かい周波数分解能で分析するために、図６（ｂ）に示すように４周期分のコサイン波形を分析波形としている。
【００６８】
ここで、従来技術の離散コサイン変換を用いて周波数分析を行った場合、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は４周期分のコサイン波形の時間幅となり、時間分解能は粗くなってしまう。そのため、被分析波形の細かい時間的な構造が表現できなくなってしまう。
【００６９】
そこで、本発明では、所望の時間分解能に基づいて分析波形を時間的に分割する。図６の例では、図６（ｃ）に示すように分析波形を２周期分のコサイン波形に分割して、２個の局所分析波形を作成する。ここでの時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は、２周期分のコサイン波形の時間幅であり、周波数分解能とは独立に細かく設定している。（ただし、２個の局所分析波形は、同一の分析波形からそれぞれ抽出された波形である。）
【００７０】
次に、図６（ｃ）に示すように２個の局所分析波形を用いて周波数分析を行うことで、２個の局所周波数情報を求める。局所周波数情報の求め方は、従来技術での周波数分析において、分析波形を局所分析波形に置き換えて、被分析波形と局所分析波形との相互相関（畳み込み）を計算することで求める。
【００７１】
ここで、従来技術である離散コサイン変換により、４周期分のコサイン波形である分析波形を用いて求めた周波数情報と、本発明において、２周期分のコサイン波形に分割して求めた２個の局所周波数情報との関係を考える。図６の例の場合、従来技術である離散コサイン変換により求めた周波数情報は、数１７により表現される。
【００７２】
【数１７】
0004041154.tif 000018
また、本発明における２個の局所周波数情報は、数１８、数１９により表現される。
【００７３】
【数１８】
0004041154.tif 000019
【００７４】
【数１９】
0004041154.tif 000020
【００７５】
局所分析波形の作成方法を考えると、数２０に示すように、離散コサイン変換で求めた周波数情報は、本発明で求めた２個の局所周波数情報の総和と等価であることがわかる。
【００７６】
【数２０】
0004041154.tif 000021
【００７７】
このことから、本発明で求めた２個の局所周波数情報には、離散コサイン変換で求めた周波数分解能をもつ周波数情報が含まれていることがわかる。すなわち、局所周波数情報を２個合わせて考えると、細かい周波数分解能をもつ周波数情報が得られることがわかる。
【００７８】
また、数２０より、所望の周波数分解能で求めた離散コサイン変換による周波数情報の値（数１７）において、局所周波数情報の値（数１８、数１９）の組み合わせが複数存在することがわかる。例えば、数２１に示す組み合わせが存在する。すなわち、Ｘｆ＝２となる（Ｘｆ１，Ｘｆ２）の組み合わせの一例としてとして、（Ｘｆ１，Ｘｆ２）＝（０．９，１．１）が考えられる。それ以外にも（Ｘｆ１，Ｘｆ２）＝（２．５，（−０．５））などが考えられる。
【００７９】
【数２１】
0004041154.tif 000022
【００８０】
このことから、図６（ｄ）に示すように２個の局所周波数情報をひとかたまりのデータとして扱ったものは、所望の周波数分解能をもつ周波数情報を、所望の細かい時間分解能をもつ２個の局所周波数情報を成分として分散的に表現したものであり、従来の離散コサイン変換で求めた周波数情報に、さらに時間的な周波数構造の変化に関する情報を付加したものであることがわかる。
【００８１】
このように、２個の局所周波数情報をひとかたまりのデータとして用いることにより、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能との両方をあたかも同時に細かくして周波数分析を行なったかのような、被分析波形に含まれる周波数特徴量を抽出することができる。ただし、周波数特徴量を抽出するときは、時間分解能の概念とは別に、２個の局所周波数情報を求めるために４周期分のコサイン波形に相当する時間幅の被分析波形が必要となる。そのため、周波数分析に必要な被分析波形の時間区間の長さは従来の分析方法と同じである。
【００８２】
図７は、分析波形を時間的に重ねて分割して局所分析波形を作成する例を示す図である。図７（ａ）は、この例における周波数分解能を示す図であり、図６（ａ）に示した周波数分解能と同じであるものとする。図７の例では、図７（ｂ）に示すように図６の例と同じ４周期分のコサイン波形を分析波形としている。
【００８３】
ここで、従来技術の離散コサイン変換を用いて周波数分析を行った場合、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は４周期分のコサイン波形の時間幅となり、時間分解能は粗くなってしまう。そのため、被分析波形の細かい時間的な構造が表現できなくなってしまう。
【００８４】
そこで、本発明では、所望の時間分解能に基づいて分析波形を時間的に分割する。図７の例では、図７（ｃ）に示すように分析波形を時間的に重ねながら２周期分のコサイン波形に分割して、３個の局所分析波形を作成する。ここでの時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は、２周期分のコサイン波形の時間幅となる（ただし、３個の局所分析波形は、同一の分析波形からそれぞれ抽出された波形である。）。
【００８５】
次に、図７（ｃ）に示すように３個の局所分析波形を用いて周波数分析を行うことで、３個の局所周波数情報を求める。局所周波数情報の求め方は、従来技術での周波数分析において、分析波形を局所分析波形に置き換えて、被分析波形と局所分析波形との相互相関（畳み込み）を計算することで求める。
【００８６】
ここで、従来技術である離散コサイン変換により、４周期分のコサイン波形である分析波形を用いて求めた周波数情報と、本発明において、２周期分のコサイン波形に分割して求めた３個の局所周波数情報との関係を考えると、３個の局所周波数情報の総和により、離散コサイン変換で求めた周波数情報の２倍の値が近似的に求まることがわかる。すなわち、３個の局所周波数情報には、離散コサイン変換により細かい周波数分解能で求めた周波数情報が含まれていることがわかる。
【００８７】
このことから、図７（ｄ）に示すように３個の局所周波数情報をひとかたまりのデータとして扱ったものは、局所周波数情報よりも細かい周波数分解能をもつ周波数情報を、細かい時間分解能をもつ３個の局所周波数情報を成分として分散的に表現したものであり、従来の離散コサイン変換で求めた周波数情報に、さらに時間的な周波数構造の変化に関する情報を付加したものであることがわかる。
【００８８】
このように、３個の局所周波数情報をひとかたまりのデータとして用いることにより、時間分解能と周波数分解能の両方をあたかも同時に細かくして周波数分析を行なったかのような、被分析波形に含まれる周波数特徴量を抽出することができる。ただし、周波数特徴量を抽出するときは、時間分解能の概念とは別に、３個の局所周波数情報を求めるために４周期分のコサイン波形に相当する時間幅の被分析波形が必要となる。そのため、周波数分析に必要な被分析波形の時間区間の長さは従来の分析方法と同じである。
【００８９】
図８は、別の時間分解能に基づいて周波数分析を行う例を示す図である。図８（ａ）は、この例における周波数分解能を示す図であり、図５（ａ）に示した周波数分解能と同じであるものとする。図８の例では、図５の例よりもさらに細かい時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）で周波数分析を行う。この例では、図８（ｂ）に示すように図５の例と同じ３周期分のコサイン波形を分析波形としている。
【００９０】
ここで、従来技術の離散コサイン変換を用いて周波数分析を行うと、時間分解能は３周期分のコサイン波形の時間幅となり、時間分解能は粗くなってしまう。そこで、図８の例では、図８（ｃ）に示すように分析波形を０．５周期分のコサイン波形に分割して、６個の局所分析波形を作成する。ここでの時間分解能は、０．５周期分のコサイン波形の時間幅となる。そして６個の局所分析波形を用いて周波数分析を行うことで、６個の局所周波数情報を求める。
【００９１】
ここで、分析波形（３周期分のコサイン波形）を用いて従来技術である離散コサイン変換で求めた周波数情報と、本発明における、６個の局所周波数情報との関係を考えると、６個の局所周波数情報の総和により、離散コサイン変換で求めた周波数情報が求まることがわかる。すなわち、６個の局所周波数情報には、所定の周波数分解能で求めた離散コサイン変換で求めた周波数情報が含まれていることがわかる。これより、６個の局所周波数情報をひとかたまりのデータとして扱ったものは、局所周波数情報よりも細かい周波数分解能をもつ周波数情報を、細かい時間分解能をもつ６個の局所周波数情報を成分として分散的に表現したものであり、従来の離散コサイン変換で求めた周波数情報に、さらに時間的な周波数構造の変化に関する情報を付加したものであることがわかる。
【００９２】
そして、図８（ｄ）に示すように６個の局所周波数情報をひとかたまりのデータとして用いることにより、時間分解能と周波数分解能の両方をあたかも同時に細かくして周波数分析を行なったかのような、被分析波形に含まれる周波数特徴量を抽出することができる。ただし、周波数特徴量を抽出するときは、時間分解能の概念とは別に、６個の局所周波数情報を求めるために３周期分のコサイン波形に相当する時間幅の被分析波形が必要となる。そのため、周波数分析に必要な被分析波形の時間区間の長さは従来の分析方法と同じである。
【００９３】
図９は、１周期分のコサイン波形による周波数情報と、フーリエ変換による周波数情報との関係を示した図である。図９（ａ）に示すように、分析する周波数（ｆ１，ｆ２，ｆ３，…）ごとに、分析する周波数に対応する１周期分のコサイン波形を局所分析波形として、図５の例と同様にして局所周波数情報を求める。なお、分析する周波数は、図９（ｃ）に示すように基本周波数をｆ１とした場合にｆｎで表される。ｆｎは、ｆ１のｎ倍の周波数を示す。そして、図９（ｂ）に示すように、図５の例と同様にして、フーリエ変換における時間窓の中に入る局所周波数情報の総和を求めることで、フーリエ変換の周波数情報を作成することができる。なお、図９の例では、図９（ｂ）に示されるようにフーリエ変換における時間窓に入る局所周波数情報の数は、周波数ｆ１に対応する局所周波数情報では１個、周波数ｆ２に対応する局所周波数情報では２個、周波数ｆ３に対応する局所周波数情報では３個である。フーリエ変換では、分析する複数の周波数は直交条件を満たしており、逆フーリエ変換により、周波数情報から波形情報を容易に作成することができる。このことから、本発明における局所周波数情報から波形情報に変換できることがわかる。
【００９４】
本発明の周波数分析装置を用いれば、例えば、混合音分離システムにおいて、混合音から、細かい周波数分解能でかつ細かい時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）で表現された周波数ごとの局所周波数情報をひとかたまりにしたデータを用いて、高い精度で抽出したい音の局所周波数情報を抽出することで、クリアな抽出音（抽出音の波形情報）を利用者に提供することができる。
【００９５】
最後に本発明のポイントを要約すると、所定の周波数を周波数分析するときに、所望の周波数分解能に基づいて決まる分析時間幅（分析波形の時間幅に対応）において、上記所定の周波数をもつ同一の分析波形からそれぞれ抽出された分析波形（局所分析波形に対応）を上記分析時間幅内に収まるように複数個準備して、上記複数の分析波形（局所分析波形に対応）を用いて複数の周波数情報（局所周波数情報に対応）を作成して、それらをひとかたまりのデータとして扱って被分析波形の周波数特徴量を分析することを特徴とするものである。
【発明の効果】
【００９６】
以上のように、本発明によると、時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）と周波数分解能とを独立に設定することができ、時間分解能と周波数分解能とをあたかも同時に細かくして周波数分析を行なったかのように周波数分析を行なうことができる混合音分離装置および周波数分析装置などが提供され、混合音分離、音声認識、音識別、文字認識、顔認識、虹彩認証などの幅広い分野での基本技術として利用することができ、その実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００９７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００９８】
図１０は、本発明の実施の形態における周波数分析装置の全体構成を示すブロック図である。ここでは、本発明に係る周波数分析装置が混合音分離システムに組み込まれた例が示されている。本実施の形態では、３人の話者の音声から構成される混合音を周波数分析することにより、混合音から１人の話者の音声を分離する場合を例にして説明する。
【００９９】
混合音分離システム１００は、複数の話者の音声が混合された混合音から１人の話者の音声を抽出するシステムであり、マイクロホン１０１と、周波数分析装置１０２と、音変換部１０７と、スピーカ１０８とを備える。周波数分析装置１０２は、混合音に含まれる周波数成分を分析し、周波数特徴量を抽出する処理装置であり、分析波形時間幅決定部１０３と、分析波形分割部１０４と、局所周波数情報作成部１０５と、被分析波形周波数特徴量抽出部１０６とを備える。
【０１００】
マイクロホン１０１は、混合音Ｓ１００を取り込み局所周波数情報作成部１０５に出力する。
【０１０１】
分析波形時間幅決定部１０３は、所定の周波数分解能に基づいて、分析する周波数に対応する分析波形の時間幅を決定する。
【０１０２】
分析波形分割部１０４は、所定の時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）に基づいて、分析波形時間幅決定部１０３が作成した分析波形Ｓ１０１を、時間的に重なることを許して分割し、複数の局所分析波形Ｓ１０２を作成する。
【０１０３】
局所周波数情報作成部１０５は、混合音Ｓ１００と局所分析波形Ｓ１０２との相互相関に基づいて、上記所定の時間分解能で、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む局所分析波形Ｓ１０２に対応した複数の局所周波数情報Ｓ１０３を求める。
【０１０４】
被分析波形周波数特徴量抽出部１０６は、上記複数の局所周波数情報Ｓ１０３をひとかたまりのデータとして用いることで、上記周波数分解能で、混合音Ｓ１００に含まれる抽出音の局所周波数情報を抽出して、抽出音の局所周波数情報を用いて抽出音のフーリエ係数Ｓ１０４を作成することで、混合音Ｓ１００に含まれる周波数特徴量の１つである抽出音のフーリエ係数Ｓ１０４を抽出する。
【０１０５】
音変換部１０７は、抽出音のフーリエ係数Ｓ１０４を用いて抽出音（抽出音の波形）Ｓ１０５を作成する。スピーカ１０８は、抽出音Ｓ１０５を利用者へ出力する。
【０１０６】
次に、以上のように構成された混合音分離システム１００の動作について説明する。
【０１０７】
図１１は、混合音分離システム１００の動作手順を示すフローチャートである。
【０１０８】
まず、マイクロホン１０１を用いて、３人の話者の音声から構成される混合音Ｓ１００を周波数分析装置１０２の局所周波数情報作成部１０５に取り込む（図１１のステップ２００）。図１２に混合音Ｓ１００の一例を示す。図１２（ａ）は、混合音Ｓ１００の波形であり、図１２（ｂ）は、従来技術であるフーリエ変換により求めた混合音Ｓ１００のスペクトログラムである。図１２（ｃ）に示すように、音声は、基本波形の繰り返しにより表現することができる。また、基本波形の振幅は全ての時間に対して大きいわけではなくゼロに近い時間領域が存在する。そのため、時間分解能を細かくして分析すると、混合音の中の３人の話者の音声の基本波形の特徴を分析することができる。ちなみに、図１２（ａ）の混合音の波形では、時間分解能が粗い表示になっているため、３人の音声の基本波形の特徴を見ることは困難である。このことは、時間分解能を細かくすることは混合音を分離するのに重要であることを示している。図１２（ｂ）のフーリエ変換によるスペクトログラムでは、フーリエ変換時に時間分解能と周波数分解能との両方の分解能を同時に細かくすることができないため、混合音の中の３人の話者の音声のスペクトル形状の特徴を分離して見ることは困難である。フーリエ変換では、周波数分解能を細かくすることで３人の音声の周波数特徴であるホルマントの時間平均を分析できるようになるが、逆に時間分解能が粗くなるため、微小時間領域でのホルマントの値が分析できない。そのため、微小な時間・周波数領域では重ならない混合音であっても抽出したい音を分離することは困難になってしまう。
【０１０９】
次に、分析波形時間幅決定部１０３は、所定の周波数分解能に基づいて、分析する周波数に対応する分析波形の時間幅を決定して分析波形Ｓ１０１を作成する（図１１のステップ２０１）。図１３に示す例では、分析波形Ｓ１０１の時間幅を、基本周波数ｆ１が１周期分入る時間幅（フーリエ変換における時間窓）とする。図１３（ａ）および図１３（ｂ）は、コサイン波形による周波数分析を説明するための図であり、図１３（ｃ）および図１３（ｄ）は、サイン波形による周波数分析を説明するための図である。また、図１３（ａ）および図１３（ｃ）は、上述の分析波形を有する分析波形を示しており、図１３（ｂ）および図１３（ｄ）は、図１３（ａ）および図１３（ｃ）に示した分析波形にそれぞれ対応する局所周波数情報を示している。
【０１１０】
図１３（ａ）および図１３（ｃ）に示す分析波形は、実線と破線との波形を両方合わせた波形である（実線だけの波形は１つの局所分析波形を表す）。ここでは、分析する全ての周波数に対して同じ時間幅の分析波形を用いる。ただし、分析する周波数の大きさが異なるので、分析する周波数により分析波形に含まれる周期の数は異なる。具体的には、図１３（ａ）および図１３（ｃ）に示すように、分析する周波数が基本周波数ｆ１の分析波形は１周期分のコサイン波形およびサイン波形から構成され、分析する周波数が基本周波数ｆ１の２倍のｆ２の分析波形は２周期分のコサイン波形およびサイン波形から構成され、分析する周波数が基本波形ｆ１の３倍のｆ３の分析波形は３周期分のコサイン波形およびサイン波形から構成される。局所分析波形に分割する前の分析波形の周波数分解能は、図９（ｃ）に示したものと同様であり、分析する周波数ｆ１、ｆ２、ｆ３の周波数特性が直交するような細かい周波数分解能となっている。
【０１１１】
なお、分析波形の時間幅を決めることは、短時間におけるフーリエ変換での分析フレーム幅を決定する事と等価である。また、短時間におけるフーリエ変換において被分析波形に窓関数をかけることがあるが、この例の場合では、被分析波形に分析波形と同じ時間幅の矩形窓をかけたことと等価である。なお、被分析波形に、分析対象区間（分析波形が存在する時間区間）ではゼロでない値をもつ窓関数をかけて周波数分析を行ってもよい。
【０１１２】
なお、周波数分析装置１０２は、周波数分解能入力受付部をさらに備えることにより、周波数分解能を被分析波形Ｓ１００の性質やアプリケーションの仕様に基づいて決定することができる。このような周波数分解能は外部より入力されるようにしてもよい。例えば、突発音は周波数分解能を粗くしても（同じ時間分解能ではひとかたまりにする局所周波数情報の数が少なくなる）特徴量を分析することは可能であるが、楽音は周波数分解能を細かくして（同じ時間分解能ではひとかたまりにする局所周波数情報の数が多くなる）特徴量を分析する必要がある。ひとかたまりにするデータ数により特徴量を抽出するときの計算量が異なるため、入力された被分析波形の性質に応じて分析する周波数分解能を制御することで、計算コストを削減することができる。
【０１１３】
次に、分析波形分割部１０４は、所定の時間分解能に基づいて、分析波形時間幅決定部１０３が作成した分析波形Ｓ１０１を、時間的に重なることを許して分割して複数の局所分析波形Ｓ１０２を作成する（図１１のステップ２０２）。図１３に示す例では、分析する周波数のそれぞれに対して、１周期分のコサイン波形およびサイン波形に分析波形Ｓ１０１（実線と破線を両方合わせた波形）を分割して、局所分析波形Ｓ１０２（実線の波形は１つの局所分析波形を表す）を作成する。具体的には、図１３（ａ）および図１３（ｃ）に示すように、分析する周波数が基本周波数ｆ１の局所分析波形は、分析波形そのものであり、分析する周波数が基本周波数ｆ１の２倍のｆ２の局所分析波形は、ｆ２の周波数をもつ１周期分のコサイン波形およびサイン波形から構成される２個の局所分析波形から構成され、分析する周波数が基本周波数ｆ１の３倍のｆ３の局所分析波形は、ｆ３の周波数をもつ１周期分のコサイン波形およびサイン波形から構成される３個の局所分析波形から構成される。分析する周波数ごとに見れば、図５（ｃ）示した局所分析波形と同様なものとなる。このときの時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）は、分析する周波数の分析波形の１周期分の時間幅となる。これより、時間分解能は周波数分解能と独立に設定できていることがわかる。なお、複数の局所分析波形は、同一の分析波形からそれぞれ抽出された波形である。この例では、分析波形Ｓ１０１を時間的に重なることなしに分割した例を示した。なお、図６、図７、図８に示すように局所分析波形を作成してもよい。
【０１１４】
なお、周波数分析装置１０２は、時空間分解能入力受付部をさらに備えることにより、時間分解能を被分析波形Ｓ１００の性質やアプリケーションの仕様に基づいて決定することができる。このような時間分解能は外部より入力されるようにしてもよい。例えば、突発音は時間分解能を細かくして分析する必要がある。突発音、音声、楽音などが交互に現れる混合音を分析する場合は、入力された被分析波形に基づいて時間分解能を制御することで高い精度での分析が可能となり、また、局所周波数情報を記憶するメモリ容量も小さくすることができる（細かい時間分解能を必要としないときに時間分解能を粗くすることで記憶する局所周波数情報の数を減らすことができる）。
【０１１５】
次に、局所周波数情報作成部１０５は、混合音Ｓ１００と局所分析波形Ｓ１０２との相互相関（畳み込み）に基づいて、上記所定の時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）で、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む上記局所分析波形Ｓ１０２に対応した複数の局所周波数情報Ｓ１０３を求める（図１１のステップ２０３）。ここでは、フーリエ変換で用いる分析方法において、分析波形を局所分析波形に変更することで局所周波数情報を求める（数１１、数１２、数１３、数１４を参照）。図１３の例に示すように、分析する周波数が基本周波数ｆ１の場合には、１個の局所周波数情報が、分析する周波数が基本周波数の２倍のｆ２の場合には、２個の局所周波数情報が、分析する周波数が基本周波数の３倍のｆ３の場合には、３個の局所周波数情報が、コサイン波形およびサイン波形の分析のそれぞれにおいて求まる（図５も参照）。コサイン波形およびサイン波形の２種類の周波数分析で求まる局所周波数情報を用いることにより、振幅スペクトルおよび位相スペクトルを求めることができる。すなわち、この例では、局所周波数情報は、振幅スペクトルと位相スペクトルとの両方を含む周波数情報である。
【０１１６】
図１４は、１６ＫＨｚでサンプリングされた混合音を、図１４（ａ）に示すように図５の例と同じ１周期分のコサイン波形を局所分析波形として用いて、図５の例とは異なり、１サンプリングポイントごとに時間シフトしながら全てのサンプリングポイントに対して局所周波数情報を求めたものである。図１４（ｂ）は、分析する周波数が１ＫＨｚである場合の、全てのサンプリングポイントに対する局所周波数情報を時系列に並べたグラフであり、横軸が時間、縦軸がパワーである。図１４（ｂ）には、日本語を発声したときのグラフが３つ示されており、上から、女性の日本語の「え」の発声における局所周波数情報、男性の日本語の「ん」の発声における局所周波数情報、それらの混合音における局所周波数情報を示している。
【０１１７】
図１４（ｃ）は、分析する周波数２ＫＨｚである場合の、全てのサンプリングポイントに局所周波数情報を時系列に並べたグラフであり、図１４（ｂ）に示したグラフと異なる点は、分析する周波数が異なるのみである。
【０１１８】
分析する周波数（１ＫＨｚ、２ＫＨｚ）の１周期分の時間間隔での局所周波数情報を抽出して、ひとかたまりのデータとすると、図５の例と同様な局所周波数情報が得られる。混合音を分離する場合は時間分解能と周波数分解能の両方を細かくする必要がある。この実験結果では、時間分解能を細かくしているため、混合音の中の女性と男性との音声の微小時間での構造を分離して見ることができる。また、後述するように、複数の局所周波数情報をひとかたまりのデータとして用いることであたかも周波数分解能を細かくしたかのごとくすることができるので、微小な時間・周波数領域では重ならない混合音を高い精度で分離することができる。
【０１１９】
次に、被分析波形周波数特徴量抽出部１０６は、上記複数の局所周波数情報Ｓ１０３をひとかたまりのデータとして用いることで、上記周波数分解能で、混合音Ｓ１００に含まれる抽出音の局所周波数情報を抽出して、抽出音の局所周波数情報を用いて抽出音のフーリエ係数Ｓ１０４を作成することで、混合音Ｓ１００に含まれる周波数特徴量の１つである抽出音のフーリエ係数Ｓ１０４を抽出する（図１１のステップ２０４）。図１５に、混合音Ｓ１００に含まれる抽出音の局所周波数情報を抽出する方法の一例を示す。図１５（ａ）は、局所分析波形Ｓ１０２の一例を示した図である。図１５（ｂ）は、基本周波数ｆ１、基本周波数ｆ１の２倍周波数ｆ２および基本周波数ｆ１の３倍周波数ｆ３の各々に対する局所周波数情報を示した図である。図１５（ｃ）は、抽出する音のひとかたまりの局所周波数情報のパターンを示した図であり、ここでは、女性の音声に対する局所周波数情報のパターンが２つ示されている。
【０１２０】
図１５の例では、図１５（ｃ）に示すように、あらかじめ、抽出する音のひとかたまりの局所周波数情報（フーリエ変換の時間窓の中にある局所周波数情報をまとめたもの）を記憶しておいて、図１５（ｂ）に示されるような混合音Ｓ１００から作成した局所周波数情報Ｓ１０３と、図１５（ｃ）に示されるような記憶された抽出音のひとかたまりの局所周波数情報とを比較することにより、混合音Ｓ１００に含まれる、抽出音の局所周波数情報を抽出する。図１５の例では、上述したように女性の音声パターンが記憶されている。この例では、混合音Ｓ１００のひとかたまりの局所周波数情報Ｓ１０３と、記憶されたひとかたまりの局所周波数情報（女性の音声パターン）とを比較して、誤差距離（類似度の逆数）が最小である記憶された音声パターンを選択して、誤差距離が予め定められたしきい値以下であれば、混合音Ｓ１００の局所周波数情報を抽出する。また、誤差距離がしきい値よりも大きければ、記憶された誤差距離が最小の音声パターンを用いて、抽出したい女性の局所周波数情報（例えば、後述する図１８のＺで示したもの）を作成してもよい。具体的には数２２を用いて誤差距離を計算する。
【０１２１】
【数２２】
0004041154.tif 000023
ここで、Ｘは混合音Ｓ１００のひとかたまりの局所周波数情報Ｓ１０３であり、Ａは記憶されたひとかたまりの局所周波数情報（女性の音声パターン）である。
【０１２２】
数２２の
【０１２３】
【数２３】
0004041154.tif 000024
の部分を見ると、
【０１２４】
【数２４】
0004041154.tif 000025
【０１２５】
【数２５】
0004041154.tif 000026
【０１２６】
【数２６】
0004041154.tif 000027
の全ての項が小さくならないと誤差距離は小さくならない。
【０１２７】
ここで、図１６を用いて、従来の方法と本発明の方法との構成を比較する。図１６（ａ）に示すように、従来の方法では、１つ１つの局所周波数情報に対して誤差距離を計算して最小のパターンを選択するのに対して、本発明の方法では、図１６（ｂ）に示すように、ひとかたまりの局所周波数情報を１つのパターンとして誤差距離を計算して最小のパターンを選択している。このため、１つ１つの局所周波数情報の誤差距離を小さくすると同時に、複数の局所周波数情報をひとかたまりにしたときの所望の周波数分解能での周波数情報である
【０１２８】
【数２７】
0004041154.tif 000028
と
【０１２９】
【数２８】
0004041154.tif 000029
との誤差距離の値も小さいパターンを選択することになる。一方、図１６（ａ）に示す従来の方法では、複数の局所周波数情報をひとかたまりにしたときの所望の周波数分解能での誤差距離は考慮されない。
【０１３０】
図１７は、局所周波数情報の空間のイメージを示した図である。図１７の例では、所望の周波数分解能での周波数情報である数２７と数２８とは、平面の各軸との切片の値を示し、ひとかたまりの局所周波数情報である
【０１３１】
【数２９】
0004041154.tif 000030
と
【０１３２】
【数３０】
0004041154.tif 000031
は、それぞれ、数２７により表される平面と数２８により表される平面における点を示している。本発明では、所望の周波数分解能をもつ平面同士の距離（図１７における切片間の距離）を測るのと同時に、所望の周波数分解能をもつ平面において、微小な時間区間での周波数の変化を表現した平面上での点同士の距離（数２９で示される点と数３０で示される点との間の距離）をも考慮して、周波数特徴量を分析する。従来の方法では、平面上での点同士の距離を測るという概念はない。
【０１３３】
なお、抽出したい局所周波数情報の作成方法として、誤差距離が最小であった図１５（ｃ）に示されるような記憶されたパターンをつなぎ合わせることで、混合音を利用せずに抽出したい女性の局所周波数情報を作成してもよい。
【０１３４】
なお、図１５の例では、全ての分析する周波数のひとかたまりの局所周波数情報をまとめてパターンを作成したが、分析する周波数ごとに女性の音声パターンを記憶しておいて、分析する周波数ごとにひとかたまりの局所周波数情報を用いて誤差距離を計算してもよい。
【０１３５】
なお、複数の局所周波数情報をひとかたまりにしたときの所望の周波数分解能での周波数情報を別途計算しておいて、ひとかたまりの局所周波数情報と合わせて、計算した所望の周波数分解能での周波数情報を陽に用いて誤差距離を計算してもよい。
【０１３６】
なお、誤差距離を計算する評価式として数２２の変わりに、ひとかたまりの局所周波数情報の各値の比率を用いて類似度を計算してもよい。
【０１３７】
次に、図１８に示すように、取り出した抽出音の局所周波数情報を用いて抽出音のフーリエ係数Ｓ１０４を求める。図１８（ａ）には、混合音Ｓ１００に含まれていた抽出音の局所周波数情報の一例が示されている。この例では、フーリエ変換での時間窓の中にある局所周波数情報（図１８のＺ）の総和を求めることで図１８（ｂ）に示すようなフーリエ係数（図１８のＹ）が求まる。
【０１３８】
次に、音変換部１０７は、抽出音のフーリエ係数Ｓ１０４を用いて抽出音（抽出音の波形）Ｓ１０５を作成する（図１１のステップ２０５）。この例では、逆フーリエ変換により抽出音Ｓ１０５を作成する。
【０１３９】
最後に、スピーカ１０８は、抽出音Ｓ１０５を利用者へ出力する（図１１のステップ２０６）。
【０１４０】
以上説明したように、本発明の実施の形態によれば、時間分解能と周波数分解能を独立に設定することができ、複数の周波数分解能（複数の時間分解能）でそれぞれ周波数分析された複数の局所周波数情報のかたまり同士を比較することにより、あたかも時間分解能と周波数分解能を同時に細かくして周波数分析したかのような結果を得ることができる。このため、混合音の中から高い精度で抽出したい音を取り出すことができる。
【０１４１】
なお、本実施の形態では、周波数分析装置を、混合音分離システムに組み込んだが、音声認識システム、音識別システム、文字認識システム、顔認識システム、虹彩認証システムに組み込んでもよい。
【０１４２】
なお、本実施の形態では、時間波形を被分析波形としたが、画像処理を行う場合などは、空間波形を被分析波形とするため、「時間分解能」は「空間分解能」に対応することになる。本明細書および特許請求の範囲において「時間分解能」と「空間分解能」とを併せて、「時空間分解能」と呼ぶこととする。「空間分解能」とは、被分析波形と分析波形との相互相関（畳み込み）を求めるときに平均化する空間領域の大きさのことである。
【０１４３】
なお、本実施の形態に係る周波数分析装置１０２を以下のように構成することもできる。
【０１４４】
図１９に示すように、周波数分析装置１０２Ａは、局所周波数情報を作成してデータベース化（ＤＢ化）することで局所周波数情報ＤＢＳ１０００を作成する周波数情報作成装置１０００と、周波数情報作成装置１０００が作成した局所周波数情報ＤＢＳ１０００を用いて周波数特徴量Ｓ１０４を分析する周波数特徴量分析装置１００１と、の２つの装置から構成することができる。
【０１４５】
周波数情報作成装置１０００において、分析波形時間幅決定部１０３Ａは、周波数特徴量分析装置１００１が周波数特徴量Ｓ１０４を分析するときに用いるであろう最も細かい周波数分解能に基づいて、分析する周波数に対応する分析波形の時間幅を決定して分析波形Ｓ１０１を作成する。すなわち、分析波形時間幅決定部１０３Ａが決定した分析波形の時間幅により、周波数特徴量分析装置１００１が周波数特徴量Ｓ１０４を分析できる周波数分解能の上限が決定される。
【０１４６】
分析波形分割部１０４の動作は図１０のものと同様であるため説明を省略する。
【０１４７】
次に、局所周波数情報作成部１０５Ａは、マイクロホン１０１から取り込まれた混合音Ｓ１００と局所分析波形Ｓ１０２との相互相関（畳み込み）に基づいて、所定の時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）で、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む上記局所分析波形Ｓ１０２に対応した複数の局所周波数情報Ｓ１０３を求めて、少なくとも、（１）分析した周波数、（２）局所分析波形の形状に関する情報、（３）局所周波数情報Ｓ１０３および対応する局所周波数情報を求めた被分析波形の時刻、とから構成される局所周波数情報ＤＢＳ１０００を作成して記憶する。
【０１４８】
図２０（ａ）に、局所周波数情報ＤＢＳ１０００の一例を示す。この例では、局所周波数情報ＤＢＳ１０００は、（１）分析した周波数は１KHzであり、（２）局所分析波形に関する情報として、局所分析波形同士の重なりはなく、５周期分のコサイン波形から構成される分析波形において、時間分解能が1ms（分析した周波数1KHzの１周期分の長さ、すなわち分析波形の１周期分の長さ）であるという情報と、（３）５個の局所周波数情報（５個の局所分析波形における離散コサイン変換係数と同等の値）をひとかたまりにしたデータおよび対応する局所周波数情報を求めた被分析波形の時刻、とから構成されている。
【０１４９】
図２０（ｂ）および図２０（ｃ）に、説明のためのイメージ図を合わせて記載している。図２０（ｂ）に示すイメージ図により、局所分析波形同士の重なりがないことがわかる。また、図２０（ｃ）より５個でひとかたまりの局所周波数情報のかたまりは、被分析波形を時間的にシフトしながら複数求められていることがわかる。この時間シフトの間隔（0.3ms）は、ひとかたまりにした５個の局所周波数情報を求めるために用いた５個の局所分析波形の時間間隔（1ms）とは独立に設定できる。
【０１５０】
図２０の例では、５個の局所周波数情報をひとかたまりにしたときの周波数分解能が、周波数特徴量分析装置１００１が分析できる最も細かい周波数分解能となる。
【０１５１】
また、図２１（ａ）に、局所周波数情報ＤＢＳ１０００の別の一例を示す。この例では、複数の時間分解能をもつ局所分析波形により求められた局所周波数情報ＤＢの一例を示しており、（１）分析した周波数は２KHzであり、（２）局所分析波形に関する情報として、局所分析波形同士の重なりはなく、時間分解能は、４周期のコサイン波形から構成される分析波形において、分析波形の１周期目に対応する局所分析波形では0.5ms、分析波形の２周期目に対応する局所分析波形では0.5ms、分析波形の３周期目〜４周期目に対応する局所分析波形では1.0msであるという情報と、（３）３個の局所周波数情報（３個の局所分析波形における離散コサイン変換係数と同等の値）をひとかたまりにしたデータおよび対応する局所周波数情報を求めた被分析波形の時刻、とから構成されている。
【０１５２】
図２１（ｂ）および図２１（ｃ）に、説明のためにイメージ図を合わせて記載している。図２１（ｂ）に示すイメージ図により、局所分析波形同士の重なりがないことがわかる。また、図２１（ｃ）より３個でひとかたまりの局所周波数情報のかたまりは、被分析波形を時間的にシフトしながら複数求められていることがわかる。この時間シフトの間隔（0.3ms）は、ひとかたまりにした３個の局所周波数情報を求めるために用いた３個の局所分析波形の時間間隔（0.5ms、0.5ms、1.0ms）とは独立に設定できる。
【０１５３】
この例では、３個の局所周波数情報をひとかたまりにしたときの周波数分解能が、周波数特徴量分析装置１００１が分析できる最も細かい周波数分解能となる。
【０１５４】
また、図２２に、局所周波数情報ＤＢＳ１０００の別の一例を示す。この例では、局所周波数情報とは別に、ひとかたまりにする複数の局所周波数情報の値の総和である、上述の周波数情報（数１１、数１２、数１３、数１４、数１５を参照）も合わせてデータベース化してある。
【０１５５】
以上説明したように、局所周波数情報ＤＢＳ１０００が作成され記憶される。
【０１５６】
図１９に示されるように周波数特徴量分析装置１００１において、被分析波形周波数特徴量抽出部１０６Ａは、周波数分解能決定部１００２を備える。被分析波形周波数特徴量抽出部１０６Ａは、局所周波数情報ＤＢＳ１０００を入力して、周波数分解能決定部１００２が決定した周波数分解能に基づいて、局所周波数情報ＤＢＳ１０００が保持する（３）複数の局所周波数および対応する局所周波数情報を求めた被分析波形の時刻、の中から、ひとかたまりのデータとして扱う局所周波数情報の数を決定する。
【０１５７】
なお、局所周波数情報ＤＢＳ１０００は、通信路を用いて受信してもよいし、メモリカードなどの記録媒体により取得してもよい。
【０１５８】
なお、局所周波数情報ＤＢＳ１０００が保持する全ての局所周波数情報を用いる場合には、周波数分解能決定部１００２はなくてもよい。
【０１５９】
図２３に、局所周波数情報ＤＢＳ１０００を用いた周波数特徴量の分析方法の一例を示す。この例では、図中丸枠で囲った全て（５個）の局所周波数情報をひとかたまりのデータとして、周波数特徴量を分析する。ひとかたまりの局所周波数情報を用いた周波数特徴量の具体的な分析方法は、図１０の被分析波形周波数特徴量抽出部１０６と同様な方法で行うため説明を省略する。なお、この例の場合は、周波数分解能決定部１００２はなくてもよい。
【０１６０】
また、図２４に、局所周波数情報ＤＢＳ１０００を用いた周波数特徴量の分析方法の別の一例を示す。この例では、局所周波数情報ＤＢＳ１０００が保持した、分析する周波数1KHzと時間分解能1msとから、ひとかたまりにする局所周波数情報の数と周波数分解能との関係を計算して、周波数分解能決定部１００２が決定した周波数分解能に基づいて、図中丸枠で囲った３個の局所周波数情報をひとかたまりのデータとして周波数特徴量を分析する。ひとかたまりの局所周波数情報を用いた周波数特徴量の具体的な分析方法は、図１０の被分析波形周波数特徴量抽出部１０６と同様な方法で行うため説明を省略する。図２４の例のように、局所周波数情報ＤＢが保持した一部の局所周波数情報を用いることで、所望の周波数分解能で、周波数特徴量を分析することができる。
【０１６１】
なお、図２４の例では、時刻0.0ms、時刻0.3ms、時刻0.6msと時間シフトの間隔を0.3msとしたが、時間シフトの間隔を0.6msとして、時刻0.0ms、時刻0.6ms、時刻1.2msのひとかたまりの局所周波数情報を用いて周波数特徴量を分析してもよい。このときは、局所周波数情報ＤＢＳ１０００の一部を用いて周波数特徴量を分析することになる。
【０１６２】
また、図２２に示した局所周波数情報ＤＢＳ１０００を用いて周波数特徴量の分析を行う場合には、図１０の被分析波形周波数特徴量抽出部１０６の動作において、数２２の誤差関数に換えて、以下に示す数３１により、複数の局所周波数情報をひとかたまりにしたときの所望の周波数分解能での周波数情報である、図２２の局所周波数情報ＤＢＳ１０００の「周波数情報」を用いて誤差距離を計算する。
【０１６３】
【数３１】
0004041154.tif 000032
ここで、
【０１６４】
【数３２】
0004041154.tif 000033
は局所周波数情報ＤＢＳ１０００の「周波数情報」であり、
【０１６５】
【数３３】
0004041154.tif 000034
は記憶された、上記「周波数情報」（女性の音声パターン）に対応するものであり、
【０１６６】
【数３４】
0004041154.tif 000035
は重み係数である。
【０１６７】
なお、図２３、図２４の例でも、局所周波数情報の値の総和を求めて「周波数情報」を計算することで、数３１の誤差関数により誤差距離を計算してもよい。
【０１６８】
音変換部１０７、スピーカ１０８の動作は図１０のものと同様であるため説明を省略する。
【０１６９】
最後に、利用者はスピーカ１０８を通じて抽出音Ｓ１０５を聴くことができる。
【０１７０】
ここで、局所周波数情報作成部１０５Ａ、局所周波数情報ＤＢＳ１０００、被分析周波数特徴量抽出部１０６Ａ、の別の一例を示す。
【０１７１】
局所周波数情報作成部１０５Ａは、混合音Ｓ１００と局所分析波形Ｓ１０２との相互相関（畳み込み）に基づいて、所定の時間分解能（被分析波形と分析波形との相互相関を求めるときに平均化する時間区間の長さ）で、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む上記局所分析波形に対応した複数の局所周波数情報Ｓ１０３を求めて、（１）分析した周波数、（２）局所分析波形の形状に関する情報、（３）局所周波数情報Ｓ１０３および対応する局所周波数情報を求めた被分析波形の時刻、とから構成される局所周波数情報ＤＢＳ１０００を作成する。
【０１７２】
図２５（ａ）に、局所周波数情報ＤＢＳ１０００の一例を示す。この例では、図２０の局所周波数情報ＤＢの例とは異なり、（３）局所周波数情報Ｓ１０３および対応する局所周波数情報を求めた被分析波形の時刻、の表現が、局所周波数情報を時刻方向に並べたものになっている。すなわち、時刻1.0msにおける３個の局所周波数情報とは、時刻1.0msの局所周波数情報、時刻2.0msの局所周波数情報、時刻3.0msの局所周波数情報であり、時刻2.0msにおける５個の局所周波数情報とは、時刻2.0msの局所周波数情報、時刻3.0msの局所周波数情報、時刻4.0msの局所周波数情報、時刻5.0msの局所周波数情報、時刻6.0msの局所周波数情報である。このような表現ができる理由は、時間分解能が、分析する周波数である1KHzの１周期分の1.0msであり、整数個のひとかたまりの局所周波数情報のかたまりを、被分析波形に対して時間的にシフトする間隔の1.0msと同じであるからである（図２５（ｂ）および図２５（ｃ）を参照）。すなわち、時間シフトした１周期目の局所周波数情報により、前の時刻における２周期目以降の局所周波数情報が表現できるからである。なお、（１）分析した周波数、（２）局所分析波形の形状に関する情報、は図２０の局所周波数情報ＤＢの例と同様である。
【０１７３】
図２６に、局所周波数情報ＤＢ１０００の別の一例を示す。この例では、図２５の局所周波数情報ＤＢの例とは異なり、複数の分析した周波数に対して、（１）分析した周波数、（２）局所分析波形の形状に関する情報、（３）局所周波数情報Ｓ１０３および対応する局所周波数情報を求めた被分析波形の時刻、をそれぞれデータベース化している。このように、図２０、図２１、図２２の例でも、複数の分析した周波数に対して、局所周波数情報をデータベース化してもよい。
【０１７４】
以上説明したように、局所周波数情報ＤＢＳ１０００が作成され記憶される。
【０１７５】
被分析波形周波数特徴量抽出部１０６Ａは、周波数分解能決定部１００２を備える。被分析波形周波数特徴量抽出部１０６Ａは、局所周波数情報ＤＢＳ１０００を入力して、周波数分解能決定部１００２が決定した周波数分解能に基づいて、局所周波数情報ＤＢＳ１０００が保持する（３）複数の局所周波数および対応する局所周波数情報を求めた被分析波形の時刻、の中から、ひとかたまりのデータとして扱う局所周波数情報の数を決定する。
【０１７６】
図２７に、局所周波数情報ＤＢＳ１０００を用いた周波数特徴量の分析方法の一例を示す。この例では、局所周波数情報ＤＢが保持した、分析する周波数1KHzと時間分解能1msとから、ひとかたまりにする局所周波数情報の数と周波数分解能との関係を計算して、周波数分解能決定部１００２が決定した周波数分解能に基づいて、３個の局所周波数情報をひとかたまりのデータとして周波数特徴量を分析する。この例での３個の局所周波数情報とは、時刻0.0msにおいては、図中で実線丸枠で囲った時刻0.0msの局所周波数情報、時刻1.0msの局所周波数情報および時刻2.0msの局所周波数情報であり、時刻1.0msにおいては、図中で破線丸枠で囲った時刻1.0msの局所周波数情報、時刻2.0msの局所周波数情報および時刻3.0msの局所周波数情報であり、時刻2.0msにおいては、図中で破線丸枠で囲った時刻2.0msの局所周波数情報、時刻3.0msの局所周波数情報および時刻4.0msの局所周波数情報である。ここでは、時間シフトの間隔1.0msごとに、ひとかたまりの局所周波数情報を求めている。ひとかたまりの局所周波数情報を用いた周波数特徴量の具体的な分析方法は、図１０の被分析波形周波数特徴量抽出部１０６と同様な方法で行うため説明を省略する。
【０１７７】
なお、５個の局所周波数情報をひとかたまりのデータとしたい場合には、５個の連続した時刻の局所周波数情報をひとかたまりにすればよく、１０個の局所周波数情報をひとかたまりのデータとしたい場合には、１０個の連続した時刻の局所周波数情報をひとかたまりにすればよい。ひとかたまりにする局所周波数情報の数の自由度としては、図２４の例よりも自由度が高い。
【０１７８】
図２８に、局所周波数情報ＤＢＳ１０００を用いた周波数特徴量の別の分析方法の一例を示す。この例では、ひとかたまりの局所周波数情報を、時間シフトの間隔3.0msごとに求めている（図中の実線丸枠および破線丸枠）。この時間シフトの間隔は5.0msでも8.0msでもよい。このように、時間シフトの間隔を自由に設定することができる。ひとかたまりの局所周波数情報を用いた周波数特徴量の具体的な分析方法は、図１０の被分析波形周波数特徴量抽出部１０６と同様な方法で行うため説明を省略する。
【０１７９】
以上説明したように、周波数特徴量Ｓ１０４が抽出される。
【０１８０】
なお、周波数特徴量分析装置１００１は、周波数分解能入力受付部をさらに備えることにより、周波数分解能をアプリケーションの仕様などに基づいて決定することができる。このような周波数分解能は、外部より入力されるようにしてもよい。
【産業上の利用可能性】
【０１８１】
本発明は、混合音分離システム、音声認識システム、音識別システム、文字認識システム、顔認識システム、虹彩認証システム等のシステムに利用することができる。
【図面の簡単な説明】
【０１８２】
【図１】図１は、従来技術であるフーリエ変換（離散フーリエ変換）の方法を説明する図である。
【図２】図２は、所定の時間幅をもつ分析波形と、被分析波形を上記分析波形により周波数分析したときの周波数特性との関係を示した図である。
【図３】図３は、従来技術であるコサイン変換（離散コサイン変換）を説明する図である。
【図４】図４は、従来技術であるウェーブレット変換を説明する図である。
【図５】図５は、本発明の全体構成を説明する図である。
【図６】図６は、別の周波数分解能に基づいて周波数分析を行なう例を示す図である。
【図７】図７は、分析波形を時間的に重ねて分割して局所分析波形を作成する例を示す図である。
【図８】図８は、別の時間分解能に基づいて周波数分析を行う例を示す図である。
【図９】図９は、１周期分のコサイン波形による周波数情報と、フーリエ変換による周波数情報との関係を示した図である。
【図１０】図１０は、本発明の実施の形態における周波数分析装置の全体構成を示すブロック図である。
【図１１】図１１は、混合音分離システム１００の動作手順を示すフローチャートである。
【図１２】図１２は、混合音Ｓ１００の一例を示した図である。
【図１３】図１３は、分析波形と局所周波数情報を示した図である。
【図１４】図１４は、実験により求めた局所周波数情報を示した図である。
【図１５】図１５は、混合音Ｓ１００に含まれる抽出音の局所周波数情報を抽出する方法の一例を示した図である。
【図１６】図１６は、周波数特徴量の抽出において従来の方法と本発明の方法との構成を比較する図である。
【図１７】図１７は、局所周波数情報の空間のイメージを示した図である。
【図１８】図１８は、混合音Ｓ１００に含まれていた抽出音の局所周波数情報の一例を示した図である。
【図１９】図１９は、本発明の実施の形態における周波数分析装置の全体構成の他の一例を示すブロック図である。
【図２０】図２０は、局所周波数情報作成部により作成される局所周波数情報ＤＢについて説明するための図である。
【図２１】図２１は、局所周波数情報作成部により作成される局所周波数情報ＤＢについて説明するための図である。
【図２２】図２２は、局所周波数情報ＤＢの一例を示す図である。
【図２３】図２３は、局所周波数情報ＤＢを用いた周波数特徴量の分析方法の一例を示す図である。
【図２４】図２４は、局所周波数情報ＤＢを用いた周波数特徴量の分析方法の一例を示す図である。
【図２５】図２５は、局所周波数情報作成部により作成される局所周波数情報ＤＢについて説明するための図である。
【図２６】図２６は、局所周波数情報ＤＢの一例を示す図である。
【図２７】図２７は、局所周波数情報ＤＢを用いた周波数特徴量の分析方法の一例を示す図である。
【図２８】図２８は、局所周波数情報ＤＢを用いた周波数特徴量の分析方法の一例を示す図である。
【符号の説明】
【０１８３】
１００，１００Ａ  混合音分離システム
１０１  マイクロホン
１０２  周波数分析装置
１０３，１０３Ａ  分析波形時間幅決定部
１０４  分析波形分割部
１０５，１０５Ａ  局所周波数情報作成部
１０６，１０６Ａ  被分析波形周波数特徴量抽出部
１０７  音変換部
１０８  スピーカ
１０００  周波数情報作成装置
１００１  周波数特徴量分析装置
１００２  周波数分解能決定部
Ｓ１００  混合音
Ｓ１０１  分析波形
Ｓ１０２  局所分析波形
Ｓ１０３  局所周波数情報
Ｓ１０４  周波数特徴量（抽出音のフーリエ係数）
Ｓ１０５  抽出音
Ｓ１０００  局所周波数情報ＤＢ
【図１】
0004041154.tif 000036
【図２】
0004041154.tif 000037
【図３】
0004041154.tif 000038
【図４】
0004041154.tif 000039
【図５】
0004041154.tif 000040
【図６】
0004041154.tif 000041
【図７】
0004041154.tif 000042
【図８】
0004041154.tif 000043
【図９】
0004041154.tif 000044
【図１０】
0004041154.tif 000045
【図１１】
0004041154.tif 000046
【図１３】
0004041154.tif 000047
【図１４】
0004041154.tif 000048
【図１５】
0004041154.tif 000049
【図１６】
0004041154.tif 000050
【図１７】
0004041154.tif 000051
【図１８】
0004041154.tif 000052
【図１９】
0004041154.tif 000053
【図２０】
0004041154.tif 000054
【図２１】
0004041154.tif 000055
【図２２】
0004041154.tif 000056
【図２３】
0004041154.tif 000057
【図２４】
0004041154.tif 000058
【図２５】
0004041154.tif 000059
【図２６】
0004041154.tif 000060
【図２７】
0004041154.tif 000061
【図２８】
0004041154.tif 000062
【図１２】
0004041154.tif 000063