(57)【要約】本発明は、音響信号を正確に、かつ高効率で分析できるようにする情報抽出装置に関する。振幅分析部３２は、入力時系列信号の小区間毎の振幅値からアタックまたはリリースが含まれているか否かを判定する。分析区間設定部３３は、アタックまたはリリースがあると判定されたとき、アタック位置からリリース位置までを分析区間として設定する。周波数分析部３４は、入力時系列信号を一般調和解析により分析し、抽出波形情報を出力する。抽出波形合成部３５は、抽出波形情報を合成し、時系列補完部３６に出力する。時系列補完部３６は、合成結果の信号に対して分析区間外の信号を補完し、抽出波形時系列信号を減算器３７に出力する。減算器３７は、入力時系列信号と抽出波形時系列信号から残差時系列信号を生成する。本発明は、音声信号を処理する、各種のオーディオ機器、および音声認識装置、音声合成装置等に適用することができる。
2002049001.tif 000002
【特許請求の範囲】
【請求項１】
入力信号を所定の区間に分割する入力信号分割手段と、
前記入力信号分割手段により分割された前記入力信号の振幅値を算出する振幅値算出手段と、
前記振幅値算出手段により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定手段と、
前記分析区間設定手段により設定された前記分析区間の前記入力信号の波形情報を抽出する波形情報抽出手段と、
前記波形情報抽出手段により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成手段と、
前記入力信号分割手段により分割された前記入力信号と、前記合成波形生成手段により生成された前記合成波形とに基づいて、残差信号を生成する残差信号生成手段と
を備えることを特徴とする情報抽出装置。
【請求項２】
前記合成波形生成手段により生成された前記合成波形に、前記分析区間設定手段により設定された前記分析区間外の領域に対応する信号を補完する補完手段をさらに備え、
前記残差信号生成手段は、前記入力信号分割手段により分割された前記入力信号と、前記補完手段により補完された信号とに基づいて、残差信号を生成する
ことを特徴とする請求の範囲第１項に記載の情報抽出装置。
【請求項３】
前記補完手段は、前記分析区間外の領域に対応する信号を、一定のレベルの信号で補完する
ことを特徴とする請求の範囲第２項に記載の情報抽出装置。
【請求項４】
記振幅値算出手段は、前記入力信号のアタック位置を検出し、
前記分析区間設定手段は、前記振幅値算出手段により検出された前記入力信号のアタック位置を、前記分析区間の開始位置として設定する
ことを特徴とする請求の範囲第１項に記載の情報抽出装置。
【請求項５】
前記振幅値算出手段は、前記入力信号のリリース位置を検出し、
前記分析区間設定手段は、前記振幅値算出手段により検出された前記入力信号のリリース位置を、前記分析区間の終了位置として設定する
ことを特徴とする請求の範囲第１項に記載の情報抽出装置。
【請求項６】
前記波形情報抽出手段は、前記分析区間設定手段により設定された前記分析区間の前記入力信号に対して、一般調和解析を用いることにより前記波形情報を抽出する
ことを特徴とする請求の範囲第１項に記載の情報抽出装置。
【請求項７】
前記合成波形生成手段は、前記合成波形の一部に、所定の関数を乗算する
ことを特徴とする請求の範囲第１項に記載の情報抽出装置。
【請求項８】
入力信号を所定の区間に分割する入力信号分割ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号の振幅値を算出する振幅値算出ステップと、
前記振幅値算出ステップの処理により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定ステップと、
前記分析区間設定ステップの処理により設定された前記分析区間の前記入力信号の波形情報を抽出する波形情報抽出ステップと、
前記波形情報抽出ステップの処理により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号と、前記合成波形生成ステップの処理により生成された前記合成波形とに基づいて、残差信号を生成する残差信号生成ステップと
を含むことを特徴とする情報抽出方法。
【請求項９】
入力信号を所定の区間に分割する入力信号分割ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号の振幅値を算出する振幅値算出ステップと、
前記振幅値算出ステップの処理により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定ステップと、
前記分析区間設定ステップの処理により設定された前記分析区間の前記入力信号の波形情報を抽出する波形情報抽出ステップと、
前記波形情報抽出ステップの処理により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号と、前記合成波形生成ステップの処理により生成された前記合成波形とに基づいて、残差信号を生成する残差信号生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１０】
入力信号を所定の区間に分割する入力信号分割手段と、
前記入力信号分割手段により分割された前記入力信号の振幅値を算出する振幅値算出手段と、
前記振幅値算出手段により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定手段と、
前記分析区間設定手段により設定された前記分析区間の前記入力信号の所定の周波数の波形情報を抽出する波形情報抽出手段と、
前記波形情報抽出手段により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成手段と、
前記入力信号分割手段により分割された前記入力信号と、前記合成波形生成手段により生成された前記合成波形に基づいて、残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された前記残差信号のエネルギーを所定の閾値と比較する比較手段と、
前記比較手段による比較結果に基づいて、前記残差信号を、前記入力信号に代えて前記振幅値算出手段にフィードバックするフィードバック手段と
を備えることを特徴とする情報抽出装置。
【請求項１１】
前記合成波形生成手段により生成された前記合成波形に、前記分析区間設定手段により設定された前記分析区間外の領域に対応する信号を補完する補完手段をさらに備え、
前記残差信号生成手段は、前記入力信号分割手段により分割された前記入力信号と、前記補完手段により補完された信号とに基づいて、残差信号を生成する
ことを特徴とする請求の範囲第１０項に記載の情報抽出装置。
【請求項１２】
前記補完手段は、前記分析区間外の領域に対応する信号を、一定のレベルの信号で補完する
ことを特徴とする請求の範囲第１１項に記載の情報抽出装置。
【請求項１３】
前記振幅値算出手段は、前記入力信号のアタック位置を検出し、
前記分析区間設定手段は、前記振幅値算出手段により検出された前記入力信号のアタック位置を、前記分析区間の開始位置として設定する
ことを特徴とする請求の範囲第１０項に記載の情報抽出装置。
【請求項１４】
前記振幅値算出手段は、前記入力信号のリリース位置を検出し、
前記分析区間設定手段は、前記振幅値算出手段により検出された前記入力信号のリリース位置を、前記分析区間の終了位置として設定する
ことを特徴とする請求の範囲第１０項に記載の情報抽出装置。
【請求項１５】
前記波形情報抽出手段は、前記分析区間設定手段により設定された前記分析区間の前記入力信号に対して、一般調和解析を用いることにより前記波形情報を抽出する
ことを特徴とする請求の範囲第１０項に記載の情報抽出装置。
【請求項１６】
前記合成波形生成手段は、前記合成波形の一部に、所定の関数を乗算する
ことを特徴とする請求の範囲第１０項に記載の情報抽出装置。
【請求項１７】
入力信号を所定の区間に分割する入力信号分割ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号の振幅値を算出する振幅値算出ステップと、
前記振幅値算出ステップの処理により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定ステップと、
前記分析区間設定ステップの処理により設定された前記分析区間の前記入力信号の所定の周波数の波形情報を抽出する波形情報抽出ステップと、
前記波形情報抽出ステップの処理により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号と、前記合成波形生成ステップの処理により生成された前記合成波形に基づいて、残差信号を生成する残差信号生成ステップと、
前記残差信号生成ステップの処理により生成された前記残差信号のエネルギーを所定の閾値と比較する比較ステップと、
前記比較ステップの処理による比較結果に基づいて、前記残差信号を、前記入力信号に代えて前記振幅値算出ステップの処理にフィードバックするフィードバックステップと
を含むことを特徴とする情報抽出方法。
【請求項１８】
入力信号を所定の区間に分割する入力信号分割ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号の振幅値を算出する振幅値算出ステップと、
前記振幅値算出ステップの処理により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定ステップと、
前記分析区間設定ステップの処理により設定された前記分析区間の前記入力信号の所定の周波数の波形情報を抽出する波形情報抽出ステップと、
前記波形情報抽出ステップの処理により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号と、前記合成波形生成ステップの処理により生成された前記合成波形に基づいて、残差信号を生成する残差信号生成ステップと、
前記残差信号生成ステップの処理により生成された前記残差信号のエネルギーを所定の閾値と比較する比較ステップと、
前記比較ステップの処理による比較結果に基づいて、前記残差信号を、前記入力信号に代えて前記振幅値算出ステップの処理にフィードバックするフィードバックステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１９】
入力信号を所定の区間に分割し、分割区間内における抽出区間を設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、分割区間の信号と合成波形に基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、入力信号に対応する信号を合成する情報合成装置において、
前記抽出区間に関する情報に基づいて合成区間を設定する合成区間設定手段と、
前記波形情報から合成信号を生成する合成信号生成手段と、
前記残差信号と、前記合成信号とに基づいて再生信号を生成する再生信号生成手段と
を備えることを特徴とする情報合成装置。
【請求項２０】
前記再生信号生成手段により生成された前記合成信号に、前記合成区間設定手段により設定された前記合成区間外の領域に対応する信号を補完する補完手段をさらに備える
ことを特徴とする請求の範囲第１９項に記載の情報合成装置。
【請求項２１】
前記補完手段は、前記分析区間外の領域に対応する信号を、一定のレベルの信号で補完する
ことを特徴とする請求の範囲第２０項に記載の情報合成装置。
【請求項２２】
前記合成区間設定手段は、前記抽出区間に関する情報に基づいて、前記入力信号のアタック位置を、前記合成区間の開始位置として設定する
ことを特徴とする請求の範囲第１９項に記載の情報合成装置。
【請求項２３】
前記合成区間設定手段は、前記抽出区間に関する情報に基づいて、前記入力信号のリリース位置を、前記合成区間の終了位置として設定する
ことを特徴とする請求の範囲第１９項に記載の情報合成装置。
【請求項２４】
入力信号を所定の区間に分割し、分割区間内における抽出区間を設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、分割区間の信号と合成波形に基づいて残差信号を生成する情報抽出装置から受け取った抽出区間に関する情報と、波形情報と、残差信号とに基づいて入力信号に対応する信号を合成する情報合成方法において、
前記抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、
前記波形情報から合成信号を生成する合成信号生成ステップと、
前記残差信号と、前記合成信号とに基づいて再生信号を生成する再生信号生成ステップと
を含むことを特徴とする情報合成方法。
【請求項２５】
入力信号を所定の区間に分割し、分割区間内における抽出区間を設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、分割区間の信号と合成波形に基づいて残差信号を生成する情報抽出装置から受け取った抽出区間に関する情報と、波形情報と、残差信号とに基づいて入力信号に対応する信号を合成するプログラムにおいて、
前記抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、
前記波形情報から合成信号を生成する合成信号生成ステップと、
前記残差信号と、前記合成信号とに基づいて再生信号を生成する再生信号生成ステップと、
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【発明の詳細な説明】
技術分野
本発明は、情報抽出装置に関し、特に、正確、かつ、高効率で、周波数成分の抽出または合成ができるようにする情報抽出装置に関する。
背景技術
従来、音響信号等の周波数分析手法として、一般調和解析（Ｇｅｎｅｒａｌｉｚｅｄ　Ｈａｒｍｏｎｉｃ　Ａｎａｌｙｓｉｓ）が用いられている。この手法は、分析区間内の元の時系列信号から、分析区間内で残差エネルギーが最小となる最も優勢な正弦波を抽出し、その残差成分を入力として、同様の処理を繰り返す手法である。一般調和解析は、Ｎ．Ｗｅｉｎｅｒ，”Ｔｈｅ　Ｆｏｕｒｉｅｒ　ｉｎｔｅｇｒａｌ　ａｎｄ　ｃｅｒｔａｉｎ　ｏｆ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎｓ”，Ｄｏｖｅｒ　Ｐｕｂｌｉｃａｔｉｏｎｓ，Ｉｎｃ．，（１９５８）に述べられている。
この一般調和解析によれば、分析窓（分析区間）の影響を受けないため、入力信号のわずかな周波数変動に対しても、正確な周波数成分の抽出が可能である。また、分析区間と周波数の分解能は、それぞれ独立に設定することが可能であり、分析区間を越えて、信号を予測することが可能となる。
そこで、音響信号等の時系列信号を周波数分析し、特定の周波数成分を抽出する装置として、一般調和解析を用いた周波数成分抽出装置が考えられている。
図１は、従来の周波数成分抽出装置の構成例を示すブロック図である。
入力信号分割部１１は、入力信号として、例えば、音響時系列信号が入力されたとき、それを所定の分析区間に分割し、得られた入力時系列信号を周波数分析部１２、および減算器１４に供給する。
周波数分析部１２は、入力されてきた入力時系列信号に対して一般調和解析を用いて分析を行い、分析区間における主要な周波数成分についての振幅や位相などの抽出波形情報を生成し、抽出波形合成部１３、および周波数成分抽出装置１の外部に設けられる、例えば、図示せぬデータ圧縮部に出力する。
抽出波形合成部１３は、周波数分析部１２から供給されてきた複数の抽出波形情報に基づいて所定の波形合成を行い、得られた抽出波形時系列信号を減算器１４に出力する。
減算器１４は、抽出波形合成部１３から供給されてきた抽出波形時系列信号と、入力信号分割部１１から供給されてきた入力時系列信号に基づいて、時間領域において減算し、得られた残差時系列信号を周波数成分抽出装置１の外部に設けられる後段の装置に出力する。
次に、図１の周波数成分抽出装置１の動作について、図２のフローチャートを参照して説明する。また、生成される各信号について、適宜、図３Ａを用いて説明する。なお、図３Ａにおいては、入力時系列信号にアタック（急な立ち上がり）、またはリリース（急な立ち下がり）がない場合の信号の例である。
ステップＳ１において、入力信号分割部１１は、入力されてきた音響時系列信号を、所定の分析区間に分割し、生成した入力時系列信号を周波数分析部１２、および減算器１４に出力する。例えば、図３Ａに示すように、入力信号分割部１１は、音響時系列信号を分析区間Ｌで分割し、その結果得られた入力時系列信号ｓ１を周波数分析部１２、および減算器１４に出力する。
入力時系列信号を受信した周波数分析部１２は、ステップＳ２において、その周波数成分を入力時系列信号から抽出したときに、残差信号のエネルギーが最小となる周波数成分を算出する。すなわち、周波数分析部１２は、ステップＳ２で、分析区間の全ての周波数（所定のサンプル数の小区間毎の周波数）に対して残差信号のエネルギーを算出し、残差信号のエネルギーが最小となる周波数を取得する。
ステップＳ３において、周波数分析部１２は、ステップＳ２で算出した周波数に対応する純音信号を、入力時系列信号から差し引き、残差信号を生成する。そして、周波数分析部１２は、ステップＳ４において、ステップＳ２で算出した周波数に対応する抽出波形情報を生成し、抽出波形合成部１３に供給する。抽出波形情報には、抽出した周波数成分に対応する信号の、周波数、振幅、および位相などの情報が含まれる。また、周波数分析部１２は、周波数成分抽出装置１の外部に設けられている図示せぬ装置に抽出波形情報を出力する。
ステップＳ５において、周波数分析部１２は、ステップＳ３で生成した残差信号のエネルギー（残差エネルギー）を算出し、所定の閾値より小さいか否かを判定し、残差エネルギーが、所定の閾値より大きいと判定した場合、ステップＳ６に進む。
ステップＳ６において、周波数分析部１２は、残差信号を入力信号とし、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。すなわち、抽出波形合成部１３には、ステップＳ２乃至Ｓ６の処理が繰り返された回数に対応する複数の抽出波形情報が供給される。
ステップＳ５において、周波数分析部１２は、残差エネルギーが、所定の閾値より小さいと判定した場合、ステップＳ７に進む。
抽出波形合成部１３は、ステップＳ７において、周波数分析部１２から供給されてきた複数の抽出波形情報に基づいて、所定の波形合成を行い、抽出波形時系列信号を生成する。抽出波形合成部１３は、例えば、図３Ａに示されるような抽出波形時系列信号ｓ２を生成する。入力時系列信号ｓ１にアタックまたはリリースが含まれていない場合、入力時系列信号ｓ１と抽出波形時系列信号ｓ２は、概略同一の波形となる。
ステップＳ７で生成された抽出波形時系列信号は、減算器１４に出力され、ステップＳ８において、入力信号分割部１１から供給されてきた入力時系列信号との差分から、残差時系列信号が生成される。すなわち、残差時系列信号ｓ３は、図３Ａに示すように、概略定常的な波形となり、ステップＳ９で、図示せぬ後段の装置に出力される。
ところで、周波数分析部１２により分析され、後段に出力される抽出波形情報は、符号化されて蓄積または伝送されることになるため、データ量の観点から、周波数成分の数がより少ないことが好ましい。
しかしながら、分析区間内の入力時系列信号にアタックまたはリリースが含まれている場合、そのアタックまたはリリースを限られた数の周波数成分で表現することは困難である。
例えば、図３Ｂに示すように、入力時系列信号ｓ１１にアタックまたはリリースが含まれている場合、抽出波形合成部１３に、アタックまたはリリースの波形を正確に表現できる情報を供給することができないため、残差時系列信号ｓ１３において、アタックまたはリリースが発生している部分の前後に、本来存在しない成分が現れ、効率よく周波数成分の抽出を行うことができない。
発明の開示
本発明は、このような状況に鑑みてなされたものであり、正確、かつ、高効率で、周波数成分の抽出または合成ができるようにしたものである。
本発明の第１の情報抽出装置は、入力信号を所定の区間に分割する入力信号分割手段と、入力信号分割手段により分割された入力信号の振幅値を算出する振幅値算出手段と、振幅値算出手段により算出された振幅値に基づいて、分析区間を設定する分析区間設定手段と、分析区間設定手段により設定された分析区間の入力信号の波形情報を抽出する波形情報抽出手段と、波形情報抽出手段により抽出された波形情報に基づいて、合成波形を生成する合成波形生成手段と、入力信号分割手段により分割された入力信号と、合成波形生成手段により生成された合成波形とに基づいて、残差信号を生成する残差信号生成手段とを備えることを特徴とする。
合成波形生成手段により生成された合成波形に、分析区間設定手段により設定された分析区間外の領域に対応する信号を補完する補完手段をさらに備えるようにすることができる。
補完手段は、分析区間外の領域に対応する信号を、一定のレベルの信号で補完するようにすることができる。
振幅値算出手段は、入力信号のアタック位置を検出し、分析区間設定手段は、振幅値算出手段により検出された入力信号のアタック位置を、分析区間の開始位置として設定するようにすることができる。
振幅値算出手段は、入力信号のリリース位置を検出し、分析区間設定手段は、振幅値算出手段により検出された入力信号のリリース位置を、分析区間の終了位置として設定するようにすることができる。
波形情報抽出手段は、分析区間設定手段により設定された分析区間の入力信号に対して、一般調和解析を用いることにより波形情報を抽出するようにすることができる。
合成波形生成手段は、合成波形の一部に、所定の関数を乗算することができる。
本発明の第１の情報抽出装置の情報抽出方法は、入力信号を所定の区間に分割する入力信号分割ステップと、入力信号分割ステップの処理により分割された入力信号の振幅値を算出する振幅値算出ステップと、振幅値算出ステップの処理により算出された振幅値に基づいて、分析区間を設定する分析区間設定ステップと、分析区間設定ステップの処理により設定された分析区間の入力信号の波形情報を抽出する波形情報抽出ステップと、波形情報抽出ステップの処理により抽出された波形情報に基づいて、合成波形を生成する合成波形生成ステップと、入力信号分割ステップの処理により分割された入力信号と、合成波形生成ステップの処理により生成された合成波形とに基づいて、残差信号を生成する残差信号生成ステップとを含むことを特徴とする。
本発明の第１の記録媒体に記録されたプログラムは、入力信号を所定の区間に分割する入力信号分割ステップと、入力信号分割ステップの処理により分割された入力信号の振幅値を算出する振幅値算出ステップと、振幅値算出ステップの処理により算出された振幅値に基づいて、分析区間を設定する分析区間設定ステップと、分析区間設定ステップの処理により設定された分析区間の入力信号の波形情報を抽出する波形情報抽出ステップと、波形情報抽出ステップの処理により抽出された波形情報に基づいて、合成波形を生成する合成波形生成ステップと、入力信号分割ステップの処理により分割された入力信号と、合成波形生成ステップの処理により生成された合成波形とに基づいて、残差信号を生成する残差信号生成ステップとを含むことを特徴とする。
本発明の第２の情報抽出装置は、入力信号を所定の区間に分割する入力信号分割手段と、入力信号分割手段により分割された入力信号の振幅値を算出する振幅値算出手段と、振幅値算出手段により算出された振幅値に基づいて、分析区間を設定する分析区間設定手段と、分析区間設定手段により設定された分析区間の入力信号の所定の周波数の波形情報を抽出する波形情報抽出手段と、波形情報抽出手段により抽出された周波数の波形情報に基づいて、合成波形を生成する合成波形生成手段と、入力信号分割手段により分割された入力信号と、合成波形生成手段により生成された合成波形に基づいて、残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号のエネルギーを所定の閾値と比較する比較手段と、比較手段による比較結果に基づいて、残差信号を、入力信号に代えて振幅値算出手段にフィードバックするフィードバック手段とを備えることを特徴とする。
合成波形生成手段により生成された合成波形に、分析区間設定手段により設定された分析区間外の領域に対応する信号を補完する補完手段をさらに備え、残差信号生成手段は、入力信号分割手段により分割された入力信号と、補完手段により補完された信号とに基づいて、残差信号を生成するようにすることができる。
補完手段は、分析区間外の領域に対応する信号を、一定のレベルの信号で補完するようにすることができる。
振幅値算出手段は、入力信号のアタック位置を検出し、分析区間設定手段は、振幅値算出手段により検出された入力信号のアタック位置を、分析区間の開始位置として設定するようにすることができる。
振幅値算出手段は、入力信号のリリース位置を検出し、分析区間設定手段は、振幅値算出手段により検出された入力信号のリリース位置を、分析区間の終了位置として設定するようにすることができる。
波形情報抽出手段は、分析区間設定手段により設定された分析区間の入力信号に対して、一般調和解析を用いることにより波形情報を抽出するようにすることができる。
合成波形生成手段は、合成波形の一部に、所定の関数を乗算することができる。
本発明の第２の情報抽出装置の情報抽出方法は、入力信号を所定の区間に分割する入力信号分割ステップと、入力信号分割ステップの処理により分割された入力信号の振幅値を算出する振幅値算出ステップと、振幅値算出ステップの処理により算出された振幅値に基づいて、分析区間を設定する分析区間設定ステップと、分析区間設定ステップの処理により設定された分析区間の入力信号の所定の周波数の波形情報を抽出する波形情報抽出ステップと、波形情報抽出ステップの処理により抽出された周波数の波形情報に基づいて、合成波形を生成する合成波形生成ステップと、入力信号分割ステップの処理により分割された入力信号と、合成波形生成ステップの処理により生成された合成波形に基づいて、残差信号を生成する残差信号生成ステップと、残差信号生成ステップの処理により生成された残差信号のエネルギーを所定の閾値と比較する比較ステップと、比較ステップの処理による比較結果に基づいて、残差信号を、入力信号に代えて振幅値算出ステップの処理にフィードバックするフィードバックステップとを含むことを特徴とする。
本発明の第２の記録媒体に記録されたプログラムは、入力信号を所定の区間に分割する入力信号分割ステップと、入力信号分割ステップの処理により分割された入力信号の振幅値を算出する振幅値算出ステップと、振幅値算出ステップの処理により算出された振幅値に基づいて、分析区間を設定する分析区間設定ステップと、分析区間設定ステップの処理により設定された分析区間の入力信号の所定の周波数の波形情報を抽出する波形情報抽出ステップと、波形情報抽出ステップの処理により抽出された周波数の波形情報に基づいて、合成波形を生成する合成波形生成ステップと、入力信号分割ステップの処理により分割された入力信号と、合成波形生成ステップの処理により生成された合成波形に基づいて、残差信号を生成する残差信号生成ステップと、残差信号生成ステップの処理により生成された残差信号のエネルギーを所定の閾値と比較する比較ステップと、比較ステップの処理による比較結果に基づいて、残差信号を、入力信号に代えて振幅値算出ステップの処理にフィードバックするフィードバックステップとを含むことを特徴とする。
本発明の情報合成装置は、入力信号を所定の区間に分割し、分割区間内における抽出区間を設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、分割区間の信号と合成波形に基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間を設定する合成区間設定手段と、前記波形情報から合成信号を生成する合成信号生成手段と、前記残差信号と、前記合成信号とに基づいて再生信号を生成する再生信号生成手段とを備えることを特徴とする。
再生信号生成手段により生成された合成信号に、合成区間設定手段により設定された合成区間外の領域に対応する信号を補完する補完手段をさらに備えるようにすることができる。
補完手段は、分析区間外の領域に対応する信号を、一定のレベルの信号で補完するようにすることができる。
合成区間設定手段は、抽出区間に関する情報に基づいて、入力信号のアタック位置を、合成区間の開始位置として設定するようにすることができる。
合成区間設定手段は、抽出区間に関する情報に基づいて、入力信号のリリース位置を、合成区間の終了位置として設定するようにすることができる。
本発明の情報合成装置の情報合成方法は、入力信号を所定の区間に分割し、分割区間内における抽出区間を設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、分割区間の信号と合成波形に基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、波形情報から合成信号を生成する合成信号生成ステップと、残差信号と、合成信号とに基づいて再生信号を生成する再生信号生成ステップとを含むことを特徴とする。
本発明の第３の記録媒体に記録されたプログラムは、入力信号を所定の区間に分割し、分割区間内における抽出区間を設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、分割区間の信号と合成波形に基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、波形情報から合成信号を生成する合成信号生成ステップと、残差信号と、合成信号とに基づいて再生信号を生成する再生信号生成ステップとを含むことを特徴とする。
発明を実施するための最良の形態
図４は、本発明を適用した周波数成分抽出装置の構成例を示すブロック図である。
入力信号分割部３１は、入力信号として、例えば、音響時系列信号が入力されたとき、それを所定の区間に分割し、得られた入力時系列信号を振幅分析部３２、および減算器３７に供給する。
振幅分析部３２は、入力信号分割部３１から供給されてきた入力時系列信号の所定の小区間毎の振幅値を算出し、その振幅値の変化から、入力時系列信号にアタックまたはリリースが含まれているか否かを判定する。また、振幅分析部３２は、アタックまたはリリースを検出したとき、それらの発生位置に関する情報として、アタック／リリース情報を生成し、分析区間設定部３３、時系列補完部３６、および周波数成分抽出装置２１の外部に設けられている図示せぬ装置に出力する。
分析区間設定部３３は、振幅分析部３２から供給されてきたアタック／リリース情報に基づいて、アタック位置からリリース位置までの区間を、入力時系列信号の分析区間として設定する。すなわち、入力時系列信号全体の振幅に比べて、その振幅が微小なまま大きく変化しない区間については、分析区間から除かれる。また、入力時系列信号にアタックまたはリリースが含まれていない場合、入力信号分割部３１により分割された区間が分析区間とされる。
周波数分析部３４は、供給されてきた入力時系列信号に対して一般調和解析を用いて分析を行い、分析区間における主要な周波数成分についての振幅や位相などの抽出波形情報を生成し、抽出波形合成部３５、および周波数成分抽出装置２１の外部に設けられる図示せぬ装置に出力する。
抽出波形合成部３５は、周波数分析部３４から供給されてきた複数の抽出波形情報に基づいて所定の波形合成を行い、得られた抽出波形時系列信号を時系列補完部３６に出力する。
時系列補完部３６は、振幅分析部３２から供給されてきたアタック／リリース情報に基づいて、分析区間設定部３３により、分析区間から除かれた区間の信号を補完する。すなわち、入力信号分割部３１により分割された分割区間のうち、分析区間設定部３３により設定された分析区間に対応しない区間の信号については、その振幅値は、微少なままほとんど変化していないため、時系列補完部３６により一定のレベルの例えば「０」レベルの信号が補完される。時系列補完部３６により生成された分割区間全体に渡る抽出波形時系列信号は、減算器３７に出力される。
減算器３７は、時系列補完部３６から供給されてきた抽出波形時系列信号と、入力信号分割部３１から供給されてきた入力時系列信号から残差時系列信号を生成し、周波数成分抽出装置２１の外部に設けられる後段の装置に出力する。
次に、図５のフローチャートを参照して、図４の周波数成分抽出装置２１の動作について説明する。また、説明において、適宜、図６および図７を参照する。
ステップＳ２１において、入力信号分割部３１は、入力されてきた音響時系列信号を所定の区間に分割し、生成した入力時系列信号を振幅分析部３２、および減算器３７に出力する。例えば、入力信号分割部３１は、音響時系列信号を、図６Ａ，Ｂに示すように分割区間Ｌ’で分割し、入力時系列信号ｓ３１またはｓ４１を振幅分析部３２、および減算器３７に出力する。なお、後述するように、図６Ａ（アタックおよびリリースがない場合）においては、分割区間Ｌ’と分析区間Ｌは同一の区間となり、図６Ｂ（アタックまたはリリースがある場合）においては、分割区間Ｌ’と分析区間Ｌは異なった区間となる。
振幅分析部３２は、ステップＳ２２において、供給されてきた入力時系列信号をさらに小区間に分割し、それぞれの小区間における振幅値を時間的に前の小区間から、順次、算出する。例えば、振幅分析部３２は、図７に示すように、入力時系列信号を０乃至Ｍ−１のＭ個の小区間に等分し、それぞれの振幅値Ａｍ（ｍ＝０，１，２，…，Ｍ−１）を算出する。
ステップＳ２３において、振幅分析部３２は、ステップＳ２２で算出した振幅値を比較することにより、アタック部を検出したか否かを判定する。振幅分析部３２は、例えば、入力時系列信号の最大振幅値をＡｍａｘとし、Ａｍａｘに対するｍ番目の小区間の振幅値Ａｍとの比を、ｍ＝０，１，２，…，Ｍ−１の順に算出し、ｍ＝０のときに予め設定した比Ｒａｔｔａｃｋより大きいか否かを判定することによりアタック部を検出する。すなわち、振幅分析部３２は、次式（１）に対応する振幅値の変化を検出したとき、ステップＳ２３において、アタック部を検出したと判定し、ステップＳ２４に進む。
2002049001.tif 000003
振幅分析部３２により検出されたアタック位置に関する情報は、分析区間設定部３３に供給される。
ステップＳ２４において、分析区間設定部３３は、アタック部が検出された小区間を、分析区間の開始位置として設定する。例えば、分析区間設定部３３は、図７に示すように、Ａｍａｘに対するｍ＝３の小区間の振幅値Ａ３の比がＲａｔｔａｃｋを越えたとき、ｍ＝３番目の小区間を分析区間Ｌの開始位置Ｐ１として設定する。
一方、振幅分析部３２は、ステップＳ２３で、アタック位置を検出していないと判定した場合、ステップＳ２５に進む。
ステップＳ２５において、分析区間設定部３３は、分割区間Ｌ’の開始位置（ｔ＝０）を分析区間Ｌの開始位置Ｐ１として設定する。
ステップＳ２６において、振幅分析部３２は、それぞれの小区間における振幅値を時間的に後の小区間から、順次、算出し、算出結果に基づいて、ステップＳ２７で、リリース部を検出したか否かを判定する。振幅分析部３２は、例えば、Ａｍａｘに対するｍ番目の振幅値Ａｍの比をｍ＝Ｍ−１，Ｍ−２，…，０の順に算出し、ｍ＝Ｍのときに予め設定した比Ｒｒｅｌｅａｓｅより大きいか否かを判定することにより、リリース部を検出する。すなわち、振幅分析部３２は、次式（２）に対応する振幅値の変化を検出したとき、ステップＳ２７において、リリース部を検出したと判定し、ステップＳ２８に進む。
2002049001.tif 000004
ステップＳ２８において、分析区間設定部３３は、リリース部が検出された小区間を、分析区間の終了位置として設定する。例えば、分析区間設定部３３は、図７に示すように、Ａｍａｘに対するｍ＝Ｍ−４の小区間の振幅値ＡＭ−４の比がＲｒｅｌｅａｓｅを越えたとき、Ｍ−４番目の小区間を分析区間Ｌの終了位置Ｐ２として設定する。これにより、分割区間Ｌ’のうち、Ｐ１乃至Ｐ２の区間が分析区間Ｌとされる。
一方、振幅分析部３２は、ステップＳ２７で、リリース位置を検出していないと判定した場合、ステップＳ２９に進む。
ステップＳ２９において、分析区間設定部３３は、分割区間Ｌ’の終了位置（ｔ＝ｔ’）を分析区間Ｌの終了位置Ｐ２として設定する。すなわち、アタックがなければ分割区間Ｌ’と分析区間Ｌは、同一の区間となる。これらのアタック／リリース情報は、時系列補完部３６、および周波数成分抽出装置２１の外部に設けられている図示せぬ装置にも供給される。
ステップＳ３０において、周波数分析部３４は、その周波数成分を入力時系列信号から抽出したときに、残差信号のエネルギーが最小となる入力時系列信号の周波数成分を算出する。例えば、入力時系列信号をｘ０（ｔ）とし、周波数ｆの純音波形を抽出したときの残差信号ＲＳｆ（ｔ）は、次式（３）で表される。
2002049001.tif 000005
ただし、Ｐ１≦ｔ＜Ｐ２である。
また、式（３）において、分析区間設定部３４により設定された分析区間Ｐ１乃至Ｐ２のｓｉｎ項の振幅値Ｓｆは式（４）で表され、ｃｏｓ項の振幅値Ｃｆは式（５）で表される。
2002049001.tif 000006
さらに、式（３）で表される残差信号ＲＳｆ（ｔ）の残差信号エネルギーＥｆは次式（６）で表される。
2002049001.tif 000007
すなわち、周波数分析部３４は、ステップＳ３０で、分析区間の全ての周波数に対して式（６）により残差信号エネルギーＥｆを算出し、それぞれの値を比較することにより、残差信号エネルギーＥｆが最小となる周波数ｆ１を取得する。
ステップＳ３１において、周波数分析部３４は、ステップＳ３０で取得した周波数ｆ１に対応する純音波形を入力時系列信号ｘ０（ｔ）から減算し、残差信号を生成する。すなわち、周波数分析部３４は、次式（７）に基づいて残差信号ｘ１（ｔ）を生成する。
2002049001.tif 000008
また、周波数分析部３４は、上述した式（４）と式（５）から、周波数ｆ１に対応する式（３）のｓｉｎ項の振幅値Ｓｆ１、およびｃｏｓ項の振幅値Ｃｆ１を算出し、抽出波形情報を生成する。また、生成される抽出波形情報には、式（８）、式（９）、および式（１０）により算出される周波数ｆ１の振幅値Ａｆ１や位相Ｐｆ１が含まれるようにしてもよい。
2002049001.tif 000009
上述した式により算出された抽出波形情報は、ステップＳ３２において、抽出波形合成部３５に供給される。
ステップＳ３３において、周波数分析部３４は、式（７）で示した残差信号ｘ１（ｔ）の残差エネルギーを算出し、所定の閾値より小さいか否かを判定する。周波数分析部３４は、例えば、残差信号ｘ１（ｔ）の残差エネルギーが、入力時系列信号の信号エネルギーからＸ（ｄＢ）だけ減算した閾値より下回っているか否かを判定する。
周波数分析部３４は、ステップＳ３３で、残差信号ｘ１（ｔ）の残差エネルギーＥｆ１が所定の閾値より大きいと判定した場合、ステップＳ３４に進み、残差信号ｘ１（ｔ）を入力時系列信号ｘ０（ｔ）としてステップＳ３０に戻り、上述した処理を繰り返す。すなわち、周波数分析部３４により生成された抽出波形情報が、繰り返し、抽出波形合成部３５に供給されることとなる。なお、ステップＳ３０乃至Ｓ３４の処理が繰り返し実行される回数は、予め設定された一定の回数とし、予め設定された回数に達した場合には、ステップＳ３５に進んでもよい。
一方、ステップＳ３３において、周波数分析部３４は、残差信号ｘ１（ｔ）の残差エネルギーＥｆ１が所定の閾値より小さいと判定した場合、ステップＳ３５に進む。
ステップＳ３５において、抽出波形合成部３５は、周波数分析部３４から供給されてきた複数の抽出波形情報に基づいて、所定の合成処理を実行し、分析区間の抽出波形時系列信号を生成する。抽出波形合成部１３は、例えば、Ｎ個の抽出波形情報が供給されてきたとき、次式（１１）に基づいて、抽出波形時系列信号Ｅ’Ｓ（ｔ）を生成する。
2002049001.tif 000010
すなわち、入力時系列信号にアタックまたはリリースが含まれている場合には、図６Ｂに示すように、分析区間Ｌ（アタックからリリースまでの区間）における抽出波形時系列信号ｓ４２が、抽出波形合成部３５により生成される。また、入力時系列信号にアタックおよびリリースが含まれていない場合には、図６Ａに示すように、入力時系列信号ｓ３１と、同一の区間の抽出波形時系列信号ｓ３２が生成される。
生成された抽出波形時系列信号Ｅ’Ｓ（ｔ）は、時系列補完部３６に供給され、ステップＳ３６において、アタック部またはリリース部が検出されたか否かが判定され、検出されたと判定された場合、ステップＳ３７に進む。
ステップＳ３７において、時系列補完部３６により、抽出波形時系列信号の分析区間外の信号が例えば「０」レベルの信号で補完され、分割区間全体の抽出波形時系列信号が生成される。入力時系列信号にアタックまたはリリースが含まれている場合には、図６Ｂに示すように、分析区間以外（ｔ＝０乃至ｔ＝Ｐ１の区間、およびｔ＝Ｐ２乃至ｔ＝ｔ’の区間）の信号は、補完時系列信号ｓ４３で補完され、抽出波形時系列信号ｓ４４が生成される。なお、生成された抽出波形時系列信号ｓ４４（ＥＳ（ｔ））は、次式（１２）で示される。
2002049001.tif 000011
また、分析区間Ｌ（Ｐ１乃至Ｐ２）において、抽出波形時系列信号ｓ４２に不連続点が生じてしまうことがある。これに対しては、抽出波形合成部３５において、短い区間で関数を乗算することにより、信号の振幅を徐々に変化させるなどして回避するようにしてもよい。この場合、抽出波形時系列信号ｓ４４は次式（１３）で示される。
2002049001.tif 000012
ただし、ＫはＬに対して十分小さいものとする。
時系列補完部３６により生成された抽出波形時系列信号は、減算器３７に出力される。
一方、ステップＳ３６において、入力時系列信号には、アタック部またはリリース部が含まれていないと時系列補完部３６により判定された場合、ステップＳ３７の処理はスキップされ、信号の補完はされずに、図６Ａに示すような入力時系列信号ｓ３１と同一の区間の抽出波形時系列信号ｓ３２が減算器３７に出力される。
減算器３７は、ステップＳ３８において、入力信号分割部３１から供給されてきた入力時系列信号と、時系列補完部３６から供給されてきた抽出波形時系列信号に基づいて、残差時系列信号ＲＳ（ｔ）を生成する。残差時系列信号ＲＳ（ｔ）は、次式（１４）により示される。
2002049001.tif 000013
ステップＳ３８で生成された残差時系列信号ＲＳ（ｔ）は、ステップＳ３９において、周波数成分分析装置２１の外部に設けられている図示せぬ装置に出力される。
このように分析区間を設定して周波数分析することにより、アタック部、リリース部が含まれている入力時系列信号であっても、図６Ｂの残差時系列信号ｓ４５に示すような残差時系列信号を後段の装置に供給することができる。すなわち、入力された音響時系列信号を、正確、かつ高効率に分析することができる。
図８は、上述した周波数成分抽出装置２１により生成された各種の情報に基づいて、音響時系列信号を再生する周波数成分合成装置５１の構成例を示すブロック図である。
合成区間設定部６１は、周波数成分抽出装置２１から供給されてきた抽出波形情報と、アタック／リリース情報に基づいて、後段の波形合成部６２において行われる波形合成処理の区間（合成区間）を設定する。
波形合成部６２は、合成区間設定部６１により設定された合成区間において、抽出波形情報に基づいて波形合成を行い、生成した合成波形時系列信号を時系列補完部６３に供給する。
時系列補完部６３は、供給されたアタック／リリース情報に基づいて、供給されてきた合成波形時系列信号に対して、適宜、合成区間外の信号を補完する。
加算器６４は、周波数成分抽出装置２１から供給されてきた残差時系列信号と、時系列補完部６３から供給されてきた合成波形蒔系列信号を加算し、生成した所定区間の合成波形時系列信号を出力信号合成部６５に出力する。
出力信号合成部６５は、加算器６４から供給されてきた所定区間の複数の合成波形時系列信号を合成することにより音響時系列信号を再生し、周波数成分合成装置５１の外部の装置に出力する。
次に、図９のフローチャートを参照して、図８の周波数成分合成装置５１の動作について説明する。また、説明において、適宜、図１０Ａ，Ｂを参照する。
ステップＳ５１において、合成区間設定部６１は、周波数成分抽出装置２１から、アタック情報が供給されてきたか否かを判定し、供給されてきたと判定した場合、ステップＳ５２に進む。
合成区間設定部６１は、ステップＳ５２において、供給されたアタック情報に基づいて、アタック位置を合成区間の開始位置として設定する。例えば、図１０Ｂに示すように、抽出波形情報を合成したときの所定の区間を時刻ｔ＝０乃至ｔ＝ｔ’とした場合、合成区間Ｌの開始位置はＰ１として設定される。
一方、合成区間設定部６１は、ステップＳ５２で、アタック情報が供給されていないと判定した場合、ステップＳ５３に進み、区間の開始位置を合成区間の開始位置として設定する。例えば、図１０Ａに示すように、抽出波形情報を合成したときの所定の区間の開始位置と合成区間Ｌの開始位置Ｐ１は同一とされる。
ステップＳ５４において、合成区間設定部６１は、周波数成分抽出装置２１からリリース情報が供給されてきたか否かを判定し、供給されてきたと判定した場合、ステップＳ５５に進む。
合成区間設定部６１は、ステップＳ５５において、供給されたリリース情報に基づいて、リリース位置を合成区間の終了位置として設定する。例えば、図１０Ｂに示すように、合成区間Ｌの終了位置はＰ２として設定される。これにより、Ｐ１乃至Ｐ２の区間が、合成区間Ｌとして設定される。
一方、合成区間設定部６１は、ステップＳ５４で、リリース情報が供給されていないと判定した場合、ステップＳ５６に進み、区間の終了位置を合成区間の終了位置として設定する。例えば、図１０Ａに示すように、合成区間Ｌの終了位置はＰ２として設定される。
ステップＳ５７において、波形合成部６２は、合成区間設定部６１により設定された合成区間に基づいて、供給されてきた抽出波形情報を合成し、合成区間の合成波形時系列信号を生成する。波形合成部６２に供給される抽出波形情報は、例えば、Ｎ個の周波数成分の波形情報であり、上述した式（８）、式（９）、および式（１０）で示される。すなわち、波形合成部６２は、これらの式により示される抽出波形情報を、次式（１５）により合成し、合成波形時系列信号を生成する。
2002049001.tif 000014
ただし、Ｐ１≦ｔ＜Ｐ２である。
例えば、アタック／リリース情報が供給されていない場合、図１０Ａに示すように、合成区間Ｌの合成波形時系列信号ｓ５２が生成され、アタック／リリース情報が供給された場合、図１０Ｂに示すように、Ｐ１乃至Ｐ２の合成区間Ｌの合成波形時系列信号ｓ６２が生成される。ステップＳ５７で生成された合成区間の合成波形時系列信号は、時系列補完部６３に供給される。
ステップＳ５８において、時系列補完部６３は、周波数成分分析装置２１から供給されてきたアタック／リリース情報に基づいて、合成波形時系列信号には、アタックまたはリリースが含まれているか否かを判定する。
時系列補完部６３は、ステップＳ５８で、アタックまたはリリースが合成波形時系列信号に含まれていると判定した場合、ステップＳ５９に進み、合成区間外の信号を例えば「０」レベルの信号で補完する。すなわち、図１０Ｂに示すように、合成区間外（ｔ＝０乃至ｔ＝Ｐ１およびｔ＝Ｐ２乃至ｔ＝ｔ’の区間）の信号は、補完時系列信号ｓ６３とされ、合成波形時系列信号ｓ６２に補完されて、合成波形時系列信号ｓ６４が生成される。
一方、ステップＳ５８において、合成波形時系列信号に、アタックまたはリリースが含まれていないと判定された場合、ステップＳ５９の処理はスキップされ、ステップＳ６０に進む。
補完された合成波形時系列信号は、加算器６４に供給され、ステップＳ６０において、周波数成分抽出装置２１から供給されてきた残差信号と加算される。すなわち、図１０Ａ，Ｂに示すような、合成波形時系列信号ｓ５３，ｓ６５が生成される。
ステップＳ６１において、出力信号合成部６５は、加算器６４から供給されてきた複数の合成波形時系列信号を合成し、音響時系列信号を生成し、周波数成分合成装置５１の外部に設けられる図示せぬ装置に出力する。上述した処理により、周波数成分抽出装置２１により処理された音響時系列信号に対応する信号を再生することができる。
図１１および図１２は、本発明を適用した周波数成分抽出装置の他の構成例を示すブロック図である。すなわち、一般調和解析は、周波数成分を１本ずつ抽出するものであるため、図４に示す周波数成分抽出装置２１は、図１１および図１２のように構成することもできる。
図１１において、入力信号分割部８１は、入力信号として、例えば、音響時系列信号が入力されたとき、所定の区間に分割し、得られた入力時系列信号を振幅分析部８２、および周波数成分抽出部８３に供給する。
振幅分析部８２は、入力信号分割部８１から供給されてきた入力時系列信号の所定の小区間毎の振幅値を算出し、その振幅値の変化から、入力時系列信号にアタックまたはリリースが含まれているか否かを判定する。振幅分析部８２は、検出したアタックまたはリリースの位置に関する情報として、アタック／リリース情報を生成し、周波数成分抽出部８３、および周波数成分抽出装置７１の外部に設けられている図示せぬ装置に出力する。
周波数成分抽出部８３は、供給されてきた入力時系列信号とアタック／リリース情報に基づいて、一般調和解析により周波数成分を抽出し、残差時系列信号と抽出波形情報を生成して、後段の装置に出力する。
図１２は、周波数成分抽出部８３の詳細な構成例を示すブロック図である。
スイッチ９１は、残差エネルギー判定部９７からの指示に基づいて、接点を切替え、分析区間設定部９２乃至減算器９６で処理される入力時系列信号を選択する。
分析区間設定部９２は、振幅分析部８２から供給されてきたアタック／リリース情報に基づいて、アタック位置からリリース位置までの区間を、入力時系列信号の分析区間として設定する。また、入力時系列信号に、アタックおよびリリースが含まれていない場合、入力信号分割部８１により分割された区間が分析区間となる。
周波数分析部９３は、供給されてきた入力時系列信号に対して一般調和解析を用いて分析を行い、入力時系列信号から、それを抽出したときに残差エネルギーが最小となる周波数成分を算出する。また、周波数分析部９３は、算出した周波数成分に対応する抽出波形情報を、正弦波合成部９４、および周波数成分抽出装置７１の外部に設けられる図示せぬ装置に出力する。
正弦波合成部９４は、周波数分析部９３から供給されてきた抽出波形情報に基づいて所定の波形合成を行い、得られた抽出波形時系列信号を時系列補完部９５に出力する。
時系列補完部９５は、振幅分析部８２から供給されてきたアタック／リリース情報に基づいて、正弦波合成部９４から供給されてきた抽出波形時系列信号に対して、信号を補完し、得られた信号を減算器９６に出力する。
減算器９６は、スイッチ９１から供給されてきた入力時系列信号と、時系列補完部９５から供給されてきた抽出波形時系列信号との差分から、残差時系列信号を生成し、残差エネルギー判定部９７に出力する。
残差エネルギー判定部９７は、残差時系列信号の残差エネルギーを算出し、適宜、内蔵するスイッチを切り替えて、スイッチ９１、または周波数成分抽出装置７１の外部の装置に残差時系列信号を出力する。
次に、図１３のフローチャートを参照して、図１１の周波数成分抽出装置７１の動作について説明する。
ステップＳ７１乃至Ｓ７９の処理は、図４を参照して説明したステップＳ２１乃至Ｓ２９の処理と、基本的に同様の処理である。すなわち、ステップＳ７１で入力信号分割部８１により分割された入力時系列信号は、振幅分析部８２に供給され、入力時系列信号にアタックまたはリリースが含まれているか否かが検出される。アタックおよびリリースが検出されたとき、アタック位置からリリース位置までが周波数成分の分析区間として、分析区間設定部９２により設定され、周波数分析部９３に通知される。また、アタックおよびリリースが検出されないとき、入力信号分割部８１により分割された区間が分析区間とされる。
ステップＳ８０において、周波数分析部９３は、分析区間設定部９２により設定された分析区間に基づいて、その周波数成分を、入力時系列信号から差し引いたときの残差信号のエネルギーが最小となる周波数成分を算出する。
ステップＳ８１において、周波数分析部９３は、ステップＳ８０で算出した周波数成分の波形情報から生成した抽出波形情報を、正弦波合成部９４に供給する。正弦波合成部９４は、ステップＳ８２で、供給されてきた抽出波形情報を合成する。
時系列補完部９５は、振幅分析部８２から供給されてきたアタック／リリース情報に基づいて、入力時系列信号にはアタックまたはリリースが含まれているか否かを判定し、アタックまたはリリースが含まれていると判定した場合、ステップＳ８４で、上述したように、分析区間外の信号を「０」レベルの信号で補完する。生成された抽出波形時系列信号は、減算器９６に供給される。
一方、ステップＳ８３において、入力時系列信号にアタックおよびリリースが含まれていないと判定されたとき、ステップＳ８４の処理はスキップされる。
ステップＳ８５において、減算器９６は、スイッチ９１から供給されてきた入力時系列信号と、時系列補完部９５から供給されてきた抽出波形時系列信号に基づいて、残差時系列信号を生成し、残差エネルギー判定部９７に出力する。
ステップＳ８６において、残差エネルギー判定部９７は、供給されてきた残差時系列信号のエネルギーを、上述した式（６）により算出し、所定の閾値より小さいか否かを判定する。
残差エネルギー判定部９７は、ステップＳ８６で、残差エネルギーが所定の閾値より大きいと判定した場合、ステップＳ８７において、内蔵するスイッチ、およびスイッチ９１を制御することにより、残差時系列信号を入力時系列信号とし、分析区間設定部９２にフィードバックする。その後、処理は、ステップＳ８０に戻り、それ以降の処理が繰り返し実行される。
一方、ステップＳ８６で、残差エネルギーが所定の閾値より小さいと判定された場合、ステップＳ８８において、残差時系列信号が周波数成分抽出装置７１の外部の装置に出力される。
このように構成することにより、図４の周波数成分抽出装置２１と同様に、入力されてきた音響時系列信号を、正確、かつ高効率で分析することができる。
以上の説明で、時系列補完部で補完する値は、例えば０としたが、一定のレベルの信号で補完することも可能である。また、分析区間設定部では、ひとつの分割区間内にひとつの分析区間としているが、複数の分割区間を設けてもかまわない。さらに、本願発明の抽出装置からの情報を圧縮して符号化して、符号列を記録媒体に蓄積すること、または伝送路を介して伝送することが可能であり、この符号列を記録媒体から読み出し、または伝送路を介して受け取って復号し、本願発明の合成装置を用いて入力信号に対応した信号を再生することも可能である。
なお、本発明は、音声信号を処理する、各種のオーディオ機器、および音声認識装置、音声合成装置等に適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、周波数成分抽出装置２１，７１、および周波数成分合成装置５１は、図１４に示されるようなパーソナルコンピュータにより構成される。
図１４において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２２に記憶されているプログラム、または、記憶部１２８からＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１２３にはまた、ＣＰＵ１２１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
ＣＰＵ１２１、ＲＯＭ１２２、およびＲＡＭ１２３は、バス１２４を介して相互に接続されている。このバス１２４にはまた、入出力インタフェース１２５も接続されている。
入出力インタフェース１２５には、キーボード、マウスなどよりなる入力部１２６、ＣＲＴ，ＬＣＤなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１２７、ハードディスクなどより構成される記憶部１２８、モデム、ターミナルアダプタなどより構成される通信部１２９が接続されている。通信部１２９は、ネットワークを介しての通信処理を行う。
入出力インタフェース１２５にはまた、必要に応じてドライブ１３０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、あるいは半導体メモリ１３４などが、適宜、装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部１２８にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータ１１１などに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図１４に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１（フロッピディスクを含む）、光ディスク１３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク１３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１２２や、記憶部１２８に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
産業上の利用可能性
以上のように、本発明によれば、正確、かつ、高効率で、周波数成分の抽出ができる。また、本発明によれば、正確、かつ、高効率で分析された周波数成分を合成し、入力信号に対応する信号を再生することができる。
【図面の簡単な説明】
図１は、従来の周波数成分抽出装置の構成例を示すブロック図である。
図２は、図１の周波数成分抽出装置の処理を説明するフローチャートである。
図３Ａは、図１の周波数成分抽出装置により生成される信号の例を示す図である。
図３Ｂは、図１の周波数成分抽出装置により生成される信号の他の例を示す図である。
図４は、本発明を適用した周波数成分抽出装置の構成例を示すブロック図である。
図５は、図４の周波数成分抽出装置の処理を説明するフローチャートである。
図６Ａは、図４の周波数成分抽出装置により生成される信号の例を示す図である。
図６Ｂは、図４の周波数成分抽出装置により生成される信号の他の例を示す図である。
図７は、図４の分析区間設定部により設定される分析区間の例を示す図である。
図８は、本発明を適用した周波数成分合成装置の構成例を示すブロック図である。
図９は、図８の周波数成分合成装置の処理を説明するフローチャートである。
図１０Ａは、図８の周波数成分合成装置により生成される信号の例を示す図である。
図１０Ｂは、図８の周波数成分合成装置により生成される信号の他の例を示す図である。
図１１は、本発明を適用した周波数成分抽出装置の他の構成例を示すブロック図である。
図１２は、図１１の周波数成分抽出部の構成例を示すブロック図である。
図１３は、図１１の周波数成分合成装置の処理を説明するフローチャートである。
図１４は、パーソナルコンピュータの構成例を示すブロック図である。
【図１】
2002049001.tif 000015
【図２】
2002049001.tif 000016
【図３Ａ】
2002049001.tif 000017
【図３Ｂ】
2002049001.tif 000018
【図４】
2002049001.tif 000019
【図５】
2002049001.tif 000020
【図６Ａ】
2002049001.tif 000021
【図６Ｂ】
2002049001.tif 000022
【図７】
2002049001.tif 000023
【図８】
2002049001.tif 000024
【図９】
2002049001.tif 000025
【図１０Ａ】
2002049001.tif 000026
【図１０Ｂ】
2002049001.tif 000027
【図１１】
2002049001.tif 000028
【図１２】
2002049001.tif 000029
【図１３】
2002049001.tif 000030
【図１４】
2002049001.tif 000031
【国際調査報告】
2002049001.tif 000032
2002049001.tif 000033
2002049001.tif 000034
2002049001.tif 000035