(57)【特許請求の範囲】
【請求項１】
入力信号を所定の区間に分割する入力信号分割手段と、
前記入力信号分割手段により分割された前記入力信号の振幅値を算出する振幅値算出手段と、
前記振幅値算出手段により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定手段と、
前記分析区間設定手段により設定された前記分析区間の前記入力信号の波形情報を抽出する波形情報抽出手段と、
前記波形情報抽出手段により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成手段と、
前記合成波形生成手段により生成された前記合成波形に、前記分析区間設定手段により設定された前記分析区間外の領域に対応する信号を補完する補完手段と、
前記入力信号分割手段により分割された前記入力信号と、前記補完手段により前記分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成手段と
を備えることを特徴とする情報抽出装置。
【請求項２】
前記補完手段は、前記分析区間外の領域に対応する信号を、一定のレベルの信号で補完する
ことを特徴とする請求項１に記載の情報抽出装置。
【請求項３】
前記振幅値算出手段は、前記入力信号のアタック位置を検出し、
前記分析区間設定手段は、前記振幅値算出手段により検出された前記入力信号のアタック位置を、前記分析区間の開始位置として設定する
ことを特徴とする請求項１に記載の情報抽出装置。
【請求項４】
前記振幅値算出手段は、前記入力信号のリリース位置を検出し、
前記分析区間設定手段は、前記振幅値算出手段により検出された前記入力信号のリリース位置を、前記分析区間の終了位置として設定する
ことを特徴とする請求項３に記載の情報抽出装置。
【請求項５】
前記振幅値算出手段は、前記入力信号分割手段により分割された区間をさらに分割した小区間のうちの前方の小区間の前記入力信号の振幅値から算出して前記アタック位置を検出し、後方の小区間の前記入力信号の振幅値から算出して前記リリース位置を検出する
ことを特徴とする請求項４に記載の情報抽出装置。
【請求項６】
前記波形情報抽出手段は、前記分析区間設定手段により設定された前記分析区間の前記入力信号に対して、一般調和解析を用いることにより前記波形情報を抽出する
ことを特徴とする請求項１に記載の情報抽出装置。
【請求項７】
前記合成波形生成手段は、前記合成波形の一部に、所定の関数を乗算する
ことを特徴とする請求項１に記載の情報抽出装置。
【請求項８】
入力信号を所定の区間に分割する入力信号分割ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号の振幅値を算出する振幅値算出ステップと、
前記振幅値算出ステップの処理により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定ステップと、
前記分析区間設定ステップの処理により設定された前記分析区間の前記入力信号の波形情報を抽出する波形情報抽出ステップと、
前記波形情報抽出ステップの処理により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成ステップと、
前記合成波形生成ステップの処理により生成された前記合成波形に、前記分析区間設定ステップの処理により設定された前記分析区間外の領域に対応する信号を補完する補完ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号と、前記補完ステップの処理により前記分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成ステップと
を含むことを特徴とする情報抽出方法。
【請求項９】
入力信号を所定の区間に分割する入力信号分割ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号の振幅値を算出する振幅値算出ステップと、
前記振幅値算出ステップの処理により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定ステップと、
前記分析区間設定ステップの処理により設定された前記分析区間の前記入力信号の波形情報を抽出する波形情報抽出ステップと、
前記波形情報抽出ステップの処理により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成ステップと、
前記合成波形生成ステップの処理により生成された前記合成波形に、前記分析区間設定ステップの処理により設定された前記分析区間外の領域に対応する信号を補完する補完ステップと、
前記入力信号分割ステップの処理により分割された前記入力信号と、前記補完ステップの処理により前記分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１０】
入力信号を所定の区間に分割する入力信号分割手段と、
前記入力信号分割手段により分割された前記入力信号の振幅値を算出する振幅値算出手段と、
前記振幅値算出手段により算出された前記振幅値に基づいて、分析区間を設定する分析区間設定手段と、
前記分析区間設定手段により設定された前記分析区間の前記入力信号の所定の周波数の波形情報を抽出する波形情報抽出手段と、
前記波形情報抽出手段により抽出された前記波形情報に基づいて、合成波形を生成する合成波形生成手段と、
前記合成波形生成手段により生成された前記合成波形に、前記分析区間設定手段により設定された前記分析区間外の領域に対応する信号を補完する補完手段と、
前記入力信号分割手段により分割された前記入力信号と、前記補完手段により前記分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された前記残差信号のエネルギーを所定の閾値と比較する比較手段と、
前記比較手段による比較結果に基づいて、前記残差信号を、前記入力信号に代えて前記振幅値算出手段にフィードバックするフィードバック手段と
を備えることを特徴とする情報抽出装置。
【請求項１１】
入力信号を所定の区間に分割し、分割区間内における抽出区間を入力信号の振幅値に基づいて設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、前記合成波形に、前記抽出区間外の領域に対応する信号を補完し、分割区間の前記信号と前記抽出区間外の領域に対応する信号が補完された信号とに基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、入力信号に対応する信号を合成する情報合成装置において、
前記抽出区間に関する情報に基づいて合成区間を設定する合成区間設定手段と、
前記波形情報から合成信号を生成する合成信号生成手段と、
前記合成信号生成手段により生成された前記合成信号に、前記合成区間設定手段により設定された前記合成区間外の領域に対応する信号を補完する補完手段と、
前記残差信号と、前記補完手段により前記合成区間外の領域に対応する信号が補完された前記合成信号とに基づいて再生信号を生成する再生信号生成手段と
を備えることを特徴とする情報合成装置。
【請求項１２】
前記補完手段は、前記分析区間外の領域に対応する信号を、一定のレベルの信号で補完する
ことを特徴とする請求項１１に記載の情報合成装置。
【請求項１３】
前記合成区間設定手段は、前記抽出区間に関する情報に基づいて、前記入力信号のアタック位置を、前記合成区間の開始位置として設定する
ことを特徴とする請求項１１に記載の情報合成装置。
【請求項１４】
前記合成区間設定手段は、前記抽出区間に関する情報に基づいて、前記入力信号のリリース位置を、前記合成区間の終了位置として設定する
ことを特徴とする請求項１１に記載の情報合成装置。
【請求項１５】
入力信号を所定の区間に分割し、分割区間内における抽出区間を入力信号の振幅値に基づいて設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、前記合成波形に、前記抽出区間外の領域に対応する信号を補完し、分割区間の信号と前記抽出区間外の領域に対応する信号が補完された信号とに基づいて残差信号を生成する情報抽出装置から受け取った抽出区間に関する情報と、波形情報と、残差信号とに基づいて入力信号に対応する信号を合成する情報合成方法において、
前記抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、
前記波形情報から合成信号を生成する合成信号生成ステップと、
前記合成信号生成ステップの処理により生成された前記合成信号に、前記合成区間設定ステップの処理により設定された前記合成区間外の領域に対応する信号を補完する補完ステップと、
前記残差信号と、前記補完ステップの処理により前記合成区間外の領域に対応する信号が補完された前記合成信号とに基づいて再生信号を生成する再生信号生成ステップと
を含むことを特徴とする情報合成方法。
【請求項１６】
前記補完ステップは、前記分析区間外の領域に対応する信号を、一定のレベルの信号で補完する
ことを特徴とする請求項１５に記載の情報合成方法。
【請求項１７】
前記合成区間設定ステップは、前記抽出区間に関する情報に基づいて、前記入力信号のアタック位置を、前記合成区間の開始位置として設定する
ことを特徴とする請求項１５に記載の情報合成方法。
【請求項１８】
前記合成区間設定ステップは、前記抽出区間に関する情報に基づいて、前記入力信号のリリース位置を、前記合成区間の終了位置として設定する
ことを特徴とする請求項１５に記載の情報合成方法。
【請求項１９】
入力信号を所定の区間に分割し、分割区間内における抽出区間を入力信号の振幅値に基づいて設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、前記合成波形に、前記抽出区間外の領域に対応する信号を補完し、分割区間の信号と前記抽出区間外の領域に対応する信号が補完された信号とに基づいて残差信号を生成する情報抽出装置から受け取った抽出区間に関する情報と、波形情報と、残差信号とに基づいて入力信号に対応する信号を合成するプログラムにおいて、
前記抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、
前記波形情報から合成信号を生成する合成信号生成ステップと、
前記合成信号生成ステップの処理により生成された前記合成信号に、前記合成区間設定ステップの処理により設定された前記合成区間外の領域に対応する信号を補完する補完ステップと、
前記残差信号と、前記補完ステップの処理により前記合成区間外の領域に対応する信号が補完された前記合成信号とに基づいて再生信号を生成する再生信号生成ステップと、
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【０００１】
【発明の詳細な説明】
【発明の属する技術分野】
本発明は、情報抽出装置および方法、情報合成装置および方法、並びに記録媒体に関し、特に、正確、かつ、高効率で、周波数成分の抽出または合成ができるようにする情報抽出装置および方法、情報合成装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来、音響信号等の周波数分析手法として、一般調和解析（Generalized Harmonic Analysis）が用いられている。この手法は、分析区間内の元の時系列信号から、分析区間内で残差エネルギーが最小となる最も優勢な正弦波を抽出し、その残差成分を入力として、同様の処理を繰り返す手法である。一般調和解析は、N.Weiner, "The Fourier integral and certain of its applications", Dover Publications, Inc., (1958)に述べられている。
【０００３】
この一般調和解析によれば、分析窓（分析区間）の影響を受けないため、入力信号のわずかな周波数変動に対しても、正確な周波数成分の抽出が可能である。また、分析区間と周波数の分解能は、それぞれ独立に設定することが可能であり、分析区間を越えて、信号を予測することが可能となる。
【０００４】
そこで、音響信号等の時系列信号を周波数分析し、特定の周波数成分を抽出する装置として、一般調和解析を用いた周波数成分抽出装置が考えられている。
【０００５】
図１は、従来の周波数成分抽出装置の構成例を示すブロック図である。
【０００６】
入力信号分割部１１は、入力信号として、例えば、音響時系列信号が入力されたとき、それを所定の分析区間に分割し、得られた入力時系列信号を周波数分析部１２、および減算器１４に供給する。
【０００７】
周波数分析部１２は、入力されてきた入力時系列信号に対して一般調和解析を用いて分析を行い、分析区間における主要な周波数成分についての振幅や位相などの抽出波形情報を生成し、抽出波形合成部１３、および周波数成分抽出装置１の外部に設けられる、例えば、図示せぬデータ圧縮部に出力する。
【０００８】
抽出波形合成部１３は、周波数分析部１２から供給されてきた複数の抽出波形情報に基づいて所定の波形合成を行い、得られた抽出波形時系列信号を減算器１４に出力する。
【０００９】
減算器１４は、抽出波形合成部１３から供給されてきた抽出波形時系列信号と、入力信号分割部１１から供給されてきた入力時系列信号に基づいて、時間領域において減算し、得られた残差時系列信号を周波数成分抽出装置１の外部に設けられる後段の装置に出力する。
【００１０】
次に、図１の周波数成分抽出装置１の動作について、図２のフローチャートを参照して説明する。また、生成される各信号について、適宜、図３Aを用いて説明する。なお、図３Aにおいては、入力時系列信号にアタック（急な立ち上がり）、またはリリース（急な立ち下がり）がない場合の信号の例である。
【００１１】
ステップS１において、入力信号分割部１１は、入力されてきた音響時系列信号を、所定の分析区間に分割し、生成した入力時系列信号を周波数分析部１２、および減算器１４に出力する。例えば、図３Aに示すように、入力信号分割部１１は、音響時系列信号を分析区間Lで分割し、その結果得られた入力時系列信号s１を周波数分析部１２、および減算器１４に出力する。
【００１２】
入力時系列信号を受信した周波数分析部１２は、ステップS２において、その周波数成分を入力時系列信号から抽出したときに、残差信号のエネルギーが最小となる周波数成分を算出する。すなわち、周波数分析部１２は、ステップS２で、分析区間の全ての周波数（所定のサンプル数の小区間毎の周波数）に対して残差信号のエネルギーを算出し、残差信号のエネルギーが最小となる周波数を取得する。
【００１３】
ステップS３において、周波数分析部１２は、ステップS２で算出した周波数に対応する純音信号を、入力時系列信号から差し引き、残差信号を生成する。そして、周波数分析部１２は、ステップS４において、ステップS２で算出した周波数に対応する抽出波形情報を生成し、抽出波形合成部１３に供給する。抽出波形情報には、抽出した周波数成分に対応する信号の、周波数、振幅、および位相などの情報が含まれる。また、周波数分析部１２は、周波数成分抽出装置１の外部に設けられている図示せぬ装置に抽出波形情報を出力する。
【００１４】
ステップS５において、周波数分析部１２は、ステップS３で生成した残差信号のエネルギー（残差エネルギー）を算出し、所定の閾値より小さいか否かを判定し、残差エネルギーが、所定の閾値より大きいと判定した場合、ステップS６に進む。
【００１５】
ステップS６において、周波数分析部１２は、残差信号を入力信号とし、ステップS２に戻り、それ以降の処理を繰り返し実行する。すなわち、抽出波形合成部１３には、ステップS２乃至S６の処理が繰り返された回数に対応する複数の抽出波形情報が供給される。
【００１６】
ステップS５において、周波数分析部１２は、残差エネルギーが、所定の閾値より小さいと判定した場合、ステップS７に進む。
【００１７】
抽出波形合成部１３は、ステップS７において、周波数分析部１２から供給されてきた複数の抽出波形情報に基づいて、所定の波形合成を行い、抽出波形時系列信号を生成する。抽出波形合成部１３は、例えば、図３Aに示されるような抽出波形時系列信号s２を生成する。入力時系列信号s１にアタックまたはリリースが含まれていない場合、入力時系列信号s１と抽出波形時系列信号s２は、概略同一の波形となる。
【００１８】
ステップS７で生成された抽出波形時系列信号は、減算器１４に出力され、ステップS８において、入力信号分割部１１から供給されてきた入力時系列信号との差分から、残差時系列信号が生成される。すなわち、残差時系列信号s３は、図３Aに示すように、概略定常的な波形となり、ステップS９で、図示せぬ後段の装置に出力される。
【００１９】
ところで、周波数分析部１２により分析され、後段に出力される抽出波形情報は、符号化されて蓄積または伝送されることになるため、データ量の観点から、周波数成分の数がより少ないことが好ましい。
【００２０】
【発明が解決しようとする課題】
しかしながら、分析区間内の入力時系列信号にアタックまたはリリースが含まれている場合、そのアタックまたはリリースを限られた数の周波数成分で表現することは困難である。
【００２１】
例えば、図３Bに示すように、入力時系列信号ｓ１１にアタックまたはリリースが含まれている場合、抽出波形合成部１３に、アタックまたはリリースの波形を正確に表現できる情報を供給することができないため、残差時系列信号s１３において、アタックまたはリリースが発生している部分の前後に、本来存在しない成分が現れ、効率よく周波数成分の抽出を行うことができない。
【００２２】
本発明は、このような状況に鑑みてなされたものであり、正確、かつ、高効率で、周波数成分の抽出または合成ができるようにしたものである。
【００２３】
【課題を解決するための手段】
本発明の第１の情報抽出装置は、入力信号を所定の区間に分割する入力信号分割手段と、入力信号分割手段により分割された入力信号の振幅値を算出する振幅値算出手段と、振幅値算出手段により算出された振幅値に基づいて、分析区間を設定する分析区間設定手段と、分析区間設定手段により設定された分析区間の入力信号の波形情報を抽出する波形情報抽出手段と、波形情報抽出手段により抽出された波形情報に基づいて、合成波形を生成する合成波形生成手段と、合成波形生成手段により生成された合成波形に、分析区間設定手段により設定された分析区間外の領域に対応する信号を補完する補完手段と、入力信号分割手段により分割された入力信号と、補完手段により分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成手段とを備えることを特徴とする。
【００２５】
補完手段は、分析区間外の領域に対応する信号を、一定のレベルの信号で補完するようにすることができる。
【００２６】
振幅値算出手段は、入力信号のアタック位置を検出し、分析区間設定手段は、振幅値算出手段により検出された入力信号のアタック位置を、分析区間の開始位置として設定するようにすることができる。
【００２７】
振幅値算出手段は、入力信号のリリース位置を検出し、分析区間設定手段は、振幅値算出手段により検出された入力信号のリリース位置を、分析区間の終了位置として設定するようにすることができる。
振幅値算出手段は、入力信号分割手段により分割された区間をさらに分割した小区間のうちの前方の小区間の入力信号の振幅値から算出してアタック位置を検出し、後方の小区間の入力信号の振幅値から算出してリリース位置を検出するようにすることができる。
【００２８】
波形情報抽出手段は、分析区間設定手段により設定された分析区間の入力信号に対して、一般調和解析を用いることにより波形情報を抽出するようにすることができる。
【００２９】
合成波形生成手段は、合成波形の一部に、所定の関数を乗算することができる。
【００３０】
本発明の第１の情報抽出装置の情報抽出方法は、入力信号を所定の区間に分割する入力信号分割ステップと、入力信号分割ステップの処理により分割された入力信号の振幅値を算出する振幅値算出ステップと、振幅値算出ステップの処理により算出された振幅値に基づいて、分析区間を設定する分析区間設定ステップと、分析区間設定ステップの処理により設定された分析区間の入力信号の波形情報を抽出する波形情報抽出ステップと、波形情報抽出ステップの処理により抽出された波形情報に基づいて、合成波形を生成する合成波形生成ステップと、合成波形生成ステップの処理により生成された合成波形に、分析区間設定ステップの処理により設定された分析区間外の領域に対応する信号を補完する補完ステップと、入力信号分割ステップの処理により分割された入力信号と、補完ステップの処理により分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成ステップとを含むことを特徴とする。
【００３１】
本発明の第１の記録媒体に記録されたプログラムは、入力信号を所定の区間に分割する入力信号分割ステップと、入力信号分割ステップの処理により分割された入力信号の振幅値を算出する振幅値算出ステップと、振幅値算出ステップの処理により算出された振幅値に基づいて、分析区間を設定する分析区間設定ステップと、分析区間設定ステップの処理により設定された分析区間の入力信号の波形情報を抽出する波形情報抽出ステップと、波形情報抽出ステップの処理により抽出された波形情報に基づいて、合成波形を生成する合成波形生成ステップと、合成波形生成ステップの処理により生成された合成波形に、分析区間設定ステップの処理により設定された分析区間外の領域に対応する信号を補完する補完ステップと、入力信号分割ステップの処理により分割された入力信号と、補完ステップの処理により分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成ステップとを含むことを特徴とする。
【００３２】
本発明の第１の情報処理装置および方法、並びに記録媒体に記録されたプログラムにおいては、入力信号が所定の区間に分割され、分割された入力信号の振幅値が算出され、算出された振幅値に基づいて、分析区間が設定され、設定された分析区間の入力信号の波形情報が抽出され、抽出された波形情報に基づいて、合成波形が生成され、生成された合成波形に、分析区間外の領域に対応する信号が補完され、分割された入力信号と、分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号が生成される。
【００３３】
本発明の第２の情報抽出装置は、入力信号を所定の区間に分割する入力信号分割手段と、入力信号分割手段により分割された入力信号の振幅値を算出する振幅値算出手段と、振幅値算出手段により算出された振幅値に基づいて、分析区間を設定する分析区間設定手段と、分析区間設定手段により設定された分析区間の入力信号の所定の周波数の波形情報を抽出する波形情報抽出手段と、波形情報抽出手段により抽出された周波数の波形情報に基づいて、合成波形を生成する合成波形生成手段と、合成波形生成手段により生成された合成波形に、分析区間設定手段により設定された分析区間外の領域に対応する信号を補完する補完手段と、入力信号分割手段により分割された入力信号と、補完手段により分析区間外の領域に対応する信号が補完された信号とに基づいて、残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号のエネルギーを所定の閾値と比較する比較手段と、比較手段による比較結果に基づいて、残差信号を、入力信号に代えて振幅値算出手段にフィードバックするフィードバック手段とを備えることを特徴とする。
【００３４】
本発明の第２の情報抽出装置においては、入力信号が所定の区間に分割され、分割された入力信号の振幅値が算出され、算出された振幅値に基づいて、分析区間が設定され、設定された分析区間の入力信号の所定の周波数の波形情報が抽出され、抽出された周波数の波形情報に基づいて、合成波形が生成され、分割された入力信号と、生成された合成波形に基づいて、残差信号が生成され、生成された残差信号のエネルギーが所定の閾値と比較され、比較結果に基づいて、残差信号が、入力信号に代えてフィードバックされる。
【００３５】
本発明の情報合成装置は、入力信号を所定の区間に分割し、分割区間内における抽出区間を入力信号の振幅値に基づいて設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、合成波形に、抽出区間外の領域に対応する信号を補完し、分割区間の信号と抽出区間外の領域に対応する信号が補完された信号とに基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間を設定する合成区間設定手段と、前記波形情報から合成信号を生成する合成信号生成手段と、合成波形生成手段により生成された合成波形に、合成区間設定手段により設定された合成区間外の領域に対応する信号を補完する補完手段と、残差信号と、補完手段により合成区間外の領域に対応する信号が補完された合成信号とに基づいて再生信号を生成する再生信号生成手段とを備えることを特徴とする。
【００３７】
補完手段は、分析区間外の領域に対応する信号を、一定のレベルの信号で補完するようにすることができる。
【００３８】
合成区間設定手段は、抽出区間に関する情報に基づいて、入力信号のアタック位置を、合成区間の開始位置として設定するようにすることができる。
【００３９】
合成区間設定手段は、抽出区間に関する情報に基づいて、入力信号のリリース位置を、合成区間の終了位置として設定するようにすることができる。
【００４０】
本発明の情報合成装置の情報合成方法は、入力信号を所定の区間に分割し、分割区間内における抽出区間を入力信号の振幅値に基づいて設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、合成波形に、抽出区間外の領域に対応する信号を補完し、分割区間の信号と抽出区間外の領域に対応する信号が補完された信号とに基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、波形情報から合成信号を生成する合成信号生成ステップと、合成信号生成ステップの処理により生成された合成信号に、合成区間設定ステップの処理により設定された合成区間外の領域に対応する信号を補完する補完ステップと、残差信号と、補完ステップの処理により合成区間外の領域に対応する信号が補完された合成信号とに基づいて再生信号を生成する再生信号生成ステップとを含むことを特徴とする。
【００４２】
補完ステップは、分析区間外の領域に対応する信号を、一定のレベルの信号で補完することができる。
【００４３】
合成区間設定ステップは、抽出区間に関する情報に基づいて、入力信号のアタック位置を、合成区間の開始位置として設定することができる。
【００４４】
合成区間設定ステップは、抽出区間に関する情報に基づいて、入力信号のリリース位置を、合成区間の終了位置として設定することができる。
【００４５】
本発明の第２の記録媒体に記録されたプログラムは、入力信号を所定の区間に分割し、分割区間内における抽出区間を入力信号の振幅値に基づいて設定し、抽出区間の波形情報を抽出し、抽出された波形情報から合成波形を生成し、合成波形に、抽出区間外の領域に対応する信号を補完し、分割区間の信号と抽出区間外の領域に対応する信号が補完された信号とに基づいて残差信号を生成する情報抽出装置から、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間を設定する合成区間設定ステップと、波形情報から合成信号を生成する合成信号生成ステップと、合成信号生成ステップの処理により生成された合成信号に、合成区間設定ステップの処理により設定された合成区間外の領域に対応する信号を補完する補完ステップと、残差信号と、補完ステップの処理により合成区間外の領域に対応する信号が補完された合成信号とに基づいて再生信号を生成する再生信号生成ステップとを含むことを特徴とする。
【００４６】
本発明の情報合成装置および情報合成方法、並びに第２の記録媒体に記録されたプログラムにおいては、抽出区間に関する情報と、波形情報と、残差信号とを受け取り、抽出区間に関する情報に基づいて合成区間が設定され、波形情報から合成信号が生成され、合成信号に、合成区間外の領域に対応する信号が補完され、残差信号と、合成区間外の領域に対応する信号が補完された合成信号とに基づいて再生信号が生成される。
【００４７】
【発明の実施の形態】
【００４８】
図４は、本発明を適用した周波数成分抽出装置の構成例を示すブロック図である。
【００４９】
入力信号分割部３１は、入力信号として、例えば、音響時系列信号が入力されたとき、それを所定の区間に分割し、得られた入力時系列信号を振幅分析部３２、および減算器３７に供給する。
【００５０】
振幅分析部３２は、入力信号分割部３１から供給されてきた入力時系列信号の所定の小区間毎の振幅値を算出し、その振幅値の変化から、入力時系列信号にアタックまたはリリースが含まれているか否かを判定する。また、振幅分析部３２は、アタックまたはリリースを検出したとき、それらの発生位置に関する情報として、アタック／リリース情報を生成し、分析区間設定部３３、時系列補完部３６、および周波数成分抽出装置２１の外部に設けられている図示せぬ装置に出力する。
【００５１】
分析区間設定部３３は、振幅分析部３２から供給されてきたアタック／リリース情報に基づいて、アタック位置からリリース位置までの区間を、入力時系列信号の分析区間として設定する。すなわち、入力時系列信号全体の振幅に比べて、その振幅が微小なまま大きく変化しない区間については、分析区間から除かれる。また、入力時系列信号にアタックまたはリリースが含まれていない場合、入力信号分割部３１により分割された区間が分析区間とされる。
【００５２】
周波数分析部３４は、供給されてきた入力時系列信号に対して一般調和解析を用いて分析を行い、分析区間における主要な周波数成分についての振幅や位相などの抽出波形情報を生成し、抽出波形合成部３５、および周波数成分抽出装置２１の外部に設けられる図示せぬ装置に出力する。
【００５３】
抽出波形合成部３５は、周波数分析部３４から供給されてきた複数の抽出波形情報に基づいて所定の波形合成を行い、得られた抽出波形時系列信号を時系列補完部３６に出力する。
【００５４】
時系列補完部３６は、振幅分析部３２から供給されてきたアタック／リリース情報に基づいて、分析区間設定部３３により、分析区間から除かれた区間の信号を補完する。すなわち、入力信号分割部３１により分割された分割区間のうち、分析区間設定部３３により設定された分析区間に対応しない区間の信号については、その振幅値は、微少なままほとんど変化していないため、時系列補完部３６により一定のレベルの例えば「０」レベルの信号が補完される。時系列補完部３６により生成された分割区間全体に渡る抽出波形時系列信号は、減算器３７に出力される。
【００５５】
減算器３７は、時系列補完部３６から供給されてきた抽出波形時系列信号と、入力信号分割部３１から供給されてきた入力時系列信号から残差時系列信号を生成し、周波数成分抽出装置２１の外部に設けられる後段の装置に出力する。
【００５６】
次に、図５のフローチャートを参照して、図４の周波数成分抽出装置２１の動作について説明する。また、説明において、適宜、図６および図７を参照する。
【００５７】
ステップS２１において、入力信号分割部３１は、入力されてきた音響時系列信号を所定の区間に分割し、生成した入力時系列信号を振幅分析部３２、および減算器３７に出力する。例えば、入力信号分割部３１は、音響時系列信号を、図６A，Bに示すように分割区間L’で分割し、入力時系列信号s３１またはs４１を振幅分析部３２、および減算器３７に出力する。なお、後述するように、図６A（アタックおよびリリースがない場合）においては、分割区間L’と分析区間Lは同一の区間となり、図６B（アタックまたはリリースがある場合）においては、分割区間L’と分析区間Lは異なった区間となる。
【００５８】
振幅分析部３２は、ステップS２２において、供給されてきた入力時系列信号をさらに小区間に分割し、それぞれの小区間における振幅値を時間的に前の小区間から、順次、算出する。例えば、振幅分析部３２は、図７に示すように、入力時系列信号を0乃至M-1のM個の小区間に等分し、それぞれの振幅値Am（m＝0,1,2,…,M-1）を算出する。
【００５９】
ステップS２３において、振幅分析部３２は、ステップS２２で算出した振幅値を比較することにより、アタック部を検出したか否かを判定する。振幅分析部３２は、例えば、入力時系列信号の最大振幅値をAmaxとし、Amaxに対するm番目の小区間の振幅値Amとの比を、m=0,1,2,…,M-1の順に算出し、m＝0のときに予め設定した比Rattackより大きいか否かを判定することによりアタック部を検出する。すなわち、振幅分析部３２は、次式（１）に対応する振幅値の変化を検出したとき、ステップS２３において、アタック部を検出したと判定し、ステップS２４に進む。
【００６０】
0004207568.tif 000002
【００６１】
振幅分析部３２により検出されたアタック位置に関する情報は、分析区間設定部３３に供給される。
【００６２】
ステップS２４において、分析区間設定部３３は、アタック部が検出された小区間を、分析区間の開始位置として設定する。例えば、分析区間設定部３３は、図７に示すように、Amaxに対するm＝３の小区間の振幅値A3の比がRattackを越えたとき、m=3番目の小区間を分析区間Lの開始位置P1として設定する。
【００６３】
一方、振幅分析部３２は、ステップS２３で、アタック位置を検出していないと判定した場合、ステップS２５に進む。
【００６４】
ステップS２５において、分析区間設定部３３は、分割区間L’の開始位置（t=0）を分析区間Lの開始位置P1として設定する。
【００６５】
ステップS２６において、振幅分析部３２は、それぞれの小区間における振幅値を時間的に後の小区間から、順次、算出し、算出結果に基づいて、ステップS２７で、リリース部を検出したか否かを判定する。振幅分析部３２は、例えば、Amaxに対するm番目の振幅値Amの比をm＝M-1,M-2,…,0の順に算出し、m＝Mのときに予め設定した比Rreleaseより大きいか否かを判定することにより、リリース部を検出する。すなわち、振幅分析部３２は、次式（２）に対応する振幅値の変化を検出したとき、ステップS２７において、リリース部を検出したと判定し、ステップS２８に進む。
【００６６】
0004207568.tif 000003
【００６７】
ステップS２８において、分析区間設定部３３は、リリース部が検出された小区間を、分析区間の終了位置として設定する。例えば、分析区間設定部３３は、図７に示すように、Amaxに対するm＝M-4の小区間の振幅値AM-4の比がRreleaseを越えたとき、M-4番目の小区間を分析区間Lの終了位置P2として設定する。これにより、分割区間L’のうち、P1乃至P2の区間が分析区間Lとされる。
【００６８】
一方、振幅分析部３２は、ステップS２７で、リリース位置を検出していないと判定した場合、ステップS２９に進む。
【００６９】
ステップS２９において、分析区間設定部３３は、分割区間L’の終了位置（t＝t’）を分析区間Lの終了位置P2として設定する。すなわち、アタックがなければ分割区間L’と分析区間Lは、同一の区間となる。これらのアタック／リリース情報は、時系列補完部３６、および周波数成分抽出装置２１の外部に設けられている図示せぬ装置にも供給される。
【００７０】
ステップS３０において、周波数分析部３４は、その周波数成分を入力時系列信号から抽出したときに、残差信号のエネルギーが最小となる入力時系列信号の周波数成分を算出する。例えば、入力時系列信号をx0(t)とし、周波数fの純音波形を抽出したときの残差信号RSf(t)は、次式（３）で表される。
【００７１】
0004207568.tif 000004
ただし、P1≦t<P2である。
【００７２】
また、式（３）において、分析区間設定部３４により設定された分析区間P1乃至P2のsin項の振幅値Sfは式（４）で表され、cos項の振幅値Cfは式（５）で表される。
【００７３】
0004207568.tif 000005
【００７４】
0004207568.tif 000006
【００７５】
さらに、式（３）で表される残差信号RSf(t)の残差信号エネルギーEfは次式（６）で表される。
【００７６】
0004207568.tif 000007
【００７７】
すなわち、周波数分析部３４は、ステップS３０で、分析区間の全ての周波数に対して式（６）により残差信号エネルギーEfを算出し、それぞれの値を比較することにより、残差信号エネルギーEfが最小となる周波数f1を取得する。
【００７８】
ステップS３１において、周波数分析部３４は、ステップS３０で取得した周波数f1に対応する純音波形を入力時系列信号x0(t)から減算し、残差信号を生成する。すなわち、周波数分析部３４は、次式（７）に基づいて残差信号x1(t)を生成する。
【００７９】
0004207568.tif 000008
【００８０】
また、周波数分析部３４は、上述した式（４）と式（５）から、周波数f1に対応する式（３）のsin項の振幅値Sf1、およびcos項の振幅値Cf1を算出し、抽出波形情報を生成する。また、生成される抽出波形情報には、式（８）、式（９）、および式（１０）により算出される周波数f1の振幅値Af1や位相Pf1が含まれるようにしてもよい。
【００８１】
0004207568.tif 000009
0004207568.tif 000010
0004207568.tif 000011
【００８２】
上述した式により算出された抽出波形情報は、ステップS３２において、抽出波形合成部３５に供給される。
【００８３】
ステップS３３において、周波数分析部３４は、式（７）で示した残差信号x1(t)の残差エネルギーを算出し、所定の閾値より小さいか否かを判定する。周波数分析部３４は、例えば、残差信号x1(t)の残差エネルギーが、入力時系列信号の信号エネルギーからX（dB）だけ減算した閾値より下回っているか否かを判定する。
【００８４】
周波数分析部３４は、ステップS３３で、残差信号x1(t)の残差エネルギーEf1が所定の閾値より大きいと判定した場合、ステップS３４に進み、残差信号x1(t)を入力時系列信号x0(t)としてステップS３０に戻り、上述した処理を繰り返す。すなわち、周波数分析部３４により生成された抽出波形情報が、繰り返し、抽出波形合成部３５に供給されることとなる。なお、ステップS３０乃至S３４の処理が繰り返し実行される回数は、予め設定された一定の回数とし、予め設定された回数に達した場合には、ステップＳ３５に進んでもよい。
【００８５】
一方、ステップS３３において、周波数分析部３４は、残差信号x1(t)の残差エネルギーEf1が所定の閾値より小さいと判定した場合、ステップS３５に進む。
【００８６】
ステップS３５において、抽出波形合成部３５は、周波数分析部３４から供給されてきた複数の抽出波形情報に基づいて、所定の合成処理を実行し、分析区間の抽出波形時系列信号を生成する。抽出波形合成部１３は、例えば、N個の抽出波形情報が供給されてきたとき、次式（１１）に基づいて、抽出波形時系列信号E’S(t)を生成する。
【００８７】
0004207568.tif 000012
【００８８】
すなわち、入力時系列信号にアタックまたはリリースが含まれている場合には、図６Bに示すように、分析区間L（アタックからリリースまでの区間）における抽出波形時系列信号s４２が、抽出波形合成部３５により生成される。また、入力時系列信号にアタックおよびリリースが含まれていない場合には、図６Aに示すように、入力時系列信号s３１と、同一の区間の抽出波形時系列信号s３２が生成される。
【００８９】
生成された抽出波形時系列信号E’S(t)は、時系列補完部３６に供給され、ステップS３６において、アタック部またはリリース部が検出されたか否かが判定され、検出されたと判定された場合、ステップS３７に進む。
【００９０】
ステップS３７において、時系列補完部３６により、抽出波形時系列信号の分析区間外の信号が例えば「０」レベルの信号で補完され、分割区間全体の抽出波形時系列信号が生成される。入力時系列信号にアタックまたはリリースが含まれている場合には、図６Bに示すように、分析区間以外（t=0乃至t=P1の区間、およびt=P2乃至t=t’の区間）の信号は、補完時系列信号s４３で補完され、抽出波形時系列信号s４４が生成される。なお、生成された抽出波形時系列信号s４４（ES(t)）は、次式（１２）で示される。
0004207568.tif 000013
【００９１】
また、分析区間L（P1乃至P2）において、抽出波形時系列信号s４２に不連続点が生じてしまうことがある。これに対しては、抽出波形合成部３５において、短い区間で関数を乗算することにより、信号の振幅を徐々に変化させるなどして回避するようにしてもよい。この場合、抽出波形時系列信号s４４は次式（１３）で示される。
0004207568.tif 000014
ただし、KはLに対して十分小さいものとする。
【００９２】
時系列補完部３６により生成された抽出波形時系列信号は、減算器３７に出力される。
【００９３】
一方、ステップS３６において、入力時系列信号には、アタック部またはリリース部が含まれていないと時系列補完部３６により判定された場合、ステップS３７の処理はスキップされ、信号の補完はされずに、図６Aに示すような入力時系列信号s３１と同一の区間の抽出波形時系列信号s３２が減算器３７に出力される。
【００９４】
減算器３７は、ステップS３８において、入力信号分割部３１から供給されてきた入力時系列信号と、時系列補完部３６から供給されてきた抽出波形時系列信号に基づいて、残差時系列信号RS(t)を生成する。残差時系列信号RS(t)は、次式（１４）により示される。
0004207568.tif 000015
【００９５】
ステップS３８で生成された残差時系列信号RS(t)は、ステップS３９において、周波数成分分析装置２１の外部に設けられている図示せぬ装置に出力される。
【００９６】
このように分析区間を設定して周波数分析することにより、アタック部、リリース部が含まれている入力時系列信号であっても、図６Bの残差時系列信号s４５に示すような残差時系列信号を後段の装置に供給することができる。すなわち、入力された音響時系列信号を、正確、かつ高効率に分析することができる。
【００９７】
図８は、上述した周波数成分抽出装置２１により生成された各種の情報に基づいて、音響時系列信号を再生する周波数成分合成装置５１の構成例を示すブロック図である。
【００９８】
合成区間設定部６１は、周波数成分抽出装置２１から供給されてきた抽出波形情報と、アタック／リリース情報に基づいて、後段の波形合成部６２において行われる波形合成処理の区間（合成区間）を設定する。
【００９９】
波形合成部６２は、合成区間設定部６１により設定された合成区間において、抽出波形情報に基づいて波形合成を行い、生成した合成波形時系列信号を時系列補完部６３に供給する。
【０１００】
時系列補完部６３は、供給されたアタック／リリース情報に基づいて、供給されてきた合成波形時系列信号に対して、適宜、合成区間外の信号を補完する。
【０１０１】
加算器６４は、周波数成分抽出装置２１から供給されてきた残差時系列信号と、時系列補完部６３から供給されてきた合成波形時系列信号を加算し、生成した所定区間の合成波形時系列信号を出力信号合成部６５に出力する。
【０１０２】
出力信号合成部６５は、加算器６４から供給されてきた所定区間の複数の合成波形時系列信号を合成することにより音響時系列信号を再生し、周波数成分合成装置５１の外部の装置に出力する。
【０１０３】
次に、図９のフローチャートを参照して、図８の周波数成分合成装置５１の動作について説明する。また、説明において、適宜、図１０A，Bを参照する。
【０１０４】
ステップS５１において、合成区間設定部６１は、周波数成分抽出装置２１から、アタック情報が供給されてきたか否かを判定し、供給されてきたと判定した場合、ステップS５２に進む。
【０１０５】
合成区間設定部６１は、ステップS５２において、供給されたアタック情報に基づいて、アタック位置を合成区間の開始位置として設定する。例えば、図１０Bに示すように、抽出波形情報を合成したときの所定の区間を時刻t=0乃至t=t’とした場合、合成区間Lの開始位置はP1として設定される。
【０１０６】
一方、合成区間設定部６１は、ステップS５２で、アタック情報が供給されていないと判定した場合、ステップS５３に進み、区間の開始位置を合成区間の開始位置として設定する。例えば、図１０Aに示すように、抽出波形情報を合成したときの所定の区間の開始位置と合成区間Lの開始位置P1は同一とされる。
【０１０７】
ステップS５４において、合成区間設定部６１は、周波数成分抽出装置２１からリリース情報が供給されてきたか否かを判定し、供給されてきたと判定した場合、ステップS５５に進む。
【０１０８】
合成区間設定部６１は、ステップS５５において、供給されたリリース情報に基づいて、リリース位置を合成区間の終了位置として設定する。例えば、図１０Bに示すように、合成区間Lの終了位置はP2として設定される。これにより、P1乃至P2の区間が、合成区間Lとして設定される。
【０１０９】
一方、合成区間設定部６１は、ステップS５４で、リリース情報が供給されていないと判定した場合、ステップS５６に進み、区間の終了位置を合成区間の終了位置として設定する。例えば、図１０Aに示すように、合成区間Lの終了位置はP2として設定される。
【０１１０】
ステップS５７において、波形合成部６２は、合成区間設定部６１により設定された合成区間に基づいて、供給されてきた抽出波形情報を合成し、合成区間の合成波形時系列信号を生成する。波形合成部６２に供給される抽出波形情報は、例えば、N個の周波数成分の波形情報であり、上述した式（８）、式（９）、および式（１０）で示される。すなわち、波形合成部６２は、これらの式により示される抽出波形情報を、次式（１５）により合成し、合成波形時系列信号を生成する。
0004207568.tif 000016
ただし、P1≦t<P2である。
【０１１１】
例えば、アタック／リリース情報が供給されていない場合、図１０Aに示すように、合成区間Lの合成波形時系列信号s５２が生成され、アタック／リリース情報が供給された場合、図１０Bに示すように、P1乃至P2の合成区間Lの合成波形時系列信号s６２が生成される。ステップS５７で生成された合成区間の合成波形時系列信号は、時系列補完部６３に供給される。
【０１１２】
ステップS５８において、時系列補完部６３は、周波数成分分析装置２１から供給されてきたアタック／リリース情報に基づいて、合成波形時系列信号には、アタックまたはリリースが含まれているか否かを判定する。
【０１１３】
時系列補完部６３は、ステップS５８で、アタックまたはリリースが合成波形時系列信号に含まれていると判定した場合、ステップS５９に進み、合成区間外の信号を例えば「０」レベルの信号で補完する。すなわち、図１０Bに示すように、合成区間外（t=0乃至t=P1およびt=P2乃至t=t’の区間）の信号は、補完時系列信号s６３とされ、合成波形時系列信号s６２に補完されて、合成波形時系列信号s６４が生成される。
【０１１４】
一方、ステップS５８において、合成波形時系列信号に、アタックまたはリリースが含まれていないと判定された場合、ステップS５９の処理はスキップされ、ステップS６０に進む。
【０１１５】
補完された合成波形時系列信号は、加算器６４に供給され、ステップS６０において、周波数成分抽出装置２１から供給されてきた残差信号と加算される。すなわち、図１０A，Bに示すような、合成波形時系列信号s５３，s６５が生成される。
【０１１６】
ステップS６１において、出力信号合成部６５は、加算器６４から供給されてきた複数の合成波形時系列信号を合成し、音響時系列信号を生成し、周波数成分合成装置５１の外部に設けられる図示せぬ装置に出力する。上述した処理により、周波数成分抽出装置２１により処理された音響時系列信号に対応する信号を再生することができる。
【０１１７】
図１１および図１２は、本発明を適用した周波数成分抽出装置の他の構成例を示すブロック図である。すなわち、一般調和解析は、周波数成分を１本ずつ抽出するものであるため、図４に示す周波数成分抽出装置２１は、図１１および図１２のように構成することもできる。
【０１１８】
図１１において、入力信号分割部８１は、入力信号として、例えば、音響時系列信号が入力されたとき、所定の区間に分割し、得られた入力時系列信号を振幅分析部８２、および周波数成分抽出部８３に供給する。
【０１１９】
振幅分析部８２は、入力信号分割部８１から供給されてきた入力時系列信号の所定の小区間毎の振幅値を算出し、その振幅値の変化から、入力時系列信号にアタックまたはリリースが含まれているか否かを判定する。振幅分析部８２は、検出したアタックまたはリリースの位置に関する情報として、アタック／リリース情報を生成し、周波数成分抽出部８３、および周波数成分抽出装置７１の外部に設けられている図示せぬ装置に出力する。
【０１２０】
周波数成分抽出部８３は、供給されてきた入力時系列信号とアタック／リリース情報に基づいて、一般調和解析により周波数成分を抽出し、残差時系列信号と抽出波形情報を生成して、後段の装置に出力する。
【０１２１】
図１２は、周波数成分抽出部８３の詳細な構成例を示すブロック図である。
【０１２２】
スイッチ９１は、残差エネルギー判定部９７からの指示に基づいて、接点を切替え、分析区間設定部９２乃至減算器９６で処理される入力時系列信号を選択する。
【０１２３】
分析区間設定部９２は、振幅分析部８２から供給されてきたアタック／リリース情報に基づいて、アタック位置からリリース位置までの区間を、入力時系列信号の分析区間として設定する。また、入力時系列信号に、アタックおよびリリースが含まれていない場合、入力信号分割部８１により分割された区間が分析区間となる。
【０１２４】
周波数分析部９３は、供給されてきた入力時系列信号に対して一般調和解析を用いて分析を行い、入力時系列信号から、それを抽出したときに残差エネルギーが最小となる周波数成分を算出する。また、周波数分析部９３は、算出した周波数成分に対応する抽出波形情報を、正弦波合成部９４、および周波数成分抽出装置７１の外部に設けられる図示せぬ装置に出力する。
【０１２５】
正弦波合成部９４は、周波数分析部９３から供給されてきた抽出波形情報に基づいて所定の波形合成を行い、得られた抽出波形時系列信号を時系列補完部９５に出力する。
【０１２６】
時系列補完部９５は、振幅分析部８２から供給されてきたアタック／リリース情報に基づいて、正弦波合成部９４から供給されてきた抽出波形時系列信号に対して、信号を補完し、得られた信号を減算器９６に出力する。
【０１２７】
減算器９６は、スイッチ９１から供給されてきた入力時系列信号と、時系列補完部９５から供給されてきた抽出波形時系列信号との差分から、残差時系列信号を生成し、残差エネルギー判定部９７に出力する。
【０１２８】
残差エネルギー判定部９７は、残差時系列信号の残差エネルギーを算出し、適宜、内蔵するスイッチを切り替えて、スイッチ９１、または周波数成分抽出装置７１の外部の装置に残差時系列信号を出力する。
【０１２９】
次に、図１３のフローチャートを参照して、図１１の周波数成分抽出装置７１の動作について説明する。
【０１３０】
ステップS７１乃至S７９の処理は、図４を参照して説明したステップS２１乃至S２９の処理と、基本的に同様の処理である。すなわち、ステップS７１で入力信号分割部８１により分割された入力時系列信号は、振幅分析部８２に供給され、入力時系列信号にアタックまたはリリースが含まれているか否かが検出される。アタックおよびリリースが検出されたとき、アタック位置からリリース位置までが周波数成分の分析区間として、分析区間設定部９２により設定され、周波数分析部９３に通知される。また、アタックおよびリリースが検出されないとき、入力信号分割部８１により分割された区間が分析区間とされる。
【０１３１】
ステップS８０において、周波数分析部９３は、分析区間設定部９２により設定された分析区間に基づいて、その周波数成分を、入力時系列信号から差し引いたときの残差信号のエネルギーが最小となる周波数成分を算出する。
【０１３２】
ステップS８１において、周波数分析部９３は、ステップS８０で算出した周波数成分の波形情報から生成した抽出波形情報を、正弦波合成部９４に供給する。正弦波合成部９４は、ステップS８２で、供給されてきた抽出波形情報を合成する。
【０１３３】
時系列補完部９５は、振幅分析部８２から供給されてきたアタック／リリース情報に基づいて、入力時系列信号にはアタックまたはリリースが含まれているか否かを判定し、アタックまたはリリースが含まれていると判定した場合、ステップS８４で、上述したように、分析区間外の信号を「０」レベルの信号で補完する。生成された抽出波形時系列信号は、減算器９６に供給される。
【０１３４】
一方、ステップS８３において、入力時系列信号にアタックおよびリリースが含まれていないと判定されたとき、ステップS８４の処理はスキップされる。
【０１３５】
ステップS８５において、減算器９６は、スイッチ９１から供給されてきた入力時系列信号と、時系列補完部９５から供給されてきた抽出波形時系列信号に基づいて、残差時系列信号を生成し、残差エネルギー判定部９７に出力する。
【０１３６】
ステップS８６において、残差エネルギー判定部９７は、供給されてきた残差時系列信号のエネルギーを、上述した式（６）により算出し、所定の閾値より小さいか否かを判定する。
【０１３７】
残差エネルギー判定部９７は、ステップS８６で、残差エネルギーが所定の閾値より大きいと判定した場合、ステップS８７において、内蔵するスイッチ、およびスイッチ９１を制御することにより、残差時系列信号を入力時系列信号とし、分析区間設定部９２にフィードバックする。その後、処理は、ステップS８０に戻り、それ以降の処理が繰り返し実行される。
【０１３８】
一方、ステップS８６で、残差エネルギーが所定の閾値より小さいと判定された場合、ステップS８８において、残差時系列信号が周波数成分抽出装置７１の外部の装置に出力される。
【０１３９】
このように構成することにより、図４の周波数成分抽出装置２１と同様に、入力されてきた音響時系列信号を、正確、かつ高効率で分析することができる。
【０１４０】
以上の説明で、時系列補完部で補完する値は、例えば０としたが、一定のレベルの信号で補完することも可能である。また、分析区間設定部では、ひとつの分割区間内にひとつの分析区間としているが、複数の分割区間を設けてもかまわない。さらに、本願発明の抽出装置からの情報を圧縮して符号化して、符号列を記録媒体に蓄積すること、または伝送路を介して伝送することが可能であり、この符号列を記録媒体から読み出し、または伝送路を介して受け取って復号し、本願発明の合成装置を用いて入力信号に対応した信号を再生することも可能である。
【０１４１】
なお、本発明は、音声信号を処理する、各種のオーディオ機器、および音声認識装置、音声合成装置等に適用することができる。
【０１４２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、周波数成分抽出装置２１，７１、および周波数成分合成装置５１は、図１４に示されるようなパーソナルコンピュータにより構成される。
【０１４３】
図１４において、CPU（Central Processing Unit）１２１は、ROM（Read Only Memory）１２２に記憶されているプログラム、または、記憶部１２８からRAM（Random Access Memory）１２３にロードされたプログラムに従って各種の処理を実行する。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１４４】
CPU１２１、ROM１２２、およびRAM１２３は、バス１２４を介して相互に接続されている。このバス１２４にはまた、入出力インタフェース１２５も接続されている。
【０１４５】
入出力インタフェース１２５には、キーボード、マウスなどよりなる入力部１２６、CRT，LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１２７、ハードディスクなどより構成される記憶部１２８、モデム、ターミナルアダプタなどより構成される通信部１２９が接続されている。通信部１２９は、ネットワークを介しての通信処理を行う。
【０１４６】
入出力インタフェース１２５にはまた、必要に応じてドライブ１３０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、あるいは半導体メモリ１３４などが、適宜、装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部１２８にインストールされる。
【０１４７】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータ１１１などに、ネットワークや記録媒体からインストールされる。
【０１４８】
この記録媒体は、図１４に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１（フロッピディスクを含む）、光ディスク１３２（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク１３３（MD(Mini-Disk)を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１２２や、記憶部１２８に含まれるハードディスクなどで構成される。
【０１４９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【発明の効果】
【０１５０】
以上のように、本発明によれば、正確、かつ、高効率で、周波数成分の抽出ができる。また、本発明によれば、正確、かつ、高効率で分析された周波数成分を合成し、入力信号に対応する信号を再生することができる。
【０１５１】
【図面の簡単な説明】
【図１】  従来の周波数成分抽出装置の構成例を示すブロック図である。
【図２】  図１の周波数成分抽出装置の処理を説明するフローチャートである。
【図３】  図１の周波数成分抽出装置により生成される信号の例を示す図である。
【図４】  本発明を適用した周波数成分抽出装置の構成例を示すブロック図である。
【図５】  図４の周波数成分抽出装置の処理を説明するフローチャートである。
【図６】  図４の周波数成分抽出装置により生成される信号の例を示す図である。
【図７】  図４の分析区間設定部により設定される分析区間の例を示す図である。
【図８】  本発明を適用した周波数成分合成装置の構成例を示すブロック図である。
【図９】  図８の周波数成分合成装置の処理を説明するフローチャートである。
【図１０】  図８の周波数成分合成装置により生成される信号の例を示す図である。
【図１１】  本発明を適用した周波数成分抽出装置の他の構成例を示すブロック図である。
【図１２】  図１１の周波数成分抽出部の構成例を示すブロック図である。
【図１３】  図１１の周波数成分合成装置の処理を説明するフローチャートである。
【図１４】  パーソナルコンピュータの構成例を示すブロック図である。
【０１５２】
【符号の説明】
２１  周波数成分抽出装置，  ３１  入力信号分割部，  ３２  振幅分析部，  ３３  分析区間設定部，  ３４  周波数分析部，  ３５  抽出波形合成部，  ３６  時系列補完部，  ３７  減算器，  ５１  周波数成分合成装置，  ６１  合成区間設定部，  ６２  波形合成部，  ６３  時系列補完部，  ６４  加算器，  ６５  出力信号合成部，  ７１  周波数成分抽出装置，  ８１  入力信号分割部，  ８２  振幅分析部，  ８３  周波数成分抽出部，  ９１  スイッチ，  ９２  分析区間設定部，  ９３  周波数分析部，  ９４  正弦波合成部，  ９５  時系列補完部，  ９６  減算器，  ９７  残差エネルギー判定部，  １３０  ドライブ，  １３１  磁気ディスク，  １３２  光ディスク，  １３３  光磁気ディスク，  １３４  半導体メモリ
【図１】
0004207568.tif 000017
【図２】
0004207568.tif 000018
【図３Ａ】
0004207568.tif 000019
【図３Ｂ】
0004207568.tif 000020
【図４】
0004207568.tif 000021
【図５】
0004207568.tif 000022
【図６Ａ】
0004207568.tif 000023
【図６Ｂ】
0004207568.tif 000024
【図７】
0004207568.tif 000025
【図８】
0004207568.tif 000026
【図９】
0004207568.tif 000027
【図１０Ａ】
0004207568.tif 000028
【図１０Ｂ】
0004207568.tif 000029
【図１１】
0004207568.tif 000030
【図１２】
0004207568.tif 000031
【図１３】
0004207568.tif 000032
【図１４】
0004207568.tif 000033