(57)【特許請求の範囲】
【請求項１】
音声の波形を表す加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段と、
ピッチ波形信号に基づき、前記加工対象の音声信号の基本周波数成分及び高調波成分の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号をフィルタリングすることにより、当該サブバンド信号が表す基本周波数成分及び高調波成分の時間変化のうち所定周波数以上の成分を実質的に除去するフィルタ手段と、
前記フィルタ手段によりフィルタリングされたサブバンド信号を非線形量子化した結果を表す出力用サブバンド情報を生成して出力する出力用サブバンド情報生成手段と、を備え、
前記出力用サブバンド情報生成手段は、参照用の音声の基本周波数成分及び高調波成分の時間変化を表す参照用サブバンド情報を記憶し、前記参照用サブバンド情報のうち、前記出力用サブバンド情報との間で一定程度以上の相関を示すものがあるか否かを判別し、あると判別したとき、前記出力用サブバンド情報に代えて、該当する参照用サブバンド情報を識別する識別情報を出力する、
ことを特徴とする音声信号加工装置。
【請求項２】
前記サブバンド信号に基づいて、前記加工対象の音声信号が摩擦音を表すものであるか否かを判別し、摩擦音を表すと判別したとき、前記フィルタ手段によりフィルタリングされる前のピッチ波形信号のスペクトル分布を表す情報を生成して出力する手段を備える、
ことを特徴とする請求項１に記載の音声信号加工装置。
【請求項３】
前記サブバンド抽出手段は、
制御に従って周波数特性を変化させ、前記加工対象の音声信号をフィルタリングすることにより、加工する対象である音声の基本周波数成分を抽出する可変フィルタと、
前記可変フィルタにより抽出された基本周波数成分に基づいて前記音声の基本周波数を特定し、特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるように前記可変フィルタを制御するフィルタ特性決定手段と、
前記加工対象の音声信号を、当該音声信号の基本周波数成分の値に基づき、単位ピッチ分の音声信号からなる区間へと区切るピッチ抽出手段と、
前記加工対象の音声信号の各前記区間内を互いに実質的に同数の標本でサンプリングすることにより、各該区間内の時間長が実質的に同一に揃ったピッチ波形信号を生成するピッチ長固定部と、を備える、
ことを特徴とする請求項１又は２に記載の音声信号加工装置。
【請求項４】
ピッチ波形信号の各前記区間の元の時間長を特定するためのピッチ情報を生成して出力するピッチ情報出力手段を備える、
ことを特徴とする請求項３に記載の音声信号加工装置。
【請求項５】
前記フィルタ特性決定手段は、前記可変フィルタにより抽出された基本周波数成分が所定値に達するタイミングが来る周期を特定し、特定した周期に基づいて前記基本周波数を特定するクロス検出手段を備える、
ことを特徴とする請求項３又は４に記載の音声信号加工装置。
【請求項６】
前記フィルタ特性決定手段は、
フィルタリングされる前の加工対象の音声信号に基づいて当該音声信号が表す音声のピッチの時間長を検出する平均ピッチ検出手段と、
前記クロス検出手段が特定した周期と前記平均ピッチ検出手段が特定したピッチの時間長とが互いに所定量以上異なっているか否かを判別して、異なっていないと判別したときは前記クロス検出手段が特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるよう前記可変フィルタを制御し、異なっていると判別したときは前記平均ピッチ検出手段が特定したピッチの時間長から特定される基本周波数近傍の成分以外が遮断されるような周波数特性になるよう前記可変フィルタを制御する判別手段と、を備える、
ことを特徴とする請求項５に記載の音声信号加工装置。
【請求項７】
前記平均ピッチ検出手段は、
前記可変フィルタによりフィルタリングされる前の加工対象の音声信号のケプストラムが極大値をとる周波数を求めるケプストラム分析手段と、
前記可変フィルタによりフィルタリングされる前の加工対象の音声信号の自己相関関数のピリオドグラムが極大値をとる周波数を求める自己相関分析手段と、
前記ケプストラム分析手段及び前記自己相関分析手段が求めた各周波数に基づいて当該加工対象の音声信号が表す音声のピッチの平均値を求め、求めた平均値を当該音声のピッチの時間長として特定する平均計算手段と、を備える、
ことを特徴とする請求項６に記載の音声信号加工装置。
【請求項８】
音声の波形を表す加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成ステップと、
ピッチ波形信号をフィルタリングすることにより、当該ピッチ波形信号のうち所定周波数以上の成分を実質的に除去するフィルタリングステップと、
フィルタリングされたピッチ波形信号より前記加工対象の音声信号の基本周波数成分及び高調波成分を抽出し、抽出した基本周波数成分及び高調波成分を非線形量子化した結果を表す出力用サブバンド情報を生成して出力する出力用サブバンド情報生成ステップと、より構成されており、
前記出力用サブバンド情報生成ステップでは、参照用の音声の基本周波数成分及び高調波成分の時間変化を表す参照用サブバンド情報を記憶し、前記参照用サブバンド情報のうち、前記出力用サブバンド情報との間で一定程度以上の相関を示すものがあるか否かを判別し、あると判別したとき、前記出力用サブバンド情報に代えて、該当する参照用サブバンド情報を識別する識別情報を出力する、
ことを特徴とする音声信号加工方法。
【請求項９】
コンピュータを、
音声の波形を表す加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段と、
ピッチ波形信号をフィルタリングすることにより、当該ピッチ波形信号のうち所定周波数以上の成分を実質的に除去するフィルタ手段と、
前記フィルタ手段によりフィルタリングされたピッチ波形信号より前記加工対象の音声信号の基本周波数成分及び高調波成分を抽出し、抽出した基本周波数成分及び高調波成分を非線形量子化した結果を表す出力用サブバンド情報を生成して出力する出力用サブバンド情報生成手段と、
して機能させるためのプログラムであって、
前記出力用サブバンド情報生成手段は、参照用の音声の基本周波数成分及び高調波成分の時間変化を表す参照用サブバンド情報を記憶し、前記参照用サブバンド情報のうち、前記出力用サブバンド情報との間で一定程度以上の相関を示すものがあるか否かを判別し、あると判別したとき、前記出力用サブバンド情報に代えて、該当する参照用サブバンド情報を識別する識別情報を出力する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音声信号加工装置、音声信号加工方法及びプログラムに関する。
【０００２】
【従来の技術】
人間の音声の特徴を表す音響パラメータ（たとえば、音声のピッチ情報やフォルマント情報）を用いて音声認識や音声合成を行う技術がある。
たとえば音声認識であれば、図３に示すように、予め音声のサンプルからの音響パラメータの抽出（図３、ステップＳ１０１）、言語音の音韻の識別や音韻の記号化を含む音韻処理（ステップＳ１０２）、単語あるいは文節を認識するための単語処理（ステップＳ１０３）、及び、構文を認識するための構文処理や文章の意味を認識するための意味処理を含む自然言語処理（ステップＳ１０４）を、相互に関連づけて行う。
【０００３】
音響パラメータを抽出するための手法としては、音声の波形を表すデジタル信号を用いてこの音声にケプストラム分析を施す手法や、このようなデジタル信号を用い、この音声の相関関数を求め、この相関関数に基づいて音響パラメータを抽出する手法がある。
【０００４】
【発明が解決しようとする課題】
ケプストラム分析や相関関数を利用して音響パラメータを抽出する場合、音声の波形を表すデジタル信号にＦＦＴ（Fast Fourier Transform）を施す等して周波数ドメインの情報を得る必要がある。
しかし、現実の音声のピッチはゆらぎを含んでおり、このためピッチが急激に変動する場合がある。従って、ＦＦＴ等の結果から抽出する音響パラメータは、ピッチの急激な変動に起因する誤差を含んだものとなる、という問題が生じる。
【０００５】
この発明は、上記実状に鑑みてなされたものであり、ピッチが揺らぎを含む音声の特徴を表す情報を正確に抽出するための音声信号加工装置及び音声信号加工方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成すべく、この発明の第１の観点にかかる音声信号加工装置は、
音声の波形を表す加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段と、
ピッチ波形信号に基づき、前記加工対象の音声信号の基本周波数成分及び高調波成分の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号をフィルタリングすることにより、当該サブバンド信号が表す基本周波数成分及び高調波成分の時間変化のうち所定周波数以上の成分を実質的に除去するフィルタ手段と、
前記フィルタ手段によりフィルタリングされたサブバンド信号を非線形量子化した結果を表す出力用サブバンド情報を生成して出力する出力用サブバンド情報生成手段と、を備え、
前記出力用サブバンド情報生成手段は、参照用の音声の基本周波数成分及び高調波成分の時間変化を表す参照用サブバンド情報を記憶し、前記参照用サブバンド情報のうち、前記出力用サブバンド情報との間で一定程度以上の相関を示すものがあるか否かを判別し、あると判別したとき、前記出力用サブバンド情報に代えて、該当する参照用サブバンド情報を識別する識別情報を出力する、
ことを特徴とする。
【０００７】
前記音声信号加工装置は、前記サブバンド信号に基づいて、前記加工対象の音声信号が摩擦音を表すものであるか否かを判別し、摩擦音を表すと判別したとき、前記フィルタ手段によりフィルタリングされる前のピッチ波形信号のスペクトル分布を表す情報を生成して出力する手段を備えていてもよい。
【０００９】
前記サブバンド抽出手段は、
制御に従って周波数特性を変化させ、前記加工対象の音声信号をフィルタリングすることにより、加工する対象である音声の基本周波数成分を抽出する可変フィルタと、
前記可変フィルタにより抽出された基本周波数成分に基づいて前記音声の基本周波数を特定し、特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるように前記可変フィルタを制御するフィルタ特性決定手段と、
前記加工対象の音声信号を、当該音声信号の基本周波数成分の値に基づき、単位ピッチ分の音声信号からなる区間へと区切るピッチ抽出手段と、
前記加工対象の音声信号の各前記区間内を互いに実質的に同数の標本でサンプリングすることにより、各該区間内の時間長が実質的に同一に揃ったピッチ波形信号を生成するピッチ長固定部と、を備えていてもよい。
【００１０】
前記音声信号加工装置は、ピッチ波形信号の各前記区間の元の時間長を特定するためのピッチ情報を生成して出力するピッチ情報出力手段を備えていてもよい。
【００１１】
前記フィルタ特性決定手段は、前記可変フィルタにより抽出された基本周波数成分が所定値に達するタイミングが来る周期を特定し、特定した周期に基づいて前記基本周波数を特定するクロス検出手段を備えていてもよい。
【００１２】
前記フィルタ特性決定手段は、
フィルタリングされる前の加工対象の音声信号に基づいて当該音声信号が表す音声のピッチの時間長を検出する平均ピッチ検出手段と、
前記クロス検出手段が特定した周期と前記平均ピッチ検出手段が特定したピッチの時間長とが互いに所定量以上異なっているか否かを判別して、異なっていないと判別したときは前記クロス検出手段が特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるよう前記可変フィルタを制御し、異なっていると判別したときは前記平均ピッチ検出手段が特定したピッチの時間長から特定される基本周波数近傍の成分以外が遮断されるような周波数特性になるよう前記可変フィルタを制御する判別手段と、を備えていてもよい。
【００１３】
前記平均ピッチ検出手段は、
前記可変フィルタによりフィルタリングされる前の加工対象の音声信号のケプストラムが極大値をとる周波数を求めるケプストラム分析手段と、
前記可変フィルタによりフィルタリングされる前の加工対象の音声信号の自己相関関数のピリオドグラムが極大値をとる周波数を求める自己相関分析手段と、前記ケプストラム分析手段及び前記自己相関分析手段が求めた各周波数に基づいて当該加工対象の音声信号が表す音声のピッチの平均値を求め、求めた平均値を当該音声のピッチの時間長として特定する平均計算手段と、を備えていてもよい。
【００１４】
また、この発明の第２の観点にかかる音声信号加工方法は、
音声の波形を表す加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成ステップと、
ピッチ波形信号をフィルタリングすることにより、当該ピッチ波形信号のうち所定周波数以上の成分を実質的に除去するフィルタリングステップと、
フィルタリングされたピッチ波形信号より前記加工対象の音声信号の基本周波数成分及び高調波成分を抽出し、抽出した基本周波数成分及び高調波成分を非線形量子化した結果を表す出力用サブバンド情報を生成して出力する出力用サブバンド情報生成ステップと、より構成されており、
前記出力用サブバンド情報生成ステップでは、参照用の音声の基本周波数成分及び高調波成分の時間変化を表す参照用サブバンド情報を記憶し、前記参照用サブバンド情報のうち、前記出力用サブバンド情報との間で一定程度以上の相関を示すものがあるか否かを判別し、あると判別したとき、前記出力用サブバンド情報に代えて、該当する参照用サブバンド情報を識別する識別情報を出力する、
ことを特徴とする。
【００１５】
また、この発明の第３の観点にかかるプログラムは、
コンピュータを、
音声の波形を表す加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段と、
ピッチ波形信号をフィルタリングすることにより、当該ピッチ波形信号のうち所定周波数以上の成分を実質的に除去するフィルタ手段と、
前記フィルタ手段によりフィルタリングされたピッチ波形信号より前記加工対象の音声信号の基本周波数成分及び高調波成分を抽出し、抽出した基本周波数成分及び高調波成分を非線形量子化した結果を表す出力用サブバンド情報を生成して出力する出力用サブバンド情報生成手段と、
して機能させるためのプログラムであって、
前記出力用サブバンド情報生成手段は、参照用の音声の基本周波数成分及び高調波成分の時間変化を表す参照用サブバンド情報を記憶し、前記参照用サブバンド情報のうち、前記出力用サブバンド情報との間で一定程度以上の相関を示すものがあるか否かを判別し、あると判別したとき、前記出力用サブバンド情報に代えて、該当する参照用サブバンド情報を識別する識別情報を出力する、
ことを特徴とする。
【００１６】
【発明の実施の形態】
以下、この発明の実施の形態を、音響パラメータ抽出器を例とし、図面を参照して説明する。
【００１７】
図１は、この発明の実施の形態に係る音響パラメータ抽出器の構成を示す図である。図示するように、この音響パラメータ抽出器は、音声データ入力部１と、ピッチ抽出部２と、ピッチ長固定部３と、サブバンド分割部４と、帯域制限部５と、非線形量子化部６と、辞書選択部７と、音声辞書８と、摩擦音検出部９とより構成されている。
【００１８】
音声データ入力部１は、例えば、記録媒体（例えば、フレキシブルディスクやＭＯ（Magneto Optical disk）など）に記録されたデータを読み取る記録媒体ドライバ（フレキシブルディスクドライブや、ＭＯドライブなど）等より構成されている。
音声データ入力部１は、音響パラメータを抽出する対象の音声の波形を表す音声データを取得して、ピッチ抽出部２に供給する。
【００１９】
なお、音声データは、ＰＣＭ（Pulse Code Modulation）変調されたディジタル信号の形式を有しており、音声のピッチより十分短い一定の周期でサンプリングされた音声を表しているものとする。
【００２０】
ピッチ抽出部２、ピッチ長固定部３、サブバンド分割部４、帯域制限部５、非線形量子化部６及び辞書選択部７及び摩擦音検出部９は、いずれも、ＤＳＰ（Digital Signal Processor）やＣＰＵ（Central Processing Unit）等のデータ処理装置より構成されている。
なお、ピッチ抽出部２、ピッチ長固定部３、サブバンド分割部４、帯域制限部５、摩擦音検出部９、非線形量子化部６及び辞書選択部７の一部又は全部の機能を単一のデータ処理装置が行うようにしてもよい。
【００２１】
ピッチ抽出部２は、機能的には、たとえば図２に示すように、ケプストラム解析部２１と、自己相関解析部２２と、重み計算部２３と、ＢＰＦ（Band Pass Filter）係数計算部２４と、ＢＰＦ２５と、ゼロクロス解析部２６と、波形相関解析部２７と、位相調整部２８とより構成されている。
なお、ケプストラム解析部２１、自己相関解析部２２、重み計算部２３、ＢＰＦ（Band Pass Filter）係数計算部２４、ＢＰＦ２５、ゼロクロス解析部２６、波形相関解析部２７及び位相調整部２８の一部又は全部の機能を単一のデータ処理装置が行うようにしてもよい。
【００２２】
ケプストラム解析部２１は、音声データ入力部１より供給される音声データにケプストラム分析を施すことにより、この音声データが表す音声の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２３へと供給する。
【００２３】
具体的には、ケプストラム解析部２１は、音声データ入力部１より音声データを供給されると、まず、この音声データの強度を、元の値の対数に実質的に等しい値へと変換する。（対数の底は任意であり、例えば常用対数などでよい。）
次に、ケプストラム解析部２１は、値が変換された音声データのスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。
そして、このケプストラムの極大値を与える周波数のうちの最小値を基本周波数として特定し、特定した基本周波数を示すデータを生成して重み計算部２３へと供給する。
【００２４】
自己相関解析部２２は、音声データ入力部１より音声データを供給されると、音声データの波形の自己相関関数に基づいて、この音声データが表す音声の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２０３へと供給する。
【００２５】
具体的には、自己相関解析部２２は、音声データ入力部１より音声データを供給されるとまず、数式１の右辺により表される自己相関関数ｒ（ｌ）を特定する。
【００２６】
【数１】
0003976169.tif 000002
【００２７】
次に、自己相関解析部２２は、自己相関関数ｒ（ｌ）をフーリエ変換した結果得られる関数（ピリオドグラム）の極大値を与える周波数のうち、所定の下限値を超える最小の値を基本周波数として特定し、特定した基本周波数を示すデータを生成して重み計算部２３へと供給する。
【００２８】
重み計算部２３は、ケプストラム解析部２１及び自己相関解析部２２より基本周波数を示すデータを１個ずつ合計２個供給されると、これら２個のデータが示す基本周波数の逆数の絶対値の平均を求める。そして、求めた値（すなわち、平均ピッチ長）を示すデータを生成し、ＢＰＦ係数計算部２４へと供給する。
【００２９】
ＢＰＦ係数計算部２４は、平均ピッチ長を示すデータを重み計算部２３より供給され、ゼロクロス解析部２６より後述のゼロクロス信号を供給されると、供給されたデータやゼロクロス信号に基づき、平均ピッチ長とピッチ信号とゼロクロスの周期とが互いに所定量以上異なっているか否かを判別する。そして、異なっていないと判別したときは、ゼロクロスの周期の逆数を中心周波数（ＢＰＦ２５の通過帯域の中央の周波数）とするように、ＢＰＦ２５の周波数特性を制御する。一方、所定量以上異なっていると判別したときは、平均ピッチ長の逆数を中心周波数とするように、ＢＰＦ２５の周波数特性を制御する。
【００３０】
ＢＰＦ２５は、中心周波数が可変なＦＩＲ（Finite Impulse Response）型のフィルタの機能を行う。
具体的には、ＢＰＦ２５は、自己の中心周波数を、ＢＰＦ係数計算部２４の制御に従った値に設定する。そして、音声データ入力部１より供給される音声データをフィルタリングして、フィルタリングされた音声データ（ピッチ信号）を、ゼロクロス解析部２６及び波形相関解析部２７へと供給する。ピッチ信号は、音声データのサンプルリング間隔と実質的に同一のサンプリング間隔を有するディジタル形式のデータからなるものとする。
なお、ＢＰＦ２５の帯域幅は、ＢＰＦ２５の通過帯域の上限が音声データの表す音声の基本周波数の２倍以内に常に収まるような帯域幅であることが望ましい。
【００３１】
ゼロクロス解析部２６は、ＢＰＦ２５から供給されたピッチ信号の瞬時値が０となる時刻（ゼロクロスする時刻）が来るタイミングを特定し、特定したタイミングを表す信号（ゼロクロス信号）を、ＢＰＦ係数計算部２４へと供給する。
ただし、ゼロクロス解析部２６は、ピッチ信号の瞬時値が０でない所定の値となる時刻が来るタイミングを特定し、特定したタイミングを表す信号を、ゼロクロス信号に代えてＢＰＦ係数計算部２４へと供給するようにしてもよい。
【００３２】
波形相関解析部２７は、音声データ入力部１より音声データを供給され、波形相関解析部２７よりピッチ信号を供給されると、ピッチ信号の単位周期（例えば１周期）の境界が来るタイミングで音声データを区切る。そして、区切られてできる区間のそれぞれについて、この区間内の音声データの位相を種々変化させたものとこの区間内のピッチ信号との相関を求め、最も相関が高くなるときの音声データの位相を、この区間内の音声データの位相として特定する。
【００３３】
具体的には、波形相関解析部２７は、それぞれの区間毎に、例えば、数式２の右辺により表される値ｃｏｒを、位相を表すφ（ただし、φは０以上の整数）の値を種々変化させた場合それぞれについて求める。そして、波形相関解析部２７は、値ｃｏｒが最大になるようなφの値Ψを特定し、値Ψを示すデータを生成して、この区間内の音声データの位相を表す位相データとして位相調整部２８に供給する。
【００３４】
【数２】
0003976169.tif 000003
【００３５】
なお、区間の時間的な長さは、１ピッチ分程度であることが望ましい。区間が長いほど、区間内のサンプル数が増えてピッチ波形信号のデータ量が増大し、あるいは、サンプリング間隔が増大してピッチ波形信号が表す音声が不正確になる、という問題が生じる。
【００３６】
位相調整部２８は、音声入力部１より音声データを供給され、波形相関解析部２７より音声データの各区間の位相Ψを示すデータを供給されると、それぞれの区間の音声データの位相を、位相データが示すこの区間の位相Ψに等しくなるように移相する。そして、移相された音声データをピッチ長固定部３に供給する。
【００３７】
ピッチ長固定部３は、移相された音声データを位相調整部２８より供給されると、この音声データの各区間をサンプリングし直し（リサンプリングし）、リサンプリングされた音声データ（ピッチ波形データ）を、サブバンド分割部４及び摩擦音検出部９に供給する。ただし、ピッチ長固定部３は、音声データの各区間のサンプル数が互いにほぼ等しくなるようにして、同一区間内では等間隔になるようリサンプリングする。
【００３８】
また、ピッチ長固定部３は、各区間の元のサンプル数を示すデータを生成し、生成したデータを、各区間の元のピッチ長を表す情報（ピッチ情報）として外部に出力する。
【００３９】
サブバンド分割部４は、ピッチ長固定部３より供給された音声データにＤＣＴ（Discrete Cosine Transform）等の直交変換を施すことにより、サブバンドデータを生成する。そして、生成したサブバンドデータを帯域制限部５へと供給する。
【００４０】
サブバンドデータは、サブバンド分割部４に供給された音声データが表す音声の基本周波数成分の強度の時間変化を表すデータと、この音声のｎ個（ｎは自然数）の高調波成分の強度の時間変化を表すｎ個のデータとを含むデータである。従って、サブバンドデータは、音声の基本周波数成分（又は高調波成分）の強度の時間変化がないとき、この基本周波数成分（又は高調波成分）の強度を、直流信号の形で表す。
【００４１】
帯域制限部５は、たとえばＦＩＲ型のディジタルフィルタの機能を行うものであり、サブバンド分割部４より供給されるサブバンドデータを構成する上述の計（ｎ＋１）個のデータをそれぞれフィルタリングし、フィルタリングされたサブバンドデータを、非線形量子化部６へと供給する。
帯域制限部５がフィルタリングを行うことにより、サブバンドデータが表す（ｎ＋１）個の各周波数成分（基本周波数成分又は高調波成分）の強度の時間変化のうち、所定の周波数を超える成分が実質的に除去される。
【００４２】
非線形量子化部６は、データ処理装置に加え、更に、ＲＡＭ（Random Access Memory）等の揮発性記憶装置と、ＲＯＭ（Read Only Memory）等の不揮発性記憶装置とを備えている。
【００４３】
非線形量子化部６は、フィルタリングされたサブバンドデータを帯域制限部５より供給されると、このサブバンドデータが表す各周波数成分の瞬時値に非線形圧縮を施して得られる値（具体的には、たとえば、瞬時値を上に凸な関数に代入して得られる値）を量子化したものに相当するサブバンドデータを生成する。そして、生成したサブバンドデータ（非線形量子化後のサブバンドデータ）を、辞書選択部７及び摩擦音検出部９へと供給する。
【００４４】
具体的には、例えば、非線形量子化部６は、非線形圧縮後の各周波数成分の瞬時値を、数式３の右辺に示す関数Ｘｒｉ（ｘｉ）を量子化した値に実質的に等しくなるようなものへと変更することにより非線形量子化を行えばよい。
【００４５】
【数３】
Ｘｒｉ（ｘｉ）＝ｓｇｎ（ｘｉ）・｜ｘｉ｜４／３・２｛ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）｝／４
（ただし、ｓｇｎ（α）＝（α／｜α｜）、ｘｉはサブバンドデータが表す周波数成分の元の瞬時値、ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）は、フルスケールを設定するためのｘｉの関数）
【００４６】
なお、非線形量子化部６は、関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定するデータを、ユーザによる書き込み操作等に従って予め記憶しているものとする。
関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）は、非線形量子化後のサブバンドデータのデータ量が、仮に非線形量子化部６が非線形圧縮を施すことなく量子化を行ったとした場合のデータ量に比べて１００分の１程度になるような関数であることが望ましい。
【００４７】
辞書選択部７は、音声辞書８にアクセスし、音声辞書８が後述する通り記憶するサブバンドデータのうち、非線形量子化部６より供給された非線形量子化後のサブバンドデータとの相関が最も強いものが、一定程度以上強い相関を示しているか否かを判別する。
【００４８】
具体的には、辞書選択部７は、たとえば、以下（１）〜（３）として示す処理を行えばよい。すなわち、
（１）  まず、非線形量子化部６より供給されたサブバンドデータと、音声辞書８が記憶する１組のサブバンドデータとの間で、同一周波数成分間の相関係数を各々求め、求めた相関係数の平均値を求める。
（２）  （１）の処理を、音声辞書８に含まれるすべてのサブバンドデータについて行い、相関係数の平均値が最も高かったサブバンドデータを、非線形量子化部６より供給されたサブバンドデータともっとも相関が高いものとして特定する。
（３）  次に、（２）の処理で特定したサブバンドデータと、非線形量子化部６より供給されたサブバンドデータとの相関係数の平均値が所定値より大きいか否かを判別する。
【００４９】
そして、辞書選択部７は、一定程度以上強い相関を示していると判別したとき、そのような相関を示しているサブバンドデータに割り当てられている後述のインデックス番号（又は記号）を、音響情報として外部に出力する。一方、一定程度以上強い相関を示していないと判別したときは、非線形量子化部６より供給されたサブバンドデータ自体を、音響情報として外部に出力する。
【００５０】
音声辞書８は、ハードディスク装置等の不揮発性記憶装置より構成されている。
音声辞書８は、種々の音声のそれぞれについて、当該音声の各周波数成分の時間変化を表す非線形圧縮後のサブバンドデータを記憶する。また、これらのサブバンドに１対１に対応付けた形で、各々のサブバンドデータに固有のインデックス番号（又は記号）を記憶する。そして、辞書選択部７のアクセスに応答して、自己が記憶するサブバンドデータ及びインデックス番号（又は記号）を辞書選択部７に供給する。
【００５１】
摩擦音検出部９は、非線形量子化部６より非線形量子化後のサブバンドデータを供給されると、このサブバンドデータに基づいて、この音響パラメータ抽出器に入力された音声データが摩擦音を表すものか否かを判別する。
【００５２】
摩擦音の波形は、白色雑音のような幅広いスペクトルを有する一方、基本周波数成分や高調波成分を多く含まないという特徴がある。従って、摩擦音検出部９は、たとえば、供給されたサブバンドデータが表す高調波成分の強度が、音響パラメータを抽出する対象の音声の全強度に対して所定割合以下であるか否かを判別し、所定割合以下であると判別したとき、この音響パラメータ抽出器に入力された音声データが摩擦音を表すと判別し、所定割合を超えると判別したとき、摩擦音を表さないと判別するようにすればよい。なお、摩擦音検出部９は、音響パラメータを抽出する対象の音声の全強度を求めるため、音声データ入力部１より音声データを取得するようにしてもよい。
【００５３】
そして、摩擦音検出部９は、この音響パラメータ抽出器に入力された音声データが摩擦音を表すと判別すると、摩擦音検出部９は、ピッチ長固定部３より供給された音声データにＦＦＴ（Fast Fourier Transform）（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）による変換を施すことによって、この音声データのスペクトル分布を表すデータを生成する。そして、生成したデータを、摩擦音を表す情報（摩擦音情報）として外部に出力する。
【００５４】
以上説明した音響パラメータ抽出器は、入力された音声データが表す音声のピッチを表すピッチ情報と、この音声の基本周波数成分及び高調波成分の強度の時間変化を表す音響情報と、この音声が摩擦音であるか否かを表す摩擦音情報とを、音響パラメータを表すデータとして出力する。
【００５５】
入力された音声データは、単位ピッチ分の区間の時間長を規格化され、ピッチのゆらぎの影響が除去される。音声データからは高精度な音響情報が抽出される。
また、ピッチ情報と、既知である元の音声データのサンプリング間隔の値とを用いて、音声データの各区間の元の時間長を特定することができる。このため、ピッチ波形信号の各区間の時間長を、元の音声データにおける時間長へと復元することにより、元の音声データを容易に復元できる。
【００５６】
なお、このピッチ波形抽出システムの構成は上述のものに限られない。
たとえば、音声データ入力部１は、電話回線、専用回線、衛星回線等の通信回線を介して外部より音声データを取得するようにしてもよい。この場合、音声データ入力部１は、例えばモデムやＤＳＵ（Data Service Unit）等からなる通信制御部を備えていればよい。
【００５７】
また、音声データ入力部１は、マイクロフォン、ＡＦ（Audio Frequency）増幅器、サンプラー、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどからなる集音装置を備えていてもよい。集音装置は、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音声データを取得すればよい。なお、音声データ入力部１が取得する音声データは、必ずしもＰＣＭ信号である必要はない。
【００５８】
また、ピッチ抽出部２は、ケプストラム解析部２１（又は自己相関解析部２２）を備えていなくてもよく、この場合、重み計算部２３は、ケプストラム解析部２１（又は自己相関解析部２２）が求めた基本周波数の逆数をそのまま平均ピッチ長として扱うようにすればよい。
また、ゼロクロス解析部２６は、ＢＰＦ２５から供給されたピッチ信号を、そのままゼロクロス信号としてケプストラム解析部２１へと供給するようにしてもよい。
【００５９】
また、ピッチ長固定部３は、ピッチ情報を通信回線を介して外部に供給するようにしてもよい。この場合、ピッチ長固定部３は、モデムやＤＳＵ等からなる通信制御部を備えていればよい。同様に、摩擦音検出部９（又は辞書選択部７）は、摩擦音情報（又は音響情報）を通信回線を介して外部に供給するようにしてもよく、この場合、摩擦音検出部９（又は辞書選択部７）は、ピッチ長固定部３が備えるものと同様の通信制御部を備えていればよい。なお、ピッチ長固定部３、摩擦音検出部９及び辞書選択部７の各通信制御部の一部又は全部の機能を単一の装置が行ってもよい。
【００６０】
また、ピッチ長固定部３は、ピッチ情報を、外部の記録媒体や、ハードディスク装置等からなる外部の記憶装置に書き込むようにしてもよい。この場合、ピッチ長固定部３は、記録媒体ドライバやハードディスクコントローラ等の制御回路等からなる記録制御部を備えていればよい。同様に、摩擦音検出部９（又は辞書選択部７）は、摩擦音情報（又は音響情報）を外部の記憶装置に書き込むようにしてもよく、この場合、摩擦音検出部９（又は辞書選択部７）は、ピッチ長固定部３が備えるものと同様の記録制御部を備えていればよい。なお、ピッチ長固定部３、摩擦音検出部９及び辞書選択部７の各記録制御部の一部又は全部の機能を単一の装置が行ってもよい。
【００６１】
また、辞書選択部７は、過去に非線形量子化部６より供給された非線形量子化後のサブバンドデータのうちもっとも新しいものを記憶する記憶部を備えていてもよい。この場合、辞書選択部７は、新たに非線形量子化後のサブバンドデータを供給されるたびに、このサブバンドデータが、自ら記憶している非線形量子化後のサブバンドデータとの間で一定程度以上高い相関を示しているか否かを判別し、判別結果を表す情報を、音響情報を構成するデータとして出力してもよい。なお、単一の記憶装置が辞書選択部７の記憶部と音声辞書８の機能を行うようにしてもよい。
【００６２】
また、辞書選択部７は、新たに供給された非線形量子化後のサブバンドデータが、自ら記憶している非線形量子化後のサブバンドデータとの間で一定程度以上高い相関を示していると判別したとき、音響情報にはサブバンドデータ又はインデックス番号（又は記号）を含めないようにしてもよい。こうすることにより音響情報のデータ量が節約される。
【００６３】
また、辞書選択部７は、音声辞書８が記憶するサブバンドデータのうちに、非線形量子化部６より供給された非線形量子化後のサブバンドデータとの間で一定程度以上強い相関を示すものがないと判別したとき、非線形量子化部６より供給された非線形量子化後のサブバンドデータに固有のインデックス番号（又は記号）を割り当て、このサブバンドデータ及びインデックス番号（又は記号）を、互いが対応付けられた形で音声辞書８に格納してもよい。
【００６４】
以上、この発明の実施の形態を説明したが、この発明にかかる音声信号加工装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、パーソナルコンピュータに上述の音声データ入力部１、ピッチ抽出部２、ピッチ長固定部３、摩擦音検出部９、サブバンド分割部４、帯域制限部５、非線形量子化部６、辞書選択部７及び音声辞書８の動作を実行させるためのプログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク等）から該プログラムをインストールすることにより、上述の処理を実行する音響パラメータ抽出器を構成することができる。
【００６５】
また、例えば、通信回線の掲示板（ＢＢＳ）にこのプログラムを掲示し、これを通信回線を介して配信してもよく、また、このプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調してこのプログラムを復元するようにしてもよい。
そして、このプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【００６６】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【００６７】
【発明の効果】
以上説明したように、この発明によれば、ピッチが揺らぎを含む音声の特徴を表す情報を正確に抽出するための音声信号加工装置及び音声信号加工方法が実現される。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る音響パラメータ抽出器の構成を示すブロック図である。
【図２】ピッチ抽出部の構成を示すブロック図である。
【図３】従来の規則合成方式の概念を模式的に説明する図である。
【符号の説明】
１      音声データ入力部
２      ピッチ抽出部
２１      ケプストラム解析部
２２      自己相関解析部
２３      重み計算部
２４      ＢＰＦ係数計算部
２５      ＢＰＦ
２６      ゼロクロス解析部
２７      波形相関解析部
２８      位相調整部
３      ピッチ長固定部
４      サブバンド分割部
５      帯域制限部
６      非線形量子化部
７      辞書選択部
８      音声辞書
９      摩擦音検出部
【図１】
0003976169.tif 000004
【図２】
0003976169.tif 000005
【図３】
0003976169.tif 000006