(57)【要約】【課題】  音声を表すデータのデータ容量を効率よく圧縮することを可能にするためのピッチ波形信号分割装置等を提供することである。【解決手段】  コンピュータＣ１は、圧縮する音声データの単位ピッチ分にあたる区間の時間長を同一に揃えることによりピッチ波形信号を生成し、このピッチ波形信号の隣接する単位ピッチ分の２個の区間の差分の強度に基づいて、ピッチ波形信号が表す音声に含まれる隣接した音素の境界やこの音声の端を検出し、検出した境界や端でピッチ波形信号を分割し、得られたデータを音素データとして出力する。【選択図】  図１
2004272236.tif 000002
【特許請求の範囲】
【請求項１】
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
を備えることを特徴とするピッチ波形信号分割装置。
【請求項２】
前記ピッチ波形信号分割手段は、前記ピッチ波形信号の隣接する単位ピッチ分の２個の区間の差分の強度が所定量以上であるか否かを判別し、所定量以上であると判別したとき、当該２個の区間の境界を、隣接した音素の境界又は音声の端として検出する、
ことを特徴とする請求項１に記載のピッチ波形信号分割装置。
【請求項３】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度に基づいて、前記２個の区間が摩擦音を表しているか否かを判別し、表していると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別する、
ことを特徴とする請求項２に記載のピッチ波形信号分割装置。
【請求項４】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度が所定量以下であるか否かを判別し、所定量以下であると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別する、
ことを特徴とする請求項２に記載のピッチ波形信号分割装置。
【請求項５】
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
を備えることを特徴とするピッチ波形信号分割装置。
【請求項６】
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割する手段と、
を備えることを特徴とするピッチ波形信号分割装置。
【請求項７】
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする音声信号圧縮装置。
【請求項８】
前記ピッチ波形信号分割手段は、前記ピッチ波形信号の隣接する単位ピッチ分の２個の区間の差分の強度が所定量以上であるか否かを判別し、所定量以上であると判別したとき、当該２個の区間の境界を、隣接した音素の境界又は音声の端として検出する、
ことを特徴とする請求項７に記載の音声信号圧縮装置。
【請求項９】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度に基づいて、前記２個の区間が摩擦音を表しているか否かを判別し、表していると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別する、
ことを特徴とする請求項８に記載の音声信号圧縮装置。
【請求項１０】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度が所定量以下であるか否かを判別し、所定量以下であると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別する、
ことを特徴とする請求項８に記載の音声信号圧縮装置。
【請求項１１】
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする音声信号圧縮装置。
【請求項１２】
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする音声信号圧縮装置。
【請求項１３】
前記データ圧縮手段は、生成された音素データを非線形量子化した結果にエントロピー符号化することによりデータ圧縮を行うものである、
ことを特徴とする請求項７乃至１２のいずれか１項に記載の音声信号圧縮装置。
【請求項１４】
前記データ圧縮手段は、データ圧縮された音素データを取得し、取得した当該音素データのデータ量に基づいて、前記非線形量子化の量子化特性を決定し、決定した量子化特性に合致するように前記非線形量子化を行う、
ことを特徴とする請求項１３に記載の音声信号圧縮装置。
【請求項１５】
データ圧縮された音素データをネットワークを介して外部に送出する手段を更に備える、
ことを特徴とする請求項７乃至１４のいずれか１項に記載の音声信号圧縮装置。
【請求項１６】
データ圧縮された音素データをコンピュータ読み取り可能な記録媒体に記録する手段を更に備える、
ことを特徴とする請求項７乃至１５のいずれか１項に記載の音声信号圧縮装置。
【請求項１７】
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記憶するデータベース。
【請求項１８】
音声の波形を表すピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記憶するデータベース。
【請求項１９】
前記音素データにはエントロピー符号化が施されている、
ことを特徴とする請求項１７又は１８に記載のデータベース。
【請求項２０】
前記音素データには、非線形量子化が施されたうえで前記エントロピー符号化が施されている、
ことを特徴とする請求項１９に記載のデータベース。
【請求項２１】
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記録するコンピュータ読み取り可能な記録媒体。
【請求項２２】
音声の波形を表すピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記録するコンピュータ読み取り可能な記録媒体。
【請求項２３】
前記音素データにはエントロピー符号化が施されている、
ことを特徴とする請求項２１又は２２に記載の記録媒体。
【請求項２４】
前記音素データには、非線形量子化が施されたうえで前記エントロピー符号化が施されている、
ことを特徴とする請求項２３に記載の記録媒体。
【請求項２５】
音声の波形を表す音声信号に基づいて得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、を備える、
ことを特徴とする音声信号復元装置。
【請求項２６】
前記ピッチ波形信号は、前記音声信号を、当該音声信号が表す音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるものであり、
前記復元手段は、前記音素データの位相を、前記処理を行う前の位相へと復元するものである、
ことを特徴とする請求項２５に記載の音声信号復元装置。
【請求項２７】
前記音素データにはエントロピー符号化が施されており、
前記復元手段は、取得した音素データを復号化し、復号化された音素データを復元する、
ことを特徴とする請求項２５又は２６に記載の音声信号復元装置。
【請求項２８】
前記音素データには、非線形量子化が施されたうえで前記エントロピー符号化が施されており、
前記復元手段は、取得した音素データを復号化して非線形逆量子化し、復号化及び非線形逆量子化された音素データを復元する、
ことを特徴とする請求項２７に記載の音声信号復元装置。
【請求項２９】
前記データ取得手段は、前記音素データをネットワークを介して外部より取得する手段を備える、
ことを特徴とする請求項２５乃至２８のいずれか１項に記載の音声信号復元装置。
【請求項３０】
前記データ取得手段は、前記音素データを記録するコンピュータ読み取り可能な記録媒体から当該音素データを読み取ることにより当該音素データを取得する手段を備える、
ことを特徴とする請求項２５乃至２９のいずれか１項に記載の音声信号復元装置。
【請求項３１】
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
取得した音素データ、又は、位相を復元された音素データを記憶する音素データ記憶手段と、
文章を表す文章情報を入力する文章入力手段と、
前記文章を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
より構成されることを特徴とする音声合成装置。
【請求項３２】
音片を表す音声データを複数記憶する音片記憶手段と、
入力された前記文章を構成する音片の韻律を予測する韻律予測手段と、
各前記音声データのうちから、前記文章を構成する音片と読みが共通する音片の波形を表していて、且つ、韻律が予測結果に最も近い音声データを選択する選択手段と、を更に備え、
前記合成手段は、
前記文章を構成する音片のうち、前記選択手段が音声データを選択できなかった音片について、当該選択できなかった音片を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、当該選択できなかった音片を表すデータを合成する欠落部分合成手段と、
前記選択手段が選択した音声データ及び前記欠落部分合成手段が合成した音声データを互いに結合することにより、合成音声を表すデータを生成する手段と、を備える、
ことを特徴とする請求項３１に記載の音声合成装置。
【請求項３３】
前記音片記憶手段は、音声データが表す音片のピッチの時間変化を表す実測韻律データを、当該音声データに対応付けて記憶しており、
前記選択手段は、各前記音声データのうちから、前記文章を構成する音片と読みが共通する音片の波形を表しており、且つ、対応付けられている実測韻律データが表すピッチの時間変化が韻律の予測結果に最も近い音声データを選択する、
ことを特徴とする請求項３２に記載の音声合成装置。
【請求項３４】
前記音片記憶手段は、音声データの読みを表す表音データを、当該音声データに対応付けて記憶しており、
前記選択手段は、前記文章を構成する音片の読みに合致する読みを表す表音データが対応付けられている音声データを、当該音片と読みが共通する音片の波形を表す音声データとして扱う、
ことを特徴とする請求項３２又は３３に記載の音声合成装置。
【請求項３５】
前記データ取得手段は、前記音素データをネットワークを介して外部より取得する手段を備える、
ことを特徴とする請求項３１乃至３４のいずれか１項に記載の音声合成装置。
【請求項３６】
前記データ取得手段は、前記音素データを記録するコンピュータ読み取り可能な記録媒体から当該音素データを読み取ることにより当該音素データを取得する手段を備える、
ことを特徴とする請求項３１乃至３５のいずれか１項に記載の音声合成装置。
【請求項３７】
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出し、
抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整し、
位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成し、
前記位相の調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割する、
ことを特徴とするピッチ波形信号分割方法。
【請求項３８】
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割する、
ことを特徴とするピッチ波形信号分割方法。
【請求項３９】
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、
検出された境界及び／又は端で前記ピッチ波形信号を分割する、
ことを特徴とするピッチ波形信号分割方法。
【請求項４０】
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出し、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整し、
位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成し、
前記位相の調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成し、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮する、
ことを特徴とする音声信号圧縮方法。
【請求項４１】
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成し、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮する、
ことを特徴とする音声信号圧縮方法。
【請求項４２】
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成し、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮する、
ことを特徴とする音声信号圧縮方法。
【請求項４３】
音声の波形を表す音声信号に基づいて得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得し、
取得した音素データを復元する、
ことを特徴とする音声信号復元方法。
【請求項４４】
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得し、
取得した音素データを復号し、
取得した音素データ、又は、位相を復元された音素データを記憶し、
文章を表す文章情報を入力し、
前記文章を構成する音素の波形を表す音素データを、記憶されている音素データのうちから索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する、
ことを特徴とする音声合成方法。
【請求項４５】
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのプログラム。
【請求項４６】
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのプログラム。
【請求項４７】
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割する手段と、
して機能させるためのプログラム。
【請求項４８】
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラム。
【請求項４９】
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラム。
【請求項５０】
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラム。
【請求項５１】
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
して機能させるためのプログラム。
【請求項５２】
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
取得した音素データ、又は、位相を復元された音素データを記憶する音素データ記憶手段と、
文章を表す文章情報を入力する文章入力手段と、
前記文章を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのプログラム。
【請求項５３】
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５４】
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５５】
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割する手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５６】
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５７】
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５８】
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５９】
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項６０】
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
取得した音素データ、又は、位相を復元された音素データを記憶する音素データ記憶手段と、
文章を表す文章情報を入力する文章入力手段と、
前記文章を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ピッチ波形信号分割装置、音声信号圧縮装置、データベース、音声信号復元装置、音声合成装置、ピッチ波形信号分割方法、音声信号圧縮方法、音声信号復元方法、音声合成方法、記録媒体及びプログラムに関する。
【背景技術】
【０００２】
テキストデータなどを音声へと変換する音声合成の手法が、カーナビゲーション等の分野で近年行われるようになっている。
音声合成では、例えば、テキストデータが表す文に含まれる単語、文節及び文節相互の係り受け関係が特定され、特定された単語、文節及び係り受け関係に基づいて、文の読み方が特定される。そして、特定した読み方を表す表音文字列に基づき、音声を構成する音素の波形や継続時間やピッチ（基本周波数）のパターンが決定され、決定結果に基づいて漢字かな混じり文全体を表す音声の波形が決定され、決定された波形を有するような音声が出力される。
【０００３】
上述した音声合成の手法において、音声の波形を特定するためには、音声の波形を表す音声データを集積した音声辞書を検索する。合成する音声を自然なものにするためには、音声辞書が膨大な数の音声データを集積していなければならない。
【０００４】
加えて、カーナビゲーション装置等、小型化が求められる装置にこの手法を応用する場合は、一般的に、装置が用いる音声辞書を記憶する記憶装置もサイズの小型化が必要になる。そして、記憶装置のサイズを小型化すれば、一般的にはその記憶容量の小容量化も避けられない。
【０００５】
そこで、記憶容量が小さな記憶装置にも十分な量の音声データを含んだ音素辞書を格納できるようにするため、音声データにデータ圧縮を施し、音声データ１個あたりのデータ容量を小さくすることが行われていた（例えば、特許文献１参照）。
【特許文献１】特表２０００−５０２５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、データの規則性に着目してデータを圧縮する手法であるエントロピー符号化の手法（具体的には、算術符号化やハフマン符号化など）を用いて、人が発する音声を表す音声データを圧縮する場合、音声データが全体としては必ずしも明確な周期性を有していないため、圧縮の効率が低かった。
【０００７】
すなわち、人が発する音声の波形は、例えば図１７（ａ）に示すように、規則性のみられる様々な時間長の区間や、明確な規則性のない区間などからなっている。このため、人が発する音声を表す音声データ全体をエントロピー符号化した場合は圧縮の効率が低くなる。
【０００８】
また、音声データを一定の時間長毎に区切って個々にエントロピー符号化した場合、例えば図１７（ｂ）に示すように、区切りのタイミング（図１７（ｂ）において“Ｔ１”として示すタイミング）が、隣接する２個の音素の境界（図１７（ｂ）において“Ｔ０”として示すタイミング）と一致しないことが通常である。このため、区切られた個々の部分（例えば、図１７（ｂ）において“Ｐ１”あるいは“Ｐ２”として示す部分）について、その全体に共通する規則性を見出すことは困難であり、従ってこれらの各部分の圧縮の効率はやはり低い。
【０００９】
また、ピッチのゆらぎも問題になっていた。ピッチは、人間の感情や意識に影響されやすく、ある程度は一定とみなせる周期であるものの、現実には微妙にゆらぎを生じる。従って、同一話者が同じ言葉（音素）を複数ピッチ分発声した場合、ピッチの間隔は通常、一定しない。従って、１個の音素を表す波形にも正確な規則性がみられない場合が多く、このためにエントロピー符号化による圧縮の効率が低くなる場合が多かった。
【００１０】
この発明は上記実状に鑑みてなされたものであり、音声を表すデータのデータ容量を効率よく圧縮することを可能にするためのピッチ波形信号分割装置、ピッチ波形信号分割方法、記録媒体及びプログラムを提供することを目的とする。
また、この発明は、音声を表すデータのデータ容量を効率よく圧縮する音声信号圧縮装置及び音声信号圧縮方法や、このような音声信号圧縮装置及び音声信号圧縮方法により圧縮されたデータを復元する音声信号復元装置及び音声信号復元方法や、このような音声信号圧縮装置及び音声信号圧縮方法により圧縮されたデータを保持するデータベース及び記録媒体や、このような音声信号圧縮装置及び音声信号圧縮方法により圧縮されたデータを用いて音声合成を行うための音声合成装置及び音声合成方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成すべく、この発明の第１の観点に係るピッチ波形信号分割装置は、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
を備えることを特徴とする。
【００１２】
前記ピッチ波形信号分割手段は、前記ピッチ波形信号の隣接する単位ピッチ分の２個の区間の差分の強度が所定量以上であるか否かを判別し、所定量以上であると判別したとき、当該２個の区間の境界を、隣接した音素の境界又は音声の端として検出するものであってもよい。
【００１３】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度に基づいて、前記２個の区間が摩擦音を表しているか否かを判別し、表していると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別するものであってもよい。
【００１４】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度が所定量以下であるか否かを判別し、所定量以下であると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別するものであってもよい。
【００１５】
また、この発明の第２の観点に係るピッチ波形信号分割装置は、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
を備えることを特徴とする。
【００１６】
また、この発明の第３の観点に係るピッチ波形信号分割装置は、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割する手段と、
を備えることを特徴とする。
【００１７】
また、この発明の第４の観点に係る音声信号圧縮装置は、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする。
【００１８】
前記ピッチ波形信号分割手段は、前記ピッチ波形信号の隣接する単位ピッチ分の２個の区間の差分の強度が所定量以上であるか否かを判別し、所定量以上であると判別したとき、当該２個の区間の境界を、隣接した音素の境界又は音声の端として検出するものであってもよい。
【００１９】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度に基づいて、前記２個の区間が摩擦音を表しているか否かを判別し、表していると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別するものであってもよい。
【００２０】
前記ピッチ波形信号分割手段は、前記ピッチ信号のうち前記２個の区間に属する部分の強度が所定量以下であるか否かを判別し、所定量以下であると判別したときは、当該２個の区間の差分の強度が所定量以上であるか否かに関わらず、当該２個の区間の境界は隣接した音素の境界又は音声の端ではないと判別するものであってもよい。
【００２１】
また、この発明の第５の観点に係る音声信号圧縮装置は、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする。
【００２２】
また、この発明の第６の観点に係る音声信号圧縮装置は、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする。
【００２３】
前記データ圧縮手段は、生成された音素データを非線形量子化した結果にエントロピー符号化することによりデータ圧縮を行うものであってもよい。
【００２４】
前記データ圧縮手段は、データ圧縮された音素データを取得し、取得した当該音素データのデータ量に基づいて、前記非線形量子化の量子化特性を決定し、決定した量子化特性に合致するように前記非線形量子化を行うものであってもよい。
【００２５】
前記音声信号圧縮装置は、データ圧縮された音素データをネットワークを介して外部に送出する手段を更に備えるものであってもよい。
【００２６】
前記音声信号圧縮装置は、データ圧縮された音素データをコンピュータ読み取り可能な記録媒体に記録する手段を更に備えるものであってもよい。
【００２７】
また、この発明の第７の観点に係るデータベースは、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記憶するものであることを特徴とする。
【００２８】
また、この発明の第８の観点に係るデータベースは、
音声の波形を表すピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記憶するものであることを特徴とする。
【００２９】
前記音素データにはエントロピー符号化が施されていてもよい。
また、前記音素データには、非線形量子化が施されたうえで前記エントロピー符号化が施されていてもよい。
【００３０】
また、この発明の第９の観点に係るコンピュータ読み取り可能な記録媒体は、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記録するものであることと特徴とする。
【００３１】
また、この発明の第１０の観点に係るコンピュータ読み取り可能な記録媒体は、
音声の波形を表すピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを記録するものであることを特徴とする。
【００３２】
前記音素データにはエントロピー符号化が施されていてもよい。
また、前記音素データには、非線形量子化が施されたうえで前記エントロピー符号化が施されていてもよい。
【００３３】
また、この発明の第１１の観点に係る音声信号復元装置は、
音声の波形を表す音声信号に基づいて得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、を備える、
ことを特徴とする。
【００３４】
前記ピッチ波形信号は、例えば、前記音声信号を、当該音声信号が表す音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるものであり、
前記復元手段は、前記音素データの位相を、前記処理を行う前の位相へと復元するものであればよい。
【００３５】
前記音素データにはエントロピー符号化が施されていてもよく、
前記復元手段は、取得した音素データを復号化し、復号化された音素データを復元するものであってもよい。
【００３６】
前記音素データには、非線形量子化が施されたうえで前記エントロピー符号化が施されていてもよく、
前記復元手段は、取得した音素データを復号化して非線形逆量子化し、復号化及び非線形逆量子化された音素データを復元するものであってもよい。
【００３７】
前記データ取得手段は、前記音素データをネットワークを介して外部より取得する手段を備えるものであってもよい。
【００３８】
前記データ取得手段は、前記音素データを記録するコンピュータ読み取り可能な記録媒体から当該音素データを読み取ることにより当該音素データを取得する手段を備えるものであってもよい。
【００３９】
また、この発明の第１２の観点に係る音声合成装置は、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
取得した音素データ、又は、位相を復元された音素データを記憶する音素データ記憶手段と、
文章を表す文章情報を入力する文章入力手段と、
前記文章を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
より構成されることを特徴とする。
【００４０】
前記音声合成装置は、
音片を表す音声データを複数記憶する音片記憶手段と、
入力された前記文章を構成する音片の韻律を予測する韻律予測手段と、
各前記音声データのうちから、前記文章を構成する音片と読みが共通する音片の波形を表していて、且つ、韻律が予測結果に最も近い音声データを選択する選択手段と、を更に備えていてもよく、
前記合成手段は、
前記文章を構成する音片のうち、前記選択手段が音声データを選択できなかった音片について、当該選択できなかった音片を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、当該選択できなかった音片を表すデータを合成する欠落部分合成手段と、
前記選択手段が選択した音声データ及び前記欠落部分合成手段が合成した音声データを互いに結合することにより、合成音声を表すデータを生成する手段と、を備えるものであってもよい。
【００４１】
前記音片記憶手段は、音声データが表す音片のピッチの時間変化を表す実測韻律データを、当該音声データに対応付けて記憶していてもよく、
前記選択手段は、各前記音声データのうちから、前記文章を構成する音片と読みが共通する音片の波形を表しており、且つ、対応付けられている実測韻律データが表すピッチの時間変化が韻律の予測結果に最も近い音声データを選択するものであってもよい。
【００４２】
前記音片記憶手段は、音声データの読みを表す表音データを、当該音声データに対応付けて記憶していてもよく、
前記選択手段は、前記文章を構成する音片の読みに合致する読みを表す表音データが対応付けられている音声データを、当該音片と読みが共通する音片の波形を表す音声データとして扱うものであってもよい。
【００４３】
前記データ取得手段は、前記音素データをネットワークを介して外部より取得する手段を備えるものであってもよい。
【００４４】
前記データ取得手段は、前記音素データを記録するコンピュータ読み取り可能な記録媒体から当該音素データを読み取ることにより当該音素データを取得する手段を備えるものであってもよい。
【００４５】
また、この発明の第１３の観点に係るピッチ波形信号分割方法は、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出し、
抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整し、
位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成し、
前記位相の調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割する、
ことを特徴とする。
【００４６】
また、この発明の第１４の観点に係るピッチ波形信号分割方法は、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割する、
ことを特徴とする。
【００４７】
また、この発明の第１５の観点に係るピッチ波形信号分割方法は、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、
検出された境界及び／又は端で前記ピッチ波形信号を分割する、
ことを特徴とする。
【００４８】
また、この発明の第１６の観点に係る音声信号圧縮方法は、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出し、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整し、
位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成し、
前記位相の調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成し、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮する、
ことを特徴とする。
【００４９】
また、この発明の第１７の観点に係る音声信号圧縮方法は、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工し、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成し、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮する、
ことを特徴とする。
【００５０】
また、この発明の第１８の観点に係る音声信号圧縮方法は、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成し、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮する、
ことを特徴とする。
【００５１】
また、この発明の第１９の観点に係る音声信号復元方法は、
音声の波形を表す音声信号に基づいて得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得し、
取得した音素データを復元する、
ことを特徴とする。
【００５２】
また、この発明の第２０の観点に係る音声合成方法は、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得し、
取得した音素データを復号し、
取得した音素データ、又は、位相を復元された音素データを記憶し、
文章を表す文章情報を入力し、
前記文章を構成する音素の波形を表す音素データを、記憶されている音素データのうちから索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する、
ことを特徴とする。
【００５３】
また、この発明の第２１の観点に係るプログラムは、
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのものであることを特徴とする。
【００５４】
また、この発明の第２２の観点に係るプログラムは、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのものであることを特徴とする。
【００５５】
また、この発明の第２３の観点に係るプログラムは、
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割する手段と、
して機能させるためのものであることを特徴とする。
【００５６】
また、この発明の第２４の観点に係るプログラムは、
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのものであることを特徴とする。
【００５７】
また、この発明の第２５の観点に係るプログラムは、
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのものであることを特徴とする。
【００５８】
また、この発明の第２６の観点に係るプログラムは、
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのものであることを特徴とする。
【００５９】
また、この発明の第２７の観点に係るプログラムは、
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
して機能させるためのものであることを特徴とする。
【００６０】
また、この発明の第２８の観点に係るプログラムは、
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
取得した音素データ、又は、位相を復元された音素データを記憶する音素データ記憶手段と、
文章を表す文章情報を入力する文章入力手段と、
前記文章を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのものであることを特徴とする。
【００６１】
また、この発明の第２９の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００６２】
また、この発明の第３０の観点に係るコンピュータ読み取り可能な記録媒体は、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割するピッチ波形信号分割手段と、
して機能させるためのものであることを特徴とする。
【００６３】
また、この発明の第３１の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割する手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００６４】
また、この発明の第３２の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号をフィルタリングしてピッチ信号を抽出するフィルタと、
前記フィルタにより抽出されたピッチ信号に基づいて前記音声信号を区間に区切り、各該区間について、当該ピッチ信号との相関関係に基づいて位相を調整する位相調整手段と、
前記位相調整手段により位相を調整された各区間について、該位相に基づいてサンプリング長を定め、当該サンプリング長に従ってサンプリングを行うことによりサンプリング信号を生成するサンプリング手段と、
前記位相調整手段による前記調整の結果と前記サンプリング長の値とに基づいて、前記サンプリング信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００６５】
また、この発明の第３３の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表す音声信号を取得し、当該音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃えることによって、当該音声信号をピッチ波形信号へと加工する音声信号加工手段と、
前記ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出し、検出した境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００６６】
また、この発明の第３４の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表すピッチ波形信号について、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端を検出する手段と、
検出された境界及び／又は端で前記ピッチ波形信号を分割することにより音素データを生成する音素データ生成手段と、
生成された音素データにエントロピー符号化を施すことによりデータ圧縮するデータ圧縮手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００６７】
また、この発明の第３５の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００６８】
また、この発明の第３６の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
音声の波形を表す音声信号を当該音声の単位ピッチ分の複数の区間に区切った場合におけるこれらの区間の位相を実質的に同一に揃える処理を行うことによって得られるピッチ波形信号を、当該ピッチ波形信号が表す音声に含まれる隣接した音素の境界、及び／又は、当該音声の端で分割することにより得られる音素データを取得するデータ取得手段と、
取得した音素データを復元する復元手段と、
取得した音素データ、又は、位相を復元された音素データを記憶する音素データ記憶手段と、
文章を表す文章情報を入力する文章入力手段と、
前記文章を構成する音素の波形を表す音素データを前記音素データ記憶手段より索出して、索出された音素データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【発明の効果】
【００６９】
この発明によれば、音声を表すデータのデータ容量を効率よく圧縮することを可能にするためのピッチ波形信号分割装置、ピッチ波形信号分割方法及びプログラムが実現される。
また、この発明によれば、音声を表すデータのデータ容量を効率よく圧縮する音声信号圧縮装置及び音声信号圧縮方法や、このような音声信号圧縮装置及び音声信号圧縮方法により圧縮されたデータを復元する音声信号復元装置及び音声信号復元方法や、このような音声信号圧縮装置及び音声信号圧縮方法により圧縮されたデータを保持するデータベース及び記録媒体や、このような音声信号圧縮装置及び音声信号圧縮方法により圧縮されたデータを用いて音声合成を行うための音声合成装置及び音声合成方法が実現される。
【発明を実施するための最良の形態】
【００７０】
以下に、図面を参照して、この発明の実施の形態を説明する。
（第１の実施の形態）
図１は、この発明の第１の実施の形態に係るピッチ波形データ分割器の構成を示す図である。図示するように、このピッチ波形データ分割器は、記録媒体（例えば、フレキシブルディスクやＣＤ−Ｒ（Compact Disc-Recordable）など）に記録されたデータを読み取る記録媒体ドライブ装置（フレキシブルディスクドライブや、ＣＤ−ＲＯＭドライブなど）ＳＭＤと、記録媒体ドライブ装置ＳＭＤに接続されたコンピュータＣ１とより構成されている。
【００７１】
図示するように、コンピュータＣ１は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等からなるプロセッサや、ＲＡＭ（Random Access Memory）等からなる揮発性メモリや、ハードディスク装置等からなる不揮発性メモリや、キーボード等からなる入力部や、液晶ディスプレイ等からなる表示部や、ＵＳＢ（Universal Serial Bus）インターフェース回路等からなっていて外部とのシリアル通信を制御するシリアル通信制御部などからなっている。
【００７２】
コンピュータＣ１は音素区切りプログラムを予め記憶しており、この音素区切りプログラムを実行することにより後述する処理を行う。
【００７３】
（第１の実施の形態：動作）
次に、このピッチ波形データ分割器の動作を、図２及び図３を参照して説明する。図２及び図３は、図１のピッチ波形データ分割器の動作の流れを示す図である。
【００７４】
ユーザが、音声の波形を表す音声データを記録した記録媒体を記録媒体ドライブ装置ＳＭＤにセットして、コンピュータＣ１に、音素区切りプログラムの起動を指示すると、コンピュータＣ１は、音素区切りプログラムの処理を開始する。
【００７５】
すると、まず、コンピュータＣ１は、記録媒体ドライブ装置ＳＭＤを介し、記録媒体より音声データを読み出す（図２、ステップＳ１）。なお、音声データは、例えばＰＣＭ（Pulse Code Modulation）変調されたディジタル信号の形式を有しており、音声のピッチより十分短い一定の周期でサンプリングされた音声を表しているものとする。
【００７６】
次に、コンピュータＣ１は、記録媒体より読み出された音声データをフィルタリングすることにより、フィルタリングされた音声データ（ピッチ信号）を生成する（ステップＳ２）。ピッチ信号は、音声データのサンプルリング間隔と実質的に同一のサンプリング間隔を有するディジタル形式のデータからなるものとする。
【００７７】
なお、コンピュータＣ１は、ピッチ信号を生成するために行うフィルタリングの特性を、後述するピッチ長と、ピッチ信号の瞬時値が０となる時刻（ゼロクロスする時刻）とに基づくフィードバック処理を行うことにより決定する。
【００７８】
すなわち、コンピュータＣ１は、読み出した音声データに、例えば、ケプストラム解析や、自己相関関数に基づく解析を施すことにより、この音声データが表す音声の基本周波数を特定し、この基本周波数の逆数の絶対値（すなわち、ピッチ長）を求める（ステップＳ３）。（あるいは、コンピュータＣ１は、ケプストラム解析及び自己相関関数に基づく解析の両方を行うことにより基本周波数を２個特定し、これら２個の基本周波数の逆数の絶対値の平均をピッチ長として求めるようにしてもよい。）
【００７９】
なお、ケプストラム解析としては、具体的には、まず、読み出した音声データの強度を、元の値の対数（対数の底は任意）に実質的に等しい値へと変換し、値が変換された音声データのスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。そして、このケプストラムの極大値を与える周波数のうちの最小値を基本周波数として特定する。
【００８０】
一方、自己相関関数に基づく解析としては、具体的には、読み出した音声データを用いてまず、数式１の右辺により表される自己相関関数ｒ（ｌ）を特定する。そして、自己相関関数ｒ（ｌ）をフーリエ変換した結果得られる関数（ピリオドグラム）の極大値を与える周波数のうち、所定の下限値を超える最小の値を基本周波数として特定する。
【００８１】
【数１】
2004272236.tif 000003
【００８２】
一方、コンピュータＣ１は、ピッチ信号がゼロクロスする時刻が来るタイミングを特定する（ステップＳ４）。そして、コンピュータＣ１は、ピッチ長とピッチ信号のゼロクロスの周期とが互いに所定量以上異なっているか否かを判別し（ステップＳ５）、異なっていないと判別した場合は、ゼロクロスの周期の逆数を中心周波数とするようなバンドパスフィルタの特性で上述のフィルタリングを行うこととする（ステップＳ６）。一方、所定量以上異なっていると判別した場合は、ピッチ長の逆数を中心周波数とするようなバンドパスフィルタの特性で上述のフィルタリングを行うこととする（ステップＳ７）。なお、いずれの場合も、フィルタリングの通過帯域幅は、通過帯域の上限が音声データの表す音声の基本周波数の２倍以内に常に収まるような通過帯域幅であることが望ましい。
【００８３】
次に、コンピュータＣ１は、生成したピッチ信号の単位周期（例えば１周期）の境界が来るタイミング（具体的には、ピッチ信号がゼロクロスするタイミング）で、記録媒体から読み出した音声データを区切る（ステップＳ８）。そして、区切られてできる区間のそれぞれについて、この区間内の音声データの位相を種々変化させたものとこの区間内のピッチ信号との相関を求め、最も相関が高くなるときの音声データの位相を、この区間内の音声データの位相として特定する（ステップＳ９）。そして、音声データのそれぞれの区間を、互いが実質的に同じ位相になるように移相する（ステップＳ１０）。
【００８４】
具体的には、コンピュータＣ１は、それぞれの区間毎に、例えば、数式２の右辺により表される値ｃｏｒを、位相を表すφ（ただし、φは０以上の整数）の値を種々変化させた場合それぞれについて求める。そして、値ｃｏｒが最大になるようなφの値Ψを、この区間内の音声データの位相を表す値として特定する。この結果、この区間につき、ピッチ信号との相関が最も高くなる位相の値が定まる。そして、コンピュータＣ１は、この区間内の音声データを、（−Ψ）だけ移相する。
【００８５】
【数２】
2004272236.tif 000004
【００８６】
音声データを上述の通り移相することにより得られるデータが表す波形の一例を図４（ｃ）に示す。図４（ａ）に示す移相前の音声データの波形のうち、「＃１」及び「＃２」として示す２個の区間は、図４（ｂ）に示すように、ピッチのゆらぎの影響により互いに異なる位相を有している。これに対し、移相された音声データが表す波形の区間＃１及び＃２は、図４（ｃ）に示すように、ピッチのゆらぎの影響が除去されて位相が揃っている。また、図４（ａ）に示すように、各区間の始点の値は０に近い値となっている。
【００８７】
なお、区間の時間的な長さは、１ピッチ分程度であることが望ましい。区間が長いほど、区間内のサンプル数が増えて、ピッチ波形データのデータ量が増大し、あるいは、サンプリング間隔が増大してピッチ波形データが表す音声が不正確になる、という問題が生じる。
【００８８】
次に、コンピュータＣ１は、移相された音声データをラグランジェ補間する（ステップＳ１１）。すなわち、移相された音声データのサンプル間をラグランジェ補間の手法により補間する値を表すデータを生成する。移相された音声データと、ラグランジェ補間データとが、補間後の音声データを構成する。
【００８９】
次に、コンピュータＣ１は、補間後の音声データの各区間をサンプリングし直す（リサンプリングする）。また、各区間の元のサンプル数を示すデータであるピッチ情報も生成する（ステップＳ１２）。なお、コンピュータＣ１は、ピッチ波形データの各区間のサンプル数が互いにほぼ等しくなるようにして、同一区間内では等間隔になるようリサンプリングするものとする。
記録媒体より読み出した音声データのサンプリング間隔が既知であるものとすれば、ピッチ情報は、この音声データの単位ピッチ分の区間の元の時間長を表す情報として機能する。
【００９０】
次に、コンピュータＣ１は、ステップＳ１２で各区間の時間長を揃えられた音声データ（すなわち、ピッチ波形データ）の先頭から２番目の１ピッチ分の区間以降でまだ差分データの作成に用いられていない先頭の１ピッチ分について、当該１ピッチ分が表す波形の瞬時値とその直前の１ピッチ分が表す波形の瞬時値との差分の総和を表すデータ（すなわち、差分データ）を生成する（図３、ステップＳ１３）。
【００９１】
ステップＳ１３でコンピュータＣ１は、具体的には、例えば先頭からｋ番目の１ピッチ分を特定した場合は、（ｋ−１）番目の１ピッチ分を予め一時記憶しておき、特定したｋ番目の１ピッチ分と、一時記憶してある（ｋ−１）番目の１ピッチ分とを用いて、数式３の右辺の値Δkを表すデータを生成すればよい。
【００９２】
【数３】
2004272236.tif 000005
【００９３】
そして、コンピュータＣ１は、ステップＳ１３で生成した最新の差分データをローパスフィルタでフィルタリングした結果を表すデータ（フィルタリングされた差分データ）と、当該差分データを生成するために用いた２ピッチ分の区間のピッチを表す上述のピッチ信号の絶対値をとってローパスフィルタでフィルタリングした結果を表すデータ（フィルタリングされたピッチ信号）と、を生成する（ステップＳ１４）。
【００９４】
なお、ステップＳ１４における差分データやピッチ信号の絶対値のフィルタリングの通過帯域特性は、コンピュータＣ１等が差分データやピッチ信号に突発的に生じさせる誤差がステップＳ１５で行う判別を誤らせる確率が十分低くなるような特性であればよく、実験を行って経験的に決定するなどすればよい。なお、一般的には、通過帯域特性を、２次のＩＩＲ（Infinite Impulse Response）型ローパスフィルタの通過帯域特性とすると良好である。
【００９５】
次に、コンピュータＣ１は、ピッチ波形データの最新１ピッチ分の区間とその直前の１ピッチ分の区間との境界が、互いに異なる２個の音素の境界（もしくは音声の端）、１個の音素の途中、摩擦音の途中、又は無音状態の途中、のいずれであるかを判別する（ステップＳ１５）。
【００９６】
ステップＳ１５でコンピュータＣ１は、例えば、人が発声する声が以下に示す（ａ）及び（ｂ）の性質を有していることを利用して判別を行う。すなわち、
（ａ）  互いに隣接した１ピッチ分の区間２個が互いに同一の音素の波形を表している場合は、両者間の相関が高いため、両者の差分の強度は小さい。一方、互いに異なる音素の波形を表している場合（あるいは、一方が無音状態を表している場合）は、両者間の相関が低いため、両者の差分の強度は大きい
（ｂ）  ただし、摩擦音は、声帯が発する音の基本周波数成分や高調波成分にあたるスペクトル成分が少なく、また、明確な周期性がみられないため、同一の摩擦音を表す互いに隣接した１ピッチ分の区間２個の間の相関は低い
という性質を利用して、判別を行う。
【００９７】
より具体的には、例えばステップＳ１５でコンピュータＣ１は、以下示す（１）〜（４）の判別条件に従って、判別を行う。すなわち、
（１）  フィルタリングされた差分データの強度が所定の第１の基準値以上であり、ピッチ信号の強度が所定の第２の基準値以上である場合は、当該差分データの生成に用いた２個の１ピッチ分の区間同士の境界が、互いに異なる２個の音素の境界（もしくは音声の端）であると判別し、
（２）  フィルタリングされた差分データの強度が第１の基準値以上であり、ピッチ信号の強度が第２の基準値未満である場合は、当該差分データの生成に用いた２個の区間同士の境界が、摩擦音の途中であると判別し、
（３）  フィルタリングされた差分データの強度が第１の基準値未満であり、ピッチ信号の強度が第２の基準値未満である場合は、当該差分データの生成に用いた２個の区間同士の境界が、無音状態の途中であると判別し、
（４）  フィルタリングされた差分データの強度が第１の基準値未満であり、ピッチ信号の強度が第２の基準値以上である場合は、当該差分データの生成に用いた２個の区間同士の境界が、１個の音素の途中であると判別する。
【００９８】
なお、フィルタリングされたピッチ信号の強度の具体的な値としては、例えば、絶対値の尖頭値や、実効値や、あるいは絶対値の平均値などを用いればよい。
【００９９】
そして、コンピュータＣ１は、ステップＳ１５の処理で、ピッチ波形データの最新１ピッチ分の区間とその直前の１ピッチ分の区間との境界が、互いに異なる２個の音素の境界（又は音声の端）であると判別すると（つまり、上述の（１）の場合に該当すると）、これら２個の区間の境界で、ピッチ波形データを分割する（ステップＳ１６）。一方、互いに異なる２個の音素の境界（又は音声の端）ではないと判別すると、処理をステップＳ１３に戻す。
【０１００】
ステップＳ１３〜Ｓ１６までの処理を繰り返し行う結果、ピッチ波形データは、音素１個分に相当する区間（音素データ）の集合へと分割される。コンピュータＣ１は、これらの音素データと、ステップＳ１２で生成したピッチ情報とを、自己のシリアル通信制御部を介して外部に出力する（ステップＳ１７）。
【０１０１】
図１７（ａ）に示す波形を有する音声データに以上説明した処理を施した結果得られる音素データは、この音声データを、例えば図５（ａ）に示すように、異なる音素同士の境界（又は音声の端）であるタイミング“ｔ１”〜“ｔ１９”で区切って得られるものとなる。
また、図１７（ｂ）に示す波形を有する音声データを以上説明した処理により区切って音素データとした場合、図１７（ｂ）に示す区切られ方とは異なり、図５（ｂ）に示すように、隣接する２個の音素の境界“Ｔ０”が区切りのタイミングとして正しく選択される。このため、得られた個々の音素データが表す波形（例えば、図５（ｂ）において“Ｐ３”あるいは“Ｐ４”として示す部分の波形）には、複数の音素の波形が混入することが避けられる。
【０１０２】
そして、音声データはピッチ波形データへと加工された上で区切られる。ピッチ波形データは、単位ピッチ分の区間の時間長が規格化され、ピッチのゆらぎの影響が除去された音声データである。このため、それぞれの音素データは全体に渡って正確な周期性を有する。
【０１０３】
音素データは以上説明した特徴を有するので、音素データにエントロピー符号化の手法（具体的には、算術符号化やハフマン符号化などの手法）によるデータ圧縮を施せば、音素データは効率よく圧縮される。
【０１０４】
また、音声データはピッチ波形データへと加工されることによりピッチのゆらぎの影響が除去されている結果、ピッチ波形データが表す互いに隣接する１ピッチ分の区間２個の差分の総和は、これら２個の区間が同一の音素の波形を表すものであれば、十分小さな値になる。従って、上述のステップＳ１５の判別で誤りが生じる危険が少なくなっている。
【０１０５】
なお、ピッチ情報を用いてピッチ波形データの各区間の元の時間長を特定することができるため、ピッチ波形データの各区間の時間長を元の音声データにおける時間長へと復元することにより、元の音声データを容易に復元できる。
【０１０６】
なお、このピッチ波形データ分割器の構成は上述のものに限られない。
たとえば、コンピュータＣ１は、外部からシリアル伝送される音声データを、シリアル通信制御部を介して取得するようにしてもよい。また、電話回線、専用回線、衛星回線等の通信回線を介して外部より音声データを取得するようにしてもよく、この場合、コンピュータＣ１は、例えばモデムやＤＳＵ（Data Service Unit）等を備えていればよい。また、記録媒体ドライブ装置ＳＭＤ以外から音声データを取得するならば、コンピュータＣ１は必ずしも記録媒体ドライブ装置ＳＭＤを備えている必要はない。
【０１０７】
また、コンピュータＣ１は、マイクロフォン、ＡＦ増幅器、サンプラー、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどからなる集音装置を備えていてもよい。集音装置は、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音声データを取得すればよい。なお、コンピュータＣ１が取得する音声データは、必ずしもＰＣＭ信号である必要はない。
【０１０８】
また、コンピュータＣ１は、音素データを、記録媒体ドライブ装置ＳＭＤにセットされた記録媒体に、記録媒体ドライブ装置ＳＭＤを介して書き込むようにしてもよい。あるいは、ハードディスク装置等からなる外部の記憶装置に書き込むようにしてもよい。これらの場合、コンピュータＣ１は、記録媒体ドライブ装置や、ハードディスクコントローラ等の制御回路を備えていればよい。
【０１０９】
また、コンピュータＣ１は、音素区切りプログラムまたは自己が記憶するその他のプログラムの制御に従って、音素データにエントロピー符号化を施してから、エントロピー符号化された音素データを出力するようにしてもよい。
【０１１０】
また、コンピュータＣ１は、ケプストラム解析又は自己相関係数に基づく解析のいずれかを行わなくてもよく、この場合は、ケプストラム解析又は自己相関係数に基づく解析のうち一方の手法で求めた基本周波数の逆数をそのままピッチ長として扱うようにすればよい。
【０１１１】
また、コンピュータＣ１が音声データの各区間内の音声データを移相する量は（−Ψ）である必要はなく、例えば、コンピュータＣ１は、初期位相を表す各区間に共通な実数をδとして、それぞれの区間につき、（−Ψ＋δ）だけ、音声データを移相するようにしてもよい。また、コンピュータＣ１が音声データを区切る位置は、必ずしもピッチ信号がゼロクロスするタイミングである必要はなく、例えば、ピッチ信号が０でない所定の値となるタイミングであってもよい。
しかし、初期位相αを０とし、且つ、ピッチ信号がゼロクロスするタイミングで音声データを区切るようにすれば、各区間の始点の値は０に近い値になるので、音声データを各区間へと区切ることに各区間が含むようになるノイズの量が少なくなる。
【０１１２】
また、差分データは必ずしも音声データの各区間の並び順に従って逐次に生成される必要はなく、ピッチ波形データ内で互いに隣接する１ピッチ分の区間同士の差分の総和を表す各差分データを任意の順序で、あるいは複数並行して、生成してよい。差分データのフィルタリングも逐次に行う必要はなく、任意の順序で、あるいは複数並行して行ってよい。
【０１１３】
また、移相された音声データの補間は必ずしもラグランジェ補間の手法により行われる必要はなく、例えば直線補間の手法によってもよいし、補間自体を省略してもよい。
また、コンピュータＣ１は、音素データのうち摩擦音や無音状態を表すものがどれであるかを特定する情報を生成して出力するようにしてもよい。
また、音素データへと加工する対象の音声データのピッチのゆらぎが無視できる程度であれば、コンピュータＣ１は、当該音声データの移相を行う必要はなく、当該音声データをピッチ波形データと同視してステップＳ１３以降の処理を行うようにしてもよい。また、音声データの補間やリサンプリングも、必ずしも必要な処理ではない。
【０１１４】
なお、コンピュータＣ１は専用のシステムである必要はなく、パーソナルコンピュータ等であってよい。また、音素区切りプログラムは、音素区切りプログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク等）からコンピュータＣ１へとインストールするようにしてもよいし、通信回線の掲示板（ＢＢＳ）に音素区切りプログラムをアップロードし、これを通信回線を介して配信してもよい。また、音素区切りプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して音素区切りプログラムを復元するようにしてもよい。
【０１１５】
また、音素区切りプログラムは、ＯＳの制御下に、他のアプリケーションプログラムと同様に起動してコンピュータＣ１に実行させることにより、上述の処理を実行することができる。なお、ＯＳが上述の処理の一部を分担する場合、記録媒体に格納される音素区切りプログラムは、当該処理を制御する部分を除いたものであってもよい。
【０１１６】
（第２の実施の形態）
次に、この発明の第２の実施の形態を説明する。
図６は、この発明の第２の実施の形態に係るピッチ波形データ分割器の構成を示す図である。図示するように、このピッチ波形データ分割器は、音声入力部１と、ピッチ波形抽出部２と、差分計算部３と、差分データフィルタ部４と、ピッチ絶対値信号発生部５と、ピッチ絶対値信号フィルタ部６と、比較部７と、出力部８とより構成されている。
【０１１７】
音声入力部１は、例えば、第１の実施の形態における記録媒体ドライブ装置ＳＭＤと同様の記録媒体ドライブ装置等より構成されている。
音声入力部１は、音声の波形を表す音声データを、この音声データが記録された記録媒体から読み取る等して取得し、ピッチ波形抽出部２に供給する。なお、音声データは、ＰＣＭ変調されたディジタル信号の形式を有しており、音声のピッチより十分短い一定の周期でサンプリングされた音声を表しているものとする。
【０１１８】
ピッチ波形抽出部２、差分計算部３、差分データフィルタ部４、ピッチ絶対値信号発生部５、ピッチ絶対値信号フィルタ部６、比較部７及び出力部８は、いずれも、ＤＳＰやＣＰＵ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されている。
なお、ピッチ波形抽出部２、差分計算部３、差分データフィルタ部４、ピッチ絶対値信号発生部５、ピッチ絶対値信号フィルタ部６、比較部７及び出力部８の一部又は全部の機能を単一のプロセッサが行うようにしてもよい。
【０１１９】
ピッチ波形抽出部２は、音声入力部１より供給された音声データを、この音声データが表す音声の単位ピッチ分（たとえば、１ピッチ分）にあたる区間へと分割する。そして、分割されてできた各区間を移相及びリサンプリングすることにより、各区間の時間長及び位相を互いに実質的に同一になるように揃える。そして、各区間の位相及び時間長を揃えられた音声データ（ピッチ波形データ）を、差分計算部３に供給する。
また、ピッチ波形抽出部２は、後述するピッチ信号を生成し、後述するように自らこのピッチ信号を用いるととともに、このピッチ信号をピッチ絶対値信号発生部５へと供給する。
また、ピッチ波形抽出部２は、この音声データの各区間の元のサンプル数を示すサンプル数情報を生成し、出力部８へと供給する。
【０１２０】
ピッチ波形抽出部２は、機能的には、たとえば図７に示すように、ケプストラム解析部２０１と、自己相関解析部２０２と、重み計算部２０３と、ＢＰＦ（バンドパスフィルタ）係数計算部２０４と、バンドパスフィルタ２０５と、ゼロクロス解析部２０６と、波形相関解析部２０７と、位相調整部２０８と、補間部２０９と、ピッチ長調整部２１０とより構成されている。
【０１２１】
なお、ケプストラム解析部２０１、自己相関解析部２０２、重み計算部２０３、ＢＰＦ係数計算部２０４、バンドパスフィルタ２０５、ゼロクロス解析部２０６、波形相関解析部２０７、位相調整部２０８、補間部２０９及びピッチ長調整部２１０の一部又は全部の機能を単一のプロセッサが行うようにしてもよい。
【０１２２】
ピッチ波形抽出部２は、ケプストラム解析と、自己相関関数に基づく解析とを併用して、ピッチの長さを特定する。
すなわち、まず、ケプストラム解析部２０１は、音声入力部１より供給される音声データにケプストラム解析を施すことにより、この音声データが表す音声の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２０３へと供給する。
【０１２３】
具体的には、ケプストラム解析部２０１は、音声入力部１より音声データを供給されると、まず、この音声データの強度を、元の値の対数に実質的に等しい値へと変換する。（対数の底は任意である。）
次に、ケプストラム解析部２０１は、値が変換された音声データのスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。
そして、このケプストラムの極大値を与える周波数のうちの最小値を基本周波数として特定し、特定した基本周波数を示すデータを生成して重み計算部２０３へと供給する。
【０１２４】
一方、自己相関解析部２０２は、音声入力部１より音声データを供給されると、音声データの波形の自己相関関数に基づいて、この音声データが表す音声の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２０３へと供給する。
【０１２５】
具体的には、自己相関解析部２０２は、音声入力部１より音声データを供給されるとまず、上述した自己相関関数ｒ（ｌ）を特定する。そして、特定した自己相関関数ｒ（ｌ）をフーリエ変換した結果得られるピリオドグラムの極大値を与える周波数のうち、所定の下限値を超える最小の値を基本周波数として特定し、特定した基本周波数を示すデータを生成して重み計算部２０３へと供給する。
【０１２６】
重み計算部２０３は、ケプストラム解析部２０１及び自己相関解析部２０２より基本周波数を示すデータを１個ずつ合計２個供給されると、これら２個のデータが示す基本周波数の逆数の絶対値の平均を求める。そして、求めた値（すなわち、平均ピッチ長）を示すデータを生成し、ＢＰＦ係数計算部２０４へと供給する。
【０１２７】
ＢＰＦ係数計算部２０４は、平均ピッチ長を示すデータを重み計算部２０３より供給され、ゼロクロス解析部２０６より後述のゼロクロス信号を供給されると、供給されたデータやゼロクロス信号に基づき、平均ピッチ長とゼロクロスの周期とが互いに所定量以上異なっているか否かを判別する。そして、異なっていないと判別したときは、ゼロクロスの周期の逆数を中心周波数（バンドパスフィルタ２０５の通過帯域の中央の周波数）とするように、バンドパスフィルタ２０５の周波数特性を制御する。一方、所定量以上異なっていると判別したときは、平均ピッチ長の逆数を中心周波数とするように、バンドパスフィルタ２０５の周波数特性を制御する。
【０１２８】
バンドパスフィルタ２０５は、中心周波数が可変なＦＩＲ（Finite Impulse Response）型のフィルタの機能を行う。
具体的には、バンドパスフィルタ２０５は、自己の中心周波数を、ＢＰＦ係数計算部２０４の制御に従った値に設定する。そして、音声入力部１より供給される音声データをフィルタリングして、フィルタリングされた音声データ（ピッチ信号）を、ゼロクロス解析部２０６、波形相関解析部２０７及びピッチ絶対値信号発生部５へと供給する。ピッチ信号は、音声データのサンプルリング間隔と実質的に同一のサンプリング間隔を有するディジタル形式のデータからなるものとする。
なお、バンドパスフィルタ２０５の帯域幅は、バンドパスフィルタ２０５の通過帯域の上限が音声データの表す音声の基本周波数の２倍以内に常に収まるような帯域幅であることが望ましい。
【０１２９】
ゼロクロス解析部２０６は、バンドパスフィルタ２０５から供給されたピッチ信号の瞬時値が０となる時刻（ゼロクロスする時刻）が来るタイミングを特定し、特定したタイミングを表す信号（ゼロクロス信号）を、ＢＰＦ係数計算部２０４へと供給する。このようにして、音声データのピッチの長さが特定される。
ただし、ゼロクロス解析部２０６は、ピッチ信号の瞬時値が０でない所定の値となる時刻が来るタイミングを特定し、特定したタイミングを表す信号を、ゼロクロス信号に代えてＢＰＦ係数計算部２０４へと供給するようにしてもよい。
【０１３０】
波形相関解析部２０７は、音声入力部１より音声データを供給され、バンドパスフィルタ２０５よりピッチ信号を供給されると、ピッチ信号の単位周期（例えば１周期）の境界が来るタイミングで音声データを区切る。そして、区切られてできる区間のそれぞれについて、この区間内の音声データの位相を種々変化させたものとこの区間内のピッチ信号との相関を求め、最も相関が高くなるときの音声データの位相を、この区間内の音声データの位相として特定する。このようにして、各区間につき音声データの位相が特定される。
【０１３１】
具体的には、波形相関解析部２０７は、例えば、それぞれの区間毎に、上述した値Ψを特定し、値Ψを示すデータを生成して、この区間内の音声データの位相を表す位相データとして位相調整部２０８に供給する。なお、区間の時間的な長さは、１ピッチ分程度であることが望ましい。
【０１３２】
位相調整部２０８は、音声入力部１より音声データを供給され、波形相関解析部２０７より音声データの各区間の位相Ψを示すデータを供給されると、それぞれの区間の音声データの位相を（−Ψ）だけ移相することにより、各区間の位相を揃える。そして、移相された音声データを補間部２０９へと供給する。
【０１３３】
補間部２０９は、位相調整部２０８より供給された音声データ（移相された音声データ）にラグランジェ補間を施して、ピッチ長調整部２１０へと供給する。
【０１３４】
ピッチ長調整部２１０は、ラグランジェ補間を施された音声データを補間部２０９より供給されると、供給された音声データの各区間をリサンプリングすることにより、各区間の時間長を互いに実質的に同一になるように揃える。そして、各区間の時間長を揃えられた音声データ（すなわち、ピッチ波形データ）を差分計算部３へと供給する。
【０１３５】
また、ピッチ長調整部２１０は、この音声データの各区間の元のサンプル数（音声入力部１からピッチ長調整部２１０へと供給された時点におけるこの音声データの各区間のサンプル数）を示すサンプル数情報を生成し、出力部８へと供給する。サンプル数情報は、ピッチ波形データの各区間の元の時間長を特定する情報であり、第１の実施の形態におけるピッチ情報に相当するものである。
【０１３６】
差分計算部３は、ピッチ波形データ内の１ピッチ分の区間と当該区間の直前の１ピッチ分の区間との差分の総和を表す各差分データ（具体的には、例えば上述の値Δkを表すデータ）を、ピッチ波形データの先頭から２番目以降の１ピッチ分の各区間について生成し、差分データフィルタ部４へと供給する。
【０１３７】
差分データフィルタ部４は、差分計算部３より供給された各差分データをローパスフィルタでフィルタリングした結果を表すデータ（フィルタリングされた差分データ）を生成して、比較部７に供給する。
【０１３８】
なお、差分データフィルタ部４による差分データのフィルタリングの通過帯域特性は、比較部７が行う後述の判別が、差分データに突発的に生じる誤差のために誤りとなる確率が十分低くなるような特性であればよい。なお、一般的には、差分データフィルタ部４の通過帯域特性を、２次のＩＩＲ型ローパスフィルタの通過帯域特性とすると良好である。
【０１３９】
一方、ピッチ絶対値信号発生部５は、ピッチ波形抽出部２より供給されたピッチ信号の瞬時値の絶対値を表す信号（ピッチ絶対値信号）を生成して、ピッチ絶対値信号フィルタ部６へと供給する。
ピッチ絶対値信号フィルタ部６は、ピッチ絶対値信号発生部５より供給されたピッチ絶対値信号をローパスフィルタでフィルタリングした結果を表すデータ（フィルタリングされたピッチ信号）を生成し、比較部７に供給する。
【０１４０】
なお、ピッチ絶対値信号フィルタ部６によるフィルタリングの通過帯域特性は、比較部７が行う判別が、ピッチ絶対値信号に突発的に生じる誤差のために誤りとなる確率が十分低くなるような特性であればよい。なお、一般的には、ピッチ絶対値信号フィルタ部６の通過帯域特性も、２次のＩＩＲ型ローパスフィルタの通過帯域特性とすると良好である。
【０１４１】
比較部７は、ピッチ波形データ内で互いに隣接する１ピッチ分の区間同士の境界が、互いに異なる２個の音素の境界（もしくは音声の端）、１個の音素の途中、摩擦音の途中、又は無音状態の途中、のいずれであるかを、それぞれの境界について判別する。
【０１４２】
比較部７による上述の判別は、人が発声する声が有する上述の（ａ）及び（ｂ）の性質に基づいて行えばよく、例えば上述した（１）〜（４）の判別条件に従って、判別を行えばよい。なお、フィルタリングされたピッチ信号の強度の具体的な値としては、例えば、絶対値の尖頭値や、実効値や、あるいは絶対値の平均値などを用いればよい。
【０１４３】
そして、比較部７は、ピッチ波形データ内で互いに隣接する１ピッチ分の区間同士の境界のうち、互いに異なる２個の音素の境界（又は音声の端）であると判別した境界で、ピッチ波形データを分割する。そして、ピッチ波形データを分割して得られた各データ（すなわち、音素データ）を、出力部８へと供給する。
【０１４４】
出力部８は、たとえば、ＲＳ２３２Ｃ等の規格に準拠して外部とのシリアル通信を制御する制御回路と、ＣＰＵ等のプロセッサ（及びこのプロセッサが実行するためのプログラムを記憶するメモリ等）より構成されている。
出力部８は、比較部７が生成した音素データと、ピッチ波形抽出部２が生成したサンプル数情報とを供給されると、音素データ及びサンプル数情報を表すビットストリームを生成して出力する。
【０１４５】
図６のピッチ波形データ分割器も、図１７（ａ）に示す波形を有する音声データを、ピッチ波形データへと加工した上で図５（ａ）に示すタイミング“ｔ１”〜“ｔ１９”で区切る。また、図１７（ｂ）に示す波形を有する音声データを用いて音素データを生成する場合は、図５（ｂ）に示すように、隣接する２個の音素の境界“Ｔ０”を区切りのタイミングとして正しく選択する。
【０１４６】
このため、図６のピッチ波形データ分割器が生成するそれぞれの音素データも、複数の音素の波形が混入したものとならず、また、それぞれの音素データは全体に渡って正確な周期性を有する。従って、図６のピッチ波形データ分割器が生成音素データにエントロピー符号化の手法によるデータ圧縮を施せば、この音素データは効率よく圧縮される。
【０１４７】
また、音声データはピッチ波形データへと加工されることによりピッチのゆらぎの影響が除去されているので、比較部７が行う判別で誤りが生じる危険が少なくなっている。
更に、サンプル数情報を用いてピッチ波形データの各区間の元の時間長を特定することができるため、ピッチ波形データの各区間の時間長を元の音声データにおける時間長へと復元することにより、元の音声データを容易に復元できる。
【０１４８】
なお、このピッチ波形データ分割器の構成も上述のものに限られない。
たとえば、音声入力部１は、電話回線、専用回線、衛星回線等の通信回線を介して外部より音声データを取得するようにしてもよい。この場合、音声入力部１は、例えばモデムやＤＳＵ等からなる通信制御部を備えていればよい。
【０１４９】
また、音声入力部１は、マイクロフォン、ＡＦ増幅器、サンプラー、Ａ／Ｄコンバータ及びＰＣＭエンコーダなどからなる集音装置を備えていてもよい。集音装置は、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音声データを取得すればよい。なお、音声入力部１が取得する音声データは、必ずしもＰＣＭ信号である必要はない。
【０１５０】
また、このピッチ波形抽出部２は、ケプストラム解析部２０１（又は自己相関解析部２０２）を備えていなくてもよく、この場合、重み計算部２０３は、ケプストラム解析部２０１（又は自己相関解析部２０２）が求めた基本周波数の逆数をそのまま平均ピッチ長として扱うようにすればよい。
【０１５１】
また、ゼロクロス解析部２０６は、バンドパスフィルタ２０５から供給されたピッチ信号を、そのままゼロクロス信号としてＢＰＦ係数計算部２０４へと供給するようにしてもよい。
【０１５２】
また、出力部８は、音素データやサンプル数情報を、通信回線等を介して外部に出力するようにしてもよい。通信回線を介してデータを出力する場合、出力部８は、例えばモデムやＤＳＵ等からなる通信制御部を備えていればよい。
また、出力部８は、記録媒体ドライブ装置を備えていてもよく、この場合、出力部８は、音素データやサンプル数情報を、この記録媒体ドライブ装置にセットされた記録媒体の記憶領域に書き込むようにしてもよい。
なお、単一のモデムやＤＳＵや記録媒体ドライブ装置が音声入力部１及び出力部８を構成していてもよい。
【０１５３】
また、位相調整部２０８が音声データの各区間内の音声データを移相する量は（−Ψ）である必要はなく、また、波形相関解析部２０７が音声データを区切る位置は、必ずしもピッチ信号がゼロクロスするタイミングである必要はない。
また、補間部２０９は移相された音声データの補間を必ずしもラグランジェ補間の手法により行う必要はなく、例えば直線補間の手法によってもよいし、補間部２０９を省略し、位相調整部２０８は音声データを直ちにピッチ長調整部２１０に供給してもよい。
また、比較部７は、音素データのうち摩擦音や無音状態を表すものがどれであるかを特定する情報を生成して出力するようにしてもよい。
また、比較部７は、生成した音素データにエントロピー符号化を施してから出力部８へと供給するようにしてもよい。
【０１５４】
（第３の実施の形態）
次に、この発明の第３の実施の形態に係る合成音声利用システムを説明する。
図８は、この合成音声利用システムの構成を示す図である。図示するように、この合成音声利用システムは、音素データ供給部Ｔと、音素データ利用部Ｕとより構成されている。音素データ供給部Ｔは、音素データを生成してデータ圧縮を施し、後述の圧縮音素データとして出力するものであり、音素データ利用部Ｕは、音素データ供給部Ｔが出力した圧縮音素データを入力して音素データを復元し、復元された音素データを用いて音声合成を行うものである。
【０１５５】
音素データ供給部Ｔは、図８に示すように、例えば、音声データ分割部Ｔ１と、音素データ圧縮部Ｔ２と、圧縮音素データ出力部Ｔ３とより構成されている。
【０１５６】
音声データ分割部Ｔ１は、例えば、上述の第１又は第２の実施の形態に係るピッチ波形データ分割器と実質的に同一の構成を有している。音声データ分割部Ｔ１は、外部より音声データを取得して、この音声データをピッチ波形データへと加工した上で、音素１個分に相当する区間の集合へと分割することにより上述の音素データ及びピッチ情報（サンプル数情報）を生成し、音素データ圧縮部Ｔ２へと供給する。
【０１５７】
また、音素データ分割部Ｔ１は、音素データの生成に用いた音声データにより読み上げられる文章を表す情報を取得し、この情報を、公知の手法によって音素を表す表音文字列へと変換して、得られた表音文字列に含まれる各々の表音文字を、当該表音文字を読み上げる音素を表す音素データに付加（ラベリング）してもよい。
【０１５８】
音素データ圧縮部Ｔ２及び圧縮音素データ出力部Ｔ３は、いずれも、ＤＳＰやＣＰＵ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されている。なお、音素データ圧縮部Ｔ２及び圧縮音素データ出力部Ｔ３の一部又は全部の機能を単一のプロセッサが行うようにしてもよく、また、音声データ分割部Ｔ１の機能を行うプロセッサが更に音素データ圧縮部Ｔ２及び圧縮音素データ出力部Ｔ３の一部又は全部の機能を行うようにしてもよい。
【０１５９】
音素データ圧縮部Ｔ２は、機能的には、図９に示すように、非線形量子化部Ｔ２１と、圧縮率設定部Ｔ２２と、エントロピー符号化部Ｔ２３とより構成されている。
【０１６０】
非線形量子化部Ｔ２１は、音素データを音声データ分割部Ｔ１より供給されると、この音素データが表す波形の瞬時値に非線形な圧縮を施して得られる値（具体的には、たとえば、瞬時値を上に凸な関数に代入して得られる値）を量子化したものに相当する非線形量子化音素データを生成する。そして、生成した非線形量子化音素データを、エントロピー符号化部Ｔ２３へと供給する。
【０１６１】
なお、非線形量子化部Ｔ２１は、瞬時値の圧縮前の値と圧縮後の値との対応関係を特定するための圧縮特性データを圧縮率設定部Ｔ２２より取得し、このデータにより特定される対応関係に従って圧縮を行うものとする。
【０１６２】
具体的には、例えば、非線形量子化部Ｔ２１は、数式４の右辺に含まれる関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定するデータを、圧縮特性データとして圧縮率設定部Ｔ２２より取得する。そして、非線形圧縮後の各周波数成分の瞬時値を、数式４の右辺に示す関数Ｘｒｉ（ｘｉ）を量子化した値に実質的に等しくなるようなものへと変更することにより非線形量子化を行う。
【０１６３】
（数４）    Ｘｒｉ（ｘｉ）＝ｓｇｎ（ｘｉ）・｜ｘｉ｜４／３・２｛ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）｝／４
（ただし、ｓｇｎ（α）＝（α／｜α｜）、ｘｉは、音素データが表す波形の瞬時値、ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）は、フルスケールを設定するためのｘｉの関数）
【０１６４】
圧縮率設定部Ｔ２２は、非線形量子化部Ｔ２１による瞬時値の圧縮前の値と圧縮後の値との対応関係（以下、圧縮特性と呼ぶ）を特定するための上述の圧縮特性データを生成し、非線形量子化部Ｔ２１及びエントロピー符号化部Ｔ２３に供給する。具体的には、例えば、上述の関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定する圧縮特性データを生成して、非線形量子化部Ｔ２１及びエントロピー符号化部Ｔ２３に供給する。
【０１６５】
なお、圧縮率設定部Ｔ２２は、圧縮特性を決定するため、たとえば、エントロピー符号化部Ｔ２３より圧縮音素データを取得する。そして、音声データ分割部Ｔ１より取得した音素データのデータ量に対する、エントロピー符号化部Ｔ２３より取得した圧縮音素データのデータ量の比を求め、求めた比が、目標とする所定の圧縮率（たとえば、約１００分の１）より大きいか否かを判別する。求めた比が目標とする圧縮率より大きいと判別すると、圧縮率設定部Ｔ２２は、圧縮率が現在より小さくなるように圧縮特性を決定する。一方、求めた比が目標とする圧縮率以下であると判別すると、圧縮率が現在より大きくなるように、圧縮特性を決定する。
【０１６６】
エントロピー符号化部Ｔ２３は、非線形量子化部Ｔ２１より供給された非線形量子化音素データ、音声データ分割部Ｔ１より供給されたピッチ情報、及び、圧縮率設定部Ｔ２２より供給された圧縮特性データをエントロピー符号化し（具体的には、例えば算術符号（arithmetic code）あるいはハフマン符号へと変換し）、エントロピー符号化されたこれらのデータを、圧縮音素データとして、圧縮率設定部Ｔ２２及び圧縮音素データ出力部Ｔ３へと供給する。
【０１６７】
圧縮音素データ出力部Ｔ３は、エントロピー符号化部Ｔ２３より供給された圧縮音素データを出力する。出力する手法は任意であり、たとえばコンピュータ読み取り可能な記録媒体（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フレキシブルディスク等）に記録してもよく、あるいはEthernet（登録商標）、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４若しくはＲＳ２３２Ｃ等の規格に準拠した態様でシリアル伝送するようにしてもよい。あるいは、圧縮音素データをパラレル伝送してもよい。更に圧縮音素データ出力部Ｔ３は、圧縮音素データを、インターネット等のネットワークを介して外部のサーバにアップロードする等の手法により圧縮音素データを配信してもよい。
【０１６８】
なお、圧縮音素データ出力部Ｔ３は、圧縮音素データを記録媒体に記録する場合、例えば、記録媒体へのデータの書き込みをプロセッサ等の指示に従って行う記録媒体ドライブ装置を更に備えていればよい。また、圧縮音素データをシリアル伝送する場合は、Ethernet（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４若しくはＲＳ２３２Ｃ等の規格に準拠して外部とのシリアル通信を制御する制御回路を更に備えていればよい。
【０１６９】
音素データ利用部Ｕは、図８に示すように、圧縮音素データ入力部Ｕ１と、エントロピー符号復号化部Ｕ２と、非線形逆量子化部Ｕ３と、音素データ復元部Ｕ４と、音声合成部Ｕ５とより構成されている。
【０１７０】
圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３及び音素データ復元部Ｕ４は、いずれも、ＤＳＰやＣＰＵ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されている。なお、圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３及び音素データ復元部Ｕ４の一部又は全部の機能を単一のプロセッサが行うようにしてもよい。
【０１７１】
圧縮音素データ入力部Ｕ１は、上述の圧縮音素データを外部から取得し、取得した圧縮音素データをエントロピー符号復号化部Ｕ２へと供給する。圧縮音素データ入力部Ｕ１が圧縮音素データを取得する手法は任意であり、たとえばコンピュータ読み取り可能な記録媒体に記録されている圧縮音素データを読み取ることにより取得してもよく、あるいはEthernet（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４若しくはＲＳ２３２Ｃ等の規格に準拠した態様でシリアル伝送された圧縮音素データ、若しくはパラレル伝送された圧縮音素データを受信することにより取得してもよい。圧縮音素データ入力部Ｕ１は、外部のサーバが記憶している圧縮音素データを、インターネット等のネットワークを介してダウンロードする等の手法により圧縮音素データを取得してもよい。
【０１７２】
なお、圧縮音素データ入力部Ｕ１は、圧縮音素データを記録媒体から読み取る場合、例えば、記録媒体からのデータの読み取りをプロセッサ等の指示に従って行う記録媒体ドライブ装置を更に備えていればよい。また、シリアル伝送された圧縮音素データを受信する場合は、Ethernet（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４若しくはＲＳ２３２Ｃ等の規格に準拠して外部とのシリアル通信を制御する制御回路を更に備えていればよい。
【０１７３】
エントロピー符号復号化部Ｕ２は、圧縮音素データ入力部Ｕ１より供給された圧縮音素データ（すなわち、非線形量子化音素データ、ピッチ情報及び圧縮特性データがエントロピー符号化されたもの）を復号化することにより、非線形量子化音素データ、ピッチ情報及び圧縮特性データを復元する。そして、復元された非線形量子化音素データ及び圧縮特性データを非線形逆量子化部Ｕ３へと供給し、復元されたピッチ情報を音素データ復元部Ｕ４へと供給する。
【０１７４】
非線形逆量子化部Ｕ３は、エントロピー符号復号化部Ｕ２より非線形量子化音素データ及び圧縮特性データを供給されると、この非線形量子化音素データが表す波形の瞬時値を、この圧縮特性データが示す圧縮特性と互いに逆変換の関係にある特性に従って変更することにより、非線形量子化される前の音素データを復元する。そして、復元した音素データを音素データ復元部Ｕ４へと供給する。
【０１７５】
音素データ復元部Ｕ４は、非線形逆量子化部Ｕ３より供給された音素データの各区間の時間長を、エントロピー符号復号化部Ｕ２より供給されるピッチ情報が示す時間長になるよう変更する。区間の時間長の変更は、たとえば区間内にあるサンプルの間隔及び／又はサンプル数を変更することにより行えばよい。
そして、音素データ復元部Ｕ４は、各区間の時間長を変更された音素データ、すなわち復元された音素データを、音声合成部Ｕ５の後述する波形データベースＵ５０６に供給する。
【０１７６】
音声合成部Ｕ５は、図１０に示すように、言語処理部Ｕ５０１と、単語辞書Ｕ５０２と、音響処理部Ｕ５０３と、検索部Ｕ５０４と、伸長部Ｕ５０５と、波形データベースＵ５０６と、音片編集部Ｕ５０７と、検索部Ｕ５０８と、音片データベースＵ５０９と、話速変換部Ｕ５１０と、音片登録ユニットＲとより構成されている。
【０１７７】
言語処理部Ｕ５０１、音響処理部Ｕ５０３、検索部Ｕ５０４、伸長部Ｕ５０５、音片編集部Ｕ５０７、検索部Ｕ５０８及び話速変換部Ｕ５１０は、いずれも、ＣＰＵやＤＳＰ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されており、それぞれ後述する処理を行う。
【０１７８】
なお、言語処理部Ｕ５０１、音響処理部Ｕ５０３、検索部Ｕ５０４、伸長部Ｕ５０５、音片編集部Ｕ５０７、検索部Ｕ５０８及び話速変換部Ｕ５１０の一部又は全部の機能を単一のプロセッサが行うようにしてもよい。また、圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３又は音素データ復元部Ｕ４の機能を行うプロセッサが、言語処理部Ｕ５０１、音響処理部Ｕ５０３、検索部Ｕ５０４、伸長部Ｕ５０５、音片編集部Ｕ５０７、検索部Ｕ５０８及び話速変換部Ｕ５１０の一部又は全部の機能を更に行うようにしてもよい。
【０１７９】
単語辞書Ｕ５０２は、ＥＥＰＲＯＭ（Electrically Erasable/Programmable Read Only Memory）やハードディスク装置等のデータ書き換え可能な不揮発性メモリと、この不揮発性メモリへのデータの書き込みを制御する制御回路とにより構成されている。なお、プロセッサがこの制御回路の機能を行ってもよく、圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３、音素データ復元部Ｕ４、言語処理部Ｕ５０１、音響処理部Ｕ５０３、検索部Ｕ５０４、伸長部Ｕ５０５、音片編集部Ｕ５０７、検索部Ｕ５０８及び話速変換部Ｕ５１０の一部又は全部の機能を行うプロセッサが単語辞書Ｕ５０２の制御回路の機能を行うようにしてもよい。
【０１８０】
単語辞書Ｕ５０２には、表意文字（例えば、漢字など）を含む単語等と、この単語等の読みを表す表音文字（例えば、カナや発音記号など）とが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。また、単語辞書Ｕ５０２は、表意文字を含む単語等と、この単語等の読みを表す表音文字とを、ユーザの操作に従って外部より取得し、互いに対応付けて記憶する。なお、単語辞書Ｕ５０２を構成する不揮発性メモリのうち、あらかじめ記憶されているデータを記憶する部分は、ＰＲＯＭ（Programmable Read Only Memory）等の書き換え不能な不揮発性メモリより構成されていてもよい。
【０１８１】
波形データベースＵ５０６は、ＥＥＰＲＯＭやハードディスク装置等のデータ書き換え可能な不揮発性メモリと、この不揮発性メモリへのデータの書き込みを制御する制御回路とより構成されている。なお、プロセッサがこの制御回路の機能を行ってもよく、圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３、音素データ復元部Ｕ４、言語処理部Ｕ５０１、単語辞書Ｕ５０２、音響処理部Ｕ５０３、検索部Ｕ５０４、伸長部Ｕ５０５、音片編集部Ｕ５０７、検索部Ｕ５０８及び話速変換部Ｕ５１０の一部又は全部の機能を行うプロセッサが波形データベースＵ５０６の制御回路の機能を行うようにしてもよい。
【０１８２】
波形データベースＵ５０６には、表音文字と、この表音文字が表す音素の波形を表す音素データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。また、波形データベースＵ５０６は、音素データ復元部Ｕ４より供給された音素データと、この音素データにより波形が表される音素を表す表音文字とを、互いに対応付けて記憶する。なお、波形データベースＵ５０６を構成する不揮発性メモリのうち、あらかじめ記憶されているデータを記憶する部分は、ＰＲＯＭ等の書き換え不能な不揮発性メモリより構成されていてもよい。
【０１８３】
音片データベースＵ５０９は、ＥＥＰＲＯＭやハードディスク装置等のデータ書き換え可能な不揮発性メモリより構成されている。
音片データベースＵ５０９には、例えば、図１１に示すデータ構造を有するデータが記憶されている。すなわち、図示するように、音片データベースＵ５０９に格納されているデータは、ヘッダ部ＨＤＲ、インデックス部ＩＤＸ、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴの４種に分かれている。
【０１８４】
なお、音片データベースＵ５０９へのデータの格納は、例えば、この音声合成システムの製造者によりあらかじめ行われ、及び／又は、音片登録ユニットＲが後述する動作を行うことにより行われる。なお、音片データベースＵ５０９を構成する不揮発性メモリのうち、あらかじめ記憶されているデータを記憶する部分は、ＰＲＯＭ等の書き換え不能な不揮発性メモリより構成されていてもよい。
【０１８５】
ヘッダ部ＨＤＲには、音片データベースＵ５０９を識別するデータや、インデックス部ＩＤＸ、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴのデータ量、データの形式、著作権等の帰属などを示すデータが格納される。
【０１８６】
データ部ＤＡＴには、音片の波形を表す音片データをエントロピー符号化して得られる圧縮音片データが格納されている。
なお、音片とは、音声のうち音素１個以上を含む連続した１区間をいい、通常は単語１個分又は複数個分の区間からなる。
また、エントロピー符号化される前の音片データは、音素データと同じ形式のデータ（例えば、ＰＣＭされたデジタル形式のデータ）からなっていればよい。
【０１８７】
ディレクトリ部ＤＩＲには、個々の圧縮音声データについて、
（Ａ）  この圧縮音片データが表す音片の読みを示す表音文字を表すデータ（音片読みデータ）、
（Ｂ）  この圧縮音片データが格納されている記憶位置の先頭のアドレスを表すデータ、
（Ｃ）  この圧縮音片データのデータ長を表すデータ、
（Ｄ）  この圧縮音片データが表す音片の発声スピード（再生した場合の時間長）を表すデータ（スピード初期値データ）、
（Ｅ）  この音片のピッチ成分の周波数の時間変化を表すデータ（ピッチ成分データ）、
が、互いに対応付けられた形で格納されている。（なお、音片データベースＵ５０９の記憶領域にはアドレスが付されているものとする。）
【０１８８】
なお、図１１は、データ部ＤＡＴに含まれるデータとして、読みが「サイタマ」である音片の波形を表す、データ量１４１０ｈバイトの圧縮音片データが、アドレス００１Ａ３６Ａ６ｈを先頭とする論理的位置に格納されている場合を例示している。（なお、本明細書及び図面において、末尾に“ｈ”を付した数字は１６進数を表す。）
【０１８９】
なお、上述の（Ａ）〜（Ｅ）のデータの集合のうち少なくとも（Ａ）のデータ（すなわち音片読みデータ）は、音片読みデータが表す表音文字に基づいて決められた順位に従ってソートされた状態で（例えば、表音文字がカナであれば、五十音順に従って、アドレス降順に並んだ状態で）、音片データベースＵ５０９の記憶領域に格納されている。
また、上述のピッチ成分データは、例えば、図示するように、音片のピッチ成分の周波数を音片の先頭からの経過時間の１次関数で近似した場合における、この１次関数の切片β及び勾配αの値を示すデータからなっていればよい。（勾配αの単位は例えば［ヘルツ／秒］であればよく、切片βの単位は例えば［ヘルツ］であればよい。）
また、ピッチ成分データには更に、圧縮音片データが表す音片が鼻濁音化されているか否か、及び、無声化されているか否かを表す図示しないデータも含まれているものとする。
【０１９０】
インデックス部ＩＤＸには、ディレクトリ部ＤＩＲのデータのおおよその論理的位置を音片読みデータに基づいて特定するためのデータが格納されている。具体的には、例えば、音片読みデータがカナを表すものであるとして、カナ文字と、先頭１字がこのカナ文字であるような音片読みデータがどのような範囲のアドレスにあるかを示すデータ（ディレクトリアドレス）とが、互いに対応付けて格納されている。
【０１９１】
なお、単語辞書Ｕ５０２、波形データベースＵ５０６及び音片データベースＵ５０９の一部又は全部の機能を単一の不揮発性メモリが行うようにしてもよい。
【０１９２】
音片登録ユニットＲは、図示するように、収録音片データセット記憶部Ｕ５１１と、音片データベース作成部Ｕ５１２と、圧縮部Ｕ５１３とにより構成されている。なお、音片登録ユニットＲは音片データベースＵ５０９とは着脱可能に接続されていてもよく、この場合は、音片データベースＵ５０９に新たにデータを書き込むときを除いては、音片登録ユニットＲを本体ユニットＭから切り離した状態で本体ユニットＭに後述の動作を行わせてよい。
【０１９３】
収録音片データセット記憶部Ｕ５１１は、ハードディスク装置等のデータ書き換え可能な不揮発性メモリより構成されており、音片データベース作成部Ｕ５１２に接続されている。なお、収録音片データセット記憶部Ｕ５１１は、ネットワークを介して音片データベース作成部Ｕ５１２に接続されていてもよい。
【０１９４】
収録音片データセット記憶部Ｕ５１１には、音片の読みを表す表音文字と、この音片を人が実際に発声したものを集音して得た波形を表す音片データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。なお、この音片データは、例えば、ＰＣＭされたデジタル形式のデータからなっていればよい。
【０１９５】
音片データベース作成部Ｕ５１２及び圧縮部Ｕ５１３は、ＣＰＵ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されており、このプログラムに従って後述する処理を行う。
【０１９６】
なお、音片データベース作成部Ｕ５１２及び圧縮部Ｕ５１３の一部又は全部の機能を単一のプロセッサが行うようにしてもよく、また、圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３、音素データ復元部Ｕ４、言語処理部Ｕ５０１、音響処理部Ｕ５０３、検索部Ｕ５０４、伸長部Ｕ５０５、音片編集部Ｕ５０７、検索部Ｕ５０８及び話速変換部Ｕ５１０の一部又は全部の機能を行うプロセッサが音片データベース作成部Ｕ５１２や圧縮部Ｕ５１３の機能を更に行ってもよい。また、音片データベース作成部Ｕ５１２や圧縮部Ｕ５１３の機能を行うプロセッサが、収録音片データセット記憶部Ｕ５１１の制御回路の機能を兼ねてもよい。
【０１９７】
音片データベース作成部Ｕ５１２は、収録音片データセット記憶部Ｕ５１１より、互いに対応付けられている表音文字及び音片データを読み出し、この音片データが表す音声のピッチ成分の周波数の時間変化と、発声スピードとを特定する。なお、発声スピードの特定は、例えば、この音片データのサンプル数を数えることにより行えばよい。
【０１９８】
一方、ピッチ成分の周波数の時間変化は、例えば、この音片データにケプストラム解析を施すことにより特定すればよい。具体的には、例えば、音片データが表す波形を時間軸上で多数の小部分へと区切り、得られたそれぞれの小部分の強度を、元の値の対数（対数の底は任意）に実質的に等しい値へと変換し、値が変換されたこの小部分のスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。そして、このケプストラムの極大値を与える周波数のうちの最小値を、この小部分におけるピッチ成分の周波数として特定する。
【０１９９】
なお、ピッチ成分の周波数の時間変化は、例えば、上述の第１又は第２の実施の形態に係るピッチ波形データ分割器や上述の音声データ分割部Ｔ１が行う手法と実質的に同一の手法により音片データをピッチ波形データへと変換してから、このピッチ波形データに基づいて特定するようにすると良好な結果が期待できる。具体的には、音片データをフィルタリングしてピッチ信号を抽出し、抽出されたピッチ信号に基づいて、音片データが表す波形を単位ピッチ長の区間へと区切り、各区間について、ピッチ信号との相関関係に基づいて位相のずれを特定して各区間の位相を揃えることにより、音片データをピッチ波形信号へと変換すればよい。そして、得られたピッチ波形信号を音片データとして扱い、ケプストラム解析を行う等することにより、ピッチ成分の周波数の時間変化を特定すればよい。
【０２００】
一方、音片データベース作成部Ｕ５１２は、収録音片データセット記憶部Ｕ５１１より読み出した音片データを圧縮部Ｕ５１３に供給する。
圧縮部Ｕ５１３は、音片データベース作成部Ｕ５１２より供給された音片データをエントロピー符号化して圧縮音片データを作成し、音片データベース作成部Ｕ５１２に返送する。
【０２０１】
音片データの発声スピード及びピッチ成分の周波数の時間変化を特定し、この音片データがエントロピー符号化され圧縮音片データとなって圧縮部Ｕ５１３より返送されると、音片データベース作成部Ｕ５１２は、この圧縮音片データを、データ部ＤＡＴを構成するデータとして、音片データベースＵ５０９の記憶領域に書き込む。
【０２０２】
また、音片データベース作成部Ｕ５１２は、書き込んだ圧縮音片データが表す音片の読みを示すものとして収録音片データセット記憶部Ｕ５１１より読み出した表音文字を、音片読みデータとして音片データベースＵ５０９の記憶領域に書き込む。
また、書き込んだ圧縮音片データの、音片データベースＵ５０９の記憶領域内での先頭のアドレスを特定し、このアドレスを上述の（Ｂ）のデータとして音片データベースＵ５０９の記憶領域に書き込む。
また、この圧縮音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベースＵ５０９の記憶領域に書き込む。
また、この圧縮音片データが表す音片の発声スピード及びピッチ成分の周波数の時間変化を特定した結果を示すデータを生成し、スピード初期値データ及びピッチ成分データとして音片データベースＵ５０９の記憶領域に書き込む。
【０２０３】
次に、音声合成部Ｕ５の動作を説明する。まず、言語処理部Ｕ５０１が、この音声合成システムに音声を合成させる対象としてユーザが用意した、表意文字を含む文章（フリーテキスト）を記述したフリーテキストデータを外部から取得したとして説明する。
【０２０４】
なお、言語処理部Ｕ５０１がフリーテキストデータを取得する手法は任意であり、例えば、図示しないインターフェース回路を介して外部の装置やネットワークから取得してもよいし、図示しない記録媒体ドライブ装置にセットされた記録媒体（例えば、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭなど）から、この記録媒体ドライブ装置を介して読み取ってもよい。また、言語処理部Ｕ５０１の機能を行っているプロセッサが、自ら実行している他の処理で用いたテキストデータを、フリーテキストデータとして、言語処理部Ｕ５０１の処理へと引き渡すようにしてもよい。
【０２０５】
フリーテキストデータを取得すると、言語処理部Ｕ５０１は、このフリーテキストに含まれるそれぞれの表意文字について、その読みを表す表音文字を、単語辞書Ｕ５０２を検索することにより特定する。そして、この表意文字を、特定した表音文字へと置換する。そして、言語処理部Ｕ５０１は、フリーテキスト内の表意文字がすべて表音文字へと置換した結果得られる表音文字列を、音響処理部Ｕ５０３へと供給する。
【０２０６】
音響処理部Ｕ５０３は、言語処理部Ｕ５０１より表音文字列を供給されると、この表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す単位音声の波形を検索するよう、検索部Ｕ５０４に指示する。
【０２０７】
検索部Ｕ５０４は、この指示に応答して波形データベースＵ５０６を検索し、表音文字列に含まれるそれぞれの表音文字が表す単位音声の波形を表す音素データを索出する。そして、索出された音素データを、検索結果として音響処理部Ｕ５０３へと供給する。
音響処理部Ｕ５０３は、検索部Ｕ５０４より供給された音素データを、言語処理部Ｕ５０１より供給された表音文字列内での各表音文字の並びに従った順序で、音片編集部Ｕ５０７へと供給する。
【０２０８】
音片編集部Ｕ５０７は、音響処理部Ｕ５０３より音素データを供給されると、この音素データを、供給された順序で互いに結合し、合成音声を表すデータ（合成音声データ）として出力する。フリーテキストデータに基づいて合成されたこの合成音声は、規則合成方式の手法により合成された音声に相当する。
【０２０９】
なお、音片編集部Ｕ５０７が合成音声データを出力する手法は任意であり、例えば、図示しないＤ／Ａ（Digital-to-Analog）変換器やスピーカを介して、この合成音声データが表す合成音声を再生するようにしてもよい。また、図示しないインターフェース回路を介して外部の装置やネットワークに送出してもよいし、図示しない記録媒体ドライブ装置にセットされた記録媒体へ、この記録媒体ドライブ装置を介して書き込んでもよい。また、音片編集部Ｕ５０７の機能を行っているプロセッサが、自ら実行している他の処理へと、合成音声データを引き渡すようにしてもよい。
【０２１０】
次に、音響処理部Ｕ５０３が、外部より配信された、表音文字列を表すデータ（配信文字列データ）を取得したとする。（なお、音響処理部Ｕ５０３が配信文字列データを取得する手法も任意であり、例えば、言語処理部Ｕ５０１がフリーテキストデータを取得する手法と同様の手法で配信文字列データを取得すればよい。）
【０２１１】
この場合、音響処理部Ｕ５０３は、配信文字列データが表す表音文字列を、言語処理部Ｕ５０１より供給された表音文字列と同様に扱う。この結果、配信文字列データが表す表音文字列に含まれる表音文字に対応する音素データが検索部Ｕ５０４により索出される。索出された各音素データは音響処理部Ｕ５０３を介して音片編集部Ｕ５０７へと供給され、音片編集部Ｕ５０７が、この音素データを、配信文字列データが表す表音文字列内での各表音文字の並びに従った順序で互いに結合し、合成音声データとして出力する。配信文字列データに基づいて合成されたこの合成音声データも、規則合成方式の手法により合成された音声を表す。
【０２１２】
次に、音片編集部Ｕ５０７が、定型メッセージデータ、発声スピードデータ、及び照合レベルデータを取得したとする。
なお、定型メッセージデータは、定型メッセージを表音文字列として表すデータであり、発声スピードデータは、定型メッセージデータが表す定型メッセージの発声スピードの指定値（この定型メッセージを発声する時間長の指定値）を示すデータである。照合レベルデータは、検索部Ｕ５０８が行う後述の検索処理における検索条件を指定するデータであり、以下では「１」、「２」又は「３」のいずれかの値をとるものとし、「３」が最も厳格な検索条件を示すものとする。
【０２１３】
また、音片編集部Ｕ５０７が定型メッセージデータや発声スピードデータや照合レベルデータを取得する手法は任意であり、例えば、言語処理部Ｕ５０１がフリーテキストデータを取得する手法と同様の手法で定型メッセージデータや発声スピードデータや照合レベルデータを取得すればよい。
【０２１４】
定型メッセージデータ、発声スピードデータ、及び照合レベルデータが音片編集部Ｕ５０７に供給されると、音片編集部Ｕ５０７は、定型メッセージに含まれる音片の読みを表す表音文字に合致する表音文字が対応付けられている圧縮音片データをすべて索出するよう、検索部Ｕ５０８に指示する。
【０２１５】
検索部Ｕ５０８は、音片編集部Ｕ５０７の指示に応答して音片データベースＵ５０９を検索し、該当する圧縮音片データと、該当する圧縮音片データに対応付けられている上述の音片読みデータ、スピード初期値データ及びピッチ成分データとを索出し、索出された圧縮音片データを伸長部Ｕ５０５へと供給する。１個の音片につき複数の圧縮音片データが該当する場合も、該当する圧縮音片データすべてが、音声合成に用いられるデータの候補として索出される。一方、圧縮音片データを索出できなかった音片があった場合、検索部Ｕ５０８は、該当する音片を識別するデータ（以下、欠落部分識別データと呼ぶ）を生成する。
【０２１６】
伸長部Ｕ５０５は、検索部Ｕ５０８より供給された圧縮音片データを、圧縮される前の音片データへと復元し、検索部Ｕ５０８へと返送する。検索部Ｕ５０８は、伸長部Ｕ５０５より返送された音片データと、索出された音片読みデータ、スピード初期値データ及びピッチ成分データとを、検索結果として話速変換部Ｕ５１０へと供給する。また、欠落部分識別データを生成した場合は、この欠落部分識別データも話速変換部Ｕ５１０へと供給する。
【０２１７】
一方、音片編集部Ｕ５０７は、話速変換部Ｕ５１０に対し、話速変換部Ｕ５１０に供給された音片データを変換して、当該音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致するようにすることを指示する。
【０２１８】
話速変換部Ｕ５１０は、音片編集部Ｕ５０７の指示に応答し、検索部Ｕ５０８より供給された音片データを指示に合致するように変換して、音片編集部Ｕ５０７に供給する。具体的には、例えば、検索部Ｕ５０８より供給された音片データの元の時間長を、索出されたスピード初期値データに基づいて特定した上、この音片データをリサンプリングして、この音片データのサンプル数を、音片編集部Ｕ５０７の指示したスピードに合致する時間長にすればよい。
【０２１９】
また、話速変換部Ｕ５１０は、検索部Ｕ５０８より供給された音片読みデータ及びピッチ成分データも音片編集部Ｕ５０７に供給し、欠落部分識別データを検索部Ｕ５０８より供給された場合は、更にこの欠落部分識別データも音片編集部Ｕ５０７に供給する。
【０２２０】
なお、発声スピードデータが音片編集部Ｕ５０７に供給されていない場合、音片編集部Ｕ５０７は、話速変換部Ｕ５１０に対し、話速変換部Ｕ５１０に供給された音片データを変換せずに音片編集部Ｕ５０７に供給するよう指示すればよく、話速変換部Ｕ５１０は、この指示に応答し、検索部Ｕ５０８より供給された音片データをそのまま音片編集部Ｕ５０７に供給すればよい。
【０２２１】
音片編集部Ｕ５０７は、話速変換部Ｕ５１０より音片データ、音片読みデータ及びピッチ成分データを供給されると、供給された音片データのうちから、定型メッセージを構成する音片の波形に近似できる波形を表す音片データを、音片１個につき１個ずつ選択する。ただし、音片編集部Ｕ５０７は、いかなる条件を満たす波形を定型メッセージの音片に近い波形とするかを、取得した照合レベルデータに従って設定する。
【０２２２】
具体的には、まず、音片編集部Ｕ５０７は、定型メッセージデータが表す定型メッセージに、例えば「藤崎モデル」や「ＴｏＢＩ（Tone and Break Indices）」等の韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律（アクセント、イントネーション、強勢など）を予測する。
【０２２３】
次に、音片編集部Ｕ５０７は、例えば、
（１）  照合レベルデータの値が「１」である場合は、話速変換部Ｕ５１０より供給された音片データ（すなわち、定型メッセージ内の音片と読みが合致する音片データ）をすべて、定型メッセージ内の音片の波形に近いものとして選択する。
【０２２４】
（２）  照合レベルデータの値が「２」である場合は、（１）の条件（つまり、読みを表す表音文字の合致という条件）を満たし、更に、音片データのピッチ成分の周波数の時間変化を表すピッチ成分データの内容と定型メッセージに含まれる音片のアクセントの予測結果との間に所定量以上の強い相関がある場合（例えば、アクセントの位置の時間差が所定量以下である場合）に限り、この音片データが定型メッセージ内の音片の波形に近いものとして選択する。なお、定型メッセージ内の音片のアクセントの予測結果は、定型メッセージの韻律の予測結果より特定できるものであり、音片編集部Ｕ５０７は、例えば、ピッチ成分の周波数が最も高いと予測されている位置をアクセントの予測位置であると解釈すればよい。一方、音片データが表す音片のアクセントの位置については、例えば、ピッチ成分の周波数が最も高い位置を上述のピッチ成分データに基づいて特定し、この位置をアクセントの位置であると解釈すればよい。
【０２２５】
（３）  照合レベルデータの値が「３」である場合は、（２）の条件（つまり、読みを表す表音文字及びアクセントの合致という条件）を満たし、更に、音片データが表す音声の鼻濁音化や無声化の有無が、定型メッセージの韻律の予測結果に合致している場合に限り、この音片データが定型メッセージ内の音片の波形に近いものとして選択する。音片編集部Ｕ５０７は、音片データが表す音声の鼻濁音化や無声化の有無を、話速変換部Ｕ５１０より供給されたピッチ成分データに基づいて判別すればよい。
【０２２６】
なお、音片編集部Ｕ５０７は、自ら設定した条件に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。
【０２２７】
具体的には、例えば、設定した条件が照合レベルデータの値「１」に相当するものであって、該当する音片データが複数あった場合は、照合レベルデータの値「２」に相当する検索条件にも合致するものを選択し、なお複数の音片データが選択された場合は、選択結果のうちから照合レベルデータの値「３」に相当する検索条件にも合致するものを更に選択する、等の操作を行う。照合レベルデータの値「３」に相当する検索条件で絞り込んでなお複数の音片データが残る場合は、残ったものを任意の基準で１個に絞り込めばよい。
【０２２８】
一方、音片編集部Ｕ５０７は、話速変換部Ｕ５１０より欠落部分識別データも供給されている場合には、欠落部分識別データが示す音片の読みを表す表音文字列を定型メッセージデータより抽出して音響処理部Ｕ５０３に供給し、この音片の波形を合成するよう指示する。
【０２２９】
指示を受けた音響処理部Ｕ５０３は、音片編集部Ｕ５０７より供給された表音文字列を、配信文字列データが表す表音文字列と同様に扱う。この結果、この表音文字列に含まれる表音文字が示す音声の波形を表す音素データが検索部Ｕ５０４により索出され、この音素データが検索部Ｕ５０４から音響処理部Ｕ５０３へと供給される。音響処理部Ｕ５０３は、この音素データを音片編集部Ｕ５０７へと供給する。
【０２３０】
音片編集部Ｕ５０７は、音響処理部Ｕ５０３より音素データを返送されると、この音素データと、話速変換部Ｕ５１０より供給された音片データのうち音片編集部Ｕ５０７が選択したものとを、定型メッセージデータが示す定型メッセージ内での各音片の並びに従った順序で互いに結合し、合成音声を表すデータとして出力する。
【０２３１】
なお、話速変換部Ｕ５１０より供給されたデータに欠落部分識別データが含まれていない場合は、音響処理部Ｕ５０３に波形の合成を指示することなく直ちに、音片編集部Ｕ５０７が選択した音片データを、定型メッセージデータが示す定型メッセージ内での各音片の並びに従った順序で互いに結合し、合成音声を表すデータとして出力すればよい。
【０２３２】
なお、この合成音声利用システムの構成は上述のものに限られない。
例えば、音片データベースＵ５０９は音片データを必ずしもデータ圧縮された状態で記憶している必要はない。音片データベースＵ５０９が波形データや音片データをデータ圧縮されていない状態で記憶している場合、音声合成部Ｕ５は伸長部Ｕ５０５を備えている必要はない。
【０２３３】
一方、波形データベースＵ５０６は音素データをデータ圧縮された状態で記憶していてもよい。波形データベースＵ５０６が音素データをデータ圧縮された状態で記憶している場合、伸長部Ｕ５０５は、検索部Ｕ５０４が波形データベースＵ５０６から索出した音素データを検索部Ｕ５０４から取得して伸長し、検索部Ｕ５０４に返送すればよい。そして、検索部Ｕ５０４は、返送された音素データを検索結果として扱えばよい。
【０２３４】
また、音片データベース作成部Ｕ５１２は、図示しない記録媒体ドライブ装置にセットされた記録媒体から、この記録媒体ドライブ装置を介して、音片データベースＵ５０９に追加する新たな圧縮音片データの材料となる音片データや表音文字列を読み取ってもよい。
また、音片登録ユニットＲは、必ずしも収録音片データセット記憶部Ｕ５１１を備えている必要はない。
【０２３５】
また、ピッチ成分データは音片データが表す音片のピッチ長の時間変化を表すデータであってもよい。この場合、音片編集部Ｕ５０７は、ピッチ長が最も短い位置をピッチ成分データに基づいて特定し、この位置をアクセントの位置であると解釈すればよい。
【０２３６】
また、音片編集部Ｕ５０７は、特定の音片の韻律を表す韻律登録データをあらかじめ記憶し、定型メッセージにこの特定の音片が含まれている場合は、この韻律登録データが表す韻律を、韻律予測の結果として扱うようにしてもよい。
また、音片編集部Ｕ５０７は、過去の韻律予測の結果を韻律登録データとして新たに記憶するようにしてもよい。
【０２３７】
また、音片データベース作成部Ｕ５１２は、マイクロフォン、増幅器、サンプリング回路、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどを備えていてもよい。この場合、音片データベース作成部Ｕ５１２は、収録音片データセット記憶部１２より音片データを取得する代わりに、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音片データを作成してもよい。
【０２３８】
また、音片編集部Ｕ５０７は、音響処理部Ｕ５０３より返送された波形データを話速変換部Ｕ５１０に供給することにより、当該波形データが表す波形の時間長を、発声スピードデータが示すスピードに合致させるようにしてもよい。
【０２３９】
また、音片編集部Ｕ５０７は、例えば、言語処理部Ｕ５０１と共にフリーテキストデータを取得し、このフリーテキストデータが表すフリーテキストに含まれる音片の波形に近い波形を表す音片データを、定型メッセージに含まれる音片の波形に近い波形を表す音片データを選択する処理と実質的に同一の処理を行うことによって選択して、音声の合成に用いてもよい。
この場合、音響処理部Ｕ５０３は、音片編集部Ｕ５０７が選択した音片データが表す音片については、この音片の波形を表す音素データを検索部Ｕ５０４に索出させなくてもよい。なお、音片編集部Ｕ５０７は、音響処理部Ｕ５０３が合成しなくてよい音片を音響処理部Ｕ５０３に通知し、音響処理部Ｕ５０３はこの通知に応答して、この音片を構成する単位音声の波形の検索を中止するようにすればよい。
【０２４０】
また、音片編集部Ｕ５０７は、例えば、音響処理部Ｕ５０３と共に配信文字列データを取得し、この配信文字列データが表す配信文字列に含まれる音片の波形に近い波形を表す音片データを、定型メッセージに含まれる音片の波形に近い波形を表す音片データを選択する処理と実質的に同一の処理を行うことによって選択して、音声の合成に用いてもよい。この場合、音響処理部Ｕ５０３は、音片編集部Ｕ５０７が選択した音片データが表す音片については、この音片の波形を表す音素タを検索部Ｕ５０４に索出させなくてもよい。
【０２４１】
また、音素データ供給部Ｔや音素データ利用部Ｕはいずれも専用のシステムである必要はない。従って、パーソナルコンピュータに上述の音声データ分割部Ｔ１、音素データ圧縮部Ｔ２及び圧縮音素データ出力部Ｔ３の動作を実行させるためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、上述の処理を実行する音素データ供給部Ｔを構成することができる。また、パーソナルコンピュータに上述の圧縮音素データ入力部Ｕ１、エントロピー符号復号化部Ｕ２、非線形逆量子化部Ｕ３、音素データ復元部Ｕ４及び音声合成部Ｕ５の動作を実行させるためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、上述の処理を実行する音素データ利用部Ｕを構成することができる。
【０２４２】
そして、上述のプログラムを実行し音素データ供給部Ｔとして機能するパーソナルコンピュータが、図８の音素データ供給部Ｔの動作に相当する処理として、図１２に示す処理を行うものとする。
図１２は、音素データ供給部Ｔの機能を行うパーソナルコンピュータの処理を示すフローチャートである。
【０２４３】
すなわち、音素データ供給部Ｔの機能を行うパーソナルコンピュータ（以下、音素データ供給コンピュータと呼ぶ）が、音声の波形を表す音声データを取得すると（図１２、ステップＳ００１）、音素データ供給コンピュータは、第１の実施の形態のコンピュータＣ１が行うステップＳ２〜ステップＳ１６の処理と実質的に同一の処理を行うことにより、音素データ及びピッチ情報を生成する（ステップＳ００２）。
【０２４４】
次に、音素データ供給コンピュータは、上述の圧縮特性データを生成し（ステップＳ００３）、この圧縮特性データに従い、ステップＳ００２で生成した音素データが表す波形の瞬時値に非線形な圧縮を施して得られる値を量子化したものに相当する非線形量子化音素データを生成し（ステップＳ００４）、生成された非線形量子化音素データ、ステップＳ００２で生成したピッチ情報、及びステップＳ００３で生成した圧縮特性データをエントロピー符号化することにより圧縮音素データを生成する（ステップＳ００５）。
【０２４５】
次に、音素データ供給コンピュータは、ステップＳ００５で最も新しく生成された圧縮音素データのデータ量の、ステップＳ００２で生成した音素データのデータ量に対する比（すなわち現在の圧縮率）が、目標とする所定の圧縮率に達しているか否かを判別し（ステップＳ００６）、達していると判別すると処理をステップＳ００７に進め、達していないと判別すると処理をステップＳ００３に戻す。
【０２４６】
ステップＳ００６からＳ００３に処理が戻ると、音素データ供給コンピュータは、現在の圧縮率が目標とする圧縮率より大きければ、圧縮率が現在より小さくなるように圧縮特性を決定する。一方、現在の圧縮率が目標とする圧縮率より小さければ、圧縮率が現在より大きくなるように、圧縮特性を決定する。
【０２４７】
一方、ステップＳ００７で音素データ供給コンピュータは、ステップＳ００５で最も新しく生成した圧縮音素データを出力する。
【０２４８】
一方、上述のプログラムを実行し音素データ利用部Ｕとして機能するパーソナルコンピュータが、図８の音素データ利用部Ｕの動作に相当する処理として、図１３〜図１６に示す処理を行うものとする。
図１３は、音素データ利用部の機能を行うパーソナルコンピュータが音素データを取得する処理を示すフローチャートである。
図１４は、音素データ利用部Ｕの機能を行うパーソナルコンピュータがフリーテキストデータを取得した場合の音声合成の処理を示すフローチャートである。
図１５は、音素データ利用部Ｕの機能を行うパーソナルコンピュータが配信文字列データを取得した場合の音声合成の処理を示すフローチャートである。
図１６は、音素データ利用部Ｕの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の音声合成の処理を示すフローチャートである。
【０２４９】
すなわち、音素データ利用部Ｕの機能を行うパーソナルコンピュータ（以下、音素データ利用コンピュータと呼ぶ）が、音素データ供給部Ｔ等が出力した圧縮音素データを取得すると（図１３、ステップＳ１０１）、非線形量子化音素データ、ピッチ情報及び圧縮特性データがエントロピー符号化されたものに相当するこの圧縮音素データを復号化することにより、非線形量子化音素データ、ピッチ情報及び圧縮特性データを復元する（ステップＳ１０２）。
【０２５０】
次に、音素データ利用コンピュータは、復元した非線形量子化音素データが表す波形の瞬時値を、この圧縮特性データが示す圧縮特性と互いに逆変換の関係にある特性に従って変更することにより、非線形量子化される前の音素データを復元する（ステップＳ１０３）。
【０２５１】
次に、音素データ利用コンピュータは、ステップＳ１０３で復元した音素データの各区間の時間長を、ステップＳ１０２で復元したピッチ情報が示す時間長になるよう変更する（ステップＳ１０４）。
【０２５２】
そして、音素データ利用コンピュータは、各区間の時間長を変更された音素データ、すなわち復元された音素データを、波形データベースＵ５０６に格納する（ステップＳ１０５）。
【０２５３】
また、音素データ利用コンピュータが、外部より、上述のフリーテキストデータを取得すると（図１４、ステップＳ２０１）、このフリーテキストデータが表すフリーテキストに含まれるそれぞれの表意文字について、その読みを表す表音文字を、単語辞書Ｕ５０２を検索することにより特定し、この表意文字を、特定した表音文字へと置換する（ステップＳ２０２）。なお、音素データ利用コンピュータがフリーテキストデータを取得する手法は任意である。
【０２５４】
そして、音素データ利用コンピュータは、フリーテキスト内の表意文字をすべて表音文字へと置換した結果を表す表音文字列が得られると、この表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す単位音声の波形を波形データベースＵ５０６より検索し、表音文字列に含まれるそれぞれの表音文字が表す単位音声の波形を表す音素データを索出する（ステップＳ２０３）。
【０２５５】
そして、音素データ利用コンピュータは、索出された音素データを、表音文字列内での各表音文字の並びに従った順序で互いに結合し、合成音声データとして出力する（ステップＳ２０４）。なお、音素データ利用コンピュータが合成音声データを出力する手法は任意である。
【０２５６】
また、音素データ利用コンピュータが、外部より、上述の配信文字列データを任意の手法で取得すると（図１５、ステップＳ３０１）、この配信文字列データが表す表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す単位音声の波形を波形データベースＵ５０６より検索し、表音文字列に含まれるそれぞれの表音文字が表す単位音声の波形を表す音素データを索出する（ステップＳ３０２）。
【０２５７】
そして、音素データ利用コンピュータは、索出された音素データを、表音文字列内での各表音文字の並びに従った順序で互いに結合し、合成音声データとしてステップＳ２０４の処理と同様の処理により出力する（ステップＳ３０３）。
【０２５８】
一方、音素データ利用コンピュータが、外部より、上述の定型メッセージデータ及び発声スピードデータを任意の手法により取得すると（図１６、ステップＳ４０１）、まず、この定型メッセージデータが表す定型メッセージに含まれる音片の読みを表す表音文字に合致する表音文字が対応付けられている圧縮音片データをすべて索出する（ステップＳ４０２）。
【０２５９】
また、ステップＳ４０２では、該当する圧縮音片データに対応付けられている上述の音片読みデータ、スピード初期値データ及びピッチ成分データも索出する。なお、１個の音片につき複数の圧縮音片データが該当する場合は、該当する圧縮音片データすべてを索出する。一方、圧縮音片データを索出できなかった音片があった場合は、上述の欠落部分識別データを生成する。
【０２６０】
次に、音素データ利用コンピュータは、索出された圧縮音片データを、圧縮される前の音片データへと復元する（ステップＳ４０３）。そして、復元された音片データを、上述の音片編集部８が行う処理と同様の処理により変換して、当該音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致させる（ステップＳ４０４）。なお、発声スピードデータが供給されていない場合は、復元された音片データを変換しなくてもよい。
【０２６１】
次に、音素データ利用コンピュータは、定型メッセージデータが表す定型メッセージに韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律を予測する（ステップＳ４０５）。そして、音片の時間長が変換された音片データのうちから、定型メッセージを構成する音片の波形に最も近い波形を表す音片データを、上述の音片編集部８が行う処理と同様の処理を行うことにより、外部より取得した照合レベルデータが示す基準に従って、音片１個につき１個ずつ選択する（ステップＳ４０６）。
【０２６２】
具体的には、ステップＳ４０６で音素データ利用コンピュータは、例えば、上述した（１）〜（３）の条件に従って音片データを特定する。すなわち、照合レベルデータの値が「１」である場合は、定型メッセージ内の音片と読みが合致する音片データをすべて、定型メッセージ内の音片の波形を表しているとみなす。また、照合レベルデータの値が「２」である場合は、読みを表す表音文字が合致し、更に、音片データのピッチ成分の周波数の時間変化を表すピッチ成分データの内容が定型メッセージに含まれる音片のアクセントの予測結果に合致する場合に限り、この音片データが定型メッセージ内の音片の波形を表しているとみなす。また、照合レベルデータの値が「３」である場合は、読みを表す表音文字及びアクセントが合致し、更に、音片データが表す音声の鼻濁音化や無声化の有無が、定型メッセージの韻律の予測結果に合致している場合に限り、この音片データが定型メッセージ内の音片の波形を表しているとみなす。
なお、照合レベルデータが示す基準に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。
【０２６３】
一方、音素データ利用コンピュータは、欠落部分識別データを生成した場合、欠落部分識別データが示す音片の読みを表す表音文字列を定型メッセージデータより抽出し、この表音文字列につき、音素毎に、配信文字列データが表す表音文字列と同様に扱って上述のステップＳ３０２の処理を行うことにより、この表音文字列内の各表音文字が示す音声の波形を表す音素データを索出する（ステップＳ４０７）。
【０２６４】
そして、音素データ利用コンピュータは、索出した音素データと、ステップＳ４０６で選択した音片データとを、定型メッセージデータが示す定型メッセージ内での各音片の並びに従った順序で互いに結合し、合成音声を表すデータとして出力する（ステップＳ４０８）。
【０２６５】
なお、パーソナルコンピュータに本体ユニットＭや音片登録ユニットＲの機能を行わせるプログラムは、例えば、通信回線の掲示板（ＢＢＳ）にアップロードし、これを通信回線を介して配信してもよく、また、これらのプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調してこれらのプログラムを復元するようにしてもよい。
そして、これらのプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【０２６６】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【図面の簡単な説明】
【０２６７】
【図１】この発明の第１の実施の形態に係るピッチ波形データ分割器の構成を示すブロック図である。
【図２】図１のピッチ波形データ分割器の動作の流れの前半を示す図である。
【図３】図１のピッチ波形データ分割器の動作の流れの後半を示す図である。
【図４】（ａ）及び（ｂ）は、移相される前の音声データの波形を示すグラフであり、（ｃ）は、移相された後の音声データの波形を表すグラフである。
【図５】（ａ）は、図１又は図６のピッチ波形データ分割器が図１７（ａ）の波形を区切るタイミングを示すグラフであり、（ｂ）は、図１又は図６のピッチ波形データ分割器が図１７（ｂ）の波形を区切るタイミングを示すグラフである。
【図６】この発明の第２の実施の形態に係るピッチ波形データ分割器の構成を示すブロック図である。
【図７】図６のピッチ波形データ分割器のピッチ波形抽出部の構成を示すブロック図である。
【図８】この発明の第３の実施の形態に係る合成音声利用システムの構成を示すブロック図である。
【図９】音素データ圧縮部の構成を示すブロック図である。
【図１０】音声合成部の構成を示すブロック図である。
【図１１】音片データベースのデータ構造を模式的に示す図である。
【図１２】音素データ供給部の機能を行うパーソナルコンピュータの処理を示すフローチャートである。
【図１３】音素データ利用部の機能を行うパーソナルコンピュータが音素データを取得する処理を示すフローチャートである。
【図１４】音素データ利用部の機能を行うパーソナルコンピュータがフリーテキストデータを取得した場合の音声合成の処理を示すフローチャートである。
【図１５】音素データ利用部の機能を行うパーソナルコンピュータが配信文字列データを取得した場合の処理を示すフローチャートである。
【図１６】音素データ利用部の機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の音声合成の処理を示すフローチャートである。
【図１７】（ａ）は、人が発する音声の波形の一例を示すグラフであり、（ｂ）は、従来の技術において波形を区切るタイミングを説明するためのグラフである。
【符号の説明】
【０２６８】
Ｃ１          コンピュータ
ＳＭＤ        記録媒体ドライブ装置
１            音声入力部
２            ピッチ波形抽出部
２０１        ケプストラム解析部
２０２        自己相関解析部
２０３        重み計算部
２０４        ＢＰＦ係数計算部
２０５        バンドパスフィルタ
２０６        ゼロクロス解析部
２０７        波形相関解析部
２０８        位相調整部
２０９        補間部
２１０        ピッチ長調整部
３            差分計算部
４            差分データフィルタ部
５            ピッチ絶対値信号発生部
６            ピッチ絶対値信号フィルタ部
７            比較部
８            出力部
Ｔ            音素データ供給部
Ｔ１          音声データ分割部
Ｔ２          音素データ圧縮部
Ｔ２１        非線形量子化部
Ｔ２２        圧縮率設定部
Ｔ２３        エントロピー符号化部
Ｔ３          圧縮音素データ出力部
Ｕ            音素データ利用部
Ｕ１          圧縮音素データ入力部
Ｕ２          エントロピー符号復号化部
Ｕ３          非線形逆量子化部
Ｕ４          音素データ復元部
Ｕ５          音声合成部
Ｕ５０１        言語処理部
Ｕ５０２        単語辞書
Ｕ５０３        音響処理部
Ｕ５０４        検索部
Ｕ５０５        伸長部
Ｕ５０６        波形データベース
Ｕ５０７        音片編集部
Ｕ５０８        検索部
Ｕ５０９      音片データベース
Ｕ５１０      話速変換部
Ｒ            音片登録ユニット
Ｕ５１１      収録音片データセット記憶部
Ｕ５１２      音片データベース作成部
Ｕ５１３      圧縮部
【図１】
2004272236.tif 000006
【図２】
2004272236.tif 000007
【図３】
2004272236.tif 000008
【図４】
2004272236.tif 000009
【図５】
2004272236.tif 000010
【図６】
2004272236.tif 000011
【図７】
2004272236.tif 000012
【図８】
2004272236.tif 000013
【図９】
2004272236.tif 000014
【図１０】
2004272236.tif 000015
【図１１】
2004272236.tif 000016
【図１２】
2004272236.tif 000017
【図１３】
2004272236.tif 000018
【図１４】
2004272236.tif 000019
【図１５】
2004272236.tif 000020
【図１６】
2004272236.tif 000021
【図１７】
2004272236.tif 000022