(57)【要約】【課題】  時間長が長い合成音声を簡単な処理で、あるいは一時記憶装置の記憶容量に関わりなく、短時間に得ることができる音声合成装置等を提供することを目的とする。【解決手段】  音片編集部５は、定型メッセージ内の音片と読みが合致する音片の音片データを音片データベース７から索出させる。定型メッセージにＩＤが含まれている場合は、このＩＤの読みと合致する音片読みデータが対応付けられた音片データを索出させる。一方で音片編集部５は、索出された音片データのうちから定型メッセージ内の各音片に最もよく合致するものを１個ずつ選択する。選択できなかった音片については音響処理部４１に単位音声毎の波形を表す波形データを供給させる。そして、選択した音片データや、音響処理部４１に供給させた波形データに、キャッシュメモリに一度に記憶可能な分ずつ所定の処理を施して、合成音声を再生する。【選択図】  図１
2006195207.tif 000002
【特許請求の範囲】
【請求項１】
音片を表す、データ量が所定量以下である音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択手段により選択された音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が一時記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、を備える、
ことを特徴とする音声合成装置。
【請求項２】
前記表意文字又はＩＤの韻律を予測する韻律予測手段を更に備え、
前記音片記憶手段は、前記音片データが表す音片のピッチの時間変化、又は、当該音片データに対応付けられたＩＤを読み上げる音声のピッチの時間変化を表す韻律データを、当該音片データに対応付けて記憶しており、
前記選択手段は、前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データのうちから、前記韻律予測手段が予測した韻律に所定の範囲で合致する韻律を表す韻律データが対応付けられている音片データを選択するものである、
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記選択手段は、前記韻律予測手段が予測した韻律に所定の範囲で合致しない韻律を表す韻律データが対応付けられたる音片データを、選択の対象から除外するものである、
ことを特徴とする請求項２に記載の音声合成装置。
【請求項４】
音片記憶手段は、ＩＤの読みを表す表音文字が対応付けられた音片データについては、当該音片データに対応付けられた韻律データを記憶しておらず、
前記選択手段は、前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データのうちから、韻律データが対応付けられていない音片データを選択するものである、
ことを特徴とする請求項２又は３に記載の音声合成装置。
【請求項５】
前記所定の処理は、前記一時記憶手段が一時記憶する音片データが表す音片の時間長が所定の時間長に合致するよう、当該音片データを変換する処理を含む、
ことを特徴とする請求項２、３又は４に記載の音声合成装置。
【請求項６】
前記所定の処理は、前記一時記憶手段が一時記憶する音片データが表す音片の時間長が所定の時間長に合致し、且つ、当該音片データが表す音片のピッチ周波数が所定の条件に合致するよう、当該音片データを変換する処理を含む、
ことを特徴とする請求項２、３又は４に記載の音声合成装置。
【請求項７】
前記所定の処理は、
前記一時記憶手段が一時記憶する音片データが表す音片の時間長が所定の時間長に合致するよう、当該音片データを変換する第１の処理と、
前記第１の処理を経た音片データが表す音片の波形の瞬時値と第１の局部発振信号の瞬時値との積を表すデータを生成する第２の処理と、
前記第２の処理により生成されたデータのうち、前記一時記憶手段が一時記憶する音片データの周波数と前記第１の局部発振信号の周波数との和にあたる周波数を有する成分を抽出する第３の処理と、
前記第３の処理により得られた成分が表す音片の波形の瞬時値と第２の局部発振信号の瞬時値との積を表すデータを生成する第４の処理と、
前記第４の処理により生成されたデータのうち、前記第３の処理により得られた成分の周波数と前記第２の局部発振信号の周波数との差にあたる周波数を有する成分を抽出する第５の処理と、からなっており、
前記第４の処理は、当該第４の処理により得られるデータのうち、前記第３の処理により得られた成分の周波数と前記第２の局部発振信号の周波数との差にあたる周波数を有する成分が表す音片のピッチ周波数が、前記第１の処理を経る前の音片データが表す音片のピッチ周波数に合致するように、前記韻律データに基づいて、前記第２の局部発振信号の周波数を決定する処理を含む、
ことを特徴とする請求項２、３又は４に記載の音声合成装置。
【請求項８】
音片を表す音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択手段により選択された音片データのうち、データ量が所定量を超える音片データを、データ量が当該所定量以下である複数の音片データへと分割する分割手段と、
前記選択手段により選択された、データ量が前記所定量以下である音片データ、又は、前記分割手段による分割の結果得られた音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が一時記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、を備える、
ことを特徴とする音声合成装置。
【請求項９】
前記分割手段は、データ量が所定量を超える音片データを、当該音片データが表す音片のうち実質的に無音である区間に相当する位置で分割する、
ことを特徴とする請求項８に記載の音声合成装置。
【請求項１０】
音片を表す、データ量が所定量以下である音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶し、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換し、
変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択し、
選択された音片データのうち、前記所定量以下の分を一時記憶し、
一時記憶された音片データに所定の処理を施し、
処理済みの音片データが表す音声を再生する、
ことを特徴とする音声合成方法。
【請求項１１】
音片を表す音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶し、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換し、
変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択し、
選択された音片データのうち、データ量が所定量を超える音片データを、データ量が当該所定量以下である複数の音片データへと分割し、
選択された、データ量が前記所定量以下である音片データ、又は、分割の結果得られた音片データのうち、前記所定量以下の分を一時記憶し、
一時記憶された音片データに所定の処理を施し、
処理済みの音片データが表す音声を再生する、
ことを特徴とする音声合成方法。
【請求項１２】
コンピュータを、
音片を表す、データ量が所定量以下である音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択された音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、
して機能させるためのプログラム。
【請求項１３】
コンピュータを、
音片を表す音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択手段により選択された音片データのうち、データ量が所定量を超える音片データを、データ量が当該所定量以下である複数の音片データへと分割する分割手段と、
前記選択手段により選択された、データ量が前記所定量以下である音片データ、又は、前記分割手段による分割の結果得られた音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声合成装置、音声合成方法及びプログラムに関する。
【背景技術】
【０００２】
音声を合成する手法として、録音編集方式と呼ばれる手法がある。録音編集方式は、駅の音声案内システムや、車載用のナビゲーション装置などに用いられている。
録音編集方式は、単語と、この単語を読み上げる音声を表す音片データとを対応付けておき、音声合成する対象の文章を単語に区切ってから、これらの単語に対応付けられた音片データを取得してつなぎ合わせる、という手法である。
【０００３】
しかし、音片データを単につなぎ合わせた場合、音片データ同士の境界では通常、音声のピッチ成分の周波数が不連続的に変化する、等の理由で、合成音声が不自然なものとなる。そこでこの問題を解決するため、同一の音素を互いに異なった韻律で読み上げる音声を表す複数の音片データを用意し、一方で音声合成する対象の文章に韻律予測を施して、予測結果に合致する音片データを選び出してつなぎ合わせる、という手法が行われている（例えば、特許文献１参照）。
【特許文献１】特願２００４−１４２９０７号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、合成しようとする音声が長い場合、この音声全体を表す文章に韻律予測を施すと、韻律予測の完了までに多くの時間がかかってしまい、合成音声が実際に出力されるまでにかかる時間も長くなってしまう。また、音声合成のために選び出されるべき音片データが予め分かっている場合には、文章のうち、この音片データが表す音声に相当する部分については、表音文字列から複数の音片データを索出し、最適な音片データを選択する等の処理は必要ないため、このような無駄な処理を行えば、やはり合成音声が出力されるまでの時間が長くなってしまう。そこで、所定長以上の長さを有する文節に対してはＩＤを付与し、この文節に相当する音片データをこのＩＤに対応付けて記憶しておき、このＩＤが供給されたとき、このＩＤに対応付けられた音片データを用いて所望の音声を合成することが考えられている。
ところが、従来の音声合成では、音声合成する対象の文章を表意文字列として取得し、この表意文字列に形態素解析を施すことによりこの表意文字列から表音文字列を生成して、得られた表音文字列の各部分に対応する音片データを選択する、という手法がとられる場合がある。この場合、供給されたＩＤに対応付けられた音片データを用いて音声を合成するという上述の手法を利用するときは、誤ってＩＤに形態素解析が施されないようにするための処理等、複雑な処理が別途必要になってしまっていた。
【０００５】
一方、音片データを用いて音声合成（連続した音声を表す音声データを生成する処理）を行う装置が一度に連続して処理できる音片データの量の上限は、一般的に、キャッシュメモリ等の一時記憶装置の記憶容量によって左右されてしまう。このため、当該一時記憶装置の記憶容量を越えた音片データが供給されると、音声出力を得るまでに多くの時間を要してしまうという問題が生じていた。
つまり、この上限を超える量の音片データの供給を受けて音声合成を行う場合、このような装置は、供給された音片データのデータ量が一時記憶装置の記憶容量を超えている場合、この音片データのうち、一時記憶装置が記憶可能な分の音片データをこの一時記憶装置に記憶させ、この分についてのみまず音声合成の処理を行う。この処理が終了すると、この処理で生成された音声データを、一時記憶装置以外の第２の記憶装置（他の作業用メモリやＨＤＤ等）に記憶させる。次に、残りの音片データのうち一時記憶装置が記憶可能な分を一時記憶装置に記憶させ、この分についてのみ所定の処理を行い、この処理が終了すると、この処理で生成された音声データを、先に記憶された音声データに後続させて、第２の記憶装置に記憶させる。以後これを繰り返し、供給される音片データを用いた音声合成の処理がすべて終了した時点で、第２の記憶装置に記憶された音声データを出力して音声を再生する。上述のような処理を経て音声が再生されるため、音声出力を得るまでに多くの時間を要することとなっていた。
【０００６】
この発明は上記実状に鑑みてなされたものであり、時間長が長い合成音声を簡単な処理で短時間に得ることができる音声合成装置及び音声合成方法や、そのような音声合成装置及び音声合成方法を実現するためのプログラムを提供することを目的とする。
また、この発明は、キャッシュメモリ等の一時記憶装置の記憶容量に関わりなく音声出力を短時間で得ることができる音声合成装置及び音声合成方法や、そのような音声合成装置及び音声合成方法を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、この発明の第１の観点に係る音声合成装置は、
音片を表す、データ量が所定量以下である音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択手段により選択された音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が一時記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、を備える、
ことを特徴とする。
【０００８】
前記表意文字又はＩＤの韻律を予測する韻律予測手段を更に備えてもよく、
前記音片記憶手段は、前記音片データが表す音片のピッチの時間変化、又は、当該音片データに対応付けられたＩＤを読み上げる音声のピッチの時間変化を表す韻律データを、当該音片データに対応付けて記憶していてもよく、
前記選択手段は、前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データのうちから、前記韻律予測手段が予測した韻律に所定の範囲で合致する韻律を表す韻律データが対応付けられている音片データを選択するものであってもよい。
【０００９】
前記選択手段は、前記韻律予測手段が予測した韻律に所定の範囲で合致しない韻律を表す韻律データが対応付けられたる音片データを、選択の対象から除外するものであってもよい。
【００１０】
音片記憶手段は、ＩＤの読みを表す表音文字が対応付けられた音片データについては、当該音片データに対応付けられた韻律データを記憶していなくてもよく、
前記選択手段は、前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データのうちから、韻律データが対応付けられていない音片データを選択するものであってもよい。
【００１１】
前記所定の処理は、前記一時記憶手段が一時記憶する音片データが表す音片の時間長が所定の時間長に合致するよう、当該音片データを変換する処理を含むものであってもよい。
【００１２】
前記所定の処理は、前記一時記憶手段が一時記憶する音片データが表す音片の時間長が所定の時間長に合致し、且つ、当該音片データが表す音片のピッチ周波数が所定の条件に合致するよう、当該音片データを変換する処理を含むものであってもよい。
【００１３】
前記所定の処理は、
前記一時記憶手段が一時記憶する音片データが表す音片の時間長が所定の時間長に合致するよう、当該音片データを変換する第１の処理と、
前記第１の処理を経た音片データが表す音片の波形の瞬時値と第１の局部発振信号の瞬時値との積を表すデータを生成する第２の処理と、
前記第２の処理により生成されたデータのうち、前記一時記憶手段が一時記憶する音片データの周波数と前記第１の局部発振信号の周波数との和にあたる周波数を有する成分を抽出する第３の処理と、
前記第３の処理により得られた成分が表す音片の波形の瞬時値と第２の局部発振信号の瞬時値との積を表すデータを生成する第４の処理と、
前記第４の処理により生成されたデータのうち、前記第３の処理により得られた成分の周波数と前記第２の局部発振信号の周波数との差にあたる周波数を有する成分を抽出する第５の処理と、からなっていてもよい。
この場合、前記第４の処理は、例えばｍ当該第４の処理により得られるデータのうち、前記第３の処理により得られた成分の周波数と前記第２の局部発振信号の周波数との差にあたる周波数を有する成分が表す音片のピッチ周波数が、前記第１の処理を経る前の音片データが表す音片のピッチ周波数に合致するように、前記韻律データに基づいて、前記第２の局部発振信号の周波数を決定する処理を含んでいればよい。
【００１４】
また、この発明の第２の観点に係る音声合成装置は、
音片を表す音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択手段により選択された音片データのうち、データ量が所定量を超える音片データを、データ量が当該所定量以下である複数の音片データへと分割する分割手段と、
前記選択手段により選択された、データ量が前記所定量以下である音片データ、又は、前記分割手段による分割の結果得られた音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が一時記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、を備える、
ことを特徴とする。
【００１５】
前記分割手段は、データ量が所定量を超える音片データを、当該音片データが表す音片のうち実質的に無音である区間に相当する位置で分割するものであってもよい。
【００１６】
また、この発明の第３の観点に係る音声合成方法は、
音片を表す、データ量が所定量以下である音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶し、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換し、
変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択し、
選択された音片データのうち、前記所定量以下の分を一時記憶し、
一時記憶された音片データに所定の処理を施し、
処理済みの音片データが表す音声を再生する、
ことを特徴とする。
【００１７】
また、この発明の第４の観点に係る音声合成方法は、
音片を表す音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶し、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換し、
変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択し、
選択された音片データのうち、データ量が所定量を超える音片データを、データ量が当該所定量以下である複数の音片データへと分割し、
選択された、データ量が前記所定量以下である音片データ、又は、分割の結果得られた音片データのうち、前記所定量以下の分を一時記憶し、
一時記憶された音片データに所定の処理を施し、
処理済みの音片データが表す音声を再生する、
ことを特徴とする。
【００１８】
また、この発明の第５の観点に係るプログラムは、
コンピュータを、
音片を表す、データ量が所定量以下である音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択された音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、
して機能させるためのものであることを特徴とする。
【００１９】
また、この発明の第６の観点に係るプログラムは、
コンピュータを、
音片を表す音片データを、当該音片データの読みを表す表音文字、又は当該音片データを識別するＩＤの読みを表す表音文字と対応付けて記憶する音片記憶手段と、
外部より供給された表意文字又はＩＤを、当該表意文字又はＩＤの読みを表す表音文字列に変換する形態素解析部と、
前記形態素解析部による変換の結果得られた表音文字列と一致する表音文字に対応付けられた音片データを選択する選択手段と、
前記選択手段により選択された音片データのうち、データ量が所定量を超える音片データを、データ量が当該所定量以下である複数の音片データへと分割する分割手段と、
前記選択手段により選択された、データ量が前記所定量以下である音片データ、又は、前記分割手段による分割の結果得られた音片データのうち、前記所定量以下の分を一時記憶する一時記憶手段と、
前記一時記憶手段が記憶する音片データに所定の処理を施す処理手段と、
前記処理手段が処理した音片データが表す音声を再生する再生手段と、
して機能させるためのものであることを特徴とする。
【発明の効果】
【００２０】
この発明によれば、時間長が長い合成音声を簡単な処理で短時間に得ることができる音声合成装置及び音声合成方法や、そのような音声合成装置及び音声合成方法を実現するためのプログラムが実現される。
また、この発明は、キャッシュメモリ等の一時記憶装置の記憶容量に関わりなく音声出力を短時間で得ることができる音声合成装置及び音声合成方法や、そのような音声合成装置及び音声合成方法を実現するためのプログラムが実現される。
【発明を実施するための最良の形態】
【００２１】
以下、音声合成システムを例とし、図面を参照して、この発明の実施の形態を説明する。
【００２２】
（第１の実施の形態）
図１は、この発明の第１の実施の形態に係る音声合成システムの構成を示す図である。図示するように、この音声合成システムは、本体ユニットＭと、音片登録ユニットＲとにより構成されている。
【００２３】
本体ユニットＭは、言語処理部１と、一般単語辞書２と、ユーザ単語辞書３と、規則合成処理部４と、音片編集部５と、検索部６と、音片データベース７と、伸長部８とにより構成されている。
このうち、規則合成処理部４は、音響処理部４１と、検索部４２と、伸長部４３と、波形データベース４４とより構成されている。
また、音片編集部５は、形態素解析部５１と、一致音片決定部５２と、韻律予測部５３と、出力合成部５４とより構成されている。
【００２４】
言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び伸長部８は、いずれも、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサや、ＲＡＭ（Random Access Memory）、ハードディスク装置等の記憶装置より構成されており、それぞれ後述する処理を行う。なお、記憶装置は、プロセッサが実行するためのプログラムを記憶する不揮発性メモリや、このプロセッサのメインメモリ（主記憶装置）として機能する揮発性メモリや、また、このプロセッサのキャッシュメモリとして機能する揮発性メモリなどより構成されている。
【００２５】
また、出力合成部５４は更に、例えば、Ｄ／Ａ（Digital-to-Analog）変換器、ＡＦ（Audio Frequency）増幅器及びスピーカ等を備えている。
【００２６】
なお、言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び伸長部８の一部又は全部の機能を単一のプロセッサが行うようにしてもよい。従って、例えば、伸長部４３の機能を行うプロセッサが伸長部８の機能を行ってもよいし、１個のプロセッサが音響処理部４１、検索部４２及び伸長部４３の機能を兼ねて行ってもよい。
【００２７】
一般単語辞書２は、ＰＲＯＭ（Programmable Read Only Memory）やハードディスク装置等の不揮発性メモリより構成されている。一般単語辞書２には、表意文字（例えば、漢字など）を含む単語等と、この単語等の読みを表す表音文字（例えば、カナや発音記号など）とが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。
【００２８】
ユーザ単語辞書３は、ＥＥＰＲＯＭ（Electrically Erasable/Programmable Read Only Memory）やハードディスク装置等のデータ書き換え可能な不揮発性メモリと、この不揮発性メモリへのデータの書き込みを制御する制御回路とにより構成されている。なお、プロセッサがこの制御回路の機能を行ってもよく、言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び伸長部８の一部又は全部の機能を行うプロセッサがユーザ単語辞書３の制御回路の機能を行うようにしてもよい。
ユーザ単語辞書３は、表意文字を含む単語等と、この単語等の読みを表す表音文字とを、ユーザの操作に従って外部より取得し、互いに対応付けて記憶する。ユーザ単語辞書３には、一般単語辞書２に記憶されていない単語等とその読みを表す表音文字とが格納されていれば十分である。
【００２９】
波形データベース４４は、ＰＲＯＭやハードディスク装置等の不揮発性メモリより構成されている。波形データベース４４には、表音文字と、この表音文字が表す音素を構成する素片（すなわち、１個の音素を構成する音声の波形１サイクル分（又はその他所定数のサイクル分）の音声）を表す素片波形データをエントロピー符号化して得られる圧縮波形データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。なお、エントロピー符号化される前の素片波形データは、例えば、ＰＣＭ化されたデジタル形式のデータからなっていればよい。
【００３０】
音片データベース７は、ＰＲＯＭやハードディスク装置等の不揮発性メモリより構成されている。
音片データベース７には、例えば、図２に示すデータ構造を有するデータが記憶されている。すなわち、図示するように、音片データベース７に格納されているデータは、ヘッダ部ＨＤＲ、インデックス部ＩＤＸ、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴの４種に分かれている。
【００３１】
なお、音片データベース７へのデータの格納は、例えば、この音声合成システムの製造者によりあらかじめ行われ、及び／又は、音片登録ユニットＲが後述する動作を行うことにより行われる。
【００３２】
ヘッダ部ＨＤＲには、音片データベース７を識別するデータや、インデックス部ＩＤＸ、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴのデータ量、データの形式、著作権等の帰属などを示すデータが格納される。
【００３３】
データ部ＤＡＴには、音片の波形を表す音片データをエントロピー符号化して得られる圧縮音片データが格納されている。
なお、音片とは、音声のうち音素１個以上を含む連続した１区間をいい、通常は単語１個分又は複数個分の区間からなる。音片は接続詞を含む場合もある。
また、エントロピー符号化される前の音片データは、上述の圧縮波形データの生成のためエントロピー符号化される前の波形データと同じ形式のデータ（例えば、ＰＣＭ化されたデジタル形式のデータ）からなっていればよい。なお、エントロピー符号化される前の音片データ１個の長さ（データ量）は、キャッシュメモリの記憶容量を超えない量であるものとする。
【００３４】
ディレクトリ部ＤＩＲには、個々の圧縮音片データについて、
（Ａ）  この圧縮音片データが表す音片の読みを示す表音文字を表す表音データ（音片読みデータ）、
（Ｂ）  この圧縮音片データが格納されている記憶位置の先頭のアドレスを表すデータ、
（Ｃ）  この圧縮音片データのデータ長を表すデータ、
（Ｄ）  この圧縮音片データが表す音片の発声スピード（再生した場合の時間長）を表すデータ（スピード初期値データ）、
（Ｅ）  この音片の韻律を示すものとして、この音片のピッチ成分の周波数の時間変化を表す韻律データ（ピッチ成分データ）、
が、互いに対応付けられた形で格納されている。（なお、音片データベース７の記憶領域にはアドレスが付されているものとする。）
【００３５】
なお、図２は、データ部ＤＡＴに含まれるデータとして、読みが「サイタマ」である音片の波形を表す、データ量１４１０ｈバイトの圧縮音片データが、アドレス００１Ａ３６Ａ６ｈを先頭とする論理的位置に格納されている場合を例示している。（なお、本明細書及び図面において、末尾に“ｈ”を付した数字は１６進数を表す。）
【００３６】
なお、上述の（Ａ）〜（Ｅ）のデータの集合のうち少なくとも（Ａ）のデータ（すなわち音片読みデータ）は、音片読みデータが表す表音文字に基づいて決められた順位に従ってソートされた状態で（例えば、表音文字がカナであれば、五十音順に従って、アドレス降順に並んだ状態で）、音片データベース７の記憶領域に格納されている。
また、上述のピッチ成分データは、例えば、図示するように、音片のピッチ成分の周波数を音片の先頭からの経過時間の１次関数で近似した場合における、この１次関数の切片β及び勾配αの値を示すデータからなっていればよい。（勾配αの単位は例えば［ヘルツ／秒］であればよく、切片βの単位は例えば［ヘルツ］であればよい。）
また、ピッチ成分データには更に、圧縮音片データが表す音片が、有声音又は無声音のいずれであるか、鼻濁音化されているか否か、及び、無声化されているか否かを表す図示しないデータも含まれているものとする。
【００３７】
また、圧縮音片データは、キャッシュメモリの記憶容量を超えるような長い１個の音片データを分割して得られた、キャッシュメモリの記憶容量を超えない長さの音片データをエントロピー符号化して得られたものである場合もあるものとする。
このような圧縮音片データには、当該圧縮音片データを識別するＩＤ（IDentifier）が予め割り当てられるものとし、また、このような圧縮音片データに対応付けられる音片読みデータは、当該圧縮音片データが表す音片の読みではなく、当該圧縮音片データのＩＤの読みを表す表音文字列からなるものとする。更に、このような圧縮音片データに対応付けられるピッチ成分データは、当該圧縮音片データが表す音片のピッチ成分の時間変化ではなく、当該圧縮音片データのＩＤを読み上げる音声のピッチ成分の時間変化を表す韻律データからなるものとする。
【００３８】
すなわち、例えば音片データベース７は、「リストをスクロールして、１ページ前を表示します。最初のページを表示中には、押せません。」という１個の長い文章を読み上げる音声を表す１個の長い音片データが、それぞれ「リストをスクロールして」「１ページ前を表示します」「最初のページを表示中には」「押せません」と読み上げる部分を表す４個の音片データ（これらの音片データの長さはいずれもキャッシュメモリの記憶容量を超えないものとする）へと分割され、それぞれエントロピー符号化されたものからなる４個の圧縮音片データを記憶しているものとする。
そして、これら４個の圧縮音片データのうち、例えば、音片「リストをスクロールして」に相当する音片データにはＩＤとして「ＡアＢイ」が対応付けられており、以下、音片「１ページ前を表示します」、「最初のページを表示中には」又は「押せません」に相当する各音片データには、ＩＤとして例えば、順に「ＣウＤエ」、「ＥオＦカ」又は「ＧキＨク」が割り当てられているものとする。
この場合、音片「リストをスクロールして」、「１ページ前を表示します」、「最初のページを表示中には」又は「押せません」に相当する各音片データには、音片読みデータとして、順に「エイアビーイ」、「シーウディーエ」、「イーオエフカ」又は「ジーキエイチク」が対応付けて記憶されているものとする。
また、音片「リストをスクロールして」、「１ページ前を表示します」、「最初のページを表示中には」又は「押せません」に相当する各音片データには、ピッチ成分データとして、順に、「エイアビーイ」、「シーウディーエ」、「イーオエフカ」又は「ジーキエイチク」を読み上げる音声のピッチ成分の時間変化を表す韻律データが対応付けて記憶されているものとする。
【００３９】
インデックス部ＩＤＸには、ディレクトリ部ＤＩＲのデータのおおよその論理的位置を音片読みデータに基づいて特定するためのデータが格納されている。具体的には、例えば、音片読みデータがカナを表すものであるとして、カナ文字と、先頭１字がこのカナ文字であるような音片読みデータがどのような範囲のアドレスにあるかを示すデータ（ディレクトリアドレス）とが、互いに対応付けて格納されている。
【００４０】
なお、一般単語辞書２、ユーザ単語辞書３、波形データベース４４、一致音片決定部５２の不揮発性メモリ、及び音片データベース７の一部又は全部の機能を、単一の不揮発性メモリが行うようにしてもよい。
【００４１】
音片登録ユニットＲは、図示するように、収録音片データセット記憶部１０と、音片データベース作成部１１と、圧縮部１２とにより構成されている。なお、音片登録ユニットＲは音片データベース７とは着脱可能に接続されていてもよく、この場合は、音片データベース７に新たにデータを書き込むときを除いては、音片登録ユニットＲを本体ユニットＭから切り離した状態で本体ユニットＭに後述の動作を行わせてよい。
【００４２】
収録音片データセット記憶部１０は、ハードディスク装置等のデータ書き換え可能な不揮発性メモリより構成されている。
収録音片データセット記憶部１０には、音片の読みを表す表音文字と、この音片を人が実際に発声したものを集音して得た波形を表す音片データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。なお、この音片データは、例えば、ＰＣＭ化されたデジタル形式のデータからなっていればよい。
【００４３】
音片データベース作成部１１及び圧縮部１２は、ＣＰＵ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されており、このプログラムに従って後述する処理を行う。
【００４４】
なお、音片データベース作成部１１及び圧縮部１２の一部又は全部の機能を単一のプロセッサが行うようにしてもよく、また、言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び伸長部８の一部又は全部の機能を行うプロセッサが音片データベース作成部１１や圧縮部１２の機能を更に行ってもよい。また、音片データベース作成部１１や圧縮部１２の機能を行うプロセッサが、収録音片データセット記憶部１０の制御回路の機能を兼ねてもよい。
【００４５】
次に、この音声合成システムの動作を説明する。
【００４６】
（第１の実施の形態：音片登録ユニットの動作）
まず、音片登録ユニットＲの動作を説明する。
音片データベース７に音片を登録する場合、まず、音片データベース作成部１１は、収録音片データセット記憶部１０より、互いに対応付けられている表音文字及び音片データを読み出し、この音片データが表す音声のピッチ成分の周波数の時間変化と、発声スピードとを特定する。
【００４７】
発声スピードの特定は、例えば、この音片データのサンプル数を数えることにより特定すればよい。
【００４８】
一方、ピッチ成分の周波数の時間変化は、例えば、この音片データにケプストラム解析を施すことにより特定すればよい。具体的には、例えば、音片データが表す波形を時間軸上で多数の小部分へと区切り、得られたそれぞれの小部分の強度を、元の値の対数（対数の底は任意）に実質的に等しい値へと変換し、値が変換されたこの小部分のスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。そして、このケプストラムの極大値を与える周波数のうちの最小値を、この小部分におけるピッチ成分の周波数として特定する。
【００４９】
なお、ピッチ成分の周波数の時間変化は、例えば、特開２００３−１０８１７２号公報に開示された手法に従って音片データをピッチ波形データへと変換してから、このピッチ波形データに基づいて特定するようにすると良好な結果が期待できる。具体的には、音片データをフィルタリングしてピッチ信号を抽出し、抽出されたピッチ信号に基づいて、音片データが表す波形を単位ピッチ長の区間へと区切り、各区間について、ピッチ信号との相関関係に基づいて位相のずれを特定して各区間の位相を揃えることにより、音片データをピッチ波形信号へと変換すればよい。そして、得られたピッチ波形信号を音片データとして扱い、ケプストラム解析を行う等することにより、ピッチ成分の周波数の時間変化を特定すればよい。
【００５０】
一方、音片データベース作成部１１は、収録音片データセット記憶部１０より読み出した音片データを圧縮部１２に供給する。
圧縮部１２は、音片データベース作成部１１より供給された音片データをエントロピー符号化して圧縮音片データを作成し、音片データベース作成部１１に返送する。
【００５１】
音片データの発声スピード及びピッチ成分の周波数の時間変化を特定し、この音片データがエントロピー符号化され圧縮音片データとなって圧縮部１２より返送されると、音片データベース作成部１１は、この圧縮音片データを、データ部ＤＡＴを構成するデータとして、音片データベース７の記憶領域に書き込む。
【００５２】
また、音片データベース作成部１１は、書き込んだ圧縮音片データが表す音片の読みを示すものとして収録音片データセット記憶部１０より読み出した表音文字を、音片読みデータとして音片データベース７の記憶領域に書き込む。
また、書き込んだ圧縮音片データの、音片データベース７の記憶領域内での先頭のアドレスを特定し、このアドレスを上述の（Ｂ）のデータとして音片データベース７の記憶領域に書き込む。
また、この圧縮音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベース７の記憶領域に書き込む。
また、この圧縮音片データが表す音片の発声スピード及びピッチ成分の周波数の時間変化を特定した結果を示すデータを生成し、スピード初期値データ及びピッチ成分データとして音片データベース７の記憶領域に書き込む。
【００５３】
（第１の実施の形態：本体ユニットの動作）
次に、本体ユニットＭの動作を説明する。以下では、まず、言語処理部１が、この音声合成システムに音声を合成させる対象としてユーザが用意した、表意文字を含む文章（フリーテキスト）を記述したフリーテキストデータを外部から取得したとして説明する。
【００５４】
なお、言語処理部１がフリーテキストデータを取得する手法は任意であり、例えば、図示しないインターフェース回路を介して外部の装置やネットワークから取得してもよいし、図示しない記録媒体ドライブ装置にセットされた記録媒体（例えば、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭなど）から、この記録媒体ドライブ装置を介して読み取ってもよい。
【００５５】
また、言語処理部１の機能を行っているプロセッサが、自ら実行している他の処理で用いたテキストデータを、フリーテキストデータとして、言語処理部１の処理へと引き渡すようにしてもよい。
プロセッサが実行する当該他の処理としては、例えば、音声を表す音声データを取得し、この音声データに音声認識を施すことにより、この音声が表す語句を特定し、特定した語句に基づいて、この音声の発話者の要求の内容を特定して、特定した要求を満足させるために実行すべき処理を特定して実行するようなエージェント装置の機能をプロセッサに行わせるための処理などが考えられる。
【００５６】
フリーテキストデータを取得すると、言語処理部１は、このフリーテキストに含まれるそれぞれの表意文字について、その読みを表す表音文字を、一般単語辞書２やユーザ単語辞書３を検索することにより特定する。そして、この表意文字を、特定した表音文字へと置換する。そして、言語処理部１は、フリーテキスト内の表意文字がすべて表音文字へと置換した結果得られる表音文字列を、規則合成処理部４の音響処理部４１へと供給する。
【００５７】
音響処理部４１は、言語処理部１より表音文字列を供給されると、この表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す音素を構成する素片の波形を検索するよう、検索部４２に指示する。また、音響処理部４１は、この表音文字列を、音片編集部５の韻律予測部５３に供給する。
【００５８】
検索部４２は、この指示に応答して波形データベース４４を検索し、この指示の内容に合致する圧縮波形データを索出する。そして、索出された圧縮波形データを伸長部４３へと供給する。
【００５９】
伸長部４３は、検索部４２より供給された圧縮波形データを、圧縮される前の素片波形データへと復元し、検索部４２へと返送する。検索部４２は、伸長部４３より返送された素片波形データを、検索結果として音響処理部４１へと供給する。
【００６０】
一方、音響処理部４１より表音文字列を供給された韻律予測部５３は、この表音文字列に、例えば「藤崎モデル」や「ＴｏＢＩ（Tone and Break Indices）」等の韻律予測の手法に基づいた解析を加えることにより、この表音文字列が表す音声の韻律（アクセント、イントネーション、強勢、音素の時間長など）を予測し、予測結果を表す韻律予測データを生成する。そして、この韻律予測データを、音響処理部４１に供給する。
【００６１】
音響処理部４１は、検索部４２より素片波形データを供給され、韻律予測部５３より韻律予測データを供給されると、供給された素片波形データを用いて、言語処理部１が供給した表音文字列に含まれるそれぞれの表音文字が表す音声の波形を表す音声波形データを生成する。
【００６２】
具体的には、音響処理部４１は、例えば、検索部４２より供給された各々の素片波形データが表す素片により構成されている音素の時間長を、韻律予測部５３より供給された韻律予測データに基づいて特定する。そして、特定した音素の時間長を、当該素片波形データが表す素片の時間長で除した値に最も近い整数を求め、当該素片波形データを、求めた整数に等しい個数分相互に結合することにより、音声波形データを生成すればよい。
【００６３】
なお、音響処理部４１は、音声波形データが表す音声の時間長を韻律予測データに基づいて決定するのみならず、音声波形データを構成する素片波形データを加工して、音声波形データが表す音声が、当該韻律予測データが示す韻律に合致する強度やイントネーション等を有するようにしてもよい。
【００６４】
そして、音響処理部４１は、生成された音声波形データを、言語処理部１より供給された表音文字列内での各表音文字の並びに従った順序で、音片編集部５の出力合成部５４へと供給する。
【００６５】
出力合成部５４は、音響処理部４１より音声波形データを供給されると、この音声波形データを、音響処理部４１より供給された順序で互いに結合することにより、合成音声を表すデータ（合成音声データ）を生成する。そして出力合成部５４は、この合成音声データが表す音声を再生する。フリーテキストデータに基づいて合成されたこの合成音声は、規則合成方式の手法により合成された音声に相当する。
【００６６】
出力合成部５４は、合成音声データを生成する際、音声波形データのデータ量が所定の上限（具体的には、キャッシュメモリの記憶容量）を超える場合は、まずこの上限を超えない分の音声波形データをキャッシュメモリに記憶させる。そして、キャッシュメモリに記憶された分の音声波形データに所定の処理を施した後、この処理を経た音声波形データをメインメモリの記憶領域内に格納し、残りの音声波形データのうちデータ量が所定の上限を超えない分の音声波形データをキャッシュメモリに記憶させ、上述と同様に所定の処理を施す。メインメモリは、処理を経た音声波形データを、メインメモリの記憶領域内で先に記憶されている処理済の音声波形データに後続するようにして順次記憶する。そして出力合成部５４は、音響処理部４１より供給された音声波形データすべてに当該所定の処理を施し終わると、この時点でメインメモリに記憶されている音声波形データの連続（すなわち合成音声データ）が表す音声を再生するものとする。
【００６７】
なお、出力合成部５４は、合成音声データが表す合成音声を再生すると共に、あるいは合成音声を再生する代わりに、任意の手法により合成音声データを外部に出力するようにしてもよい。具体的には、例えば、図示しないインターフェース回路を介して外部の装置やネットワークに送出してもよいし、図示しない記録媒体ドライブ装置にセットされた記録媒体へ、この記録媒体ドライブ装置を介して書き込んでもよい。また、出力合成部５４の機能を行っているプロセッサが、自ら実行している他の処理へと、合成音声データを引き渡すようにしてもよい。
【００６８】
次に、音響処理部４１が、外部より配信された、表音文字列を表すデータ（配信文字列データ）を取得したとする。（なお、音響処理部４１が配信文字列データを取得する手法も任意であり、例えば、言語処理部１がフリーテキストデータを取得する手法と同様の手法で配信文字列データを取得すればよい。）
【００６９】
この場合、音響処理部４１は、配信文字列データが表す表音文字列を、言語処理部１より供給された表音文字列と同様に扱う。この結果、配信文字列データが表す表音文字列に含まれる表音文字が表す音素を構成する素片を表す圧縮波形データが検索部４２により索出され、圧縮される前の素片波形データが伸長部４３により復元される。一方で、韻律予測部５３により、配信文字列データが表す表音文字列に韻律予測の手法に基づいた解析が加えられ、この結果、この表音文字列が表す音声の韻律の予測結果を表す韻律予測データが生成される。そして音響処理部４１が、配信文字列データが表す表音文字列に含まれるそれぞれの表音文字が表す音声の波形を表す音声波形データを、復元された各素片波形データと、韻律予測データとに基づいて生成し、出力合成部５４は、生成された音声波形データを、配信文字列データが表す表音文字列内での各表音文字の並びに従った順序で互いに結合することにより合成音声データを生成し、この合成音声データが表す合成音声を再生し、あるいはこの合成音声データを外部に出力する。配信文字列データに基づいて合成されたこの合成音声データも、規則合成方式の手法により合成された音声を表す。
【００７０】
次に、音片編集部５が、定型メッセージデータ、発声スピードデータ、及び照合レベルデータを取得したとする。
【００７１】
なお、定型メッセージデータは、定型メッセージを表意文字列として表すデータである。この表意文字列には上述のＩＤも含まれ得るものとする。従って例えば、定型メッセージデータの作成者は、例えば上述の長い文章「リストをスクロールして、１ページ前を表示します。最初のページを表示中には、押せません。」を定型メッセージ（又はその一部）として本体ユニットＭに読み上げさせたい場合、定型メッセージデータに、上述の４個のＩＤ「ＡアＢイ」、「ＣウＤエ」、「ＥオＦカ」及び「ＧキＨク」を互いに連続した形で含ませればよい。
【００７２】
発声スピードデータは、定型メッセージデータが表す定型メッセージの発声スピードの指定値（この定型メッセージを発声する時間長の指定値）を示すデータである。
照合レベルデータは、検索部６が行う後述の検索処理における検索条件を指定するデータであり、以下では「１」、「２」又は「３」のいずれかの値をとるものとし、「３」が最も厳格な検索条件を示すものとする。
【００７３】
また、音片編集部５が定型メッセージデータや発声スピードデータや照合レベルデータを取得する手法は任意であり、例えば、言語処理部１がフリーテキストデータを取得する手法と同様の手法で定型メッセージデータや発声スピードデータや照合レベルデータを取得すればよい。
【００７４】
定型メッセージデータ、発声スピードデータ、及び照合レベルデータが音片編集部５に供給されると、音片編集部５の形態素解析部５１は、定型メッセージデータに公知の手法による形態素解析を施すことにより、定型メッセージデータを構成する表意文字列を、表音文字列へと置換する。そして、得られた表音文字列を一致音片決定部５２へと供給する。
なお、形態素解析部５１はＩＤも表音文字列に変換する。従って、例えば定型メッセージデータに上述の４個のＩＤ「ＡアＢイ」、「ＣウＤエ」、「ＥオＦカ」及び「ＧキＨク」が含まれている場合、形態素解析部５１は、これら４個のＩＤを、「エイアビーイ」、「シーウディーエ」、「イーオエフカ」及び「ジーキエイチク」の４個の表音文字列へと変換する。
【００７５】
一致音片決定部５２は、表音文字列を形態素解析部５１より供給されると、この表音文字列に合致する表音文字列が対応付けられている圧縮音片データをすべて索出するよう、検索部６に指示する。
【００７６】
検索部６は、一致音片決定部５２の指示に応答して音片データベース７を検索し、該当する圧縮音片データと、該当する圧縮音片データに対応付けられている上述の音片読みデータ、スピード初期値データ及びピッチ成分データとを索出し、索出された圧縮音片データを伸長部４３へと供給する。複数の圧縮音片データが共通の表音文字ないし表音文字列に該当する場合も、該当する圧縮音片データすべてが、音声合成に用いられるデータの候補として索出される。一方、圧縮音片データを索出できなかった音片があった場合、検索部６は、該当する音片を識別するデータ（以下、欠落部分識別データと呼ぶ）を生成する。
【００７７】
伸長部４３は、検索部６より供給された圧縮音片データを、圧縮される前の音片データへと復元し、検索部６へと返送する。検索部６は、伸長部４３より返送された音片データと、索出された音片読みデータ、スピード初期値データ及びピッチ成分データとを、検索結果として一致音片決定部５２へと供給する。また、欠落部分識別データを生成した場合は、この欠落部分識別データも一致音片決定部５２へと供給する。
【００７８】
一致音片決定部５２は、検索部６より音片データ、音片読みデータ及びピッチ成分データを供給されると、供給された音片データのうちから、定型メッセージを構成する音片の波形に近似できる波形を表す音片データを、音片１個につき１個ずつ選択する。ただし、一致音片決定部５２は、いかなる条件を満たす波形を定型メッセージの音片に近い波形とするかを、音片編集部５に供給された照合レベルデータに従って設定する。
【００７９】
具体的には、まず、一致音片決定部５２は、例えば定型メッセージデータを韻律予測部５３に供給し、韻律予測部５３に、この定型メッセージデータが表す定型メッセージの韻律を予測するよう指示する。韻律予測部５３はこの指示に従い、上述した韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律を予測し、予測結果を表す韻律予測データを生成して、一致音片決定部５２に返送する。なお、韻律予測部５３はＩＤの韻律も予測する。
【００８０】
韻律予測データを取得すると、一致音片決定部５２は、例えば、
（１）  照合レベルデータの値が「１」である場合は、検索部６より供給された音片データ（すなわち、定型メッセージ内の音片と読みが合致する音片データ）をすべて、定型メッセージ内の音片の波形に近いものとして選択する。
【００８１】
（２）  照合レベルデータの値が「２」である場合は、（１）の条件（つまり、読みを表す表音文字の合致という条件）を満たし、更に、音片データのピッチ成分の周波数の時間変化を表すピッチ成分データの内容と定型メッセージに含まれる音片の韻律（例えばアクセント）の予測結果との間に所定量以上の強い相関がある場合（例えば、アクセントの位置の時間差が所定量以下である場合）に限り、この音片データが定型メッセージ内の音片の波形に近いものとして選択する。なお、定型メッセージ内の音片のアクセントの予測結果は、定型メッセージの韻律の予測結果より特定できるものであり、一致音片決定部５２は、例えば、ピッチ成分の周波数が最も高いと予測されている位置をアクセントの予測位置であると解釈すればよい。一方、音片データが表す音片のアクセントの位置については、例えば、ピッチ成分の周波数が最も高い位置を上述のピッチ成分データに基づいて特定し、この位置をアクセントの位置であると解釈すればよい。また、韻律予測は、文章全体に対して行ってもよいし、文章を所定の単位に分割し、それぞれの単位に対して行ってもよい。
【００８２】
（３）  照合レベルデータの値が「３」である場合は、（２）の条件（つまり、読みを表す表音文字及びアクセントの合致という条件）を満たし、更に、音片データが表す音声の鼻濁音化や無声化の有無が、定型メッセージの韻律の予測結果に合致している場合に限り、この音片データが定型メッセージ内の音片の波形に近いものとして選択する。一致音片決定部５２は、音片データが表す音声の鼻濁音化や無声化の有無を、検索部６より供給されたピッチ成分データに基づいて判別すればよい。
【００８３】
なお、一致音片決定部５２は、自ら設定した条件に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。
【００８４】
具体的には、例えば、設定した条件が照合レベルデータの値「１」に相当するものであって、該当する音片データが複数あった場合は、照合レベルデータの値「２」に相当する検索条件にも合致するものを選択し、なお複数の音片データが選択された場合は、選択結果のうちから照合レベルデータの値「３」に相当する検索条件にも合致するものを更に選択する、等の操作を行う。照合レベルデータの値「３」に相当する検索条件で絞り込んでなお複数の音片データが残る場合は、残ったものを任意の基準で１個に絞り込めばよい。
【００８５】
そして、一致音片決定部５２は、照合レベルデータの値に相当する条件を満たすものとして選択した音片データを、出力合成部５４へと供給する。
ただし、一致音片決定部５２は、検索部６より供給された音片データのうちから、照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合、該当する音片を、検索部６が圧縮音片データを索出できなかった音片（つまり、上述の欠落部分識別データが示す音片）とみなして扱うことを決定するものとする。
【００８６】
一方、一致音片決定部５２は、検索部６より欠落部分識別データも供給されている場合、又は、照合レベルデータの値に相当する条件を満たす音片データを選択できなかった音片があった場合には、欠落部分識別データが示す音片（照合レベルデータの値に相当する条件を満たす音片データを選択できなかった音片を含む）の読みを表す表音文字列を定型メッセージデータより抽出して音響処理部４１に供給し、この音片の波形を合成するよう指示する。
【００８７】
指示を受けた音響処理部４１は、一致音片決定部５２より供給された表音文字列を、配信文字列データが表す表音文字列と同様に扱う。この結果、この表音文字列に含まれる表音文字が表す音素を構成する素片を表す圧縮波形データが検索部４２により索出され、圧縮される前の素片波形データが伸長部４３により復元される。一方で、韻律予測部５３により、この表音文字列が表す音片の韻律の予測結果を表す韻律予測データが生成される。そして音響処理部４１が、この表音文字列に含まれるそれぞれの表音文字が表す音声の波形を表す音声波形データを、復元された各素片波形データと、韻律予測データとに基づいて生成し、生成された音声波形データを、出力合成部５４へと供給する。
【００８８】
なお、一致音片決定部５２は、韻律予測部５３が既に生成して一致音片決定部５２に供給した韻律予測データのうち、欠落部分識別データが示す音片に相当する部分を音響処理部４１に供給するようにしてもよく、この場合、音響処理部４１は、改めて韻律予測部５３に当該音片の韻律予測を行わせる必要はない。このようにすれば、音片等の細かい単位毎に韻律予測を行う場合に比べて、より自然な発話が可能になる。
【００８９】
出力合成部５４は、一致音片決定部５２より音片データを供給され、音響処理部４１より、素片波形データより生成された音声波形データを供給されると、これらの音片データ及び音声波形データを、定型メッセージデータが示す定型メッセージ内での各音片ないし音素の並びに従った順序で互いに結合することにより合成音声データを生成し、この合成音声データが表す合成音声を再生し、あるいはこの合成音声データを外部に出力する。
【００９０】
出力合成部５４は、複数の音片データからなる合成音声データを生成する際、これらの各音片データ又は各音声波形データのデータ量が上述の上限を超えない場合には、まず最初の音片データ又は音声波形データをキャッシュメモリに記憶させ、所定の処理を施して、当該音片データ又は音声波形データが表す音声を再生し、あるいは外部に出力するものとする。そして引き続き、次に再生、出力すべき音片データ又は音声波形データをキャッシュメモリに記憶させ、以後上述と同様に音声の再生あるいは出力する。これを全ての音片データ又は音声波形データの再生、出力が終了するまで繰り返す。
【００９１】
出力合成部５４がキャッシュメモリの記憶領域内の音片データ又は音声波形データに対して施す所定の処理は、例えば、有声音を表す当該音片データ又は音声波形データを変換して、当該音片データ又は音声波形データが表す音片の時間長を、音片編集部５に供給された発声スピードデータが示すスピードに合致するようにする話速変換の処理を含むものである。
【００９２】
具体的な話速変換の処理として出力合成部５４は、例えば以下（Ａ１）〜（Ａ３）として示す処理を行えばよい。
（Ａ１）  キャッシュメモリが記憶している音片データを構成するサンプルの時間間隔を変換することにより、この音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致させる。キャッシュメモリが記憶しているデータが音声波形データである場合は、例えば、直前に（Ａ１）の処理を施した音片データのサンプリングレートの変換の比率と同一の比率で、サンプルの時間間隔の変換を行う。
（Ａ２）  一方、キャッシュメモリが記憶している音片データが表す音片の韻律を表すピッチ成分データを一致音片決定部５２より取得する。
（Ａ３）  上述の（Ａ１）の処理の結果時間長が変換された音片データを変換して、この音片データが表す音片のピッチ周波数を、（Ａ２）の処理で取得したピッチ成分データが示す周波数に一致させる。キャッシュメモリが記憶しているデータが音声波形データである場合は、例えば、直前に（Ａ３）の処理を施した音片データのピッチ周波数と同一のピッチ周波数を有する音声を表すように、変換を行う。
【００９３】
上述の（Ａ３）の処理として出力合成部５４は、具体的には例えば以下（Ａ３ａ）〜（Ａ３ｄ）として示す処理を行えばよい。
（Ａ３ａ）  （Ａ１）の処理を経た音片データと、振幅及び周波数が一定である第１の局部発振信号との混合を行う。すなわち、（Ａ１）の処理を経た音片データが表す音片の波形の瞬時値と当該第１の局部発振信号の瞬時値との積を表すデータを生成する。
（Ａ３ｂ）  （Ａ３ａ）の処理の結果得られたデータをフィルタリング等することにより、当該データのうち、（Ａ１）の処理を経た音片データの周波数と第１の局部発振信号の周波数との和にあたる周波数を有する成分を抽出する。
（Ａ３ｃ）  （Ａ３ｂ）の処理の結果得られた成分と、振幅及び周波数が一定である第２の局部発振信号との混合を行う。ただし、第２の局部発振信号の周波数は、当該混合により得られるデータのうち、（Ａ３ｂ）の処理で得られた成分の周波数と当該第２の局部発振信号の周波数との差にあたる周波数を有する成分が表す音片が、（Ａ２）の処理で取得したピッチ成分データが示すピッチ周波数を有するものとなるよう、当該ピッチ成分データに基づいて決定されるものとする。
（Ａ３ｄ）  （Ａ３ｃ）の処理の結果得られたデータをフィルタリング等することにより、当該データのうち、（Ａ３ｂ）の処理で得られた成分の周波数と第２の局部発振信号の周波数との差にあたる周波数を有する成分を抽出する。（Ａ３ｄ）の処理の結果抽出されるこの成分が、上述の（Ａ３）の処理を経た音片データに相当するものである。
【００９４】
なお、出力合成部５４は、合成音声データを生成する際、これらの音片データ又は音声波形データのデータ量が上述の上限を超える場合は、この上限を超えない分をキャッシュメモリに記憶させるものとする。そして、キャッシュメモリに記憶された分に所定の処理を施した後、この処理を経た音片データ又は音声波形データをメインメモリの記憶領域内に格納し、残りの音片データ又は音声波形データのうち、上述の上限を超えない分をキャッシュメモリの記憶領域へと記憶させた後、当該所定の処理を続行するものとする。そして出力合成部５４は、当該所定の処理を経た音片データ又は音声波形データを、メインメモリの記憶領域内に、互いに連続するようにして順次格納する。そして、これらの音片データ及び音声波形データがすべて当該所定の処理を経ると、この時点でメインメモリに記憶されている音片データ及び音声波形データの連続（すなわち合成音声データ）が表す音声を再生し、あるいは外部に出力するものとする。
しかし上述のように、出力ないし音声再生の対象である各音片データのそれぞれのデータ量は上述の上限を超えないので、出力合成部５４は、メインメモリへの一時記憶を経ることなく、音片データ又は音声波形データのそれぞれについて順次、音声再生ないし出力を行う。このため、再生出力を得るまでに遅延が生じてしまうことがない。
【００９５】
なお、検索部６より供給されたデータに欠落部分識別データが含まれていない場合は、音響処理部４１に波形の合成を指示することなく直ちに、音片編集部５が選択した音片データを、定型メッセージデータが示す定型メッセージ内での表音文字列の並びに従った順序で互いに結合し、合成音声を表すデータとして出力すればよい。
【００９６】
以上説明した、この発明の第１の実施の形態の音声合成システムでは、音素より大きな単位であり得る音片の波形を表す音片データが、韻律の予測結果に基づいて、録音編集方式により自然につなぎ合わせられ、定型メッセージを読み上げる音声が合成される。音片データベース７の記憶容量は、音素毎に波形を記憶する場合に比べて小さくでき、また、高速に検索できる。このため、この音声合成システムは小型軽量に構成することができ、また高速な処理にも追随できる。
【００９７】
また、データ量が上限を超える音片データは、上限を超えないデータ量の複数の音片データへと予め分割されているので、音片データをメインメモリの記憶領域に格納するために出力合成部５４が音声合成を一時中断する、という事態が起きにくい。すなわち、例えば、定型メッセージ（又はその一部）として上述の長い文章「リストをスクロールして、１ページ前を表示します。最初のページを表示中には、押せません。」を定型メッセージとして本体ユニットＭに読み上げさせたい場合は、定型メッセージデータに、上述の４個のＩＤ「ＡアＢイ」、「ＣウＤエ」、「ＥオＦカ」及び「ＧキＨク」を互いに連続した形で含ませることにより、この長い文章を読み上げる音声が、途切れることなく即座に再生される。
【００９８】
また、この音声合成システムは、ＩＤに対しても他の表意文字列と区別することなく形態素解析を施すという構成をとりながらも、正常に音声合成を行う。このため、時間長が長い合成音声を簡単な処理で短時間に得ることができる。
【００９９】
一方、適切な音片データを選択することができなかった音片は、音素より小さな単位である素片を表す圧縮波形データを用いて、規則合成方式の手法に従って合成される。圧縮波形データが素片の波形を表すものであるため、波形データベース４４の記憶容量は、圧縮波形データが音素の波形を表すものである場合に比べて小さくでき、また、高速に検索できる。このため、この音声合成システムは小型軽量に構成することができ、また高速な処理にも追随できる。
【０１００】
また、素片を用いて規則合成を行えば、音素を用いて規則合成を行う場合と異なり、音素の端の部分に現れる特殊な波形の影響を受けることなく音声合成を行うことができるため、少ない種類の素片で自然な音声を得ることができる。
すなわち、人が発声する音声では、先行する音素から後続の音素へと遷移する境界で、これらの音素双方の影響を受けた特殊な波形が現れることが知られており、一方、規則合成に用いられる音素は、採取した段階で既にその端部にこの特殊な波形を含んでいるため、音素を用いて規則合成を行う場合は、音素間の境界の波形の様々なパターンを再現可能とするために膨大な種類の音素を用意するか、あるいは、音素間の境界の波形が自然な音声とは異なった合成音声を合成することで満足する必要がある。しかし、素片を用いて規則合成を行う場合は、音素の端部以外の部分から素片を採取するようにすれば、音素間の境界の特殊な波形の影響をあらかじめ排除することができる。このため、膨大な種類の素片を用意することを要せず、自然な音声を得ることができる。
【０１０１】
なお、この音声合成システムの構成は上述のものに限られない。
例えば、素片波形データはＰＣＭ形式のデータである必要はなく、データ形式は任意である。また、波形データベース４４は素片波形データや音片データを必ずしもデータ圧縮された状態で記憶している必要はない。波形データベース４４が素片波形データをデータ圧縮されていない状態で記憶している場合、本体ユニットＭは伸長部４３を備えている必要はない。
【０１０２】
また、一致音片決定部５２は、特定の音片の韻律を表す韻律登録データをあらかじめ記憶し、定型メッセージにこの特定の音片が含まれている場合は、この韻律登録データが表す韻律を、韻律予測の結果として扱うようにしてもよい。
また、一致音片決定部５２は、過去の韻律予測の結果を韻律登録データとして新たに記憶するようにしてもよい。
【０１０３】
また、一致音片決定部５２は、例えば、言語処理部１と共にフリーテキストデータを取得し、このフリーテキストデータが表すフリーテキストに含まれる音声（表音文字列）の少なくとも一部に合致する音片データを、定型メッセージの音片データの選択処理と実質的に同一の処理を行うことによって選択して、音声の合成に用いてもよい。
この場合、音響処理部４１は、一致音片決定部５２が選択した音片については、この音片の素片の波形を表す圧縮波形データを検索部４２に索出させなくてもよい。なお、一致音片決定部５２は、音響処理部４１が合成しなくてよい音片を音響処理部４１に通知し、音響処理部４１はこの通知に応答して、この音片を構成する単位音声の素片の波形の検索を中止するようにすればよい。
【０１０４】
また、一致音片決定部５２は、例えば、音響処理部４１と共に配信文字列データを取得し、この配信文字列データが表す配信文字列に含まれる表音文字列を表す音片データを、定型メッセージの音片データの選択処理と実質的に同一の処理を行うことによって選択して、音声の合成に用いてもよい。この場合、音響処理部４１は、一致音片決定部５２が選択した音片データが表す音片については、この音片を構成する単位音声の素片の波形を表す圧縮波形データを検索部４２に索出させなくてもよい。
【０１０５】
また、波形データベース４４が記憶する圧縮波形データは、必ずしも素片を表すものである必要はなく、例えば、波形データベース４４が記憶する表音文字が表す単位音声の波形を表す単位音声波形データ、あるいは当該単位音声波形波形データをエントロピー符号化して得られるデータであってもよい。なお、単位音声は、規則合成方式の手法で用いられる程度の短い音声であり、具体的には、音素や、ＶＣＶ（Vowel-Consonant-Vowel）音節などの単位で区切られる音声である。
【０１０６】
波形データベース４４が素片波形データ（又は素片波形データをエントロピー符号化して得られれる圧縮波形データ）に代えて単位音声の波形を表す単位音声波形データ（又は単位音声波形データをエントロピー符号化して得られれるデータ）を記憶している場合、音響処理部４１は、素片波形データを用いて音声波形データを生成する代わりに、単位音声波形データを音声波形データとして扱い、言語処理部１より供給された表音文字列内での各表音文字の並びに従った順序で、単位音声波形データを出力合成部５４へと供給すればよい。
【０１０７】
また、波形データベース４４は、素片の波形を表すデータと、音素の波形を表すデータとを、両方記憶していてもよい。この場合、音響処理部４１は、配信文字列等に含まれる表音文字が表す音素のデータを検索部４２に索出させ、該当する音素が索出されなかった表音文字について、当該表音文字が表す音素を構成する素片を表すデータを検索部４２に索出させ、索出された、素片を表すデータを用いて、音素を表すデータを生成するようにしてもよい。
【０１０８】
また、韻律予測部５３が発話スピードを予測し、一致音片決定部５２は、検索部６が取得した音片データのうち、所定の判別条件下で発話スピードが韻律予測部５３による予測の結果に合致するものを選択し、一方、発話スピードが当該予測の結果に合致しないものを選択の対象から除外するものとしてもよい。なお、音片データベース７は、音片の読みが共通で発話スピードが互いに異なる複数の音片データを記憶していてもよい。
【０１０９】
また、出力合成部５４が、音声波形データが表す音素の時間長を、音片データが表す音片の発声スピードと整合させる手法も任意である。従って、出力合成部５４は、例えば、一致音片決定部５２より音片データに含まれる各区間が表す音素の時間長が元の時間長に対して増減した比率を特定した上、音声波形データをリサンプリングして、音声波形データのサンプル数を、一致音片決定部５２の指示した発声スピードと整合する時間長に相当する数へと増減させてもよい。
【０１１０】
また、発声スピードは音片毎に異なっていてもよい。（従って、発声スピードデータは、音片毎に異なる発声スピードを指定するものであってもよい。）そして、出力合成部５４は、互いに発声スピードが異なる２個の音片の間に位置する各音声の音声波形データについては、当該２個の音片の発声スピードを補間（例えば、直線補間）することにより、当該２個の音片の間にあるこれらの音声の発声スピードを決定し、決定した発声スピードに合致するように、これらの音声を表す音声波形データを変換するようにしてもよい。
【０１１１】
また、出力合成部５４は、音響処理部４１より返送された音声波形データが、フリーテキストや配信文字列を読み上げる音声を構成する音声を表すものであっても、これらの音声波形データを変換して、これらの音声の時間長を、例えば一致音片決定部５２に供給されている発声スピードデータが示すスピードに合致させるようにしてもよい。
【０１１２】
また、上述の音声合成システムでは、例えば韻律予測部５３が、文章全体に対して韻律予測（発話スピードの予測も含む）を行ってもよいし、所定の単位ごとに韻律予測を行ってもよい。また、文章全体に対して韻律予測を行った場合、読みが一致する音片があれば更に韻律が所定条件内で一致するか否かを判別し、一致していれば当該音片を採用するようにしてもよい。一致する音片が存在しなかった部分については、規則合成処理部４が素片を基に音声を生成するものとし、ただし、素片を基に合成する部分のピッチやスピードを、文章全体若しくは所定の単位ごとに行われた韻律予測の結果に基づいて調整するものとしてもよい。これによって、音片と、素片を基に生成する音声とを組み合わせて合成する場合でも、自然な発話が行われる。
【０１１３】
また、言語処理部１に入力される文字列が表音文字列である場合、言語処理部１は、韻律予測とは別に公知の自然言語解析処理を行い、一致音片決定部５２が、自然言語解析処理の結果に基づいて音片の選択を行ってもよい。これによって、単語（名詞や動詞等の品詞）毎に文字列を解釈した結果を用いて音片選択を行うことが可能になり、単に表音文字列と一致する音片を選択する場合に比べて自然な発話を行うことができる。
【０１１４】
また、音片データベース作成部１１は、マイクロフォン、増幅器、サンプリング回路、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどを備えていてもよい。この場合、音片データベース作成部１１は、収録音片データセット記憶部１０より音片データを取得する代わりに、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音片データを作成してもよい。
【０１１５】
また、音片データベース作成部１１は、図示しない記録媒体ドライブ装置にセットされた記録媒体から、この記録媒体ドライブ装置を介して、音片データベース７に追加する新たな圧縮音片データの材料となる音片データや表音文字列を読み取ってもよい。
また、音片登録ユニットＲは、必ずしも収録音片データセット記憶部１０を備えている必要はない。
【０１１６】
また、ピッチ成分データは音片データが表す音片のピッチ長の時間変化を表すデータであってもよい。この場合、一致音片決定部５２は、ピッチ長が最も短い位置（つまり、周波数がもっとも高い位置）をピッチ成分データに基づいて特定し、この位置をアクセントの位置であると解釈すればよい。
【０１１７】
また、ＩＤが特殊な読みを有する文字列からなっており、人による発話の際に通常用いられる語句の読みと当該ＩＤの読みとの間での混同のおそれがないような場合は、検索部６が当該ＩＤの読みを表す表音文字列を検索キーとして音片データベース７を検索すれば、当該ＩＤに相当する音声を表す圧縮音片データが１個に特定される。このため、音片データベース７は、当該ＩＤが対応付けられた圧縮音片データについては、ピッチ成分データを対応付けて記憶していなくてもよい。
また、韻律予測部５３は、ピッチ成分データが対応付けられていない圧縮音片データに対応付けられているＩＤについては、韻律予測を省略してもよい。このような構成をとっていれば、無駄な韻律予測の処理が行われず、本体ユニットＭが行う処理が全体として効率的になる。
【０１１８】
（第２の実施の形態）
次に、この発明の第２の実施の形態に係る音声合成システムを説明する。
この発明の第２の実施の形態の音声合成システムの構成は、第１の実施の形態における音声合成システムの構成と実質的に同一である。ただし、音片データベース７が記憶する圧縮音片データの圧縮前のデータ量は、必ずしも第１の実施の形態における上述の上限（具体的には、キャッシュメモリの記憶容量）より小さな量とはなっていないものとする。
【０１１９】
（第２の実施の形態：本体ユニットの動作）
次に、第２の実施の形態の音声合成ユニットの動作を説明する。
まず、第２の実施の形態の音声合成システムの音片登録ユニットＲの動作は、第１の実施の形態におけるものと実質的に同一である。
また、本体ユニットＭがフリーテキストデータ又は配信文字列データを取得した場合の動作は、第１の実施の形態における本体ユニットＭの動作と実質的に同一である。
【０１２０】
次に、本体ユニットＭの音片編集部５が、定型メッセージデータ、発声スピードデータ、及び照合レベルデータを取得した場合の動作を説明する。
【０１２１】
音片編集部５が、定型メッセージデータ、発声スピードデータ、及び照合レベルデータを取得してから、定型メッセージを構成する音片の波形に近似できる波形を表す音片データを一致音片決定部５２が選択するまでの本体ユニットＭの各部の動作は、第１の実施の形態の本体ユニットＭの各部の動作と実質的に同一である。
また、検索部６より供給された音片データのうちから照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合の一致音片決定部５２の動作も、第１の実施の形態におけるものと実質的に同一である。
【０１２２】
一致音片決定部５２は、照合レベルデータの値に相当する条件を満たすものとして選択したそれぞれの音片データについて、当該音片データのデータ量が、上述の上限（具体的には、キャッシュメモリの記憶容量）を超えているか否かを判別する。
【０１２３】
そして、一致音片決定部５２は、データ量が上限を超えていないと判別した音片データはそのまま出力合成部５４に供給し、上限を超えていると判別した音片データを、上限を超えない複数の音片データへと分割してから出力合成部５４に供給する。
【０１２４】
なお、一致音片決定部５２は、音片データを分割する場合、音片のうち実質的に無音である区間に相当する位置を特定し、この位置でこの音片データを分割するものとする。
音片データの分割が行われる場合であっても、このように無音区間に相当する位置で音片データが分割されれば、出力合成部５４が再生する音声が不自然な部分で途切れることがなく、本体ユニットＭは自然な音声出力を行うことができる。
なお、人が発声する音声には一定長以上の無音区間が含まれる場合がほとんどであるので、分割する対象の音片データには、通常、無音区間に相当する位置が存在する。
【０１２５】
一方、一致音片決定部５２は、検索部６より欠落部分識別データも供給されている場合、又は、照合レベルデータの値に相当する条件を満たす音片データを選択できなかった音片があった場合には、欠落部分識別データが示す音片（照合レベルデータの値に相当する条件を満たす音片データを選択できなかった音片を含む）の読みを表す表音文字列を定型メッセージデータより抽出して音響処理部４１に供給し、この音片の波形を合成するよう指示する。指示を受けた音響処理部４１が行う動作は、第１の実施の形態におけるものと実質的に同一である。
【０１２６】
そして、出力合成部５４は、音響処理部４１より音声波形データを供給され、一致音片決定部５２より音片データを供給されると、第１の実施の形態におけるものと実質的に同一の動作を行うことにより合成音声データを生成し、この合成音声データが表す合成音声を再生し、あるいはこの合成音声データを外部に出力する。一致音片決定部５２が音片データの分割を行っていた場合、出力合成部５４は、分割により得られた音片データのうちまず最初の分割音片データをキャッシュメモリに供給して所定の処理（例えば上述の話速変換の処理）を施し、この音片データが表す音声を再生し、あるいはこの音片データを外部に出力する。以後、分割により得られた最後の音片データが表す音声の再生、あるいは当該音片データの出力を行うまで、次の順番の音片データに対して上述の処理を順次実行する。
【０１２７】
第２の実施の形態の出力合成部５４は、第１の実施の形態におけるものと実質的に同一の動作を行うものであるから、すなわち第２の実施の形態の出力合成部５４も、合成音声データを生成する際、自己に供給された音片データ又は音声波形データのデータ量が上述の上限を超える場合は、この上限を超えない分をキャッシュメモリに記憶させるものとする。そして、キャッシュメモリに記憶された分に所定の処理を施した後、この処理を経た音片データ又は音声波形データをメインメモリの記憶領域内に格納し、残りの音片データ又は音声波形データのうち、上述の上限を超えない分をキャッシュメモリの記憶領域へと記憶させた後、当該所定の処理を続行するものとする。そして、当該所定の処理を経た音片データ又は音声波形データを、メインメモリの記憶領域内に、互いに連続するようにして順次格納する。そして、これらの音片データ及び音声波形データがすべて当該所定の処理を経ると、この時点でメインメモリに記憶されている音片データ及び音声波形データの連続（すなわち合成音声データ）が表す音声を再生し、あるいは外部に出力するものとする。
しかし上述のように、出力ないし音声再生の対象である各音片データのそれぞれのデータ量は上述の上限を超えないので、出力合成部５４は、メインメモリへの一時記憶を経ることなく、音片データ又は音声波形データのそれぞれについて順次、音声再生ないし出力を行う。このため、再生出力を得るまでに遅延が生じてしまうことがない。ただし、一致音片決定部５２が、実質的に無音である区間に相当する位置が存在しない音片データについては分割を行わないものとする場合などにおいては、出力合成部５４に供給される音片データのデータ量が上述の上限を超える場合があり得る。
【０１２８】
以上説明した、この発明の第２の実施の形態の音声合成システムでも、音素より大きな単位であり得る音片の波形を表す音片データが、韻律の予測結果に基づいて、録音編集方式により自然につなぎ合わせられ、定型メッセージを読み上げる音声が合成される。ただし、適切な音片データを選択することができなかった音片は、音素より小さな単位である素片を表す圧縮波形データを用いて、規則合成方式の手法に従って合成される。
【０１２９】
また、この音声合成システムは、データ量が上限を超える音片データを、上限を超えない時間長の音片を表す複数の音片データへと分割するので、音片データをメインメモリの記憶領域に格納するために出力合成部５４が音声合成を一時中断する、という事態が起きにくい。
【０１３０】
また、この音声合成システムも、ＩＤに対しても他の表意文字列と区別することなく形態素解析を施すという構成をとりながらも、正常に音声合成を行う。このため、時間長が長い合成音声を簡単な処理で短時間に得ることができる。
【０１３１】
以上、この発明の実施の形態を説明したが、この発明にかかる音声合成装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
【０１３２】
例えば、音片データベース７を構成する外部の不揮発性メモリに接続されたパーソナルコンピュータに上述の収録音片データセット記憶部１０、音片データベース作成部１１及び圧縮部１２の動作を実行させるためのプログラムを格納した記録媒体（ＣＤ−ＲＯＭ、フレキシブルディスク等）から該プログラムをインストールすることにより、上述の処理を実行する音片登録ユニットＲを構成することができる。
【０１３３】
そして、このプログラムを実行し音片登録ユニットＲとして機能するパーソナルコンピュータが、図１の音声合成システムの音片登録ユニットＲの動作に相当する処理として、図３に示す処理を行うようにすることもできる。
図３は、音片登録ユニットＲの機能を行うパーソナルコンピュータが実行する処理を示すフローチャートである。
【０１３４】
すなわち、このパーソナルコンピュータが音片データベース７に音片を登録する場合、まず、収録音片データセット記憶部１０より、互いに対応付けられている表音文字列及び音片データを読み出し、又は、互いに対応付けられている表音文字列及び音片データを外部より取得して（図３、ステップＳ００１）、得られた音片データが表す音声のピッチ成分の周波数の時間変化と、発声スピードとを特定する（ステップＳ００２）。
【０１３５】
なお、このパーソナルコンピュータは、ステップＳ００２における発声スピードの特定は、例えば、この音片データのサンプル数を数えることにより行えばよい。
また、ピッチ成分の周波数の時間変化は、例えば、この音片データにケプストラム解析を施すことにより特定すればよい。具体的には、例えば、音片データが表す波形を時間軸上で多数の小部分へと区切り、得られたそれぞれの小部分のケプストラムを求め、このケプストラムの極大値を与える周波数のうちの最小値を、この小部分におけるピッチ成分の周波数として特定すればよい。なお、ピッチ成分の周波数の時間変化は、上述したように、例えば特開２００３−１０８１７２号公報に開示された手法に従って音片データをピッチ波形データへと変換してから、このピッチ波形データに基づいて特定するようにすると良好な結果が期待できる。
【０１３６】
一方、このパーソナルコンピュータは、取得した音片データをエントロピー符号化することにより圧縮音片データを作成し（ステップＳ００３）、データ部ＤＡＴを構成するデータとして、音片データベース７の記憶領域に書き込む（ステップＳ００４）。
【０１３７】
また、ステップＳ００４でこのパーソナルコンピュータは、書き込んだ圧縮音片データが表す音片の読みを示すものとしてステップＳ００１で取得した表音文字を、音片読みデータとして音片データベース７の記憶領域に書き込む。
また、書き込んだ圧縮音片データの、音片データベース７の記憶領域内での先頭のアドレスを特定し、このアドレスを上述の（Ｂ）のデータとして音片データベース７の記憶領域に書き込む。
また、この圧縮音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベース７の記憶領域に書き込む。
また、この圧縮音片データが表す音片の発声スピード及びピッチ成分の周波数の時間変化を特定した結果を示すデータを生成し、スピード初期値データ及びピッチ成分データとして音片データベース７の記憶領域に書き込む。
【０１３８】
また、パーソナルコンピュータに上述の言語処理部１、一般単語辞書２、ユーザ単語辞書３、規則合成処理部４、音片編集部５、検索部６、音片データベース７及び伸長部８の動作を実行させるためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、上述したこの発明の第１の実施の形態に係る本体ユニットＭを構成することができる。
【０１３９】
そして、このプログラムを実行し本体ユニットＭとして機能するパーソナルコンピュータが、図１の音声合成システムの本体ユニットＭの動作に相当する処理として、図４〜図６に示す処理を行うようにすることもできる。
図４は、この発明の第１及び第２の実施の形態に係る本体ユニットＭの機能を行うパーソナルコンピュータがフリーテキストデータを取得した場合の処理を示すフローチャートである。
図５は、この発明の第１及び第２の実施の形態に係る本体ユニットＭの機能を行うパーソナルコンピュータが配信文字列データを取得した場合の処理を示すフローチャートである。
図６は、この発明の第１の実施の形態に係る本体ユニットＭの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の処理を示すフローチャートである。
【０１４０】
すなわち、このパーソナルコンピュータが、外部より、上述のフリーテキストデータを取得すると（図４、ステップＳ１０１）、このフリーテキストデータが表すフリーテキストに含まれるそれぞれの表意文字について、その読みを表す表音文字を、一般単語辞書２やユーザ単語辞書３を検索することにより特定し、この表意文字を、特定した表音文字へと置換する（ステップＳ１０２）。なお、このパーソナルコンピュータがフリーテキストデータを取得する手法は任意である。
【０１４１】
そして、このパーソナルコンピュータは、フリーテキスト内の表意文字をすべて表音文字へと置換した結果を表す表音文字列が得られると、この表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す単位音声の波形を波形データベース４４より検索し、表音文字列に含まれるそれぞれの表音文字が表す音素を構成する素片の波形を表す圧縮波形データを索出し（ステップＳ１０３）、索出された圧縮波形データを、圧縮される前の素片波形データへと復元する（ステップＳ１０４）。
【０１４２】
一方で、このパーソナルコンピュータは、フリーテキストデータに韻律予測の手法に基づいた解析を加えることにより、フリーテキストが表す音声の韻律を予測する（ステップＳ１０５）。そして、ステップＳ１０４で復元された素片波形データと、ステップＳ１０５における韻律の予測結果とに基づいて音声波形データを生成し（ステップＳ１０６）、得られた音声波形データを、表音文字列内での各表音文字の並びに従った順序で互いに結合することにより合成音声データを生成し、この合成音声データが表す合成音声を、上述の出力合成部５４が行う処理と同様の処理を行うことにより再生し、あるいはこの合成音声データを外部に出力する（ステップＳ１０７）。なお、このパーソナルコンピュータが合成音声データを出力する手法は任意である。
【０１４３】
また、このパーソナルコンピュータが、外部より、上述の配信文字列データを任意の手法で取得すると（図５、ステップＳ２０１）、この配信文字列データが表す表音文字列に含まれるそれぞれの表音文字について、上述のステップＳ１０３〜Ｓ１０４と同様に、当該表音文字が表す音素を構成する素片の波形を表す圧縮波形データを索出する処理、及び、索出された圧縮波形データを素片波形データへと復元する処理を行う（ステップＳ２０２）。
【０１４４】
一方でこのパーソナルコンピュータは、配信文字列に韻律予測の手法に基づいた解析を加えることにより、配信文字列が表す音声の韻律を予測し（ステップＳ２０３）、ステップＳ２０２で復元された素片波形データと、ステップＳ２０３における韻律の予測結果とに基づいて音声波形データを生成し（ステップＳ２０４）、得られた音声波形データを、表音文字列内での各表音文字の並びに従った順序で互いに結合することにより合成音声データを生成し、上述のステップＳ１０７の処理と同様、この合成音声データが表す合成音声を再生し、あるいはこの合成音声データを外部に出力する（ステップＳ２０５）。
【０１４５】
一方、このパーソナルコンピュータが、外部より、上述の定型メッセージデータ、照合レベルデータ及び発声スピードデータを任意の手法により取得すると（図６、ステップＳ３０１）、まず、定型メッセージデータに公知の手法による形態素解析を施すことにより、定型メッセージデータを構成する表意文字列を、表音文字列へと変換する（ステップＳ３０２）。
【０１４６】
次に、このパーソナルコンピュータは、ステップＳ３０２の処理で得られた表音文字列に合致する表音文字列が対応付けられている圧縮音片データをすべて索出する（ステップＳ３０３）。
【０１４７】
また、ステップＳ３０３では、該当する圧縮音片データに対応付けられている上述の音片読みデータ、スピード初期値データ及びピッチ成分データも索出する。なお、１個の音片につき複数の圧縮音片データが該当する場合は、該当する圧縮音片データすべてを索出する。一方、圧縮音片データを索出できなかった音片があった場合は、上述の欠落部分識別データを生成する。
そしてこのパーソナルコンピュータは、索出された圧縮音片データを、圧縮される前の音片データへと復元する（ステップＳ３０４）。
【０１４８】
次に、このパーソナルコンピュータは、定型メッセージデータが表す定型メッセージに韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律を予測する（ステップＳ３０５）。そして、音片の時間長が変換された音片データのうちから、定型メッセージを構成する音片の波形に最も近い波形を表す音片データを、上述の一致音片決定部５２が行う処理と同様の処理を行うことにより、外部より取得した照合レベルデータが示す基準に従って、音片１個につき１個ずつ選択する（ステップＳ３０６）。
【０１４９】
具体的には、ステップＳ３０６でこのパーソナルコンピュータは、例えば、上述した（１）〜（３）の条件に従って音片データを特定する。すなわち、照合レベルデータの値が「１」である場合は、定型メッセージ内の音片と読みが合致する音片データをすべて、定型メッセージ内の音片の波形を表しているとみなす。また、照合レベルデータの値が「２」である場合は、読みを表す表音文字が合致し、更に、音片データのピッチ成分の周波数の時間変化を表すピッチ成分データの内容が定型メッセージに含まれる音片のアクセントの予測結果に合致する場合に限り、この音片データが定型メッセージ内の音片の波形を表しているとみなす。また、照合レベルデータの値が「３」である場合は、読みを表す表音文字及びアクセントが合致し、更に、音片データが表す音声の鼻濁音化や無声化の有無が、定型メッセージの韻律の予測結果に合致している場合に限り、この音片データが定型メッセージ内の音片の波形を表しているとみなす。
なお、照合レベルデータが示す基準に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。また、照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合は、該当する音片を、圧縮音片データを索出できなかった音片として扱うことと決定し、例えば欠落部分識別データを生成するものとする。
【０１５０】
一方、このパーソナルコンピュータは、欠落部分識別データを生成した場合、欠落部分識別データが示す音片の読みを表す表音文字列を定型メッセージデータより抽出し、この表音文字列につき、音素毎に、配信文字列データが表す表音文字列と同様に扱って上述のステップＳ２０２〜Ｓ２０４の処理と同様の処理を行うことにより、この表音文字列内の各表音文字が示す音声の波形を表す音声波形データを生成する（ステップＳ３０７）。
ただし、ステップＳ３０７でこのパーソナルコンピュータは、ステップＳ２０３の処理に相当する処理を行う代わりに、ステップＳ３０５における韻律予測の結果を用いて音声波形データを生成するようにしてもよい。
【０１５１】
そして、このパーソナルコンピュータは、ステップＳ３０７で生成された音声波形データと、ステップＳ３０６で選択した音片データとを、定型メッセージデータが示す定型メッセージ内での表音文字列の並びに従った順序で互いに結合することにより合成音声データを生成し、この合成音声データが表す合成音声を再生し、あるいはこの合成音声データを外部に出力する（ステップＳ３０８）。
【０１５２】
なお、ステップＳ３０８でこのパーソナルコンピュータは、複数の音片データからなる合成音声データを生成する際、これらの各音片データ又は各音声波形データのデータ量が上述の上限（具体的には、例えばこのパーソナルコンピュータが備えるキャッシュメモリ）を超えない場合には、まず最初の音片データ又は音声波形データをこのキャッシュメモリに記憶させ、所定の処理を施して、当該音片データ又は音声波形データのが表す音声を再生し、あるいは外部に出力するものとする。そして引き続き、次に再生、出力すべき音片データ又は音声波形データをこのキャッシュメモリに記憶させ、以後上述と同様に音声の再生あるいは出力する。これを全ての音片データ又は音声波形データの再生、出力が終了するまで繰り返す。
【０１５３】
ステップＳ３０８における上述の所定の処理は、例えば上述した話速変換の処理に相当する処理であればよい。すなわち、ステップＳ３０８でこのパーソナルコンピュータは、当該所定の処理として、例えば、以下（Ｂ１）及び（Ｂ２）として示す処理を行えばよい。
（Ｂ１）  キャッシュメモリが記憶している、有声音を表す音片データを構成するサンプルの時間間隔を変換することにより、この音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致させる。キャッシュメモリが記憶しているデータが音声波形データである場合は、例えば、直前に（Ｂ１）の処理を施した音片データのサンプリングレートの変換の比率と同一の比率で、サンプルの時間間隔の変換を行う。
（Ｂ２）  上述の（Ｂ１）の処理の結果サンプリングレートが変換された音片データを変換して、この音片データが表す音片のピッチ周波数を、ステップＳ３０３で索出されたピッチ成分データが示す周波数のうち、（Ｂ１）の処理を経る前のこの音片データが表す音片のピッチ周波数に一致させる。キャッシュメモリが記憶しているデータが音声波形データである場合は、例えば、直前に（Ｂ２）の処理を施した音片データのピッチ周波数と同一のピッチ周波数を有する音声を表すように、変換を行う。
【０１５４】
上述の（Ｂ２）の処理としてこのパーソナルコンピュータは、具体的には、例えば以下（Ｂ２ａ）〜（Ｂ２ｄ）として示す処理を行えばよい。
（Ｂ２ａ）  （Ｂ１）の処理を経た音片データと、振幅及び周波数が一定である第１の局部発振信号との混合を行う。
（Ｂ２ｂ）  （Ｂ２ａ）の処理の結果得られたデータをフィルタリング等することにより、当該データのうち、（１）の処理を経た音片データの周波数と第１の局部発振信号の周波数との和にあたる周波数を有する成分を抽出する。
（Ｂ２ｃ）  （Ｂ２ｂ）の処理の結果得られた成分と、振幅及び周波数が一定である第２の局部発振信号との混合を行う。ただし、第２の局部発振信号の周波数は、当該混合により得られるデータのうち、（Ｂ２ｂ）の処理で得られた成分の周波数と当該第２の局部発振信号の周波数との差にあたる周波数を有する成分が表す音片が、（Ｂ１）の処理を経る前の音片データが表す音片のピッチ周波数に一致するピッチ周波数を有するものとなるよう、ステップＳ３０３で索出されたピッチ成分データに基づいて決定されるものとする。
（Ｂ２ｄ）  （Ｂ２ｃ）の処理の結果得られたデータをフィルタリング等することにより、当該データのうち、（Ｂ２ｂ）の処理で得られた成分の周波数と第２の局部発振信号の周波数との差にあたる周波数を有する成分を抽出する。（Ｂ２ｄ）の処理の結果抽出されるこの成分が、上述の（Ｂ２）の処理を経た音片データに相当するものである。
【０１５５】
なお、このパーソナルコンピュータは、ステップＳ３０８の処理を行う際、ステップＳ３０７で生成された音声波形データやステップＳ３０６で選択した音片データのデータ量が上述の上限を超える場合は、この上限を超えない分をキャッシュメモリに記憶させるものとする。そして、キャッシュメモリに記憶された分に所定の処理を施した後、この処理を経た音片データ又は音声波形データを、このパーソナルコンピュータが備える他の記憶装置（例えば、メインメモリ）の記憶領域内に格納し、残りの音片データ又は音声波形データのうち、上述の上限を超えない分をキャッシュメモリの記憶領域へと記憶させた後、当該所定の処理を続行するものとする。そして、当該所定の処理を経た音片データ又は音声波形データを、メインメモリ等の記憶領域内に、互いに連続するようにして順次格納して、これらの音片データ及び音声波形データがすべて当該所定の処理を経ると、この時点でメインメモリ等に記憶されている音片データ及び音声波形データの連続（すなわち合成音声データ）が表す音声を再生し、あるいは外部に出力するものとする。
もっとも、上述のように、出力ないし音声再生の対象である各音片データのそれぞれのデータ量は上述の上限を超えないので、このパーソナルコンピュータは、メインメモリへの一時記憶を経ることなく、音片データ又は音声波形データのそれぞれについて順次、音声再生ないし出力を行う。
【０１５６】
また、パーソナルコンピュータに、上述したこの発明の第２の実施の形態における言語処理部１、一般単語辞書２、ユーザ単語辞書３、規則合成処理部４、音片編集部５、検索部６、音片データベース７及び伸長部８の動作を実行させるためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、この発明の第２の実施の形態に係る本体ユニットＭを構成することができる。
【０１５７】
そして、このプログラムを実行するパーソナルコンピュータが、この発明の第２の実施の形態に係る本体ユニットＭの動作に相当する処理として、図４及び図５に示す処理と実質的に同一の処理を行うほか、加えて図７に示す処理を行うようにすることもできる。
図７は、この発明の第２の実施の形態に係る本体ユニットＭの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の処理を示すフローチャートである。
【０１５８】
すなわち、このプログラムを実行するパーソナルコンピュータは、定型メッセージデータ、発声スピードデータ、及び照合レベルデータを取得すると、まず、上述のステップＳ３０１〜Ｓ３０６の処理と実質的に同一の処理を行うことにより、定型メッセージデータが表す定型メッセージを構成する音片の波形に最も近い波形を表す音片データを、音片１個につき１個ずつ選択する（図７、ステップＳ４０１〜Ｓ４０６）。
【０１５９】
そして、このパーソナルコンピュータは、欠落部分識別データを生成した場合、上述のステップＳ３０７の処理と実質的に同一の処理を行うことにより、欠落部分識別データが示す部分の音声の波形を表す音声波形データを生成する（ステップＳ４０７）。
【０１６０】
一方、このパーソナルコンピュータは、照合レベルデータの値に相当する条件を満たすものとして選択したそれぞれの音片データについて、当該音片データのデータ量が、所定の上限（具体的には、例えばこのパーソナルコンピュータが備えるキャッシュメモリの記憶容量）を超えているか否かを判別する（ステップＳ４０８）。そして、データ量が上限を超えていると判別した音片データを、上限を超えない複数の音片データへと分割する（ステップＳ４０９）。
なお、このパーソナルコンピュータは、ステップＳ４０９で音片データを分割する場合、音片のうち実質的に無音である区間に相当する位置を特定し、この位置でこの音片データを分割するものとする。
【０１６１】
そして、このパーソナルコンピュータは、ステップＳ４０７の処理で生成された音声波形データと、ステップＳ４０６で選択した音片データ（ステップＳ４０９での分割により得られた音片データを含む）を、ステップＳ３０８の処理と実質的に同一の処理を行うことによって互いに結合することで合成音声データを生成し、この合成音声データが表す合成音声を再生し、あるいはこの合成音声データを外部に出力する（ステップＳ４１０）。ステップＳ４０９で音片データの分割を行っていた場合、ステップＳ４１０では、分割により得られた音片データのうちまず最初の分割音片データをキャッシュメモリに供給して所定の処理を施し、この音片データが表す音声を再生し、あるいはこの音片データを外部に出力する。以後、分割により得られた最後の音片データが表す音声の再生、あるいは当該音片データの出力を行うまで、次の順番の音片データに対して上述の処理を順次実行する。
【０１６２】
なお、このパーソナルコンピュータは、ステップＳ４１０の処理を行う際も、ステップＳ４０７の処理で生成された音声波形データやステップＳ４０６で選択した音片データのデータ量が上述の上限を超える場合は、この上限を超えない分をキャッシュメモリに記憶させるものとする。そして、キャッシュメモリに記憶された分に所定の処理を施した後、この処理を経た音片データ又は音声波形データを、このパーソナルコンピュータが備える他の記憶装置（例えば、メインメモリ）の記憶領域内に格納し、残りの音片データ又は音声波形データのうち、上述の上限を超えない分をキャッシュメモリの記憶領域へと記憶させた後、当該所定の処理を続行するものとする。そして、当該所定の処理を経た音片データ又は音声波形データを、メインメモリ等の記憶領域内に、互いに連続するようにして順次格納して、これらの音片データ及び音声波形データがすべて当該所定の処理を経ると、この時点でメインメモリ等に記憶されている音片データ及び音声波形データの連続（すなわち合成音声データ）が表す音声を再生し、あるいは外部に出力するものとする。
もっとも、上述のように、出力ないし音声再生の対象である各音片データのそれぞれのデータ量は上述の上限を超えないので、このパーソナルコンピュータは、メインメモリへの一時記憶を経ることなく、音片データ又は音声波形データのそれぞれについて順次、音声再生ないし出力を行う。ただし、実質的に無音である区間に相当する位置が存在しない音片データについては分割を行わないものとする場合などにおいては、ステップＳ４１０の処理に用いる音片データのデータ量が上述の上限を超える場合があり得る。
【０１６３】
なお、パーソナルコンピュータに本体ユニットＭや音片登録ユニットＲの機能を行わせるプログラムは、例えば、通信回線の掲示板（ＢＢＳ）にアップロードし、これを通信回線を介して配信してもよく、また、これらのプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調してこれらのプログラムを復元するようにしてもよい。
そして、これらのプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【０１６４】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【図面の簡単な説明】
【０１６５】
【図１】この発明の第１及び第２の実施の形態に係る音声合成システムの構成を示すブロック図である。
【図２】音片データベースのデータ構造を模式的に示す図である。
【図３】この発明の第１及び第２の実施の形態に係る音片登録ユニットの機能を行うパーソナルコンピュータが実行する処理を示すフローチャートである。
【図４】この発明の第１及び第２の実施の形態に係る本体ユニットの機能を行うパーソナルコンピュータがフリーテキストデータを取得した場合の処理を示すフローチャートである。
【図５】この発明の第１及び第２の実施の形態に係る本体ユニットの機能を行うパーソナルコンピュータが配信文字列データを取得した場合の処理を示すフローチャートである。
【図６】この発明の第１の実施の形態に係る本体ユニットの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の処理を示すフローチャートである。
【図７】この発明の第２の実施の形態に係る本体ユニットの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の処理を示すフローチャートである。
【符号の説明】
【０１６６】
Ｍ          本体ユニット
１          言語処理部
２          一般単語辞書
３          ユーザ単語辞書
４１        音響処理部
４２        検索部
４３，８    伸長部
４４        波形データベース
５          音片編集部
５１        形態素解析部
５２        一致音片決定部
５３        韻律予測部
５４        出力合成部
６          検索部
７          音片データベース
Ｒ          音片登録ユニット
１０        収録音片データセット記憶部
１１        音片データベース作成部
１２        圧縮部
ＨＤＲ      ヘッダ部
ＩＤＸ      インデックス部
ＤＩＲ      ディレクトリ部
ＤＡＴ      データ部
【図１】
2006195207.tif 000003
【図２】
2006195207.tif 000004
【図３】
2006195207.tif 000005
【図４】
2006195207.tif 000006
【図５】
2006195207.tif 000007
【図６】
2006195207.tif 000008
【図７】
2006195207.tif 000009