(57)【要約】【課題】合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することが可能な素片情報生成装置を提供すること。【解決手段】素片情報生成装置300は、時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定部301と、連続する2つの時間フレームの開始位置が上記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成部302と、を備える。【選択図】図9
2011141470.tif 000002
【特許請求の範囲】
【請求項１】
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
を備える素片情報生成装置。
【請求項２】
請求項1に記載の素片情報生成装置であって、
前記生成される素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって将来の時点にて合成される音声である将来合成音声の韻律を表す韻律情報を推定する韻律情報推定手段を備え、
前記フレーム周期決定手段は、前記推定された韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【請求項３】
請求項2に記載の素片情報生成装置であって、
前記韻律情報推定手段は、前記音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報に基づいて前記将来合成音声の韻律を表す韻律情報を推定するように構成された素片情報生成装置。
【請求項４】
請求項2に記載の素片情報生成装置であって、
前記韻律情報推定手段は、前記基礎音声の韻律を表す韻律情報に基づいて前記将来合成音声の韻律を表す韻律情報を推定するように構成された素片情報生成装置。
【請求項５】
請求項1に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【請求項６】
請求項1に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記基礎音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【請求項７】
請求項1に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声の韻律である合成音声韻律と、前記基礎音声の韻律である基礎音声韻律と、の差を表す韻律制御量を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【請求項８】
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
前記決定されたフレーム周期と、前記生成された素片情報と、に基づいて音声を合成する音声合成処理を行う音声合成処理手段と、
を備える音声合成システム。
【請求項９】
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定し、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する、音声合成方法。
【請求項１０】
情報処理装置に、
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に関し、特に、音声を合成する際に用いられる素片情報を生成する素片情報生成装置に関する。
【背景技術】
【０００２】
文字列を表す文字列情報を解析し、その文字列が表す音声を規則合成方式に従って合成する音声合成処理を行う音声合成装置が知られている。この種の音声合成装置の構成及び動作の詳細は、例えば、非特許文献1乃至非特許文献3と、特許文献1及び特許文献2と、に記載されている。
【０００３】
図1に示したように、この種の音声合成装置は、言語処理部1と、韻律生成部2と、素片情報記憶部12と、素片選択部3と、波形生成部4と、を備える。素片情報記憶部12は、音声素片を表す音声素片情報と、各音声素片の属性を表す属性情報と、を含む素片情報を記憶している。ここで、音声素片は、音声合成処理の基となる基礎音声(人間が発した音声(自然音声))の一部であり、基礎音声を音声合成単位毎に分割することにより生成される。
【０００４】
音声素片情報は、音声素片の音声波形を表す情報、又は、当該音声素片から抽出され且つ当該音声素片の特徴を表す特徴パラメータ(例えば、線形予測法に従って抽出されたパラメータ(線形予測分析パラメータ)、又は、ケプストラム係数等)を含む。また、音声合成単位は、音素、音節、CV(Vは母音、Cは子音)等の半音節、CVC、又は、VCV等であることが多い。属性情報は、各音声素片の基礎音声における環境(音素環境)、及び、韻律情報(基本周波数(ピッチ周波数)、振幅、及び、継続時間長等)を含む。
【０００５】
音声素片情報及び属性情報は、例えば、アナウンサー又は声優が発した(発声した)音声に基づいて生成される。音声素片情報の基となった音声を発した人間(話者)は、元発話者とも呼ばれる。なお、音声素片の長さ、及び、音声合成単位の詳細は、非特許文献1及び非特許文献3に記載されている。
【０００６】
言語処理部1は、入力された文字列情報に対して、形態素解析、構文解析、及び、読み付け等の分析を行う。そして、言語処理部1は、音素記号等の「読み」を表す記号列を表す情報と、形態素の品詞、活用、及び、アクセント型等を表す情報と、を言語解析処理結果として、韻律生成部2及び素片選択部3へ出力する。
【０００７】
韻律生成部2は、言語処理部1から出力された言語解析処理結果に基づいて、合成される音声(合成音声)の韻律(音の高さ(ピッチ周波数)、音の長さ(継続時間長)、及び、音の大きさ(パワー)等に関する情報)を生成し、生成した韻律を表す韻律情報を目標韻律情報として素片選択部3及び波形生成部4へ出力する。
【０００８】
素片選択部3は、言語解析処理結果と目標韻律情報とに基づいて、素片情報記憶部12に記憶されている素片情報の中から、下記のように素片情報を選択し、選択した素片情報を波形生成部4へ出力する。
【０００９】
具体的には、素片選択部3は、入力された言語解析処理結果と目標韻律情報とに基づいて、合成音声の特徴を表す情報(以下、これを「目標素片環境」と呼ぶ。)を音声合成単位毎に求める。目標素片環境は、該当・先行・後続の各音素、ストレスの有無、アクセント核からの距離、音声合成単位毎のピッチ周波数、パワー、継続時間長、ケプストラム、MFCC(Mel  Frequency  Cepstral  Coefficients)、及び、これらのΔ量(単位時間あたりの変化量)等である。
【００１０】
次に、素片選択部3は、求めた目標素片環境に含まれる特定の情報(主に該当音素)に対応(例えば、一致)する音素を有する音声素片を表す素片情報を素片情報記憶部12から複数取得する。取得された素片情報は、音声を合成するために用いられる素片情報の候補である。
【００１１】
そして、素片選択部3は、取得された素片情報に対して、音声を合成するために用いる素片情報としての適切度を示す指標であるコストを算出する。コストは、目標素片環境と候補となる素片情報の属性情報との差を表す値であり、差が小さくなるほど(即ち、両者が類似している程度が高いほど)、小さくなる値である。コストが小さい素片情報を用いるほど、合成された音声は、人間が発した音声と類似している程度を表す自然度が高い音声となる。従って、素片選択部3は、算出されたコストが最も小さい素片情報を選択し、選択された素片情報を波形生成部4へ出力する。
【００１２】
波形生成部4は、韻律生成部2から供給された目標韻律情報と、素片選択部3から供給された素片情報と、に基づいて、目標韻律に一致若しくは類似する韻律を有する音声波形を生成し、生成した音声波形を接続して合成音声を生成する。
【００１３】
なお、本明細書においては、素片情報に基づいて目標韻律に一致若しくは類似する韻律を有する音声波形を生成することを、音声素片の韻律を制御するという意味合いから、韻律制御と呼ぶ。また、素片情報から生成された音声波形を、他の音声波形と区別する目的で素片波形とも呼ぶ。
【００１４】
ところで、素片選択部3から供給される素片情報が表す音声素片は、有声音からなる音声素片と、無声音からなる音声素片と、に分類される。有声音に対する韻律制御を行うために用いられる方法と、無声音に対する韻律制御を行うために用いられる方法と、は互いに異なる。無声音に対する韻律制御を行うために用いられる方法は、例えば、非特許文献6又は非特許文献7に記載された方法である。
【００１５】
一方、有声音に対する韻律制御を行うために用いられる方法は、例えば、非特許文献4に記載されているPSOLA(Pitch  Synchronous  OverLap  Add)方式である。また、有声音に対する韻律制御を行うために用いられる方法は、特許文献3に記載された方法でもよい。この方法によれば、元音声波形のスペクトル包絡を表す複素ケプストラムを求め、複素ケプストラムを表現するフィルタを所望のピッチ周波数に相当する時間間隔で駆動することによって、所望のピッチ周波数を有する素片波形を生成することができる。
【００１６】
次に、図2を参照しながら、素片情報記憶部12に記憶されている素片情報を生成する素片情報生成装置について説明する。図2に示したように、素片情報生成装置は、収録文記憶部21と、自然音声記憶部22と、属性情報抽出部7と、特徴パラメータ抽出部6と、素片情報記憶部12と、を備える。
【００１７】
自然音声記憶部22は、素片情報を生成する基となる基礎音声(自然音声波形)を表す情報を記憶している。収録文記憶部21は、自然音声記憶部22に記憶されている基礎音声に対応する文字列を表す情報を含む言語情報を記憶している。言語情報は、例えば、漢字かな混じり文を表す情報である。更に、言語情報は、読み・アクセント位置・形態素の品詞等の情報(例えば、言語処理部1により出力される情報と同じ形式を有する情報)を含んでいてもよい。
【００１８】
特徴パラメータ抽出部6は、自然音声記憶部22から供給された自然音声波形から特徴パラメータの時系列データを抽出し、抽出した時系列データを素片情報記憶部12へ出力する。抽出方法は、図1に示した音声合成装置の波形生成部4が音声波形を生成するために用いる方式(波形生成方式)に依存する。例えば、波形生成部4が波形生成方式として非特許文献4に記載されているPSOLA方式を用いる場合、特徴パラメータ抽出部6は、特徴パラメータの抽出方法として、非特許文献4に記載された方法を用いることが好適である。
【００１９】
また、特徴パラメータに線形予測分析パラメータ、又は、ケプストラム係数を用いる場合には、波形生成部4は、非特許文献5に記載の方法を用いる。属性情報抽出部7は、自然音声記憶部22から供給される自然音声波形と、収録文記憶部21から供給される言語情報と、に基づいて、属性情報を取得し、取得した属性情報を素片情報記憶部12へ出力する。
【００２０】
素片情報生成装置が生成する音声素片情報が、音声波形を表す情報そのものではなく、特徴パラメータの時系列データである場合、各特徴パラメータは、非特許文献5に記載されるように、窓関数を自然音声波形に適用することにより生成される。
【００２１】
具体的には、特徴パラメータ抽出部6は、自然音声波形のうちの、所定の時間長(フレーム長)を有する時間フレーム内の部分の特徴を表す特徴パラメータを抽出する。特徴パラメータ抽出部6は、複数の時間フレームのそれぞれに対して抽出された特徴パラメータを、特徴パラメータの時系列データとして取得する。複数の時間フレームは、連続する2つの時間フレームの開始位置が所定のフレーム周期だけ離れるように配置される。
【００２２】
ここで、フレーム長、及び、フレーム周期の値は、特徴パラメータを抽出するために用いられる方法によって異なる。フレーム長、及び、フレーム周期の値として、特徴パラメータを抽出する対象となる自然音声波形のピッチ周波数に同期した値が利用される場合(ピッチ周波数同期方式)と、ピッチ周波数に同期することなく常に一定の値が利用される場合(ピッチ周波数非同期方式)と、がある。ピッチ周波数同期方式の一例は、PSOLA方式である。
【００２３】
一方、線形予測分析パラメータ又はケプストラム係数を抽出する場合、ピッチ周波数非同期方式が利用される。例えば、特許文献4に記載された素片情報生成装置は、ピッチ周波数非同期方式を用いて特徴パラメータを抽出する。この素片情報生成装置は、フレーム周期、及び、フレーム長として、経験的に定められた値を用いる。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開2005-91551号公報
【特許文献２】特開2006-84854号公報
【特許文献３】特許第2812184号公報
【特許文献４】特開2003-66982号公報
【非特許文献】
【００２５】
【非特許文献１】Huang、Acero、Hon、“Spoken  Language  Processing”、Prentice  Hall、2001年、p.689-836
【非特許文献２】石川、“音声合成のための韻律制御の基礎”、電子情報通信学会技術研究報告、電子情報通信学会、2000年、第100巻、第392号、p.27-34
【非特許文献３】阿部、“音声合成のための合成単位の基礎”、電子情報通信学会技術研究報告、電子情報通信学会、2000年、第100巻、第392号、p.35-42
【非特許文献４】Moulines、Charapentier、“Pitch-Synchronous  Waveform  Processing  Techniques  For  Text-To-Speech  Synthesis  Using  Diphones”、Speech  Communication、1990年、第9巻、p.435-467
【非特許文献５】古井、“音声情報処理”、森北出版、1998年
【非特許文献６】R.Suzuki、M.Misaki、“Time-scale  modification  of  speech  signals  using  cross-correlation  functions”、IEEE  Trans.  Consum.  Electron.、IEEE、1992年、第38巻、p.357-363
【非特許文献７】清山ほか、“高品質リアルタイム話速変換システムの開発”、電子情報通信学会論文誌、電子情報通信学会、2001年、第J84-D-II巻、第6号、p.918-926
【発明の概要】
【発明が解決しようとする課題】
【００２６】
しかしながら、経験的に定められたフレーム周期を用いて音声素片情報(ここでは、特徴パラメータの時系列データ)を生成すると、その音声素片情報を用いて音声を合成した場合に、合成された音声の品質(音質)が低くなることがある。例えば、フレーム周期が過大な値に設定されていると、特徴パラメータが抽出される頻度が低下する。その結果、音声合成処理を行う際に用いられる特徴パラメータの時間方向における連続性が不十分となる(即ち、特徴パラメータが時間に対して十分に滑らかに変化しなくなる)ので、音質が低下する。この現象について、図3を参照しながら説明する。
【００２７】
図3は、自然音声から特徴パラメータの時系列データを抽出し、抽出された時系列データを所望のピッチ周期にて再構成することにより音声を合成する処理を概念的に示した説明図である。図3の左側の列は、フレーム周期が相対的に短い場合を表し、右側の列は、フレーム周期が相対的に長い場合を表している。
【００２８】
図3に示したように、フレーム周期が短くなるほど、ある時間長を有する自然音声波形に対して抽出される特徴パラメータの数(時系列データの量)が多くなる。この例では、フレーム周期が短い場合は、7つの時間フレームのそれぞれに対して特徴パラメータが抽出され、フレーム周期が長い場合は、3つの時間フレームのそれぞれに対して特徴パラメータが抽出される。
【００２９】
音声合成装置は、特徴パラメータの時系列データを所望のピッチ周期にて再構成することにより音声を合成する場合、ピッチ周期毎に特徴パラメータを選択し、選択した特徴パラメータから音声波形を生成する。図3に示したピッチ同期位置は、隣接する他のピッチ同期位置との間の間隔がピッチ周期と一致するように配置された位置(時刻)である。
【００３０】
この例では、音声合成装置は、フレーム周期が短い場合(図3の左側の列)、フレーム番号が2,3,…,7の時間フレームのそれぞれを1つずつ選択する。一方、フレーム周期が長い場合(図3の右側の列)、音声合成装置は、フレーム番号が1の時間フレームを2つ選択し、フレーム番号が2の時間フレームを3つ選択し、フレーム番号が3の時間フレームを1つ選択する。音声合成装置は、選択した時間フレームに対して抽出された音声素片情報に基づいて音声を合成する。
【００３１】
この例では、音声合成装置は、ピッチ周期毎に特徴パラメータを選択する際に、ピッチ同期位置に最も近い特徴パラメータを選択する。即ち、音声合成装置は、フレーム周期が短い場合(図3の左側の列)、同一の時間フレーム(即ち、特徴パラメータ)が繰り返し選択されることなく、特徴パラメータの時間方向における連続性が確保されている(即ち、特徴パラメータが時間に対して十分に滑らかに変化する)。一方、フレーム周期が長い場合(図3の右側の列)、音声合成装置は、同一の時間フレームを繰り返し選択する。その結果、特徴パラメータの時間方向における連続性が損なわれている(即ち、特徴パラメータが時間に対して十分に滑らかに変化しない)。
【００３２】
即ち、フレーム周期が過度に長い場合、音声を合成する際に特徴パラメータの数が不足する。換言すると、この場合、音声合成装置は、過度に少ない情報量に基づいて音声を合成する。従って、十分な音質を確保するためには、フレーム周期を十分に短くする必要がある。しかしながら、フレーム周期を過度に短くすると、素片情報のデータ量が過度に多くなる。その結果、素片情報を記憶する記憶装置に要求される記憶容量が過度に大きくなってしまう。
【００３３】
このように、上述した文献に記載された素片情報生成装置によれば、合成される音声の品質が低下するという問題、又は、素片情報のデータ量が過度に多くなるという問題が生じていた。
【００３４】
このため、本発明の目的は、上述した課題である「合成される音声の品質が低下する場合、又は、素片情報のデータ量が過度に多くなる場合が生じること」を解決することが可能な素片情報生成装置を提供することにある。
【課題を解決するための手段】
【００３５】
かかる目的を達成するため本発明の一形態である素片情報生成装置は、
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が上記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
を備える。
【発明の効果】
【００３６】
本発明は、以上のように構成されることにより、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【図面の簡単な説明】
【００３７】
【図１】背景技術に係る音声合成装置の概略構成を表す図である。
【図２】背景技術に係る素片情報生成装置の概略構成を表す図である。
【図３】自然音声から特徴パラメータの時系列データを抽出し、抽出された時系列データを所望のピッチ周期にて再構成することにより音声を合成する処理を概念的に示した説明図である。
【図４】本発明の第1実施形態に係る素片情報生成装置の概略構成を表す図である。
【図５】本発明の第2実施形態に係る素片情報生成装置の概略構成を表す図である。
【図６】本発明の第3実施形態に係る素片情報生成装置の概略構成を表す図である。
【図７】本発明の第4実施形態に係る素片情報生成装置の概略構成を表す図である。
【図８】本発明の第5実施形態に係る音声合成装置の概略構成を表す図である。
【図９】本発明の第6実施形態に係る素片情報生成装置の概略構成を表す図である。
【発明を実施するための形態】
【００３８】
以下、本発明に係る、素片情報生成装置、音声合成システム、音声合成方法、及び、プログラム、の各実施形態について図1〜図9を参照しながら説明する。
【００３９】
<第1実施形態>
(構成)
図4に示したように、本発明の第1実施形態に係る素片情報生成装置100は、収録文記憶部21と、自然音声記憶部22と、属性情報抽出部7と、特徴パラメータ抽出部6と、素片情報記憶部12と、フレーム周期記憶部13と、フレーム周期決定部(フレーム周期決定手段)31と、合成音声韻律情報推定部(韻律情報推定手段)33と、合成音声韻律情報記憶部34と、を備える。特徴パラメータ抽出部6及び属性情報抽出部7は、素片情報生成手段を構成している。
【００４０】
自然音声記憶部22は、素片情報を生成する基となる基礎音声(自然音声波形)を表す情報を記憶している。素片情報は、音声素片を表す音声素片情報と、各音声素片の属性を表す属性情報と、を含む。ここで、音声素片は、音声を合成する音声合成処理の基となる基礎音声(人間が発した音声(自然音声))の一部であり、基礎音声を音声合成単位毎に分割することにより生成される。
【００４１】
本例では、音声素片情報は、音声素片から抽出され且つ当該音声素片の特徴を表す特徴パラメータの時系列データを含む。また、音声合成単位は、音節である。なお、音声合成単位は、音素、CV(Vは母音、Cは子音)等の半音節、CVC、又は、VCV等であってもよい。また、属性情報は、各音声素片の基礎音声における環境(音素環境)、及び、韻律情報(基本周波数(ピッチ周波数)、振幅、及び、継続時間長等)を含む。
【００４２】
収録文記憶部21は、自然音声記憶部22に記憶されている基礎音声に対応する文字列(収録文)を表す情報を含む言語情報を記憶している。言語情報は、例えば、漢字かな混じり文を表す情報である。更に、言語情報は、読み・アクセント位置・形態素の品詞等の情報を含んでいてもよい。
【００４３】
特徴パラメータ抽出部6は、自然音声記憶部22から供給された自然音声波形から特徴パラメータの時系列データを抽出する。具体的には、特徴パラメータ抽出部6は、自然音声波形のうちの、予め設定された時間長(フレーム長)を有する時間フレーム内の部分の特徴を表す特徴パラメータを抽出する。
【００４４】
特徴パラメータ抽出部6は、複数の時間フレームのそれぞれに対して抽出された特徴パラメータを、特徴パラメータの時系列データとして取得する。複数の時間フレームは、連続する2つの時間フレームの開始位置が、フレーム周期決定部31により決定されるフレーム周期(後述するように、フレーム周期記憶部13に記憶されているフレーム周期)だけ離れるように配置される。ここで、フレーム周期は、時間間隔を表す。特徴パラメータ抽出部6は、取得した時系列データを音声素片情報として素片情報記憶部12へ出力する。
【００４５】
属性情報抽出部7は、自然音声記憶部22から供給される自然音声波形と、収録文記憶部21から供給される言語情報と、に基づいて、属性情報を取得し、取得した属性情報を素片情報記憶部12へ出力する。
即ち、特徴パラメータ抽出部6及び属性情報抽出部7は、特徴パラメータの時系列データを含む素片情報を生成している、と言うことができる。
【００４６】
素片情報記憶部12は、特徴パラメータ抽出部6から供給された音声素片情報と、属性情報抽出部7から供給された属性情報と、を含む素片情報を記憶する。
【００４７】
合成音声韻律情報記憶部34は、素片情報記憶部12に記憶されている(即ち、素片情報生成装置100が生成した)素片情報に基づいて音声合成処理を行う図示しない音声合成装置(音声合成処理手段)から出力された韻律情報を予め記憶している。即ち、合成音声韻律情報記憶部34は、上記音声合成装置が過去の時点にて合成した音声である過去合成音声の韻律を表す韻律情報を予め記憶している。
【００４８】
なお、合成音声韻律情報記憶部34が記憶する韻律情報の統計量に基づいて、後述する合成音声韻律情報推定部33が、上記音声合成装置が将来の時点にて合成する音声である将来合成音声の韻律を表す韻律情報を推定する。従って、合成音声韻律情報記憶部34が記憶する韻律情報の情報量は、十分に多い量であることが好適である。
【００４９】
合成音声韻律情報推定部33は、合成音声韻律情報記憶部34に記憶されている、過去合成音声の韻律を表す韻律情報に基づいて、将来合成音声の韻律を表す韻律情報を推定する。合成音声韻律情報推定部33は、推定された韻律情報を韻律関連情報としてフレーム周期決定部31へ出力する。韻律関連情報は、音声の韻律に関する情報である。
【００５０】
ところで、将来の時点にて行われる音声合成処理の対象となるテキスト(文字列)を特定することはできない。従って、本例では、合成音声韻律情報推定部33は、将来の時点にて、任意のテキストが入力された場合に音声合成装置が合成する音声の韻律を表す韻律情報を推定する。
【００５１】
なお、任意のテキストが入力された場合に音声合成装置が合成する音声の韻律は、ある一定の範囲内の値を有する。従って、過去合成音声の韻律を表す韻律情報の統計量に基づいて将来合成音声の韻律を表す韻律情報を推定することが好適であると考えられる。
【００５２】
そこで、合成音声韻律情報推定部33は、過去合成音声の韻律を表す韻律情報の統計量を算出する。合成音声韻律情報推定部33は、算出した過去合成音声の韻律を表す韻律情報の統計量を、将来合成音声の韻律を表す韻律情報として推定する。
【００５３】
ここで、韻律情報の統計量は、ピッチ周波数、又は、継続時間長の、平均値、分散、頻度(ヒストグラム)、最大値、最小値、又は、最頻値等である。これらの統計量は、合成音声韻律情報記憶部34に記憶されている韻律情報の全体から一意に算出されてもよく、また、音素、音節、半音節、又は、素片等の単位毎に算出されてもよい。
【００５４】
本例では、合成音声韻律情報推定部33は、韻律情報の統計量として、音声合成単位毎に、ピッチ周波数の平均値及び分散を算出する。
【００５５】
フレーム周期決定部31は、合成音声韻律情報推定部33から供給された韻律関連情報に基づいて、音声合成単位(即ち、予め設定された処理単位)毎にフレーム周期を決定する。フレーム周期決定部31は、決定したフレーム周期をフレーム周期記憶部13へ出力する。
【００５６】
ところで、音声合成処理によって合成される音声(合成音声)のピッチ周波数が高くなるほど、合成音声の品質(音質)を十分に高くするために必要とされる時間フレームの数(フレーム数)は多くなる。即ち、ピッチ周波数の平均値が大きくなるほど、フレーム周期を小さくすることが好適である。
【００５７】
また、ある音声合成単位に対するピッチ周波数の分散が大きくなるほど、フレーム数が不十分であることにより、音質が劣化する可能性が高くなる。
そこで、本例では、フレーム周期決定部31は、ピッチ周波数の平均値及び分散に基づいてフレーム周期を決定する。
【００５８】
具体的には、フレーム周期決定部31は、数式1に従って、音声合成単位毎にフレーム周期を決定する。ここで、F0meanは、韻律関連情報が表すピッチ周波数の平均値であり、F0varは、韻律関連情報が表すピッチ周波数の分散である。また、Tpは、フレーム周期であり、β1は、予め設定された閾値である。α1は、予め設定された正の値を有する(即ち、0よりも大きい)定数である。また、Tp1は、予め設定された正の値を有する第1のフレーム周期であり、Tp2は、予め設定された正の値を有する第2のフレーム周期である。更に、第1のフレーム周期Tp1は、第2のフレーム周期Tp2よりも小さい。即ち、第1のフレーム周期Tp1及び第2のフレーム周期Tp2は、0<Tp1<Tp2を満足する。
【数１】
2011141470.tif 000003
【００５９】
このように、フレーム周期決定部31は、韻律関連情報が表すピッチ周波数が大きくなるほど小さくなる値を、フレーム周期として決定する。具体的には、フレーム周期決定部31は、韻律関連情報が表すピッチ周波数の平均値が大きくなるほど小さくなるとともに、韻律関連情報が表すピッチ周波数の分散が大きくなるほど小さくなる値を、フレーム周期として決定する。
【００６０】
なお、本例では、フレーム周期決定部31は、2つのフレーム周期から1つのフレーム周期を選択するように構成されていたが、3つ以上のフレーム周期から1つのフレーム周期を選択するように構成されていてもよい。この場合、フレーム周期をより高い精度にて制御することができる。この結果、合成音声の品質が低下することを確実に防止しながら、合成音声の基となる素片情報のデータ量をより一層低減することができる。
【００６１】
また、本例では、フレーム周期決定部31は、ピッチ周波数の平均値及び分散に基づいてフレーム周期を決定するように構成されていたが、ピッチ周波数の平均値のみに基づいてフレーム周期を決定するように構成されていてもよい。
【００６２】
フレーム周期記憶部13は、フレーム周期決定部31から出力されたフレーム周期(の値)を素片情報と対応付けて記憶する。上述したように、フレーム周期記憶部13が記憶しているフレーム周期は、特徴パラメータ抽出部6が特徴パラメータを抽出する際に用いられる値であるとともに、上記音声合成装置が音声合成処理を実行する際に用いられる値である。
【００６３】
(作動)
次に、上記のように構成された素片情報生成装置100の作動について説明する。
先ず、音声合成装置は、音声合成処理を行うことによって韻律情報を生成し、生成した韻律情報を素片情報生成装置100へ出力する。合成音声韻律情報記憶部34は、音声合成装置から出力された韻律情報を記憶する。このような処理が繰り返されることにより、合成音声韻律情報記憶部34は、十分に多い量の韻律情報を蓄積する。
【００６４】
その後、素片情報生成装置100のユーザが素片情報を生成する旨を指示する情報を入力する。これにより、素片情報生成装置100は、素片情報を生成する処理を開始する。
【００６５】
先ず、合成音声韻律情報推定部33は、合成音声韻律情報記憶部34に記憶されている韻律情報に基づいて、将来合成音声の韻律を表す韻律情報として、音声合成単位毎に、ピッチ周波数の平均値及び分散を算出(推定)する。
【００６６】
次いで、合成音声韻律情報推定部33は、推定された韻律情報を韻律関連情報としてフレーム周期決定部31へ出力する。
そして、フレーム周期決定部31は、合成音声韻律情報推定部33から出力された韻律関連情報に基づいて、音声合成単位毎にフレーム周期を決定する。次いで、フレーム周期記憶部13は、フレーム周期決定部31により決定されたフレーム周期を記憶する。
【００６７】
そして、特徴パラメータ抽出部6は、自然音声記憶部22に記憶されている自然音声波形に基づいて、連続する2つの時間フレームの開始位置が、フレーム周期記憶部13に記憶されているフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対する特徴パラメータを抽出する。また、属性情報抽出部7は、属性情報を取得する。
【００６８】
このようにして、特徴パラメータ抽出部6及び属性情報抽出部7は、特徴パラメータの時系列データを含む音声素片情報と、属性情報と、からなる素片情報を生成する。そして、素片情報記憶部12は、特徴パラメータ抽出部6及び属性情報抽出部7により生成された素片情報を記憶する。
【００６９】
その後、音声合成装置は、音声合成処理の対象となるテキストを受け付けると、素片情報記憶部12に記憶されている素片情報に基づいて、受け付けたテキストを表す音声を合成するための音声合成処理を行う。
【００７０】
以上、説明したように、第1実施形態に係る素片情報生成装置100によれば、素片情報を生成する際に用いられるフレーム周期を、音声の韻律に基づいて適切に設定することができる。この結果、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【００７１】
更に、第1実施形態において、合成音声韻律情報推定部33は、音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報に基づいて将来合成音声の韻律を表す韻律情報を推定する。
これによれば、将来の時点にて音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【００７２】
加えて、第1実施形態において、フレーム周期決定部31は、ピッチ周波数(基本周波数)が大きくなるほど小さくなる値を、フレーム周期として決定する。
これにより、合成される音声の品質が低下することを確実に防止することができる。
【００７３】
更に、第1実施形態において、フレーム周期決定部31は、予め設定された処理単位毎に、韻律関連情報を取得するとともに当該取得した韻律関連情報に基づいてフレーム周期を決定する。
これによれば、例えば、音節毎に、又は、半音節毎に、フレーム周期を設定することができる。この結果、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【００７４】
<第2実施形態>
次に、本発明の第2実施形態に係る素片情報生成装置について説明する。第2実施形態に係る素片情報生成装置は、上記第1実施形態に係る素片情報生成装置に対して、基礎音声の韻律を表す韻律情報に基づいて将来合成音声の韻律を表す韻律情報を推定する点において相違している。従って、以下、かかる相違点を中心として説明する。
【００７５】
図5に示したように、第2実施形態に係る素片情報生成装置100は、第1実施形態に係る素片情報生成装置100が有する構成に加えて、出現数算出部(出現数取得手段)46を備える。また、第2実施形態に係る素片情報生成装置100は、フレーム周期決定部31に代わるフレーム周期決定部41と、合成音声韻律情報推定部33に代わる合成音声韻律情報推定部43と、合成音声韻律情報記憶部34に代わる素片韻律情報記憶部44と、を備える。
【００７６】
属性情報抽出部7は、音声素片毎に、属性情報を取得し、当該取得した属性情報に含まれる韻律情報(素片韻律情報)を素片韻律情報記憶部44へ出力する。
素片韻律情報記憶部44は、属性情報抽出部7から供給された素片韻律情報を音声素片毎に記憶する。
【００７７】
出現数算出部46は、収録文記憶部21に記憶されている言語情報に基づいて、音声合成単位(処理単位)毎に、当該音声合成単位に対応する音声が基礎音声において出現する回数である出現数を算出(取得)する。出現数算出部46は、出現数を算出する対象となる音声合成単位に対応する文字列が収録文において出現する回数を計数することにより、音声合成単位毎の出現数を算出する。
【００７８】
例えば、音声合成単位を音節とする場合において「わ」の出現数を算出するとき、出現数算出部46は、収録文記憶部21に記憶されている言語情報が表す収録文において「わ」が出現する回数を計数する。
出現数算出部46は、算出された出現数を合成音声韻律情報推定部43へ出力する。
【００７９】
合成音声韻律情報推定部43は、素片韻律情報記憶部44に記憶されている音声素片毎の韻律情報(即ち、基礎音声の韻律を表す韻律情報)と、出現数算出部46から供給された音声合成単位毎の出現数と、に基づいて、音声素片毎の将来合成音声の韻律を表す韻律情報を推定する。合成音声韻律情報推定部43は、推定された韻律情報を韻律関連情報としてフレーム周期決定部41へ出力する。
【００８０】
ところで、上記音声合成装置は、合成音声の韻律の目標値である目標韻律に最も近い韻律を有する素片情報を選択するように構成される。従って、将来合成音声中の、ある音声素片の韻律と、当該音声素片の基となった基礎音声中の音声素片の韻律と、が著しく異なることは少ない。
【００８１】
但し、出現数が比較的少ない音声合成単位に関しては、音声合成装置が目標韻律に十分に近い韻律を有する素片情報を選択することができない。従って、将来合成音声中の、ある音声素片の韻律と、当該音声素片の基となった基礎音声中の音声素片の韻律と、が比較的大きく異なる場合がある。
【００８２】
即ち、将来合成音声中の、ある音声素片の韻律と、当該音声素片の基となった基礎音声中の音声素片の韻律と、が異なる程度は、出現数に応じて変化する、と言うことができる。そこで、合成音声韻律情報推定部43は、このような性質を利用して、音声素片毎の将来合成音声の韻律を表す韻律情報を推定する。
【００８３】
本例では、合成音声韻律情報推定部43は、数式2に従って、音声素片毎の将来合成音声の韻律を表す韻律情報を推定する。なお、本例では、推定する対象となる韻律がピッチ周波数である場合について説明する。
【数２】
2011141470.tif 000004
【００８４】
ここで、N(u)は、音声合成単位uに対応する音声素片sが基礎音声において出現する回数である出現数である。また、F0est(s)は、音声素片sに対する将来合成音声の韻律(ピッチ周波数)の推定値であり、F0org(s)は、音声素片sに対する基礎音声の韻律である。また、β2は、予め設定された閾値である。また、F0mod1は、予め設定された正の値を有する第1の係数であり、F0mod2は、予め設定された正の値を有する第2の係数である。更に、第1の係数F0mod1は、第2の係数F0mod2よりも小さい。即ち、第1の係数F0mod1及び第2の係数F0mod2は、0<F0mod1<F0mod2を満足する。
【００８５】
このように、合成音声韻律情報推定部43は、基礎音声の韻律を表す韻律情報に、第1の係数F0mod1又は第2の係数F0mod2を乗じた値を、将来合成音声の韻律を表す韻律情報として推定する。また、合成音声韻律情報推定部43は、出現数が大きくなるほど小さくなる値を、将来合成音声の韻律を表す韻律情報として推定する。
【００８６】
フレーム周期決定部41は、第1実施形態に係るフレーム周期決定部31と同様に、合成音声韻律情報推定部43により推定された韻律情報に基づいてフレーム周期を決定する。
【００８７】
以上、説明したように、第2実施形態に係る素片情報生成装置100において、合成音声韻律情報推定部43は、基礎音声の韻律を表す韻律情報に基づいて将来合成音声の韻律を表す韻律情報を推定する。
【００８８】
ところで、音声合成処理において用いられる素片情報が、合成される音声の韻律と類似する(可能な限り近い)韻律を有する情報である可能性は比較的高い。そこで、上記のように素片情報生成装置100を構成することによって、将来合成音声の韻律を表す韻律情報を高い精度にて推定することができる。この結果、将来の時点にて音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【００８９】
更に、第2実施形態において、合成音声韻律情報推定部43は、出現数算出部46により取得された出現数と、基礎音声の韻律を表す韻律情報と、に基づいて将来合成音声の韻律を表す韻律情報を推定する。
【００９０】
ところで、ある音声合成単位に対して、出現数が多くなるほど、合成される音声の韻律と一致している程度がより高い韻律を有する音声素片を表す素片情報が、音声合成処理において用いられる。従って、上記のように素片情報生成装置100を構成することによって、将来合成音声の韻律を表す韻律情報をより一層高い精度にて推定することができる。この結果、将来の時点にて音声合成処理において用いられる可能性がより一層高い韻律に基づいて、フレーム周期を適切に決定することができる。
【００９１】
なお、第2実施形態において、素片情報生成装置100は、音声合成単位毎に算出した出現数に基づいて将来合成音声の韻律を表す韻律情報を推定するように構成されていたが、音声合成単位毎に算出した出現数の統計量(平均値、及び/又は、分散等)に基づいて将来合成音声の韻律を表す韻律情報を推定するように構成されていてもよい。この場合、例えば、合成音声韻律情報推定部43は、出現数に代えて、出現数の統計量に基づく値(例えば、出現数の分散と予め設定された係数との積を、出現数の平均値に加えた値)を用いるように構成されることが好適である。
【００９２】
また、第2実施形態において、素片情報生成装置100は、基礎音声の韻律を表す韻律情報に基づいて、将来合成音声の韻律を表す韻律情報を推定するように構成されていたが、基礎音声の韻律を表す韻律情報の統計量に基づいて、将来合成音声の韻律を表す韻律情報を推定するように構成されていてもよい。
【００９３】
例えば、韻律情報の統計量は、ピッチ周波数、又は、継続時間長の、平均値、分散、頻度(ヒストグラム)、最大値、最小値、又は、最頻値等である。
ここでは、基礎音声の韻律を表す韻律情報の平均値及び分散に基づいて、将来合成音声の韻律を表す韻律情報を推定するように構成された変形例に係る素片情報生成装置100について説明する。
【００９４】
この変形例に係る合成音声韻律情報推定部43は、数式3に従って、将来合成音声の韻律を表す韻律情報を推定する。ここで、F0est(u)は、音声合成単位uに対する将来合成音声の韻律(本例では、ピッチ周波数)の推定値である。また、F0m(u)は、基礎音声のうちの、音声合成単位uに対応する音声素片の韻律の平均値であり、F0v(u)は、基礎音声のうちの、音声合成単位uに対応する音声素片の韻律の分散である。また、α2は、予め設定された正の値を有する定数である。
【数３】
2011141470.tif 000005
【００９５】
このように構成された素片情報生成装置100であっても、第2実施形態に係る素片情報生成装置100と同様の作用及び効果を奏することができる。
【００９６】
<第3実施形態>
次に、本発明の第3実施形態に係る素片情報生成装置について説明する。第2実施形態に係る素片情報生成装置は、上記第2実施形態に係る素片情報生成装置に対して、将来合成音声の韻律を推定することなくフレーム周期を決定する点において相違している。従って、以下、かかる相違点を中心として説明する。
【００９７】
図6に示したように、第3実施形態に係る素片情報生成装置100は、第2実施形態に係る素片情報生成装置100が備える合成音声韻律情報推定部43を備えない。更に、第3実施形態に係る素片情報生成装置100は、フレーム周期決定部41に代えて、フレーム周期決定部51を備える。
【００９８】
フレーム周期決定部51は、素片韻律情報記憶部44に記憶されている音声素片毎の韻律情報(即ち、基礎音声の韻律を表す韻律情報)を韻律関連情報として取得する。更に、フレーム周期決定部51は、取得した韻律関連情報と、出現数算出部46から供給された音声合成単位毎の出現数と、に基づいて、フレーム周期を決定する。フレーム周期決定部51は、決定したフレーム周期をフレーム周期記憶部13へ出力する。
【００９９】
本例においても、韻律情報としてピッチ周波数を用いる場合について説明する。
本例では、フレーム周期決定部51は、数式4に従って、音声素片毎にフレーム周期を決定する。ここで、F0org(s)は、音声合成単位uに対応する音声素片sに対する基礎音声の韻律である。また、β3(s)は、音声素片sに対する閾値である。また、Tp3は、予め設定された正の値を有する第3のフレーム周期であり、Tp4は、予め設定された正の値を有する第4のフレーム周期である。更に、第3のフレーム周期Tp3は、第4のフレーム周期Tp4よりも小さい。即ち、第3のフレーム周期Tp3及び第4のフレーム周期Tp4は、0<Tp3<Tp4を満足する。
【数４】
2011141470.tif 000006
【０１００】
このように、フレーム周期決定部51は、韻律関連情報が表すピッチ周波数が大きくなるほど小さくなる値を、フレーム周期として決定する。なお、本例では、フレーム周期決定部51は、2つのフレーム周期から1つのフレーム周期を選択するように構成されていたが、3つ以上のフレーム周期から1つのフレーム周期を選択するように構成されていてもよい。この場合、フレーム周期をより高い精度にて制御することができる。この結果、合成音声の品質が低下することを確実に防止しながら、合成音声の基となる素片情報のデータ量をより一層低減することができる。
【０１０１】
更に、フレーム周期決定部51は、音声合成単位uに対応する音声素片sが基礎音声において出現する回数である出現数N(u)に基づいて、音声素片sに対する閾値β3(s)を決定する。本例では、フレーム周期決定部51は、数式5に従って、音声素片sに対する閾値β3(s)を決定する。
【数５】
2011141470.tif 000007
【０１０２】
ここで、β0は、予め設定された正の値を有する定数であり、β4は、予め設定された閾値である。また、βmod1は、予め設定された正の値を有する第1の係数であり、βmod2は、予め設定された正の値を有する第2の係数である。更に、第1の係数βmod1は、第2の係数βmod2よりも小さい。即ち、第1の係数βmod1及び第2の係数βmod2は、0<βmod1<βmod2を満足する。
【０１０３】
このように、フレーム周期決定部51は、出現数N(u)が大きくなるほど小さくなる値を、閾値β3(s)として決定する。従って、フレーム周期決定部51は、韻律関連情報が表すピッチ周波数が大きくなるほど小さくなるとともに、出現数が小さくなるほど小さくなる値をフレーム周期として決定する。
【０１０４】
以上、説明したように、第3実施形態に係る素片情報生成装置100において、フレーム周期決定部51は、基礎音声の韻律を表す韻律情報を韻律関連情報として取得し、当該取得した韻律関連情報に基づいてフレーム周期を決定する。
【０１０５】
ところで、音声合成処理において用いられる素片情報が、合成される音声の韻律と類似する(可能な限り近い)韻律を有する情報である可能性は比較的高い。そこで、上記のように素片情報生成装置100を構成することによって、音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１０６】
更に、第3実施形態において、フレーム周期決定部51は、取得された出現数と、韻律関連情報と、に基づいてフレーム周期を決定する。
【０１０７】
ところで、ある処理単位(音声合成単位)に対して、出現数が多くなるほど、合成される音声の韻律と一致している程度がより高い韻律を有する音声素片を表す素片情報が、音声合成処理において用いられる。従って、上記のように素片情報生成装置100を構成することによって、音声合成処理において用いられる可能性がより一層高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１０８】
なお、第3実施形態において、フレーム周期決定部51は、基礎音声の韻律を表す韻律情報を韻律関連情報として取得するように構成されていたが、過去合成音声の韻律を表す韻律情報を韻律関連情報として取得するように構成されていてもよい。
【０１０９】
ところで、将来の時点にて合成される音声の韻律が、過去の時点にて合成された音声の韻律と類似する可能性は比較的高い。そこで、上記のように素片情報生成装置100を構成することによって、将来の時点にて音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１１０】
<第4実施形態>
次に、本発明の第4実施形態に係る素片情報生成装置について説明する。第4実施形態に係る素片情報生成装置は、上記第1実施形態に係る素片情報生成装置に対して、過去合成音声の韻律である合成音声韻律と、基礎音声の韻律である基礎音声韻律と、の差を表す韻律制御量に基づいてフレーム周期を決定する点において相違している。従って、以下、かかる相違点を中心として説明する。
【０１１１】
図7に示したように、第4実施形態に係る素片情報生成装置100は、第1実施形態に係る素片情報生成装置100が備える合成音声韻律情報推定部33を備えない。更に、第4実施形態に係る素片情報生成装置100は、フレーム周期決定部31に代わるフレーム周期決定部61と、合成音声韻律情報記憶部34に代わる韻律制御量情報記憶部64と、を備える。
【０１１２】
韻律制御量情報記憶部64は、素片情報記憶部12に記憶されている(即ち、素片情報生成装置100が生成した)素片情報に基づいて音声合成処理を行う図示しない音声合成装置(音声合成処理手段)から出力された韻律制御量を予め記憶している。
【０１１３】
韻律制御量は、上記音声合成装置によって過去の時点にて合成された音声(過去合成音声)の韻律である合成音声韻律と、基礎音声の韻律である基礎音声韻律と、の差を表す情報である。本例では、韻律制御量情報記憶部64は、基礎音声韻律と合成音声韻律との差の大きさを韻律制御量として記憶する。
【０１１４】
具体的には、韻律としてピッチ周波数を用いた場合において、ある音声素片に対して、基礎音声のピッチ周波数が250Hzであり、過去合成音声のピッチ周波数が300Hzであるとき、韻律制御量情報記憶部64は、韻律制御量として、50(=|300-250|)を記憶する。
【０１１５】
また、韻律として継続時間長を用いた場合において、ある音声素片に対して、基礎音声の継続時間長が250msであり、過去合成音声の継続時間長が300msであるとき、韻律制御量情報記憶部64は、韻律制御量として、50(=|300-250|)を記憶する。なお、韻律制御量情報記憶部64は、基礎音声韻律と合成音声韻律との比に基づく値(基礎音声韻律と合成音声韻律との差の大きさが大きくなるほど大きくなる値)を韻律制御量として記憶するように構成されていてもよい。
【０１１６】
フレーム周期決定部61は、韻律制御量情報記憶部64に記憶されている韻律制御量に基づいて、韻律制御量の統計量を算出(取得)する。ここで、韻律制御量の統計量は、韻律制御量の、平均値、分散、頻度(ヒストグラム)、最大値、最小値、又は、最頻値等である。これらの統計量は、韻律制御量情報記憶部64に記憶されている韻律制御量の全体から一意に算出されてもよく、また、音素、音節、半音節、又は、素片等の単位毎に算出されてもよい。
【０１１７】
本例では、フレーム周期決定部61は、韻律制御量の統計量として、音声合成単位毎に、韻律制御量の平均値及び分散を算出する。また、本例では、フレーム周期決定部61は、韻律制御量として、過去合成音声の継続時間長と、基礎音声の継続時間長と、の差の大きさを用いる。
【０１１８】
フレーム周期決定部61は、算出した韻律制御量の平均値及び分散を韻律関連情報として取得する。フレーム周期決定部61は、取得した韻律関連情報に基づいてフレーム周期を決定し、決定したフレーム周期をフレーム周期記憶部13へ出力する。
【０１１９】
ところで、韻律制御量が大きくなるほど、合成される音声の品質は低下しやすい。そこで、フレーム周期決定部61は、韻律制御量が大きくなるほど小さくなる値をフレーム周期として決定する。この結果、合成される音声の品質が低下することを確実に防止することができる。
【０１２０】
本例では、フレーム周期決定部61は、韻律制御量の分散に予め設定された係数を乗じた値を、韻律制御量の平均値に加えた値が大きくなるほど小さくなる値をフレーム周期として決定する。なお、フレーム周期決定部61は、韻律制御量の平均値のみに基づいてフレーム周期を決定するように構成されていてもよい。
【０１２１】
以上、説明したように、第4実施形態に係る素片情報生成装置100において、フレーム周期決定部61は、合成音声韻律と基礎音声韻律との差を表す韻律制御量を韻律関連情報として取得し、当該取得した韻律関連情報に基づいてフレーム周期を決定する。これにより、韻律制御量が大きくなるほど、フレーム周期を小さくすることができる。この結果、合成される音声の品質が低下することを確実に防止することができる。
【０１２２】
<第5実施形態>
次に、本発明の第5実施形態に係る音声合成システムについて説明する。第5実施形態に係る音声合成システムは、上記第1実施形態に係る素片情報生成装置により生成された素片情報に基づいて音声合成処理を行うシステムである。以下、素片情報生成装置以外の構成を中心として説明する。
【０１２３】
この音声合成システムは、第1実施形態に係る素片情報生成装置100と、図8に示した音声合成装置200と、を含む。音声合成装置200は、言語処理部1と、韻律生成部2と、素片選択部3と、波形生成部8と、を備える。
【０１２４】
言語処理部1は、入力された文字列情報に対して、形態素解析、構文解析、及び、読み付け等の分析を行う。そして、言語処理部1は、音素記号等の「読み」を表す記号列を表す情報と、形態素の品詞、活用、及び、アクセント型等を表す情報と、を言語解析処理結果として、韻律生成部2及び素片選択部3へ出力する。
【０１２５】
韻律生成部2は、言語処理部1から出力された言語解析処理結果に基づいて、合成される音声(合成音声)の韻律(音の高さ(ピッチ周波数)、音の長さ(継続時間長)、及び、音の大きさ(パワー)等に関する情報)を生成し、生成した韻律を表す韻律情報を目標韻律情報として素片選択部3及び波形生成部8へ出力する。
【０１２６】
素片選択部3は、言語解析処理結果と目標韻律情報とに基づいて、素片情報記憶部12に記憶されている素片情報の中から、下記のように素片情報を選択し、選択した素片情報を波形生成部8へ出力する。
【０１２７】
具体的には、素片選択部3は、入力された言語解析処理結果と目標韻律情報とに基づいて、合成音声の特徴を表す情報(以下、これを「目標素片環境」と呼ぶ。)を音声合成単位毎に求める。目標素片環境は、該当・先行・後続の各音素、ストレスの有無、アクセント核からの距離、音声合成単位毎のピッチ周波数、パワー、継続時間長、ケプストラム、MFCC(Mel  Frequency  Cepstral  Coefficients)、及び、これらのΔ量(単位時間あたりの変化量)等である。
【０１２８】
次に、素片選択部3は、求めた目標素片環境に含まれる特定の情報(主に該当音素)に対応(例えば、一致)する音素を有する音声素片を表す素片情報を素片情報記憶部12から複数取得する。取得された素片情報は、音声を合成するために用いられる素片情報の候補である。
【０１２９】
そして、素片選択部3は、取得された素片情報に対して、音声を合成するために用いる素片情報としての適切度を示す指標であるコストを算出する。コストは、目標素片環境と候補となる素片情報の属性情報との差を表す値であり、差が小さくなるほど(即ち、両者が類似している程度が高いほど)、小さくなる値である。コストが小さい素片情報を用いるほど、合成された音声は、人間が発した音声と類似している程度を表す自然度が高い音声となる。従って、素片選択部3は、算出されたコストが最も小さい素片情報を選択し、選択された素片情報を波形生成部8へ出力する。
【０１３０】
波形生成部8は、韻律生成部2から供給された目標韻律情報と、素片選択部3から供給された素片情報と、フレーム周期記憶部13に記憶されているフレーム周期と、に基づいて、目標韻律に一致若しくは類似する韻律を有する音声波形を生成し、生成した音声波形を接続して合成音声を生成する。
【０１３１】
このようにして、音声合成装置200は、素片情報生成装置100により決定されたフレーム周期と、素片情報生成装置100により生成された素片情報と、に基づいて音声を合成する音声合成処理を行う音声合成処理手段を構成している。
【０１３２】
以上、説明したように、第5実施形態に係る音声合成システムによれば、素片情報を生成する際に用いられるフレーム周期を、音声の韻律に基づいて適切に設定することができる。この結果、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【０１３３】
<第6実施形態>
次に、本発明の第6実施形態に係る素片情報生成装置について図9を参照しながら説明する。
第6実施形態に係る素片情報生成装置300は、
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定部(フレーム周期決定手段)301と、
連続する2つの時間フレームの開始位置が上記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成部(素片情報生成手段)302と、
を備える。
【０１３４】
これによれば、素片情報を生成する際に用いられるフレーム周期を、音声の韻律に基づいて適切に設定することができる。この結果、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【０１３５】
以上、上記実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成及び詳細に、本願発明の範囲内において当業者が理解し得る様々な変更をすることができる。
【０１３６】
なお、上記各実施形態において素片情報生成装置の各機能は、回路等のハードウェアにより実現されていた。ところで、素片情報生成装置は、処理装置と、プログラム(ソフトウェア)を記憶する記憶装置と、を備えるとともに、処理装置がそのプログラムを実行することにより、各機能を実現するように構成されていてもよい。この場合、プログラムは、コンピュータが読み取り可能な記録媒体に記憶されていてもよい。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【０１３７】
また、上記実施形態の他の変形例として、上述した実施形態及び変形例の任意の組み合わせが採用されてもよい。
【産業上の利用可能性】
【０１３８】
本発明は、音声を合成する音声合成処理を行う音声合成システム等に適用可能である。
【０１３９】
<付記>
(付記1)
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
を備える素片情報生成装置。
【０１４０】
これによれば、素片情報を生成する際に用いられるフレーム周期を、音声の韻律に基づいて適切に設定することができる。この結果、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【０１４１】
(付記2)
付記1に記載の素片情報生成装置であって、
前記生成される素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって将来の時点にて合成される音声である将来合成音声の韻律を表す韻律情報を推定する韻律情報推定手段を備え、
前記フレーム周期決定手段は、前記推定された韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【０１４２】
(付記3)
付記2に記載の素片情報生成装置であって、
前記韻律情報推定手段は、前記音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報に基づいて前記将来合成音声の韻律を表す韻律情報を推定するように構成された素片情報生成装置。
【０１４３】
ところで、将来の時点にて合成される音声の韻律が、過去の時点にて合成された音声の韻律と類似する可能性は比較的高い。そこで、上記のように素片情報生成装置を構成することによって、将来の時点にて音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１４４】
(付記4)
付記2に記載の素片情報生成装置であって、
前記韻律情報推定手段は、前記基礎音声の韻律を表す韻律情報に基づいて前記将来合成音声の韻律を表す韻律情報を推定するように構成された素片情報生成装置。
【０１４５】
ところで、音声合成処理において用いられる素片情報が、合成される音声の韻律と類似する(可能な限り近い)韻律を有する情報である可能性は比較的高い。そこで、上記のように素片情報生成装置を構成することによって、将来合成音声の韻律を表す韻律情報を高い精度にて推定することができる。この結果、将来の時点にて音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１４６】
(付記5)
付記4に記載の素片情報生成装置であって、
予め設定された処理単位毎に、当該処理単位に対応する音声が前記基礎音声において出現する回数である出現数を取得する出現数取得手段を備え、
前記韻律情報推定手段は、前記取得された出現数と、前記基礎音声の韻律を表す韻律情報と、に基づいて前記将来合成音声の韻律を表す韻律情報を推定するように構成された素片情報生成装置。
【０１４７】
ところで、ある処理単位(例えば、音節、音素、CV(Vは母音、Cは子音)等の半音節、CVC、又は、VCV等)に対して、出現数が多くなるほど、合成される音声の韻律と一致している程度がより高い韻律を有する音声素片を表す素片情報が、音声合成処理において用いられる。
【０１４８】
従って、上記のように素片情報生成装置を構成することによって、将来合成音声の韻律を表す韻律情報をより一層高い精度にて推定することができる。この結果、将来の時点にて音声合成処理において用いられる可能性がより一層高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１４９】
(付記6)
付記1に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【０１５０】
ところで、将来の時点にて合成される音声の韻律が、過去の時点にて合成された音声の韻律と類似する可能性は比較的高い。そこで、上記のように素片情報生成装置を構成することによって、将来の時点にて音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１５１】
(付記7)
付記1に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記基礎音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【０１５２】
ところで、音声合成処理において用いられる素片情報が、合成される音声の韻律と類似する(可能な限り近い)韻律を有する情報である可能性は比較的高い。そこで、上記のように素片情報生成装置を構成することによって、音声合成処理において用いられる可能性が比較的高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１５３】
(付記8)
付記7に記載の素片情報生成装置であって、
予め設定された処理単位毎に、当該処理単位に対応する音声が前記基礎音声において出現する回数である出現数を取得する出現数取得手段を備え、
前記フレーム周期決定手段は、前記取得された出現数と、前記韻律関連情報と、に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【０１５４】
ところで、ある処理単位(例えば、音節、音素、CV(Vは母音、Cは子音)等の半音節、CVC、又は、VCV等)に対して、出現数が多くなるほど、合成される音声の韻律と一致している程度がより高い韻律を有する音声素片を表す素片情報が、音声合成処理において用いられる。従って、上記のように素片情報生成装置を構成することによって、音声合成処理において用いられる可能性がより一層高い韻律に基づいて、フレーム周期を適切に決定することができる。
【０１５５】
(付記9)
付記2乃至付記8のいずれか一項に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記韻律情報の統計量を前記韻律関連情報として取得するように構成された素片情報生成装置。
【０１５６】
(付記10)
付記2乃至付記9のいずれか一項に記載の素片情報生成装置であって、
前記韻律情報は、基本周波数を表す情報を含み、
前記フレーム周期決定手段は、前記基本周波数が大きくなるほど小さくなる値を、前記フレーム周期として決定するように構成された素片情報生成装置。
【０１５７】
ところで、合成される音声の品質を十分に高くするためには、基本周波数(ピッチ周波数)が大きくなるほど、フレーム周期を短くする必要がある。従って、上記のように素片情報生成装置を構成することにより、合成される音声の品質が低下することを確実に防止することができる。
【０１５８】
(付記11)
付記1に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声の韻律である合成音声韻律と、前記基礎音声の韻律である基礎音声韻律と、の差を表す韻律制御量を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【０１５９】
ところで、韻律制御量が大きくなるほど、合成される音声の品質は低下しやすい。そこで、上記のように素片情報生成装置を構成することにより、韻律制御量が大きくなるほど、フレーム周期を小さくすることができる。この結果、合成される音声の品質が低下することを確実に防止することができる。
【０１６０】
(付記12)
付記11に記載の素片情報生成装置であって、
前記韻律制御量は、前記合成音声韻律と前記基礎音声韻律との差の大きさが大きくなるほど大きくなる量であり、
前記フレーム周期決定手段は、前記韻律制御量が大きくなるほど小さくなる値を、前記フレーム周期として決定するように構成された素片情報生成装置。
【０１６１】
(付記13)
付記11又は付記12に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、前記韻律制御量の統計量を前記韻律関連情報として取得するように構成された素片情報生成装置。
【０１６２】
(付記14)
付記1乃至付記13のいずれか一項に記載の素片情報生成装置であって、
前記フレーム周期決定手段は、予め設定された処理単位毎に、前記韻律関連情報を取得するとともに当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された素片情報生成装置。
【０１６３】
これによれば、例えば、音節毎に、又は、半音節毎に、フレーム周期を設定することができる。この結果、合成される音声の品質が低下することを防止しながら、当該合成される音声の基となる素片情報のデータ量を低減することができる。
【０１６４】
(付記15)
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
前記決定されたフレーム周期と、前記生成された素片情報と、に基づいて音声を合成する音声合成処理を行う音声合成処理手段と、
を備える音声合成システム。
【０１６５】
(付記16)
付記15に記載の音声合成システムであって、
前記音声合成処理手段によって将来の時点にて合成される音声である将来合成音声の韻律を表す韻律情報を推定する韻律情報推定手段を備え、
前記フレーム周期決定手段は、前記推定された韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成システム。
【０１６６】
(付記17)
付記15に記載の音声合成システムであって、
前記フレーム周期決定手段は、前記音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成システム。
【０１６７】
(付記18)
付記15に記載の音声合成システムであって、
前記フレーム周期決定手段は、前記基礎音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成システム。
【０１６８】
(付記19)
付記15に記載の音声合成システムであって、
前記フレーム周期決定手段は、前記音声合成処理手段によって過去の時点にて合成された音声の韻律である合成音声韻律と、前記基礎音声の韻律である基礎音声韻律と、の差を表す韻律制御量を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成システム。
【０１６９】
(付記20)
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定し、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する、音声合成方法。
【０１７０】
(付記21)
付記20に記載の音声合成方法であって、
前記生成される素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって将来の時点にて合成される音声である将来合成音声の韻律を表す韻律情報を推定し、
前記推定された韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成方法。
【０１７１】
(付記22)
付記20に記載の音声合成方法であって、
前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成方法。
【０１７２】
(付記23)
付記20に記載の音声合成方法であって、
前記基礎音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成方法。
【０１７３】
(付記24)
付記20に記載の音声合成方法であって、
前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声の韻律である合成音声韻律と、前記基礎音声の韻律である基礎音声韻律と、の差を表す韻律制御量を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成された音声合成方法。
【０１７４】
(付記25)
情報処理装置に、
時間間隔を表すフレーム周期を、音声の韻律に関する情報である韻律関連情報に基づいて決定するフレーム周期決定手段と、
連続する2つの時間フレームの開始位置が前記決定されたフレーム周期だけ離れるように配置された複数の時間フレームのそれぞれに対して、音声を合成する音声合成処理の基となる基礎音声の一部である音声素片のうちの当該時間フレーム内の部分の特徴を表す特徴パラメータを抽出し、当該抽出された特徴パラメータの時系列データを含む素片情報を生成する素片情報生成手段と、
を実現させるためのプログラム。
【０１７５】
(付記26)
付記25に記載のプログラムであって、
前記情報処理装置に、更に、
前記生成される素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって将来の時点にて合成される音声である将来合成音声の韻律を表す韻律情報を推定する韻律情報推定手段を実現させるとともに、
前記フレーム周期決定手段は、前記推定された韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成されたプログラム。
【０１７６】
(付記27)
付記25に記載のプログラムであって、
前記フレーム周期決定手段は、前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声である過去合成音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成されたプログラム。
【０１７７】
(付記28)
付記25に記載のプログラムであって、
前記フレーム周期決定手段は、前記基礎音声の韻律を表す韻律情報を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成されたプログラム。
【０１７８】
(付記29)
付記25に記載のプログラムであって、
前記フレーム周期決定手段は、前記素片情報に基づいて前記音声合成処理を行う音声合成処理手段によって過去の時点にて合成された音声の韻律である合成音声韻律と、前記基礎音声の韻律である基礎音声韻律と、の差を表す韻律制御量を前記韻律関連情報として取得し、当該取得した韻律関連情報に基づいて前記フレーム周期を決定するように構成されたプログラム。
【符号の説明】
【０１７９】
1      言語処理部
2      韻律生成部
3      素片選択部
4      波形生成部
6      特徴パラメータ抽出部
7      属性情報抽出部
8      波形生成部
12    素片情報記憶部
13    フレーム周期記憶部
21    収録文記憶部
22    自然音声記憶部
31    フレーム周期決定部
33    合成音声韻律情報推定部
34    合成音声韻律情報記憶部
41    フレーム周期決定部
43    合成音声韻律情報推定部
44    素片韻律情報記憶部
46    出現数算出部
51    フレーム周期決定部
61    フレーム周期決定部
64    韻律制御量情報記憶部
100  素片情報生成装置
200  音声合成装置
300  素片情報生成装置
301  フレーム周期決定部
302  素片情報生成部
【図１】
2011141470.tif 000008
【図２】
2011141470.tif 000009
【図３】
2011141470.tif 000010
【図４】
2011141470.tif 000011
【図５】
2011141470.tif 000012
【図６】
2011141470.tif 000013
【図７】
2011141470.tif 000014
【図８】
2011141470.tif 000015
【図９】
2011141470.tif 000016