(57)【特許請求の範囲】
【請求項１】
テキストデータから合成音声を生成する音声合成装置において、
形態素の表記及び読みを対応付けて記憶する形態素記憶手段と、
形態素及びアクセント型を対応付けて記憶するアクセント型記憶手段と、
形態素又は複数の形態素からなる形態素列の表記、及び韻律を対応付けて記憶する表記対応韻律記憶手段と、
アクセント型及び韻律を対応付けて記憶するアクセント対応韻律記憶手段と、
音素列及び音声波形を対応付けて記憶する波形記憶手段と、
前記形態素記憶手段の記憶内容に基づいて、テキストデータを形態素毎に分割する形態素分割手段と、
前記アクセント型記憶手段の記憶内容に基づいて、前記形態素分割手段が分割した形態素のそれぞれにアクセント型を付与するアクセント型付与手段と、
前記形態素分割手段が分割した形態素を所定のルールに従って結合させて形態素列を生成すると共に、該形態素列に含まれる形態素に前記アクセント型付与手段が付与したアクセント型に基づいて、生成した形態素列に対応するアクセント句を生成するアクセント結合手段と、
前記形態素分割手段が分割した形態素に対応する韻律、又は前記アクセント結合手段が生成した形態素列に対応する韻律を前記表記対応韻律記憶手段から選択する韻律選択手段と、
前記形態素又は前記形態素列に対応する韻律が前記表記対応韻律記憶手段に記憶されていない場合、前記アクセント型付与手段が前記形態素に付与したアクセント型に対応する韻律、又は前記アクセント結合手段が生成したアクセント句に対応する韻律を、前記アクセント対応韻律記憶手段の記憶内容に基づいて生成する韻律生成手段と、
前記韻律選択手段が選択した韻律、及び前記韻律生成手段が生成した韻律のつなぎ目を調整し、連続した韻律を生成する韻律調整手段と、
前記形態素分割手段が分割した形態素、又は前記アクセント結合手段が生成した形態素列を構成する音素列に対応する音声波形を前記波形記憶手段から抽出し、抽出した音声波形、及び前記韻律調整手段が生成した韻律に基づいて合成音声を生成する波形生成手段と、
形態素列の表記を取得する表記取得手段と、
該表記取得手段が取得した形態素列に対応する音声情報を取得する音声取得手段と、
該音声取得手段が取得した音声情報から韻律を抽出する韻律抽出手段と、
該韻律抽出手段が抽出した韻律を表示装置に表示させる手段と、
前記表示装置に表示された韻律に対する変更を受け付ける手段と、
受け付けた変更に基づいて、前記韻律を修正する修正手段と、
前記表記取得手段が取得した形態素列の表記及び前記修正手段が修正した韻律を対応付けて前記表記対応韻律記憶手段に登録する韻律登録手段とを備え、
前記韻律調整手段は、前後する韻律の前側の韻律の終端が後側の韻律の先端と同程度となるように、前側の韻律又は後側の韻律を、所定位置を中心に回転させるようにしてある
ことを特徴とする音声合成装置。
【請求項２】
前記波形記憶手段は、音声波形のベースピッチを記憶しており、
前記韻律抽出手段が抽出した韻律から該韻律のベースピッチを減算して前記韻律を正規化する韻律正規化手段を備え、
前記韻律登録手段は、前記表記取得手段が取得した形態素列の表記及び前記韻律正規化手段が正規化した韻律を対応付けて前記表記対応韻律記憶手段に登録するように構成してあり、
前記韻律調整手段が生成した韻律に前記波形記憶手段に記憶してあるベースピッチを加算する手段を備え、
前記波形生成手段は、前記波形記憶手段から抽出した音声波形及びベースピッチを加算された韻律に基づいて合成音声を生成するように構成してあることを特徴とする請求項１に記載の音声合成装置。
【請求項３】
テキストデータから合成音声を生成する音声合成方法において、
形態素の表記及び読みを対応付けて記憶する形態素記憶手段と、形態素及びアクセント型を対応付けて記憶するアクセント型記憶手段と、形態素又は複数の形態素からなる形態素列の表記、及び韻律を対応付けて記憶する表記対応韻律記憶手段と、アクセント型及び韻律を対応付けて記憶するアクセント対応韻律記憶手段と、音素列及び音声波形を対応付けて記憶する波形記憶手段とを備える音声合成装置が、
前記形態素記憶手段の記憶内容に基づいて、テキストデータを形態素毎に分割する分割ステップと、
前記アクセント型記憶手段の記憶内容に基づいて、前記分割ステップで分割した形態素のそれぞれにアクセント型を付与する付与ステップと、
前記分割ステップで分割した形態素を所定のルールに従って結合させて形態素列を生成すると共に、該形態素列に含まれる形態素に前記付与ステップで付与したアクセント型に基づいて、生成した形態素列に対応するアクセント句を生成する結合ステップと、
前記分割ステップで分割した形態素に対応する韻律、又は前記結合ステップで生成した形態素列に対応する韻律を前記表記対応韻律記憶手段から選択する選択ステップと、
前記形態素又は前記形態素列に対応する韻律が前記表記対応韻律記憶手段に記憶されていない場合、前記付与ステップで前記形態素に付与したアクセント型に対応する韻律、又は前記結合ステップで生成したアクセント句に対応する韻律を、前記アクセント対応韻律記憶手段の記憶内容に基づいて生成する生成ステップと、
前記選択ステップで選択した韻律、及び前記生成ステップで生成した韻律のつなぎ目を調整し、連続した韻律を生成する調整ステップと、
前記分割ステップで分割した形態素、又は前記結合ステップで生成した形態素列を構成する音素列に対応する音声波形を前記波形記憶手段から抽出し、抽出した音声波形、及び前記調整ステップで生成した韻律に基づいて合成音声を生成するステップと、
形態素列の表記を取得する表記取得ステップと、
該表記取得ステップで取得した形態素列に対応する音声情報を取得する音声取得ステップと、
該音声取得ステップで取得した音声情報から韻律を抽出する韻律抽出ステップと、
該韻律抽出ステップで抽出した韻律を表示装置に表示させるステップと、
前記表示装置に表示された韻律に対する変更を受け付けるステップと、
受け付けた変更に基づいて、前記韻律を修正する修正ステップと、
前記表記取得ステップで取得した形態素列の表記及び前記修正ステップで修正した韻律を対応付けて前記表記対応韻律記憶手段に登録する韻律登録ステップとを含み、
前記調整ステップは、前後する韻律の前側の韻律の終端が後側の韻律の先端と同程度となるように、前側の韻律又は後側の韻律を、所定位置を中心に回転させること
を特徴とする音声合成方法。
【請求項４】
コンピュータに、テキストデータから合成音声を生成させるためのコンピュータプログラムにおいて、
形態素の表記及び読みを対応付けて記憶する形態素記憶手段と、形態素及びアクセント型を対応付けて記憶するアクセント型記憶手段と、形態素又は複数の形態素からなる形態素列の表記、及び韻律を対応付けて記憶する表記対応韻律記憶手段と、アクセント型及び韻律を対応付けて記憶するアクセント対応韻律記憶手段と、音素列及び音声波形を対応付けて記憶する波形記憶手段とを備えるコンピュータに、
前記形態素記憶手段の記憶内容に基づいて、テキストデータを形態素毎に分割する分割ステップと、
前記アクセント型記憶手段の記憶内容に基づいて、前記分割ステップで分割した形態素のそれぞれにアクセント型を付与する付与ステップと、
前記分割ステップで分割した形態素を所定のルールに従って結合させて形態素列を生成すると共に、該形態素列に含まれる形態素に前記付与ステップで付与したアクセント型に基づいて、生成した形態素列に対応するアクセント句を生成する結合ステップと、
前記分割ステップで分割した形態素に対応する韻律、又は前記結合ステップで生成した形態素列に対応する韻律を前記表記対応韻律記憶手段から選択する選択ステップと、
前記形態素又は前記形態素列に対応する韻律が前記表記対応韻律記憶手段に記憶されていない場合、前記付与ステップで前記形態素に付与したアクセント型に対応する韻律、又は前記結合ステップで生成したアクセント句に対応する韻律を、前記アクセント対応韻律記憶手段の記憶内容に基づいて生成する生成ステップと、
前記選択ステップで選択した韻律、及び前記生成ステップで生成した韻律のつなぎ目を調整し、連続した韻律を生成する調整ステップと、
前記分割ステップで分割した形態素、又は前記結合ステップで生成した形態素列を構成する音素列に対応する音声波形を前記波形記憶手段から抽出し、抽出した音声波形、及び前記調整ステップで生成した韻律に基づいて合成音声を生成するステップと、
形態素列の表記を取得する表記取得ステップと、
該表記取得ステップで取得した形態素列に対応する音声情報を取得する音声取得ステップと、
該音声取得ステップで取得した音声情報から韻律を抽出する韻律抽出ステップと、
該韻律抽出ステップで抽出した韻律を表示装置に表示させるステップと、
前記表示装置に表示された韻律に対する変更を受け付けるステップと、
受け付けた変更に基づいて、前記韻律を修正する修正ステップと、
前記表記取得ステップで取得した形態素列の表記及び前記修正ステップで修正した韻律を対応付けて前記表記対応韻律記憶手段に登録する韻律登録ステップとを実行させ、
前記調整ステップでは、前記コンピュータに、前後する韻律の前側の韻律の終端が後側の韻律の先端と同程度となるように、前側の韻律又は後側の韻律を、所定位置を中心に回転させて、連続した韻律を生成させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータから合成音声を生成する音声合成装置、音声合成方法、前記音声合成装置をコンピュータによって実現するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
テキストデータから音声を合成するテキスト音声合成技術は、例えば、ＩＶＲ（自動音声応答：Interactive Voice Response）システム、車載情報端末及び携帯電話等における操作方法の音声ガイダンス、電子メールの読み上げ、視覚障害者・発話障害者の支援システム等に適用されている。
【０００３】
従来のテキスト音声合成装置は、形態素の表記及び読みを対応付けて記憶する形態素辞書、形態素及びアクセント型を対応付けて記憶するアクセント辞書等が予め用意されており、入力されたテキストデータを形態素辞書に基づいて形態素に分割し、分割したそれぞれの形態素に対してアクセント辞書に基づいてアクセント型を付与する。また、従来のテキスト音声合成装置は、分割した形態素を適宜結合させて文節又は複合語を生成し、生成した文節又は複合語に対応する韻律を所定の韻律生成ルールに従って生成する。そして、生成した韻律を音声波形に変換して合成音声を取得する。
【０００４】
上述した構成のテキスト音声合成装置では、所定の韻律生成ルールに従って韻律を生成するので、生成される韻律が機械的で不自然なものとなる場合が多い。また、形態素辞書又はアクセント辞書に登録されていない単語及び形態素がテキストデータに含まれる場合には、形態素に分割する際に、又は形態素にアクセント型を付与する際に誤った読み又はアクセント型が付与されてしまい、正しい合成音声を生成することが困難であった。
【０００５】
従って、従来のテキスト音声合成装置には、形態素辞書及びアクセント辞書等の各種辞書に対して未知語を登録する手段が用意されている。しかし、単語及び形態素の表記及び読みを登録することは比較的容易に可能であるが、単語及び形態素にアクセント型（例えば、４モーラ０型等）を付与するには、音声についてある程度の知識及び経験等が必要であり、誰でも簡単にアクセント型を付与できるわけではないという実情がある。
【０００６】
そこで、特許文献１には、アクセント辞書に登録したい未知語をユーザに発声してもらい、取得した音声データから未知語のアクセント型を自動抽出し、アクセント辞書に登録する装置が提案されている。具体的には、特許文献１に開示された装置は、ユーザの発声に基づいて取得した音声データからピッチパターン及び音素長を含む韻律を抽出し、抽出した韻律に基づいてアクセント型を抽出する。抽出されたアクセント型は、音声データと共に入力された未知語の表記及び読みと共にアクセント辞書に登録される。このような構成の装置を用いることにより、ユーザは、未知語（単語又は形態素）に対してアクセント型を付与することなく、正しいアクセントで未知語を発声することのみにより、未知語に対してアクセント型を付与してアクセント辞書に登録することができる。
【０００７】
また、特許文献２には、入力された音声データから抽出した韻律をそのまま用いる装置が提案されている。具体的には、特許文献２に開示された装置は、ユーザの発声に基づいて取得した音声データから韻律を抽出し、抽出した韻律を、音声データと共に入力された未知語の表記及び読みと共に韻律選択部へ入力する。韻律選択部は、入力されたテキストデータから分割された形態素に基づいて生成された文節又は複合語の中で、ユーザの発声に基づく音声データから抽出した韻律と共に取得した未知語の表記及び読みと合致する部分を選択する。そして、選択されなかった部分の韻律を所定の韻律生成ルールに従って生成し、選択された韻律及び生成した韻律を音声波形に変換して合成音声を取得する。
【特許文献１】特開平０６−３３７６９１号公報
【特許文献２】特許第３２９２２１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した従来のテキスト音声合成装置では、所定の韻律生成ルールに従って韻律を生成するので、生成される韻律が機械的で不自然なものとなるという問題を有する。また、アクセント辞書に未知語を登録する際にアクセント型を付与することが難しいという問題に対しては、特許文献１に開示された装置のように、音声データからアクセント型を自動抽出するものがあるが、アクセント型の自動抽出には誤りが多く、特に「阪神大震災」のようにアクセント核を複数持つ複合語に対してアクセント型を自動抽出することは非常に困難であるという問題を有する。
【０００９】
また、特許文献１では、韻律は所定の韻律生成ルールに従って生成されるため、従来からの韻律の不自然さを解消することは困難であるという問題を有するのに対して、特許文献２に開示された装置では、入力された音声データから抽出した韻律をそのまま利用するので韻律の不自然さは部分的には解消される。しかし、特許文献２では、音声データから抽出された韻律を用いるのは一度だけであり、以降に同じ文言の合成音声を生成する際には用いることができないという問題を有する。
【００１０】
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、テキストデータから合成音声を生成する際に自然な韻律を生成することが可能であり、このような韻律を用いることにより、自然な合成音声を生成することが可能となる音声合成装置、音声合成方法及びコンピュータプログラムを提供することにある。
【００１１】
本発明の他の目的は、自然な合成音声を生成するための自然な韻律を予め登録しておくことが可能な音声合成装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明に係る音声合成装置は、形態素の表記及び読みを対応付けて記憶する形態素記憶手段と、形態素及びアクセント型を対応付けて記憶するアクセント型記憶手段と、形態素又は複数の形態素からなる形態素列の表記、及び韻律を対応付けて記憶する表記対応韻律記憶手段と、アクセント型及び韻律を対応付けて記憶するアクセント対応韻律記憶手段と、音素列及び音声波形を対応付けて記憶する波形記憶手段とが予め用意してある。音声合成装置は、形態素記憶手段の記憶内容に基づいてテキストデータを形態素毎に分割し、アクセント型記憶手段の記憶内容に基づいて、分割した形態素のそれぞれにアクセント型を付与する。また、音声合成装置は、分割した形態素を所定のルールに従って結合させて形態素列を生成すると共に、この形態素列に含まれる形態素のそれぞれに付与されたアクセント型に基づいて、この形態素列に対応するアクセント句を生成する。更に、音声合成装置は、分割した形態素に対応する韻律、又は生成した形態素列に対応する韻律を表記対応韻律記憶手段から選択すると共に、韻律が表記対応韻律記憶手段に記憶されていない形態素又は形態素列については、この形態素に付与されたアクセント型に対応する韻律、又は形態素列に対して生成されたアクセント句に対応する韻律をアクセント対応韻律記憶手段の記憶内容に基づいて生成する。そして、音声合成装置は、表記対応韻律記憶手段から選択した韻律と、アクセント対応韻律記憶手段の記憶内容に基づいて生成した韻律とをつないで連続した韻律を生成し、各形態素又は各形態素列を構成する音素列に対応する音声波形を波形記憶手段から抽出し、抽出した音声波形と、生成した韻律に基づいて合成音声を生成する。また、音声合成装置は、形態素列の表記及び対応する音声情報を外部から取得する。音声合成装置は、取得した音声情報から韻律を抽出し、抽出した韻律を表示装置に表示させ、表示された韻律に対する変更を受け付ける。そして、音声合成装置は、受け付けた変更に基づいて韻律を修正し、修正した韻律を、外部から取得した形態素列の表記に対応付けて表記対応韻律記憶手段に登録する。
【００１６】
本発明に係る音声合成装置は、波形記憶手段に、音声波形のベースピッチが記憶してある。音声合成装置は、外部から取得した音声情報から抽出した韻律から該韻律のベースピッチを減算して韻律を正規化し、正規化した韻律を形態素列の表記に対応付けて表記対応韻律記憶手段に登録する。そして、音声合成装置は、テキストデータに対して上述した処理を行なうことによって生成された韻律に波形記憶手段に記憶してあるベースピッチを加算し、波形記憶手段から抽出した音声波形及びベースピッチを加算された韻律に基づいて合成音声を生成する。
【００１７】
本発明に係るコンピュータプログラムは、コンピュータに読み取らせて実行させることにより、上述したような音声合成装置をコンピュータによって実現することが可能となる。
【発明の効果】
【００１８】
本発明では、テキストデータから分割した形態素に対応する韻律を表記対応韻律記憶手段から選択する。表記対応韻律記憶手段に記憶されていない形態素については、各形態素に付与されたアクセント型に対応する韻律をアクセント対応韻律記憶手段の記憶内容に基づいて生成する。表記対応韻律記憶手段に記憶されている形態素については、アクセント型を付与することなく韻律が付与されるので、誤ったアクセント型が付与されることによる不自然な韻律の生成を防止できる。また、表記対応韻律記憶手段及びアクセント対応韻律記憶手段に、所定のルールに従って生成された韻律ではなく、自然音声から抽出した韻律を登録した場合には、従来の音声合成装置で生成されていた機械的で不自然な韻律に比べて自然な韻律を選択及び生成することができる。従って、このように選択又は生成された自然な韻律を用いることにより、自然な合成音声を生成することができる。また、表記対応韻律記憶手段から選択した韻律と、アクセント対応韻律記憶手段の記憶内容に基づいて生成した韻律とがスムーズにつながるような韻律を生成するので、より自然な韻律を生成することができる。
【００１９】
本発明では、テキストデータから分割した形態素から所定のルールに従って生成した形態素列に対応する韻律を表記対応韻律記憶手段から選択する。表記対応韻律記憶手段に記憶されていない形態素列については、各形態素列に対して生成されたアクセント句に対応する韻律をアクセント対応韻律記憶手段の記憶内容に基づいて生成する。表記対応韻律記憶手段に記憶されている形態素については、アクセント型を付与することなく韻律が付与されるので、誤ったアクセント型が付与されることによる不自然な韻律の生成を防止できる。また、表記対応韻律記憶手段及びアクセント対応韻律記憶手段に、所定のルールに従って生成された韻律ではなく、自然音声から抽出した韻律を登録した場合には、従来の音声合成装置で生成されていた機械的で不自然な韻律に比べて自然な韻律を生成することができる。従って、このように選択又は生成された自然な韻律を用いることにより、自然な合成音声を生成することができる。また、表記対応韻律記憶手段から選択した韻律と、アクセント対応韻律記憶手段の記憶内容に基づいて生成した韻律とがスムーズにつながるような韻律を生成するので、より自然な韻律を生成することができる。
【００２０】
本発明では、外部から取得した音声情報から抽出した韻律を、共に取得した形態素列の表記に対応付けて表記対応韻律記憶手段に登録する。よって、自然音声から抽出した韻律を表記対応韻律記憶手段に登録できるので、このような表記対応韻律記憶手段に基づいて自然な韻律を選択することができる。また、音声情報から抽出した韻律をそのまま表記対応韻律記憶手段に登録するので、表記対応韻律記憶手段に対する未知語を容易に登録できると共に、音声情報からアクセント型を抽出する必要がないので、誤ったアクセント型の抽出を考慮する必要がない。更に、登録される形態素列が複数のアクセント核を有する複合語であるか否か等を考慮することなく、複合語についても、複合語の表記と音声情報から抽出された韻律とを対応付けて登録すればよく、このように登録された韻律は、以降の処理に利用することができる。
【００２１】
本発明では、外部から取得した音声情報から抽出した韻律を表示装置に表示させるので、ユーザは自身が発声した音声に基づく韻律を表示装置で確認することができる。また、音声情報から抽出した韻律に対して修正を行なった後に表記対応韻律記憶手段に登録するので、合成音声を生成するのに適した韻律に修正された韻律を登録することができる。例えば、アナウンサやナレータでない発声の素人であるユーザが発声した音声には、抽出した韻律をそのまま利用することが困難なものもあるが、このような音声情報から抽出された韻律を適切に修正することができる。
【００２２】
本発明では、音声情報から抽出した韻律を正規化して表記対応韻律記憶手段に登録するので、音声情報における声の高さに拘わらず、正規化された韻律を登録することができる。従って、テキストデータに対して各種の処理を行なうことによって生成された韻律に、波形記憶手段に予め記憶してあるベースピッチを加算した後、波形記憶手段から抽出した音声波形に基づいて、前記ベースピッチに応じた高さの声の合成音声を生成することができる。従って、表記対応韻律記憶手段に韻律を登録するための音声情報の声の高さと、生成される合成音声の声の高さとが異なる場合であっても、適切な高さの合成音声を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下に、本発明に係る音声合成装置をその実施形態を示す図面に基づいて詳述する。なお、以下の各実施形態では、本発明に係るコンピュータプログラムを公知のパーソナルコンピュータ等に読み取らせ、パーソナルコンピュータのＣＰＵ等によって実行させることによって本発明に係る音声合成装置を実現する構成について説明する。しかし、等価な働きをするハードウェアによって本発明に係る音声合成装置を実現してもよい。
【００２４】
（実施形態１）
図１は本発明に係る音声合成装置の構成例を示すブロック図である。本実施形態１に係る音声合成装置１００は、制御部１、ＲＯＭ２、ＲＡＭ３、ＨＤＤ４、操作部５、表示部６、音声入力部７、音声出力部８等を備え、これらのハードウェア各部はそれぞれバス１ａを介して相互に接続されている。
【００２５】
制御部１は、ＣＰＵ（Central Processing Unit ）又はＭＰＵ（Micro Processor Unit）等で構成され、ＲＯＭ２又はＨＤＤ４に予め記憶してある制御プログラムを適宜ＲＡＭ３に読み出して実行すると共に、上述したハードウェア各部の動作を制御する。ＲＯＭ２には、音声合成装置１００を本発明の音声合成装置として動作させるために必要な種々の制御プログラムが予め格納されている。ＲＡＭ３はＳＲＡＭ又はフラッシュメモリ等で構成されており、制御部１による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。
【００２６】
操作部５は、キーボード及びマウス等であり、ユーザが音声合成装置１００を操作するために必要な各種の操作キーを備えている。ユーザにより各操作キーが操作された場合、操作部５は操作された操作キーに対応した制御信号を制御部１へ送出し、制御部１は操作部５から取得した制御信号に対応した処理を実行する。
表示部６は、液晶ディスプレイ又はＣＲＴディスプレイ等であり、制御部１からの指示に従って、音声合成装置１００の動作状態、操作部５を介して入力された情報、ユーザに対して通知すべき情報等を表示する。
【００２７】
音声入力部７はマイクに相当するものであり、音声合成装置１００のユーザが発した音声を集音して音声情報を取得する。なお、音声入力部７は、取得した音声情報を例えばＨＤＤ４に記憶させる。
音声出力部８は、音声増幅回路及びスピーカ等を備えており、例えばＨＤＤ４に記憶された音声情報に基づく音声を出力する。
【００２８】
ＨＤＤ４は大容量の記憶装置であり、ＨＤＤ４には、音声合成装置１００の動作に必要な種々の制御プログラム、テキストデータ、図２に示すような形態素辞書４１、図３に示すようなアクセント辞書４２、複合語辞書４３、図４に示すような表記対応韻律辞書４４、図５に示すようなアクセント型対応韻律辞書４５、波形辞書４６、ユーザに対して各種の情報を通知するための画面情報等が予め記憶されている。
【００２９】
なお、形態素辞書４１、アクセント辞書４２、複合語辞書４３、表記対応韻律辞書４４、アクセント型対応韻律辞書４５及び波形辞書４６は、ＨＤＤ４に予め格納されているだけでなく、音声合成装置１００が外部メモリ（図示せず）に記憶してあるデータの読み出しが可能なドライバ（図示せず）を備える場合には、外部メモリに記憶された各種辞書をドライバによって読み出してＨＤＤ４に格納させてもよい。また、音声合成装置１００がインターネットのようなネットワークとの接続が可能な通信部（図示せず）を備える場合には、ネットワークを介して外部の装置から各種辞書をダウンロードしてＨＤＤ４に格納させてもよい。また、ＨＤＤ４に記憶してあるテキストデータは、音声合成装置１００で作成されたテキストデータであってもよく、外部の装置で作成されて外部メモリ（図示せず）又はネットワーク（図示せず）を介して音声合成装置１００に読み取らせたテキストデータであってもよい。
【００３０】
図２は形態素辞書４１の登録内容を示す模式図である。図２に示すように、形態素辞書（形態素記憶手段）４１には、形態素の表記、品詞及び読みがそれぞれ対応付けて登録されている。図２に示す形態素辞書４１には各形態素の品詞も登録されているが、本発明の音声合成装置１００においては、形態素辞書４１に各形態素の品詞が必ずしも登録されている必要はない。
【００３１】
図３はアクセント辞書４２の登録内容を示す模式図である。図３に示すように、アクセント辞書（アクセント型記憶手段）４２には、形態素の表記、読み及びアクセント型がそれぞれ対応付けて登録されている。なお、アクセント辞書４２に各形態素の品詞が登録されていてもよい。
【００３２】
図４は表記対応韻律辞書４４の登録内容を説明するための説明図である。なお、図４（ａ）には表記対応韻律辞書４４の登録内容を示す模式図を、図４（ｂ）には音素長を説明するための説明図を、図４（ｃ）にはピッチパターンを説明するための説明図を、図４（ｄ）には表記対応韻律辞書４４に登録される韻律を説明するための説明図をそれぞれ示している。
【００３３】
図４（ａ）に示すように、表記対応韻律辞書（表記対応韻律記憶手段）４４には、複数の形態素からなる形態素列の表記、読み及び韻律がそれぞれ対応付けて登録されている。ここでの韻律には音素長及びピッチパターンが含まれる。図４（ｂ）には、時間軸である横軸に対して韻律を表示すると共に、韻律に含まれるそれぞれの音素（母音及び子音）の長さが明確になるように各音素を区切る縦棒を表示している。音素長のデータは、韻律に含まれる各音素と、図４（ｂ）において隣り合う縦棒間の長さによって示される各音素の音素長（時間）とがそれぞれ対応付けて構成されている。従って、図４（ｄ）に示すように、形態素列「日本は」に含まれる各音素「Ｎ」、「Ｉ」、「Ｈ」、「Ｏ」、「Ｎ」、「Ｗ」、「Ａ」の音素長がそれぞれ１０、１５、１０、２０、２０、１０、１５(msec)であることを示す「Ｎ１０，Ｉ１５，Ｈ１０，Ｏ２０，Ｎ２０，Ｗ１０，Ａ１５」のような音素長のデータが、表記対応韻律辞書４４の韻律の欄に登録されている。
【００３４】
図４（ｃ）には、横軸に時間軸を、縦軸にピッチ周波数をそれぞれ示しており、横軸及び縦軸に対して韻律が表示されている。ピッチパターンのデータは、韻律において、所定時間（例えば５msec）毎のピッチ周波数(logHz)の羅列により構成されている。従って、図４（ｄ）に示すように、形態素列「日本は」の所定時間毎のピッチ周波数が、１５、１５、１６、１７、２０、２３、２５、２８…(logHz)であることを示す「１５，１５，１６，１７，２０，２３，２５，２８…」のようなピッチパターンのデータが、表記対応韻律辞書４４の韻律の欄に登録されている。
【００３５】
図５はアクセント型対応韻律辞書４５の登録内容を示す模式図である。図５に示すように、アクセント型対応韻律辞書（アクセント対応韻律記憶手段）４５には、アクセント型及び韻律がそれぞれ対応付けて登録されている。なお、ここでの韻律は、図４に示した表記対応韻律辞書４４に登録される韻律と同様であり、アクセント型対応韻律辞書４５の韻律の欄には、図４（ｄ）に示すような音素長のデータ及びピッチパターンのデータが登録されている。
【００３６】
なお、詳細については図示していないが、複合語辞書４３には、例えば「阪神大震災」のような複合語の表記及び読みがそれぞれ対応付けて登録されている。また、波形辞書（波形記憶手段）４６には、複数の音素（音素列）からなる文章に対応して各音声の波形群が登録されている。
【００３７】
以下に、上述した構成の音声合成装置１００において、制御部１がＲＯＭ２及びＨＤＤ４に記憶してある制御プログラムを実行することによって実現される各種の機能について説明する。図６は音声合成装置１００の機能構成を示す機能ブロック図である。本実施形態１の音声合成装置１００において、制御部１は、ＲＯＭ２及びＨＤＤ４に記憶してある制御プログラムを実行することによって、形態素解析部１１、アクセント付与部１２、アクセント結合部１３、韻律選択部１４、韻律生成部１５、韻律調整部１６、波形生成部１７等の各機能を実現する。
【００３８】
形態素解析部（形態素分割手段）１１は、ＨＤＤ４に記憶してあるテキストデータをＨＤＤ４からＲＡＭ３に読み出し、形態素辞書４１の登録内容に基づいて、ＲＡＭ３に読み出したテキストデータを形態素毎に分割する。形態素解析部１１は、分割した形態素を順次アクセント付与部１２へ送出する。
【００３９】
アクセント付与部（アクセント型付与手段）１２は、形態素解析部１１から取得した形態素のそれぞれをアクセント辞書４２から検索し、アクセント辞書４２の登録内容に基づいて、各形態素にアクセント型を付与する。アクセント付与部１２は、各形態素と、各形態素に付与したアクセント型とを対応付けてアクセント結合部１３へ送出する。なお、アクセント付与部１２は、アクセント辞書４２の登録内容に基づいてアクセント型を付与できなかった形態素については、各形態素と、アクセント型が不明であることを示す情報とを対応付けてアクセント結合部１３へ送出する。
【００４０】
アクセント結合部（アクセント結合手段）１３は、アクセント付与部１２から取得した形態素を、複合語辞書４３の登録内容（所定のルール）に基づいて適宜結合させて形態素列を生成する。また、アクセント結合部１３は、アクセント付与部１２から取得した形態素に対応するアクセント型、具体的には、生成した形態素列に含まれる形態素のそれぞれに対してアクセント付与部１２が付与したアクセント型に基づいて、生成した形態素列に対応するアクセント句を生成する。
【００４１】
アクセント結合部１３は、生成した各形態素列と、各形態素列に対して生成したアクセント句とを対応付けて韻律選択部１４へ送出する。なお、アクセント結合部１３は、複合語辞書４３の登録内容に基づいてアクセント句を生成できなかった形態素列については、各形態素列と、アクセント句が不明であることを示す情報とを対応付けて韻律選択部１４へ送出する。
【００４２】
韻律選択部（韻律選択手段）１４は、アクセント結合部１３から取得した形態素列のそれぞれを表記対応韻律辞書４４から検索し、各形態素列に対応する韻律を表記対応韻律辞書４４から選択する。韻律選択部１４は、各形態素列と、各形態素列に対応する韻律とを対応付けて韻律生成部１５へ送出する。なお、韻律選択部１４は、表記対応韻律辞書４４から韻律を選択できなかった形態素列については、各形態素列と、アクセント結合部１３から取得したアクセント句とを対応付けて韻律生成部１５へ送出する。
【００４３】
韻律生成部（韻律生成手段）１５は、韻律選択部１４から取得した形態素列のうちで、対応する韻律が表記対応韻律辞書４４に登録されておらず、韻律選択部１４が表記対応韻律辞書４４から韻律を選択できなかった形態素列に対して、この形態素列に対応するアクセント句のアクセント型をアクセント型対応韻律辞書４５から検索し、このアクセント句に対応する韻律をアクセント型対応韻律辞書４５から選択する。韻律生成部１５は、選択した韻律に基づいて、この形態素列に応じた適切な韻律を生成する。
【００４４】
従って、韻律生成部１５は、対応する韻律が表記対応韻律辞書４４に登録されていた形態素列については、韻律選択部１４から取得した形態素列及び韻律をそのまま韻律調整部１６へ送出する。また、韻律生成部１５は、対応する韻律が表記対応韻律辞書４４に登録されていなかった形態素列については、各形態素列と、各形態素列に対応して生成した韻律とを対応付けて韻律調整部１６へ送出する。
【００４５】
韻律調整部（韻律調整手段）１６は、韻律生成部１５から取得した形態素列及び韻律、具体的には、韻律選択部１４が各形態素列に対応して表記対応韻律辞書４４から選択した韻律、及び韻律生成部１５が各形態素列のアクセント句に対応してアクセント型対応韻律辞書４５から選択して生成した韻律に対して、それぞれ前後する韻律のつなぎ目が滑らかになるように調整し、連続した韻律を生成する。韻律調整部１６は、韻律生成部１５から取得した形態素列と、生成した韻律とを対応付けて波形生成部１７へ送出する。
【００４６】
図７は韻律の調整処理を説明するための説明図である。図７（ａ）には、横軸に時間軸を、縦軸にピッチ周波数をそれぞれ示しており、横軸及び縦軸に対して、韻律選択部１４が表記対応韻律辞書４４から選択した韻律、又は韻律生成部１５がアクセント型対応韻律辞書４５から選択した韻律に基づいて生成した韻律が表示されている。なお、図７に示した韻律Ａ，Ｂは時間的に前後する韻律である。以下に、図７（ａ）に示す韻律Ａと韻律Ｂとをつなぎ合わせる処理について説明するが、図７には、韻律Ａの終端のピッチ周波数が、韻律Ｂの先端のピッチ周波数よりも高い例を示している。
【００４７】
図７（ａ）に示した韻律Ａと韻律Ｂとをつなぎ合わせる場合、韻律調整部１６は、韻律Ａの終端のピッチ周波数と韻律Ｂの先端のピッチ周波数との差を算出し、算出した差を韻律Ｂに加算することにより、韻律Ｂの全体のピッチパターンを底上げする方法がある。図７（ｂ）には、韻律調整部１６によって調整される前の韻律Ｂを破線で示しており、このような処理により、韻律Ａの終端と韻律Ｂの先端とを滑らかにつなぐことができる。
【００４８】
また、韻律調整部１６は、韻律Ａを適宜位置を中心に回転させることにより、韻律Ａの終端のピッチ周波数を韻律Ｂの先端のピッチ周波数と同程度にする方法がある。図７（ｃ）には、韻律調整部１６によって調整される前の韻律Ａを破線で示しており、図７（ｃ）に示す場合、韻律Ａの中央位置を中心に韻律Ａを回転させる処理により、韻律Ａの終端と韻律Ｂの先端とを滑らかにつなぐことができる。なお、韻律Ａを回転させる際の中心位置は、韻律Ａの中央に限られず、例えば韻律Ａの先端又は後端であってもよい。
【００４９】
更に、韻律調整部１６は、韻律Ｂを適宜位置を中心に回転させることにより、韻律Ｂの先端のピッチ周波数を韻律Ａの終端のピッチ周波数と同程度にする方法がある。図７（ｄ）には、韻律調整部１６によって調整される前の韻律Ｂを破線で示しており、図７（ｄ）に示す場合、韻律Ｂの中央位置を中心に韻律Ｂを回転させる処理により、韻律Ａの終端と韻律Ｂの先端とを滑らかにつなぐことができる。
【００５０】
なお、肉声から抽出した韻律、特にピッチパターンは、その先端部又は終端部に低い音が来るか、高い音が来るかなどによって、時間的に前後する韻律のつなぎ目のパターンが多少異なってくる。従って、韻律調整部１６は、上述したような各処理を適宜行なうことによって、前後する韻律に対してスムージング処理を行ない、各韻律を滑らかにつなぎ合わせた韻律を生成するので、自然な韻律を生成することができる。
【００５１】
波形生成部（波形生成手段）１７は、韻律調整部１６から取得した形態素列を構成する音素列に対応する音声波形を波形辞書４６から抽出し、抽出した音声波形と、韻律調整部１６から取得した韻律とに基づいて合成音声を生成する。波形生成部１７が生成した合成音声は、ＲＡＭ３に記憶された後、制御部１による制御に従った所定のタイミングで音声出力部８へ送出され、音声出力部８から出力される。
【００５２】
以下に、本実施形態１の音声合成装置１００による合成音声の生成処理についてフローチャートに基づいて詳述する。図８は音声合成装置１００による合成音声の生成処理の手順を示すフローチャートである。なお、以下の処理は、音声合成装置１００のＲＯＭ２又はＨＤＤ４に記憶してある制御プログラムに従って制御部１によって実行される。また、以下では、テキストデータ「日本は、発展する。」から合成音声を生成する処理を例に説明する。
【００５３】
音声合成装置１００のユーザが操作部５を操作することによって１つのテキストデータに基づく合成音声の生成を指示した場合、制御部１は、ＨＤＤ４に記憶してあるテキストデータをＲＡＭ３に読み出す（Ｓ１）。制御部１（形態素解析部１１）は、ＲＡＭ３に読み出したテキストデータを、形態素辞書４１の登録内容に基づいて形態素に分割する（Ｓ２）。ここでは、テキストデータ「日本は、発展する。」が、「日本［ニホン］、は［ワ］、発展［ハッテン］、する[スル]。」のように形態素に分割される。なお、［］は各形態素の読みをそれぞれ示している。
【００５４】
次に制御部１（アクセント付与部１２）は、アクセント辞書４２の登録内容に基づいて、テキストデータから分割した形態素のそれぞれにアクセント型を付与する（Ｓ３）。ここでは、テキストデータから分割された形態素「日本［ニホン］、は［ワ］、発展［ハッテン］、する[スル]。」に対してアクセント型を付与し、「日本［ニホン］（アクセント型不明）、は［ワ］（１モーラ０型）、発展［ハッテン］（４モーラ０型）、する［スル］（２モーラ０型）」のような形態素列の情報が得られる。なお、（）は各形態素に付与されたアクセント型をそれぞれ示している。また、図３に示したアクセント辞書４２には、「日本」という単語（形態素）に対するアクセント型が登録されていないものとする。
【００５５】
制御部１（アクセント結合部１３）は、テキストデータから分割した形態素を適宜結合させて形態素列を生成し、生成した形態素列に対応するアクセント句を、各形態素列に含まれる形態素のそれぞれのアクセント型に基づいて生成する（Ｓ４）。なお、ここでは、１又は複数の形態素によって文節を構成するように各形態素を結合させることにより、「日本は［ニホンワ］（アクセント型不明）・発展する［ハッテンスル］（６モーラ０型）」のような形態素列の情報が得られる。
【００５６】
制御部１（韻律選択部１４）は、各形態素列の表記及び読みに基づいて、表記及び読みが一致する形態素列を表記対応韻律辞書４４から検索し（Ｓ５）、検索できた場合（Ｓ６：ＹＥＳ）、表記及び読みが一致する形態素列に対応する韻律を表記対応韻律辞書４４から選択する（Ｓ７）。ここでは、形態素列「日本は」が表記対応韻律辞書４４に登録されているので、対応する韻律が表記対応韻律辞書４４から選択され、「日本は［ニホンワ］（韻律Ａ）・発展する［ハッテンスル］（６モーラ０型）」のような情報が得られる。なお、ここでの韻律Ａは図４（ｄ）に示したような韻律である。
【００５７】
このように、アクセント辞書４２にアクセント型が登録されていない単語（ここでは、形態素「日本」）があっても、このような単語を含む形態素列に対応する韻律が表記対応韻律辞書４４に登録されている場合には、この形態素列に対応する適切な韻律が選択されるので、正しい合成音声を生成することができる。
【００５８】
制御部１は、表記及び読みが一致する形態素列を表記対応韻律辞書４４から検索できなかった場合（Ｓ６：ＮＯ）、表記対応韻律辞書４４から検索できなかった形態素列に対応するアクセント句のアクセント型をアクセント型対応韻律辞書４５から検索する。ここでは、「日本は［ニホンワ］（韻律Ａ）・発展する［ハッテンスル］（６モーラ０型）」の各形態素列のうちで、「発展する」（アクセント句）が表記対応韻律辞書４４から検索できなかったので、「発展する」に対するアクセント型「６モーラ０型」をアクセント型対応韻律辞書４５から検索する。
【００５９】
制御部１は、このアクセント句に対応する韻律をアクセント型対応韻律辞書４５から選択し、選択した韻律に基づいて、この形態素列に応じた適切な韻律を生成する（Ｓ８）。ここでは、「日本は［ニホンワ］（韻律Ａ）・発展する［ハッテンスル］（韻律Ｂ）」のような情報が得られる。なお、ここでの韻律Ｂも図４（ｄ）に示したような韻律である。これにより、ステップＳ４で生成した全ての形態素列に対応する韻律を、表記対応韻律辞書４４から選択し、又はアクセント型対応韻律辞書４５から選択した韻律に基づいて生成することによって取得することができる。
【００６０】
制御部１（韻律調整部１６）は、ステップＳ７で表記対応韻律辞書４４から選択した韻律と、ステップＳ８で生成した韻律とに対して、それぞれ前後する韻律のつなぎ目が滑らかになるような調整処理を実行し、連続した韻律を生成する（Ｓ９）。制御部１（波形生成部１７）は、つなぎ目が滑らかに調整された韻律を基に、波形辞書４６を参照し、必要な音声波形のピッチや音素長を調整して音声波形を生成する（Ｓ１０）。
【００６１】
制御部１は、ステップＳ１でＲＡＭ３に読み出したテキストデータに含まれる全てのデータに対して上述した処理が終了したか否かを判断し（Ｓ１１）、終了していないと判断した場合（Ｓ１１：ＮＯ）、ステップＳ２へ処理を戻し、ステップＳ２〜Ｓ１０の処理を繰り返す。テキストデータに含まれる全てのデータに対して上述した処理が終了したと判断した場合（Ｓ１１：ＹＥＳ）、制御部１は、上述した処理を終了する。
【００６２】
上述した処理により、本実施形態１では、テキストデータから分割された形態素に基づいて生成された形態素列に対応する韻律を、形態素列及び韻律が対応付けて登録してある表記対応韻律辞書４４から選択することにより、各形態素列にアクセント型を付与することなく韻律が付与されるので、誤ったアクセント型が付与されることによる不自然な韻律の生成を防止できる。また、表記対応韻律辞書４４に登録されていない形態素列については、各形態素列に付与されたアクセント句に対応する韻律をアクセント型対応韻律辞書４５の登録内容に基づいて生成するので、表記対応韻律辞書４４に登録されていない場合であっても、適切な韻律を生成することができる。更に、このような韻律に基づいて自然な合成音声を生成することができる。
【００６３】
上述した実施形態１では、表記対応韻律辞書４４に、複数の形態素からなる形態素列の表記、読み及び韻律がそれぞれ対応付けて登録されている構成について説明した。しかし、例えば、形態素毎に、それぞれの形態素の表記、読み及び韻律がそれぞれ対応付けて登録された表記対応韻律辞書を用いることもできる。この場合、韻律選択部１４を、形態素解析部１１が分割した各形態素に対応する韻律を表記対応韻律辞書４４から選択するように構成し、韻律生成部１５を、各形態素に付与されたアクセント型に対応する韻律をアクセント型対応韻律辞書４５から選択するように構成すればよい。
【００６４】
（実施形態２）
以下に、本発明に係る音声合成装置を、実施形態２を示す図面に基づいて詳述する。なお、本実施形態２の音声合成装置は、上述した実施形態１の音声合成装置１００と同様の構成により実現できるため、構成についての説明を省略する。
【００６５】
本実施形態２の音声合成装置１００において、制御部１は、ＲＯＭ２及びＨＤＤ４に記憶してある制御プログラムを実行することにより、図６に示した形態素解析部１１、アクセント付与部１２、アクセント結合部１３、韻律選択部１４、韻律生成部１５、韻律調整部１６、波形生成部１７のほかに、韻律抽出部１８、韻律登録部１９等の各機能を実現する。図９は音声合成装置１００の機能構成を示す機能ブロック図である。
【００６６】
本実施形態２の音声合成装置１００では、表記対応韻律辞書４４に対する未知語の登録が可能である。具体的には、ユーザが、操作部５を介して表記対応韻律辞書４４に対して未知語の登録処理の実行を指示した場合、制御部１は、表記対応韻律辞書４４に対する未知語の登録モードとなる。この場合、制御部（表記取得手段、音声取得手段）１は、操作部５を介して形態素又は形態素列の表記及び読みを取得すると共に、操作部５を介して取得した形態素又は形態素列（以下では、まとめて形態素列という）に対応する音声情報を音声入力部７を介して取得する。
【００６７】
制御部１（韻律抽出部１８）は、操作部５を介して取得した形態素列の読みに基づいて、音声入力部７を介して取得した音声情報から韻律を抽出する。韻律には音素長及びピッチパターンが含まれており、制御部１は図４（ｄ）に示したような情報を取得する。なお、音素長は、取得した音声情報と形態素列の読みとに基づいて、ＨＭＭ（Hidden Markov Model）を用いたマッチング等の方法により得るのが一般的である。また、ピッチパターンは、自己相関関数等を用いて信号処理で得ることができる。
【００６８】
制御部１（韻律登録部１９）は、操作部５を介して取得した形態素列の表記及び読みと、音声情報から抽出した韻律とを対応付けて表記対応韻律辞書４４に登録する。これにより、表記対応韻律辞書４４の未知語をユーザが任意に登録することができる。このように、所定のルールに従って生成された韻律ではなく、自然音声から抽出した韻律が登録された表記対応韻律辞書４４を用いることにより、従来の音声合成装置で生成されていた機械的で不自然な韻律に比べて自然な韻律を生成することができる。従って、表記対応韻律辞書４４から選択された自然な韻律を用いることにより、自然な合成音声を生成することができる。
【００６９】
また、音声情報から抽出した韻律をそのまま表記対応韻律辞書４４に登録するので、表記対応韻律辞書４４に対する未知語を容易に登録できると共に、音声情報からアクセント型を抽出する必要がないので、誤ったアクセント型の抽出を考慮する必要がない。更に、登録される形態素列が複数のアクセント核を有する複合語であるか否か等を考慮することがないので、複合語についても、複合語の表記と音声情報から抽出された韻律とを対応付けて登録すればよく、このように登録された韻律は、以降の処理に利用することができる。
【００７０】
なお、制御部１は、操作部５を介して取得した形態素列の表記及び読みを形態素に分割した後に、形態素辞書４１に登録してもよく、この場合、表記対応韻律辞書４４に未知語を登録する際に操作部５を介して入力された形態素列の表記及び読みを、形態素辞書４１に対する未知語の登録にも利用することができる。
【００７１】
以下に、本実施形態２の音声合成装置１００による表記対応韻律辞書４４に対する未知語の登録処理についてフローチャートに基づいて詳述する。図１０は表記対応韻律辞書４４に対する未知語の登録処理の手順を示すフローチャートである。なお、以下の処理は、音声合成装置１００のＲＯＭ２又はＨＤＤ４に記憶してある制御プログラムに従って制御部１によって実行される。
【００７２】
制御部１は、音声合成装置１００のユーザが操作部５を操作することによって表記対応韻律辞書４４に対する未知語の登録モードであるか否かを判断し（Ｓ２１）、登録モードではないと判断した場合（Ｓ２１：ＮＯ）、登録モードに設定されるまで待機する。登録モードであると判断した場合（Ｓ２１：ＹＥＳ）、制御部１は、操作部５を介して形態素列の表記及び読みを取得すると共に（Ｓ２２）、取得した形態素列に対応する音声情報を音声入力部７を介して取得する（Ｓ２３）。
【００７３】
制御部１は、取得した形態素列の読みに基づいて、取得した音声情報から韻律を抽出し（Ｓ２４）、抽出した韻律を、取得した形態素列の表記及び読みに対応付けて表記対応韻律辞書４４に登録する（Ｓ２５）。このような構成により、ユーザは、表記対応韻律辞書４４に未知語を登録したい場合、未知語の表記及び読みを操作部５を介して入力し、音声を音声入力部７に向かって発声すればよい。
【００７４】
（実施形態３）
以下に、本発明に係る音声合成装置を、実施形態３を示す図面に基づいて詳述する。なお、本実施形態３の音声合成装置は、上述した実施形態１の音声合成装置１００と同様の構成により実現できるため、構成についての説明を省略する。
【００７５】
本実施形態３の音声合成装置１００において、制御部１は、ＲＯＭ２及びＨＤＤ４に記憶してある制御プログラムを実行することにより、図６に示した形態素解析部１１、アクセント付与部１２、アクセント結合部１３、韻律選択部１４、韻律生成部１５、韻律調整部１６、波形生成部１７、図９に示した韻律抽出部１８、韻律登録部１９のほかに、韻律確認修正部２０の機能を実現する。図１１は音声合成装置１００の機能構成を示す機能ブロック図である。
【００７６】
本実施形態３の音声合成装置１００では、表記対応韻律辞書４４に対して未知語を登録する際に、ユーザが発声した音声から抽出された韻律をユーザが確認し、必要に応じて修正することが可能である。具体的には、ユーザが、操作部５を介して表記対応韻律辞書４４に対して未知語の登録処理の実行を指示し、表記対応韻律辞書４４に対する未知語の登録モードとなっている場合、制御部１は、上述した実施形態２と同様に、音声入力部７を介して取得した音声情報から韻律を抽出する。
【００７７】
制御部１（韻律確認修正部２０）は、音声情報から抽出した韻律を表示すると共に、表示した韻律に対する変更を受け付ける韻律修正画面を表示部６に表示させる。図１２は韻律修正画面の構成を示す模式図である。韻律修正画面は、図１２に示すように、操作部５を介して入力された形態素列の表記及び読みと共に、音声情報から抽出された韻律６ａを表示する。
【００７８】
韻律修正画面は、韻律６ａを、時間軸を示す横軸とピッチ周波数を示す縦軸とに対して表示しており、韻律６ａに含まれる各音素を区切る縦棒６ｂを表示している。韻律修正画面には、操作部５のマウスを介して操作が可能なポインタ５ａが表示されており、ポインタ５ａが縦棒６ｂのいずれかを指し示している状態でマウスがドラッグされた場合、制御部（修正手段）１は、ポインタ５ａの移動に従って、各縦棒６ｂを画面に対して左右に移動（変更）させ、韻律修正画面に表示された韻律を修正する。これにより、形態素列「日本は」に含まれる各音素「Ｎ」、「Ｉ」、「Ｈ」、「Ｏ」、「Ｎ」、「Ｗ」、「Ａ」の音素長を任意に修正することができる。
【００７９】
また、韻律修正画面において、ポインタ５ａが韻律６ａのいずれかのポイントを指し示している状態でマウスがドラッグされた場合、制御部（修正手段）１は、ポインタ５ａの移動に従って、ポインタ５ａが指し示すポイントにおいて韻律６ａにおけるピッチパターンを画面に対して上下に移動（変更）させ、韻律修正画面に表示された韻律を修正する。これにより、韻律６ａにおける各ピッチパターン（ピッチ周波数）を任意に修正することができる。
【００８０】
韻律修正画面は、ＯＫボタン及びキャンセルボタンを表示しており、ユーザによりＯＫボタンが操作された場合、制御部１は、この時点で韻律修正画面に表示されている韻律を、操作部５を介して入力された形態素列の表記及び読みに対応付けて表記対応韻律辞書４４に登録する。なお、ユーザによりキャンセルボタンが操作された場合、制御部１は、表記対応韻律辞書４４に対して未知語を登録せずに処理を終了する。
【００８１】
以下に、本実施形態３の音声合成装置１００による表記対応韻律辞書４４に対する未知語の登録処理についてフローチャートに基づいて詳述する。図１３は表記対応韻律辞書４４に対する未知語の登録処理の手順を示すフローチャートである。なお、以下の処理は、音声合成装置１００のＲＯＭ２又はＨＤＤ４に記憶してある制御プログラムに従って制御部１によって実行される。
【００８２】
制御部１は、音声合成装置１００のユーザが操作部５を操作することによって表記対応韻律辞書４４に対する未知語の登録モードであるか否かを判断し（Ｓ３１）、登録モードではないと判断した場合（Ｓ３１：ＮＯ）、登録モードに設定されるまで待機する。登録モードであると判断した場合（Ｓ３１：ＹＥＳ）、制御部１は、操作部５を介して形態素列の表記及び読みを取得すると共に（Ｓ３２）、取得した形態素列に対応する音声情報を音声入力部７を介して取得する（Ｓ３３）。
【００８３】
制御部１は、取得した形態素列の読みに基づいて、取得した音声情報から韻律を抽出し（Ｓ３４）、抽出した韻律を表示する韻律修正画面を表示部６に表示させる（Ｓ３５）。制御部１は、操作部５のマウスを介して韻律修正画面に表示された縦棒６ｂ又は韻律６ａに対する変更を受け付けたか否かを判断し（Ｓ３６）、変更を受け付けた場合（Ｓ３６：ＹＥＳ）、受け付けた変更に従って、韻律修正画面に表示された韻律６ａを修正する（Ｓ３７）。
【００８４】
変更を受け付けていない場合（Ｓ３６：ＮＯ）、制御部１は、ステップＳ３７の処理をスキップし、韻律修正画面においてＯＫボタンが操作されたか否かを判断する（Ｓ３８）。ＯＫボタンが操作された場合（Ｓ３８：ＹＥＳ）、制御部１は、この時点で韻律修正画面に表示されている韻律を、ステップＳ３２で取得した形態素列の表記及び読みに対応付けて表記対応韻律辞書４４に登録する（Ｓ３９）。
【００８５】
ＯＫボタンが操作されていない場合（Ｓ３８：ＮＯ）、制御部１は、韻律修正画面においてキャンセルボタンが操作されたか否かを判断し（Ｓ４０）、キャンセルボタンが操作された場合（Ｓ４０：ＹＥＳ）、ステップＳ３９の処理をスキップし、表記対応韻律辞書４４に対して未知語を登録せずに処理を終了する。キャンセルボタンが操作されていない場合（Ｓ４０：ＮＯ）、制御部１は、ステップＳ３６へ処理を戻し、韻律修正画面を介して縦棒６ｂ又は韻律６ａに対する変更を受け付ける都度、韻律修正画面に表示された韻律６ａの修正を繰り返す。
【００８６】
上述した処理により、ユーザが発声した音声に基づく音声情報から抽出した韻律を表示部６に表示させるので、ユーザは自身が発声した音声に基づく韻律が音声合成に適切なものであるか否かを目視で確認することができる。また、音声情報から抽出した韻律に対して修正を行なった後に表記対応韻律辞書４４に登録するので、合成音声を生成するのに適した韻律に修正された韻律を登録することができる。例えば、アナウンサやナレータではない発声の素人であるユーザが発声した音声には、抽出した韻律をそのまま利用することが困難なものもあるが、このような音声情報から抽出された韻律を適切に修正することができる。
【００８７】
上述した韻律修正画面において、韻律６ａだけでなく、例えば、韻律６ａに基づいて生成される合成音声の音声波形、スペクトル又は声紋等を同時に表示してもよく、この場合、表示された韻律６ａが適切か否かを判断する際に効果的である。
【００８８】
（実施形態４）
以下に、本発明に係る音声合成装置を、実施形態４を示す図面に基づいて詳述する。なお、本実施形態４の音声合成装置は、上述した実施形態１の音声合成装置１００と同様の構成により実現できるため、構成についての説明を省略する。
【００８９】
本実施形態４の音声合成装置１００において、制御部１は、ＲＯＭ２及びＨＤＤ４に記憶してある制御プログラムを実行することにより、図６に示した形態素解析部１１、アクセント付与部１２、アクセント結合部１３、韻律選択部１４、韻律生成部１５、韻律調整部１６、波形生成部１７、図９に示した韻律抽出部１８、韻律登録部１９のほかに、韻律正規化部２１、韻律シフト部２２の各機能を実現する。図１４は音声合成装置１００の機能構成を示す機能ブロック図である。
【００９０】
本実施形態４の音声合成装置１００では、表記対応韻律辞書４４に対して未知語を登録する際に、ユーザが発声した音声から抽出された韻律（ピッチパターン）に対し、この韻律に含まれるピッチパターンの最低値（ベースピッチ）を減算し、ピッチパターンの正規化を行なう。
【００９１】
図１５は韻律の正規化を説明するための説明図である。図１５（ａ）にはユーザが発声した音声から抽出された韻律を示しており、ユーザが発声した音声から抽出された韻律のベースピッチは、ユーザの声の高さに依存してユーザ毎に相異する。従って、表記対応韻律辞書４４に未知語を登録する際に発声したユーザが男性であり、波形辞書４６に音声波形を登録する際に発声したユーザが女性である場合のように、表記対応韻律辞書４４に登録された韻律における音の高さ（ピッチパターン）と、波形辞書４６に基づいて生成される合成音声の高さが異なる場合、適切な合成音声を生成できない場合がある。従って、本実施形態４の音声合成装置１００は、表記対応韻律辞書４４に登録する韻律を正規化し、図１５（ｂ）に示すような韻律を生成した後に表記対応韻律辞書４４に登録する。
【００９２】
具体的には、ユーザが、操作部５を介して表記対応韻律辞書４４に対して未知語の登録処理の実行を指示し、表記対応韻律辞書４４に対する未知語の登録モードとなっている場合、制御部１は、上述した実施形態２と同様に、音声入力部７を介して取得した音声情報から韻律を抽出する。
【００９３】
制御部１（韻律正規化部２１）は、音声情報から抽出した韻律（ピッチパターン）における最低値（ベースピッチ）を検出する。そして、制御部（韻律正規化手段）１は、音声情報から抽出した韻律に対してベースピッチを減算し、韻律からベースピッチを除く処理を行なう。制御部１は、正規化した韻律を、操作部５を介して入力された形態素列の表記及び読みに対応付けて表記対応韻律辞書４４に登録する。これにより、表記対応韻律辞書４４に未知語を登録する際のユーザの声の高さに依存しない正規化された韻律を表記対応韻律辞書４４に登録することができる。
【００９４】
なお、本実施形態４では、波形辞書４６に、波形辞書４６に音声波形を登録する際に発声したユーザの声の高さに依存するベースピッチが登録されており、制御部１（韻律シフト部２２）は、テキストデータから合成音声を生成する際に、テキストデータから生成した韻律に対して、波形辞書４６に登録してあるベースピッチを加算し、図１５（ｃ）に示すような波形辞書４６の声の高さに合った韻律を生成する。そして、制御部１は、生成した韻律と波形辞書４６の登録内容とに基づいて合成音声を生成する。
【００９５】
これにより、表記対応韻律辞書４４に韻律を登録する際のユーザの声の高さに依存せず、波形辞書４６に登録されたベースピッチに応じた韻律に基づいて合成音声を生成することができる。なお、上述したような構成を採用する場合、図５に示したアクセント型対応韻律辞書４５に登録される韻律も予め正規化しておく必要がある。
【００９６】
以下に、本実施形態４の音声合成装置１００による表記対応韻律辞書４４に対する未知語の登録処理についてフローチャートに基づいて詳述する。図１６は表記対応韻律辞書４４に対する未知語の登録処理の手順を示すフローチャートである。なお、以下の処理は、音声合成装置１００のＲＯＭ２又はＨＤＤ４に記憶してある制御プログラムに従って制御部１によって実行される。
【００９７】
制御部１は、音声合成装置１００のユーザが操作部５を操作することによって表記対応韻律辞書４４に対する未知語の登録モードであるか否かを判断し（Ｓ４１）、登録モードではないと判断した場合（Ｓ４１：ＮＯ）、登録モードに設定されるまで待機する。登録モードであると判断した場合（Ｓ４１：ＹＥＳ）、制御部１は、操作部５を介して形態素列の表記及び読みを取得すると共に（Ｓ４２）、取得した形態素列に対応する音声情報を音声入力部７を介して取得する（Ｓ４３）。
【００９８】
制御部１は、取得した形態素列の読みに基づいて、取得した音声情報から韻律を抽出し（Ｓ４４）、抽出した韻律のベースピッチを検出し、抽出した韻律からベースピッチを減算して韻律を正規化する（Ｓ４５）。制御部１は、正規化した韻律を、ステップＳ４２で取得した形態素列の表記及び読みに対応付けて表記対応韻律辞書４４に登録する（Ｓ４６）。
【００９９】
上述した処理により、ユーザが発声した音声に基づく音声情報から抽出した韻律を正規化した後に表記対応韻律辞書４４に登録するので、ユーザの声の高さに依存しない韻律を登録することができる。
【０１００】
以下に、本実施形態４の音声合成装置１００による合成音声の生成処理についてフローチャートに基づいて詳述する。図１７は音声合成装置１００による合成音声の生成処理の手順を示すフローチャートである。なお、以下の処理は、音声合成装置１００のＲＯＭ２又はＨＤＤ４に記憶してある制御プログラムに従って制御部１によって実行される。
【０１０１】
音声合成装置１００のユーザが操作部５を操作することによって１つのテキストデータに基づく合成音声の生成を指示した場合、制御部１は、ＨＤＤ４に記憶してあるテキストデータをＲＡＭ３に読み出す（Ｓ５１）。制御部１は、ＲＡＭ３に読み出したテキストデータを、形態素辞書４１の登録内容に基づいて形態素に分割する（Ｓ５２）。制御部１は、アクセント辞書４２の登録内容に基づいて、テキストデータから分割した形態素のそれぞれにアクセント型を付与する（Ｓ５３）。
【０１０２】
制御部１は、テキストデータから分割した形態素を適宜結合させて形態素列を生成し、生成した形態素列に対応するアクセント句を、各形態素列に含まれる形態素のそれぞれのアクセント型に基づいて生成する（Ｓ５４）。制御部１は、各形態素列の表記及び読みに基づいて、表記及び読みが一致する形態素列を表記対応韻律辞書４４から検索し（Ｓ５５）、検索できた場合（Ｓ５６：ＹＥＳ）、表記及び読みが一致する形態素列に対応する韻律を表記対応韻律辞書４４から選択する（Ｓ５７）。
【０１０３】
制御部１は、表記及び読みが一致する形態素列を表記対応韻律辞書４４から検索できなかった場合（Ｓ５６：ＮＯ）、表記対応韻律辞書４４から検索できなかった形態素列に対応するアクセント句のアクセント型をアクセント型対応韻律辞書４５から検索し、このアクセント句に対応する韻律をアクセント型対応韻律辞書４５から選択し、選択した韻律に基づいて、この形態素列に応じた適切な韻律を生成する（Ｓ５８）。
【０１０４】
制御部１は、ステップＳ５７で表記対応韻律辞書４４から選択した韻律と、ステップＳ５８で生成した韻律とに対して、それぞれ前後する韻律のつなぎ目が滑らかになるような調整処理を実行し、連続した韻律を生成する（Ｓ５９）。制御部１は、生成した韻律に、波形辞書４６に登録してあるベースピッチを加算し（Ｓ６０）、得られた韻律を基に、波形辞書４６を参照し、必要な音声波形のピッチや音素長を調整して音声波形を生成する（Ｓ６１）。
【０１０５】
制御部１は、ステップＳ５１でＲＡＭ３に読み出したテキストデータに含まれる全てのデータに対して上述した処理が終了したか否かを判断し（Ｓ６２）、終了していないと判断した場合（Ｓ６２：ＮＯ）、ステップＳ５２へ処理を戻し、ステップＳ５２〜Ｓ６１の処理を繰り返す。テキストデータに含まれる全てのデータに対して上述した処理が終了したと判断した場合（Ｓ６２：ＹＥＳ）、制御部１は、上述した処理を終了する。
【０１０６】
上述した処理により、本実施形態４では、テキストデータに対して各種の処理を行なうことによって生成された韻律に、波形辞書４６に登録してあるベースピッチを加算した後、波形辞書４６から抽出した音声波形に基づいて合成音声を生成するので、表記対応韻律辞書４４に登録してある韻律におけるベースピッチに依存せず、波形辞書４６に登録してあるベースピッチに応じた高さの声の合成音声を生成することができる。
【図面の簡単な説明】
【０１０７】
【図１】本発明に係る音声合成装置の構成例を示すブロック図である。
【図２】形態素辞書の登録内容を示す模式図である。
【図３】アクセント辞書の登録内容を示す模式図である。
【図４】表記対応韻律辞書の登録内容を説明するための説明図である。
【図５】アクセント型対応韻律辞書の登録内容を示す模式図である。
【図６】音声合成装置の機能構成を示す機能ブロック図である。
【図７】韻律の調整処理を説明するための説明図である。
【図８】音声合成装置による合成音声の生成処理の手順を示すフローチャートである。
【図９】音声合成装置の機能構成を示す機能ブロック図である。
【図１０】表記対応韻律辞書に対する未知語の登録処理の手順を示すフローチャートである。
【図１１】音声合成装置の機能構成を示す機能ブロック図である。
【図１２】韻律修正画面の構成を示す模式図である。
【図１３】表記対応韻律辞書に対する未知語の登録処理の手順を示すフローチャートである。
【図１４】音声合成装置の機能構成を示す機能ブロック図である。
【図１５】韻律の正規化を説明するための説明図である。
【図１６】表記対応韻律辞書に対する未知語の登録処理の手順を示すフローチャートである。
【図１７】音声合成装置による合成音声の生成処理の手順を示すフローチャートである。
【符号の説明】
【０１０８】
１００  音声合成装置
１  制御部
４  ＨＤＤ
４１  形態素辞書（形態素記憶手段）
４２  アクセント辞書（アクセント型記憶手段）
４４  表記対応韻律辞書（表記対応韻律記憶手段）
４５  アクセント型対応韻律辞書（アクセント対応韻律記憶手段）
４６  波形辞書（波形記憶手段）
【図１】
0005181578.tif 000002
【図２】
0005181578.tif 000003
【図３】
0005181578.tif 000004
【図４】
0005181578.tif 000005
【図５】
0005181578.tif 000006
【図６】
0005181578.tif 000007
【図７】
0005181578.tif 000008
【図８】
0005181578.tif 000009
【図９】
0005181578.tif 000010
【図１０】
0005181578.tif 000011
【図１１】
0005181578.tif 000012
【図１２】
0005181578.tif 000013
【図１３】
0005181578.tif 000014
【図１４】
0005181578.tif 000015
【図１５】
0005181578.tif 000016
【図１６】
0005181578.tif 000017
【図１７】
0005181578.tif 000018