(57)【要約】【課題】意図した発話スタイルの時間的変化が精度よく自然に再現される音声合成装置を提供する。【解決手段】テキスト入力部２０１は発話スタイルコマンドが含まれたコマンド付きテキストを入力する。発話スタイルコマンドは発話スタイルの時間的変化を音素、モーラ又は音節を単位として指定するコマンドである。マークアップ言語解析部２０２はコマンド付テキストから、音声合成すべきテキストと発話スタイルコマンドとを分離する。言語処理部２０３は分離されたテキストを言語解析し、発話スタイルの時間変化が指定されている音韻区間を特定し、テキストに対応する音韻列を出力する。変形位置・変形重み決定部２０７は発話スタイルの時間的変化に合わせて合成パラメータの標準素片を変形する変換関数を選択する。波形生成部２１４は選択された変換関数で変換された合成パラメータに基づいて合成音声の波形を生成する。【選択図】図１
2006227589.tif 000002
【特許請求の範囲】
【請求項１】
コマンド付きテキストを入力とし、前記テキストを読み上げる音声を合成する音声合成装置であって、
コマンド付きテキストを、（１）音声に合成すべき前記テキストと（２）前記テキストから合成される音声の発話表現である発話スタイルの時間的変化を、音素、モーラ、音節のいずれか1つを単位として指定する発話スタイルコマンドとに分離する分離手段と、
分離された前記テキストを言語解析し、少なくとも前記テキストを表す音素列、モーラ列、音節列のうち前記発話スタイルコマンドにおいて前記時間的変化を指定する単位として使用された単位で表記された音韻列を出力する言語処理手段と、
前記発話スタイルコマンドで指定された単位を識別し、出力された前記音韻列中において、前記発話スタイルコマンドで前記発話スタイルの前記時間的変化が指定された音韻区間を、識別した単位で特定する区間特定手段と、
特定された前記音韻区間において、前記発話スタイルの時間的変化に従って発話される音声を合成する音声合成手段と
を備えることを特徴とする音声合成装置。
【請求項２】
前記音声合成手段は、前記発話スタイルコマンドに従って、特定された前記音韻区間の読み上げに要する実時間に対応して、前記発話スタイルが変化する音声を合成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項３】
発話スタイルの時間的変化は、前記発話スタイルの重みの時間的変化によって表され、
前記音声合成手段は、前記発話スタイルコマンドに従って、前記音韻区間の読み上げに要する実時間に対応して、前記発話スタイルの重みが変化する音声を合成する
ことを特徴とする請求項２記載の音声合成装置。
【請求項４】
前記音声合成手段は、
合成される音声を表す音声合成パラメータの音声合成処理単位のまとまりである音声合成パラメータ素片を格納した音声合成パラメータ素片データベースと、
前記音声合成パラメータ素片データベースから、複数の音声合成パラメータ素片を選択し、接続して、所定の韻律を生成し、前記言語処理手段によって出力される音韻列に対応した音声合成パラメータを生成する音声合成パラメータ生成部と、
特定された前記音韻区間に対応する音声合成パラメータを前記発話スタイルコマンドに従って変換するための変換規則を格納した変換規則データベースと、
前記発話スタイルコマンドに対応する前記変換規則を前記変換規則データベースより選択する変換規則選択部と、
特定された前記音韻区間に対応する前記音声合成パラメータを、選択された前記変換規則に基づいて変換する音声合成パラメータ変換部と、
前記音声合成パラメータに基づき音声波形を生成する音声波形生成部とを備える
ことを特徴とする請求項１記載の音声合成装置。
【請求項５】
前記音声合成手段は、
合成される音声を表す音声合成パラメータの音声合成処理単位のまとまりである音声合成パラメータ素片と、前記音声合成パラメータ素片内で音声の混合時に複数音声の対応を
特定するための周波数と時間とによって定義される基準点とを共に格納した音声合成パラメータ素片データベースと、
前記音声合成パラメータ素片データベースから、複数の音声合成パラメータ素片を選択し、接続して、所定の韻律を生成し、前記言語処理手段によって出力される音韻列に対応する音声合成パラメータを生成する音声合成パラメータ生成部と、
前記音声合成パラメータ素片データベースより前記音声合成パラメータ素片とともに選択した前記基準点を複数音声の対応点として、前記音声合成パラメータ生成部により生成された前記音声合成パラメータを、前記区間特定手段によって特定された前記音韻区間において混合する音声混合部と、
混合された前記音声合成パラメータに基づいて、音声波形を生成する音声波形生成部と
を備えることを特徴とする請求項１記載の音声合成装置。
【請求項６】
前記音声混合部は、互いに異なる発話スタイルに対応する音声合成パラメータを混合する場合に、各前記音声合成パラメータの重みを、前記音韻区間の読み上げに要する実時間の経過に従って変化することで発話スタイルの時間的変化を生成する
ことを特徴とする請求項５記載の音声合成装置。
【請求項７】
前記音声合成手段は、
音声の一部分の波形を表し、音声合成処理単位のまとまりである音声波形素片と、前記音声波形素片内で音声の混合時に複数音声の対応を特定するための周波数と時間とによって定義される基準点とを共に格納した音声波形素片データベースと、
前記音声波形素片データベースから、複数の音声波形素片を選択し、接続して、前記言語処理手段によって出力される音韻列と所定の韻律に対応する音声波形を生成する音声波形生成部と、
前記音声波形生成部により生成された前記音声波形を分析し韻律情報とスペクトル情報を抽出する音声波形分析部と、
前記音声波形分析部によって抽出された前記韻律情報と前記スペクトル情報とを、前記音声波形素片データベースから音声波形素片とともに選択した前記基準点を複数音声の対応点として、前記区間特定手段によって特定された前記音韻区間において混合する音声混合部と、
前記音声混合部で混合された前記韻律情報と前記スペクトル情報に基づき音声波形を生成する音声波形生成部と
を備えることを特徴とする請求項１記載の音声合成装置。
【請求項８】
前記音声混合部は、互いに異なる発話スタイルに対応する音声波形素片を混合する場合に、複数の前記韻律情報と前記スペクトル情報とを混合する重みを、前記音韻区間の読み上げに要する実時間の経過に従って変化することで発話スタイルの時間的変化を生成する
ことを特徴とする請求項７記載の音声合成装置。
【請求項９】
前記発話スタイルコマンドは、話者の性別、年齢、話者、性格、発話時の体調、発話時の気分、話者間の人間関係、話者間の物理的距離、話者間の通信状態、発話の場所、発話時の時間帯、話者が置かれた環境、周囲の雑音または感情のいずれかについて合成音声の表現を制御するコマンドまたはタグである
ことを特徴とする請求項１〜８のいずれか１項に記載の音声合成装置。
【請求項１０】
前記音声合成手段は、
あらかじめ自然音声の韻律情報、スペクトル情報、音韻列および言語情報を統計的に学習した第１の統計モデルに基づいて韻律を生成する韻律生成部と、
あらかじめ自然音声の韻律情報、スペクトル情報、音韻列および言語情報を統計的に学習した、前記第１の統計モデルとは異なる第２の統計モデルに基づいてスペクトル情報を
生成するスペクトル情報生成部と、
前記韻律生成部が持つ前記第１の統計モデルと、前記スペクトル情報生成部が持つ前記第２の統計モデルとを、前記発話スタイルコマンドに従って変換するための変換規則を格納した変換規則データベースと、
前記発話スタイルコマンドに対応する前記変換規則を、前記変換規則データベースより選択する変換規則選択部と、
前記変換規則選択部によって選択された前記変換規則を変形または混合し、変形または混合された前記変換規則に基づいて、前記第１の統計モデルと前記第２の統計モデルとを変換する統計モデル変換部と、
変換された第１の統計モデルに基づいて前記韻律生成部により生成された韻律と、変換された第２の統計モデルに基づいて前記スペクトル情報生成部により生成されたスペクトル情報とに基づいて、音声波形を生成する音声波形生成部と
を備えることを特徴とする請求項１記載の音声合成装置。
【請求項１１】
コマンド付きテキストを入力し、前記テキストを読み上げる音声を合成する音声合成方法であって、
コマンド付きテキストを、（１）音声に合成すべき前記テキストと（２）前記テキストから合成される音声の発話表現である発話スタイルの時間的変化を、音素、モーラ、音節のいずれか1つを単位として指定する発話スタイルコマンドとに分離する分離ステップと、
分離された前記テキストを言語解析し、少なくとも前記テキストを表す音素列、モーラ列、音節列のうち前記発話スタイルコマンドにおいて前記時間的変化を指定する単位として使用された単位で表記された音韻列を出力する言語処理ステップと、
前記発話スタイルコマンドで指定された単位を識別し、出力された前記音韻列中において、前記発話スタイルコマンドで前記発話スタイルの前記時間的変化が指定された音韻区間を、識別した単位で特定する区間特定ステップと、
特定された前記音韻区間において、前記発話スタイルの時間的変化に従って発話される音声を合成する音声合成ステップと
を含むことを特徴とする音声合成方法。
【請求項１２】
コマンド付きテキストを入力し、前記テキストを読み上げる音声を合成する音声合成装置のためのプログラムであって、コンピュータに
コマンド付きテキストを、（１）音声に合成すべき前記テキストと（２）前記テキストから合成される音声の発話表現である発話スタイルの時間的変化を、音素、モーラ、音節のいずれか1つを単位として指定する発話スタイルコマンドとに分離する分離ステップと、分離された前記テキストを言語解析し、少なくとも前記テキストを表す音素列、モーラ列、音節列のうち前記発話スタイルコマンドにおいて前記時間的変化を指定する単位として使用された単位で表記された音韻列を出力する言語処理ステップと、前記発話スタイルコマンドで指定された単位を識別し、出力された前記音韻列中において、前記発話スタイルコマンドで前記発話スタイルの前記時間的変化が指定された音韻区間を、識別した単位で特定する区間特定ステップと、特定された前記音韻区間において、前記発話スタイルの時間的変化に従って発話される音声を合成する音声合成ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声の発話スタイルの時間的変化を記述した音声合成用テキスト構造に基づき、発話スタイルの時間的変化を実現した音声合成装置および音声合成方法に関するものである。
【背景技術】
【０００２】
従来の発話スタイルの時間的変化を実現した音声合成方法としては、部分的な強調や、感情表現などを音声の韻律のみを変化させることによって表現するものがあった（例えば、特許文献１、特許文献２、特許文献３参照）。強調や感情表現を含む時間経過に伴って滑らかに変化する音声における豊かな表現を合成音声において実現しようとする要求は、合成音声が単なる情報提供手段でなく、ひとつの表現手段としてコンテンツ制作に取り入れられるようになってより高くなっている。そのような時間経過に伴って変化する感情表現を合成音声に付け加える手段として、合成すべきテキストの意味解析により感情の種類と強度を抽出し、時間経過に伴う変化を設定し、指定された変化に合わせて韻律および音声パラメータをあらかじめ定められた関数とその混合関数に従って変形することによって音声の感情の時間的変化を実現したものがある(例えば、特許文献４、特許文献５参照)。
【０００３】
さらに、コンテンツが流通し、機能、方式および能力の異なる再生装置によって再生されることを考慮して、再生装置の状況にかかわらず再生時に一定の再現精度を保証するために、マークアップ言語が作られ、音声においてはVoiceXMLVer.2.0およびSSML（Speech Synthesis Markup Language）Ver.1.0が規格化されている。音声の時間経過に伴う変化をマークアップ言語により記述する方式については、音声に変換しようとする自然言語テキストの単語あるいは文字間にタグを挿入して、音声の変化の対象となるテキスト範囲の始点と終点を示し、音声の属性とその強度、変化方式等を記述するものがある（例えば特許文献２、特許文献３参照）。図２０は、前記特許文献３に記載された従来の音声の時間的変化を記述した音声合成用テキスト構造を示すものであり、図２１は図２０のような音声合成用テキストを取得して音声合成により音声を生成する音声合成装置の構成を示すブロック図である。図２０は「冬型の気圧配置となった９日、近畿地方など西日本は雪の影響で交通機関が乱れました」というテキストを合成音声にする際に、文の最初は「幸せそう(happy)」な声で話し始め、文中で徐々に変化し最後には「怒り(angry)」の声で終了するよう指示するものである。これは、タグ内の＜morphing type = "express" start = "happy" end = "angry" ＞で示されている。morphing type = "express"は、声に対する変形が表現に関することを示している。かつ、start = "happy"は、文の最初で「幸せそう(happy)」に話し始めること、end = "angry" は、最後に「怒り(angry)」の声で終了することを示している。図２１において、テキスト入力部１０４はこのようなタグ付きテキスト１０３の入力を受け付け、テキスト解析部１０５は、タグ付きテキスト１０３のどこが指示でどこが指示でないかを解析する。タグ解析部１０６は入力されたタグ付きテキスト１０３のマークアップ言語の記述を解析し、タグ属性解析部１０７はタグ間の整合性を確認した後タグによる指示を解釈する。次いで、言語処理部１０８は言語辞書１１０を参照しながら、タグを省いた音声に変換する対象のテキストを言語解析する。さらに、音声合成部１０９は韻律・波形辞書を参照しながら、タグ属性解析部１０７で解釈されたタグによる指示に基づき、音の高低、デュレーションおよび強弱からなる韻律を変形し、音声を合成する。始点と終点との間は実際の音声の時間長に対する関数として定義された補間関数により変形量が設定される。
【特許文献１】特開平１１−２０２８８４号公報（第１３−１４頁、図１０）
【特許文献２】特開２００２−９１４７４号公報（第６−７頁、図２）
【特許文献３】特開２００３−２９５８８２号公報（第３−６頁、図１、図２、図３、図４、図５）
【特許文献４】特開平５−３０７３９６号公報（第３−４頁、図３）
【特許文献５】特開２００３−２３３３８８号公報（第６−８頁、図１、図３、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、マークアップ言語については、時間的変化を時間と韻律パラメータの関係として記述する際に、実時間を記述している。図２２（ａ）は、対象となるテキスト範囲が音声に変換された際の実時間に対応付けて韻律の変化を指示するマークアップ言語の一例を示す図である。図２２（ａ）のVoiceXMLVer.2.0のように実時間による記述では、韻律の動きを、0.1秒後に声の高さを20Hz高くし、それより0.75秒後に声の高さをさらに10Hz高くするよう指示している。しかし、音声合成装置ごとの内部の動作や標準データによって、合成される音声の時間長が異なるため、図２３の音声合成装置Ａと音声合成装置Ｂとでは音声開始から0.10秒と0.75秒の時間位置で発音されている音韻が異なる。例えば、音声合成装置Ａでは音声開始から0.10秒で、「は」という音声の開始直後であるが、音声合成装置Ｂでは音声開始から0.10秒で、まだ「お」という音声の終わりの方が発音されている。このように、マークアップ言語で指定した時間位置と音韻列や単語列との時間位置の関係は音声合成装置ごとに異なることになり、場合によっては指定時間位置が、音声が終了した後になってしまう等、音声合成装置ごとの再現性があまり高いとは言えないという問題がある。
【０００５】
また、図２２（ｂ）は、韻律の時間的変化を記述するために、変化の対象となるテキスト範囲が音声に変換された際の時間長に対する先頭位置からの比率で時間位置を記述している一例を示す図である。しかし、図２３に示すように、実時間で記述する場合と同様、音声合成装置ごとに音韻ごとの時間長は異なり、音声合成装置Ａと音声合成装置Ｂとでは、音声の先頭から40％の時間位置で発音されている音韻が異なる。例えば、音声合成装置Ａでは音声開始から40％の時間位置で、「ご」という音声の開始直後であるが、音声合成装置Ｂでは音声開始から40％の時間位置で、「よー」の「ー」という音声の中間が発音されているところである。このように、マークアップ言語による韻律変化の指示を記述した場合には、期待した音韻に対応した時間位置で発話スタイルを制御することができない。
【０００６】
文中のある形態素の先頭のつもりで時間位置30％を指定した場合に、音声合成装置によっては音韻の時間長データがマークアップ言語記述時の予測と異なるために、時間位置30％の位置は、意図した形態素の末尾になってしまうというように、やはり音声合成装置ごとの再現性が低くなってしまう。すなわちマークアップ言語の記述作業者が意図する時間的変化を音韻や単語といった記述作業者にとって自然な、自身の発話イメージの再現として発話スタイルの時間的変化を記述する方法が無く、それを再現する音声合成装置も無かった。また、マークアップ言語は、欧州言語のような言語であれば単語の間、日本語や中国語のような表記方法を持つ言語であれば文字の間にタグを記述するが、欧州言語においては複数音節からなる長い単語、日本語であれば複数音節あるいはモーラを持つ１文字の漢字の途中に発話スタイル制御の始点や終点を設定することが難しく、欧州言語の単語や日本語の文字以下の単位での制御を指示することが困難である。すなわち「掌」という文字の「たなごころ」という読みに対して、読みの一部である「ごころ」を強調する、基本周波数を上昇させる、声質を変える等の指示をすることができなかった。
【０００７】
さらに、欧州言語については文と発音の関係が複雑な言語もあり、単語中の音素あるいは音節の区切りに対応する文字位置にタグを記述するのは困難である。すなわちマークアップ言語の記述作業者が意図する時間的変化を音韻や単語といった記述作業者にとって自然な、自身の発話イメージの再現として精度よく発話スタイルの時間的変化を記述することができず、音声合成装置が異なると記述作業者が意図する時間的変化が再現できないという課題を有している。
【０００８】
本発明は、前記従来の課題を解決するもので、合成音声の発話スタイルの時間的変化を音声合成装置ごとの標準データや動作の違いにかかわらず、精度よく再現するための音声合成用テキスト構造と、そのテキスト構造を用いて指定された発話スタイルの時間的変化を忠実に再現するための音声合成装置および音声合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の音声合成装置は、コマンド付きテキストを入力とし、前記テキストを読み上げる音声を合成する音声合成装置であって、コマンド付きテキストを、（１）音声に合成すべき前記テキストと（２）前記テキストから合成される音声の発話表現である発話スタイルの時間的変化を、音素、モーラ、音節のいずれか1つを単位として指定する発話スタイルコマンドとに分離する分離手段と、分離された前記テキストを言語解析し、少なくとも前記テキストを表す音素列、モーラ列、音節列のうち前記発話スタイルコマンドにおいて前記時間的変化を指定する単位として使用された単位で表記された音韻列を出力する言語処理手段と、前記発話スタイルコマンドで指定された単位を識別し、出力された前記音韻列中において、前記発話スタイルコマンドで前記発話スタイルの前記時間的変化が指定された音韻区間を、識別した単位で特定する区間特定手段と、特定された前記音韻区間において、前記発話スタイルの時間的変化に従って発話される音声を合成する音声合成手段とを備えることを特徴とする。
【００１０】
本構成によって、マークアップ言語を用いることにより、個々の音声合成装置が標準の音韻時間長として設定している音韻時間長にかかわり無く、発話スタイルコマンドで発話スタイルの時間的変化が指定された音韻区間を正確に特定することができ、これによって、発話スタイルの時間的変化を正確に再現した合成音声を生成することができる。さらに、本発明の音声合成装置によれば、発話スタイルコマンドにより、発話スタイルの時間的変化を、音素、モーラ、音節のいずれか1つを単位として指定することができるので、発話スタイルの時間的変化をより滑らかに表した自然な合成音声を生成することができる。
【００１１】
なお、本発明は、このような音声合成装置として実現することができるだけでなく、このような音声合成装置が備える特徴的な手段をステップとする音声合成方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１２】
本発明の音声合成用テキスト構造によれば、合成音声の発話スタイルの時間的変化を記述する際に、時間位置を音声あるいは言語単位で指定することで、音声合成装置ごとの標準データや動作の違いによって生じる音声合成装置ごとの音韻時間長の差のために、マークアップ言語記述時の意図とは異なった音韻や単語等の音声的あるは言語的位置で発話スタイルが制御されることを防ぎ、個々の音声合成装置のデータや動作に非依存な、再現精度の高い発話スタイルの時間的変化の記述方法を提供することができる。さらに発話スタイルの時間的変化を音声あるいは言語の単位で指定することで、実時間や時間比率による指定では困難な自然言語文字列との明確な対応を定義することができるため、記述作業者が意図する時間的変化を自身の発話イメージで定義することができ、より直感的に指定することができる。さらにタグが挿入可能な単位であるテキスト表記の単語あるいは文字よりも小さい、音素、モーラ、音節の単位で時間的変化の始点や終点を指定することができる。また、そのようなマークアップ言語の記述に対して、本発明の音声合成装置および音声合成方法によれば、発話スタイル変換関数の選択と変形、統計的学習による発話スタイル空間の変換、素片ごとに用意された混合のための対応点を利用した音声合成パラメータや音声分析パラメータの混合（モーフィング）により、発話スタイルの再現と時間的変化の制御が可能となり韻律のみならず、スペクトル情報も含めた音声の特徴を細やかに制御することができ、記述された発話スタイルの時間的変化を高精度に再現することができる。
【発明を実施するための最良の形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１における音声合成装置の機能ブロック図である。図２（ａ）及び（ｂ）は、テキストに付与されたマークアップ言語のタグの一例を示す図である。図２（ａ）は、「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」というテキストの先頭から１４モーラ目までを、声の感情が怒りの「５」から「１」に変化しつつ発音されるよう音声の合成を指示したマークアップ言語を示している。図２（ｂ）は、図２（ａ）に示した漢字かな混じりテキストをモーラで表し、合成音声の音韻部分と感情表現の変形との対応を具体的に示している。図３は、本発明の実施の形態１の音声合成装置の動作を示すフローチャートである。図４は、本発明の実施の形態１の音声合成装置の処理内容を模式的に示した図である。
【００１５】
図１において、実施の形態１の音声合成装置は、韻律に変化を施すべき音韻の位置を、モーラを単位として指定する音声合成装置であって、テキスト入力部２０１、マークアップ言語解析部２０２、言語処理部２０３、辞書２０４、韻律制御部２０５、標準韻律パタンデータベース２０６、変形位置・変形重み決定部２０７、変換関数選択部２０８、変換関数データベース２０９、変換関数パラメータ設定部２１０、素片選択部２１１、標準素片データベース２１２、合成パラメータ生成部２１３および波形生成部２１４を備える。
【００１６】
テキスト入力部２０１は、定められたマークアップ言語の基準に従って記述されたタグ付きテキストの入力を受け付ける。
【００１７】
マークアップ言語解析部２０２は、テキスト入力部２０１に入力されたタグ付きテキストを解析し、タグ部分とタグ以外の自然言語部分（例えば、かな漢字混じりテキストなど）とに分離する。タグによる指示情報は、変形位置・変形重み決定部２０７に出力する。また、タグが挿入されていた位置情報（例えば、タグが、図２（ａ）に示した「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」というテキストの「あ」の前に挿入されていたことを示す情報）をタグ以外の自然言語部分とともに、言語処理部２０３に出力する。
【００１８】
言語処理部２０３は、マークアップ言語解析部２０２で生成された（１）タグ以外の自然言語部分と（２）タグが挿入されていた位置情報との入力をうけ、辞書２０４を参照して自然言語部分の言語解析を行う。これにより、タグ以外の自然言語部分のモーラの数がわかる。そして、タグ挿入位置が対応付けられた読みを表す音韻列と、アクセントやアクセント句区切りおよびポーズ位置等を表す韻律指定情報、各形態素の品詞や文節の係り受け等をあらわす言語情報を出力する。
【００１９】
辞書２０４は、形態素の読み、品詞、アクセント、アクセント結合規則等を格納したデータベースである。
【００２０】
韻律制御部２０５は、言語処理部２０３により生成されたタグ挿入位置が対応付けられた音韻列、韻律指定情報と言語情報を入力され、音韻列、韻律指定情報、言語情報に基づき、標準韻律パタンデータベース２０６を参照して音韻列に対応した基本周波数、振幅、音韻時間長、ポーズ時間長を生成し、タグ挿入位置と対応付けて出力する。
【００２１】
変形位置・変形重み決定部２０７は、韻律制御部２０５で生成された音韻列に対応付けられたタグ挿入位置と音韻およびポーズ時間長と、マークアップ言語解析部２０２より出力されたタグによる指示情報を入力され、タグの指示とタグ挿入位置と音韻列に基づき発話スタイルの指定を解析し、音韻列上の区間と発話スタイルの対応を決定する。さらに、音韻列上で発話スタイルの変形を行う区間を決定し、発話スタイルの変形重みを決定する。
【００２２】
変換関数選択部２０８は変形位置・変形重み決定部２０７で生成された音韻列に対応する発話スタイルに従って、代表的あるいは基本的な発話スタイル、すなわち話者、声質、感情、対話の相手との人間関係等、発話の状況のようなパラ言語的表現に変化が起こる属性に対して、あらかじめ実音声より素片単位で韻律とスペクトルの対応点の差分を求めることで生成された韻律およびスペクトル情報を変換するための変換関数を変換関数データベース２０９から選択する。より具体的には、音韻や、形態素、韻律指定情報等と合わせて格納した変換関数データベース２０９より、音韻列に対応する変換関数を抽出する。例えば、図２（ａ）の「あらゆる現実を・・・」の「あ」の音声の表現が、後述する変換関数パラメータ設定部２１０により設定されるパラメータによって、anger「５」になるような変換関数を抽出する。
【００２３】
変換関数パラメータ設定部２１０は、変形位置・変形重み決定部２０７で生成された変形区間と変形区間内の変形重みにより変換関数選択部２０８で抽出された各音韻に対応する発話スタイル変換関数のパラメータを設定する。
【００２４】
一方、素片選択部２１１は、韻律制御部２０５で生成された音韻列に対応した基本周波数、振幅、音韻時間長と、言語処理部２０３により生成された言語情報とから、後述の標準素片データベース２１２を参照して音韻列に対応する音声合成パラメータ素片を抽出する。
【００２５】
標準素片データベース２１２は、実音声より生成した音韻ごとの音声合成パラメータと音韻環境、基本周波数、振幅、音韻時間長、言語情報等の属性を格納しているデータベースである。
【００２６】
合成パラメータ生成部２１３は、素片選択部２１１で抽出された音声合成パラメータ素片を接続し、変換関数パラメータ設定部２１０でパラメータを設定された、音韻ごとの変換関数により各音韻の音声合成パラメータを変換し、発話スタイル変形を行った一連の音声合成パラメータ列を生成する。
【００２７】
波形生成部２１４は、合成パラメータ生成部２１３で生成された一連の音声合成パラメータに基づき音声波形を生成し、出力する。
【００２８】
次に、上記の構成による音声合成装置の動作を詳細に説明する。テキスト入力部２０１は、図２（ａ）に示すマークアップ言語によるタグ付きテキストを入力テキストとして受け付ける。図２（ａ）のタグ付きテキストは、「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」というテキストについて、（ｂ）に示すように、テキストの先頭は怒りの重み５の発話スタイルで、先頭音韻から、14モーラ目すなわち「自分の」の「ぶ」では怒りの重み１の発話スタイルとなるよう、14モーラの間に徐々に発話スタイルを変化させることを指示するものである。まずテキスト入力部２０１は図２の（ａ）のタグ付きテキストを受けつける（Ｓ２００１）。マークアップ言語解析部２０２は入力テキスト中のタグを識別し（Ｓ２００２）、タグ位置情報つきの自然言語と、タグによる発話スタイルの指示とに分離する（Ｓ２００３）。言語処理部２０３は形態素の読み、品詞、アクセント、アクセント結合規則等を格納した辞書２０４を参照して形態素解析を行い、さらに形態素の構成から構文解析を行って、入力された自然言語テキストに対応する音韻列と言語情報を生成する。さらに、音韻列と言語情報に基づきアクセント、アクセント句の区切れ確率、ポーズ存在確率等の韻律指定情報を生成する（Ｓ２００４）。さらに言語処理部２０３は、入力テキスト中のタグ位置に対応する音韻列中の位置にタグ位置を記録する（Ｓ２００５）。韻律制御部２０５は音韻列と韻律指定情報および言語情報を属性として用いて、あらかじめ属性ごとにパラメータが設定された関数により、入力音韻列に対応する標準音韻時間長およびポーズ時間長を設定する。次いで、音韻列と韻律指定情報および言語情報の属性により、基本周波数と振幅の標準韻律パタンを標準韻律パタンデータベース２０４より抽出し、さらに属性に基づいて変形を加えて入力音韻列に対応する標準基本周波数パタン、標準振幅パタンを生成する（Ｓ２００６）。図４は、タグによる発話スタイルの指示に基づいて、変形位置・変形重み決定部２０７によって決定されたモーラ単位の変形区間の一例を示す図である。変形位置・変形重み決定部２０７は韻律制御部２０５で生成された音韻列に対応する標準音韻時間長およびポーズ時間長とタグ位置、マークアップ言語解析部２０２で分離されたタグによる指示情報とに基づき、図４に示すように、モーラ単位で変形区間を設定し、さらにその変形区間の音韻時間長より変形区間の実時間を計算する（Ｓ２００７）。次いで、実時間上で発話スタイルの重みを線形に補間する（Ｓ２００８）。ステップＳ２００８で実時間上で補間された重みより、音韻時間長を用いて素片選択単位の中心点と素片接続点での発話スタイルの重みを計算する（Ｓ２００９）。変換関数選択部２０８はステップＳ２００６で韻律制御部２０５によって生成された基本周波数パタン、振幅パタン、音韻時間長と、ステップＳ２００７で変形位置・変形重み決定部２０７によって設定された変形区間と区間ごとに指定された発話スタイルとに基づいて、標準音声を生成する際に使用される素片を変換するのに最適な変換関数を各素片選択単位ごとに変換関数データベース２０９より抽出する。一方、素片選択部２１１はステップＳ２００６で韻律制御��２０５によって生成された基本周波数パタン、振幅パタン、音韻時間長と音韻列とに従って、合成しようとする音声の音声合成パラメータ素片を標準素片データベース２１２より抽出する（Ｓ２０１０）。変換関数パラメータ設定部２１０はステップＳ２００９で変形位置・変形重み決定部２０７により計算された素片選択単位の中心点と素片接続点での発話スタイルの重みに基づいて、ステップＳ２０１０で変換関数選択部２０８により変換関数データベース２０９から素片単位ごとに選択された変換関数の素片選択単位の中心と素片接続点での変換関数パラメータを設定する（Ｓ２０１１）。音声パラメータ生成部２１３はステップＳ２０１０で素変選択部２１１により選択された音韻列に対応する標準音声を生成する音声合成パラメータと、ステップＳ２００６で生成された基本周波数パタン、振幅パタン、音韻時間長、ポーズ時間長とをステップＳ２０１１でパラメータ設定された素片単位ごとの変換関数を用いて変換し、タグにより指定された発話スタイルの時間変化を実現する、連続した音声の音声合成パラメータ列を生成する（Ｓ２０１２）。波形生成部２１４はステップＳ２０１２で生成された音声合成パラメータに従って音声波形を合成する（Ｓ２０１３）。
【００２９】
かかる読み、すなわち音韻列および韻律を設定した後に、タグによる発話スタイルの時間変化を設定する構成によれば、入力されたモーラ等の音声の単位で時間位置を記述されたタグ付きテキストに対して、ステップＳ２００８、Ｓ２００９で変形位置・変形重み決定部２０７が、韻律制御部２０５で生成されたテキストの読みに対応する個々の音韻の時間長を取得し、モーラ単位で記述された発話スタイル変形の指示を実時間軸上に配置された音韻列に対応させ、実時間上での変形重みの補間を行うことができる。従って、各音韻での変形重みを設定し、ステップＳ２０１１で変換関数パラメータ設定部２１０が、変換関数選択部２０８で素片ごとに選択された変換関数について、実時間上の変形重みの変化を実現するよう、音韻ごとに設定された変形重みに合わせて変換関数のパラメータを設定することができる。これにより、モーラ等の音声の単位で記述された時間位置は、音声合成装置ごとに音韻時間長データが異なっていても、正確に指定された音声単位に設定されることができる。かつ、各音声合成装置ごとの音韻時間長設定に従って実時間軸へ変換された上で補間され、実時間上で設定された発話スタイルの重みを音韻を基準とした関数選択の単位に従って参照して関数の選択単位ごとに発話スタイルの変形重みを設定し、その変形重みに従って発話スタイルを変換する変換関数のパラメータを設定して適用することで、標準音声の音声合成パラメータを変換して発話スタイルが実時間上で徐々に変化する滑らかな音声合成パラメータを生成することができる。タグとして記述された発話スタイルの時間変化は、タグを挿入することができない１文字より小さい音声単位で指定された、記述時に意図した音韻位置を正確に再現することができる。また、タグに指定された発話スタイルに対応する、音声素片単位であらかじめ生成されたスペクトル情報の変換を含む変換関数のパラメータを制御することで時間的に徐々に変化する発話スタイルの時間変化を韻律のみならず、スペクトル情報も合わせて制御し、タグに指定された発話スタイルの時間的変化を精度よく再現することができる。
【００３０】
このように、本発明の実施の形態１の音声合成装置によれば、韻律を変化させる音韻列の位置をモーラに対応させて示すので、音声合成装置によって異なることなく正確に同一の音韻列を指定して韻律の変化を指示することができる。また、モーラに対応させて韻律の変化を指示することができるので、音韻列の長さが短い場合の細かい調整も可能になる。また、韻律を変化させる音韻列の範囲を正確に特定した上で、その範囲の発音に要する実時間を測定し、測定された時間に対応させて平均して変化させるので、音韻ごとに韻律を変化させる場合よりも、韻律の変化が滑らかに聞こえるという効果がある。
【００３１】
なお、上記実施の形態１では、韻律を変化させる音韻列の位置を、モーラに対応させて特定したが、モーラに限らず、モーラとは異なる音韻の単位を用いて特定するようにしてもよい。例えば、音節や音素などを単位として、韻律を変化させる音韻列の範囲を特定するとしてもよい。図５（ａ）、（ｂ）および（ｃ）は、本発明の実施の形態１における音声合成用テキスト構造の異なる形態とそのタグによる指示内容の模式図である。図５（ａ）は、図２（ａ）に示したタグ付きテキストと同様の韻律変更の指示を、その変更範囲を音節単位で数える場合のタグ付きテキストの一例を示している。図５（ｂ）は、図５（ａ）に示した漢字かな混じりテキストを音節（syllable）で表し、合成音声の音韻部分と感情表現の変形との対応を具体的に示している。図５（ｃ）は、変化する感情表現（発話スタイル）の重みの時間的変化をグラフで表している。図５（ａ）に示される「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」という漢字かな混じりテキストは、音節では、「ん」や「を」が直前の音と１音で発音されるため、図５（ｂ）にカタカナで示すように区切られる。すなわち、６音節目は、図２（ｂ）に示した「ン」ではなく、「現実（「ゲン ジツ）」の「ジ」となる。このため、変更範囲を音節単位で６音節と指定した場合には、「アラユルゲン ジ」までの音声が実時間で線形補間されることになる。
【００３２】
さらに、音素を単位として韻律を変化させる音韻列の範囲を特定するとしてもよい。図６（ａ）、（ｂ）及び（ｃ）は、本発明の実施の形態１における音声合成用テキスト構造の異なる形態とそのタグによる指示内容を示す模式図である。図６（ａ）は、図２（ａ）に示したタグ付きテキストと同様の韻律変更の指示を、その変更範囲を音素単位で数える場合のタグ付きテキストの一例を示している。ただし、図６（ａ）では、韻律を変化させる音韻列の範囲を１３音素目までとしている。図６（ｂ）は、図６（ａ）に示した漢字かな混じりテキストを音素（phoneme）で表し、合成音声の音韻部分と感情表現の変形との
対応を具体的に示している。図６（ｃ）は、感情表現の時間的変化をグラフで表した図である。図６（ｂ）および（ｃ）に示すように、韻律の変更範囲を音素単位で１３音素目とすると、「arayurugenjits」の「ts」が１３音素目と数えられるので、結果的に「あらゆる現実」の「arayurugenjits」までの音声の韻律が、怒りの重み「５」から重み「１」まで、実時間的に滑らかに変化されて合成され、それ以降は重み「１」が維持されることになる。
【００３３】
以上のように、本実施の形態１の音声合成装置によれば、発話スタイルの時間変化をタグとして記述し、しかも、記述時に意図した音韻位置を、タグを挿入することができないような１文字より小さい音声単位（例えば、音素、モーラ、音節）を単位として指定することができる。従って、単語等を単位として発話スタイルの時間変化を表す従来の音声合成装置と比較した場合、（１）発話スタイルの時間変化を指定するための音韻位置を、利用者の意図した音韻位置に、より正確に一致させることができる。さらに、（２）発話スタイルの時間変化を、より滑らかに自然な感じで表現することができるという効果がある。
【００３４】
（実施の形態２）
上記実施の形態１では、「怒り」という１つの感情表現についてのみ音韻列を変形したが、本発明の実施の形態２では、２つの感情表現の変形を混ぜ合わせて音韻列を変形し音声を合成する場合の例について説明する。また、実施の形態１では、モーラ、音節及び音素によって韻律の変更範囲を特定する場合について説明したが、本発明の実施の形態２では、アクセント句を単位として音韻列の範囲を特定する場合について説明する。図７は、本発明の実施の形態２のテキストに付与されたマークアップ言語のタグの一例を示す図である。図７（ａ）は、１つのタグ付きテキストに２つの韻律変更を行なう指示を示し、その変更範囲をアクセント句の単位で数える場合の例を示している。図７（ｂ）は、図７（ａ）に示した漢字かな混じりテキストをアクセント句（acphrase）で表し、合成音声の音韻部分と感情表現の変形との対応を具体的に示している。図７（ｃ）は、図７（ｂ）のように重みが補間され、２つの感情表現の変形が混ぜ合わされたときのそれぞれの重みの時間的変化をグラフで表している。図８は本発明の実施の形態２の音声合成装置の動作を示すフローチャートである。図８において、図３と同じ動作ステップについては同じ符号を用い、説明を省略する。
【００３５】
なお、本実施の形態２の音声合成装置の構成は図１に同様であるので説明を省略する。
本発明の実施の形態２の音声合成装置の動作を詳細に説明する。テキスト入力部２０１は図７の（ａ）に示すマークアップ言語によるタグ付きテキストを入力テキストとして受け付ける。図７の（ａ）のタグ付きテキストは、「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」というテキストについて、（ｂ）に示すように、テキストの第１アクセント句すなわち、「あらゆる」の先頭は怒りの重み５の発話スタイルで表され、第１アクセント句から第３アクセント句まで、すなわち「すべて」まで徐々に怒りの重みが変化し、第３アクセント句の終端では怒りの重み２の発話スタイルとなる。さらに、第２アクセント句すなわち「現実を」の先頭では、笑いの重み０の発話スタイルで表現され、第２アクセント句から第５アクセント句まで徐々に笑いの重みが変化し、第５アクセント句すなわち「捻じ曲げたのだ」の終端では笑いの重み３の発話スタイルになる。すなわち、第２アクセント句から第５アクセント句の間では怒りと笑いの発話スタイルが重みを変えながら混合される複雑な表情の変化が指示されている。
【００３６】
このような入力に対し、図８のフローチャートではステップＳ２００６の過程までは実施の形態１に共通であるので、以降の動作についてのみ説明する。変形位置・変形重み決定部２０７はステップＳ２００６で韻律制御部２０５により生成された音韻列に対応する標準音韻時間長およびポーズ時間長とタグ位置、マークアップ言語解析部２０２で分離されたタグによる指示情報とに基づき、図７の（ｂ）に示すように、アクセント句単位で指定された発話スタイルの時間変化の時間位置について、変化の開始点については指定されたアクセント句の先頭モーラを設定し、変化の終端については指定されたアクセント句の最終モーラを設定する。すなわち、「あらゆる」の「あ」の怒りの重み５からはじまり、「すべて」の「て」の怒りの重み２へ変化し、その後は終点タグのある文末まで怒りの重み２を維持する。一方「現実を」の「げ」の笑いの重み０から「捻じ曲げたのだ」の「だ」の笑いの重みを３に変化する。「現実を」の「げ」から「すべて」の「て」までは怒りの重み、および笑いの重み共に時間的に変化しており、「自分の方へ」の「じ」から一定の重みの怒りの発話スタイルに徐々に重みが変化する笑いの発話スタイルが混合されるよう、変形区間と発話スタイルが設定される。変形区間内の音韻時間長より変形区間の実時間を計算し（Ｓ２１０７）、発話スタイルごとに実時間上で発話スタイルの重みを線形に補間する（Ｓ２１０８）。ステップＳ２１０８で実時間上で補間された重みより、発話スタイルごとに音韻時間長を用いて素片選択単位の中心点と素片接続点での発話スタイルの重みを計算する（Ｓ２１０９）。変換関数選択部２０８はステップＳ２００６で韻律制御部２０５によって生成された基本周波数パタン、振幅パタン、音韻時間長と、ステップＳ２１０７で変形位置・変形重み決定部２０７によって設定された変形区間と区間ごとに指定された発話スタイルに基づいて、標準音声を生成する際に使用される素片を変換するのに最適な変換関数を各素片選択単位ごとに変換関数データベース２０９より抽出する。複数の発話スタイルが指定されている区間にある音韻に対応する素片については指定されているすべての発話スタイルについて該当する変換関数を抽出する。一方素片選択部２１１はステップＳ２００６で韻律制御部２０５によって生成された基本周波数パタン、振幅パタン、音韻時間長と音韻列とに従って、合成しようとする音声の音声合成パラメータ素片を標準素片データベース２１２より抽出する（Ｓ２１１０）。変換関数パラメータ設定部２１０はステップＳ２００９で変形位置・変形重み決定部２０７により発話スタイルごとに計算された素片選択単位の中心点と素片接続点での発話スタイルの重みに基づき変換関数を合成する。複数の発話スタイルに対応して選択された変換関数の組み合わせによっては、合成結果としての変換関数による変換結果が音声として聞き取ることができないような、例えば基本周波数が高すぎて音韻の識別に重要な第１、第２フォルマントの周波数を超えてしまうような音声合成パラメータ列になる可能性がある。変換関数の合成に際し、あらかじめ作成されたパラメータ間の関係を考慮したパラメータ設定可能空間の中で変換関数を合成することにより合成された変換関数で変換された合成音声パラメータによる音声が破綻するのを防止する。上記のようにしてステップＳ２１１０で変換関数選択部２０８により変換関数データベース２０９から素片単位ごとに複数の発話スタイルに対応して選択された変換関数を１つの変換関数に合成し、素変選択単位の中心と素片接続点での変換関数パラメータを設定する（Ｓ２１１１）。音声パラメータ生成部２１３はステップＳ２１１０で素変選択部２１１により選択された音韻列に対応する標準音声を生成する音声合成パラメータと、ステップＳ２００６で生成された基本周波数パタン、振幅パタン、音韻時間長、ポーズ時間長とをステップＳ２１１１で合成され、パラメータ設定された素片単位ごとの変換関数を用いて変換し、タグにより指定された複数の発話スタイルを混合する時間変化を実現する、連続した音声の音声合成パラメータ列を生成する（Ｓ２０１２）。波形生成部２１４はステップＳ２０１２で生成された音声合成パラメータに従って音声波形を合成する（Ｓ２０１３）。
【００３７】
また、図９（ａ）、（ｂ）及び（ｃ）は、本発明の実施の形態２のテキストに付与されたマークアップ言語のタグの変形例を示す図である。図９（ａ）は、テキストを一対のタグで挟んで韻律変更の指示を記述するのではなく、１つのタグに続くテキストの先頭から韻律変更範囲をモーラの単位で数える場合の例を示している。図９（ｂ）は、図９（ａ）に示した漢字かな混じりテキストをモーラで表し、混合される２つの合成音声の音韻部分と表現の変形（男声と女声）との対応を具体的に示している。図９（ｃ）は、図９（ｂ）のように重みが補間され、２つの表現の変形が混ぜ合わされたときのそれぞれの重みの時間的変化をグラフで表している。
【００３８】
変形例の音声合成装置の動作も図８に従って詳細に説明する。
図９の（ａ）のタグ付きテキストは、タグの指示が及ぶ範囲について終端を明示的に示さず、次の同内容のパラメータ変更指示あるいは、リセットの指示が入力されるまで最終の指定が維持される方式をとっている。例えば、＜voice gender=male[5,0]14mora/＞というタグでは、対になる２つのタグでテキストを挟んで発話スタイルの範囲を指定するのではなく、このタグの直後に来るテキストの先頭から、それに続くテキストの14モーラ目までを範囲として指定している。このように指定された範囲では、重み５から始まる男声が重み０に滑らかに変形されることが指示されている。すなわち、「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」というテキストについて、（ｂ）に示すように、発話スタイルのうち話者の性別について図９の（ａ）の１行目のタグでテキストの先頭で男声の重み５の発話スタイルから「あらゆる」の「あ」から14モーラ目に男声の重み０の発話スタイルになるように指定しており、図９の（ａ）の３行目のタグで「すべて」の「す」で女声の重み０の発話スタイルから「すべて」の「す」から15モーラ目で女声の重み５の発話スタイルになるように指定している。すなわち、男性らしい発話スタイルの先頭の「あ」から「現実を」の「を」にかけて徐々に中性的な発話スタイルへと変化していき、さらに「すべて」の「す」からさらに男性らしさが減少すると共に女性らしさが加わっていき、「自分」の「ぶ」でついには男性らしさが消え、その後さらに「捻じ曲げた」の「た」まで徐々に女性らしさが強くなり、「のだ」はそのまま女性らしい発話スタイルで話されるという複雑な話者様態の変化を指示するものである。このような入力に対し、図８のステップＳ２００６の過程までは実施の形態１に共通であるので、以降の動作についてのみ説明する。
【００３９】
変形位置・変形重み決定部２０７は韻律制御部２０５で生成された音韻列に対応する標準音韻時間長およびポーズ時間長とタグ位置、マークアップ言語解析部２０２で分離されたタグによる指示情報とに基づき、図９の（ｂ）に示すように、モーラ単位で指定された発話スタイルの時間変化の時間位置について、変化の開始点についてはタグ直後のテキストの先頭に対応するモーラを設定し、変化の終端については開始点から数えたモーラ数に当たるモーラを設定する。すなわち、１行目のタグに対しては「あらゆる」の「あ」の男声の重み５からはじまり、「自分」の「ぶ」の男声の重み０へ変化し、その後は新たな指定がない限り男声の重みについては０を維持する一方「すべて」の「す」の女声の重み０から「捻じ曲げた」の「た」の女声の重み５に変化し、その後新たな指定がない限り女声の重みについては５を維持する。「すべて」の「す」から「自分」の「ぶ」までは男声の重み、女声の重み共に時間的に変化するよう、変形区間と発話スタイルが設定される。変形区間の実時間を計算し（Ｓ２１０７）、各発話スタイルの重みを線形に補間する（Ｓ２１０８）。さらにステップＳ２１０９で発話スタイルごとに素片選択単位の中心点と素片接続点での発話スタイルの重みを計算する。ステップＳ２１１０で変換関数選択部２０８は素片を変換する変換関数を各素片選択単位ごとに変換関数データベース２０９より抽出し、一方素片選択部２１１は音声の音声合成パラメータ素片を標準素片データベース２１２より抽出する。ステップ２１１１で変換関数パラメータ設定部２１０は発話スタイル重みに基づき変換関数を合成し、パラメータを設定する。ステップＳ２０１２で音声パラメータ生成部２１３が連続した音声の音声合成パラメータ列を生成し、ステップＳ２０１３で波形生成部２１４が音声合成パラメータに従って音声波形を合成する。
【００４０】
かかる変形位置・変形重み決定部２０７でタグによる発話スタイルを混合して実現する時間変化を設定する構成によれば、入力されたアクセント句、呼気段落等の音声の単位で時間位置を記述されたタグ付きテキストに対して、変形位置・変形重み決定部２０７が韻律制御部２０５によってステップＳ２００６で生成された実時間で示された音韻時間長にアクセント句等の音声単位で発話スタイルの時間変化を指示したタグを対応させ、音韻時間長に応じて設定された発話スタイルの時間変化を実現するように変換関数パラメータ設定部２１０で変換関数を合成してパラメータを設定することができる。これにより、音声合成装置ごとにそれぞれに異なる音韻時間長ごとに対応して、アクセント句等の音声の単位で記述された時間位置を、指定された音声単位に実時間軸上で正確に設定することができる。従って、実時間軸上で補間された発話スタイル重みに従って発話スタイルを混合して変換する合成変換関数を作成してパラメータを設定し、適用することができる。そして、標準音声の音声合成パラメータを変換して複数の発話スタイルがあるスタイルから、徐々に他のスタイルへ変化していくような、実時間上で徐々に変化、遷移する音声合成パラメータを生成することにより、滑らかな発話スタイルの変化を表現することができる。すなわち、タグとして記述された発話スタイルの時間変化は音声単位で指定された、記述時に意図した音韻位置を正確に再現することができる。また、タグに指定された発話スタイルに対応する、音声素片単位であらかじめ生成されたスペクトル情報の変換を含む変換関数のパラメータを波形生成時に音声として破綻しない範囲で合成、制御することで時間的に徐々に変化、遷移する発話スタイルの時間変化を韻律のみならず、スペクトル情報も合わせて制御し、タグに指定された発話スタイルの時間的変化を精度よく再現することができる。
【００４１】
なお、本実施の形態において、発話スタイルを混合する際に音声波形が破綻しない範囲のパラメータ空間内で変換関数を合成するとしたが、特開２００３−２３３３８８号公報のように、発話スタイル重みを正規化して発話スタイルの混合比率を設定し、合成変換関数が合成音声が破綻するような極端な変換を行わないように制御するものとしても良い。
【００４２】
（実施の形態３）
上記実施の形態１および実施の形態２では、タグ付きテキストの表現を時間的に滑らかに変形させる場合について説明したが、本発明の実施の形態３ではテキストの一部分だけ臨時的に表現を変形させる方法について説明する。図１０（ａ）、（ｂ）及び（ｃ）は、本実施の形態３のテキストに付与されたマークアップ言語のタグの一例を示す図である。図１０（ａ）は、図９（ａ）に示した記述に加えて、一時的にテキストの一部分の感情表現を変更する場合に、そのテキスト部分を一対のタグで挟んで韻律変更の指示を記述する例を示している。図１０（ｂ）は、図１０（ａ）に示した漢字かな混じりテキストをモーラで表し、混合される２つの合成音声の音韻部分と感情表現の重み変形処理との対応を具体的に示している。図１０（ｃ）は、図１０（ｂ）のように重みが補間および臨時処理され、２つの表現の変形が混ぜ合わされたときの「怒り」の重みの時間的変化をグラフで表している。図１１は、本実施の形態３の音声合成装置の動作を示すフローチャートの一部である。図１１においてはステップＳ２００９までは図３と同じ動作であるので図示及び説明を省略し、さらにＳ２００９以降においても図３と同じ動作ステップについては同じ符号を用い、説明を省略する。
【００４３】
音声合成装置の構成は図１に同様であるので説明を省略する。
テキスト入力部２０１は図１０の（ａ）に示すマークアップ言語によるタグ付きテキストを入力テキストとして受け付ける。図１０の（ａ）のタグ付きテキストは、「あらゆる現実をすべて自分の方へ捻じ曲げたのだ」というテキストについて、（ｂ）に示すように、テキストの先頭は怒りの重み５の発話スタイルで、先頭音韻から、１７モーラ目すなわち「方」の「ー（長音部分）」では怒りの重み０の発話スタイルとなるよう、１７モーラの間に徐々に発話スタイルを変化させることを指示するものである。さらに、その発話スタイルの時間的変化の途中で、設定した時間的変化を指定区間のみ無効とする臨時処理が指定され、「すべて」の区間のみ１行目のタグによって指定された発話スタイルとはかかわり無く、怒りの重み５の発話スタイルを指示するものである。ステップＳ２００１からステップＳ２００８までは、実施の形態１では発話スタイルの時間的変化の終端が先頭から１４モーラ目であったのが、本実施の形態では先頭から１７モーラ目に変わった以外は同様の動作であるので説明を省略し、ステップＳ２００９より詳細を説明する。実施の形態１と同様にステップＳ２００９で、実時間上で補間された重みに基づき、音韻時間長を用いて素片選択単位の中心点と素片接続点での発話スタイル重みを計算する。変形区間内に臨時処理を指示するタグがない場合には（Ｓ２２０１）実施の形態１と同様にステップＳ２０１０からステップＳ２０１３の処理を経て、素片と変換関数を選択し、標準韻律と標準素片を変換関数に従って変換し、音声合成パラメータを生成し、その音声合成パラメータに従って音声波形を合成する。変形区間内に臨時処理を指示するタグがある場合には（Ｓ２２０１）、変形位置・変形重み決定部２０７は臨時処理区間の音韻を特定し（Ｓ２２０２）、臨時処理区間内に発話スタイルの時間変化指定がない場合には（Ｓ２２０３）ステップＳ２２０９で設定された発話スタイルとその重みのうちステップＳ２２０２で特定された臨時処理区間の音韻に対応する音声素片に対応する発話スタイルとその重みを臨時処理で指定されたものと入れ替える（Ｓ２２０６）。臨時処理区間内に発話スタイルの時間変化指定がある場合には（Ｓ２２０３）臨時処理区間の音韻時間長より実時間位置での発話スタイル重みを設定し（Ｓ２２０４）、ステップＳ２２０４で設定した実時間軸上で補間した発話スタイルとその重みを音韻時間長より素片選択単位に変換する（Ｓ２２０５）。ステップＳ２２０５で素片選択単位に変換された発話スタイルとその重みに基づき、ステップＳ２２０９で設定された発話スタイルとその重みのうち臨時処理区間の音韻に対応する音声素片に対応する発話スタイルとその重みを臨時処理で指定されたものと入れ替える（Ｓ２２０６）。図１０の例では、図１０の（ａ）の１行目で指定する発話スタイルの時間変化の変形区間内に指定された臨時処理は時間的変化を含まないため、「あらゆる」の「あ」から「方へ」の「ー」で、徐々に怒りの発話スタイルの重みが減少していく途中、3行目と5行目のタグによって「すべて」のみ怒りの重み５の発話スタイルを維持し、「自分の方へ」で再度１行目のタグの指示する時間的変化に戻るように、発話スタイルとその重みが���片選択単位で設定される。変形位置・変形重み決定部２０７により上記ステップＳ２００９からＳ２２０６のように計算された素片選択単位の中心点と素片接続点での発話スタイル重みに基づいて、実施の形態１と同様に変換関数パラメータ設定部２１０はステップＳ２０１０で変換関数選択部２０８により変換関数データベース２０９から素片単位ごとに選択された変換関数の素変選択単位の中心と素片接続点での変換関数パラメータを設定する。音声パラメータ生成部２１３はステップＳ２０１０で素変選択部２１１により選択された音韻列に対応する標準音声を生成する音声合成パラメータと、ステップＳ２００６で生成された基本周波数パタン、振幅パタン、音韻時間長、ポーズ時間長とをステップＳ２０１１でパラメータ設定された素片単位ごとの変換関数を用いて変換し、タグによりしてされた発話スタイルの時間変化を実現する、連続した音声の音声合成パラメータ列を生成する（Ｓ２０１２）。波形生成部２１４はステップＳ２０１２で生成された音声合成パラメータに従って音声波形を合成する（Ｓ２０１３）。
【００４４】
かかる変形位置・変形重み決定部２０７において発話スタイルの臨時処理を記述したタグに対応する構成によれば、モーラ等の音声の単位で時間位置を記述され、一連の時間変化を行う区間の途中にその連続した変化を一時中断して臨時の処理を行う指示が記述されたタグ付きテキストに対し、変形位置・変形重み決定部２０７で背景となる発話スタイルの変形区間内に臨時処理が含まれるかどうかを判断し、臨時処理区間の発話スタイル重みを設定して背景となる発話スタイル重みの情報と入れ替えることで発話スタイルが実時間上で徐々に変化する途中で、背景となる変化とは独立に指定された発話スタイルを挿入した音声合成パラメータを生成することととなり、時間的変化を指定した区間内に臨時処理を指定する方法を提供することで、比較的広範にわたる変化の中で、局所的な変化を指定することができ、音声の表現のバリエーションは大きくなる。このような臨時処理の指定は音声合成の対象となるテキストと合成された音声の時間位置の関係が明確でなければ不可能である。本発明の音声あるいは言語単位で時間位置を指定する方式であれば、広範な時間変化指定が局所表現の対象となるテキスト中の文字列を含むか否かが、マークアップ言語の記述作業時に確認可能であり、臨時処理の記述による表現が可能になる。
【００４５】
なお、本実施の形態において、臨時処理で指定した発話スタイルと、臨時処理を含む区間において指定した発話スタイルは同じもので、臨時処理は重みの変更のみであったが、臨時処理区間を含む区間において指定した発話スタイルとはまったく異なる発話スタイルを指定し、臨時処理区間を含む区間において指定した発話スタイルおよびその重みの内容を臨時処理区間内のみにおいて無効とするとしても良い。あるいは、臨時処理区間を含む区間において指定した発話スタイルとは異なる発話スタイルを指定し、臨時処理区間を含む区間において指定した発話スタイルおよびその重みの内容に、さらに、臨時処理区間内のみにおいて、指定した発話スタイルを混合するとしてもよい。
【００４６】
（実施の形態４）
上記実施の形態１〜３では、同一の構成により、様々な発話スタイルで音声合成の表現の変形を行う場合について説明したが、以下では、異なる構成により様々な表現の変形を行う場合について説明する。
【００４７】
図１２は、本発明の実施の形態４における音声合成装置の機能ブロック図であり、図１３は本発明の実施の形態４の音声合成装置の動作を示すフローチャートである。
【００４８】
図１２において図１と共通する部分については同一の番号を付与し、説明を省略する。また図１３において図３と共通する動作ステップについても同一の番号を付与し、説明を省略する。
【００４９】
図１２において、本実施の形態の音声合成装置は、相異なる２つの発話スタイルＡ、Ｂに対応し、変形位置・重み決定部によって切り替えまたは混合される２組の韻律パタンデータベース、韻律制御部、混合基準点付き素片データベースおよび合成パラメータ生成部を備え、これら２組の構成から出力される音声合成パラメータが、変形位置・重み決定部からの混合重み変化情報に従ってモーフィングされる装置であり、テキスト入力部２０１、マークアップ言語解析部２０２、言語処理部２０３、辞書２０４、変形位置・重み決定部３０５、スイッチ３０６ａ、スイッチ３０６ｂ、韻律制御部Ａ３０７ａ、韻律制御部Ｂ３０７ｂ、韻律パタンデータベースＡ３０８ａ、韻律パタンデータベースＢ３０８ｂ、合成パラメータ生成部Ａ３０９ａ、合成パラメータ生成部Ｂ３０９ｂ、混合基準点付素片データベースＡ３１０ａ、混合基準点付素片データベースＢ３１０ｂ、モーフィング部３１１、および波形生成部２１４を備える。
【００５０】
変形位置・重み決定部３０５は、言語処理部２０３で生成された音韻列に対応付けられたタグ挿入位置と、マークアップ言語解析部２０２より出力されたタグによる指示情報を入力され、タグの指示とタグ挿入位置と音韻列に基づき発話スタイルの指定を解析する。次いで、音韻列上の区間と発話スタイルの対応を解析し、スイッチ３０６ａとスイッチ３０６ｂとを制御する。さらに、音韻列上で発話スタイルの混合を行う区間を解析し、複数発話スタイルの混合重みを設定する。
【００５１】
スイッチ３０６ａとスイッチ３０６ｂとは変形位置・重み決定部３０５より出力される制御信号によって韻律制御部Ａ３０７ａ、および韻律制御部Ｂ３０７ｂの動作を制御する。
【００５２】
韻律制御部Ａ３０７ａ、韻律制御部Ｂ３０７ｂは、言語処理部２０３により生成されたタグ挿入位置が対応付けられた音韻列、韻律指定情報と言語情報の入力をスイッチ３０６ａ、スイッチ３０６ｂに制御され、スイッチ３０６ａ、スイッチ３０６ｂがつながり、言語処理部２０３からの入力があったときにのみ音韻列、韻律指定情報、言語情報に基づき、それぞれＡ、Ｂの発話スタイルの実音声より生成した韻律パタンデータベースＡ３０８ａ、韻律パタンデータベースＢ３０８ｂを参照して音韻列に対応した基本周波数、振幅、音韻時間長、ポーズ時間長を生成し、タグ挿入位置と対応付けてそれぞれに出力する。
【００５３】
混合基準点付素片データベースＡ３１０ａ、混合基準点付素片データベースＢ３１０ｂは、それぞれの発話スタイルＡ、発話スタイルＢの実音声より生成した音韻ごとの音声合成パラメータと音韻環境、基本周波数、振幅、音韻時間長、言語情報等の属性と、音声をモーフィングする際のパラメータの混合の基準となる点を周波数と素片内の時間位置で示した混合位置情報とを格納している。
【００５４】
合成パラメータ生成部Ａ３０９ａ、合成パラメータ生成部Ｂ３０９ｂは、各々韻律制御部Ａ３０５a、韻律制御部Ｂ３０５ｂで生成された音韻列に対応した基本周波数、振幅、
音韻時間長と言語処理部２０３により生成された言語情報とから、混合基準点付素片データベースＡ３１０ａ、混合基準点付素片データベースＢ３１０ｂをそれぞれに参照して音韻列に対応する音声合成パラメータ素片を抽出する。次いで、音声合成パラメータ素片を接続してそれぞれ発話スタイルＡの音声合成パラメータ列、発話スタイルＢの音声合成パラメータ列を生成し、素片ごとの混合基準点を付与して出力する。
【００５５】
モーフィング部３１１は合成パラメータ生成部Ａ３０９ａ、合成パラメータ生成部Ｂ３０９ｂがそれぞれに生成した発話スタイルの異なる混合基準点付き音声合成パラメータ列を取得し、変形位置・重み決定部３０５で設定された混合区間と混合重み情報に基づき合成パラメータ生成部Ａ３０９ａが生成した発話スタイルＡの音声合成パラメータ列と合成パラメータ生成部Ｂ３０９ｂが生成した発話スタイルＢの音声合成パラメータ列とを混合基準点を対応させてモーフィングし、複数の発話スタイルを混合した音声合成パラメータ列を生成する。波形生成部２１４はモーフィング部３１１で生成された一連の音声合成パラメータに基づき音声波形を生成し、出力する。
【００５６】
次に、上記の構成による音声合成装置の動作を詳細に説明する。実施の形態１と同様に図２の（ａ）に示す入力に対し、ステップＳ２００５の過程までは実施の形態１に共通であるので、以降の動作についてのみ説明する。変形位置・重み決定部３０５はマークアップ言語解析部２０２によって分離された発話スタイルの指示とステップＳ２００５で生成されたタグ位置を記録した音韻列より、タグにより指定された時間位置を音韻列に当てはめ、音韻列上に混合の元となる発話スタイルとその重みを設定する（Ｓ３００６）。変形位置・重み決定部３０５はステップＳ３００６で設定した混合元となる発話スタイルに従って、スイッチ３０６ａ、３０６ｂを接続する（Ｓ３００７）ここでは発話スタイルをＡ、Ｂの２種類のみ図示しているが、さらに多数の発話スタイルを備え、多数の発話スタイルのうち、ステップＳ３００６で設定した発話スタイルの韻律を生成する韻律制御部につながるスイッチを選択して接続するものとする。図２の（ａ）の入力テキストについては、発話スタイルＡを標準スタイル、発話スタイルＢを怒りのスタイルとする。韻律制御部Ａ３０７ａはステップＳ２００４で言語処理部２０３により生成された音韻列と韻律指定情報および言語情報を属性として用いてあらかじめ属性ごとにパラメータが設定された関数により入力音韻列に対応する発話スタイルＡ（標準スタイル）の音韻時間長およびポーズ時間長を設定し、音韻列と韻律指定情報および言語情報の属性により基本周波数と振幅の発話スタイルＡ（標準スタイル）の韻律パタンを韻律パタンデータベースＡ３０８ａより抽出し、さらに属性に基づいて変形を加えて入力音韻列に対応する発話スタイルＡ（標準スタイル）の基本周波数パタン、発話スタイルＡ（標準スタイル）振幅パタンを生成する。一方発話スタイルＢ（怒りのスタイル）についても同様に韻律制御部Ｂ３０７ｂは発話スタイルＢ（怒りのスタイル）の音韻時間長およびポーズ時間長を設定し、発話スタイルＢ（怒りのスタイル）の韻律パタンを韻律パタンデータベースＢ３０８ｂより抽出し、さらに入力音韻列に対応する発話スタイルＢ（怒りのスタイル）の基本周波数パタン、発話スタイルＢ（怒りのスタイル）の振幅パタンを生成する（Ｓ３００８）。合成パラメータ生成部Ａ３０９ａはステップＳ３００８で韻律制御部Ａ３０７ａによって生成された発話スタイルＡ（標準スタイル）の基本周波数パタン、振幅パタン、音韻時間長と音韻列とに従って、合成しようとする音声の音声合成パラメータ素片を発話スタイルＡの素片を格納した混合基準点つき素片データベースＡ３１０ａより抽出し、接続する。同様に合成パラメータ生成部Ｂ３０９ｂはステップＳ３００８で韻律制御部Ｂ３０７ｂによって生成された発話スタイルＢ（怒りのスタイル）の基本周波数パタン、振幅パタン、音韻時間長と音韻列とに従って、合成しようとする音声の音声合成パラメータ素片を発話スタイルＢの素片を格納した混合基準点つき素片データベースＢ３１０ｂより抽出し、接続する（Ｓ３００９）。モーフィング部３１１はステップＳ３００６で変形位置・重み決定部３０５によって設定された混合区間において、ステップＳ３００９で生成された発話スタイルＡ（標準スタイル）と発話スタイルＢ（怒りのスタイル音声合成パラメータ列を素片ごとの混合基準点を対応させ、混合基準点間を時間方向とスペクトル方向に線形に補間し、ステップ３００６で変形位置・重み決定部３０５によって設定された各音韻ごとに設定された混合重みに従ってモーフィングして、混合区間において発話スタイルが徐々に変化する音声合成パラメータ列を生成する。波形生成部２１４はステップＳ３０１０で生成された音声合成パラメータに従って音声波形を合成する（Ｓ２０１３）。
【００５７】
かかる発話スタイルごとの韻律パタンデータベース３０８、混合基準点付き素片データベース３１０とモーフィング部３１１を備えた構成によれば、発話スタイルごとに用意された韻律制御部と韻律パタンデータベース、および合成パラメータ生成部と混合基準点付き素片データベースを選択して韻律生成、素片選択および素片接続を実行し、混合元の発話スタイルの音声合成パラメータ列を生成して、混合重みに従ってモーフィング部３１１で各発話スタイルの音声合成パラメータ列の混合基準点を対応付けてモーフィングすることにより、各発話スタイルごとの音韻時間長設定を混合基準点を用いることで素片単位で
補間することができる。また、スペクトル方向にも混合基準点を用いることで音声パラメータ同士を対応付けて補間することで、複数の発話スタイルの音声合成パラメータを実時間のばらつき、スペクトル特性のばらつきを発話スタイルの特性として抽出して混合し、新しい発話スタイルを自由に生成することができる。
【００５８】
なお、本実施の形態において、図２の（ａ）のような１つの発話スタイルの重みが変化する場合について説明したが、図７の（ａ）のように複数の発話スタイルを混合する際には、本実施の形態で標準スタイルとした発話スタイルＡを笑いの発話スタイル等とし、発話スタイルＢの怒りの発話スタイルと混合するものとすれば良い。
【００５９】
なお、本実施の形態において、２つの発話スタイルA,Bに対応する２組の韻律パラメー
タデータベース、韻律制御部、混合基準点付き素片データベースおよび合成パラメータ生成部を備えるとしたが、３つ以上の発話スタイルに対応する韻律パラメータデータベース、韻律制御部、混合基準点付き素片データベースおよび合成パラメータ生成部の組を備え、スイッチで切り替えるとしてもよい。
【００６０】
なお、本実施の形態において、各混合元の発話スタイルの音声合成パラメータ列の生成に、各発話スタイルを生成する韻律制御部と合成パラメータ生成部とを設けたが、図１４に示すように、韻律制御部と合成パラメータ生成部は単一で、韻律パタンデータベース、混合基準点つき素片データベースが発話スタイルごとに複数個用意されており、韻律制御部と合成パラメータ生成部はこれらのデータベースを切り替えて、各々の発話スタイルの韻律情報、合成パラメータ列を生成し、合成パラメータ記憶部３２０に一時的に記憶し、記憶された複数個の発話スタイルの音声合成パラメータ列をモーフィングするものとしても良い。
【００６１】
（実施の形態５）
本実施の形態の音声合成装置では、混合基準点付き素片データベース内にパラメータ素片を格納しておくのではなく、混合基準点付き素片波形データベースの中に、混合されるべき音声の波形そのものを保持している点が前述の実施の形態と異なる。図１５は、本発明の実施の形態５における音声合成装置の機能ブロック図であり、図１６は本発明の実施の形態５の音声合成装置の動作を示すフローチャートである。
【００６２】
図１５において図１、図１２と共通する部分については同一の番号を付与し、説明を省略する。また図１６において図３、図１３と共通する動作ステップについても同一の番号を付与し、説明を省略する。
【００６３】
図１５において、波形重畳部Ａ４０９a、波形重畳部Ｂ４０９ｂは各々韻律制御部Ａ３
０５a、韻律制御部Ｂ３０５ｂで生成された音韻列に対応した基本周波数、振幅、音韻時
間長と言語処理部２０３により生成された言語情報とから、それぞれの発話スタイルＡ、発話スタイルＢの実音声より生成した音韻ごとの素片波形と音韻環境、基本周波数、振幅、音韻時間長、言語情報等の属性と、音声をモーフィングする際のパラメータの混合の基準となる点を周波数と素片内の時間位置で示した混合位置情報とを格納した混合基準点付素片波形データベースＡ４１０a、混合基準点付素片波形データベースＢ４１０ｂをそれぞれに参照して音韻列に対応する素片波形を抽出し、波形を接続してそれぞれ発話スタイルＡの音声波形、発話スタイルＢの音声波形を生成し、素片ごとの混合基準点を付与して出力する。
【００６４】
スペクトル分析部４１１は波形重畳部Ａ４０９ａと波形重畳部Ｂ４０９ｂがそれぞれに生成した混合基準点を付与した音声波形をスペクトル分析し、モーフィング可能な音声合成パラメータ列に変換する。
【００６５】
モーフィング部３１１は波形重畳部Ａ４０９ａで生成された発話スタイルＡの音声波形と波形重畳部Ｂ４０９ｂで生成された発話スタイルＢの音声波形とについて、変形位置・重み決定部３０５で設定された混合区間と混合重み情報に基づきスペクトル分析部４１１で分析され生成された発話スタイルＡの音声パラメータ列と発話スタイルＢの音声パラメータ列とを混合基準点を対応させてモーフィングし、複数の発話スタイルを混合した音声パラメータ列を生成する。
【００６６】
波形生成部２１４はモーフィング部３１１で生成された一連の音声パラメータに基づき音声波形を生成し、出力する。
【００６７】
次に、上記の構成による音声合成装置の動作を詳細に説明する。実施の形態１と同様に図２の（ａ）に示す入力に対し、ステップＳ２００５の過程までは実施の形態１に共通であり、ステップＳ３００８の過程までは実施の形態２に共通であるので、以降の動作についてのみ説明する。
【００６８】
波形重畳部Ａ４０９ａはステップＳ３００８で韻律制御部Ａ３０７ａによって生成された発話スタイルＡ（標準スタイル）の基本周波数パタン、振幅パタン、音韻時間長と音韻列とに従って、合成しようとする音声の素片波形を発話スタイルＡの素片を格納した混合基準点付素片波形データベースＡ４１０ａより抽出し、接続して音声波形を生成する。
【００６９】
同様に波形重畳部Ｂ３０９ｂはステップＳ３００８で韻律制御部Ｂ３０７ｂによって生成された発話スタイルＢ（怒りのスタイル）の基本周波数パタン、振幅パタン、音韻時間長と音韻列とに従って、合成しようとする音声の素片波形を発話スタイルＢの素片を格納した混合基準点付素片波形データベースＢ４１０ｂより抽出し、接続して音声波形を生成する（Ｓ４００９）。
【００７０】
スペクトル分析部４１１はステップＳ４００９で波形重畳部Ａ、波形重畳部Ｂでそれぞれに生成された発話スタイルＡ（標準スタイル）の音声波形、発話スタイルＢ（怒りのスタイル）の音声波形を分析し、それぞれを発話スタイルＡ（標準スタイル）の音声パラメータ列、発話スタイルＢ（怒りのスタイル）の音声パラメータ列に変換する（Ｓ４０１０）。
【００７１】
モーフィング部３１１はステップＳ３００６で変形位置・重み決定部３０５によって設定された混合区間において、ステップＳ４０１０で生成された発話スタイルＡ（標準スタイル）と発話スタイルＢ（怒りのスタイル）の音声パラメータ列を素片ごとの混合基準点を対応させ、混合基準点間を時間方向とスペクトル方向に線形に補間し、ステップＳ３００６で変形位置・重み決定部３０５によって設定された各音韻ごとに設定された混合重みに従ってモーフィングして、混合区間において発話スタイルが徐々に変化する音声合成パラメータ列を生成する。
【００７２】
波形生成部２１４はステップＳ３０１０で生成された音声パラメータに従って音声波形を合成する（Ｓ２０１３）。
【００７３】
かかる発話スタイルごとに混合基準点付素片波形データベースと波形重畳部とスペクトル分析部を備えた構成によれば、発話スタイルごとに用意された混合基準点付素片波形データベースを選択して、素片波形選択および素片波形接続を実行し、混合元の発話スタイルの音声波形を生成し、波形を分析して音声パラメータ列を生成して、混合重みに従ってモーフィング部３１１で各発話スタイルの音声合成パラメータ列の混合基準点を対応付けてモーフィングすることにより、音声波形のスペクトル分析をしてスペクトル方向にも混合基準点を用いて音声パラメータどうしを対応付けて補間することで、波形重畳方式を採用している音声合成装置であっても複数発話スタイルの実時間のばらつき、スペクトル特性のばらつきを発話スタイルの特性として抽出して混合し、新しい発話スタイルを自由に生成することができる。
【００７４】
なお、本実施の形態において、図２の（ａ）のような１つの発話スタイルの重みが変化する場合について説明したが、図７の（ａ）のように複数の発話スタイルを混合する際には、本実施の形態で標準スタイルとした発話スタイルＡを笑いの発話スタイル等とし、発話スタイルＢの怒りの発話スタイルと混合するものとしても良い。
【００７５】
なお、本実施形態において、２つの発話スタイルA,Bに対応する２組の韻律パラメータ
データベース、韻律制御部、混合基準点付き素片データベースおよび合成パラメータ生成部を備えるとしたが、３つ以上の発話スタイルに対応する韻律パラメータデータベース、韻律制御部、混合基準点付き素片データベースおよび合成パラメータ生成部の組を備え、スイッチで切り替えるとしてもよい。
【００７６】
なお、本実施の形態において、各混合元の発話スタイルの音声波形データの生成に、各発話スタイルを生成する韻律制御部と波形重畳部とを設けたが、図１４において韻律制御部と合成パラメータ生成部は単一で、韻律パタンデータベース３０８ａ、３０８ｂ、３０８ｃ・・・、混合基準点付素片データベース３１０ａ、３１０ｂ、３１０ｃ・・・が発話スタイルごとに複数個用意されていたのと同様に、韻律制御部と波形重畳部が単一で、韻律パタンデータベース、混合基準点付素片波形データべースが発話スタイルごとに複数個用意され、韻律制御部と波形重畳部はこれらのデータベースを切り替えて、各々の発話スタイルの韻律情報、音声波形データを生成し、合成パラメータ記憶部３２０に対応する音声波形記憶部に一時的に記憶し、記憶された複数個の発話スタイルの音声波形を分析して音声パラメータ列に変換し、その音声パラメータ列をモーフィングするものとしても良い。
【００７７】
（実施の形態６）
本実施の形態では、音声合成パラメータの高次ベクトル空間として表される声質空間を変換・回転する変換関数を用いて、発話スタイルコマンドによって指示される音声を合成する場合の一例について説明する。
【００７８】
図１７は、本発明の実施の形態６における音声合成装置の機能ブロック図であり、図１８は本発明の実施の形態６の音声合成装置の動作を示すフローチャートである。
【００７９】
図１７において図１と共通する部分については同一の番号を付与し、説明を省略する。また図１８において図３と共通する動作ステップについても同一の番号を付与し、説明を省略する。
【００８０】
図１７において、変形位置・重み決定部５０５はマークアップ言語解析部２０２によって入力テキストから分離された、タグとして記述されていた指示情報と、言語処理部２０３で生成されたタグ位置が付与された音韻列より音韻列上での変形位置と、発話スタイルの混合重みを決定する。
【００８１】
混合声質空間計算部５０６は標準声質から基本的な発話スタイルへ変換するために音声合成パラメータのベクトル空間として表現される声質空間を変形、回転する変換関数を記憶した、基本変換式データベース５０７を参照し、基本変換式を元に変形位置・重み決定部５０５によって決定された発話スタイルの混合重みに従って基本変換式を混合、合成して制御単位ごとの変換式を生成する。
【００８２】
基本変換式データベース５０７に格納された基本変換式は、標準発話スタイルのベクトル空間から、基本的な発話スタイルごとに実音声によって構成された各発話スタイルのベクトル空間へ変換する式である。
【００８３】
基本変換式は、各発話スタイルのベクトル空間中の実音声を確率統計モデルで表現し、モデル間の変換式としてあらかじめ作成されたものである。声質空間変換部５０８は混合声質空間計算部５０６によって生成された制御単位ごとの変換式により標準声質空間データ５０９を変換し、制御単位ごとの声質空間データを作成する。
【００８４】
変換後声質空間データ記憶部５１０は声質空間変換部５０８で生成された制御単位ごとの声質空間データを蓄積する。韻律生成部５１１は変換後声質空間データ記憶部５１０に蓄積された声質空間データのうち、当該制御単位に対応する制御単位の声質空間において、言語処理部２０３で生成された音韻列、韻律指示情報、言語情報を属性として用いた確率統計モデルにより基本周波数、振幅および、音韻時間長を設定する。
【００８５】
スペクトルパラメータ生成部５１２は変換後声質空間データ記憶部５１０に蓄積された声質空間データのうち、当該制御単位に対応する制御単位の声質空間において、言語処理部２０３で生成された音韻列、言語情報、および韻律生成部５１１で生成された基本周波数、振幅、音韻時間長を属性として用いた確率統計モデルによりスペクトル情報を生成する。波形生成部５１３は韻律生成部５１１で生成された韻律情報とスペクトルパラメータ生成部５１２で生成されたスペクトル情報とに基づき音声波形を合成する。
【００８６】
次に、上記の構成による音声合成装置の動作を詳細に説明する。実施の形態１および実施の形態２と同様に図２の（ａ）あるいは図７の（ａ）に示す入力に対し、ステップＳ２００５の過程までは実施の形態１に共通であるので、以降の動作についてのみ説明する。変形位置・重み決定部５０５はマークアップ言語解析部２０２によって入力テキストから分離された発話スタイル変化に関する指示情報と、言語処理部２０３で生成されたタグ位置が付与された音韻列より音韻列上での発話スタイルの変形位置を設定し、音韻列上で発話スタイル変化あるいは重みを線形に補間し、音韻列上での混合重みあるいは重みの変化を設定する（Ｓ５００６）。
【００８７】
混合声質空間計算部５０６はステップＳ５００６で変形位置・重み決定部５０５によって設定された混合元の発話スタイルへ標準声質空間を変換させる、基本変換式を基本変換式データベース５０７より抽出する。ステップＳ５００６で設定された音韻列上での発話スタイルの変形あるいは重みの変化を時間単位を音声合成時の制御単位に変換し、ステップＳ５００６で決定された発話スタイルの混合重みに従って制御単位ごとに基本変換式データベース５０７より抽出した基本変換式を混合、合成、パラメータ調整して制御単位ごとの変換式を生成する（Ｓ５００７）。
【００８８】
声質空間変換部５０８は混合声質空間計算部５０６によって生成された制御単位ごとの変換式により標準声質空間データ５０９を変換し、制御単位ごとの声質空間データを作成する。作成された声質空間データは変換後声質空間データ記憶部５１０へ蓄積される（Ｓ５００８）。
【００８９】
韻律生成部５１１はステップＳ５００８で変換後声質空間データ記憶部５０９に蓄積された声質空間データのうち、当該制御単位に対応する制御単位の声質空間を抽出し、その声質空間においてステップＳ２００４で言語処理部２０３で生成された音韻列、韻律指示情報、言語情報を属性として用いて確率統計モデルに基づき基本周波数、振幅および、音韻時間長を生成する（Ｓ５００９）。次いでスペクトルパラメータ生成部５１２はステッ
プＳ５００８で変換後声質空間データ記憶部５０９に蓄積された声質空間データのうち、当該制御単位に対応する声質空間において、ステップＳ２００４で生成された音韻列、言語情報、およびステップＳ５００９で韻律生成部５１１によって生成された基本周波数、振幅、音韻時間長を属性として用いて、確率統計モデルに基づいてスペクトル情報を生成する（Ｓ５０１０）。
【００９０】
制御単位ごとに生成されたステップＳ５００９で生成された韻律情報と、ステップＳ５０１０で生成されたスペクトル情報を音声合成パラメータとして波形生成部５１３により音声波形を生成する（Ｓ５０１１）。
【００９１】
かかる混合声質空間計算部５０６、基本変換式データベース５０７、声質空間変換部５０８、標準声質空間データ５０９、および変換後声質空間データ記憶部を備えた構成によれば、標準声質空間を混合元となる発話スタイルの声質空間に変換するための基本変換式を抽出し、発話スタイルの時間変化に合わせて音声合成時の制御単位ごとに基本変換式を混合、合成する。
【００９２】
混合、合成されてできた発話スタイルの変換式により声質空間変換部５０８で標準声質空間を変換する。音声合成時の制御単位ごとに異なる声質空間を生成してこれらを変換後声質空間データ記憶部５１０に記憶して、韻律生成部５１１、スペクトルパラメータ生成部５１２がそれぞれ韻律情報、スペクトル情報を生成する際に該当する制御単位の声質空間を参照して音声合成パラメータを制御単位で生成することにより、韻律情報とスペクトル情報を含む声質空間を変換することで、発話スタイルの変化を韻律のみならず、スペクトル情報も合わせて制御し、タグに指定された発話スタイルの時間的変化を精度よく再現することができる。
【００９３】
なお、本実施の形態において、韻律とスペクトルパラメータを１つの声質空間で表現したが、韻律空間とスペクトル空間等、複数個の空間に分割して変換するものとしても良い。
【００９４】
なお、本実施の形態において、音韻列を単位とした時間軸上で発話スタイル混合比率を補間したが、実施の形態１のように音韻列上に設定した時間位置を実時間に変更し、実時間上で発話スタイル混合比率を補間しても良い。
【００９５】
なお、実施の形態１、実施の形態２、実施の形態３、実施の形態４、実施の形態５において、韻律制御部は音韻ごとの時間長モデルにより音韻時間等とポーズ時間長を決定し、韻律パタンデータベースを参照して、パタン選択と変形によって基本周波数パタン、振幅パタンを生成するとしたが、言語情報や音韻列を属性として用いる確率統計モデルによって基本周波数パタン、振幅パタン、音韻時間長、ポーズ時間長を生成するとしても良い。
【００９６】
なお、実施の形態１、実施の形態２、実施の形態３、実施の形態４、実施の形態５において、音韻列上に設定した時間位置を実時間に変更し、実時間上で発話スタイル重み、発話スタイル混合比率、あるいは変換関数パラメータ混合比率を補間した後、素片単位へ変換して発話スタイルの制御を行ったが、実施の形態６のように音韻列を単位とした時間軸上で発話スタイル重み、発話スタイル混合比率、あるいは変換関数パラメータ混合比率を補間して発話スタイルの制御を行うとしても良い。
【００９７】
図１９は、タグ付きテキストを作成するための処理部を、音声合成装置の内部に備えた場合の構成の一例を示す図である。なお、実施の形態１、実施の形態２、実施の形態３、実施の形態４、実施の形態５、実施の形態６において、図１９に示すように、音声合成の対象となるテキスト本文を作成するテキスト作成部６０１およびテキストの所望の位置に
所定のタグと、タグの属性を挿入してタグ付テキストを作成するタグ作成部６０２を付しても良い。また、これらのテキスト作成部６０１、タグ作成部６０２は音声合成装置の外部部であっても、音声合成装置自身が備えるものであっても良い。
【００９８】
なお、実施の形態１、実施の形態２、実施の形態３において、ステップＳ２０１０で素片選択を行った後にステップＳ２０１１で変換関数パラメータを設定したが、素変選択はステップＳ２００６の韻律生成より後で、かつステップＳ２０１２の音声合成パラメータ素片を変換して音声合成パラメータを生成するより前であれば、いつ行っても良い。
【００９９】
なお、発話スタイルの時間的変化を指定する際の時間単位を、実施の形態１、実施の形態３、実施の形態４、実施の形態５、においてはモーラ、実施の形態２においてはアクセント句、実施の形態６においては特に定めず制御単位としたが、音素、モーラ、音節、アクセント句、ストレス句、フレーズ、呼気段落等の音声単位あるいは文字、形態素、単語、文節、節、文等の言語単位としても良く、特に図５に示すように音節を時間単位としてもよいし、あるいは図６に示すように音素を時間単位としてもよい。
【０１００】
なお、実施の形態１、実施の形態２、実施の形態３、実施の形態４、実施の形態５、実施の形態６において、発話スタイルの重みを線形に補間したが、指数関数、対数関数、シグモイド曲線等、単調増加あるいは単調減少する他の関数を用いてもよい。
【０１０１】
なお、実施の形態１、実施の形態２、実施の形態３において、変換関数のパラメータを設定する時間位置を音声素片単位の中心点を接続点としたが、音声合成装置の制御点として適当なものであればこれ以外の時間位置で変換関数のパラメータを設定するものとしても良い。
【産業上の利用可能性】
【０１０２】
本発明にかかる音声合成用テキスト構造、音声合成方法および音声合成装置は、発話中徐々に発話スタイルが変化する合成音声を指示し、再現する機能を有する音声対話装置等として有用である。またカーナビゲーションシステム、電話による応対システム、電子メールの読み上げ装置、せりふの読み上げ装置等の用途にも応用できる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施の形態１における音声合成装置の機能ブロック図である。
【図２】本発明の実施の形態１における音声合成用テキスト構造とタグによる指示内容の模式図である。
【図３】本発明の実施の形態１における音声合成装置の動作を示すフローチャートである。
【図４】本発明の実施の形態１における音声合成装置での制御時間軸変換の模式図である。
【図５】本発明の実施の形態１における音声合成用テキスト構造の異なる形態とそのタグによる指示内容の模式図である。
【図６】本発明の実施の形態１における音声合成用テキスト構造の異なる形態とそのタグによる指示内容の模式図である。
【図７】本発明の実施の形態２における音声合成用テキスト構造とタグによる指示内容の模式図である。
【図８】本発明の実施の形態２における音声合成装置の動作を示すフローチャートである。
【図９】本発明の実施の形態３における音声合成用テキスト構造とタグによる指示内容の模式図である。
【図１０】本発明の実施の形態３における音声合成用テキスト構造の異なる形態とそのタグによる指示内容の模式図である。
【図１１】本発明の実施の形態３における音声合成装置の動作を示すフローチャートである。
【図１２】本発明の実施の形態４における音声合成装置の機能ブロック図である。
【図１３】本発明の実施の形態４における音声合成装置の動作を示すフローチャートである。
【図１４】本発明の実施の形態４における異なる構成による音声合成装置の機能ブロック図である。
【図１５】本発明の実施の形態５における音声合成装置の機能ブロック図である。
【図１６】本発明の実施の形態５における音声合成装置の動作を示すフローチャートである。
【図１７】本発明の実施の形態６における音声合成装置の機能ブロック図である。
【図１８】本発明の実施の形態６における音声合成装置の動作を示すフローチャートである。
【図１９】タグ付きテキストを作成するための処理部を、音声合成装置の内部に備えた場合の構成の一例を示す図である。
【図２０】従来の音声合成用テキスト構造の模式図である。
【図２１】従来の音声合成装置の機能ブロック図である。
【図２２】従来の音声合成用テキスト構造の模式図である。
【図２３】従来の音声合成用テキストを従来の音声合成装置により合成した際の音声の実時間と音韻列の関係を示した模式図である。
【符号の説明】
【０１０４】
１０１、６０１  テキスト作成部
１０２、６０２  タグ作成部
１０３  タグ付きテキスト
１０４  テキスト入力部
１０５  テキスト解析部
１０６  タグ解析部
１０７  タグ属性解析部
１０８  言語処理部
１０９  音声合成部
１１０  言語辞書
１１１  韻律・波形辞書
２０１  テキスト入力部
２０２  マークアップ言語解析部
２０３  言語処理部
２０４  辞書
２０５、３０７ａ、３０７ｂ  韻律制御部
２０６  標準韻律パタンデータ
２０７  変形位置・変形重み決定部
２０８  変換関数選択部
２０９  変換関数データベース
２１０  変換関数パラメータ設定部
２１１  素片選択部
２１２  標準素片データベース
２１３、３０９ａ、３０９ｂ  合成パラメータ生成部
２１４、５１３  波形生成部
３０５、５０５  変形位置・重み決定部
３０６ａ、３０６ｂ  スイッチ
３０８ａ、３０８ｂ、３０８ｃ  韻律パタンデータベース
３１０ａ、３１０ｂ、３１０ｃ  混合基準点付き素片データベース
３１１  モーフィング部
３２０  合成パラメータ記憶部
４０９ａ、４０９ｂ  波形重畳部
４１０ａ，４１０ｂ  混合基準点付き素片波形データベース
４１１  スペクトル分析部
５０６  混合声質空間計算部
５０７  基本変換式データベース
５０８  声質空間変換部
５０９  標準声質空間データ
５１０  変換後声質空間データ記憶部
５１１  韻律生成部
５１２  スペクトルパラメータ生成部
【図１】
2006227589.tif 000003
【図２】
2006227589.tif 000004
【図３】
2006227589.tif 000005
【図４】
2006227589.tif 000006
【図５】
2006227589.tif 000007
【図６】
2006227589.tif 000008
【図７】
2006227589.tif 000009
【図８】
2006227589.tif 000010
【図９】
2006227589.tif 000011
【図１０】
2006227589.tif 000012
【図１１】
2006227589.tif 000013
【図１２】
2006227589.tif 000014
【図１３】
2006227589.tif 000015
【図１４】
2006227589.tif 000016
【図１５】
2006227589.tif 000017
【図１６】
2006227589.tif 000018
【図１７】
2006227589.tif 000019
【図１８】
2006227589.tif 000020
【図１９】
2006227589.tif 000021
【図２０】
2006227589.tif 000022
【図２１】
2006227589.tif 000023
【図２２】
2006227589.tif 000024
【図２３】
2006227589.tif 000025