(57)【特許請求の範囲】
【請求項１】
音声合成用パラメータを予め第１の記憶手段に記憶しておき、
テキスト置換用の置換情報と、前記第１の記憶手段に記憶されている音声合成用パラメータを特定する情報と、前記特定情報により特定される音声合成用パラメータと他の音声合成用パラメータとの結合方法を指定する音声合成用パラメータ用の加工情報とが含まれる音声合成用テンプレートを予め第２の記憶手段に記憶しておき、
入力情報に含まれるテンプレート情報に基づき第２の記憶手段から音声合成用テンプレートを選択し、
選択した音声合成用テンプレートに含まれる置換情報に基づき音声合成用テンプレートの一部を入力情報に含まれるテキストに置換し、
音声合成用テンプレートに含まれる音声合成用パラメータを特定する情報に基づき第１の記憶手段から第１の音声合成用パラメータを取得し、
置換後の音声合成用テンプレートに含まれるテキストに基づき第２の音声合成用パラメータを生成し、
音声合成用テンプレートに含まれる加工情報で指定された結合方法に基づき第１の音声合成用パラメータ及び第２の音声合成用パラメータを調整及び結合して第３の音声合成用パラメータを生成し、
第３の音声合成用パラメータに基づき合成音声を生成する
ことを特徴とする音声合成方法。
【請求項２】
前記加工情報には、前記第１の音声合成用パラメータと前記第２の音声合成用パラメータとを同一の語句として結合するよう指定する情報を含む
ことを特徴とする請求項１記載の音声合成方法。
【請求項３】
複数の音声合成用テンプレートをカテゴリー別に前記第２の記憶手段に記憶しておき、
音声合成用テンプレートを選択する際には入力情報に含まれるテンプレート情報に基づき一のカテゴリを選択するとともに該カテゴリに属する一の音声合成用テンプレートを選択する
ことを特徴とする請求項１又は２何れか１項記載の音声合成方法。
【請求項４】
音声合成用パラメータを記憶した第１の記憶手段と、
テキスト置換用の置換情報と、前記第１の記憶手段に記憶されている音声合成用パラメータを特定する情報と、前記特定情報により特定される音声合成用パラメータと他の音声合成用パラメータとの結合方法を指定する音声合成用パラメータ用の加工情報とが含まれる音声合成用テンプレートを記憶した第２の記憶手段と、
入力情報に含まれるテンプレート情報に基づき第２の記憶手段から音声合成用テンプレートを選択する手段と、
選択した音声合成用テンプレートに含まれる置換情報に基づき音声合成用テンプレートの一部を入力情報に含まれるテキストに置換する手段と、
音声合成用テンプレートに含まれる音声合成用パラメータを特定する情報に基づき第１の記憶手段から第１の音声合成用パラメータを取得する手段と、
置換後の音声合成用テンプレートに含まれるテキストに基づき第２の音声合成用パラメータを生成する手段と、
音声合成用テンプレートに含まれる加工情報で指定された結合方法に基づき第１の音声合成用パラメータ及び第２の音声合成用パラメータを調整及び結合して第３の音声合成用パラメータを生成する手段と、
第３の音声合成用パラメータに基づき合成音声を生成する手段とを備えた
ことを特徴とする音声合成装置。
【請求項５】
前記加工情報には、前記第１の音声合成用パラメータと前記第２の音声合成用パラメータとを同一の語句として結合するよう指定する情報を含む
ことを特徴とする請求項４記載の音声合成装置。
【請求項６】
前記第２の記憶手段は、複数の音声合成用テンプレートをカテゴリー別に記憶し、
前記音声合成用テンプレートの選択手段は、入力情報に含まれるテンプレート情報に基づき一のカテゴリを選択するとともに該カテゴリに属する一の音声合成用テンプレートを選択する
ことを特徴とする請求項４又は５何れか１項記載の音声合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人−システムのインタフェース（マン・マシン・インタフェース）などに用いられる音声合成方法及び装置に関する。
【０００２】
【従来の技術】
音声による応答は、電話による応答装置や金融機関のＣＤ（現金自動支払装置），ＡＴＭ（現金自動預入支払装置），各種自動販売機，電卓，音声を使ったおもちゃ，コンピュータ，音声対話システム，自動受付システム，ＣＡＩ（コンピュータ支援教育）システムといった幅広い領域で利用されている。ここで用いられている音声としては、予め録音した自然音声、予め録音した音声をつなぎ合わせた音声（録音編集合成音声），日本語文章を規則に従って変換した音声（規則合成音声），音韻記号とＦ０（基本周波数）・継続時間・パワーといった韻律パラメータを操作して合成した音声（パラメータ合成音声），波形編集合成音声などが挙げられる。
【０００３】
【発明が解決しようとする課題】
従来の技術では、上記各種システムにおいて該システムを利用する人間（ユーザ）に対して上述した合成音声による応答を行っていた。ここで、応答音声を生成する場合、例えば予め作成したパラメータ合成音声と規則合成音声（例えば任意性の高い名前や事柄等をテキスト等から合成した音声）を組み合わせて使用する場合には、パラメータ合成音声と規則合成音声のつなぎ目で不自然さが目立つ等、システムの応答として自然で滑らかな音声応答を行うことが困難であった。また、不自然さを避けるために応答音声の全てを予め用意すると、人名など場合によってはその組み合わせの余りの多さが問題になったり、逆に、全てを規則合成音声によってテキスト等から生成すると、機械的とか単調な応答になってしまう点が問題となっていた。
【０００４】
このため、従来の合成音声による音声応答方法や装置では、応答音声の接続が自然で滑らかである多様な応答音声をシステムに対して返すことができなかった。したがって、ユーザに対して機械的であるとか単調な印象・違和感を与えるため、システムを使う気にさせるとか、使って楽しいといったいわゆるユーザフレンドリネスをユーザに与えることが困難であった。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、感情表現など多様な表情をもった自然で滑らかな音声を合成できる音声合成方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本願では、音声合成用パラメータを予め第１の記憶手段に記憶しておき、テキスト置換用の置換情報と、前記第１の記憶手段に記憶されている音声合成用パラメータを特定する情報と、前記特定情報により特定される音声合成用パラメータと他の音声合成用パラメータとの結合方法を指定する音声合成用パラメータ用の加工情報とが含まれる音声合成用テンプレートを予め第２の記憶手段に記憶しておき、入力情報に含まれるテンプレート情報に基づき第２の記憶手段から音声合成用テンプレートを選択し、選択した音声合成用テンプレートに含まれる置換情報に基づき音声合成用テンプレートの一部を入力情報に含まれるテキストに置換し、音声合成用テンプレートに含まれる音声合成用パラメータを特定する情報に基づき第１の記憶手段から第１の音声合成用パラメータを取得し、置換後の音声合成用テンプレートに含まれるテキストに基づき第２の音声合成用パラメータを生成し、音声合成用テンプレートに含まれる加工情報に基づき第１の音声合成用パラメータ及び第２の音声合成用パラメータを調整及び結合して第３の音声合成用パラメータを生成し、第３の音声合成用パラメータに基づき合成音声を生成することを特徴とする音声合成方法を提案する。
【０００７】
本発明によれば、音声合成用テンプレートで特定される予め第１の記憶手段に記憶されている第１の音声合成用パラメータと、音声合成用テンプレートに含まれるテキストから生成される第２の音声合成用パラメータとの双方が、音声合成用テンプレートに含まれる加工情報で指定された結合方法で調整・結合されるので、テキストの内容がどのような語句に置き換わっても第１の記憶手段に記憶している音声合成用パラメータを書き換える作業をすることなく、自然で滑らかな合成音声を得ることができる。
【００１６】
【発明の実施の形態】
本発明の一実施の形態に係る音声合成方法及び装置について図面を参照して説明する。本実施の形態では本発明の音声合成方法及び装置を外部からの入力に対して音声で応答を行う音声応答装置に適用した例を示す。図１は音声応答装置の構成図である。
【００１７】
図１において、１は音声応答装置への入力装置であり、例えばキーボード，マウス・タッチパネル等のポインティングデバイス，他の装置とのインタフェースデバイス等である。入力装置１では、音声応答装置への入力情報から、使用する応答テンプレートの選択基準となるテンプレート情報と、応答テンプレート中のキーワードを置換するためのテキストやファイル名等を出力する。
【００１８】
図１において、２は応答テンプレート選択装置である。この応答テンプレート選択装置２は、入力装置１からのテンプレート情報に基づいて、複数の応答テンプレートセット１０から使用する応答テンプレートセットを選択し、さらに選択した応答テンプレートセット１０の中から指定された応答テンプレート１１を決定する。ここで、応答テンプレートセット１０は、例えば「挨拶」，「質問」，「謝罪」のように応答のカテゴリー別にセットを構成し、例えば応答テンプレートセット１０が「謝罪」であれば、「ごめんなさい。」，「ごめんね。」，「ごめーん。」のように応答テンプレートセット１０毎に複数の応答テンプレート１１を用意している。これにより、同じ内容の応答（同じカテゴリーの内容）でも多様な応答をすることができる。
【００１９】
図１において、３はキーワード置換装置であり、応答テンプレート選択装置２の出力である選択された応答テンプレート１１中のキーワード部分を、入力装置１からの出力であるキーワード置換用のテキストやファイル名等に置換する。例えば応答テンプレート１１に「ＫｅｙＷＤ＿ＮＡＭＥちゃん、こんばんは。」と記述している場合、入力装置１からの「ＫｅｙＷＤ＿ＮＡＭＥ＝”翼”」という置換情報に基づきキーワードの置換を行い、応答テンプレート１１を「翼ちゃん、こんばんは。」と書き換える。このように、応答テンプレート１１中にキーワードを記述し置換することで固定的な応答ではなく多様で柔軟な応答を返すことができる。
【００２０】
図１において、４は応答テンプレート解釈装置である。この応答テンプレート解釈装置４は、キーワード置換装置３の出力に基づいて応答テンプレート１１中に記述された処理内容をテンプレートの先頭から解釈し、応答音声を生成するための処理を制御する。
【００２１】
図１において、５は合成パラメータ生成装置である。この合成パラメータ生成装置５は、応答テンプレート解釈装置４から出力されたキーワード置換済みの応答テンプレート１１の記述に基づいて、応答テンプレート１１中のテキスト及びアクセント記号付きテキストを解析し、応答テンプレート１１中の合成コントロール情報の記述にしたがって、音声を合成するのに必要な音声合成用パラメータの一つである韻律情報と音韻記号を付加した合成パラメータを生成する。
【００２２】
図１において、６は音声セット選択装置である。この音声セット選択装置６は応答テンプレート１１中の音声データのファイル名に該当する部分を音声データセット１３から取得する。音声データセット１２は、例えば波形データや合成パラメータ等の音声合成に必要な音声合成用パラメータが格納されたファイル群で構成される。
【００２３】
図１において、７は合成パラメータ結合装置である。この合成パラメータ結合装置７は、合成パラメータ生成装置５と音声セット選択装置６から出力された各種音声合成用パラメータ及びテンプレート解釈装置４の出力であるコントロール情報に基づいて、各々の合成パラメータ及び波形データを自動的に編集・結合等の加工を行う。
【００２４】
図１において、８は合成音声生成装置である。この合成音声生成装置８は、合成パラメータ結合装置７によって１つにまとめられた音声合成用パラメータである合成パラメータ及び波形データに基づいて合成音声を生成する。合成音声生成装置８で生成された音声は、出力装置９により出力される。
【００２５】
図２は応答テンプレート１１の記述例である。図２の例では、「やあこんにちは、つばさちゃん、元気だった？」という応答音声を生成するための応答テンプレートである。応答テンプレート１１には合成するためのテキストやアクセント記号付きのテキスト及び合成パラメータや波形データの入ったファイル名等（データ）のパラメータ作成情報が、それらの結合方法及び音声を合成する際に指定する音声合成のパラメータ等の指定記述（コントロール情報）とともに記述されている。すなわち、応答テンプレート１１には、合成パラメータ生成装置５及び音声セット選択装置６で音声合成用パラメータの作成に必要なパラメータ作成情報と、合成パラメータ生成装置５及び音声セット選択装置６の各出力を加工（滑らかな結合等）するのに必要な加工情報が記述されている。図２では、応答テンプレートは、括弧内に記述されたコントロール情報（パラメータ加工情報）と、これに続くデータ（パラメータ作成情報）の列で記述されている。なお、図２において、「＃」はコメントを表す記号であり該記号以降の文章に機能的な意味はない。
【００２６】
図２の具体例では、「こんにちは」、「ちゃん」、「だった？」といった予め作成された合成パラメータが格納されたファイル（それぞれファイル名：Ｆｉｒｓｔ．Ｐａｃ，Ｓｅｃｏｎｄ．Ｐａｃ，Ｔｈｉｒｄ．Ｐａｃ）が用意されており、「やあ」、「つばさ」というテキストと「ゲンキ［／０１］」というアクセント記号付きテキストと組み合わせることで音声応答を生成する。この例では、まず「やあ」について語尾の母音を４５０ｍｓに伸ばすと同時に最後のピッチを標準より２５Ｈｚ低くする。次に、Ｆｉｒｓｔ．Ｐａｃ（「こんにちは」）を「やあこんにちは」と一つの単語のように合成するためにＦｉｒｓｔ．Ｐａｃのパラメータを修正する。次いで、「やあこんにちは」と音の高さに歪みが生じないように、「つばさ」の平均ピッチと語全体のピッチの傾を修正し語尾の後のポーズ長を０ｍｓにする。さらに、「やあこんにちは、つばさ」とＳｅｃｏｎｄ．Ｐａｃ（「ちゃん」）を一つの単語のように合成するためにＳｅｃｏｎｄ．Ｐａｃの合成パラメータを修正する。同様に第１モーラにアクセント核のある「ゲンキ［／０１］」とＴｈｉｒｄ．Ｐａｃ（「だった」）を一つの単語のように合成するためにＴｈｉｒｄ．Ｐａｃの合成パラメータを修正し、結合することで応答音声「やあこんにちは、つばさちゃん、元気だった？」を生成する。このように応答テンプレート１１にそれぞれのデータの結合順序と結合方法等（コントロール情報）を細かく記述することで、応答音声の自然で滑らかな接続を実現できる。
【００２７】
図３乃至図６は結合方法等のコントロール情報の一例を示したものである。コントロール情報には主に接頭と語尾、語全体についての指示がある。また、それぞれに、音の高さを決めるピッチと音の大きさを決めるパワー、発話の早さを決める話速についての指示がある。そして、これら指定した値の効果をどのように及ぼすかを定義した形状を指定する（図４参照）。この例では、リニアに効果を及ぼすＴｙｐｅ１と最後に急激に効果を及ぼすＴｙｐｅ２、最初に急激に効果を及ぼすＴｙｐｅ３の３つの形状を示している。また、語頭の前及び語尾の後のポーズ長や２つ以上のデータを１つの語句として結合するためのコントロール情報、男声や女声などの話者、デフォルトの話速等の合成エンジンへの合成パラメータ等がある。
【００２８】
図６で示したコントロール情報の例を簡単に説明すると、Ｅ１のコントロール情報は、語頭のピッチをデータの全体長の３０％の位置で急激に立ち上げ３００Ｈｚにする。Ｅ２のコントロール情報は、語尾のピッチをデータの全体長の２０％の位置からリニアに徐々に下げてデフォルトのピッチより１５Ｈｚ低くする。Ｅ３のコントロール情報はコントロール情報は語尾から数えて２モーラ目からピッチに急減な変化を与え語尾のピッチを２２０Ｈｚにする。Ｅ４のコントロール情報は語尾から数えて最初の母音のピッチに急激な変化を与え語尾のピッチを２２０Ｈｚにする。
【００２９】
次に、この音声応答装置を用いたシステムについて図７を参照して説明する。ここでは、しりとりシステムを例にとって具体的に説明する。まず、しりとりシステムについて説明する。しりとりシステムは、ユーザとシステムとがしりとりを行うシステムである。ユーザは、まず自分の名前を入力し、「乗り物」や「食べ物」といったしりとりのカテゴリーを選択する。システムはユーザが入力したしりとりの単語を、システムが持っている辞書から検索し答えを返す。このようにしてシステムとユーザがしりとりを行う。
【００３０】
このシステムでは、入力装置１による入力される情報は、キーボードから入力されたユーザの文字列，しりとりシステムの辞書から検索された単語，ユーザの名前，しりとりのカテゴリーである。
【００３１】
応答テンプレート選択装置２は、「出たしの言葉が違う」「辞書にない単語である」「前に使った単語である」といったしりとりシステムからの出力イベントに応じて、イベント毎に用意した応答テンプレートセットから応答テンプレートセット１０を選択する。図７にイベント「出だしの言葉が違う」用の応答テンプレートセット１０の例を示す。図７には３つの応答テンプレート１１ａ〜１１ｃが記述されている。なお、図７において「ＲＥＭ」はコメント表す記号であり該記号以降の文章に機能的な意味はない。
【００３２】
このしりとりシステムでは、３つの応答テンプレート１１ａ〜１１ｃの中から１つをランダムに選択して応答を返す。ここでは、応答テンプレート１１ｃを例にとって説明する。
【００３３】
応答テンプレート１１ｃでは、１１＿４．Ｐａｃ（「なんですと？」）の合成パラメータに続けて、「％Ｕ」で示されたキーワードをユーザが入力した単語「ライト」に置換し、単語「ライト」の語尾「ト」の母音の継続時間を２００ｍｓに変更し、ピッチを現在の値から相対的に２００Ｈｚ上昇させる。次に「％ｅ」で示されたキーワードをユーザが入力した単語「ライト」の語尾の１モーラ「ト」で置換し、合成エンジンへのデフォルト話速を１６に設定し、合成パラメータを得た後に「ト」の母音の継続時間長を３００ｍｓに変更することで「トー」にする。このとき「トー」の後のポーズを０ｍｓにする。これを３回行う。そして、１３＿１１＿１．Ｐａｃ（「あれ？あれあれ？と思ったけど、出だしが違うよ。」）と単純に結合した後、「％Ｅ」で示されたキーワードを、システムが前回出力した単語の最後の１モーラである「ナ」で置換し、６＿２＿２．Ｐａｃ（「で始まるはずだよ。もう一回考え直し。」）と接続する。応答テンプレートの処理は、キーワード置換装置３，テンプレート解釈装置４，合成パラメータ生成装置５，音声セット選択装置６，合成パラメータ結合装置７，そして合成音声生成装置８でそれぞれ行われ、応答音声「なんですと？ライト？トートートー、あれ？あれあれ？と思ったけど、出だしが違うよ。ナで始まるはずだよ。もう一回考え直し。」が生成される。
【００３４】
このように、予め韻律を調整して感情表現などを行った合成音声を部品とした音声セットを構築しておき、応答テンプレートセットで用いることで、多様な応答が行える。そして、応答テンプレートに合成パラメータのファイル名やテキスト、アクセント記号付きテキスト等の個々のデータの接続方法を細かく記述することで、それぞれの接続が自然で滑らかな応答音声を生成できる。また、応答テンプレート中にキーワードを記述した後で応答音声を生成するときに前記テキスト等で置換することにより、応答音声の一部を任意に変えることができ任意の応答を生成できる。これにより、システムに対して、機械的であるとか単調な印象や接続の不自然さによる違和感といったもの与えるような音声を提供することがない。したがって、ユーザに対して、システムを使って楽しいとか、システムを使う気になるといった、いわゆるユーザフレンドリなインタフェースを提供することができる。
【００３５】
【発明の効果】
以上詳述したように、本発明によれば、音声合成用テンプレートで特定される予め第１の記憶手段に記憶されている第１の音声合成用パラメータと、音声合成用テンプレートに含まれるテキストから生成される第２の音声合成用パラメータとの双方が、音声合成用テンプレートに含まれる加工情報で指定された結合方法で調整・結合されるので、テキストの内容がどのような語句に置き換わっても第１の記憶手段に記憶している音声合成用パラメータを書き換える作業をすることなく、自然で滑らかな合成音声を得ることができる。
【図面の簡単な説明】
【図１】音声応答装置の構成図
【図２】応答テンプレートの例を説明する図
【図３】コントロール情報の例を説明する図
【図４】コントロール情報における形状指定の例を説明する図
【図５】コントロール情報における各項目の例を説明する図
【図６】コントロール情報の例を説明する図
【図７】しりとりシステムにおける応答テンプレートセットの例を説明する図
【符号の説明】
１…入力装置、２…応答テンプレート選択装置、３…キーワード置換装置、４…応答テンプレート解釈装置、５…合成パラメータ生成装置、６…音声セット選択装置、７…合成パラメータ結合装置、８…合成音声生成装置、９…出力装置、１０…応答テンプレートセット、１１…応答テンプレート、１２…音声データセット
【図１】
0003578961.tif 000002
【図２】
0003578961.tif 000003
【図３】
0003578961.tif 000004
【図４】
0003578961.tif 000005
【図５】
0003578961.tif 000006
【図６】
0003578961.tif 000007
【図７】
0003578961.tif 000008