(57)【要約】【課題】所望の韻律を有する音声信号を生成可能な音声合成装置を提供する。【解決手段】音声合成システム４０は、入力テキストを前処理して、プレーンテキスト、時間情報を伴う音節のシーケンス、及び音節シーケンス中のそれらの位置を伴うマークアップタグを出力するテキスト前処理ユニット３２と、各音節のパワー及び音の持続時間を生成し、かつ中立の韻律モデリングを利用してＦ０概形を生成する韻律モデリングユニット４２と、マークアップされた音節に対応するＦ０概形の部分がマークアップタグにしたがって修正されるようにＦ０概形を再構築する韻律再構築ユニット４４と、韻律モデリングユニット４２から受けたパワーを有し、韻律再構築ユニット４４によって再構築されたＦ０概形を有する音声信号を合成するためのシンセサイザとを含む。【選択図】        図１
2008275698.tif 000002
【特許請求の範囲】
【請求項１】
予め規定されたマークアップタグによってマークアップされたテキストから音声信号を生成するための音声合成装置であって、
前記テキストを前処理して、プレーンテキストと、前記プレーンテキストに対応する、それぞれの発話の時間情報を備えた音節シーケンスと、前記音節シーケンスにおけるそれらの位置と併せたマークアップタグと、を出力するための前処理手段と、
前記前処理手段によって出力された前記音節の各々についての発話パワー及び音の持続時間を生成し、さらに、韻律モデリングを利用して前記プレーンテキストについての音声信号のＦ０概形を生成するための生成手段と、
前記前処理手段と前記生成手段とから、前記マークアップタグと前記Ｆ０概形とをそれぞれ受けるように接続され、音節のうちマークアップされた部分に対応するＦ０概形の部分がマークアップタグにしたがって修正されるように、前記Ｆ０概形を再構築するための再構築手段と、
前記生成手段から出力された前記音節のシーケンスにしたがって、前記生成手段から受けたパワーと音の持続時間とを有し、前記Ｆ０概形が前記再構築手段によって再構築された音声信号を合成するための手段とを含む、音声合成装置。
【請求項２】
前記再構築手段は、
前記生成手段から出力されたＦ０概形から予め定められた数のターゲット点を選択するための選択手段を含み、前記ターゲット点は前記Ｆ０概形上で前記Ｆ０概形の傾き方向が変わる点であり、
前記再構築手段はさらに、
前記時間情報を利用して、前記ターゲット点の各々を前記音節シーケンス内の音節の一つに関連づけるための手段と、
前記マークアップタグ、前記音節シーケンスにおけるそれらの位置、及び前記マークアップタグの種類にしたがって、前記Ｆ０概形に適用すべき潜在スケール関数を生成するための手段と、
前記潜在スケール関数を前記Ｆ０概形に重畳させるための手段と、を含む、請求項１に記載の音声合成装置。
【請求項３】
前記選択手段は、
前記生成手段から出力された前記Ｆ０概形からターゲット点候補を選択するための手段を含み、前記ターゲット点候補は前記Ｆ０概形上でＦ０概形の傾き方向が変わる点であり、
前記選択手段はさらに、
予め選択された関数と前記ターゲット点候補とによって前記Ｆ０概形を近似するための手段と、
前記ターゲット点候補の数が、前記音節シーケンス中の音節の数の関数として定められる数に等しくなるまで、前記ターゲット点が一つ削除されるたびに前記Ｆ０概形と前記予め選択された関数との間の予め定められた誤差尺度が最小になるように、前記ターゲット点候補のいくつかを削除するための手段と、を含む、請求項２に記載の音声合成装置。
【請求項４】
前記予め定められた誤差尺度は、前記Ｆ０概形と前記予め選択された関数との間の二乗誤差の和である、請求項３に記載の音声合成装置。
【請求項５】
前記潜在スケール関数を生成するための手段は、
前記音節シーケンス中の隣接する音節間の遷移点を決定するための手段と、
前記音節シーケンス中の前記音節に割当られたマークアップタグにしたがって、前記遷移点の各々に潜在スケール値を割当てるための手段と、
前記遷移点とそのそれぞれの潜在スケール値とによって決定された点による区分的な直線の連結として前記潜在スケール関数を生成するための手段と、を含む、請求項３又は請求項４に記載の音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は対話的音声合成における韻律生成のための装置及び方法に関する。より特定的には、この発明は、既存の韻律モデルによって合成された中立な韻律を再構築して、発話に意味の要素を補足する韻律とするための装置及び方法に関する。
【背景技術】
【０００２】
音声合成技術は、人と機械との相互作用のために自然なモダリティを提供する。現在、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ：隠れマルコフモデル）ベースの音声合成技術を用いて、ＸＩＭＥＲＡ（非特許文献１）等の音声合成システムがかなり高品質の合成音声を達成している。一方で、ユーザが既存の何らかのＴＴＳ（Ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ：テキスト・トゥー・スピーチ）システムを人と機械との対話に用いると、ユーザは会話の「相手」が対話の背景とほとんど独立した韻律制御によるモードで動かされている機械であることを、否応なく認識させられる。
【０００３】
問題となるのは、合成音声が単調なことである。単調な合成音声は、意図した対話の機能を達成するには不十分である。
【０００４】
単調な合成音声というこの根本的な制約のために、音声合成技術の潜在的な普及の可能性が阻害されてきた。現在の音声合成技術に存在するこの問題を克服するために、又は合成音声がより表現力豊かに聞こえるようにするために、特にＦ０概形に焦点を当てて、イントネーションの変調を操作するための適切な技術を開発する必要がある。
【非特許文献１】河井恒 他、「大規模コーパスを用いた音声システムＸＩＭＥＲＡ（"XIMERA:  a  concatenative  speech  synthesis  system  with  large  scale  corpora"）」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８９−Ｄ，Ｎｏ．１２、２６８８−２６９８、２００６年１２月。
【非特許文献２】Ｊ．ニ及びＫ．ヒロセ、２００６。「マンダリン音声の発声基本周波数概形の定量的かつ構造的モデリング」音声コミュニケーション、４８（８）、９８９−１００８。  （J.  Ni  and  K.  Hirose,  2006.  “Quantitative  and  structural  modeling  of  voice  fundamental  frequency  contours  of  speech  in  Mandarin,”  Speech  Communication,  48  (8),  989−1008.）
【非特許文献３】Ｊ．ニ、Ｈ．カワイ及びＫ．ヒロセ、２００６。「マンダリンの声調とイントネーションの分離と組合せのための制約の課された声調変換技術」アメリカ音響学会誌、１１９（３）、１７６４−１７８２。  （J.  Ni,  H.  Kawai,  and  K.  Hirose,  2006.  “Constrained  tone  transformation  technique  for  separation  and  combination  of  Mandarin  tone  and  intonation,”  J.  Acoust.  Soc.  Am.,  119  (3),  1764−1782.）
【非特許文献４】倪  晋富（J.  Ni）、中村哲、「Ｆ０パターンの自動推定と目標点の抽出（“Automatic  F0  contour  fitting  and  tonal  target  extraction"）」、電子情報通信学会技術研究報告、ＳＰ２００６−９７，７１−７６．２００６。）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
発話の韻律は、コミュニケーションの過程に表現上の次元を付加する。韻律的な特徴、すなわち基本周波数（Ｆ０）、持続時間及びパワーを修正することで、話者（例えば音声シンセサイザ）はその発話に、テキスト中に明示的に含まれてはいない意味の要素を補足することができる。例えば、「これが私の話の要点だ」：「本気でいっているのではない」：「この単語を強調したい」：「丁寧にお願いしている」等である。
【０００６】
韻律的特徴の対話における価値は、人の日常の音声対話では広く用いられているように、同じテキストを多くのいろいろな言い方で言うことができるということから明らかである。
【０００７】
しかし、従来の音声合成システムではこのような特徴を提供することはできなかった。
【０００８】
したがって、この発明の目的の一つは、所望の韻律を有する音声信号を生成することが可能な音声合成装置を提供することである。
【０００９】
この発明の別の目的は、所望のＦ０概形を有する音声信号を生成することが可能な音声合成装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明の一局面にしたがえば、予め規定されたマークアップタグによってマークアップされたテキストから音声信号を生成するための音声合成装置は、テキストを前処理して、プレーンテキストと、プレーンテキストに対応する、それぞれの発話の時間情報を備えた音節シーケンスと、音節シーケンスにおけるそれらの位置と併せたマークアップタグとを出力するための前処理手段と、前処理手段によって出力された音節の各々についての発話パワー及び音の持続時間を生成し、さらに韻律モデリングを利用してプレーンテキストについての音声信号のＦ０概形を生成するための生成手段と、前処理手段と生成手段とから、マークアップタグとＦ０概形とをそれぞれ受けるように接続され、音節のうちマークアップされた部分に対応するＦ０概形の部分がマークアップタグにしたがって修正されるように、Ｆ０概形を再構築するための再構築手段と、生成手段から出力された音節のシーケンスにしたがって、生成手段から受けたパワーと音の持続時間とを有し、Ｆ０概形が再構築手段によって再構築された音声信号を合成するための手段とを含む。
【００１１】
好ましくは、再構築手段は、生成手段から出力されたＦ０概形から予め定められた数のターゲット点を選択するための選択手段を含んでもよく、ターゲット点はＦ０概形上でＦ０概形の傾き方向が変わる点である。再構築手段はさらに、時間情報を利用して、ターゲット点の各々を音節シーケンス内の音節の一つに関連づけるための手段と、マークアップタグ、音節シーケンスにおけるそれらの位置、及びマークアップタグの種類にしたがって、Ｆ０概形に適用すべき潜在スケール関数を生成するための手段と、潜在スケール関数をＦ０概形に重畳させるための手段とを含む。
【００１２】
さらに好ましくは、選択手段は、生成手段から出力されたＦ０概形からターゲット点候補を選択するための手段を含む。ターゲット点候補はＦ０概形上でＦ０概形の傾き方向が変わる点であってもよい。選択手段はさらに、予め選択された関数とターゲット点候補とによってＦ０概形を近似するための手段と、ターゲット点候補の数が、音節シーケンス中の音節の数の関数として定められる数に等しくなるまで、ターゲット点が一つ削除されるたびにＦ０概形と予め選択された関数との間の予め定められた誤差尺度が最小になるように、ターゲット点候補のいくつかを削除するための手段とを含む。
【００１３】
予め定められた誤差尺度は、Ｆ０概形と予め選択された関数との間の二乗誤差の和であってもよい。
【００１４】
さらに好ましくは、潜在スケール関数を生成するための手段は、音節シーケンス中の隣接する音節間の遷移点を決定するための手段と、音節シーケンス中の音節に割当られたマークアップタグにしたがって、遷移点の各々に潜在スケール値を割当てるための手段と、遷移点とそのそれぞれの潜在スケール値とによって決定された点による区分的な直線の連結として潜在スケール関数を生成するための手段とを含む。
【発明を実施するための最良の形態】
【００１５】
［第１の実施の形態］
この実施の形態はＴＴＳにおける中立の韻律を再構築するための装置に関するものであり、特に既存のＴＴＳエンジンによって、より特定的には既存の（中立の）韻律生成モデルによって、予測される合成基本周波数（Ｆ０）概形に焦点を当てたものである。図１は韻律再構築モジュールが従来のＴＴＳシステムにどのように組込まれるかを示す図である。
【００１６】
この実施の形態は、ＸＩＭＥＲＡ（非特許文献１）で採用されているＨＴＳ（ＨＨＭ−ｂａｓｅｄ  Ｓｐｅｅｃｈ  Ｓｙｎｔｈｅｓｉｓ  Ｓｙｓｔｅｍ：ＨＨＭベースの音声合成システム、http://hts.ics.nitech.ac.jp/を参照）と、制約付声調変換技法（非特許文献３）等の既存の韻律モデリングとの両者を組合せてイントネーションの変調を行なう、韻律再構築の新規なアプローチを取扱う。
【００１７】
既存の韻律モデリングは、現在のＴＴＳシステムから明確に理解されるように、良好な中立の韻律を提供可能であり、したがってイントネーションの変調は、マークアップテキスト中に定義されている一組の追加のタグによって特定される、意図されたコミュニケーション機能に焦点を当てることになる。
【００１８】
この実施の形態は、意図したコミュニケーション機能を与えつつ、既存のＴＴＳシステムに韻律制御の制御可能なモードを付加することを目的とする。これによって、現在のＴＴＳシステムにおける単調なスタイル（すなわち中立な韻律）という根本的な制約に対する、有望な解決策が提供されるであろう。
【００１９】
図１を参照して、この実施の形態のＴＴＳシステム４０は、特定のマークアップタグでマークアップされた入力テキストを前処理して、テキスト中に明示的には含まれていない意図されたコミュニケーション値を発話に補足し、発話の時間情報、文脈情報及びマークアップタグを備えたプレーンテキストを出力するためのテキスト前処理ユニット３２と、プレーンテキストから（中立の）韻律パラメータ（パワー、音の持続時間、及びＦ０概形）を生成するための韻律モデリングユニット４２と、Ｆ０概形のうち入力テキストのマークアップされた部分に対応する部分がマークアップタグで示された潜在スケールにしたがって修正されるか又は変調されるように、マークアップタグを用いてＦ０概形を再構築するための韻律再構築ユニット４４と、韻律モデリングユニット４２からのパワー及び音の持続時間と、韻律再構築ユニット４４からの再構築されたＦ０概形とに基づいて、音声を合成するためのコーパスベースの音声シンセサイザ５２とを含む。音声シンセサイザ５２はパワーと、音の持続時間と、所与のＦ０概形とを用いて音声を生成する従来のものでよい。
【００２０】
大まかに言えば、テキスト前処理ユニット３２は何を言うべきかを決定し、韻律モデリングユニット４２と韻律再構築ユニット４４とはテキスト前処理ユニット３２が決定したものをどのように表現するかを決定する。
【００２１】
図１を参照して、韻律モデリングユニット４２はＨＴＳ等の既存の韻律モデルを含み、これは入力（プレーン）テキストから（中立の）韻律パラメータを生成する。これ以降、合成されたＦ０概形を＾Ｆ０（ｔ）と称する（ここで「＾」の記号は本来文字の上に付されるものである）。合成された中立の韻律は、（プレーン）テキストに明示的に含まれる意味の要素、例えば語彙的及び統語論的要因で発話を構成する責任を負うものである。
【００２２】
この実施の形態では、韻律再構築ユニット４４は余分のマークアップタグにしたがったイントネーション変調で、合成された中立の韻律を再構築し、テキスト中に明示的には含まれていない、意図されたコミュニケーション値で発話を補足する。この余分のマークアップタグはしたがって、意図されたコミュニケーション機能を特定するものと仮定される。
【００２３】
図２は韻律再構築ユニット４４の概略図である。図２を参照して、韻律再構築ユニット４４は、元になるターゲット点（すなわち声調Ｆ０の山と谷）を非特許文献４に記載されたＦ０概形自動当てはめのアルゴリズムを用いて＾Ｆ０（ｔ）から抽出するためのターゲット点抽出モジュール７０と、時間情報を利用して、合成すべき音声の音節にターゲット点の各々を関連づけるためのターゲット点関連モジュール７２と、マークアップタグの種類を反映した潜在スケールを生成するための潜在スケール生成モジュール７４と、潜在スケール生成モジュール７４によって生成された潜在スケールを、ターゲット点抽出モジュール７０によって生成された合成Ｆ０概形に重畳して、再構築されたＦ０概形を出力するための重畳モジュール７６とを含む。
【００２４】
Ｆ０概形を再構築する方法は、ターゲット点抽出モジュール７０、ターゲット点関連モジュール７２、潜在スケール生成モジュール７４、及び重畳モジュール７６でそれぞれ実行される、４つのステップ１〜ステップ４を含む。ステップ１〜ステップ４の各々を以下で説明する。
【００２５】
ステップ１：ステップ１では、ターゲット点抽出モジュール７０が、非特許文献４に記載されたＦ０概形の自動当てはめのアルゴリズムを用いて、元となるターゲット点（すなわちＦ０の山と谷）を抽出する。ターゲット点はＦ０概形を最適に記述する、予め選択された関数を特徴づける代表的な点である。中国語の四声（第一声から第四声）におけるターゲット点の例を図３に示す。ターゲット点は、声調を持つ発話のＦ０概形における山（Ｐ１１、Ｐ１２、Ｐ２２、Ｐ３１、Ｐ３２、及びＰ４１）と谷（Ｖ２１、Ｖ３１及びＶ４１）とに対応する。この実施の形態では、中国語の声調は各々２個のターゲット点を持つと仮定される。
【００２６】
このアルゴリズムの主な手順を図４に簡単に例示する。技術的には、これらのターゲットはＦ０概形の機能的モデルに基づく最適な近似＾Ｆ０（ｔ）を表すのに用いられるだけでなく、＾Ｆ０（ｔ）に対する、元となる韻律の寄与を特定するものでもある。
【００２７】
これ以降、合成されたＦ０概形に関連するｎ個のターゲット点を（ｔｉ，ｆｏｉ），ｉ＝１，…，ｎとし、ここでｔｉは時間を秒で表し、ｆ０ｉは基本周波数をＨｚで表す。
【００２８】
図４を参照して、この手順は、所与のＦ０概形と、仮定されたターゲット数ｎ（ｎは音節の数に音節ごとのターゲット点数を乗じたものに等しい）とを受けるステップ１００と、所与のＦ０概形中でターゲット候補（ｔｉ，ｆｏｉ），ｉ＝１，…，Ｊ（Ｊ：候補数）を見出すステップ１０２と、ステップ１０２に続いて、パラメータＫｉを推定するステップ１０４とを含む。ここで、パラメータＫｉは、この実施の形態において内挿部が発話されている間の、ｉ番目のターゲット点におけるＦ０概形の降下処理を遅延させるために導入されるものである。この実施の形態では、内挿はポアソン過程を用いて行なわれるので、Ｆ０降下の遅延が可能である。パラメータＫｉの詳細は後述する。
【００２９】
ターゲット候補は図４のボックス１０２の横に示した点である。すなわち、候補は、Ｆ０概形が傾き方向を換える点、例えば上昇から水平へ、上昇から降下へ、水平から上昇へ、水平から下降へ、下降から上昇へ、さらに下降から水平へ、という点である。
【００３０】
この手順はさらに、最大数Ｊがｎ＋１より小さいか否かを判定し、判定の結果に応じて分岐するステップ１０６と、Ｊ＜ｎ＋１であると判定されたときに実行され、ターゲット点（ｔｉ，ｆ０ｉ），ｉ＝１，…，ｎ、とＫｉとを出力するステップ１１２と、ステップ１０６で最大数Ｊがｎ＋１より小さくないと判定されたときに実行され、ターゲット点の一つを削除して、近似された概形とターゲットのＦ０概形との削除後の絶対二乗誤差の和が最小となるようにするステップ１０８と、ステップ１０８に続いて、パラメータＫｉを再推定し、変数Ｊの値をＪ−１と設定し、ステップ１０６に戻るステップ１１０とを含む。
【００３１】
ここでは、非特許文献２の機能的Ｆ０概形モデルを用いてＦ０概形を表し、イントネーション変調の動作を実現する。このモデルによれば、時間ｔの関数であるＦ０概形Ｆ０（ｔ）は、λ（≧１）において正規化された区間[λｂ，λｔ]から音声区間[ｆ０ｂ,ｆｏｔ]（Ｈｚでの最低及び最高周波数）への局所成分Λ（ｔ）のスケール変換として定式化される。
【００３２】
図７はこの機能的Ｆ０概形モデル２００の概略ブロック図である。図７を参照して、数学的に言えば、モデル２００は、音声区間が[ｆ０ｂ,ｆｏｔ]であり潜在スケールが（ζ（ｔ））でありλ（ｔ）が正規化された区間[λｂ，λｔ]であるＦ０概形を、以下の式を用いて変換する。
【００３３】
【数１】
2008275698.tif 000003
これは物理的には強制振動（共振曲線としても知られる）の振幅増幅率を意味する。すなわちλは二乗振動数率でありζは減衰比（ζ２＜０．５）である。潜在スケールζ（ｔ）が導入されるのは、Ｆ０における声調とイントネーションとの相互作用に対処するためである。Ｆ０概形を当てはめる際、ζ（ｔ）はζ０に固定される。以後の記載においては、ζ０＝０．１５６、λｔ＝１、λｂ＝２である。これによってλ及びζの値が与えられればｆ０∈[ｆ０ｂ,ｆｏｔ]を計算することが可能になる。さらに、ｆ０とζ０とが与えられれば、λを解くことも可能である。簡潔に言えば、以後の記載では、ｆ０＝Ｃ（λ,ζ）と表し、ｆ０をλ∈[λｂ，λｔ]及びζ（ζ２＜０．５）から計算し、λ＝Ｓ（ｆ０,ζ０）と表し、λを所与の[ｆ０ｂ,ｆｏｔ]についてｆ０とζ０とから解くこととする。
【００３４】
したがって、Ｆ０（ｔ）又はΛ（ｔ）が（ｔｉ，ｆ０ｉ）又は（ｔｉ，λｉ），λｉ＝Ｓ（ｆ０ｉ，ζ０）,ｉ＝１，…，ｎで示されるこれらターゲット点による最も適切な概形である。Λｉ（ｔ）をｉ番目のターゲット点と次の点との遷移を示すものとする。デフォルトのターゲット（ｔ０，λ０）を、ｔ０＝０とする。ここでｔ１＞０である。λ０＝λ１かつｔｎ＋１＝∞とする。
【００３５】
先行技術の業績（非特許文献２）と比較して、この実施の形態ではこれらターゲット点間の内挿に、ポアソン過程を考慮した改良されたものを利用している。この結果、先に述べた新たなモデルパラメータＫｉがｉ番目のターゲット点に導入され、内挿部が発話されている間に降下過程を遅延させる。これを図５に示す。
【００３６】
図５を参照して、Ｆ０概形の下りスロープ１２０は、ｉ番目のターゲット点１２２のパラメータＫｉにより、概形１２４、１２６及び１２８で示されるように右に移動させることができる。すなわち、ターゲット点はこうして、必要であればターゲット線として作用することが可能である。
【００３７】
この場合、Λ（ｔ）は以下のように表される。
【００３８】
【数２】
2008275698.tif 000004
ステップ２：ターゲット点関連モジュール７２では、ターゲット点が元となる音節と関連付けられる。これは基本的には音節の境界（すなわち音節間の遷移）とｎ個のターゲット点のタイミングとに基づいて行なわれる。マンダリンでは、例えば一つの音節は通常２個のターゲット点に関連する語彙声調を含む（非特許文献３）。ターゲットのタイプ（山か谷か）は、声調のタイプにより、簡単な規則を用いて判断される。ターゲットのタイプは次のステップで用いられる。
【００３９】
図６を参照して、ターゲット点の個数ｎが１０であると仮定する。これは、マンダリンの場合、発話が５個の音節１８０、１８２、１８４、１８６及び１８８を含むことを意味する。一連の音節１４２とその発話におけるタイミングとが、テキスト前処理ユニット３２と韻律モデリングユニット４２とから与えられる。したがって、ターゲット点抽出モジュール７０によって抽出されたＦ０概形１４０が５個のターゲット点対１５０と１５２、１５４と１５６、１５８と１６０、１６２と１６４、及び１６６と１６８を含むと仮定すれば、これらの対はそれぞれ音節１８０、１８２、１８４、１８６及び１８８に関連付けられる。
【００４０】
ステップ３：潜在スケール生成モジュールで実行されるζ（ｔ）による潜在スケール生成は、これらターゲット点ｉ＝１，…，ｍに沿った、より疎に整列した（ｔｉ，ζｉ）による区分的な直線の連結であると仮定される。ただしｍは選ばれたターゲットの数（ｍ≦ｎ）である。ｔｉ≦ｔ≦ｔｉ＋１について、ζ（ｔ）＝（ζｉ＋１−ζｉ）／（ｔｉ＋１−ｔｉ）である。パラメータζｉは入力されたマークアップタグに関して計算される（又は内挿される）。変化がないと仮定されると、全てのζｉはデフォルトの値ζ０（＝０．１５６）をとる。ターゲットのζｉの値をマニュアルで与えてもよい。
【００４１】
ステップ４：潜在スケールζ（ｔ）の合成Ｆ０概形＾Ｆ０（ｔ）への重畳は、図２の重畳モジュール７６によって以下のように行なわれる。
【００４２】
【数３】
2008275698.tif 000005
これは、非特許文献３の制約付声調変換技法の合成Ｆ０概形の拡張である。上述の式のＦ０（ｔ）はζ（ｔ）でのイントネーション変調を伴う再構築されたＦ０概形を示す。
【００４３】
韻律モデリングユニット４２からのパワー及び音の持続時間と、韻律再構築ユニット４４からの再構築されたＦ０概形とを用いて音声を合成することにより、音声シンセサイザ５２は、発話を補足するための所望の韻律を備えた音声信号を生成できる。
【００４４】
［具体例］
合成された韻律、すなわちＦ０概形＾Ｆ０（ｔ）を表す疎なターゲットの使用をテストするために、１８２個の中国語対話文について実験を行なった。ここで用いたターゲット抽出アルゴリズムと分析条件とは、非特許文献４で用いたものと同じである。発話一つあたりのターゲットの個数は、音節の声調１−４の総数の２倍である。この実験では、２組のＦ０概形を用いた。すなわち（ｉ）参照用の、男性母国語話者で観察されたＦ０概形、（ｉｉ）ＸＩＭＥＲＡ（非特許文献１）のＨＴＳベースの韻律モデルを駆動するための（ｉ）と同様の測定された音素持続時間を持つ合成された概形（韻律モデルは女性母国語話者の声でトレーニングされ、１８２個の文はトレーニングセットには含まれていない）、である。
【００４５】
図８は、ｊ番目の音声フレームにおいて、フレーム誤差、例えば＾Ｆ０（ｊ）−Ｆ０（ｊ）（モデル近似）の関数としての音声フレーム数のパーセンテージを示す。（ｉ）の組では音声フレームの９０％が（−９Ｈｚから９Ｈｚ）にあてはまり、（ｉｉ）の組では（−８Ｈｚから８Ｈｚ）に当てはまる。（ｉ）では男性の音声区間が[６０Ｈｚから２５０Ｈｚ]に固定され、（ｉｉ）では女性の音声区間が[１００Ｈｚから４５０Ｈｚ]に固定されていることに注意されたい。結果は非特許文献４と一貫性のあるものであった。これは、わずかな疎のターゲット点でも、観察されたＦ０概形の最適な近似に近い性能で、合成Ｆ０概形の最適な近似を提供可能であることを示す。すなわち、疎なターゲット点は信頼性をもって合成されたＦ０概形に対する、元となる韻律の寄与を表すことができる。
【００４６】
韻律再構築の予備的実験をマンダリンについて行なった。図９から図１２は、（Ａ）の合成Ｆ０概形に、（Ｂ）で相対的なイントネーションの変化として用いられた図１１及び図１２で示された上向き（下向き）直線か、（Ｃ）図９及び図１０で示されたハットパターンのいずれかを重畳して得られた、再構築された合成韻律の４つの例を示す。中国語の文“xian4zai4  ji3dian3  la0?”は「今何時ですか？」の意味である。マークアップテキストは、図９に示す例に対しては“<focus>  xian4zai4  </focus>  ji3dian3  la0”のようになり、図１０に示す例に対しては“xian4zai4  <focus>  ji3dian3  </focus>  la0”のようになり、図１１に示す例に対しては“<upward>  xian4zai4  ji3dian3  la0  </upward>”のようになり、図１２に示す例に対しては“<downward>  xian4zai4  ji3dian3  la0  </downward>”のようになる。この結果、“xian4zai4”（「今」の意味）は、例えば“<focus>  xian4zai4  </focus>  ji3dian3  la0”の例では強調されることになる。再構築された韻律を伴った再合成された音声サンプルは、知覚的印象として期待されるものに合致する。
【００４７】
現在、この提案は中国語を例として示されている。理論的には、提案されたアプローチは、テキストを超えた追加のコミュニケーション価値を伝えるのに韻律を使う言語であれば、他の言語にも適用可能である。
【００４８】
コンピュータハードウェア
図１３は特定のコンピュータプログラムを実行することにより上述のＴＴＳシステムを実現する、この実施の形態に係るコンピュータシステム２５０の斜視図であり、図１４はシステム２５０のブロック図である。特に、コンピュータシステム２５０はテキスト前処理ユニット３２、韻律モデリングユニット４２、及び音声シンセサイザ５２を、図４に示す制御フローを有する新規なプログラムで実現するための、従来のコンピュータプログラムを実行する。
【００４９】
図１３を参照して、コンピュータシステム２５０は、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ：ディジタル多用途ディスク）ドライブ２７０とメモリポート２７２とを有するコンピュータ２６０、キーボード２６６、マウス２６８、モニタ２６２、一対のスピーカ２８２、及びマイクロフォン２９０を含む。
【００５０】
図１４を参照して、コンピュータ２６０はさらに、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）２７６と、ＣＰＵ２７６、ＤＶＤドライブ２７０及びメモリポート２７２に接続されたバス２８６と、ハードディスクドライブ２７４と、ブートアッププログラム等のプログラムを記憶する読出専用メモリ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）２７８と、ＣＰＵ２７６に接続され、アプリケーションプログラム命令、システムプログラム及びデータを記憶するためのランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）２８０とを含む。
【００５１】
コンピュータ２６０はさらに、ネットワーク２９２に接続を提供するネットワークインターフェイス（Ｉ／Ｆ）ボード２９６と、バス２８６、スピーカ２８２及びマイクロフォン２９０に接続されたサウンドボードとを含む。
【００５２】
コンピュータシステム２５０に上述のＴＴＳシステム４０を実現させるプログラムは、ＤＶＤドライブ２７２又はメモリポート２７０に挿入されるＤＶＤ２８２又はメモリ２８４に記憶され、さらにハードディスクドライブ２７４に転送される。これに代えて、プログラムはネットワーク２９２を介してコンピュータ２６０に送信され、ハードディスクドライブ２７４に記憶されてもよい。実行の際には、プログラムはＲＡＭ２８０にロードされる。プログラムはＤＶＤ２８２、メモリ２８４から直接、又はネットワーク２９２を介してＲＡＭ２８０にロードされてもよい。
【００５３】
図１から図７を参照して説明したプログラムは、コンピュータ２６０にこの実施の形態のＴＴＳシステム４０の機能ブロックを実現させるいくつかの命令を含む。この方法を行なうのに必要な基本的機能のいくつかはコンピュータ２６０上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、またはコンピュータ２６０にインストールされるモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムを実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記したプロセスを実行する命令のみを含んでいればよい。コンピュータシステム２５０の動作は周知であるので、ここでは繰返さない。
【００５４】
ここで説明した実施の形態は単なる例示であって、制限的なものと解釈されてはならない。例えば、上述のＴＴＳシステム４０は音声シンセサイザ５２を含むが、発明はこれに限られるものではなく、ＴＴＳシステムはソース−フィルタ合成型のシンセサイザを含んでもよい。
【００５５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００５６】
【図１】この発明の一実施の形態に係るＴＴＳシステム４０と、第１の実施の形態に係る韻律再構築装置が従来のＴＴＳシステムにどのように組込まれるかを示す概略ブロック図である。
【図２】韻律再構築ユニット４４の概略ブロック図である。
【図３】中国語の四声でのターゲット点の例を示す図である。
【図４】元となるターゲット点の抽出アルゴリズムのための主たる手順を例示するフロー図である。
【図５】ポアソンプロセスを考慮した、ターゲット点間の補間の低下処理の遅延を示す図である。
【図６】ターゲット点を音節に関連付ける処理を例示する概略図である。
【図７】この発明の一実施の形態で用いられる機能的Ｆ０概形モデル２００のブロック図である。
【図８】自然発話（〇のシーケンス）と合成発話（＋のシーケンス）とから観察されたＦ０概形の最適な近似に基づき疎なターゲット点を用いた場合のＦ０誤差の関数としての音声フレーム数のパーセンテージを示すグラフである。
【図９】韻律再構築の例を示す図である。
【図１０】韻律再構築の例を示す図である。
【図１１】韻律再構築の例を示す図である。
【図１２】韻律再構築の例を示す図である。
【図１３】この発明の一実施の形態を実現するためのコンピュータシステム２５０の正面図である。
【図１４】コンピュータシステム２５０のブロック図である。
【符号の説明】
【００５７】
３２  テキスト前処理ユニット
４０  ＴＴＳシステム
４２  韻律モデリングユニット
４４  韻律再構築ユニット
５２  音声シンセサイザ
７０  ターゲット点抽出モジュール
７２  ターゲット点関連モジュール
７４  潜在スケール生成モジュール
７６  重畳モジュール
【図１】
2008275698.tif 000006
【図２】
2008275698.tif 000007
【図３】
2008275698.tif 000008
【図４】
2008275698.tif 000009
【図５】
2008275698.tif 000010
【図６】
2008275698.tif 000011
【図７】
2008275698.tif 000012
【図８】
2008275698.tif 000013
【図９】
2008275698.tif 000014
【図１０】
2008275698.tif 000015
【図１１】
2008275698.tif 000016
【図１２】
2008275698.tif 000017
【図１３】
2008275698.tif 000018
【図１４】
2008275698.tif 000019
【手続補正書】
【提出日】平成19年8月22日(2007.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
予め規定されたマークアップタグによってマークアップされたテキストから音声信号を生成するための音声合成装置であって、
前記テキストを前処理して、プレーンテキストと、前記プレーンテキストに対応する、それぞれの発話の時間情報を備えた音節シーケンスと、前記音節シーケンスにおけるそれらの位置と併せたマークアップタグと、を出力するための前処理手段と、
前記前処理手段によって出力された前記音節の各々についての発話パワー及び音の持続時間を生成し、さらに、韻律モデリングを利用して前記プレーンテキストについての音声信号のＦ０概形を生成するための生成手段と、
前記前処理手段と前記生成手段とから、前記マークアップタグと前記Ｆ０概形とをそれぞれ受けるように接続され、音節のうちマークアップされた部分に対応するＦ０概形の部分がマークアップタグにしたがって修正されるように、前記Ｆ０概形を再構築するための再構築手段と、
前記生成手段から出力された前記音節のシーケンスにしたがって、前記生成手段から受けたパワーと音の持続時間とを有し、前記Ｆ０概形が前記再構築手段によって再構築された音声信号を合成するための手段とを含む、音声合成装置。
【請求項２】
前記再構築手段は、
前記生成手段から出力されたＦ０概形から予め定められた数のターゲット点を選択するための選択手段を含み、前記ターゲット点は前記Ｆ０概形上で前記Ｆ０概形の傾き方向が変わる点であり、
前記再構築手段はさらに、
前記時間情報を利用して、前記ターゲット点の各々を前記音節シーケンス内の音節の一つに関連づけるための手段と、
前記マークアップタグ、前記音節シーケンスにおけるそれらの位置、及び前記マークアップタグの種類にしたがって、前記Ｆ０概形に適用すべき潜在スケール関数を生成するための手段と、
前記潜在スケール関数を前記Ｆ０概形に重畳させるための手段と、を含む、請求項１に記載の音声合成装置。
【請求項３】
前記選択手段は、
前記生成手段から出力された前記Ｆ０概形からターゲット点候補を選択するための手段を含み、前記ターゲット点候補は前記Ｆ０概形上でＦ０概形の傾き方向が変わる点であり、
前記再構築手段はさらに、
予め選択された関数と前記ターゲット点候補とによって前記Ｆ０概形を近似するための手段と、
前記ターゲット点候補の数が、前記音節シーケンス中の音節の数の関数として定められる数に等しくなるまで、前記ターゲット点が一つ削除されるたびに前記Ｆ０概形と前記予め選択された関数との間の予め定められた誤差尺度が最小になるように、前記ターゲット点候補のいくつかを削除するための手段と、を含む、請求項２に記載の音声合成装置。
【請求項４】
前記予め定められた誤差尺度は、前記Ｆ０概形と前記予め選択された関数との間の二乗誤差の和である、請求項３に記載の音声合成装置。
【請求項５】
前記潜在スケール関数を生成するための手段は、
前記音節シーケンス中の隣接する音節間の遷移点を決定するための手段と、
前記音節シーケンス中の前記音節に割当られたマークアップタグにしたがって、前記遷移点の各々に潜在スケール値を割当てるための手段と、
前記遷移点とそのそれぞれの潜在スケール値とによって決定された点による区分的な直線の連結として前記潜在スケール関数を生成するための手段と、を含む、請求項３又は請求項４に記載の音声合成装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
さらに好ましくは、選択手段は、生成手段から出力されたＦ０概形からターゲット点候補を選択するための手段を含む。ターゲット点候補はＦ０概形上でＦ０概形の傾き方向が変わる点であってもよい。再構築手段はさらに、予め選択された関数とターゲット点候補とによってＦ０概形を近似するための手段と、ターゲット点候補の数が、音節シーケンス中の音節の数の関数として定められる数に等しくなるまで、ターゲット点が一つ削除されるたびにＦ０概形と予め選択された関数との間の予め定められた誤差尺度が最小になるように、ターゲット点候補のいくつかを削除するための手段とを含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
コンピュータシステム２５０に上述のＴＴＳシステム４０を実現させるプログラムは、ＤＶＤドライブ２７０又はメモリポート２７２に挿入されるＤＶＤ２８２又はメモリ２８４に記憶され、さらにハードディスクドライブ２７４に転送される。これに代えて、プログラムはネットワーク２９２を介してコンピュータ２６０に送信され、ハードディスクドライブ２７４に記憶されてもよい。実行の際には、プログラムはＲＡＭ２８０にロードされる。プログラムはＤＶＤ２８２、メモリ２８４から直接、又はネットワーク２９２を介してＲＡＭ２８０にロードされてもよい。
【外国語明細書】
2008275698000001.pdf
2008275698000002.pdf
2008275698000003.pdf
2008275698000004.pdf