(57)【特許請求の範囲】
【請求項１】
中国語音声の声調核境界における基本周波数（Ｆ０）により声調を識別する特徴量を含む特徴量の組が与えられると、中国語で使用される声調分類の確率を出力するように、トレーニングデータセットを用いてトレーニングされた声調モデルを記憶するための手段を含む中国語の声調分類装置であって、前記声調核境界におけるＦ０により声調を識別する特徴量は先頭ギャップ、末尾ギャップ、及び、声調核のＦ０輪郭の傾斜勾配の符号の組合わせを含み、
前記声調分類装置はさらに、
入力された中国語の音声データを一連の声調核にセグメント化するための手段と、
前記声調核の各々から声調核境界におけるＦ０により声調を識別する特徴量を抽出するための手段と、
前記抽出するための手段によって抽出された音響特徴量を前記声調モデルに適用し、前記声調モデルにより出力される最も高い確率を達成する声調分類を選択するためのパターンマッチング手段とを含む、中国語の声調分類装置。
【請求項２】
声調核境界におけるＦ０により声調を識別する前記特徴量はさらに、声調核の先頭Ｆ０及び末尾Ｆ０を含む、請求項１に記載の中国語の声調分類装置。
【請求項３】
声調核境界におけるＦ０により声調を識別する前記特徴量はさらに、声調核の正規化されたパワーを含む、請求項１又は請求項２に記載の中国語の声調分類装置。
【請求項４】
声調核境界におけるＦ０により声調を識別する特徴量を含む特徴量の組が与えられると、中国語で使用される声調分類の確率を出力するように、トレーニングデータセットを用いてトレーニングされた声調モデルを記憶するための手段と、
入力された中国語の音声データを一連の声調核にセグメント化するための手段と、
前記声調核の各々から声調核境界におけるＦ０により声調を識別する特徴量を抽出するための手段とを含む中国語の声調分類装置であって、声調核境界におけるＦ０により声調を識別する前記特徴量は、先頭ギャップ、末尾ギャップ、及び、前記声調核のＦ０輪郭の傾斜勾配の符号の組合わせを含み、
前記声調分類装置はさらに、
前記抽出するための手段によって抽出された先頭ギャップ、末尾ギャップ、及び、前記声調核のＦ０輪郭の傾斜勾配の符号の組合わせに従って声調の分類を判断し、判断された分類を出力するための声調分類手段を含む、中国語の声調分類装置。
【請求項５】
前記声調分類手段は、声調の先頭ギャップが正であり末尾ギャップが正であるとき、その声調が中国語の第一声であると判断するための手段を含む、請求項４に記載の中国語の声調分類装置。
【請求項６】
前記声調分類手段はさらに、声調の先頭ギャップが負であり末尾ギャップが正であるとき、その声調が中国語の第二声であると判断するための手段を含む、請求項５に記載の中国語の声調分類装置。
【請求項７】
前記声調分類手段はさらに、声調の先頭ギャップが負であり末尾ギャップが負であるとき、その声調が中国語の第三声であると判断するための手段を含む、請求項６に記載の中国語の声調分類装置。
【請求項８】
前記声調分類手段はさらに、声調の先頭ギャップが正であり末尾ギャップが負であるとき、その声調が中国語の第四声であると判断するための手段を含む、請求項７に記載の中国語の声調分類装置。
【請求項９】
中国語のＦ０生成装置であって、
声調核境界におけるＦ０により声調を識別する特徴量を含む特徴量の組が与えられると、中国語で使用される声調分類の確率を出力するように、トレーニングデータセットを用いてトレーニングされた声調モデルを記憶するための手段を含む中国語のＦ０生成装置であって、関連付けにより声調を識別する前記特徴量は先頭ギャップ、末尾ギャップ、及び、声調核のＦ０輪郭の傾斜勾配の符号の組合わせを含み、
前記Ｆ０生成装置はさらに、
構文解析された中国語テキストが与えられると、その中国語テキスト内の音声単位の各々について可能な中国語声調の確率を出力する、確率的Ｆ０モデルを記憶するための手段と、
前記確率的Ｆ０モデルの出力に従って、入力された中国語のテキストに適合するＦ０のシーケンスを生成するための手段と、
前記生成するための手段によって出力されたＦ０シーケンスが、前記声調モデルと整合しているか否かを判断するための手段とを含む、中国語のＦ０生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は声調言語の声調分類に関し、特に、中国語等の声調言語において、文脈による声調の変化を非常に正確に識別することに関する。
【背景技術】
【０００２】
中国語の基本的語彙声調（第一声、第二声、第三声、第四声と呼ばれる）は通常、それらの基本周波数（“Ｆ０”）輪郭のパターンが異なることによって特徴付けられる。すなわち、第一声は高いレベルの輪郭、第二声は途中から上がる輪郭、第三声は低く一旦下がる輪郭、第四声は高いところから下がる輪郭である。これらを識別するため、研究者はこれまでの研究において、第一声（高いＦ０）と第三声（低いＦ０）との区別（非特許文献１を参照されたい。）、及び第三声（低いＦ０）と第四声（高いＦ０）との区別（非特許文献２を参照されたい。）にはＦ０の高さが決定的に重要であると報告している。
【０００３】
Ｆ０傾斜勾配は、第一声（平坦）、第二声（上がる）、及び第四声（下がる）等の、動きの方向が異なる声調間を区別するのに有効である（非特許文献２を参照されたい。）。
【０００４】
声調のＦ０輪郭は、連続した音声においては、互いに分離された音節に比べてかなり変動する。Ｆ０の高さのみでなく、傾斜勾配も相当に変動するため、表面上のＦ０輪郭からその下にある声調性を特定することはできない。他方で、知覚実験によれば、人間は、声調的な文脈が与えられれば、Ｆ０がかなり変動しても、その下にあると思われる語彙的な声調を高い一貫性をもって知覚できることが分かった（非特許文献３を参照されたい。）。このことは、声調的な文脈中に、Ｆ０の高さ及びＦ０の傾斜勾配のほかに、区別のための手がかりが存在することを示している。
【０００５】
【非特許文献１】Ｄ．ワレン及びＹ．シュウ、「振幅輪郭及び短いセグメントにおける標準中国語の声調情報」、フォネティカ４９、１９９２、ｐｐ.２５−４７。（D.  Whalen  and  Y.  Xu,  "Information  for  Mandarin  tones  in  the  amplitude  contour  and  in  brief  segments",  Phonetica  49,  1992,  pp.  25-47.）
【非特許文献２】Ｅ．ガーディング他、「現代標準中国語の第四声と第三声との区別」言語と音声、第２９巻第３部、１９８６、ｐｐ.２８１−２９３。（E.  Garding  et  al.,  "Tone  4  and  tone  3  discrimination  in  modern  standard  Chinese",  Language  and  Speech,  Vol.  29,  Part  3,  1986,  pp.  281-293.）
【非特許文献３】Ｙ．シュウ、「同時調音声調の生成と知覚」Ｊ.Ａ.Ｓ.Ａ.（４）、１９９４、ｐｐ.２２４０−２２５３。（Y.  Xu,  "Production  and  perception  of  coarticulated  tones",  J.A.S.A.  (4),  1994,  pp.  2240-2253.）
【非特許文献４】Ｙ.Ｒ．チャオ、「口語中国語文法」バークレイ、カリフォルニア大学出版局、１９６８。（Y.-R.  Chao,  "A  grammar  of  spoken  Chinese",  Berkeley:  University  of  California  Press,1968.）
【非特許文献５】Ｔ．ツムラ他、「周波数遷移の聴覚検出」Ｊ.Ａ.Ｓ.Ａ.第５３巻第１号、１９７３、ｐｐ.１７−２５。（T.  Tsumura  et  al.,  "Auditory  detection  of  frequency  transition",  J.A.S.A.,  Vol.  53,  No.  1,  1973,  pp.  17-25.）
【非特許文献６】Ｓ．シゲノ、Ｈ．フジサキ、「音声及び非音声刺激の範疇判断に対する先行するアンカーの効果」、日本心理学研究、１９７９、第２１巻、第４号、ｐｐ.１６５−１７３。（S.  Shigeno,  H.  Fujisaki,  "Effect  of  a  preceding  anchor  upon  the  categorical  judgment  of  speech  and  non-speech  stimuli",  Japanese  Psychological  Research,  1979,  Vol.  21,  No.  4,  pp.  165-173.）
【非特許文献７】Ｊ．Ｓ．チャン、Ｋ．ヒロセ、「関連付け仮説と中国語連続音声の声調認識へのその応用」ＩＣＡＳＳＰ２０００、第ＩＩＩ巻、ｐｐ.１４１９−１４２２。（J.-S.  Zhang,  K.  Hirose,  "Anchoring  hypothesis  and  its  application  to  tone  recognition  of  Chinese  continuous  speech",  ICASSP2000,  Vol.  III,  pp.  1419-1422.）
【非特許文献８】Ｊ．Ｓ．チャン、Ｓ．ナカムラ、Ｋ．ヒロセ、「関連付けＦ０特徴による中国語語彙声調の区別」ＩＣＳＬＰ２０００予稿集、第ＩＩ巻、ｐｐ.８７−９０。（J.-S.  Zhang,  S.  Nakamura,  and  K.  Hirose,  "Discriminating  Chinese  lexical  tones  by  anchoring  F0  Features",  Proc.  of  ICSLP2000,  Vol.  II,  pp.  87-90.）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これまで、どの研究でも、Ｆ０の高さ及びＦ０の傾斜勾配以外、声調的な文脈中での識別のための手がかりについて明らかに示した研究は存在していない。もしこのような手がかりが利用できれば、中国語等の声調言語で声調を分類する大きな助けとなるはずであり、さらにこのような手がかりによってトレーニングされた適切なモデルがあれば、音声認識又は音声合成装置の性能がさらに改善されるはずである。
【０００７】
従って、この発明の目的の一つは、中国語の声調の判断を容易にすることである。
【０００８】
別の目的は、より自然な品質の中国語音声を合成することである。
【課題を解決するための手段】
【０００９】
この発明に従った中国語の声調分類装置は、関連付けにより声調を識別する特徴量を含む特徴量の組が与えられると、中国語で使用される声調分類の確率を出力するように、トレーニングデータセットを用いてトレーニングされた声調モデルを記憶するための手段を含む。関連付けにより声調を識別する特徴量は先頭ギャップ及び末尾ギャップを含む。声調分類装置はさらに、入力された中国語の音声データを一連の声調核にセグメント化するための手段と、声調核の各々から関連付けにより声調を識別する特徴量を抽出するための手段と、抽出する手段によって抽出された音響特徴量を声調モデルに適用し、声調モデルにより出力される最も高い確率を達成する声調分類を選択するためのパターンマッチング手段とを含む。
【００１０】
好ましくは、関連付けにより声調を識別する特徴量はさらに、声調核の基本周波数（Ｆ０）輪郭の傾斜勾配を含む。
【００１１】
より好ましくは、関連付けにより声調を識別する特徴量はさらに、声調核の先頭Ｆ０及び末尾Ｆ０を含む。
【００１２】
さらに好ましくは、関連付けにより声調を識別する特徴量はさらに、声調核の正規化されたパワーを含む。
【００１３】
この発明の別の局面に従った中国語の声調分類装置は、関連付けにより声調を識別する特徴量を含む特徴量の組が与えられると、中国語で使用される声調分類の確率を出力するように、トレーニングデータセットを用いてトレーニングされた声調モデルを記憶するための手段と、入力された中国語の音声データを一連の声調核にセグメント化するための手段と、声調核の各々から関連付けにより声調を識別する特徴量を抽出するための手段とを含む。関連付けにより声調を識別する特徴量は先頭ギャップ及び末尾ギャップを含む。装置はさらに、抽出するための手段によって抽出された先頭ギャップ及び末尾ギャップの符号の組合せに従って声調の分類を判断し、判断された分類を出力するための声調分類手段を含む。
【００１４】
好ましくは、声調分類手段は、声調の先頭ギャップが正であり末尾ギャップが正であるとき、その声調が中国語の第一声であると判断するための手段を含む。
【００１５】
声調分類手段はさらに、声調の先頭ギャップが負であり末尾ギャップが正であるとき、その声調が中国語の第二声であると判断するための手段を含んでも良い。
【００１６】
好ましくは、声調分類手段はさらに、声調の先頭ギャップが負であり末尾ギャップが負であるとき、その声調が中国語の第三声であると判断するための手段を含む。
【００１７】
さらに好ましくは、声調分類手段はさらに、声調の先頭ギャップが正であり末尾ギャップが負であるとき、その声調が中国語の第四声であると判断するための手段を含む。
【００１８】
この発明のさらに別の局面に従った中国語のＦ０生成装置は、関連付けにより声調を識別する特徴量を含む特徴量の組が与えられると、中国語で用いられるそれぞれの声調分類の確率を出力するようにトレーニングデータセットを用いてトレーニングされた声調モデルを記憶するための手段を含む。関連付けにより声調を識別する特徴量は先頭ギャップ及び末尾ギャップを含む。この装置はさらに、構文解析された中国語テキストが与えられると、その中国語テキスト内の音声単位の各々について可能な中国語声調の確率を出力する、確率的Ｆ０モデルを記憶するための手段と、確率的Ｆ０モデルの出力に従って、入力された中国語のテキストに適合するＦ０のシーケンスを生成するための手段と、生成するための手段によって出力されたＦ０シーケンスが声調モデルと整合しているか否かを判断するための手段とを含む。
【発明を実施するための最良の形態】
【００１９】
[前提条件]
（声調的な文脈によるＦ０変化現象）
ここで発明者らが検討した文脈による変化は、二つの周知の現象、「階段状の降下」及び「文脈上の同化」である。厳密に言えば、階段状の降下現象は高いピッチターゲットが低いピッチターゲットに続く特定の文脈における、文脈上の同化の一種である。
【００２０】
―階段状降下の効果
階段状降下の効果は、「ＨＬＨ」の声調シーケンスにおいて、「Ｌ」が存在するために、二番目の「Ｈ」の声調のＦ０の高さが、最初の「Ｈ」より低くなる現象として知られている。もしＨとＬとが交互に現れるシーケンスでこれが連続して作用すると、Ｆ０の輪郭が階段状の関数となるであろう。ある発話で後の位置にあるＨの声調のＦ０高さが、同じ発話の前方にあるＬの声調より低くなることもあり得る。
【００２１】
中国語の四つの基本的語彙声調のうち三つは、図１に示すように先頭（第二声）、末尾（第四声）又は先頭と末尾の両方（第三声）のいずれかに低いターゲットを有する。
【００２２】
図２は階段状降下現象の例を示す。発話されたテキストは、"you3  qing1  wei1  e4  hua4  xian4  xiang4"（「少しずつ悪化する現象がある。」）である。図２で点線２０で示されるＦ０シーケンスから、二つの興味深い現象を見ることができる。
【００２３】
１．階段状降下の効果は後半３個の第四声で連続して３回起こり、下向きの階段となっている。
【００２４】
２．さらに最後の第四声のＨの先頭が発話の始めの第三声のＦ０高さと同じレベルになっている。
【００２５】
語彙的声調のＦ０の高さは階段状降下の影響を相当受けるが、人間のピッチの知覚には何ら干渉しないことが良く知られている。すなわち、図２に示す複数の第四声は同じ声調であると知覚されるのみならず、先頭でもほぼ同じ高さであると知覚されるのである。さらに、音声合成の研究では、階段状降下の影響を受けると思われる隣接する二つの声調に高いピッチ点で同じＦ０の値を割り当てると、合成音声では２番目の語彙的声調に不自然なストレスがあるように感じられる。
【００２６】
―文脈上の同化による声調変化
ここで用いる文脈上の同化による声調変化の概念とは、同化による変化の影響が激しいため、声調のＦ０傾斜の方向が他の声調のものに変わってしまうことさえある、という現象を指す。図３は、発話されたテキストが"si1  zhu2  guan3  xian2"（伝統的な弦楽器と木管楽器）である例を示す。図３に示した例では、線３０で囲まれた部分のＦ０輪郭は第二声であり、その特徴的なパターンは上昇勾配である。しかしここでは、Ｆ０の輪郭は平坦なものに変わっており、これは第一声のものである。
【００２７】
重要な問題の一つは、Ｆ０輪郭が変化した場合、声調が別の声調に変わったかどうかである。この問題は非常に分かりにくいため、かつてはかなり相違する見解が示されていた。非特許文献４では、図３に示すような事例を説明するのに、音響学的な声調連声に関する規則を提案することまでしている。その提案では、先頭が高い声調が先行する第二声であって、その後に四つの基本的声調のうちの一つが続く場合、間にはさまれた第二声は、普通の速さの音声では第一声に変化する、と示唆されている。
【００２８】
しかし、最近の研究により、文脈によるＦ０変化に続く声調文脈がある限り、聞き手は依然としてその声調を元の声調のものであると知覚することが明らかになった（非特許文献３）。これは、図３におけるＦ０の変化を受けた第二声が依然として第一声ではなく第二声として知覚される、という意味である。このことは何人かの中国語を母語とする話者によって確認されている。
【００２９】
―知覚実験の二つの知見
非特許文献３は声調文脈によるＦ０変化と人間のピッチ知覚に対するその影響とに関し、より体系的な調査を行なっている。非特許文献３での興味ある実験の一つは、人間が三音節のシーケンスの中で、間に挟まれた声調をどのように知覚するか、さらに、同じ声調が、その音節をはさむ第一音節と第三音節とを交換した文脈では同様に知覚されるか、を検討したものである。第一音節と第三音節とを交換すると、間に挟まれた声調にとっては声調環境がかなり相違することになるので、ピッチ知覚に対する声調文脈の影響を試験するのには特別な方法を提供するものと期待される。
【００３０】
図４は非特許文献４の実験から得られた二つの知見を例示する。
【００３１】
１．元の声調文脈が自然で交換後の文脈が不自然な場合、間に挟まれた声調は元の文脈と同じ声調であると知覚される傾向がある（図４の第１行を参照）。
【００３２】
２．元の声調文脈が不自然で交換後の文脈が自然な場合、間に挟まれた声調は、交換された文脈において元の声調とは逆方向への輪郭を備えた声調であると知覚される傾向がある（図４の下の行を参照）。
【００３３】
（関連付け仮説及び関連付けによるＦ０特徴量）
語彙的声調を区別するためのより効果的な特徴量を見出すことを目的として、本件発明者らは非特許文献５又は非特許文献６の心理学的音響学的知覚に関する知見を採用し、以下のような関連付け仮説をたてた（非特許文献７及び非特許文献８を参照）。
【００３４】
−最初の語彙的声調の末尾と２番目の語彙的声調の先頭との相対的なＦ０の相違は、Ｆ０輪郭に関する下り勾配という直接的な手がかりの他に、高いピッチ又は低いピッチについて識別するための重要な手がかりとなりうる。
【００３５】
−競合効果について、タイミング割当機構があるはずである（非特許文献６を参照されたい。）。
【００３６】
この仮説に基づき、連続した音声の語彙的声調は、平坦、上昇、途中で下がる、又は下降、というＦ０パターンを用いること以外に、図５に示された表により示される関連付けによるパターンを用いて、音響的に特徴付けることができる。図５で用いられる用語は以下の通りである。
【００３７】
−先頭ギャップ：先頭のＦ０と、先行する語彙の声調の末尾のＦ０との相違。
−末尾ギャップ：末尾のＦ０と、後続する語彙の声調の先頭のＦ０との相違。
【００３８】
（声調文脈による変化の関連付けによる識別）
本件発明者らは、この関連付け仮説を活用して、上述の声調変化をする声調を一貫して予測できることを見出した。
【００３９】
−階段状に下がる声調の関連付けによる識別
図６は先頭ギャップ及び末尾ギャップの推定方法を例示する。特に、図２の階段状に下がる声調の先頭及び末尾ギャップの推定を例示する。
【００４０】
図６において、細い縦線は音節の境界を示す。特徴量“ｒ”は、先頭及び末尾ギャップを表し、特徴量“ｄ”は持続時間を正規化したＦ０傾斜勾配を表す。先頭及び末尾点は声調核に対応する点である。
【００４１】
第四声は「ＨＬ」のピッチパターンを有する。関連付けによる声調識別仮説によれば、以下の条件を満たす場合には第四声と判定される。
【００４２】
１．先頭ギャップが正である。すなわちｒ≧０である。第四声は先頭がＨであるので、もし先行する声調の末尾がＬであればｒ＞０となる。一方、先行する声調の末尾がＨであれば、ｒ≒０である。
【００４３】
２．上と同様の機構により、末尾ギャップが負である。
【００４４】
３．Ｆ０傾斜の勾配が負、すなわちｄ＜０（下り勾配のピッチ）である。
【００４５】
図６から、四つの第四声はそれらの絶対的なＦ０の高さが大きく異なるにも関わらず、上述の条件を満たすという点ではほとんど相違しないことがわかる。四つの第四声のどの第四声も、同じようなレベルの正の先頭ギャップと、同じようなレベルの負の末尾ギャップと、同じようなＦ０輪郭の下り勾配を有する。これら三つの特徴量はピッチ関連付け仮説によれば、声調を区別するため非常に重要であるので、これら四つの第四声は同様の声調と知覚されるはずであり、リスニングによりそれが実証された。
【００４６】
―文脈上の同化を受けた声調の関連付けによる区別
図７は第二声に対する先頭及び末尾ギャップｒとＦ０傾斜勾配ｄの推定を例示する。図７から以下のことがわかる。
【００４７】
１．先頭ギャップはどちらかといえば負、すなわちｒ１＜０である。
【００４８】
２．末尾ギャップはどちらかといえば正、すなわちｒ２＞０である。
【００４９】
３．Ｆ０輪郭傾斜は平坦、すなわちｄ≒０である。
【００５０】
図５から、上述の特徴量に関して第二声が最も当てはまると分かるので、この声調は第二声であろうと予測する。関連付け仮説に基づく第二声の予測を決定するのは、負の先頭ギャップと正の末尾ギャップである。
【００５１】
（交換された文脈での声調の予測）
関連付け声調識別仮説に基づき、上述の交換された文脈での実験で知覚される声調が何かを容易に正確に予測することもできる。図８及び図９はこの予測手順と、交換された文脈で、間に挟まれた声調についての予測結果を示す。ターゲットはまず、先頭ギャップ、末尾ギャップ及び下り勾配のピッチに基づいて高い（＋）又は低い（−）ターゲットのいずれであるかが予測され、その後その先頭と末尾との２個のターゲットに基づいてどの声調かが予測可能となる。
【００５２】
図８及び図９から、こうして予測された結果が、報告された二つの知見と一貫していることが分かる。
【００５３】
中国語の声調区別パターンは音声における声調の音響的特徴量となるパターンを示す。良好なパターンは、発話が分離された音節からなるのか、連続した自然な音声かによらず、実際の音声の音響的特徴量から、一貫した信頼性のある声調の識別を可能とするものであるべきである。
【００５４】
関連付けによる声調識別パターンは、連続音声における中国語の声調について提案された最初の識別パターンである。伝統的な中国語の声調パターンと比較して、この新たなパターンは連続音声において声調をより良く識別する能力を提供する。この提案には多くの応用があるはずである。以下に、これを中国語の自動声調分類と中国語音声の合成に応用したものを簡単に説明する。
【００５５】
[第１の実施の形態]
図１０はこの発明の第１の実施の形態に従った声調分類システム１００を例示する。システム１００は上述の関連付けによる声調識別特徴量に基づいたものである。
【００５６】
図１０を参照して、システム１００は、一組の関連付けによる特徴量が与えられると最も確率の高い声調分類を出力するように声調モデル１０６をトレーニングデータ１０２を用いてトレーニングするための声調モデルトレーニングユニット１０４と、入力された音声１０８に応答して、声調モデルトレーニングユニット１０４によってトレーニングされた声調モデル１０６を用いて、声調分類１１２を出力する声調分類ユニット１１０とを含む。
【００５７】
声調モデル１０６はそれぞれの声調に対して準備された多数のガウス混合モデル（ＧＭＭ）を含む。文脈に依存しないＧＭＭのみを用いる場合、ＧＭＭの総数は５である。すなわち、基本の四声について４個と、軽声について１個である。文脈に依存するＧＭＭを用いるのであれば、最大で１７５個のＧＭＭを使用可能である（三つの声調からなる文脈に５＊５＊５＝１２５、左境界の声調に４＊５、右境界の声調に５＊５、孤立した声調に５である）。
【００５８】
声調モデルトレーニングユニット１０４は、トレーニングデータ１０２の発話の各々の声調核を音響的にセグメント化するための音響的セグメント化モジュール１３０と、音響的セグメント化モジュール１３０によってセグメント化された音声信号の声調核のＦ０及びパワーを含む音響的特徴量を抽出するための特徴抽出モジュール１３２と、特徴抽出モジュール１３２によって抽出された音響的特徴量から、先頭ギャップ、末尾ギャップ、Ｆ０輪郭勾配等の関連付けによる特徴量を抽出するための関連付けによる特徴抽出モジュール１３４と、関連付けによる特徴抽出モジュール１３４によって抽出された関連付け特徴量を利用して、声調モデル１０６のモデルパラメータを推定するための声調モデル推定モジュール１３６とを含む。
【００５９】
音響的セグメント化モジュール１３０での声調核の音響的セグメント化は、統計的方法により、又は音声認識装置の音声セグメント化を利用するだけで実現できる。
【００６０】
声調分類ユニット１１０は、入力された音声１０８をセグメント化し、セグメント化された音声信号の声調核を出力するための音響的セグメント化モジュール１５０と、音響的セグメント化モジュール１５０によってセグメント化された音声信号の声調核のＦ０及びパワーを含む音響的特徴量を抽出するための特徴抽出モジュール１５２と、特徴抽出モジュール１５２によって抽出された音響的特徴量から関連付けによる特徴量を抽出するための関連付けによる特徴抽出モジュール１５４と、声調モデル１０６のうち関連付けによる特徴抽出モジュール１５４によって抽出された関連付けによる特徴量に最も良く一致する特徴パターンを探索し、最も良く一致するパターンに対応する声調分類１１２を出力するためのパターンマッチングモジュール１５６とを含む。
【００６１】
システム１００は以下のように動作する。このシステムには二つの動作局面がある。トレーニングの局面と動作の局面とである。
【００６２】
トレーニングの局面では、トレーニングデータ１０２内の発話が、音響的セグメント化モジュール１３０によって声調の境界で音響的にセグメント化される。セグメント化された音声信号の声調核が特徴抽出モジュール１３２に与えられ、Ｆ０及びパワーを含むセグメント化された音声信号の音響的特徴量が抽出される。
【００６３】
関連付けによる特徴抽出モジュール１３４は声調核の音響的特徴量から、関連付けに基づく声調識別のための特徴量を抽出する。二つの最も重要な関連付けによる識別特徴量は先頭ギャップと末尾ギャップであり、これらは図１１により、ｒ1,1及びｒ2,2として計算される。別の重要な特徴量はＦ０輪郭の傾斜勾配、先頭Ｆ０、末尾Ｆ０である。必要に応じて、声調核の正規化されたパワーを含めても良い。この場合、１個の声調の特徴量は５次元又は６次元のベクトルとなる。
【００６４】
声調モデルトレーニング処理により、各声調についての声調モデル１０６内のガウス混合モデルのパラメータがトレーニングデータ１０２で推定される。
【００６５】
次の、声調認識／分類局面では、入力された音声１０８が音響的セグメント化モジュール１５０でセグメント化され、特徴抽出モジュール１５２で、セグメント化された音声信号から音響的特徴量が抽出される。さらに、特徴抽出モジュール１５２によって抽出された特徴量から、関連付けによる特徴抽出モジュール１５４により、関連付けによる特徴量が抽出される。
【００６６】
関連付けによる特徴量のパターンが声調モデルと比較される。最大確率を有する声調のシーケンスが、認識された声調のシーケンスとして出力される(声調分類１１２）。
【００６７】
[第２の実施の形態]
関連付けによるパターンは、従来の規則ベースの合成システムのようにテキストからＦ０パターンを生成するために直接利用するばかりでなく、確率的Ｆ０生成システムと統合して、合成音声の声調的分かりやすさを改善することもできる。
【００６８】
規則ベースのイントネーション生成システムでは、トレーニングコーパスから開発した多数の規則を用いて合成すべきテキストのイントネーションＦ０パターンを予測する。関連付け声調識別パターンをこの規則の組と統合して、声調を識別することが十分可能となる手がかりを、生成されたＦ０から得られるようにすることが容易にできる。言いかえれば、標準的な声調パターンと比較して、関連付けによるパターンはＦ０の軌跡の配置に対し自由度が高い。これにより、合成音声の自然さが改善されるはずである。
【００６９】
現在の確率的Ｆ０生成システムでは、合成処理に先だってトレーニング期間を設ける。このトレーニング処理で特徴的な事項は、関連する文脈に関するファクタの数が多すぎて、頑健なイントネーションモデルを構築するために十分なトレーニングデータが得られない、ということである。
【００７０】
中国語を例にとると、約１３００の声調音節があり、可能な三音節のつながりは２２億を超える。強調や韻律句内での位置（始点、中位、終点）、疑問文か平叙文か、等のさらなるファクタを考慮するとすれば、可能な組合せは兆の単位になりうる。このような膨大な文脈的な組合せについてモデルをトレーニングするに足るデータを収集することは不可能である。従って、深刻なデータスパースネスの問題により、生成されたイントネーションのＦ０が奇妙に聞こえることは多々ある。
【００７１】
しかし、関連付けに基づく声調区別パターンを補助として用いることにより、確率的に合成されたＦ０輪郭を検討するための事後チェックモジュールを簡単に利用することができる。
【００７２】
図１２は、入力されたテキスト２００からＦ０シーケンス２０４を生成するための、この発明の第２の実施の形態によるＦ０生成ユニット２０２を示す。Ｆ０生成ユニット２０２は先行技術のＦ０生成装置で用いられる確率的Ｆ０モデル２０６、及びこの発明の第１の実施の形態で用いた声調モデル２０８と共に用いられる。
【００７３】
Ｆ０生成ユニット２０２は、入力されたテキスト２００を構文解析するためのテキスト構文解析モジュール２２０と、確率的Ｆ０モデル２０６を用いてテキスト構文解析モジュール２２０によって構文解析されたテキストのイントネーションＦ０を生成するためのイントネーションＦ０生成モジュール２２２と、声調モデル２０８を参照してイントネーションＦ０生成モジュール２２２が出力したＦ０シーケンスをチェックし、パターンに合わないＦ０を訂正して、訂正されたＦ０シーケンス２０４を出力する事後チェックモジュール２２４とを含む。
【００７４】
上述の通り、関連付けによる特徴パターンは、話す速度の変化、感情の変化等の高いレベルでの話し方のスタイルに従って、合成されたＦ０輪郭を修正する際に、確実に声調を識別可能にする。この問題は、先行技術の中国語ＴＴＳ(テキスト―音声合成）システムではほとんど実現され得ないものである。
【００７５】
上述の実施の形態は単なる例示であって制限的なものと解してはならない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００７６】
【図１】中国語の声調パターンを示す図である。
【図２】４個の連続した第四声で観察された階段状に下降する効果の例を示す図である。
【図３】文脈上の同化の例を示す図である。
【図４】間に挟まれた語彙声調の声調知覚に対する、文脈交換の影響を示す図である。
【図５】連続音声における４個の基本的語彙声調の、関連付けによる特徴量を示す図である。
【図６】図２の階段状に下がる声調について、先頭ギャップと末尾ギャップとの推定を示す図である。
【図７】図３の２番目の声調について、先頭ギャップと末尾ギャップとの推定を示す図である。
【図８】交換文脈の知覚実験において、声調変化の予測を示す図である。
【図９】交換文脈の知覚実験において、声調変化の予測を示す図である。
【図１０】この発明の第１の実施の形態に従った声調分類システム１００を示すブロック図である。
【図１１】関連付けによる声調区別特徴量の抽出を示す図である。
【図１２】声調モデルの関連付けによる声調パターンによりチェックされ訂正されたＦ０シーケンスを生成するための、この発明の第２の実施の形態に従ったＦ０生成ユニット２０２を示す図である。
【符号の説明】
【００７７】
１００  声調分類システム、１０２  トレーニングデータ、１０４  声調モデルトレーニングユニット、１０６  声調モデル、１０８  入力音声、１１０  声調分類ユニット、１１２  声調分類、１３０，１５０  音響的セグメント化モジュール、１３２，１５２  特徴抽出モジュール、１３４，１５４  関連付けによる特徴抽出モジュール、１３６  声調モデル推定モジュール、  １５６  パターンマッチングモジュール、２００  入力テキスト、２０２  Ｆ０生成ユニット、２０４  Ｆ０シーケンス、２０６  確率的Ｆ０モデル、２０８  声調モデル、２２０  テキスト構文解析モジュール、２２２  イントネーションＦ０生成モジュール、２２４事後チェックモジュール
【図１】
0004617092.tif 000002
【図２】
0004617092.tif 000003
【図３】
0004617092.tif 000004
【図４】
0004617092.tif 000005
【図５】
0004617092.tif 000006
【図６】
0004617092.tif 000007
【図７】
0004617092.tif 000008
【図８】
0004617092.tif 000009
【図９】
0004617092.tif 000010
【図１０】
0004617092.tif 000011
【図１１】
0004617092.tif 000012
【図１２】
0004617092.tif 000013