(57)【要約】【課題】人間の発話運動に則した自然性と連続性の高い音声を合成する。【解決手段】音源と音声の共鳴特性を決定する声道フィルタを有し、音源と声道フィルタを制御する制御パラメータを用いて入力データ（音素列、各音素の継続時間長）に対応する音声を合成する際に、予め人間が発話するときの顎・唇・舌による声道の開閉運動と声帯の開閉運動を同時に計測して蓄積した生理計測データから入力データ（該当する音素）の生理計測データを検索し、生理計測データを統計的に分析して声道と声帯の運動軌道における特徴点の時点を音素の継続時間長の一次関数として表現して声道と声帯の運動の時間関係を決定する制御規則として抽出し、制御規則をもとに音素の継続時間長に対応する声道と声帯の運動軌道を生成して音源と声道フィルタの制御パラメータを決定する。【選択図】図１
2004198572.tif 000002
【特許請求の範囲】
【請求項１】
音源と音声の共鳴特性を決定する声道フィルタを備え、音源と声道フィルタを制御する制御パラメータを用いて入力データに対応する音声を合成する音声合成方法において、
音源と声道フィルタの制御パラメータを入力データをもとに予め記録した人間の発話運動の生理計測データを用いて生成することを特徴とする音声合成方法。
【請求項２】
請求項１の音声合成方法において、
音源と声道フィルタの制御パラメータを、時間的な協調関係に基づき、時系列的に関連付けて決定することを特徴とする音声合成方法。
【請求項３】
音源と音声の共鳴特性を決定する声道フィルタを備え、音源と声道フィルタの制御パラメータを用いて入力データに対応する音声を合成する音声合成装置において、
人間の発話運動の生理計測データを記録した生理計測データを保持し、入力データをもとに生理計測データを抽出し、抽出した生理計測データから音源と声道フィルタの制御パラメータを生成する制御パラメータ生成部を備えたことを特徴とする音声合成装置。
【請求項４】
請求項３に記載の音声合成装置において、
制御パラメータ生成部は、制御パラメータを時間的な協調関係に基づき、時系列的に関連付けて決定することを特徴とする音声合成装置。
【請求項５】
音源と音声の共鳴特性を決定する声道フィルタを生成する処理と、
入力データをもとに予め記録した人間の発話運動の生理計測データから生理計測データを抽出し、抽出した生理計測データから音源と声道フィルタの制御パラメータを生成する処理と、
生成した制御パラメータにより音源と声道フィルタを制御して入力データに対応する音声を合成する処理と、をコンピュータに実行させる音声合成プログラム。
【請求項６】
請求項５に記載の音声合成プログラムにおいて、
制御パラメータを生成する処理は、制御パラメータを時間的な協調関係に基づき、時系列的に関連付けて決定する処理を有する音声合成プログラム。
【請求項７】
音源と音声の共鳴特性を決定する声道フィルタを生成する処理と、
入力データをもとに予め記録した人間の発話運動の生理計測データから生理計測データを抽出し、抽出した生理計測データから音源と声道フィルタの制御パラメータを生成する処理と、
生成した制御パラメータにより音源と声道フィルタを制御して入力データに対応する音声を合成する処理と、をコンピュータに実行させる音声合成プログラムを記録した記録媒体。
【請求項８】
請求項７に記載の音声合成プログラムを記録した記録媒体において、
制御パラメータを生成する処理は、制御パラメータを時間的な協調関係に基づき、時系列的に関連付けて決定する処理を有する音声合成プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音源と声道フィルタを備え、音源と声道フィルタを制御する制御パラメータにより入力データに対応した音声の合成を行う際に、入力データをもとに予め実際に計測した人間の発話運動の生理計測データから生理計測データを抽出し、抽出した生理計測データを用いて音源と声道フィルタの制御パラメータを生成することにより、自然性と連続性の高い音声を合成する音声合成方法及び装置、音声合成プログラム並びにそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
音源と声道フィルタの機能から構成される音声合成器は、声帯振動を模擬した音源と音声の共鳴特性を決定する声道フィルタによって音声を合成することを基本的な特徴とする（非特許文献１  参照）。この音声合成器では、音素ごと、あるいはＶＣＶ音節（Ｖ：母音、Ｃ：子音）ごとに、実音声を分析した結果をもとに決定した音源と声道フィルタの制御パラメータの時系列を記録しておき、これらの制御パラメータを接続することによって連続音声の合成が実現される。
【０００３】
【非特許文献１】
斉藤収三、中田和夫、「"音声合成"音声情報処理の基礎」、オーム社1981年、pp.155-180
【０００４】
【発明が解決しようとする課題】
従来の技術では、音素あるいはＶＣＶ音節ごとに実音声を分析し、音源と声道フィルタの制御パラメータの組み合わせを時系列として記録しておく必要があった。しかし、音源と声道フィルタの制御パラメータの組み合わせは常に一定とは限らず、音素の継続時間長によって、同一の音節内においても音源と声道フィルタの制御パラメータの組み合わせが変わる可能性がある。例えば、ＶＣＶ音節のＶＣの過渡部において、声道フィルタが同一であっても、音素の継続時間長によって音源が有声あるいは無声に変化する場合がある。
連続音声では、単母音と長母音、単子音と促音が先行する子音といった音素形態や発話速度によって音素の継続時間長が変化する。しかし従来の技術では、音素の継続時間長に対して網羅的に音源と声道フィルタの制御パラメータの組み合わせを決定することが容易ではなく、音源と声道フィルタの相互関係が適切に制御されている保証はなかった。このため、より自然性の高い連続音を合成するには、音素の継続時間長に対して音源と声道フィルタの制御パラメータの時系列が定まるような制御器を音声合成器に組み込むことが課題となる。
【０００５】
【課題を解決するための手段】
この発明によれば、人間の発話運動の生理計測に基づいて声道形状と声帯の運動の時間関係を制御規則として抽出し、合成しようとする音素の継続時間長に応じて声道フィルタと音源の制御パラメータを自動的に決定することで、自然性の高い連続音声を合成する。人間の発話運動の生理計測によれば、声道を形成する顎、唇、舌運動と音源特性を決定する声帯の開閉運動の時間関係が、音素の継続時間長に比例する傾向がある（藤野昭典、鏑木時彦、誉田雅彰、村野恵美、新美成二、「無声子音における調音・声門運動のタイミングの分析 -促音の有無による比較-」日本音響学会講演論文集、2001年10月、pp.299-300）。この発話運動の生理的特徴を用いて音声合成器の声道フィルタと音源を協調的に制御する。
【０００６】
【発明の実施の形態】
図１に本発明の音声合成器の構成例を示し、図２に制御パラメータ生成処理手順を示す。
図１の音声合成器の入力端には、合成しようとする音素列と各音素の継続時間長（合成しようとする音声のデータ）が入力される(S1)。
制御パラメータ生成部は、制御器と制御規則抽出器と生理計測データ記録装置から構成される。生理計測データ記録装置は、予め複数の文を繰り返し発話したときの唇、舌、顎等（声道の調音点）の運動と声門開大度の生理計測データを音素と対応させて記録しておく。制御器は、制御規則抽出器に合成しようとする音素の制御規則を出力するように指示する。制御規則抽出器は、生理計測データ記録装置から入力された音素に対応する人間の顎、唇、舌による声道の開閉運動と声帯による声門の開閉運動の計測データを取り出し(S2)、線形回帰分析により制御規則を抽出する(S3)。ここで、制御規則抽出器が取り出す制御規則は、声道の調音点と声帯の運動軌道における特徴点の時点を音素の継続時間長の一次関数として出力する。制御器は、制御規則抽出器から返信された制御規則をもとに、合成しようとする音素列の声道フィルタと音源の制御パラメータの時系列を一括して生成する(S4)。制御器が生成した制御パラメータにより音源と声道フィルタを駆動することで、出力端より合成音声が出力される。
【０００７】
（実施例）
図３に声帯自励振動器と声道音響管から構成される音声合成器を用いる場合の実施例を、図４にボコーダ型音声合成器（斎藤収三、中田和夫、「"音声合成"音声情報処理の基礎」オーム社、1981、pp.155-180）を用いる場合の実施例を示す。声帯自励振動器と声道音響管から構成される音声合成器の例には２質量モデル(K.Ishizaka and J.L.Flanagan, "Synthesis of voiced sound from a two-massmodel of  the vocal cords," the Bell System Technical Journal,51(6), 1233-1268(1972))と発話ロボット（西川員史、林宏樹、桑江俊治、棚橋邦浩、高信英明、持田岳美、誉田雅彰、高西淳夫,「人間に近い音声生成を目指した発話ロボットの開発」聴覚研究会資料,32(5),pp.353-358(2002））がある。
【０００８】
声帯自励振動器と声道音響管から構成される音声合成器による実施例
図３の制御器は、まず、生理計測データ記録装置から制御規則抽出器を通して、人間の発話運動に則した制御規則を得る。制御規則として、音素の継続時間長に対する声道の調音点の運動軌道ならびに声門開大度の特徴点の時間関係を得る。ここで、声門とは声帯によって開閉が調節される空気流の通り道であり、声門開大度とは声門の開きの度合いを表す。声門開大度は声帯振動と空気流の供給を制御する特徴量であり、音響流体的には声門開大度が大きくなると声帯振動が休止するとともに空気流を声道に供給することで無声子音の音源のエネルギー源を与える。生理計測データ記録装置には、前もって複数の文を繰り返し発話したときの唇、舌、顎等（声道の調音点）の運動と声門開大度の計測データを記録しておき、各データには音素等の発話内容を付記しておく。制御規則抽出器は、生理計測データ記録装置から合成しようとする音素に関する計測データのサンプルを抽出して統計的に分析することにより制御規則を得る。
【０００９】
図５に音素/ｓ/について統計的な分析より計測データから制御規則を導出する例を示す。まず、図５に示される計測データのサンプル（調音点の運動軌跡、声門開大度、声帯振動パターン）から、音素の継続時間長と声道の調音点の運動方向が切り替わる時点、声門開大度のピーク時点を抽出する。ここで、声道の調音点の運動方向が切り替わる時点は声道の調音点における運動軌道の特徴点の一つであり、運動軌道の１階微係数が０となる時点（図３：運動軌道の生成における声道の調音点の運動軌道の特徴点の時点Tj  参照）である。声門開大度のピーク時点は声道開大度の特徴点の一つであり、図５の声門開大度の高周波（声帯振動）成分を除去した時間変動の１階微係数が０となる時点（図３：声門開大度の特徴点の時点Tj  参照）である。音素の継続時間長については、例えば声帯振動の休止区間から抽出する。これは、母音に挟まれて発話される/ｓ/では声帯振動の休止区間が/ｓ/の発話区間とみなせることに起因する。音素/ｓ/の各サンプルについてこれらの抽出を行い、図６の２つのグラフで示されるような音素の継続時間長に対する声道の調音点の運動方向が切り替わる時点と声門開大度のピーク時点の関係を得る。グラフ中の各点は計測データの各サンプルを示す。ここで、横軸を独立変数、縦軸を従属変数とする線形回帰直線としてグラフ中の直線を得る。この回帰直線を音素/ｓ/を合成するための制御規則として得る。
【００１０】
得られた制御規則から、合成しようとする音素の継続時間長Tcに対して、声道の調音点と声門開大度の特徴点の時点Tj（j＝｛特徴点の種類｝）を決定する。実施例で用いる特徴点は、例えば声道の調音点の運動軌道と声門開大度の時間変動のｎ階微係数（ｎ＝０，１，・・・）を０にする時点と定義する。この定義によれば、図６で導出例を示した制御規則は、ｎ＝１（１階微係数）の特徴点の制御規則に相当する。図６の制御規則からTjを決定する場合、例えばTc＝150であるとき、ｎ＝１の特徴点である調音点の運動の運動方向が切り替わる時点Tj＝105、声門開大度のピーク時点はTj＝40となる。次に、TcとTjをもとに、声道の調音点の運動軌道mi(t)（i＝｛発話器管（顎、上下唇、舌等）の計測点｝）と声門開大度の時間変動G(t)を生成する。mi(t)とG(t)は、Tjをもとに時間軸上に配置される特徴点から軌道を内挿することで生成する。内挿は、例えば線形補間あるいは３次スプライン補間等を用いて行う。
【００１１】
音声合成器の制御パラメータは、mi(t)とG(t)をもとに生成する、声帯自励振動器と声道音響管を用いた音声合成器では、声道断面積関数A(x,t)と声門開大面積Ag0(x,t)が制御パラメータである。A(x,t)の生成では、まずmi(t)から声道形状を推定し（図３：声道形状）、その幾何学形状から声帯上部から唇までの声道の各位置での声道幅ｌ(x,t)を求める。ｌ(x,t)は、例えば声道の各位置の中央点を繋いだｘ軸を求め、ｘ軸に直交する直線が声道壁と交わる２点で切り取られた線分の長さを求めることで得る。次に、ｌ(x,t)から声道の断面積A(x,t)を求める。A(x,t)はｘ軸を中心軸とするｌ(x,t)の回転積分
【数１】
2004198572.tif 000003
によって求められる。２次元平面上の声道幅ｌ(x,t)のみから声道断面積A(x,t)を求める場合は、例えばA(x,t)＝Kl(x,t)rの変換式を用いて声道断面積を近似的に求める。ここで、K,rの変換係数は、声道幅と声道断面積の関係を分析した研究(T.Baer, J.C. Gore, L.C. Gracco and P.W. Nye,"Analysis of vocal tractshape and dimensinons using magnetic resonance imaging:Vowels," Journal of Acoustical Society of America, 90(2), pp.799-828(1991).)の知見より、生理計測データを収集した発話者に応じて決定される。声門開大面積Ag0(t)の生成では、度合から面積値に変換する補正定数ｃを声門開大度G(t)に乗ずることで得る。以上の処理から、制御器は声帯自励振動器と声道音響管から構成される音声合成器の制御パラメータA(x,t)とAg0(t)を出力する。
【００１２】
ボコーダ型音声合成器による実施例
図４の制御器は、図３の制御器と同様に制御規則をもとに運動軌道の生成を行う。得られた運動軌道mi(t)とG(t)をもとに、制御パラメータの生成を行う。音声ボコーダの制御パラメータは、声道伝達関数の時間変動を示すH(z,t)と音源の状態を示すS(t)である。H(z,t)の生成では、先ず図３の制御器と同様に声道断面積A(x,t)が求められる、次に声道音響管を伝搬する音波を平面波と仮定して、A(x,t)を声道伝達関数H(z,t)に変換する（斎藤収三、中田和夫、「"声道面積関数"音声情報処理の基礎」オーム社、1981、pp.145-153）。S(t)の生成では、閾値Gcを基準として声門開大度G(t)からS(t)の値が有声であるか無声であるかを決定する。ただし、声道断面積関数A(x,t)が０となるｘがあるときは、声道が閉鎖し、音声が合成されないためS(t)＝０（無音）とする。以上の処理から、制御器は音声ボコーダの制御パラメータH(z,t)、S(t)を出力する。
本発明の音声合成器は、CPUやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用する利用者端末と、記録媒体から構成することができる。記録媒体は、CR-ROM、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された音声合成プログラムは、コンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述した各構成要素を実現する。
【００１３】
【発明の効果】
これまでは、音源と声道フィルタから構成される音声合成器を制御する際に、音源と声道フィルタの制御パラメータの関係を音素あるいはＶＣＶ音節ごとに事前に設定しておく必要があった。これに対して本発明では、生理計測データから抽出される制御規則に基づいて、音素の継続時間長のみから音源と声道フィルタの制御パラメータの時間関係が決定される。このため、発話内容の速度や、単母音と長母音、単子音と促音が先行する子音といった音素形態に柔軟に対応して制御パラメータを決定することが可能となる。また、生理計測データに基づいて制御パラメータを決定することから、人の発話運動に則した音声合成器の駆動方法となっており、自然性の高い音声を合成できる可能性がある。
【図面の簡単な説明】
【図１】本発明の音声合成器の構成例を示す図。
【図２】図１の音声合成器の制御パラメータ生成処理手順を示す図。
【図３】声帯自励振動器と声道音響管から構成される音声合成器の制御パラメータ生成部を説明するための図。
【図４】ボコーダ型音声合成器の制御パラメータ生成部を説明するための図。
【図５】生理計測データから制御規則を導出する例を説明するための図。
【図６】生理計測データから制御規則を導出する例を説明するためのグラフ。
【図１】
2004198572.tif 000004
【図２】
2004198572.tif 000005
【図３】
2004198572.tif 000006
【図４】
2004198572.tif 000007
【図５】
2004198572.tif 000008
【図６】
2004198572.tif 000009