(57)【要約】【課題】  調音位置の変化とフォルマント周波数の変化量の関係を調音運動の拘束に基づき作成される刺激音声として用いることを可能にする。【解決手段】  刺激音声を、連続音声発声時における、顎、舌、唇、軟口蓋、喉頭等、調音器官の調音運動軌跡の確率的な動的モデルを考慮して作成し、また、各運動の平均調音位置の間を補間し、当該補間された各調音位置からフォルマント周波数とそのバンド幅、基本周波数を決定して各調音位置に対して当該調音位置に対するフォルマント周波数の変化量を計算することで、調音ジェスチャの変化とフォルマント周波数の変化量との関係を刺激音声として、調音器官や運動の動的な振る舞いを考慮した精緻な音声合成を実現する。【選択図】      図２
2006078641.tif 000002
【特許請求の範囲】
【請求項１】
刺激音声を、複数の調音器官の少なくとも一部の位置における調音運動軌跡の確率的な動的モデルに基づき生成し、前記調音器官の位置および当該位置の変化とフォルマント周波数の変化量との関係を前記刺激音声として出力する音声合成装置であって、
前記調音運動軌跡の確率的な動的モデルにおける各状態の平均調音位置の間を補間演算する手段と、
前記補間演算によって求められた各調音位置に対し、音声パラメータベクトルと調音パラメータベクトルとの対が格納された調音音響対コードブックを参照し、フォルマント周波数とバンド幅と基本周波数とを算出する手段と、
前記各調音位置と前記フォルマント周波数に対して、前記調音位置の変化に対するフォルマント周波数の変化量を算出する手段と、
前記各調音位置に対する前記フォルマント周波数、前記バンド幅、前記基本周波数、前記フォルマント周波数の変化量を対とする対応表を生成して記憶する手段と、
前記対応表を参照し、前記調音器官の位置および当該位置の変化に対するフォルマント周波数の変化量に基づく前記刺激音声を出力する手段と、
を具備することを特徴とする音声合成装置。
【請求項２】
前記補間演算する手段は、
前記調音運動軌跡の確率的な動的モデルを、隠れマルコフモデルを用いて生成することを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記補間演算する手段は、
前記各調音位置における運動方向について、前記隠れマルコフモデルの状態遷移に基づき選択することを特徴とする請求項１または２に記載の音声合成装置。
【請求項４】
刺激音声を、複数の調音器官の少なくとも一部の位置における調音運動軌跡の確率的な動的モデルに基づき演算装置によって生成し、前記調音器官の位置および当該位置の変化とフォルマント周波数の変化量との関係を前記刺激音声として出力する音声合成方法であって、
前記演算装置は、
前記調音運動軌跡の確率的な動的モデルにおける各状態の平均調音位置の間を補間演算するステップと、
前記補間演算された各調音位置に対し、音声パラメータベクトルと調音パラメータベクトルとの対が格納された調音音響対コードブックを参照し、フォルマント周波数とバンド幅および基本周波数を算出するステップと、
前記各調音位置と前記フォルマント周波数に対して、前記調音位置の変化に対するフォルマント周波数の変化量を算出するステップと、
前記各調音位置に対するフォルマント周波数、バンド幅、基本周波数、フォルマント周波数の変化量を対とする対応表を作成して記憶するステップと、
前記対応表を参照し、前記調音器官の位置および当該位置の変化に対するフォルマント周波数の変化量に基づく前記刺激音声を生成するステップと、
を実行することを特徴とする音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、刺激音声を、複数の調音器官の少なくとも一部の位置における調音運動軌跡の確率的な動的モデルに基づき生成し、調音器官の位置および当該位置の変化とフォルマント周波数の変化量との関係を前記刺激音声として出力する、音声合成装置およびその方法に関する。
【背景技術】
【０００２】
母音あるいは子音を含む音節のフォルマント周波数の弁別閾値を測定する聴覚心理物理実験に用いる刺激音声の作成方法としては以下のようなものがある。
まず、人間が単母音発声した音声信号を録音し、低次の３つのフォルマント周波数とそのバンド幅および基本周波数を音声信号から計測する。次に、その値をＫｌａｔｔのフォルマント合成音声のパラメータとして設定した基準となる刺激音声と、閾値測定の対象なるフォルマント周波数の値から上下いずれかの方向に変化させた刺激音声を作成する。そして、恒常法あるいは変形上下法などの心理物理測定手法を用いてフォルマント周波数の弁別閾値を測定するものである（例えば、非特許文献１参照）。
【０００３】
しかしながら、上記した非特許文献１に開示された技術によれば、計測されたフォルマント周波数とそのバンド幅、および基本周波数は、人間の発声器官や発声動作の拘束を陽に考慮していない。
このため、閾値測定の対象となるフォルマント周波数の値を一定幅で上下に変化させて作成した刺激音声が、必ずしも人間が実際に発声可能な範囲に存在するとは限らない。したがって、音声に聞こえない刺激を実験に用いている可能性がある。また、単母音あるいは子音を含む単音節発声の音声信号の計測では、調音結合等、前後の音素環境の影響を考慮した刺激音声を作成することが困難である。
【０００４】
一方、発声動作から音声信号を生成する方法に、調音・音響対コードブック検索による方法がある（例えば、特許文献１、非特許文献２参照）。また、発声動作の動的モデルの作成およびその音声信号を生成する方法に、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）音声生成モデルと調音・音響マッピングに基づく方法がある（例えば、特許文献２、特許文献３、非特許文献３参照）。
【特許文献１】特許第３４１２７９８号公報
【特許文献２】特開２００３−２４１７７６号公報
【特許文献３】特開２００３−２７１１８６号公報
【非特許文献１】D. Kewley-Port and C.S Watson.“For mant-frequencydiscrimination for isolated English vowels," J. Acoust. Soc. Am, vol.95, no.1,1994)。
【非特許文献２】鏑木・誉田・津村,“音素ラベル付き調音・音響対コードブックの検索に基づく調音運動からの音声合成法の検討,”vol.54,no.3, 日本音響学会誌,   1998)
【非特許文献３】Hiroya, S. Honda. M.“Estimation of articulatorymovements from speech acoustics using an HMM-based speech production model," IEEE Trans.Speech and Audio Processing, vol.12, no.2, 2004)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ある調音位置が与えられた際に、その調音位置の変化に対するフォルマント周波数の変化量の計算は、発話動作の制約を考慮せずに、各調音器官の位置をすべての可能な方向に対して変更して行われていた。従って、そのフォルマント周波数の変化の影響を調べる場合、定性的な結果が得られるため、調音位置の変化とフォルマント周波数の変化量の関係を刺激音声として用いることが困難である。
また、実際の各調音器官の間には相関があるため、従来研究で行われた「調音器官の位置をすべての可能な方向に動かす」ことは、調音運動の動的振る舞いを十分に考慮していないことを意味する。
【０００６】
本発明は上記事情に鑑みてなされたものであり、人間の発声は調音器官の静的かつ動的な制約の基に行なわれていることから、調音位置の変化とフォルマント周波数の変化量の関係を調音運動の拘束に基づき作成される刺激音声として用いることを可能にする、音声合成装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために本発明は、刺激音声を、複数の調音器官の少なくとも一部の位置における調音運動軌跡の確率的な動的モデルに基づき生成し、前記調音器官の位置および当該位置の変化とフォルマント周波数の変化量との関係を前記刺激音声として出力する音声合成装置であって、前記調音運動軌跡の確率的な動的モデルにおける各状態の平均調音位置の間を補間演算する手段と、前記補間演算によって求められた各調音位置に対し、音声パラメータベクトルと調音パラメータベクトルとの対が格納された調音音響対コードブックを参照し、フォルマント周波数とバンド幅と基本周波数とを算出する手段と、前記各調音位置と前記フォルマント周波数に対して、前記調音位置の変化に対するフォルマント周波数の変化量を算出する手段と、前記各調音位置に対する前記フォルマント周波数、前記バンド幅、前記基本周波数、前記フォルマント周波数の変化量を対とする対応表を生成して記憶する手段と、前記対応表を参照し、前記調音器官の位置および当該位置の変化に対するフォルマント周波数の変化量に基づく前記刺激音声を出力する手段と、を具備することを特徴とする。
【０００８】
また、本発明において、前記補間演算する手段は、前記調音運動軌跡の確率的な動的モデルを、隠れマルコフモデルを用いて生成することを特徴とする。
【０００９】
また、本発明において、前記補間演算する手段は、前記各調音位置における運動方向について、前記隠れマルコフモデルの状態遷移に基づき選択することを特徴とする。
【００１０】
また、本発明は、刺激音声を、複数の調音器官の少なくとも一部の位置における調音運動軌跡の確率的な動的モデルに基づき演算装置によって生成し、前記調音器官の位置および当該位置の変化とフォルマント周波数の変化量との関係を前記刺激音声として出力する音声合成方法であって、前記演算装置は、前記調音運動軌跡の確率的な動的モデルにおける各状態の平均調音位置の間を補間演算するステップと、前記補間演算された各調音位置に対し、音声パラメータベクトルと調音パラメータベクトルとの対が格納された調音音響対コードブックを参照し、フォルマント周波数とバンド幅および基本周波数を算出するステップと、前記各調音位置と前記フォルマント周波数に対して、前記調音位置の変化に対するフォルマント周波数の変化量を算出するステップと、前記各調音位置に対するフォルマント周波数、バンド幅、基本周波数、フォルマント周波数の変化量を対とする対応表を作成して記憶するステップと、前記対応表を参照し、前記調音器官の位置および当該位置の変化に対するフォルマント周波数の変化量に基づく前記刺激音声を生成するステップと、を実行することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、刺激音声を、連続音声発声時における、顎、舌、唇、軟口蓋、喉頭等、調音器官の調音運動軌跡の確率的な動的モデルを考慮して作成し、また、各運動の平均調音位置の間を補間し、当該補間された各調音位置からフォルマント周波数とそのバンド幅、基本周波数を決定して各調音位置に対して当該調音位置に対するフォルマント周波数の変化量を計算することで、調音器官の位置の変化とフォルマント周波数の変化量との関係を刺激音声として用いることが可能となる。このことにより、人間の調音器官や運動の動的な振る舞いを考慮した精緻な音声合成を実現することができる。
更に、調音運動軌跡の確率的な動的モデルをＨＭＭ（隠れマルコフモデル）を用いて生成し、また、各調音位置における運動方向について隠れマルコフモデルの状態遷移に基づき選択することで語間の接続関係を間接的に表現でき、一層精緻な音声合成が可能となる。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明における音声合成装置の内部構成を機能展開して示したブロック図である。
図１に示されるように、本発明の音声合成装置は、音声パラメータ記憶部１と、調音パラメータ記憶部２と、音素系列記憶部３と、調音・音響コードブック生成部４と、ＨＭＭモデル作成部５と、補間調音位置生成部６と、フォルマント周波数生成部７と、バンド幅生成部８と、基本周波数生成部９と、ＡＦＳ（Articulatory Formant Sensitivity）生成部１０と、対応表生成部１１と、パラメータ選択部１２と、音声生成部１３で構成される。
【００１３】
調音・音響コードブック生成部４は、音声パラメータ記憶部１に格納された音声パラメータベクトルと、調音パラメータ記憶部２に格納された調音パラメータベクトルとの対を生成し、これらをフォルマント周波数生成部７、バンド幅生成部８、基本周波数生成部９へ供給する。
ＨＭＭモデル作成部５は、刺激音声を、顎、舌、唇、軟口蓋、喉頭等、人間の調音器官における調音運動軌跡の確率的な動的モデルを用いて生成する機能を持ち、ここでは、調音運動軌跡の確率的な動的モデルとしてＨＭＭ（隠れマルコフモデル）を利用することとする。ＨＭＭモデル作成部５には、調音パラメータ記憶部２に格納される調音パラメータベクトルの他に、音素系列記憶部３に格納される発声された音素系列も供給されている。詳細は後述する。
【００１４】
また、補間調音位置生成部６は、上記したＨＭＭにおける各状態の平均調音位置の間を補間演算する機能を持ち、各調音位置における運動方向について、ＨＭＭの状態遷移に基づき選択してそれぞれについて補間演算を行なう。この補間演算によって求められる各調音位置データは、フォルマント周波数生成部７、バンド幅生成部８、基本周波数生成部９のそれぞれへ供給される。
フォルマント周波数生成部７、バンド幅生成部８、基本周波数生成部９のそれぞれは、補間調音位置生成部６の補間演算によって求められた各調音位置に対し、音声パラメータベクトルと調音パラメータベクトルとの対が格納された調音・音響コードブック生成部４を参照して、フォルマント周波数、バンド幅、基本周波数を算出する。この算出のためのロジックは、上記した非特許文献２（音素ラベル付き調音・音響対コードブックの検索に基づく調音運動からの音声合成法の検討）に詳細に開示されている。
【００１５】
一方、ＡＦＳ生成部１０は、各調音位置とフォルマント周波数生成部７出力であるフォルマント周波数に対して、前記調音位置の変化に対するフォルマント周波数の変化量（ＡＦＳ）を算出する機能を持ち、ここで算出されたＡＦＳは対応表生成部１１へ供給される。対応表生成部１１には、他に、フォルマント周波数生成部７、バンド幅生成部８、基本周波数生成部９から、フォルマント周波数、バンド幅、基本周波数のそれぞれが供給されており、ここでこれらの対を生成して図示せぬ記憶装置へ格納する。
また、パラメータ選択部１２は、生成され記憶された対応表に対し、例えばユーザにより選択されたフォルマント周波数、バンド幅、基本周波数のそれぞれのパラメータを入力することによって全検索を行い、該当するデータの組を見つけ、それを刺激音声としてフォルマント合成器で構成される音声生成部１３へ供給する機能を持つ。音声生成部１３は、対応表から得られるデータの組を入力として合成音声を出力する。
【００１６】
なお、図１における、音声パラメータ記憶部１、調音パラメータ記憶部２、音素系列記憶部３、そして、調音・音響コードブック生成部４によって生成されるコードブックと対応表生成部１１によって生成される対応表は、図示せぬ記憶装置の所定の領域へ割付けられて格納されるものとし、また、ＨＭＭモデル作成部５、補間調音位置生成部６、フォルマント周波数生成部７、バンド幅生成部８、基本周波数生成部９、ＡＦＳ（Articulatory Formant Sensitivity）生成部１０、対応表生成部１１、パラメータ選択部１２、音声生成部１３のそれぞれは、コンピュータを構成する演算装置とその周辺ＬＳＩがプログラムを逐次読み出して実行することによってそれぞれが持つ機能が実現されるものとする。
【００１７】
図２は、本発明における音声合成装置の動作を説明するために引用したフローチャートである。
以下、図２に示すフローチャートを参照しながら図１に示す本発明実施形態の動作について詳細に説明する。
【００１８】
ここでは、フォルマント周波数とそのバンド幅および基本周波数をパラメータとし、音声生成部１３（フォルマント合成器）により作成される定常母音を刺激音声とする。これらのパラメータは、人間の発声動作の実観測データに基づき生成される調音・音響コードブックから求める。
【００１９】
具体的に、調音・音響対コードブックは、音声信号と磁気センサシステムを用いて同時観測した調音運動に基づき、調音・音響コードブック生成部４により作成される。
こでは、話者は１名で、／ａｕｉ／などの３母音連鎖を５４０回発声したものを用いた。そしてこの音声信号を毎秒２５０回のレートで、窓長２５ｍｓで切り出し、低次の４つのフォルマント周波数とバンド幅および基本周波数を求めたものを音声パラメータｙ（音声パラメータ記憶部１）とする。また、調音パラメータとして、信号を毎秒２５０回のレートで測定し、各位置として下顎、上・下唇、舌上の４点、軟口蓋および喉頭の計９点の水平および垂直信号を用いたベクトルを調音パラメータベクトルｘ（調音パラメータ記憶部２）とする（Ｓ２１、Ｓ２２）。なお、コードブックには、発声された音素系列（音素系列記憶部３）も一緒に与えられている。
【００２０】
ＨＭＭモデル作成部５は、上記により得られる調音パラメータベクトルｘを用い、統計的に調音パラメータの動的振る舞いの学習を行う。ここでは、統計手法としてＨＭＭを用いている（Ｓ２３：調音運動に基づくＨＭＭの作成）。 ＨＭＭの構造は、後続音素を考慮した２音素組の３状態単混合ガウス分布で、スキップなしのleft-to-rightモデルとする。
ＨＭＭのモデルλは、調音パラメータベクトルの出力確率Ｐ（ｘ｜λ）＝Σｑ  Ｐ（ｘ｜ｑ，λ）Ｐ（ｑ｜λ）が最大となるように作成する。ここで、ｑはＨＭＭの状態系列で、与えられた状態系列に対する調音パラメータベクトルの出力確率Ｐ（ｘ｜ｑ，λ）はガウス分布を仮定する。
【００２１】
次に、補間調音位置生成部６は、上記により求めたＨＭＭのモデルλの各２音素組のモデルにおける各状態ｉ，ｊの平均調音位置ｘｉ，０とｘｊ，０の間を１００点で線形補間した調音位置系列を作成する（Ｓ２４）。ここではそれをｘｉ，ｊ，ｎ (ｉ，ｊ：状態、ｎ＝１〜１００）とする。
これは、ある調音位置における運動方向を、ＨＭＭの状態遷移に基づき定義したことを意味する。図４に、ＨＭＭにより決定された正中断面上での調音位置の運動方向の一例が示されている。
【００２２】
そして、フォルマント周波数生成部７、バンド幅生成部８、基本周波数生成部９のそれぞれは、補間調音位置生成部６により出力される、線形補間済みの調音位置ｘｉ，ｊ，ｎに対し、調音・音響コードブック生成部４により生成される調音音響対コードブックに基づき、フォルマント周波数、バンド幅、基本周波数ｙｉ，ｊ，ｎのそれぞれを算出する（Ｓ２５）。
【００２３】
図３に、上記した調音運動の動的モデルにおける各状態の平均調音位置の間を補間する手順と、補間された調音位置からフォルマント周波数とそのバンド幅および基本周波数を決定する手順が概念的に示されている。
【００２４】
続いて、ＡＦＳ生成部１０は、補間された調音位置およびフォルマント周波数を用いて、上述した調音器官の位置である調音ジェスチャの変化に対するフォルマント周波数の変化量の算出を行う（Ｓ２６）。計算法は、すべての調音位置の第１あるいは第２フォルマント周波数の値に対し、その前後１０点のフォルマント周波数の値を用いて決定された線形回帰係数を、調音位置が１０点変化したことによる顎や舌などの各パラメータに対する平均二乗距離、すなわち調音ジェスチャの変化量で割る。これを調音ジェスチャの変化に対するフォルマント周波数の変化量(ＡＦＳ）と定義している。調音ジェスチャの変化に対するフォルマント周波数の変化量の一例が図５に示されている。
次に、対応表生成部１１は、すべての調音位置に対し計算し、各調音位置に対するフォルマント周波数、バンド幅、基本周波数、ＡＦＳを対とする対応表を作成し記憶する（Ｓ２７）。
【００２５】
ここでパラメータ選択部１２は、対応表生成部１１により作成された対応表を参照することにより、発話動作の制約を考慮した刺激音声を提示する。
例えば、フォルマント周波数とそのバンド幅が同じで、基本周波数の値が異なる刺激音声を提示したい場合、対応表の中から全探索により該当するデータ組を見つけ、それを刺激音声として用いればよい。さらに、フォルマント周波数を変化させた場合の刺激音声が、人間の実際に発声可能かどうかを調音位置の制約に基づき調べることも可能である。
図６に、フォルマント周波数とそのバンド幅が同じで、基本周波数が高い（１２７Ｈｚ）、低い（１１４ Ｈｚ）を生成する正中断面上での調音位置のデータ組の一例が示されている。
【００２６】
最後に、音声生成部１３は、パラメータ選択部１２により選択されたフォルマント周波数とバンド幅および基本周波数をパラメータとして、フォルマント合成器から刺激音声を作成する（Ｓ２８、Ｓ２９）。
【００２７】
なお、ここでは、日本人男性１名によって発声された／ａｉｕ／などの３母音連鎖５４０文章を用いて調音運動の動的モデルの作成と、調音変化に対するフォルマント感度の学習を行った。また、フォルマント合成器にはＰＲＡＡＴを使用した。更に、刺激音声の時間長は２００ｍｓで、音声のパワーには自然な時間変化をつけた。
本発明による発話器官の動的振る舞いを考慮した刺激音声を用いることにより、フォルマント周波数弁別閾値と調音ジェスチャに対するフォルマント周波数の変化量（ＡＦＳ）との間に相関関係が存在することが分かった。また、人間が実際に発声可能な範囲に存在しない刺激音声を用いた場合、上記の相関が見られないことから、従来の発話の制約を考慮しない刺激音声は、聴覚心理物理実験のための刺激として不十分であることを示している。本発明による、調音ジェスチャの変化に対するフォルマント周波数の変化量（ＡＦＳ）とフォルマント周波数の弁別閾値の関係を図７に示す。
【００２８】
以上説明のように本発明によれば、刺激音声を、連続音声発声時における、顎、舌、唇、軟口蓋、喉頭等、調音器官の調音運動軌跡の確率的な動的モデル（ここでは、ＨＭＭを使用）を考慮して作成し、また、各運動の平均調音位置の間を補間し、当該補間された各調音位置からフォルマント周波数とそのバンド幅、基本周波数を決定して各調音位置に対して当該調音位置に対するフォルマント周波数の変化量を計算することで、調音ジェスチャの変化とフォルマント周波数の変化量との関係を刺激音声として用いることを可能とする。このことにより、人間の調音器官や運動の動的な振る舞いを考慮した精緻な音声合成を実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明における音声合成装置の内部構成を機能展開して示したブロック図である。
【図２】本発明における音声合成装置の動作を説明するために引用したフローチャートである。
【図３】本発明実施形態の動作を説明するために引用した動作概念図である。
【図４】本発明実施形態による実験結果を示すグラフである。
【図５】本発明実施形態による実験結果を示すグラフである。
【図６】本発明実施形態による実験結果を示すグラフである。
【図７】本発明実施形態による実験結果を示すグラフである。
【符号の説明】
【００３０】
１…音声パラメータ記憶部、２…調音パラメータ記憶部、３…音素系列記憶部、４…調音・音響コードブック生成部、５…ＨＭＭモデル作成部、６…補間調音位置生成部、７…フォルマント周波数生成部、８…バンド幅生成部、９…基本周波数生成部、１０…ＡＦＳ生成部、１１…対応表生成部、１２…パラメータ選択部、１３…音声生成部
【図１】
2006078641.tif 000003
【図２】
2006078641.tif 000004
【図３】
2006078641.tif 000005
【図４】
2006078641.tif 000006
【図５】
2006078641.tif 000007
【図６】
2006078641.tif 000008
【図７】
2006078641.tif 000009