(57)【特許請求の範囲】
【請求項１】
少なくとも１人の学習用話者から得られた口形状データ(26)から当該口形状データ(26)が確率モデルの形でモデル化された話者依存性データ(34)の平均値を減算することにより話者独立性データ(36)を抽出し、当該話者独立性データ(36)を文脈単位に編成して提供する工程(14)と、
上記話者依存性データ(34)における確率モデルを定義するパラメータを用いてパラメータ空間を構築することにより固有空間(42)を提供する工程(16)と、
新しい話者の口形状データのパラメータ表現(50)を入手する工程(18)と、
上記新しい話者の口形状データのパラメータ表現(50)を上記固有空間(42)に射影することにより、上記新しい話者の口形状データの確率モデルを定義するパラメータ空間(52)を推定する工程(20)と、
上記新しい話者の口形状データの確率モデルを定義するパラメータ空間(52)に上記文脈単位に編成された話者独立性データ(44)を付加することによって、口形状ライブラリ(56)を作成する工程(22)と、
を備える、
ことを特徴とする口形状ライブラリ作成方法。
【請求項２】
請求項１において、
上記工程(14)では、上記話者独立性データ(36)は決定木に編成される、
ことを特徴とする口形状ライブラリ作成方法。
【請求項３】
請求項１において、
上記工程(14)は、上記話者独立性データ(36)を、節が文脈に従って編成される決定木に編成する工程を含む、
ことを特徴とする口形状ライブラリ作成方法。
【請求項４】
請求項１において、
上記工程(16)は、上記固有空間(42)の次元数を削減する工程(38,40)を含む、
ことを特徴とする口形状ライブラリ作成方法。
【請求項５】
請求項１において、
上記新しい話者の口形状データは、口形素である、
ことを特徴とする口形状ライブラリ作成方法。
【請求項６】
請求項１において、
上記工程(18)は、上記新しい話者から口形素データのサンプルを収集することによって行われる、
ことを特徴とする口形状ライブラリ作成方法。
【請求項７】
請求項６において、
上記口形素データのサンプルは、発話された言葉を構成する口形素の不完全な集合である
ことを特徴とする口形状ライブラリ作成方法。
【請求項８】
少なくとも１人の学習用話者から得られた口形状データ(26)から当該口形状データ(26)が確率モデルの形でモデル化された話者依存性データ(34)の平均値を減算することにより話者独立性データ(36)を抽出し、当該話者独立性データ(36)を文脈単位に編成して提供する手段と、
上記話者依存性データ(34)における確率モデルを定義するパラメータを用いてパラメータ空間を構築することにより固有空間(42)を提供する手段と、
新しい話者の口形状データのパラメータ表現(50)を入手する手段と、
上記新しい話者の口形状データのパラメータ表現(50)を上記固有空間(42)に射影することにより、上記新しい話者の口形状データの確率モデルを定義するパラメータ空間(52)を推定する手段と、
上記新しい話者の口形状データの確率モデルを定義するパラメータ空間(52)に上記文脈単位に編成された話者独立性データ(44)を付加することによって、口形状ライブラリ(56)を作成する手段と、
を備える、
ことを特徴とする口形状ライブラリ作成システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、合成口形状または模擬口形状を表示するオーディオビジュアルテキスト音声合成システムなど、様々なマルチメディアアプリケーションで使用される口形状の生成に関し、特に、話者依存性の変動と話者独立性の変動を分離する技術に基づいて口形状のライブラリを作成するシステムおよび方法に関する。
【０００２】
【従来の技術】
マルチメディアアプリケーションおよびテキスト音声合成アプリケーションにおいてトーキングヘッドの動画シーケンスを生成することは、特に、様々な口形状を表す画像を撮影した場合に、非常に単調になりやすい。口形状は、調音結合現象（音響同士間の影響）によって影響されるので、音声部分とトーキングヘッドの動画とをうまく一致させるためには、動画による形状を多数格納した大きなライブラリが必要とされる。３Ｄモデル作成技術の発達やより高速なコンピュータが利用可能になったことは、実際の人間から撮影された画像や最新のモデル作成技術に基づいて現実感のあるトーキングヘッドを開発することへの関心を高めるきっかけとなった。
【０００３】
【発明が解決しようとする課題】
しかしながら、画像の集合を基にして実際の顔画像のコンピュータモデルを作成することが可能になったとはいえ、音声データと画像データすなわちビデオデータとをうまく同期させるのに必要な口形状ライブラリの作成はまだ困難である。
【０００４】
この点に関して進歩が続いてはいるが、これまで提案されてきた解決策の場合には、多数の口形状を用いて調音結合のライブラリを作成することが必要であり、この作業は非常に時間のかかるものである。現在、特定話者に何時間も口形状のサンプルを登録させない限り、音声と画像とがうまく同期する口形状ライブラリを作成するのに有効な方法はない。
【０００５】
少量の口形状データだけで音声と画像がうまく同期する口形状ライブラリを作成できれば本当に望ましいことであるが、そのような技術はこれまで存在しなかった。
【０００６】
したがって、本発明の目的は、少量の口形状データだけで口形状ライブラリを作成するシステムと方法を提供することである。
【０００７】
【課題を解決するための手段】
本発明の第１の側面では、口形状ライブラリの作成方法が提供される。この方法は、話者独立性口形状モデルの情報を提供する工程と、話者依存性口形状モデルの変動に関する情報を提供する工程と、新しい話者の口形状データを入手する工程と、上記新しい話者の口形状データと上記話者依存性口形状モデルの変動に関する情報とに基づいて話者依存性口形状モデルの情報を推定する工程と、上記話者独立性口形状モデルの情報と上記話者依存性口形状モデルの情報とに基づいて口形状ライブラリを作成する工程とを備えている。
【０００８】
本発明の第２の側面では、話者独立性口形状モデルの情報と話者依存性口形状モデルの変動に関する情報とを格納するコンピュータメモリと、話者の口形状データを受け取る入力部と、上記口形状データと上記話者依存性口形状モデルの変動に関する情報とに基づいて話者依存性口形状モデルの情報を推定し、上記話者独立性口形状モデルの情報と上記話者依存性口形状モデルの情報とに基づいて口形状ライブラリを作成する口形状ライブラリ作成モジュールとを備えた適応型オーディオビジュアルテキスト音声合成システムが提供される。
【０００９】
本発明の第３の側面では、適応型オーディオビジュアルテキスト音声合成システムに使用される口形状ライブラリ作成モジュールを製作する方法が提供される。この方法は、複数の学習用話者からの口形状データに基づいて話者独立性口形状モデルの情報と話者依存性口形状モデルの変動に関する情報とを求める工程と、上記話者独立性口形状モデルの情報と上記話者依存性口形状モデルの変動に関する情報とをコンピュータメモリに格納する工程と、話者依存性口形状データと上記話者依存性口形状モデルの変動に関する情報とに基づいて話者依存性口形状モデルの情報を推定する工程と、上記話者独立性口形状モデルの情報と上記話者依存性口形状モデルの情報とに基づいて口形状ライブラリを作成する工程とを備えている。
【００１０】
好ましい実施形態では、話者依存性の変動（話者による変動）を話者空間によってモデル化する一方、話者独立性の変動（すなわち、文脈依存性（文脈による変動））を１回だけ作成すればよい標準型口形状の集合によってモデル化する。新しい話者から少量のデータが与えられると、適応データの尤度を最大にする話者空間内の点を推定することによって、対応する口形状ライブラリを作成することができる。この技術によれば、わずかな口形状インスタンスで口形状ライブラリを作成することができるので、トーキングヘッドの製作が非常に容易になる。話者空間を構築するため、口形状のパラメータ表現を入手する。その後、話者空間内の話者ごとに、文脈独立性の（文脈によらない）口形状の集合を含んだスーパーベクトルを形成する。主成分分析（ＰＣＡ）、線形判別分析（ＬＤＡ）などの次元数削減技術を利用して、話者空間の各領域を求める。
【００１１】
本発明のその他の適用分野については、以下に記載の詳細な説明から明らかになるであろう。なお、本発明の好ましい実施形態を示す以下の詳細な説明と具体例は例示に過ぎず、本発明の範囲を限定することを意図するものではない。
【００１２】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面に基づいて詳細に説明する。
【００１３】
なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その用途および使用法を限定するものでは全くない。
【００１４】
本発明の好ましい実施形態では、モデルベースのシステムを用いて口形状ライブラリが作成される。モデルベースシステムは、Ｎ人の学習用話者から学習を行った後、新しい話者（場合によっては、学習用話者の１人であってもよい）からの口形状データを適応化することによって口形状データを生成する際に使用される。このシステムは、前と次の口形状に依存して口形状特性を同定することによって文脈を考慮する。好ましい実施形態では、話者独立性の変動と話者依存性の変動とが分離、すなわち、分解される。本システムは、文脈依存性の（特定の文脈の）口形状を話者独立性の変動に関連づける一方、文脈独立性の口形状を話者依存性の変動に関連づける。
【００１５】
学習時には、話者独立性のデータが、文脈に応じてデータを編成する決定木に格納される。さらに、学習時には、話者依存性のデータを使用して、Ｎ個の学習用話者母集団の話者依存特性を表現する固有空間が構築される。
【００１６】
その後、新しい口形状ライブラリが必要な場合は、新しい話者が、必ずしも全てではなくいくつかの口形素(visemes)によって口形状データのサンプルを提供する。口形素は、特定音素の調音と関連づけされた口形状である。このデータサンプルから、新しい話者が固有空間に配置、すなわち、射影される。固有空間内の新しい話者の位置から、話者依存性の（文脈独立性の）パラメータ集合が推定される。これらのパラメータから、本システムは、文脈独立性の重心を生成する。重心には、決定木からの文脈依存性データが付加される。文脈依存性データは、それぞれ異なる文脈に対応するズレとして重心に付加されてもよい。このようにして、口形状ライブラリ全体を作成することができる。この口形状ライブラリ作成プロセスをより深く理解するため、図１ないし図３に基づいて以下に詳細に説明する。
【００１７】
図１に示すように、口形状ライブラリ作成方法１０が１２で開始されると、ステップ１４に進み、話者独立性口形状モデルの情報が提供される。好ましい実施形態では、話者独立性口形状モデル情報は、文脈依存性のデルタ決定木に格納されるパラメータ空間に対応する。方法１０はステップ１６に進み、話者依存性口形状モデルの変動に関する情報が提供される。好ましい実施形態では、ステップ１６で、文脈独立性の話者空間が生成され、この話者空間は、複数の口形状を話者単位でパラメータで表現することによって文脈独立性かつ話者依存性のパラメータ空間を生成するように処理することが可能である。また、好ましい実施形態では、話者独立性のデータを使用して、Ｎ人の学習用話者に対応する固有空間を生成する。次に、方法１０はステップ１８に進み、新しい話者の口形状データが入手される。その場合、好ましくは、口形状入力のプロンプトの後に画像検出を経てから、データが入手される。また、好ましくは、ステップ１８で、口形状入力がパラメータで表現される。固有空間でＮ人の話者の母集団を表現する実施形態の場合、異なる口形素の全てについて新しい話者の入力データを入手する必要はない。
【００１８】
次に、方法１０はステップ２０に進み、入手した口形状データおよび話者依存性口形状モデルの変動に関する情報に基づいて、話者依存性口形状モデルの情報が推定される。方法１０はさらにステップ２２に進み、話者独立性口形状モデル情報および話者依存性口形状モデル情報に基づいて、口形状ライブラリが作成される。好ましい実施形態では、ステップ２２で、話者依存性かつ文脈独立性のパラメータ空間と話者独立性かつ文脈依存性のパラメータ空間とを加えて、話者依存性かつ文脈依存性のパラメータ空間が得られる。これにより、方法１０は２４で終了する。
【００１９】
好ましい実施形態では、ステップ２０で、話者依存性パラメータ表現および話者依存性口形状モデルの変動に関する情報に基づいて、話者依存性文脈独立性スーパーベクトルが作成される。具体的には、話者依存性パラメータ表現に基づいて、話者空間（固有空間）内の点が推定され、この推定された話者空間内の点に基づいて、話者依存性文脈独立性スーパーベクトルが作成される。適切な点を推定する１つの方法は、全ての口形素が入手可能であれば、ユークリッド距離を使用して話者空間内の点を推定することである。しかしながら、そのパラメータ表現が隠れマルコフモデルからのガウス分布に一致する場合には、口形状の動きが状態の遷移であると仮定すると、最尤推定技術（ＭＬＥＴ）を使用することができる。実際には、最尤推定技術は、実際にどの程度の口形状データが入手できるかに関係なく、話者の口形状入力データと最も一致する話者空間の中でスーパーベクトルを選択することになる。
【００２０】
最尤推定技術では、所定の口形状モデル集合の観測データを生成する確率を表す確率関数Ｑが使用される。確率関数Ｑの操作は、この関数が確率項Ｐだけでなくその項の対数であるｌｏｇＰも含んでいる場合に容易になる。その場合、確率関数は、各固有値について個別に確率関数の導関数をとることによって最大化される。例えば、話者空間が１００次元であれば、このシステムは、確率関数Ｑの１００個の導関数を算出し、各導関数を０に設定して各固有値Ｗについて解く。
【００２１】
そのようにして得られた固有値Ｗの集合は、最大尤度の点に対応する話者空間内の点を同定するのに必要な固有値を表す。したがって、固有値Ｗの集合は、話者空間内の最大尤度ベクトルを含んでいる。その後、この最大尤度ベクトルを使用して話者空間内の最適点に対応するスーパーベクトルを作成することができる。
【００２２】
最大尤度に関して、本発明の枠組みにおいては、与えられたモデルに対する観測値Ｏの尤度を最大にする必要がある。これは、以下の式
【数１】
0004242676.tif 000002
（但し、λはモデル、λ＾は推定されたモデル）で表現される補助関数Ｑを繰返し最大化することによって行うことができる。
【００２３】
予め近似化する方法として、平均値のみを最大化する場合もある。確率Ｐが口形状モデル集合によって与えられるため、以下の式が得られる。
【数２】
0004242676.tif 000003
但し、
【数３】
0004242676.tif 000004
であり、ｏtは時刻ｔにおける特徴ベクトル、Ｃm(s)-1は状態ｓの混合ガウス分布ｍの逆共分散、μ＾m(s)は状態ｓの混合成分ｍの適応平均の近似値、γm(s)(ｔ)は混合ガウス分布ｍ｜λ，ｏtを用いた確率Ｐをそれぞれ表す。
【００２４】
新しい話者の口形状モデルのガウス平均が話者空間内に位置すると仮定し、この空間に以下の平均スーパーベクトルμj（ｊ＝１，．．．，Ｅ）が広がるとする。
【数４】
0004242676.tif 000005
【００２５】
但し、μm(s)(ｊ)は、固有ベクトル（固有モデル）ｊの状態ｓにおける混合ガウス分布ｍの平均ベクトルを表す。この場合、以下の近似値μ＾が必要である。
【数５】
0004242676.tif 000006
【００２６】
μjは直交であり、ｗjは話者モデルの固有値である。ここで、いかなる新しい話者も観測済みの話者のデータベースから線形結合の形でモデル化できると仮定する。その場合、
【数６】
0004242676.tif 000007
が成り立つ。但し、ｓはモデルλの状態、ｍは線形変換Ｍの混合ガウス分布である。
【００２７】
確率関数Ｑを最大化するためには、∂Ｑ／∂ｗe＝０，ｅ＝１，．．．，Ｅと設定する必要がある（但し、固有ベクトルは直交であるので、∂ｗi／∂ｗj＝０，ｉ≠ｊ）。したがって、以下の式が成り立つ。
【数７】
0004242676.tif 000008
【００２８】
上記の導関数を計算すると、以下の式が得られる。
【数８】
0004242676.tif 000009
【００２９】
さらに、上の式から、以下の一連の線形等式が求められる。
【数９】
0004242676.tif 000010
【００３０】
図２に示すように、話者依存性変動と話者独立性変動への分解の好ましい実施形態では、Ｎ人の学習用話者２６から入力された口形状に基づいて、パラメータ空間が生成される。この学習用話者のパラメータ空間は、学習用話者から収集された口形状データから作成されたスーパーベクトル２８から構成されている。例えば、口形状は、１状態当たりに１つ以上のガウス分布を有する隠れマルコフモデルまたはその他の確率モデルの形でモデル化される。パラメータ空間は、ガウス分布の定義に使用されるパラメータ値を用いることによって構築されてもよい。
【００３１】
文脈依存性（話者独立性）変動と文脈独立性（話者依存性）変動とは、以下のようにして分離すなわち分解される。まず、学習用話者データ２６から文脈独立性話者依存性データ３４が入手され、その後、このデータ３４の平均値が分離プロセス３０に入力として送られる。分離プロセス３０は、ラベル付き文脈情報３２から文脈の知識を入手し、さらに、学習用話者データ２６からの入力も受け取る。分離プロセス３０は、文脈の知識を利用して、学習用話者データから文脈独立性話者依存性データ３４の平均値を減算する。これにより、分離プロセス３０は、文脈依存性話者独立性データ３６を生成すなわち抽出する。この文脈依存性話者独立性データ３６は、デルタ決定木４４のデータ構造に格納される。
【００３２】
好ましい実施形態では、文脈依存性話者独立性データ３６を表すガウス分布データが、様々な口形素に関するデルタ決定木４４の形で格納され、このデルタ決定木４４は、終端ではない節４６のｙｅｓ／ｎｏ文脈に基づく質問と、終端節４８の特定の口形状をあらわすガウス分布データとから構成されている。
【００３３】
その一方で、文脈独立性話者依存性データ３４は、スーパーベクトルの形のまま反射され、このスーパーベクトルは、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）、線形判別分析（ＬＤＡ）、因子分析（ＦＡ）、特異値分解（ＳＶＤ）などの適切な次元数削減技術によって次元数が削減される（３８）。その結果、固有ベクトルの集合とそれに関連する固有値とが抽出される。好ましい実施形態では、話者空間４２のサイズを削減するために、プロセス４０で、最下位の固有ベクトルの一部が切り捨てられる。これにより、場合に応じていくらかの上位固有ベクトルが残されて、固有空間、すなわち、話者空間４２が構築される。生成された固有ベクトルの全てを残すことも可能であるが、話者空間４２を記憶する所要メモリ量を削減するために、プロセス４０が実行されることが好ましい。
【００３４】
Ｎ人の学習用話者について固有空間（話者空間）４２とデルタ決定木４４が生成されると、新しい話者の口形状ライブラリを作成する際にシステムを使用する準備が整う。この場合、新しい話者は、学習時に事前に口形状データを提供しなかった話者であってもよいし、学習時に参加した話者の１人であってもよい。
【００３５】
図３に、新しいライブラリを作成するシステムと工程を示す。
【００３６】
図３に示すように、まず、新しい話者から、口形状データのパラメータ表現５０が入手される。この段階で全ての口形素に関する口形状パラメータデータの完全集合を収集することもできるが、実際には、必要ではない。固有空間内の点を同定できるだけの口形状データのサンプルが得られるだけで充分である。これにより、話者空間４２内の点Ｐは、口形状データのパラメータ表現５０に基づいて推定され、文脈独立性話者依存性パラメータ空間５２が、固有空間（話者空間）内の点Ｐに対応する重心５３の形で生成される。固有空間を使うことによる１つの大きな利点は、新しい話者によって与えられなかった口形状の口形素のパラメータを自動的に推定できることである。それは、固有空間がＮ個の学習用話者母集団の話者依存性データに基づいているからであり、そのためには、口形状データの完全集合が既に与えられていることが好ましい。
【００３７】
符号５４で示すように、文脈独立性話者依存性パラメータ空間５２の重心５３に対して、デルタ決定木４４の形で格納されている文脈依存性話者独立性口形状データ４８が付加されることによって、口形状ライブラリ５６が成立する。
【００３８】
具体的には、文脈依存性話者独立性データが、文脈ごとにデルタ決定木から取り出され、取り出されたデータが、固有空間を用いて作成された話者依存性データと結合、すなわち、合算されることによって、新しい話者の口形状ライブラリが作成される。実際には、固有空間から作成された話者依存性データは、重心とみなすことができ、話者独立性データは、その重心からの「デルタ」、すなわち、ズレとみなすことができる。この点に関して、固有空間から作成されるデータは、特定話者に対応する口形状情報を表している（その情報の一部は、固有空間の作用による推定値を表している）。一方、デルタ決定木から得られるデータは、様々な文脈における口形状間の話者独立性の差を表している。このように、文脈ごとに話者依存性情報（重心）と話者独立性情報（ズレ）とを結合させることによって、新しい口形状ライブラリが作成される。
【００３９】
図４に示すように、本発明の適応型オーディオビジュアルテキスト音声合成システム５８では、コンピュータメモリ内に、話者独立性口形状モデル情報６０と、話者依存性口形状モデルの変動に関する情報６２とが格納されている。また、このシステム５８は、新しい話者から口形状データ６６を受け取る入力部６４を有している。口形状ライブラリ作成モジュール６８は、新しい話者からの口形状データ６６と話者依存性口形状モデルの変動に関する情報６２とに基づく話者依存性口形状モデル情報（図示せず）の推定と、話者独立性口形状モデル情報６０と話者依存性口形状モデル情報（図示せず）とに基づく口形状ライブラリ７０の作成とを行うように動作することができる。
【００４０】
上記の本発明に関する説明は本質的に例示に過ぎず、したがって、本発明の主旨から逸脱しない変形は本発明の範囲内に含まれるものである。そのような変形は、本発明の精神および範囲から逸脱するものとみなすべきではない。
【図面の簡単な説明】
【図１】  本発明にかかる口形状ライブラリ作成方法のフロー図。
【図２】  本発明の好ましい実施形態において、話者依存性変動と話者独立性変動への分解を示すブロック図。
【図３】  本発明の好ましい実施形態にかかる口形状ライブラリ作成方法のブロック図。
【図４】  本発明にかかる適応型オーディオビジュアルテキスト音声合成システムのブロック図。
【符号の説明】
２８  スーパーベクトル
４４  デルタ決定木
５０  口形状データのパラメータ表現
５２  文脈独立性話者依存性パラメータ空間
５３  重心
５６  口形状ライブラリ
５８  適応型オーディオビジュアルテキスト音声合成システム
６４  入力部
【図１】
0004242676.tif 000011
【図２】
0004242676.tif 000012
【図３】
0004242676.tif 000013
【図４】
0004242676.tif 000014