ビデオ翻訳システム‑ 自動翻訳合成音声とのモデルベースリップシンクの実現 ‑緒方 信†‡

中村 哲‡†成蹊大学工学研究科

森島 繁生†‡ ATR 音声言語通信研究所

あらまし 本稿では、従来より研究されてきた音声翻訳技術に加え画像をも翻訳する、日英双方向翻訳システムを紹介する。本手法は顔画像翻訳において、話者の表情を保つ為に口やその周囲の情報以外は原言語発話時の動画像をそのまま用い、口領域については任意の話者に適合可能な3次元ワイヤフレームモデルを用意し双方を合成することを試みた。この手法により、小規模なデータベースより顔画像の合成、翻訳が可能となった。

Multi-modal Translation System- Model Based Lip Synchronization with Automatically Translated Synthetic Voice Shin OGATA†‡
Satoshi NAKAMURA ‡Shigeo MORISHIMA††Faculity of Engineering, SEIKEI Univ.
‡ATR Spoken Language Translation Research Lab.
Abstract In this paper, we introduce the multi-modal English to Japanese and Japanese to English translation system, whichtranslates the speaking motion synchronized to the translated speech. To retain the speaker’s facial expression, we substituteonly speech organ’s image with the synthesized one, which is made by a three-dimensional wire frame model that is adaptable
to any speaker. Our approach enables the image synthesis and translation with extremely small database.

者の表情を保ちつつ口形状の翻訳が可能となれば、より親しみのあるコミュニケーションを実現できる

1 ． はじめに音声翻訳の研究は、あらゆる言語間で、またさであろう。
口形状を変形した顔画像を生成する研究 [2] は、

まざまな目的に応じて盛んに行われており、その発展は目覚しいものがある。

過去にもアプローチはいくつかあった。しかし、画1993年に発足したATR音声翻訳通信研究所にお像は音声に比べ情報量が多い為、大規模データベースを用意するのは困難であり、話者が限定される等ける研究の結果、話題の対象が限定されるなどの一定の条件下で、異なる言語での対話を翻訳するシスの汎用性が乏しいという制約があった。

[1]

テム(ATR-MATRIX )として利用可能であるというそこで本研究では、話者の表情を保つ為に、口やその周囲の情報以外は原言語発話時の顔動画像を段階に達している。そしてこの分野の研究は、2000年に発足した ATR 音声言語通信研究所においてもそのまま用い、口領域については任意の話者に適合引き継がれ、より広いドメインにおける日常の自然できる3次元モデルを用意し、双方を合成することを試みた。3 次元モデルを用いれば、音声合成に用な話し言葉に拡張されることが期待されている。
音声翻訳技術は韻律情報等を除けば、主に言語いた音素の表記と継続長情報を基に口形を生成する情報を扱う研究分野として発展してきた。
しかし言語情報は、意思疎通の為のひとつの手段に過ぎず、Face-to-Face のコミュニケーションにおいて、顔は言葉と共にさまざまなメッセージを伝えている。
例

ことができ、顔の位置や向きにも対応する合成画像を得ることが可能である。また3次元モデルには画像データベースは必要がなく、用意するのは口形状を表現する為のワイヤフレーム格子点のベクトル移動量のみである。これにより、比較的小規模のデー

えば映画などにおける吹き替えでは、音声のみを翻訳している為、口の動きと発話内容が一致しないとタベースによって音声のみならず顔画像をも翻訳でいう課題がある。
また顔画像全体をコンピュータグきる、ビデオ翻訳システムが可能となる。
本稿ではまず、このビデオ翻訳システムの全体ラフィックスにより合成した場合、ノンバーバルな情報を再現して伝えることが困難となる。
これらの像について触れ、顔画像合成における3次元口形モ課題を克服し音声翻訳と共に画像の翻訳、つまり話デルの生成について記述する。
次に音声合成部より‑1‑

入力画像モデル生成部音声・ 画像入力
音声・・標準顔ワイヤフレームの整合・口領域 3 次元モデル生成

入力音声

ATR-MATRIX
音声認識 (SPREC)
音素表記
継続長情報

音声翻訳 (TDMT)
音声合成 (CHATR)

口形生成部
音素→継続長 →口形状パラメータ取得
口形状の線形補間

翻訳合成音声
翻訳合成画像

翻訳合成音声・ 合成画像の同期出力
翻訳合成音声・

画像合成部
・入力画像への翻訳合成口形の埋め込み

図1 システム全体像得られる音素表記と継続長情報の2つのパラメータから、発話に対応する口形をモデル上に生成する手長情報は口形状の線形補間に利用する。
このときに使用する口形状パラメータは音素ごとに定めた口形法について説明する。
その後モデルと入力画像の合状のワイヤフレームのベクトル移動量としている成手法について触れ、そして最後に、このシステムにおける研究課題について考察する。

為、話者に依存することはない。
画像翻訳部の最終段階は、入力画像に3次元口形モデルを埋め込む画像合成部である。
この工程でモデルと入力画像の色、スケールを一致させる。入力

2 ． システム全体像した顔画像が発話時に運動していても、モデルは 3

図 1 に、本研究におけるシステムの全体像を示

次元情報を所持している為、自然な画像合成を行うことが可能である。

す。
システムは大別すると音声翻訳部と画像翻訳部に分かれている。音声翻訳部はATR音声翻訳通信研システムの最終工程では、翻訳された合成音声[1]

究所で開発されたATR-MATRIX により行われる。と合成画像を 30[frame/sec] で同期させて出力する。

ATR-MATRIX は、音声認識を行う SPREC、テキストに変換された言語情報を翻訳するTDMT、翻訳されたテキストから合成音声を生成する CHATR[3] より構成されている。
このうちの翻訳合成音声を生成するCHATRより出力される音素表記と音素継続長3 ． 口領域の 3 次元モデルの生成 [5][6]3-1.3 次元頭部モデルの情報は、顔画像翻訳に利用される。

人間の顔は基本的な形状や構造は同じといって画像翻訳部における第一段階は、入力画像から標準顔ワイヤフレームを整合することにより、話者よいが、目、鼻、口等の要素を構成する形状や位置別の口領域の 3 次元モデルを生成することである。
話者により顔面の骨格が異なる為に、個人ごとにモデルを生成しておかなければならないが、この工程は話者 1 人につき 1 度踏まえればよい。
画像翻訳部第二段階は、発話に対応する口形生成部である。音声合成に用いた音素表記から、各音素に対応する口形状パラメータをデータベースより図2取得し、口領域モデルを変形させる。また音素継続‑2‑

3次元頭部モデル

(a) 入力画像(b) 整合図3(c) 口領域モデル

生成された口領域3次元モデル

は、個人によって微妙に異なる。CG(Computer

本研究と同様、発話顔動画像の生成をモデルGraphics) によって自然な表情を合成するには、対象人物の顔により忠実でかつ演算量の少ない3次元ベースからアプローチしている、文献 [4] の報告では、被験者の口領域にマーカを置き、3 次元的移動モデルを構成することが必要となる。

量を計測することで運動学的データを採取し、アニ本研究では、成蹊大学情報通信研究室において研究・開発されている、3 次元頭部モデル[図 2]をメーションに再現する方法を試みている。
しかし今回は、話者への依存性を削減するという点から、次用いて、口領域の3次元モデルを生成することを試節に示す手法を用いた。

みた。本研究では顔領域全体の整合を行った。
このモデルは約1500ポリゴンの三角形パッチよ4-1. 標準口形状データの設定[6]り構成されていて、格子点数は約 800 からなる。

口領域の動きを定量的に表現する為に、文献 [6]では口領域の制御点として図 4 のように 7点を定めている。
各々の制御点はワイヤフレームモデルの格子点と対応しており、骨格と筋肉の運動に基づく、3-2. 口領域モデルの作成過程3 次元の移動法則が定められている。

3-1 節で導入した 3 次元頭部モデル上に、人物画本研究では、表現する音韻を表している正面と側面の2方向から撮影された、口形状の参照画像を像の口領域を正確にテクスチャマッピングする為には、ワイヤフレームモデルと対象人物の入力画像の用意し、上記の制御点を移動することでワイヤフレームモデルをその参照画像に近づけるよう変形させたとき得られる、各格子点のベクトル移動量を基整合を行わなければならない。整合は、任意方向から撮影した複数画像と、専用のGUIツールを用いて行い、この工程を経てモデルに 3次元情報を付加す

本口形のデータベースとしている。
このデータは口領域の大きさで正規化したベクトル移動量としている為、一度基本口形を用意すれば、すべての話者にることが可能である。現状では、整合に多くの画像を用いるほど精密なモデルを生成することができるが、人手による作業量も増すことになる。

適用することが可能である。このように、本研究では話者に依存しない小規模なデータベースしか必要としないシステムを実現している。

本研究においては、話者 1 人につき、正面・側面に加えさらに 2 つの斜め方向より、計 4 方向から撮影した画像を用いて、口領域モデルの整合を行っ①上唇の上端た。図 3(c) が、入力画像 (a) の人物の生成された 3 次②上唇の下端元口領域モデルを表している。

①⑥②4 . 発話口形の生成 [4][6]④⑤

図4‑3‑③下唇の上端⑤顎の下端⑥唇の外端点

人間が会話をする際、動作の大きい部分として、唇、顎などが挙げられる。特に唇の動きは音韻と密接な関係がある為、正確な制御が要求される。

⑦④下唇の下端③⑦唇の内端点

制御点の位置

4-2.VISEME による音韻分類
4-2-1.VISEME の定義
VISEME とは、音素である

phonemeから作られた造語である。
音声学的に異なった音であっても同一言語の中で同一音とみなされる最小の音単位の意である。例として、英語におけるmeとknee という単語の発音は、騒音下などでは音のみよって区別するのは非常に困難である為、同一音

図 5 音素表記 /ah/ に対応する基本口形とする場合があるが、同一音であっても視覚的要素類に、日本語については5母音をそれとは別に分類し、さらに無音区間を加えた計 28 種類の基本口形によってどちらの単語であるか区別するのは容易である。もし話者の口が閉じていればそれはmeであればあり、そうでなければをデータベースとして用いた。
本来、VISEME は発音記号 [au],[ei] 等に現れる口唇運動の情報まで定義されるのであるが、本研究にknee である。またそれとは逆に、 bat と pat のような単語にみられる、視覚では区別できず聴覚によって区別がおいては、そのようなVISEMEは複合VISEMEとしてさらに分解し、運動情報は所持しない形状の情報のみで分類した。複合 VISEME については後述す

可能な /b/, /p/ 等の音韻を「視覚素」、すなわちVISEMEと呼ぶ。
本研究では、音声合成部CHATRより出力されるる。
表1に本研究で分類した VISEMEとCHATRの音素表記の対応を、図 5 に 3 次元モデルで表現される音素表記をVISEMEに基づき、英語については22種

VISEME No.
12345678910111213141516171819202122232425262728

表1 VISEMEの分類

音素表記 /ah/ の基本口形を、例として示す。

CHATRより返還される音素表記
/ae//ah/, /ax//A//aa//er/, /ah r//iy/, /ih//uh//uw//eh//oh/, /ao//ax r//l//r//b/, /p/, /m//t//d/, /n//k/, /g/, /hh/, /ng//f/, /v//s/, /z/, /sh/, /zh/, /ts/, /dz/, /ch/, /jh//th/, /dh//y//w//a/, /A/日本語/i/, /I//u//e/, /E//o/, /O//#/無音

CHATR では英語合成音声に、英国英語（BritishEnglish）と米国英語(American English) を用意している。音声合成には、それぞれ別々の音素辞書を用いるが、本研究では British English の音素辞書をVISEME に対応付けた。また日本語の音素辞書には、外来語（カタカナ語）に多く用いられる「ヴェ」、「デュ」等の音素が存在するが、これらについては対応付けるには至らなかった。その他、共通にみられる「笑い声」や「いびき」等についてもCHATR側には表記として存在したが、本研究においては対応付けはしていない。

4-2-2. 英語における複合 VISEME
英語には、音素表記1つに対して時間的に複数の基本口形から構成されるVISEMEが存在する。発音記号 [au] や [ei]、[ou] 等の音素がそれに当たる。本研究ではこのようなVISEMEに対して基本口形単位で分解し新たに分類し、複合VISEMEと呼ぶことにする。表 2 は CHATR より出力される、これらの複合 VISEME で表される音素表記を示す。
音素表記は個別に音素継続長の情報を持っている。しかしこのように音素表記が複合VISEMEと対‑4‑

表2 英語における複合VISEME
音素表記/aa r//ia//ia r//ua r//ea r//aw//ey//oy//ow//ao r//ay/

4-3. 口形状の補間

VISEME No.
4+2
6+5
6+5
8+11
9+11
4+8
9+6
5+6
5+8
5+2
4+6

システムの口形状データベースには28種類の基本口形があることは前節までに触れた。
しかしある
基本口形から次の基本口形に移行するまでのデータは存在しない。
本節では、音声合成部より出力されるもう1つのパラメータである音素継続長情報より、基本口形間の線形補間を行う手法を述べる。

4-3-1. 口唇運動の軌跡
人間が言葉を話すとき、唇は絶えず運動をする。
しかし同じ発話内容であっても、1 音ずつ音節を区応する場合はその継続長情報についても基本口形の個数によって分解する必要がある。

切りながら発音するときと、文章として発話するときとでは口唇運動の軌跡が異なる。
これは人間が滑らかに発話する場合、口唇の運動軌跡は効率良く推本研究では、音素表記が2つの基本口形から構成される場合において、前半に現れる基本口形に30%の音素継続時間を、後半に残りの継続時間を経験的移していく傾向がある為である。
本システムに使用する口形状データベースは、基本口形に変形させたワイヤフレームの格子点のベに割り当てた。
これはあくまで経験的に定めた値であるが、音素別に特徴を定量化できた場合、データベースを容易に変更することが可能であり、この点クトル移動量で定義されている。そこで、ある基本口形の移動量と次に現れる基本口形のベクトル移動量を加減算することにより連続的な口唇運動を実現

は本手法の特徴であるといえる。

する手法について次節で説明する。

4-2-3. 日本語の子音分類
日本語の子音は英語に現れるものより少ない為、本研究では英語のデータベースより引用した。
しか4-3-2. 口形状の線形補間発声された音素が継続している間は基本口形の要素を持ったベクトル移動量の情報がモデルワイヤし一般的に日本語の子音口形は英語に比べ運動の変化が少ないことが知られている。そこで今回、データベースより引用する日本語の子音基本口形は、英フレーム上に存在しなければならない。
本研究において、音素が発声される開始時は、基本口形状を構成しているものと定義した。従って図6に示すよう語の基本口形の移動量の 60% におけるものと定めた。
また日本語では、文末の母音が無声化することに、音素継続時間の始点における、基本口形状を構が多い。CHATR では、母音「う」の音素表記に有声音 /u/ と無声音 /U/ がある。そこで本システムでは無声化した場合の唇の移動量を考慮にいれて、
子音素 1音のときと同様に、 /u/ の基本口形 60% を /U/ の基100%本口形とした。
さらに日本語子音の特殊な例として、「は行」が音素 2

音素 3音素の発話区間

音素 1 の口形の重み0%
音素 2 の口形の重みある。発音記号 [h] に表される子音は、主に口内で音素 3 の口形の重み生成される音である為、唇の動作等の視覚要素に反映されることは少ない。これを考慮に入れ、システ
ムにおける音素表記 /h/ に対しては、後に続く母音

図6 口形状の線形補完に用いた重み付け基本口形を割り当てた。
‑5‑

成する格子点のベクトル移動量を 100％とするとき、音素継続時間の終点では 0% になるように線形補間を行った。同様に、現時点で扱っている音素の次に現れる音素についても、現音素の継続時間長を基に、格子点のベクトル移動量を 0% から 100% に線形補間する。こうして得られる時系列上の2つのベクトル移動量を加算した値が基本口形間におけるワイヤフレームを変形する為のベクトル移動量となる。
すなわちデータベースに存在しない口形状も算出することが可能となる。
本手法は人間の発話時における、骨格や筋肉の運動に直接的には結びついて図7はいないが、口唇運動を近似的に再現できるものと考える。

画像合成部のGUIツール

5 . 出力合成画像の生成
4-3-3. 合成音声との同期

本システムの画像合成部には入力画像に対して口領域モデルのスケールを一致させる工程と入力画システムの最終工程では合成音声と合成画像を像とモデルの色調補正を行う工程、そして入力動画同期させなければならない為、口領域モデルもそれに合わせて生成する必要がある。

像にモデルを追跡し自然な合成画像を得る工程があるが、これらの工程は現時点では全て人の手による音声合成部CHATRで扱う最小時間長は、1[msec]補正が必要となり、完全な自動化には至っていなである。そこで本研究では、前節で説明した線形補間の手法を用いて、事前にベクトル移動量の百分率い。
そこで本研究では、この画像合成の工程に必要を 1[msec] 単位で算出した。最終的に 30[frame/sec]で動画を生成する事を考慮し、33[msec]毎にそのベな一連の機能を備えた GUI を開発し[図 7]、このツール上で合成画像の生成を行った。ツールにはクトル移動量を改めてサンプリングする。
演算量をCHATR より出力されるパラメータファイルを読み少なくする為に、口領域モデルの生成に必要なデータのみを操作するのである。

込む機能が実装されており、口形状は自動で生成することが可能である。

実際には、100[msec] 毎に 1[msec] の割合でこのサンプリングされたベクトル移動量の補正を行うことにより、時間的誤差の減少を図っている。

(a) 補正前(b) 補正後

図8 色補正を行った例‑6‑

(a) 入力画像(b) 翻訳合成画像

図9 入力画像と翻訳合成画像

5-1. 口領域モデルの色補正

5-3. 翻訳合成口形の埋め込み翻訳された合成口形を入力画像に埋め込む際、前節までの工程を経た口形状モデルは、3次元形

話者別に生成したモデルは、入力画像の撮影条件に状、発話口形、発話時間長、スケール、色の情報を所持している為、入力顔画像に対して自然な合成をよっては色補正を必要とする。
より自然な画像に見せる為、色補正の後、口領域モデルと入力画像の境得ることが可能である。図 9 に合成画像の 1 例を示

界は、色調の透過率を徐々に変化させた[図 8]。
色補正の手法に、モデルと入力画像の色ヒストす。
モデルは対象人物の鼻の下から喉仏までの情報グラムの平均値の調整と、L*a*b*(注1)を用いた光源情を所持している。
入力画像の口形はモデルによって報の補正を用いたが、今回は完全な自動化には至っていない。
今後は補正手法についても検討の必要が覆い隠される為、これより入力画像の原国語の発話口形に依らず翻訳画像を生成することができる。
また、モデルに覆い隠されない顔の部位に、ノあるものと考える。

ンバーバル情報が現れている場合、その情報を維持することが可能であるのも、本手法の特徴である。
4章で述べたように、発話時間に応じて口形の補間が行われ、その情報に基づき画像シーケンスが生成される。画像シーケンスを 3 0 [ f r a m e / s e c ] で5-2. 入力画像の間引き・繰り返し
入力画像は入力音声の継続時間長分の情報を所持している。しかし、言語を翻訳することにより、音声の時間長は変化する。
本研究では、入力動画像を連続する静止画像のCHATR の生成する合成音声と同期させ出力することにより、翻訳合成動画像を得る。
以上の処理を用いて、日本語から英語の翻訳、反対に英語から日本語の双方向の翻訳が可能なシステ

時系列、画像シーケンスとみなし、翻訳された合成音全体の継続時間長から、合成時に使用する入力画ムを構築した。

像のシーケンス数を操作する手法をとった。
合成音
声が入力音声に対して短くなる場合には、一定の割合で画像シーケンスを間引き、反対に合成音声が入

6 . まとめ

力音声に比べて長くなる場合においては、時系列に口形データベースから話者に依存することなくさまざまな発話口形画像を生成できることと、口領域以本研究の成果として挙げられるのは、小規模な沿って一定の割合で画像を繰り返し用いることで、合成音の継続長と合成画像の継続長を調整し、同期(注 1) CIEL*a*b* 色空間を使用。

出力させた。
‑7‑

図 10 現状における /th/ の口形

図11 入力画像に対してモデルが適合しない例

外は入力動画像を用いることで、ノンバーバルな情報を維持できたこと、それによって翻訳合成音声を本手法に用いた基本口形を構成するベクトル移動量を定義した値、線形補間法についてもまた、更生成する際に出力されるパラメータから、日英双方なる改善の余地があるものと考える。

向ビデオ翻訳システムを実現できたことである。
さらに、今回の研究において確認できた今後の研究課題について述べる。

7. 参考文献

まず、口形状モデルについては現在、舌のモデル化が行われていない為、英語の [th] の発音等は不[1] 菅谷 , 竹澤 , 横尾 , 山本
「日英双方向音声翻訳システム(ATR-MATRIX)の完全である[ 図 10] 。舌モデルも唇と同様にパラ対話実験」
日本音響学会 1999 年春季研究発表会講演論文集 , pp 107-108, 1999

メータ制御が可能なモデルを作成することが必要と考える。また歯のモデルについては、スケール変換[2] Hans Peter Graf, Eric Cosatto, Tony Ezzat

はできるが、未だ人工的な印象を与える。これについては、ライティングの設定或いはテクスチャマッ

Face Analysis for the Synthesis of Photo-Realistic Talking
Heads”

ピングを施すことで改善できるものと考える。

PROCEEDINGS FOURTH INTERNATIONAL CONFERENCEON AUTOMATIC FACE AND GESTURE RECOGNITION
28-30 MARCH,2000.,GRENOBLE,FRANCE pp189-194

今回、入力画像に対するモデルのトラッキングは全て手作業で行った。
自動トラッキングの分野の研究は盛んである為、システムに取り入れる余地は[3] Nick Campbell, Alan W. Blackあると考える。
そしてまた、今回のシステムは全てオフライン

Chatr : a multi-lingual speech re-sequencing synthesis system
電子情報通信学会技術研究報告 , sp96-7, pp.45, 1995

で行ったに過ぎない。
このシステムのリアルタイム化の実現にはまず第1に、画像処理の高速化が必要である。その 1 つの方法として提案するのが、入力[4] T. Kuratate, H. Yehia, E. Vatikiotis-Bateson
KINEMATICS-BASED SYNTHESIS OF REALISTIC

動画像のキャプチャと口領域モデルの完全分離処理

TRACKING FACEである。また、オンラインでシステムを稼動させる為には、今回のように入力画像の継続時間を調節す

International Conference on Auditory-Visual Speech Processing- AVSP’98, pp.185-190, 1998

るのではなく、音声合成側の継続時間を操作する手[5] 伊藤 , 三澤 , 武藤 , 森島
「複数アングル画像からの 3 次元頭部モデルの作成と法を確立することが必要であると考える。
また発声方法や発話様式、話者の感情も考慮し表情合成」
電子情報通信学会技術研究報告 , Vol99, No582, pp7-12, 2000

たシステムを構築する必要がある。図 11 に示すのは、入力画像において話者が笑顔であるとき、合成画像に笑顔を再現できていない状況である。
これに[6] 伊藤 , 三澤 , 武藤 , 森島
「仮想空間上におけるリアルな三次元口形状の作成」

ついては、感情によってワイヤフレームの移動量を電子情報通信学会総合大会 , A-16-24, pp328, 2000

新に定義することを考えている。
‑8‑