「インタラクション，97」 平成9年2月

ヒューマンコンピュータインタラクションのための音声から画像へのリアルタイムメ≠ィア変換
AReal−timeMediaConversionfromVoicetolmage
fbrHuman−ComputerInteraction

宮下 直也

坂口 竜己

NaoyaMiyashita

Tatsumi Sakaguchi

森島 繁生

Shigeo Morishima（Shigeo，tatSu，miyasita†＠ee．seikei．ac．jp

成険大学工学部電気電子工学科情報通信研究室〒1■80東京都武蔵野市吉祥寺北町3−3−1

Tel．0422−37−3726，Fax．0422−37−3871
デルの頂点数が多ければ、．忠実な形状モデルの再現が可能

1．はじめに人間同様の顔を持つエージェント（擬人化エージェント）となるが、その反面、計算コストが大きくなる。そこで、本がヒューマンインタフェース分野のホットなトピックと稿では、人物に忠実で、変形が容易で、変形処理にコストなっている。これは、あたかも人と人とが直接、接していのかからない標準モデルを構築した。そのモデルを図2にるような高度な現実感を持った環境を実現することが要求示ず。このモデルには、歯のモデルが付加されており、歯される。その第一の条件としてエージェントが作り物であることをユーザに意識させない、自然な顔表情合成と実時間での音声との同期表示が挙げられる。
このような環境の実現に向けて、マイクから人力された、のモデルは3次元レーザスキャナより歯の型をスキャンすることで構築した。このモデルにテクスチャマッピングを施すことで合成画像を作成する。

あるいは記録された自然音声の分析に基づいて会話時の口唇の動き、および表情をリアルタイムに合成するリアルタ
イムメディア変換システムを提案する。本箱では、ユーザとエージェントとのインタラグション【1】を実現するプロトタイプシステムについて報告する。

2．音声から顔画像へのメディア変換【2】音声から顔画像へのメディア変換とは、テキストなどの段階を経ることなく、音声から直接発話時のロの形状および感情を推定することで顔画像を合成するものである。これは、音声から特徴パラメータを抽出七、このパラメータ

4．システム構成

を何らかのマッピングルールに従って、その昔声の発話時から構成されている。の口の形状を規定する口領域の変形パラメータ（以下、口形パラメータ）および表情変形パラメータ（以下、表情パラメータ）へと変換することと換言できる。本稿で提案す（1）音声分析、パラメータ変換プロセス
このプロセスは、ユーザと仮想エージェントの音声を分るシステムでは、口形パラメータヘの変換ルールには、析して」3次元モデルの変形パラメータへと変換する部分でニューラルネットワークを用いている。図1に音声から顔ある。まず、エージェント、ユーザの自然音声を音声入力プロセスにおいて16KHz、16bitでÅの変換し、リングバッファに蓄積する。これを、音声分析プロセスで線形予測分

図3にユーザと仮想エージェントとのインタラクションシステムの構成を示すが、大きく分類して3つのプロセス画像へのメディア変換のブロック図および変換に用いたニューラルネットワ」クを示す。

析（LPC分析）を用い、ユーザ、エージェントそれぞれのLPCケプストラムを算出する。ユーザ側の分析では、感情推定のためにピッチ分析等も併せて行う。次にパラメータ変換プロセスでLPCケプストラムからニューラルネットワークを用い、ロ形パラメータに変換し、ピッチ情報は、6

基本感情である喜び、怒り、妹悪、恐れ、悲しみ、驚きの表情パラメータへと変換される。次にそれぞれのパラメー
タはネットワーク制御プロセスにおいて、E血emetを通じてエージェントの画像合成プロセスに送出される。音声分析、
3．3次元ワイヤフレームモデル

パラメータ変換プロセスとネットワ・−ク制御プロセスは完全に独立したプロセスとして、SiliconGraphics社のIndy上リアルな顔画像を合成するためには対象人物の顔に忠実な3次元モデルを作成する必要がある。ワイヤフレームモで実行される。
−53−u

‖

‖

HH

‖崖」

‖二：：：：捕浴：H田 lこ二三互竺竺竺」 ＜シ‖
H‖

パラメ

‖ ‖プ

‖u

‖ ‖ ‖：プ：モーH

ネットワークj制御プロセス 王h ‖ ツl 帥合成プ。セスヘ；ワイヤフレム（2）ユーザ追跡と3次元モデル整合プロセス

る。画像合成プロセスにおいては、テクスチャマッピング

エージェントがユーザの動きを追跡するために、ディスに多大な演算量を必要とするため、ネットワーク制御プロプレイ上部に設置されたカメラにより、ユーザの正面画像

セスと、画像合成プロセスとを別プロセスとして実行し、をつねにキャブチ する。その連続画像よりフレーム間差分を計算し、重心座標を求める。この重心座標は、ほほユープロセス間通信によって高速化を図っている。これらのプザの両目の中間に位置するため、エージェントの視線をで実行される。

ロセスは、SiliconGraphics社のIndigo2MaximumImpact上ユーザの重心座標に一敦させることでエージェントが常にユーザに注意を向けているような印象を与えることができ

5．システム評価

以上のシステムを構築した結果、音声分析・パラメータる。ここでは、計算コストを考え、このような簡単なアルゴリズムを用いている。この重心座標はネットワーク制御

変換レートは平均30．9丘ame／sec、プロセス間通信に要するプロセスによって、エージェントの画像合成プロセスに逐時間は2．Omsecであった。画像合成レートは、平均23．1杜am〟

次Ethernetを通じて送出される。また、ユーザ自身の合成画像も常時モニタできるようにするため、開始時にユーザのsecであった。音声が入力されてから画像が合成されるまでの遅延時間は、約87．3msecであるが、エージェントの反応

正面画像1枚から3次元ワイヤフレームモデルをユーザに等、インタラクションシステムのプロトタイプとしては、整合させて個人のモデル、を作成する。この整合プロセ．ス．は、十分自然な対話環境が構築できた。

現在のところ手動で行っている。このモデルは、ユーザ側の画像合成部において変形用のモデルとなる。これらのプ

6．おわりにロセスは、音声分析、パラメータ変換プロセスで用いたIndy

本稿では、ユーザと仮想エージェントとのインタラクとは別のIndy上で実行される。

ションシステムについて述べた。現時点では、エージェン
トは、ユーザの表情及び音声をプレイバックしているにすぎない。今後は、エージェントとのノンバーバルな対話環（3）画像合成プロセス境の実現を目指す。

エージェントの顔画像を合成するために、画像合成プロセスでは、表情パラメータ、ロ形パラメータ、ユーザの重心座標より3次元モデルを変形、移動し、それにテクスチャ参考文献マッピングを行うことで動画像を生成する。現在は推定さ【1】S．Morishima，BetterFaceCommunication，ACMれたユーザの感情をエージェントの表情としてプレイバッ

SLGGRAPH195，VisualProceedingpl17，1995

クしているにすぎないが、ノンバーバルな対話ルールに【2］S．Morishima，H，Harashima，

よってユーザの感情状態に対するエージェントの表情を決Using Media Conversion and ModeトBased Coding

定できる。この対話ルールについては、現在検討段階にあSchemes一，Visua］Computing，CGlnternationalSeries，

Spring−Verlag，PP．95−105，1992−54−●HumanMachine［nterface