(57)【特許請求の範囲】
【請求項１】
通常の映像を表示する映像表示手段と、
前記映像表示手段で表示される映像に付随する音声に基づいて２次元または３次元の顔モデルを変形することによって、人物の発話状況を表現する顔アニメーションを生成する生成手段と、
前記生成手段で生成された顔アニメーションを補助映像として表示する補助映像表示手段と、
前記映像手段で表示される映像に登場する人物の顔の向きが正面向きであるか否かを判定する判定手段とを備え、
前記生成手段は顔の向きが正面向きでない人物のみについて顔アニメーションを生成する
ことを特徴とする映像表示装置。
【請求項２】
前記補助映像表示手段は、前記映像表示手段の表示面の一部を用いて補助映像を表示する
請求項１記載の映像表示装置。
【請求項３】
前記生成手段が生成する顔アニメーションは正面顔のアニメーションである
請求項１記載の映像表示装置。
【請求項４】
前記生成手段が変形に使用する顔モデルは、映像表示手段で表示される映像中の人物の形状に合わせて予め既存モデルを変形したものである
請求項１記載の映像表示装置。
【請求項５】
前記映像表示手段で表示される映像に複数の人物が登場する際、前記生成手段は登場人物毎に異なる顔アニメーションを生成する
請求項１記載の映像表示装置。
【請求項６】
前記補助映像表示手段は現在発話中の人物が特定できる形式で顔アニメーションを表示する
請求項５記載の映像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、発話の情景の実写映像を表示する映像表示装置に関する。
【０００２】
【従来の技術】
ＴＶ放送番組において、人が話す内容を唇の絵や手話で伝えるアニメーション映像を補助情報として主映像に合成することが行われている。特開平１１−２２６０５０号公報には、あらかじめ用意しておいた唇や手話の画像を、入力されたテキストデータに応じてつなぎ合わせて表示する手法が開示されている。
【０００３】
また、翻訳機能を備えたＴＶ会議システムに関して、翻訳音声に合わせて実写映像の一部をアニメーション映像に置き換える公知例がある（特開平６−５２２９０号）。映像の部分的な置換えにより、翻訳音声に合致した自然な人物映像を提供することができる。映像の置き換えの詳細は次のとおりである。（１）あらかじめ人体頭部の３次元モデルと会議出席者の口もとのテクスチャとを用意しておく。（２）会議の様子を伝える実写映像を解析し、話者の頭部の向きを検出する。（３）話者の頭部の動きに合わせて３次元モデルの座標を修正する。（４）３次元モデルに話者のテクスチャを貼り付けてアニメーション映像を生成する。（５）実写画像における話者の口もと部分をアニメーション映像に置き換える。
【０００４】
【発明が解決しようとする課題】
従来の補助情報である唇の絵を動かすアニメーションには、主映像に現れる人物の外観情報に基づいていないことから、現実感に乏しいという問題があった。より現実感のある補助情報を提供する手法としては、人物の口もとをクローズアップした実写映像の合成がある。しかし、この手法では、主映像用のカメラとは別のカメラでクローズアップ撮影を行うか、または主映像の一部を抽出して拡大する画像処理を行う必要がある。前者には、撮影が大掛かりになる問題、および主映像と同時に補助情報を作成しなけらばならない制限がある。後者には、主映像において人物の位置が不特定である場合や複数の人物が現れる場合に、自動の画像処理によって話者の特定部分を確実に抽出するのが難しいという問題がある。
【０００５】
一方、ＴＶ会議やドラマ番組の会話シーンのように複数の人物の映像を表示する場合においては、常に全ての人物の顔が十分な大きさで映像に現れるとは限らない。例えば、多人数の会合の中継では出席者のうちの幾人かがカメラに背を向けることになってしまう場合がある。また、ドラマの独演シーンのように表示対象が一人であっても、人物を背後または遠方から撮影する演出の場合には、顔が映像に現れなかったり、現れても小さかったりする。したがって、映像に現れた人体の一部をアニメーション映像に置き換える従来の装置では、映像を見る人が映像の中のどの人物が何を話しているのかを視覚によって認識することができない場合があるという問題があった。
【０００６】
本発明は、発話の情景を撮影した映像を見る人が、映像の内容に係わらず話者を視覚によって認識することができ且つ現実感のある映像表示の実現を目的としている。
【０００７】
【課題を解決するための手段】
本発明においては、２次元または３次元の顔モデルを変形させることによって人物の発話状況を表現するアニメーション映像を生成し、主映像の補助情報として表示する。主映像を表示しながらその表示面の一部を用いてアニメーション映像を表示してもよいし、主映像とは別の表示面を用いてアニメーション映像を表示してもよい。主映像が人物の実写映像である場合において、アニメーション生成の元となる顔モデルを、表示対象の人物に対する形状測定の結果に基づいて作成すれば、現実感のあるアニメーションを生成することができる。
【０００８】
請求項１の発明の映像表示装置は、通常の映像を表示する映像表示手段と、
前記映像表示手段で表示される映像に付随する音声に基づいて２次元または３次元の顔モデルを変形することによって、人物の発話状況を表現する顔アニメーションを生成する生成手段と、前記生成手段で生成された顔アニメーションを補助映像として表示する補助映像表示手段と、前記映像手段で表示される映像に登場する人物の顔の向きが正面向きであるか否かを判定する判定手段とを備え、前記生成手段は顔の向きが正面向きでない人物のみについて顔アニメーションを生成することを特徴とする。通常の映像とは、補助映像に関連する情報をもつ任意の映像であり、ＴＶ放送映像・ビデオカメラまたはスチルカメラの撮影像を含む画像情報を意味する。
【０００９】
請求項２の発明の映像表示装置において、前記補助映像表示手段は、前記映像表示手段の表示面の一部を用いて補助映像を表示する。
請求項３の発明の映像表示装置において、前記生成手段が生成する顔アニメーションは正面顔のアニメーションである。
【００１０】
請求項４の発明の映像表示装置において、前記生成手段が変形に使用する顔モデルは、映像表示手段で表示される映像中の人物の形状に合わせて予め既存モデルを変形したものである。
【００１１】
請求項５の発明の映像表示装置においては、前記映像表示手段で表示される映像に複数の人物が登場する際、前記生成手段が登場人物毎に異なる顔アニメーションを生成する。
【００１２】
請求項６の発明の映像表示装置において、前記補助映像表示手段は現在発話中の人物が特定できる形式で顔アニメーションを表示する。
【００１４】
【発明の実施の形態】
図１は本発明に係る映像表示装置の構成図である。
映像表示装置１は、信号処理回路１０、ディスプレイ２０、およびスピーカ３０からなる音声再生機能能をもつ表示手段であり、ＴＶ会議システムのモニタ装置やＴＶ受信器などとして利用される。
【００１５】
信号処理回路１０は、図示しない前段回路から入力される映像信号ＳＶおよび音声信号ＳＡに応じて、ディスプレイ２０およびスピーカ３０を駆動する。駆動の制御は、表示制御ブロック１５および音声増幅ブロック１６が担う。映像信号ＳＶが人物の発話の情景を撮影した実写映像である場合、信号処理回路１０において人物の発話状況を表現するアニメーション映像が生成され、実写映像とその補助情報としてのアニメーション映像とが同時に表示される。信号処理回路１０は、アニメーション表示に係わる機能要素として、メモリ１１、音声認識ブロック１２、モデル変形ブロック１３、および補助映像生成ブロック１４を備えている。メモリ１１は、複数の人物の顔モデルＭｐを記憶する。顔モデルＭｐは形状の実測およびテクスチャ撮影の結果に基づく３次元モデルである。音声認識ブロック１２は、音声信号ＳＡに基づいて話者を判定するとともに、発話内容を示すテキストデータＤＴを生成する。モデル変形ブロック１３は、話者の顔モデルＭｐをテキストデータＤＴに応じて変形させる。補助映像生成ブロック１４は、話者の顔モデルＭｐの外観を表すアニメーション映像を生成する。アニメーション映像は表示制御ブロック１５において実写映像と合成される。
【００１６】
顔モデルＭｐの生成方法としては、アニメーション用の標準モデルを用意しておき、表示対象の人物から抽出した形状テータに応じて標準モデルを変形させる方法が効率的である。人物本人の情報を用いて顔モデルＭｐを作成することにより、補助映像の現実感が高まる。骨格の変位および筋肉の変形が可能なモデルを用いれば、口の動きや表情をより写実的に表現することができる。
【００１７】
図２は映像表示の一例を示す図である。図中の参照符号における添字ｉ，ｊは表示時刻を表す。以下の説明において、時刻を区別しないときには添字を省略する。
【００１８】
ディスプレイ２０の表示面２１には、映像信号ＳＶに対応した主映像Ｖとともに、補助情報としてのアニメーション映像Ａ１，Ａ２，Ａ３，Ａ４が表示される。例示の主映像Ｖは、７人によるディスカッションの模様を撮影した動画映像である。アニメーション映像Ａ１〜Ａ４は、ディスカッションの出席者本人のデータに基づくテクスチャ付き３次元顔モデルの正面像であり、出席者の口の動きや表情を表現する。図２では表示サイズが小さくなるのを避けるため、同時に表示するアニメーション映像が３人分に限られている。その３人は、現在の話者とその１つ前および２つ前の話者である。現在の話者に対応したアニメーション映像は、縁取りや色分けなどによって強調される。図において、時刻ｉでは主映像Ｖi の左側に３つのアニメーション映像Ａ１i ，Ａ２i ，Ａ３i が上下に並べて表示され、それらのうちのアニメーション映像Ａ１i が強調されている。話者が代わると、それに応じて表示されるアニメーション映像も入れ代わる。時刻ｊでは、時刻ｉに表示されていたアニメーション映像Ａ３i に代わってアニメーション映像Ａ４j が表示され、かつ強調されている。
【００１９】
以下、映像表示装置の動作をより詳しく説明する。図３は映像表示装置の信号処理動作を示すフローチャートである。
映像表示装置１は、音声信号ＳＡを取り込んで話者を特定する（＃１１、＃１２）。あらかじめ出席者の声質を登録しておけば、音声認識技術により話者を特定することができる。また、自動的にカメラを話者に向ける機能をもつＴＶ会議システムの場合には、カメラ制御情報を話者の特定に用いてもよい。複数の人物のそれぞれにマイクロフォンが設けられた多チャンネル音声システムの場合には、音声レベルの検出によって話者を容易に特定することができる。
【００２０】
続いて、話者がカメラに対して正面向きであるか否かを判定する（＃１３）。あらかじめ複数の人物とカメラとの位置関係を登録しておけば、この判定を行うことができる。また、各人物の外観情報を登録し、画像認識によって話者の顔の向きを判断することも可能である。このステップ＃１３の処理が本発明の判定手段の機能に相当する。判定結果が正面向きであり、かつ主映像において話者が十分に大きく現れていることが確かであれば、すなわち主映像で話者の表情を含む発話状況が明確に判るのであれば、当該話者についてのアニメーション映像の表示を行わない。このように話者の向きによって補助情報を選択する制御は、特に表示面が小さい場合に表示面を有効に利用するのに好適である。ただし、ステップ＃１３の判定を省略し、顔の向きに係わらず話者のアニメーション映像を表示するようにしてもよい。
【００２１】
アニメーション映像を表示する場合には、音声の大きさおよび発話速度を測定し（＃１４）、話者の感情を認識する（＃１５）。具体的には、音声の大きさ・抑揚・速度などの情報に基づいて、“平常・喜び・驚き・怒り・悲しみ”などのあらかじめ設定された感情の１つを選択する。そして、既存の音声／テキスト変換技術を用いて発話内容を示すテキストデータＤＴを生成する（＃１６）。
【００２２】
次に、メモリ１１から話者の顔モデルを読み出し、感情の認識結果およびテキストデータＤＴに合致するように顔モデルを変形させる（＃１７、＃１８）。音韻および感情を表す標準モデルを構造化しておけば、感情の認識結果およびテキストデータＤＴに合致する標準モデルを選択し、標準モデルの変形度を適用して話者の顔モデルを変形するのは容易である。
【００２３】
続いて、当該話者について以前に表示した最終の顔モデルから今回の発話に呼応して変形した顔モデルへの変化を表すアニメーション映像を生成する（＃１９）。その際、発話速度を加味してモデル間の補完を行う。そして、生成したアニメーション映像を主映像に合成して表示する（＃２０）。
【００２４】
図４は表示形態の変形例を示す図である。
図４（Ａ）では、常に固定人数分（例は６人分）のアニメーション映像Ａ１〜Ａ６が表示され、話者が強調される。より多くの人物についてアニメーション映像を表示することにより、臨場感を高めることができる。図４（Ｂ）では、複数の人物のそれぞれに対してアニメーション映像を表示する固定領域が割り当てられているものの、同時に表示されるアニメーション映像は現在の話者とその１つ前の話者に対応した２人分に限られている。
【００２５】
以上の実施形態において、メモリ１１にデータ通信で顔モデルを格納する構成を採用してもよい。例えば、ケーブルＴＶ放送において、ドラマ番組の放送に先立って出演者の顔モデルを伝送しておく。視聴者が伝送の要否を選択するようにしてもよい。ドラマ番組の放送が始まると、映像表示装置１は出演者の発話に同期したアニメーション映像を表示する。
【００２６】
顔モデルＭｐは２次元モデルであってもよい。顔モデルＭｐが登録されていない人物が表示対象に含まれる場合には、その人物については主映像から抽出したテクスチャを標準モデルに貼り付けて顔モデルを生成してもよい。主映像からの抽出も困難である場合には、あらかじめ用意しておいた複数種の代用顔モデルの中の１つを選択して用いるようにしてもよい。
【００２７】
必ずしも主映像とアニメーション映像とを１つの表示面上に並べて表示する必要はなく、図５のように主映像表示装置１Ａと別体の補助映像表示装置１Ｂがアニメーション映像を表示するようにしてもよい。その場合、補助映像表示装置１Ｂの構成は基本的に図１の映像表示装置１と同様でよい。ただし、補助映像表示装置１Ｂにおける表示制御ブロック１５には映像信号ＳＶを入力する必要はなく、表示制御ブロック１５は補助映像生成ブロック１４からのアニメーション映像のみの表示制御を行えばよい。また、主映像表示装置１Ａが音声再生を受け持つ場合は、補助映像表示装置１Ｂにおいて音声増幅ブロック１６およびスピーカ３０を省略することができる。映像信号ＳＶから顔モデルを生成する必要がなければ、映像信号ＳＶを補助映像表示装置１Ｂに入力する必要はなく、音声信号ＳＡを主映像表示装置１Ａ経由または前段回路からの直接入力の形式で補助映像表示装置１Ｂに入力すればよい（図示は主映像表示装置経由）。
【００２８】
【発明の効果】
請求項１乃至請求項８の発明によれば、発話の情景を撮影した映像を見る人が映像の内容に係わらず話者を視覚によって認識することができ且つ現実感のある映像表示を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る映像表示装置の構成図である。
【図２】映像表示の一例を示す図である。
【図３】映像表示装置の信号処理動作を示すフローチャートである。
【図４】表示形態の変形例を示す図である。
【図５】装置構成の変形例を示す図である。
【符号の説明】
１  映像表示装置
１Ｂ  補助映像表示装置（映像表示装置）
ＳＡ  音声信号
Ｍｐ  顔モデル
Ａ１〜Ａ６  アニメーション映像
Ｖ  主映像（映像）
１０  信号処理回路（生成手段）
１５  表示制御ブロック（補助映像表示手段）
２０  ディスプレイ（映像表示手段）
２１  表示面
【図１】
0004310916.tif 000002
【図２】
0004310916.tif 000003
【図３】
0004310916.tif 000004
【図４】
0004310916.tif 000005
【図５】
0004310916.tif 000006