(57)【特許請求の範囲】
【請求項１】
テキストデータに対応する音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する表情付加手段と、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成手段と、
前記テキストデータに含まれる各文を前記テキストデータの言語とは異なる他の言語のテキストデータに翻訳する翻訳手段とを備え、
前記表情付加手段は、翻訳前の前記テキストデータに含まれる各文に応じた表情を決定し、決定された表情を翻訳後の対応する各文に対応する音声の出力とともに表示される顔画像に付加し、
前記生成手段は、前記表情が付加された顔画像に含まれる口を前記翻訳後の前記テキストデータに対応する音声に応じて動かすアニメーションを生成する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置と、
前記画像処理装置により生成されたアニメーションを表示する表示手段と、
を備える表示装置。
【請求項３】
テキストデータに対応する音声とともに出力される顔画像に前記音声に対応する表情を付加する表情付加工程と、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成工程と、
テキストデータに含まれる各文を前記テキストデータの言語とは異なる他の言語のテキストデータに翻訳する翻訳工程とを含み、
前記表情付加工程は、翻訳前の前記テキストデータに含まれる各文に応じた表情を決定し、決定された表情を翻訳後の対応する各文に対応する音声の出力とともに表示される顔画像に付加し、
前記生成工程は、前記表情が付加された顔画像に含まれる口を前記翻訳後の前記テキストデータに対応する音声に応じて動かすアニメーションを生成するアニメーション生成方法。
【請求項４】
コンピュータを、
テキストデータに対応する音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する表情付加手段、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成手段、
前記テキストデータに含まれる各文を前記テキストデータの言語とは異なる他の言語のテキストデータに翻訳する翻訳手段として機能させ、
前記表情付加手段は、翻訳前の前記テキストデータに含まれる各文に応じた表情を決定し、決定された表情を翻訳後の対応する各文に対応する音声の出力とともに表示される顔画像に付加し、
前記生成手段は、前記表情が付加された顔画像に含まれる口を前記翻訳後の前記テキストデータに対応する音声に応じて動かすアニメーションを生成する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置、アニメーション生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、コンテンツの輪郭の形状に形成されたスクリーンにコンテンツを投影することにより、閲覧者に対して印象を高めることができる映像出力装置が知られている（特許文献１参照）。例えば、人の形状のスクリーンに人が商品等を説明する動画コンテンツを投影することで、あたかもそこに人が立っているかのような存在感のある投影像が得られる。
【０００３】
また、近年、１枚の顔画像と音声データに基づいて、音声に合わせて顔画像の口を動かすリップシンクアニメーションを生成する技術が利用されている。リップシンクアニメーションでは、例えば、発音される音の母音に応じて口の形状を変化させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載のように、人の形状のスクリーンを用いる場合、１枚の顔画像からリップシンクアニメーションを生成し、これをコンテンツとして表示することが好ましい。人物を撮影した動画像をコンテンツとして用いた場合、撮影時に人が動いてしまうと人物像がスクリーンに収まらなくなり煩雑な調整が必要となるからである。
【０００６】
しかしながら、リップシンクアニメーションは、音に応じて口を動かすだけであるので、表現力に乏しいという問題があった。
【０００７】
本発明は、顔画像に基づいて生成されるアニメーションの表現力を向上させることである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る画像処理装置は、
テキストデータに対応する音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する表情付加手段と、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成手段と、
前記テキストデータに含まれる各文を前記テキストデータの言語とは異なる他の言語のテキストデータに翻訳する翻訳手段とを備え、
前記表情付加手段は、翻訳前の前記テキストデータに含まれる各文に応じた表情を決定し、決定された表情を翻訳後の対応する各文に対応する音声の出力とともに表示される顔画像に付加し、
前記生成手段は、前記表情が付加された顔画像に含まれる口を前記翻訳後の前記テキストデータに対応する音声に応じて動かすアニメーションを生成する。
【発明の効果】
【０００９】
本発明によれば、顔画像に基づいて生成されるアニメーションの表現力を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の機能的構成を示すブロック図である。
【図２】図１の制御部により実行されるアニメーション生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。以下の実施形態では、本発明に係る画像処理装置及び表示装置を表示装置１０に適用した場合を例にとり説明する。なお、本発明は、図示例に限定されるものではない。
【００１２】
［表示装置１０の構成］
図１は、本実施形態に係る表示装置１０の機能的構成を示すブロック図である。
表示装置１０は、制御部１１と、操作部１２と、表示部１３と、音声出力部１４と、通信部１５と、メモリ１６と、記憶部１７と、を備え、各部はバス１８を介して接続されている。表示装置１０は、映像加工が可能な画像処理装置を含んで構成される。
【００１３】
制御部１１は、記憶部１７に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）により構成される。制御部１１は、記憶部１７に記憶されているプログラムＰとの協働により、図２に示すアニメーション生成処理を実行し、生成されたアニメーションの映像データＨ１又はＨ２に基づいて、表示部１３にアニメーションを表示させる。制御部１１は、表情付加手段、生成手段、翻訳手段として機能する。
【００１４】
操作部１２は、カーソルキー、文字入力キー、テンキー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。
【００１５】
表示部１３は、ＬＣＤ（Liquid Crystal Display）等のモニタにより構成され、制御部１１から入力される表示信号の指示に従って、各種画面を表示する。
【００１６】
音声出力部１４は、スピーカ、Ｄ／Ａ変換回路等を備え、制御部１１からの制御に従って音声を出力する。
【００１７】
通信部１５は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークに接続された外部機器との通信を行う。
【００１８】
メモリ１６は、ＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリ等により構成され、表示装置１０の各部によって処理されるデータ等を一時的に記憶する。
【００１９】
記憶部１７は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１７には、プログラムＰを始めとする、制御部１１が各種処理を実行するための各種プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００２０】
例えば、記憶部１７には、アニメーションを生成する元となる音声データＡ及び顔画像データＦが記憶されている。
音声データＡは、人が発した音声を録音して得られたデータであり、リップシンクさせたいキャラクター（人物も含む）の音声として用いられる。音声データＡとしては、音声以外の音（ノイズ、ＢＧＭ等）が含まれていないものとする。また、本実施形態において、音声データＡには、その音声の言語の情報を含むヘッダ情報が付加されている。
顔画像データＦは、リップシンクさせたいキャラクターの顔を含む画像のデータであり、例えば、２次元の静止画データ、又は、３次元のポリゴンデータである。
【００２１】
また、記憶部１７には、アニメーション生成処理において生成される映像データＨ１、Ｈ２が記憶される。映像データＨ１、Ｈ２は、動画（アニメーション）を構成する一連のフレーム画像と、各フレーム画像に対応する音声データにより構成されている。
【００２２】
また、記憶部１７には、表情パラメータＩが記憶されている。表情パラメータＩは、表情（例えば、笑顔、怒った顔、泣いた顔、・・・）毎の目、口、眉毛等における特徴点の位置を示すパラメータである。所望の表情に対応する表情パラメータＩに基づいて顔画像上の目、口、眉毛等の形状を調整することで、所望の表情を付加した顔画像を生成することができる。
【００２３】
また、記憶部１７には、単語と、その単語からイメージされる表情の情報とを対応付けて記憶する単語・表情対応テーブルＴ１が記憶されている。
【００２４】
［表示装置１０の動作］
次に、表示装置１０の動作について説明する。
図２は、表示装置１０において実行されるアニメーション生成処理を示すフローチャートである。アニメーション生成処理は、操作部１２によりアニメーションの生成に使用する音声データＡ、顔画像データＦ及び生成するアニメーションの言語が指定され、アニメーションの生成が指示された際に、制御部１１と記憶部１７に記憶されているプログラムＰとの協働により実行される。なお、言語としては、予め定められた複数の言語の中から指定が可能である。指定された音声データＡ、顔画像データＦ及び言語は、設定情報としてメモリ１６に記憶される。
【００２５】
まず、制御部１１は、操作部１２により指定された音声データＡを記憶部１７から読み出し、音声データＡをテキスト変換してテキストデータＢを生成する（ステップＳ１）。
テキスト変換には、既存の音声認識技術を用いる。例えば、制御部１１は、「ご来店ありがとうございます。」という音声データＡを、「ごらいてんありがとうございます。」というテキストデータＢに変換する。制御部１１は、生成したテキストデータＢをメモリ１６に記憶させる。
【００２６】
次いで、制御部１１は、テキストデータＢから単語を検出し、単語データ群Ｃを生成する（ステップＳ２）。
単語の検出には、例えば、形態素解析等の既存の単語検出技術を用いる。例えば、制御部１１は、「ごらいてんありがとうございます。」というテキストデータＢから、「ご来店」、「ありがとう」、「ございます」の３つの単語を検出する。制御部１１は、生成した単語データ群Ｃをメモリ１６に記憶させる。
【００２７】
次いで、制御部１１は、単語データ群Ｃに含まれる単語毎に、その単語に対応する表情の情報を取得し、各単語に対応する表情を示す単語表情データ群Ｄを生成する（ステップＳ３）。
例えば、制御部１１は、単語データ群Ｃに含まれる単語データを最初の単語から順番に読み込み、単語毎に、記憶部１７に記憶されている単語・表情対応テーブルＴ１においてその単語に対応付けて記憶されている表情の情報を取得して、単語表情データ群Ｄを生成する。例えば、「ご来店」に対応する表情として「文脈次第」、「ありがとう」に対応する表情として「笑顔」、「ございます」に対応する表情として「文脈次第」が取得される。ここで、「文脈次第」とは、文脈に合わせた表情であることを示す。制御部１１は、生成した単語表情データ群Ｄをメモリ１６に記憶させる。
【００２８】
次いで、制御部１１は、単語表情データ群Ｄに基づいて、テキストデータＢに含まれる各文（句読点で区切られる）に応じた表情を決定し、各文に対応する表情を示す文表情データ群Ｅを生成する（ステップＳ４）。
例えば、制御部１１は、単語表情データ群Ｄを参照し、同一文内の単語に対応する表情のうち最も多い表情をその文の表情として決定する。例えば、上述の「ご来店ありがとうございます。」の場合、各単語に対応する表情は、「ご来店」→「文脈次第」、「ありがとう」→「笑顔」、「ございます」→「文脈次第」である。「文脈次第」は文脈に合わせた表情であることから無視し、「笑顔」をこの文の表情として決定する。制御部１１は、生成した文表情データ群Ｅをメモリ１６に記憶させる。
【００２９】
次いで、制御部１１は、音データＡと同じ言語でアニメーションを生成するか否かを判断する（ステップＳ５）。例えば、制御部１１は、メモリ１６に記憶されている設定情報に基づいて、音データＡと同じ言語でアニメーションを生成するか否かを判断する。
【００３０】
音声データＡと同じ言語でアニメーションを生成すると判断した場合（ステップＳ５；同じ言語）、制御部１１は、音声データＡ、文表情データ群Ｅ、及び指定された顔画像データＦに基づいて表情が付加されたリップシンクアニメーションを生成し、そのデータである映像データＨ１を記憶部１７に記憶させ（ステップＳ６）、アニメーション生成処理を終了する。
【００３１】
ステップＳ６において、制御部１１は、まず、音声データＡと顔画像データＦに基づいてアニメーションを構成する各フレームの口の形状データを生成する。
例えば、制御部１１は、まず、顔画像データＦにおける口の特徴点を取得する。例えば、画像認識により顔画像データＦから口の輪郭を抽出し、輪郭上の特徴点の座標を取得する。次いで、制御部１１は、音声データＡの冒頭から順次フレーム１枚に相当する時間の音声データＡｔを取得する。ここで、生成するアニメーションのフレームレートをＰｆ（フレーム／秒）、音声データＡの再生時間をＴ（秒）とすると、１／Ｐｆ（秒／フレーム）ずつ音声データＡｔを取得する。次いで、制御部１１は、各音声データＡｔを解析して母音を取得し、母音に応じた口の形状を、その音声データＡｔに対応するフレームの口の形状として決定する。そして、決定した口の形状となるように、顔画像データＦの口の各特徴点の位置を変化させ、その変化させた各特徴点の座標を、その音声データＡｔに対応するフレームの口の形状データとしてフレーム番号に対応付けてメモリ１６に記憶する。
【００３２】
次いで、制御部１１は、顔画像データＦ及び文表情データ群Ｅに基づいて、各フレームの音声に対応する表情を付加した顔画像データを生成する。
まず、制御部１１は、各フレームの顔画像に付加する表情を決定する。例えば、制御部１１は、各フレームの音声データＡｔに対応する文を特定し、特定した文に対応する表情を文表情データ群Ｅに基づいて特定し、特定した表情を各フレームの顔画像に付加する表情として決定する。次いで、制御部１１は、各フレームに対して決定された表情と記憶部１７に記憶されている表情パラメータＩに基づいて顔画像データＦに表情を付加して各フレームの顔画像データを生成し、メモリ１６に記憶させる。そして、制御部１１は、各フレームの顔画像データの口を各フレームの口の形状データに基づいて変形することにより各フレームの静止画を生成し、生成した各フレームの静止画を結合してアニメーションを生成し、生成したアニメーションに音声データＡを結合して映像データＨ１を生成し、映像データＨ１を記憶部１７に記憶させる。
【００３３】
一方、ステップＳ５において、音データＡと異なる言語でアニメーションを生成すると判断した場合（ステップＳ５；異なる言語）、制御部１１は、テキストデータＢに含まれる文毎のテキストデータを翻訳エンジンにより指定された言語に翻訳し、文毎の翻訳データ（テキストデータ）からなる翻訳文データ群Ｇを生成する（ステップＳ７）。制御部１１は、生成した翻訳文データ群Ｇをメモリ１６に記憶させる。
【００３４】
そして、制御部１１は、翻訳文データ群Ｇ、文表情データ群Ｅ、及び指定された顔画像データＦに基づいて表情が付加されたリップシンクアニメーションを生成し、そのデータである映像データＨ２を記憶部１７に記憶させ（ステップＳ８）、アニメーション生成処理を終了する。
【００３５】
ステップＳ８において、制御部１１は、まず、指定された言語のアニメーションを構成する各フレームの口の形状データを生成し、各フレームの口の各特徴点の座標を口の形状データとしてフレーム番号に対応付けてメモリ１６に記憶する。
例えば、制御部１１は、翻訳後のテキストデータである翻訳文データ群Ｇに基づいて、指定された言語の音声データ（音声データＪと呼ぶ）を生成し、音声データＪと顔画像データＦに基づいて、ステップＳ６で説明したものと同様の手法（音声データＡを音声データＪに置き合えるところのみが異なる）によりアニメーションを構成する各フレームの口の形状データを生成する。なお、各フレームの音声データを音声データＪｔとする。
【００３６】
次いで、制御部１１は、各フレームの音声に対応する表情を付加した顔画像データを生成する。
まず、制御部１１は、各フレームの顔画像に付加する表情を決定する。例えば、制御部１１は、各フレームの音声データＪｔに対応する文（翻訳後のテキスト文）を特定し、特定した文の翻訳前の文に対応する表情を文表情データ群Ｅに基づいて特定し、特定した表情を各フレームの顔画像に付加する表情として決定する。次いで、制御部１１は、各フレームに対して決定された表情と記憶部１７に記憶されている表情パラメータＩに基づいて顔画像データＦに表情を付加して各フレームの顔画像データを生成し、メモリ１６に記憶させる。そして、制御部１１は、各フレームの顔画像データの口を各フレームの口の形状データに基づいて変形することにより各フレームの静止画を生成し、生成した各フレームの静止画を結合してアニメーションを生成し、生成したアニメーションに音声データＪを結合して映像データＨ２を生成し、映像データＨ２を記憶部１７に記憶させる。
【００３７】
制御部１１は、上記アニメーション生成処理の実行後、生成された映像データＨ１又はＨ２に基づいて、表示部１３にアニメーションを表示させるとともに、音声出力部１４により各フレームに対応する音声を出力させる。
【００３８】
以上説明したように、表示装置１０によれば、制御部１１は、音声データＡをテキスト変換したテキストデータＢに基づいて、当該テキストデータＢに対応する音声の出力とともに表示される顔画像に音声に対応する表情を付加し、表情が付加された顔画像に含まれる口を音声に応じて動かすアニメーションを生成する。
例えば、制御部１１は、テキストデータＢから単語を検出し、単語・表情対応テーブルＴ１を参照してテキストデータＢに含まれる各文を構成する単語に予め対応付けられている表情の情報を取得し、取得した情報に基づいて、テキストデータＢに含まれる各文に応じた表情を決定する。そして、決定した表情をその文に対応する音声の出力とともに表示される顔画像に付加し、表情が付加された顔画像に含まれる口を音声に応じて動かすアニメーションを生成する。
従って、音声に応じて表情を変え、音声に応じて口を動かすアニメーションを１枚の顔画像から自動的に生成するので、顔画像に基づいて生成されるリップシンクアニメーションの表現力を向上させることができる。また、例えば、音声を耳で聞きながらどのタイミングでどの表情を付加するのかをユーザが判断して手動で調整する等の煩雑な作業を行うことなく、容易に音声に応じた表情が付加されたリップシンクアニメーションを生成することが可能となる。
【００３９】
また、制御部１１は、テキストデータＢに含まれる各文を他の言語のテキストデータに翻訳し、翻訳前のテキストデータＢに含まれる各文に対して決定された表情を翻訳後の対応する各文に対応する音声の出力とともに表示される顔画像に付加し、表情が付加された顔画像に含まれる口を翻訳後のテキストデータに対応する音声に応じて動かすアニメーションを生成する。
従って、もとの言語とは異なる言語（例えば、外国語）の音声に応じて表情を変え、その音声に応じて口を動かすアニメーションを１枚の顔画像から自動的に生成することができるので、音声の言語を理解できなくても、容易に音声に応じた表情が付加されたリップアニメーションを生成することが可能となる。
【００４０】
なお、上記実施形態における記述内容は、本発明に係る表示装置１０の好適な一例であり、これに限定されるものではない。
【００４１】
例えば、上記実施形態では、音声データＡの言語の例を日本語として説明したが、日本語に限定されるものではなく、外国語であってもよい。
【００４２】
また、上記実施形態においては、音声データＡと顔画像データＦに基づいて映像データを生成する場合を例にとり説明したが、音声を読み上げるためのテキストデータと顔画像データに基づいて映像データを生成する場合にも本発明を適用することができる。
【００４３】
また、上記実施形態においては、各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体としてＨＤＤや不揮発性の半導体メモリを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）を適用することとしてもよい。
【００４４】
その他、表示装置１０の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００４５】
本発明の実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する表情付加手段と、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成手段と、
を備える画像処理装置。
＜請求項２＞
前記表情付加手段は、テキストデータに対応する音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する請求項１に記載の画像処理装置。
＜請求項３＞
前記表情付加手段は、前記テキストデータに含まれる各文に応じた表情を決定し、決定した表情をその文に対応する音声の出力とともに表示される顔画像に付加する請求項２に記載の画像処理装置。
＜請求項４＞
前記表情付加手段は、前記テキストデータに含まれる各文を構成する単語に予め対応付けられている表情の情報を取得し、取得した情報に基づいて、前記テキストデータに含まれる各文に応じた表情を決定する請求項３に記載の画像処理装置。
＜請求項５＞
前記テキストデータに含まれる各文を前記テキストデータの言語とは異なる他の言語のテキストデータに翻訳する翻訳手段を備え、
前記表情付加手段は、翻訳前の前記テキストデータに含まれる各文に対して決定された表情を翻訳後の対応する各文に対応する音声の出力とともに表示される顔画像に付加し、
前記生成手段は、前記表情が付加された顔画像に含まれる口を前記翻訳後の前記テキストデータに対応する音声に応じて動かすアニメーションを生成する請求項３又は４に記載の画像処理装置。
＜請求項６＞
請求項１〜５の何れか一項に記載の画像処理装置と、
前記画像処理装置により生成されたアニメーションを表示する表示手段と、
を備える表示装置。
＜請求項７＞
音声とともに出力される顔画像に前記音声に対応する表情を付加する工程と、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する工程と、
を含むアニメーション生成方法。
＜請求項８＞
音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する工程と、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する工程と、
前記生成されたアニメーションを表示する工程と、
を含むアニメーション表示方法。
＜請求項９＞
コンピュータを、
音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する表情付加手段、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成手段、
として機能させるためのプログラム。
＜請求項１０＞
コンピュータを、
音声の出力とともに表示される顔画像に前記音声に対応する表情を付加する表情付加手段、
前記表情が付加された顔画像に含まれる口を前記音声に応じて動かすアニメーションを生成する生成手段、
前記生成手段により生成されたアニメーションを表示する表示手段、
として機能させるためのプログラム。
【符号の説明】
【００４６】
１０  表示装置
１１  制御部
１２  操作部
１３  表示部
１４  音声出力部
１５  通信部
１６  メモリ
１７  記憶部
Ａ  音声データ
Ｂ  テキストデータ
Ｃ  単語データ群
Ｄ  単語表情データ群
Ｅ  文表情データ群
Ｆ  顔画像データ
Ｇ  翻訳文データ群
Ｈ１  映像データ
Ｈ２  映像データ
Ｉ  表情パラメータ
Ｐ  プログラム
Ｔ１  単語・表情対応テーブル
【図１】
0006711044.tif 000002
【図２】
0006711044.tif 000003