(57)【要約】【課題】感情を示す情報に応じて表情が変化し得るキャラクタの表情を簡易かつ迅速に生成する。【解決手段】本発明の表情生成装置は、感情に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置であって、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部３０−２と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部３０−３と、を備える。【選択図】図２
2014085952.tif 000002
【特許請求の範囲】
【請求項１】
感情に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置であって、
入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部と、
前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部と、を備えることを特徴とする表情生成装置。
【請求項２】
前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整する時間制御部を更に備えることを特徴とする請求項１記載の表情生成装置。
【請求項３】
任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする請求項１または請求項２記載の表情生成装置。
【請求項４】
前記表情合成部で合成し、前記時間制御部で時間的に変化したキャラクタの表情を再生する表情再生部をさらに備えることを特徴とする請求項１から請求項３のいずれかに記載の表情生成装置。
【請求項５】
感情に応じて表情が変化し得るキャラクタの表情を生成するプログラムであって、
任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する処理と、
前記解析した感情分類に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する処理と、
前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情を示す情報に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、マウスクリックやテキストデータなど、任意の入力情報に基づいて、人間の顔画像やキャラクタの表情を生成する技術が知られている。例えば、特許文献１に開示されている技術では、マウス操作などの入力操作により顔画像を構成する複数の顔部品画像を制御して特定の表情を生成する。また、特許文献２に開示されている技術では、入力されたテキストデータを解析してセグメント毎に感情情報を付与し、付与された感情に対応するキャラクタを表情付で表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３４２７６９号公報
【特許文献２】特開２００５−１８１８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている技術では、マウス操作などの入力操作により複数の顔部品画像を１つ１つ調整するため、感情表現のある表情を生成するまでに多大な時間を要するといった課題がある。また、生成する画像は１枚の静止画像であり、時間軸の制御によって表現可能な感情における表情については生成することができない。
【０００５】
また、特許文献２に開示されている技術では、システムに登録されたキャラクタの表情をそのまま表示しているため、表現可能な表情の数に限りがある。また、多くの感情表現に対応するには、各表現に対応した大量の表情を予め生成しておかなければならず、手間を要してしまう。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、感情を示す情報に応じて表情が変化し得るキャラクタの表情を簡易かつ迅速に生成することができる表情生成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の表情生成装置は、感情に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置であって、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部と、を備えることを特徴とする。
【０００８】
（２）また、本発明の表情生成装置は、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整する時間制御部を更に備えることを特徴とする。
【０００９】
（３）また、本発明の表情生成装置は、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする。
【００１０】
（４）また、本発明の表情生成装置は、前記表情合成部で合成し、前記時間制御部で時間的に変化したキャラクタの表情を再生する表情再生部をさらに備えることを特徴とする。
【００１１】
（５）また、本発明のプログラムは、感情に応じて表情が変化し得るキャラクタの表情を生成するプログラムであって、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する処理と、前記解析した感情分類に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する処理と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる処理と、の一連の処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、任意のデータを入力し、入力データにおける感情を解析し、解析された感情に応じたキャラクタの表情を合成するので、感情表現のある表情を一意に生成することができる。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御するので、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を合成することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る表情生成装置の概略構成を示す図である。
【図２】本実施形態に係る表情生成装置の機能を示すブロック図である。
【図３】本実施形態に係る表情生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の実施形態に係る表情生成装置は、任意のテキストデータを入力し、テキストデータにおける感情を解析し、解析された感情に基づいてキャラクタの表情を合成する。これにより、感情表現のある表情を自動的に生成することができる。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御する。この制御により、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を生成することが可能となる。本実施形態に係る表情生成装置では、入力として、テキストデータを利用する。本明細書では、一例として、テキストデータを用いた表情生成装置を示すが、本発明の技術的思想は、テキストデータに限定されるわけではない。例えば、「音声」を入力情報とし、音声認識により、テキストデータを取得しても良い。また、「音響」を入力情報とし、平均テンポ、音色、音圧レベル、音圧レベルの変動により、感情分類およびその強度を抽出しても良い。また、「キー操作」を入力情報として、感情分類及びその強度をキー操作により入力するようにしても良い。また、「タッチ」を入力情報として、感情分類およびその強度をタッチ操作により入力するようにしても良い。また、「画像」を入力情報として、画像における表情認識技術を利用して、感情分類およびその強度を抽出しても良い。この場合、感情認識カメラを用いることも可能である。また、「映像」を入力情報として、「音声」と「画像」における例を併用し、感情分類及びその強度を抽出するようにしても良い。
【００１５】
図１は、本実施形態に係る表情生成装置の概略構成を示す図である。図１に示すように、表情生成装置１は、ディスプレイ１０と、キーボード２０と、ＰＣ（Personal Computer）３０とから構成されている。そして、キーボード２０によりＰＣ３０にテキストデータ４０が入力される。なお、図１では、キーボード２０が、ＰＣ３０に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、任意手段によりＰＣに対してテキストデータが入力されれば十分である。
【００１６】
ＰＣ３０は、ケーブル３０ａを介して表情再生装置としてのディスプレイ１０に接続されている。ＰＣ３０では、入力されるテキストデータ４０における感情を解析し、解析された感情に基づいてキャラクタの表情を合成する。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御する。そして、ＰＣ３０は、制御された時間情報に基づき、合成されたキャラクタの表情の画像を生成して、画像信号を随時ディスプレイ１０に発信する。その際、ＰＣ３０において生成された画像はディスプレイ１０にＡ１として映写される。なお、本発明の実施形態に係る表情生成装置では、合成されたキャラクタの表情の画像信号をディスプレイ１０に発信しなくても構わない。
【００１７】
図２は、本実施形態に係る表情生成装置１の機能を示すブロック図である。ＰＣ３０の感情解析部３０−１は、ユーザの入力操作を受け付けて、入力された任意のデータから各データにおける感情を解析する。すなわち、感情解析部３０−１は、キーボード２０により入力されたテキストデータ４０を認識して、テキストデータ４０における感情を解析する。また、ＰＣ３０の表情合成部３０−２は、キャラクタの表情を合成する。すなわち、表情合成部３０−２は、感情解析部３０−１が解析した感情に基づいて基本表情を合成し、キャラクタの表情を生成する。
【００１８】
ＰＣ３０の動き制御部３０−３は、感情分類に対応する時間情報に応じて、合成したキャラクタの表情を時間的に変化させる。すなわち、動き制御部３０−３は、感情解析部３０−１が解析した感情に基づいて、表情合成部３０−２が生成したキャラクタの表情を時間的に制御する。また、表情再生部３０−４は、キャラクタの表情の画像を再生する。すなわち、表情再生部３０−４は、動き制御部３０−３が制御した時間情報に基づき、表情合成部３０−２が生成したキャラクタの表情の画像を再生する。また、時間制御部３０−５は、上記解析した感情分類に対応する時間情報に応じて、合成したキャラクタの表情が変化する速度または加速度を調整する。
【００１９】
図３は、本実施形態に係る表情生成装置１の動作を示すフローチャートである。初めに、ＰＣ３０に、キーボード２０によりテキストデータ４０が入力される（ステップＳ１）。次に、ＰＣ３０において、入力されるテキストデータ４０を認識して、テキストデータ４０における感情分類及び強度を解析する（ステップＳ２）。ここでは、入力されるテキストデータ４０が単語の場合を説明するが、本発明の技術的思想は、単語に限定されるわけではなく、句であっても文であっても良い。本実施形態では、感情分類とそれぞれの強度から構成される感情語データベースを使用する。
【００２０】
なお、感情語データベースは、日本語辞書などの大量の単語データベースに存在する全ての単語に対して、人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の９つがどれくらいの割合で存在するか規定し、それぞれの感情強度を０〜１の範囲で、０．１刻みに１１段階で指定して、予め形成されている。また、入力されるテキストデータ４０が句または文である場合は、単語の場合と同様に、句または文に全体における感情分類とそれぞれの強度から構成される感情句データベースまたは感情文データベースを使用すれば良い。ここで、「喜び」の強度をＳ1、「悲しみ」の強度をＳ2、「怒り」の強度をＳ3、「嫌悪」の強度をＳ4、「恐怖」の強度をＳ5、「罪」の強度をＳ6、「恥」の強度をＳ7、「興味」の強度をＳ8、「驚き」の強度をＳ9、「無感動」をＳ10で表す。ただし、次の２式をいずれも満たすものとする。
【００２１】
【数１】
2014085952.tif 000003
【数２】
2014085952.tif 000004
【００２２】
そして、入力されるテキストデータ４０と一致または類似する単語を感情語データベースの中から検索し、その単語における感情分類と強度を抽出する。すなわち、テキストデータ４０における感情分類と強度Ｏは、次式で表わされる。
【００２３】
【数３】
2014085952.tif 000005
【００２４】
すなわち、上式のように、９次元のベクトルで示される。例えば、テキストデータ４０として、「泣き笑い」を入力すると、抽出される感情分類と強度Ｏは、次のように表わされる。
【００２５】
【数４】
2014085952.tif 000006
【００２６】
次に、ＰＣ３０において、解析された感情に基づいてキャラクタの表情を合成する。（ステップＳ３）。本実施形態では、基本表情を合成して、解析された感情におけるキャラクタの表情を合成する。ここでは、基本表情として、人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」「無感動」の１０個の表情が予め用意されている。ここで、キャラクタの表情の中のあるポリゴンＰに対して、「喜び」の基本表情におけるＰの座標を（Ｘ1，Ｙ1，Ｚ1）、「悲しみ」の基本表情におけるＰの座標を（Ｘ2，Ｙ2，Ｚ2）、「怒り」の基本表情におけるＰの座標を（Ｘ3，Ｙ3，Ｚ3）、「嫌悪」の基本表情におけるＰの座標を（Ｘ4，Ｙ4，Ｚ4）、「恐怖」の基本表情におけるＰの座標を（Ｘ5，Ｙ5，Ｚ5）、「罪」の基本表情におけるＰの座標を（Ｘ6，Ｙ6，Ｚ6）、「恥」の基本表情におけるＰの座標を（Ｘ7，Ｙ7，Ｚ7）、「興味」の基本表情におけるＰの座標を（Ｘ8，Ｙ8，Ｚ8）、「驚き」の基本表情におけるＰの座標を（Ｘ9，Ｙ9，Ｚ9）、「無感動」の基本表情におけるＰの座標を（Ｘ10，Ｙ10，Ｚ10）と表す。そして、抽出された感情分類に対応する基本表情を、それぞれの感情強度の割合で合成し、キャラクタの表情を生成する。すなわち、生成されたキャラクタの表情におけるＰの座標（ＸE，ＹE，ＺE）は、次式で表わされる。
【００２７】
【数５】
2014085952.tif 000007
【００２８】
同様の操作をキャラクタの表情における全ポリゴンに対して実行し、キャラクタの表情を生成する。
【００２９】
次に、ＰＣ３０において、解析された感情に基づいて生成したキャラクタの表情が変化する速度を制御する（ステップＳ４）。本実施形態では、感情語データベースに対応した時間情報データベースを使用する。時間情報データベースは、日本語辞書などの大量の単語データベースに存在する全ての単語に対して、表情がどれくらいの速度で変化するか規定し、標準の速度を１として、予め形成されている。
【００３０】
そして、入力されるテキストデータ４０と一致または類似する単語を感情語データベースの中から検索し、その単語に対応する時間情報を時間情報データベースの中から抽出する。ここで、抽出された時間情報をＶと表す。そして、抽出された時間情報Ｖに基づいて、生成したキャラクタの表情を時間的に制御する。すなわち、時刻０に（Ｘ0，Ｙ0，Ｚ0）であったキャラクタのＰの座標を、生成されたキャラクタのＰの座標（ＸE，ＹE，ＺE）へ変化させる場合、任意の時刻Ｔにおける生成されたキャラクタのＰの座標（ＸT，ＹT，ＺT）は、次式で表わされる。
【００３１】
【数６】
2014085952.tif 000008
ただし、時刻Ｔにおいて、次の３式を同時に満たす場合、それ以降の時刻では、（ＸT，ＹT，ＺT）＝（ＸE，ＹE，ＺE）とする。
【００３２】
【数７】
2014085952.tif 000009
【００３３】
同様の操作をキャラクタの表情における全ポリゴンに対して実行し、キャラクタの表情を時間的に制御する。
【００３４】
次に、ＰＣ３０において、制御された時間に基づき、合成されたキャラクタの表情の画像を生成する（ステップＳ５）。もし、キーボード２０により入力されるテキストデータ４０が続く場合は、キャラクタの表情の画像を生成した後、ステップＳ２に戻り、次のテキストデータ４０に対しての処理を開始する。
【００３５】
最後に、制御された時間情報に基づき、合成されたキャラクタの表情の画像をディスプレイ１０に映写する（ステップＳ６）。
【００３６】
なお、本発明は、以下のような態様を採ることも可能である。すなわち、（１）本発明の表情生成装置は、感情に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置であって、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部と、を備えることを特徴とする。
【００３７】
このように、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、キャラクタの基本表情を前記感情分類の強度の割合で合成し、感情分類に対応する時間情報に応じて、合成したキャラクタの表情を時間的に変化させるので、感情表現のある表情を一意に生成することができる。また、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を合成することが可能となる。
【００３８】
（２）また、本発明の表情生成装置は、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整する時間制御部を更に備えることを特徴とする。
【００３９】
このように、感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整するので、時間軸の制御によって表現可能な感情における表情を生成することができる。
【００４０】
（３）また、本発明の表情生成装置は、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする。
【００４１】
このように、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析するので、感情表現のある表情を一意に生成することができる。
【００４２】
（４）また、本発明の表情生成装置は、前記表情合成部で合成し、前記時間制御部で時間的に変化したキャラクタの表情を再生する表情再生部をさらに備えることを特徴とする。
【００４３】
このように、表情合成部で合成し、時間制御部で時間的に変化したキャラクタの表情を再生するので、ユーザに対して処理したキャラクタの感情を表示することが可能となる。
【００４４】
（５）また、本発明のプログラムは、感情に応じて表情が変化し得るキャラクタの表情を生成するプログラムであって、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する処理と、前記解析した感情分類に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する処理と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる処理と、の一連の処理をコンピュータに実行させることを特徴とする。
【００４５】
このように、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、キャラクタの基本表情を前記感情分類の強度の割合で合成し、感情分類に対応する時間情報に応じて、合成したキャラクタの表情を時間的に変化させるので、感情表現のある表情を一意に生成することができる。また、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を合成することが可能となる。
【００４６】
なお、本実施形態に係る表情生成装置では、表情合成部３０−２で合成したキャラクタの表情を表示する画面を備えても良い。これにより、ユーザに対して合成したキャラクタの表情を視認可能とすることができる。また、その画面は、スクリーン、ディスプレイ、テレビ、建築物の壁面、窓、ガラス、鏡またはパネルのいずれかとすることも可能である。これにより、ユーザに対して、種々の形態での表示を行なうことが可能となる。
【００４７】
以上説明したように、本実施形態によれば、ＰＣ３０に入力されるテキストデータ４０における感情を解析し、解析された感情に応じたキャラクタの表情を合成する。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御する。そして、ＰＣ３０は、制御された時間情報に基づき、合成されたキャラクタの表情の画像を生成して、画像信号を随時ディスプレイ１０に発信する。その際、ＰＣ３０において生成された画像はディスプレイ１０にＡ１として映写される。これにより、本実施形態では、感情表現のある表情を自動的に生成することができる。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御するので、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を生成することが可能となる。
【符号の説明】
【００４８】
１０  ディスプレイ
２０  キーボード
３０−１  感情解析部
３０−２  表情合成部
３０−３  動き制御部
３０−４  表情再生部
３０−５  時間制御部
３０ａ  ケーブル
【図１】
2014085952.tif 000010
【図２】
2014085952.tif 000011
【図３】
2014085952.tif 000012