(57)【要約】【課題】エンターテイメント性の高い仮想キャラを活用することのできるテレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置を提供すること。【解決手段】カメラ１０１で撮影したユーザの顔に基づいて生成される仮想キャラをユーザの顔に完全に似せるのではなく、仮想キャラ生成部１１１は、予め指定された部位の特徴を強調することで、ユーザの顔に微妙またはほどほど似せた仮想キャラを生成する。また、ユーザの表情や動きの変化をそのまま仮想キャラの表情または動きに反映させるのではなく、仮想キャラ生成部１１１は、ユーザが実際には行っていない表情または動きをするといった独自の個性を仮想キャラに持たせる。さらに、ユーザの首の動きをそのまま仮想キャラの動きに反映させるのではなく、仮想キャラ生成部１１１は、他の要因にも従って仮想キャラの首を動かす。【選択図】    図２
2004287558.tif 000002
【特許請求の範囲】
【請求項１】
人の顔に基づいて仮想のキャラクター（以下「仮想キャラ」という。）を生成する仮想キャラ生成装置であって、
ユーザの顔を撮影した映像から各部位の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各部位の特徴点と、前記各部位の特徴が平均化された平均顔のキャラクターの特徴点との差分を算出する特徴点差分算出手段と、
前記特徴点差分算出手段によって算出された差分を前記平均顔のキャラクターに反映させて、前記ユーザの仮想キャラを生成する仮想キャラ生成手段と、を備え、
前記仮想キャラ生成手段は、所定の部位に対しては、当該所定の部位の特徴を強調するよう前記特徴点差分算出手段によって算出された差分を変更した上で前記平均顔のキャラクターに反映させることを特徴とする仮想キャラ生成装置。
【請求項２】
人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）に、ユーザの実際の表情または動きとは関係のない独自の個性を持たせる仮想キャラ動作制御装置であって、
独自の個性を実現するプログラムを少なくとも１つ記憶したプログラム記憶装置から所望のプログラムをダウンロードして、当該ダウンロードしたプログラムを実行することで、前記仮想キャラが前記プログラムに対応する個性に準じた所定の動作を行うよう制御することを特徴とする仮想キャラ動作制御装置。
【請求項３】
人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の首の動きを制御する仮想キャラ動作制御装置であって、前記仮想キャラの基となるユーザの実際の首の動きとは別に、キーワードまたは音声若しくは映像の特徴に応じて、またはランダムに、前記仮想キャラが所定の首の動きを行うよう制御することを特徴とする仮想キャラ動作制御装置。
【請求項４】
請求項１に記載の仮想キャラ生成装置または請求項２若しくは３に記載の仮想キャラ動作制御装置を備え、ネットワークを介して他の端末と前記仮想キャラの映像および音声による通信を行うことを特徴とするテレビ電話端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、エンターテイメント性の高い仮想キャラを活用することのできるテレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置に関する。
【０００２】
【従来の技術】
複数のテレビ電話端末およびネットワーク等から構成されるテレビ電話システムでは、各テレビ電話端末で撮影された映像が音声と共にネットワークを介して相手端末に送られる。このため、離れた場所にいる相手とでも顔を見ながら会話することができる。相手の顔を見ながら会話することができれば、声のトーンだけでなく相手の表情を視覚的に確認することができるため、よりリアルな高いレベルのコミュニケーションをとることができるといったメリットがある。
【０００３】
しかし、ユーザによっては自分自身を撮影した映像がそのまま相手端末に送られるのを好まない者もいる。さらに、自分または相手が撮影した映像を見ながら会話していても面白みがないと感じるユーザもいる。このため、ユーザの顔を撮影した画像から眉、目、鼻、口等の各部位の特徴点を抽出して、当該特徴点からユーザの顔に似せた仮想のキャラクター（以下、「仮想キャラ」という。）を生成し、この仮想キャラの映像を自分の分身として相手端末に送る技術が考えられている。
【０００４】
当該技術では、まず、ユーザの顔を撮影した画像（以下「顔画像」という。）のどの領域が顔かを認識した後、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に似せた仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に似せた仮想キャラを生成する。図４は、ユーザの顔に似せた仮想キャラを示す説明図である。
【０００５】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。こうすることで、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きと連携するため、ユーザの表情の変化に合わせて仮想キャラの表情も同様に変化することとなる。なお、仮想キャラをユーザの顔に似させることなく、全く別のキャラクターにユーザの顔画像における各特徴点の動きを反映させることで、ユーザの表情の変化に合わせて仮想キャラの表情を変化させることもできる。
【０００６】
さらに、顔を形成する部位の全てが顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができる。このため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映することができる。
【０００７】
【特許文献１】
特表２００２−５１１６１７号公報
【特許文献２】
特表２００２−５１１６２０号公報
【０００８】
【発明が解決しようとする課題】
このように、上記従来の技術では、仮想キャラをユーザの顔に似せるか、全く別のキャラクターとしている。しかし、エンターテイメント性といった点から仮想キャラを考えると、ユーザの顔に似すぎているよりも、微妙またはほどほど似ている程度に面白みがあると考えられる。一方、仮想キャラが全く別のキャラクターであると会話相手の顔を彷彿とさせないため、少なくとも相手を識別できる程度には似ていることが望ましい。
【０００９】
また、上記従来の技術では、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きに連携しているため、仮想キャラの表情はユーザの表情に合わせて変化する。しかし、エンターテイメント性といった点から仮想キャラを考えると、ユーザの表情の変化をそのまま仮想キャラの表情に反映させるよりも、仮想キャラの表情や動きに意外性のある方が面白みの点で勝ると考えられる。
【００１０】
さらに、上記従来の技術では、ユーザの首の動きが仮想キャラに反映されるため、ユーザが頷いたり、首をかしげたり、頭を振ると、仮想キャラも同様の動きをする。しかし、エンターテイメント性といった点から仮想キャラを考えると、ユーザの首の動きをそのまま仮想キャラの動きに反映させるよりも、仮想キャラの動きに意外性のある方が面白みの点で勝ると考えられる。
【００１１】
したがって、娯楽的な要素を含んだコミュニケーションツールとしてテレビ電話が利用される場合には、エンターテイメント性の高い仮想キャラを活用できることが望ましい。
【００１２】
本発明は、上記従来の要望に鑑みてなされたものであって、エンターテイメント性の高い仮想キャラを活用することのできるテレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る仮想キャラ生成装置は、人の顔に基づいて仮想のキャラクター（以下「仮想キャラ」という。）を生成する仮想キャラ生成装置であって、ユーザの顔を撮影した映像から各部位の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各部位の特徴点と、前記各部位の特徴が平均化された平均顔のキャラクターの特徴点との差分を算出する特徴点差分算出手段と、前記特徴点差分算出手段によって算出された差分を前記平均顔のキャラクターに反映させて、前記ユーザの仮想キャラを生成する仮想キャラ生成手段と、を備え、前記仮想キャラ生成手段は、所定の部位に対しては、当該所定の部位の特徴を強調するよう前記特徴点差分算出手段によって算出された差分を変更した上で前記平均顔のキャラクターに反映させる。
【００１４】
このように、所定の部位の特徴を強調することで、ユーザの顔に微妙またはほどほど似せた仮想キャラを生成することができる。仮想キャラは、ユーザの顔に似すぎているよりも微妙またはほどほど似ている程度に面白みがあると考えられるため、エンターテイメント性の高い仮想キャラを活用することができる。
【００１５】
また、本発明に係る仮想キャラ動作制御装置は、人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）に、ユーザの実際の表情または動きとは関係のない独自の個性を持たせる仮想キャラ動作制御装置であって、独自の個性を実現するプログラムを少なくとも１つ記憶したプログラム記憶装置から所望のプログラムをダウンロードして、当該ダウンロードしたプログラムを実行することで、前記仮想キャラが前記プログラムに対応する個性に準じた所定の動作を行うよう制御する。
【００１６】
このように、プログラム記憶装置から独自の個性を実現するプログラムをダウンロードして実行することで、仮想キャラにユーザの実際の表情や動きとは異なる表情または動きをさせることができる。したがって、仮想キャラの表情または動きの変化を楽しむことができるため、エンターテイメント性の高い仮想キャラを活用することができる。
【００１７】
また、本発明に係る仮想キャラ動作制御装置は、人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の首の動きを制御する仮想キャラ動作制御装置であって、前記仮想キャラの基となるユーザの実際の首の動きとは別に、キーワードまたは音声若しくは映像の特徴に応じて、またはランダムに、前記仮想キャラが所定の首の動きを行うよう制御する。
【００１８】
このように、ユーザの実際の動きとは異なる首の動きを仮想キャラが行う。ユーザの首の動きをそのまま仮想キャラの動きに反映させるよりも、この方が仮想キャラの動きに意外性があり面白みの点で勝ると考えられる。したがって、エンターテイメント性の高い仮想キャラを活用することができる。
【００１９】
さらに、本発明に係るテレビ電話端末は、請求項１に記載の仮想キャラ生成装置または請求項２若しくは３に記載の仮想キャラ動作制御装置を備え、ネットワークを介して他の端末と前記仮想キャラの映像および音声による通信を行う。したがって、仮想キャラを用いたコミュニケーションのエンターテイメント性を高めることができる。
【００２０】
【発明の実施の形態】
以下、本発明に係るテレビ電話端末の実施の形態について、図面を参照して説明する。
【００２１】
本実施形態のテレビ電話端末は、動画または静止画（以下、まとめて「映像」という。）を撮影可能なカメラを備えた携帯電話やＰＨＳ、ＰＤＡ等の通信端末であり、ネットワークを介して別のテレビ電話端末と映像および音声を送受信することによりテレビ電話として用いることができる。但し、テレビ電話中に端末間で送受信される映像は、カメラで撮影した映像の他、カメラで撮影したユーザの顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の映像であっても良い。本実施形態では、当該仮想キャラの映像が送受信される場合について説明する。
【００２２】
以下、仮想キャラの生成について説明する。本実施形態のテレビ電話端末は、カメラによって撮影されたユーザの顔画像からどの領域が顔かを認識する。次に、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。顔を構成する主要な部位である眉、目、鼻、口は表情によって微妙に変化するため、これらの部位のように、表情が変化すると他の特徴点との相対位置が変わる部分が特徴点として抽出される。
【００２３】
次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に近い仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に近い仮想キャラを生成する。
【００２４】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。また、顔を形成する全ての部位が顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができるため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映させる。
【００２５】
以下、本実施形態のテレビ電話端末の構成についての説明を、図２を参照して行う。図２は、本実施形態のテレビ電話端末の構成を示すブロック図である。本実施形態のテレビ電話端末は、同図に示すように、カメラ１０１と、映像処理部１０３と、マイク１０５と、スピーカ１０７と、音声処理部１０９と、仮想キャラ生成部１１１と、表示部１１３と、キーボード１１５と、中央処理部１１７と、無線部１１９と、アンテナ１２１とを備えて構成されている。
【００２６】
映像処理部１０３は、カメラ１０１で撮影された映像を解析することで、映像中から顔を認識し特徴点を抽出するものである。また、音声処理部１０９は、マイク１０５から入力された自分の音声に対して所定の処理を行ったり、相手のテレビ電話端末から受け取った相手の音声データを処理してスピーカ１０７から出力するものである。なお、音声処理部１０９が行う処理には、音量や音韻、ピッチ等といった音声の特徴となる要素の解析が含まれ、当該解析は自分および相手の音声に対して行われる。
【００２７】
また、仮想キャラ生成部１１１は、映像処理部１０３によって抽出された特徴点等に基づいて仮想キャラを生成し、カメラ１０１で撮影したユーザの表情や動作を当該仮想キャラに反映させるものである。なお、仮想キャラ生成部１１１は、生成した仮想キャラを中央処理部１１７からの指示に基づいて部分的または全体的に変更することもある。また、表示部１１３は、仮想キャラ生成部１１１で生成された仮想キャラや、相手のテレビ電話端末から送られた仮想キャラ等を表示するものである。
【００２８】
また、キーボード１１５は、後述する仮想キャラの生成に関する指示等を仮想キャラ生成部１１１に行ったり、他の指示等を中央処理部１１７に行うためのものである。また、中央処理部１１７は、仮想キャラ生成部１１１で生成された仮想キャラのＭＰＥＧ圧縮をはじめとして、仮想キャラの動きと音声との同期や、映像データおよび音声データの圧縮伸長処理等を行うものである。また、無線部１１９は、映像および音声のデータの変復調等を行って、アンテナ１２１を介して信号を送受信するものである。
【００２９】
以上の説明を踏まえて、〔第１の実施形態〕、〔第２の実施形態〕、〔第３の実施形態〕の順に本発明に係るテレビ電話端末の実施の形態について詳細に説明する。
【００３０】
〔第１の実施形態〕
第１の実施形態では、仮想キャラをユーザの顔に完全に似せるのではなく、微妙またはほどほどに似せている。上述したように、仮想キャラを生成する際は、抽出した特徴点と平均顔のキャラクターの特徴点との差分を算出し、当該差分データを平均顔のキャラクターに反映させている。本実施形態では、差分データを平均顔のキャラクターにそのまま反映させるのではなく、ユーザによって予め指定された部位に対しては、その特徴を強調するよう差分データを変更した上で反映させる。
【００３１】
なお、特徴を強調する部位の指定は図２に示したキーボード１１５から中央処理部１１７に対して行われ仮想キャラ生成部１１１に指示される。そして、指定された部位の差分データの変更は仮想キャラ生成部１１１で行われる。特許請求の範囲の特徴点抽出手段は映像処理部１０３に該当し、特徴点差分算出手段および仮想キャラ生成手段は仮想キャラ生成部１１１に該当する。
【００３２】
図３は、（ａ）ユーザの顔に似せた仮想キャラおよび（ｂ）ユーザの顔に微妙またはほどほど似せた仮想キャラの一例を示す説明図である。例えば、ユーザによって目の大きさを強調するよう指示されている場合、目が全体的に大きくなるように目の特徴点の差分データを変更する。そして、目の各特徴点の変更された差分データと、眉、鼻および口の各特徴点における差分データとを平均顔のキャラクターに反映することで、図３（ｂ）に示すような、目の大きさが強調された仮想キャラを生成する。
【００３３】
以上説明したように、本実施形態によれば、予め指定された部位の特徴を強調することで、ユーザの顔に微妙またはほどほど似せた仮想キャラを生成することができる。仮想キャラは、ユーザの顔に似すぎているよりも微妙またはほどほど似ている程度に面白みがあると考えられるため、本実施形態によれば、仮想キャラを用いたコミュニケーションのエンターテイメント性を高めることができる。また、特徴の強調は指定された部位に対して行われるため、ユーザによって指定された部位だけが強調された仮想キャラを生成することができる。
【００３４】
なお、本実施形態では、顔の部位の特徴を強調しているが、ユーザが強調したくない部位については目立たないようにデフォルメしても良い。
【００３５】
〔第２の実施形態〕
第２の実施形態では、ユーザの表情や動きの変化をそのまま仮想キャラの表情または動きに反映させるのではなく、ユーザが実際には行っていない表情または動きをするといった独自の個性を仮想キャラに持たせている。本実施形態では、様々な個性を実現するプログラムが複数用意されたキャラクタサーバ（図示せず）が別に設けられている。ユーザはテレビ電話端末を用いて当該キャラクタサーバにアクセスして、所望の個性を実現するプログラムをテレビ電話端末にダウンロードする。そして、仮想キャラが当該個性を持つよう設定を行う。なお、キャラクタサーバは特許請求の範囲のプログラム記憶装置に該当する。
【００３６】
このように、キャラクタサーバから所望の個性に対応するプログラムを予めダウンロードして設定を行っておけば、次回以降のテレビ電話では、仮想キャラ生成部１１１で当該個性を実現するプログラムが実行され、仮想キャラがこの個性に準じた所定の動作を行うようになる。
【００３７】
なお、個性には、ユーザの表情または動きとは全く関係のない動作を行う個性や、顔の各部位の動きに従って所定の動作を行う個性、ユーザ（自分）または相手が発した（しゃべった）特定のキーワードに反応して所定の表情または動作を行う個性等が考えられる。例えば、１０分に一度踊りだすといった個性や、相手の仮想キャラの動作を真似る個性、会話が途切れるとタバコを吸い出す個性、歌舞伎役者のような動作をする個性、所定時間以上目をつぶると眠りだす個性、自分がはっした「なんで？」といった言葉に反応して目がクエスチョンマークになる個性等々、様々な個性が考えられる。
【００３８】
以上説明したように、本実施形態によれば、キャラクタサーバに用意されている複数の個性の中から所望の個性を選択して、仮想キャラにユーザの実際の表情や動きとは異なる表情または動きをさせることができる。したがって、仮想キャラの表情または動きの変化を楽しみながら相手と会話することができるため、仮想キャラを用いたコミュニケーションのエンターテイメント性を高めることができる。
【００３９】
〔第３の実施形態〕
第３の実施形態では、ユーザの首の動きをそのまま仮想キャラの動きに反映させるのではなく、他の要因にも従って仮想キャラの首を動かしている。なお、「首が動く」とは、頷いたり、首をかしげたり、頭を振る等といった、体に対して頭部が立体的に動く動作のことをいう。本実施形態では、自分または相手が発した（しゃべった）特定のキーワードや音声の特徴、若しくは、図２に示したカメラ１０１で撮影された映像の特徴に応じて、またはランダムに、仮想キャラが首を動かす。
【００４０】
上述したように、図２に示した音声処理部１０９は自分または相手の音声を解析しており、映像処理部１０３はカメラ１０１で撮影された映像を解析している。したがって、キーワードまたは音声の特徴に応じて仮想キャラの首を動かす場合は音声処理部１０９の解析結果、また、映像の特徴に応じて仮想キャラの首を動かす場合は映像処理部１０３の解析結果に基づいて、中央処理部１１７が、仮想キャラが所定の首の動きをするよう仮想キャラ生成部１１１に指示する。また、ランダムに仮想キャラの首を動かす場合は、中央処理部１１７が、乱数等を利用して仮想キャラが所定の首の動きをするよう仮想キャラ生成部１１１に指示する。
【００４１】
以上説明したように、本実施形態では、ユーザの首の動きとは別に、キーワードや音声の特徴、映像の特徴に基づいてまたはランダムに仮想キャラの首を動かしている。ユーザの首の動きをそのまま仮想キャラの動きに反映させるよりも、この方が仮想キャラの動きに意外性があり面白みの点で勝ると考えられる。したがって、仮想キャラを用いたコミュニケーションのエンターテイメント性を高めることができる。
【００４２】
なお、上記説明した各実施形態のテレビ電話端末が有する映像処理部１０３、音声処理部１０９、仮想キャラ生成部１１１および中央処理部１１７はプログラムを実行することによって動作するものであっても良い。
【００４３】
【発明の効果】
以上説明したように、本発明に係る仮想キャラ生成装置および仮想キャラ動作制御装置によれば、エンターテイメント性の高い仮想キャラを活用することができる。また、本発明に係るテレビ電話端末によれば、仮想キャラを用いたコミュニケーションのエンターテイメント性を高めることができる。
【図面の簡単な説明】
【図１】顔画像と各特徴点を示す説明図
【図２】本発明に係る一実施形態のテレビ電話端末の構成を示すブロック図
【図３】（ａ）ユーザの顔に似せた仮想キャラおよび（ｂ）ユーザの顔に微妙またはほどほど似せた仮想キャラの一例を示す説明図
【図４】ユーザの顔に似せた仮想キャラを示す説明図
【符号の説明】
１０１  カメラ
１０３  映像処理部
１０５  マイク
１０７  スピーカ
１０９  音声処理部
１１１  仮想キャラ生成部
１１３  表示部
１１５  キーボード
１１７  中央処理部
１１９  無線部
１２１  アンテナ
【図１】
2004287558.tif 000003
【図２】
2004287558.tif 000004
【図３】
2004287558.tif 000005
【図４】
2004287558.tif 000006