(57)【要約】【課題】発言の多さを視覚的に判断することのできるテレビ電話端末および仮想キャラ変化制御装置を提供すること。【解決手段】互いの端末に会話相手の仮想キャラを表示し、かつ、発言の多さに応じて仮想キャラを変化させている。音声処理部１０９はユーザ（自分）および相手が発した各音声を解析している。当該解析では音量や音韻、ピッチ等といった音声の特徴が検出されるため、無音時間を検知することができ、かつ、双方の発言時間を計ることができる。中央処理部１１３は、ユーザによる発言時間の累計に基づいて当該ユーザの仮想キャラを変化させるよう仮想キャラ生成部１１１に指示する。なお、仮想キャラの変化とは、仮想キャラの態様または仮想キャラの大きさを変えることである。【選択図】    図１
2004287557.tif 000002
【特許請求の範囲】
【請求項１】
人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の態様または大きさを変化させる仮想キャラ変化制御装置であって、
当該仮想キャラ変化制御装置のユーザが発した音声を解析する音声解析手段と、
前記ユーザによる発言時間の累計に基づいて、前記ユーザの顔に基づいて生成された仮想キャラの態様または大きさを変化させる仮想キャラ制御手段と、
を備えたことを特徴とする仮想キャラ変化制御装置。
【請求項２】
前記仮想キャラ制御手段は、
前記ユーザによる発言時間の累計が大きくなるほど、前記仮想キャラの態様を発達させる、または前記仮想キャラの全体若しくは一部分を大きくすることを特徴とする請求項１記載の仮想キャラ変化制御装置。
【請求項３】
請求項１また２に記載の仮想キャラ変化制御装置を備え、ネットワークを介して他の端末と前記仮想キャラの映像および音声による通信を行うことを特徴とするテレビ電話端末。
【請求項４】
前記他の端末との回線接続時間を計測する時間計測手段を備え、
前記仮想キャラ制御手段は、前記時間計測手段によって計測された回線接続時間に対する前記ユーザによる発言時間の累計の割合に基づいて、前記仮想キャラの態様または大きさを変化させることを特徴とする請求項３記載のテレビ電話端末。
【請求項５】
前記音声解析手段は、前記ユーザが発した音声および前記他の端末のユーザ（以下「会話相手」という。）が発し前記ネットワークを介して送信された音声を解析し、
前記仮想キャラ制御手段は、前記ユーザによる発言時間の累計と前記会話相手による発言時間の累計との比率に基づいて、前記仮想キャラの態様または大きさを変化させることを特徴とする請求項３記載のテレビ電話端末。
【請求項６】
前記仮想キャラ制御手段は、
前記回線接続時間に対する前記ユーザによる発言時間の累計の割合、または前記会話相手による発言時間の累計に対する前記ユーザによる発言時間の累計の比率が大きくなるほど、前記仮想キャラの態様を発達させる、または前記仮想キャラの全体若しくは一部分を大きくすることを特徴とする請求項４または５記載のテレビ電話端末。
【請求項７】
前記他の端末のユーザの顔に基づいて生成された仮想キャラを表示する画面中に、前記ユーザの顔に基づいて生成された仮想キャラを子画面で表示する表示手段を備え、
前記仮想キャラ制御手段は、前記ユーザによる発言時間の累計、前記回線接続時間に対する前記ユーザによる発言時間の累計の割合、または、前記ユーザによる発言時間の累計と前記会話相手による発言時間の累計との比率に基づいて、前記子画面の大きさを変化させることを特徴とする請求項３、４、５または６記載のテレビ電話端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、発言の多さを視覚的に判断することのできるテレビ電話端末および仮想キャラ変化制御装置に関する。
【０００２】
【従来の技術】
複数のテレビ電話端末およびネットワーク等から構成されるテレビ電話システムでは、各テレビ電話端末で撮影された映像が音声と共にネットワークを介して相手端末に送られる。このため、離れた場所にいる相手とでも顔を見ながら会話することができる。相手の顔を見ながら会話することができれば、声のトーンだけでなく相手の表情を視覚的に確認することができるため、よりリアルな高いレベルのコミュニケーションをとることができるといったメリットがある。
【０００３】
しかし、ユーザによっては自分自身を撮影した映像がそのまま相手端末に送られるのを好まない者もいる。さらに、自分または相手が撮影した映像を見ながら会話していても面白みがないと感じるユーザもいる。このため、ユーザの顔を撮影した画像から眉、目、鼻、口等の各部位の特徴点を抽出して、当該特徴点からユーザの顔に似せた仮想のキャラクター（以下、「仮想キャラ」という。）を生成し、この仮想キャラの映像を自分の分身として相手端末に送る技術が考えられている。
【０００４】
当該技術では、まず、ユーザの顔を撮影した画像（以下「顔画像」という。）のどの領域が顔かを認識した後、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に似せた仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に似せた仮想キャラを生成する。図２は、ユーザの顔に似せた仮想キャラを示す説明図である。
【０００５】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。こうすることで、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きと連携するため、ユーザの表情の変化に合わせて仮想キャラの表情も同様に変化することとなる。なお、仮想キャラをユーザの顔に似させることなく、全く別のキャラクターにユーザの顔画像における各特徴点の動きを反映させることで、ユーザの表情の変化に合わせて仮想キャラの表情を変化させることもできる。
【０００６】
さらに、顔を形成する部位の全てが顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができる。このため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映することができる。
【０００７】
【特許文献１】
特表２００２−５１１６１７号公報
【特許文献２】
特表２００２−５１１６２０号公報
【０００８】
【発明が解決しようとする課題】
このように、上記従来の技術では、撮影した映像に代えて、ユーザの顔に似せたキャラクターまたは全く別のキャラクターを相手端末に表示させ、ユーザの表情および動作を当該キャラクター（仮想キャラ）に反映させている。しかし、仮想キャラの表示だけでは相手との会話に占める発言の多さは知り得ない。特に議論が白熱した際、発言の多さを知ることができれば、発言の少ないユーザは相手に負けじと積極的に発言しようとするであろう。また、発言が多くなるに従って仮想キャラの態様等が変化していけば、相手と会話する楽しみに加えて、仮想キャラがどのように変わっていくかといった楽しみや期待感も加わるため、発言がより一層進むことが予想される。
【０００９】
本発明は、上記従来の事情に鑑みてなされたものであって、発言の多さを視覚的に判断することのできるテレビ電話端末および仮想キャラ変化制御装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る仮想キャラ変化制御装置は、人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の態様または大きさを変化させる仮想キャラ変化制御装置であって、当該仮想キャラ変化制御装置のユーザが発した音声を解析する音声解析手段と、前記ユーザによる発言時間の累計に基づいて、前記ユーザの顔に基づいて生成された仮想キャラの態様または大きさを変化させる仮想キャラ制御手段と、を備えている。したがって、ユーザは発言の多さを視覚的に判断することができる。
【００１１】
また、本発明に係る仮想キャラ変化制御装置は、前記仮想キャラ制御手段は、前記ユーザによる発言時間の累計が大きくなるほど、前記仮想キャラの態様を発達させる、または前記仮想キャラの全体若しくは一部分を大きくすることが望ましい。
【００１２】
また、本発明に係るテレビ電話端末は、請求項１また２に記載の仮想キャラ変化制御装置を備え、ネットワークを介して他の端末と前記仮想キャラの映像および音声による通信を行うことが望ましい。
【００１３】
また、本発明に係るテレビ電話端末は、前記他の端末との回線接続時間を計測する時間計測手段を備え、前記仮想キャラ制御手段は、前記時間計測手段によって計測された回線接続時間に対する前記ユーザによる発言時間の累計の割合に基づいて、前記仮想キャラの態様または大きさを変化させることが望ましい。
【００１４】
また、本発明に係るテレビ電話端末は、前記音声解析手段は、前記ユーザが発した音声および前記他の端末のユーザ（以下「会話相手」という。）が発し前記ネットワークを介して送信された音声を解析し、前記仮想キャラ制御手段は、前記ユーザによる発言時間の累計と前記会話相手による発言時間の累計との比率に基づいて、前記仮想キャラの態様または大きさを変化させる。したがって、ユーザは会話相手との会話に占める発言の多さを視覚的に知ることができる。
【００１５】
また、本発明に係るテレビ電話端末は、前記仮想キャラ制御手段は、前記回線接続時間に対する前記ユーザによる発言時間の累計の割合、または前記会話相手による発言時間の累計に対する前記ユーザによる発言時間の累計の比率が大きくなるほど、前記仮想キャラの態様を発達させる、または前記仮想キャラの全体若しくは一部分を大きくすることが望ましい。
【００１６】
さらに、本発明に係るテレビ電話端末は、前記他の端末のユーザの顔に基づいて生成された仮想キャラを表示する画面中に、前記ユーザの顔に基づいて生成された仮想キャラを子画面で表示する表示手段を備え、前記仮想キャラ制御手段は、前記ユーザによる発言時間の累計、前記回線接続時間に対する前記ユーザによる発言時間の累計の割合、または、前記ユーザによる発言時間の累計と前記会話相手による発言時間の累計との比率に基づいて、前記子画面の大きさを変化させることが望ましい。
【００１７】
【発明の実施の形態】
以下、本発明に係るテレビ電話端末の実施の形態について、図面を参照して詳細に説明する。
【００１８】
本実施形態のテレビ電話端末は、動画または静止画（以下、まとめて「映像」という。）を撮影可能なカメラを備えた携帯電話やＰＨＳ、ＰＤＡ等の通信端末であり、ネットワークを介して別のテレビ電話端末と映像および音声を送受信することによりテレビ電話として用いることができる。但し、テレビ電話中にテレビ電話端末間で送受信される映像は、カメラで撮影した映像の他、カメラで撮影したユーザの顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の映像であっても良い。本実施形態では、当該仮想キャラの映像が送受信される場合について説明する。
【００１９】
以下、仮想キャラの生成について説明する。本実施形態のテレビ電話端末は、カメラによって撮影されたユーザの顔画像からどの領域が顔かを認識する。次に、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。顔を構成する主要な部位である眉、目、鼻、口は表情によって微妙に変化するため、これらの部位のように、表情が変化すると他の特徴点との相対位置が変わる部分が特徴点として抽出される。
【００２０】
次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に近い仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に近い仮想キャラを生成する。図２は、ユーザの顔に似せた仮想キャラを示す説明図である。
【００２１】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。また、顔を形成する全ての部位が顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができるため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映させる。
【００２２】
以下、本実施形態のテレビ電話端末の構成についての説明を、図３を参照して行う。本実施形態のテレビ電話端末は、同図に示すように、カメラ１０１と、映像処理部１０３と、マイク１０５と、スピーカ１０７と、特許請求の範囲の音声解析手段に該当する音声処理部１０９と、仮想キャラ制御手段に該当する仮想キャラ生成部１１１および中央処理部１１３と、表示手段に該当する表示部１１５と、キーボード１１７と、無線部１１９と、アンテナ１２１とを備えて構成されている。なお、中央処理部１１３は、特許請求の範囲の時間計測手段にも該当する。
【００２３】
映像処理部１０３は、カメラ１０１で撮影された映像を解析することで、映像中から顔を認識し特徴点を抽出するものである。また、音声処理部１０９は、マイク１０５から入力された自分の音声に対して所定の処理を行ったり、相手のテレビ電話端末から受け取った相手の音声データを処理してスピーカ１０７から出力するものである。なお、音声処理部１０９が行う処理には、音量や音韻、ピッチ等といった音声の特徴となる要素の解析が含まれ、当該解析は自分および相手の音声に対して行われる。また、音声処理部１０９は、当該解析を行うことにより、ユーザ（自分）の発言時間と相手の発言時間の双方を計り、その結果を中央処理部１１３に送る。
【００２４】
また、仮想キャラ生成部１１１は、映像処理部１０３によって抽出された特徴点等に基づいて仮想キャラを生成し、カメラ１０１で撮影したユーザの表情や動作を当該仮想キャラに反映させるものである。なお、仮想キャラ生成部１１１は、生成した仮想キャラを中央処理部１１３からの指示に基づいて部分的または全体的に変更することもある。また、表示部１１５は、仮想キャラ生成部１１１で生成された仮想キャラや、相手のテレビ電話端末から送られた仮想キャラ等を表示するものである。
【００２５】
また、キーボード１１７は、本実施形態のテレビ電話端末を操作したり、中央処理部１１３への指示を行うためのものである。また、中央処理部１１３は、音声処理部１０９から送られたユーザおよび相手の各発言時間またはそれらの比率に基づいて、仮想キャラ生成部１１１に仮想キャラの態様や大きさを変えるよう指示したり、映像データおよび音声データの圧縮伸長処理等を行うものである。また、無線部１１９は、映像および音声のデータの変復調等を行って、アンテナ１２１を介して信号を送受信するものである。
【００２６】
以上の構成要素を備えた本実施形態のテレビ電話端末では、互いの端末に会話相手の仮想キャラを表示し、かつ、発言の多さに応じて仮想キャラを変化させている。上述したように、音声処理部１０９はユーザ（自分）および相手が発した各音声を解析している。当該解析では音量や音韻、ピッチ等といった音声の特徴が検出されるため、無音時間を検知することができ、かつ、双方の発言時間を計ることができる。本実施形態では、中央処理部１１３が、ユーザによる発言時間（以下「自発言時間」という。）の累計に基づいて当該ユーザの仮想キャラを変化させるよう仮想キャラ生成部１１１に指示する。
【００２７】
但し、仮想キャラを変化させる指標としては、自発言時間の累計の他、回線接続時間に対する自発言時間の累計の割合や、相手による発言時間（以下「他発言時間」という。）の累計と自発言時間の累計との比率であっても良い。なお、回線接続時間は、中央処理部１１３が回線接続時からの経過時間を計測することで得ることができる。
【００２８】
中央処理部１１３は、このような自発言時間に関する所定のパラメータに基づいて、ユーザの仮想キャラを変化させるよう仮想キャラ生成部１１１に指示するが、当該仮想キャラの変化とは、仮想キャラの態様または仮想キャラの大きさを変えることである。なお、仮想キャラの態様を変えるとは、ユーザの発言が多くなるほど、印象として強そうな感じを与える表情にしたり装飾を施すことである。逆に、発言が少なくなるほど、印象として弱そうな感じを与える表情にしたり装飾をなくしていく。なお、仮想キャラのキャラクター自体を変身させても良い。
【００２９】
また、仮想キャラの大きさを変えるとは、画面に占める仮想キャラの全体または一部分を変えることである。例えば、発言が多くなるほど仮想キャラの全体または顔を徐々に大きくし、発言が少なくなるほど徐々に小さくする。
【００３０】
なお、テレビ電話による会話中、本実施形態のテレビ電話端末の表示部１１５には子画面（表示面積の小さい別画面）に自分の仮想キャラを表示することができる。上記説明では発言の多さに応じて仮想キャラを変化させているが、当該子画面の大きさ（表示面積）を変えても良い。すなわち、ユーザの発言が多くなるほど、徐々に自分の仮想キャラを表示している子画面を大きくし、逆に、発言が少なくなるほど子画面を小さくする。なお、子画面の大きさの制御は中央処理部１１３が行う。
【００３１】
以上説明したように、本実施形態では、発言の多さに応じて仮想キャラを変化させているため、相手との会話に占める発言の多さを視覚的に知ることができる。したがって、特に議論が白熱した際、発言の少ない者は相手に負けじと積極的に発言しようとするであろうから、より一層議論が進むと考えられる。また、発言の多さに応じて仮想キャラの態様等が変化していくため、ユーザは仮想キャラがどのように変わっていくかといった楽しみや期待感を持って、相手と会話することができる。このため、発言がより一層進むことが予想される。
【００３２】
なお、本実施形態のテレビ電話端末が有する映像処理部１０３、音声処理部１０９、仮想キャラ生成部１１１および中央処理部１１３はプログラムを実行することによって動作するものであっても良い。
【００３３】
【発明の効果】
以上説明したように、本発明に係るテレビ電話端末および仮想キャラ変化制御装置によれば、発言の多さを視覚的に判断することができる。
【図面の簡単な説明】
【図１】顔画像と各特徴点を示す説明図
【図２】ユーザの顔に似せた仮想キャラを示す説明図
【図３】本発明に係る一実施形態のテレビ電話端末の構成を示すブロック図
【符号の説明】
１０１  カメラ
１０３  映像処理部
１０５  マイク
１０７  スピーカ
１０９  音声処理部
１１１  仮想キャラ生成部
１１３  中央処理部
１１５  表示部
１１７  キーボード
１１９  無線部
１２１  アンテナ
【図１】
2004287557.tif 000003
【図２】
2004287557.tif 000004
【図３】
2004287557.tif 000005