(57)【要約】【課題】代理画像として本人の似顔絵を使用することにより、話者のプライバシーに配慮しつつコミュニケーション効果を高めたテレビ電話端末装置を提供する。【解決手段】音声入力部１から入力された音声信号は、音声エンコード部２により符号化され、通信Ｉ／Ｆ部４を介して相手側端末に送信される。また、入力された音声信号は同時に表情データ生成部３にも送られて、顔画像に表情を付加するための信号が生成される。一方、基本顔データ生成部６はユーザー操作入力部５の操作により、輪郭、目、口などの顔の各部分のサイズや位置などを示す基本顔データを生成する。似顔絵生成部７では、この基本顔データと表情データを組み合わせることにより、話者の似顔絵画像を動画として作成する。【選択図】        図１
2005057431.tif 000002
【特許請求の範囲】
【請求項１】
読者の似顔絵の元となる顔の特徴を示す基本顔データを話者の顔の各部位の位置、サイズに基づいて生成する基本顔データ生成手段と、
話者の音声を入力する音声入力手段と、
前記音声入力手段に入力された音声信号における過去から現在までの基本周波数の平均を示す第１の平均周波数と前記第１の平均周波数よりも短い期間における基本周波数の平均を示す第２の平均周波数との組み合わせに基づいて感情の変化を判断し、話者の顔の表情データを生成する表情データ生成手段と、
前記基本顔データの顔の特定部位の角度を前記表情データの感情情報に対応させて変化させることにより似顔絵の画像情報を生成する似顔絵生成手段と、
音声情報と映像情報を通信回線に送出する通信インタフェース手段を備え、
通話時に話者の実映像の代わりに前記似顔絵画像を送出することを特徴とするテレビ電話端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者の音声の内容や、感情の変化に合わせて話者の似顔絵を生成して、相手側に送信するテレビ電話端末装置に関する。
【背景技術】
【０００２】
電話機にカメラとディスプレイを装備し、画像によるコミュニケーションができるいわゆるテレビ電話装置は既に数多く商品化されている。しかしながら、不特定の通話先に対して話者の映像を送出する事についてはプライバシー保護の面から根強い抵抗もあり、実際の話者映像ではなく、あらかじめ格納されている代理画像を送出するようにしたテレビ電話装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、一方で通常のテレビ電話のような話者間の意思の疎通のための装置ではなく、エンターテインメントとしてのコミュニケーション装置として、化身（アバター）の利用が考えられており、例えば、話者の実際の顔画像ではなく、架空のキャラクタを介在させた装置が提案されている（例えば、特許文献２参照）。
【特許文献１】特開２００３−３７８２６号公報
【特許文献２】特開２００３−１６４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来技術では、代理画像や架空のキャラクタを複数の選択肢から選ぶなどの方法で話者の嗜好を反映することができるものの、本来の話者映像とはまったく関連性がないので、プライバシー保護やエンターテインメント性を高めることができるが、本来の画像を使用したコミュニケーションと同様な効果を得ることが困難であった。
【０００５】
また、キャラクタ情報等を伝送する場合には、記憶されているデータから選択したキャラクタの情報と表情データは別個に伝送され、受信側端末で復号化されるため、送信側、受信側ともこの伝送方式に対応した端末であることが必要であり、通常のテレビ電話装置との接続性が確保されていなかった。
【０００６】
本発明は、上述した課題を解決するために創案されたものであり、代理画像として本人の似顔絵を使用することにより、話者のプライバシーに配慮しつつコミュニケーション効果を高めたテレビ電話端末装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のテレビ電話端末装置は、読者の似顔絵の元となる顔の特徴を示す基本顔データを話者の顔の各部位の位置、サイズに基づいて生成する基本顔データ生成手段と、話者の音声を入力する音声入力手段と、前記音声入力手段に入力された音声信号における過去から現在までの基本周波数の平均を示す第１の平均周波数と前記第１の平均周波数よりも短い期間における基本周波数の平均を示す第２の平均周波数との組み合わせに基づいて感情の変化を判断し、話者の顔の表情データを生成する表情データ生成手段と、前記基本顔データの顔の特定部位の角度を前記表情データの感情情報に対応させて変化させることにより似顔絵の画像情報を生成する似顔絵生成手段と、音声情報と映像情報を通信回線に送出する通信インタフェース手段を備え、通話時に話者の実映像の代わりに前記似顔絵画像を送出することを特徴としている。
【発明の効果】
【０００８】
本発明によれば、テレビ電話端末には、話者の実映像の代わりに話者が作成した似顔絵を代理画像として使用することができるので、プライバシーを保護しつつ、映像を十分に活かしたコミュニケーションを行うことができ、不特定の相手との通話も心配なく行える。
【０００９】
また、実映像にある程度近い表情を持った似顔絵を画像として送出することができるので、カメラ入力などの実映像の送出手段を完全に省いた端末にすることもできる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の一実施形態を説明する。図１は本発明が適用されるテレビ電話端末装置を示す構成図である。  
音声入力部１は、図示はしていないが通常のテレビ電話端末と同様にマイク等が接続されており、そのマイクによる音声入力を行う。ここで、入力された音声信号は音声エンコード部２により符号化され、通信Ｉ／Ｆ（インタフェース）部４を介して相手側端末に送信される。また、入力された音声信号は同時に表情データ生成部３にも送られ、ここでは顔画像に表情を付加するための信号が生成される。この表情データは音声信号の大きさを反映した口の動きを作り出すとともに、後述のように音声信号の基本周波数の動きを分析して、感情を表す喜怒哀泣楽の程度を数値化し、眉、口の角度を指示する。
【００１１】
また、一方で、基本顔データ生成部６はユーザー操作入力部５の操作により、送出する顔画像のベースとなるデータを生成する。このデータは、輪郭、目、口などの顔の各部分のサイズや位置などを示す数値データであり、ユーザーは通話に先立って操作入力部５の操作により、所望の似顔絵データを作成しておくことができる。
【００１２】
似顔絵生成部７では、この基本顔データと表情データを組み合わせることにより、話者の似顔絵画像を動画として生成し、生成された動画情報は画像エンコード部８によって符号化され、通信Ｉ／Ｆ部４を介して相手側端末に送信される。
【００１３】
基本顔データ生成部６では、似顔絵を生成するためのデータとして、顔の特徴を現す数値化可能なパラメータを使用する。図２に基本顔データの数値構成例を示す。図２では、顔を構成する部品を輪郭、髪、眉、目、口とし、各部品のサイズ（幅、高さ又は厚さ）と位置（顔中心からのＸ、Ｙ座標）として数値化している。例えば、口は、顔の中心からｍｙで示される量だけ下方に位置し、その厚さはｍｈであり、幅はｍｗである。目や眉についても同様にその位置と、サイズが数値で示される。頬の線については、スプライン曲線化され、中継点がどこにあるかがパラメータｆｒで示される。
【００１４】
図２には示されていないが、髪型については、単純な数値化が困難なほど形状
が多岐にわたっているため、あらかじめ決められている複数の髪型候補から選択する方式にするか、または、複数の基本髪型候補からの選択と各部の長さという数値データとの組み合わせ、髪型の外形そのもののベクトルデータ化などの方法により髪型を決定する方式にしている。
【００１５】
また、描画の際の使用する顔の色や髪の色などの色データを追加の数値データとして使用することもできる。
【００１６】
上述したように、話者は、この基本顔データの作成のために、生成される顔画像をモニターしながら操作入力部５の操作により上記の各パラメータを調節し、自分の似顔絵を作成することができる。例えば、各数値パラメータはＧＵＩ上でスクロールバーの操作によってリアルタイムに出力の似顔絵をモニターしながら作成するようにしても良い。
【００１７】
このようなデータ化を行うことにより、きわめて小さなデータ量でさまざまな顔を表現することができるとともに、表情データとの合成が非常に簡単になる。例えば、音声信号の振幅を口部分の開け方に対応させ、感情表現として「喜」の場合は口の両端を上方向に湾曲させたり、「怒」の場合は眉の両端を上にあげたりする等の単純な座標情報の変更により、表情を付加した顔画像を生成することができる。
【００１８】
次に表情データ生成部３の動作と、表情データによる顔画像への反映について説明する。表情データには、音声信号そのものによる顔画像の口部分の形状への反映と、音声信号に含まれる感情情報の判断によって、口だけでなく目や眉等の部分の形状への反映が含まれる。
【００１９】
音声信号そのものによる口形状への反映はもっとも単純な方法では、信号の振幅を口の開け方に連動させることにより行う。もっと精緻な制御を行う場合には、音声信号の母音に注目し、倍音構成（フォルマント）を分析して現在のフォルマントに対してあらかじめ定義されている口形状を当てはめることにより、発話内容と口の動きをより自然に連携させることもできる。
【００２０】
感情判断による顔画像の作成については、入力される音声信号の基本周波数成分の変化の分析から行う。図３は入力された音声信号の基本周波数の変化の例を示す。まず、基本周波数の長時間の平均Ｍを算出するとともに、発話内容をセンテンス毎に区切り、その各センテンスの平均基本周波数Ｓを算出する。長時間平均Ｍに対して各センテンスの平均周波数Ｓが、高い周波数、あるいは低い周波数で推移しているかどうかの判断を行う。この長時間平均Ｍは、現在の通話の情報だけではなく、過去の通話でのデータも合わせて積算して得られたものである。
【００２１】
また、各センテンス内を更に前後に分け、前半部の平均基本周波数をＨ１、後半部の平均基本周波数をＨ２とし、Ｈ１とＨ２の比較を行う。これにより、センテンス平均Ｓが長時間平均Ｍよりも高いのか低いのかという情報と、センテンスの平均周波数が上がり方向なのか下がり方向なのかという情報とが得られる。この情報から「喜怒哀泣楽」（感情情報）の各状態への当てはめを行う。
【００２２】
この方法を図示したのが、図４である。上述した基本周波数に関する記号を使用すれば、
Ｘ＝Ｓ−Ｍ
Ｙ＝Ｈ２−Ｈ１
の式により、Ｘ、Ｙの値を算出し、このＸ、Ｙを図４の（Ｘ、Ｙ）座標に当てはめて、喜怒哀泣楽のどの領域にいるのかを判断する。また、喜怒哀泣楽の程度、例えば「喜」について言えば、極端に喜んでいるのか、少し喜んでいる程度なのかを表現するために、図４の喜怒哀泣楽の各領域が濃度の分布（Ｚ軸方向）を有しており、（Ｘ、Ｙ）の座標で示された地点の濃度を感情（喜怒哀泣楽）の程度として出力できるようになっている。
【００２３】
しかし、この方法は必ずしも正確なものではなく、より精度を高めるために周波数の細かな動きや、各周波数帯でのパワーの変化などを考慮しつつ当てはめを行うようにしても良い。
【００２４】
次に、図４で得られたセンテンス毎の「喜怒哀泣楽」の感情情報は、音声信号そのものによる口形状データとともに表情データとして、表情データ生成部３から似顔絵生成部７に送られる。この感情情報に基づき、似顔絵生成部７では基本顔データ生成部６から供給される基本顔データの顔の各部に修正を加える。また、音声信号そのものによる口形状データに基づき、基本顔データの口の開け方の形状を決定する。
【００２５】
「喜怒哀泣楽」の感情情報に対応して、眉と口の角度を変化させるようにした例が図５である。
【００２６】
「楽」の表情は、眉、口ともに水平の状態であり、角度がついていない。似顔絵生成部７では、この「楽」の感情を基本として、表情データ生成部３から送られてくる表情データの内の感情情報に基づき、「喜」の場合、「怒」の場合、「哀」の場合、「泣」の場合へと表情を変化させる。表情データ生成部３から送られてくる感情情報が、「楽」の場合は眉と口の角度は変化させずに、そのままの状態を維持する。表情の変化を図５に沿って説明すると、「喜」の場合は、眉の中心を上げてへの字型にし、口は両端を上げるようにする。「怒」の場合は、眉の端を上げるようにし、口の両端を下げるようにする。「哀」の場合は、眉の端を下げるようにし、口の両端も下げるようにする。「泣」の場合は、「哀」の表情にさらに涙を付加する。
【００２７】
眉や口の角度の付け方は、前述した感情の程度を示すデータ（図４の濃度分布データ）に基づき、角度を大きくしたり、小さくしたりする。
【００２８】
このようにして、似顔絵生成部７では、あらかじめ作成しておいた基本顔データとセンテンス毎に送られてくる感情情報と音声信号そのものによる口形状データとを組み合わせることにより、話者の感情や発音に対応した似顔絵を連続的に作成することができるので、似顔絵の動画像を使用してテレビ電話端末を利用することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明のテレビ電話端末装置の構成を示す図である。
【図２】基本顔データの構成を示す図である。
【図３】音声信号の基本周波数の変化を示す図である。
【図４】音声信号の基本周波数の変化と感情情報との対応を示す図である。
【図５】表情データによる顔の各部分への修正を示す図である。
【符号の説明】
【００３０】
１  音声入力部
２  音声エンコード部
３  表情データ生成部
４  通信Ｉ／Ｆ部
５  ユーザー操作入力部
６  基本顔データ生成部
７  似顔絵生成部
８  画像エンコード部
【図１】
2005057431.tif 000003
【図２】
2005057431.tif 000004
【図３】
2005057431.tif 000005
【図４】
2005057431.tif 000006
【図５】
2005057431.tif 000007