(57)【要約】【課題】通話相手に対して常にコミュニケーション力を向上させて通信することができる画像通信システムおよび画像生成方法を提供。【解決手段】情報通信システム10は、送信端末装置12に画像入力部18を介して得られたデジタル画像36から表情特徴抽出部20でパラメータ38を抽出し、情動変化部22の情動指定部42で表情を与える部位に対する変形を対象として独立に指定し、倍率指定部44で変形の割合を規定して情動指定部42に供給し、該当する部位の値を一組の値50として形状変形部40に供給し、形状変形部40で供給された値50で置換したパラメータ52を出力し、送信端末装置12の出力データに応じて表示モデル格納部24および表示モデル生成部26を送信端末装置12および受信端末装置14のいずれか一方に配設する。【選択図】図１
2005173772.tif 000002
【特許請求の範囲】
【請求項１】
送信端末装置にて送信者の顔画像を取り込み、有線や無線の通信回線を介して該顔画像と異なる画像を受信端末装置に表示する画像通信システムにおいて、
前記送信端末装置は、前記送信者の顔画像を取り込み、ディジタル画像に変換する画像入力手段と、
該ディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する表情特徴抽出手段と、
前記顔画像において表情をもたらす部位に対する変形を対象として独立に変形する部位を指定し、前記表情パラメータの対応する部位の値を置換する情動変形手段とを含み、
該情動変形手段は、前記顔画像において表情をもたらす部位に対する変形を指定する情動指定手段と、
該指定された部位に対する変形の割合を規定する倍率指定手段と、
前記抽出した表情パラメータのうち、前記指定された部位の表情パラメータの値を前記規定された変形の割合に置換する形状変形手段とを含み、
前記送信端末装置の出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータを格納する表示モデル格納手段および前記キャラクタとしてのモデルデータと前記表情パラメータとを対応付けてキャラクタ画像を生成するキャラクタ生成手段を前記送信端末装置および前記受信端末装置のいずれか一方に含むことを特徴とする画像通信システム。
【請求項２】
請求項１に記載のシステムにおいて、該システムは、前記送信端末装置の出力するデータに応じて、通信先で表示する背景画像としてのモデルデータを格納する背景モデル格納手段および前記キャラクタ画像と前記背景画像としてのモデルデータとを合成する画像合成手段を前記送信端末装置および前記受信端末装置のいずれか一方に含むことを特徴とする画像通信システム。
【請求項３】
請求項１または２に記載のシステムにおいて、前記倍率指定手段は、利用者からの指示に応じて行われ、該入力データとして供給される回数、該入力の継続時間および倍率を表す数値のいずれかの指示に応じて動的に変化させて指定することを特徴とする画像通信システム。
【請求項４】
請求項１、２または３に記載のシステムにおいて、前記情動変形手段は、過去の情動に対応した部位、倍率および通信相手の情報を履歴情報として格納し、条件に応じて前記情動指定手段に出力する履歴管理手段を含むことを特徴とする画像通信システム。
【請求項５】
請求項１ないし４のいずれか一項に記載のシステムにおいて、前記情動指定手段は、変形させる対象に応じて供給される対象のモデルデータの特徴点および該モデルデータの特徴点に対する倍率を一組にして前記形状変形手段に供給することを特徴とする画像通信システム。
【請求項６】
請求項５に記載のシステムにおいて、前記対象は、前記表情を特徴付ける部位、前記背景画像および前記キャラクタの感情表現を補助するアイテムの少なくとも一つであることを特徴とする画像通信システム。
【請求項７】
送信者の顔画像を取り込み、有線や無線の通信回線を介して該顔画像と異なる画像を受信側にて表示する画像生成方法において、該方法は、
前記顔画像と異なる画像としてキャラクタをあらかじめ選択する第１の工程と、
前記送信者の前記顔画像を取り込み、ディジタル画像に変換する第２の工程と、
該ディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する第３の工程と、
前記顔画像において表情をもたらす部位に対する変形を対象とし、独立に変形を指定するか否かを判断する第４の工程と、
該変形を指定しない場合前記表示パラメータを単に出力し、独立に該変形を指定する場合前記表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する第５の工程とを含み、
前記送信側から出力するデータに応じて、通信先で表示する前記キャラクタとしてモデルデータを出力する第６の工程および前記キャラクタとしてのモデルデータと前記表情パラメータとを対応付けてキャラクタ画像を生成する第７の工程を前記送信側の処理および前記受信側の処理のいずれか一方にて行うことを特徴とする画像生成方法。
【請求項８】
請求項７に記載の方法において、第５の工程は、前記顔画像において表情をもたらす部位に対する変形を指定する第８の工程と、
該指定された部位に対する変形の割合を規定する第９の工程と、
前記抽出した表情パラメータのうち、前記指定された部位の表情パラメータの値を前記規定された変形の割合に置換し、前記表情パラメータとして出力する第10の工程とを含むことを特徴とする画像生成方法。
【請求項９】
請求項７または８に記載の方法において、該方法は、前記送信側から出力するデータに応じて、通信先で表示する背景画像としてのモデルデータを出力する第11の工程および前記キャラクタ画像と前記背景画像としてのモデルデータとを合成する第12の工程を前記送信側および前記受信側のいずれか一方にて行うことを特徴とする画像生成方法。
【請求項１０】
請求項７、８または９に記載の方法において、該方法は、変形させる対象に応じて供給される対象とするモデルデータの特徴点および該特徴点に対する倍率を一組にして生成し、前記対象は、前記表情を特徴付ける部位、前記背景画像および前記キャラクタの感情表現を補助するアイテムの少なくとも一つであることを特徴とする画像生成方法。
【請求項１１】
請求項７ないし10のいずれか一項に記載の方法において、該方法は、利用者からの入力データに応じて前記対象に対する変形を指示し、該入力データによって供給される回数、該入力の継続時間および倍率を表す数値のいずれかの指示に応じて動的に変化させることを特徴とする画像生成方法。
【請求項１２】
請求項７ないし11のいずれか一項に記載の方法において、該方法は、第４の工程と第５の工程の間にて独立に変化させる対象の倍率が指定されたか否か判断する第13の工程を設け、
前記倍率指定がされた場合、第５の工程に進み、前記倍率指定のない場合、過去の情動に対応した部位、前記倍率および通信相手の情報を履歴情報とし、該履歴情報を基に現在通信中の相手について検索する第14の工程と、
該検索により前記履歴情報が存在するか否かを判断する第15の工程と、
該履歴情報が存在したとき、該履歴情報に対応して変化させた値を指定する第16の工程と、
前記履歴情報がないとき、所定の値を指定する第17の工程とを含むことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像通信システムおよび画像生成方法に係り、本発明の画像通信システムは、たとえば公衆回線網やIP（Internet Protocol）ネットワーク等の有線や無線の通信回線を介して画像情報や音声情報の通信のうち、とくに、送信者の顔の表情画像を実際とは異なる２次元または３次元CG（Computer Graphics）画像等に変換して通信相手に送り通信するシステムに関するものであり、また、本発明の画像生成方法は、たとえば通信相手先に送った情報を基に送信側または受信側にて表情を持ったキャラクタ画像を生成する方法に関するものである。
【背景技術】
【０００２】
通信回線の高速化および大容量化にともない、従来、電話機等を用いて、音声だけで行われていた通信コミュニケーションに対し、音声および画像の両方を伝送しコミュニケーションをとることが広く行われている。このようなコミュニケーション手段の一例には、テレビ電話システムがある。このシステムは、最近、システムの小型により、一般家庭用電話機や携帯電話機等でも適用されている。このような画像を含んだコミュニケーションは、伝送メディアが音声に限られていた従来の電話機のコミュニケーションに比べて、話者の表情などにより音声表現に現れない情報も同時に伝えることができる。このコミュニケーションは、これにより、感情表現が豊かなものにしている。
【０００３】
ところで、最近のテレビ電話システム、とくに携帯電話機では、画像を含む通信が不特定な場所や不特定な時間帯で行われる場合が一般的である。このとき、通信相手の状況を無視して通信が行われた場合、話者のプライバシーが侵され易いという問題が生じてしまう。このため、このシステムの利用者には、通話に備えて、化粧や髪型、服装等を気にかける利用者の登場が予想される。これは、このシステムを利用する利用者の負担になる可能性が高い。また、このような不意の通話を受信する場合、利用者は、画像を非通話状態として伝送せず、従来と同様に音声だけで通話を行う方法も選択できるが、この場合の通信は、折角の持っている機能を使わず、使った場合に比べてコミュニケーションの低下を引き起こすことになる。
【０００４】
このような問題に対処する方法として、たとえば通話者の顔画像から顔の表情を抽出して、抽出した顔の表情を選択した画像に反映させ、選択した画像の動画を生成する、いわゆるアニメーション化手法が非特許文献１の総説に提案されている。この総説は、1998年にMPEG（Moving Picture Experts Group）のワーキンググループ（Working Group: WG)11/MPEGに提案したコミッティドラフトを要約したものである。この総説には、顔の特徴を画像処理により解析し、あらかじめ定義した複数の顔パラメータ等を用いて顔の特徴を符号化し、生成するグラフィックおよびアニメーションを低ビットレートで統合する方法が記載され、プライバシー保護に対応した処理も行うことが記載されている。
【０００５】
【非特許文献１】エリック ペタジャン（Eric Petajan）, "Very Low Bitrate Face Animation Coding in MPEG-4", 2000 face2face Animation. Inc., pp.1 - 33.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述したように通話者の顔画像から顔の表情を抽出してグラフィック化またはアニメーション化し、これらの画像等の情報を通信先に伝送するコミュニケーションシステムでは、たとえ通信相手側にアニメーション顔等の画像を伝送したとしても、通話者の顔表情の変化が乏しい場合、十分な意思伝達の効果が期待できず、コミュニケーション力の向上が常に図られているとはいえない問題を抱えている。
【０００７】
本発明はこのような従来技術の欠点を解消し、通話相手に対して常にコミュニケーション力を向上させて通信することができる画像通信システムおよび画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、送信端末装置にて送信者の顔画像を取り込み、有線や無線の通信回線を介してこの顔画像と異なる画像を受信端末装置に表示する画像通信システムにおいて、送信端末装置は、送信者の顔画像を取り込み、ディジタル画像に変換する画像入力手段と、このディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する表情特徴抽出手段と、顔画像において表情をもたらす部位に対する変形を対象として独立に変形する部位を指定し、表情パラメータの対応する部位の値を置換する情動変形手段とを含み、この情動変形手段は、顔画像において表情をもたらす部位に対する変形を指定する情動指定手段と、この指定された部位に対する変形の割合を規定する倍率指定手段と、抽出した表情パラメータのうち、指定された部位の表情パラメータの値を規定された変形の割合に置換する形状変形手段とを含み、送信端末装置の出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータを格納する表示モデル格納手段およびキャラクタとしてのモデルデータと表情パラメータとを対応付けてキャラクタ画像を生成するキャラクタ生成手段を送信端末装置および受信端末装置のいずれか一方に含むことを特徴とする。
【０００９】
本発明の画像通信システムは、画像入力手段を介して得られたディジタル画像から表情特徴抽出手段で表情パラメータを抽出し、情動変形手段の情動指定手段で表情をもたらす部位に対する変形を対象として独立に指定し、倍率指定手段で変形の割合を規定して情動指定手段に供給し、該当する部位の値を一組の値として形状変形手段に供給し、形状変形手段で供給された値で置換した表情パラメータを出力し、送信端末装置の出力するデータに応じて表示モデル格納手段およびキャラクタ生成手段を送信端末装置および受信端末装置のいずれか一方に配設することにより、利用者からの要求に応じた意向を踏まえて誇張したキャラクタの動作や表現にして通信相手に提供することができる。
【００１０】
また、本発明は上述の課題を解決するために、送信者の顔画像を取り込み、有線や無線の通信回線を介してこの顔画像と異なる画像を受信側にて表示する画像生成方法において、この方法は、顔画像と異なる画像としてキャラクタをあらかじめ選択する第１の工程と、送信者の顔画像を取り込み、ディジタル画像に変換する第２の工程と、このディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する第３の工程と、顔画像において表情をもたらす部位に対する変形を対象とし、独立に変形を指定するか否かを判断する第４の工程と、この変形を指定しない場合表示パラメータを単に出力し、独立にこの変形を指定する場合、表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する第５の工程とを含み、送信側から出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータを出力する第６の工程およびキャラクタとしてのモデルデータと表情パラメータとを対応付けてキャラクタ画像を生成する第７の工程を送信側の処理および受信側の処理のいずれか一方にて行うことを特徴とする。
【００１１】
本発明の画像生成方法は、キャラクタをあらかじめ選択し、送信者の顔画像をディジタル画像に変換し、このディジタル画像から表情パラメータを抽出し、部位に対する変形を対象とし、独立に指定するか否かの判断に応じて独立に指定する場合に表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する処理を施し、送信側から出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータの出力およびキャラクタ画像の生成を送信側の処理および受信側の処理のいずれか一方にて行うことにより、利用者からの要求に応じた意向を踏まえたキャラクタの動作や表現にして通信相手に提供することができ、とくに受信側の処理にモデルデータの出力およびキャラクタ画像の生成を行うと、伝送の負担を軽減することができる。
【発明を実施するための最良の形態】
【００１２】
次に添付図面を参照して本発明による画像通信システムの実施例を詳細に説明する。
【００１３】
本実施例は、本発明の画像通信システムを情報通信システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１４】
本実施例の情報通信システム10は、図３に示すように、送信端末装置12と受信端末装置14との間にIP（Internet Protocol）ネットワーク16を介して音声または画像をやりとりするシステムである。送信端末装置12と受信端末装置14との間には、IPネットワーク16に限定されず、たとえば公衆回線網等のような有線の通信回線や無線回線であってもよい。図１に示す送信端末装置12は、画像入力部18、表情特徴抽出部20、情動変化部22、表示モデル格納部24、表示モデル生成部26、背景モデル格納部28、画像生成部30、符号化部32および送信部34を有している。
【００１５】
画像入力部18は、光学系を介して被写界の入射光35をCCD（Charge Coupled Device）やCMOS（Complimentary-Metal Oxide Semiconductor）等の受光素子が２次元アレイ状に配された受光部を有するカメラ機構に送り、受光部で光電変換機能により形成された光学像をアナログの電気信号に変換し、さらに、このアナログの電気信号をディジタル信号に変換する。このようにして得られた２次元のディジタル画像信号36を表情特徴抽出部20に供給する。
【００１６】
表情特徴抽出部20は、画像入力部18から取得したディジタル画像信号36から顔の各部位である目、鼻、口、眉毛等の輪郭を特徴点として抽出し、この特徴点を座標データとして検出する機能を有している。検出された座標データのそれぞれは、表情を変化させるパラメータ38として情動変化部22に出力する。
【００１７】
情動変化部22は、形状変形部40、情動指定部42および倍率指定部44を含む。情動変化部22は、選択したモデルデータに持たせる顔の各部位を対象とし、供給されるパラメータ38の部位毎に独立的に該当するパラメータを置換して、新たなパラメータ52として出力する機能を有する。この機能は、図示しないキーボタンの操作により表される入力データ46を情動として認識し、認識に応じた情動の種類、情動の大きさ等を指定し、この指定に応じてパラメータ38を変化させている。倍率指定部44は、キーボタンの操作回数、押圧継続時間（入力継続時間）、入力される数値等に応じてパラメータ38を変化させる割合として倍率を規定する機能を有し、倍率データ48を情動指定部42に出力する。数値は関数の傾きを表す値でもよい。倍率指定部44には、これらの入力に応じて倍率を指定するパラメータテーブルをあらかじめ用意し、このテーブルに基づいて倍率（拡大や縮小）を決定することが好ましい。以降で説明する倍率指定部44でも同じ機能を有する。情動指定部42は、情動の認識機能を有し、認識した情動に対応する部位と部位に対する倍率データとを一組にした指定データ50を形状変形部40に供給する。
【００１８】
形状変形部40は、供給されるパラメータ38と該当する指定データ50とを対応付けて倍率データに応じた値、すなわち座標データに変換する機能を有している。形状変形部40は、新たな変換により異ならせたパラメータ52を表示モデル生成部26に出力する。
【００１９】
表示モデル生成部26には、表示モデル格納部24から選択されたモデルデータ54が供給される。表示モデル格納部24は、通信先に表示するモデルデータを格納するストレージである。表示モデル格納部24には、複数のモデルデータが格納されており、表示モデル格納部24はあらかじめ図示しない選択部の操作により利用者の希望に応じて通信相手先に表示するキャラクタを選択できる。
【００２０】
表示モデル生成部26は、形状変形部40からパラメータ52、すなわち表情特徴の座標データと表示モデル格納部24からモデルデータ54とを取得し、パラメータ52を基にモデルデータ54の各部位に対応付けた座標をとることで、利用者の顔表情の動きとモデルデータの動きとを同期させた表示モデル画像を生成する機能を有している。表示モデル生成部26は、利用者の顔表情の動きに同期するモデルデータ（表示モデル画像）56を画像生成部30に出力する。
【００２１】
ここで、上述したモデルデータとは、３次元CGのワイヤフレームモデル等を設けて、このモデルに対して筋肉を表すモデルを３次元的に配置したデータである。このモデルデータが人間の顔を表す場合、モデルデータを変化させることにより、顔の筋肉が変化に応じて動く。この変化は、たとえば、喜び、怒り、悲しみなどの表情および発話時の口の動きを表現することができる。また、モデルデータは、人物や猫などのような２次元画像を基にしてもよい。本実施例では、このようなモデルデータをキャラクタ、キャラクタ画像または表示モデル画像と呼んでいる。
【００２２】
表示モデル生成部26は、ワイヤフレーム上に筋肉のモデルを３次元的に配置し、各筋肉を収縮させることにより、ワイヤフレーム自体を変形させて、キャラクタに表情を持たせている。表示モデル生成部26は、レンダリング処理機能を含んでいることが好ましい。これにより、表示モデル生成部26は、レンダリングしたモデルデータ56を画像生成部30に出力する。
【００２３】
背景モデル格納部28は、表示モデル格納部24と同様に通信先に表示するモデルデータの背景画像データ58を格納するストレージである。背景モデル格納部28も図示しない選択部に対する利用者による操作によってあらかじめ背景画像が選択され、背景モデル格納部28は選択した背景画像に対応する背景画像データ58を画像生成部30に出力する。
【００２４】
画像生成部30は、表示モデル生成部26で生成したモデルデータ56と背景モデル格納部28から取得した背景画像データ58とを合成し、合成画像データ60を生成する機能を有している。画像生成部30は、生成した合成画像データ60を符号化部32に出力する。
【００２５】
符号化部32は、供給される合成画像データ60に圧縮を施し、画像圧縮データ62を送信部34に送出する。圧縮処理は、周知の技術を適用して行われる。また、これまで述べてきていなかったが、音声データにも圧縮処理を施して送信部34に送出している。送信部34は、画像圧縮データ62とともに、音声圧縮データを含む圧縮データを送信信号64として通信相手である受信端末装置14にIPネットワーク16を介して送信する。
【００２６】
また、受信端末装置14は、図２に示すように、受信部66、復号部68および出力部70を含む。受信部66は、送信端末装置12の送信部34からの送信信号64を受信し、取得した受信信号72を復号部68に送出する。復号部68は、受信信号72に復号処理を施し、供給されたディジタル画像信号やディジタル音声信号を復元する。復号部68は、復元したこれらの信号74を出力部70に供給する。
【００２７】
出力部70は、図示しないがモニタ、スピーカ、イヤホンやヘッドホンおよびバイブレータ等がある。モニタは供給されるディジタル画像信号を表示する機能を有している。スピーカ、イヤホンやヘッドホンは復元部68でD/A変換されたアナログ音声信号を音声に変換して、出力する。
【００２８】
この構成により、送信端末装置12を使用する利用者の意図を反映させたキャラクタの画像を受信端末装置14に送出し、受信端末装置14で供給された画像を再生する。
【００２９】
次に情報通信システム10の動作について図４の送信端末装置12および図５の関数、ならびに図６の受信端末装置14の動作手順を参照しながら説明する。送信端末装置12は、起動後、送信前に利用者によりキャラクタや背景といったモデルデータをいくつかの選択する（ステップS10）。選択は、送信端末装置12が有する選択ボタンなどのユーザインタフェイスにより表示モデル格納部24および背景モデル格納部28に格納されている複数の表示モデルや背景モデルから利用者が希望するものを選択する。この選択は、通話開始前に選択できるように設定しておけばよい。この設定の後、画像入力処理に進む（ステップS12へ）。
【００３０】
画像入力部18では、被写界からの入射光35を光電変換機能により電気信号にし、取り込んだ人物や情景などの光学像をディジタル画像信号36に変換し、表情特徴抽出部20に出力する（ステップS12）。表情特徴抽出部20は、供給されるディジタル画像信号36を取得し、ディジタル画像信号36に対して画像処理フィルタによる特徴点の探索やテンプレートマッチング処理などの従来既知の手法を用いて、顔領域を抽出する（ステップS14）。顔の各部位、たとえば目、鼻、口および眉毛等の輪郭はあらかじめ定義されている。定義された部位のそれぞれは位置座標データで表す。この位置座標が特徴点である。表情の特徴は、このようにして部位と位置座標データとを対応付けたパラメータ38として抽出する。具体的な特徴点のサンプリング方法は、前述のWG11/MPEGのコミッティドラフトに記載されている68個のFAP（Face Animation Parameter）として検出することも可能である。
【００３１】
次に情動変化部22では供給されるパラメータ38に対して情動の効果を持たせる情動の指示があるか否かを判断する（ステップS16）。判断は、送信端末装置12のユーザインタフェイス（図示せず）を介して供給される入力データ46を基に行う（ステップS16）。入力データ46が供給されていると判断した場合（YES）、ステップS18に進む。
【００３２】
ステップS18では、情動指定部42に供給される入力データ46からどのような情動を発現させるか認識し、認識に応じて変化させる部位を特定する。また、倍率指定部44では入力データ46を基に情動の大きさを変化させて、この大きさを設定する。倍率指定部44には、図5(a)に示すような変換関数76を有し、変換関数76をモデルとして用いて、変化の倍率を決定するようにしてもよい。また、コミュニケーションの最中に継続的なある表情を誇張的に表現したい場合もある。この場合、前回の表情で見せた挙動をさらに増幅して表現するとよい。この動作を実現させるためには、図5(b)に示すように前述の関数モデルの傾斜を破線78、一点鎖線80、そして実線82へと時系列的に大きくなるように変化させることにより、表現される顔の挙動を徐々に増幅させることができる。倍率指定部44は情動指定部42に大きさを示す倍率データ48が供給される。
【００３３】
このように、情動に応じて変化させるパラメータとその大きさを一組にした指定データ50を形状変形部40に送る。形状変形部40では、供給されるパラメータ38の内、指定データ50を基にした座標データに変換し、該当するパラメータの値を置換または更新する（ステップS20）。形状変形部40は、更新処理された値を含むすべてのパラメータ52を表示モデル生成部26に供給する。
【００３４】
なお、該動作の倍率または割合に応じた変形の基準位置座標（変形の原点）はあらかじめ任意に設定できるものとする。また、情動指定部42からの入力がない場合には、表情特徴抽出部20から取得したパラメータ38をそのまま表示モデル生成部26に受け渡す。
【００３５】
また、入力データ46が供給されていないと判断した場合（NO）、ステップS22に進む。
【００３６】
次に表示モデル生成部26は、パラメータ52（表情特徴データ）と表示モデル格納部24から取得したモデルデータ54の部位それぞれとを対応付けて、利用者の顔表情の動きとモデルデータの動きとを同期させたキャラクタ画像を生成し、モデルデータ56として画像生成部30に出力する（ステップS22）。
【００３７】
画像生成部30には、背景モデル格納部28に格納されている複数の背景画像の内、ステップS10での選択に応じて背景画像データ58を供給されている。画像生成部30は、供給されるモデルデータ54と背景画像データ58とを既知の画像合成手法により合成する（ステップS24）。画像合成部30は、合成画像データ60を符号化部32に供給する。
【００３８】
符号化部32では、供給される合成画像データ60に圧縮を施し、送信部34に送出する（ステップS26）。画像の圧縮には、たとえばMPEG4規格に応じた圧縮を用いるとよい。送信部34は、供給される圧縮信データを通信プロトコルに応じて変換して、受信端末装置14に送信する（ステップS28）。送信端末装置12は、この一連の処理を終了するか否かを判断する。この処理を継続する場合（NO）、送信端末装置12は、画像入力処理に戻り、前述した処理を繰り返す。また、処理を終了する場合（YES）、送信端末装置12は、図示しない通信を切断する切断ボタンの操作により通信を終了する。
【００３９】
より具体的に情動変化について説明する。情動変化としてたとえば「驚き」を表現する場合があり、ここでは、情動変化を表す任意の部位として目を選ぶ。この場合情動変化は、キャラクタの目の大きさや形状を拡大化させることで感情を視覚的に表現する。図5(a)のように目の入力変化量84が入力データ46として供給されると、出力変化量86は、図5(a)の関数によって本来の大きさよりも増幅させることが可能になる。
【００４０】
一般的に、利用者は目に限定されることなく、モデルデータの持つ顔表情の部位に対し部位の挙動の変形を指定することができ、前述のFAPデータに対して異なるデータで置換することにより挙動または情動を変化させることができる。
【００４１】
また、コミュニケーション中に継続的な「驚き」の表情を誇張的に表現する場合もある。この場合は、目の大きさが対話中に前回の「驚き」表現で見せた挙動をさらに増幅して表現するとよい。誇張表現は、図5(b)に示したように関数の傾斜を徐々に大きく変化させることで実現することができる。この表現の要求は、入力データ46を出力するキーボタンの押す回数やキーボタンを押圧する継続時間または利用者が入力する数値等に応じて関数の傾きを異ならせる。これにより、送信端末装置12は、利用者の指定により、モデルデータを変形させるパラメータ38を動的に異ならせたパラメータ52を生成する機能を持つことになる。
【００４２】
次に受信端末装置14の動作を図６に従って説明する。受信端末装置14は、不特定な送信端末装置から送られてくる信号ができるように受信待機状態にしている（開始）。受信端末装置14は、この状態で先に説明した送信端末装置12からの送信信号64を受信部66で受信する（ステップS50）。受信部66は受信信号72を復号部68に送る。
【００４３】
復号部68は、受信信号72に含まれる、符号化された圧縮データに伸長処理を施して、復号し、ディジタル画像信号やディジタル音声信号を復元する（ステップS52）。復号部68は、復号したこれらの信号を出力部70で扱う形態に応じてアナログ信号に変換して出力部70に送出する。出力部70は、供給される信号74を各出力機器から出力する（ステップS54）。供給される信号74の内、画像信号はモニタにて画像を表示し、音声信号は音声出力機器であるスピーカから音声として出力される。このとき、供給される画像は、利用者からの要求に応じてキャラクタの動作を誇張的に表現されていることから、受信者は通話相手である送信者からの言葉では伝えきれない感情表現を視覚情報として受けることが可能になる。
【００４４】
次に出力処理後に、この一連の受信処理、すなわちコミュニケーションを終了するか否かの判断を行う（ステップS56）。この通信を継続する場合（NO）、受信処理に戻って処理を繰り返す。また、通信を切断する場合（YES）、たとえば「切断」キーボタンを押圧操作することによって通信を切断する。
【００４５】
このように、情報通信システム10は、キャラクタの動作を変形させる際に、ユーザインターフェイス・キーを押す回数やキーを押圧操作の継続時間に応じてキャラクタの変形の倍率をコントロールする。これにより、利用者は、感情を表現する際に細かな設定をしなくても、情動の変化を相手に伝えられるので、話者間の感情表現力を高めることができ、コミュニケーション力を向上させることができる。
【００４６】
次に情報通信システム10における送信端末装置12の構成を変形させた変形例について説明する。以後の実施例において送信端末装置12は、ほぼ同じ構成要素で構築されている。このため、以後の実施例では各構成要素に先の実施例で用いた参照符号を付し、同じ説明の繰返しによる煩雑さを避けるように同じ参照符号の説明を省略する。
《第１変形例》
第１変形例における先の実施例との相違は、図７に示すように、情動変化部22の構成要素とその接続にある。情動変化部22には、形状変形部40、情動指定部42および倍率指定部44に加えて、通話履歴を管理する履歴管理部88が設けられている。また、情動指定部42は、倍率指定部44だけでなく、履歴管理部88にも接続されている。履歴管理部88は、通信相手毎に、たとえば前回のキャラクタに行わせた挙動の大きさ、すなわち倍率を記録し、この記録それぞれをキャラクタそれぞれが次に情動変化させる際の基準倍率として用いるように通信相手の情報を履歴情報として管理する機能を有している。この管理機能には、履歴情報を検索する機能も含まれている。この検索は、倍率指定が供給されない状況において履歴管理部88に対して行われる。したがって、履歴管理部88は、情動指定部42との間で情報の授受を行い、利用者が指定する表情の変形に対して変形する部位、変形倍率および通信相手情報等を履歴情報として格納している。
【００４７】
また、情動指定部42は、利用者から入力データ46によって指定された変形する部位と倍率指定部44で取得した変形の倍率を受けた情報を、形状変形部40だけでなく、履歴管理部88にも供給する。情動指定部42は、この場合、現在通信中の相手情報に対する検索結果（格納情報）を基に変化させる部位に対する大きさを指定して、更新パラメータを生成する機能を有している。
【００４８】
次にこれらの機能を含む送信端末装置12の動作について図８および図９を参照しながら、説明する。先の実施例と同じ工程には、同じ参照符号を付して説明を省略する。本実施例における送信端末装置12は、ユーザによる選択（ステップS10）から情動の指示の判断処理（ステップS16）まで同じである。情動の指示がなかったと判断した場合（NO）、接続子Aを介して図９に示すキャラクタに対するCG画像の生成処理に進む（ステップS22へ）。また、情動の指示を受けて（YES）、倍率指示の判断処理に進む（ステップS32へ）。この判断処理は、入力データ46に倍率を示すデータがたとえば、所定の時間内に供給されたか否かに応じて判断する処理である。倍率の指示が有る場合（YES）、指示された倍率を示す倍率データ48を情動指定部42に供給する。情動指定部42では、指示された情動の部位とその倍率データとを一組の変更用パラメータとして指示データ50を作成する（ステップS18）。情動指定部42は、指示データ50を形状変形部40に供給する。形状変形部40では、供給されるパラメータ38の内、指示データ50に該当するパラメータを指示データ50で更新する（ステップS20）。この処理後、接続子Bを介して図９の履歴情報の記録処理に進む（ステップS34へ）。この処理については後段でさらに説明する。
【００４９】
一方、倍率指示の判断処理（ステップS32）に戻って、倍率指示がないと判断した場合（NO）、履歴管理部88の検索処理に進む（ステップS36へ）。履歴管理部88には、通信相手情報と前回のパラメータとを関連付けた履歴情報が格納されている。この検索は現在の通信相手を履歴情報の中から通信相手情報を基に検出する処理である。
【００５０】
次に検索結果の判断として履歴が有るか否かを判断する（ステップS38）。履歴管理部88に該当する履歴情報が検出されたとき（YES）、履歴対応のパラメータ指定処理に進む（ステップS40へ）。また、履歴情報が未検出のとき（NO）、パラメータ指定処理に進む（ステップS42へ）。履歴対応のパラメータ指定処理（ステップS40）は、情動指定部42で行う。情動指定部42は、履歴管理部88から検出された履歴情報の供給を受けて、この情報を基に変化させる更新パラメータを指定する。情動指定部42は、指定した更新パラメータを指示データ50として形状変形部40に供給する。
【００５１】
また、パラメータ指定処理（ステップS42）も情動指定部42で行い、このとき情動指定部42には履歴管理部88から履歴情報がないことを示すデータが供給される。情動指定部42は、これにより何も比較する大きさのデータがないので、このような場合に対してあらかじめ規定した所定のパラメータを更新するパラメータとして生成し、形状変形部40に供給する。
【００５２】
形状変形部40では該当するパラメータの更新を行い（ステップS20）、この後、履歴情報の記録処理に進む（ステップS34へ）。この記録処理（ステップS34）は、形状変形部40から指示データ50、倍率データ48を送る信号線を介して供給される処理されたパラメータと通信相手情報とを関連付けて履歴管理部88に記録する処理である。この位置で記録処理を行うことにより、履歴管理部88には、最新の情報が履歴として記録されることになる。また、この記録は、所定の時間間隔毎に行うようにしてもよいし、少なくとも、履歴のまったく存在しなかった通信相手に対してだけ行うようにしてもよい。
【００５３】
以後の処理は、キャラクタのCG画像生成処理（ステップS22）から終了判断処理（ステップS30）まで先の実施例と同じ動作手順で行われる。終了判断処理にて継続する場合（NO）、接続子Cを介して画像入力処理に戻している。
【００５４】
なお、本実施例は、通話相手情報に応じて表示モデルの形状変化を異なった度合いにしたが、使用したキャラクタ別に表示モデルの形状変化を異なる度合いとしてもよい。この場合、履歴管理部88で管理する情報に使用するキャラクタのID（Identification）等を追加することで実現できる。
【００５５】
このように通信相手に対して行った情動の変化が通信履歴を基に再現されることにより、先の実施例に比べて利用者が通信相手毎に情動変化を毎回指定しなくても済ませることができ、利用者の操作性を向上させることができる。
《第２変形例》
次に第２変形例について説明する。第２の変形例における先の実施例との相違は、情動変化部22の構成要素とその接続先にある。情動変化部22には、形状変形部40、背景変形指定部90および倍率指定部44を含む。背景変形指定部90は、利用者があらかじめ設定されている背景画像の特徴点に対して各特徴点の配置の変形を指定する機能を有している。背景変形指定部90による変形の指示は、入力データ46により背景の特徴点が指定される。
【００５６】
形状変形部40は、背景データ58に対して供給される指示データ50により指定された倍率、すなわち変動の割合に応じて変形した背景画像を生成する。形状変形部40は、生成した背景画像データ92を画像生成部30に供給する。背景画像データ92は、形状の変形処理における更新処理を受けた図７のパラメータ52に対応するデータである。
【００５７】
なお、背景変形指定部90からの入力がない場合、背景モデル格納部28に格納されている背景画像を単に画像生成部30に受け渡す。
【００５８】
この構成により、背景画像に対してユーザの要求に応じた形状に誇張して変形させることができる。
【００５９】
この動作手順について図11を用いて簡単に説明する。この動作手順は、図10の構成を基に行っているため、キャラクタのCG画像の生成処理（ステップS22）が表情の抽出（ステップS14）の直後で行われている。この処理は、これまでと同様に画像の合成処理（ステップS24）の直前で行うようにしても構わない。また、利用者の選択から表情の抽出までと、画像の合成から終了の判断処理まではこれまでと同じ処理である。
【００６０】
本実施例における動作は、形状の変形対象を背景にして、背景形状の判断処理（ステップS44）、変化させるパラメータの指定処理（ステップS46）および背景画像の変形処理（ステップS48）を行っている点に特徴がある。背景形状の判断処理（ステップS44）は、背景変形指定部90にて背景の形状に対する指示を示す入力データ46が有るか否かを判断している。変形の指示がない場合（NO）、画像の合成処理に進む（ステップS24へ）。変形の指示が有る場合（YES）、パラメータの変化を指定する処理に進む（ステップS46へ）。
【００６１】
ここで、背景画像は、たとえば画像領域内の各座標値のそれぞれが１つのパラメータによる表現、いわゆるパラメトリック表現に基づいて表される。パラメトリック表現とは、曲線ならば、あるパラメータ (t)、曲面ならば、ある (u, v)に対して (x, y, z)が一意に決定される従来既知の仕組みである。この他、背景画像は、パーティクルと呼ばれる細かな粒子を用いたレタリング手法を用いて表現しても実現することができる。
【００６２】
変化させるパラメータの指定処理（ステップS46）は、背景変形指定部90で行い、背景画像にあらかじめ規定されている特徴点の内、入力データ46を基に変化させる特徴点を指定し、供給される倍率データ48に応じて組み合わせたパラメータを生成する。倍率データ48は、倍率指定部44に供給される入力データ46から得られたデータである。
【００６３】
具体的に説明すると、パラメトリック表現を用いた背景画像の場合に変形とは、任意の位置における座標値を変更することにより曲面を変形させることを指し、この場合の変形の倍率とは、任意の位置の座標値の変動の大きさに相当している。また、変形にパーティクルを用いた背景画像に対して実施する場合は、粒子の数などで示すパラメータ値の変動が変形の倍率に相当するものとなる。
【００６４】
背景画像の変形処理（ステップS48）は、形状変形部40に背景モデル格納部28から利用者が所望する背景モデル58を読み出して、この背景画像内に配置される特徴点の変化割合を供給される指定データ50に応じて変形させ、この特徴点の配置を決定する処理である。
【００６５】
具体的には背景画像の形状変化により、たとえば「怒り」の感情を表現する際に炎が表示している背景画像を表示する場合がある。この感情の表現をさらに誇張的に表すためには、この炎の大きさや火勢を変えるなど背景画像における特徴点の移動量を変えて、動きを異ならせることにより感情を表現することが可能になる。
【００６６】
このように動作させることにより、利用者からの要求に応じて背景画像の動作を誇張的に表現することができ、キャラクタ画像に変化がなくとも、背景画像の変化から通話相手に対して言葉では伝えきれない感情表現を視覚情報として伝えることが可能になる。
《第３変形例》
次に第３変形例について説明する。第３変形例は、形状を変形させる対象が第２変形例との相違している。図12に示すように、送信端末装置12は、変形対象を部品にしていることから、情動変形部22に部品変形指定部94を設け、変形対象のモデルデータを提供する部品モデル格納部96も配設している。形状変形部40には背景モデル格納部28と部品モデル格納部96とからそれぞれ、モデルデータが供給されている。ここで、部品とは、たとえば「汗」「涙」などキャラクタの感情表現を補助するアイテムで、前述した背景画像と同様にパラメトリック表現やパーティクルを用いて各アイテムを表現する。
【００６７】
部品変形指定部94は、第２変形例の背景変形指定部90と同様に供給される入力データ46に応じて変形させる部品の特徴点を指定する機能を有している。部品変形指定部94には、入力データ46が供給され、部品の特徴点が選択されるとともに、この部品に対する倍率データ48が供給されている。部品変形指定部94は、選択した部品の特徴点とその倍率データ48とを組み合わせたパラメータを指示データ50として形状変形部40に供給する。
【００６８】
形状変形部40には、供給される指示データ50の他に、背景画像データおよび部品画像データを含む画像データ58が供給されている。形状変形部40は、画像データ58の内、指示データ50に該当する部品画像データを指示データが示すパラメータに更新する。形状変形部40は、背景画像とともに、更新された部品データを含む画像データ98を画像生成部30に供給する。画像生成部30は、表情を有するキャラクタのモデルデータ56と供給される画像データ98とを画像合成する。これにより、画像生成部30は、合成画像データ60を符号化部32に出力し、これまでの実施例のように符号化部32で符号化処理して圧縮し、送信部34を介して送出する。
【００６９】
この動作手順について図13を用いて簡単に説明する。この動作手順は、図11のユーザによる選択、画像入力、表情の抽出、キャラクタ画像の生成までと同様に処理する。
【００７０】
本実施例における特徴的な動作は、形状の変形対象を部品にして、部品形状の判断処理（ステップS60）、変化させるパラメータの指定処理（ステップS62）および部品画像の変形処理（ステップS64）を行っている点にある。部品形状の判断処理（ステップS60）は、部品変形指定部94にて部品の形状に対する指示を示す入力データ46が有るか否かを判断している。指示がない場合（NO）、画像の合成処理に進む（ステップS24へ）。指示が有る場合（YES）、パラメータの変化を指定する処理に進む（ステップS62へ）。
【００７１】
ここで、部品画像もたとえば前述した背景画像と同様にパラメトリック表現やパーティクルと呼ぶ微細な粒子を用いたレタリング手法を用いて表現している。
【００７２】
変化させるパラメータの指定処理（ステップS62）は、部品変形指定部94で行い、部品画像にあらかじめ規定されている特徴点の内、入力データ46を基に変化させる特徴点を指定し、この特徴点に対する倍率データ48に応じて組み合わせたパラメータを生成する。倍率データ48は、倍率指定部44に供給される入力データ46から得られたデータである。
【００７３】
部品画像の変形処理（ステップS64）は、形状変形部40に背景モデル格納部28から利用者が所望する背景モデルとともに、部品モデル格納部96から利用者の所望する部品モデルを含むモデルデータ58を読み出して、部品画像内に配置される特徴点の変化割合を指定データ50に応じて変形させ、この特徴点の配置を決定する処理である。
【００７４】
これ以後、３つの画像、すなわちキャラクタ画像、背景画像および部品画像を合成し、得られた合成画像データに符号化処理を施して、圧縮データを送信する。終了判断処理により、継続する場合画像入力に戻り一連の処理を繰り返す。また、終了する場合、たとえば電源オフして通話を切断する。
【００７５】
このように動作させることにより、利用者からの要求に応じて部品画像の動作を誇張的に表現することができ、キャラクタ画像や背景画像が変化に乏しい画像であっても、この誇張表現により通話相手に対して言葉では伝えきれない感情表現を視覚情報として伝えることが可能になる。
《第４変形例》
次に第４変形例について説明する。第４変形例の情報通信システム10は、送信端末装置12で用いるパラメータやコードデータを生成して、受信端末装置14に送信し、受信端末装置14で送信端末装置12からのパラメ一タやコードデータを受信し、受信端末装置14で表示モデルを生成するシステムである。
【００７６】
本実施例における送信端末装置12は、図14に示すように、画像入力部18、表情特徴抽出部20、情報変化部22、表示モデル格納部24、背景モデル格納部28、符号化部32および送信部34を有している。本実施例の送信端末装置12は、図１の送信端末装置12と比べると、表示モデル生成部26および画像生成部30がない構成である。本実施例の送信端末装置12は、構成の簡素化を図ることができる。
【００７７】
表示モデル格納部24には、キャラクタに対応したコードテーブルをあらかじめ設定しておき、利用者のキャラクタ選択に応じて該当するコードデータを出力する。背景モデル格納部28も、送信に応じて選択した背景画像を送信するのではなく、選択した背景画像に対応したコードデータを送信する。背景モデル格納部28には、背景画像に対応したコードテーブルをあらかじめ設定しておき、利用者の背景画像の選択に応じて該当するコードデータを出力する。送信側としては表示モデル格納部24および背景モデル格納部28は、コードテーブルだけがあればよい。モデルデータすべてを格納していないので、本実施例の表示モデル格納部24および背景モデル格納部28は、先の実施例に比べて少ない容量で済む。
【００７８】
このような構成にともなって符号化部32には、パラメータ生成部40からのパラメータ52が直接的に供給されるとともに、所望のキャラクタモデルを表すコードデータ100および背景モデルを表すコードデータ102が供給される。
【００７９】
また、本実施例の受信端末装置14は、受信部66、復号部68および出力部70に加えて、これまで送信端末装置12に設けていた表示モデル格納部24、背景モデル格納部28、表示生成モデル26および画像生成部30を含む。表示モデル格納部24、背景モデル格納部28、表示生成モデル26および画像生成部30は、図１の送信端末装置12と同じものである。とくに表示モデル格納部24および背景モデル格納部28は、ともにコードテーブルを有している。受信部66は、送信部34から送信されたデータ64を受信して、圧縮された受信信号72（圧縮データ）を復号部68に出力する。復号部68は、供給された圧縮データに復号処理を施し、表情特徴の座標データであるパラメータ104、キャラクタ画像を特定するデータ106および背景画像を特定するデータ108をそれぞれ、分けて出力する。パラメータ104は送信側でのパラメータ52、データ106は送信側のデータ100およびデータ108は送信側のデータ102にそれぞれ、対応している。
【００８０】
データ106は表示モデル格納部24に供給され表示モデル格納部24はデータ106に該当するキャラクタ画像のモデルデータ54を表示モデル生成部26に出力する。表示モデル生成部26は、供給されるモデルデータ54に対してパラメータ104を適用して表情を有するモデルデータ（画像）56を生成し、画像生成部30に出力する。表示モデル生成部26は、供給されたディジタル画像信号に対してレンダリング処理を施す。この場合、情報通信システム10は、送信側で生成した画像データを送信せずに、パラメータおよびコードデータといった少ない伝送容量で済むことから、利用者は通信料金を節約することができる。
【００８１】
データ108は背景モデル格納部28に供給され、背景モデル格納部28は、データ108に該当する背景画像のモデルデータ58を画像生成部30に出力する。画像生成部30は、モデルデータ56およびモデルデータ58を基に画像を合成する。画像生成部30は、合成画像データ60を出力部70に供給する。出力部70には、画像データだけでなく、音声データも供給されていることは言うまでもない。出力部70のモニタには、通信相手の送信者の顔表情に同期して選択したモデル画像を動かし、背景画像を表示させることができる。
【００８２】
次にこの情報通信システム10の動作を簡単に説明する。図16に示すように、動作は、基本的に図４の手順に同じである。ただし、キャラクタの画像生成および背景画像の合成がない点に特徴がある。キャラクタおよび背景画像をあらかじめ選択する（ステップS10）。たとえば通話開始以前に選択ボタンでユーザにより選択を行う。とくに本実施例では表示モデル格納部24から選択したキャラクタデータ54を送信するのではなく、選択したキャラクタに対応したコードデータ100を送信する。背景モデル格納部28も選択したキャラクタに対応したコードデータ102を送信する。
【００８３】
この後、送信端末装置12は、順次に利用者の画像を入力し（ステップS12）、表情の抽出を行い（ステップS14）、情動の変化に応じて抽出した表情のパラメータに変化を持たせるか否か判断する（ステップS16）。変化指定をしない場合、現状でのパラメータ38を出力する。変化指定する場合、変化するパラメータの指定およびその倍率を一組にして（ステップS18）、パラメータ38の更新を行う（ステップS20）。すなわち、該当するパラメータの各組で更新することにより新たなパラメータ52を生成し、符号化部32に出力する。
【００８４】
符号化部32には、パラメータ52、コードデータ100, 102が供給される。符号化部32は、これらのデータに対して圧縮処理を施して送信部34に出力する（ステップS26）。送信部34は、供給される圧縮データ64を受信端末装置14に送信する（ステップS28）。終了判断処理（ステップS30）では継続する場合、画像入力に戻り一連の処理を繰り返す。また、終了する場合、たとえば電源オフして通話を切断する。
【００８５】
次に受信端末装置14は、送信端末装置12と通信接続状態にした（ネゴシエーション）後、送信端末装置12からの圧縮データ64を受信する（ステップS50）。受信端末装置14は、取得した圧縮された受信信号72（圧縮データ）に対して復号処理を施す（ステップS52）。復号処理によってパラメータ104、コードデータ106, 108に、それぞれ分けて、表示モデル生成部26、表示モデル格納部24および背景モデル格納部28に供給する。表示モデル格納部24および背景モデル格納部28は、工程として図17に表れていないが、それぞれ供給されたコードデータ106, 108に応じたキャラクタのモデルデータ54、背景画像のモデルデータ58を表示モデル生成部26および画像生成部30に供給する。すなわち、表示モデル格納部24および背景モデル格納部28は、格納されている複数のモデルデータの中から供給されるコードデータとコードテーブルとの対応により、出力するキャラクタのモデルや背景画像を選択し出力する。
【００８６】
なお、受信端末装置14は、送信端末装置12から指定されたキャラクタのコードデータや背景画像のコードデータに対応するキャラクタや背景画像がない場合、それぞれデフォルトのモデルデータを送出するものとする。
【００８７】
次に供給されるパラメータ104とキャラクタのモデルデータ54とを用いてキャラクタのCG画像を生成する（ステップS22）。CG画像は、モデルデータの各部位とパラメータ104である表情データとを対応付けて、誇張して生成される。利用者の顔表情の動きが誇張表現されたモデルデータ56に反映される。これにより、キャラクタは、送信者の動きに同期して表現されることになる。
【００８８】
次にモデルデータ56と背景画像のモデルデータ58とを合成する（ステップS24）。合成した画像データ60が画像生成部30から出力部70に出力される。出力部70は、モニタに供給された画像を表示する（ステップS54）。受信者は、送信者の動きに同期したキャラクタ画像を見ることにより、通信相手の微妙な感情を知ることができる。次に終了判断処理（ステップS56）では継続する場合、受信処理に戻り前述した一連の処理を繰り返す。また、終了する場合、たとえば電源オフして通話を切断する。
【００８９】
このように動作させることにより、情報通信システム10は送信端末装置12から完成された画像データ64でなく、パラメータやコードデータを圧縮して伝送することにより伝送上の負荷を軽減することができる。受信端末装置14では、供給される圧縮データを復号して、送信者の表情を表すパラメータを取得し、コードデータから対応するキャラクタや背景画像を求めて、表示する画像を生成することが可能になる。
【００９０】
なお、本発明の実施例は、説明を容易化するため変形の対象を一つに限定して説明したが、実施例やこれらの変形例を組み合わせて、より複雑な画像を生成して通信することができることは言うまでもない。
【００９１】
以上のように構成することにより、情報通信システム10は、送信端末装置12に画像入力部18を介して得られたディジタル画像36から表情特徴抽出部20でパラメータ38を抽出し、情動変化部22の情動指定部42で表情を与える部位に対する変形を対象として独立に変形を指定し、倍率指定部44で変形の割合を規定して情動指定部42に供給し、該当する部位の値を一組の値50として形状変形部40に供給し、形状変形部40で供給された値50で置換したパラメータ52を出力し、送信端末装置12の出力データに応じて表示モデル格納部24および表示モデル生成部26を送信端末装置12および受信端末装置14のいずれか一方に配設することにより、利用者からの要求に応じた意向を踏まえたキャラクタの動作や表現にして通信相手に提供することができる。単に表情を持たせたキャラクタ画像を提供する場合に比べて通話相手に対して常に意図的な意思を表現できることから、コミュニケーション力を一層向上させることができる。また、表示モデル格納部24および表示モデル生成部26を送信端末装置12に配設すると、受信端末装置14の構成を大幅に簡素化することができ、これらを受信端末装置14に配設すると、伝送量を大幅に抑制することができる。
【００９２】
送信端末装置12の出力するデータに応じて、背景モデル格納部28および画像合成部30を送信端末装置12および受信端末装置14のいずれか一方に含むことにより、表示する画像の品質をより高いものにでき、とくに、送信端末装置12に背景モデル格納部28および画像合成部30を設けても、受信端末装置14の構成を簡素化することができ、一方、受信端末装置14に背景モデル格納部28および画像合成部30を設けることによっても、伝送の負担を軽減することができる。
【００９３】
倍率指定部44は、利用者からの指示に応じて行われ、この入力データとして供給される回数、継続時間および倍率を表す数値のいずれかの指示に応じて動的に変化させて指定することにより、利用者の感情を容易に操作として表すことができる。
【００９４】
また、情動変化部22は、履歴管理部88を含み、過去の情動に対応した部位、倍率および通信相手の情報を履歴情報として格納し、条件に応じて情動指定部42に履歴情報を出力することにより、利用者の操作性を向上させることができ、情動指定部42は、変形させる対象に応じて供給される対象のモデルデータの特徴点およびこのモデルデータの特徴点に対する倍率を一組にして形状変形部40に供給することにより、供給されるパラメータ38のデータ置換を容易に行うことができる。
【００９５】
ここで、対象は、表情を特徴付ける部位、背景画像およびキャラクタの感情表現を補助するアイテムの少なくとも一つである。これにより、通信相手に表示される画像によって単なる表情を持たせたキャラクタ画像の表現以上に送信者の感情を画像に表し易くすることができる。
【００９６】
また、本発明の画像生成方法を適用することにより、キャラクタをあらかじめ選択し、送信者の顔画像をディジタル画像に変換し、このディジタル画像から表情パラメータを抽出し、部位に対する変形を対象とし、独立に指定するか否かの判断に応じて独立に指定する場合に表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する処理を施し、送信側から出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータの出力およびキャラクタ画像の生成を送信側の処理および受信側の処理のいずれか一方にて行うことにより、利用者からの要求に応じた意向を踏まえたキャラクタの動作や表現にして通信相手に提供することができ、とくに受信側の処理にモデルデータの出力およびキャラクタ画像の生成を行うと、伝送の負担を軽減することができる。
【００９７】
情動にともなう対象の変形処理は、顔画像の表情をもたらす部位に対する変形を指定し、この指定された部位に対する変形の割合、すなわち倍率を規定し、抽出した表情パラメータのうち、指定された部位の表情パラメータの値を変形の割合に置換し、パラメータと52して出力することにより、単なる表情を持たせたキャラクタ画像の表現以上に送信者の感情を画像に表し易くすることができる。
【００９８】
画像生成方法は、送信側から出力するデータに応じて、通信先で表示する背景画像としてのモデルデータの出力および画像合成を送信側および受信側のいずれか一方にて行うことにより、キャラクタ画像を表示する以上に様々な画像表現を提供でき、この場合も受信側の処理にモデルデータの出力およびキャラクタ画像の生成を行うことにより、伝送の負担を軽減することができる。
【００９９】
また、画像生成方法は、変形させる対象に応じて供給される対象とするモデルデータの特徴点およびこの特徴点に対する倍率を一組にして生成して、供給されるパラメータ38のデータ置換を容易に行うことができ、対象を表情の特徴付けとなる部位、背景画像およびキャラクタの感情表現を補助するアイテムの少なくとも一つとすることにより、単に表情を持たせて表現したキャラクタ画像以上に誇張的に表現して送信者の感情をわかり易く表現させることができる。
【０１００】
画像生成方法は、利用者からの入力データに応じて前記対象に対する変形を指示し、この入力データによって供給される回数、継続時間および倍率を表す数値のいずれかの指示に応じて動的に変化させることにより、利用者の感情を容易に操作として表すことができる。
【０１０１】
画像生成方法は、情動の判断と判断に応じた情動処理の間にて独立に変化させる対象の倍率が指定されたか否か判断し、倍率指定が有る場合、判断に応じた情動処理に進み、倍率指定のない場合、現在通信中の相手を含むか否かを履歴情報を基に検索し、この検索結果に該当する履歴情報が存在するか否かを判断し、履歴情報が存在したとき、この履歴情報に対応した値を指定し、履歴情報がないとき、所定の値を指定することにより、通信相手毎にそれぞれ何等かの値が提供されることになり、利用者の操作を大幅に向上させることができる。
【産業上の利用可能性】
【０１０２】
本発明の実施例では、符号化および復号処理を画像およびパラメータのいずれかにより通信するものとして説明したが、本発明はこれに限定されるものではなく、たとえば音声や音響データも符号化および復号し、画像とともに多重化して伝送してもよい。
【図面の簡単な説明】
【０１０３】
【図１】本発明の画像通信システムを適用した情報通信システムの実施例における送信端末装置の概略的な構成を示すブロック図である。
【図２】本発明の画像通信システムを適用した情報通信システムの実施例における受信端末装置の概略的な構成を示すブロック図である。
【図３】本発明の画像通信システムを適用した情報通信システムの実施例における構成を示す図である。
【図４】図１の送信端末装置の動作手順を説明するフローチャートである。
【図５】図１の倍率指定部における倍率とその変化を示す関数モデルを説明する図である。
【図６】図２の受信端末装置の動作手順を説明するフローチャートである。
【図７】図１の送信端末装置における第１変形例の概略的な構成を示すブロック図である。
【図８】図７の送信端末装置（第１変形例）の動作手順を説明するフローチャートである。
【図９】図８に続く動作手順を説明するフローチャートである。
【図１０】図１の送信端末装置における第２変形例の概略的な構成を示すブロック図である。
【図１１】図10の送信端末装置（第２変形例）の動作手順を説明するフローチャートである。
【図１２】図１の送信端末装置における第３変形例の概略的な構成を示すブロック図である。
【図１３】図12の送信端末装置（第３変形例）の動作手順を説明するフローチャートである。
【図１４】図１の送信端末装置における第４変形例の概略的な構成を示すブロック図である。
【図１５】図14の送信端末装置に対応した受信端末装置の概略的な構成を示すブロック図である。
【図１６】図14の送信端末装置（第４変形例）の動作手順を説明するフローチャートである。
【図１７】図15の受信端末装置の動作手順を説明するフローチャートである。
【符号の説明】
【０１０４】
10  情報通信システム
12  送信端末装置
14  受信端末装置
16  IPネットワーク
18  画像入力部
20  表情特徴抽出部
22  情動変化部
24  表示モデル格納部
26  表示モデル生成部
28  背景モデル格納部
30  画像生成部
32  符号化部
34  送信部
40  形状変形部
42  情動指定部
44  倍率指定部
66  受信部
68  復号部
70  出力部
【図１】
2005173772.tif 000003
【図２】
2005173772.tif 000004
【図３】
2005173772.tif 000005
【図４】
2005173772.tif 000006
【図５】
2005173772.tif 000007
【図６】
2005173772.tif 000008
【図７】
2005173772.tif 000009
【図８】
2005173772.tif 000010
【図９】
2005173772.tif 000011
【図１０】
2005173772.tif 000012
【図１１】
2005173772.tif 000013
【図１２】
2005173772.tif 000014
【図１３】
2005173772.tif 000015
【図１４】
2005173772.tif 000016
【図１５】
2005173772.tif 000017
【図１６】
2005173772.tif 000018
【図１７】
2005173772.tif 000019