(57)【要約】【課題】仮想空間内に持ち込んだデータを表示させて、確認し、所望するデータを相手に提供できるようにする通信端末装置を提供。【解決手段】画像通信システム10は、通信端末装置12および14同士での通信において、入力される情報だけでなく、AV通信制御部34およびデータ通信制御部36の内、データ通信制御部36を介して供給される通信端末装置14からの情報にも基づいて通信端末装置12の端末制御部24を動作させ、S/M部22を制御して、通信端末装置12が通信相手の通信端末装置14での操作を可能にする。【選択図】図１
2005260626.tif 000002
【特許請求の範囲】
【請求項１】
画像および音声を含む情報の入力および出力を行う入出力手段と、
該入力された情報および通信相手からの情報の切替えおよび混合を制御に応じて行う提供情報選択手段と、
前記通信相手との通信を制御する通信制御手段と、
前記入力された情報および前記通信相手からの情報を基に前記入出力手段、前記提供情報選択手段および前記通信制御手段を制御する端末制御手段とを含むことを特徴とする通信端末装置。
【請求項２】
請求項１に記載の装置において、該装置は、ディジタル情報のコンテンツを記憶するデータ記憶手段と、
前記通信相手に対して利用を許可するリスト情報を記憶する利用情報記憶手段とを含み、前記端末制御手段に制御に応じて動作することを特徴とする通信端末装置。
【請求項３】
請求項２に記載の装置において、前記利用情報記憶手段は、公開するリストの記憶手段、
前記画像に含まれる顔画像をキャラクタに置き換えるモデルデータの記憶手段、ならびに
該モデルデータの記憶手段および該モデルデータに対する補助データを記憶する補助記憶手段
のうち、少なくとも一つを含むことを特徴とする通信端末装置。
【請求項４】
請求項３に記載の装置において、前記利用情報記憶手段は、前記利用情報のそれぞれをデータ名と該データ名に対する属性を組み合わせて記憶し、該属性が示す情報に応じて外部からの操作を受け入れることを特徴とする通信端末装置。
【請求項５】
請求項１ないし４のいずれか一項に記載の装置において、前記入出力手段は、前記画像を入力する撮像手段と、
前記画像を表示する表示手段と、
利用者の操作を入力する操作手段とを含むことを特徴とする通信端末装置。
【請求項６】
請求項５に記載の装置において、前記入出力手段は、前記撮像手段から顔画像に含まれる表情をパラメータとして抽出する解析手段を含むことを特徴とする通信端末装置。
【請求項７】
請求項６に記載の装置において、該装置は、前記パラメータおよび前記利用情報記憶手段から読み出した前記モデルデータまたは該モデルデータおよび前記補助データの組を基に画像を生成する画像合成手段を含むことを特徴とする通信端末装置。
【請求項８】
請求項３ないし７のいずれか一項に記載の装置において、前記補助データは、前記モデルデータを基に表されるキャラクタ画像の色、形状およびキャラクタの特定の動きが記述されていることを特徴とする通信端末装置。
【請求項９】
請求項１ないし５のいずれか一項に記載の装置において、前記端末制御手段は、前記入力された情報に応じて対象の処理をする操作入力処理機能ブロックと、
前記提供情報選択手段の切替えおよび混合を制御する制御機能ブロックと、
前記通信相手から供給される操作にともなう入力情報を中継し、該入力情報に応じて前記提供情報選択手段を制御する中継制御機能ブロックと、
画面に表示する選択項目をメニューとして作成するメニュー作成機能ブロックと、
前記データ記憶手段を管理する第１の管理機能ブロックと、
前記利用情報記憶手段を管理する第２の管理機能ブロックとを含み、
第２の管理機能ブロックは、前記公開するリストの記憶手段を管理することを特徴とする通信端末装置。
【請求項１０】
請求項１ないし５のいずれか一項に記載の装置において、前記端末制御手段は、前記入力された情報に応じて対象の処理をする操作入力処理機能ブロックと、
前記提供情報選択手段の切替えおよび混合を制御する制御機能ブロックと、
前記データ記憶手段を管理する第１の管理機能ブロックと、
前記利用情報記憶手段を管理する第２の管理機能ブロックとを含み、
第２の管理機能ブロックは、前記モデルデータの記憶手段を管理することを特徴とする通信端末装置。
【請求項１１】
請求項10に記載の装置において、前記端末制御手段は、さらに、前記通信相手から供給される操作にともなう入力情報を中継し、該入力情報に応じて前記提供情報選択手段を制御する中継制御機能ブロックを含み、
第２の管理機能ブロックは、前記モデルデータの記憶手段および該モデルデータに対する補助データを記憶する補助記憶手段の組合せを管理することを特徴とする通信端末装置。
【請求項１２】
請求項８に記載の装置において、前記端末制御手段は、さらに、前記利用情報記憶手段を管理する第２の管理機能ブロックとを含み、
第２の管理機能ブロックは、前記公開するリストの記憶手段ならびに前記モデルデータの記憶手段および該モデルデータに対する補助データを記憶する補助記憶手段の組合せを管理することを特徴とする通信端末装置。
【請求項１３】
請求項10に記載の装置において、前記端末制御手段は、前記パラメータの送出を一時的な停止と再開を制御し、該制御に応じて指示を前記通信相手に供給して、該通信相手の通信端末装置にて前記停止から前記再開までの間、前記補助データを基に画像を生成する画像合成手段から特定のアクションを行わせることを特徴とする通信端末装置。
【請求項１４】
請求項10または11に記載の装置において、前記端末制御手段は、前記通信相手の通信端末装置から供給される送信側または受信側の前記補助データを使用する指示に応じて前記補助データを基に画像を生成する画像合成手段から画像を出力することを特徴とする通信端末装置。
【請求項１５】
請求項12に記載の装置において、前記端末制御手段は、前記公開リスト記憶手段にデータ名として記憶された所望の前記補助データの有無および前記補助データが有する前記属性に応じて外部からの該補助データの利用およびコピーの可否を表示する制御を行うことを特徴とする通信端末装置。
【請求項１６】
請求項12または15に記載の装置において、前記端末制御手段は、送信側および受信側にて設定した前記補助データのいずれかの使用とともに、表示する画像に影響をもたらすデータか否かの情報も前記通信相手の前記通信端末装置に通知し、
該通知を受けた通信端末装置にて前記補助データが含む前記パラメータの影響を基に画像を生成する画像合成手段から画像を出力することを特徴とする通信端末装置。
【請求項１７】
請求項１ないし16のいずれか一項に記載の装置において、前記入出力手段は、前記音声を入力する集音手段と、
前記音声を出力する発音手段とを含み、
前記提供情報選択手段は、前記集音手段および前記発音手段からそれぞれ出力されるデータを選択することを特徴とする通信端末装置。
【請求項１８】
請求項17に記載の装置において、前記提供情報選択手段は、送信中の画像と音声とをそれぞれ独立にモニタすることを特徴とする通信端末装置。
【請求項１９】
請求項７、12、15、16、17または18に記載の装置を用いた通信システムにおいて、該通信システムは、該通信端末装置が接続されているネットワークに前記利用者を管理するサーバを備え、
該サーバは、前記利用者を特定する基礎データ、前記利用者が所有する前記モデルデータおよび前記補助データの数を利用者毎に記録する第１のデータベース手段と、
前記モデルデータおよび前記補助データをそれぞれ記録する第２のデータデータベース手段と、
前記ネットワークに接続されている通信端末装置それぞれとデータを通信するデータ通信手段と、
第１および第２のデータベース手段、ならびにデータ通信手段を制御するサーバ制御手段とを含み、
該サーバ制御手段は、互いに画像通信を開始する通信端末装置それぞれと事前に接続し、前記モデルデータが示すキャラクタおよび前記補助データを使用に応じて決定させ、各通信端末装置に対して相手が使用する前記補助データを取得させることを特徴とする通信システム。
【請求項２０】
請求項20に記載のシステムにおいて、前記サーバ制御手段は、互いに画像通信を終了した通信端末装置のそれぞれと事後に接続し、各通信通信装置から各利用者の希望を取得し、該取得結果に基づいて第１のデータベース手段の内容を書き換えて、前記補助データの授受および交換を行うことを特徴とする通信システム。
【請求項２１】
請求項19または20に記載のシステムにおいて、第１のデータベース手段は、前記キャラクタおよび前記補助データの購入にともなう決済情報を記録し、
第２のデータベース手段は、前記キャラクタおよび前記補助データの販売価格情報を記録し、
前記サーバは、前記販売価格を基に購入した情報に対して課金処理して、前記決済情報を生成する課金手段を含むことを特徴とする通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末装置に関し、本発明の通信端末装置は、とくに、テレビ電話システムやテレビ会議等の端末装置や携帯電話機等に関するものである。
【背景技術】
【０００２】
現在、テレビ電話を使うことにより、相手の顔をみながら通話することが可能になった。また、テレビ会議システムでは顔画像以外に会議資料を電子化したファイルを通信し、このファイルを表示させながら、資料を説明することも可能になっている。
【０００３】
このようなテレビ電話を用いることにより、従来の音声だけによる電話と比べてより実際に会って話す感覚に近づいた通信が可能になったと言える。このことからわかるように、通信は単に情報を伝達することだけに留まらず、究極的には実際に会って話す感覚と同じコミュニケーションを可能にすることを目指している。実際に人と人が出会って話しをする場合、会話以外に様々なことが行われる。たとえば、会話する一方の人が自分で撮ったスナップ写真を数枚持っていれば、他方の人、すなわち会話の相手側は、第１に、一緒に写真を順番に見ること、第２に、相手から写真を借りて見せてもらうことおよび第３に、気に入った写真に対してその場でもらって帰ることといった行動が起こることが考えられる。
【０００４】
上記第１および第２について詳細な解説を加える。第１の場合は写真の所有者が主導権をもって相手に見せる写真の順序や提示時間をコントロールする場合であり、第２の場合は写真の所有者は相手にすべての写真を手渡し、写真を受け取った人は自分で見たい写真を自分のペースでゆっくり閲覧する場合である。当然、後者の場合において、写真を手渡した人は相手がどの写真を見ているかを横から眺めて、相手が現在見ている写真に関する話題で会話することもある。
【０００５】
【特許文献１】特開平5-268602号公報
【非特許文献１】エリック ペタジャン（Eric Petajen）, “Very Low Bitrate Face Animation Coding in MPEG (Motion Picture Experts Group)-4”, face2face Animation, Inc., 2000, pp. 1-33.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のテレビ電話では、画像を送ることが可能であるにも拘わらず、上述したに近い感覚を得ることは難しかった。これに近いことを実現可能な装置の一例として、特許文献１に開示されているテレビ会議システムがある。しかし、テレビ会議システムの場合、システムの名前が示すとおり、会議をするためのシステムとして設計されている。このために、前述した第１の場合のように相手に資料を提示して説明することに関しては考慮されているが、第２の場合のように相手に自由に見てもらうこと、さらには第３の場合のように所望する写真を持ち帰ることについて何も考慮されていなかった。
【０００７】
本発明はこのような従来技術の欠点を解消し、仮想空間内に持ち込んだデータを表示させて、確認し、所望するデータを相手に提供できるようにする通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、画像および音声を含む情報の入力および出力を行う入出力手段と、この入力された情報および通信相手からの情報の切替えおよび混合を制御に応じて行う提供情報選択手段と、通信相手との通信を制御する通信制御手段と、入力された情報および通信相手からの情報を基に提供情報選択手段および通信制御手段を制御する端末制御手段とを含むことを特徴とする。
【０００９】
本発明の通信端末装置は、通信端末装置同士での通信において、入力される情報だけでなく、通信制御手段を介して供給される通信相手からの情報にも基づいて端末制御手段を動作させ、提供情報選択手段を制御することにより、通信端末装置が通信相手の通信端末装置で操作することができ、かつ操作結果を受信画像として確認することもできる。
【発明を実施するための最良の形態】
【００１０】
次に添付図面を参照して本発明による通信端末装置の実施例を詳細に説明する。
【００１１】
本実施例は、本発明の通信端末装置を画像通信システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１２】
画像通信システム10は、図２に示すように、通信端末装置12および通信端末装置14を有し、通信端末装置12および通信端末装置14はそれぞれ、画像通信ネットワーク16およびデータ通信ネットワーク18という２系統の回線を介して接続されている。画像通信ネットワーク16は画像の送受信が可能なネットワークであり、データ通信ネットワーク18ははデータの送受信が可能なネットワークである。画像通信システム10は、これらのネットワーク16および18を同時に並行して通信することが可能である。
【００１３】
通信端末装置12および通信端末装置14は同じ構成要素を含む。このことから、構成は、図１に示す通信端末装置12について記載し、通信端末装置14の説明を省略する。通信端末装置12は、入出力部20、S/M部22、端末制御部24、データ記憶部26、公開リスト記憶部28、符号化部30、復号部32、AV通信制御部34およびデータ通信制御部36を含む。
【００１４】
入出力部20は、外部から取り込んだ信号を電気信号に変換する入力変換機能と供給される信号を人間の視覚および聴覚で感知するように出力形態に応じて変換する出力変換機能を有している。入出力部16は、入力変換機能として操作部38、撮像部40およびマイクロフォン42を含む。また、入出力部16は、出力変換機能としてモニタ44およびスピーカ46を含む。
【００１５】
操作部34は、図示しないキーボタンを操作し、この操作に応じて電気信号を指示信号48として端末制御部24に出力する。撮像部36は、被写界からの入射光を複数の撮像素子で形成された撮像面に図示しない光学系によって結像させ、露光に応じた入射光量を電気信号に変換する機能を有している。撮像部36は、得られたディジタル画像信号50をS/M部22に出力する。マイクロフォン42は、外部からの音波を電気信号に変換する機能を有し、ディジタル音声信号52をS/M部22に出力している。
【００１６】
モニタ44は、S/M部22から供給されるディジタル画像信号54を基に一枚の画像を形成する機能を有し、画像表示している。スピーカ46は、S/M部22から供給されるディジタル音声信号56をアナログ信号に変換し、さらに音に変換する機能を有している。
【００１７】
S/M部22は、通信端末装置12からの出力信号と通信端末装置12への入力信号とに対する選択機能および混合機能を含むモニタS/M部58および送信S/M部60を備えている。モニタS/M部58は、音声用と画像用のS/M部62および64を一組有している。また、送信S/M部60も音声用と画像用のS/M部66および68を一組有している。
【００１８】
さらに、S/M部22の接続について説明する。音声用S/M部62および66ならびに画像用S/M部64および68は、端末制御部24からの制御信号70により入力信号に対して選択または混合した結果の信号を出力している。音声用S/M部66は、マイク42とデータ記憶部26とがそれぞれ図示しない入力端に接続され、ディジタル音声信号52およびデータ記憶部26から読み出したディジタル音声信号72を入力している。音声用S/M部66は出力するディジタル音声信号74を符号化部30と音声用S/M部62の図示しない入力端に供給する。
【００１９】
画像用S/M部68は、図示しない入力端のそれぞれを撮像部40、データ記憶部26および端末制御部24に接続され、ディジタル画像信号50、読み出されたディジタル画像信号76および操作メニュー画面を示す画像信号78をそれぞれ、入力している。画像用S/M部68は出力するディジタル画像信号80を符号化部30と画像用S/M部64の図示しない入力端に供給する。
【００２０】
音声用S/M部62は、復号部32と音声用S/M部66の出力側とがそれぞれ、図示しない入力端に接続され、復号部32からのディジタル音声信号82とディジタル音声信号74がそれぞれ供給されている。音声用S/M部62は、供給されるこれらの信号に対して選択または混合したディジタル音声信号56を出力する。
【００２１】
画像用S/M部64は、復号部32と画像用S/M部68の出力側とがそれぞれ、図示しない入力端に接続され、復号部32からのディジタル画像信号84とディジタル音声信号80がそれぞれ供給されている。画像用S/M部64は、供給されるこれらの信号に対して選択または混合したディジタル音声信号54を出力する。
【００２２】
ここで、混合とは、複数の入力信号の出力レベルを決めてミキシングすることを意味する。とくに、音声における混合は、音声信号のミキシングに相当し、画像における混合は、画像の合成に対応している。この合成は、画面の領域全体に対する場合や領域内における部分的な画像の重畳を示す場合があり、とくに、複数の画像の拡大倍率、縮小倍率、重ねあわせ位置および前後関係を決めて、重ね合わせて、半透明処理であるアルファブレンディングすることにより一枚の画像にすることを意味している。このアルファブレンディングには、画像毎に各画素の不透明度を示すアルファ値が設定されている。しかしながら、アルファ値が設されていない場合、アルファ値は、画像全体で１つ設定すればよい。また、この場合、アルファ値はあらかじめ色と対応付けしておくとよい。
【００２３】
端末制御部24は、通信端末装置12の動作を制御する機能を有している。さらに説明すると、端末制御部24は、図３に示すように、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90、公開リスト管理部92、画面作成機能部94および操作入力中継機能部96を含む。操作入力処理機能部86は、操作部38からの操作入力に対する処理を担っている。S/M制御機能部88は、音声用S/M部62および66、画像用S/M部64および66のそれぞれに対してどのような動作をするか制御信号70により指示する機能を有している。データ管理機能部90は、データ記憶部26に対する管理機能を有している。また、公開リスト管理部92も、公開リスト記憶部28に対する管理機能を有している。
【００２４】
画面作成機能部94は、操作用のメニュー画面を作成する機能を有し、画像用S/M部64および68に出力している。操作入力中継機能部96は、操作部38でなく、データ通信制御部36を経て通信相手先である画像通信装置14からの指示を中継し、この中継の指示に基づいて各機能部間におけるデータの流れを制御する機能である。
【００２５】
図１に戻って、データ記憶部26は、画像通信装置12に付随する様々なデータを記憶するメモリである。これらのデータには、たとえば撮像部40によって撮影された静止画像および動画等の画像データ、ならびにデータ通信ネットワーク18を介して入手した音楽データおよび電子メール等のテキストデータがある。データ記憶部38は、端末制御部24との間に設けられるバス98を介してデータの入出力が制御される。
【００２６】
公開リスト記憶部28は、データ記憶部26のデータのうち、通話中の相手に対して公開するデータのリストを記憶するメモリで、後述する利用リスト記憶部の構成要素である。公開リスト記憶部28も端末制御部24との間に設けられる双方向バス100を介してデータの入出力が制御される。
【００２７】
符号化部30は、送信用として供給されるディジタル音声信号74およびディジタル画像信号80を符号化する機能部を有している。符号化部30は、送信S/M部60が出力する２つの信号を入力するように接続され、符号化することにより１本のディジタルデータ102としてAV通信制御部34に出力する。
【００２８】
復号部32は、符号化されたディジタルデータ104を復号する機能を有している。復号部32は、AV通信制御部34と接続され、AV通信制御部34からディジタルデータ104の元のディジタル音声信号82とディジタル画像信号84に復元する。復号部32は、モニタS/M部58に接続され、復元したディジタル音声信号82とディジタル画像信号84を音声用S/M部62と画像用S/M部64の一端にそれぞれ供給している。
【００２９】
AV通信制御部34は、通信端末装置12と通信端末装置14との間で行われる音声および画像の送受信を制御する機能を有している。AV通信制御部34は、画像通信ネットワーク16に接続され、符号化部30および復号部32にも接続されている。
【００３０】
データ通信制御部36は、通信端末装置12と通信端末装置14との間で行われるデータ通信を制御する機能を有している。データ通信制御部36は、データ通信ネットワーク18に接続され、端末制御部24ともデータ線106を介して接続されている。
【００３１】
このように通信端末装置12を構成することにより、公開データリストにリストアップしたデータを送信して、通信相手に対して自由に閲覧させ、通信相手も同じ構成により、通信相手の公開したデータを自由に閲覧することができる。
【００３２】
次に画像通信システム10の動作について説明する。画像通信システム10における以後、説明する動作における前提条件を簡単に説明する。通信端末装置12および14を操作する利用者をそれぞれ、利用者110および112とする。画像通信システム10の通信端末装置12および14はすでに画像通信により通話している。通信端末装置12のモニタ44には通信端末装置14で撮影された利用者112の顔画像が表示されている。また、通信端末装置14のモニタには通信端末装置12で撮影された利用者110の顔画像が表示されている。画像用S/M部64はディジタル画像信号84を選択し、画像用S/M部68はディジタル画像信号50を選択するように端末制御部24からの制御信号70によって制御されている。また、説明上、同じ動作には同じ参照符号を付す。
【００３３】
（動作１：いっしょに写真を順番に見る）
通信端末装置12のデータ記憶部26には、複数のデータが格納されている。利用者110は、会話の流れから、保存しているデータの中から４枚の静止画像を選択して、順に利用者112に見せる場合である。図４に示すように、利用者110は、通信端末装置12に対して操作部38を操作して、端末制御部24を介してデータ記憶部26から利用者112に見せる静止画像を４枚だけ公開リスト記憶部28に設定する（ステップS10）。この設定を行う上で、端末制御部24は、画像用S/M部64が操作メニュー画面を示す画像信号78を選択するように制御信号70を供給する。利用者110は端末制御部24が作成するメニュー画面をモニタ44にて参照することができる。利用者110は、モニタ44を参照しながら、閲覧およびコピーの可否を表す属性を設定する。属性は、◎, ○および×で表す。属性◎は閲覧およびコピーが可能であることを示し、属性○は閲覧が可能で、コピーが不可を示す。属性×は閲覧およびコピーともに不可であることを示す。利用者110は、公開リストに対して属性を設定する。具体的に説明すると、４枚の画像としてこれらの画像に対するデータ名に愛犬と犬小屋、愛犬とお散歩、愛犬とお友達および愛犬とごちそうがあり、属性×が設定されている。この動作の場合、利用者110は４枚の画像に対して属性○を設定する。
【００３４】
次に、利用者110は公開リスト記憶部28から公開する静止画像を操作部38の操作により選択する（ステップS12）。この選択を受けて、端末制御部24は、データ記憶部26に該当するデータ（静止画像）を取得するように制御信号により指示する。
【００３５】
この選択を受けて、ほぼ同時に端末制御部24は、画像用S/M部68が読み出されたディジタル画像信号76を選択し、かつ画像用S/M部64がディジタル画像信号76を示すディジタル画像信号80を選択するように制御信号70を出力する（ステップS14）。制御信号70には、送信する４枚のディジタル画像信号76における混合のさせ方を規定する情報を含めて供給してもよい。これは、混合方法の変更に相当している。画像この制御により、モニタ44には、利用者110が選択したディジタル画像信号76が表示されるとともに、ディジタル画像信号80が符号化され、AV通信制御部34、画像通信ネットワーク16を介して通信相手である通信端末装置14に供給し、供給された画像を選択することでモニタにディジタル画像信号76を表示させる。通信端末装置12および14は、互いに同じ静止画をモニタに表示させることにより仮想空間を構築したことになり、表示される静止画を鑑賞しながら、通話することが可能になる。後は、必要に応じて静止画像の選択を繰り返せばよい。
【００３６】
（動作２：相手から写真を借りて閲覧）
この場合も図５に示すように、利用者110により公開リストの設定（ステップS10）および静止画像の選択（ステップS12）が行われる。この段階では、４枚の画像に対する公開リストが通信端末装置12のモニタ44および通信端末装置14のモニタに表示されている。利用者112は、通信端末装置14のモニタに表示された公開リストを基に閲覧を所望する画像を選択する（ステップS16）。この画像選択は、通信端末装置14の操作部から入力される。操作による指示データは、端末制御部、データ通信制御部およびデータ通信ネットワーク18を通じて通信端末装置12に送られる。一方、通信端末装置12の画像用S/M部68は、操作メニュー画面を示す画像信号78を選択するように端末制御部24による制御を受ける。これにより、通信端末装置14のモニタには、通信端末装置12の操作メニュー画面および公開リストが表示される。利用者112はこの表示を基に公開リストから閲覧を所望する画像を操作部により選択する。また、通信端末装置12の画像用S/M部64は、通信端末装置14からの受信信号を表示させるように切替え制御されている。受信信号は、この場合、利用者112の顔画像等が相当する。
【００３７】
次に公開リストの中から選択した画像が閲覧可能か否かを判断する（ステップS18）。この判断は、画像を送出する送信元、すなわち通信端末装置12側で行われる。端末制御部24は、利用者112が選択した指示データを受けて、該当する公開リストの属性を画像毎にチェックする。閲覧できない場合（NO）、処理を一つ前の画像選択に戻す。すなわち、通信端末装置12は、通信端末装置14にデータ通信ネットワーク18を介して閲覧不可を通知し、操作メニューに再選択を要求する。また、閲覧可能な場合（YES）、画像の取得と混合の変更に処理を進める（ステップS14へ）。
【００３８】
次に画像の取得と混合の変更を行う（ステップS14）。端末制御部24は、データ記憶部26から指定した画像データを読み出すように指示するとともに、画像用S/M部68にディジタル画像信号76を選択し、画像用S/M部64にディジタル画像信号80を選択するように制御する。これにより、利用者112は公開リスト記憶部28にリストアップされた静止画を自分の操作で自由に閲覧することができる。また、利用者110は、操作部38からの指示データ48により端末制御部24を制御し、画像用S/M部64の入力信号をディジタル画像信号80または84のいずれかを選択させることができる。モニタ44には、画像用S/M部64の選択に応じて利用者112が閲覧している静止画の同時表示と閲覧している利用者112の顔画像の表示とのいずれかが表示される。通信端末装置12および14は、画像と音声はそれぞれ独立に切り替えることができるので、画像の切替えにより会話が途切れることはない。
【００３９】
（動作３：気に入った写真をその場で取得）
利用者110と利用者112とが画像通信中に、通信端末装置12のデータ記憶部26に保存されているデータの中から４枚の静止画像を選択して、そのうち１枚を通信端末装置14にコピーして、取得する場合、操作の主体は、利用者110と112の２種類に動作が分類される。前者が主体の場合、通信端末装置12から要求されたデータはデータ通信ネットワーク16を介して通信端末装置14から受信するとよい。
【００４０】
後者が主体の場合、図６に示すように、利用者110による公開リストの設定（ステップS10）および静止画像の選択（ステップS12）を含む利用者110による操作設定（サブルーチンSUB1）の後、利用者112の操作に応じて閲覧の可否を判定し、所望する画像の閲覧を行う（サブルーチンSUB2）。この閲覧までの手順は、図５に示したステップS16, S18およびS14に対応している。
【００４１】
利用者112が静止画を閲覧した後、そのうち１枚を欲しいと願い出たとする。通信端末装置12の公開リスト記憶部28の属性は閲覧までが指定されていたとする。利用者110は操作部38を操作して公開リスト記憶部28の属性を再設定する（ステップS20）。この設定の間、端末制御部24は、画像用S/M部64が画像信号78をモニタ44に供給することにより操作メニューを表示する。このように変更することで利用者110は端末制御部24の画面作成機能部94が作成するメニュー画面を参照するとともに、通信端末装置14にもこのメニュー画面が供給される。通信端末装置12は、再設定の完了後に再設定した公開リストを通信端末装置14に送る。
【００４２】
次に利用者112は、通信端末装置14の操作部を操作して、公開リスト記憶部26の内容をモニタに表示して、所望の静止画を選択する（ステップS22）。すなわちこの選択は、コピーを要求することに相当する。通信端末装置14では、通信端末装置12からの操作メニューおよび再設定された公開リストをモニタに表示して、情報を共有し、操作部から所望する静止画に対するコピーを要求する。通信端末装置14は、操作部から要求に対応して入力された指示データをデータ通信ネットワーク18の経由により通信端末装置12の端末制御部24に送る。
【００４３】
次に通信端末装置12の端末制御部24は、通信端末装置14から供給された指示データがどのような静止画の属性に対応しているかを調べ、コピーの可否を判断する（ステップS24）。端末制御部24は、静止画の属性がコピー不可の場合（NO）、コピー不可を示すデータをデータ通信ネットワーク18の経由により通信端末装置14に送る。通信端末装置14は、このデータを受けて新たな静止画のコピーを選択する（ステップS22へ）。図示していないが、コピー要求がない場合、この一連の処理を終了させる。また、要求の静止画がコピー可能な場合（YES）、静止画の送出処理に進む（ステップS26へ）。
【００４４】
通信端末装置12の端末制御部24は、データ記憶部26に格納されている目的の静止画を読出し制御して、データ通信ネットワーク18の経由で通信端末装置14へ送る（ステップS26）。
【００４５】
通信端末装置14は、静止画を受信すると、この装置の端末制御部による制御に応じてデータ記憶部に格納する（ステップS28）。これにより、利用者122は、通信端末装置12の公開リスト記憶部28にリストアップされているコピー可能な静止画を自分の操作で自由に取得することができる。
【００４６】
このように動作させることにより、離れた場所どうしで通話する場合であっても、実際に会って会話するときに起こる「いっしょに写真を順番に見る」、「相手から写真を借りて見せてもらう」および「気に入った写真があれば、その場でもらって帰る」等と同等なことができる。これにより、実際に会って会話しているような感覚がこの通信によって得ることができる。また、データを取得する側が操作する、すなわち受益者が作業することから、利益と作業のバランスを良好なものにできる。さらに、このような処理中であっても、通信の音声会話は途切れることなく、良好に保つことができる。
【００４７】
なお、本実施例は、静止画を再生する場合を説明したが、これに限定されるものでなく、他のディジタルデータであってもよい。音楽の再生、音声付のムービーの再生およびゲーム中の画面と音等の画像と音声を出力する様々なディジタルデータが対象となる。
【００４８】
次に本発明の通信システムを適用した画像通信システム10における他の実施例について説明する。本実施例の画像通信システム10は、非特許文献１に開示されているように、顔画像から抽出した顔の動きや表情を表すFAP（Facial Animation Parameter）を通信相手に送信し、FAPパラメータの受信側で、キャラクタ形状のモデル画像にFAPを適用して、顔画像の表情をモデル画像に反映させたコンピュータグラフィックで合成する画像通信システムである。この画像通信システム10は、通話中にディジタルデータの交換をしても、通信量の増大を回避して、ディジタルデータの送信中にはFAPの送信を中止する。中止の間、画像通信システム10は、たとえば表示されるキャラクタがものを渡す動作をさせる。
【００４９】
画像通信システム10は、図２に示したように通信端末装置12および14を有し、両装置12および14は、データ通信ネットワーク18だけで通信を行うように接続されている。
【００５０】
通信端末装置12は、図７に示すように、入出力部20、S/M部22、端末制御部24、データ記憶部26、符号化部30、復号部32、通信制御部114およびモデル記憶部1116を含む。入出力部20は、先の実施例と同様に操作部38、撮像部40、マイクロフォン42、モニタ44およびスピーカ46を備えるとともに、解析部118を含む。解析部118は、撮像部40から入力された顔画像を含むディジタル画像信号50とマイクロフォン42から入力されたディジタル音声信号52に基づいて表情抽出処理によりFAPを抽出する機能を有している。解析部118は、解析結果であるFAP 120を画像用S/M部64および通信制御部114に供給する。マイクロフォン42は、ディジタル音声信号52を解析部118だけでなく、S/M部22の音声用S/M部62および符号化部30にそれぞれ、供給している。
【００５１】
S/M部22は、音声用S/M部62および画像用S/M部64だけを含むことから、モニタS/M部58に相当する。とくに、本実施例の画像用S/M部64は、切替回路122および合成回路124を備えている。切替回路122は、通信相手先である通信端末装置14から供給されるFAPを含むディジタル画像信号84とFAP 120を端末制御部24からの制御信号70に応じて切り替えて、選択されたディジタル画像信号126を合成回路124に出力する。合成回路124は、モデル記憶部116から供給されるモデルデータ128とディジタル画像信号126とに基づいてたとえば３次元コンピュータグラフィックスによる表情を有するキャラクタ画像を逐次合成により生成する機能を有している。また、合成回路124は、端末制御部24からの指示があった場合、供給されるFAPに優先して、モデル記憶部116に格納されたデータに基づき特定のキャラクタ画像を合成する機能も有する。合成回路124は、切替回路122の切替え処理によって通信相手と自分が選んだキャラクタ画像をモニタ44に供給し、表示させる。これにより、モニタ44には、キャラクタ画像がアニメーション表示される。
【００５２】
なお、音声用S/M部62は、図示しないが、通信端末装置14からの受信した音声と合成回路124が出力した効果音等の音声との切替えおよび混合のいずれか一方を音声出力させるようにしてもよい。
【００５３】
端末制御部24は、図８に示すように、操作入力処理機能部86、S/M制御機能部88およびデータ管理機能部90を有し、新たにモデルデータ管理機能部130を備えている。モデルデータ管理機能部130は、モデル記憶部116に記憶されているキャラクタ画像の合成に用いるモデルデータを管理する機能を有している。端末制御部24は、これらの機能部によりS/M部22、データ記憶部26およびモデル記憶部116を制御している。また、端末制御部24は、データ線106が通信制御部114と接続されている。
【００５４】
符号化部30および復号部32は、図７に示した接続関係から明らかなように、音声信号に対して符号化および復号処理を行っている。符号化部30は、符号化したディジタルデータ102を通信制御部114に出力し、復号部32は、符号化されたディジタルデータ104を通信制御部114から入力している。
【００５５】
通信制御部114は、データ通信ネットワーク18を介して通信端末装置14のように通信相手先とのデータ通信を制御する機能を有している。本実施例の通信制御部114は、データ通信ネットワーク18だけを用いることから、先の実施例で配設したAV通信制御部34およびデータ通信制御部36を一つに統合したものに相当している。
【００５６】
モデル記憶部116は、たとえば３次元コンピュータグラフィックスで表すキャラクタ画像におけるキャラクタ形状のモデルデータおよびこのキャラクタに対して行わせる基本アクションのデータを記憶するメモリで、後述する利用リスト記憶部の構成要素である。モデル記憶部116は、端末制御部24とバス131により接続されている。また、モデル記憶部116は、図９に示すようなデータ構造を採用している。すなわち、キャラクタＡに対してモデル形状データを記憶させ、これ以降に基本アクションを複数個格納している。基本アクションとしては、アクションを表すFAP列または動画データが記憶されている。
【００５７】
次に本実施例の画像通信システム10における動作を説明する。本実施例では、実際の画像を送っているわけではないので、先の実施例における動作１、２および３を考えず、通信端末装置12から通信端末装置14にたとえば、特定の静止画データを渡す動作について説明する。
【００５８】
画像通信システム10は、通信端末装置12からデータ開始のコマンドを通信端末装置14に送信する（ステップS30）。通信端末装置12は、このコマンド送信に応じてFAP 120の送信を停止する（ステップS32）。
【００５９】
通信端末装置14の端末制御部がデータ開始コマンドを受信する（ステップS34）。この受信により、端末制御部は、直ちに供給されるFAPからの画像を合成する処理を中止させる（ステップS36）。同時に、端末制御部は、S/M部の合成回路にてアニメーションの再生を指示する。合成回路124は、モデル記憶部116から読み出したアニメーションのデータを取得し、画像を再生する（ステップS38）。再生した画像はモニタに出力する。ここで、再生するアニメーションは、たとえば受渡し動作を表すアニメーションを表示させることが好ましい。
【００６０】
通信端末装置12の端末制御部24は、データ記憶部26から目的のデータを読み出す制御を行い、このデータ通信ネットワーク18を経由して通信端末装置14に送信する（ステップS40）。通信端末装置14は、供給されるデータを受信する（ステップS42）。
【００６１】
通信端末装置12は、データの送信を終了すると、データ終了コマンドを通信端末装置14に送信する（ステップS44）。通信端末装置12は、この送信に応じてFAP 120の送信を再開する（ステップS46）。また、通信端末装置14では、データ終了コマンドを受信する（ステップS48）。通信端末装置14の端末制御部がデータ終了コマンドを受信した場合、端末制御部は、これまでに受信したデータをデータ記憶部に保存する（ステップS50）。端末制御部は、アニメーション再生の停止を画像用S/M部に対して制御する（ステップS52）。このように制御してデータ転送における処理を終了させる。この終了時に図示しないが、通信端末装置14の端末制御部は、供給されるFAPによる画像合成を再開させるように制御する。これにより、画像用S/M部64は、アニメーションの再生を中止し、FAPからの画像合成を再開する。
【００６２】
なお、音声に関してはディジタルデータの送信の有無に関わらず通話を続けるようにする。
【００６３】
このように動作させることにより、FAPの送信を中止し、ディジタルデータを送信することから、画像通信中にディジタルデータの送受信を行っても、全体の通信量を変化せずに済む。したがって、データ通信ネットワーク18の通信速度が遅い、いわゆる狭帯域であっても、通話者には画像通信が問題なく続けられているように感じさせて、自然に通話することができる。また、ディジタルデータの受渡し動作をアニメーション表示させると、離れた場所での会話を感じさせずに、実際に会ってもらうのに近い感覚が得られる。
【００６４】
また、本発明の通信システムを適用した画像通信システム10における他の実施例について図11を参照しながら、説明する。本実施例の画像通信システム10は、画像通信に用いるキャラクタ以外に、キャラクタが使用するガジェットが画面に現れるようにし、ガジェット特有のアクションができ、通話中にこのガジェットの貸し借りができるようにしている。
【００６５】
ここで、具体的には、ガジェットとしては、たとえばサングラスがあり、キャラクタにサングラスをかけたり、はずしたりするアクションができるようにする。また、利用者110のキャラクタがサングラスを持ち、利用者112のキャラクタがサングラスを持たないとき、利用者112は利用者110からそのサングラスを借りて利用者112のキャラクタにかけさせることができるようにする。さらに、相手のキャラクタが使用するガジェットを取得したい場合には、指示によりそのガジェットのコピーを取得できるようにする。
【００６６】
本実施例は、先の実施例と同じ構成要素を含む。端末制御部24は、図12に示すように、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90、操作中継機能部96およびモデルデータ管理機能部130を含む。端末制御部24は、先の実施例と比べると、操作中継機能部96を有し、操作入力に基づく各機能部間のデータの流れを制御し、S/M部22の動作を指示している。
【００６７】
図11に戻って、本実施例は、とくに、モデル記憶部116とともに、ガジェット記憶部132を備える利用リスト記憶部134を有していることに特徴がある。ガジェット記憶部132は、キャラクタが使用するガジェットの形状データとキャラクタがガジェットを使用するときのアクションのデータとを一時的に記憶するメモリで、モデル記憶部116に連動して該当キャラクタのガジェットが読み出される。  また、ガジェット記憶部132は、図13に示すように、一つのガジェットXに対してサングラスのようなガジェット形状データを記憶させ、かつこのガジェットの特別な動作に対する個々のキャラクタやその他用のデータを格納する。このようにガジェットは形状だけを表すデータではなく、たとえば、アクションやキャラクタに何等かの変化（色、形、動き）をもたらす情報でもよい。また、ガジェットは、使用しなくても持っているだけで変化が起こるガジェットがあってもよい。さらに、特別な動作は、一つに限定されず、キャラクタを共用させるように設定してもよい。
【００６８】
ガジェットの具体的な使い方としては、通話時にキャラクタがガジェットを持つことを指定することで基本アクションが上書きされ、従来とは違ったアクションを起こすようにしてもよい。また、上述したキャラクタを変化させる例としては、通話時にキャラクタのガジェット所有指定によりキャラクタの顔色、キャラクタを細くまたは太くすることおよびキャラクタの表情を上品または野性的にすること等がある。
【００６９】
本実施例の画像通信システム10における動作を説明する。先の実施例では、FAP 120が送信先でどのキャラクタモデルを使って画像化され、自分がどのような画像として表現されているか不明だった。本実施例では、画像通信に先立って使用するキャラクタおよびガジェットを決定し、通話する。
【００７０】
ここで、とくに、ガジェットを決める行為は、人と会うときに持っていくものを選ぶことに相当する。簡単のために利用者が選択できるガジェットは１つだけとする。本実施例は、以下に示す５つの動作について説明する。
【００７１】
（動作１：接続時）
まず、接続前に通信端末装置12および14をそれぞれ利用する利用者110および112は、それぞれが使うキャラクタとガジェットを設定する（ステップS60）。この設定により設定した内容は、利用する各画像通信装置の端末制御部に記憶される。
【００７２】
次に通信端末装置12と通信端末装置14との接続を行う（ステップS62）。接続が完了すると、通信端末装置12の端末制御部24は、通信相手先の通信端末装置14の端末制御部と通信し、端末制御部が記憶している利用者112が設定したキャラクタの情報を取得する。
【００７３】
通信端末装置12は、取得した通信相手が設定したキャラクタのモデルデータがデータ記憶部26内に存在するか否か検査する（ステップS64）。モデルデータが存在する場合（YES）、端末制御部24は、データのロードに進む（ステップS66へ）。存在しない場合（NO）、端末制御部24は、データの受信に進む（ステップS68へ）。
【００７４】
データのロードは、端末制御部24の制御によりデータ記憶部26のキャラクタデータをモデル記憶部116にロードする（ステップS66）。データの受信は、通信端末装置14の端末制御部に設定したキャラクタのモデルデータを通信端末装置12に送信するように依頼し、この依頼に応じて提供されたキャラクタのモデルデータをモデル記憶部116に書き込む（ステップS68）。
【００７５】
次にガジェットに関して同様に、通信端末装置12は、通信端末装置14の端末制御部が記憶している利用者112が設定したガジェットの情報を取得する。端末制御部24は、取得したガジェットの情報がデータ記憶部26内に存在するか否か検査する（ステップS70）。ガジェットの情報が存在する場合（YES）、データのロードに進む（ステップS72へ）。この情報が存在しない場合（NO）、端末制御部24は、データの受信に進む（ステップS74へ）。
【００７６】
ステップS72では、データ記憶部26のガジェットデータをガジェット記憶部132にロードする。また、ステップS74のデータの受信では、通信端末装置14の端末制御部に設定したガジェットのデータを通信端末装置12に送信するように依頼し、この依頼に応じて提供されたガジェットデータをガジェット記憶部132に書き込む。
【００７７】
この処理と同様の処理を通信端末装置14に対しても行う。通信端末装置14の端末制御部は、端末制御部24と通信し、端末制御部24が記憶している利用者110が設定したキャラクタの情報を取得する。通信端末装置14の端末制御部は、取得した通信相手が設定したキャラクタのモデルデータがデータ記憶部内に存在するか否か検査する（ステップS76）。モデルデータが存在する場合（YES）、通信端末装置14の端末制御部は、データのロードに進む（ステップS78へ）。該当する情報が存在しない場合（NO）、通信端末装置14の端末制御部は、データの受信に進む（ステップS80へ）。ステップS78では、通信端末装置14の端末制御部により通信端末装置14に拝されているデータ記憶部のキャラクタデータをモデル記憶部にロードする。また、データの受信は、通信端末装置12の端末制御部24に設定したキャラクタのモデルデータを通信端末装置14に送信するように依頼し、この依頼に応じて提供されたキャラクタのモデルデータを通信端末装置14内のモデル記憶部に書き込む（ステップS80）。
【００７８】
次にガジェットに関して、通信端末装置14は、通信端末装置12の端末制御部24が記憶している利用者110が設定したガジェットの情報を取得する。通信端末装置14の端末制御部は、取得したガジェットの情報が通信端末装置14内のデータ記憶部に存在するか否か検査する（ステップS82）。ガジェットの情報が存在する場合（YES）、データのロードに進む（ステップS84へ）。この情報が存在しない場合（NO）、端末制御部24は、データの受信に進む（ステップS86へ）。
【００７９】
ステップS84では、通信端末装置14のデータ記憶部に含まれる該当のガジェットデータを通信端末装置14のガジェット記憶部にロードする。また、ステップS86のデータの受信では、通信端末装置12の端末制御部24に設定したガジェットのデータを通信端末装置14に送信するように依頼し、この依頼に応じて提供されたガジェットデータを通信端末装置14のガジェット記憶部に書き込む。この一連の処理を行って、接続の動作を終了する。これにより、通信端末装置12および14にて設定したキャラクタおよびガジェットを通信相手と共有することができる。
【００８０】
（動作２：自分のガジェットを使う）
利用者110は、図15に示すように、操作部38を操作して端末制御部24に指示し、さらに、「自分のガジェットを使う」コマンドを通信端末装置14の端末制御部に発行する（ステップS90）。通信端末装置14の端末制御部がこのコマンドを受信する（ステップS92）。通信端末装置14の端末制御部は、合成回路に特別アクションの再生を指示して、制御する（ステップS94）。通信端末装置14の合成回路は、同装置内のガジェット記憶部から利用者110が設定しているキャラクタおよびガジェットにおける特別アクションのデータを読み出して、読み出したこれらのデータに基づいて画像を生成し、モニタに出力する。これにより、モニタには、利用者110が選んだ画像がアニメーション表示される。
【００８１】
（動作３：相手のガジェットを使う）
利用者110が相手のガジェットを使う場合は、図16に示すように、操作部38を操作して端末制御部24に指示する。端末制御部24は「相手のガジェットを使う」コマンドを通信端末装置14の端末制御部に発行する（ステップS100）。通信端末装置14の端末制御部がこのコマンドを受信する（ステップS102）。この端末制御部は、この通信端末装置14内の合成回路に特別アクションの再生を指示して、制御する（ステップS104）。この指示とほぼ同時に端末制御部は、ガジェット記憶部から利用者110の設定したキャラクタと利用者112の設定したガジェットを使用した場合の特別アクションを起こさせるデータを読み出すように制御する。通信端末装置14内の合成回路は、供給されるデータに基づいて画像を生成し、モニタに出力する。これにより、モニタには、利用者110が選んだ画像がアニメーション表示される。
【００８２】
（動作４：相手のガジェットをもらう）
利用者110が利用者112のガジェットを取得したい場合は、操作部38を操作して端末制御部24に指示データ48を出力する。利用者112が選択したガジェットのデータは、接続時にガジェット記憶部132に記憶している。端末制御部24は、該当するデータをデータ記憶部26に書き込むように制御する。これにより、通信端末装置12は、相手のガジェットのコピーを得ることができる。
【００８３】
（動作５：自分のキャラクタを見る）
利用者112がどのような画像を見ているか、利用者110がモニタする場合、操作部38を操作して、端末制御部24に指示する。端末制御部24は、画像用S/M部64の切替回路122と合成回路124を制御信号70により制御して、通信端末装置14に送信しているFAP 120と利用者110が設定したキャラクタおよびガジェットに基づいて画像を作成し、この作成結果が通信端末装置14の合成回路が作成する画像と同じものにしている。これにより、通信端末装置14に表示させる画像を通信端末装置12で確認することができる。
【００８４】
本実施例を要約すると、ガジェットにアクションのデータを記録することにより、キャラクタのデータを変更せずに、自然な形でキャラクタのアクションを追加することが可能になる。また、互いに持参したガジェットの貸し借りや受け渡しを行うことができる。同じガジェットでもそれを使用するキャラクタによって違うアクションをすることができ、これにより、相手の持参したガジェットを使うことによって自分のキャラクタが今までにないアクションをしたりするので、利用者に斬新な驚きや、何が起こるのだろうという期待感を提供することができる。さらに、相手がどのような画像をみているのかをモニタすることができる。このような利用の仕方から、利用者に「ガジェットを集める楽しみ」を提供することができる。
【００８５】
本発明の通信システムを適用した画像通信システム10における他の実施例について図11を参照しながら、説明する。最初の実施例は、撮像部40で撮影した画像を通信端末装置14に送信し、他の実施例は撮像部40で撮影した画像を解析し、解析結果だけを通信端末装置14に送信して、通信端末装置14で画像合成して、アニメーション表示させている。
【００８６】
本実施例は、送信元に対応する通信端末装置12で表情を反映させたキャラクタ画像を生成し、生成した画像を通信相手の通信端末装置14に送信する点、先の実施例にて制限した選択できるガジェットの数を無制限にする点、ガジェットの取出しと収納を行う点および送信元から通信相手先への指示により、相手側で表示される画像のアクションに影響を与える点に特徴がある。
【００８７】
ここで、ガジェットの取出しとは、自分が使うガジェットを手元に置いておく動作である。取り出したガジェットは通信相手からもその存在がわかるようにする。これにより、相手のガジェットを借りて使うことができるようにする。収納は、取出しの反対の動作である。
【００８８】
本実施例における通信端末装置12は、基本的に第１および第３の実施例の構成に基づき、画像通信ネットワーク16およびデータ通信ネットワーク18にそれぞれ接続されている。これらの特徴を実現させる上で、通信端末装置12は、図17に示すように、入出力部20、S/M部22、端末制御部24、データ記憶部26、利用リスト記憶部134、符号化部30、復号部32、AV通信制御部34、データ通信制御部36および画像合成部136を含む。
【００８９】
各構成要素が有する特徴点について簡単に説明する。入出力部20は、第３の実施例と同様に解析部118を備えている。S/M部22は、第１の実施例のモニタS/M部58および送信S/M部60を有している。送信S/M部60の音声用S/M部66と画像用S/M部68には、第１の実施例にて供給された各データとともに、画像合成部136から供給されるディジタル音声信号138とディジタル画像信号140がそれぞれ供給されている。利用リスト記憶部134は、公開リスト記憶部28、モデル記憶部116およびガジェット記憶部132を有している。
【００９０】
画像合成部136は、解析部118から供給されるFAP 120とガジェットデータを含むモデル記憶部116からのモデルデータ128とに基づいて表情を反映させたキャラクタ画像を合成または生成する。出力するキャラクタ画像138は、さらにガジェットデータも供給されることによりガジェットに対応するアクションを反映して表現されている。画像合成部136は、解析部118から音声データを含むFAP 120として供給されると、FAP 120から分離した音声データ140を音声用S/M部66に出力する機能も有している。画像合成部136は、端末制御部24から供給される制御信号70により制御される。
【００９１】
なお、S/M部22は、上述した画像合成部136を含むように構成してもよい。
【００９２】
本実施例の端末制御部24は、図18に示すように、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90、公開リスト管理機能部92、画面作成機能部94、操作入力中継機能部96およびモデルデータ管理機能部130、すべての機能部を含む。端末制御部24は、各部を制御している。
【００９３】
次に本実施例の画像通信システム10における４つの動作を説明する。
【００９４】
（動作１：ガジェットの取出しと収納）
ガジェットの取出しと収納の手順について図19を参照しながら、説明する。通信端末装置12は、端末制御部24にて利用者110の指示データがガジェットの取出しであるか否かを検査する（ステップS110）。検査結果がガジェットの取出しの場合（YES）、ガジェットの取出し選択処理に進む（ステップS112）。また、検査結果がガジェットの取出しでない場合（NO）、ガジェットの収納処理に進む（ステップS114）。
【００９５】
次にガジェットの取出し選択処理（ステップS112）において、端末制御部24は、データ記憶部26に記憶されているガジェットデータから取り出すガジェットを選択する操作メニューを作成し、モニタ44に表示させ、操作部38により利用者110に取出しガジェットを選択させる。
【００９６】
次に端末制御部24は、選択されたガジェットデータを公開リスト記憶部28に供給し、追加させる（ステップS116）。端末制御部24は、選択されたガジェットデータの情報を通信端末装置14に通知する（ステップS118）。この通知は、データ通信ネットワーク18を介して行う。
【００９７】
通信端末装置14の端末制御部は、この通知を受信すると、通知が示すガジェットデータがガジェット記憶部に存在しないか否かを検査する（ステップS120）、存在する場合（NO）、端末制御部は処理を終了に移行させて、終了する。また、存在しない場合（YES）、通信端末装置14のデータ記憶部に該当のガジェットデータが存在しないか否かを検査する（ステップS122）。該当のガジェットデータが存在する場合（NO）、この端末制御部は、データ記憶部から該当のガジェットデータを通信端末装置14内のガジェット記憶部にロードする（ステップS124）。また、該当のガジェットデータ存在しない場合（YES）、通信端末装置12にガジェットデータの転送依頼を通知して、通信端末装置12に該当のガジェットデータを転送させる（ステップS126）。通信端末装置14は、受信した該当のガジェットデータを通信端末装置14のガジェット記憶部に書き込む。これ以降、終了に移行して取出しガジェット処理を終了する。
【００９８】
また、前述した取出しでない、ガジェットの収納処理において通信端末装置12の端末制御部24は、公開リスト記憶部28の内容に基づいてガジェットを選択するメニューを作成し、利用者110に操作部38からの指示データ48により収納するガジェットを選択する（ステップS114）。
【００９９】
次に端末制御部24は、公開リスト記憶部28を制御して、選択されたガジェットデータを公開リスト記憶部28から削除する（ステップS128）。これ以後、終了に移行して収納処理を終了する。
【０１００】
（動作２：ガジェットを使う）
ガジェットを使う指示に対応する手順について図20を参照しながら、説明する。通信端末装置12の端末制御部24は、公開リスト記憶部28と通信端末装置14の公開リスト記憶部の内容に基づいて使用するガジェットを選択するメニューを作成する。通信端末装置12では、作成したメニューを用いて操作部38から利用者110に応じて供給される指示データ48により使用するガジェットが選択される（ステップS130）。
【０１０１】
次に、利用者110が選択したガジェットが通信端末装置14の公開リスト記憶部に記載されているガジェットの場合、通信端末装置12の端末制御部24は、通信端末装置14のガジェットにおける属性を検査する（ステップS132）。このガジェットの属性が使用できない場合（NO）、処理を終了に移行させ、終了する。また、このガジェットが使用できる場合（YES）、次に判断に移行する（ステップS134へ）。
【０１０２】
端末制御部24は、利用者110が選択したガジェットを利用者110のキャラクタに使用したとき、ガジェットのアクションが相手に影響するアクションか否かを検査する（ステップS134）。影響しない場合（YES）、画像生成処理に進む（ステップS136へ）。また、影響する場合（NO）、端末制御部24は、通信端末装置14への通知処理に進む（ステップS138へ）。
【０１０３】
画像生成処理は、画像合成部136を端末制御部24によって制御し、モデルデータに基づくキャラクタ画像を生成し、このキャラクタ画像とガジェット（小道具）を用いたアクションに対応した画像とを合成して、画像合成部136から出力する（ステップS136）。この出力を連続することにより、通信端末装置14のモニタにアニメーションとして表示される。本実施例では、画像生成は、通信が終了するまで行われるものとする。
【０１０４】
通知処理は、アクション指定コマンドを送信する（ステップS138）。通信端末装置14の端末制御部は、アクション指定コマンドの受信する（ステップS140）。
【０１０５】
次に画像生成処理は、通信端末装置14の端末制御部により通信端末装置14の画像生成部に使用するガジェットが表示させる相手側でのアクションに影響することに対応した制御を受ける。画像生成処理は、モデルデータに基づくキャラクタ画像を生成し、このキャラクタ画像とガジェット（小道具）を用いたアクションが影響する画像とを合成して、通信端末装置14の画像合成部から出力する（ステップS142）。この処理は、図示しないが、ガジェットの変更や前述したように通信の終了まで行われる。
【０１０６】
相手に影響を与えるアクションの具体例を簡単に説明する。相手に影響を与えるアクションとして「相手を石にしてしまう」ガジェットがあった場合、利用者110がこのガジェットを使用すると、利用者112のキャラクタは色が灰色になり、動きを本来の10分の1にするようにして動きが鈍くなるようにする。再び、このガジェットを使用すると元通りに戻るように動作させる。
【０１０７】
（動作３：ガジェットを相手にあげる）
ガジェットを相手にあげる指示に対応する手順について図21を参照しながら、説明する。ここで、通信端末装置14のガジェット記憶部にはすでにもらうガジェットデータが格納されているものとする。端末制御部24は、公開リスト記憶部28の内容に基づいてあげるガジェットを選択するメニューを作成する。これにより、通信端末装置12は、操作部38を介して利用者110が相手にあげるガジェットを選択させる（ステップS150）。
【０１０８】
端末制御部24は、この選択を受けて相手にあげるガジェットを通信端末装置14の端末制御部に通知する（ステップS152）。通信端末装置14の端末制御部が通知を受けると、通信端末装置14のガジェット記憶部に存在する該当のガジェットデータを通信端末装置14のデータ記憶部に書き込む（ステップS154）。これにより、相手にあげる処理を終了する。
【０１０９】
（動作４：相手のガジェットをもらう）
相手のガジェットをもらうことの指示に対応する手順について図22を参照しながら、説明する。端末制御部24は、通信相手である通信端末装置14の公開リスト記憶部の内容を取得し、取得した内容に基づいてもらうガジェットを選択するメニューを作成する。これにより、通信端末装置12は、操作部38を介して利用者110が相手にもらうガジェットを選択させる（ステップS160）。
【０１１０】
次に端末制御部24は、利用者110が通信端末装置14の公開リスト記憶部が有する選択したガジェットの属性を検査する（ステップS162）。この公開リスト記憶部が有するガジェットには使用およびコピーの可否を表す属性が設定されている。属性は、◎, ○および×で表す。属性◎は使用およびコピーが可能であることを示し、属性○は使用が可能で、コピーが不可を示す。属性×は使用およびコピーともに不可であることを示す。より具体的には、ガジェット名にサングラス、パーティクラッカ、魔法の杖およびメデューサの首に対してそれぞれ、属性◎, ○, ×および×が設定される。属性が、コピー可能でない場合（NO）、処理を終了に移行させて、終了する。また、コピー可能な場合（YES）、通信端末装置12のガジェット記憶部132に書き込まれている該当ガジェットデータをデータ記憶部26に書き込む（ステップS164）。これにより、相手からのガジェットデータを取得する処理を終了に移行し、終了する。
【０１１１】
通信端末装置12および14が有する公開リスト記憶部において各ガジェットの属性を設定することにより、相手に対する自分のガジェットの使用やコピーの可否を制御することができ、互いに持参したガジェットの貸し借りや受け渡しが可能になる。
【０１１２】
次に画像通信システム10におけるネットワークの利用について説明する。これまで記載した実施例の内、ネットワークの利用は、画像通信ネットワーク16とデータ通信ネットワーク18を同時に並行した利用およびデータ通信ネットワーク18だけを利用する場合を説明した。しかしながら、ネットワークの利用は、この利用に限定されるものでなく、画像通信ネットワーク16とデータ通信ネットワーク18に接続させながら、一方のネットワークを利用してもよい。
【０１１３】
本実施例における画像通信システム10の通信端末装置12および14は、上述した実施例のものを用いている。画像通信システム10は、両ネットワーク16および18の同時利用ができない条件の基で、図23に示すように、ユーザ管理サーバ170をデータ通信ネットワーク18に接続させている点に特徴がある。ユーザ管理サーバ170は、ユーザ情報データベース（DB）172、モデルデータベース（DB）174、課金処理部176、サーバ制御部178および通信制御部180を含む。
【０１１４】
ユーザ情報DB 172は、利用者の各種情報を記録したデータベースであり、たとえば氏名、性別および年齢の基礎データ、ならびに各キャラクタやガジェットについて利用者が所有している数等を記録するストレージである。ユーザ情報DB 172は、バス182を介して課金処理部176に接続されている。また、モデルDB 174は、様々なキャラクタのモデルデータ、各種のガジェットを表すガジェットデータおよびそれぞれの販売価格を記録したデータベースであり、ストレージである。モデルDB 174は、バス184を介してサーバ制御部178に接続されている。
【０１１５】
課金処理部176は、利用者がキャラクタやガジェットの購入に応じて課金する機能を有している。課金処理部176は、この課金を行う情報186をサーバ制御部178から受けている。また、課金処理部176は、課金情報をユーザ情報DB 172に供給して記録してもよい。
【０１１６】
サーバ制御部178は、ユーザ管理サーバ170全体の動作を制御信号188により制御するとともに、接続した複数の画像通信装置での使用キャラクタや使用ガジェットの情報を集中管理する機能を有している。
【０１１７】
通信制御部は、接続先との通信を制御する機能を有する。通信制御部180は、課金処理部176との接続により課金情報やユーザ情報等のデータ190を通信し、サーバ制御部178との接続によりモデルデータおよびガジェットデータの利用データ192を通信する。さらに、通信制御部180は、データ線194によりデータ通信ネットワーク18を介して通信端末装置12や通信端末装置14とデータ通信を行っている。
【０１１８】
また、課金処理部176およびサーバ制御部178の処理によりガジェットの購入とガジェットの交換や受渡しを可能にする。この交換および受渡しは、後段で説明するように、ガジェットのコピーを作成することなく、行う点に特徴がある。本実施例では、再び利用者が選択できるガジェットの数を最大で1個に制限する。
【０１１９】
次に本実施例における画像通信システム10の３つの動作について図24〜図28を参照しながら、説明する。
【０１２０】
（動作１：接続時）
利用者110が通信端末装置12により通信相手として利用者112の通信端末装置14を指定すると、図24に示すように、通信端末装置12に対するキャラクタおよびガジェットの設定および確認処理を行う（サブステップSUB3）。次に通信端末装置14に対するキャラクタおよびガジェットの設定および確認処理を行う（サブステップSUB4）。
【０１２１】
これらの設定後に、通信端末装置12の端末制御部24にて利用者112が所望するガジェットのガジェットデータがデータ記憶部26に存在するか否か検査する（ステップS200）、ガジェットデータが存在する場合（YES）、このガジェットデータのロードに進み（ステップS202）、ガジェットデータが存在しない場合（NO）ガジェットデータのダウンロードに進む（ステップS204へ）。
【０１２２】
ガジェットデータのロードは、確認されたガジェットデータをガジェット記憶部132にロードする（ステップS202）。また、ガジェットのダウンロードは、モデルDB 174から該当するガジェットデータをダウンロードする（ステップS204）。
【０１２３】
次にユーザ管理サーバ170は、通信端末装置14との接続を切断する（ステップS206）。また、ユーザ管理サーバ170は、通信端末装置12との接続を切断する（ステップS208）。このように通信端末装置12および14はユーザ管理サーバ170と接続を切断した後、画像通信装置12は、画像通信ネットワーク16を経由して画像通信装置14と接続し、画像通信を開始する（ステップS210）。この開始にともない、接続時の処理を終了する。
【０１２４】
次に通信端末装置12の接続処理について説明する（サブルーチンSUB3）。図25に示すように、通信端末装置12はユーザ管理サーバ170に接続する（ステップS300）。接続が完了すると、サーバ制御部178は利用者110を認証し、ユーザ情報DB 172から利用者110が所有するキャラクタとガジェットのデータを読み出して、通信端末装置12に送信する。
【０１２５】
通信端末装置12は、供給された情報に基づいて利用するキャラクタとガジェットを選択するメニューを作成し、操作部38の操作により利用者110に選択させる（ステップS302）。ユーザ情報DB 172には、キャラクタやガジェットの有無に関するデータが格納されている。これらのデータは図26に示すような一覧表196にて有無を「1」または「0」で表示される。また、メニューは、図27の画面198が示すように、所有する利用データを表示し、所有していない利用データに対処して新規購入のボタンを設けている。
【０１２６】
なお、メニュー作成およびデータの送信は、サーバ制御部178で行うようにしてもよい。
【０１２７】
サーバ制御部178は、利用者110が所望するキャラクタを利用者110が所有しているか否かをユーザ情報DB 172を検査する（ステップS304）。キャラクタを所有している場合（YES）、通信端末装置12の確認処理に進み（ステップS306）、キャラクタを所有していない場合（NO）、課金処理に進む（ステップS308へ）。
【０１２８】
通信端末装置12の確認処理は、端末制御部24で行う（ステップS306）。端末制御部24は、利用者110が所望したキャラクタのモデルデータがデータ記憶部26にあるか否か検査する。該当のモデルデータが存在する場合（YES）、ロード処理に進む（ステップS310へ）。また、該当のモデルデータが存在しない場合（NO）、ダウンロード処理に進む（ステップS312へ）。
【０１２９】
ロード処理は、キャラクタデータをモデルデータ記憶部122にロードする（ステップS310）。
【０１３０】
前述した所望のキャラクタを持っていない場合、所望するキャラクタの購入を依頼し、課金処理部176にてキャラクタの購入にともなう課金処理を行う（ステップS308）。サーバ制御部178は、この課金処理部176を制御し、得られた課金情報に応じてユーザ情報DB 172の内容を更新する。この処理後またはデータ記憶部26に所望のキャラクタがない場合にダウンロード処理を行う（ステップS312）。ダウンロード処理は、通信端末装置12が端末制御部24の制御によりデータ通信ネットワーク18を介して通信端末装置12にモデルDB 714から利用者110が所望するキャラクタのモデルデータをダウンロードする。
【０１３１】
次に、端末制御部24は、ガジェットについて上述したキャラクタのモデルデータと同様の処理を行う。すなわち、利用者110が所望するガジェットを利用者110が所有しているか否かをユーザ情報DB 172の内容で検査する（ステップS314）。所望のガジェットを所有している場合（YES）、次の判断処理に進み（ステップS316へ）、所望のガジェットを所有していない場合（NO）、ガジェットの購入の処理に進む（ステップS318へ）。端末制御部24は、課金処理部176にガジェット購入とこれにともなう課金処理を依頼する。サーバ制御部178の制御により、課金処理部176は、ユーザ情報DB 172に対して内容を更新させる。
【０１３２】
次に端末制御部24は、利用者110が所望するガジェットのガジェットデータがデータ記憶部26に存在するか否か検査する（ステップS316）。対応するガジェットデータが存在する場合（YES）、端末制御部24は、ガジェットデータをガジェット記憶部132にロードさせる（ステップS320）。また、対応するガジェットデータが存在しない場合（NO）、データ通信ネットワーク18を介して通信端末装置12にモデルDB 714から利用者110が所望するガジェットデータをダウンロードする（ステップS322）。
【０１３３】
このようにして通信端末装置12の動作において用いる、所望するキャラクタのモデルデータおよびガジェットデータが装置12に設定される。
【０１３４】
次に通信端末装置14の接続処理について簡単に説明する（サブルーチンSUB4）。図28に示すように、ユーザ管理サーバ装置170は、利用者110が通信相手に選んだ利用者112の情報に基づいて通信端末装置14と接続する（ステップS400）。次に利用者112が所望するキャラクタとガジェットを決定する（ステップS402）。決定する方法としては、たとえば最後の通話で使用したキャラクタとガジェットを使う方法等がある。
【０１３５】
次に、通信端末装置14の端末制御部は、利用者112が所望するキャラクタのキャラクタデータが通信端末装置14のデータ記憶部に存在するか否かを検査する（ステップS404）。所望するキャラクタが存在する場合（YES）、キャラクタデータをモデル記憶部にロードする（ステップS406）。また、所望するキャラクタが存在しない場合（NO）、所望するキャラクタデータをモデルDB 174からダウンロードする（ステップS408）。同様に、利用者112が所望するガジェットのガジェットデータが通信端末装置14のデータ記憶部に存在するか否かを検査する（ステップS410）、所望するガジェットが存在する場合（YES）、ガジェットデータを通信端末装置14のガジェット記憶部にロードする（ステップS412）。また、所望のガジェットが存在しない場合（NO）、ガジェットデータをモデルDB 174からダウンロードする（ステップS414）。
【０１３６】
さらに、通信端末装置14は、利用者110が利用するガジェットのガジェットデータが通信端末装置14のデータ記憶部に存在するか否かを検査する（ステップS416）、通信相手が所望するガジェットが存在する場合（YES）、ガジェットデータを通信端末装置14のガジェット記憶部にロードする（ステップS418）。また、通信相手が所望するガジェットが存在しない場合（NO）、ガジェットデータをモデルDB 174からダウンロードする（ステップS420）。
【０１３７】
このようにして通信端末装置14の動作において用いる、所望するキャラクタのモデルデータおよびガジェットデータが通信端末装置14に設定される。
【０１３８】
（動作２：ガジェットを使う）
利用者110が、自分のガジェットの使用を操作部38により指示すると、端末制御部24は、画像合成部136を制御する。画像合成部136は、供給された指示に応じた特別アクションを再生する。画像合成部124は、再生においてガジェット記憶部132から利用者110のガジェットを使用した際の特別アクションのデータを読み出して、キャラクタに読み出したデータに基づく特別アクションを行わせるように画像を連続的に生成する。これにより、キャラクタ画像をアニメーション表示させている。
【０１３９】
同様に、利用者110が通信相手のガジェットの使用を操作部38により指示すると、あらかじめガジェット記憶部132に格納されている利用者112のガジェットを使用した場合の特別アクションのデータを読み出して、キャラクタに読み出したデータに基づく特別アクションを行わせるように画像を連続的に生成する。これにより、キャラクタ画像をアニメーション表示させている。
【０１４０】
（動作３：切断時）
利用者110と利用者112との通信または通話を終了する際に行われる動作手順について図29を用いて説明する。まず、利用者110および利用者112のいずれかの操作により、通信端末装置12と通信端末装置14の画像通信が切断される（ステップS220）。この切断時に通信端末装置12は、端末制御部24によりガジェットの交換を行うか否か複数の選択肢からなる図30に示すようなメニュー200を作成し、モニタ表示する。利用者110は、操作部38を介して表示の中から選択する（ステップS222）。また、通信端末装置14でも通信端末装置12と同様に利用者112にガジェットの交換における希望を入力させる（ステップS224）。
【０１４１】
次に通信端末装置12は、ユーザ管理サーバ170と接続する（ステップS226）。同様に、通信端末装置14もユーザ管理サーバ170と接続する（ステップS228）。サーバ170のサーバ制御部178は、通信端末装置12と通信端末装置14からそれぞれ供給される入力結果を基にユーザ情報DB 172の内容を書き換える（ステップS230）。利用者110および利用者112の入力内容とユーザ情報DB 172の書き換えの関係は、図31に示す表202のようにまとめられる。記号「−」は変化なし、記号「⇒」はガジェットの提供および記号「⇔」はガジェットの交換をそれぞれ、意味している。後者２つの記号の両端に利用者を示す、たとえば括弧内の数字を配して、提供元と提供先をそれぞれ表している。表202は、一つのガジェットに対して入力される可能性を示したものである。
【０１４２】
次に通信端末装置12には、ユーザ管理サーバ170から利用者110および112の交換に関する情報が提供される。通信端末装置12は、端末制御部24で提供された情報を基に画面を作成する（ステップS232）。通信端末装置14にも上述した交換に関する情報が提供される。通信端末装置14でもこれらの情報を基に画面が作成される（ステップS234）。作成される画面は、図32に示すようなメッセージ画面である。通信端末装置12および14には、図31の情報を基にそれぞれ、自分を主体にしたメッセージが表示される。記号「−」はメッセージなし、記号「×」は交換拒否、記号「●」は提供、記号「○」は交換および記号「◎」はもらうこと（授受）をそれぞれ、表している。通信端末装置12および14は、それぞれ、主体を考慮して記号を付している。したがって、メッセージの表示は、図32(a)と(b)とで表示位置が右斜め下向きの対角に対して対称に表される。
【０１４３】
次に通信端末装置12および14は、それぞれ、ユーザ管理サーバ170との接続を切断する（ステップS236, S238）。これにより、切断処理を終了に移行させて、処理を終える。
【０１４４】
このように動作させることにより、通信に際して互いに持参したガジェットの貸し借りや受け渡しを可能にし、コピーしてあげていないから、ガジェットを人にあげると自分は使えなくなり、より現実の世界に近い感覚を得ることができる。
【０１４５】
以上のように構成することにより、通信端末装置12および14同士での通信において、入力される情報だけでなく、AV通信制御部34およびデータ通信制御部36の内、データ通信制御部36を介して供給される通信相手である通信端末装置14からの情報にも基づいて端末制御部24を動作させ、S/M部22を制御することにより、通信端末装置12が通信相手の通信端末装置14で操作することができ、かつ操作結果を受信画像として確認することもできる。
【０１４６】
通信端末装置は、データ記憶部26および利用リスト記憶部134とを含み、端末制御部24に制御に応じて動作し、提供可能な利用情報を通信相手同士に供給して確認しながら、所望のデータをデータ記憶部26から取得することができる。
【０１４７】
利用リスト記憶部134には、公開リスト記憶部28、モデル記憶部116ならびにモデル記憶部116およびガジェット記憶部132の組合せの少なくとも一つを含んで、利用者が所望する情報の受渡しに寄与することができる。
【０１４８】
また、利用リスト記憶部134は、利用情報のそれぞれをデータ名とこのデータ名に対する属性を組み合わせて記憶し、この属性を基に外部からの操作の可否を検査して、互いに指示を装置に受け入れ、所望の情報の取得や表示等を行うことができる。
【０１４９】
入出力部20は、撮像部40、モニタおよび操作部38を有して、画像通信を行い、解析部118は、顔画像に含まれる表情をパラメータとして抽出して、異なるキャラクタ画像を生成するようにデータ提供することができる。
【０１５０】
画像合成部136は、FAP 120およびモデルデータ128またはモデルデータ128およびガジェットデータの組を基に画像を生成することにより、顔画像の表情に対応したキャラクタ画像の生成や特定のアクションをキャラクタ画像にさせる画像生成を実現させることができる。また、ガジェットデータは、キャラクタ画像の色、形状およびキャラクタの特定の動きが記述されていると、送信側の気持ちを反映させた画像を通信相手の通信端末装置14に提供できることから、画像通信におけるコミュニケーション力をより一層高めることができる。
【０１５１】
端末制御部24は、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90、公開リスト管理機能部92、画面作成機能部94および操作入力中継機能部96を含むことにより、通信端末装置12が通信相手の通信端末装置14で操作することができ、かつ操作結果を受信画像として確認でき、所望する情報を容易に取得することもできる。
【０１５２】
端末制御部24は、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90およびモデルデータ管理機能部130を含むことにより、画像解析した結果、すなわちFAP 120だけを通信相手側に供給し、通信相手側から供給されるFAPを含むデータ84とモデルデータ128を基に画像を生成し、モニタ44に表示させることができる。
【０１５３】
端末制御部24は、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90およびモデルデータ管理機能部130とともに、操作入力中継機能部96を含むことにより、所望のガジェットの取得が通信相手の通信端末装置14から指示を得るだけで容易にコピーし、もらうことができる。
【０１５４】
端末制御部24は、操作入力処理機能部86、S/M制御機能部88、データ管理機能部90、公開リスト管理機能部92、画面作成機能部94、操作入力中継機能部96およびモデルデータ管理機能部130を含み、利用リスト記憶部134に公開リスト記憶部28、モデル記憶部116およびガジェット記憶部132を含むことにより、表情を反映した画像を通信相手の通信端末装置14に送ることができる。
【０１５５】
端末制御部24は、FAP 120の送出を一時的な停止と再開を制御し、この制御に応じて指示を通信相手の通信端末装置14に供給して、通信端末装置14にて停止から再開までの間、画像合成部136でガジェットデータを基に画像を生成して特定のアクションを行わせることにより、停止から再開までの間に行う処理による画像表示の停止を避けることができる。
【０１５６】
端末制御部24は、通信相手の通信端末装置14から供給される送信側または受信側のガジェットデータを使用する指示に応じて画像合成部136で画像を生成し、出力することにより、自分や相手の選択したガジェットで作成した画像を表示させることができる。
【０１５７】
端末制御部24は、公開リスト記憶部28にデータ名として記憶された所望のガジェットデータの有無およびガジェットデータが有する属性に応じて外部からのここのガジェットデータの利用およびコピーの可否を表示する制御を行うことにより、利用できるガジェットか否かを容易に送信および受信の双方で知ることができる。
【０１５８】
端末制御部24は、送信側および受信側にて設定したガジェットデータのいずれかの使用とともに、表示する画像に影響をもたらすデータか否かの情報も通信相手の通信端末装置14に通知し、通信端末装置14の画像合成部にてガジェットデータが含むパラメータの影響を基に画像を生成し、画像を出力することで、通信相手側の画像でも影響を受けて表示することができ、コミュニケーション力の高い画像通信を実現することができる。
【０１５９】
入出力部20は、マイクロフォン42およびスピーカ46を含み、S/M部22は音声用S/M部66および62からそれぞれ出力されるデータを選択することにより、通信におけるコミュニケーションに対して大いに寄与させることができる。
【０１６０】
S/M部22は、送信中の画像と音声とをそれぞれ独立にモニタすることにより、通信を妨げることなく、選択した情報を容易に確認することができる。
【０１６１】
画像通信システム10は、通信端末装置12および14が接続されているデータ通信ネットワーク18にユーザ管理サーバ170を備え、ユーザ管理サーバ170は、ユーザ情報データベース172、モデルデータベース174、通信制御部180およびサーバ制御部178を含み、サーバ制御部178は、互いに画像通信を開始する通信端末装置12および14それぞれと事前に接続し、モデルデータが示すキャラクタおよびガジェットデータを使用に応じて決定させて、通信端末装置12および14のそれぞれに対して相手が使用するガジェットデータを取得させることにより、持参したガジェットの賃貸や受渡しを行うことができる。
【０１６２】
サーバ制御部178は、互いに画像通信を終了した通信端末装置12および14のそれぞれと事後に接続し、通信通信装置12および14のそれぞれから各利用者の希望を取得し、この取得結果に基づいてユーザ情報データベース172の内容を書き換えて、ガジェットデータの授受および交換を行うことにより、より現実に近い使い勝手を利用者に与えることができる。
【０１６３】
ユーザ情報データベース172は、キャラクタおよびガジェットデータの購入にともなう決済情報を記録し、モデルデータベース174は、キャラクタおよびガジェットデータの販売価格情報を記録し、ユーザ管理サーバ170は、販売価格を基に購入した情報に対して課金処理して、決済情報を生成する課金処理部176を含むことにより、ネットワークに接続した通信端末装置12および14が所有していない情報を取得することができ、この取得にともなう課金が行われ、利用者に決済情報が管理されるから、利用者は使用における現状を的確に把握することができる。
【産業上の利用可能性】
【０１６４】
画像通信システム10は、実施例中において画像通信ネットワーク16とデータ通信ネットワーク18とを別々のネットワークとして説明したが、一つのネットワークがあればよい。二つのネットワークを有する場合、画像通信とデータ通信の両方が同時にできることが好ましい。ただし、最後に説明した実施例では、画像通信とデータ通信のいずれか一方ができればよい。
【０１６５】
また、通信端末装置は、画像を描画できるものであればよく、たとえば携帯電話機に用いて好適である。
【図面の簡単な説明】
【０１６６】
【図１】本発明の通信システムに適用する実施例における通信端末装置の概略的な構成を示すブロック図である。
【図２】本発明の通信システムを適用する実施例における画像通信システムのネットワーク接続を説明する図である。
【図３】図１の通信端末装置における端末制御部の概略的な構成を示すブロック図である。
【図４】図１の通信端末装置における公開表示の動作１の手順を説明するフローチャートである。
【図５】図１の通信端末装置における公開表示の動作２の手順を説明するフローチャートである。
【図６】図１の通信端末装置における公開表示の動作３の手順を説明するフローチャートである。
【図７】本発明の通信システムに適用する他の実施例における通信端末装置の概略的な構成を示すブロック図である。
【図８】図７の通信端末装置における端末制御部の概略的な構成を示すブロック図である。
【図９】図７の通信端末装置におけるモデル記憶部のデータ構造を説明する図である。
【図１０】図７の通信端末装置を適用した画像通信システムにおけるデータ転送の動作手順を説明するフローチャートである。
【図１１】本発明の通信システムに適用する他の実施例における通信端末装置の概略的な構成を示すブロック図である。
【図１２】図11の通信端末装置における端末制御部の概略的な構成を示すブロック図である。
【図１３】図11の通信端末装置におけるガジェット記憶部のデータ構造を説明する図である。
【図１４】図11の通信端末装置を適用した画像通信システムにおいて通信相手との情報共有化の動作手順を説明するフローチャートである。
【図１５】図11の画像通信システムにおいて自分のガジェットを利用する動作手順を説明するフローチャートである。
【図１６】図11の画像通信システムにおいて相手のガジェットを利用する動作手順を説明するフローチャートである。
【図１７】本発明の通信システムに適用する他の実施例における通信端末装置の概略的な構成を示すブロック図である。
【図１８】図16の通信端末装置における端末制御部の概略的な構成を示すブロック図である。
【図１９】図16の通信端末装置においてガジェットの取出しおよび収納の動作手順を説明するフローチャートである。
【図２０】図16の通信端末装置においてガジェットを使う指示での動作手順を説明するフローチャートである。
【図２１】図16の通信端末装置においてガジェットをあげる場合の動作手順を説明するフローチャートである。
【図２２】図16の通信端末装置においてガジェットをもらう場合の動作手順を説明するフローチャートである。
【図２３】本発明の通信システムに適用する画像通信システムにおける他の実施例でのユーザ管理サーバの概略的な構成およびその接続を示すブロック図である。
【図２４】図23の画像通信システムにおける通信開始までの動作手順を説明するフローチャートである。
【図２５】図23で送信元として用いる通信端末装置における利用データの設定手順を説明するサブルーチン３のフローチャートである。
【図２６】図23のユーザ情報データベースが管理するユーザ情報の説明に一覧表示させた図である。
【図２７】図23で用いる通信端末装置に表示される利用データの選択メニューを示す図である。
【図２８】図23で通信相手として用いる通信端末装置における利用データの設定手順を説明するサブルーチン４のフローチャートである。
【図２９】図23の画像通信システムにおける通信切断時の動作手順を説明するフローチャートである。
【図３０】図29の通信切断時に通信端末装置に表示される操作メニューを示す図である。
【図３１】図29の通信切断時にユーザ情報データベースのデータ書換えを説明する図である。
【図３２】図29の通信切断時において通信端末装置のそれぞれに表示されるメッセージを説明する図である。
【符号の説明】
【０１６７】
10  画像通信システム
12, 14  通信端末装置
16  画像通信ネットワーク
18  データ通信ネットワーク
20  入出力部
22  S/M部
24  端末制御部
26  データ記憶部
28  公開リスト記憶部
30  符号化部
32  復号部
34  AV通信制御部
36  データ通信制御部
【図１】
2005260626.tif 000003
【図２】
2005260626.tif 000004
【図３】
2005260626.tif 000005
【図４】
2005260626.tif 000006
【図５】
2005260626.tif 000007
【図６】
2005260626.tif 000008
【図７】
2005260626.tif 000009
【図８】
2005260626.tif 000010
【図９】
2005260626.tif 000011
【図１０】
2005260626.tif 000012
【図１１】
2005260626.tif 000013
【図１２】
2005260626.tif 000014
【図１３】
2005260626.tif 000015
【図１４】
2005260626.tif 000016
【図１５】
2005260626.tif 000017
【図１６】
2005260626.tif 000018
【図１７】
2005260626.tif 000019
【図１８】
2005260626.tif 000020
【図１９】
2005260626.tif 000021
【図２０】
2005260626.tif 000022
【図２１】
2005260626.tif 000023
【図２２】
2005260626.tif 000024
【図２３】
2005260626.tif 000025
【図２４】
2005260626.tif 000026
【図２５】
2005260626.tif 000027
【図２６】
2005260626.tif 000028
【図２７】
2005260626.tif 000029
【図２８】
2005260626.tif 000030
【図２９】
2005260626.tif 000031
【図３０】
2005260626.tif 000032
【図３１】
2005260626.tif 000033
【図３２】
2005260626.tif 000034