(57)【要約】【課題】主データの画像及び従属データの画像を互いに重なり合ったり表示画面からはみ出ること無く常に適切な状態で表示できるようにする。【解決手段】クライアント端末Ｔ１及びＴ２より受信した画像データから物体画像を切り出し、この切り出された物体画像を画面に配置する位置を決定する。さらにクライアント端末Ｔ１及びＴ２より受信したテキストデータからこのテキストの内容を表すふきだし画像を生成し、このふきだし画像を発信元が同じ上記物体画像の近くにそれぞれ配置する位置を決定する。そして、上記ふきだし画像が上記画面からはみ出すか、あるいは上記ふきだし画像が他の画像と重なってしまう場合に、上記ふきだし画像の位置を上記画面からはみ出さず、あるいは他の画像と重ならない位置に調整してから合成画像を作成する。【選択図】　　図１
2004128614.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置をネットワークを介してサーバ装置に接続し、当該サーバ装置を介して前記複数の端末装置間で画像を含むデータを伝送する通信システムの前記サーバ装置に設けられる画像表示制御装置において、
第１の端末装置が送信した、主データ及びこの主データに関連する従属データを前記ネットワークを介して受信する受信手段と、
前記受信手段により受信された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する合成手段と、
前記合成に際し、前記受信された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整する調整手段と、
前記調整手段により合成形態が調整された合成データを、前記第１の端末装置の通信相手である第２の端末装置へ、前記ネットワークを介して送信し表示させる送信手段とを具備したことを特徴とする画像表示制御装置。
【請求項２】
複数の端末装置間をネットワークを介して直接接続し、当該複数の端末装置間で画像を含むデータを伝送する通信システムの前記端末装置に設けられる画像表示制御装置において、
通信相手の端末装置が送信する、主データ及びこの主データに関連する従属データを前記ネットワークを介して受信する受信手段と、
前記受信手段により受信された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する合成手段と、
前記合成に際し、前記受信された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整する調整手段と、
前記調整手段により合成形態が調整された合成データを、表示器に表示する表示制御手段とを具備したことを特徴とする画像表示制御装置。
【請求項３】
複数の端末装置間をネットワークを介して直接接続し、当該複数の端末装置間で画像を含むデータを伝送する通信システムの前記端末装置に設けられる画像表示制御装置において、
主データ及びこの主データに関連する従属データをそれぞれ入力するための入力手段と、
この入力手段により入力された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する合成手段と、
前記合成に際し、前記受信された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整する調整手段と、
前記調整手段により合成形態が調整された合成データを、前記ネットワークを介して通信相手の端末装置に送信し表示させる送信手段とを具備したことを特徴とする画像表示制御装置。
【請求項４】
前記合成手段が、複数の端末装置からそれぞれ到来した複数対の主データ及び従属データを合成して１表示画面に表示可能な合成データを生成する場合に、
前記調整手段は、前記複数対の主データ及び従属データ相互間で、主データの画像及び従属データの画像が表示画面領域内に収まりかつ重なり合わないように、合成形態を調整することを特徴とする請求項１又は２に記載の画像表示制御装置。
【請求項５】
前記調整手段による合成形態の調整動作をもとに画像が重なり合わずに表示可能か否かを判定し、画像が重なり合わずに表示することが不可能と判定された場合には、第１の時刻に受信された主データ及び従属データの画像よりも、前記第１の時刻より後の第２の時刻に受信された主データ及び従属データの画像が、表示画面の手前側に重なるように、合成形態を調整する手段をさらに具備したことを特徴とする請求項４記載の画像表示制御装置。
【請求項６】
前記調整手段は、主データの画像及び従属データの画像が表示画面領域内に収まりかつ重なり合わないように、主データの画像及び従属データの画像の位置、大きさ及び形状の少なくとも一つを調整することを特徴とする請求項１乃至３記載の画像表示制御装置。
【請求項７】
前記調整手段は、主データの画像が変化する場合に、この主データの画像の変化に応じて従属データの画像の位置、大きさ及び形状の少なくとも一つを変化させることを特徴とする請求項１乃至３記載の画像表示制御装置。
【請求項８】
前記調整手段は、主データの画像の変化に応じて従属データの画像の位置、大きさ及び形状の少なくとも一つを変化させる際に、この変化の速度、加速度及び変化量の少なくとも一つに上限を設定することを特徴とする請求項７記載の画像表示制御装置。
【請求項９】
主データを予め記憶する記憶手段をさらに具備し、
前記合成手段が合成対象の主データとして前記記憶手段に記憶された主データを使用する場合に、
前記調整手段は、前記記憶手段から読み出された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整することを特徴とする請求項１乃至３のいずれかに記載の画像表示制御装置。
【請求項１０】
複数の端末装置をコンピュータを有するサーバ装置にネットワークを介して接続し、当該サーバ装置を介して前記複数の端末装置間で画像を含むデータを伝送する通信システムの前記サーバ装置で使用される画像表示制御プログラムであって、
第１の端末装置が送信する、主データ及びこの主データに関連する従属データを前記ネットワークを介して受信する処理と、
前記受信された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する処理と、
前記合成処理に際し、前記受信された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整する処理と、
前記合成形態が調整された合成データを、前記第１の端末装置の通信相手である第２の端末装置へ前記ネットワークを介して送信し表示させる処理とを、
前記コンピュータに実行させる画像表示制御プログラム。
【請求項１１】
複数の画像を含むデータを合成表示する端末装置に設けられる画像表示制御装置において、
複数の主データ及びこの各主データに関連する従属データをそれぞれ入力するための入力手段と、
前記入力手段により入力された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する合成手段と、
前記合成に際し、前記主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整する調整手段と、
前記調整手段により合成形態が調整された合成データを、表示器に表示する表示制御手段とを具備したことを特徴とする画像表示制御装置。
【請求項１２】
複数の画像を含むデータを合成表示するためにコンピュータを有する端末装置で使用される画像表示制御プログラムであって、
複数の主データ及びこの各主データに関連する従属データをそれぞれ受理する処理と、
前記受理された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する処理と、
前記合成処理に際し、前記主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように、合成形態を調整する処理と、
前記合成形態が調整された合成データを表示させる処理とを、
前記コンピュータに実行させる画像表示制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数の通信端末ユーザが画像を共有しながらリアルタイムにコミュニケーションを行うことが可能なシステムで使用される画像表示制御装置及び画像表示制御プログラムに関する。
【０００２】
【従来の技術】
複数の通信端末間をインターネットなどを使用した通信ネットワークを介して互いに接続し、これにより各通信端末のユーザがリアルタイムで会話をすることができるコミュニケーションシステム（以後、チャットという）が利用されている。このチャットは、各ユーザが入力したテキストデータをそれぞれの通信端末の表示画面に表示して会話を行うのが一般的である。
【０００３】
一方、上記チャットをさらに発展させたものとして、各通信端末において、カメラ等を使用して例えばユーザの顔を撮影した静止画像あるいは動画像を共通の背景画像に合成して表示し、さらに各ユーザが入力したテキストデータを上記合成画像にいわゆるふきだし画像として表示して会話をするシステムが提案されている（例えば、非特許文献１参照。）。
【０００４】
【非特許文献１】
井田　孝　ほか、“リアルタイム顔画像切り出しとＭＰＥＧ−４を利用した動画共有型チャットシステムの実現”、知能情報メディアシンポジウム論文集、２０００年１２月、ｐ．１３−１８
【０００５】
【発明が解決しようとする課題】
ところが、先に文献で例示したコミュニケーションシステムでは、ふきだし画像の表示位置をユーザの顔画像の表示位置に対し常に一定の位置関係となるように設定している。このため、ふきだし画像の一部が表示画面からはみ出したり、またユーザの顔画像に重なった状態で表示されてしまい、ユーザが入力したテキストデータが通信相手のユーザに正確に伝わらなくなることがあった。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、主データの画像及び従属データの画像が互いに重なり合ったり表示画面からはみ出ること無く常に適切な状態で表示されるようにし、これにより正確で円滑なチャット通信を行えるようにした画像表示制御装置及び画像表示制御プログラムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するためにこの発明は、複数の端末装置間に介在されるサーバ装置或いは端末装置に設けられる画像表示制御装置及びその表示制御プログラムにあって、合成画像の形態を調整する調整手段を新たに設ける。そして、受信された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する際に、上記受信された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように合成形態を調整し、この合成形態が調整された合成データを通信相手の端末装置へ送信して表示させるようにしたものである。
【０００８】
したがってこの発明によれば、合成に際し、主データの画像及び従属データの画像の合成形態、例えば位置や大きさ、形状が、常に適切な状態で表示される。このため、合成画像が表示画面上の如何なる位置に表示されても、また主データの画像が如何なる大きさ又は形状だったとしても、主データの画像と従属データの画像は互いに重なり合うことなくまた表示画面からはみ出ることなく表示することができ、これにより正確で円滑なチャット通信を行うことが可能となる。
【０００９】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態を説明する。
図１は、この発明に係わる画像表示制御装置が設けられる通信システムの一実施形態を示すものである。同図において、クライアント端末Ｔ１，Ｔ２はネットワークＮＷを介してサーバＳＶに接続される。
【００１０】
クライアント端末Ｔ１，Ｔ２はともに、キー入力部２０と、送信処理部２１と、受信処理部２２と、表示部２３を備えている。さらにクライアント端末Ｔ１にはカメラ２４が接続されている。
キー入力部２０は、例えばキーボードで構成され、ユーザが伝えたい情報を入力するために使用される。上記キー入力部２０により入力された情報はテキストデータとして送信処理部２１に入力される。また、カメラ２４により撮像された静止画あるいは動画の画像データは、クライアント端末Ｔ１の図示しない外部インタフェースを介して送信処理部２１に入力される。
送信処理部２１は、上記入力されたテキストデータ及び画像データをそれぞれ所定の符号化方式により符号化して圧縮したのち、サーバＳＶに向けネットワークＮＷへ送信する。
受信処理部２２は、サーバＳＶから送信された圧縮合成画像データをネットワークＮＷを介して受信する。そして、この圧縮合成画像データを復号することにより原合成画像データを再生し、この再生された合成画像データを表示部２３に供給して表示させる。
【００１１】
一方上記サーバＳＶは、受信処理部１０，１６と、切り出し処理部１１，１７と、画像位置決定処理部１２，１８と、位置調整処理部１３，１９と、合成処理部１４と、送信処理部１５とを備えている。
【００１２】
受信処理部１０は、クライアント端末Ｔ１からネットワークＮＷを介して伝送された主データとしての圧縮画像データと、従属データとしてのテキストデータをそれぞれ受信する。そして、上記受信された圧縮画像データについては復号処理を行って原画像データを再生し、この再生された画像データを切り出し処理部１１に入力する。一方、テキストデータについてはそのまま画像位置決定処理部１２に入力する。
【００１３】
切り出し処理部１１は、受信処理部１０より入力された画像データのうち背景画像と物体画像とを識別し、物体画像のデータの切り出し処理を行う。そして、切り出された物体画像データのみを画像位置決定処理部１２に入力する。
【００１４】
画像位置決定処理部１２は、上記物体画像データを表示画面に表示する際の位置を決定する。またこの画像位置決定処理部１２は、受信処理部１０より入力されたテキストデータからそのテキストの内容を表したふきだし画像を生成し、このふきだし画像を上記物体画像の近くに配置するべく位置を決定する。
【００１５】
位置調整処理部１３は、上記画像位置決定処理部１２により表示位置が決定された物体画像及び吹き出し画像の表示位置を監視し、ふきだし画像が表示画面からはみ出さないか、あるいは物体画像と重なり合わないかを判定し、さらには他のクライアント端末Ｔ２から送られた物体画像及びテキストデータの内容を表すふきだし画像と重ならないかどうかを判定する。
【００１６】
そして、上記２つの条件に該当しなければ、上記画像位置決定処理部１２で決定された配置の情報を、上記物体画像データ及び吹き出し画像データと共に合成処理部１４に入力する。一方、ふきだし画像が上記表示画面からはみ出す場合には、物体画像の近くでかつふきだし画像の全体が上記画面内に収まるようにふきだし画像位置を調整し、ふきだし画像同士が重なる場合には物体画像の近くでかつふきだし画像が重ならない位置に調整する。そして、この調整された配置情報を、上記物体画像データ及び吹き出し画像データと共に合成処理部１４に入力する。
【００１７】
なお、受信処理部１６、切り出し処理部１７、画像位置決定処理部１８及び位置調整処理部１９はクライアント端末Ｔ２に対応して設けられたもので、上記クライアント端末Ｔ１に対応して設けられた上記受信処理部１０、切り出し処理部１１、画像位置決定処理部１２及び位置調整処理部１３と同じ処理を行う。
【００１８】
合成処理部１４は、位置調整処理部１３，１９より入力された物体画像データとふきだし画像データとの合成を行う。その際、物体画像データ及びふきだし画像データの表示画面における配置位置は、画像位置決定処理部１２，１８により設定された配置情報、あるいは位置調整処理部１３，１９により調整された配置情報に従って制御される。
【００１９】
送信処理部１５は、上記合成処理部１４により生成された合成画像を、所定の圧縮符号化方式に従い圧縮したのち、通信中のクライアント端末Ｔ１，Ｔ２に向けネットワークＮＷへ送信する。
【００２０】
次に、以上のように構成されたサーバＳＶの動作を説明する。
図２は、画像合成制御の手順とその内容を示すフローチャートである。
クライアント端末Ｔ１，Ｔ２がネットワークＮＷを介してサーバＳＶに接続されると、サーバＳＶはステップ２ａにおいてクライアント端末Ｔ１，Ｔ２からの画像データの到来を監視する。この状態で、例えばユーザの顔を撮影した画像データが受信されると、ステップ２ｂに移行してこの受信された画像データを読み込む。そして、サーバＳＶはステップ２ｃに移行して、上記受信された画像データから例えば顔部分のみの物体画像データを切り出し、この切り出された物体画像データを表示画面に配置するための位置をステップ２ｄで決定する。
【００２１】
次にサーバＳＶは、ステップ２ｅによりクライアント端末Ｔ１，Ｔ２からのテキストデータの到来を監視する。この状態で、端末装置Ｔ１，Ｔ２においてユーザが送話内容をキー入力し、この送話内容のテキストデータが当該端末装置Ｔ１，Ｔ２から送信されたとする。サーバＳＶは、上記テキストデータの到来をステップ２ｅで検出すると、ステップ２ｆに移行してここで上記受信されたテキストデータを読み込む。そしてサーバＳＶは、ステップ２ｇに移行して上記テキストデータの内容を表すふきだし画像データを生成し、ステップ２ｈによりこの生成したふきだし画像の表示画面中の表示位置を設定する。このふきだし画像の表示位置は、先に受信し切り出しておいた対応する端末ユーザの物体画像データに対し近接する位置となるように設定される。
【００２２】
次にサーバＳＶは、ステップ２ｉに移行して、上記ふきだし画像が上記表示画面からはみ出さないか、あるいは他の端末ユーザの物体画像又はふきだし画像と重ならないかどうかを判定する。この結果、いずれにも該当しないと判定された場合には、ステップ２ｋに移行して物体画像データとふきだし画像データとの合成を行う。
【００２３】
これに対し、ふきだし画像の一部が上記表示画面からはみ出しているか、又は他の端末ユーザの物体画像又はふきだし画像と重なっていたとする。この場合サーバＳＶは、ふきだし画像の配置位置の調整が必要と判断し、ステップ２ｊに移行してここで上記ふきだし画像を表示画面からはみ出さない位置でかつ他の物体画像及びふきだし画像と重ならない位置となるように調整する。このとき、ふきだし画像の位置調整は、同一の端末ユーザの物体画像に対し相対位置を保つように行われる。そしてサーバＳＶは、ステップ２ｋにより、上記表示位置が調整された各クライアント端末Ｔ１，Ｔ２の物体画像データ及びふきだし画像データを合成する。この合成処理により生成された合成画像データは、送信処理部１５から通信中の各クライアント端末Ｔ１，Ｔ２へ送信される。
【００２４】
図３は、以上述べた画像合成制御による合成画像データの生成処理の一例を示す図である。同図において、３ａはクライアント端末Ｔ１から到来した画像データであり、この画像データ３ａからクライアント端末Ｔ１のユーザの顔画像である物体画像データ３ｃが切り出される。
【００２５】
また、クライアント端末Ｔ１から送話内容を表すテキストデータが到来すると、このテキストデータ３ｃをもとにふきだし画像３ｄが生成される。このときテキストデータ３ｃは、テキストコードと、字体や色あるいはサイズなどのフォント情報とから構成される。例えば、図３では
「たろう（明朝・イタリック、サイズ１６）」、「さん、こんにちは（明朝、サイズ１６）」
のように構成される。サーバＳＶは、上記フォント情報に従いふきだし画像に表示される文字のフォント種別とサイズを決定するが、この文字のフォント種別とサイズは予め設定された大きさに統一するようにしてもよい。
【００２６】
クライアント端末Ｔ２から画像データ３ｅ及びテキストデータ３ｇが到来した場合にも、上記クライアント端末Ｔ１の場合と同様に、画像データ３ｅから端末ユーザの顔画像である物体画像３ｆが切り出され、またテキストデータ３ｇをもとにふきだし画像３ｈが生成される。例えば、テキストデータ３ｇとして
「元気？顔画像（ゴシック・太字、サイズ２０）」
が到来した場合には、このフォント情報に従い図３に示すようなふきだし画像が生成される。すなわち、ふきだし画像に表示する情報は文字に限らず画像であってもよい。
【００２７】
上記クライアント端末Ｔ１の物体画像３ｂとふきだし画像３ｄ、及びクライアント端末Ｔ２の物体画像３３ｆとふきだし画像３ｈは、それぞれ表示画面内に収まりかつ互いに重なり合わないように表示位置が調整されたのち、メモリに予め記憶されている背景画像に重ねる状態に合成される。そして、この合成画像データは各クライアント端末Ｔ１，Ｔ２にそれぞれ送信されてその表示画面に表示される。図３の３ｉはこの合成処理により生成された画像データの表示例を示すものである。
【００２８】
なお、ふきだし画像の更新処理は、クライアント端末Ｔ１，Ｔ２から新たなテキストデータが到来するごとに行われる。また物体画像の更新処理は、画像データが静止画像の場合にはクライアント端末Ｔ１，Ｔ２から画像データが到来するごとに行われ、一方画像データが動画像の場合にはその１フレームごとに行われる。
【００２９】
ところで、物体画像及びふきだし画像の表示画面における表示位置の決定及び調整の形態には、次のような種々の実施例が考えられる。
【００３０】
（実施例１）
図４は、ふきだし画像の位置決定及び調整処理を説明するための図である。
【００３１】
物体画像４ａが表示画面の下方側に配置された場合には、ふきだし画像４ｂは図４（ａ）に示すように上記物体画像４ａの画面上方側に配置される。また、物体画像４ａが表示画面の上方側に配置された場合には、図４（ｂ）に示すようにふきだし画像４ｂは物体画像４ａの画面下方側に配置される。同様に、物体画像４ａが表示画面の左方に配置された場合にはふきだし画像４ｂは図４（ｃ）に示すように物体画像４ａの右方に、また物体画像４ａが表示画面の右方に配置された場合にはふきだし画像４ｂは図４（ｄ）に示すように物体画像４ａの左方にそれぞれ配置される。
そして、ふきだし画像４ｂが表示画面からはみ出したり、物体画像４ａと重なっていないかどうかが判定され、はみ出すか又は物体画像４ａと重なっている場合には、さらにふきだし画像４ｂの位置調整が行われる。
【００３２】
ところで、以上のような位置決定処理を行うと、物体画像４ａの位置の変化によりふきだし画像４ｂの位置が画面の上方と下方との間、或いは左方と右方との間で瞬時に移動することがある。特に、表示画面のサイズに強い制約がある場合には、ふきだし画像４ｂが上下左右を頻繁に往復して画面がちらついてしまうことがある。この場合には、ふきだし画像４ｂの移動量、移動速度または加速度に上限を設けることで、ふきだし画像４ｂを円滑に移動させることができる。
【００３３】
図５は、その動作制御の一例を説明するための図である。同図において、いま仮に物体画像５ａが図５（ａ）に示す位置から図５（ｂ）に示すようにふきだし画像５ｂの下方に重なる位置に移動したとする。この場合、ふきだし画像５ｂの位置を表示画面の下方に移動させる必要があるが、その際ふきだし画像５ｂの１回の移動量を一定範囲内に収める。このようにすることにより、図５（ｃ）及び図５（ｄ）のようにふきだし画像５ｂの動きをなめらかにすることができ、ちらつきを抑制することが可能となる。
【００３４】
また、ふきだし画像の内容が変化すると、ふきだし画像の位置を移動することが望ましい状況になる。この場合、ふきだし画像の位置を移動させると共にふきだしの形状も変化させる。その際、ふきだしの形状の変化にもなめらかさを与える。例えば、ふきだしの縦方向又は横方向の長さの変化速度或いは加速度を制限したり、ふきだし画像の面積の変化速度または変化量のいずれかに制限を与える。このようにすると、ふきだしの形状もなめらかに変化させることができる。
【００３５】
図６及び図７は、このふきだしの形状を変化させた場合の表示例を示すもので、ふきだしの縦方向の長さを変化させる場合には図６（ａ）乃至図６（ｃ）のようになる。また、ふきだしの横方向の長さを変化させる場合には図７（ａ），（ｂ）のようになる。
【００３６】
なお、ユーザがふきだし画像の位置を例えば手動操作により移動させ、それに応じて物体画像の表示位置を変化させる場合にも、その変化速度または加速度に制限を与えるとよい。このようにすると物体画像の表示もなめらかに変化させることができる。
【００３７】
（実施例２）
物体画像が移動した場合、それに応じてふきだし画像も追従して移動する。　先ず物体画像の移動の一例を図８に示す。図８（ａ）はクライアント端末Ｔ１の表示画面、図８（ｂ）はクライアント端末Ｔ２の表示画面である。初期状態として、クライアント端末Ｔ１ではユーザの物体画像８ａが表示され、またクライアント端末Ｔ２では物体画像８ｇが表示されているものとする。この状態で、クライアント端末Ｔ１においてユーザは、例えばマウスポインタを８ｄに移動させた後、クリックなどの手段を用いて物体画像８ａを把持しながらマウスポインタを８ｅから８ｆへ移動させる。そうすると、クライアント端末Ｔ１の表示画面においては、物体画像の表示位置もマウスポインタの移動に追従して８ｂから８ｃへと移動する。
【００３８】
一方クライアント端末Ｔ２では、上記クライアント端末Ｔ１における物体画像の移動に連動して、物体画像の表示位置が８ｈから８ｉへと移動する。一般に、カメラによって撮影できる範囲は限られており、従来では物体画像の位置を表示画面上で自在に移動させることができなかったが、上記表示制御手段を使用することで、カメラによって撮影される映像の制約を受けることなく、物体画像の表示位置を表示画面上で自在に移動させることが可能となる。
【００３９】
また、このような物体画像の移動に追従してふきだし画像の表示位置も移動される。例えば、図９（ａ）において、物体画像９ａとふきだし画像９ｃとが対をなして表示されている状態で、物体画像が９ａから９ｂに示す位置に移動したとする。そうするとこの物体画像の移動に追従して、ふきだし画像も図９（ｂ）に示すように９ｃから９ｄへ移動する。なお、ふきだし画像の位置を移動させた場合にも、この移動に追従して物体画像は移動する。
【００４０】
さらに、物体画像及びふきだし画像の移動範囲は、画面全域としてもよく、また制限してもよい。この移動範囲の制限は、コンテンツに応じて設定したり、また端末単位で設定することが可能である。また、移動をまったく許可しないようにすることも可能である。例えば、背景画像としてゲーム画面を用いた合成画像を共有する場合には、その移動範囲に制限を加えることでゲームの進行を妨げることなく合成画像を提供することができる。
【００４１】
（実施例３）
ふきだし画像を自動消去することも可能である。図１０はこれを説明する図である。図１０（ａ）のようにふきだし画像１０ａが表示されている場合に、所定時間（例えば１５秒）が経過した後に図１０（ｂ）のようにふきだし画像１０ａを消去することで、不要な情報が整理された、より使いやすい画面を提供できる。
【００４２】
また、物体画像及びふきだし画像の大きさや形状、表示位置によっては、表示位置の調整を行ってもふきだし画像を適切に表示できない場合もある。このような場合に、ふきだし画像の表示を消去することもできる。
【００４３】
（実施例４）
不要なふきだし画像の整理は次のように行われる。図１１はその処理の一例を説明する図である。
【００４４】
図１１（ａ）のように物体画像１１ａに対しふきだし画像１１ｂが表示されている状況で、そのまま新たなふきだし画像１１ｃを表示しようとすると、図１１（ｂ）のようにふきだし画像１１ｂ，１１ｃ同士が重なってしまう。この場合には、図１１（ｃ）に示すように、新たなふきだし画像１１ｃが表示される際に古いふきだし画像１１ｂを消去する。このようにすることで、不要なふきだし画像が整理されて、見やすい表示画面を提供することができる。
【００４５】
なお、上記説明は合成画像構成要素の最大数を２とした場合であるが、例えば最大数を３とすれば、ふきだし画像を２つまで並べて表示することを許容することができる。また、最大数を１とした場合には、ふきだし画像の表示を許容しないことになる。さらに、合成画像構成要素の最大数を設定する以外に、物体画像及びふきだし画像のそれぞれについて表示数の上限値を設定することも可能である。
【００４６】
また、煩雑処理を許容する場合には、合成画像構成要素全体が形成する境界矩形の占める面積の最大値を設定することにより、不要なふきだし画像の整理を行うことも考えられる。この手法は、表示構成要素数の上限値を管理することにより、簡単な処理で効果的な画面を提供することができる点が優れている。
【００４７】
さらに、合成表示構成要素の最大数をユーザごとに設定することも可能である。例えば、図１２においてユーザ１２ａに対する上限値を２に、ユーザ１２ｃに対する上限を１にそれぞれ設定する。この場合には、ユーザ１２ａが発言すると１つのふきだし画像が表示されるが、ユーザ１２ｃについてはふきだし画像が表示されなくなる。このように表示構成要素の最大数をユーザごとに設定することで、例えば２つ以上のチームに分かれて勝負を行うゲームにおいて、同じチームの仲間とは会話できるが、別のチームの仲間については表情だけを読み取ることができるようにすることができる。
【００４８】
さらに、図１１（ａ）のように合成画像構成要素の上限値が２で、ふきだし画像１１ｂが送信されてから新たなふきだし画像１１ｃが送信されるまでの時間が３秒というように短い場合には、図１１（ｃ）のようにふきだし画像１１ｂを消去するのではなく、一時的に合成画像構成要素の上限値を３に変更し、図１３に示すように２つのふきだし画像を並べて表示する。このようにすることにより、新旧のふきだしの内容を比較することが可能となる。
【００４９】
また、複数のユーザの端末に同報的に情報を送信することも、また特定のユーザの端末のみに情報を送信することもできるシステムにおいて、特定のユーザの端末にのみ送信される情報の送信回数を記録しておく。そして、この送信回数の記録をもとに、例えばクライアント端末Ｔ１のユーザとクライアント端末Ｔ２のユーザが頻繁に会話をしていると判断できる場合には、クライアント端末Ｔ１におけるクライアント端末Ｔ２の合成画像構成要素の上限値を自動的に上げる。このようにすると、クライアント端末Ｔ１のユーザが必要とする可能性の高い情報を、より長時間提供することが可能となり、クライアント端末Ｔ１のユーザに対しより快適な合成画像の提供が可能となる。
【００５０】
（実施例５）
ふきだし画像の表示形態に効果を付与することもできる。例えば、図１４（ａ）に示すように、物体画像１４ａに対応するふきだし画像を表示する際に、図１４（ｂ）及び図１４（ｃ）に示すように、ふきだし画像１４ｂを半透明な状態を経ながら徐々に明瞭になるように表示する。また、ふきだし画像を消去する場合にも、例えば図１５（ａ）〜図１５（ｃ）に示すように、ふきだし画像を半透明を経ながら徐々に消去する。物体画像についても同様の効果をかけることができる。
【００５１】
また、ディゾルブという手法を用いることもできる。例えば、画像を３２×３２などのブロック単位に分割し、さらにそれぞれの３２×３２ブロックを１６個の８×８ブロックに分割しておき、１６回のステップに分けて、各ステップでは３２×３２ブロックごとに１つの８×８ブロックを表示することで全体を表示すれば、同様の効果が得られる。
【００５２】
物体画像及びふきだし画像の表示に、上記したような効果を与えることで、表示画面を見ている端末ユーザに与える表示の急激な変化による刺激を軽減し、より快適な表示画面を提供することができる。
【００５３】
また、ふきだし画像の表示効果についての別の例として、合成するテキストの一部もしくは全部を「○○○○」「××××」といった伏せ字あるいは空白文字に置き換える伏せ字効果がある。例えば４人の端末ユーザが２人ずつ２組に分かれてゲームをしている状況において、第１の組に所属するユーザが、第２の組に所属するユーザの端末に伏せ字効果をかけるよう指示すれば、第２の組に所属するユーザには秘密の会話をしていることだけが伝わるため、相手が何か考えていそうであるという情報が伝わり、よりゲームのおもしろみが増す。また例えばクライアント端末Ｔ１のユーザが、不快な文字列に対して伏せ字効果を適用するよう指定しておけば、当ユーザは不快な文字列を見なくてもすむ。
【００５４】
（実施例６）
ふきだし画像のサイズに上限を設けることも可能である。ふきだし画像のサイズに上限を設けるのは、例えば図１６（ａ）に示すように、画像の合成によってふきだし画像１６ａが表示画面外へはみ出してしまうのを回避するためである。従って、利用可能な画面のサイズに応じて、ふきだし画像の大きさを制限する必要がある。
【００５５】
また、ふきだし画像が画面全体を覆ってしまうと物体画像など他の合成表示構成要素を表示できなくなる。このため、例えばふきだし画像の横の長さの上限をｗ、縦の長さの上限をｈとしたとき、上限を２種類に分けて用意したうえで、ふきだし画像の位置に応じて、ｗが画面サイズ以下かつｈが画面サイズの１／２以下、またはｗが画面サイズの１／２以下かつｈが画面サイズ以下になるように設定する。ここで、表示画面のサイズは必ずしも物理デバイスのサイズに一致させる必要はなく、例えばウィンドウ内に表示される場合はウィンドウのサイズとなる。
【００５６】
また、表示画面が円形など、矩形でない場合には、例えばふきだし画像が表示画面の外部に出てしまう部分の面積を一定画素以下にするといった適当な手法で代用する。また、ふきだし画像の上限を決定する別の手法としては、ユーザのふきだし画像情報送信回数に応じてサイズの上限を設定する手法がある。また、互いに通信可能な端末間で画面を共有している場合には、ふきだし画像情報送信回数の代わりに、ふきだし画像情報を端末が受信した回数を使うこともできる。
【００５７】
一方、ふきだし画像内の文字を省略することもできる。ふきだし画像の大きさに上限が設けられていたり、ふきだし画像の形状によってふきだし画像のサイズが決まっていたりすると、ふきだし画像のサイズが制限されることがある。しかし、例えば図１６（ａ）に示すようにふきだし画像１６ａが表示されている状態で、ふきだし画像のサイズを図１６（ｂ）に示すように制限すると、表示できなくなる情報が発生する。この場合には、図１６（ｂ）のふきだし画像１６ｂに示すように、情報の一部を省略記号「・・・」などを用いて省略すれば、ふきだし画像として表示できる。また、情報を縮小表示することでも対応可能である。
【００５８】
また、表示されなかった情報については、次のような手法を用いることで表示することができる。例えばマウスポインタをふきだし画像１６ｂの上に移動させた場合に、ふきだし画像のサイズを大きくして表示させる。このようにすれば、ユーザは必要に応じてふきだし画像に情報を表示させることができるようになり、画面の見やすさとふきだし画像情報の共有の両立が可能となる。
【００５９】
（実施例７）
物体画像の表示サイズが大きかったり、表示される物体画像やふきだし画像が多数ある場合には、この発明の表示技術を用いても図１７（ａ）に示すようにふきだし画像１７ｂの内容が物体画像１７ｃに隠れてしまうことがある。
【００６０】
この場合には、図１７（ｂ）に示すようにマウスポインタ１７ｄをふきだし画像１７ｂ上に移動させたときに、ふきだし画像１７ｂの表示優先順位を画面の最上層に移動させることで、ユーザの見たいふきだし情報を表示させることができる。なお、表示優先順位の管理は、合成表示構成要素に表示優先順位情報を用意し、その順位に従って合成を行うことで実現する。
【００６１】
ここで表示優先順位情報は、例えば順位値を持たせて合成表示構成要素を順位値でソートするか、合成表示構成要素をリストとして管理することで合成時の順位を決定できる。なお、順位値はより大きな値を前面とすることも、より小さな値を前面とすることもできる。
【００６２】
また、ふきだし画像を表示画面の最上層に移動させた場合に、表示優先順位情報を保存しておき、マウスポインタがふきだし画像１７ｂの上から離れた時に、ふきだし画像を元の下層側の位置に戻すこともできる。また、マウスポインタが位置するときだけ、ふきだし画像１７ｂの枠または枠内の色を変更するといった効果を与えることも可能である。このようにすると、ふきだし画像１７ｂの表示優先順位の変更が、マウスポインタによってもたらされたことがよりわかりやすくなる。さらに、このふきだし画像の枠または枠内の色を変更するといった効果により、押しボタンなど離散的な情報しか入力できないデバイスであっても見たい合成表示構成要素を選択することもできるようになる。
【００６３】
（実施例８）
複数のふきだし画像を選択的に表示する場合に、表示順位の管理を行わないと、例えば図１８（ａ）に示すように古い発言を表示するふきだし画１８ａが新しい発言を表示するふきだし画像１８ｂを隠してしまうことがある。
【００６４】
そこで、ふきだし画像１８ｂがふきだし画像１８ａに隠れて表示されたと判断される場合に、図１８（ｂ）に示すようにふきだし画像１８ｂをふきだし画像１８ａより前面に表示するように表示優先順位を変更する。このようにすれば、新しい発言のふきだし画像が古い発言のふきだし画像により隠されてしまうといった不具合は回避できる。
【００６５】
合成表示構成要素がリストとして管理されている場合、通常表示画面の最上層に表示される構成要素はリストの先頭または最後の構成要素となる。このため、リストへの登録順序を適宜設定することで、各構成要素の表示優先順位を容易に設定可能である。また表示順序値で管理する場合も、例えばより大きな値を最上層とする場合は、現在の表示優先順位の値を最大値よりわずかに大きな値、例えば１だけ大きな値を変更することで同様に実現できる。また、合成表示構成要素ごとに、表示優先順序のほかに受信時刻を保存しておくこともできる。
【００６６】
（実施例９）
合成表示構成要素に与える効果について、図１９を用いて説明する。
例えばゲームの勝利者を表す物体画像１９ａを特別に目立たせたい場合には、図１９（ｂ）に示すように当該物体画像１９ａのみを明るくし、周辺を暗くするように表示形態を変更する。このようにすると、物体画像１９ａに対しスポットライトが当てられたような効果が得られる。なお、物体画像１９ａ周辺の明るさを変えず物体画像１９ａの明るさをさらに明るくすることにより物体画像１９ｂを目立たせるようにしてもよい。
【００６７】
画像を目立たせることは、複数の単色を混合比率を変化させながら重ねて合成することで実現できる。また、複数の色によって構成されるパターン、例えば色を１ラインごとになめらかなグラデーションで変化させた虹色パターンなどによって、物体画像を目立たせることもできる。
【００６８】
さらに、例えば図１９（ａ）に示す物体画像１９ａに対応するユーザがキーボードの入力操作を開始することにより、ふきだし画像の表示が行われることを予測できる場合に、同様の方法を用いて当該物体画像１９ａを目立たせるようにしてもよい。このようにふきだし画像の表示が予測される物体画像を目立たせることで、ユーザの視線をふきだし画像が表示される前に当該物体画像に向けておくことができる。このため、ふきだし画像に表示される情報をより迅速に読解することが可能となり、これにより応答の情報の送信を早くすることができ、その結果より快適なコミュニケーションが可能となる。
【００６９】
（実施例１０）
ふきだし画像として表示される主要な情報であるテキストデータは、行単位などのまとまりで送受信されることが一般的である。このため、会話の遅延を引き起こしやすい。
【００７０】
そこでこの発明では、図２０に示すように物体画像２０ａに対応するユーザがテキストデータの入力を開始した場合に、先ず対応するふきだし画像２０ｂにカーソル２０ｃのような入力中であることを示すマークを合成して表示する。続いて、テキストデータの入力が進むに従い、図２０（ｂ）に示すようにカーソルの表示位置をシフトする。これにより編集遅延が大幅に改善され、より迅速な情報の把握、より快適なコミュニケーションが可能となる。
【００７１】
なお、上記の例をそのまま実施しても、編集中であるのか入力内容が確定しているのかが分かり難い。そこで例えば、編集中の文字の色を変化させたり、ふきだし画像の枠または枠内の色を変化させるといった手法を採用することで、編集中の文字が未確定であることが容易に分かるようにする。
【００７２】
（実施例１１）
ふきだし画像の履歴管理についての実施例を、図２１を用いて説明する。
図２１（ａ）は、最新のふきだし画像２１ｂが表示されている状況を示している。この状態で、例えばマウスポインタ２１ｃをふきだし画像２１ｂ上に合わせてクリックする。そうすると、図２１（ｂ）に示すように過去のふきだし画像２１ｄがメモリから読み出されて表示される。このようにすることで、ユーザが必要とする受信タイミングのふきだし画像を、簡単にしかも完全な形で再表示することができる。
【００７３】
また、図２１（ｂ）に示すように１つ前の受信タイミングふきだし画像が表示されている状態で当該画像をクリックすると、もう１つ前の受信タイミングのふきだし画像情報がメモリから読み出されて表示される。すなわち、クリックするごとに受信タイミングの新しい順に過去のふきだし画像が読み出されて表示される。
【００７４】
（実施例１２）
ふきだし画像の形状の変更についての実施例を、図２２を用いて説明する。　図２２（ａ）のように物体画像２２ａ及びふきだし画像２２ｂが表示されている状態で、送信ユーザ又は受信ユーザが例えば予め用意されているふきだし画像の形状リストの中から所望の形状を選択すると、表示画面にはこの選択された形状のふきだし画像２２ｂが表示される。図２２（ｂ）にこのふきだし画像の形状の一例を示す。また、色の変更についても同様に行われる。例えば、枠の色の変更を指示すると枠の色が変更され、またふきだし画像内の背景色の変更を指示するとふきだし画像内の背景色が変更される。
【００７５】
ふきだし画像にこれらの効果を与えることで、ユーザは好みの形状のふきだし画像を選択可能となることは勿論のこと、その時々の気分や感情に応じてふきだし画像の形状を変化させることもできるようになり、より一層豊かなコミュニケーションが実現できる。
【００７６】
（実施例１３）
ふきだし画像を使わずに合成画像の表示を行う例を、図２３を用いて説明する。
【００７７】
図２３に示すように、画像を合成するに当たり、ふきだし画像に表示すべきテキストデータ２３ａをふきだし画像を使わずに物体画像と合成して表示する。このようにすることで、ふきだし画像によって占有されていた領域を物体画像等の他の画像の表示領域として使うことができる。この表示手法は、携帯端末など表示領域が限られた機器にあって特に有効である。
【００７８】
なお、上記説明では、テキストデータ２３ａの先頭部分に、送信ユーザを識別するための縮小情報２３ｂを合成した表示したが、テキストデータで表現された名前や番号などの識別情報を合成して表示するようにしてもよい。また、必ずしも送信ユーザを識別する情報を合成し表示しなくてもよい。例えば、２人のユーザが表示画面を共有して会話を行う場合には、送信ユーザを識別する情報を合成しないほうが表示画面を見やすくすることができる。
【００７９】
（実施例１４）
物体画像の切り出し状況を別のウィンドウに表示する場合についての実施例を説明する。図２４はその説明に使用する図であり、クライアント端末Ｔ１から送られた画像データより切り出した物体画像２４ａと、クライアント端末Ｔ２から送られた画像データより切り出した物体画像２４ｂとを合成した画像を示している。この合成画像中に別のウィンドウ２４ｃを形成し、このウィンドウ２４ｃに上記物体画像２４ｂを切り出す前の全体の画像データを縮小して表示する。
【００８０】
このように切り出された物体画像２４ａを表示したまま、切り出し前の全体画像データを合成して表示することで、ユーザは切り出し処理がどのように行われたのかを認識することができる。そして、適切に切り出されなかった場合にはその原因を把握する手がかりになる。
【００８１】
なお、上記ウィンドウ２４ｃは色付け表示してもよく、また色付けする代わりに複数の色を半透明の状態で混合することにより、切り出された領域と残りの領域とを一つの表示画面に同時に表示することが可能となる。
【００８２】
（実施例１５）
図２５（ａ）に示すように物体画像２５ａの表示サイズが表示画面のサイズに比べて著しく小さい場合には、例えばカメラの撮像エリアに偶然存在するか又は偶然通りかかった他人の画像等といった、送信ユーザを撮像した正規の画像ではない場合が多い。また、図２５（ｂ）に示すように物体画像として小さな領域が切り出された場合は、この切り出された画像が期待する物体画像ではなく、ノイズなど入力デバイスの不確定性の影響による誤抽出である可能性が高い。
【００８３】
そこで、物体画像として切り出された画像の表示サイズが予め設定したサイズ以上であるか否かを判定する。そして、設定サイズ以上の時に当該切り出された物体画像を合成に供し、それ以外のときには合成に供しないことで、期待しない画像が合成される不具合を回避することができる。ここで、設定サイズの基準としては、たとえば面積が３２画素以上といった数値を使うことができる。このような対策をすることで上記誤抽出された物体画像に関連付けてられてふきだし画像が表示されるという不具合を防止できる。
【００８４】
（実施例１６）
先に述べたようにふきだし画像は、テキストデータの情報量や並べて表示する物体画像のサイズ等によっては適切な形態で表示できない場合がある。
【００８５】
そこで、ふきだし画像の表示を適切に表示できるか否かを判定する。そして、適切に表示できない場合には、テキストデータをふきだし画像により表示する代わりに音声出力する。例えば、ふきだし画像を表示画面からはみ出さずかつ物体画像に重なることなく表示できる場合には、図２６（ａ）に示すようにこのふきだし画像をそのまま物体画像２６ａと合成して表示させる。これに対しふきだし画像を適切に表示できない場合には、図２６（ｂ）に示すようにふきだし画像の表示を行わずに、受信されたテキストデータを音声合成技術により音声データに変換し、この音声データをスピーカから拡声出力する。
【００８６】
このような表示処理は、ふきだし画像を合成すると表示画面の空き領域が狭くなるためふきだし画像を表示したくない場合に有効である。また、複数の送信ユーザの物体画像及びふきだし画像を合成する場合において、各送信ユーザのふきだし画像のサイズが小さくて見にくくなるような場合に有効である。
【００８７】
さらに、音声データの声質を複数種類用意しておき、送信ユーザごとに音声データの声質或いは音量を変えるようにしてもよい。このようにすれば、複数の送信ユーザのテキストデータを区別して音声出力することができる。また、ふきだし画像の制御情報に文章内の特定の単語を強調するためのコマンドを付加しておくことで、音声の合成に当たり該当する単語に例えば韻律的な強調を加えることができる。
【００８８】
また、送信ユーザのテキストデータを音声出力させる際に、表示画面における対応する送信ユーザの物体画像の表示位置を判定し、この表示位置に応じて左右のスピーカの音量バランスを可変制御するようにしてもよい。例えば、図２７に示すように、送信ユーザの物体画像が表示画面の左寄りに表示されている場合には、当該送信ユーザのテキストデータに対応する合成音声データを、右側スピーカ２７ｂよりも左側スピーカ２７ａの方が大きな音量となるように制御して出力する。このように制御することで、より臨場感の高い音声出力を実現できる。
【００８９】
ここで物体画像の表示位置の判定は、例えば物体画像の重心点の水平座標位置が表示画面のどの位置にあるかを検出することによりなされる。なお、重心点を計算するのは計算量を必要とするので、物体画像を含む最小の矩形の左端と右端の中心点で代用してもよい。また、物体画像にユーザの顔画像が含まれている場合には、この顔画像の２つの目の位置を検出してその中心点を認識し、この中心点の位置を物体画像の基準位置として使用すればよい。
【００９０】
また、左右のスピーカの音量バランスの制御は次のように行われる。例えば、表示画面上の基準位置座標を、左端を−９６、中央を０、右端を９６と定義する。そして、物体画像の中心位置を上記基準位置座標をもとに数値に線形変換し、この変換された数値を音量のゲインに対応付ける。そして、このゲインをもとにＰＣＭ変換回路の定数を制御するか又はアナログ音声回路の増幅率を制御することにより音量を変化させる。
【００９１】
なお、以上の説明では音声合成技術を用いてテキストデータを音声出力する場合を例にとって示したが、必ずしも音声合成技術を用いなくてもよく、例えばクライアント端末において送信ユーザがマイクに入力した音声データをそのまま出力するように構成してもよい。
【００９２】
図２８は、クライアント端末の周辺にテレビジョン受像機などのスピーカを有する他の家電製品が存在する場合の音声出力制御の一例を示すものである。クライアント端末は、自己の端末のスピーカ２８ｅ，２８ｆによる音声出力の有無を監視し、音声出力を行う期間を検出すると、この期間に家電製品２８ａのスピーカ２８ｂ，２８ｃの音量を下げる。このようにすると、通信を行っているユーザはクライアント端末のスピーカ２８ｅ，２８ｆから出力される通信相手ユーザの音声を鮮明に聞き取ることが可能になる。
【００９３】
（実施例１７）
一般に、カメラにはさまざまな制約があり、特に設置位置が制限された場合には、例えば図２９（ａ）に示すように撮像された画像データ中の物体画像２９ａが横転した状態で表示されることがある。そこでこのような場合には、物体画像の表示向きを判定し、この判定結果に応じて例えば図２９（ｂ）に示すように物体画像の向きを９０度右回転させたのちに、ふきだし画像と合成する。このとき、ふきだし画像の表示位置及び表示向きは、上記物体画像の表示位置及び表示向きに応じて調整される。
【００９４】
このようにすると、カメラの設置状態にかかわらず、物体画像を常に正立した状態で表示することが可能となる。その結果、複数の端末ユーザの物体画像及びふきだし画像を一つの表示画面に表示させる場合でも、物体画像とふきだし画像との対応関係を誤認識しないように明確に表示することができる。
【００９５】
なお、物体画像の表示向きを補正する他の手法には次のようなものがある。すなわち、入力映像をそのまま合成すると、カメラの特性上ユーザが左に動くと合成画像中のユーザは右に動いてしまう。これはユーザに違和感を与える。そこで、物体画像の表示位置を左右反転したのちふきだし画像と合成することで、合成画像の動きがユーザの感覚と一致し、より快適に合成画像を見ることができるようになる。この場合にも、ふきだし画像の表示位置は物体画像の表示位置に応じて調整される。
【００９６】
（実施例１８）
一般に、多くの画像圧縮規格は画像の形状として矩形など限定された形状しか扱うことができない。そこで、任意の形状を持つ物体画像３０ａを、例えば図３０（ａ）に示すように画像圧縮規格に適合する基本形状を有しかつ特定色に設定された背景画像に合成したのち画像圧縮する。一方この圧縮画像を再生する際には、背景画像の前記特定色を図３０（ｂ）に示すように除去すれば、上記任意の形状を持つ物体画像３０ａを再現できる。ここで、特定色としては例えば緑や青の単色を用いる。なお、特定色は必ずしも１色である必要はなく、例えば緑と青といったような複数色を特定色として用いても良い。また、圧縮及び再生に、例えば国際規格ＭＰＥＧ４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　４）のような任意の形状の圧縮及び再生が可能な規格を採用すれば、特定色の画像を用いなくても任意の形状の物体画像の圧縮及び再生を実現することができる。
【００９７】
（実施例１９）
クライアント端末においてマイクロホンに入力されたユーザの音声を、サーバＳＶが音声認識することによりテキストデータに変換し、この変換されたテキストデータ３１ｂをふきだし画像３１ａを用いて表示する。この場合、誤認識によりユーザの音声データが誤ったテキストデータに変換されると、合成表示されたテキストデータ３１ｂを見ている通信相手のユーザは、送話内容を正しく理解することができない。
【００９８】
そこで、例えば図３１に示すように、音声表示が可能であることを示すマークを生成し、このマーク３１ｃをテキストデータ３１ｂと共にふきだし画像３１ａにより表示する。そして、この表示されたマーク３１ｃをユーザがマウスポインタで指定してクリックすると、上記ふきだし画像３１ａにより表示中のテキストデータ３１ｂに対応する音声データがスピーカから再生出力される。
【００９９】
このように構成すると、ユーザは必要に応じて通信相手ユーザの送話音声を音声データとして聴取することができ、この結果音声データの誤認識が発生してもユーザは通信相手ユーザの送話内容を正しく認識することが可能となる。また、動物の鳴き声や物音などのようにテキストデータに変換することが困難な音声データが送られた場合にも、この音声データを音声により再生することができる。さらに、ふきだし画像をこのような構成にするとふきだし画像のサイズを一定にかつ小さく構成できる。
【０１００】
以上詳述したようにこの実施形態では、クライアント端末Ｔ１より受信した画像データから物体画像を切り出すと共に、クライアント端末Ｔ１より受信したテキストデータからこのテキストの内容を表すふきだし画像を生成し、このふきだし画像を上記物体画像の近くに配置する。そして、上記ふきだし画像が表示画面からはみ出すか、あるいは他のふきだし画像等と重なる場合には、上記ふきだし画像の位置を表示画面からはみ出さずかつ他のふきだし画像等と重ならない位置に調整するようにしている。
【０１０１】
したがってこの実施形態によれば、ふきだし画像が表示画面からはみ出してしまう場合には、はみ出さない位置に調整されたのち合成画像が作成される。また、ふきだし画像が他のふきだし画像等と重なってしまう場合にも、重ならない位置に調整されたのち合成画像が作成される。このため、ふきだし画像に表示された情報のすべてを常に見やすい状態で正確に表示することが可能となる。
【０１０２】
なお、この発明は上記実施形態に限定されるものではない。例えば、上記実施形態ではサーバＳＶが位置調整のうえ合成画像を作成する場合を例にとって説明した。しかし、クライアント端末を、サーバＳＶを介さずにネットワークＮＷを介して直接接続して通信を行うシステムの場合には、クライアント端末に上記画像の位置調整処理機能及び合成画像の作成処理機能を持たせればよい。
【０１０３】
この場合のクライアント端末の構成としては、自ユーザの画像データ及びふきだし画像を送信する際にこれらの画像の位置調整処理及び合成画像の作成処理を行う場合と、他のクライアント端末から画像データ及びふきだし画像を受信した際に、これらの画像の位置調整処理及び合成画像の作成処理を行う場合とが考えられる。
【０１０４】
また、ユーザを表す物体画像は、カメラ２４で実際に撮像したものに限らず、ユーザが任意に選択したアニメ画像や、人物以外の画像を用いてもよい。この場合サーバＳＶは、クライアント端末から送られた任意の画像を当該ユーザの物体画像として使用する場合と、サーバＳＶの記憶部に予め記憶してあるアニメ画像等をユーザに選択させ、この選択された画像をユーザの物体画像として使用する場合とが考えられる。
【０１０５】
また、この発明に係わる画像表示制御装置は、ネットワークを介してチャット通信を行うためのクライアント端末やサーバに限らず、例えばゲームソフトウェア等を作成する単独のパーソナルコンピュータやワークステーションにも適用することが可能である。
【０１０６】
その他、通信システムの種類やその構成、サーバ及びクライアント端末の構成、画像位置調整処理及び画像合成処理の手順とその内容、画像データの加工方法、ふきだし画像の表示形態等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【０１０７】
【発明の効果】
以上詳述したようにこの発明では、複数の端末装置間に介在されるサーバ装置或いは端末装置に設けられる画像表示制御装置及びその表示制御プログラムにあって、合成画像の形態を調整する調整手段を新たに設け、受信された主データと従属データとを合成して１表示画面に表示可能な合成データを生成する際に、上記受信された主データの画像及び従属データの画像が表示画面領域内に収まりかつ相互に重なり合わないように合成形態を調整し、この合成形態が調整された合成データを通信相手の端末装置へ送信して表示させるようにしている。
【０１０８】
したがってこの発明によれば、主データの画像及び従属データの画像が互いに重なり合ったり表示画面からはみ出ること無く常に適切な状態で表示することができ、これにより正確で円滑なコミュニケーションを可能にする画像表示制御装置及び画像表示制御プログラムを提供することができる。
【図面の簡単な説明】
【図１】この発明に係わる画像表示制御装置が設けられる通信システムの一実施形態を示す図。
【図２】図１に示したサーバＳＶにおける画像合成制御の手順とその内容を示すフローチャート。
【図３】図１に示したサーバＳＶにおける画像合成制御による合成画像データの生成処理の一例を示す図。
【図４】ふきだし画像の位置決定を説明する図。
【図５】物体画像の移動に伴うふきだし画像の動きを説明する図。
【図６】ふきだし画像の形状変化の一例を説明する図。
【図７】ふきだし画像の形状変化の他の例を説明する図。
【図８】物体画像の移動の一例を説明する図。
【図９】物体画像に追従して移動するふきだし画像を説明する図。
【図１０】ふきだし画像の自動消去を説明する図。
【図１１】不要なふきだし画像の整理を説明する図。
【図１２】合成表示構成要素の最大数をユーザごとに設定する場合について説明する図。
【図１３】２つのふきだし画像を並べて表示する場合について説明する図。
【図１４】ふきだし画像の表示効果を説明する図。
【図１５】ふきだし画像の表示効果を説明する図。
【図１６】ふきだし画像のサイズに上限を設けた場合について説明する図。
【図１７】ふきだし画像の表示順序を説明する図。
【図１８】ふきだし画像情報の表示管理を説明する図。
【図１９】合成表示構成要素に与える効果を説明する図。
【図２０】ふきだし画像情報の編集を説明する図。
【図２１】ふきだし画像の履歴管理について説明する図。
【図２２】ふきだし画像の形状の変更について説明する図。
【図２３】ふきだし画像を使わずにテキストデータの表示を行う例を説明する図。
【図２４】画像切り出し状況の表示について説明する図。
【図２５】ユーザが期待していない小領域を切り出してしまう対策について説明する図。
【図２６】ふきだし画像の代わりに音声情報の使用を説明する図。
【図２７】テキストを音声合成システムによって音として出力を行う場合を説明する図。
【図２８】外部機器の音量制御について説明する図。
【図２９】カメラからの画像データ入力時の前処理について説明する図。
【図３０】任意の形状を持つキャラクタ画像のネットワークを介した送受信を説明する図。
【図３１】音をテキストに変換し、音声画像ファイルとともに合成表示する例を説明する図。
【符号の説明】
ＳＶ…サーバ
ＮＷ…ネットワーク
Ｔ１，Ｔ２…端末
１０，１６…受信処理部
１１，１７…切り出し処理部
１２，１８…画像位置決定処理部
１３，１９…位置調整処理部
１４…合成処理部
１５…送信処理部
２０…キー入力部
２１…送信処理部
２２…受信処理部
２３…表示部
２４…カメラ
【図１】
2004128614.tif 000003
【図２】
2004128614.tif 000004
【図３】
2004128614.tif 000005
【図４】
2004128614.tif 000006
【図５】
2004128614.tif 000007
【図６】
2004128614.tif 000008
【図７】
2004128614.tif 000009
【図８】
2004128614.tif 000010
【図９】
2004128614.tif 000011
【図１０】
2004128614.tif 000012
【図１１】
2004128614.tif 000013
【図１２】
2004128614.tif 000014
【図１３】
2004128614.tif 000015
【図１４】
2004128614.tif 000016
【図１５】
2004128614.tif 000017
【図１６】
2004128614.tif 000018
【図１７】
2004128614.tif 000019
【図１８】
2004128614.tif 000020
【図１９】
2004128614.tif 000021
【図２０】
2004128614.tif 000022
【図２１】
2004128614.tif 000023
【図２２】
2004128614.tif 000024
【図２３】
2004128614.tif 000025
【図２４】
2004128614.tif 000026
【図２５】
2004128614.tif 000027
【図２６】
2004128614.tif 000028
【図２７】
2004128614.tif 000029
【図２８】
2004128614.tif 000030
【図２９】
2004128614.tif 000031
【図３０】
2004128614.tif 000032
【図３１】
2004128614.tif 000033