(57)【要約】【課題】余分なデータの送信を不要とし、端末装置の処理負荷を削減し、コミュニケーション時に着目している画像データ部分を端末装置間で共有して表示させることを可能とする。【解決手段】リアルタイムコミュニケーションを行う際に送受信する画像データのどの部分に着目してコミュニケーションを行っているかを明示し、画像データを送信する端末装置１０１が、画像の着目箇所と受信側の端末装置１０２の表示装置の大きさを考慮し、縮小した画像５、または、必要な部分を切り出した画像７のデータの送信を行う。これにより、余分なデータ送信をなくし、端末装置の処理負荷を削減することができる。【選択図】      図１
2005123804.tif 000002
【特許請求の範囲】
【請求項１】
端末装置相互間でデータを送受信するコミュニケーションシステムにおいて、通信開始時に互いの端末装置の出力表示画面を規定する縦及び横のドット数の情報を送受信して通信相手となる端末装置の出力表示画面を規定する縦及び横のドット数の情報を受領し、端末装置相互間で画像データの送受信、画像データと手書きデータとの送受信、画像データと音声データとの送受信、画像データと手書きデータと音声データとの送受信の組み合わせを任意に選択して通信を行うことを特徴とするコミュニケーションシステム。
【請求項２】
送信側となる端末装置は、画像データの送信時、画像調整を行うか否かの判定情報に基いて、画像データのサイズ調整を行うか否かを決定することを特徴とする請求項１記載のコミュニケーションシステム。
【請求項３】
前記判定情報は、ユーザにより明示的に指定され、あるいは、端末装置が自動的に設定することを特徴とする請求項２記載のコミュニケーションシステム。
【請求項４】
前記画像データのサイズ調整は、受信側となる端末装置の出力表示画面を規定する縦及び横のドット数に合わせて、画像データを縮小し、あるいは、画像データの一部を切り出すことにより行うことを特徴とする請求項３記載のコミュニケーションシステム。
【請求項５】
前記画像データの一部を切り出す画像データのサイズ調整は、ユーザにより明示的に指定されて、あるいは、端末装置が自動的に選択して行うことを特徴とする請求項４記載のコミュニケーションシステム。
【請求項６】
端末装置相互間で送受信したデータは、端末装置内で管理されることを特徴とする請求項１記載のコミュニケーションシステム。
【請求項７】
端末装置は、カメラ等の映像入力装置から画像データを取り込み、内部に保持、管理し、前記取り込んだ画像データを通信を行っている受信側となる端末装置に送信できることを特徴とする請求項１記載のコミュニケーションシステム。
【請求項８】
受信側となる端末装置の出力表示画面を規定する縦及び横のドット数に合わせて、画像データを縮小して送信した場合、送信側端末装置は、手書きデータ座標も画像データの縮小比率に合わせて変更して送信することを特徴とする請求項４記載のコミュニケーションシステム。
【請求項９】
前記端末装置相互間の通信が、複数の端末装置相互間の通信であることを特徴とする請求項１記載のコミュニケーションシステム。
【請求項１０】
端末装置相互間でデータを送受信するコミュニケーション方法において、通信開始時に互いの端末装置の出力表示画面を規定する縦及び横のドット数の情報を送受信して通信相手となる端末装置の出力表示画面を規定する縦及び横のドット数の情報を受領し、端末装置相互間で画像データの送受信、画像データと手書きデータとの送受信、画像データと音声データとの送受信、画像データと手書きデータと音声データとの送受信の組み合わせを任意に選択して通信を行うことを特徴とするコミュニケーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションシステムに係り、特に、音声データや手書きデータを送受信するコミュニケーションを行いながら静止画像データまたは動画像データの送受信を行う場合に用いて好適なコミュニケーションシステムに関する。
【背景技術】
【０００２】
一般に、端末装置相互間で、無線ネットワークを用いて、音声データ、手書きデータ、画像データによるコミュニケーションを行う場合、ネットワークの限られた通信帯域を有効に利用するために、ＪＰＥＧやＭＰＥＧ等の静止画像、動画像の圧縮技術を使用し、送受信データの情報量を削減して送信するようにしている。また、端末装置がネットワークの限られた通信帯域を使用してスムーズな動画像の送受信を行う方法に関する従来技術として、例えば、特許文献１等に記載された技術が知られている。この従来技術は、ネットワーク上のトラフィックが込み合っている場合に、画像データの高周波成分を抑制することにより画像データのデータサイズを小さくして画像データの送信を行うというものである。
【特許文献１】特開平１０−５１７７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
携帯電話、ＰＤＡ等を用いて、街中で無線ネットワークに接続してコミュニケーションを行おうとする場合、十分な通信帯域を確保することが困難であり、ＪＰＥＧやＭＰＥＧ等に対して静止画像、動画像の圧縮技術を使用しても、希望する画像データを送信することが困難な場合がある。
【０００４】
また、携帯電話、ＰＤＡ等の携帯端末装置は、据え置きの端末装置やＰＣと比較して処理能力が低く、大量のデータを同時に処理することができない。また、携帯電話やＰＤＡを用いて画像の送受信を行った場合、出力画面の解像度（出力画面を規定する縦及びまたは横のドット数）が送信側端末と受信側端末とで異なることがあり、お互いに画像データの同じ箇所を同時に見たい場合にも、相手の端末には同一の箇所が表示されていないことがある。
【０００５】
また、無線ネットワークを介して端末装置相互間でリアルタイムにコミュニケーションを行おうとした場合、端末装置の利用者が送受信している画像のどの部分に着目してコミュニケーションを行っているかが重要となる。例えば、端末装置で音声の送受信をしつつ人物画の全体像について話し合っている場合、送受信する画像は、多少ぼやけていても人物画の全体像が互いの端末装置で閲覧できる状態が好ましいし、また、画像の特定箇所について話し合っている場合、話題となっている特定箇所が詳細に表示されていることが好ましい。
【０００６】
しかし、前述した特許文献１に記載された従来技術による方法は、ネットワークのトラフィックが込み合ってくると、画像の高周波成分を抑制してしまうため、仮に画像の特定箇所について話し合っている場合に、話題となっている特定箇所を詳細に表示することができなくなるという問題を生じる。
【０００７】
前述したように、無線ネットワークを介して接続されている端末装置相互間でリアルタイムにコミュニケーションを行う場合、通信を行う端末装置の出力装置としての表示装置の解像度（出力画面を規定する縦及びまたは横のドット数）、利用者が送受信する画像データのどの箇所に着目してコミュニケーションを図ろうとしているかに合わせて表示方法を変更しなければ円滑なコミュニケーションをとることが困難である。
【０００８】
本発明の目的は、前述したような課題を解決するために、出力画面を規定する縦及びまたは横のドット数が異なる表示装置を有する端末装置相互間において、リアルタイムにコミュニケーションを行う際に、送受信する画像データのどの部分に着目してコミュニケーションを行っているかを明示し、画像データを送信する端末が画像の着目箇所と受信端末装置の出力解像度（出力画面を規定する縦及びまたは横のドット数）を考慮して、画像の縮小、切り出しを行い、その画像のデータの送信を行うことにより、余分なデータの送信を不要とし、端末装置の処理負荷を削減し、コミュニケーション時に着目している画像データ部分を端末装置間で共有して表示させることを可能としたコミュニケーションシステムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明によれば前記目的は、端末装置相互間でデータを送受信するコミュニケーションシステムにおいて、通信開始時に互いの端末装置の出力表示画面を規定する縦及び横のドット数の情報を送受信して通信相手となる端末装置の出力表示画面を規定する縦及び横のドット数の情報を受領し、端末装置相互間で画像データの送受信、画像データと手書きデータとの送受信、画像データと音声データとの送受信、画像データと手書きデータと音声データとの送受信の組み合わせを任意に選択して通信を行うことにより達成される。
【発明の効果】
【００１０】
本発明によれば、端末装置の表示装置の出力画面を規定する縦及びまたは横のドット数が異なる２台以上の端末装置相互間で静止画像または動画像データを送受信する場合に、余分なデータの送信を削減し、スムーズなコミュニケーションを実現することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明によるコミュニケーションシステムの実施形態を図面により詳細に説明する。
【００１２】
図１は本発明の実施形態での画像の縮小、切り出しの概要について説明する図である。
【００１３】
図１において、上段に示す画像データ１は、送信側となる端末装置１０１の表示装置に表示されている画像データの例であり、その枠の大きさが送信側となる端末装置１０１の表示装置の大きさ（縦及び横の表示ドット数）を表すものとする。そして、端末装置１０１のユーザは、この画像データ１の全部または一部を下段に太線で示す枠で示される大きさ（縦及び横の表示ドット数）の表示領域２を持つ表示装置を有する受信側となる端末装置１０２に送信するものとする。
【００１４】
前述の場合、従来技術に従って端末装置１０１から画像データ１を端末装置１０２に送信すると、端末装置１０２の表示領域２よりも大きなサイズ３の画像転送となり、図１の下段左側に示すように、受信側の端末装置１０２の表示領域２には、送信した画像の一部しか表示されないことになる。
【００１５】
本発明は、リアルタイムコミュニケーションを行う際に送受信する画像データのどの部分に着目してコミュニケーションを行っているかを明示し、画像データを送信する端末装置が前述の画像データの着目箇所と受信側となる端末装置の表示装置の大きさ（縦及び横の表示ドット数）を考慮し、画像の縮小、画像の切り出しを行い、これらの処理を行った画像の画像データの送信を行うようにする。これにより、余分なデータの送信をなくし、端末装置の処理負荷を削減し、コミュニケーション時に着目している画像データ部分を端末装置相互間で共有するように表示を行うことが可能となる。
【００１６】
すなわち、図１に示す例において、送信側となる端末装置１０１は、端末装置１０２の表示装置の大きさ（縦及び横の表示ドット数）とコミュニケーションにおいて着眼している画像の箇所とを設定し、画像データを加工して送信する。例えば、端末装置１０１は、画像全体に着目しているのであれば、端末装置１０２の表示領域４内に収まるよう画像を縮小した画像データ５を端末装置１０２に転送し、画像の一部分に着目しているのであれば、表示領域４に収まるように切り出した画像データ７を転送する。
【００１７】
図２は本発明の一実施形態によるコミュニケーションシステムの全体の構成をに示すブロック図である。図２に示す例は、端末装置１０１と端末装置１０２とがネットワーク１０３を介してコミュニケーションを行う場合の構成の概念を示す例であり、コミュニケーションを行う端末装置の多数がネットワーク１０３に接続可能であることはいうまでもない。
【００１８】
図２において、端末装置１０１、１０２は、ＰＣやＰＤＡ、携帯電話やセットトップボックスのようなもので構成することができ、後述するハードウェア構成と、ソフトウェア構成を搭載可能な機器であればよい。そして、端末装置１０１、１０２は、複数の画像データ格納領域を持ち、手書きデータを格納する手書きプレーン、表示画像データ、カメラで撮影した撮影画像データ、画像データを加工した縮小画像データを格納する画像プレーンを持って構成される。また、例えば、端末装置１０１と端末装置１０２との表示装置の出力画面を規定する縦及びまたは横のドット数が異なる場合、端末装置１０１が表示可能な画像データを送信した場合、端末装置１０２の表示装置の画面の縦及び横のドット数が端末装置１０１よりも小さいために画像データの一部分しか表示できない場合がある。本発明の実施形態は、このようなことを解消するため、端末装置相互間で表示装置の表示領域の大きさ（画面の縦及び横の表示ドット数）を通知しあうようにする。そして、画像データの送信を行う端末装置は、受信を行う端末装置の表示装置の表示領域の大きさの情報を基に、画像データを加工して送信する。画像データの加工方法としては、送信側となる端末装置で、画像全体を縮小する方法、送信側となる端末で、画像の一部を切り出す方法等を使用することができる。これにより、端末装置相互間でコミュニケーションを行っている場合に、表示装置の出力画面を規定する縦及びまたは横のドット数が異なる端末装置相互間において所望の画像部分を出力することが可能となり、スムーズなコミュニケーションを実現することができる。
【００１９】
図３は端末装置のハードウェア構成を示すブロック図である。図３において、２０１は中央処理装置、２０２は記憶装置、２０３は音声入力装置、２０４は音声出力装置、２０５は手書き入力装置、２０６は表示装置、２０７は設定入力装置、２０８は通信制御／入出力装置、２０９は二次記憶装置、２１０はバス、２１１は映像入出力装置である。
【００２０】
端末装置１０１、１０２は、図３に示すように、各種の機能装置２０１〜２０９、２１１がバス２１０に接続されて構成されている。以下にこれらの各機能装置２０１〜２０９、２１１のそれぞれについて説明する。
【００２１】
中央処理装置２０１は、記憶装置２０２からのデータ読み込み、読み込んだデータを処理して記憶装置２０２に書き込む等の処理を行う。記憶装置２０２は、中央処理装置２０１が読み込むデータ、書き込んだデータを保持する。音声入力装置２０３は、入力された音声データを記憶装置２０２に入力し、また、音声出力装置２０４は、記憶装置２０２から受信した音声データを出力する。手書き入力装置２０５は、ユーザがペンを用いて入力したデータを記憶装置２０２に入力する。表示装置２０６は、中央処理装置２０１から受信したデータを表示する。設定入力装置２０７は、ボタン等からのユーザによる入力を受信し、記憶装置２０２に出力する。通信制御／入出力装置２０８は、ネットワークを介してデータを受信し、また、中央処理装置２０１が記憶装置２０２で保持しているデータをネットワーク上に出力する。バス２１０は、端末装置内部の各装置が相互間でデータの送受信を行うために使用される。映像入力装置２１１は、図示しないカメラ等で撮影した画像を記憶装置２０２に出力する。
【００２２】
図４は端末装置のソフトウェア構成を示すブロック図である。図４において、３０１は制御部、３０２は音声送信部、３０３は音声受信部、３０４は画像データ送信部、３０５は画像データ受信部、３０６は手書きデータ送信部、３０７は手書きデータ受信部、３０８は画像取得部、３０９は画像加工管理部、３１０は画像加工部、３１１はデバイス情報管理部、３１２は表示制御部である。
【００２３】
端末装置１０１、１０２は、図４に示すように、各種のソフトウェアコンポーネント３０２〜３１１が、やはりソフトウェアコンポーネントである制御部３０１と表示制御部３１２とに接続されて構成されている。以下にこれらの各ソフトウェアコンポーネントのそれぞれについて説明する。
【００２４】
制御部３０１は、各ソフトウェアコンポーネント３０２〜３１１の動作を制御する。音声送信部３０２は、音声データを送信するための処理を行い、音声受信部３０３は、受信した音声データの処理を行う。画像データ送信部３０４は、静止画像データまたは動画像データを送信するための送信処理を行い、画像データ受信部３０５は、受信した静止画像データまたは動画像データの受信処理を行う。手書きデータ送信部３０６は、手書きデータの送信処理を行うものであり、手書きデータ受信部３０７は、受信した手書きデータの処理を行う。画像取得部３０８は、カメラ等から受信した画像データの受信処理を行い、画像管理部３０９は、送信側の端末装置が受信側の端末装置の表示装置の大きさ（出力画面の縦及び横のドット数）の情報に基いて、送信する静止画像データまたは動画像データの加工を行うか否かの管理を行う。画像加工部３１０は、画像データまたは動画像データを送信する端末装置が、受信端末の表示装置の大きさ（出力画面の縦及び横のドット数）の情報に基いて、送信する静止画像データまたは動画像データの大きさを変更する。デバイス情報管理部３１１は、自装置を含む端末装置の表示デバイスである表示装置の出力画面を規定する縦及びまたは横のドット数を管理するものであり、送受信を行う端末装置相互間で表示装置の大きさ（出力画面の縦及び横のドット数）の情報を通知しあうための情報を管理している。表示制御部３１２は、静止画像データまたは動画像データと、手書きデータ等の異なるデータから、重ね合わせた画面データを作成し、表示装置に表示する制御を行う。
【００２５】
図５は端末装置の表示画面の構成例を説明する図である。図５に示す例は、入力ボタン、各種の機能の実行を指示するボタン等を、表示画面内に表示するように構成したものであり、従って、この例を使用する表示装置は、タッチパネルを備えて構成される。あるいは、図示しないポインティングデバイスを備えるようにしてもよい。
【００２６】
図５に示すように、表示画面は、表示領域のサイズを規定する表示枠４０１内に、アプリケーションの名前やテキストを表示する領域４０２、ユーザが入力を行うためのソフトボタンの表示領域４０３、画像データ、手書きデータ、テキストデータを表示する画像データ表示領域４０４、画像データが画像データ表示領域４０４よりも大きいサイズの場合に、表示位置を変更するスクロールバー４０５、４０６、端末装置相互間で通信を開始するための通信開始ボタン４０７、端末装置相互間での通信を終了させる通信終了ボタン４０８、手書きデータの入力を開始する手書き開始ボタン４０９、手書きデータの入力を終了する手書き終了ボタン４１０、通信開始相手の名前やアドレスをクリアする宛先クリアボタン４１１、端末装置付属のカメラで画像撮影を行う画像撮影ボタン４１２、画像データを端末装置の表示領域の大きさ（出力画面の縦及び横のドット数）にあわせて縮小するか否かを決定する表示切替ボタン４１３、アプリケーションを終了する終了ボタン４１４が表示されて構成される。
【００２７】
図６は端末装置の表示画面の他の構成例を説明する図である。図６に示す例は、入力ボタン、各種の機能の実行を指示するボタン等を、表示画面の表示領域の外部に設けた例である。
【００２８】
図６に示すように、表示画面は、表示領域のサイズを規定する表示枠５０１内に、画像データ、手書きデータ、テキストデータを表示する画像データ表示領域５０２が設けられ、画像データ表示領域５０２内に、画像データが画像データ表示領域５０２よりも大きいサイズの場合に、表示位置を変更するスクロールバー５０３、５０４が設けられて構成されている。また、表示枠５０１の外部に、送信画像の選択やテキストデータ等の入力を行うテンキー５０５が配列されている。図６には、テンキー５０５だけを示しているが、この場所に、図５により説明したような各種のボタンが設けられていてよい。また、テキストデータの入力は、スタイラスを用いて画像データ表示領域５０２から行うことができる。
【００２９】
図７はデバイス情報管理部３１１で管理されている端末装置毎の表示装置の画面サイズを格納したテーブルの例を示す図である。
【００３０】
図７に示すテーブルは、自分自身の表示装置の画面サイズや現在接続している端末装置の表示装置の画面サイズを、端末装置を一意に判定するためのＩＤ番号である接続ＩＤ６０１と、水平出力サイズ６０２と、垂直出力サイズ６０３とを１組としたレコードにより構成される。これにより、端末装置は、自身を含み現在接続している端末装置の端末数分の表示画面の水平方向、垂直方向のサイズ（出力画面を規定する縦及び横のドット数）を保持、管理することができる。
【００３１】
図８は端末装置が管理している画像データの管理表の構成を説明する図である。端末装置１０１、１０２等の各端末装置は、自身で保持している静止画像や動画データ、図３に示す映像入力装置２１１から入力された静止画像や動画データ、受信した静止画像や動画データを図８に示すような管理表により管理している。
【００３２】
図８において、ＩＤ７０１は、各画像を一意に決めるためのＩＤであり、水平表示位置７０２は、画像が表示されている開始水平座標を、垂直表示位置７０３は、画像が表示されている開始垂直位置を示している。水平表示サイズ７０４は、画像の水平方向のサイズを、垂直表示サイズ７０５は、画像の垂直方向のサイズを示している。また、プレーンアドレス７０６は、画像がどこに保持されているかを示し、データサイズ７０７は、画像のデータサイズを示し、送信／受信７０８は、画像データを接続している端末装置に送信したか否かを示している。
【００３３】
図９、図１０は端末装置相互間で静止画像データまたは動画データの送受信を行いながらコミュニケーションを行う場合の端末装置での処理動作を説明するフローチャート、図１１〜図２２は図９、図１０のフローにおける主要なステップの処理動作の詳細を説明するフローチャートであり、次に、これらのフローを一連のものとして説明する。
【００３４】
（１）コミュニケーションを開始しようとする端末装置は、接続開始時に相手端末装置の宛先を入力する。宛先は、ＩＰアドレスや電話番号、相手を一意に識別できる名前等である。宛先が入力されると、接続する端末装置の入力データが画面に表示され、接続要求が送信される（ステップ８０１、８０２）。
【００３５】
（２）通信が開始され、音声セッションが確立されるとデバイス情報管理部３１１が起動される。デバイス情報管理部３１１は、図１１に示すフローに従って、図７により説明した表示装置のサイズ情報として管理している自分自身の画面サイズの情報を送信し、通信を開始した相手端末装置の画面サイズの情報を取得する（ステップ８０３、９０１、９０２）。
【００３６】
（３）一方、ステップ９０２の処理後、あるいは、ステップ８０１での宛先入力を行わない状態で、接続要求を受信した場合、その端末装置は通話を開始するか否かを決定し、通話を開始する場合には音声データの送受信を行うための音声セッションを確立する。音声セッションは、端末装置相互間で任意に確立するか否かを決めることが可能である（ステップ８０４、８０５）。
【００３７】
（４）音声セッションの確立後、あるいは、通話を開始することなく、通話を終了させることができ、通話を終了させる場合、音声セッションを終了させる。この場合の音声セッション終了は、どちら側の端末装置から行ってもよい（ステップ８０６、８０７）。
【００３８】
（５）通信を開始した端末装置は、手書きデータを送受信するための手書きセッションを開始するか否かを決定することができ、手書きデータの送受信を行うこととした場合、手書きセッションを確立させる。手書きセッションは、端末装置相互間で任意に確立するか否かを決めることが可能である（ステップ８０８、８０９）。
【００３９】
（６）手書きセッションの確立後、あるいは、手書きを開始することなく、手書きを終了させることができ、手書きを終了させる場合、手書きセッションを終了させる。この場合の手書きセッション終了は、どちら側の端末装置から行ってもよい（ステップ８１０、８１１）。
【００４０】
（７）また、端末装置が別の端末装置とも通信を開始したい場合、宛先をクリアし、再度宛先を入力することにより別の端末装置との間で通信を開始することができる（ステップ８１２、８１３）。
【００４１】
（８）次に、画像を縮小し、画像の一部を切り出し、画像データを縮小して送信するか否かを判定する調整画面送信フラグの設定を変更するか否かの判定を行い、設定を変更する場合、画像加工管理部３０９を起動する。画像加工管理部３０９を起動する処理は、どちら側の端末装置から行ってもよい（ステップ８１４、８１５）。
【００４２】
（９）画像加工管理部３０９は、図１２に示すフローに従って、画像データを縮小画面等に加工し送信する。このため、調整画面表示を行うか否かを判定をし、調整画面表示を行うのであれば加工画面送信をＯＮに、画像データを加工せずに送信するのであれば加工画面送信をＯＦＦにする（ステップ１００１〜１００３）。
【００４３】
（10）次に、カメラ等からの入力画像を通信を行っている相手端末装置に送信するか否かを判定し、送信したい場合、画像データの撮影を開始する画像取得部３０８を起動する（ステップ８１６、８１７）。
【００４４】
（11）画像取得部３０８は、図１３に示すフローに従って、カメラ等からの入力画像データを取得し、一時データ保管領域であるテンポラリプレーンに画像データを保持させる（ステップ１１０１、１１０２）。
【００４５】
（12）次に、テンポラリプレーンに保持している画像の画像サイズを変更するか否かを決定する。画像サイズの変更を行うか否かは画像加工管理部３０９が管理している調整画像送信フラグにより決定する。調整画像送信フラグがＯＮになっている場合、画像加工部３１０が起動される（ステップ８１８、８１９）。
【００４６】
（13）画像加工部３１０は、図１４に示すフローに従って、テンポラリプレーンに調整する画像がない場合には画像データを取得し、テンポラリプレーンに画像データを展開する。テンポラリプレーンに画像データ展開後に画像データの調整を行う画像加工部３１０内に設けられる図示しない縮小画像作成部を起動する（ステップ１２０１〜１２０３）。
【００４７】
（14）縮小画像作成部は、図１５に示すフローに従って、通信を行っている相手端末装置の表示装置情報を取得し、画像を縮小する必要があるか否かを判定し、縮小する必要がない場合、ここでの処理を終了する（ステップ１３０１）。
【００４８】
（15）ステップ１３０１の判定で、画像の縮小を行う必要があった場合、画像サイズの変更を行わず、表示可能な範囲だけを切り出す同一解像度の画像とするか否かを判定する（ステップ１３０２）。
【００４９】
（16）ステップ１３０２の判定で、同一解像度の画像として縮小画像の作成を行うとされた場合、画像サイズの変更を行わず、相手端末装置に表示可能な範囲だけを切り出した同一解像度の画像を作成する（ステップ１３０３）。
【００５０】
（17）ステップ１３０２の判定で、同一解像度の画像として縮小画像の作成を行うのではないとされた場合、画像全体を表示することができるように、通信を行っている相手端末装置の表示装置情報に明記されている表示装置の大きさ（出力画面の縦及び横のドット数）に、画像の水平サイズ、垂直サイズを縮小した画像を作成する（ステップ１３０４）。
【００５１】
前述のステップ１３０３、１３０４のどちらの方法で画像データを縮小するかは、端末装置によって一意に決まっていてもよい。また、端末装置の利用者が、あるいは、通信の開始時に送受信する表示装置の情報から端末装置が決定してもよい。
【００５２】
（18）前述の処理での画像サイズの縮小後、縮小した画像を圧縮するか否かを選択し、圧縮を行わない場合、ここでの処理を終了し、画像データの圧縮を行う場合、適切な圧縮方法で画像データを圧縮する。画像の圧縮を行ったか否かにかかわらず、その後、ステップ１３０３または１３０４の処理で作成した画像データをテンポラリプレーンに展開する（ステップ１３０５、１３０６、１２０４）。
【００５３】
（19）次に、通信を行っている相手端末装置から画像受信要求を受信したか否かを判定し、画像受信要求を受信した場合、画像データ受信部３０５を起動する（ステップ８２０、８２１）。
【００５４】
（20）画像データ受信部３０５は、図１６に示すフローに従って、まず、受信画像データに付加されているＩＤデータと画像データとの受信を行い、受信した画像が圧縮されている場合に、画像データを復号後にテンポラリプレーンに画像データを展開し、受信した画像データのＩＤ等の画像情報を画像データ管理表に登録する（ステップ１４０１〜１４０３）。
【００５５】
（21）表示する画像を選択するか否かを判定し、表示する画像を選択する場合、相手端末装置が保持している画像を選択して表示するか否かを判定し、相手端末装置が保持している画像を選択して表示する場合、通信を行っている相手端末装置に画像送信要求を送信する（ステップ８２２〜８２４）。
【００５６】
（22）その後、画像データ受信部３０５を起動して、相手端末から画像データが送られてくるのを待つ。画像データ受信部３０５での処理動作は、図１６に示すフローにより説明した場合と同一である（ステップ８２５）。
【００５７】
（23）ステップ８２３の判定で、保持している画像データを送信する場合、通信を行っている相手端末装置に対して、画像受信要求を送信し、通信を行っている端末装置の表示装置装置情報から画像サイズの調整を行う必要があるか否かの判定を行い、画像サイズの調整が必要な場合、画像加工部３１０を起動する。画像加工部３１０での処理動作は、図１４に示すフローにより説明した場合と同一である（ステップ８２６〜８２８）。
【００５８】
（24）ステップ８２７の判定で画像サイズの調整を行う必要がなかった場合、または、ステップ８２８で画像サイズの調整を行った後、画像データ送信部３０４を起動する（ステップ８２９）。
【００５９】
（25）画像データ送信部３０４は、図１７に示すフローに従って、画像サイズの調整を行った、または、そのままの送信する画像をテンポラリプレーンに展開し、ＩＤデータを画像データに付加して送信すると共に、送信後に、画像データ管理表に送信した画像データ情報を登録する（ステップ１５０１〜１５０３）。
【００６０】
（26）次に、画像データ送信要求を受信したか否かを判定し、画像データ送信要求を受信した場合、画像データ送信部３０４を起動し画像データを送信する。画像データ送信部３０４での処理動作は、図１７に示すフローにより説明した場合と同一である（ステップ８３０、８３１）。
【００６１】
（27）その後、画像データ受信要求を受信したか否かを判定し、画像データ受信要求を受信した場合、画像データ受信部３０５を起動し画像データを受信する。画像データ受信部３０５での処理動作は、図１６に示すフローにより説明した場合と同一である（ステップ８３２、８３３）。
【００６２】
（28）次に、音声セッションが確立されているか否かの判定を行い、音声セッションが確立されている場合、音声送信部３０２及び音声受信部３０３を起動する（ステップ８３４、８３５）。
【００６３】
（29）音声送信部３０２は、図１８に示すフローに従って、音声データを取得し、取得した音声データを適当な符号化方式で圧縮する。そして、符号化した音声データをパケット化して送信する（ステップ１６０１〜１６０４）。
【００６４】
（30）次の音声データがあるか否かを判定し、なけれは、送信の処理を終了し、次の音声データがあれば場合、ステップ１６０１からの処理に戻って、再度、音声データを取得し、パケット化して音声データの送信を行う処理を続ける（ステップ１６０５）。
【００６５】
（31）音声受信部３０３は、図１９に示すフローに従って、パケット化された符号化音声データを受信し、パケットから符号化音声データを取得する。そして、取得した符号化音声データを復号し、音声データを出力する（ステップ１７０１〜１７０４）。
【００６６】
（32）次の音声データの受信があるか否かを判定し、なけれは、受信の処理を終了し、次の音声データの受信があれば、ステップ１７０１からの処理に戻って、再度、パケット化された符号化音声データを受信して、音声データを出力する処理を続ける（ステップ１７０５）。
【００６７】
（33）音声セッションを終了させるか否かを判定し、終了させる場合、音声送信部３０２及び音声受信部３０３での処理を終了させる（ステップ８３６、８３７）。
【００６８】
（34）次に、手書きセッションが確立されているか否かの判定を行い、手書きセッションが確立されている場合、手書きデータ送信部３０６及び手書きデータ受信部３０７を起動する（ステップ８３８、８３９）。
【００６９】
（35）手書きデータ送信部３０６は、図２０に示すフローに従って、手書きデータがあるか否かを判定し、手書きデータがある場合、その手書きデータを取得して、通信を行っている端末装置に手書きデータを送信する。そして、手書きプレーンに手書きデータを追加し、出力手書きデータを更新する（ステップ１８０１〜１８０４）。
【００７０】
（36）ステップ１８０４の処理後、または、ステップ１８０１の判定で、手書きデータがなかった場合、さらに次の手書きデータがあるか否かを判定し、なければ、ここでの処理を終了し、次の手書きデータがある場合、ステップ１８０１からの処理に戻って、再度、手書きデータの取得を行い、送信する処理を続ける（ステップ１８０５）。
【００７１】
（37）手書きデータ受信部３０７は、図２１に示すフローに従って、手書きデータの受信があったか否かを判定し、手書きデータの受信があった場合、その手書きデータを取得し、手書きプレーンに手書きデータを追加し、表示制御部３１２を起動し出力手書きデータを更新する（ステップ１９０１〜１９０３）。
【００７２】
（38）ステップ１９０３の処理後、または、ステップ１９０１の判定で、受信手書きデータがなかった場合、さらに次の受信手書きデータがあるか否かを判定し、なければ、ここでの処理を終了し、次の受信手書きデータがある場合、ステップ１９０１からの処理に戻って、再度、受信手書きデータの受信を行う処理を続ける（ステップ１９０４）。
【００７３】
（39）手書きセッションを終了させるか否かを判定し、終了させる場合、手書きデータ送信部３０６及び手書きデータ受信部３０７での処理を終了させる（ステップ８４０、８４１）。
【００７４】
（40）次に、表示制御部３１２を起動する。表示制御部３１２は、図２２に示すフローに従って、テンポラリプレーンで保持している画像と手書きデータを保持している手書きプレーンの画像とを重ね合わせた合成画像を生成して共有プレーンに展開し、生成した共有プレーンの画像を端末装置の画面に表示する（ステップ８４２、２００１、２００２）。
【００７５】
前述した本発明の実施形態での処理において、受信側の端末の出力表示画面の大きさ（出力画面の縦及び横の表示ドット数）の情報に従って、画像データを縮小して送信した場合、送信側となる端末は、手書きデータ座標も画像データ縮小比率に合わせて変更し、この変更した手書きデータを送信するようにすることができる。これにより、表示装置の出力画面を規定する縦及びまたは横のドット数が異なる端末装置相互間において、画像の同一の箇所を指し示すことができる。
【００７６】
前述したような処理を端末装置で実行することにより、端末装置の表示装置の出力画面を規定する縦及びまたは横のドット数が異なる２台以上の端末装置相互間で、音声データ、手書きデータの内の少なくとも１つのデータと、静止画像または動画像データとを送受信するリアルタイムコミュニケーションにおいて、通信開始時に通信相手の表示装置の大きさ（出力画面の縦及び横の表示ドット数）の情報を送受信し、受信した相手の端末装置の表示装置の大きさに合わせて、例えば、相手端末装置の表示装置の画面の縦及び横のドット数が送信側となる端末装置よりも小さい場合に、送信画像データを縮小し、または、一部分を切り出して送信することにより、余分なデータの送信を削減し、スムーズなコミュニケーションを実現することができる。
【００７７】
前述した本発明の実施形態における処理は、処理プログラムとして構成することができ、この処理プログラムは、ＨＤ、ＤＡＴ、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することができ、また、インターネットを含む通信網等の通信媒体を介して提供することができる。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態での画像の縮小、切り出しの概要について説明する図である。
【図２】本発明の一実施形態によるコミュニケーションシステムの全体の構成をに示すブロック図である。
【図３】端末装置のハードウェア構成を示すブロック図である。
【図４】端末装置のソフトウェア構成を示すブロック図である。
【図５】端末装置の表示画面の構成例を説明する図である。
【図６】端末装置の表示画面の他の構成例を説明する図である。
【図７】デバイス情報管理部で管理されている端末装置毎の表示装置の画面サイズを格納したテーブルの例を示す図である。
【図８】端末装置が管理している画像データの管理表の構成を説明する図である。
【図９】端末装置相互間でコミュニケーションを行う場合の端末装置での処理動作を説明するフローチャート（その１）である。
【図１０】端末装置相互間でコミュニケーションを行う場合の端末装置での処理動作を説明するフローチャート（その２）である。
【図１１】図９のステップ８０３でのデバイス情報管理部の処理動作を説明するフローチャートである。
【図１２】図９のステップ８１５での画像加工管理部の処理動作を説明するフローチャートである。
【図１３】図９のステップ８１７での画像取得部の処理動作を説明するフローチャートである。
【図１４】図９のステップ８１９での画像加工部の処理動作を説明するフローチャートである。
【図１５】図１４のステップ１２０３での縮小画面作成部の処理動作を説明するフローチャートである。
【図１６】図９のステップ８２１、８２５での画像データ受信部の処理動作を説明するフローチャートである。
【図１７】図９のステップ８２９、８３１での画像データ送信部３０４の処理動作を説明するフローチャートである。
【図１８】図１０のステップ８３５での音声送信部の処理動作を説明するフローチャートである。
【図１９】図１０のステップ８３５での音声受信部の処理動作を説明するフローチャートである。
【図２０】図１０のステップ８３５での手書きデータ送信部の処理動作を説明するフローチャートである。
【図２１】図１０のステップ８３９での手書きデータ受信部の処理動作を説明するフローチャートである。
【図２２】図１０のステップ８４２での表示制御部の処理動作を説明するフローチャートである。
【符号の説明】
【００７９】
１０１、１０２  端末装置
２０１  中央処理装置
２０２  記憶装置
２０３  音声入力装置
２０４  音声出力装置
２０５  手書き入力装置
２０６  表示装置
２０７  設定入力装置
２０８  通信制御／入出力装置
２０９  二次記憶装置
２１０  バス
２１１  映像入出力装置
３０１  制御部
３０２  音声送信部
３０３  音声受信部
３０４  画像データ送信部
３０５  画像データ受信部
３０６  手書きデータ送信部
３０７  手書きデータ受信部
３０８  画像取得部
３０９  画像加工管理部
３１０  画像加工部
３１１  デバイス情報管理部
３１２  表示制御部
【図１】
2005123804.tif 000003
【図２】
2005123804.tif 000004
【図３】
2005123804.tif 000005
【図４】
2005123804.tif 000006
【図５】
2005123804.tif 000007
【図６】
2005123804.tif 000008
【図７】
2005123804.tif 000009
【図８】
2005123804.tif 000010
【図９】
2005123804.tif 000011
【図１０】
2005123804.tif 000012
【図１１】
2005123804.tif 000013
【図１２】
2005123804.tif 000014
【図１３】
2005123804.tif 000015
【図１４】
2005123804.tif 000016
【図１５】
2005123804.tif 000017
【図１６】
2005123804.tif 000018
【図１７】
2005123804.tif 000019
【図１８】
2005123804.tif 000020
【図１９】
2005123804.tif 000021
【図２０】
2005123804.tif 000022
【図２１】
2005123804.tif 000023
【図２２】
2005123804.tif 000024