(57)【要約】      （修正有）【課題】性能が低く表示画面の小さい端末装置間で、使い勝手のよい高品質および信頼性の高い音声、画像および手書き通信を実現すること。【解決手段】セッション制御手段０３０２は、音声通話、画像および手書きデータ通信を受信側の許可を必要とせずに行う。画像・手書きデータ管理手段０３１６では、複数のプレーン（面）を持ち、プレーンのうち一つに該基本となる画像データを表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示する。画像データ送信制御手段０３０５／受信制御手段０３０６では、該基本となる画像データについて、その便宜的な名称やデータ内容を切り替えて送受信する。表示制御手段では、該基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を端末装置間で交換し、該基本となる画像データと手書きデータが表示手段に表示されるようにスクロールして表示する。【選択図】  図３
2004221842.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークと、
前記ネットワークに接続され、情報の送受信を行う少なくとも２以上の端末装置を有するコミュニケーションシステムであって、
前記端末装置は、
自機器の動作設定、通信相手の端末装置の指定を行う設定入力手段と、
前記ネットワークを介して端末装置間でデータの送受信を可能とする通信制御／入出力手段と、
外部の音声を端末装置内に入力する音声入力手段と、
端末装置内の音声データを外部に出力する音声出力手段と、
前記設定入力手段を介してユーザから入力された情報を処理する入力処理手段と、
前記通信制御／入出力手段を介して前記通信相手の端末装置と音声の送受信を行えるようセッションを制御するセッション制御手段と、
前記音声入力手段を介して入力した音声データを符号化およびパケット化して、前記通信制御／入出力手段を介して前記通信相手の端末装置に送信する音声送信手段と、
前記通信制御／入出力手段を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力手段を介して音声を出力する音声受信手段と、
当該端末装置で処理されるデータを格納する記憶手段と、
データを表示する表示手段と、
前記設定入力手段と、前記通信制御／入出力手段と、音声入力手段と、前記音声出力手段と、前記記憶手段と、前記表示手段とを接続するバスとを有し、さらに
ユーザによって入力された手書きデータを取得する手書き入力手段と、
手書きデータの送受信を制御する手書きデータ制御手段と、
送信画像を制御する画像データ送信制御手段と、
受信画像を制御する画像データ受信制御手段と、
画像と手書きデータを管理する画像・手書きデータ管理手段と、
前記画像・手書きデータ管理手段からの指示にともづいて画像および手書きデータを表示手段に表示する表示制御手段と、
を備え、
前記セッション制御手段はさらに通信制御／入出力手段を介して前記通信相手の端末装置と画像および手書きデータの送受信を行えるようセッションを制御することにより、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とすることを特徴とするコミュニケーションシステム。
【請求項２】
請求項１に記載のコミュニケーションシステムであって、さらに、
画像および手書きデータを前記画像・手書きデータ管理手段を介して前記表示手段から消去するとともに消去情報を前記通信相手の端末装置に送信する消去送信手段と、
前記通信相手の端末装置から送信された消去情報を受信し、その情報に基づいて前記画像・手書きデータ管理手段を介して前記表示手段から画像および手書きデータを消去する消去受信手段と、
を備え、
互いに通信を行っている端末装置の前記表示手段に表示されている画像および手書きデータの消去をすることを特徴とするコミュニケーションシステム。
【請求項３】
請求項１および請求項２のいずれかに記載のコミュニケーションシステムであって、
前記消去送信手段は、ユーザが消去するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記消去送信手段は該選択に基づいて指定されたオブジェクトを前記表示手段から消去し、前記通信相手の端末装置に通知し、該通知を受信した端末装置では該通知に基づいて前記表示手段に表示されているオブジェクトを消去することを特徴とするコミュニケーションシステム。
【請求項４】
請求項１乃至請求項３のいずれかに記載のコミュニケーションシステムであって、前記端末装置はさらに、
前記表示手段に表示されている画像および手書きデータを前記記憶手段に保存する保存手段を備えることを特徴とするコミュニケーションシステム。
【請求項５】
請求項４に記載のコミュニケーションシステムであって、
前記保存手段は、ユーザが保存するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記保存手段は該選択に基づいて指定されたオブジェクトを前記記憶手段に保存することを特徴とするコミュニケーションシステム。
【請求項６】
請求項１に記載のコミュニケーションシステムであって、
前記セッション制御手段は、音声通話、画像および手書きデータ通信を個別に開始および終了可能とし、前記端末装置の処理能力あるいは通信帯域が不足した場合でも、少なくとも画像送受信、手書きデータ通信、あるいは音声通話のいずれか１つを行うことができることを特徴とするコミュニケーションシステム。
【請求項７】
請求項６に記載のコミュニケーションシステムであって、
前記セッション制御手段は、画像および／あるいは手書きデータ通信を個別に開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの画像および／あるいは手書きデータの送受信を受信側のユーザの許可を必要とせずに行うことを特徴とするコミュニケーションシステム。
【請求項８】
請求項１に記載のコミュニケーションシステムであって、
前記画像・手書きデータ管理手段は、複数のプレーンを持ち、前記プレーンの内の一つに基本となる画像を表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示することを特徴とするコミュニケーションシステム。
【請求項９】
請求項１に記載のコミュニケーションシステムであって、
前記画像データ送信制御手段および前記画像データ受信制御手段では、前記基本となる画像データについて、該画像データを示す名称あるいは該画像データのデータ内容のいずれかを選択し、送受信することを特徴とするコミュニケーションシステム。
【請求項１０】
請求項９に記載のコミュニケーションシステムであって、
前記画像データ送信制御手段では、ユーザが画像データの便宜的な名称を送信するか、あるいはデータ内容を送信するか選択可能とし、前記画像データ受信制御手段は、前記通信相手の端末装置の該画像データ送信制御手段で指定された内容を受信して、該受信した内容に基づいて画像を前記表示手段に表示することを特徴とするコミュニケーションシステム。
【請求項１１】
請求項１に記載のコミュニケーションシステムであって、
前記手書き入力手段は、手書きの開始をトリガにして排他制御を行うことで、一方の端末装置で手書きの入力および送信を行っているときには、他方の端末装置は手書き入力および送信を行えないように制御することを特徴とするコミュニケーションシステム。
【請求項１２】
請求項１に記載のコミュニケーションシステムであって、
前記表示制御手段は、前記基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を通信を行っている端末装置間で交換し、一方の端末装置において該手書きデータの指す位置が、他方の端末装置の前記表示手段に表示されないと判断した場合に、前記基本となる画像データと手書きデータが前記他方の端末装置の前記表示手段に表示されるようにスクロールして表示することを特徴とするコミュニケーションシステム。
【請求項１３】
請求項１２に記載のコミュニケーションシステムであって、
前記表示制御手段は、前記手書きデータの指す位置が前記表示手段に表示されないと判断した場合に、該手書きデータの指す位置が該表示手段の中心付近に表示されるように前記基本となる画像データと手書きデータをスクロールして表示することを特徴とするコミュニケーションシステム。
【請求項１４】
請求項１３に記載のコミュニケーションシステムであって、
前記表示制御手段は、前記基本となる画像のボーダーが表示されてしまう場合に、前記基本となる画像のボーダーを前記表示手段の辺に合わせるように表示することを特徴とするコミュニケーションシステム。
【請求項１５】
請求項１に記載のコミュニケーションシステムであって、
前記手書き入力手段は、さらに手書きデータ送受信の開始時に互いの端末装置における前記表示手段の可視表示画像サイズを通知し合い、前記表示制御手段は、前記通信相手の端末装置の前記表示手段において表示されている画像の部分をマーキングして、前記基本となる画像および手書きデータを表示することを特徴とするコミュニケーションシステム。
【請求項１６】
請求項１に記載のコミュニケーションシステムであって、
前記手書き入力手段は、ユーザによって入力された手書きデータのサンプリングを行い、
前記手書きデータ制御手段は、サンプリングされた手書きデータを動的に決められたサンプリング数毎にチャンクに纏めて送受信することを特徴とするコミュニケーションシステム。
【請求項１７】
請求項１６に記載のコミュニケーションシステムであって、
前記手書きデータ制御手段は、前記端末装置間で前記チャンク毎に受信通知の有無を切り換えることで該チャンクデータの正確な送受信を保証することを特徴とするコミュニケーションシステム。
【請求項１８】
請求項１７に記載のコミュニケーションシステムであって、
前記手書きデータ制御手段は、ユーザからの指定に基づき端末装置間で前記チャンク毎に受信通知の有無を切り換えることを特徴とするコミュニケーションシステム。
【請求項１９】
請求項８に記載のコミュニケーションシステムであって、
前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、該画像の送受信をトリガとして前記手書き用のプレーンをクリアし、前記表示手段に表示されている手書きデータを消去することを特徴とするコミュニケーションシステム。
【請求項２０】
請求項８に記載のコミュニケーションシステムであって、
前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記送受信した画像の大きさに合わせることを特徴とするコミュニケーションシステム。
【請求項２１】
請求項２０に記載のコミュニケーションシステムであって、
前記画像・手書きデータ管理手段は、前記送受信した画像の大きさが前記表示手段に表示可能な画像のサイズよりも小さい場合には、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記表示手段に表示可能な画像のサイズに合わせることを特徴とするコミュニケーションシステム。
【請求項２２】
請求項８に記載のコミュニケーションシステムであって、
前記手書きデータ制御手段は、前記画像用のプレーンの画像を編集不可能とし、前記手書き用のプレーンにおける手書きデータのみ編集可能とすることを特徴とするコミュニケーションシステム。
【請求項２３】
請求項１に記載のコミュニケーションシステムであって、
前記セッション制御手段は、音声セッションを開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの音声データの受信を受信側のユーザの許可を必要とせずに行うことを特徴とするコミュニケーションシステム。
【請求項２４】
ネットワークに接続され、情報の送受信を行う少なくとも２以上の端末装置を有するコミュニケーションシステムにおける端末装置であって、
自機器の動作設定、通信相手の端末装置の指定を行う設定入力手段と、
前記ネットワークを介して端末装置間でデータの送受信を可能とする通信制御／入出力手段と、
外部の音声を端末装置内に入力する音声入力手段と、
端末装置内の音声データを外部に出力する音声出力手段と、
前記設定入力手段を介してユーザから入力された情報を処理する入力処理手段と、
前記通信制御／入出力手段を介して前記通信相手の端末装置と音声の送受信を行えるようセッションを制御するセッション制御手段と、
前記音声入力手段を介して入力した音声データを符号化およびパケット化して、前記通信制御／入出力手段を介して前記通信相手の端末装置に送信する音声送信手段と、
前記通信制御／入出力手段を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力手段を介して音声を出力する音声受信手段と、
当該端末装置で処理されるデータを格納する記憶手段と、
データを表示する表示手段と、
前記設定入力手段と、前記通信制御／入出力手段と、音声入力手段と、前記音声出力手段と、前記記憶手段と、前記表示手段とを接続するバスとを有し、さらに
ユーザによって入力された手書きデータを取得する手書き入力手段と、
手書きデータの送受信を制御する手書きデータ制御手段と、
送信画像を制御する画像データ送信制御手段と、
受信画像を制御する画像データ受信制御手段と、
画像と手書きデータを管理する画像・手書きデータ管理手段と、
前記画像・手書きデータ管理手段からの指示にともづいて画像および手書きデータを表示手段に表示する表示制御手段と、
を備え、
前記セッション制御手段はさらに通信制御／入出力手段を介して前記通信相手の端末装置と画像および手書きデータの送受信を行えるようセッションを制御することにより、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とすることを特徴とする端末装置。
【請求項２５】
請求項２４に記載の端末装置であって、さらに、
画像および手書きデータを前記画像・手書きデータ管理手段を介して前記表示手段から消去するとともに消去情報を前記通信相手の端末装置に送信する消去送信手段と、
前記通信相手の端末装置から送信された消去情報を受信し、その情報に基づいて前記画像・手書きデータ管理手段を介して前記表示手段から画像および手書きデータを消去する消去受信手段と、
を備え、
互いに通信を行っている端末装置の前記表示手段に表示されている画像および手書きデータの消去をすることを特徴とする端末装置。
【請求項２６】
請求項２４および請求項２５のいずれかに記載の端末装置であって、
前記消去送信手段は、ユーザが消去するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記消去送信手段は該選択に基づいて指定されたオブジェクトを前記表示手段から消去し、前記通信相手の端末装置に通知し、該通知を受信した端末装置では該通知に基づいて前記表示手段に表示されているオブジェクトを消去することを特徴とする端末装置。
【請求項２７】
請求項２４乃至請求項２６のいずれかに記載の端末装置であって、前記端末装置はさらに、
前記表示手段に表示されている画像および手書きデータを前記記憶手段に保存する保存手段を備えることを特徴とする端末装置。
【請求項２８】
請求項２７に記載の端末装置であって、
前記保存手段は、ユーザが保存するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記保存手段は該選択に基づいて指定されたオブジェクトを前記記憶手段に保存することを特徴とする端末装置。
【請求項２９】
請求項２４に記載の端末装置であって、
前記セッション制御手段は、音声通話、画像および手書きデータ通信を個別に開始および終了可能とし、前記端末装置の処理能力あるいは通信帯域が不足した場合でも、少なくとも画像送受信、手書きデータ通信、あるいは音声通話のいずれか１つを行うことができることを特徴とする端末装置。
【請求項３０】
請求項２９に記載の端末装置であって、
前記セッション制御手段は、画像および／あるいは手書きデータ通信を個別に開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの画像および／あるいは手書きデータの送受信を受信側のユーザの許可を必要とせずに行うことを特徴とする端末装置。
【請求項３１】
請求項２４に記載の端末装置であって、
前記画像・手書きデータ管理手段は、複数のプレーンを持ち、前記プレーンの内の一つに基本となる画像を表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示することを特徴とする端末装置。
【請求項３２】
請求項２４に記載の端末装置であって、
前記画像データ送信制御手段および前記画像データ受信制御手段では、前記基本となる画像データについて、該画像データを示す名称あるいは該画像データのデータ内容のいずれかを選択し、送受信することを特徴とする端末装置。
【請求項３３】
請求項３２に記載の端末装置であって、
前記画像データ送信制御手段では、ユーザが画像データの便宜的な名称を送信するか、あるいはデータ内容を送信するか選択可能とし、前記画像データ受信制御手段は、前記通信相手の端末装置の該画像データ送信制御手段で指定された内容を受信して、該受信した内容に基づいて画像を前記表示手段に表示することを特徴とする端末装置。
【請求項３４】
請求項２４に記載の端末装置であって、
前記手書き入力手段は、手書きの開始をトリガにして排他制御を行うことで、一方の端末装置で手書きの入力および送信を行っているときには、他方の端末装置は手書き入力および送信を行えないように制御することを特徴とする端末装置。
【請求項３５】
請求項２４に記載の端末装置であって、
前記表示制御手段は、前記基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を通信を行っている端末装置間で交換し、一方の端末装置において該手書きデータの指す位置が、他方の端末装置の前記表示手段に表示されないと判断した場合に、前記基本となる画像データと手書きデータが前記他方の端末装置の前記表示手段に表示されるようにスクロールして表示することを特徴とする端末装置。
【請求項３６】
請求項３５に記載の端末装置であって、
前記表示制御手段は、前記手書きデータの指す位置が前記表示手段に表示されないと判断した場合に、該手書きデータの指す位置が該表示手段の中心付近に表示されるように前記基本となる画像データと手書きデータをスクロールして表示することを特徴とする端末装置。
【請求項３７】
請求項３６に記載の端末装置であって、
前記表示制御手段は、前記基本となる画像のボーダーが表示されてしまう場合に、前記基本となる画像のボーダーを前記表示手段の辺に合わせるように表示することを特徴とする端末装置。
【請求項３８】
請求項２４に記載の端末装置であって、
前記手書き入力手段は、さらに手書きデータ送受信の開始時に互いの端末装置における前記表示手段の可視表示画像サイズを通知し合い、前記表示制御手段は、前記通信相手の端末装置の前記表示手段において表示されている画像の部分をマーキングして、前記基本となる画像および手書きデータを表示することを特徴とする端末装置。
【請求項３９】
請求項２４に記載の端末装置であって、
前記手書き入力手段は、ユーザによって入力された手書きデータのサンプリングを行い、
前記手書きデータ制御手段は、サンプリングされた手書きデータを動的に決められたサンプリング数毎にチャンクに纏めて送受信することを特徴とする端末装置。
【請求項４０】
請求項３９に記載の端末装置であって、
前記手書きデータ制御手段は、前記端末装置間で前記チャンク毎に受信通知の有無を切り換えることで該チャンクデータの正確な送受信を保証することを特徴とする端末装置。
【請求項４１】
請求項４０に記載の端末装置であって、
前記手書きデータ制御手段は、ユーザからの指定に基づき端末装置間で前記チャンク毎に受信通知の有無を切り換えることを特徴とする端末装置。
【請求項４２】
請求項３１に記載の端末装置であって、
前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、該画像の送受信をトリガとして前記手書き用のプレーンをクリアし、前記表示手段に表示されている手書きデータを消去することを特徴とする端末装置。
【請求項４３】
請求項３１に記載の端末装置であって、
前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記送受信した画像の大きさに合わせることを特徴とする端末装置。
【請求項４４】
請求項４３に記載の端末装置であって、
前記画像・手書きデータ管理手段は、前記送受信した画像の大きさが前記表示手段に表示可能な画像のサイズよりも小さい場合には、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記表示手段に表示可能な画像のサイズに合わせることを特徴とする端末装置。
【請求項４５】
請求項３１に記載の端末装置であって、
前記手書きデータ制御手段は、前記画像用のプレーンの画像を編集不可能とし、前記手書き用のプレーンにおける手書きデータのみ編集可能とすることを特徴とする端末装置。
【請求項４６】
請求項２４に記載の端末装置であって、
前記セッション制御手段は、音声セッションを開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの音声データの受信を受信側のユーザの許可を必要とせずに行うことを特徴とする端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、端末装置において、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とするコミュニケーションシステムおよびその端末装置に関するものである。
【０００２】
【従来の技術】
従来のコミュニケーションシステムにおいて、静止画等画像データと手書きデータのやり取り、および音声によるコミュニケーションは次に挙げる個別の従来技術により実現されている。
【０００３】
先ず、手書きデータと音声によるコミュニケーションシステムは、特許文献１の「テレライティング装置」や、特許文献２の「音声画像通信装置」に示されるテレビ会議システムや多機能ファックスであった。
【０００４】
テレライティング装置では、電話線やイーサネット（登録商標）等のネットワークに固定された端末装置の画面にポインティングデバイスを用いて図形や文字を書き込み、個々の端末装置に書き込まれた画像を端末装置間で配信し、端末装置間で同じ画像を表示している。
【０００５】
また、多機能ファックでは、スキャナで取り込んだ手書きのメッセージや液晶画面に走り書きしたメッセージを一端蓄積し、相手のファックスを呼び出して、蓄積していた画像を転送していた。また、画像送信中に相手のファックスとの間で音声通話を実現することも可能であった。この場合、端末装置間でやり取りした手書きデータは、特許文献３の「テレライティング端末装置」に詳述されているように、時系列上過去の画像に逐次上書きされ、画面に表示していた。
【０００６】
また、教育におけるテキストや会議における資料のような基本となる画像データは、特許文献４の「手書き通信端末機」で事前に情報および実データを交換し、会議の進展に合わせてどのデータを表示するか端末装置間で指示し、すべての端末装置で同一の画像データを表示していた。
【０００７】
特に、基本となる画像データの表示では、特許文献５の「手書き通信端末機」で基本となる画像データの本来の所有者の端末装置の指示に従い、画面上での表示開始位置を指定していた。
【０００８】
なお、通信速度は、端末装置数の増減や回線品質の劣化により動的に変化するが、特許文献６の「画像通信端末装置」では、画像について通信に用いるエラー訂正コードや符合、圧縮アルゴリズムを動的に代えて通信を保っていた。それでも尚通信状況が悪化し画像の劣化が著しくなると、特許文献７の「画像伝送装置」の様に、音声の転送帯域を下げ、喪失したパケットの再送を行わずパケットロスを容認して、音声よりも画像の転送を優先していた。
【０００９】
【特許文献１】
特開平０６−２８４２４１号公報
【特許文献２】
特開２００２−３３０２４４号公報
【特許文献３】
特開平０５−３２７９７３号公報
【特許文献４】
特開平０５−０６３８７４号公報
【特許文献５】
特開平０５−０８１５９２号公報
【特許文献６】
特開平０８−１３０５１４号公報
【特許文献７】
特開平１０−０７９８２３号公報
【００１０】
【発明が解決しようとする課題】
以上述べたように画像と手書きデータおよび音声によるコミュニケーションシステムについては、従来の技術でも数々の工夫がなされているが、例えば特許文献１の「テレライティング装置」においては、端末装置の性能および表示画面のサイズへの考慮が欠けていた。また、特許文献２の「音声画像通信装置」においては、ファックスであるため手書きデータにリアルタイム性は無く、同時進行する音声通話中に転送した画像を指し示したり、文字や図形を追記して詳述することはできなかった。
【００１１】
また、特許文献３の「テレライティング端末装置」においては、時系列上過去の画像に逐次上書きされ元の画像をかき消しながら画面を表示するので、テキストや会議資料のような基本となるオリジナルの画像データは、会議の進捗に伴い失われた。また、上述の基本となる画像データは、特許文献４の「手書き通信端末機」で事前に取得されるが、取得時点が異なる為内容が異なることがあった。また、リアルタイムに交換されるものではないので、訂正や差し替えも出来なかった。
【００１２】
さらに、特許文献５の「手書き通信端末機」においては、基本となる画像データの画面上での表示開始位置を指定出来るが、手書きデータとの相対的な位置あわせは出来なかった為、画像中の部位を特定する書き込みは意味の無い部位を指し示すことがあった。
【００１３】
また、特許文献６の「画像通信端末装置」において、動的に帯域を変更すると、エラー訂正コードや符合、圧縮アルゴリズムの変更のオーバヘッドと、特に低ビットレートから高ビットレート、高エラーレート用の冗長度の高い訂正コードへの切り換え時に負荷が増大する為、処理能力の高い処理装置や高価な処理回路を必要とした。
【００１４】
また、特許文献７の「画像伝送装置」においては、音声の転送帯域を下げ、喪失したパケットの再送を行わずパケットロスを容認する為、低品質の音声通話を容認し、引いては相手の言葉が判別できず音声通話をなさないことがあった。
【００１５】
本発明では、例えば、携帯端末のような端末装置において、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とするとともに、円滑にコミュニケーション可能とすることを目的とする。
【００１６】
この目的を達成するため、本発明では、端末装置において、テキストや会議資料のような基本となる画像データを保持しながら手書きでのコミュニケーションを実現することが課題である。また、該基本となる画像データの整合を可能な限り少ない帯域と処理量で、いつでも、リアルタイムかつオンデマンドで取るとともに、該基本となる画像を失わないようにすることが課題である。また、コミュニケーションがフォーカスしている画像中の部位について話者間でずれを生じさせないようにすることが課題である。また、高品質な手書きデータの通信と音声通話によるコミュニケーションを実現することが課題である。さらに、余分な処理やＣＰＵパワーや回路等の追加無しに高速および正確な手書きデータ通信を実現可能な端末装置を提供することが課題である。
【００１７】
本発明は、上記した課題のうち少なくともひとつを解決するものである。
【００１８】
【課題を解決するための手段】
上述の課題を解決し、本発明の目的を達成するため、本発明のコミュニケーションシステムおよびその端末装置は、端末装置の動作設定やコミュニケーション相手の端末装置の指定を行う設定入力手段と、ネットワークを介して端末装置間でデータの送受信を可能とする通信制御／入出力手段と、外部の音声を端末装置内に入力する音声入力手段と、ユーザによって入力された手書きデータを取得する手書き入力手段と、端末装置内の音声データを外部に出力する音声出力手段と、画像や手書きデータを表示する表示手段と、端末装置で処理されるデータを格納する記憶手段と、設定入力手段を介してユーザから入力された情報を処理する入力処理手段と、通信制御／入出力手段を介してコミュニケーション相手の端末装置と音声、画像、および手書きデータの送受信を行えるようセッションを制御するセッション制御手段と、音声入力手段を介して入力した音声データを符号化およびパケット化して、通信制御／入出力手段を介してコミュニケーション相手の端末装置に送信する音声送信手段と、通信制御／入出力手段を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力手段を介して音声を出力する音声受信手段と、送信画像を制御する画像データ送信制御手段と、受信画像を制御する画像データ受信制御手段と、手書きデータの送受信を制御する手書きデータ制御手段と、手書きデータおよび画像を表示手段に表示する表示制御手段と、画像および手書きデータを表示手段から消去するとともに消去情報をコミュニケーション相手の端末装置に送信する消去送信手段と、コミュニケーション相手の端末装置から送信された消去情報を受信し、その情報に基づいて表示手段から画像および手書きデータを消去する消去受信手段と、設定入力手段を介してユーザから入力された指定に基づいて画像および手書きデータを記憶手段に保存する保存手段と、表示手段に表示すべき画像と手書きデータおよび記憶手段に保存すべき画像と手書きデータを管理する画像・手書きデータ管理手段と、を備える。
【００１９】
特に、セッション制御手段では、音声通話、画像および手書きデータ通信を個別に開始および終了する手段を具備し、端末装置の処理能力あるいは通信帯域が不足した場合でも、ユーザからの指定により、少なくとも画像送受信、手書きデータ通信、あるいは音声通話のどれか１つを高品質に行い、他の通信を終了可能なように構成する。また、セッション制御手段では、画像および手書きデータ通信を個別に開始および終了する際、あらかじめ登録されているコミュニケーション相手の端末装置からの画像および手書きデータの受信開始および終了を受信側のユーザからの許可を必要とせずに行うことができるようにする。これにより、受信側のユーザが不在の場合でも、画像や手書きによるメッセージを送付することが可能となる。
【００２０】
また、画像データ送信制御手段／受信制御手段では、前記基本となる画像データについて、その便宜的な名称やデータ内容を切り替えて送受信することにより、画像の整合性を保つとともに、画像送信に必要となる帯域と処理量を減らす。また、画像・手書きデータ管理手段では、複数のプレーン（面）を持ち、プレーンの内の一つに該基本となる画像データを表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示する。これにより、コミュニケーション中もコミュニケーション後も基本となる画像を失うことは無い。
【００２１】
また、表示制御手段では、該基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を端末装置間で送受信し、該手書きデータの指す位置が表示手段に表示されないと判断した場合に、該基本となる画像データと手書きデータが表示手段に表示されるようにスクロールして表示する。これにより、手書きデータ通信よるコミュニケーションにおいて注目すべき情報を確実に表示可能となる。
【００２２】
また、手書きデータ制御手段では、手書きの開始をトリガにして排他制御を行うことで、一方で手書きの入力および送信を行っているときには、他方は手書き入力および送信を行えないように制御する。これにより、フォーカスしている画像中の部位について話者間でずれを生じさせない。
さらに、手書きデータ制御部では、サンプリングされた手書きデータを決められたサンプリング数毎にチャンクに纏めて送受信することで、曲線を角張らせずに高品質に描画する。
【００２３】
さらに、該手書きデータ制御手段では、端末装置間で該チャンク毎に受信通知の有無を切り換えることでチャンクデータの高速な送受信および正確な送受信を保証し、ターボ符号に代表される訂正回路や情報圧縮回路等の搭載に伴う物量や演算装置の処理量を増やすことなく手書きデータの高速および正確な送受信を可能とする。
【００２４】
【発明の実施の形態】
本発明は、例えば携帯端末装置のような端末装置において、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能とする発明である。
【００２５】
以下、本発明にかかる実施の形態について図面を参照して説明する。
【００２６】
図１は本発明の実施の形態にかかるコミュニケーションシステムの構成図の一例である。
【００２７】
図１に示すように、本実施の形態にかかるコミュニケーションシステムは、少なくとも２つの端末装置０１０１と端末装置０１０２から構成され、これらの端末装置は、ネットワーク０１０３を介して互いに通信可能なように構成されている。
【００２８】
ネットワーク０１０３はインターネット等に代表されるＩＰネットワークや公衆電話回線網、ＩＳＤＮ、ＰＨＳネットワーク、携帯電話ネットワーク、あるいは無線ＬＡＮ等を使用したネットワークによって構成される。
【００２９】
端末装置１０１および端末装置１０２は、本システムのユーザが音声データ、画像、および手書きデータ等を送受信可能な端末装置であり、例えば携帯電話やＰＤＡ等の小型携帯端末装置あるいはパーソナルコンピュータシステム等とすることができる。
【００３０】
次に、端末装置の構成について図２を用いて説明する。図２は端末装置の構成例を示すブロック図である。図２に示すように端末装置は、中央処理装置０２０１と、記憶手段に相当する記憶装置０２０２および二次記憶装置０２０９と、音声入力手段に相当する音声入力装置０２０３と、音声出力手段に相当する音声出力装置０２０４と、手書き入力手段に相当する手書き入力装置０２０５と、表示手段に相当する表示装置０２０６と、設定入力手段に相当する設定入力装置０２０７と、通信制御／入出力手段に相当する通信制御／入出力装置０２０８と、から構成され、これらはバス０２１０を介して相互にデータのやり取りが可能なように構成されている。
【００３１】
設定入力装置０２０７は、操作ボタンやマウスあるいはペン入力装置等のポインティングデバイスによって実現され、端末装置における動作設定情報やコミュニケーション相手の端末装置の電話番号あるいはＩＰアドレス等といった宛先を入力する。また、本設定入力装置０２０７により、コミュニケーションの開始や終了を指示することが可能である。通信制御／入出力装置０２０８は、例えば無線ＬＡＮにおける無線ＬＡＮカードやネットワークカード、あるいはＰＨＳや携帯電話のネットワークに接続するためのモジュール等によって構成され、本通信制御／入出力装置０２０８を介して端末装置０１０１および端末装置０１０２はネットワーク０１０３に接続可能となり、ネットワーク０１０３を介して端末装置０１０１と端末装置０１０２はセッションを開始および終了し、データを送受信することができる。
【００３２】
音声入力装置０２０３は、マイク等によって構成され、外部の音声を端末装置内にデジタル化して入力する。手書き入力装置０２０５は、マウスあるいはペン入力装置等のポインティングデバイスによって実現され、ユーザによって入力された手書きデータ（点）の座標を取得する。また、入力された点を取得した際に、その点が線の始点であるか、終点であるか、または線の途中の点であるかといった情報を取得する。中央処理装置０２０１は、例えば汎用のプロセッサとすることができ、本端末装置の動作を規定するプログラムに基づき、本端末装置の動作を制御する。
【００３３】
音声出力装置０２０４は、スピーカ等によって構成され、端末装置内のデジタル音声データをアナログに変換して外部に出力する。表示装置０２０６は、液晶パネル等により構成され、ユーザが設定入力装置０２０７で情報を入力するためのメニューやガイダンス、およびユーザから入力された情報を表示する。また、手書き入力装置０２０５で入力された点や線等の手書きデータや、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置から受信した手書きデータを表示する。
【００３４】
また、記憶装置０２０２や二次記憶装置０２０９に格納されている画像や、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置との間で送受信した画像を表示する。記憶装置０２０２は、ＲＡＭやＲＯＭ等によって構成され、中央処理装置０２０１で実行されるプログラム、音声入力装置０２０３によって入力された音声データ、手書き入力装置０２０５によって入力された手書きデータ、通信制御／入出力装置０２０８によって入出力されるデータ、音声出力装置０２０４で出力するための音声データ、表示装置０２０６で表示される手書きデータや画像データ等、中央処理装置０２０１で処理されるデータを格納する。二次記憶装置０２０９は、例えばフラッシュメモリやハードディスク等の不揮発性メモリにより構成され、例えばコミュニケーション相手の端末装置の電話番号やＩＰアドレスといった宛先データや送受信した手書きデータあるいは送受信した画像データ等、本端末装置の電源を落とした場合でも、失いたくないデータを格納する。
【００３５】
次に、端末装置の中央処理装置０２０１により実行されるプログラムの構成について説明する。図３は端末装置の中央処理装置０２０１によって実行されるプログラムの構成例を示す図である。
【００３６】
図３に示すように、中央処理装置０２０１により実行されるプログラムは、入力処理手段に相当する入力処理部０３０１と、セッション制御手段に相当するセッション制御部０３０２と、音声送信手段に相当する音声送信部０３０３と、音声受信手段に相当する音声受信部０３０４と、画像データ送信制御手段に相当する画像データ送信制御部０３０５と、ファイル名送信部０３０６と、ファイル内容送信部０３０７と、画像データ受信制御手段に相当する画像データ受信制御部０３０８と、ファイル名受信部０３０９と、ファイル内容受信部０３１０と、手書きデータ制御手段に相当する手書きデータ制御部０３１１と、高速モード手書きデータ送受信部０３１２と、正確モード手書きデータ送受信部０３１３と、消去送信手段に相当する消去送信部０３１４と、消去受信手段に相当する消去受信部０３１５と、画像・手書きデータ管理手段に相当する画像・手書きデータ管理部０３１６と、表示制御手段に相当する表示制御部０３１７と、保存手段に相当する保存部０３１８から構成される。
【００３７】
入力処理部０３０１は、設定入力装置０２０７を介してユーザから入力された情報を処理する。
【００３８】
セッション制御部０３０２は、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置と音声データ、画像データ、および手書きデータの送受信を行えるようセッションを制御する。
【００３９】
音声送信部０３０３は、音声入力装置０２０３を介して入力した音声データを符号化およびパケット化して、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置に送信する。
【００４０】
音声受信部０３０４は、通信制御／入出力装置０２０８を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力装置０２０４を介して音声を出力する。
【００４１】
画像データ送信制御部０３０５は、設定入力装置０２０７を介してコミュニケーション相手の端末装置への画像データの送信制御を行う。このとき、ユーザから入力された指定に基づいて、画像ファイルのファイル名のみをコミュニケーション相手の端末装置に送信するか、あるいは画像ファイルの内容を送信するかを決定し、この決定に基づいてファイル名送信部０３０６あるいはファイル内容送信部０３０７を起動して画像データを送信する。
【００４２】
ファイル名送信部０３０６は、設定入力装置０２０７を介してユーザから指定された画像ファイルのファイル名を、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置に送信するとともに、自端末装置に当該ファイルの内容として格納されている画像を表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。
【００４３】
ファイル内容送信部０３０７は、設定入力装置０２０７を介してユーザから指定された画像ファイルのファイル内容を、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置に送信するとともに、当該ファイルの内容として格納されている画像を表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。
【００４４】
画像データ受信制御部０３０８は、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置からの画像データの受信制御を行う。このとき、コミュニケーション相手の端末装置が画像ファイルのファイル名のみを送信しようとしているか、あるいは画像ファイルの内容を送信しようとしているかを判別して、画像ファイルのファイル名のみを受信するか、画像ファイルの内容を受信するかを決定し、この決定に基づいてファイル名受信部０３０９あるいはファイル内容受信部０３１０を起動して画像データを受信する。
【００４５】
ファイル名受信部０３０９は、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置から画像ファイルのファイル名を受信するとともに、当該ファイルの内容として格納されている画像を表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。
【００４６】
ファイル内容受信部０３１０は、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置から画像ファイルの内容を受信するとともに、当該ファイルの内容として格納されている画像を表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。
【００４７】
高速モード手書きデータ送受信部０３１２は、手書き入力装置０２０５を介してユーザから入力された手書きデータを、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置との間で送受信するとともに、該手書きデータの送受信においては、送信側は受信側でデータを正常に受信したか否かを判別せずにできるだけ多くの手書きデータを送信し、送信した手書きデータを表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。また、受信側では、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置から受信した手書きデータを表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。
【００４８】
正確モード手書きデータ送受信部０３１３は、手書き入力装置０２０５を介してユーザから入力された手書きデータを、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置との間で送受信するとともに、該手書きデータの送受信においては、送信側は受信側でデータを正常に受信したことを確認しながら手書きデータを送信し、送信した手書きデータを表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。また、受信側では、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置から受信した手書きデータを表示装置０２０６に表示するよう画像・手書きデータ管理部０３１６に指示する。
【００４９】
手書きデータ制御部０３１１は、手書きデータの送受信を制御する。このとき、設定入力装置０２０７を介してユーザから入力された指定に基づいて、高速モード手書きデータ送受信部０３１２を用いて手書きデータの送受信を行うか、あるいは正確モード手書きデータ送受信部０３１３を用いて手書きデータの送受信を行うかを決定し、それぞれのモードの手書きデータ送受信部を起動して、手書きデータを送受信する。
【００５０】
消去送信部０３１４は、設定入力装置０２０７を介してユーザから入力された指定に基づいて、手書きデータのみを消去するか、画像のみを消去するか、あるいはこれらの両方を消去するかを決定し、その決定に基づく消去情報をコミュニケーション相手の端末装置に送信する。また、この決定に基づいて手書きデータのみ、あるいは画像のみ、あるいはこれらの両方を自端末装置の表示装置０２０６から消去するよう画像・手書きデータ管理部０３１６に指示する。
【００５１】
消去受信部０３１５は、コミュニケーション相手の端末装置から送信された消去情報を受信し、その情報に基づいて手書きデータのみ、あるいは画像のみ、あるいはこれらの両方を自端末装置の表示装置０２０６から消去するよう画像・手書きデータ管理部０３１６に指示する。
【００５２】
画像・手書きデータ管理部０３１６は、表示装置０２０６に表示すべき手書きデータと画像を管理し、ファイル名送信部０３０６、ファイル内容送信部０３０７、ファイル名受信部０３０９、あるいはファイル内容受信部０３１０からの要求に基づいて表示装置０２０６に表示すべき画像を表示する。また、高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３からの要求に基づいて表示装置０２０６に表示すべき手書きデータを表示する。さらに消去送信部０３１４あるいは消去受信部０３１５からの要求に基づいて表示装置０２０６から手書きデータ、画像、あるいは手書きデータと画像データの両方を消去する。
【００５３】
表示制御部０３１７は、画像・手書きデータ管理部０３１６からの指示にともづいて手書きデータおよび画像を表示装置０２０６に表示する。このとき、表示装置０２０６に最新の手書きデータが表示されないと判断した場合には、画像の表示位置を変更し、最新の手書きデータとその手書きデータの位置に対応する画像を表示装置０２０６に表示する。
【００５４】
保存部０３１８は、設定入力装置０２０７を介してユーザから入力された指定に基づいて、画像・手書きデータ管理部０３１６から手書きデータのみ、画像データのみ、あるいは手書きデータおよび画像データの両方を取得し、取得したデータを記憶装置０２０２あるいは二次記憶装置０２０９に保存する。
【００５５】
次に、上記各部の詳細な処理内容と、それに付随する表示装置０２０６における表示画面、並びに端末装置間で送受信されるデータのデータ構造について詳述する。
まず、入力処理部０３０１の処理内容とそれに付随する表示装置０２０６における表示画面例を、それぞれ図を用いて説明する。
【００５６】
図４は、本コミュニケーションシステムの端末装置において、本コミュニケーションシステムを実行しようとしたときに、最初に端末装置の表示装置０２０６に表示される表示画面例である。
【００５７】
図４に示すように、本コミュニケーションシステムを実行しようとしたときに、端末装置の表示装置０２０６に最初に表示される画面０４０１は、宛先表示エリア０４０２と、宛先入力ボタン群０４０３と、手書き入力・表示エリア０４０４と、水平位置変更スクロールバー０４０５と、垂直位置変更スクロールバー０４０６と、通話開始ボタン０４０７と、通話終了ボタン０４０８と、手書き開始ボタン０４０９と、手書き終了ボタン０４１０と、手書き設定ボタン０４１１と、画像送信ボタン０４１２と、消去ボタン０４１３と、保存ボタン０４１４と、終了ボタン０４１５と、宛先クリアボタン０４１６から構成される。
【００５８】
宛先表示エリア０４０２は、ユーザが設定入力装置０２０７を介して宛先入力ボタン群０４０３を操作することにより入力したコミュニケーション相手の端末装置の宛先を表示する。コミュニケーション相手の端末装置の宛先は、例えばコミュニケーション相手の端末装置の電話番号やＩＰアドレス等とすればよい。
【００５９】
宛先入力ボタン群０４０３は、ユーザが設定入力装置０２０７を介して操作することが可能であり、これにより、ユーザはコミュニケーション相手の端末装置の宛先を入力することができる。なお、宛先入力ボタン群０４０３は、必ずしも数値のボタンである必要は無く、例えばコミュニケーション相手の名前等、コミュニケーション相手の端末装置の識別名称を入力できるボタンや文字認識パット等でもよい。
【００６０】
手書き入力・表示エリア０４０４は、手書き入力装置０２０５を介してユーザが手書きデータを入力することが可能なエリアである。また、通信制御／入出力装置０２０８を介してコミュニケーション相手の端末装置から受信した手書きデータを表示するエリアでもある。さらに、本手書き入力・表示エリア０４０４には、ユーザがコミュニケーション相手の端末装置に送信した画像およびコミュニケーション相手の端末装置から受信した画像が表示される。
【００６１】
水平位置変更スクロールバー０４０５は、ユーザが設定入力装置０２０７を介して操作することにより、手書き入力・表示エリア０４０４に表示されている手書きデータや画像の水平位置をスクロールするよう端末装置に指定することができる。
【００６２】
垂直位置変更スクロールバー０４０６は、ユーザが設定入力装置０２０７を介して操作することにより、手書き入力・表示エリア０４０４に表示されている手書きデータや画像の垂直位置をスクロールするよう端末装置に指定することができる。
【００６３】
通話開始ボタン０４０７は、ユーザが設定入力装置０２０７を介して操作することにより、宛先表示エリア０４０２に表示されているコミュニケーション相手の端末装置との間で音声送受信を開始するよう端末装置に指定することができる。
【００６４】
通話終了ボタン０４０８は、ユーザが設定入力装置０２０７を介して操作することにより、コミュニケーション相手の端末装置との間で行っている音声送受信を終了するよう端末装置に指定することができる。
【００６５】
手書き開始ボタン０４０９は、ユーザが設定入力装置０２０７を介して操作することにより、宛先表示エリア０４０２に表示されているコミュニケーション相手の端末装置との間で手書きデータの送受信および表示を開始するよう端末装置に指定することができる。
【００６６】
手書き終了ボタン０４１０は、ユーザが設定入力装置０２０７を介して操作することにより、コミュニケーション相手の端末装置との間で行っている手書きデータの送受信および表示を終了するよう端末装置に指定することができる。
【００６７】
手書き設定ボタン０４１１は、ユーザが設定入力装置０２０７を介して操作することにより、手書きデータを送受信する際の手書きモードを選択できるようにする。
【００６８】
また、このとき選択されたモードを端末装置がコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで手書きデータを送受信するよう指定することができる。ここでは、例えば図５に示す手書きモード選択画面０５００を表示装置０２０６に表示し、ユーザが手書きデータを送受信する際の手書きモードとして高速モードと正確モードを選択できるようにし、選択されたモードを端末装置がコミュニケーション相手の端末装置に送信するとともに、互いの端末装置が選択されたモードで手書きデータを送受信するよう指定可能とする。
【００６９】
なお、図５において、手書きモード選択画面０５００は、高速モードボタン０５０１と、正確モードボタン０５０２と、クローズボタン０５０３から構成される。ユーザは設定入力装置０２０７を介して高速モードボタン０５０１を操作することにより、手書きデータを送受信する際の手書きモードとして高速モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで手書きデータを送受信するよう指定することができる。
【００７０】
また、本手書きモード選択画面０５００において、ユーザは設定入力装置０２０７を介して正確モードボタン０５０２を操作することにより、手書きデータを送受信する際の手書きモードとして正確モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで手書きデータを送受信するよう指定することができる。さらに、本手書きモード選択画面０５００において、ユーザは設定入力装置０２０７を介してクローズボタン０５０３を操作することにより、端末装置が本手書きモード選択画面０５００の表示を終了するよう指定することができる。
【００７１】
さて、図４の説明に戻り、画像送信ボタン０４１２は、ユーザが設定入力装置０２０７を介して操作することにより、端末装置がコミュニケーション相手の端末装置に画像データを送信するよう指示可能する。このとき、例えば図６に示す画像送信モード選択画面０６００を表示装置０２０６に表示し、ユーザが画像データを送信する際の画像送信モードとしてファイル名送信モードとファイル内容送信モードを選択できるようにする。また、選択されたモードを端末装置がコミュニケーション相手の端末装置に送信するとともに、互いの端末装置が選択されたモードで画像を送受信するよう指定することができるようにする。
【００７２】
なお、図６において、画像送信モード選択画面０６００は、ファイル名送信ボタン０６０１と、ファイル内容送信ボタン０６０２と、クローズボタン０６０３から構成され、ユーザは設定入力装置０２０７を介してファイル名送信ボタン０６０１を操作することにより、画像を送信する際の画像送信モードとしてファイル名のみを送信するファイル名送信モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで画像を送受信するよう指定することができる。また、本画像送信モード選択画面０６００において、ユーザは設定入力装置０２０７を介してファイル内容送信ボタン０６０２を操作することにより、画像を送信する際の画像送信モードとしてファイルの内容を送信するファイル内容送信モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで画像を送受信するよう指定することができる。さらに、本手書きモード選択画面０６００において、ユーザは設定入力装置０２０７を介してクローズボタン０６０３を操作することにより、端末装置が本手書きモード選択画面０６００の表示を終了するよう指定することができる。
【００７３】
さて、図４の説明に戻り、消去ボタン０４１３では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が自端末装置の表示装置０２０６において手書き入力・表示エリア０４０４に表示されている手書きデータや画像の表示を消去するとともに、コミュニケーション相手の端末装置の表示装置０２０６における手書き入力・表示エリア０４０４に表示されている手書きデータや画像の表示を消去するための情報を送信するように指定することができる。
【００７４】
このとき、例えば図７に示す消去内容選択画面０７００を表示装置０２０６に表示し、ユーザが設定入力装置０２０７を介して操作することにより、自端末装置の表示装置０２０６において手書き入力・表示エリア０４０４に表示されている手書きデータのみを消去するか、画像のみを消去するか、あるいは両方を消去するかを選択できるようにし、端末装置が自端末装置の手書き入力・表示エリア０４０４において選択されたオブジェクトの表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア０４０４において選択されたオブジェクトの表示を消去するための情報を送信するよう指定できるようにする。なお、図７において、消去内容選択画面０７００は、手書きデータ消去ボタン０７０１と、画像消去ボタン０７０２と、すべて消去ボタン０７０３と、クローズボタン０７０４から構成される。ユーザは設定入力装置０２０７を介して手書きデータ消去ボタン０７０１を操作することにより、端末装置が自端末装置の手書き入力・表示エリア０４０４において表示されている手書きデータの表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア０４０４において表示されている手書きデータの表示を消去するための情報を送信するように指定できる。
【００７５】
また、本消去内容選択画面０７００において、ユーザは設定入力装置０２０７を介して画像消去ボタン０７０２を操作することにより、端末装置が自端末装置の手書き入力・表示エリア０４０４において表示されている画像の表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア０４０４において表示されている画像の表示を消去するための情報を送信するように指定できる。また、本消去内容選択画面０７００において、ユーザは設定入力装置０２０７を介してすべて消去ボタン０７０３を操作することにより、端末装置が自端末装置の手書き入力・表示エリア０４０４において表示されている手書きデータと画像の表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア０４０４において表示されている手書きデータと画像の表示を消去するための情報を送信するように指定できる。そして、本消去内容選択画面０７００において、ユーザは設定入力装置０２０７を介してクローズボタン０７０４を操作することにより、端末装置が本消去内容選択画面０７００の表示を終了するように指定することができる。
【００７６】
さて、図４の説明に戻り、保存ボタン０４１４では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータや画像を保存するよう指定することができる。このとき、例えば図８に示す保存内容選択画面０８００を表示装置０２０６に表示し、ユーザが設定入力装置０２０７を介して操作することにより、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータのみを保存するか、画像のみを保存するか、あるいは両方を合成して保存するかを選択できるようにし、端末装置が手書き入力・表示エリア０４０４において表示されているオブジェクトのうち、選択されたオブジェクトを保存するように指定できるようにする。
【００７７】
なお、図８において、保存内容選択画面０８００は、手書きデータ保存ボタン０８０１と、画像保存ボタン０８０２と、すべて保存ボタン０８０３と、クローズボタン０８０４から構成される。ユーザは設定入力装置０２０７を介して手書きデータ保存ボタン０８０１を操作することにより、端末装置が手書き入力・表示エリア０４０４において表示されている手書きデータを保存するように指定できる。また、本保存内容選択画面０８００において、ユーザは設定入力装置０２０７を介して画像保存ボタン０８０２を操作することにより、端末装置が手書き入力・表示エリア０４０４において表示されている画像を保存するように指定できる。また、本保存内容選択画面０８００において、ユーザは設定入力装置０２０７を介してすべて保存ボタン０８０３を操作することにより、端末装置が手書き入力・表示エリア０４０４において表示されている手書きデータと画像を合成した画像を作成し、この画像を保存するように指定できる。そして、本保存内容選択画面０８００において、ユーザは設定入力装置０２０７を介してクローズボタン０８０４を操作することにより、端末装置が本保存内容選択画面０８００の表示を終了するように指定することができる。
【００７８】
さて、図４の説明に戻り、システム終了ボタン０４１５では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が画面０４０１の表示を終了し、本コミュニケーションシステムを終了するように指定することができる。
宛先クリアボタン０４１６では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が宛先表示エリア０４０２に表示されている宛先をクリアするよう指定することができる。
【００７９】
次に、本コミュニケーションシステムの起動時に起動され、ユーザからシステム終了ボタンを介して本コミュニケーションシステムの終了が指示されるまで、中央処理装置０２０１によって実行される入力処理部０３０１の処理内容について図９を用いて説明する。図９は、入力処理部０３０１の処理内容を示すフローチャートの一例である。なお、本入力処理部０３０１は、他のソフトウェア構成要素とは別タスクとして実現され、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【００８０】
図９に示すように、本入力処理部０３０１は、まず、セッション制御部０３０２を起動する（ステップ０９０１）。なお、セッション制御部０３０２の動作および処理内容については後述する。
【００８１】
続いて、入力処理部０３０１は、ユーザから設定入力装置０２０７を介して宛先入力ボタン群０４０３が操作されたか否かを判断し（ステップ０９０２）、宛先入力ボタン群０４０３が操作されたと判断した場合には、宛先表示エリア０４０２に操作されたボタンに対応するデータを表示する（ステップ０９０３）。一方、ステップ０９０２において、宛先入力ボタン群０４０３が操作されていないと判断した場合には、ステップ０９０３をスキップする。なお、宛先とは例えばコミュニケーション相手の端末装置の電話番号やＩＰアドレス等である。
【００８２】
続いて、入力処理部０３０１は、音声セッションが開かれていない状態でユーザから設定入力装置０２０７を介して通話開始ボタン０４０７が操作されたか否かを判断し（ステップ０９０４）、音声セッションが開かれていない状態で通話開始ボタン０４０７が操作されたと判断した場合には、さらに宛先表示エリア０４０２に宛先が表示されているか否かを判断する（ステップ０９０５）。
【００８３】
上記ステップ０９０５における判断の結果、宛先表示エリア０４０２に宛先が表示されていると判断した場合には、セッション制御部０３０２に音声セッションの開始を指示する（ステップ０９０６）。一方、上記ステップ０９０５における判断の結果、宛先表示エリア０４０２に宛先が表示されていないと判断した場合には、ステップ０９０６をスキップし、セッション制御部０３０２への音声セッションの開始指示を行わない。なお、セッション制御部０３０２に音声セッションの開始を指示するには、例えばセッション制御部に音声セッションの開始を意味するイベントを送信することにより実施可能である。
【００８４】
また、上記ステップ０９０４における判断の結果、音声セッションが開かれている状態であるか、あるいは通話開始ボタン０４０７が操作されていないと判断した場合、ステップ０９０５およびステップ０９０６をスキップし、宛先表示エリア０４０２に宛先が表示されているか否かの判断、およびセッション制御部０３０２への音声セッションの開始指示を行わない。
【００８５】
続いて、入力処理部０３０１は、音声セッションが開かれている状態でユーザから設定入力装置０２０７を介して通話終了ボタン０４０８が操作されたか否かを判断し（ステップ０９０７）、音声セッションが開かれている状態で通話終了ボタン０４０８が操作されたと判断した場合には、セッション制御部０３０２に音声セッションの終了を指示する（ステップ０９０８）。一方、ステップ０９０７における判断の結果、音声セッションが開かれている状態ではないか、あるいは通話終了ボタン０４０８が操作されていないと判断した場合には、ステップ０９０８をスキップし、セッション制御部０３０２への音声セッションの終了指示を行わない。なお、セッション制御部０３０２に音声セッションの終了を指示するには、例えばセッション制御部に音声セッションの終了を意味するイベントを送信することにより実施可能である。
【００８６】
続いて、入力処理部０３０１は、手書きセッションが開始されていない状態でユーザから設定入力装置０２０７を介して手書き開始ボタン０４０９が操作されたか否かを判断し（ステップ０９０９）、手書きセッションが開始されていない状態で手書き開始ボタン０４０９が操作されたと判断した場合には、さらに宛先表示エリア０４０２に宛先が表示されているか否かを判断する（ステップ０９０９’）。
【００８７】
上記ステップ０９０９’における判断の結果、宛先表示エリア０４０２に宛先が表示されていると判断した場合には、セッション制御部０３０２に手書きセッションの開始を指示する（ステップ０９１０）。一方、上記ステップ０９０９’における判断の結果、宛先表示エリア０４０２に宛先が表示されていないと判断した場合には、ステップ０９１０をスキップし、セッション制御部０３０２への手書きセッションの開始指示を行わない。なお、セッション制御部０３０２に手書きセッションの開始を指示するには、例えばセッション制御部０３０２に手書きセッションの開始を意味するイベントを送信することにより実施可能である。
【００８８】
また、上記ステップ０９０９における判断の結果、手書きセッションが開かれている状態であるか、あるいは手書き開始ボタン０４０９が操作されていないと判断した場合には、ステップ０９０９’およびステップ０９１０をスキップし、宛先表示エリア０４０２に宛先が表示されているか否かの判断、およびセッション制御部０３０２への手書きセッションの開始指示を行わない。
【００８９】
続いて、入力処理部０３０１は、手書きセッションが開始されている状態でユーザから設定入力装置０２０７を介して手書き終了ボタン０４１０が操作されたか否かを判断し（ステップ０９１１）、手書きセッションが開始されている状態で手書き終了ボタン０４１０が操作されたと判断した場合には、セッション制御部０３０２に手書きセッションの終了を指示する（ステップ０９１２）。一方、手書きセッションが開始されていない状態であるか、あるいは手書き終了ボタン０４１０が操作されていないと判断した場合には、ステップ０９１２をスキップし、セッション制御部０３０２への手書きセッションの終了指示を行わない。なお、セッション制御部０３０２に手書きセッションの終了を指示するには、例えばセッション制御部０３０２に手書きセッションの終了を意味するイベントを送信することにより実施可能である。
【００９０】
続いて、入力処理部０３０１は、ユーザから設定入力装置０２０７を介して宛先クリアボタン０４１６が操作されたか否かを判断し（ステップ０９１３）、宛先クリアボタン０４１６が操作されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先をクリアする（ステップ０９１４）。一方、宛先クリアボタン０４１６が操作されていないと判断した場合には、ステップ０９１４をスキップし、宛先表示エリア０４０２に表示されている宛先をクリアせずに現状のままとしておく。
【００９１】
続いて、入力処理部０３０１は、画像送信セッションが開始されていない状態でユーザから設定入力装置０２０７を介して画像送信ボタン０４１２が操作されたか否かを判断し（ステップ０９１５）、画像送信セッションが開始されていない状態で画像送信ボタン０４１２が操作されたと判断した場合には、さらに宛先表示エリア０４０２に宛先が表示されているか否かを判断する（ステップ０９１５’）。
【００９２】
上記ステップ０９１５’における判断の結果、宛先表示エリア０４０２に宛先が表示されていると判断した場合には、セッション制御部０３０２に画像送信セッションの開始を指示する（ステップ０９１６）。一方、上記ステップ０９１５’における判断の結果、宛先表示エリア０４０２に宛先が表示されていないと判断した場合には、ステップ０９１６をスキップし、セッション制御部０３０２への画像送信セッションの開始指示を行わない。なお、セッション制御部０３０２に画像送信セッションの開始を指示するには、例えばセッション制御部０３０２に画像送信セッションの開始を意味するイベントを送信することにより実施可能である。
【００９３】
また、上記ステップ０９１５における判断の結果、画像送信セッションが開かれている状態であるか、あるいは画像送信ボタン０４１２が操作されていないと判断した場合、ステップ０９１５’およびステップ０９１６をスキップし、宛先表示エリア０４０２に宛先が表示されているか否かの判断、およびセッション制御部０３０２への画像送信セッションの開始指示を行わない。
【００９４】
続いて、入力処理部０３０１は、手書きセッションが開始されている状態でユーザから設定入力装置０２０７を介して手書き設定ボタン０４１１が操作されたか否かを判断し（ステップ０９１７）、手書きセッションが開始されている状態で手書き設定ボタン０４１１が操作されたと判断した場合には、上述した手書きモード選択画面０５００を表示し、ユーザから手書きデータを送受信する際の手書きモードとして高速モードか正確モードが選択されるのを待つ（ステップ０９１８）。そして選択されたモードを手書きデータ制御部０３１１に通知する（ステップ０９１９）。なお、手書きデータ制御部０３１１へのモード通知は、例えば手書きデータ制御部０３１１に新たなモード設定および選択されたモードに対応するモードを意味するイベントを送信することにより実施可能である。ただし、上記ステップ０９１８において、ユーザからモードが選択されることなく、クローズボタン０５０３が操作された場合には、ステップ０９１８においてモードを手書きデータ制御部０３１１に通知しないようにする。
【００９５】
一方、上記ステップ０９１７において、手書きセッションが開始されていない状態か、あるいは手書き設定ボタン０４１１が操作されていないと判断した場合には、上記ステップ０９１８およびステップ０９１９をスキップし、手書きモード選択画面０５００の表示、手書きモードの選択待ち、および手書きデータ制御部０３１１への手書きモードの通知を行わない。
【００９６】
続いて、入力処理部０３０１は、消去が実行されていない状態でユーザから設定入力装置０２０７を介して消去ボタン０４１３が操作されたか否かを判断し（ステップ０９２０）、消去が実行されていない状態で消去ボタン０４１３が操作されたと判断した場合には、さらに宛先表示エリア０４０２に宛先が表示されているか否かを判断する（ステップ０９２１）。
【００９７】
上記ステップ０９２１における判断の結果、宛先表示エリア０４０２に宛先が表示されていると判断した場合には、セッション制御部０３０２に消去を指示する（ステップ０９２２）。一方、上記ステップ０９２１における判断の結果、宛先表示エリア０４０２に宛先が表示されていないと判断した場合には、ステップ０９２２をスキップし、セッション制御部０３０２への消去指示を行わない。なお、セッション制御部０３０２への消去指示は、例えばセッション制御部０３０２に消去指示を意味するイベントを送信することにより実施可能である。
【００９８】
また、上記ステップ０９２０における判断の結果、消去が実行されている状態であるか、あるいは消去ボタン０４１３が操作されていないと判断した場合、ステップ０９２１およびステップ０９２２をスキップし、宛先表示エリア０４０２に宛先が表示されているか否かの判断、およびセッション制御部０３０２への消去指示を行わない。
【００９９】
続いて、入力処理部０３０１は、保存が実行されていない状態でユーザから設定入力装置０２０７を介して保存ボタン０４１４が操作されたか否かを判断し（ステップ０９２３）、保存が実行されていない状態で保存ボタン０４１４が操作されたと判断した場合には、保存部０３１８を実行する（ステップ０９２４）。一方、上記ステップ０９２３における判断の結果、保存が実行されている状態か、あるいは保存ボタン０４１４が操作されていないと判断した場合には、ステップ０９２４をスキップし、保存部０３１８を実行しない。なお、保存部０３１８の処理内容については後述する。
【０１００】
さて、入力処理部０３０１は、続いてユーザから設定入力装置０２０７を介して終了ボタン０４１５操作されたか否かを判断し（ステップ０９２５）、終了ボタン０４１５が操作されていないと判断した場合には、上記ステップ０９０２に戻り、ユーザから終了ボタン０４１５操作されるまで上記ステップ０９０２乃至ステップ０９２５を繰り返す。
一方、上記ステップ０９２５において、終了ボタン０４１５が操作されたと判断した場合には、セッション制御部０３０２を終了し（ステップ０９２６）、本入力処理部０３０１の処理を終了する。
【０１０１】
次に、入力処理部０３０１によって起動され、同じく入力処理部０３０１によって終了されるまで中央処理装置０２０１によって実行されるセッション制御部０３０２の処理内容について図１０および図４７を用いて説明する。図１０および図４７は、セッション制御部０３０２の処理内容を示すフローチャートの一例である。なお、本セッション制御部０３０２は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０１０２】
図１０および図４７に示すとおり、セッション制御部０３０２は、まず、入力処理部０３０１から音声セッションの開始が指示されたか否かを判断し（ステップ１００１）、音声セッションの開始が指示されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して音声セッション開始要求を送信する（ステップ１００２）。一方、ステップ１００１において、音声セッションの開始が指示されていないと判断した場合には、ステップ１００２をスキップし、コミュニケーション相手の端末装置に対して音声セッション開始要求を送信しない。なお、入力処理部０３０１から音声セッションの開始が指示されたか否かを判断するには、例えば入力処理部０３０１から音声セッションの開始を意味するイベントを受信したか否かを判断することにより実施可能である。また、音声セッション開始要求を行う手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション開始の方式等を使用可能である。
【０１０３】
次に、セッション制御部０３０２は、入力処理部０３０１から音声セッションの終了が指示されたか否かを判断し（ステップ１００３）、音声セッションの終了が指示されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して音声セッション終了要求を送信する（ステップ１００４）。一方、ステップ１００３において、音声セッションの終了が指示されていないと判断した場合には、ステップ１００４をスキップし、コミュニケーション相手の端末装置に対して音声セッション終了要求を送信しない。なお、入力処理部０３０１から音声セッションの終了が指示されたか否かを判断するには、例えば入力処理部０３０１から音声セッションの終了を意味するイベントを受信したか否かを判断することにより実施可能である。また、音声セッション終了要求を行う手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション終了の方式等を使用可能である。
【０１０４】
続いて、セッション制御部０３０２は、入力処理部０３０１から手書きセッションの開始が指示されたか否かを判断し（ステップ１００５）、手書きセッションの開始が指示されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して手書きセッション開始要求を送信する（ステップ１００６）。一方、ステップ１００５において、手書きセッションの開始が指示されていないと判断した場合には、ステップ１００６をスキップし、コミュニケーション相手の端末装置に対して手書きセッション開始要求を送信しない。なお、入力処理部０３０１から手書きセッションの開始が指示されたか否かを判断するには、例えば入力処理部０３０１から手書きセッションの開始を意味するイベントを受信したか否かを判断することにより実施可能である。また、手書きセッション開始要求を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１０５】
続いて、セッション制御部０３０２は、入力処理部０３０１から手書きセッションの終了が指示されたか否かを判断し（ステップ１００７）、手書きセッションの終了が指示されたと判断した場合には、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して手書きセッション終了要求を送信する（ステップ１００８）。一方、ステップ１００７において、手書きセッションの終了が指示されていないと判断した場合には、ステップ１００８をスキップし、コミュニケーション相手の端末装置に対して手書きセッション終了要求を送信しない。なお、入力処理部０３０１から手書きセッションの終了が指示されたか否かを判断するには、例えば入力処理部０３０１から手書きセッションの終了を意味するイベントを受信したか否かを判断することにより実施可能である。また、手書きセッション終了要求を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１０６】
続いて、セッション制御部０３０２は、入力処理部０３０１から画像送信セッションの開始が指示されたか否かを判断し（ステップ１００９）、画像送信セッションの開始が指示されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して画像送信セッション開始要求を送信する（ステップ１０１０）。一方、ステップ１００９において、画像送信セッションの開始が指示されていないと判断した場合には、ステップ１０１０をスキップし、コミュニケーション相手の端末装置に対して画像送信セッション開始要求を送信しない。
【０１０７】
なお、入力処理部０３０１から画像送信セッションの開始が指示されたか否かを判断するには、例えば入力処理部０３０１から画像送信セッションの開始を意味するイベントを受信したか否かを判断することにより実施可能である。また、画像送信セッション開始要求を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１０８】
続いて、セッション制御部０３０２は、入力処理部０３０１から消去が指示されたか否かを判断し（ステップ１０１１）、消去が指示されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して消去要求を送信する（ステップ１０１２）。一方、ステップ１０１１において、消去が指示されていないと判断した場合には、ステップ１０１２をスキップし、コミュニケーション相手の端末装置に対して消去要求を送信しない。なお、入力処理部０３０１から消去が指示されたか否かを判断するには、例えば入力処理部０３０１から消去指示を意味するイベントを受信したか否かを判断することにより実施可能である。また、消去要求を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１０９】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から音声セッション開始要求を受信したか否かを判断し（ステップ１０１３）、コミュニケーション相手の端末装置から音声セッション開始要求を受信したと判断した場合には、ユーザに対し音声セッションの開始確認を行う（ステップ１０１４）。なお、音声セッション開始要求の処理手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション開始の方式等を使用可能である。本開始確認では、例えば図１１に示す音声セッション開始許可画面１１００を表示装置０２０６に表示し、ユーザが設定入力装置０２０７を介して操作することにより、音声セッション開始要求を送信した端末装置、すなわち音声通話を要求してきたコミュニケーション相手の端末装置との間で音声セッションの開始を許可あるいは拒絶することを可能とする。なお、図１１において、音声セッション開始許可画面１１００は、「はい」ボタン１１０１と「いいえ」ボタン１１０２から構成され、ユーザは設定入力装置０２０７を介して「はい」ボタン１１０１を操作することにより、音声通話を要求してきたコミュニケーション相手の端末装置との間で音声セッションの開始を許可できるとともに、端末装置に本音声セッション開始許可画面１１００の表示を終了するよう指示することができる。また、ユーザは設定入力装置０２０７を介して「いいえ」ボタン１１０２を操作することにより、音声通話を要求してきたコミュニケーション相手の端末装置との間で音声セッションの開始を拒否できるとともに、端末装置に本音声セッション開始許可画面１１００の表示を終了するよう指示することができる。
【０１１０】
さて、図１０および図４７のセッション制御部０３０２の説明に戻り、セッション制御部０３０２は、上記ステップ１０１４において、ユーザに対して音声セッションの開始確認を行った結果、音声セッションの開始が許可されたか否かを判断し（ステップ１０１５）、本判断の結果、音声セッションの開始が許可された場合には、音声送信部０３０３および音声受信部０３０４を起動した後（ステップ１０１６およびステップ１０１７）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して音声セッション開始許可を送信する（ステップ１０１８）。なお、音声セッション開始許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション開始の方式等を使用可能である。
【０１１１】
一方、上記ステップ１０１５において、音声セッションの開始が拒否されたと判断した場合には、ステップ１０１６、ステップ１０１７、およびステップ１０１８をスキップし、音声送信部０３０３および音声受信部０３０４の起動、およびコミュニケーション相手の端末装置に対する音声セッション開始許可の送信を行わない。
【０１１２】
また、上記ステップ１０１３における判断の結果、コミュニケーション相手の端末装置から音声セッション開始要求を受信していないと判断した場合には、上記ステップ１０１４乃至ステップ１０１８をスキップし、ユーザに対する音声セッションの開始確認、この確認に基づく開始許可判断、音声送信部０３０３および音声受信部０３０４の起動、およびコミュニケーション相手の端末装置に対する音声セッション開始許可の送信を行わない。
【０１１３】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から音声セッション終了要求を受信したか否かを判断し（ステップ１０１９）、コミュニケーション相手の端末装置から音声セッション終了要求を受信したと判断した場合には、音声送信部０３０３および音声受信部０３０４を終了させた後（ステップ１０２０およびステップ１０２１）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して音声セッション終了許可を送信する（ステップ１０２２）。なお、音声セッション終了許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション終了の方式等を使用可能である。
【０１１４】
一方、上記ステップ１０１９において、コミュニケーション相手の端末装置から音声セッション終了要求を受信していないと判断した場合には、ステップ１０２０、ステップ１０２１、およびステップ１０２２をスキップし、音声送信部０３０３および音声受信部０３０４の終了、およびコミュニケーション相手の端末装置に対する音声セッション終了許可の送信を行わない。
【０１１５】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から手書きセッション開始要求を受信したか否かを判断し（ステップ１０２３）、コミュニケーション相手の端末装置から手書きセッション開始要求を受信したと判断した場合には、さらにユーザの許可なしにコミュニケーション相手の端末装置が手書きデータを送信できるか否かを判断する（ステップ１０２４）。これは例えばあらかじめ記憶装置０２０２あるいは二次記憶装置０２０９に許可不要な宛先を許可不要リストとして登録しておき、手書きセッション開始要求を送信したコミュニケーション相手の端末装置が、この許可不要リストに登録されているか検索することによって実現可能である。この場合、例えば手書きセッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されている場合には、コミュニケーション相手の端末装置はユーザの許可なしに手書きデータを送信できると判断し、逆に手書きセッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されていない場合には、コミュニケーション相手の端末装置はユーザの許可なしでは手書きデータを送信できないと判断することができる。
【０１１６】
さて、本ステップ１０２４における判断の結果、コミュニケーション相手の端末装置はユーザの許可なしでは手書きデータを送信できないと判断した場合には、セッション制御部０３０２は、続いてユーザに対して手書きセッションの開始確認を行う（ステップ１０２５）。本開始確認では、例えば図１２に示す手書きセッション開始許可画面１２００を表示装置０２０６に表示し、ユーザが設定入力装置０２０７を介して操作することにより、手書きセッション開始要求を送信した端末装置、すなわち手書きによるコミュニケーションを要求したコミュニケーション相手の端末装置との間で手書きセッションの開始を許可あるいは拒絶することが可能となる。なお、図１２において、手書きセッション開始許可画面１２００は、「はい」ボタン１２０１と「いいえ」ボタン１２０２から構成され、ユーザは設定入力装置０２０７を介して「はい」ボタン１２０１を操作することにより、手書きによるコミュニケーションを要求したコミュニケーション相手の端末装置との間で手書きセッションの開始を許可するとともに、端末装置に本手書きセッション開始許可画面１２００の表示を終了するよう指定することができる。また、ユーザは設定入力装置０２０７を介して「いいえ」ボタン１２０２を操作することにより、手書きによるコミュニケーションを要求したコミュニケーション相手の端末装置との間で手書きセッションの開始を拒否するとともに、端末装置に本手書きセッション開始許可画面１２００の表示を終了するよう指定することができる。
【０１１７】
さて、図１０および図４７のセッション制御部０３０２の説明に戻り、セッション制御部０３０２は、上記ステップ１０２５において、ユーザに対して手書きセッションの開始確認を行った結果、手書きセッションの開始が許可されたか否かを判断し（ステップ１０２６）、本判断の結果、手書きセッションの開始が許可されたと判断した場合には、手書きデータ制御部０３１１を起動した後（ステップ１０２７）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して手書きセッション開始許可を送信する（ステップ１０２８）。なお、手書きセッション開始要求および手書きセッション開始許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１１８】
一方、上記ステップ１０２６において、手書きセッションの開始が拒否されたと判断した場合には、ステップ１０２７およびステップ１０２８をスキップし、手書きデータ制御部０３１１の起動、およびコミュニケーション相手の端末装置に対する手書きセッション開始許可の送信を行わない。
【０１１９】
また、上記ステップ１０２４における判断の結果、ユーザの許可なしでコミュニケーション相手の端末装置が手書きデータを送信できると判断した場合には、セッション制御部０３０２は、上記ステップ１０２５およびステップ１０２６をスキップし、ユーザに対して手書きセッション開始確認およびこの確認に基づく開始許可判断を行うことなくステップ１０２７へと進み、手書きデータ制御部０３１１を起動した後（ステップ１０２７）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して手書きセッション開始許可を送信する（ステップ１０２８）。
【０１２０】
また、上記ステップ１０２３における判断の結果、コミュニケーション相手の端末装置から手書きセッション開始要求を受信していないと判断した場合には、上記ステップ１０２４乃至ステップ１０２８をスキップし、ユーザの許可なしにコミュニケーション相手の端末装置が手書きデータを送信できるかの判断、ユーザに対する手書きセッションの開始確認、この確認に基づく開始許可判断、手書きデータ制御部０３１１の起動、およびコミュニケーション相手の端末装置に対する手書きセッション開始許可の送信を行わない。
【０１２１】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から手書きセッション終了要求を受信したか否かを判断し（ステップ１０２９）、コミュニケーション相手の端末装置から手書きセッション終了要求を受信したと判断した場合には、手書きデータ制御部０３１１を終了させた後（ステップ１０３０）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して手書きセッション終了許可を送信する（ステップ１０３１）。なお、手書きセッション終了許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１２２】
一方、上記ステップ１０２９において、コミュニケーション相手の端末装置から手書きセッション終了要求を受信していないと判断した場合には、ステップ１０３０およびステップ１０３１をスキップし、手書きデータ制御部０３１１の終了およびコミュニケーション相手の端末装置に対する手書きセッション終了許可の送信を行わない。
【０１２３】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から画像送信セッション開始要求を受信したか否かを判断し（ステップ１０３２）、コミュニケーション相手の端末装置から画像送信セッション開始要求を受信したと判断した場合には、さらにユーザの許可なしにコミュニケーション相手の端末装置が画像データを送信できるか否かを判断する（ステップ１０３３）。これは例えばあらかじめ記憶装置０２０２あるいは二次記憶装置０２０９に許可不要な宛先を許可不要リストとして登録しておき、画像送信セッション開始要求を送信したコミュニケーション相手の端末装置が、この許可不要リストに登録されているか検索することによって実現可能である。この場合、例えば画像送信セッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されている場合には、コミュニケーション相手の端末装置はユーザの許可なしに画像データを送信できると判断し、逆に画像送信セッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されていない場合には、コミュニケーション相手の端末装置はユーザの許可なしでは画像データを送信できないと判断することができる。なお、この場合の許可不要リストは、先の手書きセッション開始要求を受信した場合において使用した許可不要リストと同一のものとしても良い。
【０１２４】
さて、上記ステップ１０３３における判断の結果、ユーザの許可なしではコミュニケーション相手の端末装置は画像データを送信できないと判断した場合には、セッション制御部０３０２は、続いてユーザに対して画像送信セッションの開始確認を行う（ステップ１０３４）。本開始確認では、例えば図１３に示す画像送信セッション開始許可画面１３００を表示装置０２０６に表示し、ユーザが設定入力装置０２０７を介して操作することにより、画像送信セッション開始要求を送信した端末装置、すなわちコミュニケーション相手の端末装置との間で画像送信セッションの開始を許可あるいは拒絶することが可能となる。なお、図１３において、画像送信セッション開始許可画面１３００は、「はい」ボタン１３０１と「いいえ」ボタン１３０２から構成され、ユーザは設定入力装置０２０７を介して「はい」ボタン１３０１を操作することにより、画像送信セッション開始要求を送信した端末装置との間で画像送信セッションの開始を許可するとともに、端末装置に本画像送信セッション開始許可画面１３００の表示を終了するよう指定することができる。また、ユーザは設定入力装置０２０７を介して「いいえ」ボタン１３０２を操作することにより、画像送信セッション開始要求を送信した端末装置との間で画像送信セッションの開始を拒否するとともに、端末装置に本画像送信セッション開始許可画面１３００の表示を終了するよう指定することができる。
【０１２５】
さて、図１０および図４７のセッション制御部０３０２の説明に戻り、セッション制御部０３０２は、上記ステップ１０３４において、ユーザに対して画像送信セッションの開始確認を行った結果、画像送信セッションの開始が許可されたか否かを判断し（ステップ１０３５）、本判断の結果、画像送信セッションの開始が許可されたと判断した場合には、画像データ受信制御部０３０８を起動した後（ステップ１０３６）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して画像送信セッション開始許可を送信する（ステップ１０３７）。なお、画像送信セッション開始要求および画像送信セッション開始許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１２６】
一方、上記ステップ１０３５において、画像送信セッションの開始が拒否されたと判断した場合には、ステップ１０３６およびステップ１０３７をスキップし、画像データ受信制御部０３０８の起動、およびコミュニケーション相手の端末装置に対する画像送信セッション開始許可の送信を行わない。
【０１２７】
また、上記ステップ１０３３における判断の結果、ユーザの許可なしでコミュニケーション相手の端末装置が画像データを送信できると判断した場合には、セッション制御部０３０２は、上記ステップ１０３４およびステップ１０３５をスキップし、ユーザに対する画像送信セッションの開始確認およびこの確認に基づく開始許可判断を行うことなくステップ１０３６へと進み、画像データ受信制御部０３０８を起動した後（ステップ１０３６）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して画像送信セッション開始許可を送信する（ステップ１０３７）。
【０１２８】
また、上記ステップ１０３２における判断の結果、コミュニケーション相手の端末装置から画像送信セッション開始要求を受信していないと判断した場合には、上記ステップ１０３３乃至ステップ１０３７をスキップし、ユーザの許可なしにコミュニケーション相手の端末装置が画像データを送信できるかの判断、ユーザに対する画像送信セッションの開始確認、この確認に基づく開始許可判断、画像データ受信制御部０３０８の起動、およびコミュニケーション相手の端末装置に対する画像送信セッション開始許可の送信を行わない。
【０１２９】
続いて、セッション制御部０３０２は、画像データ送信制御部０３０５から画像送信セッション終了要求を受信したか否かを判断し（ステップ１０３８）、画像送信セッション終了要求を受信したと判断した場合には、画像データ送信制御部０３０５を終了させた後（ステップ１０３９）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して画像送信セッション終了通知を送信する（ステップ１０４０）。なお、画像送信セッションの終了を通知する手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１３０】
一方、上記ステップ１０３８において、画像データ送信制御部０３０５から画像送信セッション終了要求を受信していないと判断した場合には、ステップ１０３９およびステップ１０４０をスキップし、画像データ送信制御部０３０５の終了およびコミュニケーション相手の端末装置に対する画像送信セッション終了通知の送信を行わない。
【０１３１】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から消去要求を受信したか否かを判断し（ステップ１０４１）、コミュニケーション相手の端末装置から消去要求を受信したと判断した場合には、さらにユーザの許可なしにコミュニケーション相手の端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データを消去できるか否かを判断する（ステップ１０４２）。これは例えばあらかじめ記憶装置０２０２あるいは二次記憶装置０２０９に許可不要な宛先を許可不要リストとして登録しておき、消去要求を送信したコミュニケーション相手の端末装置が、この許可不要リストに登録されているか検索することによって実現可能である。この場合、例えば消去要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されている場合には、ユーザの許可なしにコミュニケーション相手の端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データを消去できると判断し、逆に消去要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されていない場合には、ユーザの許可なしではコミュニケーション相手の端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データを消去できないと判断することができる。なお、この場合の許可不要リストは、先の手書きセッション開始要求を受信した場合あるいは画像送信セッション開始要求を受信した場合において使用した許可不要リストと同一のものとしても良い。
【０１３２】
さて、本ステップ１０４２における判断の結果、ユーザの許可なしではコミュニケーション相手の端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データを消去できないと判断した場合には、セッション制御部０３０２は、続いてユーザに対して消去確認を行う（ステップ１０４３）。本消去確認では、例えば図１４に示す消去許可画面１４００を表示装置０２０６に表示し、ユーザが設定入力装置０２０７を介して操作することにより、消去要求を送信した端末装置、すなわちコミュニケーション相手の端末装置によって表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データが消去されることを許可あるいは拒絶することが可能となる。なお、図１４において、消去許可画面１４００は、「はい」ボタン１４０１と「いいえ」ボタン１４０２から構成され、ユーザは設定入力装置０２０７を介して「はい」ボタン１４０１を操作することにより、消去要求を送信した端末装置との間で消去情報を送受信するためのセッション開始を許可するとともに、端末装置に本消去許可画面１４００の表示を終了するよう指定することができる。また、ユーザは設定入力装置０２０７を介して「いいえ」ボタン１４０２を操作することにより、消去要求を送信した端末装置との間で消去情報を送受信するためのセッション開始を拒否するとともに、端末装置に本消去許可画面１４００の表示を終了するよう指定することができる。
【０１３３】
さて、図１０および図４７のセッション制御部０３０２の説明に戻り、セッション制御部０３０２は、上記ステップ１０４３において、ユーザに対して消去確認を行った結果、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データの消去が許可されたか否かを判断し（ステップ１０４４）、本判断の結果、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データの消去が許可された場合には、消去受信部０３１５を起動した後（ステップ１０４５）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して消去許可を送信する（ステップ１０４６）。なお、消去要求および消去許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１３４】
一方、上記ステップ１０４４において、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データの消去が拒否されたと判断した場合には、ステップ１０４５およびステップ１０４６をスキップし、消去受信部０３１５の起動、およびコミュニケーション相手の端末装置に対する消去許可の送信を行わない。
【０１３５】
また、上記ステップ１０４２における判断の結果、ユーザの許可なしでコミュニケーション相手の端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データを消去できると判断した場合には、セッション制御部０３０２は、上記ステップ１０４３およびステップ１０４４をスキップし、ユーザに対する消去確認およびこの確認に基づく消去許可判断を行うことなくステップ１０４５へと進み、消去受信部０３１５を起動した後（ステップ１０４５）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して消去許可を送信する（ステップ１０４６）。
【０１３６】
また、上記ステップ１０４１における判断の結果、コミュニケーション相手の端末装置から消去要求を受信していないと判断した場合には、上記ステップ１０４２乃至ステップ１０４６をスキップし、ユーザの許可なしにコミュニケーション相手の端末装置が表示装置０２０６の手書き入力・表示エリア０４０４に表示されている表示データを消去できるかの判断、ユーザに対する消去確認、この確認に基づく消去許可判断、消去受信部０３１５の起動、およびコミュニケーション相手の端末装置に対する消去許可の送信を行わない。
【０１３７】
続いて、セッション制御部０３０２は、消去送信部０３１４から消去終了要求を受信したか否かを判断し（ステップ１０４７）、消去終了要求を受信したと判断した場合には、消去送信部０３１４を終了させた後（ステップ１０４８）、コミュニケーション相手の端末装置に対して、通信制御／入出力装置０２０８およびネットワーク０１０３を介して消去終了通知を送信する（ステップ１０４９）。なお、消去の終了を通知する手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１３８】
一方、上記ステップ１０４７において、消去送信部０３１４から消去要求を受信していないと判断した場合には、ステップ１０４８およびステップ１０４９をスキップし、消去送信部０３１４の終了およびコミュニケーション相手の端末装置に対する消去終了通知の送信を行わない。
【０１３９】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から音声セッション開始許可を受信したか否かを判断し（ステップ１０５０）、コミュニケーション相手の端末装置から音声セッション開始許可を受信したと判断した場合には、音声送信部０３０３および音声受信部０３０４を起動させる（ステップ１０５１およびステップ１０５２）。なお、音声セッション開始許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション開始の方式等を使用可能である。
【０１４０】
一方、上記ステップ１０５０において、コミュニケーション相手の端末装置から音声セッション開始許可を受信していないと判断した場合には、ステップ１０５１およびステップ１０５２をスキップし、音声送信部０３０３および音声受信部０３０４の起動を行わない。
【０１４１】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から音声セッション終了許可を受信したか否かを判断し（ステップ１０５３）、コミュニケーション相手の端末装置から音声セッション終了許可を受信したと判断した場合には、音声送信部０３０３および音声受信部０３０４を終了させる（ステップ１０５４およびステップ１０５５）。なお、音声セッション終了許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション終了の方式等を使用可能である。
【０１４２】
一方、上記ステップ１０５３において、コミュニケーション相手の端末装置から音声セッション終了許可を受信していないと判断した場合には、ステップ１０５４およびステップ１０５５をスキップし、音声送信部０３０３および音声受信部０３０４の終了を行わない。
【０１４３】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から手書きセッション開始許可を受信したか否かを判断し（ステップ１０５６）、コミュニケーション相手の端末装置から手書きセッション開始許可を受信したと判断した場合には、手書きデータ制御部０３１１を起動する（ステップ１０５７）。なお、手書きセッション開始許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１４４】
一方、上記ステップ１０５６において、コミュニケーション相手の端末装置から手書きセッション開始許可を受信していないと判断した場合には、ステップ１０５７をスキップし、手書きデータ制御部０３１１の起動を行わない。
【０１４５】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から手書きセッション終了許可を受信したか否かを判断し（ステップ１０５８）、コミュニケーション相手の端末装置から手書きセッション終了許可を受信したと判断した場合には、手書きデータ制御部０３１１を終了させる（ステップ１０５９）。なお、手書きセッション終了許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１４６】
一方、上記ステップ１０５８において、コミュニケーション相手の端末装置から手書きセッション終了許可を受信していないと判断した場合には、ステップ１０５９をスキップし、手書きデータ制御部０３１１の終了を行わない。
【０１４７】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から画像送信セッション開始許可を受信したか否かを判断し（ステップ１０６０）、コミュニケーション相手の端末装置から画像送信セッション開始許可を受信したと判断した場合には、画像データ送信制御部０３０５を起動させる（ステップ１０６１）。なお、画像送信セッション開始許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１４８】
一方、上記ステップ１０６０において、コミュニケーション相手の端末装置から画像送信セッション開始許可を受信していないと判断した場合には、ステップ１０６１をスキップし、画像データ送信制御部０３０５の起動を行わない。
【０１４９】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から画像送信セッション終了許可を受信したか否かを判断し（ステップ１０６２）、コミュニケーション相手の端末装置から画像送信セッション終了許可を受信したと判断した場合には、画像データ受信制御部０３０８を終了させる（ステップ１０６３）。なお、画像送信セッション終了許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１５０】
一方、上記ステップ１０６２において、コミュニケーション相手の端末装置から画像送信セッション終了許可を受信していないと判断した場合には、ステップ１０６３をスキップし、画像データ受信制御部０３０８の終了を行わない。
【０１５１】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から消去許可を受信したか否かを判断し（ステップ１０６４）、コミュニケーション相手の端末装置から消去許可を受信したと判断した場合には、消去送信部０３１４を起動させる（ステップ１０６５）。なお、コミュニケーション相手の端末装置から消去許可を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【０１５２】
一方、上記ステップ１０６４において、コミュニケーション相手の端末装置から消去許可を受信していないと判断した場合には、ステップ１０６５をスキップし、消去送信部０３１４の起動を行わない。
【０１５３】
続いて、セッション制御部０３０２は、通信制御／入出力装置０２０８およびネットワーク０１０３を介してコミュニケーション相手の端末装置から消去終了通知を受信したか否かを判断し（ステップ１０６６）、コミュニケーション相手の端末装置から消去終了通知を受信したと判断した場合には、消去受信部０３１５を終了させる（ステップ１０６７）。なお、コミュニケーション相手の端末装置から消去終了通知を行う手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【０１５４】
一方、上記ステップ１０６６において、コミュニケーション相手の端末装置から消去終了通知を受信していないと判断した場合には、ステップ１０６７をスキップし、消去受信部０３１５の終了を行わない。
【０１５５】
続いて、セッション制御部０３０２は、入力処理部０３０１によって本セッション制御部０３０２が終了されたか否かを判断し（ステップ１０６８）、入力処理部０３０１によって本セッション制御部０３０２が終了されていないと判断した場合には、上記ステップ１００１に戻り、入力処理部０３０１によって本セッション制御部０３０２が終了されるまで、上記ステップ１００１乃至１０６８を繰り返す。
【０１５６】
一方、上記ステップ１０６８において、入力処理部０３０１によって本セッション制御部０３０２が終了されたと判断した場合には、その時点で開かれているすべてのセッションを終了した後（ステップ１０６９）、本セッション制御部０３０２を終了する。
次に、本セッション制御部０３０２によるセッションの開始と終了および処理部の起動と終了について、図１５、図４８、図４９、および図５０を用いて説明する。
【０１５７】
図１５、図４８、図４９、および図５０は本セッション制御部０３０２を備えた２台の端末装置間で、一方をセッション開始／終了要求あるいは通知の発信側、他方をセッション開始／終了要求あるいは通知の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図であり、図１５の（ａ）と（ｂ）はそれぞれ音声セッションの開始と終了を、図４８の（ａ）と（ｂ）はそれぞれ手書きセッションの開始と終了を、図４９の（ａ）と（ｂ）はそれぞれ画像送信セッションの開始と終了を、図５０の（ａ）と（ｂ）はそれぞれ消去用のセッションの開始と終了を説明した図である。
【０１５８】
音声セッションの開始では、図１５（ａ）に示す通り、発信側におけるユーザからの音声セッション開始指示（１５０１）をトリガーとして、発信側が音声セッション開始要求（１５０２）を受信側に送信し、受信側は本音声セッション開始要求（１５０２）を受信すると、先に示した音声セッション許可画面１１００を表示（１５０３）する。その後、受信側はユーザからの音声セッション開始許可を受けて、音声送信部０３０３と音声受信部０３０４を起動（１５０４および１５０５）した後、音声セッション開始許可（１５０６）を発信側に送信し、発信側は音声セッション開始許可（１５０６）を受信すると音声送信部０３０３と音声受信部０３０４を起動（１５０７および１５０８）する。
音声セッションの終了では、図１５（ｂ）に示す通り、発信側におけるユーザからの音声セッション終了指示（１５０９）をトリガーとして、発信側が音声セッション終了要求（１５１０）を受信側に送信し、受信側は本音声セッション終了要求（１５１０）を受信すると、音声送信部０３０３と音声受信部０３０４を終了（１５１１および１５１２）した後、音声セッション終了許可（１５１３）を発信側に送信し、発信側は音声セッション終了許可（１５１３）を受信すると音声送信部０３０３と音声受信部０３０４を終了（１５１４および１５１５）する。
【０１５９】
手書きセッションの開始では、図４８（ａ）に示す通り、発信側におけるユーザからの手書きセッション開始指示（１５１６）をトリガーとして、発信側が手書きセッション開始要求（１５１７）を受信側に送信し、受信側は本手書きセッション開始要求（１５１７）を受信すると、発信元の端末装置が許可不要リストに登録されているか判断（１５１８）し、登録されていなかった場合には先に示した手書きセッション許可画面１２００を表示して手書きセッションの開始確認（１５１９）を行う。その後、受信側はユーザからの手書きセッション開始許可（１５２０）を受けて、手書きデータ制御部０３１１を起動（１５２１）した後、手書きセッション開始許可（１５２２）を発信側に送信し、発信側は手書きセッション開始許可（１５２２）を受信すると手書きデータ制御部０３１１を起動（１５２３）する。なお、受信側が手書きセッション開始要求（１５１７）を受信した際、発信元の端末装置が許可不要リストに登録されているか判断（１５１８）し、登録されていた場合には手書きセッション許可画面１２００の表示、手書きセッションの開始確認（１５１９）、手書きセッション開始許可判断（１５２０）を行わない。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に手書きデータの送信が可能となるので、ユーザが不在の場合でもメッセージを送ってもらうことが可能となる。
【０１６０】
手書きセッションの終了では、図４８（ｂ）に示す通り、発信側におけるユーザからの手書きセッション終了指示（１５２４）をトリガーとして、発信側が手書きセッション終了要求（１５２５）を受信側に送信し、受信側は本手書きセッション終了要求（１５２５）を受信すると、手書きデータ制御部０３１１を終了（１５２６）した後、手書きセッション終了許可（１５２７）を発信側に送信し、発信側は手書きセッション終了許可（１５２７）を受信すると手書きデータ制御部０３１１を終了（１５２８）する。
【０１６１】
画像送信セッションの開始では、４９（ａ）に示す通り、発信側におけるユーザからの画像送信セッション開始指示（１５２９）をトリガーとして、発信側が画像送信セッション開始要求（１５３０）を受信側に送信し、受信側は本画像送信セッション開始要求（１５３０）を受信すると、発信元の端末装置が許可不要リストに登録されているか判断（１５３１）し、登録されていなかった場合には先に示した画像送信セッション許可画面１３００を表示して画像送信セッションの開始確認（１５３２）を行う。その後、受信側はユーザからの画像送信セッション開始許可（１５３３）を受けて、画像データ受信制御部０３０８を起動（１５３４）した後、画像送信セッション開始許可（１５３５）を発信側に送信し、発信側は画像送信セッション開始許可（１５３５）を受信すると画像データ送信制御部０３０５を起動（１５３６）する。なお、受信側が画像送信セッション開始要求（１５３０）を受信した際、発信元の端末装置が許可不要リストに登録されているか判断（１５３１）し、登録されていた場合には画像送信セッション許可画面１３００の表示、画像送信セッションの開始確認（１５３２）、画像送信セッション開始許可判断（１５３３）を行わない。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に画像データの送信が可能となるので、ユーザが不在の場合でも写真等の画像を送ってもらうことが可能となる。
【０１６２】
画像送信セッションの終了では、図４９（ｂ）に示す通り、発信側の画像データ送信制御部からの画像送信セッション終了要求（１５３７）をトリガーとして、発信側が画像データ送信制御部０３０５を終了（１５３８）した後、画像送信セッション終了通知（１５３９）を受信側に送信し、受信側は本画像送信セッション終了通知（１５３９）を受信すると、画像データ受信制御部０３０８を終了（１５４０）する。
【０１６３】
消去用のセッションの開始では、図５０（ａ）に示す通り、発信側におけるユーザからの消去指示（１５４１）をトリガーとして、発信側が消去要求（１５４２）を受信側に送信し、受信側は本消去要求（１５４２）を受信すると、発信元の端末装置が許可不要リストに登録されているか判断（１５４３）し、登録されていなかった場合には先に示した消去許可画面１４００を表示して消去確認（１５４４）を行う。その後、受信側はユーザからの消去許可（１５４５）を受けて、消去受信部０３１５を起動（１５４６）した後、消去許可（１５４７）を発信側に送信し、発信側は消去許可（１５４７）を受信すると消去送信部０３１４を起動（１５４８）する。なお、受信側が消去要求（１５４２）を受信した際、発信元の端末装置が許可不要リストに登録されているか判断（１５４３）し、登録されていた場合には消去許可画面１４００の表示、消去確認（１５４４）、消去許可判断（１５４５）を行わない。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に画像や手書きデータの消去が可能となるので、ユーザが不在の場合でも画像や手書きデータの編集が可能となる。
【０１６４】
消去用のセッションの終了では、図５０（ｂ）に示す通り、発信側の消去送信部０３１４からの消去終了要求（１５４９）をトリガーとして、発信側が消去送信部０３１４を終了（１５５０）した後、消去終了通知（１５５１）を受信側に送信し、受信側は本消去終了通知（１５５１）を受信すると、消去受信部０３１５を終了（１５４０）する。
【０１６５】
図１０と図４７および図１５と図４８と図４９と図５０からわかるとおり、本セッション制御部０３０２の処理により音声セッションが開始される場合には無条件に音声セッション許可画面が表示される。一方、許可不要リスト中に登録されていないコミュニケーション相手の端末装置から手書きセッションが開始される場合や画像送信セッションが開始される場合、および消去が行われる場合に限り、各セッションの許可画面が表示されることになる。すなわち、予め許可不要リストに登録されているコミュニケーション相手の端末装置からは自由に手書きデータの送信や画像データの送信、および消去が可能となるので、信頼する相手の端末装置からはユーザが不在の場合でもメッセージや写真等の画像を送ってもらうとともに編集してもらうことが可能となる。  また、図１０と図４７および図１５と図４８と図４９と図５０からわかるとおり、本セッション制御部０３０２の処理により、画像や手書きデータの送受信を行っているときに、音声セッションのみを終了し、周囲の人に聞かれたくない内容を画像や手書きデータのみで伝えることができる。また、これにより、音声通信を行うことによる端末装置の処理負荷を低減することができるので、処理性能の低い端末装置においても画像や手書きデータの送受信を円滑に行うことが可能となる。
【０１６６】
なお、図１０と図４７および図１５と図４８と図４９と図５０に示した通り、本実施例においてはコミュニケーション相手の端末装置が音声セッションの終了を要求した場合には、セッション制御部０３０２が無条件に音声セッションを終了するよう構成されているが、例えばコミュニケーション相手の端末装置から音声セッション終了要求を受信した場合に、画像送信セッションあるいは手書きセッションが行われているか判断し、画像送信セッションあるいは手書きセッションが行われている場合には、例えば図１６に示す音声セッション終了許可画面１６００を表示し、音声セッション終了要求を受信した端末装置のユーザによって音声セッションの終了が許可された場合に、音声セッションを終了するようにしてもよい。図１６において、音声セッション終了許可画面１６００は、「はい」ボタン１６０１と「いいえ」ボタン１６０２から構成され、ユーザは設定入力装置０２０７を介して「はい」ボタン１６０１を操作することにより、音声セッションの終了を許可し、端末装置に本音声セッション終了許可画面１６００の表示を終了するよう指示することができる。また、ユーザは設定入力装置０２０７を介して「いいえ」ボタン１６０２を操作することにより、音声セッションの終了を拒否し、端末装置に本音声セッション終了許可画面１６００の表示を終了するよう指示することができる。これにより、画像データの送受信あるいは手書きデータの送受信を行っている場合において、コミュニケーション相手からの一方的な音声セッションの終了を避けることができる。さらに、上記では、音声セッション開始要求の受信側は、本音声セッション開始要求を受信すると、先に示した音声セッション許可画面１１００を表示し、ユーザからの音声セッション開始許可を受けて、音声送信部０３０３と音声受信部０３０４を起動したが、手書きセッション、画像送信セッション、および消去用のセッションにおける処理と同様な処理構成としても良い。すなわち、音声セッション開始要求の受信側は、本音声セッション開始要求を受信すると、本要求の発信元の端末装置が許可不要リストに登録されているか判断し、登録されていなかった場合には先に示した音声セッション許可画面１１００を表示して、音声セッションの開始確認および音声セッション開始許可判断を行い、登録されていた場合には音声セッション許可画面１１００の表示、音声セッションの開始確認、および音声セッション開始許可判断を行わないようにしてもよい。なお、この場合、要求発信元の端末装置が許可不要リストに登録されている場合でも、受信側では音声送信部０３０３を起動しないようにするとよい。また、逆に音声セッションを終了する際は、上記受信側は音声受信部０３０４のみを終了するとともに、先に述べた音声セッション終了許可画面１６００の表示を行わないようにし、上記受信側ユーザによる音声セッション終了許可が必要ないようにすると良い。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に音声を送ってもらうことが可能となるので、アナウンス等を受けるとともに、要求発信側はアナウンス等を行うことが可能となる。また、この場合でも受信側における会話や周囲の音を盗聴されることも無くなる。  次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される音声送信部０３０３の処理内容について図１７を用いて説明する。図１７は、音声送信部０３０３の処理内容を示すフローチャートの一例である。なお、本音声送信部０３０３は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
図１７に示すとおり、音声送信部０３０３は、まず、音声入力装置０２０３から音声データを取得し（ステップ１７０１）、取得した音声データを符号化する（ステップ１７０２）。符号化の方法は、例えばＩＴＵ−Ｔで勧告されているＧ．７１１等の方式を使用すればよい。
【０１６７】
続いて、音声送信部０３０３は、符号化した音声データをパケット化し（ステップ１７０３）、パケット化された符号化音声データを通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって音声セッションが開始されているコミュニケーション相手の端末装置に送信する（ステップ１７０４）。なお、パケット化の方法については、例えばＲＦＣ２５４３で規定されている方法を用いればよい。また、公知のＩＰヘッダ及びＴＣＰヘッダを付加してＴＣＰ／ＩＰパケットとしてもよい。
【０１６８】
続いて、音声送信部０３０３は、セッション制御部０３０２によって本音声送信部０３０３が終了されたか否かを判断し（ステップ１７０５）、本音声送信部０３０３が終了されていないと判断した場合にはステップ１７０１に戻り、本音声送信部０３０３が終了されるまで上述したステップ１７０１乃至ステップ１７０５を繰り返す。
一方、上記ステップ１７０５において、セッション制御部０３０２によって本音声送信部０３０３が終了されたと判断した場合には本音声送信部０３０３における処理を終了する。
【０１６９】
次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される音声受信部０３０４の処理内容について図１８を用いて説明する。図１８は、音声受信部０３０４の処理内容を示すフローチャートの一例である。なお、音声受信部０３０４は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０１７０】
図１８に示すとおり、音声受信部０３０４は、まず、通信制御／入出力装置０２０８を介してすでにセッション制御部０３０２によって音声セッションが開始されているコミュニケーション相手の端末装置からパケット化された符号化音声データを受信し（ステップ１８０１）、受信したパケットから符号化された音声データを取得する（ステップ１８０２）。
【０１７１】
続いて、音声受信部０３０４は、符号化された音声データを復号化し（ステップ１８０３）、復号化した音声データを音声出力装置０２０４から出力する（ステップ１８０４）。
続いて、音声受信部０３０４は、セッション制御部０３０２によって本音声受信部０３０４が終了されたか否かを判断し（ステップ１８０５）、本音声受信部０３０４が終了されていないと判断した場合にはステップ１８０１に戻り、本音声受信部０３０４が終了されるまで上述したステップ１８０１乃至ステップ１８０５を繰り返す。
【０１７２】
一方、上記ステップ１８０５において、セッション制御部０３０２によって本音声受信部０３０４が終了されたと判断した場合には本音声受信部０３０４における処理を終了する。
【０１７３】
次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される画像データ送信制御部０３０５の処理内容について図１９を用いて説明する。図１９は、画像データ送信制御部０３０５の処理内容を示すフローチャートの一例である。なお、本画像データ送信制御部０３０５は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０１７４】
図１９に示すとおり、画像データ送信制御部０３０５が起動されると、まず、ユーザが画像データを送信する際の画像送信モードとしてファイル名送信モードかあるいはファイル内容送信モードを選択するための画像送信モード選択画面０６００を表示装置０２０６に表示し、ユーザからの画像送信モードの指定を待つ（ステップ１９０１）。
【０１７５】
続いて、画像データ送信制御部０３０５は、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって画像送信セッションが開始されているコミュニケーション相手の端末装置にユーザから指定された画像送信モードを送信する（ステップ１９０２）。なお、自端末装置と相手端末装置の間でこの画像送信モードを送受信する際のデータ構造については後述する。
【０１７６】
続いて、画像データ送信制御部０３０５は、ユーザから指定された画像送信モードがファイル名送信モードであったか否かを判断し（ステップ１９０３）、ファイル名送信モードであったと判断した場合には、ファイル名送信部０３０６を実行する（ステップ１９０４）。一方、上記ステップ１９０３における判断の結果、ファイル名送信モードではなかったと判断した場合には、ファイル内容送信部０３０７を実行する（ステップ１９０５）。
【０１７７】
続いて、画像データ送信制御部０３０５は、ファイル名送信部０３０６あるいはファイル内容送信部０３０７の実行を終えると、自端末装置のセッション制御部０３０２に対して画像送信セッション終了を要求する（１９０６）。なお、本画像送信セッション終了の要求は、例えばセッション制御部０３０２に対して画像送信セッション終了要求を示すイベントを発行することによって実現できる。
【０１７８】
続いて、画像データ送信制御部０３０５は、セッション制御部０３０２によって本画像データ送信制御部０３０５が終了されるまで待ち（ステップ１９０７）、セッション制御部０３０２によって本画像データ送信制御部０３０５が終了されると、本画像データ送信制御部０３０５の処理を終了する。
【０１７９】
次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される画像データ受信制御部０３０８の処理内容について図２０を用いて説明する。図２０は、画像データ受信制御部０３０８の処理内容を示すフローチャートの一例である。なお、本画像データ受信制御部０３０８は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０１８０】
図２０に示すとおり、画像データ受信制御部０３０８が起動されると、まず、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって画像送信セッションが開始されているコミュニケーション相手の端末装置から指定された画像送信モードを受信する（ステップ２００１）。なお、この画像送信モードを送受信する際のデータ構造については後述する。
【０１８１】
続いて、画像データ受信制御部０３０８は、受信した画像送信モードがファイル名送信モードであるか否かを判断し（ステップ２００２）、ファイル名送信モードであると判断した場合には、ファイル名受信部０３０９を実行する（ステップ２００３）。
【０１８２】
一方、上記ステップ２００２における判断の結果、ファイル名送信モードではないと判断した場合には、ファイル内容受信部０３１０を実行する（ステップ２００４）。
【０１８３】
続いて、画像データ受信制御部０３０８は、ファイル名受信部０３０９あるいはファイル内容受信部０３１０の実行を終えると、セッション制御部０３０２によって本画像データ受信制御部０３０８が終了されるまで待ち（ステップ２００５）、セッション制御部０３０２によって本画像データ受信制御部０３０８が終了されると、本画像データ受信制御部０３０８の処理を終了する。
【０１８４】
次に、画像データ送信制御部０３０５によって起動され、中央処理装置０２０１によって実行されるファイル名送信部０３０６の処理内容について図２１を用いて説明する。図２１は、ファイル名送信部０３０６の処理内容を示すフローチャートの一例である。
【０１８５】
図２１に示すとおり、ファイル名送信部０３０６は、ユーザから送信対象の画像ファイルのファイル名を入力してもらい、入力されたファイル名を取得した後（ステップ２１００）、入力されたファイル名のファイルを自端末装置内、例えば二次記憶装置０２０９あるいは記憶装置０２０２から検索する（ステップ２１０１）。
【０１８６】
続いて、ファイル名送信部０３０６は、上記ステップ２１０１での検索結果に基づいて入力されたファイル名のファイルが自端末装置内に存在するか否かを判断し（ステップ２１０２）、存在しないと判断した場合には、自端末装置に入力されたファイル名のファイルが存在しないことを表示装置０２０６に表示した後（ステップ２１１１）、本ファイル名送信部０３０６の処理を終了する。
【０１８７】
一方、上記ステップ２１０２において、入力されたファイル名のファイルが自端末装置内に存在すると判断した場合には、そのファイルの画像を展開し（ステップ２１０３）、画像を展開できたか否かを判断する（ステップ２１０４）。なお、展開とはファイルから画像データを取得し、表示装置０２０６に表示可能な状態にすることを指している。
【０１８８】
さて、ファイル名送信部０３０６は、上記ステップ２１０４において、画像を展開できなかったと判断した場合には、自端末装置において指定されたファイルの画像を展開できなかったことを表示装置０２０６に表示した後（ステップ２１１２）、本ファイル名送信部０３０６の処理を終了する。
【０１８９】
一方、上記ステップ２１０４において、画像を展開できたと判断した場合には、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって画像送信セッションが開始されているコミュニケーション相手の端末装置に、ユーザから入力されたファイル名を送信する（ステップ２１０５）。
【０１９０】
なお、このファイル名を送受信する際のデータ構造については後述する。
【０１９１】
続いて、ファイル名送信部０３０６は、コミュニケーション相手の端末装置から、送信したファイル名のファイルが存在するか否かを示すファイル存在情報を受信し（ステップ２１０６）、受信したファイル存在情報をもとに、コミュニケーション相手の端末装置内に指定したファイルが存在するか否かを判断する（ステップ２１０７）。なお、ファイル存在情報を送受信する際のデータ構造およびデータ内容については後述する。
【０１９２】
さて、ファイル名送信部０３０６は、上記ステップ２１０７における判断の結果、コミュニケーション相手の端末装置内に指定したファイルが存在しないと判断した場合には、コミュニケーション相手の端末装置にファイルがないことを表示装置０２０６に表示した後（ステップ２１１４）、本ファイル名送信部０３０６の処理を終了する。
【０１９３】
一方、上記ステップ２１０７における判断の結果、コミュニケーション相手の端末装置内に指定したファイルが存在すると判断した場合には、さらにコミュニケーション相手の端末装置において、指定したファイルの画像を展開できたか否かを示すファイル展開可否情報を受信する（ステップ２１０８）。なお、ファイル展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０１９４】
続いて、ファイル名送信部０３０６は、ステップ２１０８で受信したファイル展開可否情報にもとづいて、コミュニケーション相手の端末装置において、ファイルの画像を展開できたか否かを判断し（ステップ２１０９）、ファイルの画像を展開できなかったと判断した場合には、コミュニケーション相手の端末装置においてファイルの画像が展開できなかったことを表示装置０２０６に表示した後（ステップ２１１３）、本ファイル名送信部０３０６の処理を終了する。
【０１９５】
一方、上記ステップ２１０９において、コミュニケーション相手の端末装置においてファイルの画像を展開できたと判断した場合には、上記ステップ２１０３において展開した画像の表示指示とともに画像・手書きデータ管理部起動した後（ステップ２１１０）、本ファイル名送信部０３０６の処理を終了する。
【０１９６】
次に、画像データ受信制御部０３０８によって起動され、中央処理装置０２０１によって実行されるファイル名受信部０３０９の処理内容について図２２を用いて説明する。図２２は、ファイル名受信部０３０９の処理内容を示すフローチャートの一例である。
【０１９７】
図２２に示すとおり、ファイル名受信部０３０９は、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって画像送信セッションが開始されているコミュニケーション相手の端末装置から、表示すべき画像データを含むファイルのファイル名を受信する（ステップ２２０１）。なお、このファイル名を送受信する際のデータ構造については後述する。
【０１９８】
続いて、ファイル名受信部０３０９は、ステップ２２０１で受信したファイル名のファイルをこの端末装置内、例えば二次記憶装置０２０９あるいは記憶装置０２０２から検索し（ステップ２２０２）、この検索結果に基づいて、受信したファイル名のファイルが端末装置内に存在するか否かを判断する（ステップ２２０３）。
【０１９９】
ステップ２２０３における判断の結果、ファイルが存在しないと判断した場合には、指定されたファイル名のファイルが存在しないことをファイル存在情報としてコミュニケーション相手の端末装置に送信した後（ステップ２２１０）、指定されたファイル名のファイルが存在しないことを表示装置０２０６に表示し（ステップ２２１１）、本ファイル名受信部０３０９の処理を終了する。なお、ファイル存在情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２００】
一方、上記ステップ２２０３における判断の結果、ファイルが存在すると判断した場合には、受信したファイル名のファイルがあることをファイル存在情報としてコミュニケーション相手の端末装置に送信し（ステップ２２０４）、そのファイルの画像を展開した後（ステップ２２０５）、ファイルの画像を展開できたか否かを示すファイル展開可否情報をコミュニケーション相手の端末装置に送信する（ステップ２２０６）。なお、ファイル存在情報およびファイル展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２０１】
続いて、ファイル名受信部０３０９は、ステップ２２０５において、ファイルの画像を展開できたか否かを判断し（ステップ２２０７）し、展開できなかったと判断した場合には、ファイルの画像の展開ができなかったことを表示装置０２０６に表示した後（ステップ２２０９）、本ファイル名受信部０３０９の処理を終了する。
【０２０２】
一方、上記ステップ２２０７において、ファイルの画像を展開できたと判断した場合には、ステップ２２０５において展開した画像の表示指示とともに画像・手書きデータ管理部起動した後（ステップ２２０８）、本ファイル名受信部０３０９の処理を終了する。
【０２０３】
次に、本ファイル名送信部０３０６とファイル名受信部０３０９の連係動作について、図２３を用いて説明する。
【０２０４】
図２３は、本ファイル名送信部０３０６とファイル名受信部０３０９を備えた２台の端末装置間で、一方をファイル名送信部０３０６によるファイル名の送信側、他方をファイル名受信部０３０９によるファイル名の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２０５】
図２３に示す通り、送信側は、まずユーザから入力されたファイル名を取得（２３０１）し、そのファイル名のファイルを自端末装置内から検索（２３０２）する。
【０２０６】
次に送信側は、この検索結果に基づいて、自端末装置内にファイルが存在するか否かを判断（２３０３）し、ファイルが存在しなかった場合には、ファイルがないことを表示装置０２０６に表示（２３１３）する。一方、ファイルが存在した場合には、送信側はそのファイルの画像を展開（２３０４）して、展開できたか否かを判断（２３０５）する。続いて送信側はこの判断２３０５に基づいて、ファイルの画像が展開できなかった場合には、ファイルが展開できなかったことを表示装置０２０６に表示（２３１２）する。一方、ファイルの画像が展開できた場合には、送信側は、受信側すなわちコミュニケーション相手の端末装置に、ファイル名を送信（２３２１）する。
【０２０７】
受信側では、ファイル名を受信（２３２１）すると、そのファイル名のファイルを端末装置内から検索（２３１４）し、その検索結果に基づいてファイル存在情報を送信側に送信（２３２２）する。
【０２０８】
送信側は、このファイル存在情報を受信側から受信（２３２２）すると、このファイル存在情報に基づいて、受信側に指定したファイルが存在するか否かを判断（２３０６）する。そしてこの判断２３０６の結果、ファイルが存在しないと判断した場合には、送信側は、コミュニケーション相手の端末装置にファイルがないことを表示装置０２０６に表示（２３１１）する。同時に受信側は、検索２３１４の結果に基づいて、端末装置内にファイルが存在するか否かを判断（２３１５）し、ファイルが存在しないと判断した場合には、ファイルがないことを表示装置０２０６に表示（２３２０）する。
【０２０９】
一方、受信側における判断２３１５で、ファイルが存在すると判断した場合には、受信側はさらにこのファイルの画像を展開（２３１６）し、展開できたか否かをファイル展開可否情報として送信側に送信（２３２３）するとともに、この展開２３１６の結果に基づいてファイルの画像が展開できたか否かを判断（２３１７）する。同時に送信側における判断２３０６で、受信側に指定したファイルが存在すると判断した場合には、送信側は、受信側からファイル展開可否情報を受信（２３１６）し、このファイル展開可否情報に基づいて、受信側でファイルの画像が展開できたか否かを判断（２３０７）する。
【０２１０】
そして、受信側は、判断２３１７の結果、ファイルの画像が展開できなかったと判断した場合には、ファイルの画像が展開できなかったことを表示装置０２０６に表示（２３１９）する。同様に、送信側も、判断２３０７の結果、受信側でファイルの画像が展開できなかった判断した場合には、コミュニケーション相手の端末装置においてファイルの画像が展開できなかったことを表示装置０２０６に表示（２３１０）する。
【０２１１】
一方、受信側における判断２３１７の結果、ファイルの画像が展開できたと判断した場合には、受信側は、画像・手書きデータ管理部０３１６を介して、２３１６において展開した画像を表示装置０２０６の手書き入力・表示エリア０４０４に表示（２３１８）する。同様に、送信側も、判断２３０７の結果、受信側でファイルの画像が展開できたと判断した場合には、画像・手書きデータ管理部０３１６を介して、２３０４において展開した画像を表示装置０２０６の手書き入力・表示エリア０４０４に表示（２３１８）する。
【０２１２】
次に、画像データ送信制御部０３０５によって起動され、中央処理装置０２０１によって実行されるファイル内容送信部０３０７の処理内容について図２４を用いて説明する。図２４は、ファイル内容送信部０３０７の処理内容を示すフローチャートの一例である。
【０２１３】
図２４に示すとおり、ファイル内容送信部０３０７は、ユーザから送信対象の画像データを含むファイルのファイル名を入力してもらい、入力されたファイル名を取得した後（ステップ２４０１）、入力されたファイル名のファイルを自端末装置内、例えば二次記憶装置０２０９あるいは記憶装置０２０２から検索する（ステップ２４０２）。
【０２１４】
続いて、ファイル内容送信部０３０７は、上記ステップ２４０２での検索結果に基づいて入力されたファイル名のファイルが自端末装置内に存在するか否かを判断し（ステップ２４０３）、存在しないと判断した場合には、入力されたファイル名のファイルが自端末装置に存在しないことを表示装置０２０６に表示した後（ステップ２４１６）、ファイル内容送信部０３０７の処理を終了する。
【０２１５】
一方、ステップ２４０３において、入力されたファイル名のファイルが自端末装置内に存在すると判断した場合には、そのファイルの画像を展開し（ステップ２４０４）、画像を展開できたか否かを判断する（ステップ２４０５）。
【０２１６】
上記ステップ２４０５において、画像を展開できなかったと判断した場合には、自端末装置において指定されたファイルの画像を展開できなかったことを表示装置０２０６に表示した後（ステップ２４１７）、本ファイル内容送信部０３０７の処理を終了する。
【０２１７】
一方、上記ステップ２４０５において、画像を展開できたと判断した場合には、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって画像送信セッションが開始されているコミュニケーション相手の端末装置に、ステップ２４０１においてユーザによって入力されたファイル名を送信する（ステップ２４０６）。なお、このファイル名を送受信する際のデータ構造については後述する。
【０２１８】
続いて、ファイル内容送信部０３０７は、コミュニケーション相手の端末装置から受信準備完了通知を受信した後（ステップ２４０７）、コミュニケーション相手の端末装置にファイルサイズを送信する（ステップ２４０８）。なお、受信準備完了通知やファイルサイズを送受信する際のデータ構造については後述する。
【０２１９】
続いて、ファイル内容送信部０３０７は、コミュニケーション相手の端末装置からデータ送信許可を受信した後（ステップ２４０９）、コミュニケーション相手の端末装置にステップ２４０１においてユーザによって指定されたファイルの内容、すなわち画像データを送信する（ステップ２４１０）。なお、データ送信許可を送受信する際のデータ構造およびデータ内容については後述する。また、画像データを送受信する際のデータ構造については後述する。
【０２２０】
続いて、ファイル内容送信部０３０７は、ファイル内容のすべて、すなわちすべての画像データを送信したか否かを判断し（ステップ２４１１）、すべての画像データを送信していないと判断した場合には、上記ステップ２４０９乃至ステップ２４１１をすべての画像データを送信したと判断するまで繰り返す。これにより、ファイルの内容を分割して、細切れのデータを相手端末装置からのデータ送信許可を待ちながら、送信することができるので、より相手端末装置の受信状態や通信帯域に合わせて画像データを送信可能となる。なお、すべての画像データを送信したか否かを判断するには、これまでのステップ２４０９乃至ステップ２４１１の繰り返しで送信したトータルのデータサイズが、上記ステップ２４０８で相手端末装置に通知したファイルサイズに達したか否かを判断することによって実現でき、達していた場合には、すべての画像データを送信したと判断することができる。
【０２２１】
さて、上記ステップ２４１１において、すべての画像データを送信したと判断した場合には、ファイル内容送信部０３０７は、続いて、コミュニケーション相手の端末装置において、画像データの展開ができたか否かを示す画像展開可否情報を受信する（ステップ２４１２）。なお、画像展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２２２】
続いて、ファイル内容送信部０３０７は、ステップ２４１２で受信した画像展開可否情報にもとづいて、コミュニケーション相手の端末装置において画像が展開できたか否かを判断し（ステップ２４１３）、画像が展開できなかったと判断した場合には、コミュニケーション相手の端末装置において画像が展開できなかったことを表示装置０２０６に表示した後（ステップ２４１５）、本ファイル内容送信部０３０７の処理を終了する。
【０２２３】
一方、上記ステップ２４１３において、コミュニケーション相手の端末装置において画像が展開できたと判断した場合には、ステップ２４０４において展開した画像の表示指示とともに画像・手書きデータ管理部起動した後（ステップ２４１４）、本ファイル内容送信部０３０７の処理を終了する。
【０２２４】
次に、画像データ受信制御部０３０８によって起動され、中央処理装置０２０１によって実行されるファイル内容受信部０３１０の処理内容について図２５を用いて説明する。図２５は、ファイル内容受信部０３１０の処理内容を示すフローチャートの一例である。
【０２２５】
図２５に示すとおり、ファイル内容受信部０３１０は、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって画像送信セッションが開始されているコミュニケーション相手の端末装置から表示すべき画像データを含むファイルのファイル名を受信する（ステップ２５０１）。なお、このファイル名を送受信する際のデータ構造については後述する。
【０２２６】
続いて、ファイル内容受信部０３１０は、受信準備完了通知をコミュニケーション相手の端末装置に送信した後（ステップ２５０２）、コミュニケーション相手の端末装置から画像データのサイズ、すなわちファイルサイズを受信する（ステップ２５０３）。なお、受信準備完了通知やファイルサイズを送受信する際のデータ構造については後述する。
【０２２７】
ファイルサイズを受信した後、ファイル内容受信部０３１０は、コミュニケーション相手の端末装置にデータ送信許可を送信する（ステップ２５０４）。なお、データ送信許可を送受信する際のデータ構造およびデータ内容については後述する。
【０２２８】
続いて、ファイル内容受信部０３１０は、コミュニケーション相手の端末装置からファイルの内容、すなわち画像データを受信した後（ステップ２５０５）、ファイル内容のすべて、すなわちすべての画像データを受信したか否かを判断し（ステップ２５０６）、すべての画像データを受信していないと判断した場合には、上記ステップ２５０４乃至ステップ２５０６を、すべての画像データを受信したと判断するまで繰り返す。なお、すべての画像データを受信したか否かを判断するには、これまでのステップ２５０４乃至ステップ２５０６の繰り返しで受信したトータルのデータサイズが、上記ステップ２５０３で相手端末装置から通知されたファイルサイズに達したか否かを判断することによって実現でき、達していた場合には、すべての画像データを受信したと判断することができる。これにより、ファイルの内容を分割して、細切れのデータを、データ送信許可を送信しながら、送信することができるので、より端末装置の受信状態や通信帯域に合わせて画像データを受信可能となる。なお、画像データを送受信する際のデータ構造については後述する。
【０２２９】
さて、上記ステップ２５０６における判断の結果、すべての画像データを受信したと判断した場合には、ファイル内容受信部０３１０は、続いて受信した画像データを展開し（ステップ２５０７）、画像データが展開できたか否かを示す画像展開可否情報をコミュニケーション相手の端末装置に送信する（ステップ２５０８）。なお、画像展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２３０】
続いて、ファイル内容受信部０３１０は、ステップ２５０７において、画像データを展開できたか否かを判断し（ステップ２５０９）し、展開できなかったと判断した場合には、画像データの展開ができなかったことを表示装置０２０６に表示して（ステップ２５１２）、本ファイル内容受信部０３１０の処理を終了する。
【０２３１】
一方、上記ステップ２５０９における判断の結果、画像データを展開できたと判断した場合には、受信した画像データをステップ２５０１で受信したファイル名で記憶装置０２０２あるいは二次記憶装置０２０９に保存した後（ステップ２５１０）、ステップ２５０７において展開した画像の表示指示とともに画像・手書きデータ管理部起動して（ステップ２５１１）、本ファイル内容受信部０３１０の処理を終了する。
【０２３２】
次に、本ファイル内容送信部０３０７とファイル内容受信部０３１０の連係動作について、図２６を用いて説明する。
【０２３３】
図２６は、本ファイル内容送信部０３０７とファイル内容受信部０３１０を備えた２台の端末装置間で、一方をファイル内容送信部０３０７による画像データの送信側、他方をファイル内容受信部０３１０による画像データの受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２３４】
図２６に示す通り、送信側は、まずユーザから入力されたファイル名を取得（２６０１）し、そのファイル名のファイルを自端末装置内から検索（２６０２）する。
【０２３５】
次に送信側は、この検索結果に基づいて、自端末装置内にファイルが存在するか否かを判断（２６０３）し、ファイルが存在しなかった場合には、ファイルがないことを表示装置０２０６に表示（２６２３）する。一方、ファイルが存在した場合には、送信側はそのファイルの画像を展開（２６０４）して、展開できたか否かを判断（２６０５）する。続いて送信側はこの判断２６０５に基づいて、ファイルの画像が展開できなかった場合には、ファイルが展開できなかったことを表示装置０２０６に表示（２６２４）する。一方、ファイルの画像が展開できた場合には、送信側は、受信側すなわちコミュニケーション相手の端末装置に、ファイル名を送信（２３０６）する。
【０２３６】
受信側は、ファイル名を受信（２３０６）すると、受信準備完了通知を送信側に送信（２６０７）し、送信側は受信準備完了通知を受信（２６０７）するとユーザに入力されたファイル名のファイルサイズすなわち画像データのサイズを受信側に送信（２６０８）する。
【０２３７】
続いて、受信側はデータ送信許可を送信側に送信（２６０９）し、送信側はこのデータ送信許可を受信すると、ユーザに入力されたファイル名のファイル内容すなわち画像データを受信側に送信（２６１０）する。受信側は画像データを受信（２６１０）した後、すべての画像データを受信したか否かを判断（２６１２）し、すべての画像データが受信されていないと判断した場合には、すべての画像データを受信するまで、データ送信許可の送信側への送信（２６０９）と画像データの受信（２６１０）を繰り返す。一方、送信側も画像データを送信（２６１０）した後、すべての画像データを送信したか否かを判断（２６１１）し、すべての画像データが送信されていないと判断した場合には、すべての画像データを送信するまで、受信側からのデータ送信許可の受信（２６０９）にあわせて画像データの送信（２６１０）を繰り返す。
【０２３８】
続いて、受信側は、判断２６１２で、すべての画像データを受信したと判断した場合には、さらに受信した画像データを展開（２６１３）し、展開できたか否かを示す画像展開可否情報を送信側に送信（２６１４）するとともに、この展開２６１３の結果に基づいて画像データが展開できたか否かを判断（２６１６）する。同時に送信側は、判断２６１１で、すべての画像データを送信したと判断した場合には、受信側から画像展開可否情報を受信（２６１４）し、この画像展開可否情報に基づいて、受信側で画像データが展開できたか否かを判断（２６１５）する。
【０２３９】
そして、受信側は、判断２６１６の結果、画像データが展開できなかったと判断した場合には、画像データが展開できなかったことを表示装置０２０６に表示（２６２２）する。同様に、送信側も、判断２６１５の結果、受信側で画像データが展開できなかった判断した場合には、コミュニケーション相手の端末装置において画像データが展開できなかったことを表示装置０２０６に表示（２６１７）する。
【０２４０】
一方、受信側における判断２６１６の結果、画像データが展開できたと判断した場合には、受信側は、受信した画像データを２６０６で受信したファイル名で記憶装置０２０２あるいは二次記憶装置０２０９に保存（２６２０）した後、画像・手書きデータ管理部０３１６を介して、２６１３において展開した画像を表示装置０２０６の手書き入力・表示エリア０４０４に表示（２６２１）する。同様に、送信側も、判断２６１５の結果、受信側で画像データが展開できたと判断した場合には、画像・手書きデータ管理部０３１６を介して、２６０４において展開した画像を表示装置０２０６の手書き入力・表示エリア０４０４に表示（２３１８）する。
【０２４１】
なお、本ファイル内容受信部０３１０では、受信した画像データを記憶装置０２０２あるいは二次記憶装置０２０９に保存することについて述べているが、必ずしも保存する必要はなく、この場合にはファイル内容受信部０３１０における受信データの記憶装置０２０２あるいは二次記憶装置０２０９への保存処理を行わないようにすればよい。
【０２４２】
また、本実施例では、本ファイル内容送信部０３０７およびファイル内容受信部０３１０において、ファイル名を持つファイルの内容を送受信することについて述べたが、必ずしもファイルである必要はなく、記憶装置０２０２の内容であってもよい。この場合には、送信側における記憶装置０２０２に格納されたデータを対象とすればよく、また、ファイル内容送信部０３０７でのファイル名取得やファイルの検索や、ファイル内容送信部０３０７とファイル内容受信部０３１０でのファイル名やファイルサイズの送受信を行わなければよい。
【０２４３】
なお、本画像データ送信制御部０３０５、ファイル名送信部０３０６、ファイル内容送信部０３０７、画像データ受信制御部０３０８、ファイル名受信部０３０９、ファイル内容受信部０３１０により、基本となる画像データについて、そのファイル名やデータ内容を切り替えて送受信することが可能となり、画像の整合性を保つとともに画像送信に必要となる帯域および処理量を減らすことが可能となる。
【０２４４】
次に、上述した画像データ送信制御部０３０５と、ファイル名送信部０３０６と、ファイル内容送信部０３０７と、画像データ受信制御部０３０８と、ファイル名受信部０３０９と、ファイル内容受信部０３１０との間で送受信されるデータのデータ構造とその内容について図２７を用いて説明する。
【０２４５】
図２７は、コミュニケーション相手の端末装置との間で画像に関するデータを送受信する際のデータ構造例を示す図である。
【０２４６】
図２７において、（ａ）はファイル送信モードを送受信する際のデータ構造、（ｂ）はファイル名を送受信する際のデータ構造、（ｃ）はファイル存在情報を送受信する際のデータ構造、（ｄ）はファイル展開可否情報あるいは画像展開可否情報のデータ構造、（ｅ）は受信準備完了通知を送受信する際のデータ構造、（ｆ）はファイルサイズを送受信する際のデータ構造、（ｇ）はデータ送信許可を送受信する際のデータ構造、（ｈ）はファイル内容を送受信する際のデータ構造、の一例をそれぞれ示している。
【０２４７】
図２７に示すとおり、コミュニケーション相手の端末装置との間で画像に関するデータを送受信する際のデータでは、すべて最初に「画像送受信を示す識別子」２７０１が含まれている。画像送受信を示す識別子２７０１は、後述する手書きデータに関する情報の送受信で使われる「手書きモードを示す識別子」や「手書きデータ送受信を示す識別子」、および消去に関する情報の送受信で使われる「消去用データ送受信を示す識別子」と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「画像送受信を示す識別子」２７０１を２バイトの値０ｘ０００１のようなあらかじめ決められた値とすればよい。
【０２４８】
ファイル送信モードを送受信する際のデータは、図２７（ａ）に示すとおり、「画像送受信を示す識別子」２７０１と、「モードを示す識別子」２７０２と、「モードを示す値」２７０３から構成される。「モードを示す識別子」２７０２は、後述する「ファイル名を示す識別子」２７１２、「ファイル存在情報を示す識別子」２７２２、「展開可否情報を示す識別子」２７３２、「受信準備完了を示す識別子」２７４２、「ファイルサイズを示す識別子」２７５２、「データ送信許可を示す識別子」２７６２、および「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「モードを示す識別子」２７０２を２バイトの値「０ｘ０００１」のようなあらかじめ決められた値とすればよい。
【０２４９】
「モードを示す値」２７０３は、先に述べたファイル名送信モードかファイル内容送信モードかを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えばファイル名送信モードの場合には２バイトの値「０ｘ０００１」、ファイル内容送信モードの場合には２バイトの値「０ｘ０００２」とすればよい。本データ構造により、本データの受信側端末装置では受信したデータから上述した「モードを示す識別子」２７０２を判別することにより、次に「モードを示す値」２７０３が含まれていることを知ることができ、「モードを示す値」２７０３を判別することにより、これから開始される画像送信モードがファイル名送信モードであるかファイル内容送信モードであるかを判別することができる。
【０２５０】
ファイル名を送受信する際のデータは、図２７（ｂ）に示すとおり、「画像送受信を示す識別子」２７０１と、「ファイル名を示す識別子」２７１２と、「ファイル名」２７１３から構成される。「ファイル名を示す識別子」２７１２は、先に述べた「モードを示す識別子」２７０２、および後述する「ファイル存在情報を示す識別子」２７２２、「展開可否情報を示す識別子」２７３２、「受信準備完了を示す識別子」２７４２、「ファイルサイズを示す識別子」２７５２、「データ送信許可を示す識別子」２７６２、および「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「ファイル名を示す識別子」２７１２を２バイトの値「０ｘ０００２」のようなあらかじめ決められた値とすればよい。「ファイル名」２７１３は、ファイル名に対応するＮＵＬＬで終わる文字列とすればよい。本データ構造により、本データの受信側端末装置では受信したデータから上述した「ファイル名を示す識別子」２７１２を判別することにより、次にＮＵＬＬで終わるファイル名の文字列が含まれていることを知ることができ、ファイル名を取得することができる。
【０２５１】
ファイル存在情報を送受信する際のデータは、図２７（ｃ）に示すとおり、「画像送受信を示す識別子」２７０１と、「ファイル存在情報を示す識別子」２７２２と、「ファイル有無を示す値」２７２３から構成される。「ファイル存在情報を示す識別子」２７２２は、上述した「モードを示す識別子」２７０２や「ファイル名を示す識別子」２７１２、および、後述する「展開可否情報を示す識別子」２７３２、「受信準備完了を示す識別子」２７４２、「ファイルサイズを示す識別子」２７５２、「データ送信許可を示す識別子」２７６２、および「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「ファイル存在情報を示す識別子」２７２２を２バイトの値「０ｘ０００３」のようなあらかじめ決められた値とすればよい。「ファイル有無を示す値」２７２３は、先に述べたファイルが存在したか否かを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えばファイルが存在したことを示す値を２バイトの値「０ｘ０００１」とし、ファイルが存在しなかったことを示す値を２バイトの値「０ｘ０００２」とすればよい。本データ構造により、本データの受信側端末装置では受信したデータから上述した「ファイル存在情報を示す識別子」２７２２を判別することにより、次に「ファイル有無を示す値」２７２３が含まれていることを知ることができ、「ファイル有無を示す値」２７２３を判別することにより、ファイルが存在したか否かを判別することができる。
【０２５２】
ファイル展開可否情報あるいは画像展開可否情報を送受信する際のデータは、図２７（ｄ）に示すとおり、「画像送受信を示す識別子」２７０１と、「展開可否情報を示す識別子」２７３２と、「展開可否を示す値」２７３３から構成される。「展開可否情報を示す識別子」２７３２は、上述した「モードを示す識別子」２７０２や「ファイル名を示す識別子」２７１２および「ファイル存在情報を示す識別子」２７２２、および後述する「受信準備完了を示す識別子」２７４２、「ファイルサイズを示す識別子」２７５２、「データ送信許可を示す識別子」２７６２、および「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「展開可否情報を示す識別子」２７３２を２バイトの値「０ｘ０００４」のようなあらかじめ決められた値とすればよい。「展開可否を示す値」２７３３は、画像が展開できたか否かを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えば展開できたことを示す値を２バイトの値「０ｘ０００１」とし、展開できなかったことを示す値を２バイトの値「０ｘ０００２」とすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「展開可否情報を示す識別子」２７３２を判別することにより、次に「展開可否を示す値」２７３３が含まれていることを知ることができ、「展開可否を示す値」２７３３の判別により、画像が展開できたか否かを判別することができる。
【０２５３】
受信準備完了通知を送受信する際のデータは、図２７（ｅ）に示すとおり、「画像送受信を示す識別子」２７０１と、「受信準備完了を示す識別子」２７４２から構成される。「受信準備完了を示す識別子」２７４２は、上述した「モードを示す識別子」２７０２や「ファイル名を示す識別子」２７１２、「ファイル存在情報を示す識別子」２７２２、および「展開可否情報を示す識別子」２７３２、および後述する「ファイルサイズを示す識別子」２７５２、「データ送信許可を示す識別子」２７６２、および「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「受信準備完了を示す識別子」２７４２を２バイトの値「０ｘ０００５」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「受信準備完了を示す識別子」２７４２を判別することにより、コミュニケーション相手の端末装置がデータの受信準備完了であることを判別することができる。
【０２５４】
ファイルサイズを送受信する際のデータは、図２７（ｆ）に示すとおり、「画像送受信を示す識別子」２７０１と、「ファイルサイズを示す識別子」２７５２と、「ファイルサイズ」２７５３から構成される。「ファイルサイズを示す識別子」２７５２は、先に述べた「モードを示す識別子」２７０２や「ファイル名を示す識別子」２７１２、「ファイル存在情報を示す識別子」２７２２や「展開可否情報を示す識別子」２７３２、および「受信準備完了を示す識別子」２７４２、および後述する「データ送信許可を示す識別子」２７６２や「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「ファイルサイズを示す識別子」２７５２を２バイトの値「０ｘ０００６」のようなあらかじめ決められた値とすればよい。「ファイルサイズ」２７５３は、あらかじめ決められたサイズ、例えば２バイトの領域を持ち、ファイルサイズのバイト数が格納されるものとすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「ファイルサイズを示す識別子」２７５２を判別することにより、次に「ファイルサイズ」が含まれていることを知ることができ、ファイルサイズを取得することが可能となる。
【０２５５】
データ送信許可を送受信する際のデータは、図２７（ｇ）に示すとおり、「画像送受信を示す識別子」２７０１と、「データ送信許可を示す識別子」２７６２から構成される。「データ送信許可を示す識別子」２７６２は、上述した「モードを示す識別子」２７０２、「ファイル名を示す識別子」２７１２、「ファイル存在情報を示す識別子」２７２２、「展開可否情報を示す識別子」２７３２、「受信準備完了を示す識別子」２７４２、「ファイルサイズを示す識別子」２７５２、および後述する「データ内容を示す識別子」２７７２と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「データ送信許可を示す識別子」２７６２を２バイトの値「０ｘ０００７」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「データ送信許可を示す識別子」２７６２を判別することにより、コミュニケーション相手の端末装置がデータの送信を許可していることを認識することができる。
【０２５６】
ファイル内容を送受信する際のデータは、図２７（ｈ）に示すとおり、「画像送受信を示す識別子」２７０１と、「データ内容を示す識別子」２７７２と、「データサイズ」２７７３と、データサイズ分の画像データ２７７４乃至２７７５から構成される。「データ内容を示す識別子」２７７２は、先に述べた「モードを示す識別子」２７０２、「ファイル名を示す識別子」２７１２、「ファイル存在情報を示す識別子」２７２２、「展開可否情報を示す識別子」２７３２、「受信準備完了を示す識別子」２７４２、「ファイルサイズを示す識別子」２７５２、「データ送信許可を示す識別子２７６２」と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「データ内容を示す識別子」２７７２を２バイトの値「０ｘ０００８」のようなあらかじめ決められた値とすればよい。「データサイズ」２７７３は、あらかじめ決められたサイズ、例えば２バイトの領域を持ち、このデータに含まれる画像データのバイト数が格納されるものとすればよい。また、１バイト目のデータ２７７４乃至Ｎバイト目のデータ２７７５はデータサイズ２７７３で示されたサイズ分の画像データである。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「データ内容を示す識別子」２７７２を判別することにより、次にこのデータに含まれる画像データのサイズが含まれていることを知ることができ、データサイズ分の画像データを取得することが可能となる。なお、本データサイズは、必ずしも先に受信した「ファイルサイズ」２７５３と同じである必要はなく、「ファイルサイズ」２７５３よりも小さい値とすることにより、全体の画像データに対して、分割して画像データを送受信することが可能となる。
【０２５７】
さて、次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される手書きデータ制御部０３１１の処理内容について図２８を用いて説明する。図２８は、手書きデータ制御部０３１１の処理内容を示すフローチャートの一例である。なお、手書きデータ制御部０３１１は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０２５８】
図２８に示すとおり、手書きデータ制御部０３１１は、まず、後述するステップ２８０２およびステップ２８０５において、デフォルトのモードが設定されるよう、現在の手書きモードとして無効なモードを設定する（ステップ２８０１）。
続いて、手書きデータ制御部０３１１は、新たなモードとして、デフォルトのモードを設定する（ステップ２８０２）。なお、デフォルトのモードは、ユーザがよく使用するモード、例えば高速モードとすればよい。
【０２５９】
続いて、手書きデータ制御部０３１１は、入力処理部０３０１によって、新たな手書きモードが設定されたか否か、およびコミュニケーション相手の端末装置から新たなモードを受信したか否かを判別し（ステップ２８０３）、新たな手書きモードが設定あるいは受信されたと判断した場合には、新たなモードを取得する（ステップ２８０４）。一方、ステップ２８０３において、新たな手書きモードが設定あるいは受信されていないと判断した場合には、上記ステップ２８０４をスキップして、新たな手書きモードを取得しない。なお、入力処理部０３０１によって新たなモードが設定されたか否かおよび新たなモードの判別は、例えば入力処理部０３０１から新たなモード設定を意味するイベントが送られてきたか否かおよびユーザによって選択されたモードに対応するモードを意味するイベントを判別することによって実現可能である。また、コミュニケーション相手の端末装置から新たなモードを受信したか否かを判別する方法については後述する。
【０２６０】
さて、手書きデータ制御部０３１１は、続いて新たなモードと現在のモードの間に変更があったか否かを判断する（ステップ２８０５）。
【０２６１】
上記ステップ２８０５において、新たなモードと現在のモードの間に変更がなかったと判断した場合には、ステップ２８１２へと進み、セッション制御部０３０２によって本手書きデータ制御部０３１１が終了させられたか否かを判断する（ステップ２８１２）。そしてステップ２８１２において、本手書きデータ制御部０３１１が終了させられていないと判断した場合には、ステップ２８０３に戻る。一方、ステップ２８１２において、本手書きデータ制御部０３１１が終了させられたと判断した場合には、本手書きデータ制御部０３１１の処理を終了する。なお、本手書きデータ制御部０３１１を終了する場合、高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３が動作中であった場合にはこれらを終了させる。
【０２６２】
また、上記ステップ２８０５において、新たなモードと現在のモードの間に変更があったと判断した場合には、さらに新たなモードが高速モードであるか否かを判断する（ステップ２８０６）。
【０２６３】
ステップ２８０６における判断の結果、新たなモードが高速モードであったと判断した場合には、さらに現在のモードが正確モードであるか否かを判断する（ステップ２８０７）。ステップ２８０７の判断の結果、現在のモードが正確モードであると判断した場合には、正確モード手書きデータ送受信部０３１３を終了した後（ステップ２８０８）、高速モード手書きデータ送受信部０３１２を起動する（ステップ２８０９）。一方、ステップ２８０７の判断の結果、現在のモードが正確モードではないと判断した場合には、正確モード手書きデータ送受信部０３１３を終了しないで、高速モード手書きデータ送受信部０３１２を起動する（ステップ２８０９）。
【０２６４】
また、ステップ２８０６における判断の結果、新たなモードが高速モードではなかった判断した場合には、さらに現在のモードが高速モードであるか否かを判断する（ステップ２８１３）。ステップ２８１３の判断の結果、現在のモードが高速モードであると判断した場合には、高速モード手書きデータ送受信部０３１２を終了した後（ステップ２８１４）、正確モード手書きデータ送受信部０３１３を起動する（ステップ２８１５）。一方、ステップ２８１３の判断の結果、現在のモードが高速モードではないと判断した場合には、高速モード手書きデータ送受信部０３１２を終了しないで、正確モード手書きデータ送受信部０３１３を起動する（ステップ２８１５）。
【０２６５】
続いて、手書きデータ制御部０３１１は、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって手書きセッションが開始されているコミュニケーション相手の端末装置に、新たなモードを送信した後（ステップ２８１０）、新たなモードを現在のモードに設定する（ステップ２８１１）。なお、本モードの変更がコミュニケーション相手の端末装置から新たなモードを受信したことによる変更であった場合には、ステップ２８１０におけるコミュニケーション相手の端末装置への新たなモードの送信を行わない。
【０２６６】
さて、手書きデータ制御部０３１３は、続いて、セッション制御部０３０２によって本手書きデータ制御部０３１１が終了させられたか否かを判断し（ステップ２８１２）、本手書きデータ制御部０３１１が終了させられていないと判断した場合には、ステップ２８０３に戻る。一方、ステップ２８１２において、本手書きデータ制御部０３１１が終了させられたと判断した場合には、本手書きデータ制御部０３１１の処理を終了する。なお、本手書きデータ制御部０３１１を終了する場合、高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３が動作中であった場合にはこれらを終了させる。
【０２６７】
次に、手書きデータ制御部０３１１によって起動され、同じく手書きデータ制御部０３１１によって終了されるまで中央処理装置０２０１によって実行される高速モード手書きデータ送受信部０３１２の処理内容について図２９を用いて説明する。図２９は、高速モード手書きデータ送受信部０３１２の処理内容を示すフローチャートの一例である。なお、本高速モード手書きデータ送受信部０３１２は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０２６８】
図２９に示すとおり、高速モード手書きデータ送受信部０３１２は、まず、手書きデータの受信状態に設定されているか否かを判断し（ステップ２９０１）、手書きデータの受信状態に設定されていると判断した場合には、以下で述べるステップ２９０２乃至ステップ２９１４をスキップする。
【０２６９】
一方、上記ステップ２９０１において、手書きデータの受信状態に設定されていないと判断した場合には、高速モード手書きデータ送受信部０３１２は、続いて、手書き入力装置０２０５によってユーザから手書きデータが入力されているか否かを判断し（ステップ２９０２）、手書きデータが入力されていないと判断した場合には、以下で述べるステップ２９０３乃至ステップ２９１４をスキップする。
【０２７０】
一方、上記ステップ２９０２における判断の結果、手書きデータが入力されていると判断した場合には、高速モード手書きデータ送受信部０３１２は、続いて、入力装置０２０５によってユーザから入力された手書きデータを取得し（ステップ２９０３）、コミュニケーション相手の端末装置への送信用の手書きデータを生成し、バッファリングする（ステップ２９０４）。なお、生成およびバッファリングする手書きデータのデータ構造については後述する。
【０２７１】
続いて、高速モード手書きデータ送受信部０３１２は、入力された手書きデータが線の始点であるか否かを判断し（ステップ２９０５）、入力された手書きデータが線の始点であると判断した場合には、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって手書きセッションが開始されているコミュニケーション相手の端末装置に対して手書き受信開始要求を送信する（ステップ２９０６）。一方、入力された手書きデータが線の始点ではないと判断した場合には、コミュニケーション相手の端末装置に手書き受信開始要求を送信しない。なお、手書き受信開始要求を送受信する際のデータ構造については後述する。
【０２７２】
続いて、高速モード手書きデータ送受信部０３１２は、入力された手書きデータが線の終点であるか否かを判断し（ステップ２９０７）、入力された手書きデータが線の終点であると判断した場合には、バッファリングされている送信用の手書きデータを、コミュニケーション相手の端末装置に送信した後（ステップ２９０８）、送信用の手書きデータのバッファをクリアし（ステップ２９０９）、コミュニケーション相手の端末装置に手書き受信終了要求を送信する（ステップ２９１０）。なお、手書き受信終了要求を送受信する際のデータ構造については後述する。
【０２７３】
一方、上記ステップ２９０７において、入力された手書きデータが線の終点ではないと判断した場合には、上記ステップ２９０８乃至ステップ２９１０をスキップし、バッファリングされている手書きデータの送信、バッファのクリア、および手書き受信終了要求の送信を行わない。
【０２７４】
続いて、高速モード手書きデータ送受信部０３１２は、あらかじめ決められた描画点数分、例えば１０点分の手書きデータをバッファリングしたか否かを判断し（ステップ２９１１）、あらかじめ決められた描画点数分の手書きデータをバッファリングしたと判断した場合には、バッファリングされている送信用の手書きデータを、コミュニケーション相手の端末装置に送信した後（ステップ２９１２）、送信用の手書きデータのバッファをクリアする（ステップ２９１３）。
【０２７５】
一方、上記ステップ２９１１において、あらかじめ決められた描画点数分の手書きデータをバッファリングしていないと判断した場合には、上記ステップ２９１２およびステップ２９１３をスキップし、バッファリングされている手書きデータの送信およびバッファのクリアを行わない。
【０２７６】
続いて、高速モード手書きデータ送受信部０３１２は、入力された手書きデータの表示を指示して画像・手書きデータ管理部０３１６を起動することにより、入力された手書きデータを表示装置０２０６の手書き入力・表示エリア０４０４に表示する（ステップ２９１４）。
【０２７７】
続いて、高速モード手書きデータ送受信部０３１２は、手書きデータの受信状態に設定されているか否かを判断し（ステップ２９１９）、手書きデータの受信状態に設定されていないと判断した場合には、以下で述べるステップ２９２０乃至ステップ２９２２をスキップする。
【０２７８】
一方、上記ステップ２９１９において、手書きデータの受信状態に設定されていると判断した場合には、高速モード手書きデータ送受信部０３１２は、続いて、コミュニケーション相手の端末装置から手書きデータを受信したか否かを判断し（ステップ２９２０）、手書きデータを受信したと判断した場合には、受信した手書きデータを展開し（ステップ２９２１）、展開した手書きデータの表示を指示して画像・手書きデータ管理部０３１６を起動することにより、コミュニケーション相手の端末装置から受信した手書きデータを表示する（ステップ２９２２）。なお、展開とは受信した手書きデータを始点あるいは終点等の属性および座標データに変換するとともに、線の種別を取得して、表示装置０２０６に表示できる状態に変換することをさす。
【０２７９】
一方、ステップ２９２０において、コミュニケーション相手の端末装置から手書きデータを受信していないと判断した場合には、ステップ２９２１およびステップ２９２２をスキップして、コミュニケーション相手の端末装置から受信した手書きデータの展開および表示を行わない。
【０２８０】
続いて、高速モード手書きデータ送受信部０３１２は、コミュニケーション相手の端末装置から手書き受信開始要求を受信したか否かを判断し（ステップ２９１５）、手書き受信開始要求を受信した場合には、手書き受信状態に設定する（ステップ２９１６）。一方、手書き受信開始要求を受信していない場合には、ステップ２９１６をスキップして、手書き受信状態に設定しない。
【０２８１】
続いて、高速モード手書きデータ送受信部０３１２は、コミュニケーション相手の端末装置から手書き受信終了要求を受信したか否かを判断し（ステップ２９１７）、手書き受信終了要求を受信した場合には、手書き受信状態を解除する（ステップ２９１８）。一方、手書き受信終了要求を受信していない場合には、ステップ２９１８をスキップして、手書き受信状態の解除を行わない。
【０２８２】
続いて、高速モード手書きデータ送受信部０３１２は、手書きデータ制御部０３１１によって本高速モード手書きデータ送受信部０３１２が終了されたか否かを判断し（ステップ２９２３）、本高速モード手書きデータ送受信部０３１２が終了されていないと判断した場合には、上記ステップ２９０１に戻り、手書きデータ制御部０３１１によって本高速モード手書きデータ送受信部０３１２が終了されるまで、上述したステップ２９０１乃至ステップ２９２３を繰り返す。一方、上記ステップ２９２３における判断の結果、手書きデータ制御部０３１１によって本高速モード手書きデータ送受信部０３１２が終了されたと判断した場合には、本高速モード手書きデータ送受信部０３１２の処理を終了する。
【０２８３】
次に、本高速モード手書きデータ送受信部０３１２を備えた手書きデータの送信側端末装置と受信側端末装置の連係動作について図３０を用いて説明する。
図３０は、本高速モード手書きデータ送受信部０３１２を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２８４】
図３０に示すとおり、送信側では、まず手書き受信状態であるか否かを判断（３００１）する。このとき、図３０に示すように手書き受信状態である場合には、手書きデータを送信できない、すなわち受信側となるので、送信側の処理は行っていないことがわかる。したがって以下では、送信側は手書き受信状態ではなく、受信側が手書き受信状態となっている場合について説明する。
【０２８５】
さて、送信側は、手書き入力装置０２０５によってユーザから入力された手書きデータを取得（３００２）し、取得した手書きデータから送信用の手書きデータを生成してバッファリング（３００３）する。そして取得した手書きデータが線の始点のデータであった場合（３００４）には、受信側に手書き受信開始要求（３００５）を送信する。
【０２８６】
受信側は、送信側から手書き受信開始要求（３００５）を受信すると、端末装置を手書き受信状態に設定（３００６）する。
【０２８７】
送信側は、さらに、あらかじめ決められた描画点数分、例えば１０点分の手書きデータをバッファリング（３００７）した場合には、バッファリングされている送信用の手書きデータを受信側に送信（３００８）した後、バッファをクリア（３００９）する。
【０２８８】
受信側は、送信側から送信された手書きデータを受信（３００８）すると、この手書きデータを表示装置０２０６に表示できるように、色や消去線／通常線等を示す線種、始点や終点あるいは通過点等を示す点種、および座標に展開（３０１０）し、画像・手書きデータ管理部０３１６を介して表示装置０２０６の手書き入力・表示エリア０４０４に表示（３０１１）する。
【０２８９】
送信側は、さらに、取得した手書きデータが線の終点のデータであった場合（３０１２）には、バッファリングされている送信用の手書きデータを受信側に送信（３０１３）し、バッファをクリア（３０１４）した後、受信側に手書き終了開始要求（３０１７）を送信する。
【０２９０】
受信側は、送信側から送信された手書きデータを受信（３０１３）すると、この手書きデータを表示装置０２０６に表示できるように、色や消去線／通常線等を示す線種、始点や終点あるいは通過点等を示す点種、および座標に展開（３０１５）し、画像・手書きデータ管理部０３１６を介して表示装置０２０６の手書き入力・表示エリア０４０４に表示（３０１６）する。また、受信側は、送信側から送信された手書き終了開始要求（３０１７）を受信すると、手書き受信状態を解除（３０１８）して、その時点から送信側になれるようにする。
【０２９１】
送信側は、さらに、取得した手書きデータすなわち手書き入力装置０２０５によってユーザから入力された手書きデータを画像・手書きデータ管理部０３１６を介して表示装置０２０６の手書き入力・表示エリア０４０４に表示（３０１９）する。
【０２９２】
以上、手書きデータ制御部０３１１の処理について述べたが、図２９および図３０からわかるとおり、本発明によれば、一方の端末装置で手書き入力動作を実施したことをトリガにして、その端末装置が送信側となるとともに、他の端末装置が受信側となるよう制御できる。これにより、別々の端末装置で手書きデータが互いに入力されることを避け、他の端末装置で手書きが行われているときにはそれに注目することができるので、コミュニケーションを円滑に行うことが可能となる。
【０２９３】
次に、手書きデータ制御部０３１１によって起動され、同じく手書きデータ制御部０３１１によって終了されるまで中央処理装置０２０１によって実行される正確モード手書きデータ送受信部０３１３の処理内容について図３１を用いて説明する。図３１は、正確モード手書きデータ送受信部０３１３の処理内容を示すフローチャートの一例である。なお、正確モード手書きデータ送受信部０３１３は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０２９４】
図３１に示すとおり、正確モード手書きデータ送受信部０３１３の処理は基本的には先に図２９で説明した高速モード手書きデータ送受信部０３１２と同じであるため、高速モード手書きデータ送受信部０３１２と同様の処理については図２９と同じ番号を付してある。
【０２９５】
正確モード手書きデータ送受信部０３１３の処理が先に説明した高速モード手書きデータ送受信部０３１２と異なる点は、ステップ２９０８およびステップ２９１２において、バッファリングされている送信用の手書きデータをコミュニケーション相手の端末装置に送信した後、コミュニケーション相手の端末装置から手書きデータの受信・表示終了通知を受信するまで待つ（ステップ３１０１およびステップ３１０２）点と、ステップ２９２２において、受信した手書きデータを画像・手書きデータ管理部０３１６を介して表示装置０２０６の手書き入力・表示エリア０４０４に表示した後、コミュニケーション相手の端末装置に対して、手書きデータの受信・表示終了通知を送信する（ステップ３１０３）点である。
【０２９６】
他の部分、すなわち図２９と同じ番号を付してある処理については、高速モード手書きデータ送受信部０３１２における処理と同じであるので、説明を省略する。
【０２９７】
次に、本正確モード手書きデータ送受信部０３１３を備えた手書きデータの送信側端末装置と受信側端末装置の連係動作について図３２を用いて説明する。
【０２９８】
図３２は、本正確モード手書きデータ送受信部０３１３を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２９９】
図３２に示すとおり、正確モード手書きデータ送受信部０３１３を備えた２台の端末装置間での動作は、先に図３０で説明した高速モード手書きデータ送受信部０３１２を備えた２台の端末装置間での動作と基本的には同じである。このため、高速モード手書きデータ送受信部０３１２を備えた２台の端末装置間での動作と同様の処理については図３０と同じ番号を付してある。
【０３００】
正確モード手書きデータ送受信部０３１３を備えた２台の端末装置間での動作が、先に説明した高速モード手書きデータ送受信部０３１２を備えた２台の端末装置間での動作と異なる点は、送信側が手書きデータを受信側に送信（３００８および３０１３）した後、受信側から手書きデータの受信・表示終了通知を受信するまで待つ（３２０１および３２０２）点と、受信側が受信した手書きデータを表示（３０１１および３０１６）した後、送信側に対して、手書きデータの受信・表示終了通知を送信する（３２０１および３２０２）点である。
【０３０１】
他の部分、すなわち図３０と同じ番号を付してある処理については、先に説明した高速モード手書きデータ送受信部０３１２を備えた２台の端末装置間での動作と同じであるので、説明を省略する。なお、受信・表示終了通知を送受信する際のデータ構造については後述する。
【０３０２】
図３１および図３２に示したとおり、本正確モード手書きデータ送受信部０３１３を備えた２台の端末装置間では、受信側の端末装置が、受信した手書きデータを表示するまで、送信側は次の手書きデータを送信しないので、受信側で例えば他の処理に時間を要した場合でも、バッファオーバフロー等による受信データの欠落等を起こすことが無くなり、送信側と受信側で必ず同じ手書きデータを表示可能となるので、コミュニケーションを円滑に行うことが可能となる。
【０３０３】
なお、本実施例においては、高速モード手書きデータ送受信部０３１２と正確モード手書きデータ送受信部０３１３をそれぞれ別の処理部としたが、これらを単一の手書きデータ送受信部としても良い。この場合には、先に述べた図２８において、ステップ２８０７、２８０８および２８０９の代わりに高速モードが選択されていることを示すフラグを設定し、ステップ２８１３、２８１４および２８１５の代わりに正確モードが選択されていることを示すフラグを設定するように構成すれば良い。また、新たに単一化した手書きデータ送受信部において、手書きデータの受信・表示終了通知を送受信する部分を先のフラグにより分岐させ、高速モードのときのみ手書きデータの受信・表示終了通知を送受信するように構成すればよい。
【０３０４】
以上説明した、高速モード手書きデータ送受信部０３１２、正確モード手書きデータ送受信部０３１３、および手書きデータ制御部０３１１により、手書きデータを決められたサンプリング数毎にチャンクに纏めて送受信することで、曲線を角張らせずに描画することが可能となる。また、端末装置間でチャンク毎に受信通知の有無を切り換えることでチャンクデータの高速な送受信および正確な送受信を保証し、端末装置の処理量を増やすことなく高品質手書きデータ通信を実現する。
【０３０５】
次に、上述した手書きデータ制御部０３１１、高速モード手書きデータ送受信部０３１２、および正確モード手書きデータ送受信部０３１３において送受信されるデータのデータ構造およびその内容について図３３を用いて説明する。
【０３０６】
図３３はコミュニケーション相手の端末装置との間で手書きデータに関するデータを送受信する際のデータ構造例を示す図である。
【０３０７】
図３３において、（ａ）は手書きモードを送受信する際のデータ構造、（ｂ）は手書きデータを送受信する際のデータ構造、（ｃ）は手書き受信開始要求を送受信する際のデータ構造、（ｄ）は手書き受信終了要求を送受信する際のデータ構造、（ｅ）は手書きデータの受信・表示終了通知を送受信する際のデータ構造、の一例をそれぞれ示している。
【０３０８】
図３３に示すとおり、コミュニケーション相手の端末装置との間で手書きデータに関するデータを送受信する際のデータでは、最初に「手書きモードを示す識別子」３３０１あるいは「手書きデータ送受信を示す識別子」３３０２が含まれている。
【０３０９】
「手書きモードを示す識別子」３３０１および「手書きデータ送受信を示す識別子」３３０２は、前述した「画像送受信を示す識別子」２７０１および後述する消去に関する情報の送受信で使われる「消去用データ送受信を示す識別子」と同じサイズであり、例えば２バイトの値とすることができる。また、「手書きモードを示す識別子」３３０１および「手書きデータ送受信を示す識別子」３３０２は、それぞれ異なる値とするとともに、それぞれ前述した「画像送受信を示す識別子」２７０１および後述する消去に関する情報の送受信で使われる「消去用データ送受信を示す識別子」とも異なった値とする必要がある。このため、例えば前述の通り、「画像送受信を示す識別子」２７０１を２バイトの値「０ｘ０００１」とした場合には、「手書きモードを示す識別子」３３０１を２バイトの値「０ｘ０００２」とし、「手書きデータ送受信を示す識別子」３３０２を２バイトの値「０ｘ０００３」のようなあらかじめ決められた値とすればよい。
【０３１０】
手書きモードを送受信する際のデータは、手書きデータ制御部０３１１で送受信され、図３３（ａ）に示すとおり、上述した「手書きモードを示す識別子」３３０１と、「モードを示す値」３３１１から構成される。「モードを示す値」３３１１は、先に述べた高速モードか正確モードかを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えば高速モードの場合には２バイトの値「０ｘ０００１」、正確モードの場合には２バイトの値「０ｘ０００２」とすればよい。本データ構造により、本データの受信側端末装置における手書きデータ制御部０３１１では、受信したデータから上述した「手書きモードを示す識別子」３３０１を判別することにより、次に「モードを示す値」３３１１が含まれていることを知ることができ、「モードを示す値」３３１１を判別することにより、これから開始される手書きモードが高速モードであるか正確モードであるかを判別することができる。
【０３１１】
手書きデータを送受信する際のデータは、高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３で送受信され、図３３（ｂ）に示すとおり、上述した「手書きデータ送受信を示す識別子」３３０２と、「手書きデータを示す識別子」３３２１と、「線の種別を示す値」３３２２と、データとして含まれる手書きデータの「点の数」３３２３と、１点目の「属性を示す識別子」３３２４と、１点目の「水平位置」３３２５と、１点目の「垂直位置」３３２６と、先の手書きデータの点の数３３２３分の「属性を示す識別子」３３２７、「水平位置」３３２８および「垂直位置」３３２９から構成される。「手書きデータを示す識別子」３３２１は、後述する「手書き受信開始要求を示す識別子」３３３１、「手書き受信終了要求を示す識別子」３３４１、および「手書きデータ受信・表示終了通知示す識別子」３３５１と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書きデータを示す識別子」３３２１を２バイトの値「０ｘ０００１」のようなあらかじめ決められた値とすればよい。
【０３１２】
「線の種別を示す値」３３２２は、このデータに含まれる手書きデータによって描画される線の属性を示す予め決められたデータサイズの値であり、例えば通常の線の場合には２バイトの値「０ｘ０００１」とし、消しゴムの線の場合には２バイトの値「０ｘ０００２」とすることができる。含まれる「点の数」３３２３は、例えば２バイトといった予め決められたデータサイズとし、このデータに含まれる手書きデータの点の数を示す数値であり、例えば１０個の点が含まれる場合には２バイトの値「０ｘ０００ａ」とすることができる。１点目の「属性を示す識別子」３３２４は、このデータに含まれる１点目の手書きデータの属性を示す識別子であり、予め決められたデータサイズとすることができ、例えば線の始点の場合には２バイトの値「０ｘ０００１」、終点の場合には２バイトの値「０ｘ０００２」、始点と終点間の点の場合には２バイトの値「０ｘ０００３」とすることができる。１点目の「水平位置」３３２５は、このデータに含まれる１点目の手書きデータの水平座標であり、手書きデータと重ね合わせて表示される画像の左上を原点とする水平座標の数値である。
【０３１３】
このデータについても、例えば２バイトといった予め決められたデータサイズとすることができる。１点目の「垂直位置」３３２６は、このデータに含まれる１点目の手書きデータの垂直座標であり、手書きデータと重ね合わせて表示される画像の左上を原点とする垂直座標の数値である。このデータについても、例えば２バイトといった予め決められたデータサイズとすることができる。本データには先に示した含まれる「点の数」３３２３分のデータが含まれており、上述の１点目と同様に、Ｎ点目の「属性を示す識別子」３３２７は、このデータに含まれるＮ点目の手書きデータの属性を示す識別子であり、Ｎ点目の「水平位置」３３２８は、このデータに含まれるＮ点目の手書きデータの水平座標の値であり、Ｎ点目の「垂直位置」３３２９は、このデータに含まれるＮ点目の手書きデータの垂直座標である。本データ構造により、本データの受信側端末装置における高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３では、受信したデータから上述した「手書きデータ示す識別子」３３２１を判別することにより、このデータに手書きデータが含まれることを識別することができるとともに、線の属性、点の数、および始点／終点／通過点といった点の種別を知ることができるので、画像・手書きデータ管理部０３１６を介して表示装置０２０６に受信した手書きデータを表示することが可能となる。
【０３１４】
手書き受信開始要求を送受信する際のデータは、高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３で送受信され、図３３（ｃ）に示すとおり、上述した「手書きデータ送受信を示す識別子」３３０２と、「手書き受信開始要求を示す識別子」３３３１から構成される。「手書き受信開始要求を示す識別子」３３３１は、前述した「手書きデータを示す識別子」３３２１と、後述する「手書き受信終了要求を示す識別子」３３４１、および「手書きデータ受信・表示終了通知示す識別子」３３５１と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書き受信開始要求を示す識別子」３３３１を２バイトの値「０ｘ０００２」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置における高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３では、受信したデータから上述した「手書きデータ送受信を示す識別子」３３０２を識別するとともに、「手書き受信開始要求を示す識別子」３３３１を識別することにより、コミュニケーション相手の端末装置が手書きデータを送信しようとしていることを認識することが可能となる。
【０３１５】
手書き受信終了要求を送受信する際のデータは、高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３で送受信され、図３３（ｄ）に示すとおり、上述した「手書きデータ送受信を示す識別子」３３０２と、「手書き受信終了要求を示す識別子」３３４１から構成される。「手書き受信終了要求を示す識別子」３３４１は、前述した「手書きデータを示す識別子」３３２１や「手書き受信終了要求を示す識別子」３３３１と、後述する「手書きデータ受信・表示終了通知示す識別子」３３５１と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書き受信終了要求を示す識別子」３３４１を２バイトの値「０ｘ０００３」のようなあらかじめ決められた値とすればよい。
【０３１６】
本データ構造により、本データの受信側端末装置における高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３では、受信したデータから上述した「手書きデータ送受信を示す識別子」３３０２を識別するとともに、「手書き受信終了要求を示す識別子」３３４１を識別することにより、コミュニケーション相手の端末装置が手書きデータの送信を終了しようとしていることを認識することが可能となる。
【０３１７】
手書きデータ受信・表示終了通知を送受信する際のデータは、正確モード手書きデータ送受信部０３１３で送受信され、図３３（ｅ）に示すとおり、上述した「手書きデータ送受信を示す識別子」３３０２と、「手書きデータ受信・表示終了通知示す識別子」３３５１から構成される。「手書きデータ受信・表示終了通知示す識別子」３３５１は、前述した「手書きデータを示す識別子」３３２１、「手書き受信終了要求を示す識別子」３３３１および「手書き受信終了要求を示す識別子」３３４１と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書きデータ受信・表示終了通知示す識別子」３３５１を２バイトの値「０ｘ０００４」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置における正確モード手書きデータ送受信部０３１３では、受信したデータから上述した「手書きデータ送受信を示す識別子」３３０２を識別するとともに、「手書きデータ受信・表示終了通知示す識別子」３３５１を識別することにより、コミュニケーション相手の端末装置において手書きデータの受信および表示が完了したことを認識することが可能となる。
【０３１８】
次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される消去送信部０３１４の処理内容について図３４を用いて説明する。図３４は、消去送信部０３１４の処理内容を示すフローチャートの一例である。なお、本消去送信部０３１４は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０３１９】
図３４に示すとおり、消去送信部０３１４が起動されると、まず、ユーザが表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータのみを消去するか、画像のみを消去するか、あるいは両方を消去するかを選択するための消去内容選択画面０７００を表示装置０２０６に表示し、ユーザからのどのオブジェクトを消去するか指定されるのを待つ（ステップ３４０１）。
【０３２０】
続いて、消去送信部０３１４は、ユーザから画像と手書きデータの両方の消去が指定されたか否かを判断する（ステップ３４０２）。
【０３２１】
上記ステップ３４０２における判断の結果、ユーザから画像と手書きデータの両方の消去が指定されたと判断した場合には、消去送信部０３１４は、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって消去用のセッションが開始されているコミュニケーション相手の端末装置に消去種別として画像・手書きデータ消去要求を送信する（ステップ３４０３）。なお、自端末装置と相手端末装置の間でこの消去種別を送受信する際のデータ構造については後述する。続いて、消去送信部０３１４は、コミュニケーション相手の端末装置から消去通知を受信した後（ステップ３４０４）、画像および手書きデータの消去指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている画像と手書きデータの両方を消去する（ステップ３４０５）。なお、自端末装置と相手端末装置の間でこの消去通知を送受信する際のデータ構造については後述する。
【０３２２】
一方、上記ステップ３４０２における判断の結果、ユーザから画像と手書きデータの両方の消去が指定されていないと判断した場合には、消去送信部０３１４は、さらに、ユーザから手書きデータのみの消去が指定されたか否かを判断する（ステップ３４０６）。
【０３２３】
上記ステップ３４０６における判断の結果、ユーザから手書きデータのみの消去が指定されたと判断した場合には、コミュニケーション相手の端末装置に消去種別として手書きデータ消去要求を送信する（ステップ３４０７）。続いて、消去送信部０３１４は、コミュニケーション相手の端末装置から消去通知を受信した後（ステップ３４０８）、手書きデータの消去指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータのみを消去する（ステップ３４０９）。
【０３２４】
一方、上記ステップ３４０６における判断の結果、ユーザから手書きデータのみの消去が指定されていないと判断した場合には、消去送信部０３１４は、さらに、ユーザから画像のみの消去が指定されたか否かを判断する（ステップ３４１０）。
【０３２５】
上記ステップ３４１０における判断の結果、ユーザから画像のみの消去が指定されたと判断した場合には、コミュニケーション相手の端末装置に消去種別として画像消去要求を送信する（ステップ３４１１）。続いて、消去送信部０３１４は、コミュニケーション相手の端末装置から消去通知を受信した後（ステップ３４１２）、画像の消去指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている画像のみを消去する（ステップ３４１３）。
【０３２６】
一方、上記ステップ３４１０における判断の結果、ユーザから画像のみの消去が指定されていないと判断した場合には、消去の実行がユーザによって中断されたと判断し、消去送信部０３１４は、コミュニケーション相手の端末装置に消去種別として無効なオブジェクトの消去要求を送信した後（ステップ３４１７）、コミュニケーション相手の端末装置から消去通知を受信する（ステップ３４１４）。
【０３２７】
続いて、消去送信部０３１４は、自端末装置のセッション制御部０３０２に対して消去用のセッションの終了を要求する（ステップ３４１５）。なお、本消去用のセッションの終了を要求は、例えばセッション制御部０３０２に対して、消去用のセッションの終了要求を示すイベントを発行することによって実現できる。
【０３２８】
続いて、消去送信部０３１４は、セッション制御部０３０２によって本消去送信部０３１４が終了されるまで待ち（ステップ３４１６）、セッション制御部０３０２によって消去送信部０３１４が終了されると、本消去送信部０３１４の処理を終了する。
【０３２９】
次に、セッション制御部０３０２によって起動され、同じくセッション制御部０３０２によって終了されるまで中央処理装置０２０１によって実行される消去受信部０３１５の処理内容について図３５を用いて説明する。図３５は、消去受信部０３１５の処理内容を示すフローチャートの一例である。なお、本消去受信部０３１５は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０３３０】
図３５に示すとおり、消去受信部０３１５が起動されると、まず、通信制御／入出力装置０２０８およびネットワーク０１０３を介して、すでにセッション制御部０３０２によって消去用のセッションが開始されているコミュニケーション相手の端末装置から画像・手書きデータ消去要求、手書きデータ消去要求、画像消去要求、あるいは無効なオブジェクトの消去要求といった消去種別を受信する（ステップ３５０１）。なお、この消去種別を送受信する際のデータ構造およびデータ内容については後述する。
【０３３１】
続いて、消去受信部０３１５は、ステップ３５０１で受信した消去種別が画像と手書きデータの両方であるか否かを判断する（ステップ３５０２）。
【０３３２】
上記ステップ３５０２における判断の結果、消去種別が画像と手書きデータの両方であると判断した場合には、消去受信部０３１５は、画像および手書きデータの消去指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている画像と手書きデータの両方を消去する（ステップ３５０３）。
【０３３３】
一方、上記ステップ３５０２における判断の結果、消去種別が画像と手書きデータの両方ではないと判断した場合には、消去受信部０３１５は、さらに、受信した消去種別が手書きデータのみであるか否かを判断する（ステップ３５０４）。
上記ステップ３５０４における判断の結果、消去種別が手書きデータのみであると判断した場合には、手書きデータの消去指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータのみを消去する（ステップ３５０５）。
【０３３４】
一方、上記ステップ３５０５における判断の結果、消去種別が手書きデータのみではないと判断した場合には、消去受信部０３１５は、さらに、受信した消去種別が画像のみであるか否かを判断する（ステップ３５０６）。
【０３３５】
上記ステップ３５０６における判断の結果、消去種別が画像のみであると判断した場合には、画像の消去指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている画像のみを消去する（ステップ３５０７）。
【０３３６】
一方、上記ステップ３４０６における判断の結果、消去種別が画像のみではないと判断した場合には、消去の実行が中断されたと判断し、消去受信部０３１５は、消去に関する処理を行わないでステップ３５０８へと進む。
【０３３７】
続いて、消去受信部０３１５は、コミュニケーション相手の端末装置に対して消去通知を送信した後（ステップ３５０８）、セッション制御部０３０２によって本消去受信部０３１５が終了されるまで待ち（ステップ３５０９）、セッション制御部０３０２によって消去受信部０３１５が終了されると、本消去受信部０３１５の処理を終了する。
次に、本消去送信部０３１４と消去受信部０３１５の連係動作について、図３６を用いて説明する。
【０３３８】
図３６は本消去送信部０３１４と消去受信部０３１５を備えた２台の端末装置間で、一方を消去送信部０３１４による消去種別の送信側、他方を消去受信部０３１５による消去種別の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０３３９】
図３６に示す通り、送信側は、まずユーザから消去対象となるオブジェクトを取得（３６０１）し、受信側にそのオブジェクトを消去種別として送信（３６０２）する。
【０３４０】
受信側は、この消去種別を送信側から受信（３６０２）すると、消去対象となるオブジェクトを指定して画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４における表示内容から消去対象となるオブジェクトを消去（３６０３）し、消去通知を送信側に送信（３６０４）する。
【０３４１】
送信側は、受信側から消去通知を受信（３６０４）すると、消去対象となるオブジェクトを指定して画像・手書きデータ管理部０３１６を起動し、表示装置０２０６の手書き入力・表示エリア０４０４における表示内容から消去対象となるオブジェクトを消去（３６０５）する。
【０３４２】
次に、上述した消去送信部０３１４と消去受信部０３１５において送受信されるデータのデータ構造とその内容について図３７を用いて説明する。
【０３４３】
図３７は、コミュニケーション相手の端末装置との間で消去に関するデータを送受信する際のデータ構造例を示す図である。
【０３４４】
図３７において、（ａ）は消去種別を送受信する際のデータ構造、（ｂ）は消去通知を送受信する際のデータ構造、の一例をそれぞれ示している。
【０３４５】
図３７に示すとおり、コミュニケーション相手の端末装置との間で消去に関するデータを送受信する際のデータでは、最初に「消去用データ送受信を示す識別子」３７０１が含まれている。
【０３４６】
「消去用データ送受信を示す識別子」３７０１は、前述した「画像送受信を示す識別子」２７０１、「手書きモードを示す識別子」３３０１および「手書きデータ送受信を示す識別子」３３０２と同じサイズであり、例えば２バイトの値とすることができる。また、「消去用データ送受信を示す識別子」３７０１は、前述した「画像送受信を示す識別子」２７０１、「手書きモードを示す識別子」３３０１および「手書きデータ送受信を示す識別子」３３０２と異なった値とする必要がある。このため、例えば前述の通り、「画像送受信を示す識別子」２７０１を２バイトの値「０ｘ０００１」とし、「手書きモードを示す識別子」３３０１を２バイトの値「０ｘ０００２」とし、「手書きデータ送受信を示す識別子」３３０２を２バイトの値「０ｘ０００３」とした場合には、「消去用データ送受信を示す識別子」３７０１を２バイトの値「０ｘ０００４」のようなあらかじめ決められた値とすればよい。
【０３４７】
消去種別を送受信する際のデータは、図３７（ａ）に示すとおり、上述した「消去用データ送受信を示す識別子」３７０１と、「消去種別を示す識別子」３７０２と、「消去内容を示す値」３７０３から構成される。「消去種別を示す識別子」３７０２は、後述する「消去通知を示す識別子」３７０４と同じサイズとし、この識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「消去種別を示す識別子」３７０２を２バイトの値「０ｘ０００１」のようなあらかじめ決められた値とすればよい。「消去内容を示す値」３７０３は、先に述べた画像と手書きデータの両方を消去するか、手書きデータのみを消去するか、あるいは画像のみを消去するかを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えば画像と手書きデータの両方の消去を示す場合には２バイトの値「０ｘ０００３」、手書きデータのみの消去を示す場合には２バイトの値「０ｘ０００１」、画像のみの消去を示す場合には２バイトの値「０ｘ０００２」とすればよい。また、無効なオブジェクトの消去を示す場合には２バイトの値「０ｘ０００４」とすればよい。本データ構造により、このデータの受信側端末装置では、受信したデータから上述した「消去種別を示す識別子」３７０２を判別することにより、次に「消去内容を示す値」３７０３が含まれていることを知ることができ、「消去内容を示す値」３７０３を判別することにより、これから消去すべきオブジェクトが画像と手書きデータの両方か、手書きデータのみか、あるいは画像のみかを判別することができる。
【０３４８】
消去通知を送受信する際のデータは、図３７（ｂ）に示すとおり、上述した「消去用データ送受信を示す識別子」３７０１と、「消去通知を示す識別子」３７０４から構成される。「消去通知を示す識別子」３７０４は、前述した「消去種別を示す識別子」３７０２と同じサイズとし、この識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「消去通知を示す識別子」３７０４を２バイトの値「０ｘ０００２」のようなあらかじめ決められた値とすればよい。本データ構造により、このデータの受信側端末装置では、受信したデータから上述した「消去用データ送受信を示す識別子」３７０１を識別するとともに、「消去通知を示す識別子」３７０４を識別することにより、指定したオブジェクトをコミュニケーション相手の端末装置が消去し終えたことを認識することが可能となる。
【０３４９】
次に、入力処理部０３０１によって起動され、中央処理装置０２０１によって実行される保存部０３１８の処理内容について図３８を用いて説明する。図３８は、保存部０３１８の処理内容を示すフローチャートの一例である。なお、本保存部０３１８は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０３５０】
図３８に示すとおり、保存部０３１８が起動されると、まず、ユーザが表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータのみを保存するか、画像のみを保存するか、あるいは両方をマージして保存するかを選択するための保存内容選択画面０８００を表示装置０２０６に表示し、ユーザからのどのオブジェクトを保存するか指定されるのを待つ（ステップ３８０１）。
【０３５１】
続いて、保存部０３１８は、ユーザから手書きデータのみの保存が指定されたか否かを判断し（ステップ３８０２）、ユーザから手書きデータのみの保存が指定されたと判断した場合には、保存部０３１８は、手書きデータの取得指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている手書きデータを取得する（ステップ３８０３）。
【０３５２】
一方、上記ステップ３８０２における判断の結果、ユーザから手書きデータのみの保存が指定されていないと判断した場合には、保存部０３１８は、さらに、ユーザから画像のみの保存が指定されたか否かを判断し（ステップ３８０４）、ユーザから画像のみの保存が指定されたと判断した場合には、保存部０３１８は、画像の取得指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている画像データを取得する（ステップ３８０５）。
【０３５３】
一方、上記ステップ３８０４における判断の結果、ユーザから手書きデータのみの保存が指定されていないと判断した場合には、保存部０３１８は、さらに、ユーザから画像と手書きデータの両方の保存が指定されたか否かを判断し（ステップ３８０６）、ユーザから画像と手書きデータの両方の保存が指定されたと判断した場合には、保存部０３１８は、画像と手書きデータの取得指示とともに、画像・手書きデータ管理部０３１６を起動して、表示装置０２０６の手書き入力・表示エリア０４０４に表示されている画像データと手書きデータを取得し（ステップ３８０７）、両方を合成する（ステップ３８０８）。
【０３５４】
一方、上記ステップ３８０６における判断の結果、ユーザから画像と手書きデータの両方の保存が指定されていないと判断した場合には、保存部０３１８は、保存がキャンセルされたと判断し、本保存部０３１８の処理を終了する。
【０３５５】
続いて、保存部０３１８は、設定入力装置０２０７を介してユーザから入力されたファイル名を取得して（ステップ３８０９）、記憶装置０２０２あるいは二次記憶装置０２０９に保存した後（ステップ３８１０）、本保存部０３１８の処理を終了する。
【０３５６】
次に、ファイル名送信部０３０６、ファイル内容送信部０３０７、ファイル名受信部０３０９、ファイル内容受信部０３１０、高速モード手書きデータ送受信部０３１２、正確モード手書きデータ送受信部０３１３、消去送信部０３１４、消去受信部０３１５、および保存部０３１８によって起動され、中央処理装置０２０１によって実行される画像・手書きデータ管理部０３１６の処理内容について図３９を用いて説明する。図３９は、画像・手書きデータ管理部０３１６の処理内容を示すフローチャートの一例である。
図３９に示すとおり、画像・手書きデータ管理部０３１６が起動されると、まず、画像の更新および手書きデータの更新が行われていない状態に設定する（ステップ３９０１およびステップ３９０２）。
【０３５７】
続いて、画像・手書きデータ管理部０３１６は、画像の表示指示とともに本画像・手書きデータ管理部０３１６が起動されたか否かを判断し（ステップ３９０３）、画像の表示指示とともに本画像・手書きデータ管理部０３１６が起動されたと判断した場合には、表示対象の画像を後述する画像面上に生成し（ステップ３９０４）、画像の更新がなされた状態に設定した後（ステップ３９０５）、手書きデータの消去指示を本画像・手書きデータ管理部０３１６自身に行い（ステップ３９０Ａ）、ステップ３９０９へと進む。
【０３５８】
一方、上記ステップ３９０３における判断の結果、画像の表示指示とともに本画像・手書きデータ管理部０３１６が起動されたわけではないと判断した場合には、さらに、画像の消去指示とともに本画像・手書きデータ管理部０３１６が起動されたか否かを判断し（ステップ３９０６）、画像の消去指示とともに本画像・手書きデータ管理部０３１６が起動されたと判断した場合には、消去対象の画像を後述する画像面上から消去し（ステップ３９０７）、画像の更新がなされた状態に設定した後（ステップ３９０８）、手書きデータの消去指示を本画像・手書きデータ管理部０３１６自身に行い（ステップ３９０Ｂ）、ステップ３９０９へと進む。
【０３５９】
一方、上記ステップ３９０６における判断の結果、画像の消去指示とともに本画像・手書きデータ管理部０３１６が起動されたわけではないと判断した場合には、直接ステップ３９０９へと進む。
【０３６０】
続いて、画像・手書きデータ管理部０３１６は、ステップ３９０９において、手書きデータの表示指示とともに本画像・手書きデータ管理部０３１６が起動されたか否かを判断し（ステップ３９０９）、手書きデータの表示指示とともに本画像・手書きデータ管理部０３１６が起動されたと判断した場合には、表示対象の手書きデータを後述する手書き面上に生成し（ステップ３９１０）、手書きデータの更新がなされた状態に設定した後（ステップ３９１１）、ステップ３９１５へと進む。
【０３６１】
一方、上記ステップ３９０９において、手書きデータの表示指示とともに本画像・手書きデータ管理部０３１６が起動されたわけではないと判断した場合には、さらに、手書きデータの消去指示とともに本画像・手書きデータ管理部０３１６が起動されたかあるいはステップ３９０Ａあるいは３９０Ｂにおいて手書きデータの消去指示を行ったか否かを判断し（ステップ３９１２）、手書きデータの消去指示とともに本画像・手書きデータ管理部０３１６が起動されたかあるいはステップ３９０Ａあるいは３９０Ｂにおいて手書きデータの消去指示を行ったと判断した場合には、消去対象の手書きデータを後述する手書き面上から消去し（ステップ３９１３）、手書きデータの更新がなされた状態に設定した後（ステップ３９１４）、ステップ３９１５へと進む。
【０３６２】
一方、上記ステップ３９１２における判断の結果、手書きデータの消去指示とともに本画像・手書きデータ管理部０３１６が起動されたわけではなく、かつステップ３９０Ａおよび３９０Ｂにおいて手書きデータの消去指示を行っていないと判断した場合には、直接ステップ３９１５へと進む。
【０３６３】
続いて、画像・手書きデータ管理部０３１６は、ステップ３９１５において、画像と手書きデータの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたか否かを判断し（ステップ３９１５）、画像と手書きデータの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたと判断した場合には、後述する画像面に生成されている画像データと、後述する手書き面に生成されている手書きデータを本画像・手書きデータ管理部０３１６の起動元の処理部に返して（ステップ３９１６）、本画像・手書きデータ管理部０３１６の処理を終了する。
【０３６４】
一方、上記ステップ３９１５において、画像と手書きデータの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたわけではないと判断した場合には、さらに、画像のみの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたか否かを判断し（ステップ３９１７）、画像のみの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたと判断した場合には、後述する画像面に生成されている画像データを本画像・手書きデータ管理部０３１６の起動元の処理部に返して（ステップ３９１８）、本画像・手書きデータ管理部０３１６の処理を終了する。
【０３６５】
一方、上記ステップ３９１７において、画像のみの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたわけではないと判断した場合には、さらに、手書きデータのみの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたか否かを判断し（ステップ３９１９）、手書きデータのみの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたと判断した場合には、後述する手書き面に生成されている手書きデータを本画像・手書きデータ管理部０３１６の起動元の処理部に返して（ステップ３９２０）、本画像・手書きデータ管理部０３１６の処理を終了する。
【０３６６】
一方、上記ステップ３９１９において、手書きデータのみの取得指示とともに、本画像・手書きデータ管理部０３１６が起動されたわけではないとを判断した場合には、画像および手書きデータの更新状態と、手書きデータが更新されている場合には更新された手書きデータの座標と、画像面に生成されている画像および手書き面に生成されている手書きデータの表示指示とともに、表示制御部０３１７を起動して（ステップ３９２１）、本画像・手書きデータ管理部０３１６の処理を終了する。
【０３６７】
次に、画像・手書きデータ管理部０３１６における画像および手書きデータの管理方法について図４０を用いて説明する。
【０３６８】
図４０は、互いにコミュニケーションを行っている２台の端末装置における画像・手書きデータ管理部０３１６よる画像および手書きデータの管理方法を説明する図である。
【０３６９】
図４０おいて、  ４００１は一方の端末装置Ａで行われている画像および手書きデータの管理、４０１１は他方の端末装置Ｂで行われている画像および手書きデータの管理、４００２は端末装置Ａにおける手書き面、４０１２は端末装置Ｂにおける手書き面、４００３は端末装置Ａの手書き面に生成されている手書きデータ、４０１３は端末装置Ｂの手書き面に生成されている手書きデータ、４００４は端末装置Ａの画像面、４０１４は端末装置Ｂの画像面、４００５は端末装置Ａの画像面に生成されている画像データ、４０１５は端末装置Ｂの画像面に生成されている画像データ、４０２１は手書きデータの送受信、４０２２は画像データの送受信、を意味している。
【０３７０】
また、４００６は端末装置Ａの合成面、４０１６は端末装置Ｂの合成面、４００７は端末装置Ａの合成面に生成されている表示対象のデータ、４０１７は端末装置Ｂの合成面に生成されている表示対象のデータ、  ４０３１は端末装置Ａにおける手書きデータと画像データの合成、４０３２は端末装置Ｂにおける手書きデータと画像データの合成、を意味しており、前述の保存部０３１８や後述する表示制御部０３１７で行われる管理および処理である。
【０３７１】
図４０に示すとおり、画像・手書きデータ管理部０３１６では、手書きデータ４００３あるいは４０１３と画像データ４００５あるいは４０１５をそれぞれ手書き面４００２あるいは４０１２と画像面４００４あるいは４０１４でそれぞれ別個に管理する。これにより、後述する表示制御部０３１７は、手書き面に生成されている手書きデータ４００３あるいは４０１３と画像面に生成されている画像４００５あるいは４０１５を合成し、合成面４００６あるいは４０１６に表示対象のデータ４００７あるいは４０１７を生成して、表示装置０２０６の手書き入力・表示エリア０４０４にこの合成面上の表示対象データ４００７あるいは４０１７を表示する。なお、本画像・手書きデータ管理部０３１６では、画像の送受信が行われた場合には、それをトリガとして手書き面をクリアし、手書きデータを消去する。また、画像の送受信が行われた場合には、画像面と手書き面の大きさを画像の大きさに合わせる。ただし、画像の大きさが表示装置０２０６の手書き入力・表示エリア０４０４よりも小さい場合には、画像面と手書き面の大きさを手書き入力・表示エリア０４０４の大きさに合わせる。
【０３７２】
図４０に示すとおり、本画像・手書きデータ管理部０３１６では、複数のプレーン（面）を持ち、プレーンの内の一つに該基本となる画像データを表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示するので、コミュニケーション中もコミュニケーション後も基本となる画像を失わないようにすることが可能となる。
【０３７３】
すなわち、本構成により、画像面をベースとして編集不可能とし、手書き面における手書きデータのみを編集可能とすることが可能となる。
【０３７４】
また、手書き面上の手書きデータの一部あるいは画像面上の画像の一部を消去することが可能となる。この場合には、図３３で説明した線の種別を示す値３３２２に手書き面における消しゴムを示す値、あるいは画像面における消しゴムを示す値を指定することによって実現できる。また、この場合には消しゴムおよび手書き面あるいは画像面を指定するための表示画面を設け、ユーザが消しゴムを指定できるようにするとともに、対象とする面を選択できるようにするとよい。
【０３７５】
また、本画像・手書きデータ管理部０３１６により、手書きデータのみの保存、画像のみの保存、および手書きデータと画像を合成して保存することが可能となる。また、手書きデータのみの消去、画像のみの消去、手書きデータと画像データの両方を消去することも可能となる。
【０３７６】
さらに、表示制御部０３１７が手書きデータや画像を表示装置０２０６の手書き入力・表示エリア０４０４に表示する際、手書き面に生成されている手書きデータと画像面に生成されている画像のどちらかを選択して、合成面に表示対象のデータを生成することにより、手書きデータのみを表示、あるいは画像のみを表示すること等も可能となる。
【０３７７】
さて、次に、画像・手書きデータ管理部０３１６によって起動され、中央処理装置０２０１によって実行される表示制御部０３１７の処理内容について図４１を用いて説明する。図４１は、表示制御部０３１７の処理内容を示すフローチャートの一例である。
【０３７８】
図４１に示すとおり、表示制御部０３１７が起動されると、まず、画像面に生成されている画像を取得して、合成面を生成する（ステップ４１０１）。なお、画像面に生成されている画像が無い場合には無地の画像を使用して、合成面を生成すればよい。
【０３７９】
続いて、表示制御部０３１７は、本表示制御部０３１７が起動されたときに一緒に通知される画像および手書きデータの更新状態をもとに、手書きデータが更新されたか否かを判断し（ステップ４１０２）、手書きデータが更新されていないと判断した場合には、合成面に生成されている画像を表示装置０２０６の手書き入力・表示エリア０４０４に表示して（ステップ４１０８）、本表示制御部０３１７の処理を終了する。
【０３８０】
一方、上記ステップ４１０２における判断の結果、手書きデータが更新されていると判断した場合には、手書き面に生成されている手書きデータを取得した後（ステップ４１０３）、合成面に手書きデータを合成して新らたな合成面を生成する（ステップ４１０４）。
【０３８１】
続いて、表示制御部０３１７は、手書きデータが更新されている場合に、本表示制御部０３１７の起動時に通知される更新された手書きデータの座標を取得し（ステップ４１０５）、この座標が表示領域、すなわち手書き入力・表示エリア０４０４内の座標か否かを判断する（ステップ４１０６）。
【０３８２】
続いて、表示制御部０３１７は、ステップ４１０６における判断の結果、更新された手書きデータの座標が表示領域、すなわち手書き入力・表示エリア０４０４内であると判断した場合には、ステップ４１０４で新たに生成された合成面上に生成されている画像および手書きデータを表示装置０２０６の手書き入力・表示エリア０４０４に表示して（ステップ４１０８）、本表示制御部０３１７の処理を終了する。
【０３８３】
一方、上記ステップ４１０６における判断の結果、更新された手書きデータの座標が表示領域、すなわち手書き入力・表示エリア０４０４外であると判断した場合には、ステップ４１０４で新たに生成された合成面上に生成されている画像および手書きデータにおいて、更新された手書きデータの座標が表示領域、すなわち手書き入力・表示エリア０４０４内に表示されるよう、合成面上に生成されている画像および手書きデータをスクロールして（ステップ４１０７）、表示装置０２０６の手書き入力・表示エリア０４０４に表示し（ステップ４１０８）、本表示制御部０３１７の処理を終了する。
【０３８４】
次に、本表示制御部０３１７による画像および手書きデータの表示例について図４２を用いて説明する。
【０３８５】
図４２は、本表示制御部０３１７を備えた２台の端末装置において、すでに一方の端末装置から画像データを送信済みで、双方の端末装置でこの画像データを表示している状態であり、この状態において、一方の端末装置から手書きデータが送信されている状態を示す図である。
【０３８６】
図４２において、４２０１および４２０１’は、それぞれ手書きデータ送信側の端末装置において表示対象となっている画像および手書きデータ受信側の端末装置において表示対象となっている画像であり、４２０２と４２０４、および、４２０２’と４２０４’は、それぞれ手書きデータ送信側の端末装置において手書き入力・表示エリア０４０４に表示されている画像および手書きデータ受信側の端末装置において手書き入力・表示エリア０４０４に表示されている画像を示している。また、図４２において、４２０３と４２０５、および、４２０３’と４２０５’は、それぞれ手書きデータ送信側の端末装置において入力／送信／表示された手書きデータ、および手書きデータ受信側の端末装置において受信／表示された手書きデータを示している。
【０３８７】
図４２に示すように、本表示制御部０３１７を備えた端末装置では、手書きデータ送信側の端末装置の手書き入力・表示エリア０４０４に画像４２０２が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア０４０４に画像４２０２’が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ４２０３が入力／送信／表示されている場合には、受信側でもこの手書きデータは手書き入力・表示エリア０４０４内なので、合成面上に生成されている画像および手書きデータをスクロールすることなしに受信側にも手書きデータ４２０３’が表示される。
【０３８８】
一方、手書きデータ送信側の端末装置の手書き入力・表示エリア０４０４に表示されている画像をスクロールし、画像４２０４が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア０４０４に画像４２０２’が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ４２０５が入力／送信／表示されると、受信側ではこの手書きデータは手書き入力・表示エリア０４０４外なので自動的に合成面上に生成されている画像および手書きデータをスクロールして手書き入力・表示エリア０４０４に画像４２０４’を表示し、受信側にも手書きデータ４２０５’が表示される。
【０３８９】
したがって、本表示制御部０３１７の処理と高速モード手書きデータ送受信部０３１２あるいは正確モード手書きデータ送受信部０３１３の処理により、別々の端末装置で手書きデータが互いに入力されることを避けるとともに、他の端末装置において描かれた手書きデータが必ず表示されるので、コミュニケーションを円滑に行うことが可能となる。すなわち、該基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を端末装置間で送受信し、該手書きデータの指す位置が表示手段に表示されないと判断した場合に、該基本となる画像データと手書きデータが表示手段に表示されるようにスクロールして表示するので、手書きデータ通信よるコミュニケーションにおいて注目すべき情報を確実に表示可能となる。
【０３９０】
この利点は、手書き入力・表示エリア０４０４の解像度が異なる端末装置間でコミュニケーションがなされた場合にはさらに顕著となるので、次に、手書き入力・表示エリア０４０４の解像度が異なる端末装置間でコミュニケーションがなされる場合の本表示制御部０３１７による画像および手書きデータの表示例について図４３を用いて説明する。
【０３９１】
図４３は、本表示制御部０３１７を備えた手書き入力・表示エリア０４０４の異なる２台の端末装置において、すでに一方の端末装置から画像データを送信済みで、双方の端末装置でこの画像データを表示している状態であり、この状態において、一方の端末装置から手書きデータが送信されている状態を示す図である。
【０３９２】
図４３において、４３０１および４３０１’は、それぞれ手書きデータ送信側の端末装置において表示対象となっている画像および手書きデータ受信側の端末装置において表示対象となっている画像であり、４３０２および、４３０２’と４３０４’と４３０５’は、それぞれ手書きデータ送信側の端末装置において手書き入力・表示エリア０４０４に表示されている画像、および手書きデータ受信側の端末装置において手書き入力・表示エリア０４０４に表示されている画像を示している。また、図４３において、４３０３と４３０６、および、４３０３’と４３０６’は、それぞれ手書きデータ送信側の端末装置において入力／送信／表示された手書きデータ、および手書きデータ受信側の端末装置において受信／表示された手書きデータを示している。
【０３９３】
図４３に示すように、本表示制御部０３１７を備えた端末装置では、手書きデータ送信側の端末装置の手書き入力・表示エリア０４０４に画像４３０２が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア０４０４に画像４３０２’が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ４３０３が入力／送信／表示された場合には、受信側ではこの手書きデータは手書き入力・表示エリア０４０４外なので自動的に合成面上に生成されている画像および手書きデータをスクロールして手書き入力・表示エリア０４０４に画像４３０４’を表示し、受信側にも手書きデータ４３０３’が表示される。
【０３９４】
一方、手書きデータ送信側の端末装置の手書き入力・表示エリア０４０４に画像４３０２が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア０４０４に画像４３０４’が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ４３０６が入力／送信／表示されると、受信側ではやはりこの手書きデータは手書き入力・表示エリア０４０４外なので自動的に合成面上に生成されている画像および手書きデータをスクロールして手書き入力・表示エリア０４０４に画像４３０５’を表示し、受信側にも手書きデータ４３０６’が表示される。
【０３９５】
なお、本表示制御部において合成面上に生成されている画像および手書きデータをスクロールする場合には、例えば、更新された手書きデータの座標がコミュニケーション相手の端末装置の表示装置０２０６における手書き入力・表示エリア０４０４に表示されている位置と同じ位置に表示されるようにスクロールしても良いし、手書き入力・表示エリア０４０４の中心となるようにスクロールしても良い。
【０３９６】
なお、更新された手書きデータの座標が手書き入力・表示エリア０４０４の中心となるようにスクロールする場合、図４４（ａ）に示すように画像のボーダーが手書き入力・表示エリア０４０４に表示されてしまう場合には、図４４（ｂ）に示すようにこのボーダーを手書き入力・表示エリア０４０４の辺に合わせるようにすると良い。これにより、必ずしも更新された手書きデータの座標が手書き入力・表示エリア０４０４の中心に表示されることはなくなるが、ユーザにとって見た目をよくすることが可能となる。なお、図４４において、４４０１は画像、４４０２は手書き入力・表示エリア、４４０３は手書きデータを示している。
【０３９７】
また、例えば、手書きデータ制御部０３１１の起動時に互いの端末装置における手書き入力・表示エリア０４０４のサイズを通知しあうとともに、各端末装置で表示位置のスクロールを行うたびに、現在の表示エリアをコミュニケーション相手の端末装置に通知することで、図４５に示すように互いの端末装置においてコミュニケーション相手の端末装置が現在表示している部分を枠付けするなどして、コミュニケーション相手の端末装置が現在画像のどこを表示しているかわかるようにしても良い。なお、図４５において、４５０１は画像、４５０２手書き入力・表示エリア、４５０３はコミュニケーション相手の端末装置で手書き入力・表示エリアに表示されている部分を示している。
【０３９８】
以上、本発明の実施の形態について説明したが、本発明によれば、図４６に示すように例えば携帯端末装置のような端末装置４６０１および４６０３間で、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能となる。また、同様に例えば携帯端末装置のような端末装置４６０１とパーソナルコンピュータ等の端末装置４６０２の間で、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能となる。
【０３９９】
【発明の効果】
本発明によれば、端末装置間で、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるコミュニケーションシステムの構成例を示す図である。
【図２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置のハードウェア構成例を示す図である。
【図３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置の中央処理装置で実行されるソフトウェア構成例を示す図である。
【図４】本発明の実施の形態にかかるコミュニケーションシステムを実行しようとしたときに、最初に端末装置の表示装置に表示される表示画面例である。
【図５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における手書きモード選択画面例を示す図である。
【図６】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像送信モード選択画面例を示す図である。
【図７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去内容選択画面例を示す図である。
【図８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における保存内容選択画面例を示す図である。
【図９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における入力処理部の処理内容を示すフローチャートの一例である。
【図１０】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるセッション制御部の処理内容を示すフローチャートの一例の前半部である。
【図１１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声セッション開始許可画面例を示す図である。
【図１２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における手書きセッション開始許可画面例を示す図である。
【図１３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像送信セッション開始許可画面例を示す図である。
【図１４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去許可画面例を示す図である。
【図１５】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を音声セッション開始／終了要求の発信側、他方を音声セッション開始／終了要求の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図１６】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声セッション終了許可画面例を示す図である。
【図１７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声送信部の処理内容を示すフローチャートの一例である。
【図１８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声受信部の処理内容を示すフローチャートの一例である。
【図１９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像データ送信制御部の処理内容を示すフローチャートの一例である。
【図２０】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像データ受信制御部の処理内容を示すフローチャートの一例である。
【図２１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル名送信部の処理内容を示すフローチャートの一例である。
【図２２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル名受信部の処理内容を示すフローチャートの一例である。
【図２３】本発明の実施の形態にかかるファイル名送信部とファイル名受信部を備えた２台の端末装置間で、一方をファイル名送信部によるファイル名の送信側、他方をファイル名受信部によるファイル名の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図２４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル内容送信部の処理内容を示すフローチャートの一例である。
【図２５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル内容受信部の処理内容を示すフローチャートの一例である。
【図２６】本発明の実施の形態にかかるファイル内容送信部とファイル内容受信部を備えた２台の端末装置間で、一方をファイル内容送信部による画像データの送信側、他方をファイル内容受信部による画像データの受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図２７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置がコミュニケーション相手の端末装置との間で画像に関するデータを送受信する際のデータ構造例を示す図である。
【図２８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における手書きデータ制御部の処理内容を示すフローチャートの一例である。
【図２９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における高速モード手書きデータ送受信部の処理内容を示すフローチャートの一例である。
【図３０】本発明の実施の形態にかかる高速モード手書きデータ送受信部を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図３１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における正確モード手書きデータ送受信部の処理内容を示すフローチャートの一例である。
【図３２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における正確モード手書きデータ送受信部を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図３３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置がコミュニケーション相手の端末装置との間で手書きデータに関するデータを送受信する際のデータ構造例を示す図である。
【図３４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去送信部の処理内容を示すフローチャートの一例である。
【図３５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去受信部の処理内容を示すフローチャートの一例である。
【図３６】本発明の実施の形態にかかる本消去送信部と消去受信部を備えた２台の端末装置間で、一方を消去送信部による消去種別の送信側、他方を消去受信部による消去種別の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図３７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置がコミュニケーション相手の端末装置との間で消去に関するデータを送受信する際のデータ構造例を示す図である。
【図３８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における保存部の処理内容を示すフローチャートの一例である。
【図３９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像・手書きデータ管理部の処理内容を示すフローチャートの一例である。
【図４０】本発明の実施の形態にかかる互いにコミュニケーションを行っている２台の端末装置が画像・手書きデータ管理部よって画像および手書きデータを管理する場合の管理方法を説明する図である。
【図４１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部の処理内容を示すフローチャートの一例である。
【図４２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部による画像および手書きデータの表示例を示す図である。
【図４３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部による画像および手書きデータの表示例を示す図であり、特に手書き入力・表示エリアの解像度が異なる端末装置間でコミュニケーションがなされる場合の例を示す図である。
【図４４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部による手書きデータの表示位置の一例を示す図である。
【図４５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置において、コミュニケーション相手の端末装置における表示エリアが表示される例を説明する図である。
【図４６】本発明の実施によるコミュニケーションシステムの特徴を示す図である。
【図４７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるセッション制御部の処理内容を示すフローチャートの一例の後半部である。
【図４８】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を手書きセッション開始／終了要求の発信側、他方を手書きセッション開始／終了要求の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図４９】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を画像送信セッション開始／終了要求の発信側、他方を画像送信セッション開始／終了要求の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図５０】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を消去要求／消去終了通知の発信側、他方を消去要求／消去終了通知の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【符号の説明】
０２０１…中央処理装置、０２０２…記憶装置、０２０３…音声入力装置、０２０４…音声出力装置、０２０５…手書き入力装置、０２０６…表示装置、０２０７…設定入力装置、０２０８…通信制御／入出力装置、０２０９…二次記憶装置、０３０１…入力処理部、０３０２…セッション制御部、０３０３…音声送信部、０３０４…音声受信部、０３０５…画像データ送信制御部、０３０６…ファイル名送信部、０３０７…ファイル内容送信部、０３０８…画像データ受信制御部、０３０９…ファイル名受信部、０３１０…ファイル内容受信部、０３１１…手書きデータ制御部、０３１２…高速モード手書きデータ送受信部、０３１３…正確モード手書きデータ送受信部、０３１４…消去送信部、０３１５…消去受信部、０３１６…画像・手書きデータ管理部、０３１７…表示制御部、０３１８…保存部、０４０１…画面、０４０２…宛先表示エリア、０４０３…宛先入力ボタン群、０４０４…手書き入力・表示エリア、０４０５…水平位置変更スクロールバー、０４０６…垂直位置変更スクロールバー、０４０７…通話開始ボタン、０４０８…通話終了ボタン、０４０９…手書き開始ボタン、０４１０…手書き終了ボタン、０４１１…手書き設定ボタン、０４１２…画像送信ボタン、０４１３…消去ボタン、０４１４…保存ボタン、０４１５…終了ボタン、０５００…手書きモード選択画面、０６００…画像送信モード選択画面、０７００…消去内容選択画面、０８００…保存内容選択画面、１１００…音声セッション許可画面、１２００…手書きセッション許可画面、１３００…画像送信セッション許可画面、１４００…消去許可画面
【図１】
2004221842.tif 000003
【図２】
2004221842.tif 000004
【図３】
2004221842.tif 000005
【図４】
2004221842.tif 000006
【図５】
2004221842.tif 000007
【図６】
2004221842.tif 000008
【図７】
2004221842.tif 000009
【図８】
2004221842.tif 000010
【図９】
2004221842.tif 000011
【図１０】
2004221842.tif 000012
【図１１】
2004221842.tif 000013
【図１２】
2004221842.tif 000014
【図１３】
2004221842.tif 000015
【図１４】
2004221842.tif 000016
【図１５】
2004221842.tif 000017
【図１６】
2004221842.tif 000018
【図１７】
2004221842.tif 000019
【図１８】
2004221842.tif 000020
【図１９】
2004221842.tif 000021
【図２０】
2004221842.tif 000022
【図２１】
2004221842.tif 000023
【図２２】
2004221842.tif 000024
【図２３】
2004221842.tif 000025
【図２４】
2004221842.tif 000026
【図２５】
2004221842.tif 000027
【図２６】
2004221842.tif 000028
【図２７】
2004221842.tif 000029
【図２８】
2004221842.tif 000030
【図２９】
2004221842.tif 000031
【図３０】
2004221842.tif 000032
【図３１】
2004221842.tif 000033
【図３２】
2004221842.tif 000034
【図３３】
2004221842.tif 000035
【図３４】
2004221842.tif 000036
【図３５】
2004221842.tif 000037
【図３６】
2004221842.tif 000038
【図３７】
2004221842.tif 000039
【図３８】
2004221842.tif 000040
【図３９】
2004221842.tif 000041
【図４０】
2004221842.tif 000042
【図４１】
2004221842.tif 000043
【図４２】
2004221842.tif 000044
【図４３】
2004221842.tif 000045
【図４４】
2004221842.tif 000046
【図４５】
2004221842.tif 000047
【図４６】
2004221842.tif 000048
【図４７】
2004221842.tif 000049
【図４８】
2004221842.tif 000050
【図４９】
2004221842.tif 000051
【図５０】
2004221842.tif 000052