(57)【要約】【課題】携帯端末装置のような表示画面の小さい端末装置において、他端末装置と画像および手書きデータを共有してリアルタイムにコミュニケーションを行う際、次の共有候補の画像を確認してから共有可能とする。【解決手段】端末装置は、他端末装置との間の次の共有候補となる共有候補画像を取得／管理し送受信するとともに、共有すべき手書きデータを共有画像と重ね合わせた画像を送受信する。また、ユーザからの指示、手書きデータの受信、新たな共有画像の受信をトリガとして、表示する画像を共有候補画像と表示対象画像の間で切り替える。【選択図】  図１５
2004348189.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する画像取得手段と、通信相手である他端末装置との間でデータを送受信するデータ送受信手段と、該画像取得手段あるいは該データ送受信手段で受送信する画像あるいはデータを表示する表示手段とを有するコミュニケーション端末装置であって、
前記他端末装置と共有する共有画像データを送信する画像送信制御手段と、
前記他端末装置と共有する画像の候補である共有候補画像データを取得する画像取得制御手段と、
前記表示手段に前記共有画像データが表示されている際に前記共有候補画像データを取得した場合、前記共有画像データの表示に切り換えて前記共有候補画像データを表示する表示制御手段とを有することを特徴とするコミュニケーション端末装置。
【請求項２】
請求項１記載のコミュニケーション端末装置であって、
前記他端末装置から送信される共有画像データを受信する画像受信制御手段とを、さらに有し、
前記表示制御手段は、該送信された画像を他端末装置との共有画像として表示することを特徴とするコミュニケーション端末装置。
【請求項３】
請求項１に記載のコミュニケーション端末装置において、
前記表示制御手段は、前記画像取得手段によって前記共有候補画像のデータが取得されると、該共有候補画像を前記表示手段に一定時間表示した後に、前記共有画像の表示に切り替えることを特徴とするコミュニケーション端末装置。
【請求項４】
請求項１に記載のコミュニケーション端末装置において、
該表示制御手段に対して前記共有画像の表示と前記共有候補画像の表示の切り替えを指示するための表示画像切り替え指示手段とを有し、
前記表示制御手段は、該表示画像切り替え指示手段からの指示に従って、前記共有画像の表示と前記共有候補画像の表示を切り替えることを特徴とするコミュニケーション端末装置。
【請求項５】
請求項１に記載のコミュニケーション端末装置において、
前記画像送信制御手段に対して前記共有画像のデータを他端末装置に送信指示する画像送信指示手段を有し、
前記画像送信制御手段は、該画像送信指示手段からの指示に基づき、前記共有候補画像のデータを新たな共有画像のデータとして設定し、該新たな共有画像のデータを前記他端末装置に送信することを特徴とするコミュニケーション端末装置。
【請求項６】
請求項２に記載のコミュニケーション端末装置において、
前記画像受信制御手段は、受信した画像のデータを新たな共有画像のデータとして設定することを特徴とするコミュニケーション端末装置。
【請求項７】
請求項１に記載のコミュニケーション端末装置において、
ユーザが手書きデータを入力するための手書き入力手段と、
該手書き入力手段により入力された手書きデータの送信を制御し、該送信した手書きデータを前記共有画像上に重ね合わせる手書きデータ送信制御手段と、
前記他端末装置から送信された手書きデータの受信を制御し、該受信した手書きデータを前記共有画像上に重ね合わせる手書きデータ受信制御手段とを具備し、
前記他端末装置との間で画像と手書きデータを共有することができることを特徴とするコミュニケーション端末装置。
【請求項８】
請求項７に記載のコミュニケーション端末装置において、
前記表示制御手段は、前記手書きデータ受信手段が手書きデータを受信したことに基づき、前記共有画像の表示に切り替えることを特徴とするコミュニケーション端末装置。
【請求項９】
請求項１に記載のコミュニケーション端末装置において、
前記画像取得制御部は、前記共有候補画像のデータから縮小画像を生成し、
前記表示制御手段は、前記共有画像上に該縮小画像を表示することを特徴とするコミュニケーション端末装置。
【請求項１０】
請求項９に記載のコミュニケーション端末装置において、
前記表示制御手段は、前記画像取得手段によって前記共有候補画像のデータが取得されると、前記共有候補画像の表示を一定時間行った後、前記共有画像上に前記縮小画像を表示することを特徴とするコミュニケーション端末装置。
【請求項１１】
請求項９に記載のコミュニケーション端末装置において、
前記共有画像の表示と前記共有候補画像の表示と前記共有画像上での前記縮小画像の表示を切り替え指示するための表示画像切り替え指示手段を有し、
前記表示制御手段は、前記表示画像切り替え指示手段からの指示に基づき、前記共有画像の表示と前記共有候補画像の表示と前記共有画像上での前記縮小画像の表示を切り替えることを特徴とするコミュニケーション端末装置。
【請求項１２】
請求項９に記載のコミュニケーション端末装置において、
前記画像送信制御手段に対して前記共有画像のデータを他端末装置に送信指示する画像送信指示手段を有し、
前記画像送信制御手段は、前記画像送信指示手段からの指示に基づき、前記共有候補画像のデータを新たな共有画像のデータとして設定し、該新たな共有画像のデータを前記他端末装置に送信することを特徴とするコミュニケーション端末装置。
【請求項１３】
請求項１２に記載のコミュニケーション端末装置において、
前記画像受信制御手段は、受信した画像のデータを新たな共有画像のデータとして設定することを特徴とするコミュニケーション端末装置。
【請求項１４】
請求項９に記載のコミュニケーション端末装置において、
ユーザが手書きデータを入力するための手書き入力手段と、
該手書き入力手段により入力された手書きデータの送信を制御し、該送信した手書きデータを前記共有画像上に重ね合わせる手書きデータ送信制御手段と、
前記他端末装置から送信された手書きデータの受信を制御し、該受信した手書きデータを前記共有画像上に重ね合わせる手書きデータ受信制御手段とを有し、
前記他端末装置との間で画像と手書きデータを共有することができることを特徴とするコミュニケーション端末装置。
【請求項１５】
請求項１４に記載のコミュニケーション端末装置において、
前記表示制御手段は、前記手書きデータ受信手段が手書きデータを受信したことに基づき、前記共有画像の表示と前記共有候補画像の表示と前記共有画像上での前記縮小画像の表示を切り替えることを特徴とするコミュニケーション端末装置。
【請求項１６】
請求項１４に記載のコミュニケーション端末装置において、
前記表示制御手段は、前記共有画像において前記手書きデータが表示される領域以外の領域に前記縮小画像が表示されるように前記共有画像上に前記縮小画像を表示することを特徴とするコミュニケーション端末装置。
【請求項１７】
請求項１に記載のコミュニケーション端末装置において、
画像データを記憶する記憶手段を有し、
前記画像送信制御手段は、前記共有候補画像のデータを新たな共有画像のデータとして設定する前に、当該新たな共有画像データの前に共有画像であった共有画像のデータを前記記憶手段に記憶することを特徴とするコミュニケーション端末装置。
【請求項１８】
請求項２に記載のコミュニケーション端末装置において、
画像データを記憶する記憶手段を有し、
前記画像受信制御手段は、前記受信した画像を新たな共有画像のデータとして設定する前に、当該新たな共有画像データの前に共有画像であった共有画像のデータを前記記憶手段に記憶することを特徴とするコミュニケーション端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯端末装置間において画像および手書きデータを共有し、コミュニケーションを行う端末装置に関する。
【０００２】
【従来の技術】
静止画等の画像データや手書きデータのやり取りが可能なコミュニケーションシステムとしては、特許文献１の「テレライティング装置」や、特許文献２の「音声画像通信装置」に示されるテレビ会議システムや多機能ファックスがある。
【０００３】
テレライティング装置では、電話線やイーサネット（登録商標）等のネットワークに固定された端末装置の画面にポインティングデバイスを用いて図形や文字を書き込み、個々の端末装置に書き込まれた画像を端末装置間で配信し、端末装置間で同じ画像を表示することが可能である。
【０００４】
また、多機能ファックスでは、スキャナで取り込んだ手書きのメッセージや液晶画面に走り書きしたメッセージを一端蓄積し、相手のファックスを呼び出して、蓄積していた画像を転送可能である。
【０００５】
また、特許文献３の「手書き通信端末機」では、教育におけるテキストや会議における資料のような共有画像データを交換し、会議中に端末装置間でこれらの画像データを表示することができる。
【０００６】
【特許文献１】
特開平０６−２８４２４１号公報
【特許文献２】
特開２００２−３３０２４４号公報
【特許文献３】
特開平０５−０６３８７４号公報
【０００７】
【発明が解決しようとする課題】
以上述べたように画像と手書きデータによるコミュニケーションについては、従来の技術でも実現可能であるが、例えば特許文献１では、端末装置の表示画面サイズへの考慮が欠けていた。また、特許文献２では、ファックスであるため手書きデータや画像データにリアルタイム性は無く、転送した画像中に手書きデータを付加したり、文字や図形を追記して詳述することはできなかった。
【０００８】
また、特許文献３では、共有する画像データが事前に取得されるが、取得時点が異なる為内容が異なることがあった。また、リアルタイムに交換されるものではないので、訂正や差し替えも不可能であった。
【０００９】
本発明では、例えば携帯端末装置のような表示画面の小さい端末装置において、他端末装置と画像を共有し、該端末装置との間で手書きデータを送受信して、前記共有画像上に該送受信した手書きデータをリアルタイムに表示可能な使い勝手のよいコミュニケーション端末装置を提供することが目的である。特に、他端末装置との間で共有画像を有し、コミュニケーションを行っている中で、カメラで撮影した画像等の次の共有候補の画像を表示する場合、現在共有している画像の上に該共有候補の画像を表示してしまうと、該現在共有している画像が見えなくなってしまうため、他端末装置との間で表示している画像に不一致が生じる。あるいは、前記現在共有している画像が消去されてしまい、共有候補の画像の表示および送信をやめた場合でも、元の共有画像に戻ることが出来なくなってしまうため、コミュニケーションに支障をきたしてしまう。
【００１０】
本発明では共有画像および手書きデータに影響を与えることなく次の共有候補の画像を表示することが課題である。
【００１１】
【課題を解決するための手段】
上述の課題を解決し、本発明の目的を達成するため、本発明のコミュニケーション端末装置は、画像データを取得する画像取得手段と、他端末装置との間でデータを送受信するデータ送受信手段と、画像を表示する表示手段と、ユーザが手書きデータを入力するための手書き入力手段と、前記画像取得手段により、他端末装置との間で共有する画像の候補である共有候補画像のデータの取得および管理を行う画像取得制御手段と、前記データ送受信手段により、他端末装置との間で共有する共有画像のデータを送信するとともに、共有画像を管理する画像送信制御手段と、前記データ送受信手段により、他端末装置から共有画像のデータを受信するとともに、共有画像を管理する画像受信制御手段と、前記画像送信制御手段に対し、前記共有画像のデータを他端末装置に送信指示する画像送信指示手段と、前記共有画像および前記共有候補画像の前記表示手段への表示を制御する表示制御手段と、該表示制御手段に対し、前記共有画像の表示と前記共有候補画像の表示の切り替えを指示するための表示画像切り替え指示手段と、前記手書き入力手段により入力された手書きデータの送信を制御し、該送信した手書きデータを前記共有画像上に重ね合わせる手書きデータ送信制御手段と、前記他端末装置から送信された手書きデータの受信を制御し、該受信した手書きデータを前記共有画像上に重ね合わせる手書きデータ受信制御手段と、を具備し、前記表示制御手段は、前記表示画像切り替え指示手段からの指示に従って、該共有画像の表示と前記共有候補画像の表示を切り替える。または、前記表示制御手段は、前記画像取得手段によって共有候補画像のデータが取得されると、該共有候補画像を前記表示手段に一定時間表示した後、前記共有画像の表示に切り替える。あるいは、前記表示制御手段は、前記手書きデータ受信手段で手書きデータを受信したことをトリガとして、共有画像の表示に切り替える。
【００１２】
また、前記画像送信制御手段は、前記画像送信指示手段からの指示をトリガとして、前記共有候補画像のデータを新たな共有画像のデータとして設定し、該新たな共有画像のデータを他端末装置に送信し、前記画像受信制御手段は、受信した画像のデータを新たな共有画像のデータとして設定する。
【００１３】
あるいは、前記画像取得制御部は、前記共有候補画像のデータから縮小画像を生成し、前記表示制御手段は、該共有画像上に前記縮小画像を表示する。このとき、前記表示制御手段は、前記画像取得手段によって前記共有候補画像のデータが取得されると、前記共有候補画像の表示を一定時間行った後、前記共有画像上に前記縮小画像を表示する。または、前記表示制御手段は、前記表示画像切り替え指示手段からの指示に従って、前記共有画像の表示と前記共有候補画像の表示と前記共有画像上での前記縮小画像の表示を切り替える。または、前記表示制御手段は、前記手書きデータ受信手段で手書きデータを受信したことをトリガとして、前記共有画像の表示と前記共有候補画像の表示と前記共有画像上での前記縮小画像の表示を切り替える。
【００１４】
【発明の実施の形態】
本発明は、例えば携帯端末装置のような表示画面の小さい端末装置において、他端末装置と共有画像を共有および手書きデータを送受信し、前記共有画像上に該送受信した手書きデータをリアルタイムに表示するための発明であり、特に、相手端末とのコミュニケーションに支障をきたすことなく、共有候補の画像を表示および選択可能とする発明である。
【００１５】
以下、本発明にかかる第１の実施形態について図面を参照して説明する。
図１は本発明の実施形態にかかる端末装置を適用したコミュニケーションシステム構成図の一例である。
【００１６】
図１に示すように、本実施形態にかかる端末装置を適用したコミュニケーションシステムは、少なくとも２つの端末装置０１０１と端末装置０１０２およびネットワーク０１０３から構成され、これらの端末装置は、ネットワーク０１０３を介して互いに通信可能なように構成されている。
【００１７】
ネットワーク０１０３はインターネット等に代表されるＩＰネットワークや電話回線網、ＩＳＤＮ、ＰＨＳネットワーク、携帯電話ネットワーク、あるいは無線ＬＡＮ等を使用したネットワークによって構成される。
【００１８】
端末装置１０１および端末装置１０２は、本システムのユーザが音声データ、画像、および手書きデータ等を送受信可能な端末装置であり、例えば携帯電話やＰＤＡ等の小型携帯端末装置あるいはパーソナルコンピュータシステム等とすることができる。
【００１９】
次に、端末装置の構成について図２を用いて説明する。図２は端末装置のハードウェア構成例を示すブロック図である。図２に示すように端末装置は、中央処理装置０２０１と、記憶装置０２０２および二次記憶装置０２０９と、音声入力装置０２０３と、音声出力装置０２０４と、手書き入力装置０２０５と、表示装置０２０６と、設定入力装置０２０７と、データ送受信装置０２０８と、画像取得装置０２１１から構成され、これらはバス０２１０を介して相互にデータのやり取りが可能なように構成されている。
【００２０】
設定入力装置０２０７は、操作ボタンやマウスあるいはペン入力装置等のポインティングデバイスによって実現され、端末装置における動作設定情報やコミュニケーション相手の端末装置の電話番号あるいはＩＰアドレス等といった宛先を入力する。
【００２１】
データ送受信装置０２０８は、例えば無線ＬＡＮにおける無線ＬＡＮカードやネットワークカード、あるいはＰＨＳや携帯電話のネットワークに接続するためのモジュール等によって構成される。本データ送受信装置０２０８を介して端末装置０１０１および端末装置０１０２はネットワーク０１０３に接続可能となり、ネットワーク０１０３を介して端末装置０１０１と端末装置０１０２はセッションを開始および終了し、データを送受信することができる。
【００２２】
音声入力装置０２０３は、マイク等によって構成され、外部の音声を端末装置内にデジタル化して入力する。
【００２３】
手書き入力装置０２０５は、マウスあるいはペン入力装置等のポインティングデバイスあるいは液晶タッチパネル等によって実現され、ユーザによって入力された手書きデータ（点の座標等）を取得する。
【００２４】
中央処理装置０２０１は、例えば汎用のプロセッサとすることができ、本端末装置の動作を規定するプログラムに基づき、本端末装置の動作を制御する。
【００２５】
音声出力装置０２０４は、スピーカ等によって構成され、端末装置内のデジタル音声データをアナログに変換して外部に出力する。
【００２６】
表示装置０２０６は、液晶パネル等により構成され、ユーザが設定入力装置０２０７で情報を入力するためのメニューやガイダンス、およびユーザから入力された情報を表示する。また、手書き入力装置０２０５で入力された点や線等の手書きデータや、データ送受信装置０２０８を介してコミュニケーション相手の端末装置との間で送受信した手書きデータを表示する。また、画像取得装置０２１１で取得した画像、およびデータ送受信装置０２０８を介してコミュニケーション相手の端末装置との間で送受信した画像を表示する。
【００２７】
記憶装置０２０２は、ＲＡＭやＲＯＭ、あるいはフラッシュメモリやハードディスク等によって構成され、中央処理装置０２０１で実行されるプログラム、音声入力装置０２０３によって入力された音声データ、手書き入力装置０２０５によって入力された手書きデータ、データ送受信装置０２０８によって送受信されるデータ、音声出力装置０２０４で出力するための音声データ、表示装置０２０６で表示される手書きデータや画像データ、画像取得装置０２１１で取得された画像データ等、中央処理装置０２０１で処理されるデータを格納する。
【００２８】
二次記憶装置０２０９は、ＲＡＭやＲＯＭ、あるいはフラッシュメモリやハードディスク等により構成され、例えばコミュニケーション相手の端末装置の電話番号やＩＰアドレスといった宛先データや、送信する手書きデータや画像データおよび受信した手書きデータや画像データ等、本端末装置の電源を落とした場合でも、失いたくないデータを格納する。
【００２９】
画像取得装置０２１１は、例えばカメラ等によって構成され、コミュニケーション相手の端末装置との間で共有する候補となる共有候補画像のデータを取得する。なお、本画像取得装置０２１１はカメラ等ではなく、例えばファイルシステム等によって構成され、二次記憶装置０２０９あるいは記憶装置０２０２に格納されている画像ファイルから画像データを取得するものとしてもよい。
【００３０】
次に、端末装置の中央処理装置０２０１により実行されるプログラムの構成について説明する。図３は端末装置の中央処理装置０２０１によって実行されるプログラム構成の一例を示す図である。
【００３１】
図３に示すように、中央処理装置０２０１により実行されるプログラムは、制御部０３０１と、音声送信部０３０２と、音声受信部０３０３と、画像送信制御部０３０４と、画像受信制御部０３０５と、手書きデータ送信制御部０３０６と、手書きデータ受信制御部０３０７と、画像取得制御部０３０８と、表示切替部０３０９と、表示制御部０３１０から構成される。
【００３２】
制御部０３０１は、設定入力装置０２０７を介してユーザから入力された情報に対応し、他の各部を起動および終了させる。また、データ送受信装置０２０８を介してコミュニケーション相手の端末装置と音声データ、画像データ、および手書きデータの送受信を行えるようセッションを制御する。
【００３３】
音声送信部０３０２は、音声入力装置０２０３を介して入力した音声データを符号化およびパケット化して、データ送受信装置０２０８を介してコミュニケーション相手の端末装置に送信する。
【００３４】
音声受信部０３０３は、データ送受信装置０２０８を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力装置０２０４を介して音声を出力する。
【００３５】
画像送信制御部０３０４は、データ送受信装置０２０８を介してコミュニケーション相手の端末装置へ画像データを送信する際の送信制御を行う。また、本画像送信制御部０３０４は、コミュニケーション相手の端末装置に画像データを送信した場合に、その画像を相手の端末装置と共有する新たな共有画像として設定する。
【００３６】
画像受信制御部０３０５は、データ送受信装置０２０８を介してコミュニケーション相手の端末装置から画像データを受信する際の受信制御を行う。また、本画像受信制御部０３０５は、コミュニケーション相手の端末装置から画像データを受信した場合に、その画像を相手の端末装置と共有する新たな共有画像として設定する。
【００３７】
手書きデータ送信制御部０３０６は、手書き入力装置０２０５によってユーザから入力された手書きデータをデータ送受信装置０２０８を介してコミュニケーション相手の端末装置へ送信する際の送信制御を行う。また、本手書きデータ送信制御部０３０６は、送信した手書きデータと共有画像のデータを重ね合わせた共有画像のデータを生成する。
【００３８】
手書きデータ受信制御部０３０７は、データ送受信装置０２０８を介してコミュニケーション相手の端末装置から手書きデータを受信する際の受信制御を行う。また、本手書きデータ受信制御部０３０７は、受信した手書きデータと共有画像のデータを重ね合わせた共有画像のデータを生成する。
【００３９】
画像取得制御部０３０８は、画像取得装置０２１１で取得したコミュニケーション相手の端末装置との間で共有候補となる共有候補画像のデータを取得する際の制御を行う。
【００４０】
表示切替部０３０９は、表示制御部０３１０に対して、後述する表示装置０２０６上の画像・手書きデータ表示エリア０４０４に表示する画像の変更を指示する。
表示制御部０３１０は、表示装置０２０６上の画像・手書きデータ表示エリア０４０４に表示される画像を制御する。
【００４１】
次に、本コミュニケーション端末装置のマンマシンインタフェースについて図４を用いて説明する。
【００４２】
図４は、本コミュニケーション端末装置を起動したときに、表示装置０２０６に表示される表示画面としてもよい。
【００４３】
図４に示すように、本コミュニケーション端末装置を起動したときに、端末装置の表示装置０２０６に表示される画面０４０１は、宛先表示エリア０４０２と、宛先入力ボタン群０４０３と、画像・手書きデータ表示エリア０４０４と、通話開始ボタン０４０７と、通話終了ボタン０４０８と、手書き開始ボタン０４０９と、手書き終了ボタン０４１０と、宛先クリアボタン０４１１と、画像取得ボタン０４１２と、表示切替ボタン０４１３と、画像送信ボタン０４１４と、終了ボタン０４１５から構成される。
【００４４】
宛先表示エリア０４０２は、ユーザが設定入力装置０２０７を介して宛先入力ボタン群０４０３を操作することにより入力したコミュニケーション相手の端末装置の宛先を表示する。コミュニケーション相手の端末装置の宛先は、例えばコミュニケーション相手の端末装置の電話番号やＩＰアドレス等とすればよい。
【００４５】
宛先入力ボタン群０４０３は、ユーザが設定入力装置０２０７を介して操作することが可能であり、これにより、ユーザはコミュニケーション相手の端末装置の宛先を入力することができる。なお、宛先入力ボタン群０４０３は、必ずしも数値のボタンである必要は無く、例えばコミュニケーション相手の名前等、コミュニケーション相手の端末装置の識別名称を入力できるボタンや文字認識パット等でもよい。
【００４６】
画像・手書きデータ表示エリア０４０４は、画像取得装置０２１１で取得した共有候補画像やコミュニケーション相手の端末装置との間の共有画像および手書きデータを表示するエリアである。
【００４７】
通話開始ボタン０４０７では、ユーザが設定入力装置０２０７を介して操作することにより、宛先表示エリア０４０２に表示されているコミュニケーション相手の端末装置との間で音声送受信を開始するよう端末装置に指定することができる。
【００４８】
通話終了ボタン０４０８では、ユーザが設定入力装置０２０７を介して操作することにより、コミュニケーション相手の端末装置との間で行っている音声送受信を終了するよう端末装置に指定することができる。
【００４９】
手書き開始ボタン０４０９では、ユーザが設定入力装置０２０７を介して操作することにより、宛先表示エリア０４０２に表示されているコミュニケーション相手の端末装置との間で手書きデータの送受信および表示を開始するよう端末装置に指定することができる。
【００５０】
手書き終了ボタン０４１０では、ユーザが設定入力装置０２０７を介して操作することにより、コミュニケーション相手の端末装置との間で行っている手書きデータの送受信および表示を終了するよう端末装置に指定することができる。
【００５１】
宛先クリアボタン０４１１では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が宛先表示エリア０４０２に表示されている宛先をクリアするよう指定することができる。
【００５２】
画像取得ボタン０４１２では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が画像取得装置０２１１からコミュニケーション相手の端末装置との間で共有する画像の候補となる共有候補画像を取得するよう指示することができる。
【００５３】
表示切替ボタン０４１３は、ユーザが設定入力装置０２０７を介して操作することにより、表示装置０２０６上の画像・手書きデータ表示エリア０４０４に表示する画像の切替を指示することができる。
【００５４】
画像送信ボタン０４１４では、ユーザが設定入力装置０２０７を介して操作することにより、画像取得装置０２１１で取得した共有候補画像のデータをコミュニケーション相手の端末装置に送信するよう指示することができる。
【００５５】
終了ボタン０４１５では、ユーザが設定入力装置０２０７を介して操作することにより、端末装置が画面０４０１の表示を終了し、本コミュニケーション端末装置の動作を終了するように指定することができる。
【００５６】
なお、上記ボタンは端末装置の表示装置０２０６に表示されるものとしたが、この限りではなく、例えば端末装置上のハードウェアボタンであっても良い。また、上記ボタンにより、ユーザが本端末装置の動作指示を行うものとしたが、この限りではなく、例えば上記のようなボタンを設けず、音声入力により上記各種ボタンが押された場合と同様の動作指示を行えるようにしても良い。この場合には、入力された音声を認識し、認識された音声に基づいて上記各種ボタンが押された場合と同様な動作を行うようにすれば良い。
【００５７】
次に、本コミュニケーション端末装置の動作起動時に起動され、ユーザから終了ボタン０４１５を介して本コミュニケーション端末装置の動作終了が指示されるまで、中央処理装置０２０１によって実行される制御部０３０１の処理内容について図５を用いて説明する。図５は、制御部０３０１の処理内容を示すフローチャートの一例である。なお、本制御部０３０１は、他のソフトウェア構成要素とは別タスクとして実現され、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【００５８】
図５に示すように、本制御部０３０１は、まず、ユーザから宛先入力ボタン群０４０３等によりコミュニケーション相手の端末装置の宛先が入力されたか否かを判断し（ステップ０５０１）、宛先が入力されたと判断した場合には、宛先表示エリア０４０２に入力された宛先を表示する（ステップ０５０２）。一方、ステップ０５０１において、宛先が入力されていないと判断した場合には、ステップ０５０２をスキップする。
【００５９】
続いて、制御部０３０１は、ユーザから通話開始ボタン０４０７等により通話開始が指示されたか否かを判断し（ステップ０５０３）、通話開始が指示されたと判断した場合には、コミュニケーション相手の端末装置との間で音声セッションを確立する（ステップ０５０４）。一方、ステップ０５０３における判断の結果、通話開始が指示されていないと判断した場合には、ステップ０５０４をスキップし、コミュニケーション相手の端末装置との間で音声セッションの確立を行わない。なお、音声セッションを確立する手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション確立の方式等を使用可能である。
【００６０】
続いて、制御部０３０１は、ユーザから通話終了ボタン０４０８等により通話終了が指示されたか否かを判断し（ステップ０５０５）、通話終了が指示されたと判断した場合には、コミュニケーション相手の端末装置との間の音声セッションを終了する（ステップ０５０６）。一方、ステップ０５０５における判断の結果、通話終了が指示されていないと判断した場合には、ステップ０５０６をスキップし、コミュニケーション相手の端末装置との間の音声セッションを終了しない。なお、音声セッションを終了する手順に関しては、例えばＲＦＣ２５４３で規定されている音声セッション終了の方式等を使用可能である。
【００６１】
続いて、制御部０３０１は、ユーザから手書き開始ボタン０４０９等により手書きデータの送受信および表示の開始が指示されたか否かを判断し（ステップ０５０７）、手書きデータの送受信および表示の開始が指示されたと判断した場合には、コミュニケーション相手の端末装置との間で手書きセッションを確立する（ステップ０５０８）。一方、ステップ０５０７における判断の結果、手書きデータの送受信および表示の開始が指示されていないと判断した場合には、ステップ０５０８をスキップし、コミュニケーション相手の端末装置との間で手書きセッションの確立を行わない。なお、手書きセッションの確立手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション開始の方式等を使用可能である。
【００６２】
続いて、制御部０３０１は、ユーザから手書き終了ボタン０４１０等により手書きデータの送受信および表示の終了が指示されたか否かを判断し（ステップ０５０９）、手書きデータの送受信および表示の終了が指示されたと判断した場合には、コミュニケーション相手の端末装置との間の手書きセッションを終了する（ステップ０５１０）。一方、ステップ０５０９における判断の結果、手書きデータの送受信および表示の終了が指示されていないと判断した場合には、ステップ０５１０をスキップし、コミュニケーション相手の端末装置との間の手書きセッションを終了しない。なお、手書きセッションを終了する手順に関しては、例えばＲＦＣ２５４３で規定されているデータセッション終了の方式等を使用可能である。
【００６３】
続いて、制御部０３０１は、ユーザから宛先クリアボタン０４１１等により宛先のクリアが指示されたか否かを判断し（ステップ０５１１）、宛先のクリアが指示されたと判断した場合には、宛先表示エリア０４０２に表示されている宛先をクリアする（ステップ０５１２）。一方、宛先のクリアが指示されていないと判断した場合には、ステップ０５１２をスキップし、宛先表示エリア０４０２に表示されている宛先をクリアしない。
【００６４】
続いて、制御部０３０１は、ユーザから画像取得ボタン０４１２等により画像の取得が指示されたか否かを判断し（ステップ０５１３）、画像の取得が指示されたと判断した場合には、画像取得制御部０３０８を起動して、画像取得装置０２１１から共有候補の画像データを取得する（ステップ０５１４）。なお、画像取得制御部０３０８の処理内容については後述する。一方、ステップ０５１３において、画像の取得が指示されていないと判断した場合には、ステップ０５１４をスキップし、画像取得制御部０３０８の起動を行わず、画像取得装置０２１１からの共有候補画像データの取得を行わない。
【００６５】
続いて、制御部０３０１は、ユーザから表示切替ボタン０４１３等により画像・手書きデータ表示エリア０４０４に表示される画像の切替が指示されたか否かを判断し（ステップ０５１５）、画像の切替が指示されたと判断した場合には、表示切替部０３０９を起動して、画像・手書きデータ表示エリア０４０４に表示される画像を切り替える（ステップ０５１６）。なお、表示切替部０３０９の処理内容については後述する。一方、ステップ０５１５において、画像の切替が指示されていないと判断した場合には、ステップ０５１６をスキップし、表示切替部０３０９の起動を行わない。
【００６６】
続いて、制御部０３０１は、ユーザから画像送信ボタン０４１４等により共有候補画像をコミュニケーション相手の端末装置に送信するよう指示されたか否かを判断し（ステップ０５１７）、送信が指示されたと判断した場合には、コミュニケーション相手の端末装置に対して、データ送受信装置０２０８を介して画像受信要求を発行し（ステップ０５１８）、画像送信制御部０３０４を起動して（ステップ０５１９）、画像取得装置０２１１で取得した共有候補の画像データをコミュニケーション相手の端末装置に送信する。なお、画像送信制御部０３０４の処理内容については後述する。
【００６７】
一方、ステップ０５１７において、画像の送信が指示されていないと判断した場合には、ステップ０５１８およびステップ０５１９をスキップし、画像受信要求の発行および画像送信制御部０３０４の起動を行わない。
【００６８】
続いて、制御部０３０１は、コミュニケーション相手の端末装置からデータ送受信装置０２０８を介して画像受信要求を受信したか判断し（ステップ０５２０）、画像受信要求を受信したと判断した場合には、画像受信制御部０３０５を起動して（ステップ０５２１）、コミュニケーション相手の端末装置から共有候補の画像データを受信する。なお、画像受信制御部０３０５の処理内容については後述する。一方、ステップ０５２０において、画像受信要求を受信していないと判断した場合には、ステップ０５２１をスキップし、画像受信制御部０３０５の起動を行わない。
【００６９】
続いて、制御部０３０１は、コミュニケーション相手の端末装置との間で音声セッションが開始されたか判断し（ステップ０５２２）、音声セッションが開始されたと判断した場合には、音声送信部０３０２および音声受信部０３０３を起動して（ステップ０５２３）、コミュニケーション相手の端末装置との間で音声データの送受信を開始する。なお、音声送信部０３０２および音声受信部０３０３の処理内容については後述する。一方、ステップ０５２２において、音声セッションが開始されなかったと判断した場合には、ステップ０５２３をスキップし、音声送信部０３０２および音声受信部０３０３の起動を行わない。
【００７０】
続いて、制御部０３０１は、コミュニケーション相手の端末装置との間で音声セッションが終了されたか判断し（ステップ０５２４）、音声セッションが終了されたと判断した場合には、音声送信部０３０２および音声受信部０３０３を終了して（ステップ０５２５）、コミュニケーション相手の端末装置との間で音声データの送受信を終了する。一方、ステップ０５２４において、音声セッションが終了されなかったと判断した場合には、ステップ０５２５をスキップし、音声送信部０３０２および音声受信部０３０３の終了を行わない。
【００７１】
続いて、制御部０３０１は、コミュニケーション相手の端末装置との間で手書きセッションが開始されたか判断し（ステップ０５２６）、手書きセッションが開始されたと判断した場合には、手書きデータ送信制御部０３０６および手書きデータ受信制御部０３０７を起動して（ステップ０５２７）、コミュニケーション相手の端末装置との間で手書きデータの送受信を開始する。なお、手書きデータ送信制御部０３０６および手書きデータ受信制御部０３０７の処理内容については後述する。一方、ステップ０５２６において、手書きセッションが開始されなかったと判断した場合には、ステップ０５２７をスキップし、手書きデータ送信制御部０３０６および手書きデータ受信制御部０３０７の起動を行わない。
【００７２】
続いて、制御部０３０１は、コミュニケーション相手の端末装置との間で手書きセッションが終了されたか判断し（ステップ０５２８）、手書きセッションが終了されたと判断した場合には、手書きデータ送信制御部０３０６および手書きデータ受信制御部０３０７を終了して（ステップ０５２９）、コミュニケーション相手の端末装置との間で手書きデータの送受信を終了する。一方、ステップ０５２８において、手書きセッションが終了されなかったと判断した場合には、ステップ０５２９をスキップし、手書きデータ送信制御部０３０６および手書きデータ受信制御部０３０７の終了を行わない。
【００７３】
続いて、制御部０３０１は、ユーザから終了ボタン０４１５等により本端末装置の動作の終了が指示されたか否かを判断し（ステップ０５３０）、終了が指示されていないと判断した場合には、上記ステップ０５０１に戻り、ユーザから終了が指示されるまで上記ステップ０５０１乃至ステップ０５３０を繰り返す。
【００７４】
一方、上記ステップ０５３０において、本端末装置の動作の終了が指示されたと判断した場合には、本制御部０３０１の処理を終了し、本端末装置の動作を終了する。
【００７５】
次に、制御部０３０１によって起動され、同じく制御部０３０１によって終了されるまで中央処理装置０２０１によって実行される音声送信部０３０２の処理内容について図６を用いて説明する。図６は、音声送信部０３０２の処理内容を示すフローチャートの一例である。なお、本音声送信部０３０２は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【００７６】
図６に示すとおり、音声送信部０３０２は、まず、音声入力装置０２０３から音声データを取得し（ステップ０６０１）、取得した音声データを符号化する（ステップ０６０２）。なお、符号化の方法は、例えばＩＴＵ−Ｔで勧告されているＧ．７１１等の方式を使用すればよい。
【００７７】
続いて、音声送信部０３０２は、符号化した音声データをパケット化し（ステップ０６０３）、パケット化された符号化音声データをデータ送受信装置０２０８を介して、すでに音声セッションが開始されているコミュニケーション相手の端末装置に送信する（ステップ０６０４）。なお、パケット化の方法については、例えばＲＦＣ２５４３で規定されている方法を用いればよい。
【００７８】
続いて、音声送信部０３０２は、制御部０３０１によって本音声送信部０３０２の終了が指示されたか否かを判断し（ステップ０６０５）、本音声送信部０３０２の終了が指示されていないと判断した場合にはステップ０６０１に戻り、本音声送信部０３０２の終了が指示されるまで上述したステップ０６０１乃至ステップ０６０５を繰り返す。
一方、上記ステップ０６０５において、本音声送信部０３０２の終了が指示されたと判断した場合には本音声送信部０３０２における処理を終了する。
【００７９】
次に、制御部０３０１によって起動され、同じく制御部０３０１によって終了されるまで中央処理装置０２０１によって実行される音声受信部０３０３の処理内容について図７を用いて説明する。図７は、音声受信部０３０３の処理内容を示すフローチャートの一例である。なお、音声受信部０３０３は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【００８０】
図７に示すとおり、音声受信部０３０３は、まず、データ送受信装置０２０８を介してすでに音声セッションが開始されているコミュニケーション相手の端末装置からパケット化された符号化音声データを受信し（ステップ０７０１）、受信したパケットから符号化された音声データを取得する（ステップ０７０２）。
【００８１】
続いて、音声受信部０３０３は、符号化された音声データを復号化し（ステップ０７０３）、復号化した音声データを音声出力装置０２０４から出力する（ステップ０７０４）。
【００８２】
続いて、音声受信部０３０３は、制御部０３０１によって本音声受信部０３０３の終了が指示されたか否かを判断し（ステップ０７０５）、本音声受信部０３０３の終了が指示されていないと判断した場合にはステップ０７０１に戻り、本音声受信部０３０３の終了が指示されるまで上述したステップ０７０１乃至ステップ０７０５を繰り返す。
【００８３】
一方、上記ステップ０７０５において、制御部０３０１によって本音声受信部０３０３の終了が指示されたと判断した場合には、本音声受信部０３０３における処理を終了する。
【００８４】
次に、制御部０３０１によって起動される画像取得制御部０３０８の処理内容について図８を用いて説明する。図８は、画像取得制御部０３０８の処理内容を示すフローチャートの一例である。
【００８５】
図８に示すとおり、画像取得制御部０３０８が起動されると、まず、画像取得装置０２１１から画像データを取得して（ステップ０８０１）、共有候補の画像である共有候補画像として設定する（ステップ０８０２）。これは、画像取得装置０２１１から画像データを取得して、記憶装置０２０２および二次記憶装置０２０９上の共有候補画像用領域に展開することによって実現可能である。
【００８６】
続いて、画像取得制御部０３０８は、ステップ０８０２において設定した共有候補画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように共有候補画像表示をＯＮにするとともに共有表示をＯＦＦにする（ステップ０８０３）。
【００８７】
続いて、画像取得制御部０３０８は、表示制御部０３１０を起動して（ステップ０８０４）、共有候補画像を画像・手書きデータ表示エリア０４０４に表示した後、本画像取得制御部０３０８における処理を終了する。
【００８８】
次に、制御部０３０１によって起動される画像送信制御部０３０４の処理内容について図９を用いて説明する。図９は、画像送信制御部０３０４の処理内容を示すフローチャートの一例である。
【００８９】
図９に示すとおり、画像送信制御部０３０４が起動されると、まず、画像取得制御部０３０８において設定された共有候補画像のデータを取得して（ステップ０９０１）、この共有候補画像を新たな共有画像として設定する（ステップ０９０２）。これは、画像取得制御部０３０８において設定された共有候補画像のデータを記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開することによって実現可能である。
【００９０】
続いて、画像送信制御部０３０４は、ステップ０９０２において設定された新たな共有画像のデータを、データ送受信装置０２０８を介してコミュニケーション相手の端末装置に送信する（ステップ０９０３）。このとき、送信する共有画像のデータを圧縮して送信してもよい。
【００９１】
続いて、画像送信制御部０３０４は、ステップ０９０２において設定された新たな共有画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように共有表示をＯＮにするとともに共有候補画像表示をＯＦＦにする（ステップ０９０４）。
【００９２】
続いて、画像送信制御部０３０４は、表示制御部０３１０を起動して（ステップ０９０５）、ステップ０９０２において設定され、ステップ０９０３においてコミュニケーション相手の端末装置に送信された新たな共有画像を画像・手書きデータ表示エリア０４０４に表示した後、本画像送信制御部０３０４における処理を終了する。
【００９３】
次に、制御部０３０１によって起動される画像受信制御部０３０５の処理内容について図１０を用いて説明する。図１０は、画像受信制御部０３０５の処理内容を示すフローチャートの一例である。
【００９４】
図１０に示すとおり、画像受信制御部０３０５が起動されると、まず、データ送受信装置０２０８を介してコミュニケーション相手の端末装置から共有画像のデータを受信する（ステップ１００１）。
【００９５】
続いて、画像受信制御部０３０５は、受信した共有画像を新たな共有画像として設定する（ステップ１００２）。これは、受信した共有画像のデータを記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開することによって実現可能である。このとき、受信した共有画像のデータが圧縮されていた場合には伸張して展開する。
【００９６】
続いて、画像受信制御部０３０５は、ステップ１００２において設定された新たな共有画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように共有表示をＯＮにするとともに共有候補画像表示をＯＦＦにする（ステップ１００３）。
【００９７】
続いて、画像受信制御部０３０５は、表示制御部０３１０を起動して（ステップ１００４）、ステップ１００１においてコミュニケーション相手の端末装置から受信され、ステップ１００２において設定された新たな共有画像を画像・手書きデータ表示エリア０４０４に表示した後、本画像受信制御部０３０５における処理を終了する。
【００９８】
次に、制御部０３０１によって起動され、同じく制御部０３０１によって終了されるまで中央処理装置０２０１によって実行される手書きデータ送信制御部０３０６の処理内容について図１１を用いて説明する。図１１は、手書きデータ送信制御部０３０６の処理内容を示すフローチャートの一例である。なお、本手書きデータ送信制御部０３０６は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【００９９】
図１１に示すとおり、手書きデータ送信制御部０３０６は、まず、手書き入力装置０２０５を介してユーザから入力された手書きデータがあるか否かを判断し（ステップ１１０１）、入力された手書きデータがないと判断した場合には、以下で述べるステップ１１０２乃至ステップ１１０６をスキップする。
【０１００】
一方、上記ステップ１１０１における判断の結果、入力された手書きデータがあると判断した場合には、手書きデータ送信制御部０３０６は、手書き入力装置０２０５によってユーザから入力された手書きデータを取得し（ステップ１１０２）、データ送受信装置０２０８を介してコミュニケーション相手の端末装置に入力された手書きデータを送信する（ステップ１１０３）。
【０１０１】
続いて、手書きデータ送信制御部０３０６は、送信あるいは入力された手書きデータを共有画像上に追加展開する（ステップ１１０４）。これは、記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開されている共有画像データに、送信あるいは入力された手書きデータを重ね合わせることによって実現可能である。
【０１０２】
続いて、手書きデータ送信制御部０３０６は、ステップ１１０４において手書きデータを追加した共有画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように共有表示をＯＮにするとともに共有候補画像表示をＯＦＦにする（ステップ１１０５）。
【０１０３】
続いて、手書きデータ送信制御部０３０６は、表示制御部０３１０を起動して（ステップ１１０６）、手書きデータが追加された共有画像を画像・手書きデータ表示エリア０４０４に表示する。
【０１０４】
続いて、手書きデータ送信制御部０３０６は、制御部０３０１によって本手書きデータ送信制御部０３０６の終了が指示されたか否かを判断し（ステップ１１０７）、本手書きデータ送信制御部０３０６の終了が指示されていないと判断した場合には、上記ステップ１１０１に戻り、制御部０３０１によって本手書きデータ送信制御部０３０６の終了が指示されるまで、上述したステップ１１０１乃至ステップ１１０７の処理を繰り返す。一方、上記ステップ１１０７における判断の結果、制御部０３０１によって本手書きデータ送信制御部０３０６の終了が指示されたと判断した場合には、本手書きデータ送信制御部０３０６の処理を終了する。
【０１０５】
次に、制御部０３０１によって起動され、同じく制御部０３０１によって終了されるまで中央処理装置０２０１によって実行される手書きデータ受信制御部０３０７の処理内容について図１２を用いて説明する。図１２は、手書きデータ受信制御部０３０７の処理内容を示すフローチャートの一例である。なお、本手書きデータ受信制御部０３０７は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置０２０１によって実行される。
【０１０６】
図１２に示すとおり、手書きデータ受信制御部０３０７は、まず、データ送受信装置０２０８を介してコミュニケーション相手の端末装置から手書きデータを受信したか否かを判断し（ステップ１２０１）、手書きデータを受信していないと判断した場合には、以下で述べるステップ１２０２乃至ステップ１２０５をスキップする。
【０１０７】
一方、上記ステップ１２０１における判断の結果、手書きデータを受信したと判断した場合には、手書きデータ受信制御部０３０７は、受信した手書きデータを取得し（ステップ１２０２）、取得した手書きデータを共有画像上に追加展開する（ステップ１２０３）。これは、記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開されている共有画像データに、取得した手書きデータを重ね合わせることによって実現可能である。
【０１０８】
続いて、手書きデータ受信制御部０３０７は、ステップ１２０３において手書きデータを追加した共有画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように共有表示をＯＮにするとともに共有候補画像表示をＯＦＦにする（ステップ１２０４）。これにより、コミュニケーション相手の端末装置から手書きデータを受信した際に、共有候補画像を表示していた場合に、コミュニケーション相手の端末装置と共有している画像および手書きデータの表示に自動的に切り替えることが可能となる。
【０１０９】
続いて、手書きデータ受信制御部０３０７は、表示制御部０３１０を起動して（ステップ１２０５）、手書きデータが追加された共有画像を画像・手書きデータ表示エリア０４０４に表示する。
【０１１０】
続いて、手書きデータ受信制御部０３０７は、制御部０３０１によって本手書きデータ受信制御部０３０７の終了が指示されたか否かを判断し（ステップ１２０６）、本手書きデータ受信制御部０３０７の終了が指示されていないと判断した場合には、上記ステップ１２０１に戻り、制御部０３０１によって本手書きデータ受信制御部０３０７の終了が指示されるまで、上述したステップ１２０１乃至ステップ１２０６の処理を繰り返す。一方、上記ステップ１２０６における判断の結果、制御部０３０１によって本手書きデータ受信制御部０３０７の終了が指示されたと判断した場合には、本手書きデータ受信制御部０３０７の処理を終了する。
【０１１１】
次に、制御部０３０１によって起動される表示切替部０３０９の処理内容について図１３を用いて説明する。図１３は、表示切替部０３０９の処理内容を示すフローチャートの一例である。
【０１１２】
表示切替部では、２以上の画像の表示の切り替えを行うものである。例えば、現在表示されている画像と表示されていない画像の表示の切換を行うものである。いま、現在表示されている画像と表示されていない画像として、共有候補画像と共有画像があるとする。ここで、共有候補画像とは、各端末で独自に入力した画像であり他の端末とは共有されていない画像であり（例えば、デジタルカメラ機能により入力した画像）、共有画像とは、自端末と他の端末とで共有されている画像である。この場合、現在、共有候補画像が表示されている場合には、表示切替部は、該共有候補画像に換えて現在非表示の共有画像に表示を切り換えるものである。
【０１１３】
図１３に示すとおり、表示切替部０３０９は、まず、共有候補画像表示がＯＮになっているか否かを判断し（ステップ１３０１）、共有候補画像表示がＯＮになっていると判断した場合には、共有候補画像表示をＯＦＦにするとともに共有表示をＯＮにし（ステップ１３０２）、後述する表示制御部０３１０を起動して（ステップ１３０３）、表示制御部０３１０により、現在コミュニケーション相手の端末装置との間で共有中の共有画像が画像・手書きデータ表示エリア０４０４に表示されるようにして、本表示切替部０３０９における処理を終了する。ここで、共有候補画像表示がＯＮとは、共有候補画像が表示されることを意味し、共有表示がＯＮとは、共有画像が表示されることを意味するものである。
【０１１４】
一方、上記ステップ１３０１において、共有候補画像表示がＯＮになっていないと判断した場合には、共有候補画像表示をＯＮにするとともに共有表示をＯＦＦにし（ステップ１３０４）、後述する表示制御部０３１０を起動して（ステップ１３０３）、表示制御部０３１０により、画像取得装置０２１１で取得した共有候補画像が画像・手書きデータ表示エリア０４０４に表示されるようにして、本表示切替部０３０９における処理を終了する。
【０１１５】
次に、画像送信制御部０３０４、画像受信制御部０３０５、手書きデータ送信制御部０３０６、手書きデータ受信制御部０３０７、画像取得制御部０３０８、および表示切替部０３０９によって起動される表示制御部０３１０の処理内容について図１４を用いて説明する。図１４は、表示制御部０３１０の処理内容を示すフローチャートの一例である。
【０１１６】
図１４に示すとおり、表示制御部０３１０は、まず、共有候補画像表示がＯＮになっているか否かを判断し（ステップ１４０１）、共有候補画像表示がＯＮになっていると判断した場合には、表示装置０２０６における画像・手書きデータ表示エリア０４０４に画像取得装置０２１１で取得した共有候補画像を表示して（ステップ１４０２）、本表示制御部０３１０における処理を終了する。なお、共有候補画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の共有候補画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１１７】
一方、上記ステップ１４０１において、共有候補画像表示がＯＮになっていないと判断した場合には、表示制御部０３１０はさらに共有表示がＯＮになっているか否かを判断する（ステップ１４０３）。
【０１１８】
本ステップ１４０３における判断の結果、共有表示がＯＮになっていると判断した場合には、表示制御部０３１０は、現在コミュニケーション相手の端末装置との間で共有中の共有画像を表示装置０２０６における画像・手書きデータ表示エリア０４０４に表示して（ステップ１４０４）、表示制御部０３１０における処理を終了する。なお、共有画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１１９】
一方、上記ステップ１４０３において、共有表示がＯＮになっていないと判断した場合には、表示制御部０３１０は、表示装置０２０６における画像・手書きデータ表示エリア０４０４に何も表示しないで（ステップ１４０５）、表示制御部０３１０における処理を終了する。
【０１２０】
次に、前述した制御部０３０１、画像送信制御部０３０４、画像受信制御部０３０５、手書きデータ送信制御部０３０６、手書きデータ受信制御部０３０７、画像取得制御部０３０８、表示切替部０３０９、および表示制御部０３１０によって、コミュニケーションを行っている端末装置間で、画像および手書きデータがどのように管理されるかについて図１５および図１６を用いて説明する。
【０１２１】
図１５および図１６は、互いにコミュニケーションを行っている２台の端末装置における画像および手書きデータのやり取りおよび管理方法を説明する図である。
【０１２２】
図１５および図１６において、１５０１は、一方の端末装置Ａで行われている画像および手書きデータの管理、１５１１は他方の端末装置Ｂで行われている画像および手書きデータの管理、１５０２は端末装置Ａの画像取得装置０２１１で取得した共有候補画像、１５１２は端末装置Ｂの画像取得装置０２１１で取得した共有候補画像、１５０３と１６０３および１５１３と１６１３はそれぞれ端末装置Ａおよび端末装置Ｂ間で送受信した共有画像、１５０４と１６０４および１５１４と１６１４はそれぞれ端末装置Ａおよび端末装置Ｂ間で送受信している手書きデータ、１５０５および１６０５は端末装置Ａにおいて、端末装置Ｂとの間で送受信された共有画像１５０３および１６０３に、端末装置Ｂとの間で送受信されている手書きデータ１５０４および１６０４を重ね合わせた画像、１５１５および１６１５は端末装置Ｂにおいて、端末装置Ａとの間で送受信された共有画像１５１３および１６１３に、端末装置Ｂとの間で送受信されている手書きデータ１５１４および１６１４を重ね合わせた画像である。
【０１２３】
図１５において、端末装置Ａでは共有候補画像１５０２と画像１５０５が表示対象であり、端末装置Ｂでは共有候補画像１５１２と画像１５１５が表示対象となっている。ここで、例えば端末装置Ａから共有画像１５０３を端末装置Ｂに送信し、その上で例えば手書きデータ１５１４が端末装置Ｂから書き込まれ、端末装置Ａに送信された場合に、端末装置Ａおよび端末装置Ｂはそれぞれ共有画像１５０３および共有画像１５１３と、手書きデータ１５０４および手書きデータ１５１４を重ね合わせて画像１５０５および画像１５１５を生成して画像・手書きデータ表示エリア０４０４に表示する。なお、手書きデータは双方向かつリアルタイムに送受信可能であり、この場合にはそれぞれの端末装置は手書きデータを送受信するたびに画像１５０５および画像１５１５を更新して表示すればよい。
【０１２４】
さて、端末装置Ａおよび端末装置Ｂにおいてそれぞれ画像１５０５および画像１５１５が表示されているときに、例えば端末装置Ａが画像取得装置０２１１を介して共有候補画像１５０２を取得した場合には、端末装置Ａにおいて共有候補画像１５０２を表示する。一方、例えば端末装置Ｂが画像取得装置０２１１を介して共有候補画像１５１２を取得した場合には、端末装置Ｂにおいて共有候補画像１５１２を表示する。
【０１２５】
また、端末装置Ａにおいて、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を共有候補画像１５０２と画像１５０５の間で切り替える。同様に端末装置Ｂにおいても、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を共有候補画像１５１２と画像１５１５の間で切り替える。
【０１２６】
さらに、例えば端末装置Ａにおいて、画像送信ボタン０４１４がユーザから押されると、図１６に示すとおり、端末装置Ａは共有候補画像１５０２を新たな共有画像１６０３とし、この新たな共有画像１６０３を端末装置Ｂに送信する。このとき、これまで送受信した手書きデータ１５０４はクリアされるが、この限りではなく、これまで送受信した手書きデータ１５０４を保持しておき、手書きデータ１６０４として再度新たな共有画像１６０３に重ね合わせられるようにしてもよい。一方、端末装置Ｂにおいては、端末装置Ａから送信された共有画像１６０３を受信し、受信した共有画像１６０３を新たな共有画像１６１３とする。このとき、これまで送受信した手書きデータ１５１４はクリアされるが、この限りではなく、これまで送受信した手書きデータ１５１４を保持しておき、これを手書きデータ１６１４として再度新たな共有画像１６１３に重ね合わせられるようにしてもよい。その後、端末装置Ａにおいては、共有画像１６０３と手書きデータ１６０４を重ね合わせて画像１６０５を生成して表示する。同様に端末装置Ｂにおいても、共有画像１６１３と手書きデータ１６１４を重ね合わせて画像１６１５を生成して表示する。
【０１２７】
その後は、図１５を用いて説明したとおり、端末装置Ａにおいて、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を共有候補画像１５０２と画像１６０５の間で切り替える。同様に端末装置Ｂにおいても、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を共有候補画像１５１２と画像１６１５の間で切り替える。
【０１２８】
これにより、図１７に示すとおり、端末装置において、画像取得装置０２１１で取得した共有候補画像を表示した場合でも、他の端末装置と共有している画像および手書きデータを失うことなく表示可能である。また、ユーザが共有候補画像と他の端末装置と共有している画像および手書きデータの表示を切り替えられるので、コミュニケーションを円滑に行うことができると共に、画像取得装置０２１１で取得した画像に対して、相手と共有すべきか確認した上で送信し、相手との共有を開始できる。
【０１２９】
なお、図１７において、１７０１は画像取得装置０２１１で取得した共有候補画像であり、１７０２は他の端末装置と共有している画像および手書きデータを示している。
【０１３０】
なお、上述した第１の実施形態では、コミュニケーション相手の端末装置から手書きデータを受信した際、共有候補画像を表示していた場合には、自動的に相手端末装置と共有している画像および手書きデータの表示に切り替えられるよう構成したが、この限りではなく、共有候補画像の表示と他の端末装置と共有している画像および手書きデータの表示をユーザが明示的に切り替えるまで行わないようにしてもよい。この場合には、図１２で説明したステップ１２０４の処理を削除し、手書きデータを受信したときでも、共有画像の表示に切り替えないようにすればよい。
【０１３１】
さて、上述の第１の実施形態では、共有候補画像と他の端末装置と共有している画像および手書きデータを切り替えて表示する構成について示した。これに対して、以下説明する第２の実施形態では、共有候補画像を縮小し、共有画像の上に重ねて表示する構成について示す。
【０１３２】
本第２の実施形態では、前述した第１の実施形態に対して、画像取得制御部０３０８、画像送信制御部０３０４、表示切替部０３０９、および表示制御部０３１０のみを以下のように変更すればよい。ただし、本第２の実施形態では、第１の実施形態で示したように共有候補画像そのものの表示に関与しないため、第１の実施形態と共通の処理内容をもつ処理部において、共有候補画像表示をＯＮあるいはＯＦＦにする処理を削除してもよい。
【０１３３】
まず、本第２の実施形態に係る画像取得制御部０３０８の処理内容について図１８を用いて説明する。図１８は、本第２の実施形態に係る画像取得制御部０３０８の処理内容を示すフローチャートの一例である。
【０１３４】
図１８に示すとおり、本第２の実施形態に係る画像取得制御部０３０８では、まず、画像取得装置０２１１から画像データを取得して（ステップ１８０１）、コミュニケーション相手の端末装置との間の共有候補画像として設定する（ステップ１８０２）。これは、画像取得装置０２１１から画像データを取得して、記憶装置０２０２および二次記憶装置０２０９上の共有候補画像用領域に展開することによって実現可能である。
【０１３５】
続いて、画像取得制御部０３０８は、ステップ１８０２で設定した共有候補画像の縮小画像を生成する（ステップ１８０３）。なお、生成した縮小画像は、記憶装置０２０２および二次記憶装置０２０９上の縮小画像用領域に展開されるとよい。
【０１３６】
続いて、画像取得制御部０３０８は、ステップ１８０３で生成した縮小画像が後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように小画面表示をＯＮにする（ステップ１８０４）。
【０１３７】
続いて、画像取得制御部０３０８は、表示制御部０３１０を起動して（ステップ１８０５）、ステップ１８０３で生成した共有候補画像の縮小画像を共有画像に重ねて画像・手書きデータ表示エリア０４０４に表示した後、本画像取得制御部０３０８における処理を終了する。
【０１３８】
次に、本第２の実施形態に係る画像送信制御部０３０４の処理内容について図１９を用いて説明する。図１９は、本第２の実施形態に係る画像送信制御部０３０４の処理内容を示すフローチャートの一例である。
【０１３９】
図１９に示すとおり、本第２の実施形態に係る画像送信制御部０３０４では、まず、画像取得制御部０３０８において設定された共有候補画像のデータを取得して（ステップ１９０１）、この共有候補画像を新たな共有画像として設定する（ステップ１９０２）。これは、画像取得制御部０３０８において設定された共有候補画像のデータを記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開することによって実現可能である。
【０１４０】
続いて、画像送信制御部０３０４は、ステップ１９０２において設定された新たな共有画像のデータを、データ送受信装置０２０８を介してコミュニケーション相手の端末装置に送信する（ステップ１９０３）。このとき、送信する共有画像のデータを圧縮して送信してもよい。
【０１４１】
続いて、画像送信制御部０３０４は、ステップ１９０２において設定された新たな共有画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように共有表示をＯＮにする（ステップ１９０４）。このとき、送信済みである共有候補画像の縮小画像が表示されないよう小画面表示をＯＦＦにしてもよい。
【０１４２】
続いて、画像送信制御部０３０４は、表示制御部０３１０を起動して（ステップ１９０５）、ステップ１９０２において設定され、ステップ１９０３においてコミュニケーション相手の端末装置に送信された新たな共有画像を画像・手書きデータ表示エリア０４０４に表示した後、本画像送信制御部０３０４における処理を終了する。
【０１４３】
次に、本第２の実施形態に係る表示切替部０３０９の処理内容について図２０を用いて説明する。図２０は、本第２の実施形態に係る表示切替部０３０９の処理内容を示すフローチャートの一例である。
【０１４４】
図２０に示すとおり、本第２の実施形態に係る表示切替部０３０９は、まず、小画面表示がＯＮになっているか否かを判断し（ステップ２００１）、小画面表示がＯＮになっていると判断した場合には、共有画像のみが、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように小画面表示をＯＦＦにする（ステップ２００２）。
【０１４５】
続いて、表示切替部０３０９は、表示制御部０３１０を起動して（ステップ２００３）、共有画像のみを画像・手書きデータ表示エリア０４０４に表示した後、本表示切替部０３０９における処理を終了する。
【０１４６】
一方、上記ステップ２００１において、小画面表示がＯＮになっていないと判断した場合には、共有候補画像の縮小画像が、後述する表示制御部０３１０により画像・手書きデータ表示エリア０４０４に表示されるように小画面表示をＯＮにする（ステップ２００４）。
【０１４７】
続いて、表示切替部０３０９は、表示制御部０３１０を起動して（ステップ２００３）、共有候補画像の縮小画像を画像・手書きデータ表示エリア０４０４に表示した後、本表示切替部０３０９における処理を終了する。
【０１４８】
次に、本第２の実施形態に係る表示制御部０３１０の処理内容について図２１を用いて説明する。図２１は、本第２の実施形態に係る表示制御部０３１０の処理内容を示すフローチャートの一例である。
【０１４９】
図２１に示すとおり、第２の実施形態に係る表示制御部０３１０は、まず、共有表示がＯＮになっているか否かを判断し（ステップ２１０１）、共有表示がＯＮになっていると判断した場合には、表示装置０２０６における画像・手書きデータ表示エリア０４０４に現在コミュニケーション相手の端末装置との間で共有している共有画像を表示する。なお、共有画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１５０】
一方、上記ステップ２１０１において共有表示がＯＮになっていないと判断した場合には、共有画像を表示することなくステップ２１０３へと進む。
【０１５１】
続いて、表示制御部０３１０は、小画面表示がＯＮになっているか否かを判断し（ステップ２１０３）、小画面表示がＯＮになっていると判断した場合には、共有候補画像の縮小画像を表示装置０２０６における画像・手書きデータ表示エリア０４０４に表示して（ステップ２１０４）、本表示制御部０３１０における処理を終了する。なお、この際、上記ステップ２１０２において、共有画像を表示した場合には、この共有画像に重ねて本共有候補画像の縮小画像を表示する。なお、共有候補画像の縮小画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の縮小画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１５２】
一方、上記ステップ２１０３において小画面表示がＯＮになっていないと判断した場合には、共有候補画像の縮小画像を表示することなく、本表示制御部０３１０における処理を終了する。
【０１５３】
なお、上記ステップ２１０４において、縮小画像を表示する際、初めてこの縮小画像を表示する場合には、図２２に示すとおり、縮小されていない共有候補画像を一定時間表示した後、本縮小画像を共有画像に重ねて表示してもよい。なお、図２２において、２２０１および２２０１’は表示装置０２０６における画像・手書きデータ表示エリア０４０４に表示されている画像、２２０２は画像取得装置０２１１で取得した共有候補画像であり、縮小されていない共有候補画像である。また、２２０３は共有候補画像の縮小画像であり、２２０４は現在コミュニケーション相手の端末装置との間で共有している共有画像である。
【０１５４】
また、上記ステップ２１０４において、縮小画像を表示する際、初めてこの縮小画像を表示する場合には、図２３に示すとおり、まず、縮小されていない共有候補画像を表示した後、手書きデータの受信をトリガとして、本縮小画像を共有画像に重ねて表示してもよい。なお、図２３において、２３０１および２３０１’は表示装置０２０６における画像・手書きデータ表示エリア０４０４に表示されている画像、２３０２は画像取得装置０２１１でから取得した共有候補画像であり、縮小されていない共有候補画像である。また、２３０３は共有候補画像の縮小画像、２３０４は現在コミュニケーション相手の端末装置との間で共有している共有画像、２３０５はコミュニケーション相手の端末装置から受信した手書きデータである。
【０１５５】
さらに、上記ステップ２１０４において縮小画像を表示する場合には、図２４および図２５に示すように、コミュニケーション相手の端末装置との間で送受信している手書きデータが必ず表示される位置、すなわち送受信中の手書きデータを隠さない位置に表示すると良い。特に、送受信中の手書きデータの表示位置から遠い位置に表示するとよい。なお、図２４および図２５において、２４０１および２５０１は表示装置０２０６における画像・手書きデータ表示エリア０４０４に表示されている画像、２４０２および２５０２は現在コミュニケーション相手の端末装置との間で共有している共有画像、２４０３および２５０３は共有候補画像の縮小画像、２４０４および２５０４はコミュニケーション相手の端末装置との間で送受信した手書きデータである。
【０１５６】
次に、本第２の実施形態において、コミュニケーションを行っている端末装置間で、画像および手書きデータがどのようにやり取りおよび管理されるかについて図２６および図２７を用いて説明する。
【０１５７】
図２６および図２７は、互いにコミュニケーションを行っている２台の端末装置における画像および手書きデータのやり取りおよび管理方法を説明する図である。
【０１５８】
図２６および図２７において、２６０１は、一方の端末装置Ａで行われている画像および手書きデータの管理、２６１１は他方の端末装置Ｂで行われている画像および手書きデータの管理、２６０２は端末装置Ａの画像取得装置０２１１で取得した共有候補画像、２６１２は端末装置Ｂの画像取得装置０２１１で取得した共有候補画像、２６０６は端末装置Ａにおける共有候補画像２６０２を縮小した画像、２６１６は端末装置Ｂにおける共有候補画像２６１２を縮小した画像、２６０３と２７０３および２６１３と２７１３はそれぞれ端末装置Ａおよび端末装置Ｂ間で送受信した共有画像、２６０４と２７０４および２６１４と２７１４はそれぞれ端末装置Ａおよび端末装置Ｂ間で送受信している手書きデータ、２６０５と２７０５は端末装置Ａにおいて端末装置Ｂとの間で送受信された共有画像２６０３および２７０３に端末装置Ｂとの間で送受信されている手書きデータ２６０４および２７０４を重ね合わせた画像、２６１５と２７１５は端末装置Ｂにおいて端末装置Ａとの間で送受信された共有画像２６１３および２７１３に端末装置Ａとの間で送受信されている手書きデータ２６１４および２７１４を重ね合わせた画像、２６０７と２７０７は端末装置Ａにおいて端末装置Ｂとの間で送受信された共有画像２６０３および２７０３に端末装置Ｂとの間で送受信されている手書きデータ２６０４および２７０４を重ね合わせ、さらに共有候補画像の縮小画像２６０６を重ね合わせた画像、２６１７と２７１７は端末装置Ｂにおいて端末装置Ａとの間で送受信された共有画像２６１３および２７１３に端末装置Ｂとの間で送受信されている手書きデータ２６１４および２７１４を重ね合わせ、さらに共有候補画像の縮小画像２６１６を重ね合わせた画像である。
【０１５９】
図２６においては、端末装置Ａでは画像２６０５および画像２６０７が表示対象であり、端末装置Ｂでは画像２６１５および画像２６１７が表示対象となっている。ここで、例えば端末装置Ａから共有画像２６０３を端末装置Ｂに送信し、その上で例えば手書きデータ２６１４が端末装置Ｂから書き込まれ、端末装置Ａに送信された場合に、端末装置Ａおよび端末装置Ｂはそれぞれ共有画像２６０３および共有画像２６１３と、手書きデータ２６０４および手書きデータ２６１４を重ね合わせて画像２６０５および画像２６１５を生成して画像・手書きデータ表示エリア０４０４に表示する。なお、手書きデータは双方向かつリアルタイムに送受信可能であり、この場合にはそれぞれの端末装置は手書きデータを送受信するたびに画像２６０５および画像２６１５を更新し表示すればよい。
【０１６０】
さて、端末装置Ａおよび端末装置Ｂにおいてそれぞれ画像２６０５および画像２６１５が表示されているときに、例えば端末装置Ａが画像取得装置０２１１を介して共有候補画像２６０２を取得した場合には、端末装置Ａはこの共有候補画像の縮小画像２６０６を生成する。一方、例えば端末装置Ｂが画像取得装置０２１１を介して共有候補画像２６１２を取得した場合には、端末装置Ｂはこの共有候補画像の縮小画像２６１６を生成する。そして、端末装置Ａでは画像２６０５にさらに共有候補画像の縮小画像２６０６を重ね合わせて画像２６０７を生成して画像・手書きデータ表示エリア０４０４に表示する。同様に、端末装置Ｂでは画像２６１５にさらに共有候補画像の縮小画像２６１６を重ね合わせて画像２６１７を生成して画像・手書きデータ表示エリア０４０４に表示する。
【０１６１】
そして、この状況で、端末装置Ａにおいて、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を画像２６０５と画像２６０７の間で切り替える。同様に端末装置Ｂにおいても、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を画像２６０５と画像２６０７の間で切り替える。
【０１６２】
さらに、例えば端末装置Ａにおいて、画像送信ボタン０４１４がユーザから押されると、図２７に示すとおり、端末装置Ａは共有候補画像２６０２を新たな共有画像２７０３とし、この新たな共有画像２７０３を端末装置Ｂに送信する。このとき、これまで送受信した手書きデータ２６０４はクリアされるが、この限りではなく、これまで送受信した手書きデータ２６０４を保持しておき、手書きデータ２７０４として再度新たな共有画像２７０３に重ね合わせられるようにしてもよい。一方、端末装置Ｂにおいては、端末装置Ａから送信された共有画像２７０３を受信し、受信した共有画像２７０３を新たな共有画像２７１３とする。このとき、これまで送受信した手書きデータ２６１４はクリアされるが、この限りではなく、これまで送受信した手書きデータ２６１４を保持しておき、これを手書きデータ２７１４として再度新たな共有画像２７１３に重ね合わせられるようにしてもよい。その後、端末装置Ａにおいては、共有画像２７０３と手書きデータ２７０４を重ね合わせて画像２７０５を生成して表示するとともに、共有画像２７０３と手書きデータ２７０４と共有候補画像の縮小画像２６０６を重ね合わせて画像２７０７を生成する。一方、端末装置Ｂにおいては、共有画像２７１３と手書きデータ２７１４を重ね合わせて画像２７１５を生成して表示するとともに、共有画像２７１３と手書きデータ２７１４と共有候補画像の縮小画像２６１６を重ね合わせて画像２７１７を生成する。
【０１６３】
その後は、図２６を用いて説明したとおり、端末装置Ａにおいて、表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、表示する画像を画像２７０５と画像２７０７の間で切り替える。同様に端末装置Ｂにおいても、表示切替ボタン０４１３等によりユーザか表示画像の切替が指示されると、表示する画像を画像２７１５と画像２７１７の間で切り替える。
【０１６４】
これにより、図２８に示すとおり、端末装置において、画像取得装置０２１１で取得した共有候補画像を表示した場合でも、他の端末装置と共有している画像および手書きデータを失うことなく表示可能である。また、他の端末装置と共有している画像および手書きデータを表示しつつ画像取得装置０２１１で取得した共有候補画像を表示可能であるので、コミュニケーションを円滑に行うことができる。さらに、コミュニケーション相手の端末装置と共有を行う前に共有候補の画像を確認できるので、気に入らない画像を相手に送信することがなく、使用上の煩わしさをなくすことが可能となる。
【０１６５】
なお、図２８において、２８０１は他の端末装置と共有している画像および手書きデータを表示している図であり、２８０２は他の端末装置と共有している画像および手書きデータに重ねて画像取得制御部０３０８で生成した共有候補画像の縮小画像を表示している図である。
【０１６６】
さて、上述の第２の実施形態では、共有候補画像の縮小画像を生成し、共有画像の上に表示する構成について示した。これに対して、以下説明する第３の実施形態では、共有画像のみの表示と、共有候補画像のみの表示と、共有候補画像の縮小画像を共有画像の上に重ね合わせた表示とを切り替えることが可能な構成について示す。
【０１６７】
本第３の実施形態では、前述した第２の実施形態に対して、画像取得制御部０３０８、画像送信制御部０３０４、表示切替部０３０９、および表示制御部０３１０のみを以下のように変更すればよい。ただし、本第３の実施形態では、共有候補画像そのものを表示することがあるため、第１の実施形態と共通の処理内容をもつ第２の実施形態の処理部において、共有候補画像表示をＯＮあるいはＯＦＦにする処理が削除されていないことを前提として説明する。
【０１６８】
まず、本第３の実施形態に係る画像取得制御部０３０８の処理内容について図２９を用いて説明する。図２９は、本第３の実施形態に係る画像取得制御部０３０８の処理内容を示すフローチャートの一例である。
【０１６９】
図２９に示すとおり、本第３の実施形態に係る画像取得制御部０３０８の処理内容は、前述の図１８で説明した第２の実施形態に係る画像取得制御部０３０８の処理内容とほぼ同じである。ただし、本第３の実施形態に係る画像取得制御部０３０８の処理は前述の第２の実施形態に係る画像取得制御部０３０８の処理と比して、ステップ１８０４で小画面表示をＯＮとしていた点を、ステップ２９０４に示したとおり共有候補画像表示をＯＮ、共有表示をＯＦＦ、小画面表示をＯＦＦとするよう変更するとよい。これにより共有候補画像を取得した直後に、縮小していない共有候補画像が画像・手書きデータ表示エリア０４０４に表示され、実際の画像サイズで画像の映り具合を確認できる。
【０１７０】
なお、図２９においては、図１８と同じ処理については同じ番号を付してあり、その詳細な内容については図１８で説明したものと同様であるので説明を省略する。
【０１７１】
次に、本第３の実施形態に係る画像送信制御部０３０４の処理内容について図３０を用いて説明する。図３０は、本第３の実施形態に係る画像送信制御部０３０４の処理内容を示すフローチャートの一例である。
【０１７２】
図３０に示すとおり、本第３の実施形態に係る画像送信制御部０３０４の処理内容は、前述の図１９で説明した第２の実施形態に係る画像送信制御部０３０４の処理内容とほぼ同じである。ただし、本第３の実施形態に係る画像送信制御部０３０４の処理は前述の第２の実施形態に係る画像送信制御部０３０４の処理と比して、ステップ１９０４で共有表示をＯＮとしていた点を、ステップ３００４に示したとおり共有表示をＯＮ、小画面表示をＯＦＦ、共有候補画像表示をＯＦＦとするよう変更するとよい。これにより、コミュニケーション相手の端末装置に新たな共有画像を送信後、この新たな共有画像が表示されるので、コミュニケーションを円滑にすることができる。
【０１７３】
なお、図３０においては、図１９と同じ処理については同じ番号を付してあり、その詳細な内容については図１９で説明したものと同様であるので説明を省略する。
【０１７４】
次に、本第３の実施形態に係る表示切替部０３０９の処理内容について図３１を用いて説明する。図３１は、本第３の実施形態に係る表示切替部０３０９の処理内容を示すフローチャートの一例である。
【０１７５】
図３１に示すとおり、本第３の実施形態に係る表示切替部０３０９は、まず、共有候補画像表示がＯＮになっているか否かを判断し（ステップ３１０１）、共有候補画像表示がＯＮになっていると判断した場合には、小画面表示をＯＮ、共有表示をＯＮ、共有候補画像表示をＯＦＦとした後（ステップ３１０２）、後述する表示制御部０３１０を起動して（ステップ３１０３）、表示制御部０３１０により、共有画像に重ねて共有候補画像の縮小画像が画像・手書きデータ表示エリア０４０４に表示されるようにして、本表示切替部０３０９における処理を終了する。
【０１７６】
一方、上記ステップ３１０１において、共有候補画像表示がＯＮになっていないと判断した場合には、さらに小画面表示がＯＮになっているか否かを判断し（ステップ３１０４）、小画面表示がＯＮになっていると判断した場合には、小画面表示をＯＦＦ、共有候補画像表示をＯＦＦ、共有表示をＯＮとした後（ステップ３１０５）、後述する表示制御部０３１０を起動して（ステップ３１０３）、表示制御部０３１０により、共有画像のみが画像・手書きデータ表示エリア０４０４に表示されるようにして、本表示切替部０３０９における処理を終了する。
【０１７７】
一方、上記ステップ３１０４において、小画面表示がＯＮになっていないと判断した場合には、小画面表示をＯＦＦ、共有表示をＯＦＦ、共有候補画像表示をＯＮとした後（ステップ３１０６）、後述する表示制御部０３１０を起動して（ステップ３１０３）、表示制御部０３１０により、画像取得制御部０３０８で取得した縮小されていない共有候補画像のみが画像・手書きデータ表示エリア０４０４に表示されるようにして、本表示切替部０３０９における処理を終了する。
【０１７８】
次に、本第３の実施形態に係る表示制御部０３１０の処理内容について図３２を用いて説明する。図３２は、本第３の実施形態に係る表示制御部０３１０の処理内容を示すフローチャートの一例である。
【０１７９】
図３２に示すとおり、表示制御部０３１０は、まず、共有候補画像表示がＯＮになっているか否かを判断し（ステップ３２０１）、共有候補画像表示がＯＮになっていると判断した場合には、表示装置０２０６における画像・手書きデータ表示エリア０４０４に画像取得装置０２１１で取得した共有候補画像を表示して（ステップ３２０６）、本表示制御部０３１０における処理を終了する。なお、共有候補画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の共有候補画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１８０】
一方、上記ステップ３２０１において、共有候補画像表示がＯＮになっていないと判断した場合には、表示制御部０３１０はさらに共有表示がＯＮになっているか否かを判断（ステップ３２０２）し、共有表示がＯＮになっていると判断した場合には、表示装置０２０６における画像・手書きデータ表示エリア０４０４に現在コミュニケーション相手の端末装置との間で共有している共有画像を表示する（ステップ３２０３）。なお、共有画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の共有画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１８１】
一方、ステップ３２０２において共有表示がＯＮになっていないと判断した場合には、共有画像を表示することなくステップ３２０４へと進む。
【０１８２】
続いて、表示制御部０３１０は、小画面表示がＯＮになっているか否かを判断し（ステップ３２０４）、小画面表示がＯＮになっていると判断した場合には、画像取得制御部０３０８で生成した共有候補画像の縮小画像を表示装置０２０６における画像・手書きデータ表示エリア０４０４に表示して（ステップ３２０５）、本表示制御部０３１０における処理を終了する。なお、この際、上記ステップ３２０３において、共有画像を表示した場合には、この共有画像に重ねて本共有候補画像の縮小画像を表示する。なお、共有候補画像の縮小画像の表示は、記憶装置０２０２および二次記憶装置０２０９上の縮小画像用領域に展開されている画像を画像・手書きデータ表示エリア０４０４に表示することによって実現可能である。
【０１８３】
一方、上記ステップ３２０４において小画面表示がＯＮになっていないと判断した場合には、共有候補画像の縮小画像を表示することなく本表示制御部０３１０における処理を終了する。
【０１８４】
以上で説明した第３の実施形態により、図３３に示すように表示切替ボタン０４１３を押すこと等により表示画像の切替が指示されると、共有画像のみの表示と、共有候補画像のみの表示と、共有候補画像の縮小画像を共有画像の上に重ね合わせた表示とを順次切り替えることが可能となる。なお、図３３において、３３０１は画像取得装置０２１１で取得した共有候補画像のみを表示している図であり、３３０２は他の端末装置と共有している画像および手書きデータに重ねて画像取得制御部０３０８で生成した共有候補画像の縮小画像を表示している図であり、３３０３は他の端末装置と共有している画像および手書きデータのみを表示している図である。
なお、上述した第３の実施形態では、コミュニケーション相手の端末装置から手書きデータを受信した際、共有候補画像を表示していた場合には、自動的に相手端末装置と共有している画像および手書きデータが表示されるよう構成したが、この限りではなく、共有候補画像の表示と他の端末装置と共有している画像および手書きデータの表示をユーザが明示的に切り替えるまで行わないようにしてもよい。この場合には、図１２で説明したステップ１２０４の処理を削除し、手書きデータを受信したときでも、共有画像の表示に切り替えないようにすればよい。また、ステップ１２０４において、小画面表示をＯＮ、共有画像表示をＯＮ、共有候補画像表示をＯＦＦとすることにより、共有画像と共有候補画像の縮小画像を表示できる。これにより、相手端末装置から手書きデータが書き込まれたときに、必ず共有画像が表示されるとともに、現在興味の対象である共有候補画像の縮小画像も表示されるので、コミュニケーションを円滑に行うことができる。
なお、上述した第１、第２、および第３の実施形態では、制御部０３０１、音声送信部０３０２、音声受信部０３０３、画像送信制御部０３０４、画像受信制御部０３０５、手書きデータ送信制御部０３０６、手書きデータ受信制御部０３０７、画像取得制御部０３０８、表示切替部０３０９、および表示制御部０３１０を中央処理装置０２０１によって実行されるソフトウェアで実現されるものとしたが、これらの一部あるいはすべてをハードウェアにより実現してもよい。
【０１８５】
また、上述した第１、第２、および第３の実施形態では、音声通話も可能なように構成した例を示したが、音声通話は必須ではない。端末装置に音声通話機能を含めない場合には、それぞれの実施形態において、音声入力装置０２０３、音声出力装置０２０４、音声送信部０３０２、音声受信部０３０３、通話開始ボタン０４０７、および通話終了ボタン０４０８に関する部分を実現しなければよい。
【０１８６】
また、上述した第１、第２、および第３の実施形態では、画像送信制御部０３０４部および画像受信制御部０３０５が、古い共有画像を記憶装置０２０２あるいは二次記憶装置０２０９に保持しない構成について説明したが、例えば画像送信制御部０３０４部あるいは画像受信制御部０３０５において、新たな共有画像を設定する前にこれまでの共有画像を二次記憶装置０２０９に保持し、ユーザからの指示に従って、これまでの共有画像を参照あるいは相手の端末装置と共有できるようにしても良い。
【０１８７】
さらに、上述した第１、第２、および第３の実施形態では、共有画像は１つとして説明したが、この限りではなく、複数の共有画像を持つようにしても良い。この場合には、それぞれの共有画像のデータを記憶装置０２０２および二次記憶装置０２０９上のそれぞれ個別の共有画像用領域に展開し、ユーザからの指示に従って、これらの共有画像を切替えて表示するように構成すればよい。
【０１８８】
本実施例によれば、例えば携帯端末装置のような表示画面の小さい端末装置において、他端末装置と画像を共有し、該端末装置との間で手書きデータを送受信して、前記共有画像上に該送受信した手書きデータをリアルタイムに表示可能な使い勝手のよいコミュニケーション端末装置を提供することが可能となる。特に、他端末装置との間で共有画像を有し、コミュニケーションを行っている中で、カメラ等の画像取得装置で取得した次の共有候補の画像を表示する場合でも、他の端末装置と共有している画像および手書きデータを失うことなく表示可能である。また、他の端末装置と共有している画像および手書きデータを表示しつつ共有候補画像を表示可能であるので、コミュニケーションを円滑に行うことができる。さらに、コミュニケーション相手の端末装置と共有を行う前に共有候補の画像を確認できるので、気に入らない画像を相手に送信することがなく、使用上の煩わしさをなくすことが可能となる。
【０１８９】
【発明の効果】
本発明によれば、端末装置間の通信において、他端末装置と画像を共有し、該端末装置との間で手書きデータを送受信して、前記共有画像上に該送受信した手書きデータをリアルタイムに表示可能な端末装置を提供することが可能となる。
【図面の簡単な説明】
【図１】コミュニケーションシステムの構成図の一例である。
【図２】コミュニケーション端末装置のハードウェア構成の一例を示すブロック図である。
【図３】コミュニケーション端末装置の中央処理装置で実行されるソフトウェア構成の一例を示す図である。
【図４】コミュニケーション端末装置のマンマシンインタフェースを説明する図であり、端末装置の表示装置に表示される表示画面の一例である。
【図５】コミュニケーション端末装置における制御部の処理内容を示すフローチャートの一例である。
【図６】コミュニケーション端末装置における音声送信部の処理内容を示すフローチャートの一例である。
【図７】コミュニケーション端末装置における音声受信部の処理内容を示すフローチャートの一例である。
【図８】第１の実施形態にかかるコミュニケーション端末装置における画像取得制御部の処理内容を示すフローチャートの一例である。
【図９】第１の実施形態にかかるコミュニケーション端末装置における画像送信制御部の処理内容を示すフローチャートの一例である。
【図１０】コミュニケーション端末装置における画像受信制御部の処理内容を示すフローチャートの一例である。
【図１１】コミュニケーション端末装置における手書きデータ送信制御部の処理内容を示すフローチャートの一例である。
【図１２】コミュニケーション端末装置における手書きデータ受信制御部の処理内容を示すフローチャートの一例である。
【図１３】第１の実施形態にかかるコミュニケーション端末装置における表示切替部の処理内容を示すフローチャートの一例である。
【図１４】第１の実施形態にかかるコミュニケーション端末装置における表示制御部の処理内容を示すフローチャートの一例である。
【図１５】第１の実施形態にかかるコミュニケーションを行っている２台の端末装置における画像および手書きデータのやり取りおよび管理方法を説明する図である。
【図１６】第１の実施形態にかかるコミュニケーションを行っている２台の端末装置における共有候補画像を送受信した後の画像および手書きデータのやり取りおよび管理方法を説明する図である。
【図１７】第１の実施形態にかかるコミュニケーション端末装置において表示切替を行った場合の表示切替例を示す図である。
【図１８】第２の実施形態にかかるコミュニケーション端末装置における画像取得制御部の処理内容を示すフローチャートの一例である。
【図１９】第２の実施形態にかかるコミュニケーション端末装置における画像送信制御部の処理内容を示すフローチャートの一例である。
【図２０】第２の実施形態にかかるコミュニケーション端末装置における表示切替部の処理内容を示すフローチャートの一例である。
【図２１】第２の実施形態にかかるコミュニケーション端末装置における表示制御部の処理内容を示すフローチャートの一例である。
【図２２】第２の実施形態にかかるコミュニケーション端末装置において、縮小されていない共有候補画像を一定時間表示した後、共有候補画像の縮小画像を共有画像に重ねて表示することを説明する図である。
【図２３】第２の実施形態にかかるコミュニケーション端末装置において、縮小されていない共有候補画像を表示した後、手書きデータの受信をトリガとして、共有候補画像の縮小画像を共有画像に重ねて表示することを説明する図である。
【図２４】第２の実施形態にかかるコミュニケーション端末装置において、送受信している手書きデータが必ず表示される位置に共有候補画像の縮小画像を表示することを説明する図である。
【図２５】第２の実施形態にかかるコミュニケーション端末装置において、送受信している手書きデータが必ず表示される位置に共有候補画像の縮小画像を表示することを説明する図である。
【図２６】第２の実施形態にかかるコミュニケーションを行っている２台の端末装置における画像および手書きデータのやり取りおよび管理方法を説明する図である。
【図２７】第２の実施形態にかかるコミュニケーションを行っている２台の端末装置における共有候補画像を送受信した後の画像および手書きデータのやり取りおよび管理方法を説明する図である。
【図２８】第２の実施形態にかかるコミュニケーション端末装置において表示切替を行った場合の表示切替例を示す図である。
【図２９】第３の実施形態にかかるコミュニケーション端末装置における画像取得制御部の処理内容を示すフローチャートの一例である。
【図３０】第３の実施形態にかかるコミュニケーション端末装置における画像送信制御部の処理内容を示すフローチャートの一例である。
【図３１】第３の実施形態にかかるコミュニケーション端末装置における表示切替部の処理内容を示すフローチャートの一例である。
【図３２】第３の実施形態にかかるコミュニケーション端末装置における表示制御部の処理内容を示すフローチャートの一例である。
【図３３】第３の実施形態にかかるコミュニケーション端末装置において表示切替を行った場合の表示切替例を示す図である。
【符号の説明】
０２０１…中央処理装置、０２０２…記憶装置、０２０３…音声入力装置、０２０４…音声出力装置、０２０５…手書き入力装置、０２０６…表示装置、０２０７…設定入力装置、０２０８…データ送受信装置、０２０９…二次記憶装置、０２１０…バス、０２１１…画像取得装置、０３０１…制御部、０３０２…音声送信部、０３０３…音声受信部、０３０４…画像送信制御部、０３０５…画像受信制御部、０３０６…手書きデータ送信制御部、０３０７…手書きデータ受信制御部、０３０８…画像取得制御部、０３０９…表示切替部、０３１０…表示制御部、０４０１…表示画面、０４０２…宛先表示エリア、０４０３…宛先入力ボタン群、０４０４…共有エリア、０４０７…通話開始ボタン、０４０８…通話終了ボタン、０４０９…手書き開始ボタン、０４１０…手書き終了ボタン、０４１１…宛先クリアボタン、０４１２…画像取得ボタン、０４１３…表示切替ボタン、０４１４…画像送信ボタン、０４１５…終了ボタン
【図１】
2004348189.tif 000003
【図２】
2004348189.tif 000004
【図３】
2004348189.tif 000005
【図４】
2004348189.tif 000006
【図５】
2004348189.tif 000007
【図６】
2004348189.tif 000008
【図７】
2004348189.tif 000009
【図８】
2004348189.tif 000010
【図９】
2004348189.tif 000011
【図１０】
2004348189.tif 000012
【図１１】
2004348189.tif 000013
【図１２】
2004348189.tif 000014
【図１３】
2004348189.tif 000015
【図１４】
2004348189.tif 000016
【図１５】
2004348189.tif 000017
【図１６】
2004348189.tif 000018
【図１７】
2004348189.tif 000019
【図１８】
2004348189.tif 000020
【図１９】
2004348189.tif 000021
【図２０】
2004348189.tif 000022
【図２１】
2004348189.tif 000023
【図２２】
2004348189.tif 000024
【図２３】
2004348189.tif 000025
【図２４】
2004348189.tif 000026
【図２５】
2004348189.tif 000027
【図２６】
2004348189.tif 000028
【図２７】
2004348189.tif 000029
【図２８】
2004348189.tif 000030
【図２９】
2004348189.tif 000031
【図３０】
2004348189.tif 000032
【図３１】
2004348189.tif 000033
【図３２】
2004348189.tif 000034
【図３３】
2004348189.tif 000035