(57)【要約】【課題】音声の他に画像を送信する通信端末装置であって、使用者が画像のどの部位に関心をもっているかが相手に判り易いものを提供する。【解決手段】送信した画像を送信側の装置と受信側の装置で表示しておき、双方の使用者が同じ画像を見ながら通話する。表示している画像の任意の領域を使用者がキー操作により指定し、装置は指定された領域を表す画像を表示中の画像に重ねて表示するとともに、指定された領域を示す情報を相手装置に送信する。相手装置から領域を示す情報を受信したときは、その領域を表す画像を表示中の画像に重ねて表示する。【選択図】      図１１
2004208125.tif 000002
【特許請求の範囲】
【請求項１】
音声と画像を他の装置との間で送受する通信手段と、画像を表示する表示手段を備える通信端末装置であって、
使用者による画像の一部の領域の指定を受け付ける入力手段を備え、
画像を他の装置に送信したときに、送信した画像を表示した状態で、その装置との間で音声を送受し、
画像を他の装置から受信したときに、受信した画像を表示した状態で、その装置との間で音声を送受し、
画像を表示した状態で他の装置との間で音声を送受している間に、表示している画像の領域の指定を受け付けて、指定された領域を示す情報をその装置に送信するとともに、指定された領域を表す画像を表示している画像に重ねて表示し、画像の領域を示す情報をその装置から受信したときに、受信した情報が示す領域を表す画像を表示している画像に重ねて表示する
ことを特徴とする通信端末装置。
【請求項２】
画像を撮影する撮像手段を備え、撮影した画像を他の装置に送信することを特徴とする請求項１に記載の通信端末装置。
【請求項３】
画像を表示した状態で他の装置との間で送受した音声と領域を示す情報とを、その画像と共に記憶しておくことを特徴とする請求項１に記載の通信端末装置。
【請求項４】
請求項１に記載の通信端末装置を複数含むことを特徴とする通信システム。
【請求項５】
音声と画像を送受する通信の処理が記されている通信プログラムであって、
画像を送信し、送信した画像を表示した状態で音声を送受する処理と、
画像を受信し、受信した画像を表示した状態で音声を送受する処理と、
画像を表示した状態で音声を送受している間に、使用者による表示している画像の一部の領域の指定を受け付けて、指定された領域を示す情報を送信するとともに、指定された領域を表す画像を表示している画像に重ねて表示し、画像の領域を示す情報を受信したときに、受信した情報が示す領域を表す画像を表示している画像に重ねて表示する処理
を実行する命令が記されていることを特徴とする通信プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音声を送受する通信端末装置に関し、特に、音声の他に画像を送受する通信端末装置に関する。
【０００２】
【従来の技術】
デジタルカメラと表示装置と携帯式電話機とを組み合わせ、デジタルカメラで撮影した画像を電話機能によって送受するようにした携帯式の通信端末装置が特開２０００−１５１８７１号公報に提案されている。この装置では、撮影した画像を直ちに送信することが可能であり、情報量の多い画像を送信側と受信側で短時間で共有することができる。ただし、電話機能を通話すなわち音声の送受には利用しておらず、データタブレット、キーボード等の文字入力装置を備えて、文字で入力した情報を画像に付加して送信する。
【０００３】
近年では、デジタルカメラと表示装置を備えた携帯式電話機の普及が目覚ましく、撮影した画像を電子メールに添付して送信することが一般化している。このような携帯式電話機では、画像の送信側の使用者と受信側の使用者が共有している画像を見ながらリアルタイムで会話をすることができて、画像を共有することの意義が一層高い。
【０００４】
【特許文献１】特開２０００−１５１８７１号公報
【０００５】
【発明が解決しようとする課題】
しかし、一方の使用者が画像の中の特定の部位に関心をもって、その部位について説明しようとする場合、それがどの部位であるかが相手の使用者に判り難いことが多い。この場合、例えば「右上の・・・」等の言葉でその部位を示すことはできるが、正確に表現しようとすると、言葉が長くなって、会話が円滑でなくなり易い。
【０００６】
また、画像の中の関心をもつ部位のみを別途撮影して送信する方法や、画像を編集して関心をもつ部位のみを取り出して送信する方法もあるが、前者の方法は、使用者が撮影現場に留まっていなければ実行することはできず、後者の方法は編集処理という煩雑な作業が伴う。しかも、いずれの方法でも、同一の画像の中に関心をもつ部位が複数存在する場合は、撮影や編集を複数回行うことになって、会話が中断しがちである。画像の送信も複数回必要となり、通信にも無駄が生じる。
【０００７】
本発明はこのような問題点に鑑みてなされたもので、画像の中の部位を相手に示すことが容易な通信端末装置、通信システムおよび通信プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明では、音声と画像を他の装置との間で送受する通信手段と、画像を表示する表示手段を備える通信端末装置は、使用者による画像の一部の領域の指定を受け付ける入力手段を備え、画像を他の装置に送信したときに、送信した画像を表示した状態で、その装置との間で音声を送受し、画像を他の装置から受信したときに、受信した画像を表示した状態で、その装置との間で音声を送受し、画像を表示した状態で他の装置との間で音声を送受している間に、表示している画像の領域の指定を受け付けて、指定された領域を示す情報をその装置に送信するとともに、指定された領域を表す画像を表示している画像に重ねて表示し、画像の領域を示す情報をその装置から受信したときに、受信した情報が示す領域を表す画像を表示している画像に重ねて表示するものとする。
【０００９】
この通信端末装置は、画像を送信した後、あるいは画像を受信した後、その画像を表示しながら音声の送受を行う。その際、使用者が指定した領域を表す画像を表示している画像に重ねて表示するとともに、その領域を示す情報を相手装置に送信する。さらに、相手装置から受信した情報が示す領域すなわち相手装置の使用者が指定した領域を表す画像も、表示している画像に重ねて表示する。したがって、双方の装置の使用者は、相手の指定した領域を画像によって知ることができる。入力手段は手動で操作する構成とすることが可能であり、使用者は画像の中の関心をもつ領域を容易に指定することができる。
【００１０】
ここで、画像を撮影する撮像手段を備え、撮影した画像を他の装置に送信するようにするとよい。どのような方法で取得した画像であっても送信することは可能であるが、このように装置自体が画像を撮影し得るようにすると、画像の取得に制約がなくなり、利便性が高くなる。例えば、相手の要望に応じて直ちに画像を撮影して送信することが可能である。
【００１１】
画像を表示した状態で他の装置との間で送受した音声と領域を示す情報とを、その画像と共に記憶しておくようにしてもよい。通信終了後任意の時に通信を再現することが可能になる。
【００１２】
本発明ではまた、通信システムは上記の通信端末装置を複数含むものとする。この通信システムでは、使用者間で情報を効率よく供与し合うことができる。画像を表示した状態で音声を送受することを、同時に３つ以上の装置間で行うようにしてもよい。
【００１３】
本発明ではまた、音声と画像を送受する通信の処理が記されている通信プログラムは、画像を送信し、送信した画像を表示した状態で音声を送受する処理と、画像を受信し、受信した画像を表示した状態で音声を送受する処理と、画像を表示した状態で音声を送受している間に、使用者による表示している画像の一部の領域の指定を受け付けて、指定された領域を示す情報を送信するとともに、指定された領域を表す画像を表示している画像に重ねて表示し、画像の領域を示す情報を受信したときに、受信した情報が示す領域を表す画像を表示している画像に重ねて表示する処理を実行する命令が記されているものとする。この通信プログラムは、上記の通信端末装置および通信システムの一要素であり、記録媒体に記録して配布することができるし、通信によって配布することもできる。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら説明する。第１の実施形態の通信端末装置である携帯式電話機１の外観を図１に模式的に示す。図１において、（ａ）は携帯式電話機１の正面図、（ｂ）は背面図である。携帯式電話機１は、電話機としての機能を実現するために、マイクロフォン１１、スピーカ１２、電話番号入力用のテンキー２１、信号を電波として送受するアンテナ５１を備えている。携帯式電話機１はインターネットを介して電子メールを送受する機能も備えており、テンキー２１は文書作成に際して文字入力のためにも操作される。
【００１５】
携帯式電話機１は、液晶表示器より成る表示部３０とデジタルカメラより成る撮像部を備えており、背面には撮像部に含まれる撮影レンズ４１が現れている。撮像部によって撮影した画像は、表示部３０に表示したり、着脱可能な記録媒体であるメモリカードに記録したりすることが可能であり、電子メールに添付して送信することもできる。電子メールの添付ファイルとして受信した画像を表示部３０に表示することも可能である。
【００１６】
前面には、所定の機能に割り当てられた複数のファンクションキー２２と、表示部３０に表示されるカーソル（ポインタ）の移動のために操作される４つのカーソルキー２３が設けられている。ファンクションキー２２には各キーの機能を表す「確定」等の記号が付されており、４つのカーソルキー２３にはそれぞれ上下左右の方向を示す三角形の記号が付されている。以下、ファンクションキー２２を、付されている記号で表して、例えば確定キーとよぶ。
【００１７】
携帯式電話機１の回路構成を図２に模式的に示す。携帯式電話機１は上述の各部に加えて、音声処理部１３、画像処理部４３、通信部５０、制御部６０、および記録部７０を備える。なお、操作部２０は、テンキー２１、ファンクションキー２２、カーソルキー２３等、使用者によって操作される構成要素の総称である。また、撮像素子４２はＣＣＤエリアセンサより成り、撮影レンズ４１と共に撮像部４０を成す。
【００１８】
音声処理部１３は、マイクロフォン１１で検出されたアナログ信号の音声をデジタル化するとともに、デジタル信号として受信した音声をアナログ化してスピーカ１２より出力させる。画像処理部４３は、撮像素子４２の出力信号にデジタル化、ホワイトバランス調整、γ補正等の諸処理を施して、撮影した画像を表す画像データを生成する。通信部５０は、音声、画像等の送信する信号によって搬送波を変調してアンテナ５１より送出し、アンテナ５１が受けた搬送波を復調して受信すべき信号を抽出する。また、回線の接続、切断も行う。記録部７０は、画像（画像データ）と音声と画像に関する情報をメモリカード７１に記録するとともに、これらをメモリカード７１から読み出す。
【００１９】
制御部６０は、ＣＰＵを含み、各部を制御して携帯式電話機１全体の動作を制御する。プログラムメモリ６１は、制御部６０が行う処理を記したプログラム、および処理に用いるパラメータを記憶しており、データメモリ６２は、制御部６０が処理に用いるデータを一時的に記憶する。
【００２０】
携帯式電話機１は、電子メールに添付して画像を送信した後、その画像を表示部３０に表示した状態で通話すなわち音声の送受をする動作モードを有する。この動作モードを送信画像表示通話モードという。携帯式電話機１は、また、画像が添付されている電子メールを受信した後、その画像を表示部３０に表示した状態で通話を行う動作モードを有する。この動作モードを受信画像表示通話モードという。画像を送信した携帯式電話機１を送信画像表示通話モードに設定し、画像を受信した携帯式電話機１を受信画像表示通話モードに設定することで、双方の使用者は同一の画像を見ながらその画像について会話をすることができる。
【００２１】
携帯式電話機１は、さらに、送信画像表示通話モードおよび受信画像表示通話モードにおいて、表示している画像の一部の領域を使用者により指定されて、その領域を示す情報を相手装置に送信し、その領域を表す画像を表示部３０に表示している画像に重ねて表示する機能を有する。また、領域を示す情報を受信したときに、その情報が示す領域を表す画像を表示部３０に表示している画像に重ねて表示する機能も有する。
【００２２】
表示している画像に指定された領域を示す画像を重ねて表示した例を図１１に示す。図１１において、（ａ）は送信画像表示通話モードでの表示、（ｂ）は受信画像表示通話モードでの表示であり、符号Ｆが指定された領域を表す画像である。なお、ここでは、画像送信側の携帯式電話機１の使用者が指定した領域を表す画像のみを示しているが、画像受信側の使用者が指定した領域を表す画像も表示される。
【００２３】
携帯式電話機１の直接の使用者が指定した領域を表す画像と、相手から受信した情報が示す領域を表す画像とは、色、線種等が異なる態様で表示される。このように表示態様を相違させることで、各使用者は自身が指定した領域か相手が指定した領域かを容易に知ることができる。
【００２４】
使用者は、ファンクションキー２２の中のメニューキーを操作して表示部３０に動作モード名を一覧表示させ、カーソルキー２２を操作して所望の動作モード名上にカーソルを位置させ、確定キーを操作することによって、動作モードを選択する。送信画像表示通話モードが選択されたとき、メモリカード７１に記録している画像の名前が表示部３０に一覧表示される。使用者は、カーソルキー２３と確定キーの操作により画像を選択して、選択した画像を表示部３０に表示させる。画像の選択は取消キーを操作することにより取り消すこともできる。
【００２５】
使用者は、選択した画像が送信したいものであれば、送信キーを操作する。これにより、その画像があらかじめ作成しておいた電子メールに添付されて送信される。画像の送信後、あらかじめ指定しておいた電話番号への回線接続処理が行われ、相手側の携帯式電話機１で着信が報知される。
【００２６】
着信に応じて相手側の携帯式電話機１の使用者は受信を開始し、送信側の使用者から画像を送信したことを知らされて、受信画像表示通話モードを選択する。受信画像表示通話モードが選択されると、受信した最新の画像が表示部３０に表示され、それ以降、画像送信側と受信側の使用者は同じ画像を見ながら会話（通話）をする。
【００２７】
送信画像表示通話モードで画像を送信したときは、制御部６０によって、表示部３０の中央に位置する所定の大きさの標準の領域が設定される。この標準の領域は直ちに表示部３０に表示され、送信される。使用者は、カーソルキー２３と確定キーを操作することにより標準の領域の位置および大きさを変えて、所望の領域を指定する。指定した領域は送信キーを操作することにより送信される。領域の指定および送信は随時行うことができる。
【００２８】
本実施形態の携帯式電話機１は、通話中には電子メールを送受することができない通信サービスの下で使用することを前提としており、使用者が指定した領域を表す情報は、画像と同様に、電子メールに添付して送信する。通話中、制御部６０は、音声の送受が実際になされているか否かを監視しておき、送信キーにより領域を表す情報の送信が指示されたときは、音声の送受がなくなるのを待ち、音声の送受がなくなった時点で、回線を切断し、領域を示す情報を送信し、直ちに回線を再接続する。
【００２９】
本実施形態の通信システム６の構成を図３に模式的に示す。通信システム６には、複数の携帯式電話機１と複数の中継局３のほか、電子メールの送受を仲介するためのサーバ４が含まれている。各携帯式電話機１から送信された画像や領域を示す情報は、一旦サーバ４に受信され、サーバ４から宛先の携帯式電話機１に送信される。
【００３０】
サーバ４は、大容量の記録装置４ａを備えており、送信画像表示通話モードおよび受信画像表示通話モードでの携帯式電話機１間の通信内容を記録しておく。サーバ４が記録する内容および構造を図４に模式的に示す。サーバ４は、送信画像表示通話モードおよび受信画像表示通話モードで通信を行っている携帯式電話機１の組ごとに、（ａ）ユーザテーブル、（ｂ）画像テーブル、（ｃ）領域テーブル、および（ｄ）通話テーブルの４種のテーブルを作成して、記録装置４ａに記録する。
【００３１】
ユーザテーブルには、各携帯式電話機１の電話番号と使用者の名前が記される。画像テーブルには、送信された画像のファイル名と送信時刻と送信者が記される。領域テーブルには、送信された領域を示す情報（位置および大きさ）と送信時刻が記される。また、通話テーブルには、送信された音声（通話内容）と送信時刻が記される。領域テーブルおよび通話テーブルは使用者ごとに分類されている。
【００３２】
送信画像表示通話モードおよび受信画像表示通話モードで相互に通信を行う携帯式電話機１は２台に限られない。図３および図４に示すように、３台以上の携帯式電話機１が同時にこれらの動作モードで相互に通信を行うこともできる。その場合、各携帯式電話機１は、全ての携帯式電話機１で指定された領域を表す画像を表示し、それらの画像の表示態様を全て相違させる。また、図４（ｂ）に示すように、複数の画像を送信することも可能である。各携帯式電話機１は画像を送受するごとに、表示する画像を最新のものに更新する。
【００３３】
各携帯式電話機１の制御部６０は、相手の携帯式電話機１との回線接続を監視しておき、相手が回線を切断したときには、画像や領域を示す情報が新たに送信された（画像テーブルまたは領域テーブルに記録された）か否かをサーバ４に問い合わせる。サーバ４は、新たな画像や情報があるときは、その画像や情報を問い合わせた携帯式電話機１に送信し、なければない旨を通知する。領域を示す情報の送信は、通話用の回線を一旦切断して行うが、この処理を行うことで、相手の携帯式電話機１が画像や領域を示す情報を送信したときは、その画像や情報を確実にかつ速やかに得ることができる。
【００３４】
通信システム６における通信の流れを図５に模式的に示す。この例は、２台の携帯式電話機１が、送信画像表示通話モードおよび受信画像表示通話モードで動作するときのものであり、画像を送信する携帯式電話機１を端末Ａ、画像を受信する携帯式電話機１を端末Ｂで表している。
【００３５】
まず、端末Ａがサーバ４に画像を送信し、端末Ｂがその画像をサーバから受信する。次いで、標準の領域を示す情報を端末Ａがサーバに送信し、端末Ｂがその情報をサーバから受信する。その後、通話のための回線接続がなされ、端末Ａと端末Ｂとの間で音声の送受がなされる。送信された音声はサーバも受信して、サーバに記録される。その後は、使用者によって領域が指定されるごとに、端末Ａまたは端末Ｂからサーバを介して端末Ｂまたは端末Ａに、その領域を示す情報が送信される。この例では、画像の送信に続いて標準の領域を示す情報が端末Ａから送信された後、使用者によって指定された領域を示す情報が端末Ａと端末Ｂから交互に送信されている。
【００３６】
なお、領域を示す情報の送受のために、回線を切断してサーバに接続する処理と、サーバへの接続を切断して回線を再接続する処理は、制御部６０が自動的に行うから、使用者は、領域を指定し送信を指示する操作だけを行えばよく、操作は簡単である。また、ここでは最初に画像を送信した後は画像を送信していないが、前述のように、新たな画像の送信も可能である。その場合も、使用者は画像を選択して送信を指示するだけでよい。
【００３７】
送信画像表示通話モードでの携帯式電話機１の処理の流れを図６に示す。まず、使用者が選択した画像を表示部３０に表示し（ステップ＃１０２）、標準の領域を設定して（＃１０４）、その領域を表す画像を表示する（＃１０６）。次いで、サーバ４に接続して（＃１０８）、画像と標準の領域を示す情報とを送信し（＃１１０）、サーバへの接続を切断して（＃１１２）、通話のための回線を接続する（＃１１４）。ステップ＃１１４での接続に応えて相手の携帯式電話機１が回線を接続することで、音声の送受が開始される（＃１１６）。
【００３８】
音声の送受開始後、使用者により領域の指定が要求されたか否かを判定し（＃１１８）、要求されたときは、操作に応じて領域の位置および大きさを変更し（＃１２０）、変更後の領域を表す画像を表示する（＃１２２）。そして、音声の送受状態を検出し（＃１２４）、送信中または受信中であれば、音声の送受がなくなるのを待つ（＃１２６）。音声の送信および受信がなくなった時点で、通話のための回線を切断し（＃１２８）、サーバに接続して（＃１３０）、変更後の領域を示す情報を送信する（＃１３２）。情報の送信後直ちにサーバへの接続を切断し（＃１３４）、回線を接続して（＃１３６）、音声の送受を再開する（＃１３８）。
【００３９】
ステップ＃１３８の後、およびステップ＃１１８の判定で領域の指定が要求されていないときは、使用者により新たな画像の送信が要求されたか否かを判定する（＃１４０）。新たな画像の送信が要求されたときは、回線を切断して（＃１４２）、ステップ＃１０２に戻る。
【００４０】
ステップ＃１４０の判定で新たな画像の送信が要求されないときは、相手の携帯式電話機１が回線を切断したか否かを判定し（＃１４４）、切断していなければ、ステップ＃１１８に戻る。相手が回線を切断しているときは、回線を切断して（＃１４６）、サーバに接続する（＃１４８）。そして、相手から新たに送信された画像がサーバにあれば、その画像とその画像と共に送信された領域を示す情報とを受信する（＃１５０）。受信後、その画像を表示し（＃１５２）、その領域を表す画像を表示して（＃１５４）、ステップ＃１１２に戻る。
【００４１】
ステップ＃１５０の判定で新たな画像をサーバから受信しないとき、相手から新たに送信された領域を示す情報がサーバにあれば、それを受信する（＃１５６）。受信後、その情報が示す領域を表す画像を表示して（＃１５８）、ステップ＃１１２に戻る。
【００４２】
ステップ＃１５６の判定で領域を示す新たな情報を受信しないときは、使用者により通話の終了が要求されているか否かを判定する（＃１６０）。通話の終了が要求されていなければステップ＃１１２に戻り、要求されていれば送信画像表示通話モードを終了する。
【００４３】
なお、相手が回線を切断して画像も領域を示す情報も送信しない状態（ステップ＃１４４の判定結果が真になり、ステップ＃１５０、＃１５６の判定結果がいずれも偽になる状態）が所定時間継続するときに、その旨を表示するようにしてもよい。これにより、相手が予告なく通話を終了した場合でも、使用者はそれを知って、送信画像表示通話モードを終了することができる。
【００４４】
受信画像表示通話モードでの携帯式電話機１の処理の流れを図７に示す。この処理は、図６のステップ＃１１６での会話により相手から画像が送信されたことを知った使用者が、携帯式電話機１を受信画像表示通話モードに設定することにより開始される。
【００４５】
まず、通話のための回線を切断して（ステップ＃２０２）、サーバ４に接続し（＃２０４）、画像と領域を示す情報とを受信して（＃２０６）、受信した画像を表示部３０に表示し（＃２０８）、受信した情報が示す領域を表す画像を表示する（＃２１０）。次いで、サーバへの接続を切断して（＃２１２）、通話のための回線を接続する（＃２１４）。これで音声の送受が再開される（＃２１６）。
【００４６】
音声の送受再開後、使用者により領域の指定が要求されたか否かを判定し（＃２１８）、要求されたときは、標準の領域を設定して表示し（＃２２０、＃２２２）、さらに、図６のステップ＃１２０からステップ＃１３８までと同じ処理を行う（＃２２４）。
【００４７】
ステップ＃２２４の後、およびステップ＃２１８の判定で領域の指定が要求されていないときは、使用者により新たな画像の送信が要求されたか否かを判定する（＃２２６）。新たな画像の送信が要求されたときは、その画像を表示し（＃２２８）、標準の領域を設定して表示し（＃２３０、＃２３２）、回線を切断して（＃２３４）、サーバに接続し（＃２３６）、画像と領域を示す情報とを送信する（＃２３８）。送信後、ステップ＃２１２に戻る。
【００４８】
ステップ＃２２６の判定で新たな画像の送信が要求されないときは、相手の携帯式電話機１が回線を切断したか否かを判定し（＃２４０）、切断していなければ、ステップ＃２１８に戻る。相手が回線を切断しているときは、回線を切断して（＃２４２）、サーバに接続する（＃２４４）。そして、相手から新たに送信された画像がサーバにあれば、その画像とその画像と共に送信された領域を示す情報とを受信して（＃２４６）、受信した画像を表示し（＃２４８）、領域を表す画像を表示して（＃２５０）、ステップ＃２１２に戻る。
【００４９】
ステップ＃２４６の判定で新たな画像をサーバから受信しないとき、相手から新たに送信された領域を示す情報がサーバにあれば、それを受信し（＃２５２）、領域を表す画像を表示して（＃２５４）、ステップ＃２１２に戻る。
【００５０】
ステップ＃２５２の判定で領域を示す新たな情報を受信しないときは、使用者により通話の終了が要求されているか否かを判定する（＃２５６）。通話の終了が要求されていなければステップ＃２１２に戻り、要求されていれば受信画像表示通話モードを終了する。なお、送信画像表示通話モードの説明でも述べたように、相手が回線を切断して画像も領域を示す情報も送信しない状態が所定時間継続するときに、その旨を表示するようにしてもよい。
【００５１】
図６のステップ＃１４０および図７のステップ＃２２６の判定結果が真のときに新たに送信する画像は、送信画像表示通話モードや受信画像表示通話モードに設定される前からメモリカード７１に記録しておいたものでもよいし、ステップ＃１４０、＃２２６に続いて撮像部４０によって新たに撮影してメモリカード７１に記録したものでもよい。このように、通話の途中で画像を撮影して、その画像を送信するようにすると、相手の使用者が表示されている画像の外部に関心をもったときに、その画像を直ちに提供することが可能になる。
【００５２】
サーバ４は、記録装置４ａに記録した内容を所定の期間保持しておき、図４（ａ）のユーザテーブルに記録されている使用者の携帯式電話機１から要求があったときに、ユーザテーブル、画像テーブル、領域テーブル、および通話テーブルの記録内容を電子メールに添付して、その携帯式電話機１に送信する。したがって、携帯式電話機１の使用者は、通話終了後も所定期間内であれば、サーバ４より記録を得て、画像を表示しながら通話を再現することが可能である。記録には画像、領域を示す情報、通話の内容それぞれについて送信時刻が記されているから、画像および領域の表示ならびに通話内容の再生を送信の順序に従って行うことが可能であり、これにより、どの画像のどの部位についての会話であるかが容易に判る。
【００５３】
図３に示すように、パーソナルコンピュータ（ＰＣ）５からサーバ４に要求して、記録内容をパーソナルコンピュータ５で受信するようにすることもできる。この場合、プライバシーの保護のために、電話番号に対応づけて暗証番号を設定しておき、パーソナルコンピュータ５からサーバ４に正しい暗証番号が送信されたとき限って、記録内容を送信するようにするとよい。
【００５４】
なお、携帯式電話機１自体が、画像、領域を示す情報および音声を送受するごとに、それらをメモリカード７１に記録しておくようにしてもよい。その場合、サーバ４は通信終了後は記録を保持しておく必要がなく、記録装置４ａとして記録容量の小さいものを用いることができる。携帯式電話機１自体が記録する内容および構成は図４（ａ）〜（ｄ）に示したものと同様である。画像テーブル、領域テーブルおよび通話テーブルには、送信したものと受信したものの双方を含めておき、受信したものについては受信時刻を送信時刻として記録する。
【００５５】
携帯式電話機１の送信画像表示通話モードおよび受信画像表示通話モードの処理は制御部６０が行い、そのためのプログラムはメモリ６１に記憶しているが、このプログラムは携帯式電話機１の製造時にメモリ６１に記憶させておくようにしてもよいし、サーバ４からＡＳＰ（Application Service Provider）サービスとして提供するようにしてもよい。また、コンパクトディスク（ＣＤ）等の記録媒体に記録して配布するようにしてもよい。
【００５６】
第２の実施形態について説明する。第１の実施形態は、通話中には電子メールを送受することができない通信サービスを前提として、画像や領域を示す情報を電子メールに添付して送信するものであったが、本実施形態は、音声を伝送する回線で音声以外の情報も伝送する通信サービスを前提としたものであり、画像や領域を示す情報を、電子メールに添付することなく、音声と同様に送信する。本実施形態の通信システム７の構成を図８に模式的に示す。通信システム７にはサーバは含まれていない。
【００５７】
本実施形態の通信端末装置である携帯式電話機２は図１および図２に示した構成であり、第１の実施形態の携帯式電話機１とは、送信画像表示通話モードおよび受信画像表示通話モードにおける制御が異なるのみである。サーバに接続する必要のない携帯式電話機２では、送信画像表示通話モードおよび受信画像表示通話モードの最初に回線を接続し、最後に回線を切断するだけでよく、これらの動作モードにおける処理は簡素である。なお、通信システム７にはサーバが含まれていないため、画像、領域を示す情報、および通話内容は、送受するごとに携帯電話機２自体が記録媒体７１に記録する。
【００５８】
送信画像表示通話モードでの携帯式電話機２の処理の流れを図９に示す。まず、通話のための回線を接続する（ステップ＃３０２）。次いで、使用者が選択した画像を表示部３０に表示し（＃３０４）、標準の領域を設定して（＃３０６）、その領域を示す情報をメモリカード７１に記録し（＃３０８）、その領域を表す画像を表示して（＃３１０）、画像と領域を示す情報とを送信する（＃３１２）。ステップ＃３１２での送信に応えて相手の携帯式電話機２が回線を接続することで、音声の送受が開始され、音声の記録も可能になる（＃３１４）。
【００５９】
音声の送受開始後、使用者により領域の指定が要求されたか否かを判定する（＃３１６）。要求されたときは、操作に応じて領域の位置および大きさを変更して（＃３１８）、変更後の領域を示す情報を記録するとともに（＃３２０）、その領域を表す画像を表示する（＃３２２）。また、その領域を示す情報を送信する（＃３２４）。
【００６０】
ステップ＃３２４の後、およびステップ＃３１６の判定で領域の指定が要求されていないときは、使用者により新たな画像の送信が要求されたか否かを判定する（＃３２６）。新たな画像の送信が要求されたときは、ステップ＃３０４に戻る。ステップ＃３０４に戻った後のステップ＃３１４では、音声の送受を継続することになる。
【００６１】
ステップ＃３２６の判定で新たな画像の送信が要求されないときは、相手の携帯式電話機２から画像と領域を示す情報とを受信したか否かを判定する（＃３２８）。受信したときは、その画像を記録し（＃３３０）、領域を示す情報も記録して（＃３３２）、画像と領域を表す画像を表示する（＃３３４、＃３３６）。そして、ステップ＃３１６に戻る。
【００６２】
ステップ＃３２８の判定で新たな画像を受信しないときは、相手から領域を示す情報を受信したか否かを判定する（＃３３８）。受信したときは、その情報を記録し（＃３４０）、情報が示す領域を表す画像を表示して（＃３４２）、ステップ＃３１６に戻る。
【００６３】
ステップ＃３３８の判定で領域を示す新たな情報を受信しないときは、使用者により通話の終了が要求されているか否かを判定し（＃３４４）、要求されていなければステップ＃３１６に戻り、要求されていれば回線を切断して（＃３４６）、送信画像表示通話モードを終了する。
【００６４】
受信画像表示通話モードでの携帯式電話機２の処理の流れを図１０に示す。この処理は、図９のステップ＃３１４での会話により相手から画像が送信されたことを知った使用者が、携帯式電話機２を受信画像表示通話モードに設定することにより開始される。まず、回線を接続した状態に保ち（ステップ＃４０２）、音声の送受を継続して、音声の記録を開始する（＃４０４）。
【００６５】
次いで、相手から送信された画像と領域を示す情報とを受信して（＃４０６）、受信した画像をメモリカード７１に記録し（＃４０８）、領域を示す情報も記録する（＃４１０）。また、画像と領域を表す画像を表示部３０に表示する（＃４１２、＃４１４）。
【００６６】
その後、使用者により領域の指定が要求されたか否かを判定する（＃４１６）。要求されたときは、操作に応じて領域の位置および大きさを変更して（＃４１８）、変更後の領域を示す情報を記録するとともに（＃４２０）、その領域を表す画像を表示する（＃４２２）。また、その領域を示す情報を送信する（＃４２４）。
【００６７】
ステップ＃４２４の後、およびステップ＃４１６の判定で領域の指定が要求されていないときは、使用者により新たな画像の送信が要求されたか否かを判定する（＃４２６）。新たな画像の送信が要求されたときは、その画像を表示し（＃４２８）、標準の領域を設定して（＃４３０）、その領域を示す情報をメモリカードに記録する（＃４３２）。さらに、その領域を表す画像を表示し（＃４３４）、画像と領域を示す情報とを送信して（＃４３６）、ステップ＃４１６に戻る。
【００６８】
ステップ＃４２６の判定で新たな画像の送信が要求されないときは、相手の携帯式電話機２から画像と領域を示す情報とを受信したか否かを判定する（＃４３８）。受信したときは、その画像を記録し（＃４４０）、領域を示す情報も記録して（＃４４２）、画像と領域を表す画像を表示する（＃４４６、＃４４８）。そして、ステップ＃４１６に戻る。
【００６９】
ステップ＃４３８の判定で新たな画像を受信しないときは、相手から領域を示す情報を受信したか否かを判定する（＃４４８）。受信したときは、その情報を記録し（＃４５０）、情報が示す領域を表す画像を表示して（＃４５２）、ステップ＃４１６に戻る。
【００７０】
ステップ＃４４８の判定で領域を示す新たな情報を受信しないときは、使用者により通話の終了が要求されているか否かを判定し（＃４５４）、要求されていなければステップ＃４１６に戻り、要求されていれば回線を切断して（＃４５６）、送信画像表示通話モードを終了する。
【００７１】
なお、図９のステップ＃３２６および図１０のステップ＃４２６の判定結果が真のときに新たに送信する画像は、前述のように、送信画像表示通話モードや受信画像表示通話モードに設定される前からメモリカード７１に記録しておいたものでもよいし、ステップ＃３２６、＃４２６に続いて撮像部４０によって新たに撮影してメモリカード７１に記録したものでもよい。
【００７２】
第１、第２の実施形態においては、携帯式電話機１、２に撮像部４０を備えて、撮影した画像を送信するようにしているが、本発明は、撮像手段を備えない通信装置にも適用することが可能である。撮像手段を備えない通信装置は、別個の撮像装置で撮影した画像や、他の装置から通信によって受信した画像を、送信画像表示通話モードや受信画像表示通話モードで送信することになる。また、各実施形態では、画像を送信するごとに標準の領域を送信するようにしているが、標準の領域の送信を省略して、使用者が指定した領域のみを送信するようにしてもよい。
【００７３】
【発明の効果】
音声と画像を他の装置との間で送受する通信手段と、画像を表示する表示手段に加えて、使用者による画像の一部の領域の指定を受け付ける入力手段を備え、画像を他の装置に送信したときに、送信した画像を表示した状態で、その装置との間で音声を送受し、画像を他の装置から受信したときに、受信した画像を表示した状態で、その装置との間で音声を送受し、画像を表示した状態で他の装置との間で音声を送受している間に、表示している画像の領域の指定を受け付けて、指定された領域を示す情報をその装置に送信するとともに、指定された領域を表す画像を表示している画像に重ねて表示し、画像の領域を示す情報をその装置から受信したときに、受信した情報が示す領域を表す画像を表示している画像に重ねて表示するようにした本発明の通信端末装置によると、使用者は、画像の中の自己が関心をもつ領域を容易に相手に知らせ、相手が関心をもつ領域を容易に知ることができる。したがって、会話が円滑に進行する。
【００７４】
画像を撮影する撮像手段を備え、撮影した画像を他の装置に送信するようにすると、画像の取得に制約がなくなって利便性が高くなり、例えば、相手の要望に応じて直ちに画像を撮影して送信することができる。
【００７５】
画像を表示した状態で他の装置との間で送受した音声と領域を示す情報とを、その画像と共に記憶しておくようにすると、通信終了後任意の時に通信を再現することが可能になる。
【００７６】
上記の通信端末装置を複数含む本発明の通信システムでは、使用者間で情報を効率よく供与し合うことができる。
【００７７】
画像を送信し、送信した画像を表示した状態で音声を送受する処理と、画像を受信し、受信した画像を表示した状態で音声を送受する処理と、画像を表示した状態で音声を送受している間に、使用者による表示している画像の一部の領域の指定を受け付けて、指定された領域を示す情報を送信するとともに、指定された領域を表す画像を表示している画像に重ねて表示し、画像の領域を示す情報を受信したときに、受信した情報が示す領域を表す画像を表示している画像に重ねて表示する処理を実行する命令が記されている本発明の通信プログラムでは、上記の効果を奏する通信端末装置および通信システムを実現することができる。
【図面の簡単な説明】
【図１】第１の実施形態および第２の実施形態の携帯式電話機の外観を模式的に示す図。
【図２】第１の実施形態および第２の実施形態の携帯式電話機の回路構成を模式的に示す図。
【図３】第１の実施形態の通信システムの構成を模式的に示す図。
【図４】第１の実施形態の通信システムにおけるサーバが記録する内容および構造を模式的に示す図。
【図５】第１の実施形態の通信システムにおける通信の流れを模式的に示す図。
【図６】第１の実施形態の携帯式電話機の送信画像表示通話モードでの処理の流れを示すフローチャート。
【図７】第１の実施形態の携帯式電話機の受信画像表示通話モードでの処理の流れを示すフローチャート。
【図８】第２の実施形態の通信システムの構成を模式的に示す図。
【図９】第２の実施形態の携帯式電話機の送信画像表示通話モードでの処理の流れを示すフローチャート。
【図１０】第２の実施形態の携帯式電話機の受信画像表示通話モードでの処理の流れを示すフローチャート。
【図１１】第１の実施形態および第２の実施形態の携帯式電話機における画像の表示例を示す図。
【符号の説明】
１、２  携帯式電話機
３      中継局
４      サーバ
５      パーソナルコンピュータ
６、７  通信システム
１１      マイクロフォン
１２      スピーカ
１３      音声処理部
２０      操作部
２１      テンキー
２２      ファンクションキー
２３      カーソルキー
３０      表示部
４０      撮像部
４１      撮影レンズ
４２      撮像素子
４３      画像処理部
５０      通信部
５１      アンテナ
６０      制御部
６１      プログラムメモリ
６２      データメモリ
７０      記録部
７１      メモリカード
【図１】
2004208125.tif 000003
【図２】
2004208125.tif 000004
【図３】
2004208125.tif 000005
【図４】
2004208125.tif 000006
【図５】
2004208125.tif 000007
【図６】
2004208125.tif 000008
【図７】
2004208125.tif 000009
【図８】
2004208125.tif 000010
【図９】
2004208125.tif 000011
【図１０】
2004208125.tif 000012
【図１１】
2004208125.tif 000013