(57)【要約】【課題】  送信側通信装置には、ポインタ像送信のための特別な回路を必要とせず、任意の色や形状のポインタ像を使用することもでき、受信側通信装置は画像通信方式に対応しているだけでポインタ像送受信のための特別な回路または制御を必要とせず、ポインタ像を予め記憶しておく必要もない通信装置を得る。【解決手段】  通信装置は、被写体を撮影する撮影装置２、この撮影装置２の撮影した画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部１２、上記画像及び該画像上の上記座標情報を含むポインタ像を符号化する画像符号化部１３、及びこの画像符号化部１３で符号化された合成画像を送信する送信部２１を備えた。【選択図】          図１
2005142919.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影装置、この撮影装置の撮影した画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部、上記撮影装置の撮影した画像に上記ポインタ入力部の入力するポインタ像を上記所定の座標位置で合成する表示画像合成部、この表示画像合成部で合成した合成画像を表示する表示部、上記画像及び該画像上の上記座標情報を含むポインタ像を符号化する画像符号化部、及びこの画像符号化部で符号化された合成画像を送信する送信部を備えたことを特徴とする通信装置。
【請求項２】
画像を記憶する記憶部、上記画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部、上記記憶部の画像に上記ポインタ入力部の入力するポインタ像を上記所定の座標位置で合成する表示画像合成部、この表示画像合成部で合成した合成画像を表示する表示部、上記画像及び該画像上の上記座標情報を含むポインタ像を符号化する画像符号化部、及びこの画像符号化部で符号化された合成画像を送信する送信部を備えたことを特徴とする通信装置。
【請求項３】
画像を記憶する記憶部、上記画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部、上記記憶部の画像に上記ポインタ入力部の入力するポインタ像を上記所定の座標位置で合成する表示画像合成部、この表示画像合成部で合成した合成画像を表示する表示部、上記ポインタ像及び所定の座標位置を符号化する画像符号化部、及びこの画像符号化部で符号化された画像を送信する送信部を備えたことを特徴とする通信装置。
【請求項４】
音声を入力する音声入力部、この音声入力部から入力した音声を符号化する音声符号化部、画像符号化部で符号化された符号化画像と上記音声符号化部で符号化された符号化音声とを多重する多重部を備え、送信部は、上記多重部で多重した多重信号を送信することを特徴とする請求項１〜３のいずれかに記載の通信装置。
【請求項５】
画像とポインタ像とを合成する送信画像合成部を備え、画像符号化部は、上記送信画像合成部で合成した画像を符号化することを特徴とする請求項１又は２のいずれかに記載の通信装置。
【請求項６】
画像符号化部は、画像とポインタ像とを別々に符号化することを特徴とする請求項１又は２のいずれかに記載の通信装置。
【請求項７】
画像符号化部は、画像を矩形形状に符号化し、ポインタ像を任意形状に符号化することを特徴とする請求項６記載の通信装置。
【請求項８】
画像符号化部は、ポインタ像を任意形状に符号化することを特徴とする請求項３記載の通信装置。
【請求項９】
画像を記憶する記憶部と
上記画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部とを有する少なくとも２つの通信装置間で相互に画像通信する画像通信システムにおいて、
上記少なくとも２つの通信装置は、上記記憶部に予め同一の画像を記憶しており、
相手通信装置から送信された上記画像上の座標情報を含むポインタ像の符号化画像を受信する受信部、
この受信部で受信した上記符号化画像を復号化して上記ポインタ像を復元する画像復号化部、
自通信装置の上記記憶部に記憶する上記画像に上記画像復号化部で復号化した上記ポインタ像及び自通信装置の上記ポインタ入力部の入力するポインタ像を所定の座標位置で合成する表示画像合成部、
この表示画像合成部で合成した合成画像を表示する表示部、
自通信装置の上記ポインタ入力部の入力する上記座標情報を含む上記ポインタ像を符号化する画像符号化部、
及びこの画像符号化部で符号化された符号化画像を上記相手通信装置へ送信する送信部
を備えたことを特徴とする画像通信システム。
【請求項１０】
画像を記憶する記憶部と
上記画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部とを有する少なくとも２つの通信装置間で相互に画像通信する画像通信システムにおいて、
上記少なくとも２つの通信装置は、上記記憶部に予め同一の画像を記憶しており、
相手通信装置から送信された上記画像及び該画像上の座標情報を含むポインタ像の符号化画像を受信する受信部と、
この受信部で受信した上記符号化画像を復号化して上記画像及びポインタ像を復元する画像復号化部と、
自通信装置が予め上記記憶部に記憶している画像又は上記画像復号化部で復号化した画像と、上記画像復号化部で復号化したポインタ像及び自通信装置の上記ポインタ入力部の入力するポインタ像とを所定の座標位置で合成する表示画像合成部と、
この表示画像合成部で合成した合成画像を表示する表示部と、
自通信装置が予め上記記憶部に記憶している画像又は上記画像復号化部で復号化した画像と、自通信装置の上記ポインタ入力部の入力する画像上の上記座標情報を含む上記ポインタ像とを符号化する画像符号化部と、
この画像符号化部で符号化された符号化画像を送信する送信部
を備えた
ことを特徴とする画像通信システム。
【請求項１１】
予め第１画像を記憶する第１記憶部と、
上記第１画像上の所定の座標位置に第１ポインタ像を入力するための第１ポインタ入力部と、
第２通信装置から送信された第２ポインタ入力部の入力する座標情報を含む第２ポインタ像の第２符号化画像を受信する第１受信部と、
この第１受信部で受信した上記第２符号化画像を復号化して上記第２ポインタ像を復元する第１画像復号化部と、
上記第１画像に上記第１画像復号化部で復号化した上記第２ポインタ像及び上記第１ポインタ入力部の入力する第１ポインタ像を所定の座標位置で合成する第１表示画像合成部と、
この第１表示画像合成部で合成した合成画像を表示する第１表示部と、
上記第１画像及び上記座標情報を含む上記第１ポインタ像を符号化する第１画像符号化部と、
この第１画像符号化部で符号化された第１符号化画像を送信する送信部と
を備えた第１通信装置と、
上記第１通信装置から送信された第１符号化画像を受信する第２受信部と、
この第２受信部で受信した上記第１符号化画像を復号化して上記第１画像及び上記第１ポインタ像を復元する第２画像復号化部と、
上記第１通信装置から送信された第１画像及び第１ポインタ像を記憶する第２記憶部と、
上記第２画像復号化部で復号化した上記第１画像及び上記第１ポインタ像並びに上記第２ポインタ入力部の入力する第２ポインタ像を所定の座標位置で合成する第２表示画像合成部と、
この第２表示画像合成部で合成した合成画像を表示する第２表示部と、
上記第２画像復号化部で復号化した上記第１画像上の上記座標情報を含む上記第２ポインタ像を符号化する第２画像符号化部と、
この第２画像符号化部で符号化された第２符号化画像を送信する送信部と
を備えた第２通信装置とで構成され、
上記第１通信装置と上記第２通信装置とで相互に画像通信する
ことを特徴とする画像通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を送受信する通信装置に関し、特に、ディスプレイ上の座標を指し示すポインティングデバイスを使用し、画像の所定の座標位置にポインタ像を入力することのできる通信装置に関する。
【背景技術】
【０００２】
従来の画像通信装置においては、ポインタ検出部により検出されたポインタ像の位置情報に基づいて、表示された文書画像中に固定のポインタ像をオーバーレイ表示するとともに、ポインタ像の位置情報を相手通信装置に送信する。相手通信装置は表示された文書画像中に受信した位置情報に基づいて固定のポインタ像をオーバーレイ表示することにより、画像通信装置間で同じ画像及びポインタ像を表示することを可能にしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平９−２１４９２０号公報（段落番号００２８〜段落番号００５６、第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の画像通信装置において、ポインタ検出部は、事前に記憶部に記憶された色情報及び形状情報に一致するものが現れるか否かを検索することでポインタ像の位置情報を検出するので、ポインタ像を検出する回路を必ず備えなければならず、装置の小型化が妨げられるという問題点があった。
送信側通信装置がポインタ像の位置座標を相手通信装置にコマンドとして送信すると、相手通信装置は、受信したコマンドに含まれるポインタ像の位置座標に従って文書画像にポインタ像をオーバーレイ表示するので、画像の符号化又は復号化処理以外に送信または受信時のポインタ像について特別な制御が必要になり、処理が煩雑になるという問題点があった。
また、受信側通信装置にも必ずポインタ像を制御する処理が必要になるという問題点があった。
【０００５】
この発明は上記のような問題点を解消するためになされたもので、送信側通信装置には、ポインタ像送信のための特別な回路を必要とせず、任意の色や形状のポインタ像を使用することもでき、受信側通信装置は画像通信方式に対応しているだけでポインタ像送受信のための特別な回路または制御を必要とせず、ポインタ像を予め記憶しておく必要もない通信装置を得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
この発明の請求項１に係る通信装置は、被写体を撮影する撮影装置、この撮影装置の撮影した画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部、上記撮影装置の撮影した画像に上記ポインタ入力部の入力するポインタ像を上記所定の座標位置で合成する表示画像合成部、この表示画像合成部で合成した合成画像を表示する表示部、上記画像及び該画像上の上記座標情報を含むポインタ像を符号化する画像符号化部、及びこの画像符号化部で符号化された合成画像を送信する送信部を備えたものである。
【０００７】
この発明の請求項８に係る画像通信システムは、画像を記憶する記憶部と上記画像上の所定の座標位置にポインタ像を入力するためのポインタ入力部とを有する少なくとも２つの通信装置間で相互に画像通信する画像通信システムであり、上記少なくとも２つの通信装置は、上記記憶部に予め同一の画像を記憶しており、相手通信装置から送信された上記画像上の座標情報を含むポインタ像の符号化画像を受信する受信部、この受信部で受信した上記符号化画像を復号化して上記ポインタ像を復元する画像復号化部、自通信装置の上記記憶部に記憶する上記画像に上記画像復号化部で復号化した上記ポインタ像及び自通信装置の上記ポインタ入力部の入力するポインタ像を所定の座標位置で合成する表示画像合成部、この表示画像合成部で合成した合成画像を表示する表示部、自通信装置の上記ポインタ入力部の入力する上記座標情報を含む上記ポインタ像を符号化する画像符号化部、及びこの画像符号化部で符号化された符号化画像を上記相手通信装置へ送信する送信部を備えたものである。
【発明の効果】
【０００８】
この発明の請求項１に係る通信装置は、撮影装置の撮影した画像と該画像上の座標情報を含むポインタ像とを符号化して送信するようにしたので、ポインタ像送受信のための特別な回路を使用する必要がなくなり、小型化できる効果がある。
また、通信装置が相手通信装置の保有していない任意の色や形状のポインタ像を自由に使用しても相手通信装置に同一のポインタ像を表示させることができる効果がある。
さらに、ポインタ像を表示するための特別な制御を実装していなくても画像通信方式に対応していればどのような通信装置でも相手通信装置として使用することができる効果がある。
【０００９】
この発明の請求項８に係る画像通信システムは、画像通信する両通信装置の記憶部に予め同一の画像を記憶しておき、画像上の座標情報を含むポインタ像を符号化して送信し、自通信装置の記憶部に記憶する画像に相手通信装置から送信された画像上の座標情報を含むポインタ像及び自通信装置の入力するポインタ像を所定の座標位置で合成するようにしたので、自通信装置のポインタ像を互いに送受信するだけで、同一の画像に対して相手ユーザ及び自ユーザの操作しているポインタ像を表示させることができ、記憶部に記憶されている同一のデータに対する互いのユーザの意思伝達を容易に図ることができる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、実施の形態１に係る通信装置の構成を示すブロック図である。図において、ユーザがキー入力部１からビデオカメラ部２で撮影した画像、又は内部もしくは外部に設けられたデータストレージ部３に蓄積された画像のどちらを送信及び表示するかを入力すると、システム制御部４が映像切換部５にビデオカメラ部２とデータストレージ部３を切り換える指示を受け渡す。映像切換部５は送信及び表示する画像をビデオカメラ部２に切り換えると、ユーザがビデオカメラ部２から撮影したカメラ画像が送信映像合成部６及び表示映像処理部７に入力される。映像切換部５は送信及び表示する画像をデータストレージ部３に切り換えると、データストレージ部３に格納された画像が送信映像合成部６及び表示映像処理部７に入力される。
表示映像処理部７に入力された画像は後述する映像復号化部８から入力された受信画像とともに表示構成が決められて表示画像が生成され、記憶部９に一時記憶された後、表示映像合成部１０を介して表示部１１に表示される。ペンタブレット（図示せず）及びスティック（図示せず）のようなポインタ操作部１２を操作すると、ポインタ像の画像情報及び位置情報が送信映像合成部６及び表示映像合成部１０に入力される。表示映像合成部１０でポインタ操作部１２から入力されたポインタ像の画像情報及び位置情報に基づいて記憶部９に格納されている表示画像とポインタ像とを合成して表示部１１で表示する。
送信映像合成部６でビデオカメラ部２から入力されたカメラ画像とポインタ操作部１２から入力されたポインタ像の画像情報及び位置情報に基づいて合成処理を行ない合成画像が生成され、映像符号化部１３で符号化されて、多重分離部１４に入力される。また、多重分離部１４で分離された符号化画像信号は映像復号化部８で復号化されて、表示映像処理部７に入力される。
ユーザがマイク１５から音声を入力すると、音声インタフェース部１６でデジタル音声信号に変換された後、音声符号化部１７で符号化されて符号化音声信号が生成されて、多重分離部１４に入力される。また、多重分離部１４で分離化された符号化音声信号は音声復号化部１８で復号化されてデジタル音声信号が生成された後、音声インタフェース部１６で音声に変換されてスピーカ１９から音声が出力される。
システム制御部４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のデバイスから構成されており、符号化画像信号と符号化音声信号を、多重分離部１４で多重処理し、回線インタフェース部２０で携帯電話網通信プロトコルに従った回線制御を行いデジタル信号を生成し、ベースバンド部２１でＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｉｎｃｙ）信号に変換してアンテナ（図示なし）を介して他の通信装置に送信する。また、システム制御部４は、他の通信装置からアンテナを介してＲＦ信号を受信すると、ベースバンド部２１でデジタル信号に変換し、回線インタフェース部２０での呼制御を介して、多重分離部１４で符号化画像信号と符号化音声信号に分離する。
【００１１】
ここで、映像符号化部１３及び映像復号化部８では、例えば、動画のコーデックなどを規定した規格であるＭＰＥＧ−４  Ｖｉｓｕａｌ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４  Ｖｉｓｕａｌ）の符号化方式に従って符号化又は復号化するものとする。
また、音声符号化部１７と映像符号化部１３によって符号化処理された符号化音声信号及び符号化画像信号は、多重分離部１４でＨ．２２３の多重分離方式に従って多重又は分離されるものとする。
【００１２】
図２は、従来のポインタ像の送受信機能を搭載していない通信装置Ｂの構成を示すブロック図であるが、図１に対してポインタ操作部１２がないので、ポインタ操作部１２に関連する送信映像合成部６及び表示映像合成部１０も備えていない。その他の構成については図１と同様である。
【００１３】
図３は、実施の形態１に係る通信装置から相手通信装置に送信する画像データのイメージ図である。図において、５０はビデオカメラ部２でユーザが撮影した画像又はデータストレージ部３に格納されている画像である。５１は予めユーザが指定した形状でポインタ操作部１２から入力した座標に位置するポインタ像であり、５２はユーザがポインタ操作部１２を操作してポインタ像５１を移動させることのできるサイズを示しており、画像５０のサイズと等しい。そして、５３はカメラ画像５０とポインタ像５１とを合成した合成画像である。
【００１４】
図４は、通信装置Ａ及び通信装置Ｂの表示部１１に表示される画像を示す図である。６１は通信装置Ａの表示部１１Ａに表示される表示画像であり、６２は通信装置Ｂの表示部１１Ｂに表示される表示画像である。６３は通信装置Ｂから受信した画像であり、６４は通信装置Ａから受信した画像である。６５は通信装置Ａのビデオカメラ部２Ａで撮影した画像又はデータストレージ部３に格納されている画像並びにポインタ操作部１２Ａから入力されたポインタ像の合成画像であり、６６は通信装置Ｂのビデオカメラ部２Ｂから入力された画像又はデータストレージ部３に格納されている画像である。
【００１５】
まず、図１、図２、図３及び図４に基づいて、この発明の実施の形態１に係る通信装置Ａ及びポインタ像の送受信機能を搭載していない通信装置Ｂ間でお互いのカメラ画像を送受信し、通信装置Ａから送信されたポインタ像を通信装置Ｂが重畳して表示する処理について説明する。
【００１６】
ユーザＡが通信装置Ａのシステム制御部４Ａ内のＲＯＭ又はＲＡＭに予め保有している複数のポインタ像から使用したいポインタ像を指定して、該ポインタ像をＲＡＭに記憶させておく。ユーザＡが使用する通信装置Ａ及びユーザＢが使用する通信装置Ｂ間でテレビ会議又はテレビ電話を行う時、ユーザＡ及びＢはそれぞれ通信装置Ａ及びＢのキー入力部１からテレビ会議又はテレビ電話を開始する指示を入力する。通信装置Ａ及びＢのシステム制御部４がテレビ会議又はテレビ電話の開始処理を実行すると、映像切換部５でビデオカメラ部２に切り換えてビデオカメラ部２が起動し、ビデオカメラ部２で撮影した画像を表示部１１に表示し、通信装置Ｂに送信する処理が開始される。
【００１７】
ユーザＡは通信装置Ａの表示部１１Ａに表示されるビデオカメラ部２Ａで撮影された画像５０Ａを見ながら、ポインタ操作部１２Ａのペンタブレットをスティックでなぞると、スティックの位置が認識されてポインタ像の位置情報が入力される。画像５０Ａは予め指定したポインタ像５１Ａ及びポインタ操作部１２Ａから入力された位置情報に基づいて、送信映像合成部６Ａでオーバーライト処理されて合成画像５３Ａが生成される。この合成画像５３Ａは映像符号化部１３ＡでＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)符号化により１枚の映像フレームとして画像符号化されて多重分離部１４Ａに入力される。
マイク１５Ａから入力された音声は音声インタフェース部１６Ａでデジタル音声信号に変換され、音声符号化部１７Ａで音声符号化されて多重分離部１４Ａに入力される。
システム制御部４Ａは多重分離部１４Ａで、入力される符号化画像及び符号化音声を多重化した後、回線インタフェース２０Ａ、ベースバンド部２１Ａ及びアンテナ（図示せず）を介して画像データを通信装置Ｂに送信する。
【００１８】
通信装置Ｂのシステム制御部４Ｂはアンテナ（図示せず）、ベースバンド部２１Ｂ、回線インタフェース２０Ｂを介して通信装置Ａからの画像データを受信し、多重分離部１４Ｂに入力する。多重分離部１４Ｂでは多重化された符号化画像及び符号化音声を分離して、それぞれ映像復号化部８Ｂ及び音声復号化部１８Ｂに入力する。
映像復号化部８Ｂでは通信装置Ａから受信した符号化画像をＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)復号処理により、通信装置Ａのビデオカメラ部２Ａで撮影した画像とポインタ操作部１２Ａから入力したポインタ像が１枚の映像フレームとして復号化される。表示映像処理部７Ｂで受信画像６４とビデオカメラ部２Ｂで撮影した画像６６との表示レイアウトを、６２のように決定し表示部１１Ｂに表示する。ここでは例として６４を大きな画面で、６６を小さな画面で表示しているが、画面を上下又は左右に分割して等しいサイズで表示してもよく、表示部１１Ｂ全体にそれぞれの画像を表示させるようにして画像６４と画像６６とをキー入力部１の操作により切り換えるようにしてもよい。
ユーザＡはビデオカメラ部２Ａで撮影している画像５０Ａを通信装置Ｂへ送信する処理を繰り返す。
これらによって、通信装置Ａが撮影している画像及び操作しているポインタ像を通信装置ＢのユーザＢがリアルタイムに確認することができる。
音声復号化部１８Ｂでは通信装置Ａから受信した符号化音声を復号化し、音声インタフェース部１６Ｂでデジタル音声から変換された音声がスピーカ１９Ｂから出力される。
これによって、画像と同時に音声も出力させることができる。
【００１９】
次に、通信装置Ｂで撮影した画像が通信装置Ａに送信され、通信装置Ａで表示される処理について説明する。
【００２０】
通信装置Ｂのビデオカメラ部２Ｂで撮影された画像５０Ｂは、映像符号化部１３Ｂで画像符号化されて多重分離部１４Ｂに入力される。
マイク１５Ｂから入力された音声は音声インタフェース部１６Ｂでデジタル音声信号に変換され、音声符号化部１７Ｂで音声符号化されて多重分離部１４Ｂに入力される。
システム制御部４Ｂは多重分離部１４Ｂで、入力される符号化画像及び符号化音声を多重化した後、回線インタフェース２０Ｂ、ベースバンド部２１Ｂ及びアンテナ（図示せず）を介して画像データを通信装置Ａに送信する。
【００２１】
通信装置Ａのシステム制御部４Ａはアンテナ（図示せず）、ベースバンド部２１Ａ、回線インタフェース２０Ａを介して通信装置Ｂからの画像データを受信し、多重分離部１４Ａに入力する。多重分離部１４Ａでは多重化された符号化画像及び符号化音声を分離して、それぞれ映像復号化部８Ａ及び音声復号化部１８Ａに入力する。
映像復号化部８Ａでは通信装置Ｂから受信した符号化画像を復号化し、表示映像処理部７Ａで、復号化した画像６３とビデオカメラ部２Ａで撮影した画像６５との表示レイアウトを決定する。表示映像合成部１０Ａでは、ユーザＡが予め指定したポインタ像の画像情報及びポインタ操作部１２Ａから入力した位置座標に基づいてカメラ画像及びポインタ像を合成して合成画像を生成して６１のように表示部１１Ａに表示する。画像６５にビデオカメラ部２Ａで撮影した画像及びポインタ操作部１２Ａから入力したポインタ像をオーバーライトして表示部１１Ａに表示することによって、ユーザＡはポインタ像を確認しながらポインタ操作部１２Ａを操作することができる。これによって、通信装置Ｂが撮影している画像を通信装置ＡのユーザＡが確認することができる。ユーザＡはビデオカメラ部２Ａで撮影し表示部１１Ａに表示中の画像６５を見て、ポインタ像５１の動きを確認しながらポインタ操作部１２Ａを操作することで、表示部１１Ａへの表示及び通信装置Ｂへの画像送信を繰り返す。
音声復号化部１８Ａでは通信装置Ｂから受信した符号化音声を復号化し、音声インタフェース部１６Ａでデジタル音声から変換された音声がスピーカ１９Ａから出力される。
【００２２】
このように、実施の形態１において、ユーザＡは通信装置Ａの画像６５を見ながら撮影した画像及び操作したポインタ像を通信装置Ｂに送信するので、通信装置Ａで入力したポインタ像が通信装置Ｂの表示部１１Ｂの画像６４として通信装置Ａと同様の形状と位置で表示することができる。
【００２３】
実施の形態１では、画像データとポインタ像をオーバーライトして１枚のフレームとして符号化して送信するので、テレビ会議又はテレビ電話の通信相手としてポインタ操作部１２を搭載しておらず、ポインタ像をＲＯＭ又はＲＡＭに記憶していない通信装置Ｂを採用したとしても、通信装置Ａの映像の動きと連動したポインタ像を通信装置Ｂに表示させることができ、ユーザＢは、通信装置Ａの映像及びポインタ像の動きをリアルタイムに見ることができる。
【００２４】
また、ポインタ像を検出する検出部が必要ないので、通信装置の小型化を図ることができる。
【００２５】
さらに、受信した画像復号化処理と受信したポインタ像表示処理を画像通信方式内で行うことができるので、画像表示とポインタ表示が送信した通信装置との間でのタイムラグが少なくなりスムーズに表示できる。
【００２６】
上記実施の形態１では、互いにビデオカメラ部２で撮影した画像を送受信する場合について説明したが、データストレージ部３に格納している静止画、動画、グラフィック画像等を送受信してもよく、この場合、ユーザはキー入力部１からデータストレージ部３への切り換え指示を入力すると、システム制御部４は、映像切換部５で送信及び表示する画像をビデオカメラ部２からデータストレージ部３に切り換える。それ以降の処理は、上記実施の形態１のビデオカメラ部２をデータストレージ部３に置き換えればよい。
【００２７】
このようにすると、図４の６５及び６６の画像がデータストレージ部３の画像となり、通信装置Ａはデータストレージ部３Ａの画像とポインタ操作部１２Ａのポインタ画像をオーバーライトして送信し、通信装置Ｂは通信装置Ａのデータストレージ部３Ａの画像とポインタ操作部１２Ａの画像を表示することができる。
【００２８】
また、いずれかの通信装置がビデオカメラ部２を使用し、他方の通信装置がデータストレージ部３を使用するようにしても、同様に実現可能であるので、テレビ会議又はテレビ電話の途中でデータストレージ部３の画像を相手通信装置に送信するといった使い方もできる。
【００２９】
さらに、この実施の形態は、一方の通信装置がポインタ制御を搭載していないものを使用したが、両方の通信装置にこの発明に係る通信装置Ａを使用すると、両方の通信装置の表示部１１に相手の画像及びポインタ像を表示させることができるようになる。
【００３０】
実施の形態２．
図５は、実施の形態２に係る通信装置の構成を示すブロック図である。図において、図１の映像符号化部１３が映像符号化部２２に置き換わり、フレーム(１画面)単位で符号化するＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)符号化を用いた矩形形状符号化部２３及びフレーム内の物質単位で符号化するＭＰＥＧ−４  Ｖｉｓｕａｌの任意形状(Ｏｂｊｅｃｔ−Ｂａｓｅ)符号化を用いた任意形状符号化部２４を備えている。また、図１の映像復号化部８が映像復号化部２５に置き換わり、矩形形状復号化部２６及び任意形状復号化部２７を備えている。その他の構成は図１と同様である。
【００３１】
図６は、従来のポインタ像の送受信機能を搭載していない通信装置Ｂの構成を示すブロック図であるが、図５に対してポインタ操作部１２がないので、ポインタ操作部１２に関連する表示映像合成部１０も備えていない。その他の構成については図５と同様である。
【００３２】
通信装置Ａから画像データを通信装置Ｂに送信する処理が開始されるまでの処理は、実施の形態１と同様である。
【００３３】
まず、図５、図６及び図４に基づいて、この発明の実施の形態２に係る通信装置Ａ及びポインタ像の送受信機能を搭載していない通信装置Ｂ間でカメラ画像を互いに送受信し、通信装置Ａから送信されたポインタ像を通信装置Ｂが重畳して表示する処理について説明する。
【００３４】
ユーザＡは通信装置Ａの表示部１１Ａに表示されるビデオカメラ部２Ａで撮影された画像５０Ａを見ながら、ポインタ操作部１２Ａのペンタブレットをスティックでなぞると、スティックの位置が認識されてポインタ像の位置情報が入力される。画像５０Ａは映像符号化部２２Ａの矩形形状符号化部２３Ａでフレームを基本処理単位として符号化され、予め指定したポインタ像５１は、ポインタ操作部１２Ａから入力された位置情報に基づいて、映像符号化部２２Ａの任意形状符号化部２４Ａでポインタ像５１を物体単位として符号化され、これら符号化画像は多重分離部１４Ａに入力される。
マイク１５Ａから入力された音声は音声インタフェース部１６Ａでデジタル音声信号に変換され、音声符号化部１７Ａで音声符号化されて多重分離部１４Ａに入力される。
システム制御部４Ａは多重分離部１４Ａで、入力される符号化画像及び符号化音声を多重化した後、回線インタフェース２０Ａ、ベースバンド部２１Ａ及びアンテナ（図示せず）を介して画像データを通信装置Ｂに送信する。
【００３５】
通信装置Ｂのシステム制御部４Ｂはアンテナ（図示せず）、ベースバンド部２１Ｂ、回線インタフェース２０Ｂを介して通信装置Ａからの画像データを受信し、多重分離部１４Ｂに入力する。多重分離部１４Ｂでは多重化された符号化画像及び符号化音声を分離して、それぞれ映像復号化部８Ｂ及び音声復号化部１８Ｂに入力する。
通信装置Ａでｆｒａｍｅ−ｂａｓｅ符号化された矩形形状の画像を映像復号化部２５Ｂの矩形形状復号化部２６Ｂで、ＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)復号処理により復号化し、通信装置Ａでｏｂｊｅｃｔ−ｂａｓｅ符号化された任意形状の画像を任意形状復号化部２７で、ＭＰＥＧ−４  Ｖｉｓｕａｌの任意形状（Ｏｂｊｅｃｔ−Ｂａｓｅ）復号処理により復号化して、通信装置Ａのビデオカメラ部２Ａで撮影したカメラ画像とポインタ操作部１２Ａから入力したポインタ像が復号化されて再現される。表示映像処理部７Ｂで矩形形状復号化部２６Ｂで復号化された映像と任意形状復号化部２７Ｂで復号化された映像は１つの映像として合成され、ビデオカメラ部２Ｂで撮影した画像６６との表示レイアウトを６２のように決定し、表示部１１Ｂに表示する。
これらによって、通信装置Ａが撮影している画像及び操作しているポインタ像を通信装置ＢのユーザＢがリアルタイムに確認することができる。
ユーザＡはビデオカメラ部２Ａで撮影している画像５０Ａを通信装置Ｂへ送信する処理を繰り返す。
音声復号化部１８Ｂでは通信装置Ａから受信した符号化音声を復号化し、音声インタフェース部１６Ｂでデジタル音声から変換された音声がスピーカ１９Ｂから出力される。
これによって、画像と同時に音声も出力させることができる。
【００３６】
次に、通信装置Ｂで撮影した画像が通信装置Ａに送信され、通信装置Ａで表示される処理について説明する。
【００３７】
通信装置Ｂのビデオカメラ部２Ｂで撮影された画像５０Ｂは、映像符号化部２２Ｂの矩形形状符号化部２３Ｂで画像符号化されて多重分離部１４Ｂに入力される。
マイク１５Ｂから入力された音声は音声インタフェース部１６Ｂでデジタル音声信号に変換され、音声符号化部１７Ｂで音声符号化されて多重分離部１４Ｂに入力される。
符号化画像及び符号化音声が入力されると、多重分離部１４Ｂで多重化した後、回線インタフェース２０Ｂ、ベースバンド部２１Ｂ及びアンテナ（図示せず）を介して通信装置Ａに送信される。
【００３８】
通信装置Ａのシステム制御部４Ａはアンテナ（図示せず）、ベースバンド部２１Ａ、回線インタフェース２０Ａを介して通信装置Ｂからの画像データを受信し、多重分離部１４Ａに入力する。多重分離部１４Ａでは多重化された符号化画像及び符号化音声を分離して、それぞれ映像復号化部２５Ａ及び音声復号化部１８Ａに入力する。
映像復号化部２５Ａの矩形形状復号化部２６Ａでは通信装置Ｂから受信した符号化画像をＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)復号処理により復号化し、表示映像処理部７Ａで、復号化した画像６３とビデオカメラ部２Ａで撮影した画像６５との表示レイアウトを決定する。表示映像合成部１０Ａでは、ユーザＡが予め指定したポインタ像の画像情報及びポインタ操作部１２Ａから入力した位置座標に基づいてカメラ画像及びポインタ像を合成して合成画像を生成して６１のように表示部１１Ａに表示する。画像６５にビデオカメラ部２Ａで撮影した画像及びポインタ操作部１２Ａから入力したポインタ像をオーバーライトして表示部１１Ａに表示することによって、ユーザＡはポインタ像を確認しながらポインタ操作部１２Ａを操作することができる。これによって、通信装置Ｂが撮影している画像を通信装置ＡのユーザＡが確認することができる。ユーザＢはビデオカメラ部２Ｂで撮影することで、表示部１１Ｂへの表示及び通信装置Ａへの画像送信を繰り返す。
音声復号化部１８Ａでは通信装置Ｂから受信した符号化音声を復号化し、音声インタフェース部１６Ａでデジタル音声から変換された音声がスピーカ１９Ａから出力される。
【００３９】
このように、実施の形態２において、通信装置Ａの６５の画面を見ながら撮影した画像及び操作したポインタ像を通信装置Ｂに送信するので、通信装置Ａで入力したポインタ像が通信装置Ｂの表示部１１Ｂの６４に通信装置Ａと同様の形状と位置で表示することができる。
【００４０】
実施の形態２では、画像データを矩形形状符号化しポインタ像を任意形状符号化して１枚のフレームとして符号化して送信するので、テレビ会議又はテレビ電話の通信相手としてポインタ操作部１２を搭載しておらず、ポインタ像をＲＯＭ又はＲＡＭに記憶していない通信装置Ｂを採用したとしても、通信装置Ａの映像の動きと連動したポインタ像を通信装置Ｂに表示させることができ、ユーザＢは、通信装置Ａの映像及びポインタ像の動きをリアルタイムに見ることができる。
【００４１】
また、ポインタ像を検出する検出部が必要ないので、通信装置の小型化を図ることができる。
【００４２】
さらに、受信した画像復号化処理と受信したポインタ像表示処理を画像通信方式内で行うことができるので、画像表示とポインタ表示が送信した通信装置との間でのタイムラグが少なくなりスムーズに表示できる。
【００４３】
上記実施の形態２では、互いにビデオカメラ部２で撮影した画像を送受信する場合について説明したが、データストレージ部３に格納している静止画、動画、グラフィック画像等を送受信してもよく、この場合、ユーザはキー入力部１からデータストレージ部３への切換指示を入力すると、システム制御部４は、映像切換部５で送信及び表示する画像をビデオカメラ部２からデータストレージ部３に切り換える。それ以降の処理は、上記実施の形態１のビデオカメラ部２をデータストレージ部３に置き換えればよい。
【００４４】
このようにすると、図４の６５及び６６の画像がデータストレージ部３の画像となり、通信装置Ａはデータストレージ部３Ａの画像とポインタ操作部１２Ａのポインタ画像をオーバーライトして送信し、通信装置Ｂは通信装置Ａのデータストレージ部３Ａの画像とポインタ操作部１２Ａの画像を表示することができる。
【００４５】
また、いずれかの通信装置がビデオカメラ部２を使用し、他方の通信装置がデータストレージ部３を使用するようにしても、同様に実現可能であるので、テレビ会議又はテレビ電話の途中でデータストレージ部３の画像を相手通信装置に送信するといった使い方もできる。
【００４６】
さらに、この実施の形態は、一方の通信装置がポインタ制御を搭載していないものを使用したが、両方の通信装置にこの発明に係る通信装置Ａを使用すると、両方の通信装置の表示部１１に相手の画像及びポインタ像を表示させることができるようになる。
【００４７】
実施の形態３．
図５及び図７に基づいて、この発明の実施の形態３に係る通信装置Ａ及びＢ間でデータストレージ部３に同様の画像を格納した状態でポインタ像を互いに送受信し、互いのポインタ像を重畳して表示する処理について説明する。
【００４８】
図７は、実施の形態３に係る通信装置から相手通信装置に送信する画像データ及び表示部１１に表示する画像のイメージ図である。図において、７２及び７３は予めユーザが指定した形状でポインタ操作部１２から入力した座標に位置するポインタ像であり、７０及び７１はユーザがポインタ操作部１２を操作してポインタ像７２及び７３を移動させることのできるサイズを示している。７４は通信装置Ａ及びＢのデータストレージ部３にそれぞれ格納されている静止画像である。７５は通信装置Ａの表示部１１Ａに表示される画像全体、７６は通信装置Ｂの表示部１１Ｂに表示される画像全体である。
【００４９】
実施の形態１及び２と同様に、ユーザＡは使用したいポインタ像７１を指定してＲＡＭに記憶しておく。ユーザＡが使用する通信装置Ａ及びユーザＢが使用する通信装置Ｂ間でテレビ会議又はテレビ電話を行う時、ユーザＡ及びユーザＢはそれぞれ通信装置Ａ及び通信装置Ｂのキー入力部１からテレビ会議又はテレビ電話を開始する指示を入力する。通信装置Ａ及び通信装置Ｂのシステム制御部４がテレビ会議又はテレビ電話の開始処理を実行すると、データストレージ部３の画像データを読み出し、データストレージ部３の画像データを表示部１１に表示し、通信装置Ｂに送信する処理が開始される。ただし、パケット通信等により一方の通信装置のデータストレージ部に保存していた画像データを他方の通信装置のデータストレージ部へ転送及び保存したり、外部のサーバに双方の通信装置がアクセスしてサーバ上の同一の画像データを双方の通信装置がパケット通信等により受信し及び保存したり、予め同一の画像データを格納していたりして、データストレージ部３Ａ及び３Ｂに同一の画像データが格納されているものとする。
【００５０】
ユーザＡ及びユーザＢはそれぞれ通信装置Ａ及びＢに互いのデータストレージ部３Ａ及び３Ｂから同一の画像を読み出し表示部１１Ａ及び１１Ｂに表示させる。ユーザＡは表示部１１Ａに表示される画像７４Ａを見ながら、ポインタ操作部１２Ａのペンタブレットをスティックでなぞると、スティックの位置が認識されてポインタ像の位置情報が入力される。予め指定したポインタ像７２は、ポインタ操作部１２Ａから入力された位置情報を基に、映像符号化部２２Ａの任意形状符号化部２４Ａでポインタ像７２を物体単位として符号化され、この符号化画像は多重分離部１４Ａに入力される。
マイク１５Ａから入力された音声は音声インタフェース部１６Ａでデジタル音声信号に変換され、音声符号化部１７Ａで音声符号化されて多重分離部１４Ａに入力される。
システム制御部４Ａは多重分離部１４Ａで、入力される符号化画像及び符号化音声を多重化した後、回線インタフェース２０Ａ、ベースバンド部２１Ａ及びアンテナ（図示せず）を介して画像データを通信装置Ｂに送信する。
【００５１】
通信装置Ｂのシステム制御部４Ｂはアンテナ（図示せず）、ベースバンド部２１Ｂ、回線インタフェース２０Ｂを介して通信装置Ａからの画像データを受信し、多重分離部１４Ｂに入力する。多重分離部１４Ｂでは多重化された符号化画像及び符号化音声を分離して、それぞれ映像復号化部２５Ｂ及び音声復号化部１８Ｂに入力する。
映像復号化部２５Ｂの任意形状復号化部２７Ｂでは通信装置Ａでｏｂｊｅｃｔ−ｂａｓｅ符号化された任意形状の画像をＭＰＥＧ−４  Ｖｉｓｕａｌの任意形状（Ｏｂｊｅｃｔ−Ｂａｓｅ）復号処理により、通信装置Ａのポインタ操作部１２Ａから入力したポインタ像が復号化されて再現される。表示映像処理部７Ｂでデータストレージ部３Ｂの画像７４Ｂ及び任意形状復号化部２７Ｂで復号化された画像７２Ｂが合成され、さらに表示映像合成部１０Ｂでポインタ操作部１２Ｂから入力したポインタ像７３Ｂが１つの画像として合成され、７６のように表示部１１Ｂに表示される。
これらによって、通信装置Ａが操作しているポインタ像を通信装置ＢのユーザＢがリアルタイムに確認することができる。
ユーザＡはポインタ像７２を通信装置Ｂへ送信する処理を繰り返す。
音声復号化部１８Ｂでは通信装置Ａから受信した符号化音声を復号化し、音声インタフェース部１６Ｂでデジタル音声から変換された音声がスピーカ１９Ｂから出力される。
これによって、画像と同時に音声も出力させることができる。
【００５２】
同様に、通信装置Ｂのポインタ像７３が通信装置Ａに送信され、７５のように通信装置Ａで表示することができる。
【００５３】
このように、実施の形態３において、互いのデータストレージ部３Ａ又は３Ｂの画像７４を見ながらポインタ像を互いに送受信しあうので、互いの通信装置Ａ又はＢで入力したポインタ像が相手の表示部１１に互いの通信装置と同様の形状と位置で表示することができる。
また、ポインタ像の送信のみなので少ないデータ量ですむため送受信速度を速くすることができる。
【００５４】
実施の形態４．
図１及び図８に基づいて、この発明の実施の形態４に係る通信装置Ａ及びＢ間でデータストレージ部３に同様の画像を格納した状態でポインタ像を互いに送受信し、互いのポインタ像を重畳して表示する処理について説明する。
【００５５】
図８は、実施の形態４に係る通信装置から相手通信装置に送信する画像データ及び表示部１１に表示する画像のイメージ図である。図において、８２及び８３は予めユーザが指定した形状でポインタ操作部１２から入力した座標に位置するポインタ像であり、８０及び８１はユーザがポインタ操作部１２を操作してポインタ像８２及び８３を移動させることのできるサイズを示している。８４は通信装置Ａ及びＢのデータストレージ部３にそれぞれ格納されている静止画像である。８７は通信装置Ａの表示部１１Ａに表示される画像全体、８８は通信装置Ｂの表示部１１Ｂに表示される画像全体である。そして、８５及び８６はデータストレージ部３に格納されている画像８４とポインタ像８０及び８１とを合成した合成画像である。
【００５６】
実施の形態３と同様にユーザＡ及びＢは使用したいポインタ像８０及び８１を指定してＲＡＭに記憶しておく。ユーザＡ及びユーザＢはそれぞれ通信装置Ａ及び通信装置Ｂのキー入力部１からテレビ会議又はテレビ電話を開始する指示を入力すると、通信装置Ａ及び通信装置Ｂのシステム制御部４はそれぞれ通信装置Ａ及び通信装置Ｂの各部を制御し、テレビ会議又はテレビ電話の開始処理を実行すると、データストレージ部３の画像データ読み出しを開始し、相手通信装置に送信する処理が開始される。
【００５７】
ユーザＡ及びユーザＢはそれぞれ通信装置Ａ及びＢに互いのデータストレージ部３Ａ及び３Ｂから同一の画像８４を読み出し、表示部１１Ａ及び１１Ｂに表示させる。ユーザＡは表示部１１Ａに表示される画像８７を見ながら、ポインタ操作部１２Ａのペンタブレットをスティックでなぞると、スティックの位置が認識されてポインタ像の位置情報が入力される。画像８４は予め指定したポインタ像８０Ａ及びポインタ操作部１２Ａから入力された位置情報を基に、送信映像合成部６Ａでオーバーライト処理されて合成画像８５が生成される。この合成画像８５は映像符号化部１３ＡでＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)符号化により１枚の映像フレームとして画像符号化されて多重分離部１４Ａに入力される。
マイク１５Ａから入力された音声は音声インタフェース部１６Ａでデジタル音声信号に変換され、音声符号化部１７Ａで音声符号化されて多重分離部１４Ａに入力される。
システム制御部４Ａは多重分離部１４Ａで、入力される符号化画像及び符号化音声を多重化した後、回線インタフェース２０Ａ、ベースバンド部２１Ａ及びアンテナ（図示せず）を介して画像データを通信装置Ｂに送信する。
【００５８】
通信装置Ｂのシステム制御部４Ｂはアンテナ（図示せず）、ベースバンド部２１Ｂ、回線インタフェース２０Ｂを介して通信装置Ａからの画像データを受信し、多重分離部１４Ｂに入力する。多重分離部１４Ｂでは多重化された符号化画像及び符号化音声を分離して、それぞれ映像復号化部８Ｂ及び音声復号化部１８Ｂに入力する。
映像復号化部８Ｂでは通信装置Ａから受信し、１枚の映像フレームとして符号化された符号化画像をＭＰＥＧ−４  Ｖｉｓｕａｌの矩形形状(Ｆｒａｍｅ−Ｂａｓｅ)復号処理により、通信装置Ａのデータストレージ部３Ａに格納されている画像８４Ａとポインタ操作部１２Ａから入力したポインタ像８２が１枚の映像フレームとして復号化されて再現される。表示映像処理部７Ｂで受信画像８５の表示レイアウトを決定し、さらに表示映像合成部１０Ｂでポインタ操作部１２Ｂから入力したポインタ像８３が１つの画像として合成され、８８のように表示部１１Ｂに表示される。表示映像処理部７Ｂでは映像切換部５Ｂよりデータストレージ部３Ｂにて保存されている画像が入力されているが、映像復号化部８Ｂで復号化された画像８５のみを映像合成部２７Ｂに入力する。これによって、通信装置Ａが操作しているポインタ像を通信装置ＢのユーザＢが確認することができる。ユーザＡはデータストレージ画像８４Ａ及びポインタ像８０Ａを通信装置Ｂへ送信する処理を繰り返す。
音声復号化部１８Ｂでは通信装置Ａから受信した符号化音声を復号化し、音声インタフェース部１６Ｂでデジタル音声から変換された音声がスピーカ１９Ｂから出力される。
これによって、画像と同時に音声も出力させることができる。
【００５９】
同様に、通信装置Ｂのデータストレージ部３Ｂに格納されている画像８４Ｂ及びポインタ像８３の合成画像８６が通信装置Ａに送信され、８７のように通信装置Ａで表示することができる。
以降、ユーザＡ及びユーザＢは受信した画像及びポインタ像を見ながら自身のポインタ像を入力することになる。
【００６０】
この実施の形態４では、画像とポインタ像とを合成して送信するようにしたが、実施の形態２のように、画像及びポインタ像をそれぞれ矩形形状及び任意形状に符号化して相手通信装置に送信し、相手通信装置側でそれぞれ復号化して自身のポインタ像を合成して表示するようにしてもよい。
【００６１】
また、この実施の形態４では、相手通信装置から受信した画像及びポインタ像と自通信装置のポインタ操作部１２から入力したポインタ像を表示し、自通信装置のデータストレージ部３に記憶している画像及び自通信装置のポインタ操作部１２から入力したポインタ像を符号化して送信しているが、画像及びポインタ像をそれぞれ矩形形状及び任意形状に符号化して送信する場合には、表示する画像は自通信装置のデータストレージ部３に記憶している画像とポインタ操作部１２から入力したポインタ像と相手通信装置から受信したポインタ像としてもよく、送信する画像は相手通信装置から受信した画像と自通信装置のポインタ操作部１２から入力したポインタ像としてもよい。
【００６２】
このように、実施の形態４において、互いのデータストレージ部３Ａ又は３Ｂの表示画面８７又は８８を見ながらポインタ像を互いに送受信しあうので、互いの通信装置Ａ又はＢで入力したポインタ像８２又は８３が相手の表示部１１に互いの通信装置と同様の形状と位置で表示することができる。
【００６３】
また、ポインタ像を検出する検出部が必要ないので、通信装置の小型化を図ることができる。
【００６４】
また、相手通信装置のポインタ像を保持していなくても表示することができるので、相手と異なる色や形状のポインタ像を使用すれば、同一画面上の双方のポインタ像を見やすく表示することができる。
【００６５】
実施の形態５．
上記実施の形態１〜４にて記載した通信装置を組み合わせて使用してもよく、通信装置の一部機能、つまり、送信、表示及び送信の処理をどのように組み合わせてもよい。以下、主な組み合わせについて説明する。
【００６６】
実施の形態１のように合成画像を受信し、受信した合成画像及びカメラ又はストレージ画像及び自身のポインタ像を表示し、実施の形態２のようにカメラ又はストレージ画像及び自身のポインタ像を矩形形状及び任意形状で符号化し送信する通信装置Ａを適用した場合、相手通信装置Ｂとしては、実施の形態２のように矩形形状及び任意形状で符号化された画像を受信し、受信した矩形形状及び任意形状の画像及びカメラ又はストレージ画像及び自身のポインタ像を表示し、実施の形態１のようにカメラ又はストレージ画像及び自身のポインタ像を合成して送信する通信装置が適用できる。
また、データストレージ部に同じ画像が格納されている場合には、上記通信装置Ａの表示を受信画像又はデータストレージ部画像及び自身のポインタ像とし、データストレージ部画像及びポインタ像を合成又は矩形形状及び任意形状で符号化して送信するようにしてもよい。
さらに、一方のデータストレージ部にしか画像がないときには、矩形形状及び任意形状で符号化された受信画像のうち、矩形形状で符号化された画像とポインタ像とを送信するようにしてもよい。
【００６７】
通信装置Ａでは受信した通信装置Ｂのデータストレージ部３に記憶している画像及び通信装置Ｂのポインタ操作部１２から入力するポインタ像と通信装置Ａのポインタ入力部１２から入力するポインタ像とを表示し、通信装置Ａのポインタ入力部１２から入力するポインタ像を送信し、通信装置Ｂでは受信した通信装置Ａのポインタ操作部１２から入力するポインタ像と通信装置Ｂのデータストレージ部３に記憶している画像及び通信装置Ｂのポインタ入力部１２から入力するポインタ像とを表示し、通信装置Ｂのデータストレージ部３に記憶している画像及び通信装置Ｂのポインタ入力部１２から入力するポインタ像を通信装置Ａに送信するようにすれば、通信装置Ｂのデータストレージ部３にしか画像を記憶していないときにも適用できる。
この場合も、データストレージ部３の画像とポインタ操作部１２から入力するポインタ像の送受信は合成画像でもよく、矩形形状及び任意形状で符号化された画像でもよい。
【００６８】
さらに、表示を一方が２画面で一方が１画面としても実施できる。この場合、１画面側は従来の通信装置とし、受信画像を表示し、カメラ画像又はデータストレージ画像を送信し、ポインタ像は送信しないものである。２画面側が送信するのは、合成画像でも矩形形状及び任意形状で符号化してもよい。
【００６９】
その他、可能な組み合わせであれば、どのように組み合わせてもよい。
【００７０】
上記実施の形態１〜５で、データストレージ部３には予め静止画、動画、グラフィック画像等を保存しておいてもよいし、ネットワークを介して受信した静止画、動画、グラフィック画像等を保存しておいてもよい。また、他の機器から静止画、動画、グラフィック画像等を蓄積させたメモリースティック、ＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）といった可般性のメモリを使用してもよい。
【図面の簡単な説明】
【００７１】
【図１】この発明の実施の形態１に係る通信装置の構成を示すブロック図である。
【図２】従来のポインタ像の送受信機能を搭載していない通信装置の構成を示すブロック図である。
【図３】この発明の実施の形態１に係る通信装置から相手通信装置に送信する画像データのイメージ図である。
【図４】この発明の実施の形態１に係る通信装置及び従来の通信装置の表示部１１に表示される画像を示す図である。
【図５】この発明の実施の形態２に係る通信装置の構成を示すブロック図である。
【図６】従来のポインタ像の送受信機能を搭載していない通信装置の構成を示すブロック図である。
【図７】この発明の実施の形態３に係る通信装置から相手通信装置に送信する画像データ及び表示部１１に表示する画像のイメージ図である。
【図８】この発明の実施の形態４に係る通信装置から相手通信装置に送信する画像データ及び表示部１１に表示する画像のイメージ図である。
【符号の説明】
【００７２】
１  キー入力部
２  ビデオカメラ部
３  データストレージ部
４  システム制御部
５  映像切替部
６  送信映像合成部
７  表示映像処理部
８  映像復号化部
９  記憶部
１０  表示映像合成部
１１  表示部
１２  ポインタ操作部
１３  映像符号化部
１４  多重分離部
１５  マイク
１６  音声インタフェース部
１７  音声符号化部
１８  音声復号化部
１９  スピーカ
２０  回線インタフェース部
２１  ベースバンド部
２２  映像符号化部
２３  矩形形状符号化部
２４  任意形状符号化部
２５  映像復号化部
２６  矩形形状復号化部
２７  任意形状復号化部
５０  カメラ又はデータストレージ画像
５１  ポインタ像
５２  ポインタ像移動サイズ
５３  合成画像
６１  送信側表示画像
６２  受信側表示画像
６３  受信画像
６４  受信画像
６５  合成画像
６６  カメラ又はデータストレージ画像
７０  ポインタ像移動サイズ
７１  ポインタ像移動サイズ
７２  ポインタ像
７３  ポインタ像
７４  データストレージ画像
７５  表示画像
７６  表示画像
８０  ポインタ像移動サイズ
８１  ポインタ像移動サイズ
８２  ポインタ像
８３  ポインタ像
８４  データストレージ画像
８５  合成画像
８６  合成画像
８７  表示画像
８８  表示画像
【図１】
2005142919.tif 000003
【図２】
2005142919.tif 000004
【図３】
2005142919.tif 000005
【図４】
2005142919.tif 000006
【図５】
2005142919.tif 000007
【図６】
2005142919.tif 000008
【図７】
2005142919.tif 000009
【図８】
2005142919.tif 000010