(57)【特許請求の範囲】
【請求項１】
少なくとも２つの端末装置の間で映像を送受信するテレビ電話システムであって、
第１の端末装置は、該第１の端末装置での符号化、送信、復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を格納する不揮発性メモリを備え、第２の端末装置との呼を確立した場合に、前記映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を前記不揮発性メモリから読み出し前記第２の端末装置に通知し、
前記第２の端末装置は、前記第１の端末装置での符号化、送信、復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報に基づき、映像を処理した後に前記第１の端末装置に処理後の映像を送信し、
前記第２の端末装置は、前記第２の端末装置で取得した映像のサイズが前記第１の端末装置へ送信すべき映像のサイズよりも大きい場合に、前記第２の端末装置の性能に基づいて、前記第２の端末装置で取得した映像を前記第１の端末装置へ送信すべき映像のサイズに縮小して符号化することが可能であるか否かを判断し、前記第２の端末装置で取得した映像を縮小して符号化することが可能である場合に前記第２の端末装置で取得した映像を前記第１の端末装置へ送信すべき映像のサイズに縮小して符号化し、前記第２の端末装置で取得した映像を縮小して符号化することが不可能である場合に前記第２の端末装置で取得した映像から前記第１の端末装置へ送信すべき映像のサイズ分を切り出して符号化することを特徴とするテレビ電話システム。
【請求項２】
請求項１記載のテレビ電話システムであって、
前記第１の端末装置は、該第１の端末装置での符号化、送信、復号化、表示および受信に適した映像の符号化方式ごとに、該第１の端末装置での符号化、送信、復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報のセットを前記第２の端末装置に通知することを特徴とするテレビ電話システム。
【請求項３】
請求項１記載のテレビ電話システムであって、
前記第１の端末装置は、該第１の端末装置での符号化および送信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を前記第２の端末装置に通知した後に、該第１の端末装置での復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を前記第２の端末装置に通知することを特徴とするテレビ電話システム。
【請求項４】
請求項１記載のテレビ電話システムであって、
前記第１の端末装置は、該第１の端末装置での符号化、送信、復号化、表示および受信に適した映像に関する情報の伝送の開始を示す識別子、該第１の端末装置での符号化および送信に適した映像に関する伝送の開始を示す識別子、該第１の端末装置での符号化および送信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔の各々を示す識別子、該第１の端末装置での符号化および送信に適した映像に関する伝送の終了を示す識別子、該第１の端末装置での復号化、表示および受信に適した映像に関する伝送の開始を示す識別子、該第１の端末装置での復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔の各々を示す識別子、該第１の端末装置での復号化、表示および受信に適した映像に関する伝送の終了を示す識別子、該第１の端末装置での符号化、送信、復号化、表示および受信に適した映像に関する情報の伝送の終了を示す識別子を前記第２の端末装置に通知することを特徴とするテレビ電話システム。
【請求項５】
請求項１記載のテレビ電話システムであって、
前記第２の端末装置は、該第２の端末装置での符号化、送信、復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を格納する不揮発性メモリを備え、該第２の端末装置での符号化、送信、復号化、表示および受信に適した映像の前記映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を前記不揮発性メモリから読み出し前記第１の端末装置に通知することを特徴とするテレビ電話システム。
【請求項６】
外部の音声を該端末装置に入力するための音声入力手段と、
外部の映像を該端末装置に入力するための映像入力手段と、
該音声入力手段により入力した音声を符号化する音声データ符号化手段と、
該映像入力手段により入力した映像を符号化する映像データ符号化手段と、
受信した符号化音声データを復号化する音声データ復号化手段と、
受信した符号化映像データを復号化する映像データ復号化手段と、
復号化した音声を外部に出力するための音声出力手段と、
復号化した映像を表示するための表示手段と、
符号化された音声データおよび映像データを送受信するための通信手段と、
通信相手の端末装置において符号化、送信、復号化、表示、および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を取得する相手端末能力取得手段と、を有する端末装置であって、
該自端末装置において符号化、送信、復号化、表示および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を格納する不揮発性メモリと、
該端末装置はさらに前記映像入力手段で入力した映像から送信すべき映像データを生成する送信映像生成手段を備え、
該送信映像生成手段は、前記相手端末能力取得手段で取得した通信相手の端末装置において符号化、送信、復号化、表示、および受信に適した映像の任意の画素単位のサイズ以下のサイズを送信映像サイズとして決定し、前記映像入力手段で入力した映像のサイズが該送信映像サイズよりも大きい場合に、該自端末装置の性能に基づいて、前記映像入力手段で入力した映像を該送信映像サイズに縮小して符号化することが可能であるか否かを判断し、前記映像入力手段で入力した映像を縮小して符号化することが不可能である場合に前記映像入力手段で入力した映像から該送信映像サイズ分の映像を切り出し、前記映像入力手段で入力した映像を縮小して符号化することが可能である場合に前記映像入力手段で入力した映像を該送信映像サイズに縮小し、
前記映像データ符号化手段は、該送信映像生成手段によって生成された映像データを符号化することを特徴とするテレビ電話システムの端末装置。
【請求項７】
請求項６に記載のテレビ電話システムの端末装置であって、
該端末装置は、さらに切り出し位置指定手段を備え、
該切り出し位置指定手段により、前記送信映像生成手段において前記映像入力手段で入力した映像から該送信映像サイズ分の映像を切り出す際の切り出し位置を指定できることを特徴としたテレビ電話システムの端末装置。
【請求項８】
請求項６乃至請求項７に記載のテレビ電話システムの端末装置であって、
前記送信映像生成手段は、前記映像入力手段により入力した映像のサイズと、
該端末装置において符号化および送信に適した映像のサイズと、
前記相手端末能力取得手段で取得した通信相手の端末装置において復号化、表示、および受信に適した映像のサイズの内、最も小さい水平方向のサイズ以下を水平方向サイズとし，最も小さい垂直方向のサイズ以下を垂直方向サイズとして送信映像サイズを決定し、
前記映像入力手段で入力した映像から該送信映像サイズ分の映像を切り出すことにより送信すべき映像データを生成することを特徴とするテレビ電話システムの端末装置。
【請求項９】
請求項６または請求項８のいずれかに記載のテレビ電話システムの端末装置であって、
前記送信映像生成手段は、該端末装置において前記映像入力手段により入力した映像を前記決定した送信映像サイズに縮小するだけの性能があるか否かを判断し、
該性能があると判断した場合には、前記映像入力手段により入力した映像を前記決定した送信映像サイズに縮小することにより、送信すべき映像データを生成し、前記性能がないと判断した場合には、前記映像入力手段で入力した映像から該送信映像サイズ分の映像を切り出すことにより送信すべき映像データを生成することを特徴とするテレビ電話システムの端末装置。
【請求項１０】
請求項６乃至請求項９のいずれかに記載のテレビ電話システムの端末装置であって、
前記表示手段は、前記送信映像生成手段によって生成された送信すべき映像データをあらかじめ定められたエリアに表示することを特徴とするテレビ電話システムの端末装置。
【請求項１１】
請求項１０に記載のテレビ電話システムの端末装置であって、
該端末装置は、さらに送信映像領域マーキング手段を備え、
該送信映像領域マーキング手段は、前記送信映像生成手段によって生成された送信すべき映像データの領域を、前記映像入力手段により入力した映像中にマーキングし、
前記表示手段は、該マーキングされた映像データをあらかじめ定められたエリアに表示することを特徴とするテレビ電話システムの端末装置。
【請求項１２】
請求項６乃至請求項１１のいずれかに記載のテレビ電話システムの端末装置であって、
前記相手端末能力取得手段は、前記通信相手の端末装置において符号化および送信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を取得した後に、前記通信相手の端末装置において復号化、表示、および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート及びキーフレームの挿入間隔に関する情報を取得することを特徴とするテレビ電話システムの端末装置。
【請求項１３】
請求項６乃至請求項１２のいずれかに記載のテレビ電話システムの端末装置であって、
該端末装置は、さらに自端末能力通知手段を備え、
該自端末能力通知手段は、該自端末装置において復号化、表示、および受信に適した映像のサイズを任意の画素単位で相手端末装置に通知することを特徴とするテレビ電話システムの端末装置。
【請求項１４】
請求項１３に記載のテレビ電話システムの端末装置であって、
前記映像データ復号化手段では、受信した符号化映像データを縮小することなく復号化し、
前記表示手段は、前記復号化した映像を縮小することなくあらかじめ定められたエリアに表示することを特徴とするテレビ電話システムの端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像を符号化して送受信するテレビ電話システムおよびその端末装置に係り、特に映像の送受信能力が異なる端末装置からなるテレビ電話システムおよびその端末装置に関する。
【０００２】
【従来の技術】
テレビ電話システムに関する規格としては、例えばITU-Tで勧告化されているH.323等がある。この勧告では、さらに同ITU-Tで勧告化されており、テレビ電話システムを構築する上で必要となる以下の勧告を使用する。
呼の確立および通信相手のアドレス解決、通信可否制御、および通信経路の帯域制御を行うためのH.225.0勧告、端末装置間で伝送する映像や音声の符号化方式等をネゴシエーションするためのH.245勧告、送信映像を符号化するためのH.261およびH.263勧告、送信音声を符号化するためのG.711、G.722、G.723.1、G.728、およびG.729勧告である。
【０００３】
また、このH.323勧告では、符号化された音声/映像データの伝送プロトコルおよび音声/映像データのフロー制御のプロトコルとして、それぞれRTP(Real-time Transport Protocol)およびRTCP(RTP Control Protocol)を使用することが決められており、これらの勧告やプロトコルに準拠することにより、テレビ電話システムを構築することが可能となっている。
【０００４】
特に、端末装置間で伝送する映像や音声の符号化方式等をネゴシエーションするためのH.245勧告では、受信側の端末装置が復号化可能な映像や音声の符号化方式を送信側の端末装置に通知することが可能となっている。また、受信側の端末装置が復号化可能な映像のサイズとして、CIF(Common Intermediate Format)やQCIF(Quarter CIF)等の決められたサイズを指定し、送信側の端末装置に通知することが可能となっており、機種の異なる端末装置間での映像の送受信が可能となっている。
【０００５】
【発明が解決しようとする課題】
しかしながら、端末装置の表示画面のサイズには、多種多様なものがあり、これらは画素単位で異なっている。例えば携帯電話やPDA(Personal Digital Assistants)等の携帯端末装置では、携帯性の向上や低コスト化が考慮され、表示画面が小さくされたものや、逆に、見易さが考慮され、表示画面が大きくされたものなどがあり、表示に適した映像の解像度も画素単位で異なっている。このため、これらの端末装置の表示画面は必ずしもCIFやQCIFといった決められたサイズではなく、これらの端末装置にCIFやQCIFといった決められたサイズの映像を符号化および送信することは、端末装置の性能を活かしきれないか、または無駄に大きな映像を符号化および復号化することにより処理量に無駄が生じる結果となる。
【０００６】
また、端末装置の中には、低価格化の観点からそれに搭載されているメモリや処理装置の性能に制限があるものも存在し、これらの制限から、復号化可能な映像のサイズのみでなく、復号化可能な映像のフレームレート、ビットレート、およびキーフレームの挿入間隔に制限があるものもある。この場合、端末装置が持つ制限を越えた映像が送られると、映像の動きがぎこちなくなるばかりでなく、最悪の場合受信した映像を復号化および表示ができない場合がある。なお、フレームレートとは１秒間中の画像の枚数であり，ビットレートとは１秒間中のデータ量をビット単位で示したものである。また，キーフレームとは映像を構成する画像において、他の画像を参照することなく復号することが可能な画像である。
【０００７】
さらに、端末装置での処理に目を向けると、映像を送信する場合には、撮像した映像を受信側の端末装置における復号化可能な映像のサイズに拡大縮小して、符号化するとともに、前記撮像した映像を送信側の端末装置における表示画面の自映像表示エリアのサイズに拡大縮小して、該自映像表示エリアに表示する必要がある。また、同時に、受信した映像を復号化して、相手映像表示エリアのサイズに合わせて拡大縮小して、該相手映像表示エリアに表示する必要があり、多大のメモリ量と処理能力を必要とする。このため、端末装置が高価になるという問題があった。
【０００８】
【課題を解決するための手段】
本発明は以上を鑑みて発明されたものであり、、多種多様な表示画面のサイズをもつ端末装置に対応し、該表示画面のサイズが画素単位で異なっている場合でも効率よく映像を符号化して送受信できるテレビ電話システムおよびその端末装置を提供する。
【０００９】
また、端末装置において、復号化、表示、および受信可能な映像のサイズのみでなく，復号化，表示，および受信可能なフレームレート、ビットレート、およびキーフレームの挿入間隔に制限がある場合でも、これらの制限に合わせて映像の符号化および送信を行い、受信した映像がスムーズに動作可能なテレビ電話システムおよびその端末装置を提供する。
【００１０】
また、端末装置において、以下の処理に要する処理量を削減し、低コストな端末装置にてテレビ電話システムを構築可能とするテレビ電話システムおよびその端末装置を提供する。
（１）送信する映像の符号化
（２）送信する映像の自映像表示エリアへの表示
（３）受信した映像の復号化
（４）受信した映像の相手映像表示エリアへの表示
上記課題を解決するため、本発明のテレビ電話システムおよびその端末装置では、端末装置における撮像映像の水平方向サイズおよび垂直方向サイズを不揮発性のメモリに格納する。また、端末装置が符号化および送信に適した映像の符号化方式、任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を不揮発性のメモリに格納する。
【００１１】
さらに、端末装置が復号、表示、および受信に適した映像の符号化方式、任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を不揮発性のメモリに格納する。そして、受信側の端末装置が、前記不揮発性のメモリから、復号化、表示、および受信に適した符号化方式、任意の画素単位の映像サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を読み出し、これらの情報を送信側の端末装置に通知し、送信側の端末装置はこれらの通知された情報に基づいて送信する映像の属性を決定して符号化を行う。
【００１２】
また、送信側の端末装置は、「撮像した映像のサイズ」と、「該送信側の端末装置において符号化および送信に適した任意の画素単位の映像サイズ」と、「前記通知された受信側の端末装置において復号化、表示、および受信に適した任意の画素単位の映像サイズ」を基にして送信映像のサイズを決定し、該決定したサイズの映像を撮像した映像から切り出して取得し、該切り出して取得した映像を拡大あるいは縮小することなく符号化して送信する。
【００１３】
さらに、前記送信側の端末装置は、前記撮像した映像から切り出して取得した映像を該送信側の端末装置の自映像表示エリアに拡大あるいは縮小して表示し、受信側の端末装置では、受信した映像を復号化して、縮小することなく相手映像表示エリアに表示する。
【００１４】
【発明の実施の形態】
以下、本発明にかかる実施例について図面を参照して説明する。
図１は本発明の実施例にかかるテレビ電話システムの構成図である。
図１に示すように、本実施例にかかるテレビ電話システムは、少なくとも２つの通信拠点Ａ００１および通信拠点Ｂ００２から構成される。
【００１５】
通信拠点Ａ００１は、少なくとも端末装置１０１と、無線アクセスポイント１０７と、ルータ１０６と、ゲートキーパ１０２から構成され、無線アクセスポイント１０７と、ルータ１０６と、ゲートキーパ１０２は、それぞれＬＡＮ等のネットワークで接続されているとともに、ネットワーク１０３に接続されている。同様に、通信拠点Ｂ００２は、少なくとも端末装置１０５と、無線アクセスポイント１０９と、ルータ１０８と、ゲートキーパ１０４から構成され、無線アクセスポイント１０９と、ルータ１０８と、ゲートキーパ１０４は、それぞれＬＡＮ等のネットワークで接続されているとともに、ネットワーク１０３に接続されている。
【００１６】
ここで、ネットワーク１０３はインターネット等に代表されるIPネットワークや公衆電話回線網あるいはISDNによって構成される。
【００１７】
端末装置１０１および端末装置１０５は、本システムの利用者が音声および映像のデータを送受信可能な端末装置であり、例えば図２に示すような携帯電話型の端末装置２００あるいは図３に示すようなPDA型の端末装置３００とすることができる。なお、図２および図３において、２０１および３０１は端末装置本体であり、映像を入力するためのカメラ２０２および３０２、液晶等により構成され映像を表示するための表示画面２０３および３０３、端末装置における動作設定情報や通信相手の電話番号を入力するための操作ボタン２０４および３０４、音声を出力するためのスピーカ２０５および３０５、音声を入力するためのマイク２０６および３０６、および無線により無線アクセスポイント１０７および１０９とデータの送受信を行うためのアンテナ２０７および３０７を備えている。
【００１８】
無線アクセスポイント１０７および１０９は、例えば既存の無線ＬＡＮアクセスポイントとすることができ、端末装置１０１および１０５との無線によるデータ送受信が可能である。
【００１９】
無線アクセスポイントは、例えば、無線LANアクセスポイント、Bluetoothのアクセスポイント、携帯電話の基地局等が挙げられるが、端末装置をネットワークを介して相手の端末装置に接続する機能を有する機器であれば代替可能である。
【００２０】
ゲートキーパ１０２および１０４は、例えばコンピュータシステムで構成され、端末装置間の呼制御や、端末装置のアドレス管理、電話番号をキーにした通信先の端末装置のアドレス検索および取得を行う。
【００２１】
ルータ１０６および１０８は、例えばコンピュータシステムにより構成され、通信先のアドレスの端末装置までの通信経路の決定およびデータの送信を行う。
【００２２】
これらの装置により、例えば端末装置１０１から通信先である端末装置１０５の電話番号が入力されると、無線アクセスポイント１０７経由で端末装置１０５の電話番号がゲートキーパ１０２に通知され、ゲートキーパ１０２において、端末装置１０５の電話番号をキーにして端末装置１０５のアドレスが検索および取得される。そして、取得されたアドレスが無線アクセスポイント１０７経由で端末装置１０１に通知され、端末装置１０１は、無線アクセスポイント１０７、ルータ１０６、ネットワーク１０３、ルータ１０８、および無線アクセスポイント１０９を介して端末装置１０５にデータを送信することが可能となる。また、このとき、端末装置１０５は、端末装置１０１から端末装置１０１のアドレスを受信して、無線アクセスポイント１０９、ルータ１０８、ネットワーク１０３、ルータ１０６、無線アクセスポイント１０７を介して端末装置１０１にデータを送信することが可能となり、端末装置１０１と端末装置１０５は互いにデータの送受信が可能となる。
【００２３】
さて、上記において、ゲートキーパ、ルータ、および無線アクセスポイントについては、既に利用されているものを適用可能であるので、詳細な説明を省略し、以下では端末装置の構成および動作内容について説明する。
まず、端末装置の構成を説明する。図４は端末装置の構成を示すブロック図である。図４に示すように端末装置は、中央処理装置５０１と、記憶装置５０２と、音声入力装置５０３と、音声出力装置５０４と、映像入力装置５０５と、表示装置５０６と、設定入力装置５０７と、通信制御/入出力装置５０８と、二次記憶装置５０９から構成され、これらはバス５１０を介して互いにデータのやり取りが可能なように構成されている。
【００２４】
なお、これらの端末装置を構成する装置としては、既存の装置を利用することが可能である。すなわち、設定入力装置５０７は、操作ボタン等によって実現され、本端末装置の利用者は、本設定入力装置５０７により、本端末装置における動作設定情報や通信先の電話番号を入力する。また、本端末装置の利用者は、本設定入力装置５０７により、通信の開始や終了を指示することが可能である。通信制御/入出力装置５０８は、例えば無線LANにおける無線LANカードとアンテナによって構成され、無線によりゲートキーパとデータの送受信を行う。音声入力装置５０３は、マイク等によって構成され、外部の音声を端末装置内に入力する。映像入力装置５０５は、カメラ等により構成され、外部の映像を端末装置内に入力する。音声出力装置５０４は、スピーカ等によって構成され、音声を出力する。表示装置５０６は、液晶等により構成され、映像を表示する。
【００２５】
中央処理装置５０１は、汎用のプロセッサであり、本端末装置の動作を規定するプログラムに基づき、本端末装置における動作を制御するとともに、音声入力装置５０３および映像入力装置５０５からの音声データおよび映像データの取得、映像データの切り出しおよび表示装置５０６への表示、およびこれらの音声データおよび映像データの符号化、パケット生成、通信制御/入出力装置５０８を介して相手端末へのパケット送信を行う。
【００２６】
また、通信制御/入出力装置５０８を介してパケットを受信し、受信したパケットから符号化された映像および音声のデータを取得して、これらの映像および音声データの復号化を行って、復号化された音声データを音声出力装置５０４を介して出力するとともに、復号化された映像データを表示装置５０６へ表示する。記憶装置５０２は、RAMやROM等によって構成され、中央処理装置５０１で実行されるプログラム、音声入力装置５０３によって入力された音声データ、映像入力装置５０５によって入力された映像データ、通信制御/入出力装置５０８によって入出力されるデータ、中央処理装置５０１によって符号化した映像データ、符号化した音声データ、復号化された映像データ、および復号化された音声データ等、中央処理装置５０１で処理されるデータを格納する。二次記憶装置５０９は、例えばフラッシュメモリ等の不揮発性メモリにより構成され、通話相手の電話番号を含む電話帳データ等を格納することが可能である。
【００２７】
また、本二次記憶装置５０９には、前記映像入力装置５０５により取得する映像の水平方向サイズおよび垂直方向サイズを格納する。なお、本水平方向サイズおよび垂直方向サイズは画素単位で格納される。また、本二次記憶装置５０９には、本端末装置で符号化および送信に適した映像の符号化方式、任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を格納する。また、本端末装置で符号化および送信に適した映像の符号化方式が複数存在する場合には、それぞれの符号化方式ごとに、その符号化方式で符号化および送信に適した映像の任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を格納する。
【００２８】
さらに、本二次記憶装置５０９には、本端末装置で復号化、表示、および受信に適した映像の符号化方式、任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を格納する。また、本端末装置で復号化、表示、および受信に適した映像の符号化方式が複数存在する場合には、それぞれの符号化方式ごとに、その符号化方式で復号化、表示、および受信に適した映像の任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を格納する。
【００２９】
次に、端末装置の中央処理装置により行われる端末装置の動作内容を説明する。図５は端末装置の中央処理装置５０１によって実行されるプログラムの処理内容を示す図であり、同時に端末装置の動作内容を示すフローチャートである。
【００３０】
図５に示すように、端末装置は、ゲートキーパを介して通信相手の端末装置との間に呼を確立する（ステップ７０１）。
【００３１】
続いて、端末装置は、ステップ７０１における呼の確立が失敗したか否かを判断し（ステップ７０２）、失敗した場合には処理を終了する。
一方、ステップ７０２において、ステップ７０１における呼の確立が成功したと判断した場合には、相手端末装置に自端末装置の能力情報を通知する（ステップ７０３）。具体的には、自端末装置において符号化，送信，復号化，および受信に適した音声の符号化方式およびビットレートの他に、図６に示す通り、端末装置１０１’で符号化、送信、復号化、表示、および受信に適した映像の符号化方式、任意の画素単位の水平方向サイズ、任意の画素単位の垂直方向サイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を、前記符号化、送信、復号化、表示、および受信に適した映像の符号化方式ごとに端末装置１０５’に送信することによってなされる。ここで、キーフレームとは映像を構成する画像において、他の画像を参照することなく復号することが可能な画像である。
【００３２】
なお、端末装置において符号化，送信，復号化，および受信に適した音声の符号化方式およびビットレートの通知方法については、例えばH.245勧告で規定されている方法等であるので説明を省略する。他方、端末装置１０１’で符号化、送信、復号化、表示、および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、任意の数値のビットレート、およびキーフレームの挿入間隔を端末装置１０５’に通知する方法としては、例えば図７に示す通り、端末装置で符号化、送信、復号化、表示、および受信に適した映像に関する情報の伝送の開始を示す識別子１００１に続いて、端末装置で符号化および送信に適した映像に関する情報の開始を示す識別子１００２を送信し、続いて端末装置で符号化および送信に適した映像に関する情報として、映像の符号化方式を示す識別子１００３、映像の任意の画素単位の水平方向サイズ１００４、任意の画素単位の垂直方向サイズ１００５、フレームレート１００６、キーフレームの挿入間隔１００７、任意の数値のビットレート１００８、および端末装置で符号化および送信に適した映像に関する情報の終了を示す識別子１００９を送信する。
【００３３】
なお、本端末装置で符号化および送信に適した映像の符号化方式が複数存在する場合には、それぞれの符号化方式ごとに上記１００２乃至１００９のセットを送信する。さらに、これらの端末装置で符号化および送信に適した映像に関する情報に続いて、端末装置で復号化、表示、および受信に適した映像に関する情報の開始を示す識別子１０１０を送信し、続いて端末装置で復号化、表示、および受信に適した映像に関する情報として、映像の符号化方式を示す識別子１０１１、映像の任意の画素単位の水平方向サイズ１０１２、任意の画素単位の垂直方向サイズ１０１３、フレームレート１０１４、キーフレームの挿入間隔１０１５、任意の数値のビットレート１０１６、および端末装置で復号化、表示、および受信に適した映像に関する情報の終了を示す識別子１０１７を送信する。
【００３４】
なお、本端末装置で復号化、表示、および受信に適した映像の符号化方式が複数存在する場合には、それぞれの符号化方式ごとに上記１０１０乃至１０１７のセットを送信する。そして最後に端末装置で符号化、送信、復号化、表示、および受信に適した映像に関する情報の伝送の終了を示す識別子１０１８を送信する。
【００３５】
ここで、端末装置で符号化、送信、復号化、表示、および受信に適した映像に関する情報の伝送の開始を示す識別子１００１、端末装置で符号化、送信、復号化、表示、および受信に適した映像に関する情報の伝送の終了を示す識別子１０１８、端末装置で符号化および送信に適した映像に関する情報の開始を示す識別子１００２、端末装置で符号化および送信に適した映像に関する情報の終了を示す識別子１００９、端末装置で復号化、表示、および受信に適した映像に関する情報の開始を示す識別子１０１０、端末装置で復号化、表示、および受信に適した映像に関する情報の終了を示す識別子１０１７は、それぞれ別の、ある決められた識別子あるいは数値とすれば良い。
【００３６】
また、端末装置で符号化および送信に適した映像の符号化方式を示す識別子１００３および端末装置で復号化、表示、および受信に適した映像の符号化方式を示す識別子１０１１は、例えばH.263勧告で規定されている符号化方式を示す場合には「１」とするなど、ある決められた識別子あるいは数値とすれば良い。また、端末装置で符号化および送信に適した映像の任意の画素単位の水平方向サイズ１００４および端末装置で符号化および送信に適した映像の任意の画素単位の垂直方向サイズ１００５は、端末装置で符号化および送信に適した映像のサイズの画素数を送ればよい。この場合、例えば、ある端末装置で水平方向最大１６０画素、垂直方向最大１２０画素の映像を符号化および送信できる場合には、端末装置で符号化および送信に適した映像の任意の画素単位の水平方向サイズ１００４は「１６０」、端末装置で符号化および送信に適した映像の任意の画素単位の垂直方向サイズ１００５は「１２０」とすれば良い。
【００３７】
また、端末装置で符号化および送信に適した映像のフレームレート１００６、端末装置で符号化および送信に適した映像のキーフレームの挿入間隔１００７、および端末装置で符号化および送信に適した映像の任意の数値のビットレート１００８は、端末装置で符号化および送信に適した映像のフレームレート、キーフレームの挿入間隔、およびビットレートを数値で送ればよい。この場合、例えば、ある端末装置で最大１５フレーム／秒、キーフレームの間隔が最大５フレーム、およびビットレートが最大６０Ｋｂｐｓの映像を符号化および送信できる場合には、端末装置で符号化および送信に適した映像のフレームレート１００６は「１５」、端末装置で符号化および送信に適した映像のキーフレームの挿入間隔１００７は「５」、および端末装置で符号化および送信に適した映像の任意の数値のビットレート１００８は「６００００」とすればよい。
【００３８】
同様に、端末装置で復号化、表示、および受信に適した映像の任意の画素単位の水平方向サイズ１０１２および端末装置で復号化、表示、および受信に適した映像の任意の画素単位の垂直方向サイズ１０１３は、端末装置で復号化、表示、および受信に適した映像のサイズの画素数を送れば良い。この場合、例えば、ある端末装置で水平方向最大３２０画素、垂直方向最大２４０画素の映像を復号化、表示、および受信できる場合には、端末装置で復号化、表示、および受信に適した映像の任意の画素単位の水平方向サイズ１０１２は「３２０」、端末装置で復号化、表示、および受信に適した映像の任意の画素単位の垂直方向サイズ１０１３は「２４０」となる。
【００３９】
また、端末装置で復号化、表示、および受信に適した映像のフレームレート１０１４、端末装置で復号化、表示、および受信に適した映像のキーフレームの挿入間隔１０１５、および端末装置で復号化、表示、および受信に適した映像の任意の数値のビットレート１０１６は、端末装置で復号化、表示、および受信に適した映像のフレームレート、キーフレームの挿入間隔、およびビットレートを数値で送ればよい。
【００４０】
この場合、例えば、ある端末装置で最大３０フレーム／秒、キーフレームの間隔が最大１５フレーム、およびビットレートが最大１００Ｋｂｐｓの映像を復号化、表示、および受信できる場合には、端末装置で復号化、表示、および受信に適した映像のフレームレート１０１４は「３０」、端末装置で復号化、表示、および受信に適した映像のキーフレームの挿入間隔１０１５は「１５」、および端末装置で復号化、表示、および受信に適した映像の任意の数値のビットレート１０１６は「１０００００」とすればよい。ここで、これらのデータは決められたビット数で送られても良いし、それぞれある識別子とともに送られても良い。これにより、データ間の区切りを識別できる。また、これらのデータは、例えば端末装置の二次記憶装置５０９に格納されており、これを読み出すことにより送信すれば良い。
【００４１】
さて、図５における説明に戻り、端末装置は、図６における９０４に示すように、相手端末装置から送信された相手端末の能力情報を受信することによって、相手端末の能力情報を得る（ステップ７０４）。これはステップ７０３で既に説明したことと同様に、相手端末装置がその端末装置において復号化および受信に適した音声の符号化方式およびビットレート、および図７に示す符号化、送信、復号化、表示、および受信に適した映像の情報を送信し、それを受信することによってなされる。
【００４２】
続いて、端末装置は、送信する映像および音声の属性を決定する（ステップ７０５）。ここで、送信する音声の属性とは，送信する音声の符号化方式およびビットレート等であり，送信する映像の属性とは，送信する映像の符号化方式、サイズ、フレームレート、キーフレームの挿入間隔、およびビットレート等である。ここで、送信する音声の符号化方式およびビットレートの決定方法については説明を省略し、送信する映像の符号化方式、サイズ、フレームレート、キーフレームの挿入間隔、およびビットレートを決定方法について説明する。まず、送信する映像の符号化方式としては、本端末装置が符号化および送信に適した映像の符号化方式と受信側の端末装置が復号、表示、および受信に適した映像の符号化方式とで一致する符号化方式を選択する。なお、本端末装置が符号化および送信に適した映像の符号化方式については、本端末装置の二次記憶装置５０９から読み出すことにより得られる。
【００４３】
また、受信側の端末装置が復号、表示、および受信に適した映像の符号化方式については、上記ステップ７０４で得た相手端末の能力情報に含まれているので、これを利用することができる。次に、送信する映像のサイズとしては、例えば、「ステップ７０６で取得する映像の水平方向サイズ」と、「本端末装置が符号化および送信に適した映像の任意の画素単位の水平方向サイズ」と、「受信側の端末装置が復号、表示、および受信に適した映像の任意の画素単位の水平方向サイズ」の内、最も小さいサイズ以下のサイズを送信する映像の水平方向サイズとし、「ステップ７０６で取得する映像の垂直方向サイズ」と、「本端末装置が符号化および送信に適した映像の任意の画素単位の垂直方向サイズ」と、「受信側の端末装置が復号、表示、および受信に適した映像の任意の画素単位の垂直方向サイズ」の内、最も小さいサイズ以下のサイズを送信する映像の垂直方向サイズとすることにより決定できる。
【００４４】
なお、本端末装置がステップ７０６で取得する映像の水平方向サイズおよび垂直方向サイズ、および本端末装置が符号化および送信に適した映像の任意の画素単位の水平方向サイズおよび任意の画素単位の垂直方向サイズについては、本端末装置の二次記憶装置５０９から読み出すことにより得ることができる。また、受信側の端末装置が復号、表示、および受信に適した映像の任意の画素単位の水平方向サイズおよび任意の画素単位の垂直方向サイズについては、上記ステップ７０４で得た相手端末の能力情報に含まれているので、これを利用することができる。次に、送信する映像のフレームレートとしては、例えば、本端末装置が符号化および送信に適した映像のフレームレートと受信側の端末装置が復号、表示、および受信に適した映像のフレームレートの内、小さいほうのフレームレート以下のフレームレートを符号化および送信する映像のフレームレートとすれば良い。
【００４５】
なお、本端末装置が符号化および送信に適した映像のフレームレートについては、本端末装置の二次記憶装置５０９から読み出すことにより得ることができる。また、受信側の端末装置が復号、表示、および受信に適した映像のフレームレートについては、上記ステップ７０４で得た相手端末の能力情報に含まれているので、これを利用することができる。次に、送信する映像おけるキーフレームの挿入間隔としては、例えば、本端末装置が符号化および送信に適した映像のキーフレームの挿入間隔と受信側の端末装置が復号、表示、および受信に適した映像のキーフレームの挿入間隔の内、小さいほうのキーフレームの挿入間隔以下のキーフレームの挿入間隔を符号化および送信する映像のキーフレームの挿入間隔とすれば良い。なお、本端末装置が符号化および送信に適した映像のキーフレームの挿入間隔については、本端末装置の二次記憶装置５０９から読み出すことにより取得することができる。また、受信側の端末装置が復号、表示、および受信に適した映像のキーフレームの挿入間隔については、上記ステップ７０４で得た相手端末の能力情報に含まれているので、これを利用することができる。
【００４６】
次に、送信する映像のビットレートとしては、例えば、本端末装置が符号化および送信に適した映像の任意の数値のビットレートと受信側の端末装置が復号、表示、および受信に適した映像の任意の数値のビットレートの内、小さいほうのビットレート以下のビットレートを符号化および送信する映像のビットレートとすれば良い。なお、本端末装置が符号化および送信に適した映像の任意の数値のビットレートについては、本端末装置の二次記憶装置５０９から読み出すことにより得ることができる。また、受信側の端末装置が復号、表示、および受信に適した映像の任意の数値のビットレートについては、上記ステップ７０４で得た相手端末の能力情報に含まれているので、これを利用することができる。
【００４７】
さて、図５における説明に戻り、端末装置は、映像入力装置からの映像の取得および音声入力装置からの音声の取得を開始する（ステップ７０６）。なお、本映像の取得および音声の取得処理は中央処理装置５０１において他の処理と並行して実行される１つのプログラムとすればよい。
【００４８】
続いて、端末装置は、映像入力装置５０５により取得した映像データからステップ７０５で決定した送信する映像のサイズ分の映像の切り出しを開始する（ステップ７０７）。これは例えば、図８に示す通り、映像入力装置５０５から記憶装置５０２内に取得した映像１１０１の中心を中心として、送信する映像のサイズ分の映像１１０２を切り出し、映像データ１１０２’を生成することにより実施される。または、設定入力装置５０７によりユーザから切り出し位置が指定されるようにしても良い。なお、図８では一例として映像入力装置５０５から記憶装置５０２内に取得した映像の水平方向サイズおよび垂直方向サイズが、それぞれ６４０画素および４８０画素であり、ステップ７０５で決定した送信する映像の水平方向サイズおよび垂直方向サイズ、すなわち切り出す映像の水平方向サイズおよび垂直方向サイズが、それぞれ３２０画素および２４０画素である場合を示している。なお、本映像の切り出し処理は中央処理装置５０１において他の処理と並行して実行される１つのプログラムとすれば良い。
【００４９】
さて、端末装置は、続いて本映像の切り出し処理で切り出した映像の表示を開始する（ステップ７０８）。これは、図８に示すように切り出した映像１１０２’を端末装置においてあらかじめ決められた自映像表示エリア１１０２’’のサイズにあわせて拡大あるいは縮小して該自映像表示エリア１１０２’’に表示すればよい。なお、本自映像の表示処理は中央処理装置５０１において他の処理と並行して実行される１つのプログラムとすればよい。
【００５０】
続いて、端末装置は、上記映像の切り出し処理で切り出した映像の符号化および音声入力装置５０３から取得した音声の符号化を開始する（ステップ７０９）。ここで、音声の符号化については、ステップ７０５で決定した送信する音声の属性に準拠して符号化する。また、映像の符号化についても同様に、ステップ７０５で決定した送信する映像の属性に準拠して符号化する。なお、本映像および音声データの符号化処理は中央処理装置５０１において他の処理と並行して実行される１つのプログラムとすればよい。ただし、本発明の特徴として、映像の符号化処理において、映像のサイズについては、上記映像の切り出し処理で切り出した映像が既にステップ７０５で決定した映像のサイズに準拠しているので拡大あるいは縮小等をする必要はなく、このままのサイズで符号化を行えばよい。
【００５１】
続いて、端末装置は、上記映像および音声データの符号化処理で符号化した音声および映像のデータの多重化およびパケットの生成を開始し（ステップ７１０）、生成されたパケットの通信相手の端末装置への送信を開始する（ステップ７１１）。なお、本パケットの生成処理およびパケットの送信処理は，それぞれ中央処理装置５０１において他の処理と並行して実行されるプログラムとすればよい。
【００５２】
続いて、端末装置は、通信相手の端末装置からのパケットの受信を開始し（ステップ７１２）、受信したパケットから符号化された映像データおよび音声データの取得を開始して（ステップ７１３）、取得した符号化された映像データの復号化および音声データの復号化を開始（ステップ７１４）し、復号化した相手映像の表示開始（ステップ７１５）および復号化した相手音声の出力を開始する（ステップ７１６）。なお、本パケットの受信処理、受信したパケットからの符号化された映像データおよび音声データの取得処理、符号化された映像データの復号化および音声データの復号化処理、復号化した相手映像の表示処理、および復号化した相手音声の出力処理は、それぞれ中央処理装置５０１において他の処理と並行して実行されるプログラムとすればよい。ただし、本発明の特徴として、復号化した相手映像の表示処理においては以下の注目すべき点がある。
【００５３】
すなわち、復号化された映像１１０２’’’は、図８に示すように、符号化された映像のサイズと同じであり、送信側の端末装置において取得した映像から切り出した映像１１０２’のサイズと同じであるため、この映像を受信した端末装置の表示画面のサイズと等しいかあるいはそれより小さいはずである。このため、復号化した相手映像の表示においては、図８に示すように、復号化した映像１１０２’’’を縮小することなく、表示画面３０３に表示することが可能である。なお、もし、復号化した映像１１０２’’’が表示画面３０３より小さい場合には、例えば、復号化した映像１１０２’’’を表示画面３０３の中心に配置し、映像を表示していない部分を黒色表示してもよいし、復号化した映像１１０２’’’を表示画面３０３のサイズに合わせて拡大して表示してもよい。
【００５４】
さて、端末装置は本端末装置の利用者から終了が指示されるか、または、通信相手の端末装置から通話の終了を指示するデータを受信するまで待ち（ステップ７１７）、本端末装置の利用者から終了が指示されたか、または、通信相手の端末装置から通話の終了を指示するデータを受信した場合には、相手音声の出力を終了し（ステップ７１８）、相手映像の表示を終了する（ステップ７１９）。また、映像データの復号化および音声データの復号化を終了し（ステップ７２０）、受信したパケットからの符号化された映像データおよび音声データの取得を終了して（ステップ７２１）、通信相手の端末装置からのパケットの受信を終了する（ステップ７２２）ことにより、通信相手の音声および映像の受信を終了する。
【００５５】
さらに、上記ステップ７１７において，本端末装置の利用者から終了が指示されたか、または、通信相手の端末装置から通話の終了を指示するデータを受信した場合には，さらに通信相手の端末装置へのパケットの送信を終了し（ステップ７２３）、パケットの生成を終了して（ステップ７２４）、送信する映像の符号化および音声の符号化を終了する（ステップ７２５）。また、自映像表示エリアへの映像表示を終了し（ステップ７２６）、映像入力装置から入力した映像の切り出しを終了して（ステップ７２７）、映像入力装置からの映像の取得および音声入力装置からの音声の取得を終了する（ステップ７２８）。なお、これらの終了処理は各処理を行うプログラムを終了することによって実現できる。
【００５６】
そして、端末装置は、ゲートキーパを介して通信相手の端末装置との間の呼を解放して（ステップ７２９）、本端末装置における処理を終了する。なお、ゲートキーパを介して通信相手の端末装置との間の呼を解放する方法、手順、および処理内容については、説明を省略する。
【００５７】
なお，本発明の実施例においては，二次記憶装置５０９には、映像のサイズに関する情報が画素単位で格納されていたが，必ずしもこの限りではなく，例えばビット単位あるいはバイト単位等，映像のサイズに関して画素単位の数値に換算可能な単位で格納されていても良く，この場合には，映像のサイズに関する情報を使用する際に画素単位の数値に変換して用いればよい。また，本発明の実施例においては，「端末装置で符号化および送信に適した映像の任意の画素単位の水平方向サイズ」および「端末装置で符号化および送信に適した映像の任意の画素単位の垂直方向サイズ」として、該端末装置で符号化および送信に適した映像のサイズの画素数を送ればよいと記載したが，必ずしもこの限りではなく，例えば映像のサイズを示すビット数あるいはバイト数等，映像のサイズに関して画素単位の数値に換算可能な数値を送るようにしてもよい。この場合には，これらの情報を受信する端末装置がこれらの情報を画素単位の数値に変換して用いればよい。
また，以上の説明においては、映像入力装置から取得した映像に対して、ステップ７０５で決定した送信する映像のサイズ分の映像の切り出し、自映像の表示処理では、この切り出した映像を自映像表示エリアに表示するとともに、映像データの符号化処理では、この切り出した映像をステップ７０９で符号化したが、これを例えば以下のように変更してもよい。すなわち、図９に示すように、自映像の表示処理においては映像入力装置５０５から取得した映像１１０１に対して、ステップ７０５で決定した送信する映像のサイズ分の枠１５０１をつけるなどしてマーキングし、この枠がつけられた映像１１０１’’をステップ７０８で自映像表示エリア１５０２に表示するとともに、映像データの符号化処理では、この枠で囲まれた内部の映像１５０３を符号化する。この場合、やはり受信側の端末で受信および復号化された映像１５０３’は、送信側の端末装置において取得した映像に対して枠がつけられた内部の映像１１０１’のサイズと同じであるため、この映像を受信した端末装置の表示画面のサイズと等しいかあるいはそれより小さくなる。このため、復号化した相手映像の表示においては、復号化した映像１５０３’を縮小することなく、表示画面３０３に表示することが可能であり、上記で説明した映像を切り出す場合と同様の効果が得られる。
【００５８】
なお、マーキングの位置については、映像入力装置５０５から取得した映像１１０１の中心をマーキングの領域の中心とすればよい。または、設定入力装置５０７によって、ユーザからマーキングの位置が指定されるようにしても良い。
【００５９】
また、以上の説明では、送信側の端末において、映像入力装置から取得した映像から送信する映像のサイズ分の映像を切り出す、あるいは送信する映像のサイズ分の枠をつけるなどしてマーキングし、この枠で囲まれた内部の映像を符号化するとしたが、例えばパーソナルコンピュータ等のように高性能な端末装置の場合には、必ずしもこの限りではなく、映像入力装置から取得した映像を縮小するようにしても良い。また、端末装置は映像を送信する際に，その端末装置の性能を判断して、映像入力装置から取得した映像を切り出すか縮小するかを判断し、この判断結果に応じて映像入力装置から取得した映像から送信する映像のサイズ分の映像を切り出すか縮小するようにしても良い。この場合、図１０に示すように、中央処理装置５０１がステップ１００１において、映像の切り出しを行うか縮小を行うか判断する。これは、例えば映像入力装置から取得した数フレーム分の映像を送信する映像のサイズに縮小して符号化するとともに、自映像表示エリアのサイズに縮小して、ステップ７０５で決定した送信する映像の属性に準拠して符号化が可能か否かを判断することにより判断可能である。
【００６０】
すなわち、中央処理装置５０１がステップ１００１において，映像入力装置から取得した映像を送信する映像のサイズに縮小して符号化するとともに、自映像表示エリアのサイズに縮小して、ステップ７０５で決定した送信する映像の属性に準拠して符号化することが可能と判断した場合は映像入力装置から取得した映像を縮小すると判断する。一方、中央処理装置５０１がステップ１００１において，映像入力装置から取得した映像を送信する映像のサイズに縮小して符号化するとともに、自映像表示エリアのサイズに縮小した場合、ステップ７０５で決定した送信する映像の属性に準拠して符号化することが不可能と判断した場合には、映像入力装置から取得した映像を切り出すと判断する。続いて、ステップ１００１において映像入力装置から取得した映像を切り出すと判断した場合には、前述の通り映像の切り出しを開始し、一方、ステップ１００１において映像入力装置から取得した映像を縮小すると判断した場合には、映像入力装置から取得した映像の縮小を開始する（ステップ１００２）。
【００６１】
また、この場合、自映像表示開始処理では、ステップ１００１において映像入力装置から取得した映像を切り出すと判断した場合には、前述の通り切り出した映像の表示を開始し、ステップ１００１において映像入力装置から取得した映像を縮小すると判断した場合には、映像入力装置から取得した映像を自映像表示エリアのサイズにあわせて拡大あるいは縮小して表示する（ステップ７０８’）。
【００６２】
また、本端末装置における処理を終了する際には、ステップ１００１において映像入力装置から取得した映像を切り出すと判断したかどうかを判断して（ステップ１００３）、映像を切り出すと判断した場合には、前述の通り切り出し処理を終了し、映像を縮小すると判断した場合には、ステップ１００２で開始している映像の縮小処理を終了する。なお、図１０において、図５と同じ内容の処理については同じ番号を付してある。また、本発明の実施形態の説明では、映像の取得および音声の取得処理、映像の切り出し処理、映像の縮小処理、自映像の表示処理、映像および音声データの符号化処理、パケットの生成処理、パケットの受信処理、受信したパケットからの符号化された映像データおよび音声データの取得処理、符号化された映像データの復号化および音声データの復号化処理、復号化した相手映像の表示処理、および復号化した相手音声の出力処理を，それぞれ中央処理装置５０１において実行されるプログラムとしたが、これらの処理をそれぞれハードウェアにより実現してもよい。
【００６３】
【発明の効果】
本発明によれば、表示画面の属性が異なっている場合でも効率よく情報を送受信できる。また、端末装置に必要となるメモリ量や処理能力を少なくし、低コストな端末装置にて情報通信システムを構築することが可能である。
【図面の簡単な説明】
【図１】本発明の実施例にかかるテレビ電話システムの構成図である。
【図２】本発明の実施例にかかるテレビ電話システムにおける端末装置の一例を示す図であり、特に携帯電話型の端末装置を示す図である。
【図３】本発明の実施例にかかるテレビ電話システムにおける端末装置の他の例を示す図であり、特にPDA型の端末装置を示す図である。
【図４】本発明の実施例にかかるテレビ電話システムにおける端末装置の構成の一例を示す図である。
【図５】本発明の実施例にかかるテレビ電話システムにおける端末装置の動作内容を示す図である。
【図６】本発明の実施例にかかるテレビ電話システムにおける端末装置が相手側の端末装置に自端末装置の能力情報を通知することおよび相手端末装置から送信された相手端末装置の能力情報を受信することによって、相手端末の能力情報を得ることを示す図であり、特に端末装置間で符号化、送信、復号化、表示、および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、キーフレームの挿入間隔、および任意の数値のビットレートを通知しあうことを示す図である。
【図７】本発明の実施例にかかるテレビ電話システムにおける端末装置間で符号化、送信、復号化、表示、および受信に適した映像の符号化方式、任意の画素単位のサイズ、フレームレート、キーフレームの挿入間隔、および任意の数値のビットレートを通知しあう際の送受信するデータの構造を示す図である。
【図８】本発明の実施例にかかるテレビ電話システムにおける端末装置が映像入力装置から取得した映像に対して、送信する映像のサイズ分の映像を切り出し、この切り出した映像を自映像表示エリアに表示するとともに、この切り出した映像を符号化し、相手側の端末装置に送信することを示す図である。また、受信側の端末装置では、この映像を復号化し、縮小することなく、表示画面に表示することが可能であることを示す図である。
【図９】本発明の実施例にかかるテレビ電話システムにおける端末装置が映像入力装置から取得した映像に対して、送信する映像のサイズ分の枠をつけ、この枠がつけられた映像を自映像表示エリアに表示するとともに、この枠で囲まれた内部の映像を符号化し、相手側の端末装置に送信することを示す図である。また、受信側の端末装置では、この映像を復号化し、縮小することなく、表示画面に表示することが可能であることを示す図である。
【図１０】本発明の実施例にかかるテレビ電話システムにおける端末装置の動作内容を示す図であり、特に端末装置の性能を判断して、映像入力装置から取得した映像を切り出すか縮小するかを判断し、この判断結果に応じて映像入力装置から取得した映像から、送信する映像のサイズ分の映像を切り出すか縮小する場合の端末装置の動作内容を示す図である。
【符号の説明】
００１…通信拠点Ａ
００２…通信拠点Ｂ
１０１…端末装置
１０２…ゲートキーパ
１０３…ネットワーク
１０４…ゲートキーパ
１０５…端末装置
１０６…ルータ
１０７…無線アクセスポイント
１０８…ルータ
１０９…無線アクセスポイント
２００…端末装置
２０１…端末装置本体
２０２…カメラ
２０３…表示画面
２０４…操作ボタン
２０５…スピーカ
２０６…マイク
２０７…アンテナ
３００…端末装置
３０１…端末装置本体
３０２…カメラ
３０３…表示画面
３０４…操作ボタン
３０５…スピーカ
３０６…マイク
３０７…アンテナ
５０１…中央処理装置
５０２…記憶装置
５０３…音声入力装置
５０４…音声出力装置
５０５…映像入力装置
５０６…表示装置
５０７…設定入力装置
５０８…通信制御/入出力装置
５０９…二次記憶装置
５１０…バス
【図１】
0003775346.tif 000002
【図２】
0003775346.tif 000003
【図３】
0003775346.tif 000004
【図４】
0003775346.tif 000005
【図５】
0003775346.tif 000006
【図６】
0003775346.tif 000007
【図７】
0003775346.tif 000008
【図８】
0003775346.tif 000009
【図９】
0003775346.tif 000010
【図１０】
0003775346.tif 000011