(57)【特許請求の範囲】
【請求項１】
複数の入力系統から入力される映像を個別に符号化する複数の符号化部と、
前記複数の符号化部が符号化した複数の映像を相手方の通信端末に送信する送信部と、
前記送信部により相手方の通信端末に送信された複数の映像の相手方の通信端末の表示画面における各々の表示面積を特定させることのできる表示面積特定信号を受信する表示面積特定信号受信部と、
ネットワークの伝送帯域を推定する帯域推定部と、
前記表示面積特定信号受信部の受信した表示面積特定信号で示される複数の映像の各々の表示面積の比におおよそ従い、前記帯域推定部の推定した伝送帯域の範囲内で複数の映像の各々の送信帯域の割り当てを決定する帯域割当部と、
前記帯域割当部の割り当てた送信帯域の範囲内で前記複数の符号化部による複数の映像の符号化の量を制御する符号化制御部と、
を備える通信端末。
【請求項２】
複数の映像の各々の表示面積の比に応じた送信帯域の割り当てと前記帯域推定部により推定されるべき伝送帯域とが対応づけられた割当テーブルを記憶する割当テーブル記憶部をさらに備え、
前記帯域割当部は、前記割当テーブル記憶部の割当テーブルを参照し、前記帯域推定部により推定された伝送帯域に対応づけられた複数の映像の各々の割り当てに従って送信帯域の割り当てを決定する請求項１に記載の通信端末。
【請求項３】
前記割当テーブルに記憶された複数の映像の各々の送信帯域の割り当ては所定の下限値を上回る請求項２に記載の通信端末。
【請求項４】
前記表示面積特定信号受信部の受信する表示面積特定信号は、前記相手方の通信端末が表示する複数の映像の各々を表示するエリアを規定する表示モードを特定する情報を含み、
前記帯域割当部は、前記表示面積特定信号受信部の受信した表示面積特定信号から前記相手方の通信端末で設定されている表示モードを特定し、特定した表示モードにおいて複数の映像の各々が表示されるエリアの面積比に応じて各エリアに表示される映像の送信帯域の割り当てを決定する請求項１〜３のいずれかに記載の通信端末。
【請求項５】
前記表示モードは１画面が所定の面積で等分割された表示エリアの一部または全部における前記複数の映像の各々の配置を規定する請求項４に記載の通信端末。
【請求項６】
複数の入力系統から入力される映像を個別に符号化する複数の符号化部と、前記複数の符号化部が符号化した複数の映像をネットワークを介して送信する送信部と、前記ネットワークの伝送帯域を推定する帯域推定部とを備える送信側通信端末、および前記送信側通信端末から前記ネットワークを介して前記符号化された複数の映像を受信する受信部と、前記受信部の受信した前記符号化された複数の映像を復号化する復号化部と、前記復号化部の復号化した複数の映像を展開する展開部と、前記展開部の展開した複数の映像を表示する表示部とを備える受信側通信端末を含む通信システムであって、
前記受信側通信端末は、前記送信側通信端末から送信された前記複数の映像の各々の前記表示部における表示面積を特定させることのできる表示面積特定信号を送信する表示面積特定信号送信部を備え、
前記送信側通信端末は、前記受信側通信端末から前記表示面積特定信号を受信する表示面積特定信号受信部と、前記表示面積特定信号受信部の受信した表示面積特定信号で示される複数の映像の各々の表示面積の比におおよそ従い、前記帯域推定部の推定した伝送帯域の範囲内で前記複数の映像の各々の送信帯域の割り当てを決定する帯域割当部と、前記帯域割当部の割り当てた送信帯域の範囲内で前記複数の符号化部による複数の映像の符号化の量を制御する符号化制御部と、を備える通信システム。
【請求項７】
複数の入力系統から入力される映像を個別に符号化するステップと、
符号化された複数の映像を相手方の通信端末に送信するステップと、
相手方の通信端末に送信された複数の映像の相手方の通信端末の表示画面における各々の表示面積を特定させることのできる表示面積特定信号を受信するステップと、
ネットワークの伝送帯域を推定するステップと、
受信した表示面積特定信号で示される複数の映像の各々の表示面積の比におおよそ従い、推定された伝送帯域の範囲内で複数の映像の各々の送信帯域の割り当てを決定するステップと、
前記複数の映像の各々に割り当てられた送信帯域の範囲内で前記複数の映像の符号化の量を制御するステップと、
を含む通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信端末、通信システムおよび通信方法に係り、特に画像ないし音声による双方向コミュニケーションを提供する端末、システムおよび方法に関する。
【背景技術】
【０００２】
動画像、音声を圧縮する方式として、「ＭＰＥＧ」方式がある。ＭＰＥＧによる動画像圧縮では、画像をマクロブロックと呼ばれる１６画素×１６画素の矩形ブロック群に分割し、時間的に前後の画像の中から、圧縮するマクロブロックに似た領域（参照領域）を抽出し、参照領域との空間的な距離、方位（動きベクトル）と、参照領域と圧縮しようとする領域の差分情報を計算し、これらの情報を、ＤＣＴ（離散コサイン変換）、可変長符号化を用いてビットストリームに圧縮し、時間的冗長度を減らすことにより、データ量を削減する。しかし、差分情報によって圧縮された画像は参照する画像がないと伸長できないため、ビットストリームの途中から伸長するような用途（以下、「ランダムアクセス」と称する。）に対処するためには、他の画像を参照しない画像を周期的に設ける必要がある。この画像を「Ｉピクチャ」（Intra Picture）と称する。Ｉピクチャを参照画像として、次の画像を圧縮し、さらに、すでに圧縮された画像を参照画像として後続の画像を圧縮していく。
【０００３】
参照画像を用いて圧縮する画像の中には、時間的に前の画像のみを参照画像とする"Ｐピクチャ" (Predictive-coded Picture)と、時間的に前後の画像を参照画像とする"Ｂピクチャ" (Bidirectionally predictive-coded Picture)がある。Ｐピクチャは、Ｉピクチャと同様に、他の画像の参照画像となりうる。ＭＰＥＧでは、Ｉピクチャ及びそれと直接間接的に参照関係にある一連の画像集合体より、ＧＯＰ(Group Of Pictures)を構成する事が可能である。ＧＯＰには、ＧＯＰヘッダが付加される。ＧＯＰは、ランダムアクセスの単位として用いる。
【０００４】
Ｂピクチャを用いる圧縮では、時間的に前後の画像を参照画像として使用するために、入力される画像の順番と圧縮の結果得られるビットストリーム上での画像の順番を入れ替える処理を行う。
【０００５】
ＭＰＥＧによる動画像圧縮では、スキップという方法により、さらに圧縮効率を上げている。これは、Ｂピクチャ、Ｐピクチャの符号化において、符号化している現在の画像のマクロブロックが時間的に前の画像のマクロブロックとデータが同じ場合、そのマクロブロックをスキップドマクロとしてデータを送らないようにする。復号化では、直前のＩピクチャ又はＰピクチャから復号化される画像データと同一の画像データを復元する。
【特許文献１】特許公開２００１−１０３４２９号公報
【特許文献２】特許公開２００１−２２４０２８号公報
【特許文献３】特許公開２００２−１０２１４号公報
【特許文献４】特許公開平８−１２６０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＴＶ電話、ＴＶ会議システムにみられるような通信ネットワークを介して接続された端末同士でリアルタイムに複数の映像を相互に交信し、端末の受信した複数の映像を１つの画面上で表示する場合、自分方端末から相手方端末に送る映像として予め用意された静止画を選択できるようにすると便宜であるが、選択の都度静止画像データそのもの（ＪＰＥＧ形式のファイルなど）を送るとすると、データ量が一時的に増加し他の映像の伝送を圧迫する。また、静止画像データそのものを送ると、不要な静止画像が相手方に残ってしまうし、むしろ残してもらいたくないこともある。
【０００７】
本発明の目的は、リアルタイムで動画像を送受信する通信端末において、任意の静止画像を迅速かつ簡便に送ることにある。
【０００８】
一方、複数系統から別個に自分方端末に入力される映像データ（動画、静止画を含む）を平等な伝送帯域で相手方端末に送ると、様々な弊害が予想される。
【０００９】
例えば、比較的大きく表示される映像の伝送帯域が小さいと、画面の精細さが損なわれる。画質を優先させるためフレームレートを低下させてもよいが、動きがカクカクして見づらくなり好ましくない。
【００１０】
逆に、比較的小さく表示される映像の伝送帯域を大きく確保しても、結局相手方で小さくリサイズされてしまうため、精細なデータを送っても無意味である。
【００１１】
本発明の他の目的は、リアルタイム動画像送受信端末において、限られた伝送帯域から、複数の映像を伝送する帯域を適切に割り当てることにある。
【課題を解決するための手段】
【００１２】
上述の課題を解決するため、本発明に係る通信端末は、所望の静止画像を入力する入力部と、入力部に入力された静止画像を展開する展開部と、展開部に展開された静止画像を参照画像としかつ参照画像に対する動きベクトルが零の差分画像により１フレームの動画像に復元されるような圧縮動画像を符号化する符号化部と、符号化部の符号化した圧縮動画像を所望の相手方に送信する送信部と、を備える。
【００１３】
この通信端末は、所望の静止画像を、該静止画像を参照画像としかつ動きベクトルが０の差分画像で復号化される圧縮動画像を所望の相手方に送信する。相手方の通信端末は、受信した参照画像と差分画像から、該静止画像をフレーム動画像として復号化できる。
【００１４】
この通信端末は、１または複数の静止画像の入力系統から所望の静止画像の入力系統を選択する選択部を備え、入力部は選択部の選択した静止画像の入力系統から所望の静止画像を入力するようにしてもよい。
【００１５】
自分方の通信端末の選択部によって静止画の入力元がいずれに切り替わっても、入力元の種類とは無関係に、静止画に相当する部分が動きベクトル零となるようなフレーム動画像が相手方の通信端末にリアルタイムで送信される。このため、選択部による静止画の入力元が不定期に切り替わっても、これに追従して、相手方の通信端末に送信されるフレーム動画像がすみやかに切り替わり、結果的に相手方の通信端末で表示される静止画もすみやかに切り替わる。
【００１６】
この通信端末は、手動の入力操作を受け付ける操作部と、静止画像の入力系統の一覧を表示する入力系統表示部をさらに備え、選択部は、入力系統表示部に表示された静止画像の入力系統の一覧から、操作部への入力操作により任意に指定された入力系統を選択するようにしてもよい。
【００１７】
また、上述の課題を解決するため、本発明に係る通信端末は、複数の入力系統から入力される映像を個別に符号化する複数の符号化部と、複数の符号化部が符号化した複数の映像を相手方の通信端末に送信する送信部と、送信部により相手方の通信端末に送信された複数の映像の相手方の通信端末の表示画面における各々の表示面積を特定させることのできる表示面積特定信号を受信する表示面積特定信号受信部と、ネットワークの伝送帯域を推定する帯域推定部と、表示面積特定信号受信部の受信した表示面積特定信号で示される複数の映像の各々の表示面積の比におおよそ従い、帯域推定部の推定した伝送帯域の範囲内で複数の映像の各々の送信帯域の割り当てを決定する帯域割当部と、帯域割当部の割り当てた送信帯域の範囲内で複数の符号化部による複数の映像の符号化の量を制御する符号化制御部と、を備える。
【００１８】
こうすると、限られた伝送帯域の中から、相手方端末における映像の表示面積の大小に応じた送信帯域を割り当てることができる。大きく表示される映像には相対的に大きな帯域を割り当てて相手方に送信し、精細に表示させることができる。また、小さく表示される映像には相対的に小さな帯域を割り当てて相手方に送信し、おおまかに表示させることができる。
【００１９】
この通信端末は、複数の映像の各々の表示面積の比に応じた送信帯域の割り当てと帯域推定部により推定されるべき伝送帯域とが対応づけられた割当テーブルを記憶する割当テーブル記憶部をさらに備え、帯域割当部は、割当テーブル記憶部の割当テーブルを参照し、帯域推定部により推定された伝送帯域に対応づけられた複数の映像の各々の割り当てに従って送信帯域の割り当てを決定するようにしてもよい。
【００２０】
なお、帯域推定の技術は任意であり、例えば、「帯域適応レート制御方式」（BARC）のような、RTP（Real-Time Transport Protocol）のセッション制御を行うプロトコル「RTCP（RTP Control Protocol）」により、ネットワークの状況を監視する技術を用いることができる。
【００２１】
割当テーブルに記憶された複数の映像の各々の送信帯域の割り当ては所定の下限値を上回るようにすることが好ましい。
【００２２】
表示面積比に厳密に従って映像の送信帯域を割り当てると、推定された伝送帯域が小さい場合は、面積比の小さい方の映像の画質が視覚に耐えないほど低下してしまうことが予想される。このため、表示面積の小さい方の送信帯域は所定の下限値を上回るよう割り当てる。
【００２３】
表示面積特定信号受信部の受信する表示面積特定信号は、相手方の通信端末が表示する複数の映像の各々を表示するエリアを規定する表示モードを特定する情報を含み、帯域割当部は、表示面積特定信号受信部の受信した表示面積特定信号から相手方の通信端末で設定されている表示モードを特定し、特定した表示モードにおいて複数の映像の各々が表示されるエリアの面積比に応じて各エリアに表示される映像の送信帯域の割り当てを決定するようにしてもよい。
【００２４】
表示モードは１画面が所定の面積で等分割された表示エリアの一部または全部における複数の映像の各々の配置を規定するようにしてもよい。
【００２５】
本発明に係る通信システムは、所望の静止画像を入力する入力部と、入力部に入力された静止画像を展開する展開部と、展開部に展開された静止画像を参照画像としかつ参照画像に対する動きベクトルが零の差分画像により１フレームの動画像に復元されるような圧縮動画像を符号化する符号化部と、符号化部の符号化した圧縮動画像を送信する送信部と、を備える送信側通信端末と、送信側通信端末から符号化された圧縮動画像を受信する受信部と、受信部の受信した符号化された圧縮動画像を復号化する復号化部と、復号化部の復号化した圧縮動画像を１フレームの動画像に展開する展開部と、展開部の展開した１フレームの動画像を静止画像として表示する表示部と、を備える受信側通信端末と、を備える。
【００２６】
本発明に係る通信システムは、複数の入力系統から入力される映像を個別に符号化する複数の符号化部と、複数の符号化部が符号化した複数の映像をネットワークを介して送信する送信部と、ネットワークの伝送帯域を推定する帯域推定部とを備える送信側通信端末、および送信側通信端末からネットワークを介して符号化された複数の映像を受信する受信部と、受信部の受信した符号化された複数の映像を復号化する復号化部と、復号化部の復号化した複数の映像を展開する展開部と、展開部の展開した複数の映像を表示する表示部とを備える受信側通信端末に関する。
【００２７】
この通信システムにおいて、受信側通信端末は、送信側通信端末から送信された複数の映像の各々の表示部における表示面積を特定させることのできる表示面積特定信号を送信する表示面積特定信号送信部を備え、送信側通信端末は、受信側通信端末から表示面積特定信号を受信する表示面積特定信号受信部と、表示面積特定信号受信部の受信した表示面積特定信号で示される複数の映像の各々の表示面積の比におおよそ従い、帯域推定部の推定した伝送帯域の範囲内で複数の映像の各々の送信帯域の割り当てを決定する帯域割当部と、帯域割当部の割り当てた送信帯域の範囲内で複数の符号化部による複数の映像の符号化の量を制御する符号化制御部と、を備える。
【００２８】
本発明に係る通信方法は、所望の静止画像を入力するステップと、入力された静止画像を展開するステップと、展開された静止画像を参照画像としかつ参照画像に対する動きベクトルが零の差分画像により１フレームの動画像に復元されるような圧縮動画像を符号化するステップと、符号化された圧縮動画像を所望の相手方の通信端末に送信するステップと、を含む。
【００２９】
また、本発明に係る通信方法は、複数の入力系統から入力される映像を個別に符号化するステップと、符号化された複数の映像を相手方の通信端末に送信するステップと、相手方の通信端末に送信された複数の映像の相手方の通信端末の表示画面における各々の表示面積を特定させることのできる表示面積特定信号を受信するステップと、ネットワークの伝送帯域を推定するステップと、受信した表示面積特定信号で示される複数の映像の各々の表示面積の比におおよそ従い、推定された伝送帯域の範囲内で複数の映像の各々の送信帯域の割り当てを決定するステップと、複数の映像の各々に割り当てられた送信帯域の範囲内で複数の映像の符号化の量を制御するステップと、を含む。
【発明の効果】
【００３０】
この発明によると、所望の静止画像を、該静止画像を参照画像としかつ動きベクトルが０の差分画像で復号化される圧縮動画像を所望の相手方に送信する。相手方の通信端末は、受信した参照画像と差分画像から、該静止画像をフレーム動画像として復号化できる。
【００３１】
また、この発明によると、限られた伝送帯域の中から映像の表示面積の大小に応じた伝送帯域を割り当てることができる。大きく表示される映像には相対的に大きな帯域を割り当てて、精細に表示させることができる。また、小さく表示される映像には相対的に小さな帯域を割り当てて、おおまかに表示させることができる。
【発明を実施するための最良の形態】
【００３２】
図１は本発明の好ましい実施形態に係る映像音声通信システムのブロック図である。このシステムは、同等の構成を有する通信端末１ａと通信端末１ｂとがインターネットなどのネットワーク１０を介して接続されており、互いに映像と音声を送受信する。
【００３３】
通信端末１ａと通信端末１ｂとは同様の構成であり、両者を区別するのはネットワークの通信相手を区別するためにすぎず、以下の説明において、両者の役割の全部または一部を入れ換えることもできることに注意を要する。両者をネットワークの通信相手として区別する必要がなければ、まとめて通信端末１と表すこともある。
【００３４】
ネットワーク１０は、例えばＡＤＳＬ、光ファイバ（ＦＴＴＨ）、ケーブルテレビなどのブロードバンドネットワークや、ＩＳＤＮなどのナローバンドネットワーク、ＵＷＢ（Ultra Wide Band）やＷｉ−Ｆｉ（Wireless Fidelity）といったＩＥＥＥ  ８０２．ｘｘ準拠の無線通信などで構成される。
【００３５】
本実施形態では、ネットワーク１０は、所定値の帯域（通信速度）が常に確保できるかどうかは保証されていないベストエフォート型ネットワークを想定する。ネットワーク１０は、電話局と自宅の距離やADSLモデム間の通信速度、トラフィックの増減、セッションの相手方の通信環境などの各種要因で、公称されている最大帯域が実質的に制限されることがある。実効値が公称値の数分の一以下になる場合も多い。ネットワーク１０の帯域は、ビット毎秒（bps）で表される。例えば、ＦＴＴＨの公称帯域は１００Ｍｂｐｓなどが一般的であるが、実際には、数百ｋｂｐｓにまで制限されることがある。
【００３６】
通信端末１ａと通信端末１ｂとの接続経路は、ＳＩＰ（Session Initiation Protocol）サーバで構成された交換台サーバ６がネットワークアドレス（グローバルＩＰアドレスなど）、ポート、識別子（ＭＡＣアドレスなど）を用いて指定する。名称や電子メールアドレスなど通信端末１のユーザに関する情報や通信端末１の接続に関する情報（アカウント情報）はアカウントデータベース（ＤＢ）８ａ内に格納されており、アカウント管理サーバ８によって管理されている。アカウント情報はＷｅｂサーバ７を介してアカウント管理サーバ８に接続した通信端末１から更新・変更・削除することもできる。Ｗｅｂサーバ７は、メールを送信するメールサーバ、ファイルのダウンロードを行うファイルサーバも兼ねている。
【００３７】
通信端末１ａは、マイク３ａ、カメラ４ａ、スピーカ２ａ、モニタ５ａと接続され、カメラ４ａで撮影された映像とマイク３ａで集音された音声がネットワーク１０を介して通信端末１ｂに送信される。通信端末１ｂも、マイク３ｂ、カメラ４ｂ、スピーカ２ｂ、モニタ５ｂと接続され、同様に映像と音声とを通信端末１ａに送信できる。
【００３８】
通信端末１ｂが受信した映像と音声はモニタ５ｂ、スピーカ２ｂに出力され、通信端末１ａが受信した映像と音声はそれぞれモニタ５ａ、スピーカ２ａに出力される。なお、マイク３とスピーカ２はヘッドセットとして一体構成してもよい。
【００３９】
図２は通信端末１の詳細構成を示すブロック図である。
【００４０】
通信端末１の本体外面には、音声入力端子３１、映像入力端子３２、音声出力端子３３、映像出力端子３４が設けられており、それぞれマイク３、カメラ４、スピーカ２、モニタ５と接続される。
【００４１】
外部入力端子３０−１は、ＩＥＥＥ１３９４系の入力端子であり、デジタルビデオカメラ７０からＤＶ方式その他の仕様に従った動画像／静止画像／音声データの入力を受ける。外部入力端子３０−２は、デジタルスチルカメラ７１からＪＰＥＧ仕様その他の仕様に従った静止画像の入力を受ける。
【００４２】
音声入力端子３１に接続されたマイク３からオーディオデータ化部１４に入力された音声信号と、ＮＴＳＣデコーダ１５の生成した色差信号は、ＭＰＥＧ４エンコーダなどの高画質対応符号器で構成されたＣＨ１符号化部１２−１によってデジタル圧縮符号化されてストリームデータ（リアルタイム配信可能な形式のコンテンツデータ）に変換される。このストリームデータをＣＨ１ストリームデータとよぶ。
【００４３】
スイッチャ７８によってデータ入力元となった、Ｗｅｂブラウザモジュール４３がＷｅｂコンテンツサーバ９０からダウンロードした静止画像もしくは動画像、デジタルビデオカメラ７０からの静止画像もしくは動画像、デジタルスチルカメラ７１からの静止画像もしくは動画像、ストリーミングモジュール４４がストリーミングサーバ９１からダウンロードした動画像、または記録メディア７３からの動画像もしくは静止画像のいずれか１つ（以下、これらの画像入力元を、デジタルビデオカメラ７０等の映像コンテンツ入力元と略称することもある）を含んだ映像信号と、スイッチャ７８によってデータ入力元となった、ストリーミングモジュール４４がストリーミングサーバ９１からダウンロードした音声またはデジタルビデオカメラ７０からの音声を含んだ音声信号（以下、これらの音声入力元を、デジタルビデオカメラ７０等の音声入力元と略称することもある）とは、ＭＰＥＧ４エンコーダなどの高画質対応符号器で構成されたＣＨ２符号化部１２−２によってデジタル圧縮符号化されてストリームデータに変換される。このストリームデータをＣＨ２ストリームデータとよぶ。
【００４４】
ＣＨ２符号化部１２−２は、デジタルビデオカメラ７０等から入力される静止画を、動画像に変換して出力する機能を有する。この機能の詳細は後述する。
【００４５】
合成部５１−１は、ＣＨ１ストリームデータと、ＣＨ２ストリームデータとを合成したストリームデータ（合成ストリームデータ）を作成し、パケット化部２５に出力する。
【００４６】
合成ストリームデータはパケット化装置２５によってパケット化され、一旦送信バッファ２６に記憶される。送信バッファ２６は、通信インターフェース１３を介し、パケットを一定のタイミングでネットワーク１０に送出する。送信バッファ２６は、例えば、３０フレーム毎秒の動画像が取り込まれると、１パケットに１フレームのデータを記憶して送出する能力を有する。
【００４７】
なお、本実施形態では、ネットワーク１０の伝送帯域の減少が推定されても、伝送フレームレートを低下させること、すなわちフレームを間引くことは行わない。これは映像の動きがカクカクして滑らかでなくなるのを防ぐためである。
【００４８】
映像／音声データ分離部４５−１は、外部入力端子３０−１から入力された多重化データから映像データと音声データとを分離する。
【００４９】
映像／音声データ分離部４５−１によって分離された動画像データまたは静止画データは、それぞれ動画デコーダ４１または静止画デコーダ４２によって復号化された後、フレーム画像として所定時間間隔ごとに映像バッファ８０に一時的に記憶される。なお、映像バッファ８０に記憶される１秒あたりのフレーム数（フレームレート）は、後述のビデオキャプチャバッファ５４のフレームレート（例えば３０ｆｐｓ（frame per second））と合致させる必要がある。
【００５０】
映像／音声データ分離部４５−１によって分離された音声データは、音声デコーダ４７−２によって復号化された後、音声バッファ８１に一時的に記憶される。
【００５１】
ＮＴＳＣデコーダ１５は、カメラ４から入力されたＮＴＳＣ信号を輝度信号および色差信号に変換するカラーデコーダであり、ＮＴＳＣ信号 をＹ／Ｃ 分離回路により輝度信号と搬送色信号とに分離し、さらに搬送色信号を色信号復調回路により復調して色差信号（Ｃｂ，Ｃｒ）を生成する。
【００５２】
オーディオデータ化部１４は、マイク３から入力されたアナログオーディオ音声信号をデジタルデータに変換してオーディオキャプチャバッファ５３に出力する。
【００５３】
スイッチャ（スイッチング回路）７８は、制御部１１の制御に従い、映像バッファ８０への入力映像を、デジタルビデオカメラ７０の動画像もしくは静止画像、デジタルスチルカメラ７１からの静止画像、メディアリーダ７４によって記録メディア７３から読み込まれた動画像または静止画像のいずれか１つに切り替える。
【００５４】
合成部５１−２は、デジタルビデオカメラ７０等の映像コンテンツ入力元からの映像と、ＣＨ１復号化部１３−１、ＣＨ２復号化部１３−２から復号化された動画フレーム画像とを合成し、この合成画像を映像出力部１７に出力する。こうして得られた合成画像はモニタ５に表示される。
【００５５】
相手方の通信端末１は、ＣＨ１符号化部１２−１の符号化した映像データ、ＣＨ２符号化部１２−２の符号化した映像データをそれぞれストリーム化回路２２により個別にストリーム化したあと、ＣＨ１符号化部１２−１の符号化したストリームデータはＣＨ１復号化部１３−１で、ＣＨ２符号化部１２−２の符号化したストリームデータはＣＨ２復号化部１３−２でそれぞれ動画像ないし音声に復号化され、合成部５１−２に出力される。
【００５６】
合成部５１−２は、カメラ４の映像すなわち自分映像、ＣＨ１復号化部１３−１の復号化した動画像すなわち相手映像、およびＣＨ２復号化部１３−２の復号化した動画像すなわち映像コンテンツを、モニタ５の表示画面における表示エリアに収まるようリサイズして合成する。リサイズはリモコン６０から入力される表示モード切替に応じて行われる。
【００５７】
図３はモニタ５に表示される映像の配置の一例を示す。この図に示すように、モニタ５には、相手方の通信端末１のカメラ４の映像（相手映像）が第１の表示エリアＸ１に、相手方の通信端末１のデジタルビデオカメラ７０等の映像コンテンツ入力元から入力された映像（映像コンテンツ）が第２の表示エリアＸ２に、自分方のカメラ４から入力された映像（自分映像）が第３の表示エリアＸ３に表示される。
【００５８】
第１の表示エリアＸ１ないし第３の表示エリアＸ３に配置される映像はこの図に示したものに限定されず、後述する表示モードの設定に応じて切り替わる。
【００５９】
その他、自分方のスイッチャ７８に対するデジタルビデオカメラ７０等の映像コンテンツ入力元その他の情報をリスト化したコンテンツメニューＭ、各種のメッセージやお知らせを表示するメッセージ＆情報表示エリアＹが、それぞれ１画面内に収まるよう縮小されて、各々重複しないエリアに表示される。
【００６０】
なお、この図では１表示画面中の各表示エリアＸ１〜Ｘ３が所定の面積比に従って分割表示されているが、この画面分割の仕方は色々変形可能である。また、複数映像全てを必ずしも１画面内で同時に表示する必要はなく、リモコン６０の所定操作に応じて表示モードを切り替え、自分映像のみ、相手映像のみもしくは映像コンテンツのみ、あるいはそれらの一部を組み合わせて表示するようにしてもよい。表示モードについては後述する。
【００６１】
コンテンツメニューＭではリモコン６０の操作によって任意の項目を選択できる。制御部１１は、リモコン６０の項目選択操作に応じて映像コンテンツの入力元をスイッチャ７８によって切り替える制御を行う。これにより、映像コンテンツとして表示すべき映像を任意に選択することができる。ここでは、「Ｗｅｂサーバ」項目を選択するとＷｅｂブラウザモジュール４３がＷｅｂコンテンツサーバ９０から取得したＷｅｂコンテンツ、「コンテンツサーバ」項目を選択するとストリーミングモジュール４４がストリーミングサーバ９１から取得したストリーミングコンテンツが、「ＤＶ」項目を選択するとデジタルビデオカメラ７０からの映像が、「スチル」項目を選択するとデジタルスチルカメラ７１からの映像が、「メディア」項目を選択すると記録メディア７３から読み込まれた映像が映像コンテンツとなる。
【００６２】
ＣＨ１符号化部１２−１は、オーディオキャプチャバッファ５３から供給されるマイク３からの音声のキャプチャデータを順次ＭＰＥＧ方式などに従って圧縮符号化する。符号化された音声データは、パケット化部２５によりパケット化されて相手方の通信端末１へストリーム送信される。
【００６３】
ＣＨ２符号化部１２−２は、スイッチャ７８によって音声入力元となった、ストリーミングモジュール４４からの音声またはデジタルビデオカメラ７０からの音声のいずれか一方（デジタルビデオカメラ７０等の音声入力元）をＭＰＥＧ方式などに従って圧縮符号化する。符号化された音声データは、パケット化部２５によりパケット化されて相手方の通信端末１へストリーム送信される。
【００６４】
ＣＨ１復号化部１３−１は、ＣＨ１符号化部１２−１が符号化した音声データを復号化する。ＣＨ２復号化部１３−２は、ＣＨ２符号化部１２−２が符号化した音声データを復号化する。
【００６５】
合成部５１−２は、ＣＨ１復号化部１３−１の復号化した音声データと、ＣＨ２復号化部１３−２の復号化した音声データとを合成し、この合成音声データを音声出力部１６に出力する。こうして、相手方の通信端末１のマイク３で集音された音声および相手方の通信端末１に接続されたデジタルビデオカメラ７０等から得られた音声が自分方のスピーカ２によって再生される。
【００６６】
帯域推定部１１ｃは、ネットワーク１０のジッタ（ゆらぎ）などから伝送帯域を推定する。
【００６７】
符号化制御部１１ｅは、推定された伝送帯域に応じてＣＨ１符号化部１２−１、ＣＨ２符号化部１２−２の映像伝送ビットレートを変化させる。即ち、伝送帯域が低下していくことを推定すれば映像伝送ビットレートを低下させ、伝送帯域が増加していくことを推定すれば映像伝送ビットレートを増加させる。こうすることで、伝送帯域を超えるパケット送出によりパケットロスが発生するのを防ぐことができ、伝送帯域の変化に応じたスムースなストリームデータ送信を行える。
【００６８】
帯域推定部１１ｃによる具体的な帯域推定は、例えば次のようにすればよい。相手方の通信端末１ｂからＳＲ(Sender Report)タイプのＲＴＣＰパケット（ＲＴＣＰ  ＳＲ）を受信すると、ＲＴＣＰ  ＳＲパケットのヘッダ内にあるsequence number fieldのシーケンス番号を計数することで受信したＲＴＣＰ  ＳＲの損失数を算出する。そして、当該損失数が記述されたＲＲ(Receiver Report)タイプのＲＴＣＰパケット（ＲＴＣＰ  ＲＲ）を相手方の通信端末１に送信する。ＲＴＣＰ  ＲＲには、ＲＴＣＰ  ＳＲの受信からＲＴＣＰ  ＲＲの送信までの時間（便宜上応答時間と呼ぶ）も記述されている。
【００６９】
相手方の通信端末１ｂがＲＴＣＰ  ＲＲを受信すると、ＲＴＣＰ  ＳＲの送信時刻からＲＴＣＰ  ＲＲの受信時刻までの時間から応答時間を引いた時間であるＲＴＴ（Round Trip Time）を算出する。また、ＲＴＣＰ  ＳＲの送出パケット数とＲＴＣＰ  ＲＲの損失数を参照し、定期期間内における(損失数)/(送出パケット数)=パケット損失率を算出する。このＲＴＴとパケット損失率を通信状態レポートとする。
【００７０】
監視パケットを出す間隔は、１０秒から数１０秒に一回あたりが適当と考えられるが、１回の監視パケット試行での推定では、ネットワーク状態が正確に把握できない時も多いため、複数回に分けて行い、その平均等を取って推定する方が推定確度は増す。監視パケットの数量を多くすると,それ自体が帯域を狭める要因ともなるので、全体の通信量の２−３％に留めておくのが好ましい。
【００７１】
なお、以上に説明した以外にも、各種のQoS(Quality of Service)制御技術を帯域推定部１１ｃに用いることで通信状態レポートを得ることができる。
【００７２】
なお、推定した伝送帯域に応じて音声符号化のビットレートを変化させてもよいが、音声の伝送帯域は映像に比較して帯域への寄与率が低いため、固定としても問題はない。
【００７３】
通信インターフェース１３を介して他の通信端末１から受信したストリームデータのパケットは一旦受信バッファ２１に記憶されたあと、一定のタイミングでストリーム化装置２２に出力される。受信バッファ２１のゆらぎ吸収バッファ２１ａは、当該パケットの伝送遅延時間が変動して到着間隔がばらついても、連続的な再生をするためにパケット受信から再生開始までに遅延を付加する。ストリーム化装置２２は、パケットデータをストリーム再生データに再構成する。
【００７４】
ＣＨ１復号化部１３−１、ＣＨ１復号化部１３−２はＭＰＥＧ４デコーダなどで構成された映像音声復号化装置である。
【００７５】
表示制御部１１ｄは、リモコン６０から入力された画面切替信号に応じて合成部５１−２を制御し、ＣＨ１復号化部１３−１で復号化した映像データ（ＣＨ１映像データ）と、ＣＨ２復号化部１３−２で復号化した映像データ（ＣＨ２映像データ）と、ＮＴＳＣデコーダ１５から入力した映像データ（自分映像）と、映像バッファ８０から入力した映像データ（映像コンテンツ）の全部もしくは一部を合成して出力する（合成出力）か、あるいはそれらの映像データのうちいずれか１つを他のものと全く合成しないまま出力する（スルー出力）。合成部５１−２から出力された映像データは映像出力部１７でＮＴＳＣ信号に変換されてモニタ５に出力される。
【００７６】
図４〜図９は合成された映像データを表示したモニタ５の画面を例示する。このそれぞれの画面は、リモコン６０による表示モード切替操作により順次切り替わる。
【００７７】
図４は、合成部５１−２がカメラ４からの映像データ（自分映像）だけを、その他の映像データと合成せずに映像出力部１７にスルー出力した場合におけるモニタ５の画面表示を示す。この画面では自分方のカメラ４で撮影した映像（自分映像）だけが全画面表示される。
【００７８】
図５は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）だけを、その他の映像データと合成せずに映像出力部１７にスルー出力した場合におけるモニタ５の画面表示を示す。この画面では相手方のカメラ４で撮影した映像（相手映像）だけが全画面表示される。
【００７９】
図６は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）と自分方のカメラ４からの映像データ（自分映像）とを合成して映像出力部１７に出力した場合におけるモニタ５の画面表示を示す。この画面では、相手映像と自分映像がそれぞれ表示エリアＸ１、Ｘ３に表示される。
【００８０】
図７は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）とＣＨ２復号化部１３−２からの映像データ（映像コンテンツ）と自分方のカメラ４からの映像データ（自分映像）とを合成して映像出力部１７に出力した場合におけるモニタ５の画面表示を示す。この画面では、相手映像が表示エリアＸ１、映像コンテンツが表示エリアＸ２、自分映像が表示エリアＸ３に収まるようにリサイズされて表示される。かつ、表示エリアＸ１、Ｘ３は、表示エリアＸ１が表示エリアＸ３に比して大きくなるような所定の面積比を保っている。
【００８１】
図８は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）とＣＨ２復号化部１３−２からの映像データ（映像コンテンツ）と自分方のカメラ４からの映像データ（自分映像）とを合成して映像出力部１７に出力した場合におけるモニタ５の画面表示を示す。この画面では、映像コンテンツが表示エリアＸ１、相手映像が表示エリアＸ２、自分映像が表示エリアＸ３に表示されている。
【００８２】
図９は、合成部５１−２がＣＨ２復号化部１３−２からの映像データ（映像コンテンツ）だけを、その他の映像データと合成せずに映像出力部１７にスルー出力した場合におけるモニタ５の画面表示を示す。この画面では映像コンテンツだけが表示される。
【００８３】
図１０は各表示エリアＸ１〜Ｘ３の面積比の一例を示す。ここでは、４：３の画面比の画面を９つのタイルに等分割し、表示エリアＸ１の面積は４タイル、表示エリアＸ２、Ｘ３の面積は１タイルとなっている。また、コンテンツメニュー表示エリアＭの面積は１タイル、メッセージ・情報表示エリアの面積は２タイルとなっている。
【００８４】
通信端末１ｂは、リモコン６０から画面切替信号が入力されると、その画面切替信号が入力されたことを示す制御パケットを、ネットワーク１０を介して通信端末１ａに送信する。同様の機能は通信端末１ａも有する。
【００８５】
符号化制御部１１ｅは、相手方の通信端末１から受信した制御パケットで識別される表示エリアＸ１、Ｘ２もしくはＸ３の面積比に応じ、相手方の通信端末１のモニタ５の表示エリアＸ１、Ｘ２もしくはＸ３にそれぞれ表示される映像（上記制御パケットで特定可能）の伝送帯域を推定伝送帯域の範囲内で割り当て、割り当てられた伝送帯域内にデータが収まるよう（パケットのオーバーフローが生じないよう）、ＣＨ１符号化部１２−１およびＣＨ２符号化部１２−２の量子化回路１１７を制御する。
【００８６】
なお、ＣＨ１復号化部１３−１、ＣＨ２復号化部１３−２で復号化された音声データは音声出力部１６でアナログ音声信号に変換されてスピーカ２に出力される。必要であれば、自分方のデジタルビデオカメラ７０等から入力された音声データとコンテンツデータに含まれる音声データとを合成部５１−２で合成して音声出力部１６に出力することもできる。
【００８７】
通信インターフェース１３には、ネットワーク端子６１が設けられており、この端子が各種ケーブルによりブロードバンドルータやＡＤＳＬモデムなどと接続されることでネットワーク１０と接続される。ネットワーク端子６１は単数または複数設けられる。
【００８８】
なお、通信インターフェース１３がファイアウォールやＮＡＴ機能（Network Address Translation、グローバルＩＰアドレスとプライベートＩＰアドレスの相互変換を行う）を有するルータと接続されると、ＳＩＰによる通信端末１同士の直接接続ができない問題（いわゆるＮＡＴ越え）が生じることが当業者で認識されている。通信端末１同士を直接接続して映像音声送受信の遅延を最小化するには、STUN(Simple Traversal of UDP through NATs)サーバ３０を利用したＳＴＵＮ技術や、UPnP(Universal Plug and Play) サーバによるＮＡＴ越え機能を通信端末１に実装することが好ましい。
【００８９】
制御部１１は、各種のボタンやキーから構成される操作部１８もしくはリモコン６０からの操作入力に基づいて通信端末１内の各回路を統括制御する。制御部１１は、ＣＰＵなどの演算装置で構成され、自分方表示モード通知部１１ａ、相手方表示モード検出部１１ｂ、帯域推定部１１ｃ、表示制御部１１ｄ、符号化制御部１１ｅ、操作特定信号送信部１１ｆの各機能を記憶媒体２３に記憶されたプログラムによって実現する。
【００９０】
各通信端末１を一意に識別するアドレス（必ずしもグローバルＩＰアドレスと同義ではない）、アカウント管理サーバ８が通信端末１を認証するのに必要なパスワード、通信端末１の起動プログラムは、電源オフ状態でもデータを保持可能な不揮発性の記憶媒体２３に記憶されている。ここに記憶されたプログラムは、アカウント管理サーバ８から提供されるアップデートプログラムにより最新のバージョンに更新できる。
【００９１】
制御部１１の各種処理に必要なデータは、一時的にデータを記憶するＲＡＭで構成されたメインメモリ３６に記憶される。
【００９２】
通信端末１にはリモコン受光回路６３が設けられており、このリモコン受光回路６３にはリモコン受光部６４が接続されている。リモコン受光回路６３は、リモコン６０からリモコン受光部６４に入射した赤外線信号をデジタル信号に変換して制御部１１へ出力する。制御部１１は、リモコン受光回路６３から入力したデジタル赤外線信号に応じて各種動作を制御する。
【００９３】
発光制御回路２４は、制御部１１の制御によって、通信端末１の外面に設けられたＬＥＤ６５の発光・点滅・点灯の制御を行う。発光制御回路２４にはコネクタ６６を介してフラッシュランプ６７を接続することもでき、発光制御回路２４は、フラッシュランプ６７の発光・点滅・点灯の制御も行う。ＲＴＣ２０は内蔵時計である。
【００９４】
図１１はＣＨ１符号化部１２−１、ＣＨ２符号化部１２−２に共通する要部構成を示したブロック図である。ＣＨ１符号化部１２−１・ＣＨ２符号化部１２−２（まとめて符号化部１２と表すこともある）は、画像入力部１１１、動きベクトル検出回路１１４、動き補償回路１１５、ＤＣＴ１１６、量子化回路１１７、可変長符号化器（ＶＬＣ）１１８、符号化制御部１１ｅ、静止ブロック検出部１２４、静止ブロック記憶部１２５等を備えている。この装置は、動き補償予測符号化と、ＤＣＴによる圧縮符号化を組み合わせたＭＰＥＧ方式の映像符号化装置の構成を一部含んでいる。
【００９５】
画像入力部１１１は、ビデオキャプチャバッファ５４や映像バッファ８０に蓄積された映像（カメラ４の動画像のみ、デジタルビデオカメラ７０等から入力された動画像もしくは静止画像のみ、あるいはそれらの動画像および静止画像の合成画像からなる動画像）をフレームメモリ１２２に入力する。
【００９６】
動きベクトル検出回路１１４は、画像入力部１１１から入力されたデータが表す現在のフレーム画像を、フレームメモリ１２２に記憶されている前のフレーム画像と比較することで、動きベクトルを検出する。この動きベクトルの検出は、入力された現在のフレーム画像を複数のマクロブロックに分割し、個々のマクロブロックを単位として、前のフレーム画像上に各々設定した探索範囲内で被探索マクロブロックを適宜動かしながら誤差演算を繰り返すことで、被探索マクロブロックに最も類似しているマクロブロック（誤差が最小となるマクロブロック）を探索範囲内から探し出し、該マクロブロックと被探索マクロブロックとのずれ量及びずれの方向を被探索マクロブロックについての動きベクトルとする。そして、各マクロブロック毎に求めた動きベクトルを各マクロブロック毎の誤差を考慮して合成することで、予測符号化における予測差分を最小とする動きベクトルを求めることができる。
【００９７】
動き補償回路１１５は、検出した動きベクトルに基づき予測用参照画像に対して動き補償を行うことで予測画像のデータを生成し、減算器１２３へ出力する。減算器１２３は、画像入力部１１１からから入力されたデータが表す現在のフレーム画像から、動き補償回路１１５から入力されたデータが表す予測画像を減算することで、予測差分を表す差分データを生成する。
【００９８】
減算器１２３にはＤＣＴ（離散コサイン変換）部１１６、量子化回路１１７、ＶＬＣ１１８が順次接続されている。ＤＣＴ１１６は、減算器１２３から入力された差分データを任意のブロック毎に直交変換して出力し、量子化回路１１７は、ＤＣＴ１１６から入力された直交変換後の差分データを所定の量子化ステップで量子化してＶＬＣ１１８へ出力する。また、ＶＬＣ１１８には動き補償回路１１５が接続されており、動き補償回路１１５から動きベクトルのデータも入力される。
【００９９】
ＶＬＣ１１８は、直交変換・量子化を経た差分データを２次元ハフマン符号により符号化すると共に、入力された動きベクトルのデータもハフマン符号により符号化し、両者を多重化する。そして、符号化制御部１１ｅから出力される符号化ビットレートに基づいて定められたレートで、可変長符号化動画像データを出力する。可変長符号化動画像データはパケット化部２５に出力され、画像圧縮情報としてネットワーク１０にパケット送出される。量子化回路１１７の符号量（ビットレート）は符号化制御部１１ｅによって制御される。
【０１００】
ＶＬＣ１１８の作成する符号化動画像データのデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、ＧＯＰ層およびシーケンス層となっている。
【０１０１】
ブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、複数のＤＣＴブロックで構成される。スライス層は、ヘッダ部と、１以上のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、１以上のスライス層とから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。Ｉピクチャは、それ自身の情報のみで復号化が可能であり、ＰおよびＢピクチャは、予測画像として前あるいは前後の画像が必要とされ、単独では復号化されない。
【０１０２】
また、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層の先頭には、それぞれ所定のビットパターンからなる識別コードが配され、識別コードに続けて、各層の符号化パラメータが格納されるヘッダ部が配される。
【０１０３】
スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、画面（ピクチャ）を格子状（例えば８画素×８画素）に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。
【０１０４】
ＭＰＥＧのフォーマットにおいては、スライス層が１つの可変長符号系列である。可変長符号系列とは、可変長符号を復号化しなければデータの境界を検出できない系列である。ＭＰＥＧストリームの復号時には、スライス層のヘッダ部を検出し、可変長符号の始点と終点とを見つけ出す。
【０１０５】
ここで、フレームメモリ１２２に入力された画像データが静止画のみであれば、全マクロブロックの動きベクトルは零となり、Ｉピクチャのみで復号化が可能となる。そうすると、Ｂ、Ｐピクチャを送らなくて済む。このため、ネットワーク１０の伝送帯域幅が狭まっても、静止画を動画として、比較的精細に相手方の通信端末１に送ることができる。
【０１０６】
また、フレームメモリ１２２に入力された画像データが静止画と動画の合成画像であっても、静止画に相当するマクロブロックの動きベクトルは零となり、その部分はスキップドマクロとしてデータを送らずに済む。
【０１０７】
フレームメモリ１２２に入力された画像データが静止画のみである場合は、フレームレートを落とし、その代わりＩピクチャの符号量を増やすようにしてもよい。これにより、動きのない静止画を精細に表示することができる。
【０１０８】
自分方の通信端末１ａのスイッチャ７８によって静止画の入力元がＷｅｂブラウザモジュール４３、デジタルビデオカメラ７０、デジタルスチルカメラ７１またはメディアリーダ７３のいずれに切り替わっても、入力元の種類とは無関係に、静止画に相当する部分のマクロブロックが動きベクトル零となるようなフレーム動画像が相手方の通信端末１ｂにリアルタイムで送信される。このため、自分方の通信端末１ａでスイッチャ７８による静止画の入力元が不定期に切り替わっても、これに追従して、相手方の通信端末１に送信されるフレーム動画像がすみやかに切り替わり、結果的に相手方の通信端末１ｂで表示される静止画もすみやかに切り替わる。
【０１０９】
次に、図１２のフローチャートに従い、通信端末１ａと通信端末１ｂとの間で行われる動作を説明する。
【０１１０】
まず、通信端末１ｂの自分方表示モード通知部１１ａは、リモコン６０から画面切替信号が入力された場合、入力された画面切替信号に応じて設定された表示モードを特定する制御パケット（表示モード特定パケット）を通信端末１ａに送信する（Ｂ１）。
【０１１１】
通信端末１ａの相手方表示モード検出部１１ｂは、通信端末１ｂから表示モード特定パケットを受信したか否かを判断し（Ａ１）、受信したと判断すると、通信端末１ｂで設定された表示モードを特定する（Ａ２）。
【０１１２】
また通信端末１ｂは、リモコン６０の操作による表示モードの設定とは無関係に、定期的に監視パケットＲＴＣＰ  ＲＲを送信する（Ｂ２）。
【０１１３】
通信端末１ａは、逐次通信端末１ｂから監視パケットＲＴＣＰ  ＲＲを受信する（Ａ３）。
【０１１４】
通信端末１ａの帯域推定部１１ｃは、監視パケットＲＴＣＰ  ＲＲに基づいて現在のネットワーク１０の帯域を推定する（Ａ４）。
【０１１５】
通信端末１ａの表示制御部１１ｄは、特定された表示モードに対応する帯域割当テーブルを参照して、その表示モードで各表示エリアに表示される各映像に対する割り当て帯域を決定する（Ａ５）。
【０１１６】
図１３は帯域割当テーブルの一例として、「PoutP画面（コンテンツ対話（１））」表示モード（図７の画面に相当）に対応した帯域割当テーブルを示す。このテーブルでは、推定された帯域のうち、相対的に面積の大きい方の表示エリアＸ１（４タイル）に割り当てる帯域および相対的に面積の小さい方の表示エリアＸ２もしくはＸ３（１タイル）に割り当てる帯域が、推定されるべき各帯域と対応づけられている。推定帯域内で２つの表示エリアＸ１、Ｘ２（もしくはＸ３）にどのように帯域を割り当てるかは任意であるが、好ましくは、表示エリアＸ１、Ｘ２（もしくはＸ３）の面積比におおよそ対応している。こうすると、大きい表示エリアＸ１に表示される映像の伝送情報量を大きくして精細に表示でき、かつ小さい表示エリアＸ２に表示される映像の伝送情報量を小さくして精細に表示する必要のない映像の伝送量を節約でき、限られた伝送帯域を有効に使うことができる。
【０１１７】
ただし、表示エリアの面積比に厳密に帯域を対応させると、帯域が低下した場合、小さい表示エリアＸ２もしくはＸ３の情報量が極端に減ってしまい、鑑賞に耐えないことがある。このため、所定の下限値よりも伝送帯域が低くならないように割り当て帯域を設定しておく。このテーブルでは、表示エリアＸ２もしくはＸ３の割り当て帯域が「１２８ｋ」を下回らないようにしている。
【０１１８】
符号化制御部１１ｅは、表示エリアＸ１、Ｘ２もしくはＸ３に割り当てられた伝送帯域に応じ、表示エリアＸ１、Ｘ２もしくはＸ３にそれぞれ表示される映像の伝送ビットレートを変化させ、割り当てられた伝送帯域内にデータが収まるよう（パケットのオーバーフローが生じないよう）、ＣＨ１符号化部１３−１およびＣＨ２符号化部１３−２の量子化回路１１７を制御する（Ａ６）。
【０１１９】
すなわち、通信端末１ｂのリモコン６０の画面切替信号によって、ＣＨ１符号化部１３−１の符号化した映像データが表示エリアＸ１に、ＣＨ２符号化部１３−２の符号化した映像データが表示エリアＸ２もしくはＸ３に表示されることが指示されれば、ＣＨ１符号化部１３−１の伝送ビットレートは表示エリアＸ１に割り当てられた伝送帯域に収まるよう制御され、かつＣＨ２符号化部１３−２の伝送ビットレートは表示エリアＸ２もしくはＸ３に割り当てられた伝送帯域に収まるよう制御される。
【０１２０】
あるいは、通信端末１ｂのリモコン６０の画面切替信号によって、ＣＨ１符号化部１３−１の符号化した映像データが表示エリアＸ２もしくはＸ３に表示されることが指示され、ＣＨ２符号化部１３−２の符号化した映像データが表示エリアＸ１に表示されることが指示されれば、ＣＨ１符号化部１３−１の伝送ビットレートは表示エリアＸ２もしくはＸ３に割り当てられた伝送帯域に収まるよう制御され、かつＣＨ２符号化部１３−２の伝送ビットレートは表示エリアＸ１に割り当てられた伝送帯域に収まるよう制御される。
【０１２１】
このようにビットレート制御された映像データのパケットは順次通信端末１ｂに送出される。通信端末１ｂはパケットをストリーム化し、設定された表示モードに応じた表示エリアに映像データを再生表示する。
【０１２２】
なお、伝送帯域は時事刻々変化するため、パケット伝送帯域の推定（Ａ３）から伝送ビットレートの制御（Ａ６）を含む一連の処理は定期的に繰り返される。制御パケットの検出（Ａ１）と表示モードの特定（Ａ２）も定期的に繰り返される。
【０１２３】
通信端末１ａと通信端末１ｂの構成は等価であるから、両者の役割を入れ換えても以上の動作は成立する。通信端末１ａと通信端末１ｂとで独立別個に上記のような伝送ビットレート制御を行うことで、特にＡＤＳＬのような非対称の伝送帯域を持つネットワークにおいても、双方向の映像データ転送を伝送帯域の変動に応じて最適化できる。
【図面の簡単な説明】
【０１２４】
【図１】第１実施形態に係る映像音声通信システムのブロック図
【図２】通信端末のブロック図
【図３】モニタ５に表示される画面の一例を示す図
【図４】全画面自分映像表示モードの概念説明図
【図５】全画面相手映像表示モードの概念説明図
【図６】ＰｏｕｔＰ画面（通常対話）表示モードの概念説明図
【図７】ＰｏｕｔＰ画面（コンテンツ対話（１））表示モードの概念説明図
【図８】ＰｏｕｔＰ画面（コンテンツ対話（２））表示モードの概念説明図
【図９】全画面（コンテンツ対話（３））表示モードの概念説明図
【図１０】表示エリアを画定するタイルの概念説明図
【図１１】符号化部の詳細ブロック図
【図１２】通信端末の動作を示すフローチャート
【図１３】通信帯域割当テーブルの概念説明図
【符号の説明】
【０１２５】
１１ａ：自分方表示モード通知部、１１ｂ：相手方表示モード検出部、１１ｅ：符号化制御部
【図１】
0004799191.tif 000002
【図２】
0004799191.tif 000003
【図３】
0004799191.tif 000004
【図４】
0004799191.tif 000005
【図５】
0004799191.tif 000006
【図６】
0004799191.tif 000007
【図７】
0004799191.tif 000008
【図８】
0004799191.tif 000009
【図９】
0004799191.tif 000010
【図１０】
0004799191.tif 000011
【図１１】
0004799191.tif 000012
【図１２】
0004799191.tif 000013
【図１３】
0004799191.tif 000014