(57)【要約】【課題】通信会議を制御するサーバ装置の負荷を軽減し，かつダウンストリームのコネクション数を１つにまとめることができる多地点テレビ会議システムを実現する。【解決手段】サーバ装置１は，各クライアント端末２からＶＰ単位で符号化ストリームを受信すると，ヘッダ更新処理部１２により，予め定められたクライアントとその画像の表示位置との関係情報に基づいて，ＶＯＰヘッダをＶＰヘッダに書き換える処理またはＶＰヘッダ内のマクロブロック番号を変更する処理を行い，複数のクライアントからの符号化ストリームを合成した符号化ストリームを生成する。各クライアント端末２は，サーバ装置１から前記合成した符号化ストリームを受信し，復号して表示することにより，複数のクライアントの合成画像を表示する。【選択図】図１
2005341325.tif 000002
【特許請求の範囲】
【請求項１】
複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備える多地点テレビ会議システムにおいて，
前記各クライアント端末は，
自端末における入力映像のフレームをブロック単位で符号化し，所定数のブロックの符号化データ群に対して，フレームの先頭には第１のヘッダを付与し，フレームの先頭以外の符号化データ群に対しては前記ブロックの位置を示す情報を含む第２のヘッダを付与した符号化ストリームを生成する手段と，
生成した符号化ストリームを前記サーバ装置へ送信する手段と，
前記サーバ装置から符号化ストリームを受信する手段と，
受信した符号化ストリームを復号する手段と，
復号した画像を表示する手段とを備え，
前記サーバ装置は，
前記各クライアント端末から符号化ストリームを受信する手段と，
前記各クライアント端末から受信した符号化ストリームを，前記第１のヘッダまたは前記第２のヘッダが付与された単位で解析し，あらかじめ定められたクライアントとその画像の表示位置との関係情報に基づいて，前記第１のヘッダを前記第２のヘッダに書き換える処理または前記第２のヘッダ内のマクロブロックの位置を示す情報を該当する表示位置に変更する処理を実行することにより，前記各クライアント端末から受信した符号化ストリームを合成した符号化ストリームを生成するヘッダ更新処理手段と，
前記ヘッダ更新処理手段によって合成した符号化ストリームを前記各クライアント端末へ送信する手段とを備える
ことを特徴とする多地点テレビ会議システム。
【請求項２】
請求項１記載の多地点テレビ会議システムにおいて，
前記クライアント端末は，
複数のクライアントの画像を合成した画像を表示するか特定のクライアントの画像を表示するかを選択し，その画像選択情報を前記サーバ装置へ送信する手段を備え，
前記サーバ装置は，
前記画像選択情報を受信する手段と，
受信した画像選択情報に基づき，前記ヘッダ更新処理手段により合成した符号化ストリームまたは特定のクライアント端末から受信した符号化ストリームのいずれかを選択して，前記クライアント端末へ送信する手段とを備える
ことを特徴とする多地点テレビ会議システム。
【請求項３】
複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備えるシステムにおける多地点テレビ会議制御方法において，
前記クライアント端末が，自端末における入力映像のフレームをブロック単位で符号化し，所定数のブロックの符号化データ群に対して，フレームの先頭には第１のヘッダを付与し，フレームの先頭以外の符号化データ群に対しては前記ブロックの位置を示す情報を含む第２のヘッダを付与した符号化ストリームを生成する過程と，
前記各クライアント端末が，生成した符号化ストリームを前記サーバ装置へ送信する過程と，
前記サーバ装置が，前記各クライアント端末から符号化ストリームを受信する過程と，
前記サーバ装置が，前記各クライアント端末から受信した符号化ストリームを，前記第１のヘッダまたは前記第２のヘッダが付与された単位で解析し，あらかじめ定められたクライアントとその画像の表示位置との関係情報に基づいて，前記第１のヘッダを前記第２のヘッダに書き換える処理または前記第２のヘッダ内のマクロブロックの位置を示す情報を該当する表示位置に変更する処理を実行することにより，前記各クライアント端末から受信した符号化ストリームを合成した符号化ストリームを生成するヘッダ更新処理過程と，
前記サーバ装置が，前記ヘッダ更新処理過程によって合成した符号化ストリームを前記各クライアント端末へ送信する過程と，
前記クライアント端末が，前記サーバ装置から符号化ストリームを受信する過程と，
前記クライアント端末が，受信した符号化ストリームを復号する過程と，
前記クライアント端末が，復号した画像を表示する過程とを有する
ことを特徴とする多地点テレビ会議制御方法。
【請求項４】
複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置であって，
前記各クライアント端末から，自端末における入力映像のフレームをブロック単位で符号化し，所定数のブロックの符号化データ群に対して，フレームの先頭には第１のヘッダを付与し，フレームの先頭以外の符号化データ群に対しては前記ブロックの位置を示す情報を含む第２のヘッダを付与した符号化ストリームを受信する手段と，
前記各クライアント端末から受信した符号化ストリームを，前記第１のヘッダまたは前記第２のヘッダが付与された単位で解析し，あらかじめ定められたクライアントとその画像の表示位置との関係情報に基づいて，前記第１のヘッダを前記第２のヘッダに書き換える処理または前記第２のヘッダ内のマクロブロックの位置を示す情報を該当する表示位置に変更する処理を実行することにより，前記各クライアント端末から受信した符号化ストリームを合成した符号化ストリームを生成するヘッダ更新処理手段と，
前記ヘッダ更新処理手段によって合成した符号化ストリームを前記各クライアント端末へ送信する手段とを備える
ことを特徴とするサーバ装置。
【請求項５】
複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置のコンピュータに実行させるための多地点テレビ会議制御プログラムであって，
前記各クライアント端末から，自端末における入力映像のフレームをブロック単位で符号化し，所定数のブロックの符号化データ群に対して，フレームの先頭には第１のヘッダを付与し，フレームの先頭以外の符号化データ群に対しては前記ブロックの位置を示す情報を含む第２のヘッダを付与した符号化ストリームを受信する手段と，
前記各クライアント端末から受信した符号化ストリームを，前記第１のヘッダまたは前記第２のヘッダが付与された単位で解析し，あらかじめ定められたクライアントとその画像の表示位置との関係情報に基づいて，前記第１のヘッダを前記第２のヘッダに書き換える処理または前記第２のヘッダ内のマクロブロックの位置を示す情報を該当する表示位置に変更する処理を実行することにより，前記各クライアント端末から受信した符号化ストリームを合成した符号化ストリームを生成するヘッダ更新処理手段と，
前記ヘッダ更新処理手段によって合成した符号化ストリームを前記各クライアント端末へ送信する手段として，
前記コンピュータを機能させるための多地点テレビ会議制御プログラム。
【請求項６】
複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置のコンピュータに実行させるための多地点テレビ会議制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記各クライアント端末から，自端末における入力映像のフレームをブロック単位で符号化し，所定数のブロックの符号化データ群に対して，フレームの先頭には第１のヘッダを付与し，フレームの先頭以外の符号化データ群に対しては前記ブロックの位置を示す情報を含む第２のヘッダを付与した符号化ストリームを受信する手段と，
前記各クライアント端末から受信した符号化ストリームを，前記第１のヘッダまたは前記第２のヘッダが付与された単位で解析し，あらかじめ定められたクライアントとその画像の表示位置との関係情報に基づいて，前記第１のヘッダを前記第２のヘッダに書き換える処理または前記第２のヘッダ内のマクロブロックの位置を示す情報を該当する表示位置に変更する処理を実行することにより，前記各クライアント端末から受信した符号化ストリームを合成した符号化ストリームを生成するヘッダ更新処理手段と，
前記ヘッダ更新処理手段によって合成した符号化ストリームを前記各クライアント端末へ送信する手段として，
前記コンピュータを機能させるためのプログラムを記録した
ことを特徴とする多地点テレビ会議制御プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，映像符号化データの多重化方式に関し，特に符号化および復号機能を持つ複数のクライアント端末において符号化された符号化ストリームを配信サーバが受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムに関するものである。
【背景技術】
【０００２】
一般に，多地点テレビ会議システムでは，複数のクライアント端末で撮影された映像の符号化ストリームを，配信サーバがそれぞれのクライアント端末から受信し，配信サーバにおいて各クライアント端末から受信した符号化ストリームを復号し，復号した各クライアント端末の画像を一つの画像に合成して，それを再符号化したものを，それぞれのクライアント端末に配信することを行っていた（例えば，特許文献１，特許文献２参照）。
【０００３】
図１１は，従来の多地点テレビ会議システムの例を示す図である。図１１において，１００は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，１１０ａ〜１１０ｚは多地点テレビ会議に参加するクライアントのクライアント端末である。サーバ装置１００は，各クライアント端末１１０ａ〜１１０ｚに対応する受信バッファ１０１ａ〜１０１ｚと，復号部１０２ａ〜１０２ｚと，画像合成部１０３と，再符号化部１０４と，送信バッファ１０５とを備える。
【０００４】
サーバ装置１００は，各クライアント端末１１０ａ〜１１０ｚにネットワークを介して接続され，各クライアント端末１１０ａ〜１１０ｚからの符号化ストリームを受信し，各クライアント端末に対応する受信バッファ１０１ａ〜１０１ｚに格納する。復号部１０２ａ〜１０２ｚは，受信バッファ１０１ａ〜１０１ｚに格納された符号化ストリームをそれぞれ復号する。
【０００５】
画像合成部１０３は，各復号部１０２ａ〜１０２ｚが復号した画像をあらかじめ定められた位置に配置して一つの画像に合成し，再符号化部１０４は，合成された画像を再符号化する。再符号化された合成画像ストリームは，送信バッファ１０５に格納され，各クライアント端末１１０ａ〜１１０ｚにネットワークを介して配信される。
【０００６】
図１２は，従来の他の多地点テレビ会議システムの例を示す図である。図１２において，１２０は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，１３０ａ〜１３０ｚは多地点テレビ会議に参加するクライアントのクライアント端末である。サーバ装置１２０は，各クライアント端末１３０ａ〜１３０ｚに対応する受信バッファ１２１ａ〜１２１ｚと，送信バッファ１２２ａ〜１２２ｚとを備える。
【０００７】
各クライアント端末１３０ａ〜１３０ｚは，クライアントを撮影するカメラ１３１ａ〜１３１ｚと，ディスプレイ１３２ａ〜１３２ｚと，撮影した映像を符号化する符号化部１３３と，符号化ストリームを送信するための送信バッファ１３４と，サーバ装置１２０が配信した符号化ストリームを受信するための複数の受信バッファ１３５と，各受信バッファ１３５に対応する符号化ストリームの復号部１３６と，各復号部１３６が復号した復号画像と，自端末のカメラで撮影した画像とを合成する画像合成部１３７とを備える。
【０００８】
前述した図１１の例では，サーバ装置１００においてクライアント端末の符号化ストリームを一度復号した後，画像全体を合成してから再符号化しているが，図１２のシステムでは，サーバ装置１２０は，各クライアント端末１３０ａ〜１３０ｚから受信した符号化ストリームを，受信バッファ１２１ａ〜１２１ｚおよび送信バッファ１２２ａ〜１２２ｚを介して各クライアント端末１３０ａ〜１３０ｚに配信する。
【０００９】
各クライアント端末１３０ａ〜１３０ｚでは，受信バッファ１３５によりサーバ装置１２０から配信された符号化ストリームを受信すると，受信した符号化ストリームをそれぞれ復号部１３６で復号し，復号画像を画像合成部１３７へ送る。画像合成部１３７では，それらの画像と自端末で撮影した画像とを合成し，ディスプレイ１３２ａ〜１３２ｚに表示する。これにより，各クライアント端末１３０ａ〜１３０ｚのディスプレイ１３２ａ〜１３２ｚには，テレビ会議に参加するクライアントの映像が表示されることになる。
【特許文献１】特許第３０９７７３６号公報
【特許文献２】特開平１１−１８７３７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
図１１に示すような従来の多地点テレビ会議システムでは，サーバ装置１００において各クライアント端末１１０ａ〜１１０ｚから受信した符号化ストリームを一度復号した後，画像全体を合成してから再符号化するため，サーバ装置１００において復号，画像合成，再符号化の処理が必要であり，サーバ装置１００の負荷が大きくなるという問題があった。
【００１１】
一方，図１２に示すような従来の多地点テレビ会議システムの場合，サーバ装置１２０の負荷は小さくて済むが，サーバ装置１２０と各クライアント端末１３０ａ〜１３０ｚとの間で，ダウンストリームの分だけコネクションを張る必要があるため，テレビ会議に参加するクライアントの増加に伴い必要となる通信ポートが増加するという問題があった。また，ネットワークリソースやセキュリティの観点からも好ましくはないという問題があった。
【００１２】
また，以上のような従来技術では，各クライアント端末が，サーバ装置から合成画像ストリームを受信して復号する場合と，サーバ装置から特定のクライアント画像の符号化ストリームだけを受信して復号する場合とで，同一の復号部により復号することはできなかった。
【００１３】
本発明は上記問題点の解決を図り，サーバ装置における負荷を軽減し，かつダウンストリームのコネクション数を１つにまとめることができる多地点テレビ会議システムを実現することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため，本発明は，複数のクライアント端末において符号化された符号化ストリームをサーバ装置が受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムにおいて，クライアント端末によって符号化されサーバ装置にアップロードされた符号化ストリームについて，サーバ装置が，各ＶＰ（Video Packet）単位の符号化ストリームのＶＰヘッダに格納されたマクロブロック番号を，各クライアント端末からの画像を合成したときの合成画像の該当する表示位置になるように変更し，各クライアント端末に配信することを特徴とする。
【００１５】
また，合成画像における先頭の表示位置以外のクライアントの符号化ストリームは，ＶＯＰ（Video Object Plane）ヘッダは，ＶＰヘッダに書き換える。ヘッダを書き換えたストリームは，ＶＰ単位（例えば，マクロブロックの１ライン）ごとに出力する。
【００１６】
サーバ装置から符号化ストリームを受信した各クライアント端末は，ＶＰ単位で順次復号し，ＶＰヘッダ内の変更後のマクロブロック番号が示す表示位置に復号画像を表示する。
【００１７】
クライアント端末が一つの画像領域（ストリーム）を選択したときには，サーバ装置は，上記ヘッダ更新処理をスルーして，指定された画像領域に該当するクライアント端末からの符号化ストリームをそのまま出力する。
【発明の効果】
【００１８】
本発明は，符号化および復号機能を持つ複数のクライアント端末において符号化された符号化ストリームをサーバ装置が受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムにおいて，サーバ装置にアップロードされた各々の符号化ストリームのヘッダを更新し，ＶＰヘッダ内のマクロブロック番号を変更することによって合成ストリームを生成して配信するので，サーバ装置における各クライアント端末から受信した符号化ストリームを復号する処理，複数の復号画像を合成する処理，および合成画像を再符号化する処理が不要となり，サーバ装置の負荷を軽減することができる。
【００１９】
また，クライアント端末においては，サーバ装置から受信した合成ストリームをＶＰ単位で順次復号し，ＶＰヘッダ内のマクロブロック番号に対応する位置に復号画像を表示するため，各クライアント端末における符号化同期処理が不要であり，簡易に効率よく符号化ストリームを生成および復号・表示することができる。
【００２０】
また，サーバ装置から各クライアント端末の映像符号化データを合成して配信するので，テレビ会議に参加するクライアントの数だけコネクションを張る必要はなく，クライアント端末に対するダウンストリームのコネクション数を１つにまとめることができ，通信ポートその他の通信に必要な資源の増加を抑えることができる。
【００２１】
また，クライアント端末が，合成ストリームではなく，特定のクライアントの符号化ストリームの一つを選択して受信した場合に，合成ストリームのときと同一の復号部で復号することができ，復号プロセスを簡易化することができる。
【発明を実施するための最良の形態】
【００２２】
以下，図面を用いて本発明の実施の形態を説明する。図１は，本発明に係る多地点テレビ会議システムの構成例を示す。図１において，１は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，２は多地点テレビ会議に参加するクライアントのクライアント端末である。本発明の実施の形態においては，例えば，クライアントＡ〜クライアントＤの４人のクライアントがクライアント端末２を用いて多地点テレビ会議に参加するものとする。もちろん，本発明における通信会議の参加者は，４人に限られるわけではなく，複数人であればよい。
【００２３】
サーバ装置１において，１１はそれぞれ各クライアント端末２から送信された符号化ストリームを受信し格納する受信バッファ，１２は各受信バッファ１１からＶＰ単位の符号化ストリームを順次受け取り，ＶＰヘッダの内容を更新した上で合成するヘッダ更新処理部，１３は合成された符号化ストリームが格納される送信バッファである。
【００２４】
ヘッダ更新処理部１２において，１４は受信バッファ１１に格納された符号化ストリームをＶＰ単位で読み出すストリーム入力部，１５はＶＰヘッダ内の変更後のマクロブロック（以下，ＭＢと表す）番号を決定するＭＢ番号決定部，１６は特定のＶＯＰヘッダをＶＰヘッダに書き換え，またＶＰヘッダ内のＭＢ番号を変更後のＭＢ番号に変更するヘッダ／ＭＢ番号変更部，１７はＭＢ番号が変更されたＶＰ単位の符号化ストリームを送信バッファ１３に転送するストリーム出力部である。
【００２５】
クライアント端末２において，２３はカメラ２１により撮影された映像を符号化する符号化部，２４はサーバ装置１へ送信する符号化ストリームを格納する送信バッファ，２５はサーバ装置１からの合成された符号化ストリームを格納する受信バッファ，２６は受信バッファ２５に格納された符号化ストリームを復号する復号部，２７は復号データのディスプレイ２２への表示を制御する表示制御部である。
【００２６】
図２は，クライアント端末の符号化部の詳細を示す図である。この例では，ＭＰＥＧ−４の符号化方式を用いるものとする。この符号化部２３は，従来から一般に用いられているエンコーダと同じものである。減算部２３１は，マクロブロックごとに入力画像信号と動き補償部２３９の出力である予測画像信号との差分信号を算出する。ＤＣＴ部２３２は，その差分信号を離散コサイン変換（ＤＣＴ）する。量子化部２３３は，符号量制御部２４１が決定した量子化パラメータに従ってＤＣＴ係数を量子化する。可変長符号化部２４０は，量子化後のＤＣＴ係数を可変長符号化し，送信バッファ２４へ出力する。
【００２７】
また，量子化後のＤＣＴ係数は逆量子化部２３４へも出力され，逆量子化部２３４では，それを逆量子化する。逆ＤＣＴ部２３５は，逆量子化後の信号を逆離散コサイン変換する。加算部２３６は，逆ＤＣＴ後の信号に動き補償部２３９の出力信号を加算する。フレームメモリ２３７は，加算後の信号を参照画像として蓄積する。動き予測部２３８は，フレームメモリ２３７に蓄積された参照画像と入力画像信号とに基づいて動き予測を行う。動き補償部２３９は，動き予測部２３８が検出した動きベクトルに基づいて，フレームメモリ２３７に蓄積された参照画像から予測画像信号を生成する。動き予測部２３８の出力である動きベクトルは，可変長符号化部２４０で可変長符号化され，送信バッファ２４に出力される。
【００２８】
また，可変長符号化部２４０では，各フレームごとにＶＯＰ（Video Object Plane）ヘッダを生成してＭＢ符号化情報の前に付与し，ＶＰ単位にＶＰヘッダを生成してＭＢ符号化情報の前に付与する。ＶＰヘッダ内には，ＭＢ符号化情報の先頭のＭＢ番号情報を格納する。
【００２９】
図１に示す構成を採る多地点テレビ会議システムにおいて，まず，各クライアント端末２の符号化部２３は，カメラ２１により撮影された映像を符号化し，送信バッファ２４に格納する。
【００３０】
サーバ装置１の受信バッファ１１は，各クライアント端末２の送信バッファ２４からネットワークを介して送信された符号ストリームを，送信元のクライアントのクライアントＩＤと対応付けて格納する。ヘッダ更新処理部１２のストリーム入力部１４は，受信バッファ１１からクライアントＩＤとＶＰ単位の符号化ストリームを受け取る。ＭＢ番号決定部１５は，クライアントＩＤに基づいてＶＰヘッダ内の変更後のＭＢ番号を決定する。
【００３１】
また，ヘッダ更新処理部１２のヘッダ／ＭＢ番号変更部１６は，ヘッダがＶＯＰヘッダである場合，クライアントＩＤに応じてそれをＶＰヘッダに書き換え，またＶＰヘッダ内のＭＢ番号を上記変更後のＭＢ番号に変更する。ストリーム出力部１７は，ＭＢ番号が変更されたＶＰ単位の符号化ストリームを順次，送信バッファ１３に転送する。
【００３２】
その結果，複数のクライアントの各ＶＰ単位の符号化ストリームが合成ストリームとして，送信バッファ１３からネットワークを介して各クライアント端末２へ配信される。
【００３３】
クライアント端末２においては，サーバ装置１から送信された合成ストリームが受信バッファ２５に格納される。復号部２６は，受信バッファ２５に格納された合成ストリームをＶＰ単位で順次復号し，表示制御部２７が，ディスプレイ２２の表示画面中の，ＶＰヘッダ内に格納されたＭＢ番号に対応する位置に復号画像を表示する。
【００３４】
図３は，各クライアント端末によって設定されるＶＯＰヘッダとＶＰヘッダを示す図である。一般に，ＶＰはＶＯＰ（Video Object Plane）を任意の数のＭＢ毎に区切った単位をいうが，本発明の実施の形態では，例えば，図３に示すようなＮ個のＭＢの符号化情報が並んだ１ラインにＶＰヘッダ（第１番目のＶＰについてはＶＯＰヘッダ）が付与されたデータをＶＰの単位とし，各クライアント端末２からはＭ個のＶＰからなるＶＯＰが符号化ストリームとして送信されるものとする。
【００３５】
図３に示すように，第１番目のＶＰにおいて，第０番目〜第Ｎ−１番目までのＮ個のＭＢの符号化情報の前には，ＶＯＰ全体を復号するための情報が格納されたＶＯＰヘッダが付与される。第２番目のＶＰにおいて，第Ｎ番目から２Ｎ−１番目までのＮ個のＭＢの符号化情報の前には，ＶＰ（Ｎ）というＶＰヘッダが付与される。
【００３６】
ＶＰヘッダの括弧内の数字は，ＶＰ中のＮ個のＭＢの先頭ＭＢのシーケンス番号（ＭＢ番号）を示す。第２番目のＶＰ中の先頭ＭＢは第Ｎ番目のＭＢなので，第２番目のＶＰのＶＰヘッダには，「Ｎ」という値のＭＢ番号が格納される。同様に，第Ｍ番目のＶＰのＶＰヘッダには，「（Ｍ−１）Ｎ」という値のＭＢ番号が格納される。
【００３７】
図４は，各クライアント端末に表示される合成ストリームの復号画像の例を示す図であり，図５は，図４に示す復号画像中の各ＭＢのＭＢ番号を示す図である。また，図６は，図４，図５に示すようなレイアウトで復号画像を構成するための，各クライアントから送信されるＶＰ単位の符号化ストリームのヘッダの更新情報を示す図である。
【００３８】
クライアントＡ〜クライアントＤから送信されたＮ×Ｍ個のＭＢの符号化情報を含む符号化ストリームの復号画像を，図４，図５に示すレイアウトで合成ストリームの復号画像中に配置する場合を例にとって説明する。ここで，各クライアントから送信される画像サイズと合成ストリームの復号画像の画像サイズは，各クライアント端末２とサーバ装置１とのセッション確立時に決めておくものとする。
【００３９】
また，サーバ装置１は，各クライアントを一意に識別するクライアントＩＤと各クライアントの画像の配置位置との対応情報である配置位置情報を生成して保持しておく。この配置位置情報は，クライアント名，クライアントＩＤ，配置位置，画像サイズ（ＭＢ数）といったデータ項目からなる。
【００４０】
図４に示すように，クライアントＡの画像を表示画面全体の左上に配置し，クライアントＢの画像を表示画面全体の右上に配置し，クライアントＣの画像を表示画面全体の左下に配置し，クライアントＤの画像を表示画面全体の右下に配置する例では，サーバ装置１は，図７に示すような配置位置情報を保持している。配置位置は，座標情報でもよい。
【００４１】
また，サーバ装置１のヘッダ更新処理部１２は，上記配置位置情報に基づいて，例えば図６に示すヘッダの更新情報を生成して保持しておく。ヘッダの更新情報は，例えば，クライアントＩＤごとの変更前ヘッダ情報と変更後ヘッダ情報との対応情報である。変更前ヘッダ情報は，各クライアントから送信される符号化ストリームのヘッダの種類（ＶＯＰヘッダの場合）またはＶＰヘッダ内に格納されているＭＢ番号情報であり，これらに対応して，変更後ヘッダ情報の項目として，変更後のＭＢ番号情報が格納されている。なお，ヘッダの更新情報をテーブル化して持つのではなく，その都度，所定の算出式によって求めるようにしてもよい。
【００４２】
図６に示すヘッダの更新情報について詳述する。クライアントＩＤ＝１のクライアントＡの画像は，表示画面全体の左上に配置されるので，クライアントＡから送信された符号化ストリ−ムのヘッダがＶＯＰヘッダである場合には，変更後ヘッダ情報を「そのまま」とする。
【００４３】
クライアントＡから送信されたＶＰのＶＰヘッダ内に格納されたＭＢ番号が「Ｎ」の場合，図５に示すように，このＶＰの先頭ＭＢの復号画像中のＭＢ番号は「２Ｎ」であることから，対応する変更後ヘッダ情報を「２Ｎ」とする。
【００４４】
また，例えば，クライアントＢの画像は，表示画面全体の右上に配置されるので，クライアントＢから送信された符号化ストリームのヘッダがＶＯＰヘッダである場合には，変更後ヘッダ情報を「ＶＰ（Ｎ）」とする。このＶＰヘッダに格納されるＭＢ番号を「Ｎ」とするのは，図５に示すように，このＶＰの先頭ＭＢの復号画像中のＭＢ番号が「Ｎ」であるからである。
【００４５】
同様の方法で，サーバ装置１のヘッダ更新処理部１２は，各クライアントから送信される符号化ストリームのヘッダの更新情報を生成し，保持する。
【００４６】
図８は，ヘッダ更新処理部１２の処理フローの例を示す図である。ヘッダ更新処理部１２は，受信バッファ１１からクライアントＩＤとＶＰ単位の符号化ストリームを受け取ると（ステップＳ１），クライアントＩＤに基づいて，図６に示すヘッダの更新情報を参照して，対応する変更後ヘッダ情報を決定する（ステップＳ２）。具体的には，変更後のＶＰヘッダ内に格納するＭＢ番号を決定する。
【００４７】
次に，ＶＯＰヘッダ／ＶＰヘッダを検索する。ＶＯＰヘッダであるかＶＰヘッダであるかはビットパターンの違いによって判別することができる（ステップＳ３）。符号化ストリームのヘッダがＶＯＰヘッダかＶＰヘッダかを判断し（ステップＳ４），ＶＯＰヘッダである場合には，復号画像が表示画面全体の左上に表示されるクライアントが送信した符号化ストリームであるかを判断する（ステップＳ５）。例えば，復号画像が左上に表示されるクライアントＩＤ＝１のクライアントＡが送信元かを判断する。
【００４８】
復号画像が表示画面全体の左上に表示されるクライアントが送信元である場合には，ＶＰ単位で送信バッファ１３に渡す（ステップＳ７）。例えば，送信元がクライアントＩＤ＝１のクライアントＡである場合，図６に示すように，変更前ヘッダ情報「ＶＯＰヘッダ」に対応する変更後ヘッダ情報は「そのまま」であるので，ヘッダ情報を変更しないでＶＰ単位で送信バッファ１３に渡す。
【００４９】
ステップＳ５において，復号画像が表示画面全体の左上に表示されるクライアントが送信元でない場合には，ＶＯＰヘッダをＶＰヘッダに変更し，ステップＳ２で決定された変更後のＭＢ番号をＶＰヘッダ内に格納し（ステップＳ６），ステップＳ７へ進む。例えば，送信元がクライアントＩＤ＝３のクライアントＣである場合，図６に示すヘッダの更新情報において，変更前ヘッダ情報「ＶＯＰヘッダ」に対応する変更後ヘッダ情報は「ＶＰ（２ＭＮ）」であるので，ＶＰヘッダ内にＭＢ番号「２ＭＮ」を格納する。
【００５０】
ステップＳ４において，符号化ストリームのヘッダがＶＯＰヘッダでなく，ＶＰヘッダである場合には，ＶＰヘッダ内のＭＢ番号をステップＳ２で決定された変更後のＭＢ番号に変更し（ステップＳ８），ステップＳ７へ進む。
【００５１】
例えば，送信元のクライアントがクライアントＩＤ＝１のクライアントＡであって，受け取ったＶＰのＶＰヘッダ内のＭＢ番号が２Ｎである場合，図６に示すヘッダの更新情報に示すように，対応する変更後ヘッダ情報は「４Ｎ」である。従って，ＶＰのＶＰヘッダ内のＭＢ番号を「４Ｎ」に変更する。
【００５２】
図９は，各クライアント端末における復号画像更新処理を説明する図である。図９（Ａ）は，各クライアント端末２がサーバ装置１から受信した，複数のＶＰから構成される合成ストリームの例であり，図９（Ｂ）は，表示画面全体中における各ＶＰの復号画像の配置を示す図である。
【００５３】
図９（Ａ）に示す合成ストリームを構成する各ＶＰには，サーバ装置１によって変更されたヘッダの情報が付与されている。図９（Ａ）に示す例では，例えば，第１番目のＶＰにはＶＯＰヘッダの情報が付与されており，第２番目のＶＰにはＭＢ番号「２Ｎ」，第３番目のＶＰにはＭＢ番号「Ｎ」というＶＰヘッダの情報が付与されている。
【００５４】
サーバ装置１から図９（Ａ）に示す合成ストリームを受信した各クライアント端末２は，ＶＰ単位で順次復号し，復号されたＶＰ単位の復号画像を，各ＶＰのヘッダの情報が示す表示位置に表示する。例えば，ＶＯＰヘッダというヘッダ情報が付与されているＶＰの復号画像は，図９（Ｂ）に示す表示画面中の最も左上の位置（図中の（１）の位置）に配置され，ＭＢ番号「２Ｎ」というＶＰヘッダの情報が付与されているＶＰの復号画像は，その先頭のＭＢが全ＭＢを通じて２Ｎ番目のＭＢとなる位置（図中の（３）の位置）に配置される。
【００５５】
同様にして，ＭＢ番号「Ｎ」というＶＰヘッダの情報が付与されているＶＰの復号画像は，図中の（２）の位置に配置され，ＭＢ番号「３Ｎ」というＶＰヘッダの情報が付与されているＶＰの復号画像は，図中の（４）の位置に配置される。
【００５６】
各クライアント端末２からサーバ装置１へアップロードされる符号化ストリームのフレームレートが異なる場合には，復号画像の表示において頻繁に更新される領域と更新頻度が少ない領域とが生じることがあるが，画像全体としての表示が乱れるわけではないので問題が生じることはない。
【００５７】
図１０は，本発明の他の実施の形態の多地点テレビ会議システムの構成例を示す図である。図１に示す構成に加えて，各クライアント端末２は，画像選択指示部２８を持つ。また，サーバ装置１は，画像選択情報受信部１８と，ストリーム選択・切替え部１９とを持つ。
【００５８】
クライアント端末２の画像選択指示部２８は，複数のクライアントの画像を合成した合成ストリームを受信するか，特定のクライアントの単独の画像を受信するかを，ユーザからの指示情報の入力によって決定し，その画像選択情報をサーバ装置１の画像選択情報受信部１８へ送る。デフォルトは例えば合成ストリームであり，合成ストリームを復号して表示した画像において，ユーザが特定のクライアントの画像をマウス等のポインティングデバイスによってクリックすると，そのクライアントの画像の選択情報が，画像選択指示部２８からサーバ装置１へ送られる。
【００５９】
また，特定のクライアントの画像が表示されている状態で，ユーザがクリックすると，画像選択指示部２８から合成ストリーム（合成画像）の画像選択情報がサーバ装置１へ送られる。
【００６０】
サーバ装置１におけるストリーム選択・切替え部１９は，合成ストリームが選択されている場合には，ヘッダ更新処理部１２によって各クライアントの符号化ストリームから生成した合成ストリームを，送信バッファ１３およびネットワークを介してクライアント端末２へ配信する。
【００６１】
また，画像選択情報受信部１８が，特定のクライアントの画像選択情報を受信した場合には，その画像選択情報によってストリーム選択・切替え部１９を制御し，ストリーム選択・切替え部１９は，そのクライアントのクライアントＩＤに対応する受信バッファ１１に格納された符号化ストリームをそのまま送信バッファ１３に出力する。これによって，クライアント端末２には，選択された特定のクライアントの画像だけが表示される。
【００６２】
なお，図１０に示すサーバ装置１において，画像選択情報受信部１８とストリーム選択・切替え部１９と送信バッファ１３とを，会議に参加するクライアントの数だけ複数組設けるようにすれば，各クライアント端末２ごとにディスプレイ２２に合成画像を表示させるか特定のクライアントの画像を表示させるかを，個別に選択することができるようになる。
【００６３】
以上のサーバ装置１およびクライアント端末２が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明に係る多地点テレビ会議システムの構成例を示す図である。
【図２】クライアント端末の符号化部の詳細を示す図である。
【図３】各クライアント端末によって設定されるＶＯＰヘッダとＶＰヘッダを示す図である。
【図４】合成ストリームの復号画像の例を示す図である。
【図５】復号画像中の各ＭＢのＭＢ番号を示す図である。
【図６】ヘッダの更新情報を示す図である。
【図７】配置位置情報を示す図である。
【図８】ヘッダ更新処理部の処理フローの例を示す図である。
【図９】各クライアント端末における復号画像生成処理を説明する図である。
【図１０】本発明の他の実施の形態の構成例を示す図である。
【図１１】従来の多地点テレビ会議システムの例を示す図である。
【図１２】従来の他の多地点テレビ会議システムの例を示す図である。
【符号の説明】
【００６５】
１，１００，１２０  サーバ装置
２，１１０ａ〜１１０ｚ，１３０ａ〜１３０ｚ  クライアント端末
１１，２５，１０１ａ〜１０１ｚ，１２１ａ〜１２１ｚ，１３５  受信バッファ
１２  ヘッダ更新処理部
１３，２４，１０５，１２２ａ〜１２２ｚ，１３４  送信バッファ
１４  ストリーム入力部
１５  ＭＢ番号決定部
１６  ヘッダ／ＭＢ番号変更部
１７  ストリーム出力部
１８  画像選択情報受信部
１９  ストリーム選択・切替え部
２１，１３１ａ〜１３１ｚ  カメラ
２２，１３２ａ〜１３２ｚ  ディスプレイ
２３，１３３  符号化部
２６，１０２ａ〜１０２ｚ，１３６  復号部
２７  表示制御部
２８  画像選択指示部
１０３，１３７  画像合成部
１０４  再符号化部
２３１  減算部
２３２  ＤＣＴ部
２３３  量子化部
２３４  逆量子化部
２３５  逆ＤＣＴ部
２３６  加算部
２３７  フレームメモリ
２３８  動き予測部
２３９  動き補償部
２４０  可変長符号化部
２４１  符号量制御部
【図１】
2005341325.tif 000003
【図２】
2005341325.tif 000004
【図３】
2005341325.tif 000005
【図４】
2005341325.tif 000006
【図５】
2005341325.tif 000007
【図６】
2005341325.tif 000008
【図７】
2005341325.tif 000009
【図８】
2005341325.tif 000010
【図９】
2005341325.tif 000011
【図１０】
2005341325.tif 000012
【図１１】
2005341325.tif 000013
【図１２】
2005341325.tif 000014