(57)【要約】【課題】  可変長フォーマットに従う映像信号以外の映像信号でもテレビ会議システムを実現可能なストリームデータの生成方法を提供する。【解決手段】  テレビ会議システムを構成する端末が実行する処理は、カメラから映像信号の入力を受けるステップ（Ｓ１１１０）と、映像信号を受信バッファに格納するステップ（Ｓ１１２０）と、受信バッファから映像信号を読み出すステップ（Ｓ１１３０）と、端末自身に割り当てられている領域（有効領域）以外の領域を無効領域として符号化するステップ（Ｓ１１４０）と、符号化により生成された圧縮データの中の有効領域に対応するデータを抽出するステップ（Ｓ１１５０）と、抽出されたデータを送信バッファに格納するステップ（Ｓ１１６０）と、送信バッファから圧縮データを読み出して通信回線に向けて出力するステップ（Ｓ１１７０）とを含む。【選択図】        図１１
2006304182.tif 000002
【特許請求の範囲】
【請求項１】
通信回線に電気的に接続された複数の端末において、ストリームデータを生成するステップを備え、前記複数の端末の各々は映像信号に基づいて映像を表示領域に表示する表示手段を含み、前記ストリームデータを生成するステップは、
映像信号の入力を受けるステップと、
前記表示領域において予め定められた一部の領域を特定するための領域情報を準備するステップと、
前記領域情報に基づいて前記映像信号を符号化することにより、前記映像信号に基づく映像を前記一部の領域に表示するための映像データを生成する生成ステップと、
前記映像データの送信のためのデータを生成するステップと、
前記送信のためのデータを前記通信回線に対して出力するステップとを含み、
前記通信回線に電気的に接続された映像信号合成装置において、各々の前記端末から出力されたデータに基づいて映像信号を合成するステップをさらに備え、前記映像信号を合成するステップは、
前記通信回線を介して、前記複数の端末の各々により出力された各々のストリームデータの入力を受けるステップを備え、前記各々のストリームデータは、前記表示領域の一部に映像を表示するために予め定められた位置に応じて符号化された映像データを含み、前記位置は、前記複数のストリームデータの各々に応じて異なり、
前記複数のストリームデータに基づいて、各々の前記映像データに基づく映像を前記表示領域にそれぞれ表示するための表示用データを生成する合成ステップと、
前記生成された表示用データの送信のためのデータを生成するステップと、
前記通信回線に、前記生成された送信のためのデータを出力するステップとを含み、
前記複数の端末の各々において、前記映像信号合成装置から、前記送信のためのデータに基づいて生成されたデータを受信するステップと、
前記複数の端末の各々において、前記受信されたデータに基づいて復号処理を実行することにより表示用のデータを生成するステップと、
前記複数の端末の各々において、前記表示用のデータに基づいて、前記表示手段に映像を表示させるステップとをさらに備える、ストリームデータの生成方法。
【請求項２】
前記生成ステップは、前記一部の領域に対応する映像信号の符号化を行なうことにより、前記映像データを生成する符号化ステップを含む、請求項１に記載のストリームデータの生成方法。
【請求項３】
前記符号化ステップは、前記一部の領域に対応する映像信号を動き補償の対象として前記符号化を実行する、請求項２に記載のストリームデータの生成方法。
【請求項４】
前記合成ステップは、
前記複数のストリームデータの各々から、各々の前記映像データを抽出するステップと、
前記抽出された映像データについて予め定められた位置に基づいて、前記抽出された映像データをそれぞれ合成することにより前記表示データを生成するステップとを含む、請求項１〜３のいずれかに記載のストリームデータの生成方法。
【請求項５】
通信回線に電気的に接続された生成装置を備え、前記生成装置は、
表示領域に映像を表示する表示手段と、
前記表示領域において予め定められた一部の領域を特定するための領域情報を格納する記憶手段と、
映像信号の入力を受ける入力手段と、
前記領域情報に基づいて前記映像信号を符号化することにより、前記映像信号に基づく映像を前記一部の領域に表示するための映像データを生成する生成手段と、
前記映像データの送信のためのデータを生成する送信データ生成手段と、
前記通信回線に電気的に接続され、前記送信のためのデータを前記通信回線に対して出力する出力手段とを含み、
前記通信回線に電気的に接続された映像信号合成装置をさらに備え、前記映像信号合成装置は、
前記通信回線を介して、複数のストリームデータの入力を受ける入力手段を備え、前記複数のストリームデータの各々は、映像の表示領域の一部に映像を表示するために予め定められた位置に応じて符号化された映像データを含み、前記位置は、前記複数のストリームデータの各々に応じて異なり、
前記複数のストリームデータに基づいて、各々の前記映像データに基づく映像を前記表示領域にそれぞれ表示するための表示用データを生成する合成手段と、
前記合成手段により生成された表示用データの送信のためのデータを生成する送信データ生成手段と、
前記通信回線に、前記生成された送信のためのデータを出力する出力手段とを含み、
前記生成装置は、
前記通信回線から、前記送信のためのデータに基づいて生成されたデータを受信する受信手段と、
前記受信手段により受信されたデータに基づいて復号処理を実行することにより表示用のデータを生成する復号手段と、
前記表示用のデータに基づいて、前記表示手段に映像を表示させる制御手段とをさらに含む、テレビ会議システム。
【請求項６】
表示領域に映像を表示する表示手段と、
前記表示領域において予め定められた一部の領域を特定するための領域情報を格納する記憶手段と、
映像信号の入力を受ける入力手段と、
前記領域情報に基づいて前記映像信号を符号化することにより、前記映像信号に基づく映像を前記一部の領域に表示するための映像データを生成する生成手段と、
通信回線に電気的に接続され、前記映像データを前記通信回線に対して出力するための出力手段と、
前記通信回線から、前記送信のためのデータに基づいて生成されたデータを受信する受信手段と、
前記受信手段により受信されたデータに基づいて復号処理を実行することにより表示用のデータを生成する復号手段と、
前記表示用のデータに基づいて、前記表示手段に映像を表示させる制御手段とを備える、ストリームデータの生成装置。
【請求項７】
前記生成手段は、前記一部の領域に対応する映像信号の符号化を行なうことにより、前記映像データを生成する符号化手段を含む、請求項６に記載のストリームデータの生成装置。
【請求項８】
前記符号化手段は、前記一部の領域に対応する映像信号を動き補償の対象として前記符号化を実行する、請求項７に記載のストリームデータの生成装置。
【請求項９】
前記映像データは、前記一部の領域にのみ映像を表示するためのデータのみを含む、請求項６〜８のいずれかに記載のストリームデータの生成装置。
【請求項１０】
外部からの入力に基づいて、前記記憶手段に格納されている領域情報を変更する変更手段をさらに備える、請求項６〜９のいずれかに記載のストリームデータの生成装置。
【請求項１１】
外部から領域情報の入力を受ける指示入力手段をさらに備え、
前記変更手段は、前記記憶手段に格納されている領域情報を、前記指示入力手段を介して入力された領域情報に変更する、請求項１０に記載のストリームデータの生成装置。
【請求項１２】
前記受信手段は、前記通信回線から、前記領域情報が含まれるデータを受信し、
前記変更手段は、前記記憶手段に格納されている領域情報を、前記受信されたデータに含まれる領域情報に変更する、請求項１０に記載のストリームデータの生成装置。
【請求項１３】
通信回線を介して、複数のストリームデータの入力を受ける入力手段を備え、前記複数のストリームデータの各々は、映像の表示領域の一部に映像を表示するために予め定められた位置に応じて符号化された映像データを含み、前記位置は、前記複数のストリームデータの各々に応じて異なり、
前記複数のストリームデータに基づいて、各々の前記映像データに基づく映像を前記表示領域にそれぞれ表示するための表示用データを生成する合成手段と、
前記合成手段により生成された表示用データの送信のためのデータを生成する送信データ生成手段と、
前記通信回線に、前記生成された送信のためのデータを出力する出力手段とを備える、ストリームデータの合成装置。
【請求項１４】
前記合成手段は、
前記複数のストリームデータの各々から、各々の前記映像データを抽出する抽出手段と、
前記抽出された映像データについて予め定められた位置に基づいて、前記抽出された映像データをそれぞれ合成することにより、前記表示データを生成する生成手段とを含む、請求項１３に記載のストリームデータの合成装置。
【請求項１５】
前記複数のストリームデータの各々は、前記各々のストリームデータが生成された時刻を特定するための時刻データを含み、
前記合成手段は、前記複数のストリームデータの各々の前記時刻データに基づいて、前記表示用データを生成する、請求項１３または請求項１４に記載のストリームデータの合成装置。
【請求項１６】
前記合成手段は、各前記映像データを復号することなく前記表示用データを生成する、請求項１３〜１５のいずれかに記載のストリームデータの合成装置。
【請求項１７】
前記複数のストリームデータの各々は、各々の前記映像データに基づく映像が表示される領域を特定するための特定データを含み、
前記合成手段は、前記特定データに基づいて、前記表示データを生成する、請求項１３〜１６のいずれかに記載のストリームデータの合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号の処理に関する。より特定的には、本発明は、ストリームデータの生成方法、ならびにテレビ会議システム、ストリームデータの生成装置、およびストリームデータの合成装置に関する。
【背景技術】
【０００２】
通信回線を介した映像音声信号の通信の利用形態として、いわゆるテレビ会議システムがある。このシステムでは複数の映像信号が合成され、その合成された信号が当該システムを構成する各端末に配信される。各端末の使用者、すなわち、テレビ会議の参加者は、その信号に基づいて表示される映像および出力される音声を視聴することができる。ここで、映像信号の合成あるいは映像信号の符号化のための技術が、たとえば、以下のように開示されている（特許文献１〜３、非特許文献１参照）。
【０００３】
たとえば、非特許文献１に開示された技術によれば、高速演算アルゴリズムにより表示位置のフォーマット長を高速に演算することができる。また、処理は、ソフトウェアによる処理として実現可能であるため、ＰＣ（Personal  Computer）レベルで実現することができる。したがって、特別のハードウェアを必要としないため、低コストでテレビ会議システムを実現することができる。
【特許文献１】特開平７−２９８２６３号公報
【特許文献２】特開平９−２１４９７０号公報
【特許文献３】特開平１０−２３４０４３号公報
【非特許文献１】松下電器産業（株）マルチメディアシステム研究所、「マルチ画面ＭＰＥＧ合成技術を開発」、１９９８年１２月９日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
動画像の再生では、処理の対象となるデータ量が多いため、再生する端末が備える処理装置の能力の制約を受ける。たとえば非特許文献１に開示された技術によれば、可変長に拡張された表示位置フォーマットにもとづく映像信号のみを合成できるため、テレビ会議システムの汎用性を欠くという問題がある。また、高速処理を実行可能な処理装置を必要とするため、ハードウェア構成のコスト削減にも制限を受ける可能性がある。
【０００５】
本発明は、上述の問題点を解決するためになされたものであって、その目的は、処理対象が可変長フォーマットに基づく映像信号以外の映像信号でもテレビ会議システムを実現可能なストリームデータの生成方法を提供することである。
【０００６】
本発明の他の目的は、テレビ会議システムの運用時における映像の表示処理の遅延を防止できるストリームデータの生成方法を提供することである。
【０００７】
本発明の他の目的は、処理対象が可変長フォーマットに基づく映像信号以外の映像信号でも作動するテレビ会議システムを提供することである。
【０００８】
本発明の他の目的は、テレビ会議システムの運用時における映像の表示処理の遅延を防止できるストリームデータを生成できるストリームデータの生成装置を提供することである。
【０００９】
本発明の他の目的は、処理対象が可変長フォーマットに基づく映像信号以外の映像信号でもテレビ会議システムを実現するためのストリームデータを生成するストリームデータの生成装置を提供することである。
【００１０】
本発明の他の目的は、テレビ会議システムの運用時における映像の表示処理の遅延を防止できるストリームデータを生成できるストリームデータの合成装置を提供することである。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、この発明のある局面に従うと、ストリームデータの生成方法は、通信回線に電気的に接続された複数の端末において、ストリームデータを生成するステップを備える。複数の端末の各々は映像信号に基づいて映像を表示領域に表示する表示手段を含む。ストリームデータを生成するステップは、映像信号の入力を受けるステップと、表示領域において予め定められた一部の領域を特定するための領域情報を準備するステップと、領域情報に基づいて映像信号を符号化することにより、映像信号に基づく映像を一部の領域に表示するための映像データを生成する生成ステップと、映像データの送信のためのデータを生成するステップと、送信のためのデータを通信回線に対して出力するステップとを含む。生成方法は、通信回線に電気的に接続された映像信号合成装置において、各々の端末から出力されたデータに基づいて映像信号を合成するステップをさらに備える。映像信号を合成するステップは、通信回線を介して、複数の端末の各々により出力された各々のストリームデータの入力を受けるステップを備える。各々のストリームデータは、表示領域の一部に映像を表示するために予め定められた位置に応じて符号化された映像データを含む。位置は、複数のストリームデータの各々に応じて異なる。当該合成するステップは、複数のストリームデータに基づいて、各々の映像データに基づく映像を表示領域にそれぞれ表示するための表示用データを生成する合成ステップと、生成された表示用データの送信のためのデータを生成するステップと、通信回線に、生成された送信のためのデータを出力するステップとを含む。ストリームデータの合成方法は、複数の端末の各々において、映像信号合成装置から、送信のためのデータに基づいて生成されたデータを受信するステップと、複数の端末の各々において、受信されたデータに基づいて復号処理を実行することにより表示用のデータを生成するステップと、複数の端末の各々において、表示用のデータに基づいて、表示手段に映像を表示させるステップとをさらに備える。
【００１２】
好ましくは、生成ステップは、一部の領域に対応する映像信号の符号化を行なうことにより、映像データを生成する符号化ステップを含む。
【００１３】
好ましくは、符号化ステップは、一部の領域に対応する映像信号を動き補償の対象として符号化を実行する。
【００１４】
好ましくは、合成ステップは、複数のストリームデータの各々から、各々の映像データを抽出するステップと、抽出された映像データについて予め定められた位置に基づいて、抽出された映像データをそれぞれ合成することにより表示データを生成するステップとを含む。
【００１５】
この発明の他の局面に従うと、テレビ会議システムは、通信回線に電気的に接続された生成装置を備える。生成装置は、表示領域に映像を表示する表示手段と、表示領域において予め定められた一部の領域を特定するための領域情報を格納する記憶手段と、映像信号の入力を受ける入力手段と、領域情報に基づいて映像信号を符号化することにより、映像信号に基づく映像を一部の領域に表示するための映像データを生成する生成手段と、映像データの送信のためのデータを生成する送信データ生成手段と、通信回線に電気的に接続され、送信のためのデータを通信回線に対して出力する出力手段とを含む。テレビ会議システムは、通信回線に電気的に接続された映像信号合成装置をさらに備える。映像信号合成装置は、通信回線を介して、複数のストリームデータの入力を受ける入力手段を備える。複数のストリームデータの各々は、映像の表示領域の一部に映像を表示するために予め定められた位置に応じて符号化された映像データを含む。位置は、複数のストリームデータの各々に応じて異なる。映像信号合成装置は、複数のストリームデータに基づいて、各々の映像データに基づく映像を表示領域にそれぞれ表示するための表示用データを生成する合成手段と、合成手段により生成された表示用データの送信のためのデータを生成する送信データ生成手段と、通信回線に、生成された送信のためのデータを出力する出力手段とを含む。生成装置は、通信回線から、送信のためのデータに基づいて生成されたデータを受信する受信手段と、受信手段により受信されたデータに基づいて復号処理を実行することにより表示用のデータを生成する復号手段と、表示用のデータに基づいて、表示手段に映像を表示させる制御手段とをさらに含む。
【００１６】
この発明の他の局面に従うと、ストリームデータの生成装置は、表示領域に映像を表示する表示手段と、表示領域において予め定められた一部の領域を特定するための領域情報を格納する記憶手段と、映像信号の入力を受ける入力手段と、領域情報に基づいて映像信号を符号化することにより、映像信号に基づく映像を一部の領域に表示するための映像データを生成する生成手段と、通信回線に電気的に接続され、映像データを通信回線に対して出力するための出力手段と、通信回線から、送信のためのデータに基づいて生成されたデータを受信する受信手段と、受信手段により受信されたデータに基づいて復号処理を実行することにより表示用のデータを生成する復号手段と、表示用のデータに基づいて、表示手段に映像を表示させる制御手段とを備える。
【００１７】
好ましくは、生成手段は、一部の領域に対応する映像信号の符号化を行なうことにより、映像データを生成する符号化手段を含む。
【００１８】
好ましくは、符号化手段は、一部の領域に対応する映像信号を動き補償の対象として符号化を実行する。
【００１９】
好ましくは、映像データは、一部の領域にのみ映像を表示するためのデータのみを含む。
【００２０】
好ましくは、ストリームデータの生成装置は、外部からの入力に基づいて、記憶手段に格納されている領域情報を変更する変更手段をさらに備える。
【００２１】
好ましくは、ストリームデータの生成装置は、外部から領域情報の入力を受ける指示入力手段をさらに備える。変更手段は、記憶手段に格納されている領域情報を、指示入力手段を介して入力された領域情報に変更する。
【００２２】
好ましくは、受信手段は、通信回線から、領域情報が含まれるデータを受信する。変更手段は、記憶手段に格納されている領域情報を、受信されたデータに含まれる領域情報に変更する。
【００２３】
この発明の他の局面に従うと、ストリームデータの合成装置は、通信回線を介して、複数のストリームデータの入力を受ける入力手段を備える。複数のストリームデータの各々は、映像の表示領域の一部に映像を表示するために予め定められた位置に応じて符号化された映像データを含む。位置は、複数のストリームデータの各々に応じて異なる。ストリームデータの合成装置は、複数のストリームデータに基づいて、各々の映像データに基づく映像を表示領域にそれぞれ表示するための表示用データを生成する合成手段と、合成手段により生成された表示用データの送信のためのデータを生成する送信データ生成手段と、通信回線に、生成された送信のためのデータを出力する出力手段とを備える。
【００２４】
好ましくは、合成手段は、複数のストリームデータの各々から、各々の映像データを抽出する抽出手段と、抽出された映像データについて予め定められた位置に基づいて、抽出された映像データをそれぞれ合成することにより、表示データを生成する生成手段とを含む。
【００２５】
好ましくは、複数のストリームデータの各々は、各々のストリームデータが生成された時刻を特定するための時刻データを含む。合成手段は、複数のストリームデータの各々の時刻データに基づいて、表示用データを生成する。
【００２６】
好ましくは、合成手段は、各映像データを復号することなく表示用データを生成する。
【００２７】
好ましくは、複数のストリームデータの各々は、各々の映像データに基づく映像が表示される領域を特定するための特定データを含む。
【００２８】
好ましくは、合成手段は、特定データに基づいて、表示データを生成する。
【発明の効果】
【００２９】
本発に係るストリームデータの生成方法によると、処理対象が可変長フォーマットに基づく映像信号以外の映像信号でもテレビ会議システムを実現することができる。
【００３０】
本発明に係るストリームデータの生成方法によると、テレビ会議システムの運用時における映像の表示処理の遅延を防止できる。
【００３１】
本発明に係るテレビ会議システムによると、処理対象が可変長フォーマットに基づく映像信号以外の映像信号でも作動する。
【００３２】
本発明に係るストリームデータの生成装置によると、テレビ会議システムの運用時における映像の表示処理の遅延を防止できる。
【００３３】
本発明に係るストリームデータの生成装置によると、処理対象が可変長フォーマットに基づく映像信号以外の映像信号でもテレビ会議システムを実現することができる。
【００３４】
本発明に係るストリームデータの合成装置によると、テレビ会議システムの運用時における映像の表示処理の遅延を防止できるストリームデータを生成することができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３６】
図１を参照して、本発明の実施の形態に係るテレビ会議システムについて説明する。図１は、テレビ会議システム１０のシステム構成を表わすブロック図である。
【００３７】
テレビ会議システム１０は、端末１００ａ，１００ｂ，１００ｃ，１００ｄと、映像信号合成装置１２００とを備える。各々の端末は、総称される場合には、端末１００と称する。映像信号合成装置１２００と各端末とは、通信回線を介してそれぞれ接続されている。端末１００は、カメラ１１０と、マイク１２０と、モニタテレビ１３０と、ストリームデータの生成装置４００とを含む。ストリームデータの生成装置４００は、ＭＰＥＧ（Moving  Picture  Experts  Group）エンコーダ５００と、ＭＰＥＧデコーダ４６０とを含む。カメラ１１０から出力される信号は、ＭＰＥＧエンコーダ５００に入力される。マイク１２０から出力される信号は、ＭＰＥＧエンコーダ５００に入力される。ＭＰＥＧデコーダ４６０から出力される信号は、モニタテレビ１３０に入力される。ＭＰＥＧエンコーダ５００から出力される信号は、通信回線を介して映像信号合成装置１２００に対して送信される。ＭＰＥＧデコーダ４６０は、映像信号合成装置１２００により送信された信号の入力を受ける。
【００３８】
映像信号合成装置１２００は、通信回線を介して信号の入力を受ける多地点接続用コントローラ１２２０と、通信回線を介して信号を送信可能な送信部１２４０とを含む。多地点接続用コントローラ１２２０から出力される信号は、送信部１２４０に入力される。
【００３９】
ここで、図２を参照して、各端末と映像信号合成装置１２００との間で通信される信号の構成について説明する。図２（Ａ）は、Ａ地点に配置されている端末１００ａから出力されるストリームの構成を概念的に表わす図である。図２（Ｂ）は、Ｂ地点に配置されている端末１００ｂから出力されるストリームの構成を概念的に表わす図である。図２（Ｃ）は、Ｃ地点に配置されている端末１００ｃから出力されるストリームの構成を概念的に表わす図である。図２（Ｄ）は、Ｄ地点に配置されている端末１００ｄから出力されるストリームの構成を表わす図である。図２（Ｅ）は、映像信号合成装置１２００から各端末にそれぞれ送信されるストリームの構成を概念的に表わす図である。
【００４０】
図２（Ａ）に示されるように、端末１００ａから出力される信号は、領域２１０〜２１４を含む。領域２１０には、ヘッダが格納されている。領域２１２には、映像音声データＡが格納されている。なお、映像音声データとは、映像を表示するためのデータと音声を出力するためのデータとを含む。領域２１４には、端末１００ａから出力される信号のデータサイズを予め定められたサイズに揃えるためのデータが格納されている。ヘッダは、本実施の形態に係るテレビ会議システム１０を実現するために予め定められたデータ項目を含む。映像音声データＡは、端末１００ａが備えるカメラ１１０により撮影された映像に基づくデータとマイク１２０により取得された音声データとを含む。映像音声データＡは、後述するように、テレビ会議システム１０を構成する各々の端末に割り当てられた領域に映像を表示するように、予め圧縮符号化処理されている。
【００４１】
図２（Ｂ）に示されるように、端末１００ｂから出力される信号は、領域２２０〜２２６を含む。領域２２０には、ヘッダが格納されている。このヘッダは、領域２１０に格納されているヘッダが有するデータ項目と同一の項目を含む。領域２２２は、領域２１２が有するデータサイズと同一のサイズを有する。領域２２２には、映像を表示するためのデータは格納されていない。領域２２４には、映像音声データＢが格納されている。領域２２６には、映像を表示するためのデータが格納されていない。領域２２６には、端末１００ｂから出力される信号のデータサイズを予め定められたサイズに揃えるためのデータが格納されている。ここで予め定められたサイズとは、端末１００ａから出力される信号のサイズについて予め定められたサイズと同一である。
【００４２】
図２（Ｃ）に示されるように、端末１００ｃから出力される信号は、領域２３０から２３６を含む。領域２３０には、ヘッダが格納されている。このヘッダは、領域２１０に格納されているヘッダが有するデータ項目と同一の項目を含む。領域２３２は、領域２２２が有するデータサイズと領域２２４が有するデータサイズとの和に等しいサイズを有する。領域２３４には、映像音声データＣが格納されている。領域２３６には、映像を表示するためのデータが格納されていない。領域２３６には、端末１００ｃから出力される信号のデータサイズを予め定められたサイズに揃えるためのデータが格納されている。ここで予め定められたサイズとは、端末１００ａから出力される信号のサイズについて予め定められたサイズと同一である。
【００４３】
図２（Ｄ）に示されるように、端末１００ｄから出力される信号は、領域２４０〜２４６を含む。領域２４０には、ヘッダが格納されている。このヘッダは、領域２１０に格納されているヘッダが有するデータ項目と同一の項目を含む。領域２４２には、映像を表示するためのデータが格納されていない。領域２４２には、有効な映像データは格納されていない。しかし、領域２４２に相当するマクロブロックの座標はフレームに存在する（有効ではないが映像データが存在するとしてエンコードされるため）ので、別の有効な映像データが含まれている。フレームの同じマクロブロックアドレス間を置換して、フレームが合成される。なお、マクロブロックについては後述する。領域２４６には、映像音声データＤが格納されている。
【００４４】
図２（Ｅ）に示されるように、映像信号合成装置１２００から出力される信号は、領域２５０〜２５８を含む。ヘッダは、領域２５０に格納されている。このヘッダは、テレビ会議システムを実現するために予め定められたデータ項目を含む。このデータ項目は、当該信号の送信元（すなわち映像信号合成装置１２００）を特定するためのデータと、送信先（すなわち端末１００ａ，１００ｂ，１００ｃ，１００ｄ）を特定するためのデータとを含む。映像信号合成装置１２００がこのようなヘッダに基づいて通信回線に対して信号を出力すると、その信号は、送信先として指定された端末の数に合わせて複製され、各複製後の信号は、通信回線を介して各端末に向けて送信される。
【００４５】
領域２５２には、端末１００ａから送信された映像データが格納されている。すなわち領域２５２に格納されている映像データは、領域２１２に格納されている映像データと同一のものである。領域２５４には、端末１００ｂから送信された映像データが格納されている。この映像データは、図２（Ｂ）に示される領域２２４に格納されている映像データと同一である。領域２５６には、端末１００ｃから送信された映像データが格納されている。この映像データは、図２（Ｃ）に示される領域２３４に格納されている映像データと同一である。領域２５８には、端末１００ｄから送信された映像データが格納されている。この映像データは、図２（Ｅ）に示される領域２４６に格納されている映像データと同一である。
【００４６】
なお、図２（Ａ）〜図２（Ｄ）に示される信号は、予め定められたデータサイズを有するものとして示されているが、各々の端末から出力される各信号の構成は、図２（Ａ）〜図２（Ｄ）に示されるものに限られない。たとえば端末１００ａから出力される信号は、領域２１０と領域２１２のみを有するものであってもよい。
【００４７】
次に、図３を参照して、図２（Ａ）から図２（Ｅ）の各々に示される信号に基づいて表示される映像について説明する。図３（Ａ）から図３（Ｅ）は、それぞれ端末１００ａ，１００ｂ，１００ｃ，１００ｄがモニタテレビ１３０に表示する画面の一態様を表わす図である。
【００４８】
図３（Ａ）を参照して、端末１００ａは、図２（Ａ）に示される信号に基づいて映像を表示する場合には、その映像Ａは、領域３１０に表示される。ここで領域３１０は、テレビ会議システムを実現する場合に予め設定される領域である。この領域は、テレビ会議システム１０を構成する端末の数に応じて設定される。たとえば４つの端末がテレビ会議システムに参加する場合には、モニタテレビ１３０の表示領域を４分割するように設定される。またその場合の各領域は、たとえば予め当該システムに参加し得る端末に対して割当てられている位置とその領域とを関連付けることにより、映像が実際に表示される領域を特定することができる。またこの領域は、後述するように外部からの入力に基づいて変更することもできる。
【００４９】
図３（Ｂ）を参照して、端末１００ｂが図２（Ｂ）に示される信号に基づいて映像を表示する場合には、映像Ｂは、端末１００ｂのモニタテレビ１３０の領域３２０に表示される。
【００５０】
図３（Ｃ）を参照して、端末１００ｃが図２（Ｃ）に示される信号に基づいて映像を表示する場合には、映像Ｃは、端末１００ｃが備えるモニタテレビ１３０の領域３３０に表示される。
【００５１】
図３（Ｄ）を参照して、端末１００ｄが図２（Ｄ）に示される信号に基づいて映像を表示する場合には、映像Ｄは、端末１００ｄが備えるモニタテレビ１３０の領域３４０に表示される。
【００５２】
また、図３（Ｅ）を参照して、各々の端末１００が図２（Ｅ）に示される信号に基づいて映像を表示する場合には、映像Ａは、各端末のモニタテレビ１３０における領域３１２に表示される。この表示位置は、図３（Ａ）に示される表示位置（すなわち領域３１０）と同一である。また映像Ｂは、領域３２２に表示される。この映像が表示される位置は、図３（Ｂ）に示される映像Ｂの表示位置（すなわち領域３２０）と同一である。映像Ｃは、領域３３２に表示される。この映像が表示される位置は、図３（Ｃ）に示される表示位置（すなわち領域３３０）と同一である。映像Ｄは、領域３４２に表示される。この映像が表示される位置は、図３（Ｄ）に示される映像の表示位置（すなわち領域３４０）と同一である。
【００５３】
このように、各端末は、図３（Ａ）〜図３（Ｄ）に示されるような映像を表示するための信号をそれぞれ映像信号合成装置１２００に送信することにより、図３（Ｅ）に示される映像の表示を実現する信号を受信する。このような通信を実現するための構成について以下説明する。
【００５４】
図４を参照して、本実施の形態に係るストリームデータの生成装置４００の構成について説明する。図４は、ストリームデータの生成装置４００のハードウェア構成を表わすブロック図である。ストリームデータの生成装置４００は、映像インターフェイス４１０と、音声インターフェイス４２０と、メモリ４３０と、ＭＰＥＧエンコーダ５００と、送信部４４０と、受信部４５０と、ＭＰＥＧデコーダ４６０と、映像インターフェイス４７０と、音声インターフェイス４８０とを含む。
【００５５】
映像インターフェイス４１０は、カメラ１１０に接続されている。映像インターフェイス４１０は、カメラ１１０から出力される映像信号の入力を受ける。この映像信号は、ＭＰＥＧエンコーダ５００に対して送出される。
【００５６】
音声インターフェイス４２０は、マイク１２０に接続されている。音声インターフェイス４２０は、マイク１２０から出力される音声信号の入力を受ける。音声インターフェイス４２０は、その信号をデジタル信号としてＭＰＥＧエンコーダ５００に対して送出する。
【００５７】
メモリ４３０は、各端末ごとに、図３（Ａ）〜図３（Ｄ）のいずれかに示される映像の表示を実現するためのデータを格納している。このデータ構造については後述する（図６）。
【００５８】
ＭＰＥＧエンコーダ５００は、映像インターフェイス４１０から出力される信号と音声インターフェイス４２０から出力される信号とメモリ４３０に格納されているデータとに基づいて、モニタテレビ１３０において予め定められた位置に映像を表示するための映像データを生成する。ＭＰＥＧエンコーダ５００は、生成された映像データを送信部４４０に対して送出する。
【００５９】
送信部４４０は、ＭＰＥＧエンコーダ５００からの映像データに基づいて映像信号合成装置１２００に送信するためのデータを生成する。具体的には、送信部４４０は、当該映像データに予め定められたデータ項目を有するヘッダを付加して、送信用のデータを生成する。このデータ項目は、たとえば、送信用のデータの宛先である映像信号合成装置１２００のネットワークアドレスを有する。送信部４４０は、送信用のデータを生成すると、通信回線に対して送出する。
【００６０】
受信部４５０は、通信回線を介して映像信号合成装置１２００からテレビ会議用の映像データを受信する。この映像データは、ＭＰＥＧエンコーダ５００により生成された映像データに加えて、他の端末により生成された映像データを含む。受信部４５０は、そのデータをＭＰＥＧデコーダ４６０に対して送出する。
【００６１】
ＭＰＥＧデコーダ４６０は、受信部４５０により受信されたデータを復号する。復号化処理により生成された信号は、映像を表示するための信号（以下、映像信号）と音声を出力するための信号（以下、音声信号）とを含む。映像信号は、映像インターフェイス４７０に対して送出される。音声信号は、音声インターフェイス４８０に対して送出される。
【００６２】
映像インターフェイス４７０は、その信号をモニタテレビ１３０に対して出力する。これにより、モニタテレビ１３０は、テレビ会議用に構成された映像（図３（Ｅ））を表示する。
【００６３】
音声インターフェイス４８０は、音声信号をスピーカ（図示しない）に対して出力する。当該スピーカは、映像の出力に合わせて、その信号に基づく音声を出力する。
【００６４】
図５を参照して、ＭＰＥＧエンコーダ５００について説明する。図５は、ＭＰＥＧエンコーダ５００のハードウェア構成を表わすブロック図である。
【００６５】
ＭＰＥＧエンコーダ５００は、映像信号と音声信号との入力をそれぞれ受ける受信バッファ５１０と、入力された各々の信号に対して予め定められた圧縮符号化処理を実行する符号化回路５２０と、圧縮されたデータから送信用のデータを抽出する抽出回路５３０と、抽出されたデータを一時的に格納する送信バッファ５４０とを含む。
【００６６】
図６を参照して、本実施の形態に係る端末のデータ構造について説明する。図６は、メモリ４３０におけるデータの格納の一態様を表わす図である。
【００６７】
メモリ４３０は、領域６１０〜６３０を含む。モニタテレビ１３０において定められる領域を特定するためのデータは、領域６１０に格納されている。各々の領域を表わすためのデータは、領域６２０に格納されている。各々の領域における映像の表示が可能であるか否かを表わすデータは、領域６３０に格納されている。たとえば第１の表示領域は、座標（１０，１０）から（４０，５０）として規定されている。第１の表示領域は、第１の端末１００ａにおいて使用可能に設定されている。第２の表示領域は、座標（１０，５０）から（４０，９０）として規定されている。この領域は、映像の表示のために使用できないと設定されている。同様に第３の表示領域および第４の表示領域についても、各々の座標および映像の表示の可否が設定されている。
【００６８】
図６に示されるメモリ４３０のデータ構造は、端末１００ａにおけるものである。端末１００ｂにおけるデータ構造は、第１の表示領域に代えて第２の表示領域が「使用可」と設定されている。また端末１００ｃについては、第３の表示領域が「使用可」として設定されている。なお、モニタテレビ１３０における表示領域の特定の態様は、図６に示されるものに限られない。図６に示されるデータは、テレビ会議システムの開始時に予め格納される場合もあれば、キーボード（図示しない）その他の入力装置を介した入力により、変更可能であってもよい。あるいは、当該システムに接続されている端末の数に応じて設定されてもよい。この場合は、新たに接続しようとする端末におけるログイン操作に基づいて接続されている端末の数を検知し、その検知の結果に基づいて表示領域を細分化するように、当該領域を特定するデータ（たとえば座標）を算出してもよい。
【００６９】
ここで、図７を参照して、図６に示される座標について説明する。図７は、モニタテレビ１３０における座標を概念的に表わす図である。
【００７０】
図７に示されるように、モニタテレビ１３０において、映像を表示可能な領域として座標（１０，１０）から（８０，９０）が予め設定されている。この座標の定義は、図６に示される領域の特定のための定義に対応する。したがって、各端末が図６に示される座標に基づいて映像の表示処理を実行すると、モニタテレビ１３０は、その座標に応じた領域に映像を表示する。
【００７１】
次に、図８を参照して、テレビ会議システム用の映像データと表示領域との関係について説明する。図８は、端末１００ａに関し、モニタテレビ１３０に映像を表示する場合に当該表示の対象となる映像データの対応する領域を表わす図である。
【００７２】
端末１００ａに関し、モニタテレビ１３０が備える映像の表示領域は、領域８１０と領域８２０とを含む。領域８１０は、端末１００ａが備えるカメラ１１０により生成された映像データに基づく映像を表示するための領域である。この領域は、図６に示されるようなでーたによって特定される。領域８２０は、そのカメラ１１０による表示を行なわないために排他的に確保された領域である。領域８２０は、すなわち他の端末（たとえば端末１００ｂから１００ｄ）から送信された映像データに基づく映像を表示するために使用される。
【００７３】
次に、図９を参照して、各端末１００から映像信号合成装置１２００に対して送信されるＭＰＥＧストリームの構成について説明する。図９（Ａ）は、ＭＰＥＧストリームのピクチャ層の構成を表わす図である。図９（Ｂ）は、ピクチャ層に含まれるスライス層の構成を概念的に表わす図である。図９（Ｃ）は、スライス層に含まれるマクロブロック（ＭＢ）層の構成を概念的に表わす図である。図９（Ｄ）は、ＭＰＥＧストリームデータに基づくリファレンス映像領域と参照領域との関係を表わす図である。
【００７４】
図９（Ａ）に示されるように、ピクチャは、ピクチャヘッダ９１０と、ピクチャタイプ９２０と、動きベクトル探索範囲９３０と、スライス層９４０とを含む。図９（Ｂ）に示されるように、スライス層９４０は、スライスヘッダ９５０と、スライス位置９６０と、ＭＢ層９７０とを含む。図９（Ｃ）に示されるように、ＭＢ層９７０は、ＭＢのアドレス９７２と、ＭＢタイプ９７４と、動きベクトル９７６と、ＭＢ符号データ９７８とを含む。ＭＢ符号データ９７８は、ＭＰＥＧエンコーダ５００により圧縮符号化された映像データである。
【００７５】
図９（Ｄ）を参照して、リファレンス映像領域９８０は、スライス９６２を含む。スライス９６２は、スライス位置９６０に基づいて特定される。スライス位置９６０は、たとえば垂直ライン番号に対応する。スライス９６２は、マクロブロック（ＭＢ）９６４を含む。マクロブロック９６４は、ＭＢのアドレス９７２により特定される。参照領域９９０は、動き補償の参照に関し、その参照が有効である有効範囲と有効でない無効範囲とを含む。たとえばリファレンス映像領域９８０と参照領域９９０との重複部分では、マクロブロック９６４による動きベクトルの検出が可能に設定される。一方、参照領域９９０における無効範囲（ハッチング部分）では、マクロブロック９６４による動きベクトルの検出は禁止される。
【００７６】
図１０を参照して、本実施の形態に係る各端末から映像信号合成装置１２００に対して送信されるストリームデータについて説明する。図１０（Ａ）は、端末１００ａが映像信号合成装置１２００に対して送信するストリームを概念的に表わす図である。図１０（Ｂ）は、端末１００ｂが映像信号合成装置１２００に対して送信するストリームを概念的に表わす図である。図１０（Ｃ）は、端末１００ｃが映像信号合成装置１２００に対して送信するストリームを概念的に表わす図である。図１０（Ｄ）は、端末１００ｄが映像信号合成装置１２００に対して送信するストリームを概念的に表わす図である。
【００７７】
図１０（Ａ）に示されるように、端末１００ａが送信するストリームは、ピクチャヘッダＰＨとスライスヘッダＳＨと、スライス層とを含む。スライス層は、たとえば「ＳＬ１」〜「ＳＬ４８０」まで、４８０層に分けられる。各スライス層は、ＭＢ０−ＭＢ２１までのマクロブロック（ＭＢ）と、ＭＢ２２〜ＭＢ４３までのマクロブロックとを含む。スライス層ＳＬ１〜ＳＬ２４０におけるＭＢ０〜ＭＢ２１は、図３（Ａ）に示されるように、領域３１０における表示を実現するための表示データ１０１０に対応する。
【００７８】
図１０（Ｂ）に示されるように、端末１００ｂが送信するストリームは、ピクチャヘッダＰＨとスライスヘッダＳＨと、スライス層とを含む。スライス層は、たとえば「ＳＬ１」〜「ＳＬ４８０」まで、４８０層に分けられる。各スライス層は、ＭＢ０−ＭＢ２１までのマクロブロック（ＭＢ）と、ＭＢ２２〜ＭＢ４３までのマクロブロックとを含む。スライス層ＳＬ１〜ＳＬ２４０におけるＭＢ２２〜ＭＢ４３は、図３（Ｂ）に示されるように、領域３２０における表示を実現するための表示データ１０２０に対応する。
【００７９】
図１０（Ｃ）を参照して、端末１００ｃが送信するストリームは、同様にピクチャヘッダＰＨとスライスヘッダＳＨと表示データ１０３０とを含む。当該ストリームのデータ構成は、図１０（Ａ）に示されるものと同じである。表示データ１０３０は、図３（Ｃ）に示されるように、領域３３０における表示を実現するためのデータである。図１０（Ｄ）を参照して、端末１００ｄが送信するストリームは、同様にピクチャヘッダＰＨとスライスヘッダＳＨと表示データ１０３０とを含む。当該ストリームのデータ構成は、図１０（Ａ）に示されるものと同じである。表示データ１０４０は、図３（Ｄ）に示されるように、領域３４０における表示を実現するためのデータである。なお、各ストリームが合成された態様については後述する（図１４）。
【００８０】
図１１を参照して、本実施の形態に係る端末１００の制御構造について説明する。図１１は、端末１００のＭＰＥＧエンコーダ５００が実行する処理の手順を表わすフローチャートである。
【００８１】
ステップＳ１１１０にて、ＭＰＥＧエンコーダ５００は、カメラ１１０から映像信号の入力を受ける。ステップＳ１１２０にて、ＭＰＥＧエンコーダ５００は、映像信号を受信バッファ５１０に格納する。ステップＳ１１３０にて、ＭＰＥＧエンコーダ５００は、受信バッファ５１０に格納されている映像信号を読み出す。ステップＳ１１４０にて、符号化回路５２０は、端末１００自身に割当てられている領域（有効領域）以外の領域を無効領域として、映像信号を符号化する。符号化回路５２０は、この符号化処理を実行する際に、その処理の行なわれた時刻をタイムスタンプとしてさらに追加する。
【００８２】
ステップＳ１１５０にて、抽出回路５３０は、符号化回路５２０の符号化により生成された圧縮データの中から上記有効領域に対応するデータを抽出する。ステップＳ１１６０にて、ＭＰＥＧエンコーダ５００は、抽出回路５３０により抽出されたデータを送信バッファ５４０に格納する。ステップＳ１１７０にて、ＭＰＥＧエンコーダ５００は、送信バッファ５４０からデータを読み出し、そして送信部４４０に対して送出する。送信部４４０は、そのデータに基づいて送信用のデータを生成し、そして通信回線に対して出力する。このようにして出力されたストリームデータは、映像信号合成装置１２００に向けて送信される。
【００８３】
図１２を参照して、本実施の形態に係るテレビ会議システム１０を構成する映像信号合成装置１２００について説明する。図１２は、映像信号合成装置１２００のハードウェア構成を表わすブロック図である。
【００８４】
映像信号合成装置１２００は、受信部１２１０と、多地点接続用コントローラ１２２０と、送信部１２４０と、音声パケット合成部１２３０とを含む。多地点接続用コントローラ１２２０は、有効ストリーム抽出部１２２２と、ストリーム合成部１２２４とを含む。受信部１２１０は、通信回線に対して電気的に接続されている。受信部１２１０は、当該通信回線を介して各端末からのストリームデータを受信する。受信部１２１０は、ストリームデータから映像信号と音声信号とをそれぞれ抽出する。受信部１２１０は、映像信号を多地点接続用コントローラ１２２０に対して送出する。受信部１２１０は、また音声信号を音声パケット合成部１２３０に送出する。
【００８５】
多地点接続用コントローラ１２２０に入力された映像信号は、有効ストリーム抽出部１２２０によって有効ストリームが抽出される。ここで有効ストリームとは、各端末のモニタリング１３０に映像を表示するために必要な映像データをいう。有効ストリーム抽出部１２２２は、テレビ会議システム１０に参加可能な端末の数だけ多地点接続用コントローラ１２２０に含まれている。各々の有効ストリーム抽出部１２２２によって抽出された各映像データは、ストリーム合成部１２２４にそれぞれ入力される。ストリーム合成部１２２４は、各映像データを合成する。この合成は、たとえば各端末からのストリームデータのヘッダに含まれている領域情報に基づいて各映像が重ならないように行なわれる。ストリーム合成部１２２４は、そのような合成により生成された映像データを送信部１２４０に対して送出する。
【００８６】
受信部１２１０によって取得された音声信号は、音声パケット合成部１２３０に送出される。音声パケット合成部１２３０は、各端末からの音声信号を合成する。合成された信号は、送信部１２４０に対して送出される。
【００８７】
送信部１２４０は、ストリーム合成部１２２４からの映像信号と音声パケット合成部１２３０からの音声信号とを合成する。送信部１２４０は、当該合成により生成されたデータに送信用のパケットを構成するためのヘッダを付加する。送信部１２４０は、送信用のパケットを通信回線に対して送出する。その結果、映像信号合成装置１２００から出力された信号は、各端末１００ａから１００ｄにそれぞれ送信される。
【００８８】
図１３を参照して、本実施の形態に係る映像信号合成装置１２００の制御構造について説明する。図１３は、映像信号合成装置１２００が実行する処理の手順を表わすフローチャートである。
【００８９】
ステップＳ１３１０にて、映像信号合成装置の受信部１２１０は、通信回線を介して各端末から圧縮されたそれぞれのデータを受信する。ステップＳ１３２０にて、映像信号合成装置１２００は、各データを受信バッファ（図示しない）に格納する。ステップＳ１３３０にて、映像信号合成装置１２００は、受信バッファからデータを読み出す。
【００９０】
ステップＳ１３４０にて、映像信号合成装置１２００は、各端末からのデータの同期を取るために、各々読出されたデータに含まれるタイムスタンプを参照し、そして同一時間帯に含まれるデータを合成する。この処理は、ストリーム合成部１２２４において実行される。またこのとき音声信号も同様に音声パケット合成部１２３０において合成される。各々合成された信号は、送信部１２４０に送出される。
【００９１】
ステップＳ１３５０にて、送信部１２４０は、各々の合成により生成されたデータに送信アドレスを付加して、ストリームデータを生成する。ここで送信アドレスとは、テレビ会議システムに参加している各端末のネットワークアドレスをいう。このアドレスにより各端末が特定されるため、テレビ会議システムへの参加者の映像がそれぞれの端末に配信される。ステップＳ１３６０にて、送信部１２４０は、送信アドレスに基づいてストリームデータを送信する。
【００９２】
ここで図１４を参照して、映像信号合成装置１２００から送信されるストリームデータについて説明する。図１４は、ストリームデータの構成を概略的に表わす図である。
【００９３】
ストリームデータは、ピクチャヘッダＰＨと、スライスヘッダＳＨと、表示データ１０１０，１０２０，１０３０，１０４０とを含む。表示データ１０１０は、図１０（Ａ）に示されるように、端末１００ａにより生成された映像データに基づくマクロブロックを含む。表示データ１０２０は、同様に図１０（Ｂ）に示されるマクロブロックを含む。表示データ１０３０は、端末１００ｃにより生成された映像データのためのマクロブロックを含む。表示データ１０４０は、端末１００ｄにより生成された映像データのためのマクロブロックを含む。
【００９４】
なお、ストリームデータは、各スライス層に含まれるマクロブロックについて、復号処理を実行していない。すなわちストリームデータは、映像信号合成装置１２００が受信したデータに含まれる映像データをそのまま結合して生成されたデータである。したがって、各端末に送信するためのデータは、各々の端末からの映像データの受信に応答して生成されるため、復号化処理のための遅延の発生が抑制される。
【００９５】
各々の端末が、図１４に示されるストリームデータを受信すると、各モニタテレビ１３０は、それぞれの領域において他の端末のカメラ１１０により撮影された映像（たとえばテレビ会議システムに参加しているユーザ）を表示する。
【００９６】
以上のようにして、本実施の形態に係る端末によれば、テレビ会議システムを実現するための映像を表示するデータに関し、圧縮符号化処理は、当該端末により撮影された映像を表示するために予め定められた領域に応じたデータとなるように実行される。各端末は、いわゆる他地点接続コントローラを実現するために各端末からの映像データを合成する映像信号合成装置１２００に対して、当該圧縮符号化処理により生成されたデータを送信する。映像信号合成装置１２００は、各端末からの映像データを抽出して合成することにより、テレビ会議システム用の合成データを生成する。すなわち、合成データの生成の差異には、映像データの復号処理および圧縮処理が実行されない。そのため、映像信号合成装置１２００において、合成データを生成するための処理の遅延が抑制される。その結果、各端末の使用者、すなわちテレビ会議への参加者は、映像および音声をスムーズに視聴することができる。
【００９７】
＜変形例＞
以下、本発明の実施の形態の変形例について説明する。前述の実施の形態においては、映像信号合成装置１２００から各々の端末に送信されるストリームデータは、すべて同一の映像データを含む構成であった。しかしながら、映像信号合成装置１２００から送信されるデータの構成は、そのようなものに限られない。たとえば、各端末に送信されるストリームデータは、各端末において生成された映像データを含まないデータであってもよい。すなわち、各端末は、各々のＭＰＥＧエンコーダ５００によって生成された自らの映像データを有しているため、映像信号合成装置１２００から同一のデータの配信を受けなくてもよい。この場合、したがって、映像信号合成装置１２００において、特定の端末から送信された映像データをその送信元に再び送り返すための処理が省略され得る。
【００９８】
なお、本変形例に係るテレビ会議システムを実現するための各端末および映像信号合成装置は、前述の端末１００および映像信号合成装置１２００が有するハードウェア構成と同一のハードウェア構成を有する。それらの機能も同じである。したがって、ここでは、それらについての詳細な説明は、繰り返さない。
【００９９】
ここで、図１５を参照して、本変形例に係るテレビ会議システムにおいて送信されるデータについて説明する。図１５（Ａ）は、本変形例に係る映像信号合成装置１２００が端末１００ａに送信するデータの構成を表わす図である。図１５（Ｂ）は、当該映像信号合成装置が端末１００ｂに対して送信するデータの構成を表わす図である。図１５（Ｃ）は、当該映像信号合成装置１２００が端末１００ｃに対して送信するデータの構成を表わす図である。図１５（Ｄ）は、当該映像信号合成装置１２００が端末１００ｄに対して送信するデータの構成を表わす図である。
【０１００】
図１５（Ａ）を参照して、ストリームデータ１５１０は、領域１５１１〜１５１４を含む。領域１５１１には、ヘッダが格納されている。領域１５１２には、端末１００ｂにより生成された映像データが格納されている。領域１５１３には、端末１００ｃにより生成された映像データが格納されている。領域１５１４には、端末１００ｄにより生成された映像データが格納されている。領域１５１１に格納されているヘッダは、たとえば領域２５０に格納されているヘッダ（図２）と同一の項目を有する。
【０１０１】
このようなデータが映像信号合成装置１２００から端末１００ａに送信される場合、端末１００ａにより生成された映像データは、送信されない。したがって、端末１００ａと映像信号合成装置１２００との間の通信量を削減することができる。このようなストリームデータ１５１０を受信する端末１００ａは、領域１５１１のヘッダに含まれるタイムスタンプに基づいて自らが保持している映像データＡと、ストリームデータ１５１０に格納されている映像データＢ〜Ｄとを合成し、ＭＰＥＧデコーダ４６０によって復号化する。モニタテレビ１３０は、復号化されたデータに基づいて各映像データに対応する映像をそれぞれの領域に表示する。
【０１０２】
図１５（Ｂ）に示されるように、映像信号合成装置１２００から端末１００ｂに送信されるストリームデータ１５２０は、領域１５２１〜１５２４を含む。ヘッダは、領域１５２１に格納されている。端末１００ａにより生成された映像データＡは、領域１５２２に格納されている。端末１００ｃにより生成された映像データＣは、領域１５２３に格納されている。端末１００ｄにより生成された映像データは、領域１５２４に格納されている。すなわち端末１００ｂにより生成された映像データＢは、映像信号合成装置１２００から端末１００ｂに対して送信されない。その結果、端末１００ｂと映像信号合成装置１２００との間の通信量は、映像データＢのデータ量だけ削減される。
【０１０３】
図１５（Ｃ）を参照して、映像信号合成装置１２００から端末１００ｃに送信されるストリームデータ１５３０は、領域１５３１〜１５３４を含む。ヘッダは、領域１５３１に格納されている。端末１００ａにより生成された映像データＡは、領域１５３２に格納されている。端末１００ｂにより生成された映像データＢは、領域１５３３に格納されている。端末１００ｄにより生成された映像データＤは、領域１５３４に格納されている。すなわち端末１００ｃにより生成された映像データＣは、映像信号合成装置１２００から端末１００ｃに対して送信されない。その結果、映像データＣに相当するデータ量だけ通信量が削減される。
【０１０４】
さらに図１５（Ｄ）を参照して、映像信号合成装置１２００から端末１００ｄに送信されるストリームデータ１５４０は、領域１５４１〜１５４４を含む。ヘッダは、領域１５４１に格納されている。端末１００ａにより生成された映像データＡは、領域１５４２に格納されている。端末１００ｂにより生成された映像データＢは、領域１５４３に格納されている。また端末１００ｃにより生成された映像データＣは、領域１５４４に格納されている。この場合、端末１００ｄにより生成された映像データＤは、映像信号合成装置１２００から端末１００ｄに送信されるデータに含まれない。
【０１０５】
端末１００ｄがストリームデータ１５４０を受信すると、自らが生成した映像データＤと、ストリームデータ１５４０に含まれる映像データＡ〜Ｃとを合成して、表示用のデータを生成する。モニタテレビ１３０は、このようにして生成されたデータに基づいて端末１００ａから１００ｄにより撮影された映像をそれぞれの領域に表示する。
【０１０６】
以上のようにして、本変形例に係るテレビ会議システムによれば、当該システムを構成する各端末は、映像信号合成装置から、自己において生成された映像を含まないストリームデータの配信を受ける。各端末は、受信したストリームデータに含まれている他の端末により生成された映像データと、自らが作成した映像データとを合成する。このようにすると、テレビ会議システムを構成する通信回線におけるデータ通信量を削減することができるため、映像の表示を速やかに実現することができる。
【０１０７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の形態に係るテレビ会議システム１０のシステム構成を表わすブロック図である。
【図２】図１に示される各端末と映像信号合成装置１２００との間で通信される信号の構成を概念的に表わす図である。
【図３】端末１００ａ，１００ｂ，１００ｃ，１００ｄがモニタテレビ１３０に表示する画面の一態様を表わす図である。
【図４】本実施の形態に係るストリームデータの生成装置４００のハードウェア構成を表わすブロック図である。
【図５】ＭＰＥＧエンコーダ５００のハードウェア構成を表わすブロック図である。
【図６】メモリ４３０におけるデータの格納の一態様を表わす図である。
【図７】モニタテレビ１３０における座標を概念的に表わす図である。
【図８】端末１００ａにおいて、モニタテレビ１３０に映像を表示する場合に当該表示の対象となる映像データの対応する領域を表わす図である。
【図９】各端末１００から映像信号合成装置１２００に対して送信されるＭＰＥＧストリームの構成を表わす図である。
【図１０】本実施の形態に係る各端末から映像信号合成装置１２００に対して送信されるストリームデータの構成を概念的に表わす図である。
【図１１】本実施の形態に係る端末１００のＭＰＥＧエンコーダ５００が実行する処理の手順を表わすフローチャートである。
【図１２】本実施の形態に係るテレビ会議システム１０を構成する映像信号合成装置１２００のハードウェア構成を表わすブロック図である。
【図１３】本実施の形態に係る映像信号合成装置１２００が実行する処理の手順を表わすフローチャートである。
【図１４】映像信号合成装置１２００から送信されるストリームデータの構成を概略的に表わす図である。
【図１５】本変形例に係るテレビ会議システムにおいて送信されるデータの構成を表わす図である。
【符号の説明】
【０１０９】
１０  テレビ会議システム、１００ａ，１００ｂ，１００ｃ，１００ｄ  端末、１１０  カメラ、１２０  マイク、１３０  テレビモニタ、４００  ストリームデータの生成装置、４１０，４７０  映像インターフェイス、４２０，４８０  音声インターフェイス、４３０  メモリ、４４０，１２４０  送信部、４５０，１２１０  受信部、４６０  ＭＰＥＧデコーダ、５００  ＭＰＥＧエンコーダ、５１０  受信バッファ、５２０  符号化回路、５３０  抽出回路、５４０  送信バッファ、１２００  映像信号合成装置、１２２０  多地点接続用コントローラ、１２２２  有効ストリーム抽出部、１２２４  ストリーム合成部、１２３０  音声パケット合成部。
【図１】
2006304182.tif 000003
【図２】
2006304182.tif 000004
【図３】
2006304182.tif 000005
【図４】
2006304182.tif 000006
【図５】
2006304182.tif 000007
【図６】
2006304182.tif 000008
【図７】
2006304182.tif 000009
【図８】
2006304182.tif 000010
【図９】
2006304182.tif 000011
【図１０】
2006304182.tif 000012
【図１１】
2006304182.tif 000013
【図１２】
2006304182.tif 000014
【図１３】
2006304182.tif 000015
【図１４】
2006304182.tif 000016
【図１５】
2006304182.tif 000017