(57)【特許請求の範囲】
【請求項１】
複数の通信装置が映像及び音声を多地点接続装置に送信し、該多地点接続装置が合成された前記映像及び前記音声を各通信装置に送信する電子会議システムであって、
前記通信装置は、
画像を入力してから画像の符号化データを前記多地点接続装置に送信するまでの処理時間を算出する処理時間算出手段と、
ネットワークを介して前記通信装置から前記多地点接続装置にデータを送信するのに必要な時間を示すネットワーク時間を算出するネットワーク時間算出手段と、
前記処理時間と前記ネットワーク時間との和を送信時間として前記多地点接続装置に送信する通信手段とを備え、
前記多地点接続装置は、
前記送信時間を前記通信装置毎に取得する取得手段と、
前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示手段とを備え、
前記通信装置は、前記多地点接続装置の前記指示手段により指示された符号化処理時間情報に基づいて、前記画像の符号化処理のパラメータを変更する符号化制御手段と
をさらに備える電子会議システム。
【請求項２】
複数の通信装置が映像及び音声を多地点接続装置に送信し、該多地点接続装置が合成された前記映像及び前記音声を各通信装置に送信する電子会議システムであって、
前記通信装置は、
画像を入力してから符号化データを前記多地点接続装置に送信するまでの処理時間を算出する処理時間算出手段と、
前記処理時間を前記多地点接続装置に送信する通信手段を備え、
前記多地点接続装置は、
前記通信装置から前記処理時間を取得する通信手段と、
ネットワークを介して前記通信装置から当該多地点接続装置にデータを送信するのに必要な時間を示すネットワーク時間を算出するネットワーク時間算出手段とを備え、
前記処理時間と前記ネットワーク時間との和を送信時間として取得する取得手段と、
前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示手段とを備え、
前記通信装置は、前記多地点接続装置の前記指示手段により指示された符号化処理時間情報に基づいて、前記画像の符号化処理のパラメータを変更する符号化制御手段と
をさらに備える電子会議システム。
【請求項３】
前記符号化制御手段は、
前記符号化処理に係る解像度、フレームレート、ビットレート、又は符号化規格の少なくとも１つを変更する請求項１乃至２いずれか一項に記載の電子会議システム。
【請求項４】
複数の通信装置から映像及び音声を受信し、受信した前記映像及び前記音声を合成して各通信装置に送信する多地点接続装置であって、
前記通信装置が画像を入力してから前記画像の符号化データを前記多地点接続装置に送信するまでの処理時間と、ネットワークを介して当該通信装置から前記多地点接続装置にデータを送信するのに必要なネットワーク時間との和を示す送信時間を、前記通信装置毎に取得する取得手段と、
前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示手段と
を備える多地点接続装置。
【請求項５】
複数の通信装置が映像及び音声を多地点接続装置に送信し、該多地点接続装置が合成された前記映像及び前記音声を各通信装置に送信する電子会議システムにおけるデータ通信方法であって、
前記通信装置が画像を入力してから前記画像の符号化データを前記多地点接続装置に送信するまでの処理時間と、ネットワークを介して当該通信装置から前記多地点接続装置にデータを送信するのに必要なネットワーク時間との和を示す送信時間を、前記通信装置毎に取得する取得ステップと、
前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示ステップと、を有し、
前記通信装置が、前記指示ステップにより指示された符号化処理時間情報に基づいて、前記画像の符号化処理のパラメータを変更する符号化制御ステップと
を有するデータ通信方法。
【請求項６】
複数の通信装置から映像及び音声を受信し、受信した前記映像及び前記音声を合成して各通信装置に送信する多地点接続装置におけるプログラムであって、
前記通信装置が画像を入力してから前記画像の符号化データを前記多地点接続装置に送信するまでの処理時間と、ネットワークを介して当該通信装置から前記多地点接続装置にデータを送信するのに必要なネットワーク時間との和を示す送信時間を、前記通信装置毎に取得する取得ステップと、
前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示ステップと
をコンピュータに実行させるためのプログラム。
【請求項７】
前記請求項６記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
多地点接続装置へ映像及び音声を送信し、前記多地点接続装置から合成された前記映像及び前記音声を受信する通信装置であって、
画像を入力してから前記画像の符号化データを前記多地点接続装置に送信するまでの処理時間を算出する処理時間算出手段と、
ネットワークを介して前記通信装置から前記多地点接続装置にデータを送信するのに必要な時間を示すネットワーク時間を算出するネットワーク時間算出手段と、
前記処理時間と前記ネットワーク時間との和を送信時間として前記多地点接続装置に送信する通信手段と
を備える通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子会議システム、多地点接続装置、データ通信方法、プログラム、記録媒体及び通信装置に関する。
【背景技術】
【０００２】
電子会議システム（遠隔会議システム）は、ネットワークを介して２拠点間以上で専用機若しくはパソコンなどの遠隔会議装置を使用して、映像および音声を相互に通信するシステムである。３拠点以上で遠隔会議を行う際には、一般的に多地点接続装置と呼ばれるＭＣＵ(Multipoint Control Unit)を使用する。遠隔会議装置は、ネットワークを介してＭＣＵに映像および音声を送信し、ＭＣＵが全ての拠点の映像および音声を１つの映像および音声に合成して、遠隔会議装置に送信する。遠隔会議装置はＭＣＵから受信した映像および音声を再生する。このようにして複数拠点の遠隔会議システムは実現されている。
【０００３】
一方、遠隔会議システムでは、遠隔会議装置の処理能力やネットワーク環境によって、映像および音声の送信に要する時間が大きく異なる。そのため、ＭＣＵで映像および音声が合成される際に、拠点毎で異なる時刻の映像および音声が１つの映像および音声に合成されてしまう。遠隔会議装置がＭＣＵから受信した映像および音声を再生すると、拠点間の同期が取れないため、会議参加者のコミュニケーションに影響を及ぼす恐れがある。
【０００４】
例えば、Ａ拠点、Ｂ拠点、Ｃ拠点の３拠点間で遠隔会議を行う場合を考えてみる。Ａ拠点およびＢ拠点は処理能力の高い同じ遠隔会議装置を使用しているとして、Ｃ拠点は処理能力の低い遠隔会議装置を使用しているとする。この場合、Ａ拠点とＢ拠点では、同じ速さで映像・音声の通信が行われるため、会話の同期が取れ円滑にコミュニケーションを行うことができる。しかし、Ｃ拠点も含めて３拠点での会話を行おうとすると、Ｃ拠点の発言が他の２拠点と比べて遅れてしまうため、参加者は会話に違和感を感じ、発言のタイミングを取りにくくなる。このような状況では、Ｃ拠点だけでなくＡ拠点やＢ拠点の会話にも影響を及ぼすため、会議全体として円滑に進行することが難しくなる。
【０００５】
一方、映像と音声とのズレをリップシンクさせる技術は様々な手法が提案されている。例えば、特開平７−８２８８７号公報は、送信側は映像のエンコード処理に要する時間を検出し、受信側は映像のデコード処理に要する時間を検出し、その時間情報を送信側に伝える。時間情報を受信した送信側は、映像の送信側におけるエンコードおよび受信側におけるデコードの処理に要する時間を算出する。また、音声の送信側におけるエンコードおよび受信側におけるデコードの処理に要する時間については、予め固定時間を記憶しておく。送信側では、映像と音声の処理に要する時間の差分を算出し、算出した時間差分だけ音声を遅らせて送信することで映像と音声の同期をとる技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のリップシンク技術を電子会議システムに適用すると、拠点毎のエンコードおよびデコードに要する時間を計測し、その時間を基に拠点間で計測した時間差を算出し、その時間差分だけ遅らせて映像および音声を送信することで拠点間での同期を取ることが考えられる。しかしこの技術では、全ての拠点の中で最も遅い拠点に合わせるために送信時刻を遅らせるので、その分の遅延が発生してしまうことが考えられる。
【０００７】
そこで、本発明は上記問題点に鑑みてなされたものであり、多拠点の電子会議システムにおいて、遠隔会議装置の処理能力やネットワーク環境にかかわらず、拠点間のずれを解消することができる電子会議システム、多地点接続装置、データ通信方法、プログラム、記録媒体及び通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明における一観点の電子会議システムは、複数の通信装置が映像及び音声を多地点接続装置に送信し、該多地点接続装置が合成された前記映像及び前記音声を各通信装置に送信する電子会議システムであって、前記通信装置は、画像を入力してから画像の符号化データを前記多地点接続装置に送信するまでの処理時間を算出する処理時間算出手段と、ネットワークを介して前記通信装置から前記多地点接続装置にデータを送信するのに必要な時間を示すネットワーク時間を算出するネットワーク時間算出手段と、前記処理時間と前記ネットワーク時間との和を送信時間として前記多地点接続装置に送信する通信手段とを備え、前記多地点接続装置は、前記送信時間を前記通信装置毎に取得する取得手段と、前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示手段とを備え、前記通信装置は、前記多地点接続装置の前記指示手段により指示された符号化処理時間情報に基づいて、前記画像の符号化処理のパラメータを変更する符号化制御手段とをさらに備える。
【０００９】
また、本発明における他の観点の多地点接続装置は、複数の通信装置から映像及び音声を受信し、受信した前記映像及び前記音声を合成して各通信装置に送信する多地点接続装置であって、前記通信装置が画像を入力してから前記画像の符号化データを前記多地点接続装置に送信するまでの処理時間と、ネットワークを介して当該通信装置から前記多地点接続装置にデータを送信するのに必要なネットワーク時間との和を示す送信時間を、前記通信装置毎に取得する取得手段と、前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示手段とを備える。
【００１０】
また、本発明における他の観点のデータ通信方法は、複数の通信装置が映像及び音声を多地点接続装置に送信し、該多地点接続装置が合成された前記映像及び前記音声を各通信装置に送信する電子会議システムにおけるデータ通信方法であって、前記通信装置が画像を入力してから前記画像の符号化データを前記多地点接続装置に送信するまでの処理時間と、ネットワークを介して当該通信装置から前記多地点接続装置にデータを送信するのに必要なネットワーク時間との和を示す送信時間を、前記通信装置毎に取得する取得ステップと、前記通信装置毎の送信時間に基づいて、前記通信装置毎に前記画像の符号化に要する時間に関する符号化処理時間情報を、各通信装置に指示する指示ステップと、を有し、前記通信装置が、前記指示ステップにより指示された符号化処理時間情報に基づいて、前記画像の符号化処理のパラメータを変更する符号化制御ステップとを有する。
【００１１】
また、本発明の電子会議システム、多地点接続装置、及びデータ通信方法は、コンピュータにより実行可能なプログラムにより実現することができ、また、プログラムを記録した記録媒体をコンピュータに読み取らせて実現することも可能である。
【発明の効果】
【００１２】
本発明によれば、多拠点の電子会議システムにおいて、遠隔会議装置の処理能力やネットワーク環境にかかわらず、拠点間のずれを解消することができる電子会議システム、多地点接続装置、データ通信方法、プログラム、記録媒体及び通信装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る電子会議システムの一例を示す図。
【図２】本発明に係るＭＣＵのハードウェア構成の一例を示すブロック図。
【図３】実施例１に係る遠隔会議装置の機能構成の一例を示すブロック図。
【図４】符号化処理時間と各圧縮パラメータとの関係の一例を示す図。
【図５】実施例１に係るＭＣＵの機能構成の一例を示すブロック図。
【図６】実施例１における送信時間算出処理の一例を示すシーケンス図。
【図７】実施例１における拠点間同期処理の一例を示すシーケンス図。
【図８】実施例２に係る遠隔会議装置の機能構成の一例を示すブロック図。
【図９】実施例２に係るＭＣＵの機能構成の一例を示すブロック図。
【図１０】実施例２における送信時間算出処理の一例を示すシーケンス図。
【図１１】実施例３に係る遠隔会議装置の機能構成の一例を示すブロック図。
【図１２】実施例３に係るＭＣＵの機能構成の一例を示すブロック図。
【図１３】実施例３における送信時間算出処理の一例を示すシーケンス図。
【図１４】変形例に係る遠隔会議装置の機能構成の一例を示すブロック図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明にかかる電子会議システム、多地点接続装置、データ通信方法、プログラム、記録媒体及び通信装置の実施例を詳細に説明する
【００１５】
＜システム構成とハードウェア構成＞
図１は、本発明に係る電子会議システムの一例を示す図である。図１に示すように、電子会議システムは、多地点接続装置（以下、ＭＣＵともいう）１０、遠隔会議装置（通信装置）Ａ２０、遠隔会議装置Ｂ３０、遠隔会議装置Ｃ４０を含む。
【００１６】
また、電子会議システムは、各遠隔会議装置とＭＣＵがネットワークを介してつながっており、通信できる状態にある。ＭＣＵは遠隔会議装置とは別のサーバであっても良いし、遠隔会議装置の機能として含まれていても良い。
【００１７】
遠隔会議装置は、映像を構成する画像を入力してから、画像を符号化して画像の符号化データの送信に要する時間（以下、送信時間ともいう）をＭＣＵに送信する。ＭＣＵは拠点間同期管理機能を有する。同期管理機能は、各拠点の遠隔会議装置から受信した送信時間の差を算出し、算出した差に基づいて各遠隔会議装置に対して符号化処理時間変更の指示を送信する。遠隔会議装置は、符号化処理時間変更指示に合わせて映像のエンコード処理のパラメータを変更して、符号化に係る時間を変更する。
【００１８】
本発明に係るＭＣＵ１０のハードウェア構成について説明する。図２は、本発明に係るＭＣＵ１０のハードウェア構成の一例を示すブロック図である。
【００１９】
図２に示すように、ＭＣＵ１０は、制御部１１、主記憶部１２、補助記憶部１３、外部記憶装置Ｉ／Ｆ部１４、ネットワークＩ／Ｆ部１６、操作部１７、表示部１８を含む。
【００２０】
制御部１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１１は、主記憶部１２に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置に出力する。
【００２１】
主記憶部１２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００２２】
補助記憶部１３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００２３】
外部記憶装置I／F部１４は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記憶媒体１５（例えば、フラッシュメモリなど）とＭＣＵ１０とのインタフェースである。
【００２４】
また、記憶媒体１５に、所定のプログラムを格納し、この記憶媒体１５に格納されたプログラムは外部記憶装置Ｉ／Ｆ部１４を介してＭＣＵ１０にインストールされ、インストールされた所定のプログラムはＭＣＵ１０により実行可能となる。
【００２５】
ネットワークＩ／Ｆ部１６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と当該ＭＣＵ１０とのインタフェースである。
【００２６】
操作部１７や表示部１８は、キースイッチ（ハードキー）とタッチパネル機能（ＧＵＩのソフトウェアキーを含む：Graphical User Interface）を備えたＬＣＤ（Liquid Crystal Display）とから構成され、ＭＣＵ１０が有する機能を利用する際のＵＩ（User Interface）として機能する表示及び／又は入力装置である。
【００２７】
［実施例１］
次に、実施例１に係る電子会議システムについて説明する。実施例１では、遠隔会議装置２０が送信時間を算出し、ＭＣＵ１０に送信する。また、送信時間は、処理時間とネットワーク時間との和とする。処理時間とは、映像を構成する画像が入力されてから、画像を符号化し、符号化データを送信するまでの時間をいう。また、ネットワーク時間は、ネットワークを介して遠隔会議装置からＭＣＵ１０に符号化データを送信するのに要する時間をいう。なお、各遠隔会議装置は、以下説明する遠隔会議装置２０と同様の機能を有する。
【００２８】
図３は、実施例１に係る遠隔会議装置２０の機能構成の一例を示すブロック図である。遠隔会議装置２０は、映像をエンコード（符号化）するためにカメラ２０１、映像入力制御部２０２、映像エンコーダ２０４、映像エンコーダ制御部２１７、映像圧縮パラメータ格納部２１８を含む。また、遠隔会議装置２０は、音声をエンコードするためにマイク２０９、音声入力制御部２１０、音声エンコーダ２１１を含む。また、遠隔会議装置２０は、送信時間を算出するために映像入力時刻検出部２０３、所要時間計測部２０５、映像送信時刻検出部２０８を含む。
【００２９】
また、遠隔会議装置２０は、各データをＭＣＵ１０に通信するために配信制御部２１２、通信制御部２１３を含む。また、遠隔会議装置２０は、映像をデコード及び表示するために映像デコーダ２１４、映像出力制御部２１５、映像表示装置２１６を含む。また、遠隔会議装置２０は、音声をデコード及び出力するために音声デコーダ２１９、音声出力制御部２２０、スピーカ２２１を含む。
【００３０】
カメラ２０１は、映像を撮影し、撮影した映像を映像入力部２０２に出力する。映像入力制御部２０２は、遠隔会議装置２０に接続するカメラのデバイスドライバおよびカメラから入力された映像データをハンドリングする。
【００３１】
また、映像入力制御部２０２は、入力された映像を構成する画像と時刻とを関連付けるための情報を映像入力時刻検出部２０３に出力する。画像と時刻とを関連付ける情報としては、フレーム番号や画像の経過時間などがある。例えばフレーム番号の場合は、映像エンコーダ２０４に1フレームの映像データを渡す際に、映像入力時刻検出部２０２にそのフレーム番号を伝える。ここで、1フレームの映像データとは、映像エンコーダ２０４によって圧縮される1枚の画像である。以降では、画像と時刻とを関連付ける情報としてフレーム番号を利用した場合の例で説明する。
【００３２】
映像入力時刻検出部２０３は、映像入力制御部２０２から取得したフレーム番号および取得した際の時刻情報を所要時間計測部２０５に伝える。時刻情報の検出については、装置内部で有するタイマ機能を用いて、映像入力時刻検出部２０３は、フレームを取得した時刻を検出する。
【００３３】
映像エンコーダ２０４は、映像入力制御部２０２を介して取得した非圧縮の映像データを圧縮する映像コーデックである。圧縮方式としてH.264やMPEG-4などがある。また、映像エンコーダ２０４は、映像エンコーダ制御部２１８から指示される圧縮パラメータ（圧縮方式、解像度、フレームレート、ビットレートなど）に応じて、圧縮パラメータの変更を行う。また、映像エンコーダ２０４は、圧縮方式を変更した場合は、圧縮方式を示すデータを符号化データに付加する。例えば、映像エンコーダ２０４は、圧縮方式を示すデータを符号化ヘッダに含めたり、一意に識別できるデータとして符号化データの先頭に付加したりする。
【００３４】
所要時間計測部２０５は、送信時間を算出し、算出した送信時間を送信時間情報として配信制御部２１２に出力する。また、所要時間計測部２０５は、処理時間算出部２０６、ネットワーク時間算出部２０７を含む。
【００３５】
処理時間算出部２０６は、映像入力時刻検出部２０３から取得したフレーム番号と時刻情報および映像送信時刻検出部２０８から取得したフレーム番号と時刻情報の時間差から、各フレームが入力してから送信するまでに要した処理時間を算出し、得られた処理時間を保持しておく。ここで、ある一定数の処理時間が得られた場合、その最大値を処理時間としてもよい。一定数とは、例えば、圧縮方式がMPEGの場合、GOP（Group Of Pictures）に含まれるフレーム数やGOPの所定倍の数とするとよい。
【００３６】
ネットワーク時間算出部２０７は、配信制御部２１２のRTCP（RTP Control Protocol）の機能を用いてRTT（Round Trip Time）を算出する。他のRTTの測定方法としては、pingなどがある。ネットワーク時間算出部２０７は、RTTの算出を一定回数繰り返して行い、その平均値を、ネットワークを介してデータを送信するのに要する時間（ネットワーク時間）とする。
【００３７】
所要時間計測部２０５は、処理時間とネットワーク時間とを足し合わせて送信時間とする。また、所要時間計測部２０５は、送信時間を示す送信時間情報を、配信制御部２１２に出力する。
【００３８】
映像送信時刻検出部２０８は、配信制御部２１２から取得したフレーム番号および取得した時刻の情報を所要時間計測部２０５に出力する。送信時刻の検出については、映像送信時刻検出部２０８は、映像入力時刻検出部２０３と同じタイマ機能を用いる。
【００３９】
マイク２０９は、話者の音声を入力し、音声データを音声入力制御部２１０に出力する。音声入力制御部２１０は、遠隔会議装置２０に接続するマイクのデバイスドライバおよびマイクから入力される音声データをハンドリングする。
【００４０】
音声エンコーダ２１１は、音声入力制御部２１０を介して取得した非圧縮の音声データを圧縮する音声コーデックである。圧縮方式としてG.711、AACなどがある。
【００４１】
配信制御部２１２は、映像エンコーダ２０４および音声エンコーダ２１１から取得した映像データおよび音声データを、ネットワークを介してＭＣＵ１０に送信する。また、配信制御部２１２は、ＭＣＵ１０から受信した映像データおよび音声データを映像デコーダ２１４および音声デコーダ２１９に出力する。映像データおよび音声データの配信プロトコルにはRTP(Real-time Transport Protocol)やHTTP(HyperText Transfer Protocol)などがある。
【００４２】
また、RTPには、送受信の制御および送信側と受信側の情報をやり取りするプロトコルとしてRTCP(RTP Control Protocol)がある。また、配信制御部２１２は、所要時間計測部２０５から取得した送信時間を、ネットワークを介してＭＣＵ１０に送信する。
【００４３】
また、配信制御部２１２は、送信した映像を構成する画像の符号化データと時刻を関連付けるための情報を映像送信時刻検出部２０８に出力する。フレーム番号の場合は、1フレームの映像データを送信する際に、映像送信時刻検出部２０８にフレーム番号を出力する。また、配信制御部２１２は、ネットワークを介してＭＣＵ１０から取得した符号化処理時間情報を映像エンコーダ制御部２１７に出力する。
【００４４】
なお、ネットワーク時間は、所要時間計測部２０５が算出することとしたが、配信制御部２１２が算出するようにしてもよい。この場合、配信制御部２１２が、処理時間とネットワーク時間とを加算し、送信時間を算出する。
【００４５】
通信制御部２１３は、通信に必要なプロトコルスタックおよびネットワークインターフェイスカードを含む。映像デコーダ２１４は、配信制御部２１２から取得した圧縮された映像データを伸張する映像コーデックである。
【００４６】
映像出力制御部２１５は、遠隔会議装置２０に接続するディスプレイなどの映像表示装置２１６のデバイスドライバであり、映像デコーダ２１４で伸張された映像データを映像表示装置に出力する。映像表示装置２１６は、映像を表示するディスプレイであり、例えば、ＬＣＤなどである。
【００４７】
映像エンコーダ制御部２１７は、配信制御部２１２から取得した符号化処理時間情報を基に、映像エンコーダ２０４に指示する圧縮パラメータを決定し、決定した圧縮パラメータを映像エンコーダ２０４に出力する。圧縮パラメータは、映像圧縮パラメータ格納部２１８に格納されているエンコード処理に要する時間情報を参照して決定する。
【００４８】
符号化処理時間情報が画像の符号化に係る処理時間の差分時間を示す場合、映像エンコーダ制御部２１７は、現在の処理時間から差分情報を差し引いた符号化処理時間をキーとして映像圧縮パラメータ格納部２１８を参照し、圧縮パラメータを決定する。また、符号化処理時間情報が画像の符号化に係る処理時間を示す場合、映像エンコーダ制御部２１７は、取得した符号化処理時間をキーとして映像圧縮パラメータ格納部２１８を参照し、圧縮パラメータを決定する。
【００４９】
映像圧縮パラメータ格納部２１８は、各々の圧縮パラメータにおいてエンコード処理に要する時間情報が格納されている。ここで、図４を用いて、圧縮パラメータの決定について説明する。
【００５０】
図４は、符号化処理時間と各圧縮パラメータとの関係の一例を示す図である。図４（Ａ）は、遠隔会議装置２０の映像圧縮パラメータ格納部２１８が保持するデータである。図４（Ａ）に示すように、符号化処理時間に応じて、圧縮パラメータが設定されている。
【００５１】
例えば、符号化処理時間が１００ｍｓ（ミリセック）の場合、圧縮方式は「Ｈ．２６４」、解像度は「１６０×１２０」、フレームレートは「１５」、ビットレートは「５１２ｋｂｐｓ」となる。これにより、映像エンコーダ制御部２１７は、配信制御部２１２から取得した符号化処理時間情報に基づいて、圧縮パラメータを決定することができる。
【００５２】
また、図４（Ｂ）は遠隔会議装置３０に保持されるデータを示し、図４（Ｃ）は遠隔会議装置４０に保持されるデータを示す。なお、各遠隔会議装置は性能が異なるため、各符号化処理時間における圧縮パラメータは、各遠隔会議装置で異なる。ここで、図４に示す符号化処理時間は、映像のエンコードにかかる目安の処理時間を示す。
【００５３】
図３に戻り、音声デコーダ２１９は、配信制御部２１２から取得した音声データを伸張する音声コーデックである。音声出力制御部２２０は、遠隔会議装置に接続するスピーカのデバイスドライバであり、音声デコーダ２１９で伸張された音声データをスピーカ２２１に出力する。スピーカ２２１は、音声出力制御部２２０から取得した音声データを出力する。
【００５４】
次に、ＭＣＵ１０の機能について説明する。図５は、実施例１に係るＭＣＵ１０の機能構成の一例を示すブロック図である。図５に示すように、ＭＣＵ１０は、データ通信を制御するために通信制御部１０１、受信制御部１０２、送信制御部１１３を含む。
【００５５】
また、ＭＣＵ１０は、各遠隔会議装置から取得した映像を合成して符号化するために映像デコーダ１０３〜１０５、映像合成部１０６、映像エンコーダ１０７を含む。また、ＭＣＵ１０は、各遠隔会議装置から取得した音声を合成して符号化するために音声デコーダ１０８〜１１０、音声合成部１１１、音声エンコーダ１１２を含む。また、ＭＣＵ１０は、各遠隔会議装置での映像の同期をとるために拠点間同期管理部１１４を含む。
【００５６】
通信制御部１０１は、通信に必要なプロトコルスタックおよびネットワークインターフェイスカードを含む。受信制御部１０２は、ネットワークを介して受信した全ての遠隔会議装置の映像データおよび音声データを別々の映像デコーダおよび音声デコーダに振り分ける。
【００５７】
また、受信制御部１０２はリップシンクを取る機能を有する。リップシンクを取る方法としては、例えばRTPおよびRTCPのタイムスタンプを利用してリップシンクを取ることができる。このとき、各遠隔会議装置において音声よりも映像のエンコード処理の方が時間を要するため、映像データに合わせて音声データを遅らせて音声デコーダに出力することになる。また、受信制御部１０２は、各遠隔会議装置から取得した送信時間を拠点間同期管理部１１１に出力する。
【００５８】
映像デコーダ１０３〜１０５は、受信制御部１０２から取得した圧縮後の映像データを伸張する映像コーデックである。ＭＣＵ１０に接続している遠隔会議装置に対応して映像デコーダが備えられる。また、各映像デコーダは、対応する遠隔会議装置の圧縮方式による伸張を可能とする。なお、複数の圧縮方式により圧縮可能な遠隔会議装置に対応する映像デコーダは、複数の圧縮方式による伸張を可能とする。この映像デコーダは、符号化ヘッダに含まれたり、符号化データの先頭に付加されたりする圧縮方式を示すデータを認識することで、圧縮方式を適宜切り替えて符号化データを伸張する。各映像デコーダで伸張されたデータは映像合成部１０６に出力される。
【００５９】
映像合成部１０６は、各映像デコーダから取得した全ての拠点の映像データをレイアウトして1つの映像データに合成し、合成した映像データ（合成映像データともいう）を映像エンコーダ１０７に出力する。
【００６０】
映像エンコーダ１０７は、映像合成部１０６から取得した非圧縮の映像データ（合成映像データ）を圧縮する映像コーデックである。
【００６１】
音声デコーダ１０８〜１１０は、受信制御部１０２から取得した圧縮された音声データを伸張する音声コーデックである。ＭＣＵ１０に接続している拠点数分の音声デコーダが備えられる。各音声デコーダで伸張されたデータは音声合成部１１１に出力される。
【００６２】
音声合成部１１１は、各音声デコーダから取得した全ての拠点の音声データを1つの音声データに合成し、合成した音声データ（合成音声データともいう）を音声エンコーダ１１２に出力する。
【００６３】
音声エンコーダ１１２は、音声合成部１１１から取得した非圧縮の音声データ（合成音声データ）を圧縮する音声コーデックである。
【００６４】
送信制御部１１３は、映像エンコーダ１０７および音声エンコーダ１１２から取得した映像データおよび音声データを、通信制御部１０１を介して全ての遠隔会議装置に配信する。また、送信制御部１１３は、拠点間同期管理部１１４から取得した符号化処理時間情報を各遠隔会議装置に送信する。
【００６５】
拠点間同期管理部１１４は、受信制御部１０２から取得した全ての遠隔会議装置の送信時間を管理し、符号化処理時間情報を求める。ここでは、符号化処理時間情報は、差分情報とする。よって、拠点間同期管理部１１４は、遠隔会議装置間の送信時間の時間差を算出し、送信制御部１１３を介して各遠隔会議装置に符号化処理時間情報を出力する。
【００６６】
なお、拠点間同期管理部１１４は、取得部１１５、変更指示部１１６を含む。取得部１１４は、受信制御部１０２から各遠隔会議装置の送信時間を取得する。変更指示部１１６は、各遠隔会議装置の性能などの違いによる同期のズレを解消するため、各送信時間のうち一つを基準の送信時間とし、基準の送信時間からの差分を求める。この差分を符号化処理時間情報として送信制御部１１３に出力する。
【００６７】
なお、基準の送信時間は、一番短い送信時間でも、一番長い送信時間でも平均値としてもいずれでもよい。
【００６８】
以上の機能により、実施例１に係る遠隔会議装置が送信時間情報をＭＣＵ１０に送信し、ＭＣＵ１０が各送信時間から各符号化処理時間情報を求めて各遠隔会議装置に送信し、遠隔会議装置が符号化処理時間情報に基づいて圧縮パラメータを変更することで、各遠隔会議装置による映像の同期のズレを解消することが可能となる。
【００６９】
＜動作＞
次に、実施例１に係る電子会議システムの動作について説明する。図６は、実施例１における送信時間算出処理の一例を示すシーケンス図である。図６に示すように、ステップＳ１０１において、映像入力制御部２０２は、カメラ２０１から1フレームの映像データが入力される。
【００７０】
ステップＳ１０２において、映像入力制御部２０２は、1フレームの映像データを映像エンコーダ２０４に出力する時に、フレームにフレーム番号を付けて、フレーム番号を映像入力時刻検出部２０３に出力する。なお、フレーム番号は、最初に映像エンコーダ２０４に渡したフレームに初期値をセットして、映像エンコーダ２０４に渡すたびに1ずつ増やしていく。初期値は1でもランダムな値でも可能である。ここでは、フレーム番号「12」が出力されたとする。
【００７１】
ステップＳ１０３において、映像入力時刻検出部２０３は、映像入力制御部２０２からフレーム番号「12」を取得した時の時刻「12:34:56:789」を映像入力時刻として、フレーム番号および映像入力時刻情報を所要時間計測部２０５に出力する。
【００７２】
ステップＳ１０４において、配信制御部２１２は、映像エンコーダ２０４から1フレームの映像データを取得する。ステップＳ１０５において、配信制御部２１２は、１フレームの映像データを通信制御部２１３に出力する時に、フレームにフレーム番号「12」を付けて、フレーム番号を映像送信時刻検出部２０８に出力する。フレーム番号は、映像入力制御部２０２と同様に割り当てていき、映像入力制御部２０２が割り当てたフレーム番号と対応できるようにする。
【００７３】
ステップＳ１０６において、映像送信時刻検出部２０８は、フレーム番号を取得した時の時刻「12:34:56:889」を映像送信時刻として、フレーム番号及び映像送信時刻を所要時間計測部２０５に出力する。
【００７４】
ステップＳ１０７、Ｓ１０８において、所要時間計測部２０５は、映像入力時刻検出部２０３から取得したフレーム番号と映像送信時刻検出部２０８から取得したフレーム番号を比較する。所要時間計測部２０５は、対応するフレーム番号「12」の映像送信時刻「12:34:56:889」から映像入力時刻「12:34:56:789」を引いた値「00:00:00:100」をフレーム番号「12」の処理時間として保持する。ある一定数（例えば、GOPのフレーム数）の処理時間の情報が集まったら、その最大値（例えば150ms）を処理時間とする。なお、ある一定数とは、GOPのフレーム数以外にも100フレームといったフレーム数でも良いし、10秒間といった時間でも良い。
【００７５】
ステップＳ１０９において、所要時間計測部２０５は、ネットワーク時間を算出する。例えば、RTCPのSR(Sender Report)とRR(Receiver Report)を利用して遠隔会議装置とＭＣＵ１０間のネットワークで要する時間を算出する。算出方法は、まず所要時間計測部２０５は、SRをＭＣＵ１０に送信した時刻Tsrを記憶しておく。ＭＣＵ１０はSRを受信してからRRを送信するまでに要した時間TＭＣＵをRRに記述して遠隔会議装置２０に送信する。遠隔会議装置２０はそのRRを受信した時刻Trrを記憶し、(Trr - Tsr - TＭＣＵ) / 2を計算することで、ネットワークで要する時間（300ms）を算出する。
【００７６】
所要時間計測部２０５は、算出したネットワークで要する時間を保持しておく。なお、ある一定数のネットワーク時間の情報が集まった場合に、その平均値をネットワーク時間としてもよい。ここで、ある一定数とは、処理時間算出部２０６の周期に合わせた時間である。
【００７７】
ステップＳ１１０において、所要時間計測部２０５は、算出したネットワーク時間および処理時間を足し合わせた時間「450ms」を送信時間とする。
【００７８】
ステップＳ１１１において、所要時間計測部２０５は、送信時間「450ms」を配信制御部２１２に出力する。
【００７９】
ステップＳ１１２において、配信制御部２１２は、所要時間計測部２０５から取得した送信時間「450ms」を、通信制御部２１３を介してＭＣＵ１０に送信する。
【００８０】
以上より、各遠隔会議装置が、映像を受信してから映像を構成する画像を符号化し、画像の符号化データを、ネットワークを介してＭＣＵ１０に送信するのにかかる送信時間を算出することができる。
【００８１】
次に、拠点間の同期をとる処理について説明する。図７は、実施例１における拠点間同期処理の一例を示すシーケンス図である。図７に示すステップＳ２０１において、遠隔会議装置２０（配信制御部２１２）は、通信制御部２１３を介して送信時間「350ms」をＭＣＵ１０に送信する。
【００８２】
ステップＳ２０２、Ｓ２０３において、ステップＳ２０１と同様に、遠隔会議装置３０は、送信時間「300ms」、遠隔会議装置４０は、送信時間「400ms」をＭＣＵ１０に送信する。このとき、ＭＣＵ１０は、送信時間と遠隔会議装置とを対応付けて記憶する。
【００８３】
ステップＳ２０４において、ＭＣＵ１０（拠点間同期管理部１１４）は、各遠隔会議装置から受信する映像データの同期をとるために、各遠隔会議装置における符号化にかかる処理時間を算出する。なお、ここでは、ＭＣＵ１０は最小の送信時間を基準の処理時間とし、この基準処理時間との差分を求めることにする。
【００８４】
また、送信時間差の算出は、全拠点の中で最小の送信時間との時間差を計算してもよいし、最大の送信時間との時間差を計算してもよい。ＭＣＵ１０は、前者の場合、遠隔会議装置に対して処理時間を減らす指示を出し、後者の場合、遠隔会議装置に対して処理時間を増やす指示を出すことになる。
【００８５】
ステップＳ２０５において、ＭＣＵ１０は、−50（ms）を符号化処理時間情報として遠隔会議装置２０に送信する。ステップＳ２０６において、0（ms）を符号化処理時間情報として遠隔会議装置３０に送信する。ステップＳ２０７において、ＭＣＵ１０は、−100（ms）を符号化処理時間情報として遠隔会議装置４０に送信する。
【００８６】
ステップＳ２０８において、遠隔会議装置２０（映像エンコーダ制御部２１７）は、ＭＣＵ１０から取得した符号化処理時間情報に基づいて、映像圧縮の圧縮パラメータを決定する。なお、圧縮パラメータの決定については、処理時間をキーにして、映像圧縮パラメータ格納部２１８を参照して決定する。
【００８７】
ステップＳ２０９において、遠隔会議装置２０（映像エンコーダ２０４）は、映像エンコーダ制御部２１７により変更された圧縮パラメータを設定して、映像を符号化する。
【００８８】
ステップＳ２１０において、遠隔会議装置４０は、ＭＣＵ１０から取得した符号化処理時間情報に基づいて、映像圧縮の圧縮パラメータを決定する。ステップＳ２１１において、遠隔会議装置４０は、変更された圧縮パラメータを用いて映像を符号化する。
【００８９】
ステップＳ２１２において、遠隔会議装置２０は、圧縮パラメータが変更された後の符号化データにおける送信時間「300ms」をＭＣＵ１０に送信する。
【００９０】
ステップＳ２１３において、遠隔会議装置３０は、前と同じ圧縮パラメータを用いて圧縮した符号化データにおける送信時間「300ms」をＭＣＵ１０に送信する。
【００９１】
ステップＳ２１４において、遠隔会議装置４０は、圧縮パラメータが変更された後の符号化データにおける送信時間「300ms」をＭＣＵ１０に送信する。
【００９２】
なお、図７に示す例では、圧縮パラメータを変更した後は送信時間が同じになったため、ＭＣＵ１０は、同時刻の映像を同時に受信することができ、同時刻の画像を合成することができるようになる。
【００９３】
しかし、圧縮パラメータを変更した後の各遠隔会議装置から送信される送信時間は、ネットワークの状況や映像自身の複雑度によっては必ずしも同じになるわけではない。よって、各遠隔会議装置は、一定間隔で送信時間を繰り返しＭＣＵ１０に送信するようにすればよい。これにより、各遠隔会議装置は、その都度適切なタイミングでほぼ同じ時刻の画像をＭＣＵ１０に送信することができる。また、各遠隔会議装置の送信時間が収束するようであれば、各遠隔会議装置は、送信時間をＭＣＵ１０に送信することを中止するようにしてもよい。
【００９４】
以上、実施例１によれば、多拠点の電子会議システムにおいて、遠隔会議装置の処理能力やネットワーク環境にかかわらず、拠点間のずれを解消することができる。また、送信に要する時間が全ての遠隔会議装置で同じになる可能性が高くなり、拠点間の同期が取れた状態で映像データおよび音声データが合成される。よって、各遠隔会議装置では拠点間の同期が取れた映像・音声が再生される。
【００９５】
また、ネットワーク経路の変更や回線が混雑する時間帯によって遠隔会議中にネットワークで要する時間が変化する恐れがある。そのため、上記の処理を遠隔会議中に定期的に行うことで、変化したネットワーク時間の変動も加味された拠点間の同期を取ることができる。
【００９６】
［実施例２］
次に、実施例２に係る電子会議システムについて説明する。実施例２では、ネットワーク時間をＭＣＵ７０が算出するところが実施例１と異なる。つまり、実施例２では、ＭＣＵ７０は、各遠隔会議装置から取得した処理時間と、自身が算出したネットワーク時間との和を送信時間とする。
【００９７】
＜機能構成＞
実施例２に係る電子会議システムの機能構成について説明する。図８は、実施例２に係る遠隔会議装置６０の機能構成の一例を示すブロック図である。なお、図８に示す機能において、図３に示す機能と同様のものは同じ符号を付し、その説明を省略する。また、遠隔会議装置３０、４０は遠隔会議装置２０と同様の機能を有する。
【００９８】
図８に示す所要時間計測部２５０は、処理時間算出部２０６を有する。所要時間計測部２５０は、算出した処理時間を配信制御部２５１に出力する。
【００９９】
配信制御部２５１は、実施例１における送信時間の代わりに処理時間を、通信制御部２１３を介してＭＣＵ７０に送信する。配信制御部２５１のその他の機能は、実施例1における配信制御部２１２と同様である。
【０１００】
次に、実施例２に係るＭＣＵ７０の機能構成について説明する。図９は、実施例２に係るＭＣＵ７０の機能構成の一例を示すブロック図である。なお、図９に示す機能において、図５に示す機能と同様のものは同じ符号を付し、その説明を省略する。
【０１０１】
図９に示す拠点同期管理部１５０は、ネットワーク時間算出部１５１、取得部１５２、変更指示部１１６を含む。ネットワーク時間算出部１５１は、図３に示すネットワーク時間算出部２０７と同様の機能である。ＭＣＵ７０は、合成映像及び合成音声を各遠隔会議装置に送信しているため、このときのＲＴＣＰを用いてネットワーク時間を算出することができる。
【０１０２】
取得部１５２は、受信制御部１０２から取得した各遠隔会議装置の処理時間と、ネットワーク時間算出部１５１により算出されたネットワーク時間とを加算して前述した送信時間とする。各遠隔会議装置の送信時間が求められた場合には、以降の処理は実施例１と同様である。
【０１０３】
＜動作＞
次に、実施例２における電子会議システムの動作について説明する。図１０は、実施例２における送信時間算出処理の一例を示すシーケンス図である。図１０に示す処理において、図６に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。
【０１０４】
ステップＳ３０１において、ＭＣＵ７０（ネットワーク時間算出部１５１）は、ネットワーク時間を算出する。ネットワーク時間の算出については、実施例１と同様とする。
【０１０５】
ステップＳ３０２において、ＭＣＵ７０は、算出したネットワークで要する時間を保持しておき、ある一定数のネットワーク時間の情報が集まった場合に、その平均値をネットワーク時間とする。ここで、ある一定数とは、処理時間算出部２０６の周期に合わせた時間である。
【０１０６】
ステップＳ３０３において、所要時間計測部２５０は、算出した処理時間「150ms」を配信制御部２５１に出力する。
【０１０７】
ステップＳ３０４において、配信制御部２５１は、所要時間計測部２５０から取得した処理時間をＭＣＵ７０に送信する。
【０１０８】
ステップＳ３０５において、ＭＣＵ７０は、遠隔会議装置６０から取得した処理時間と、ネットワーク時間算出部１５１で算出したネットワーク時間とを加算し、送信時間を算出する。
【０１０９】
また、実施例２における拠点間同期処理については、ＭＣＵ７０が送信時間を取得できれば以降の処理は実施例１と同様であるため、その説明を省略する。
【０１１０】
以上、実施例２によれば、ネットワーク時間をＭＣＵ７０が算出する構成としても、実施例１と同様の効果を得ることができる。
【０１１１】
［実施例３］
次に、実施例３に係る電子会議システムについて説明する。実施例３では、各遠隔会議装置８０とＭＣＵ９０とはお互いに通信を開始する前に、予め装置内の時刻を同期させることで、リアルタイムの送信時間を算出することができる。よって、通信時間中に変動しうるネットワーク時間に対して、迅速な制御が可能となる。
【０１１２】
＜機能構成＞
次に、実施例３に係る電子会議システムの機能について説明する。図１１は、実施例３に係る遠隔会議装置８０の機能構成の一例を示すブロック図である。なお、図１１に示す機能において、図３及び図８に示す機能と同様のものは同じ符号を付し、その説明を省略する。また、遠隔会議装置３０、４０は遠隔会議装置２０と同様の機能を有する。
【０１１３】
図１１に示す映像入力時刻検出部２７１は、映像入力制御部２０２から取得したフレーム番号及びフレーム番号を取得した際の時刻を映像入力時刻として配信制御部２７２に出力する。
【０１１４】
配信制御部２７２は、実施例１の送信時間や実施例２の処理時間に代わって、映像入力時刻検出部２７１から取得したフレーム番号及び映像入力時刻を、通信制御部２１３を介してＭＣＵ９０に送信する。その他の機能は前述した実施例の各配信制御部と同様の機能を有する。
【０１１５】
次に、実施例３に係るＭＣＵ９０の機能について説明する。図１２は、実施例３に係るＭＣＵ９０の機能構成の一例を示すブロック図である。なお、図１２に示す機能において、図５に示す機能と同様のものは同じ符号を付し、その説明を省略する。
【０１１６】
受信制御部１７０は、通信制御部１０１から取得した全ての遠隔会議装置の映像データおよび音声データを別々の映像デコーダおよび音声デコーダに振り分ける。また、受信制御部１７０は、リップシンクを取る機能を有する。また、受信制御部１７０は、遠隔会議装置から1フレームの映像データを受信した際に、受信時刻検出部１７１にフレーム番号を出力する。また、受信制御部１７０は、ネットワークを介して遠隔会議装置から受信したフレーム番号および映像入力時刻を送信時間計測部１７２に出力する。
【０１１７】
受信時刻検出部１７１は、受信制御部１０２から取得したフレーム番号を取得した時刻を映像受信時刻とし、映像受信時刻を送信時間計測部１７２に出力する。
【０１１８】
送信時間計測部１７２は、各遠隔会議装置の映像入力時刻検出部から受信したフレーム番号と受信時刻検出部１７１から取得したフレーム番号を比較する。また、送信時間計測部１７２は、対応するフレーム番号の映像入力時刻および映像受信時刻の時間差から、各フレームが遠隔会議装置に入力してからＭＣＵが受信するまでに要した時間（送信時間）を算出し、得られた時間情報を保持しておく。送信時間計測部１７２は、ある一定数の時間情報が得られた場合、その最大値を送信時間として拠点間同期管理部１７３に出力する。
【０１１９】
拠点間同期管理部１７３は、取得部１７４、変更指示部１７５を含む。取得部１７４は、送信時間計測部１７２から取得した全ての遠隔会議装置の送信時間を取得する。変更指示部１７５は、遠隔会議装置間の送信時間の時間差を算出し、送信制御部１１４を介して各遠隔会議装置に処理時間変更の指示をする。また、前提として、各遠隔会議装置とＭＣＵ９０は、装置内の時刻を同期させておく。以上より、ＭＣＵ９０は、送信時間としてリアルタイムの情報を取得することができる。
【０１２０】
＜動作＞
次に、実施例３における電子会議システムの動作について説明する。図１３は、実施例３における送信時間算出処理の一例を示すシーケンス図である。図１０に示す処理において、図６に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。
【０１２１】
まず、実施例３では、各遠隔会議装置とＭＣＵ９０はお互いに通信を始める前に、予め装置内の時刻を同期させておく。時刻の同期方法には例えば、NTP(Network Time Protocol)やSNTP(Simple Network Time Protocol)を利用した方法がある。NTPサーバは、遠隔会議装置でもＭＣＵ９０でも別のサーバでも構わない。
【０１２２】
ステップＳ４０１において、映像入力時刻検出部２０３は、フレーム番号を取得した時刻を映像入力時刻として、フレーム番号「12」及び映像入力時刻「12:34:57:489」を配信制御部２７２に出力する。
【０１２３】
ステップＳ４０２において、配信制御部２７２は、通信制御部２１３を介してＭＣＵ９０にフレーム番号「12」及び映像入力時刻「12:34:57:489」を送信する。
【０１２４】
ステップＳ４０３において、受信制御部１７０は、ネットワークを介して遠隔会議装置８０からフレーム番号「12」及び映像入力時刻「12:34:57:489」を送信時間計測部１７２に出力する。
【０１２５】
ステップＳ４０４において、受信制御部１７０は、ネットワークを介して遠隔会議装置８０から1フレームの映像データを受信する。ステップＳ４０５において、受信制御部１７０は、映像データをした際に、フレームにフレーム番号を付けて、フレーム番号「12」を受信時刻検出部１７１に伝える。
【０１２６】
ステップＳ４０６において、受信時刻検出部１７２は、受信時刻検出部１７１からフレーム番号「12」を取得した時刻「12:34:57:889」を映像受信時刻として、フレーム番号「12」及び映像受信時刻「12:34:57:889」を送信時間計測部１７２に出力する。
【０１２７】
ステップＳ４０７において、送信時間計測部１７２は、配信制御部１７０から取得したフレーム番号「12」と受信時刻検出部１７１から取得したフレーム番号「12」とを比較し、一致するフレーム番号の映像受信時刻「12:34:57:889」から映像入力時刻「12:34:57:489」を引いた値「400ｍｓ」をそのフレーム番号の送信時間として保持する。
【０１２８】
ステップＳ４０８において、送信時間計測部１７２は、ある一定数の送信時間の情報が集まった場合、その最大値を送信時間として拠点間同期部１７３に出力する。以降の処理は、前述した実施例と同様であるため説明を省略する。
【０１２９】
以上、実施例３によれば、各遠隔会議装置８０とＭＣＵ９０とはお互いに通信を開始する前に、予め装置内の時刻を同期させることで、リアルタイムの送信時間を算出することができる。よって、通信時間中に変動しうるネットワーク時間に対して、迅速な制御が可能となる。
【０１３０】
［変形例］
次に、変形例に係る電子会議システムについて説明する。変形例では、映像の処理に要した時間情報を利用して音声エンコーダの制御を可能とする。
【０１３１】
＜機能構成＞
図１４は、変形例に係る遠隔会議装置９５の機能構成の一例を示すブロック図である。図１４に示す機能において、図３に示す機能と同様の機能のものは同じ符号を付し、その説明を省略する。なお、変形例では、実施例１の遠隔会議装置の変形例について説明するが、実施例２及び３の遠隔会議装置についても適用できる。
【０１３２】
図１４に示すように、所要時間計測部３０１は、算出した処理時間を音声エンコーダ制御部３０２に出力する。
【０１３３】
音声エンコーダ制御部３０２は、所要時間計測部３０１から取得した処理時間を基に、圧縮パラメータを決定し、決定した圧縮パラメータを音声エンコーダ２１１に設定する。圧縮パラメータは、音声圧縮パラメータ格納部３０３に格納されているエンコード処理に要する時間情報を参照して決定する。圧縮パラメータは、例えば、圧縮方式やビットレート、サンプリングレートなどがある。音声圧縮パラメータ格納部３０３のデータ構造は、図４に示すデータ構造と同様とする。
【０１３４】
以上、変形例によれば、音声データに対しても、映像の処理時間に収まる時間で、高音質となる圧縮パラメータに変更してエンコード処理を行うことができる。
【０１３５】
なお、各実施例の遠隔会議装置やＭＣＵで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３６】
また、各実施例の遠隔会議装置やＭＣＵで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施例の遠隔会議装置やＭＣＵで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１３７】
また、各実施例の遠隔会議装置やＭＣＵで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１３８】
各実施例の遠隔会議装置やＭＣＵで実行されるプログラムは、前述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【０１３９】
また、上記の映像エンコーダ、音声エンコーダ、映像デコーダ、及び音声デコーダのコーデックに関しては、ソフトウェアでもハードウェアでも実現可能である。
【０１４０】
なお、本発明は、上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施例に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【０１４１】
１０、７０、９０  ＭＣＵ
２０、３０、４０、６０、８０、９５  遠隔会議装置
１０２  受信制御部
１１３  送信制御部
１１４、１５０、１７３  拠点間同期管理部
１１５、１５２、１７４  取得部
１１６、１７５  変更指示部
１７１  受信時刻検出部
１７２  送信時刻計測部
２０３、２７１  映像入力時刻検出部
２０５、２５０、３０１  所要時間計測部
２０６  処理時間算出部
２０７、１５１  ネットワーク時間算出部
２０８  映像送信時刻検出部
２１２、２５１、２７２  配信制御部
２１７  映像エンコーダ制御部
２１８  映像圧縮パラメータ格納部
３０２  音声エンコーダ制御部
３０３  音声圧縮パラメータ格納部
【先行技術文献】
【特許文献】
【０１４２】
【特許文献１】特開平７−８２８８７号公報
【図１】
0005434390.tif 000002
【図２】
0005434390.tif 000003
【図３】
0005434390.tif 000004
【図４】
0005434390.tif 000005
【図５】
0005434390.tif 000006
【図６】
0005434390.tif 000007
【図７】
0005434390.tif 000008
【図８】
0005434390.tif 000009
【図９】
0005434390.tif 000010
【図１０】
0005434390.tif 000011
【図１１】
0005434390.tif 000012
【図１２】
0005434390.tif 000013
【図１３】
0005434390.tif 000014
【図１４】
0005434390.tif 000015