(57)【要約】【課題】ＴＶ会議の遅延量を効率良く低減すること。【解決手段】低遅延優先度決定部１０５は、音声データの送信受信頻度を用いて頻度が高いほど低遅延優先度を高く設定し、遅延量決定部１０６は低遅延優先度が高いほど遅延量を小さく設定し、パラメタ制御部１０７は設定された遅延量となるように符号化パラメタあるいは伝送パラメタを制御することにより、音声データの送信受信頻度が高く、活発な議論が交わされているＴＶ会議のように低遅延を必要とする状態ほど、遅延量を減らし、それ以外の遅延量を増やすことで、ベストエフォート型のネットワークにおいても低遅延の必要性の高いＴＶ会議ほど相対的に低遅延性能を実現する事が可能である。【選択図】図１
2009076952.tif 000002
【特許請求の範囲】
【請求項１】
伝送路を通じて互いに映像音声の通信を行うＴＶ会議装置であって、映像音声を入力する映像音声入力手段と、映像音声を符号化する映像音声符号化手段と、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信手段と、低遅延の優先度を決定する低遅延優先度決定手段と、低遅延優先度を用いて遅延量を決定する遅延量決定手段と、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更手段と、映像音声データを受信する受信手段と、映像音声データを復号化する映像音声復号化手段と、映像音声を出力する映像音声出力手段を有するＴＶ会議装置。
【請求項２】
前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高い場合ほど低遅延優先度を高く決定することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項３】
前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、あらかじめ設定された閾値と比較して低遅延優先度を決定する特徴とする請求項２に記載のＴＶ会議装置。
【請求項４】
さらに、音声データの送受信頻度を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信頻度と比較して、頻度が高いほど低遅延優先度を決定する特徴とする請求項２に記載のＴＶ会議装置。
【請求項５】
前記低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項６】
前記低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差と予め設定された閾値と比較して、差が小さいほど低遅延優先度を高く決定することを特徴とする請求項５に記載のＴＶ会議装置。
【請求項７】
さらに、音声データの送受信時刻の差を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信時刻の差と比較して、差が小さいほど低遅延優先度を決定する特徴とする請求項５に記載のＴＶ会議装置。
【請求項８】
前記遅延量決定手段は、前記決定された低遅延優先度を用いて、予め決められた閾値処理を行い、優先度が高いほど遅延量を小さい値に決定することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項９】
さらに低遅延優先度を他のＴＶ会議装置と送受信するデータ送受信手段を有し、前記遅延量決定手段は、前記決定された第１の低遅延優先度と、前記データ送受信手段により受信した前記他のＴＶ会議装置の第２の低遅延優先度とを比較し、低遅延優先度が高いＴＶ会議ほど遅延量を小さい値に決定することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項１０】
前記パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声復号化の受信バッファ容量を変更することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項１１】
前記パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声符号化の最大発生符号量を小さく変更することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項１２】
前記パラメタ変更手段は、前記決定された遅延量に従い、遅延量が小さいほど送信データのパケット優先度を高く変更することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項１３】
さらに前記ＴＶ会議装置は、低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行うデータ送受信手段を有し、前記パラメタ変更手段は、前記遅延管理サーバによって複数のＴＶ会議装置から受信された低遅延優先度が高いＴＶ会議装置ほど遅延量を小さくなるように決定され、ＴＶ会議装置に送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする請求項１に記載のＴＶ会議装置。
【請求項１４】
伝送路を通じて映像音声の通信を行うＴＶ会議方法であって、映像音声を入力する映像音声入力ステップと、映像音声を符号化する映像音声符号化ステップと、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信ステップと、低遅延の優先度を決定する低遅延優先度決定ステップと、低遅延優先度を用いて遅延量を決定する遅延量決定ステップと、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更ステップと、映像音声データを受信する受信ステップと、映像音声データを復号化する映像音声復号化ステップと、映像音声を出力する映像音声出力ステップを有するＴＶ会議方法。
【請求項１５】
前記低遅延優先度決定ステップは、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高い場合ほど低遅延優先度を高く決定することを特徴とする請求項１４に記載のＴＶ会議方法。
【請求項１６】
さらに前記ＴＶ会議方法は、低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行うデータ送受信ステップを有し、前記パラメタ変更ステップは、前記遅延制御サーバにおいて複数のＴＶ会議方法より受信された低遅延優先度を用いて優先度が高いＴＶ会議方法ほど遅延量を小さく決定され、ＴＶ会議装置へ送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする請求項１４に記載のＴＶ会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＴＶ会議装置に関し、音声データの送信受信頻度を用いて遅延量を決定し、符号化パラメタあるいは伝送パラメタを動的に変更することにより決定した遅延量以下での低遅延映像音声伝送を行い、違和感なく円滑な遠隔コミュニケーションが実現可能なＴＶ会議装置に関する。
【背景技術】
【０００２】
近年、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）や光ファイバー網が急速に普及し、低価格で高速なインターネット接続が利用可能となってきている。また、こうした低価格の高速インターネットを利用して、遠隔の複数拠点間で映像音声データを双方向に伝送することにより簡易にＴＶ会議システムを構築することが可能となってきている。
【０００３】
しかしながら、現在のインターネットに代表されるＩＰネットワークは、データの欠落無くデータを伝送可能な有効帯域に関しては何も保証されないベストエフォート型のネットワークである。従って、例えば伝送可能な有効帯域を越えた帯域のデータを伝送すると、ネットワークにおいては、輻輳状態が発生し、映像・音声データの伝送遅延の発生し、さらにネットワーク機器におけるバッファを超えるような輻輳状態では、データの欠落が発生する。
【０００４】
また、一般にＴＶ会議では、円滑なコミュニケーションを図るために映像音声を途切れなく低遅延に伝送することが非常に重要とされている。しかしながら、先に述べたように低価格なベストエフォート型ネットワークでは、帯域が保証されないため、常に低遅延伝送を実現することは非常に困難である。一方、低遅延伝送を実現するため、ベストエフォート型のネットワークではなく、帯域保証型のネットワークである専用線サービスを利用することも可能であるが、月額約１千万円の使用料が必要となり、非常に高コストとなる。
【０００５】
これを解決する従来方法として、例えば特許文献１では、ＴＶ会議において、通常は帯域の大きな映像の遅延に合わせて音声に遅延を挿入して映像音声の同期を行うが、両者の音声が入力された場合は、音声遅延の挿入を止めることにより音声の低遅延化を図り、応答性能を高めている。
【０００６】
図９は従来方法のＴＶ会議装置を示した図面である。図９において、ＴＶ会議装置９１０は、映像の符号化／復号化を行う映像符号化／復号化部９０１と、音声の符号化／復号化を行う音声符号化／復号化部９０２と、音声入力を遅延させる送信遅延回路９０３と、遅延入力の切り替えを行う送信切り替え器９０４と、送信受信側の音声入力を監視し、双方が同時に入力される場合に遅延時間を短くする音声入力監視部９０５と、受信切り替えを行う受信切り替え部９０６と、受信音声に対して遅延入力を行う受信遅延回路９０７と、映像・音声の多重化／分離処理を行う多重／分離部９０８とから構成され、多地点接続制御装置９０９と接続し、ＴＶ会議装置間で双方向の映像・音声通信を行うものである。
【０００７】
このように、特許文献１におけるＴＶ会議装置は、音声入力監視部９０５において、送信・受信側の音声入力を監視し、双方が同時に入力される場合に、遅延時間を短くすることにより、音声の低遅延伝送を可能とするものである。
【特許文献１】特開平７−３１７３６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、音声データのみを低遅延に伝送してしまうため、映像データは音声データと同期が取られずに表示されることとなる。例えば、発話者の音声が再生された後に、遅延して発話映像が再生されるといった、不自然な映像・音声再生となり、ＴＶ会議においては大きな違和感を生むこととなる。
【０００９】
このような点に鑑みて、本発明では、音声データの送受信頻度を用いて映像音声データの低遅延伝送が必要とされる度合いを低遅延優先度として判定し、低遅延優先度が高い状態ほど、低遅延伝送を実現できる様に映像音声符号化パラメタあるいは伝送パラメタを制御することにより、ベストエフォート型ネットワークにおいても、低遅延伝送が必要な状態ほど低遅延伝送を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のＴＶ会議装置は、伝送路を通じて映像音声の通信を行うＴＶ会議装置であって、映像音声を入力する映像音声入力手段と、映像音声を符号化する映像音声符号化手段と、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信手段と、低遅延の優先度を決定する低遅延優先度決定手段と、低遅延優先度を用いて遅延量を決定する遅延量決定手段と、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更手段と、映像音声データを受信する受信手段と、映像音声データを復号化する映像音声復号化手段と、映像音声を出力する映像音声出力手段を有している。
【００１１】
この構成によれば、低遅延優先度を決定して符号化・伝送パラメタの変更を動的に行うことができるため、画一的な遅延量ではなく、会議毎に必要な低遅延度合い応じた遅延量を設定可能なＴＶ会議を実現することが可能である。
【００１２】
また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定することを特徴とする。
【００１３】
この構成によれば、音声データの送信・受信の頻度が高い時ほど、低遅延優先度を高く設定するため、活発な議論がなされている会議ほど、低遅延の優先度を高めることが可能である。
【００１４】
また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、あらかじめ設定された閾値と比較して低遅延優先度を決定する特徴とする。
【００１５】
この構成によれば、低遅延優先度を決定する際に、音声データの送信・受信頻度と予め設定した閾値を比較する単純な処理で低遅延優先度を決定することが可能である。
【００１６】
また、本発明に係わるＴＶ会議装置は、さらに音声データの送受信頻度を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信頻度と比較して、頻度が高いほど遅延優先度を決定する特徴とする。
【００１７】
この構成によれば、他のＴＶ会議と比較して低遅延優先度を決定するため、複数のＴＶ会議の中で低遅延の要求が高いものほど低遅延とすることが可能である。
【００１８】
また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定することを特徴とする。
【００１９】
この構成によれば、送信・受信時刻の差が小さいほど低遅延優先度を高めるため、遅延によって双方の発話タイミングが重なる状態を回避することが可能である。
【００２０】
また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差と予め設定された閾値と比較して、差が小さいほど低遅延優先度を高く決定することを特徴とする。
【００２１】
この構成によれば、低遅延優先度の決定に際して、単純な閾値処理により低遅延優先度を決定することが可能である。
【００２２】
また、本発明に係わるＴＶ会議装置は、さらに音声データの送受信時刻の差を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信時刻の差と比較して、差が小さいほど低遅延優先度を決定する特徴とする。
【００２３】
この構成によれば、低遅延優先度決定に際して、送信時刻・受信時刻の差を他のＴＶ会議と比較して決定するため、より低遅延要求が高いＴＶ会議ほど低遅延とする事が可能である。
【００２４】
また、本発明に係わるＴＶ会議装置における遅延量決定手段は、前記決定された低遅延優先度を用いて、予め決められた閾値処理を行い、優先度が高いほど遅延量を小さい値に決定することを特徴とする。
【００２５】
この構成によれば、低遅延優先度を用い閾値処理により遅延量を決定するため、単純な処理によって遅延量を決定することが可能である。
【００２６】
また、本発明に係わるＴＶ会議装置において、さらに低遅延優先度を他のＴＶ会議装置と送受信する送受信部を有し、前記遅延量決定手段は、前記決定された第１の低遅延優先度と、前記送受信手段により受信した別のＴＶ会議装置の第２の低遅延優先度とを比較し、低遅延優先度が高いＴＶ会議ほど遅延量を小さい値に決定することを特徴とする。
【００２７】
この構成によれば、遅延量の決定に際して、他のＴＶ会議装置と低遅延優先度を比較するため、より低遅延が要求されるＴＶ会議の遅延量を減らすことが可能である。
【００２８】
また、本発明に係わるＴＶ会議装置において、パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声復号化の受信バッファ容量を変更することを特徴とする。
【００２９】
この構成によれば、映像音声復号化のバッファ量を動的に変更することにより、受信バッファ容量が小さいほど受信待ち時間が小さくて済むため、要求された遅延値以下に遅延量を制御することが可能である。
【００３０】
また、本発明に係わるＴＶ会議装置において、パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声符号化の最大発生符号量を小さく変更することを特徴とする。
【００３１】
この構成によれば、映像音声符号化の最大発生符号量が小さいほど、伝送遅延が小さくなり低遅延伝送を行うことなるため、要求された遅延量以下に制御することが可能である。
【００３２】
また、本発明に係わるＴＶ会議装置において、前記決定された遅延量に従い、遅延量が小さいほど送信データのパケット優先度を高く変更することを特徴とする。
【００３３】
この構成によれば、パケット優先度が高いデータほど、伝送路では先に転送されるため、遅延量を小さく設定した場合ほど低遅延伝送を実現する事が可能である。
【００３４】
また、本発明に係わるＴＶ会議装置において、さらに低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行うデータ送受信手段を有し、前記パラメタ変更手段は、前記遅延制御サーバにより複数のＴＶ会議装置より受信された低遅延優先度が高いＴＶ会議装置ほど遅延量を小さくなるように決定され、ＴＶ会議装置へ送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする。
【００３５】
この構成によれば、遅延制御サーバが遅延量を一元管理するため、複数のＴＶ会議の低遅延優先度の把握が容易であり、低遅延要求が高いＴＶ会議ほど低遅延な符号化あるいは伝送を行うことが可能である。
【００３６】
本発明のＴＶ会議方法は伝送路を通じて映像音声の通信を行うＴＶ会議方法であって、映像音声を入力する映像音声入力ステップと、映像音声を符号化する映像音声符号化ステップと、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信ステップと、低遅延の優先度を決定する低遅延優先度決定ステップと、低遅延優先度を用いて遅延量を決定する遅延量決定ステップと、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更ステップと、映像音声データを受信する受信ステップと、映像音声データを復号化する映像音声復号化ステップと、映像音声を出力する映像音声出力ステップを有する。
【００３７】
この構成によれば、低遅延優先度を決定して符号化・伝送パラメタの変更を行うことができるため、会議毎に必要とされる低遅延要求に応じて遅延量を設定したＴＶ会議を実現することが可能である。
【００３８】
また、本発明のＴＶ会議方法は、さらに低遅延優先度の送信処理および遅延量の受信処理を遅延管理サーバ間と行うデータ送受信ステップを有し、前記パラメタ変更ステップは、前記遅延管理サーバにおいて複数のＴＶ会議方法より受信された低遅延優先度を用いて優先度が高いＴＶ会議方法ほど遅延量を小さく決定され、ＴＶ会議装置へ送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする。
【００３９】
この構成によれば、遅延管理サーバが遅延量を一元管理するため、複数のＴＶ会議の低遅延優先度の把握が容易であり、低遅延要求が高いＴＶ会議ほど低遅延な符号化あるいは伝送を行うことが可能である。
【発明の効果】
【００４０】
本発明によれば、音声データの送信受信頻度に従って低遅延優先度を算出し、算出した低遅延優先度に基づき遅延量を決定することにより、活発な議論が行われているＴＶ会議など、低遅延の必要性が高い場合ほど低遅延となるように符号化パラメタ・伝送パラメタの制御を実現することが可能である。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４２】
（実施の形態１）
図１は、本発明の実施の形態１に係るＴＶ会議装置の構成を示すブロック図である。図１に示すＴＶ会議装置１０１は、カメラ、マイクと接続し映像音声を入力処理する映像音声入力部１０２と、映像音声の符号化を行う映像音声符号化部１０３と、伝送路１１１と接続し符号化後の映像音声データを伝送する送信部１０４と、映像音声入力を用いて低遅延優先度を決定する低遅延優先度決定部１０５と、低遅延優先度を用いて遅延量を決定する遅延量決定部１０６と、遅延量を用いて符号化・伝送パラメタを変更するパラメタ制御部１０７と、伝送路１１１と接続し通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信する受信部１１０と、符号化された映像音声データを復号化する映像音声復号化部１０９と、モニタ、スピーカと接続し、復号化した映像音声データをモニタ、スピーカに出力する映像音声出力部１０８とで構成となっている。
【００４３】
映像音声入力部１０２は、カメラ、マイクから、非圧縮の映像データと音声データをフレーム単位で入力し、映像音声符号化部１０３と低遅延優先度決定部１０５に出力する。
【００４４】
映像音声符号化部１０３は、映像音声入力部１０２より入力された映像音声データに対して、パラメタ制御部１０７より入力された符号化パラメタを用いてＭＰＥＧ−２等の圧縮符号化を行い、符号化後の映像音声データを送信部１０４に出力する。
【００４５】
送信部１０４は、映像音声符号化部１０３より入力された符号化後の映像音声データに対して、パラメタ制御部１０７より入力された伝送パラメタを用いて通信相手である別のＴＶ会議装置へデータ送信を行う。
【００４６】
低遅延優先度決定部１０５は、映像音声入力部１０２より入力された映像音声データを用いて、低遅延優先度を決定し、低遅延優先度を遅延量決定部１０６に出力する。低遅延優先度の決定方法は後述する。
【００４７】
遅延量決定部１０６は、低遅延優先度決定部１０５より入力された低遅延優先度を用いて遅延量を決定し、遅延量をパラメタ制御部１０７へ出力する。
【００４８】
パラメタ制御部１０７は、遅延量決定部１０６から入力された遅延量を用いて符号化・伝送パラメタ変更し、符号化パラメタを映像音声符号化部１０３に出力し、伝送パラメタを送信部１０４に出力する。
【００４９】
受信部１１０は、伝送路１１１を通じて通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信し、受信データを映像音声復号化部１０９へ出力する。
【００５０】
映像音声復号化部１０９は、受信部１１０より入力された符号化後の映像音声データに対して、符号化された符号化方式に従い復号化処理を行い、復号化後の映像音声データを映像音声出力部１０８へ出力するとともに、音声データを低遅延優先度決定部１０５に出力する。
【００５１】
映像音声出力部１０８は、映像音声復号化部１０９より入力された映像音声データを、接続されたモニタ、スピーカに出力する。
【００５２】
次いで、上記構成を有するＴＶ会議装置１０１の動作について、図２、図３に示すフロー図を用いて説明する。
【００５３】
なお、図２示すフロー図の動作は、ＴＶ会議装置１０１の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【００５４】
＜ステップ  ２０１：映像・音声入力処理＞
まず、映像音声入力部１０２は、接続されたカメラ、マイクから、非圧縮の映像データと音声データをフレーム単位で入力し、映像データと音声データを映像音声符号化部１０３に出力し、音声データを低遅延優先度決定部１０５に出力する。
【００５５】
＜ステップ  ２０２：データ受信処理＞
受信部１１０は、伝送路１１１を通じて通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信し、受信した符号化データを映像音声復号化部１０９へ出力する。
【００５６】
＜ステップ  ２０３：映像・音声復号化、表示出力処理＞
映像音声復号化部１０９は、受信部１１０より入力された符号化後の映像音声データに対して、符号化された符号化方式に従い復号化処理を行い、復号化後の映像音声データを映像音声出力部１０８へ出力し、音声データを低遅延優先度決定部１０５に出力する。
【００５７】
映像音声出力部１０８は、映像音声復号化部１０９より入力された映像音声データを、接続されたモニタ、スピーカに出力する。
【００５８】
＜ステップ  ２０４：遅延制御処理＞
ここでは、低遅延優先度決定部１０５は、低遅延優先度を決定し、遅延量決定部１０６は決定された低遅延優先度に従い遅延量を決定し、パラメタ制御部１０７は、遅延量を用いて符号化・伝送パラメタを変更する。
【００５９】
図３は、遅延制御処理の動作について示したものである。
【００６０】
＜ステップ  ３０１：音声パケット間隔算出処理＞
まず、遅延優先度決定部１０５は、映像音声入力部１０２より入力された送信音声データと、映像音声復号化部１０９より入力された受信音声ストリームを用いて、音声データの送信および受信の頻度を算出する。ここで、音声データの送信および受信の頻度とは、会話の活発度をあらわすものであり、頻度が高いほど活発な議論がなされており、遅延の影響が大きく低遅延伝送を必要とする状態であることになる。
【００６１】
【数１】
2009076952.tif 000003
【００６２】
（数１）は音声データの送信および受信の頻度の算出式を示したものである。（数１）において、Ｎ（ｔ）は時刻ｔにおける音声データの送受信頻度を示し、Ｎｓ（ｔ）は時刻ｔよりも過去Ｔ時間の間に送信した音声データの送信回数を示し、Ｎｒ（ｔ）は時刻ｔよりも過去Ｔ時間の間に受信した音声データの受信回数を示す。なお、送信回数および受信回数は有音である音声データを対象とし、遅延優先度決定部１０５が有音判定を行うものとする。なお、（数１）は音声データの送受信頻度の決定方式の一例であり、音声データの送受信頻度を表す算出方法であればいかなる方法も利用可能である。なお、厳密には送信データと受信データには伝送遅延の影響で、時刻ｔのタイミングがずれる場合があるため、伝送遅延量を考慮し、送信データの時刻ｔに伝送遅延を加えて算出する事も可能である。
【００６３】
図４は、２つのＴＶ会議装置間での、音声データの送受信頻度の算出方法を示す概念図を示したものである。図４において、Ｓと書いた灰色の区間４０１は音声データの送信状態で、Ｒと書いた白色の区間４０２は音声データの受信状態を示す。ただし、送信、受信ともに入力がある場合は、音量の大きな方を優先するものとする。（数１）に従って音声データの送受信頻度を算出すると、例えば時刻ｔ１ではＮ（ｔ１）＝４＋４＝８、時刻ｔ２ではＮ（ｔ２）＝２＋２＝４となり、時刻ｔ２の方が音声データの送受信頻度が高いこととなる。
【００６４】
すなわち、時刻ｔ２である図４（１）の状態の方が高い頻度で音声データの送受信を行っていることとなり、ＴＶ会議としては活発な議論が行われている状態といえる。従って、図４（１）の方が図４（２）と比較して遅延の影響を大きく受け、低遅延伝送の必要性が高い状態であり、低遅延優先度を高くする必要がある。
【００６５】
＜ステップ  ３０２：低遅延優先度算出処理＞
次に、低遅延優先度決定部１０５は、音声データの送受信頻度を算出後、送受信頻度が高いほど低遅延優先度を高く設定する。例えば、低遅延優先度Ｐ（ｔ）は（数２）のように決定する。
【００６６】
【数２】
2009076952.tif 000004
【００６７】
（数２）において、Ｐ（ｔ）は時刻ｔにおける低遅延優先度であり、Ｎ（ｔ）は時刻ｔにおける音声データの送受信頻度であり、ＴＨ１とＴＨ２は予め決められた閾値（ただし、ＴＨ１＜ＴＨ２）であり、ＰＭＡＸは予め決められた優先度の最大値である。Ｍは予め決められた正規化パラメタである。なお、（数２）は低遅延優先度の決定方式の一例であり、音声データの送受信頻度が大きいほど遅延優先度が大きくなる算出方法であればいかなる方法も利用可能である。
【００６８】
＜ステップ  ３０３：遅延量算出処理＞
次に、低遅延優先度決定部１０５は、前記のように算出した低遅延優先度を用いて遅延量を算出する。（数３）は、遅延量の算出方法を示した一例である。（数３）において、Ｄｅｌａｙ（ｔ）は時刻ｔにおける遅延量であり、ＤＭＡＸは予め決められた最大遅延量であり、Ｐ（ｔ）は時刻ｔにおける低遅延優先度である。
【００６９】
【数３】
2009076952.tif 000005
【００７０】
低遅延優先度決定部１０５は、（数３）に従い、低遅延優先度が高いほど、値が小さくなるように遅延量を決定する。
【００７１】
＜ステップ  ３０４：パラメタ算出・更新処理＞
さらに、低遅延優先度決定部１０５は、前記のように算出した遅延量を用いて、符号化パラメタあるいは伝送パラメタを算出し、算出した符号化パラメタを映像音声符号化部１０３へ出力し、算出した伝送パラメタを送信部１０４へ出力する。
【００７２】
ここでは、算出するパラメタとして、例えば符号化パラメタの１つであるビットレート（単位時間当たりに発生する符号量）の揺らぎ幅を対象とする場合について述べる。低遅延伝送を行う上では、映像符号化における固定ビットレート制御を行うことが重要である。すなわち、映像符号化においてビットレートとフレームレート（画面の更新頻度）から一意に決まる１フレームあたりの平均符号量を目標として、１フレームあたりの発生符号量を前記目標以下に抑えることである。ここで、最大発生符号量を、１フレームあたりの最大発生符号量と定義することにする。例えば、１フレームあたりの発生符号量が平均符号量のＮ倍となった場合、当該フレームの符号化データを送信するためには、データ量がＮ倍のため通常のＮ倍時間がかかることになる。従って、フレームレートを３０ｆｐｓとすると、遅延量はＮ／３０（秒）となる。
【００７３】
【数４】
2009076952.tif 000006
【００７４】
（数４）は、最大発生符号量の算出方法を示した数式である。（数４）において、ＢＩＴＳＭＡＸは１フレーム当たりの最大発生符号量（ｂｉｔｓ）であり、Ｄｅｌａｙ（ｔ）は時刻ｔにおける遅延量（ｍｓ）であり、ＢＩＴＲＡＴＥは、映像符号化における１秒あたりの発生符号量であるビットレート（ｂｉｔｓ／秒）である。
【００７５】
本実施の形態では、遅延量から最大発生符号量を算出する例を示したが、パラメタとしては、ＴＣＰ／ＩＰ通信におけるパケット優先度であるＴＯＳ（ＴＹＰＥ  ＯＦ  ＳＥＲＶＩＣＥ）値を変更する等、相対的に遅延量が制御可能なパラメタであれば如何なるパラメタも利用可能である。
【００７６】
なお、上記の遅延制御処理は、フレーム毎に行っていたが、予め定めた一定間隔毎に行ない処理量を削減することも可能である。
【００７７】
＜ステップ  ２０５：映像・音声符号化、伝送処理＞
映像音声符号化部１０３は、映像音声入力部１０２より入力された映像音声データに対して、パラメタ制御部１０７より入力された符号化パラメタを用いてＭＰＥＧ−２等の圧縮符号化を行い、符号化後の映像音声データを送信部１０４に出力する。例えば、映像音声符号化部１０３では、パラメタ制御部１０７より最大発生符号量が入力された場合には、１フレームあたりの発生符号量が入力された値以下としつつ、単位時間当たりの発生符号量を一定値以下とするビットレートの制御を行うものとする。
【００７８】
ただし、映像音声符号化部１０３における符号化方法はＭＰＥＧに限定されず、いかなる符号化方法も利用可能である。
【００７９】
さらに、送信部１０４は、映像音声符号化部１０３より入力された符号化後の映像音声データに対して、パラメタ制御部１０７より入力された伝送パラメタを用いて通信相手である別のＴＶ会議装置へデータ送信を行う。例えば、ここで伝送方式はＩＰ／ＵＤＰ／ＲＴＰを用いるものとするが、伝送路を通じて映像音声データ伝送を行うことが可能な方式であれば如何なる方式も利用可能である。
【００８０】
＜ステップ  ２０６：終了判定＞
映像音声入力部１０２は、映像音声データの入力が終了した場合、もしくは予め設定された時間が経過した場合を処理終了と判定し、処理を終了する。それ以外の場合は、処理をステップ２０１へ移動する。
【００８１】
以上が、本実施形態のＴＶ会議装置の動作説明である。
【００８２】
以上のように、本実施の形態では、低遅延優先度決定部１０５は低遅延の優先度を決定し、遅延量決定部１０６は低遅延優先度を用いて遅延量を決定し、パラメタ制御部１０７は遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行う。
【００８３】
これにより、ＴＶ会議中に動的に低遅延優先度を決定し、符号化・伝送パラメタの変更し遅延量を制御することが可能である。
【００８４】
また、本実施の形態では、低遅延優先度決定部１０５は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する。
【００８５】
これにより、ＴＶ会議において音声データの送信・受信の頻度が高く、低遅延性が重要である活発な議論がなされている状態ほど、低遅延の優先度を高めることが可能である。
【００８６】
また、本実施の形態では、低遅延優先度決定部１０５は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、あらかじめ設定された閾値と比較して低遅延優先度を決定する。
【００８７】
この構成によれば、低遅延優先度を決定する際に、音声データの送信・受信頻度と予め設定した閾値を比較する単純な処理で低遅延優先度を決定することが可能である。
【００８８】
なお、本実施の形態では、低遅延優先度決定部１０５は、音声データの送信受信頻度を用いて低遅延優先度を決定したが、音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定することも可能である。
【００８９】
これによれば、送信・受信時刻の差が小さい状態、すなわち、ＴＶ会議においてお互いの発話タイミングが重なるような状態で、遅延量を減らすことが可能である。
【００９０】
なお、本実施の形態では、低遅延優先度決定部１０５は、有音である音声データの送信および受信の頻度と、あらかじめ設定された閾値と比較して低遅延優先度を決定するが、音声データの送信時刻および受信時刻の差を予め設定された閾値と比較して、差が小さいほど低遅延優先度を高く決定することも可能である。
【００９１】
これによれば、低遅延優先度の決定に際して、単純な閾値処理により低遅延優先度を決定することが可能である。
【００９２】
また、本実施の形態では、遅延量決定部１０６は、前記決定された低遅延優先度を用いて、予め決められた閾値処理を行い、優先度が高いほど遅延量を小さい値に決定する。
【００９３】
この構成によれば、低遅延優先度を用い閾値処理により遅延量を決定するため、単純な処理によって遅延量を決定することが可能である。
【００９４】
また、本実施の形態では、パラメタ制御部１０７は、前記決定された遅延量以下となるように、映像音声符号化の最大発生符号量を小さく変更する。
【００９５】
これによれば、映像音声符号化の最大発生符号量が小さいほど、伝送遅延の最大値を遅延量以下とすることができ、指定された遅延量以下での低遅延伝送を行うことが可能である。
【００９６】
なお、本実施の形態では、パラメタ制御部１０７は、前記決定された遅延量以下となるように、映像音声復号化のバッファ容量を変更することも可能である。
【００９７】
これによれば、受信側で設定しているバッファ容量を動的に小さくすることにより、受信待ち最大遅延量を小さくすることができるため、指定された遅延値以下に制御することが可能である。
【００９８】
また、本実施の形態では、パラメタ制御部１０７は、前記決定された遅延量に従い、遅延量が小さいほど送信データのパケット優先度を高く設定することも可能である。
【００９９】
これによれば、パケット優先度が高いデータほど、伝送路では先に転送されるため、遅延量を小さく設定したものほど低遅延伝送を実現する事が可能である。
【０１００】
（実施の形態２）
本実施の形態では、複数のＴＶ会議装置の遅延量を伝送路で接続された遅延制御サーバが一元的に決定する例について述べる。図５は、本発明の実施の形態２に係るＴＶ会議装置の構成を示すブロック図である。図５に示すＴＶ会議装置５０１は、カメラ、マイクと接続し映像音声を入力処理する映像音声入力部１０２と、映像音声の符号化を行う映像音声符号化部１０３と、伝送路１１１と接続し符号化後の映像音声データを伝送する送信部１０４と、映像音声入力を用いて低遅延優先度を決定する低遅延優先度決定部１０５と、低遅延優先度を伝送路経由で遅延制御サーバ５０４に送信し、遅延量を受信する送受信部５０２と、遅延量を用いて符号化・伝送パラメタを変更するパラメタ制御部５０３と、伝送路１１１と接続し通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信する受信部１１０と、符号化された映像音声データを復号化する映像音声復号化部１０９と、モニタ、スピーカと接続し、復号化した映像音声データをモニタ、スピーカに出力する映像音声出力部１０８からなる構成となっている。
【０１０１】
さらに遅延制御サーバ５０４は、伝送路を通じて低遅延優先度を受信する低遅延優先度受信部５０５と、低遅延優先度を用いて遅延量を決定する遅延量決定部５０６と、遅延量を送信する遅延量送信部５０７からなる構成となっている。
【０１０２】
なお、図５において、実施の形態１と動作内容が同一である処理部に関しては、図１と同一の番号を付与するものとし、動作の説明は省略する。したがって、実施の形態１と動作内容が異なる処理部は、ＴＶ会議装置５０１においては、送受信部５０２、パラメタ制御部５０３、および遅延制御サーバ５０４である。
【０１０３】
送受信部５０２は、低遅延優先度決定部１０５より入力された低遅延優先度を、伝送路１１１を通じて遅延制御サーバ５０４へ送信する。
【０１０４】
低遅延優先度受信部５０５は、送受信部５０２より伝送路１１１を通じて送信された低遅延優先度を受信し、遅延量決定部１０６に出力する。遅延量決定部１０６は、低遅延優先度受信部５０５より入力された低遅延優先度を用いて遅延量を決定し、遅延量を遅延量送信部５０７に出力する。遅延量送信部５０７は、遅延量決定部５０６より入力された遅延量を、伝送路１１１を通じてＴＶ会議装置５０１へ送信する。
【０１０５】
図６は、６台のＴＶ会議装置がそれぞれ２台どうしで３つの会議を別々に行っており、それらのＴＶ会議装置の遅延量を遅延制御サーバ６０７が制御している構成を示すブロック図である。図６において、ＴＶ会議装置６０１〜６０６は図５のＴＶ会議装置５０１と同一の動作を行い、遅延制御サーバ６０７は図５の遅延制御サーバ５０４と同一の動作を行うものである。
【０１０６】
次いで、上記構成を有するＴＶ会議装置５０１および遅延制御サーバ５０４の動作について、図７および図８に示すフロー図を用いて説明する。
【０１０７】
なお、図７および図８示すフロー図の動作は、ＴＶ会議装置５０１および遅延制御サーバ５０４の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。
【０１０８】
なお、図７において実施の形態１と処理内容が同一であるステップに関しては、図２と同一の番号を付与するものとし、説明は行わないものとする。
【０１０９】
すなわち本実施の形態では、実施の形態１のステップ２０１、２０２、２０３の処理を行い、続いて以下の処理を行う。
【０１１０】
＜ステップ  ７０１：低遅延優先度算出処理＞
ここでは、実施の形態１のステップ３０１、３０２と同様の処理を経て低遅延優先度を算出する。すなわち、低遅延優先度決定部１０５は、音声データの送受信頻度を用いて低遅延優先度を算出し、送受信部５０２に低遅延優先度を出力する。
【０１１１】
＜ステップ  ７０２：低遅延優先度送信処理＞
次に、低遅延優先度を遅延制御サーバに送信する。すなわち、送受信部５０２は低遅延優先度決定部１０５より入力された低遅延優先度を、伝送路１１１を通じて遅延制御サーバ５０４に送信する。
【０１１２】
＜ステップ  ７０３：遅延量受信、パラメタ更新処理＞
次に、送受信部５０２は、伝送路１１１を通じて遅延制御サーバ５０４から送信された遅延量を受信する。さらに、パラメタ制御部５０３は、実施の形態１のステップ３０３および３０４と同様な処理を経て遅延量を算出し、符号化パラメタあるいは伝送パラメタを決定し、符号化パラメタを映像音声符号化部１０３に出力し、伝送パラメタを送信部１０４に出力する。
【０１１３】
さらに、実施の形態１のステップ２０５、２０６の処理を経て処理を終了する。
【０１１４】
次に遅延制御サーバ５０４の動作について説明する。
【０１１５】
＜ステップ  ８０１：低遅延優先度受信処理＞
まず、低遅延優先度受信部５０５は、伝送路１１１を経てＴＶ会議装置５０１の送受信部５０２より送信された低遅延優先度を受信し、遅延量決定部５０６に出力する。
【０１１６】
本実施の形態では、図６に示すように３つのＴＶ会議セッションが張られている場合を想定し、全てのＴＶ会議装置から低遅延優先度が遅延制御サーバに送信される場合について説明する。すなわち、図６において、ＴＶ会議装置６０１と６０２、ＴＶ会議装置６０３と６０４、ＴＶ会議装置６０５と６０６がそれぞれ別のＴＶ会議を行っており。それぞれのＴＶ会議装置が遅延制御サーバ６０７に低遅延優先度を送信する場合を説明する。
【０１１７】
＜ステップ  ８０２：遅延量算出処理＞
次に、遅延量決定部５０６は、図６のＴＶ会議端末６０１〜６０６から６つの低遅延優先度を受信し、それぞれ６つのＴＶ会議装置に対して個別の遅延量を決定し、遅延量を遅延量送信部５０７に出力する。
【０１１８】
【数５】
2009076952.tif 000007
【０１１９】
（数５）に遅延量の算出式の一例を示す。（数５）において、Ｄｅｌａｙ（ｔ，ｘ）およびＰ（ｔ，ｘ）は、時刻ｔにおけるＴＶ会議装置ｘの遅延量および低遅延優先度であり、ＤＡＶＥは予め定められた遅延量の平均値であり、ＰＡＶＥ（ｔ）は時刻ｔにおける全てのＴＶ会議装置における低遅延優先度の平均値であり、Ｋは予め定められた遅延調整パラメタである。なお、時刻ｔは全ての端末で同期されているものとし、遅延量算出においては同一の時刻ｔの低遅延優先度から遅延量を算出するものとする。
【０１２０】
このように、複数のＴＶ会議装置において、他のＴＶ会議装置に比べて相対的に低遅延優先度が高いものほど、遅延量を小さくすることが出来る。
【０１２１】
なお、（数５）は遅延量の算出方法の一例であり、低遅延優先度が高いものほど遅延量が小さく算出可能な方法であれば如何なる方法も利用可能である。
【０１２２】
＜ステップ  ８０３：遅延量送信処理＞
次に、遅延量送信部５０７は、遅延量決定部５０６より入力された複数のＴＶ端末毎の遅延量を、伝送路１１１を通じて、それぞれのＴＶ会議装置６０１〜６０６へ送信する。
【０１２３】
以上のように、本実施の形態では、送受信部５０２は低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行い、遅延制御サーバは、複数のＴＶ会議装置の低遅延優先度を用いて、相対的に低遅延優先度が高いＴＶ会議装置ほど値が小さくなるように遅延量を決定する。
【０１２４】
これにより、遅延制御サーバが遅延量を一元管理するため、複数のＴＶ会議の低遅延優先度の把握が容易であり、低遅延要求が高いＴＶ会議ほど低遅延な符号化あるいは伝送を行うことが可能である。
【０１２５】
また、本実施の形態では、送受信部５０２は、低遅延優先度を遅延制御サーバに送信したが、他のＴＶ会議装置に送信する事も可能で有り、遅延量の決定を遅延制御サーバではなく、ＴＶ会議装置内で行うことも可能である。
【０１２６】
これにより、遅延制御サーバが不要で、遅延量の決定を他のＴＶ会議装置の比較により行い、より低遅延を必要とするＴＶ会議ほど、遅延量を小さく設定することが可能である。
【０１２７】
また、本実施の形態では、送受信部５０２は低遅延優先度を遅延制御サーバに送信したが、低遅延優先度の代わりに音声データの送受信頻度を他のＴＶ会議装置との間で送受信することも可能であり、低遅延優先度決定部１０５は、送受信部５０２により受信した他のＴＶ会議装置の送受信頻度と比較して、頻度が高いほど遅延優先度を決定することも可能である。
【０１２８】
これによれば、他のＴＶ会議と比較して低遅延優先度を決定するため、複数のＴＶ会議の中で低遅延の必要性が高いものほど低遅延とすることが可能である。
【０１２９】
また、本実施の形態では、送受信部５０２は低遅延優先度を遅延制御サーバに送信したが、低遅延優先度の変わりに、音声データの送受信時刻の差を他のＴＶ会議装置との間で送受信することも可能であり、低遅延優先度決定部１０５は、送受信部５０２により受信した他のＴＶ会議装置の送受信時刻の差と比較して、差が小さいほど遅延量を小さく決定することも可能である。
【０１３０】
これにより、低遅延優先度決定に際して、送信時刻・受信時刻の差を他のＴＶ会議と比較して決定するため、より低遅延要求が高いＴＶ会議ほど低遅延とする事が可能である。
【産業上の利用可能性】
【０１３１】
本発明に係るＴＶ会議装置は、音声データの送信および受信頻度を利用し、頻度が高いほど遅延量が小さくなるように遅延量を決定し、決定した遅延量に従い符号化あるいは伝送パラメタを動的に制御することにより、音声データの送受信頻度が高く、低遅延をより必要としているＴＶ会議状態ほど遅延量を小さくし、音声データの送受信頻度が低く、低遅延を必要としていないＴＶ会議状態ほど遅延量を大きくすることにより、帯域限られた伝送路において、最適な遅延量を設定することが可能であり、特に、ベストエフォート型のインターネットにおいて映像音声の低遅延伝送を必要とするＴＶ会議システムにおいては、特に有用である。
【図面の簡単な説明】
【０１３２】
【図１】実施の形態１に係るＴＶ会議装置の構成を示す図
【図２】実施の形態１に係るＴＶ会議装置に処理のフローを示す図
【図３】実施の形態１に係る遅延制御処理のフローを示す図
【図４】実施の形態１に係る音声データの送信・受信頻度の概念図
【図５】実施の形態２に係るＴＶ会議装置の構成を示す図
【図６】実施の形態２に係る複数のＴＶ会議装置と遅延制御サーバの関係を示す図
【図７】実施の形態１に係るＴＶ会議装置に処理のフローを示す図
【図８】実施の形態２に係る遅延制御サーバの処理のフローを示す図
【図９】従来技術のＴＶ会議端末装置の構成を示す図
【符号の説明】
【０１３３】
１０１，５０１，６０１，６０２，６０３，６０４    ＴＶ会議装置
１０２    映像音声入力部
１０３    映像音声符号化部
１０４    送信部
１０５    低遅延優先度決定部
１０６    遅延量決定部
１０７，５０３    パラメタ制御部
１０８    映像音声出力部
１０９    映像音声復号化部
１１０    受信部
１１１    伝送路
２０１    映像・音声入力処理
２０２    データ受信処理
２０３    映像・音声復号化出力処理
２０４    遅延制御処理
２０５    映像・音声符号化、伝送処理
２０６    終了判定処理
３０１    音声データ送受信頻度算出処理
３０２    低遅延優先度算出処理
３０３    遅延量算出処理
３０４    パラメタ算出・更新処理
４０１    音声データ送信
４０２    音声データ受信
５０２    送受信部
５０４，６０７    遅延制御サーバ
５０５    低遅延優先度受信部
５０６    遅延量決定部
５０７    遅延量送信部
７０１    低遅延優先度算出処理
７０２    低遅延優先度送信処理
７０３    遅延量受信、パラメタ更新処理
８０１    低遅延優先度受信処理
８０２    遅延量算出処理
８０３    遅延量送信処理
９０１    映像符号化／復号化部
９０２    音声符号化／復号化部
９０３    送信遅延回路
９０４    送信切り替え器
９０５    音声入力監視部
９０６    受信切り替え部
９０７    受信遅延回路
９０８    多重／分離部
９０９    多地点接続制御装置
【図１】
2009076952.tif 000008
【図２】
2009076952.tif 000009
【図３】
2009076952.tif 000010
【図４】
2009076952.tif 000011
【図５】
2009076952.tif 000012
【図６】
2009076952.tif 000013
【図７】
2009076952.tif 000014
【図８】
2009076952.tif 000015
【図９】
2009076952.tif 000016