(57)【要約】【課題】伝送遅延の低減化およびIP通信網等での符号化データのオーバーフローの回避を図る映像中継システムにおけるキーフレーム挿入タイミング設定方法を提供。【解決手段】リアルタイムエンコーダ10-1〜10-4は、配信開始を通知する配信開始通知を、IPネットワーク12を介して中継サーバ14へ送る。中継サーバ14では、受信開始通知を受信すると、キーフレーム挿入基準時刻とキーフレーム挿入周期Tとを指示するキーフレーム情報を生成してリアルタイムエンコーダ10-1〜10-4へ送る。リアルタイムエンコーダ10-1〜10-4では、キーフレーム情報が指示するキーフレーム挿入基準時刻とキーフレーム挿入周期Tとに基づいてキーフレーム挿入タイミングを生成し、このタイミングに従ってキーフレームを挿入しながらライブ映像を符号化し、符号化データを中継サーバ14へ送信する。中継サーバ14では、受信した符号化データを受信クライアントへ配信する。【選択図】図１
2005244803.tif 000002
【特許請求の範囲】
【請求項１】
複数のリアルタイムエンコーダによりフレーム内相関とフレーム間相関を併用した圧縮符号化方式を用いて符号化された映像を、IPネットワークを介して受信クライアントへ配信する映像中継システムにおけるキーフレーム挿入タイミング設定方法において、該方法は、
各リアルタイムエンコーダのキーフレーム挿入周期を同じに設定し、かつ、リアルタイムエンコーダ間におけるキーフレーム挿入タイミングの時間差が最大となるようにリアルタイムエンコーダのキーフレーム挿入基準時刻を設定することを特徴とする映像中継システムにおけるキーフレーム挿入タイミング設定方法。
【請求項２】
複数のリアルタイムエンコーダによりフレーム内相関とフレーム間相関を併用した圧縮符号化方式を用いて符号化された映像を、IPネットワークを介して受信クライアントへ配信する映像中継システムにおけるキーフレーム挿入タイミング設定方法において、該方法は、
各リアルタイムエンコーダのキーフレーム挿入周期を同じに設定し、かつ、リアルタイムエンコーダ間におけるキーフレーム挿入タイミングの時間差を使用通信帯域に応じて割り当て、その結果に基づいてリアルタイムエンコーダのキーフレーム挿入基準時刻を設定することを特徴とする映像中継システムにおけるキーフレーム挿入タイミング設定方法。
【請求項３】
請求項２に記載の映像中継システムにおけるキーフレーム挿入タイミング設定方法は、前記リアルタイムエンコーダ間におけるキーフレーム挿入タイミングの時間差を、使用通信帯域および受信クライアント数に応じて割り当てること特徴とする映像中継システムにおけるキーフレーム挿入タイミング設定方法。
【請求項４】
請求項３に記載の映像中継システムにおけるキーフレーム挿入タイミング設定方法において、該方法は、前記使用通信帯域または受信クライアント数が更新されたときリアルタイムエンコーダのキーフレーム挿入基準時刻を再設定することを特徴とする映像中継システムにおけるキーフレーム挿入タイミング設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のリアルタイムエンコーダがIP（Internet Protocol）ネットワークを介してライブ映像を配信する映像中継システムにおけるキーフレーム挿入タイミング設定方法に関し、特に、各リアルタイムエンコーダがキーフレーム（フレーム内差分を利用した圧縮符号化が行われるフレーム）を挿入するタイミングを一元的に整合するキーフレーム挿入タイミング設定方法に関するものである。
【背景技術】
【０００２】
一般に、ライブ映像を受信クライアントへIPネットワークを使用して配信する従来のライブ映像符号化・伝送装置（リアルタイムエンコーダ）では、ライブ映像を符号化する際に、フレーム間相関を利用した高能率圧縮符号化方式を用いて符号化を行っているが（例えば、特許文献１参照）、通信損失耐性やランダムアクセス性を確保する必要があるため、定期的にフレーム内相関を利用した圧縮符号化方式を用いて符号化を行っている。すなわち、フレーム間相関を利用した圧縮符号化とフレーム内相関を利用した圧縮符号化とを併用している。
【０００３】
しかし、キーフレームの符号化データ量は、フレーム間相関を利用して符号化されたフレームの符号化データ量より極めて多いため、単位時間当たりの発生符号量はキーフレームを挿入する周期毎に増える。このため、リアルタイムエンコーダでは、通信帯域を考慮したバッファモデルに従って設定された送信バッファを設け、符号化データをこの送信バッファに一時格納し、格納した符号化データを固定ビットレートで伝送していた。
【０００４】
なお、IP通信網は、帯域限界を超えない範囲で使用帯域の変動を吸収する帯域平滑化特性を有しているので、ある程度のバースト性を持った伝送が可能であり、したがって、必要最小限の緩衝量を送信バッファで設定すれば、データが失われることなく再生端末に到達し、直ちに遂次再生することができる。
【特許文献１】特開平11-340958号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ライブ映像を配信する場合のように映像伝送の即時性が要求される場合には、リアルタイムエンコーダでは、使用帯域がIP通信網の帯域限界を超えない範囲で送信バッファでの緩衝量を最小限に設定し、符号化データを可変ビットレートで送信する必要がある。しかし、複数のリアルタイムエンコーダがIP通信網へ同時にパケットの送出する場合には、各リアルタイムエンコーダによるキーフレームの挿入に伴う符号化データ量の暫増タイミングが重なり、使用帯域がIP通信網の持つ帯域変動吸収力を超える可能性が高まり、パケット破棄を誘発する恐れが生ずる。
【０００６】
これを回避するためには、リアルタイムエンコーダの送信バッファによる緩衝量を予め増やして固定ビットレートで伝送を行うことが考えられるが、伝送遅延の増加を伴うという問題が生ずる。従来、非同期的に動作する複数のリアルタイムエンコーダがライブ映像を可変ビットレートで、IPネットワークを使用してリアルタイムで伝送する場合に適した帯域スケジューリングを行う簡便な方法はなかった。
【０００７】
本発明はこのような従来技術の問題を解消し、複数のリアルタイムエンコーダが同時かつ独立に動作する場合に、リアルタイムエンコーダ間でのキーフレームの生成タイミングを一元的に整合することにより、伝送遅延の低減を維持しながらIP通信網等での符号データのオーバーフローを回避できる映像中継システムにおけるキーフレーム挿入タイミング設定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、複数のリアルタイムエンコーダによりフレーム内相関とフレーム間相関を併用した圧縮符号化方式を用いて符号化された映像を、IPネットワークを介して受信クライアントへ配信する映像中継システムにおけるキーフレーム挿入タイミング設定方法において、各リアルタイムエンコーダのキーフレーム挿入周期を同じに設定し、かつ、リアルタイムエンコーダ間におけるキーフレーム挿入タイミングの時間差が最大となるようにリアルタイムエンコーダのキーフレーム挿入基準時刻を設定することを特徴とする。
また、本発明は、複数のリアルタイムエンコーダによりフレーム内相関とフレーム間相関を併用した圧縮符号化方式を用いて符号化された映像を、IPネットワークを介して受信クライアントへ配信する映像中継システムにおけるキーフレーム挿入タイミング設定方法において、各リアルタイムエンコーダのキーフレーム挿入周期を同じに設定し、かつ、リアルタイムエンコーダ間におけるキーフレーム挿入タイミングの時間差を使用通信帯域に応じて割り当て、その結果に基づいてリアルタイムエンコーダのキーフレーム挿入基準時刻を設定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、各リアルタイムエンコーダのキーフレーム挿入周期を同じ周期に設定し、かつ、リアルタイムエンコーダ間におけるキーフレーム挿入タイミングのずれをできる限り大きくなるようにキーフレーム挿入基準時刻を設定しているので、複数のリアルタイムエンコーダが同時かつ独立に動作する場合にも、送信バッファの容量を抑えながら、IPネットワーク網および中継サーバの受信バッファにおける符号化データ量の変動を緩和して平均バッファ滞留量を低減させることが可能となり、リアルタイムビデオ伝送の低遅延化に効果が得られる。
【００１０】
また、本発明によれば、各リアルタイムエンコーダのキーフレーム挿入周期を同じ周期に設定し、かつ、リアルタイムエンコーダの使用通信帯域に応じてキーフレームの符号化データを伝送するために使用する時間を割り振り、各リアルタイムエンコーダのキーフレーム挿入基準時刻を算出しているので、各リアルタイムエンコーダの送出するビデオ符号の使用通信帯域の差が大きい場合や、中継先の受信クライアント数の差が大きい場合や、これらの値の変動が激しい状況下にある場合でも、キーフレーム挿入時刻での高負荷な状態を時刻的に分散させることが可能となり、データ損失の回避および伝送遅延の効果が向上する。
【発明を実施するための最良の形態】
【００１１】
次に添付図面を参照して本発明による映像中継システムにおけるキーフレーム挿入タイミング設定方法の実施例を詳細に説明する。図１は本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第１の実施例を示す構成図である。この第１の実施例は、リアルタイムエンコーダ10-1〜10-4、IPネットワーク12,16、中継サーバ14および受信クライアント18-1〜18-4から構成され、リアルタイムエンコーダ10-1〜10-4と中継サーバ14はIPネットワーク12を介して接続され、中継サーバ14と受信クライアント18-1〜18-4はIPネットワーク16を介して接続されている。
【００１２】
リアルタイムエンコーダ10-1〜10-4と中継サーバ14はIPネットワーク12を介してパケットで通信を行い、中継サーバ14と受信クライアント18-1〜18-4はIPネットワーク16を介してパケットで通信を行う。なお、図１では、リアルタイムエンコーダ10および受信クライアント18の設置数をそれぞれ４としているがこの設置数に限定されるものではなく、リアルタイムエンコーダはビデオを中継配信するチャンネル数に応じて設置され、受信クライアント数は任意である。
【００１３】
リアルタイムエンコーダ10-1〜10-4は、ライブ映像を符号化して符号化データを出力するライブ映像符号化・伝送装置であり、同じ構成となっている。例えば、リアルタイムエンコーダ10-1は、図２に示すように符号エンジン100、送信バッファ102、送受信部104および制御部106を含む。なお、図２において、接続線に付した参照符号は同接続線に現れる信号を示す（図３、図６についても同様である）。
【００１４】
受信バッファ102および制御部106に接続されている符号化エンジン100は、制御部106からの開始信号116に従って符号化を開始し、ライブ映像110を構成する各ビデオフレームに対してフレーム内相関とフレーム間相関を併用した高能率圧縮符号化を行い、符号化データ112を出力するものである。なお、符号化エンジン100は、制御部106から供給されるタイミング信号118に従ってキーフレームを定期的に挿入し、フレーム内相関を利用した圧縮符号化を定期的に実行する。
【００１５】
送信バッファ102は、符号化データ112を一時格納するものである。符号化エンジン100は、前述したようにキーフレームの圧縮符号化を定期的に行う。しかし、キーフレームの符号化データは他のフレームの符号化データより単位時間当たりの符号量が格段に多いので、送信バッファ102は、符号化データ112を一時的にバッファリングすることでIPネットワークでの帯域超過を回避する。なお、ある程度の帯域超過はIPネットワークの持つ帯域変動吸収特性を利用して吸収できるので、符号化データ112のバッファリングは最小限に留めて伝送遅延の最小化を図る。
【００１６】
送信バッファ102および制御部106に接続されている送受信部104は、送信バッファ102に格納されている符号化データを符号化データ114として順次取り出し、IPネットワーク12を介して中継サーバ14の送受信部200へパケット124で送信するものである。また、送受信部104は、制御部106から出力される配信開始通知120を、IPネットワーク12を介して中継サーバ14の送受信部200へパケット124で送信し、送受信部200からIPネットワーク12を介して送られてくるパケット126を受信し、キーフレーム情報122を取り出して制御部106へ出力するものである。
【００１７】
制御部106は、ライブ映像の配信を開始する際に、配信開始を通知する配信開始通知120を生成して送受信部104へ出力し、送受信部104からキーフレーム情報122を受けたとき、符号化エンジン100へ符号化開始を指示する開始信号116を出力し、キーフレーム情報122に基づいてキーフレームを挿入するタイミングを示すタイミング信号118を順次生成して符号化エンジン100へ供給するものである。
【００１８】
図１に戻って、中継サーバ14は、リアルタイムエンコーダ10-1〜10-4から送られてきた符号化データを受信クライアント18-1〜18-4へ配信するものであるが、本実施例では、リアルタイムエンコーダ10-1〜10-4から配信開始通知を受信したとき、キーフレーム情報を生成してリアルタイムエンコーダへ送信する機能を備えている。図３は中継サーバ14の構成例を示す。この中継サーバ14は、送受信部200、受信バッファ202、ビデオポンプ204およびキーフレーム指示器206を含み、送受信部200およびビデオポンプ204は図１のIPネットワーク12,16にそれぞれ接続されている。
【００１９】
送受信部200は、リアルタイムエンコーダ10-1〜10-4からIPネットワーク12を介してパケット210で送られてくる符号化データおよび配信開始通知を受信し、それぞれ受信バッファ202およびキーフレーム指示器206へ出力するものであり、また、キーフレーム指示器208から出力されるキーフレーム情報220を、配信開始通知218を送ってきたリアルタイムエンコーダへIPネットワーク12を介してパケット222で送信するものである。なお、本実施例では、送受信部200からキーフレーム指示器206へ配信開始通知218を送る際に、その配信開始通知を送ってきたリアルタイムエンコーダを区別できる識別情報を配信開始通知218に付加する。
【００２０】
送受信部200に接続されている受信バッファ202は、符号化データ212を一時格納するものである。受信バッファ202に接続されているビデオポンプ204は、受信バッファ202に格納されている符号化データを符号化データ214として遂次取り出し、これを図１の受信クライアント18-1〜18-4へIPネットワーク16を介してパケット216で配信するものである。例えば、符号化データ214を送出したリアルタイムエンコーダを符号化データ214のパケットヘッダの情報に基づいて判別し、予めライブ映像の配信を希望する受信クライアントをリアルタイムエンコーダ毎に記録したテーブルに基づいて配信先を判定する。
【００２１】
送受信部200に接続されているキーフレーム指示器206は、キーフレームを挿入するタイミングを指示するキーフレーム情報220を生成してリアルタイムエンコーダへ送るものである。具体的には、送受信部200から配信開始通知218を受けたとき、その配信開始通知218を送ってきたリアルタイムエンコーダがキーフレームを挿入すべきタイミングを決定し、決定した挿入タイミングを示すキーフレーム情報220を生成して送受信部200へ出力し、配信開始通知を送ってきたリアルタイムエンコーダへ送信するように送受信部200に依頼する。
【００２２】
ところで、複数のリアルタイムエンコーダが同時かつ独立に動作する場合に、リアルタイムエンコーダの送信バッファの容量を小さくして伝送遅延量を低減するためには、単位時間当たりの符号量が大きくなるキーフレームを一定周期で挿入することが望ましい。本実施例では、各リアルタイムエンコーダにおけるキーフレーム挿入周期を同じ周期Tに設定している。また、IPネットワーク12および中継サーバ14の受信バッファ202における符号化データの符号量の変動を緩和して平均バッファ滞留量を低減させるためには、各リアルタイムエンコーダから出力されたキーフレームの符号化データは、互いにできる限り離れた間隔（時間差）で中継サーバ14の受信バッファ202に到着することが望ましい。
【００２３】
なお、各リアルタイムエンコーダから出力された符号化データがIPネットワーク12を介して中継サーバ14に到着するまでの伝送遅延は、それぞれのリアルタイムエンコーダから中継サーバ14に至るまでのネットワーク構成によって差が発生する。しかし、この伝送遅延の差は、キーフレームの挿入間隔に比べて非常に短いので無視することができる。
【００２４】
キーフレームの挿入タイミングは、最初にキーフレームを挿入するキーフレーム挿入基準時刻とこの挿入基準時刻から一定周期で順次キーフレームを挿入する際のキーフレーム挿入周期Tによって定義することができる。このキーフレーム挿入基準時刻は、各リアルタイムエンコーダと中継サーバとの間で共通して持つ絶対時刻の形式であってもよいし、または、中継サーバからリアルタイムエンコーダへキーフレーム挿入情報を出力した時刻を基準とする相対時刻の形式でもよい。
【００２５】
図４は、キーフレーム挿入タイミングの設定方法の一例を示す図であり、最初に起動したリアルタイムエンコーダのキーフレーム挿入周期Tにおける各リアルタイムエンコーダのキーフレーム挿入位置を示している。ただし、ｉ番目に起動したリアルタイムエンコーダのキーフレーム挿入位置をK(i)で表す。例えば、１番目に起動するリアルタイムエンコーダのキーフレーム挿入位置K(1)は、既に（０番目）に起動しているリアルタイムエンコーダのキーフレーム挿入位置K(0)（図４の周期Tの左右に位置する２つの挿入位置K(0)）からできる限りずれるように設定される。すなわち、リアルタイムエンコーダ間におけるキーフレーム挿入タイミングの時間差が最大となるように挿入位置が設定される。この場合、キーフレーム挿入位置K(1)は、周期Tの中間の位置であり、キーフレーム挿入位置K(0)から(1/2)×Tずれた位置になる。
【００２６】
また、２番目に起動するリアルタイムエンコーダのキーフレーム挿入位置K(2)は、先に起動した２つのリアルタイムエンコーダのキーフレーム挿入位置K(0)およびK(1)からできる限りずれるように設定される。この場合、挿入位置K(2)は挿入位置K(0)から(1/4)×Tずれた位置になる。同様に、３番目〜８番目に起動するたリアルタイムエンコーダのキーフレーム挿入位置K(3)〜K(8)は、挿入位置K(0)からそれぞれ(3/4)×T，(1/8)×T，(3/8)×T，(5/8)×T，(7/8)×T，(1/16)×Tずれた位置に設定される。９番目以降に起動するリアルタイムエンコーダのキーフレーム挿入位置も同様にして設定される。
【００２７】
中継サーバ14では、図４に示すキーフレーム挿入位置K(i)を予め算出してテーブルに記録しておき、リアルタイムエンコーダーダから配信開始通知を受けたとき、通知を受けた順番ｉを起動順番ｉとしてキーフレーム挿入位置K(i)をテーブルから読み出し、この挿入位置K(i)に対応するキーフレーム挿入基準時刻とキーフレーム挿入間隔Tとをリアルタイムエンコーダに指示する。なお、中継サーバ14は、リアルタイムエンコーダの起動・停止の状態を把握し、先に起動したリアルタイムエンコーダが動作を停止している場合には、そのリアルタイムエンコーダに与えたキーフレーム挿入位置を次に起動するリアルタイムエンコーダに対して指示してもよい。
【００２８】
図１に戻って受信クライアント18-1〜18-4は、中継サーバ14からIPネットワーク16を介してパケットで送られてくる符号化データを受信し、受信した符号化データを復号してライブ映像を得るものである。
【００２９】
このように構成された映像中継システムの動作を説明すると、例えば、リアルタイムエンコーダ10-1がライブ映像の配信を開始する際、リアルタイムエンコーダ10-1の制御部106では、配信開始を通知する配信開始通知120を生成して送受信部104へ出力する。送受信部104ではIPネットワーク12を介して配信開始通知120を中継サーバ14の送受信部200へ送信する。
【００３０】
中継サーバ14の送受信部200では、リアルタイムエンコーダ10-1から受信開始通知を受信すると、これを配信開始通知218としてキーフレーム指示器206へ出力する。キーフレーム指示器206では、配信開始通知218を受けたとき、その通知が何番目に受けた通知であるかを判断してリアルタイムエンコーダ10-1の起動順番を判定し、その順番に対応するキーフレーム挿入位置K(i)をテーブルから見出し、挿入位置K(i)を示すキーフレーム挿入基準時刻とキーフレーム挿入周期Tとを指示するキーフレーム情報220を生成して送受信部200へ出力する。送受信部200ではキーフレーム情報220をリアルタイムエンコーダ10-1へ送信する。
【００３１】
リアルタイムエンコーダ10-1の送受信部104では、中継サーバ14の送受信部200から送られてきたキーフレーム情報を受信するとこれをキーフレーム情報122として制御部106へ出力する。制御部106では、キーフレーム情報122を受けると符号化エンジン100に対して開始信号116を出力して符号化の開始を指示し、キーフレーム情報122に基づいてタイミング信号118を順次生成して符号化エンジン100へ供給する。
【００３２】
符号化エンジン100では、開始信号116に従って符号化を開始し、生成した符号化データ112を送信バッファ102へ出力する。ただし、キーフレームの符号化は制御部106から供給されるタイミング信号118に従って定期的に実行する。送信バッファ102では、符号化データ112を一時格納し、送受信部104では、送信バッファ102から符号化データ114を遂次取り出して中継サーバ14の送受信部200へ送信する。
【００３３】
中継サーバ14の送受信部200では、リアルタイムエンコーダ10-1から送られてくる符号化データを受信すると、これを符号化データ212として受信バッファ202へ出力する。受信バッファ202では符号化データ212を一時格納する。ビデオポンプ204では、受信バッファ202に格納されている符号化データを符号化データ214として遂次取り出し、配信を希望する受信クライアント、例え受信クライアント18-3および18-4へ順次送信する。受信クライアント10-3,10-4では、中継サーバ14からの符号化データを受信し、復号してライブ映像を得る。
【００３４】
以上説明したように第１の実施例によれば、各リアルタイムエンコーダのキーフレーム挿入周期を同じ周期Tとし、キーフレーム挿入基準時刻を、各リアルタイムエンコーダから送信されたキーフレームの符号化データが互いにできる限り離れた間隔で中継サーバに到着するように設定しているので、複数のリアルタイムエンコーダが同時かつ独立に動作する場合にも、送信バッファの容量を抑えながら、IPネットワーク網および中継サーバの受信バッファにおける符号化データ量の変動を緩和して平均バッファ滞留量を低減させることができ、リアルタイムビデオ伝送の低遅延化に効果がある。
【００３５】
図５は、本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第２の実施例である。この第２の実施例は、図１に示す映像中継システムの中継サーバ14を中継サーバ20に置き換えたものである。中継サーバ20は、図６に示すように、図２に示す中継サーバ14のキーフレーム指示器206をキーフレーム指示器250に置き換え、ビデオポンプ204とキーフレーム指示器250との間に使用帯域情報管理部252を接続したものである。
【００３６】
使用帯域情報管理部252は使用帯域情報を管理テーブルに記録して管理するものであり、使用帯域情報は、リアルタイムエンコーダ毎の、平均使用帯域A(i)とビデオ符号の中継先である受信クライアント数B(i)とから構成される。
【００３７】
本実施例におけるビデオポンプ204は、この使用帯域情報を更新する機能を備えている。具体的には、リアルタイムエンコーダから送られてくる符号化データの受信を開始するとき、リアルタイムエンコーダが送信する平均使用帯域を検知して該当する平均使用帯域A(i)を更新情報254により更新し、符号化データの受信を停止するとき、該当する平均使用帯域A(i)を更新情報254により０にする機能を有する。また、ビデオポンプ204は、符号化データの中継先である受信クライアント数に増減が生じたとき、該当する受信クライアント数B(i)を更新情報256により更新する機能を有する。
【００３８】
キーフレーム指示器250は、使用帯域管理部252の使用帯域情報が更新されたとき、管理テーブルから使用帯域情報258を読み出して各リアルタイムエンコーダのキーフレーム挿入基準時刻を算出し、全リアルタイムエンコーダに指示するものである。具体的には、リアルタイムエンコーダｉからのビデオ符号受信、受信クライアントへの中継に係るビデオポンプおよびIPネットワークの負荷の割合W(i)を、平均使用帯域（平均使用通信帯域）A(i)および受信クライアント数B(i)を用いて式(1)により算出する（以下、W(i)を中継サーバ負荷と称する）。
【００３９】
W(i)＝A(i)×(B(i)+1)          (1)
次いで、リアルタイムエンコーダｉにより生成されたキーフレームの符号化データが中継サーバ20の受信バッファ202に到着する時刻とリアルタイムエンコーダi+1により生成されたキーフレームの符号化データが受信バッファ202に到着する時刻の差（時間差）D(i)が式(2)を満足するように、リアルタイムエンコーダｉのキーフレームの挿入基準時刻K(i)を決定する。挿入基準時刻K(i)は式(3)により求めることができる。なお、時刻の差D(i)は、ｉ番目のリアルタイムエンコーダがキーフレーム符号化データの伝送に使用できる時間である。
【００４０】
D(i)＝W(i)/W×T          (2)
K(i)＝D(0)+D(1)+...+D(i-1)          (3)
ここで、W＝W(0)+W(1)+...+W(I-1)、Iは同時動作中のリアルタイムエンコーダ数、Tはキーフレーム挿入周期である。式(2),(3)から分かるように、各リアルタイムエンコーダのキーフレーム挿入基準時刻K(i)は、中継サーバ負荷W(i)の大きさに応じて、リアルタイムエンコーダのキーフレームを構成する符号化データの到着時刻から次のリアルタイムエンコーダのキーフレームを構成する符号化データの到着時刻までの期間D(i)が長くなるように決定されているので、ネットワークおよび受信バッファの時間当たりの配信負荷が平滑化されることとなる。
【００４１】
図５のリアルタイムエンコーダ10-1〜10-4および受信クライアント18-1〜18-4の動作は図１の同一参照符号を付した要素と同じであるので、中継サーバ20の動作について説明する。キーフレーム指示器250では、使用帯域管理部252により管理されている使用帯域情報がビデオポンプ204により更新されたとき、管理テーブルから更新後の使用帯域情報258を読み出し、同時に動作するリアルタイムエンコーダのキーフレーム挿入基準時刻を式(1)〜(3)を使用して算出する。
【００４２】
例えば、使用帯域管理部208が管理する使用帯域情報の平均使用帯域A(i)および受信クライアント数B(i)が、図７に示すように、エンコーダ番号０〜３に対してそれぞれ300kbps,500kbps,50kbps,600kbpsおよび4,3,9,0であるとき、キーフレーム指示器250では、先ず、中継サーバ負荷W(i)を式(1)により算出する。この場合、中継サーバ負荷W(i)は、エンコーダ番号０〜３に対してそれぞれ1500,2000,500,600となり、中継サーバ負荷W(i)の合計Wは4600となる。
【００４３】
次いで、キーフレーム指示器250では、キーフレームの符号化データの伝送に優先して使用する時間D(i)を式(2)により算出する。この場合、時間D(i)は、図８に示すように、エンコーダ番号０〜３に対してそれぞれ1500/4600×T,2000/4600×T,500/4600×T,600/4600×Tとなる。続いて、キーフレーム挿入基準位置K(i)を式(3)により算出する。この場合、キーフレーム挿入基準位置K(i)は、図９に示すように、エンコーダ番号０〜３に対してそれぞれ0,D(0),D(0)+D(1),D(0)+D(1)+D(2)となる。図10は、このようにして算出されたエンコーダ番号０〜３に対するキーフレーム挿入基準位置K(1)〜K(3)を示す。
【００４４】
このようにキーフレーム指示器250では、使用帯域情報管理部252内の使用帯域情報の更新をトリガーとしてキーフレーム挿入基準位置K(i)を算出し、算出したキーフレーム挿入基準位置K(i)に対応するキーフレーム挿入基準時刻とキーフレーム挿入周期Tとを指示するキーフレーム情報を生成して各リアルタイムエンコーダへ送る。各リアルタイムエンコーダでは、中継サーバ20からキーフレーム情報が与えられるとキーフレーム挿入タイミングを再設定する。なお、受信クライアント数B(i)の変動が高頻繁に発生する場合は、B(i)の変動数がある範囲を超えたときだけ指示するようにしてもよい。なお、キーフレーム挿入周期Tは、図１の実施例の場合と同様に、全てのリアルタイムエンコーダに対して同一の値である。
【００４５】
以上のように、第２の実施例によれば、各リアルタイムエンコーダの送出する符号化データの使用通信帯域や中継先の受信クライアント数が変動した場合に、各リアルタイムエンコーダの送出する符号化データの使用通信帯域の差および中継先の受信クライアント数の差に応じてキーフレーム符号化データを伝送するために使用する時間を割り振り、各リアルタイムエンコーダのキーフレーム挿入基準時刻を算出しているので、各リアルタイムエンコーダの送出するビデオ符号（符号化データ）の使用通信帯域の差が大きかったり、中継先の受信クライアント数の差が大きかったり、これらの値の変動が激しい状況下でも、キーフレーム挿入時刻での高負荷な状態を時刻的に分散させることができ、データ損失の回避および伝送遅延の効果がさらに向上する。
【００４６】
図11は、本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第３の実施例である。図１に示す映像中継システムでは、中継サーバ14がリアルタイムエンコーダ10-1〜10-4からのビデオ符号を受信クライアント18-1〜18-4へ中継していた。しかし、受信クライアント22がリアルタイムエンコーダ10-1〜10-4からのビデオ符号を受信して再生する場合は、図11のように、中継サーバを省略することができる。このような場合、受信クライアント22内にキーフレーム指示器を設置すればよい。
【００４７】
図12は、本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第４の実施例である。図１に示す映像中継システムでは、独立して動作するリアルタイムエンコーダ10-1〜10-4を設けていた。しかし、リアルタイムエンコーダ10-1〜10-4を１つのマルチリアルタイムエンコーダ24に収容してもよい。このよう場合、キーフレーム指示器をマルチリアルタイムエンコーダ24内に設置することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第１の実施例を示す構成図である。
【図２】図１に示す映像中継システムにおけるリアルタイムエンコーダの構成例を示すブロック図である。
【図３】図１に示す映像中継システムにおける中継サーバの構成例を示すブロック図である。
【図４】図１に示す映像中継システムにおけるリアルタイムエンコーダのキーフレーム挿入位置を示す図である。
【図５】本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第２の実施例を示す構成図である。
【図６】図５に示す映像中継システムにおける中継サーバの構成例を示すブロック図である。
【図７】図６に示す中継サーバにおける使用帯域管理部が管理する管理テーブルの一例を示す図である。
【図８】図７に示す管理テーブルの使用帯域情報例を使用して算出した、リアルタイムエンコーダのキーフレーム伝送に優先して使用する時間を示す図である。
【図９】図７に示す管理テーブルの使用帯域情報例を使用して算出した、リアルタイムエンコーダのキーフレーム挿入基準位置を示す図である。
【図１０】図９に示す各キーフレーム挿入基準位置の時間的な位置関係を示す図である。
【図１１】本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第３の実施例を示す構成図である。
【図１２】本発明によるキーフレーム挿入タイミング設定方法を適用した映像中継システムの第４の実施例を示す構成図である。
【符号の説明】
【００４９】
10-1〜10-4  リアルタイムエンコーダ
12、16  IPネットワーク
14、20  中継サーバ
18-1〜18-4、22  受信クライアント
24  マルチリアルタイムエンコーダ
100  符号化エンジン
102  送信バッファ
104、200  送受信部
106  制御部
202  受信バッファ
204  ビデオポンプ
206、250  キーフレーム指示器
252  使用帯域情報管理部
【図１】
2005244803.tif 000003
【図２】
2005244803.tif 000004
【図３】
2005244803.tif 000005
【図４】
2005244803.tif 000006
【図５】
2005244803.tif 000007
【図６】
2005244803.tif 000008
【図７】
2005244803.tif 000009
【図８】
2005244803.tif 000010
【図９】
2005244803.tif 000011
【図１０】
2005244803.tif 000012
【図１１】
2005244803.tif 000013
【図１２】
2005244803.tif 000014