(57)【要約】【課題】輻輳が起きたときでもフレームレートを下げることなく帯域を効率良く使用することができる動画像送信端末を提供することを目的とする。【解決手段】１フレームの動画像データの符号化時にその動画像データを複製した複製フレームを挿入できるようにして、輻輳の状態が重いときには複製フレームの挿入数を増やして伝送レートを低減させ、輻輳の状態が軽いときは複製フレームの挿入数を減らして伝送レートの低減率を低く抑えるようにする。これにより、輻輳の状態に応じてネットワークの伝送帯域を低減することが可能となる。さらに、輻輳の状態に応じてフレームレートを変える方式とは異なり、フレームレート変動時に生じるＩフレームの増加を無くすことが可能となる。【選択図】      図１
2004179685.tif 000002
【特許請求の範囲】
【請求項１】
パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信端末において、新規の動画像フレームとその新規の動画像フレームの複製を記憶する動画像フレーム記憶手段と、前記動画像フレーム記憶手段に記憶された動画像フレームを符号化する符号化手段と、前記動画像受信端末が動画像フレームのパケットを受信することで通知してきたパケットロス率及び往復伝搬遅延時間に基づいて新規の動画像フレームを伝送するための伝送レートを算出する伝送レート算出手段と、前記符号化手段から出力されるデータ量を監視して新規の動画像フレームの出力レートを決める伝送レート決定手段と、前記伝送レート算出手段で算出された伝送レートと前記伝送レート決定手段で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、前記符号化手段に新規の動画像フレームを入力し、前記動画像出力レートが前記伝送レートより高ければ、新規の動画像フレームの送信後、前記動画像出力レートと前記伝送レートとの差分値に応じた回数だけ新規の動画像フレームを複製した複製フレームを前記符号化手段に入力するレート制御手段と、を具備することを特徴とする動画像送信端末。
【請求項２】
前記レート制御手段は、閾値と複製フレームの連続挿入数を一対の情報として複数登録するレート制御テーブルを具備し、このレート制御テーブルを参照して、前記動画像出力レートと前記伝送レートとの差分値と一致する閾値を調べて複製フレームの連続挿入数を決定することを特徴とする請求項１に記載の動画像送信端末。
【請求項３】
パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信端末において、新規の動画像フレームとその１つ前に送信した動画像フレームの複製を記憶する動画像フレーム記憶手段と、前記動画像フレーム記憶手段に記憶された動画像フレームを符号化する符号化手段と、前記動画像受信端末が動画像フレームのパケットを受信することで通知してきたパケットロス率及び往復伝搬遅延時間に基づいて新規の動画像フレームの伝送レートを算出する伝送レート算出手段と、前記符号化手段から出力されるデータ量を監視して新規の動画像フレームの出力レートを決定する伝送レート決定手段と、前記伝送レート算出手段で算出された伝送レートと前記伝送レート決定手段で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、新規の動画像フレームを前記符号化手段に入力し、前記動画像出力レートが前記伝送レートより高ければ、そのときの差分値に応じた周期で新規の動画像フレームの複製フレームを前記符号化手段に入力する制御を行うレート制御手段と、を具備することを特徴とする動画像送信端末。
【請求項４】
前記レート制御手段は、閾値と複製フレームの連続挿入周期を一対の情報として複数登録するレート制御テーブルを具備し、このレート制御テーブルを参照して、前記動画像出力レートと前記伝送レートとの差分値と一致する閾値を調べて複製フレームの連続挿入周期を決定することを特徴とする請求項３に記載の動画像送信端末。
【請求項５】
請求項１から請求項４のいずれかに記載の動画像送信端末と、前記動画像送信端末から送信された動画像フレームのパケットを受信することでパケットロス率と往復伝搬遅延時間を算出して前記動画像送信端末に通知する動画像受信端末と、を具備することを特徴とする動画像伝送システム。
【請求項６】
パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信プログラムにおいて、動画像フレームを符号化する符号化手順と、前記動画像受信端末から送信されたパケットロス率及び往復伝搬遅延時間のフィードバック情報が受信されるた場合、受信されたフィードバック情報に基づいて新規の動画像フレームの伝送レートを算出する伝送レート算出手順と、圧縮符号化後のデータ量に基づいて新規の動画像フレームの出力レートを決定する出力レート決定手順と、前記伝送レート算出手順で算出された伝送レートと前記出力レート決定手順で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、新規の動画像フレームをそのまま符号化処理させ、前記動画像出力レートが前記伝送レートより高ければ、新規の動画像フレームを符号化処理させるとともに、そのときの差分値に応じた回数だけ新規の動画像フレームの複製フレームを符号化処理させるレート制御手順と、を具備することを特徴とする動画像送信プログラム。
【請求項７】
パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信プログラムにおいて、動画像フレームを符号化する符号化手順と、前記動画像受信端末から送信されたパケットロス率及び往復伝搬遅延時間のフィードバック情報が受信された場合、そのフィードバック情報に基づいて新規の動画像フレームの伝送レートを算出する伝送レート算出手順と、圧縮符号化後のデータ量に基づいて新規の動画像フレームの出力レートを決定する出力レート決定手順と、前記伝送レート算出手順で算出された伝送レートと前記出力レート決定手順で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、新規の動画像フレームをそのまま符号化処理させ、前記動画像出力レートが前記伝送レートより高ければ、新規の動画像フレームを符号化処理させるとともに、そのときの差分値に応じた周期で新規の動画像フレームの複製フレームを符号化処理させるレート制御手順と、を具備することを特徴とする動画像送信プログラム。
【請求項８】
記憶媒体に記憶されたプログラムを読み出して装置各部の制御を行うコンピュータと、請求項６又は請求項７のいずれかに記載の動画像送信プログラムを記憶した記憶媒体と、を具備することを特徴とする動画像送信端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像受信端末に向けて、符号圧縮した動画像を送信する動画像送信端末に関する。
【０００２】
【従来の技術】
近年、ネットワークの高速、広帯域化によって動画像の送信が可能となった。また、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に代表される動画像符号化技術の発達により動画像情報の削減が可能となり、ネットワークカメラに代表されるリアルタイム動画像の送信が可能となった。また、可変ビットレート符号化（ＶＢＲ：Ｖａｒｉａｂｌｅ  Ｂｉｔ  Ｒａｔｅ）により、動画像の特性に応じた効率的な動画像符号化も可能となった。
【０００３】
ところで、ネットワークで動画像を送信するにあたっては、ＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）やＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）に代表されるデータがネットワーク上を流れることが考えられるが、使用できる帯域が制限されることもあって、パケットが途中で廃棄されて動画像の画質に劣化が生じてしまうことがある。この問題を解決するために動画像の受信端末が送信端末に対してパケットロス率と遅延揺らぎを通知することにより、送信端末が輻輳を検出して伝送レートを下げる技術が案出されている。また、伝送レートを下げる技術の中にはフレームレートを下げるという手法がある（例えば非特許文献１参照）。
【０００４】
【非特許文献１】
“ＲＴＰを利用した動画配信システムにおけるＱｏＳ制御方式，”情報処理学会研究報告，２０００−ＤＰＳ−９９，ｐ４９−ｐ５４
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の動画像伝送システムにおいては、次のような問題がある。
すなわち、ＭＰＥＧにおいて、フレームレートを下げる場合、下げる瞬間にＩフレーム（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）を送信する必要がある。このため、一時的に伝送レートが上がってパケットロスの原因になる。
【０００６】
また、動画像の送信端末が受信端末からパケットロス率と遅延揺らぎの報告を受けることによって輻輳を検出して伝送レートを下げるようにする場合、可変ビットレート符号化には動画像の動きが大きければ伝送レートが高くなり、動画像の動きが小さければ伝送レートが低くなるという特徴があるので、輻輳を検出した時点では動画像の動きはなく伝送レートが十分低くなっていることが考えられ、フレームレートを低減することによって伝送レートをさらに下げてしまうと帯域を効率良く使用することが困難になる。
【０００７】
本発明は係る点に鑑みてなされたものであり、輻輳が起きたときでもフレームレートを下げることなく帯域を効率良く使用することができる動画像送信端末を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に係る発明の動画像送信端末は、パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信端末において、新規の動画像フレームとその新規の動画像フレームの複製を記憶する動画像フレーム記憶手段と、前記動画像フレーム記憶手段に記憶された動画像フレームを符号化する符号化手段と、前記動画像受信端末が動画像フレームのパケットを受信することで通知してきたパケットロス率及び往復伝搬遅延時間に基づいて新規の動画像フレームを伝送するための伝送レートを算出する伝送レート算出手段と、前記符号化手段から出力されるデータ量を監視して新規の動画像フレームの出力レートを決める伝送レート決定手段と、前記伝送レート算出手段で算出された伝送レートと前記伝送レート決定手段で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、前記符号化手段に新規の動画像フレームを入力し、前記動画像出力レートが前記伝送レートより高ければ、新規の動画像フレームの送信後、前記動画像出力レートと前記伝送レートとの差分値に応じた回数だけ新規の動画像フレームを複製した複製フレームを前記符号化手段に入力するレート制御手段と、を具備する構成を採る。
【０００９】
この構成によれば、動画像フレームを出力する動画像出力レートが伝送レートより高い場合、新規の動画像フレームを複製した複製フレームを動画像出力レートと伝送レートの差分値に応じた回数だけ符号化処理して動きの無い画像を実現する。これにより、符号化による圧縮率が高まり、符号化後の動画像フレームの出力量即ち動画像出力レートが低減する。
【００１０】
したがって、輻輳が起きたときでもフレームレートを下げる必要がないので、Ｉフレームの送信が不要となり、パケットロスが生ずることがない。また、可変ビットレート符号化との整合性を考慮したレート制御が可能となるので、ネットワーク帯域をより有効に使用することが可能となる。
【００１１】
請求項２に係る発明の動画像送信端末は、請求項１に係る発明の動画像送信端末において、前記レート制御手段は、閾値と複製フレームの連続挿入数を一対の情報として複数登録するレート制御テーブルを具備し、このレート制御テーブルを参照して、前記動画像出力レートと前記伝送レートとの差分値と一致する閾値を調べて複製フレームの連続挿入数を決定する構成を採る。
【００１２】
この構成によれば、閾値と複製フレームの連続挿入数を一対の情報として複数登録したレート制御テーブルを有しているので、このレート制御テーブルを参照することで輻輳状態に応じた複製フレームの連続挿入数を容易に取得することができる。これにより、符号化後の動画像フレームの出力量、即ち動画像出力レートの低減を正確に行うことが可能となる。
【００１３】
請求項３に係る発明の動画像送信端末は、パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信端末において、新規の動画像フレームとその１つ前に送信した動画像フレームの複製を記憶する動画像フレーム記憶手段と、前記動画像フレーム記憶手段に記憶された動画像フレームを符号化する符号化手段と、前記動画像受信端末が動画像フレームのパケットを受信することで通知してきたパケットロス率及び往復伝搬遅延時間に基づいて新規の動画像フレームの伝送レートを算出する伝送レート算出手段と、前記符号化手段から出力されるデータ量を監視して新規の動画像フレームの出力レートを決定する伝送レート決定手段と、前記伝送レート算出手段で算出された伝送レートと前記伝送レート決定手段で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、新規の動画像フレームを前記符号化手段に入力し、前記動画像出力レートが前記伝送レートより高ければ、そのときの差分値に応じた周期で新規の動画像フレームの複製フレームを前記符号化手段に入力する制御を行うレート制御手段と、を具備する構成を採る。
【００１４】
この構成によれば、動画像フレームの動画像出力レートが伝送レートより高い場合、新規の動画像フレームの複製フレームを動画像出力レートと伝送レートの差分値に応じた周期で符号化処理して動きの無い画像を実現する。これにより、符号化による圧縮率が高まり、符号化後の動画像フレームの出力量即ち動画像出力レートが低減する。
【００１５】
したがって、輻輳が起きたときでもフレームレートを下げる必要がないので、Ｉフレームの送信が不要となりパケットロスが生ずることがない。また、可変ビットレート符号化との整合性を考慮したレート制御が可能となるので、ネットワーク帯域をより有効に使用することが可能となる。
【００１６】
請求項４に係る発明の動画像送信端末は、請求項３に係る発明の動画像送信端末において、前記レート制御手段は、閾値と複製フレームの連続挿入周期を一対の情報として複数登録するレート制御テーブルを具備し、このレート制御テーブルを参照して、前記動画像出力レートと前記伝送レートとの差分値と一致する閾値を調べて複製フレームの連続挿入周期を決定する構成を採る。
【００１７】
この構成によれば、閾値と複製フレームの連続挿入周期を一対の情報として複数登録するレート制御テーブルを有しているので、このレート制御テーブルを参照することで輻輳状態に応じた複製フレームの連続挿周期を容易に取得することができる。これにより、符号化後の動画像フレーム出力量、即ち動画像出力レートの低減を正確に行うことが可能となる。
【００１８】
請求項５に係る発明の動画像伝送システムは、請求項１から請求項４のいずれかに記載の動画像送信端末と、前記動画像送信端末から送信された動画像フレームのパケットを受信することでパケットロス率と往復伝搬遅延時間を算出して前記動画像送信端末に通知する動画像受信端末と、を具備する構成を採る。
【００１９】
この構成によれば、ネットワークの輻輳状態に応じたレート制御を行うことができる動画像伝送システムを実現できる。
【００２０】
請求項６に係る発明の動画像送信プログラムは、パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信プログラムにおいて、動画像フレームを符号化する符号化手順と、前記動画像受信端末から送信されたパケットロス率及び往復伝搬遅延時間のフィードバック情報が受信されるた場合、受信されたフィードバック情報に基づいて新規の動画像フレームの伝送レートを算出する伝送レート算出手順と、圧縮符号化後のデータ量に基づいて新規の動画像フレームの出力レートを決定する出力レート決定手順と、前記伝送レート算出手順で算出された伝送レートと前記出力レート決定手順で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、新規の動画像フレームをそのまま符号化処理させ、前記動画像出力レートが前記伝送レートより高ければ、新規の動画像フレームを符号化処理させるとともに、そのときの差分値に応じた回数だけ新規の動画像フレームの複製フレームを符号化処理させるレート制御手順と、を具備する。
【００２１】
このプログラムによれば、動画像フレームの動画像出力レートが伝送レートより高い場合、新規の動画像フレームの複製フレームを、動画像出力レートと伝送レートの差分値に応じた回数だけ符号化処理して動きの無い画像を実現する。これにより、符号化による圧縮率が高まるので、符号化後の動画像フレームの出力量即ち動画像出力レートが低減する。
【００２２】
したがって、輻輳が起きたときでもフレームレートを下げる必要がないので、Ｉフレームの送信が不要となりパケットロスが生ずることがない。また、可変ビットレート符号化との整合性を考慮したレート制御が可能となるので、ネットワーク帯域をより有効に使用することが可能となる。
【００２３】
請求項７に係る発明の動画像送信プログラムは、パケット処理した動画像フレームをネットワーク経由で動画像受信端末へ送信する動画像送信プログラムにおいて、動画像フレームを符号化する符号化手順と、前記動画像受信端末から送信されたパケットロス率及び往復伝搬遅延時間のフィードバック情報が受信された場合、そのフィードバック情報に基づいて新規の動画像フレームの伝送レートを算出する伝送レート算出手順と、圧縮符号化後のデータ量に基づいて新規の動画像フレームの出力レートを決定する出力レート決定手順と、前記伝送レート算出手順で算出された伝送レートと前記出力レート決定手順で決定された動画像出力レートとを比較し、前記動画像出力レートが前記伝送レート以内であれば、新規の動画像フレームをそのまま符号化処理させ、前記動画像出力レートが前記伝送レートより高ければ、新規の動画像フレームを符号化処理させるとともに、そのときの差分値に応じた周期で新規の動画像フレームの複製フレームを符号化処理させるレート制御手順と、を具備する構成を採る。
【００２４】
このプログラムによれば、動画像フレームの動画像出力レートが伝送レートより高い場合には、新規の動画像フレームの複製フレームを、動画像出力レートと伝送レートの差分値に応じた周期で符号化処理することで、動きの無い画像を実現する。これにより、符号化による圧縮率が高まるので、符号化後の動画像フレームの出力量即ち動画像出力レートが低減する。
【００２５】
したがって、輻輳が起きたときでもフレームレートを下げることがないので、Ｉフレームの送信が不要となりパケットロスが生ずることがない。また、可変ビットレート符号化との整合性を考慮したレート制御が可能となるので、ネットワーク帯域をより有効に使用することができる。
【００２６】
請求項８に係る発明の動画像送信端末は、記憶媒体に記憶されたプログラムを読み出して装置各部の制御を行うコンピュータと、請求項６又は請求項７のいずれかに係る発明の動画像送信プログラムが記憶された記憶媒体と、を具備する構成を採る。
【００２７】
この構成によれば、動画像出力レートが伝送レートより高い場合には、新規の動画像フレームの複製フレームを動画像出力レートと伝送レートの差分値に応じた回数又は周期で符号化処理して動きの無い画像を実現する。これにより、符号化による圧縮率が高まり、符号化後の動画像フレームの出力量即ち動画像出力レートが低減する。
【００２８】
したがって、輻輳が起きたときでもフレームレートを下げることがないので、Ｉフレームの送信が不要となりパケットロスが生ずることがない。また、可変ビットレート符号化との整合性を考慮したレート制御が可能となるので、ネットワーク帯域をより有効に使用することができる。
【００２９】
【発明の実施の形態】
本発明の骨子は、動画像送信端末において、符号化データ量を監視して新規の動画像フレームの出力レートを求めるとともに、動画像受信端末から通知されたパケットロス率と往復伝搬遅延時間とから次に送信するデータの伝送レートを求め、さらに、求めた伝送レートと動画像出力レートとを比較して動画像出力レートの方が高い場合には動画像出力レートを下げるように、新規の動画像フレームの複製フレームを複数回符号化処理することでネットワークの輻輳状態に応じたレート制御を行うことである。
【００３０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３１】
（実施の形態１）
図１は、本発明の実施の形態１に係る動画像伝送システムの構成を示すブロック図である。
この図において、本実施の形態に係る動画像伝送システム１００は、動画像受信端末１０８と、テレビカメラ等の撮影機１０１が接続された動画像送信端末１０９とを備えている。動画像送信端末１０９は、バッファ管理部１０２と、符号化部１０３と、出力監視部１０４と、伝送部１０５と、伝送レート算出部１０６と、レート制御部１０７とを備えている。
【００３２】
バッファ管理部１０２は、撮影機１０１から出力された新規の動画像の１フレーム（以下、動画像フレームと呼ぶ）とその動画像フレームを複製したものを格納する機能を有する。符号化部１０３は、バッファ管理部１０２から出力された動画像フレームの符号化圧縮を行う。出力監視部１０４は、符号化部１０３から出力されたデータ量を監視して次に送信する動画像フレームの出力レートを決定する。伝送部１０５は、出力監視部１０４を通して符号化部１０３から出力された圧縮符号化された動画像フレームをＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワーク等のネットワークへ送出する。
【００３３】
伝送レート算出部１０６は、動画像受信端末１０８に動画像フレームを送信することで、動画像受信端末１０８から通知されるパケットロス率と往復伝搬遅延時間（以下、これらを総称してフィードバック情報という）を元に送信可能な伝送レートを算出する。この伝送レートは次式により求めることができる。
伝送レート＝Ｓ／（Ｐ×Ｒ）
但し、Ｓは１個のパケットの平均サイズ、Ｐはパケットロス率、Ｒは往復伝搬遅延時間である。
【００３４】
レート制御部１０７は、伝送レート算出部１０６で算出された伝送レートと出力監視部１０４で算出された動画像出力レートを比較し、動画像出力レートが伝送レート以内であればバッファ管理部１０２に格納されている新規の動画像フレームを符号化部１０３に入力する制御を行う。一方、動画像出力レートが伝送レートより高ければ、そのときの差分値に応じた回数だけバッファ管理部１０２に格納されている新規の動画像フレームの複製フレームを連続して符号化部１０３へ出力する制御を行う。
【００３５】
レート制御部１０７には、図２に示すようなレート制御テーブル２００が設けられており、このレート制御テーブル２００には伝送レート算出部１０６で算出された伝送レートと出力監視部１０４で算出された動画像出力レートが格納されるとともに、閾値と複製フレームの連続挿入数とが対となった複数のデータが格納される。バッファ管理部１０２には、図３に示すようなバッファ管理テーブル３００が設けられており、このバッファ管理テーブル３００には送信済みの複製フレーム数が格納される。
【００３６】
次に、本実施の形態に係る動画像伝送システムの動作について、図４〜図８に示すフローチャートを参照して説明する。
【００３７】
（全体処理）
図４は、本実施の形態に係る動画像伝送システムの動画像送信端末１０９の全体処理を示すフローチャートである。
この図において、まずフィードバック情報（往復伝搬遅延時間及びパケットロス率）の受信の有無を判定する（ステップ４０１）。フィードバック情報を受信した場合には伝送レート算出処理を行う（ステップ４０２）。この伝送レート算出処理では、受信したフィードバック情報を元に送信する動画像フレームの伝送レートを算出する。伝送レート算出処理を行った後、レート制御を行う（ステップ４０３）。このレート制御処理では、伝送レートと動画像出力レートとを比較し、その差分に応じた複製フレーム挿入数の決定を行う。レート制御処理を行った後、バッファ管理処理を行う（ステップ４０４）。
【００３８】
一方、上記ステップ４０１の判定において、フィードバック情報を受信していない場合は、伝送レート算出及びレート制御処理をそれぞれスキップして直接バッファ管理処理を行う。バッファ管理処理では、次に符号化する動画像フレームの決定を行う。すなわち、新規又は１つ前の動画像フレームのいずれか一方を決める。この場合、１つ前の動画像フレームとは、１つ前の動画像フレームを複製したフレームのことである。このバッファ管理処理を行った後、符号化処理を行う（ステップ４０５）。符号化処理後、出力監視処理即ち符号化圧縮した動画像フレームの出力レートを算出する（ステップ４０６）。動画像データの出力レートを算出した後、伝送処理を行う（ステップ４０７）。この処理では先の処理で算出した出力レートで符号化圧縮した動画像フレームをネットワークへ送出する。
【００３９】
次に、上述した各処理の詳細について説明する。
（伝送レート算出処理）
図５は、伝送レート算出部１０６における伝送レート算出処理を示すフローチャートである。
この図において、まず受信したフィードバック情報からパケットロス率を取得し（ステップ５０１）、次いでフィードバック情報から往復伝搬遅延時間を取得する（ステップ５０２）。そして、取得したパケットロス率と往復伝搬遅延時間とから伝送レートを算出する（ステップ５０３）。算出した伝送レートをレート制御テーブル２００に格納する。
【００４０】
（レート制御処理）
図６は、レート制御部１０７におけるレート制御処理を示すフローチャートである。
この図において、まず伝送レート算出部１０６のレート制御テーブル２００から伝送レートを取得し（ステップ６０１）、更にレート制御テーブル２００から動画像出力レートを取得する（ステップ６０２）。そして、取得した伝送レートと動画像出力レートとの差分を求める（ステップ６０３）。そして、求めた差分が「０」より大きいか否かを判定し（ステップ６０４）、「０」より大きい場合（即ち伝送レートが動画像出力レートよりも大きい場合）は、複製フレームの連続挿入数を１つ下げる（ステップ６０５）。すなわち、現在の複製フレームの連続挿入数が例えば「２」であれば「１」にする。なお、現在の複製フレームの連続挿入数が「０」であれば、そのまま「０」とする。
【００４１】
一方、ステップ６０４の判定において、伝送レートと動画像出力レートとの差分が「０」以下である場合（即ち動画像出力レートが伝送レートより大きい場合）は、その差分値をレート制御テーブル２００に格納されている各閾値と比較し、一致する閾値を検索する（ステップ６０６）。この場合、差分値が閾値と全く同じ場合もあるが、その確率は高いとは言えない。そこで、各閾値は所定の範囲を持っており、その範囲に入る差分値があるかどうか調べる。この検索により該当する閾値が見つかると、その閾値と対になっている複製フレームの連続挿入数を取得する（ステップ６０７）。例えば、図２のレート制御テーブル２００において、差分と一致又は略一致する閾値が［１］であれば、複製フレームの連続挿入数は「１」となる。このようにして複製の連続挿入数を取得した後、その値をバッファ管理部１０２に通知する。
【００４２】
（バッファ管理処理）
図７は、バッファ管理部１０２におけるバッファ管理処理を示すフローチャートである。また、図８はバッファ管理部１０２の概略構成を示すブロック図である。
【００４３】
図７及び図８において、撮影機１０１からの新規１フレームの動画像データを取り込み、新規フレームバッファ８０１に格納する（ステップ７０１）。新規フレームバッファ８０１に新規フレームを格納した後、レート制御部１０７より複製フレームの連続挿入数を取得し（ステップ７０２）、その値が「０」であるか否かを判定する（ステップ７０３）。複製フレームの連続挿入数が「０」であれば、新規フレームバッファ８０１に格納した新規フレームを符号化部１０３へ出力する（ステップ７０４）。但し、本処理を初めて行う場合は、この判定は「０」になる。
【００４４】
一方、ステップ７０３の判定において、レート制御部１０７より取得した複製の連続挿入数が「０」でなければ、取り込んだ新規フレームを符号化部１０３へ出力し、更にその新規フレームを複製フレームバッファ８０２に格納する（ステップ７０５）。次いで、複製フレームバッファ８０２に格納した複製フレームを複製フレーム連続挿入数だけ連続して符号化部１０３へ出力する（ステップ７０６）。例えば複製フレームの連続挿入数が「２」であれば、複製フレームを２回出力する。複製フレームを出力することで、図示せぬモニタ画面上には新規フレームの画像が静止した状態で表示されることになり、実質的に伝送レートが低下することになる。このようにして連続挿入数だけ複製フレームを符号化部１０３へ出力した後、本処理を終了する。
【００４５】
（出力監視処理）
図９は、出力監視部１０４における出力監視処理を示すフローチャートである。
この図において、まず符号化部１０３から出力された動画像フレームのバイト数をカウントするためにタイマをセットする（ステップ９０１）。タイマのセット後、符号化部１０３から出力された動画像フレームのバイト数をカウントする（ステップ９０２）。そして、動画像フレームのバイト数をカウントした時点でタイマを停止させる（ステップ９０３）。次に、カウントの経過時間から動画像フレームの出力レートを算出する。そして、算出した出力レートをレート制御部１０７に与える（ステップ９０４）。
【００４６】
このように、本実施の形態に係る動画像伝送システムによれば、１フレームの動画像データの符号化時にその動画像データを複製した複製フレームを挿入するようにして、輻輳の状態が重いときには複製フレームの挿入数を増やして伝送レートを低減させ、輻輳の状態が軽いときは複製フレームの挿入数を減らして伝送レートの低減率を低く抑える。これにより、輻輳の状態に応じてネットワークの伝送帯域を低減することが可能となる。また、輻輳の状態に応じてフレームレートを変える方式とは異なり、フレームレート変動時に生じるＩフレームの増加を無くすことが可能となる。
【００４７】
また、動画像出力レートと送信可能な伝送レートを比較して動画像出力レートを低減するか否かを決定するので、可変ビットレート符号化に存在する動画像の動きが無い場合の伝送レート低減を考慮した動画像伝送が可能となり、ネットワーク帯域をより有効に使用することができる。
【００４８】
（実施の形態２）
図１０は、本発明の実施の形態２に係る動画像伝送システムの構成を示すブロック図である。なお、この図において、図１に示す動画像伝送システムと重複する部分については同一符号を付すとともにその構成及び動作説明を省略する。
この図において、本実施の形態に係る動画像伝送システム１０００は、実施の形態１に係る動画像伝送システム１００のバッファ管理部１０２とは機能の異なるバッファ管理部１１０２を有し、また実施の形態１に係る動画像伝送システムのレート制御部１０７とは機能の異なるレート制御部１１０７を備えている。
【００４９】
バッファ管理部１１０２は、撮影機１０１より出力された動画像フレームとその１つ前に符号化部１０３へ転送した動画像フレームの複製を格納する機能を有している。レート制御部１１０７は、出力監視部１０４より出力された動画像出力レートと伝送レート算出部１０６より出力された伝送レートを比較し、その差分に応じて複製フレームを挿入する周期を決定し、決定した複製フレーム挿入周期をバッファ管理部１１０２に指示する機能を有している。
【００５０】
バッファ管理部１１０２には、図１１に示すようなバッファ管理テーブル１２００が設けられており、このバッファ管理テーブル１２００には、複製フレームの挿入周期が格納される。レート制御部１１０７には、図１２に示すようなレート制御テーブル１３００が設けられており、このレート制御テーブル１３００には、伝送レート及び動画像出力レートが格納されるとともに、閾値と複製フレーム挿入周期とが対になった複数のデータが格納される。
【００５１】
次に、本実施の形態に係る動画像伝送システム１０００の動作について、図１３〜図１５に示すフローチャートを参照して説明する。
【００５２】
（全体処理）
図１３は、本実施の形態に係る動画像伝送システム１０００の動画像送信端末１１０９の全体処理を示すフローチャートである。
この図において、まずフィードバック情報（往復伝搬遅延時間及びパケットロス率）の受信の有無を判定する（ステップ１４０１）。フィードバック情報を受信した場合には伝送レート算出処理を行う（ステップ１４０２）。この伝送レート算出処理では、受信したフィードバック情報を元に、送信する動画像フレームの伝送レートを算出する。伝送レートを算出した後、レート制御を行う（ステップ１４０３）。このレート制御では、伝送レートと動画像出力レートとを比較し、その差分に応じた複製フレーム挿入周期の決定を行う。そして、複製フレームの挿入周期の決定後、バッファ管理処理を行う（ステップ４０４）。
【００５３】
一方、上記ステップ１４０１の判定において、フィードバック情報を受信していない場合は伝送レート算出及びレート制御処理をスキップして直接バッファ管理処理を行う。バッファ管理処理では次に符号化する動画像フレームの決定を行う。バッファ管理処理を行った後、符号化処理を行い（ステップ１４０５）、符号化処理後、出力監視処理を行う（ステップ１４０６）。この出力監視処理では、符号化圧縮した動画像フレームの出力レートを算出する。出力監視処理後、伝送処理を行う（ステップ１４０７）。この伝送処理では先の処理で算出した出力レートで符号化圧縮した動画像フレームをネットワークへ送出する。
【００５４】
（レート制御処理）
図１４は、レート制御部１１０７におけるレート制御処理を示すフローチャートである。
この図において、まずレート制御テーブル１３００から伝送レートを取得する（ステップ１５０１）。次いでレート制御テーブル１３００から動画像出力レートを取得する（ステップ１５０２）。伝送レートと動画像出力レートとを取得した後、これらの差分値を求める（ステップ１５０３）。そして、求めた差分値が「０」より大きいか否かを判定し（ステップ１５０４）、「０」より大きい場合（即ち伝送レートが動画像出力レートより大きい場合）は、複製フレーム挿入周期を１つ下げる（ステップ１５０５）。すなわち、現在の複製フレームの連続挿入周期が例えば「２」であれば「１」にする。
【００５５】
これに対して、伝送レートと動画像出力レートとの差分値が「０」以下である場合（即ち、伝送レートが動画像出力レートより小さい場合）は、その差分値をレート制御テーブル１３００に格納されている各閾値と比較し、一致する閾値を検索する（ステップ１５０６）。この場合、実施の形態１で説明したように、差分値が閾値と同じ値という意味ではなく、各閾値は所定の範囲を持っており、その範囲に入る差分値に対応する閾値があるか否かを調べる。この検索により該当する閾値があると、その閾値と対になっている複製フレームの連続挿入周期を取得する（ステップ１５０７）。例えば、図１２のレート制御テーブル１３００において、差分と一致する閾値が［１］であれば、複製フレームの連続挿入周期は「１」となる。このようにして複製の連続挿入周期を取得した後、その値をバッファ管理部１１０２に通知する。
【００５６】
（バッファ管理処理）
図１５は、バッファ管理部１１０２におけるバッファ管理処理を示すフローチャートである。
【００５７】
この図において、まずレート制御部１１０７から複製フレームの挿入周期を取得する（ステップ１６０１）。次いで、取得した複製フレームの挿入周期が「０」か否かを判定し（ステップ１６０２）、「０」である場合、撮影機１０１から動画像フレームを１つ取り込む（ステップ１６０３）。そして、取り込んだ動画像フレームを符号化部１０３へ転送する（ステップ１６０４）。このステップを行った後、本処理を終了する。
【００５８】
これに対して、取得した複製フレームの挿入周期が「０」でない場合は、レート制御部１１０７より取得した複製フレームの挿入周期だけ、新規の動画像フレームの取り込み時にその動画像フレームを符号化部１０３へ転送する（ステップ１６０５、１６０６）。このステップ１６０５と１６０６をレート制御部１１０７により通知を受けた複製フレーム挿入周期だけ繰り返す。そして、この処理を複製フレームの挿入周期だけ繰り返した後、新規の動画像フレームを符号化部１０３へ転送し、さらに複製フレームバッファ８０２に格納した後、符号化部１０３へ転送する（ステップ１６０７）。
【００５９】
このように、本実施の形態に係る動画像伝送システムによれば、輻輳の状態に応じて複製フレームの挿入周期を調整するので、輻輳の状態が軽いときは画質の劣化を最小限に抑えながらも伝送レートを低減することができる。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、符号化手段への入力にフレームの複製を挿入することにより動きの無い画像となり、このことにより符号化による圧縮率が高まり、符号化後の動画像の出力量を低減することができる。また、輻輳時に、可変ビットレート符号化特性を考慮したレート制御が可能となり、ネットワーク帯域をより有効に使用することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る動画像伝送システムの構成を示すブロック図
【図２】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末のレート制御部が有するレート制御テーブルを示す図
【図３】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末のバッファ管理部が有するバッファ管理テーブルを示す図
【図４】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末の全体処理を説明するためのフローチャート
【図５】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末の伝送レート算出処理を説明するためのフローチャート
【図６】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末のレート制御処理を説明するためのフローチャート
【図７】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末のバッファ管理処理を説明するためのフローチャート
【図８】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末が有する画像バッファを示すブロック図
【図９】本発明の実施の形態１に係る動画像伝送システムの動画像送信端末の出力監視処理を説明するためのフローチャート
【図１０】本発明の実施の形態２に係る動画像伝送システムの構成を示すブロック図
【図１１】本発明の実施の形態２に係る動画像伝送システムの動画像送信端末のバッファ管理部が有するバッファ管理テーブルを示す図
【図１２】本発明の実施の形態２に係る動画像伝送システムの動画像送信端末のレート制御部が有するレート制御テーブルを示す図
【図１３】本発明の実施の形態２に係る動画像伝送システムの動画像送信端末の全体処理を説明するためのフローチャート
【図１４】本発明の実施の形態２に係る動画像伝送システムの動画像送信端末のレート制御処理を説明するためのフローチャート
【図１５】本発明の実施の形態２に係る動画像伝送システムの動画像送信端末のバッファ管理処理を説明するためのフローチャート
【符号の説明】
１００、１０００  動画像伝送システム
１０１  撮影機
１０２、１１０２  バッファ管理部
１０３  符号化部
１０４  出力監視部
１０５  伝送部
１０６  伝送レート算出部
１０７、１１０７  レート制御部
１０８  動画像受信端末
１０９、１１０９  動画像送信端末
２００  レート制御テーブル
３００  バッファ管理テーブル
８０１  新規フレームバッファ
８０２  複製フレームバッファ
【図１】
2004179685.tif 000003
【図２】
2004179685.tif 000004
【図３】
2004179685.tif 000005
【図４】
2004179685.tif 000006
【図５】
2004179685.tif 000007
【図６】
2004179685.tif 000008
【図７】
2004179685.tif 000009
【図８】
2004179685.tif 000010
【図９】
2004179685.tif 000011
【図１０】
2004179685.tif 000012
【図１１】
2004179685.tif 000013
【図１２】
2004179685.tif 000014
【図１３】
2004179685.tif 000015
【図１４】
2004179685.tif 000016
【図１５】
2004179685.tif 000017