(57)【要約】【課題】出力する符号化データストリームのビットレートが変更されても最低限の画質を保障する。【解決手段】動画像のリアルタイム配信システム１は、入力された動画像データのフレームレートを制御するフレームレート変換部１１と、フレームレートが制御された動画像データをＭＰＥＧ−４で圧縮符号化する符号化部１２と、フレームレートの設定値を算出するフレームレート算出部１６と、ネットワークを介してデータの送受信を行う送信部１３及び受信部１４とを備えている。受信部１４は、ネットワークの通信状況を検出し、検出したネットワークの通信状況に基づき目標ビットレートを算出する。符号化部１２は、この目標ビットレートに応じてＭＰＥＧ−４データストリームのビットレートを制御する。フレームレート算出部１６は、符号化部１２の量子化スケール値に基づき画質を推定し、画質が一定以上劣化した場合には、フレームレートを下げる。【選択図】　図１
2004147104.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、
上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、
上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段とを備え、
上記符号化手段は、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、
上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、
上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御すること
を特徴とする動画像符号化装置。
【請求項２】
上記フレームレート算出手段は、上記符号化手段により符号化された符号化データストリームの画質の劣化度が所定の値以上となった場合には、フレームレートの設定値を、現在の値よりも低い値に変更すること
を特徴とする請求項１記載の動画像符号化装置。
【請求項３】
上記フレームレート算出手段は、上記符号化手段により符号化された符号化データストリームの画質の劣化度が所定の値以下となった場合には、フレームレートの設定値を、現在の値よりも高い値に変更すること
を特徴とする請求項１記載の動画像符号化装置。
【請求項４】
上記フレームレート算出手段は、上記符号化手段により符号化された符号化データストリームの画質の劣化度が第１のしきい値以上となった場合には、フレームレートの設定値を現在の値よりも低い値に変更し、上記画質の劣化度が第１のしきい値よりも低い第２のしきい値以下となった場合には、フレームレートの設定値を現在の値よりも高い値に変更すること
を特徴とする請求項１記載の動画像符号化装置。
【請求項５】
上記符号化手段は、量子化スケール値に基づきデータを量子化することによって、上記動画像データストリームに対して圧縮符号化を行い、
上記フレームレート算出手段は、上記符号化手段から出力される符号化データストリームの画質を、上記量子化スケール値に基づき判断すること
を特徴とする請求項１記載の動画像符号化装置。
【請求項６】
符号化前の動画像データストリームの画素値と、符号化データストリームを復号した後の動画像データストリームの画素値とに基づき、符号化データストリームのＳ／Ｎ（シグナル／ノイズ）比を求めるＳ／Ｎ比算出手段を備え、
上記フレームレート算出手段は、上記符号化手段から出力される符号化データストリームの画質を、上記Ｓ／Ｎ比に基づき判断すること
を特徴とする請求項１記載の動画像符号化装置。
【請求項７】
空間領域の画素データから構成される動画像データストリームを圧縮符号化することによって、符号化データストリームを生成する動画像符号化装置において、
上記動画像データストリームの画素データを所定の画素ブロック単位で直交変換して、周波数領域の画素データから構成される動画像データストリームを生成する直交変換手段と、
上記直交変換手段から出力された周波数領域の画素データから構成される動画像データストリームを、上記所定の画素ブロック毎に設定した量子化スケールに基づき量子化する量子化手段と、
上記量子化手段により量子化された動画像データストリームを所定の符号化方式に対応した符号化データストリームに変換し、当該符号化データストリームを出力する符号化手段と、
上記量子化手段により量子化された動画像データストリームを、量子化時に用いられた量子化スケールに基づき逆量子化する逆量子化手段と、
上記逆量子化手段により逆量子化された動画像データストリームを、所定の画素ブロック単位で逆直交変換を行い、空間領域の画素データから構成される動画像データストリームを生成する逆直交変換手段と、
上記直交変換手段に入力される元の動画像データストリームの画素データと、逆直交変換手段から出力された符号化後の動画像データストリームの画素データとに基づき、上記符号化データストリームのＳ／Ｎ（シグナル／ノイズ）比を求めるＳ／Ｎ比算出手段とを備えること
を特徴とする動画像符号化装置。
【請求項８】
時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームを圧縮符号化することによって符号化データストリームを生成する画像符号化方法において、
設定された目標のビットレートに応じて出力する符号化データストリームのビットレートを制御しながら圧縮符号化を行うとともに、
生成された上記符号化データストリームの画質を検出し、検出した画質に基づきフレームレートの設定値を算出し、上記動画像データストリームのフレームレートを制御すること
を特徴とする動画像符号化方法。
【請求項９】
時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、
上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、
上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段と、
上記符号化手段により符号化された符号化データストリームをネットワークを介して受信装置に送信するとともに、当該受信装置との間で制御データの送受信を行う送受信手段とを備え、
上記送受信手段は、受信装置から受信した制御データに基づきネットワークの状況を検出し、検出したネットワークの状況に基づき目標のビットレートを算出し、
上記符号化手段は、上記送受信手段により算出された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、
上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、
上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御すること
を特徴とする動画像送信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してリアルタイム配信される動画像データストリームを生成する動画像符号化装置及び方法、並びに、当該動画像データストリームを送信する動画像送信装置に関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを利用して動画像データをリアルタイム配信するシステムが増えている。このようなリアルタイム配信システムでは、ネットワークの通信状態が時々刻々と変化することに対応するため、ネットワークの通信状態に応じて送信側で送出レートを適応的に変化させ、リアルタイム性を保障している（例えば、特許文献１参照。）。
【０００３】
一般に、インターネット等のＩＰネットワークを利用して動画像データのリアルタイム配信を行う場合には、ＲＦＣ１８８９／１８９０で標準化されているＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）及びＲＴＣＰ（Ｒｅａｒ−Ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）が適用される。ＲＴＰは、例えば動画像データ等の実時間データを送信装置側から受信装置側へ転送するためのデータ転送プロトコルである。ＲＴＣＰは、ＲＴＰに従って転送されるデータに対する制御情報を転送するデータ転送プロトコルである。
【０００４】
ＲＴＰ及びＲＴＣＰを用いたリアルタイム配信を行った場合、ネットワーク上で損失されたＲＴＰパケットの割合（パケット損失率）や受信装置側で受信したＲＴＰパケットの遅延時間（ジッタ）等が、ＲＴＣＰパケットに含められて受信装置側から送信装置側へ転送される。このため送信装置は、パケット損失率やジッタが大きくなればネットワークの転送効率が下がっていると判断し、データの送出レートを下げ、パケット損失率やジッタが小さくなればネットワークの転送効率が下がっていると判断し、データの送出レートを上げることができる。このようにＲＴＰ及びＲＴＣＰでは、ネットワークの状態に応じて送信側で送出レートを適応的に変化させ、データのリアルタイム性を保障しながら動画像データの配信をすることができる。
【０００５】
【特許文献１】
特開平１１−３０８２７１号公報
【特許文献２】
特開２００２−１９９３９８号公報
【０００６】
【発明が解決しようとする課題】
ところで、リアルタイム配信を行う場合の動画像データの符号化には、一般にＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１，２，４等が用いられる。ＭＰＥＧ−１，２，４等の動画像符号化方式の場合、出力するデータストリームのビットレートの制御が、量子化処理時における量子化スケールを可変することで行われる。具体的には、ＭＰＥＧ１，２，４では、量子化スケールを大きくすることによって、出力するデータストリームのビットレートを低くし、量子化スケールを小さくすることによって、出力するデータストリームのビットレートを高くしている。
【０００７】
従って、ＭＰＥＧ−１，２，４等の動画像符号化方式で生成されたデータストリームをネットワークを介してリアルタイム配信する場合、ネットワークの通信状態に応じて送信側で送出レートを適応的に変化させるには、符号化時における量子化スケールを制御すればよい。
【０００８】
しかしながら、量子化スケールを大きくすると、それに伴いフレームの画質も劣化してしまい、映像の内容によっては最低限の画質を保障することができない場合もある。
【０００９】
また、フレームレートを制御することによって画質を制御する動画像符号化装置も知られているが（例えば、特許文献２参照。）、このような動画像符号化装置では、符号化前の動画像の特徴を利用してフレームレートを制御しているので、ネットワークの状況に応じてフレームレートを制御してリアルタイム性を確保することはできない。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、出力する符号化データストリームのビットレートが変更されても最低限の画質を保障することが可能な、動画像符号化装置及び方法並びに動画像送信装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明にかかる動画像符号化装置は、時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段とを備え、上記符号化手段は、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御することを特徴とする。
【００１２】
上記動画像符号化装置では、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００１３】
本発明にかかる動画像符号化方法は、時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームを圧縮符号化することによって符号化データストリームを生成する画像符号化方法であって、設定された目標のビットレートに応じて出力する符号化データストリームのビットレートを制御しながら圧縮符号化を行うとともに、生成された上記符号化データストリームの画質を検出し、検出した画質に基づきフレームレートの設定値を算出し、上記動画像データストリームのフレームレートを制御することを特徴とする。
【００１４】
上記動画像符号化方法では、外部から設定された目標のビットレートに応じて上記符号化データストリームのビットレートを制御するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００１５】
本発明に係る動画像送信装置は、時系列に並べられたフレームから構成される動画像データストリームが入力され、入力された動画像データストリームのフレームレートを制御するフレームレート制御手段と、上記動画像データストリームのフレームレートの設定値を算出するフレームレート算出手段と、上記フレームレート制御手段から出力された上記動画像データストリームを圧縮符号化し、圧縮符号化することにより生成された符号化データストリームを出力する符号化手段と、上記符号化手段により符号化された符号化データストリームをネットワークを介して受信装置に送信するとともに、当該受信装置との間で制御データの送受信を行う送受信手段とを備え、上記送受信手段は、受信装置から受信した制御データに基づきネットワークの状況を検出し、検出したネットワークの状況に基づき目標のビットレートを算出し、上記符号化手段は、上記送受信手段により算出された目標のビットレートに応じて上記符号化データストリームのビットレートを制御し、上記フレームレート算出手段は、上記符号化手段から出力される上記符号化データストリームの画質に基づきフレームレートの設定値を算出し、上記フレームレート制御手段は、動画像データストリームのフレームレートを上記フレームレート算出手段により算出された設定値に制御することを特徴とする。
【００１６】
上記動画像送信装置では、ネットワークの状況に応じて決定された目標のビットレートに応じて符号化データストリームのビットレートを制御し、ビットレートが制御された当該符号化データストリームをネットワーク上に送信するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明が適用された動画像データのリアルタイム配信システムについて説明する。
【００１８】
図１に、本発明の実施の形態の動画像データのリアルタイム配信システムの構成図を示す。
【００１９】
本発明の実施の形態の動画像データのリアルタイム配信システム１は、図１に示すように、送信装置３と、受信装置４と、ＩＰネットワーク５とから構成される。
【００２０】
リアルタイム配信システム１では、例えばカメラ装置２等から出力された動画像データを、送信装置３がＭＰＥＧ−４（ＩＳＯ／ＩＥＣ　１４４９６−２）規格方式で圧縮符号化し、ＭＰＥＧ−４データストリームを生成する。送信装置３は、ＭＰＥＧ−４データストリームをＲＴＰパケットに変換し、さらに、このＲＴＰパケットをＩＰヘッダが付加されたＵＤＰパケットに変換する。送信装置３によってＩＰパケットにパケット化された動画像データは、インターネットプロトコルが適用されたネットワークであるＩＰネットワーク５を介して、受信装置４に転送される。受信装置４は、送信装置３から転送されてきたＩＰパケットを受信して、そのＩＰパケットからＭＰＥＧ−４データを抽出して、動画像データを復号する。
【００２１】
さらに、リアルタイム配信システム１では、ＲＴＰパケットに対する制御情報がＲＴＣＰパケットにパケット化され、送信装置３と受信装置４との間でやり取りされる。ＲＴＣＰパケットは、ＩＰヘッダが付加されたＴＣＰパケットにパケット化されて、ＩＰネットワーク５上に配信される。
【００２２】
受信装置４は、動画像データが含まれているＲＴＰパケットのジッタやパケット損失率等を、ＩＰネットワーク５の状況を示すパラメータとして、ＲＴＣＰパケット内に含めて送信装置３に転送する。送信装置３は、受信装置４から受信したジッタやパケット損失率に基づき、現在のＩＰネットワーク５の通信状況を判断し、リアルタイム配信が保障されるように、ＭＰＥＧ−４データストリームのビットレートをコントロールしている。例えば、送信装置３は、ジッタやパケット損失率が大きくなりネットワーク５の通信状況が悪化したと判断する場合には、ＭＰＥＧ−４データストリームのビットレートを小さくして転送レートを下げ、ジッタやパケット損失率が小さくなりネットワーク５の通信状況が良好の場合には、ＭＰＥＧ−４データストリームのビットレートを大きくして転送レートを上げる、といったようにビットレートのコントロールをしている。
【００２３】
このため、リアルタイム配信システム１では、ＩＰネットワーク５の通信状況に変動があったとしても、例えばカメラ装置２等から出力される動画像データを、リアルタイムで受信装置４に転送することができる。
【００２４】
つぎに、送信装置３の構成について、さらに詳細に説明をする。
【００２５】
送信装置３は、カメラ装置２から送信された動画像データのフレームレートを変換するフレームレート変換部１１と、フレームレート変換部１１から出力された動画像データをＭＰＥＧ−４方式で圧縮符号化する動画像符号化部１２と、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームをパケット化するとともにその他の制御情報をパケット化してＩＰネットワーク５を介して受信装置４に送信する送信部１３と、受信装置４からＩＰネットワーク５を介して送信されてきたパケットを受信する受信部１４と、動画像符号化部１２により生成されるＭＰＥＧ−４データストリームの目標ビットレートを算出する目標ビットレート算出部１５と、フレームレート変換部１１により生成される動画像データの目標フレームレートを算出するフレームレート算出部１６とを備えている。
【００２６】
フレームレート変換部１１には、カメラ装置２からベースバンドの動画像データが入力される。カメラ装置２から出力されるベースバンドの動画像データは、図２Ａに示すように、所定の画像サイズの矩形上のフレームが、所定の時間間隔で時系列に並べられたデータ構成となっている。なお、一秒間に含まれるフレームの枚数のことを、フレームレートという。フレームレート変換部１１には、フレームレート算出部１６から目標フレームレート（Ｘｆｐｓ）が与えられる。フレームレート変換部１１は、入力されたベースバンドの動画像データに対してフレームの間引き処理を行い、図２Ｂに示すように、Ｘ（ｆｐｓ）のベースバンドの動画像データを生成する。フレームレート変換部１１により生成されたＸ（ｆｐｓ）のベースバンドの動画像データは、動画像符号化部１２に供給される。また、フレームレート変換部１１は、必要に応じて、ＭＰＥＧ−４の入力画像フォーマットに合致するように、出力するベースバンドの動画像データのフレームサイズの変換も行う。
【００２７】
動画像符号化部１２には、フレームレート変換部１１から出力されたＸ（ｆｐｓ）のベースバンドの動画像データが入力される。動画像符号化部１２は、入力されたベースバンドの動画像データをＭＰＥＧ−４方式で圧縮符号化して、ＭＰＥＧ−４データストリームを生成する。動画像符号化部１２により生成されたＭＰＥＧ−４データストリームは、送信部１３に供給される。また、動画像符号化部１２は、目標ビットレート算出部１５から目標ビットレート値ｂ´（ｂｉｔ　ｐｅｒ　ｓｅｃｏｎｄ）が入力される。動画像符号化部１２は、生成したＭＰＥＧ−４データストリームのビットレートが、上記の目標ビットレート値ｂ´となるように、量子化スケール（ｑ＿ｓｃａｌｅ）を制御しながら、圧縮符号化処理を行っている。なお、動画像符号化部１２の構成については詳細を後述する。
【００２８】
送信部１３には、動画像符号化部１２から出力されたＭＰＥＧ−４データストリームが入力される。送信部１３は、入力されたＭＰＥＧ−４データストリームをＲＴＰパケットにパケット化し、さらに、このＲＴＰパケットをＩＰヘッダが付加されたＵＤＰパケットにパケット化する。また、送信部１３は、ＲＴＰパケットの転送を制御するための制御情報をＲＴＣＰパケットにパケット化し、このＲＴＣＰパケットをＩＰヘッダが付加されたＴＣＰパケットにパケット化する。送信部１３は、このように生成したＩＰパケットを、ＩＰネットワーク５を介して受信装置４へ送信する。
【００２９】
受信部１４には、受信装置４からＩＰネットワーク５を介して転送されてきたＲＴＣＰパケットを受信する。受信部１４は、受信したＲＴＣＰパケット内に含まれている制御情報を抽出して、例えば図示しないコントローラ等に供給する。また、受信部１４は、受信装置４から転送されてきたＲＴＣＰパケットに含まれているＩＰネットワーク５の通信状況を示す各種のパラメータを抽出して、例えば、ジッタやパケット損失率を抽出して、目標ビットレート算出部１５に供給する。
【００３０】
目標ビットレート算出部１５には、受信部１４からＩＰネットワーク５の通信状況を示す各種のパラメータが入力される。例えば、ジッタやパケット損失率が入力される。目標ビットレート算出部１５は、入力された各種のパラメータに基づき現時点のＩＰネットワーク５の通信状況を推定し、動画像符号化部１２により生成されるＭＰＥＧ−４データストリームの現時点における最適なビットレートを算出する。つまり、目標ビットレート算出部１５は、ネットワーク５の通信状況が悪化した場合には、ＭＰＥＧ−４データストリームのビットレートを小さくして転送レートを低くし、ネットワーク５の通信状況が良好となった場合には、ＭＰＥＧ−４データストリームのビットレートを大きくして転送レートを高くする、といったように目標ビットレートをコントロールし、リアルタイム配信を保障する動作を行う。
【００３１】
例えば、目標ビットレート算出部１５は、パケット損失率をｒ、現時点のＭＰＥＧ−４データストリームのビットレートｂとしたとき、目標ビットレートｂ´を以下の式（１）のように算出する。
ｂ´＝ｂ×（１−ｒ）　　　…（１）
この式（１）は、受信装置５が受信できなかったパケットがある場合には、そのパケットの損失割合分だけビットレートを補正するということを意味している。なお、パケット損失率ｒが０の場合や、パケット損失率ｒがある一定値以下の場合には、転送できるデータレートに余裕があるとみなして、目標ビットレートｂ´を上昇させるようにしてもよい。
【００３２】
なお、目標ビットレートの算出方法は、ＩＰネットワーク５の通信状況に応じた最適なビットレートを算出することができれば、上記の式（１）で示す方法に限らずどのような方法であってもよい。
【００３３】
フレームレート算出部１６は、圧縮符号化を行うことによって生じる画質の劣化度を示すパラメータを、動画像符号化部１２から取得する。ここでは、画質の劣化度を示すパラメータとして、例えば、量子化処理時に用いられる量子化スケール（ｑ＿ｓｃａｌｅ）を、動画像符号化部１２から取得する。フレームレート算出部１６は、取得した画質の劣化度に基づき、フレームレート変換部１１に与える目標フレームレート値（Ｘ）を算出する。
【００３４】
具体的には、フレームレート算出部１６は、圧縮符号化後の画質の劣化度が第１のしきい値以上、つまり、量子化スケールが第１のしきい値以上となる場合には、目標フレームレートを下げ、動画像符号化部１２に供給する動画像データのフレームレートを下げる。このように画質の劣化度が第１のしきい値以上となる場合に、フレームレートを下げることによって、各フレームの画質が向上する。つまり、フレームレートを下げる前と下げた後とでビットレートが変わらないのであれば、１枚のフレームあたりに割り当てられるビット量が増加するため、フレームの画質が向上することとなる。また、フレームレート算出部１６は、圧縮符号化後の画質の劣化度が第２のしきい値以下、つまり、量子化スケールが第２のしきい値以下となる場合には、目標フレームレートを上げ、動画像符号化部１２に供給する動画像データのフレームレートを上げる。ここで、第２のしきい値は、第１のしきい値よりも小さい値である。このように画質の劣化度が第２のしきい値以下となる場合に、フレームレートを下げることによって、各フレームの画質は低下する。つまり、フレームレートを上げる前と上げた後とでビットレートが変わらないのであれば、１枚あたりに割り当てられるビットレート量が減少するため、フレームの画質が低下することとなる。しかしながら、第２のしきい値の設定を充分に小さい値とすることによって、ある一定以上の画質が確保することができる。従って、充分な画質を確保した状態でフレームレートを上げるので、画質の品質を保持しながら画像の連続性を向上させることができる。
【００３５】
なお、フレームレート算出部１６による目標フレームレートの具体的な算出処理については詳細を後述する。
【００３６】
つぎに、動画像符号化部１２について、図３を参照して詳細に説明をする。
【００３７】
動画像符号化部１２は、図３に示すように、入力バッファ２１と、動き予測回路２２と、第１の加算回路２３と、離散コサイン変換（ＤＣＴ）回路２４と、量子化回路２５と、逆量子化回路２６と、逆離散コサイン変換（ＩＤＣＴ）回路２７と、第２の加算回路２８と、フレームメモリ２９と、動き補償回路３０と、可変長符号化回路３１と、出力バッファ３２と、レート制御回路３３とを備えている。
【００３８】
入力バッファ２１には、フレームレート変換部１１から入力されたＸ（ｆｐｓ）の空間領域の動画像データが入力され、この動画像データを一時的に保存する。
【００３９】
動き予測回路２２は、入力バッファ２１に格納されている動画像データから時間方向の動き量を算出して、その動き量に基づき動きベクトルを生成する。動きベクトルは、１６×１６画素から構成されるマクロブロック毎に算出される。動き予測回路２２により算出された動きベクトルは、動き補償回路３０及び可変長符号化回路３１に供給される。
【００４０】
第１の加算回路２３には、入力バッファ２１から動画像データがフレーム単位で入力される。また、第１の加算回路２３には、符号化対象となる画像データに対して、フレーム間の相関を利用した符号化処理を行う場合には、つまり、Ｐピクチャ又はＢピクチャの符号化をする場合には、動き補償回路３０から予測画像データも入力される。第１の加算回路２３は、インターマクロブロックに対して処理を行う場合には、入力された画像データから予測画像データを減算する。第１の加算回路２３は、イントラマクロブロックに対して処理を行う場合には、入力された画像データをそのまま出力する。
【００４１】
ＤＣＴ回路２４は、第１の加算回路２３から出力された画像データに対して離散コサイン変換を行い、周波数領域の画像データであるＤＣＴ係数データを生成する。ＤＣＴ回路２４は、生成したＤＣＴ係数データを量子化回路２５に出力する。
【００４２】
量子化回路２５は、入力されたＤＣＴ係数データに対して、レート制御回路３３から与えられる量子化スケールを用いて、量子化処理を行い、量子化データを出力する。
【００４３】
逆量子化回路２６には、量子化回路２５から出力された量子化データのうち、参照画像データとなり得るフレームのデータ（Ｉピクチャ及びＰピクチャのＤＣＴ係数データ）が入力される。逆量子化回路２６は、入力された量子化データに対して、その量子化データを量子化した際に用いられた量子化スケールにより、逆量子化処理を行う。
【００４４】
ＩＤＣＴ回路２７は、逆量子化回路２６から出力されたＤＣＴ係数データに対して、逆離散コサイン変換を行い、空間領域の画像データを生成する。
【００４５】
第２の加算回路２８には、ＩＤＣＴ回路２７から出力された画像データが入力される。また、第２の加算回路２８には、入力された画像データがＰピクチャである場合には、その画像データの予測画像データが動き補償回路３０から入力される。第２の加算回路２８は、インターマクロブロックに対して処理を行う場合には、入力された画像データに対して予測画像データを加算する。第２の加算回路２８は、イントラマクロブロックに対して処理を行う場合には、入力された画像データをそのまま出力する。第２の加算回路２８は、出力した画像データを参照画像データとしてフレーム単位でフレームメモリ２９に格納する。
【００４６】
フレームメモリ２９は、第２の加算回路２８から出力される参照画像データを格納する。
【００４７】
動き補償回路３０は、フレームメモリ２９に格納された参照画像データに対して動きベクトルを参照して動き補償を行い、予測画像データを生成する。予測画像データは、第１の加算回路２３に供給される。予測画像データのうち、参照画像となる画像データ（Ｐピクチャの予測画像データ）は、第２の加算回路２８にも供給される。
【００４８】
可変長符号化回路３１は、量子化回路２５から出力された量子化データ、動き予測回路２２から出力された動きベクトル、並びに、図示しないコントローラ等から供給される各種の制御データ等に対して可変長符号化又は固定長符号化を行い、ＭＰＥＧ−４の規格に準拠した符号化ストリーム（ＭＰＥＧ−４データストリーム）を生成する。可変長符号化回路３１は、生成したＭＰＥＧ−４データストリームを出力バッファ３２に格納する。
【００４９】
出力バッファ３２は、ＭＰＥＧ−４データストリームを一時的に格納し、後段の送信部１３からの読み出し命令に従い、必要量のデータずつ当該送信部１３へ転送する。
【００５０】
レート制御回路３３には、目標ビットレート算出部１５から目標ビットレート値ｂ´が入力される。レート制御回路３３は、出力バッファ３２を参照して、現時点におけるＭＰＥＧ−４データストリームのビットレート値ｂを求める。レート制御回路３３は、目標ビットレート値ｂ´と現在のビットレート値ｂとの差を検出し、出力されるＭＰＥＧ−４データストリームのビットレートが、目標ビットレート値ｂ´に一致するように、量子化スケール（ｑ＿ｓｃａｌｅ）を可変制御する。つまり、レート制御回路３３は、目標ビットレート値ｂ´よりも現在のビットレート値ｂが大きければ、量子化スケールを小さくするように制御し、目標ビットレート値ｂ´よりも現在のビットレート値ｂが小さければ、量子化スケールを大きくするように制御する。
【００５１】
以上のように動画像符号化部１２では、入力された動画像データをＭＰＥＧ−４方式で圧縮符号化して、ＭＰＥＧ−４データストリームを生成することができる。さらに、この動画像符号化部１２では、ＩＰネットワーク５の通信状況に応じて変化する目標ビットレート値ｂ´に追従させて、出力するＭＰＥＧ−４データストリームのビットレートを変化させることができる。
【００５２】
また、さらに、この動画像符号化部１２では、レート制御回路３３から出力される量子化スケール（ｑ＿ｓｃａｌｅ）を、画質劣化度として、フレームレート算出部１６へ供給している。
【００５３】
つぎに、フレームレート算出部１６によるフレームレートの具体的な算出処理について説明する。
【００５４】
なお、ここでは、カメラ装置２から出力される動画像データのフレームレートが、３０（ｆｐｓ）であるものとする。また、動画像符号化部１２は、ＭＰＥＧ−４のシンプルプロファイル、レベル３に対応したエンコーダであるものとし、これに合わせてフレームレート変換部１１から出力される動画像データの最大フレームレートは、１５（ｆｐｓ）であるものとする。
【００５５】
また、フレームレート算出部１６は、図４に示すように、フレームレート変換部１１に対して設定する目標フレームレートＸの値の集合が記述されたテーブルを保持している。例えば、このテーブルには、１５（ｆｐｓ）、１０（ｆｐｓ）、７．５（ｆｐｓ）、５（ｆｐｓ）、３（ｆｐｓ）、２（ｆｐｓ）、１（ｆｐｓ）、０．５（ｆｐｓ）・・・といった目標フレームレートが記述されている。さらに、テーブル内の各目標フレームレートには、それぞれユニークなインデックスｉが付けられている。インデックスｉは、テーブル内の目標フレームレートを降順に並べたときに、“１”から１ずつインクリメントされていくように付けられている。例えば、本例であれば、１５（ｆｐｓ）にはインデックス“１”が付けられ、１０（ｆｐｓ）にはインデックス“２”が付けられ、７．５（ｆｐｓ）にはインデックス“３”が付けられている。また、上記テーブルに保持している目標フレームレートの集合は、カメラ装置２から出力される動画像データのフレームを２枚に１回抽出して新たな動画像データを生成した場合（１５ｆｐｓ）、３枚に１回抽出した場合（１０ｆｐｓ）、４枚に１回抽出した場合（７．５ｆｐｓ）といったように、元の動画像データのフレームから規則的に１枚のフレームを抽出することにより、変換後の動画像データを生成することが前提として作成されている。しかしながら、フレームレートの変換の方法は、どのような方法であってもよく、例えば、規則的にフレームを抽出するのではなく、特徴があるフレームを抽出するようにしてもよい。その場合、テーブルに保持するフレームレートの集合は、その抽出方法に特化した値となる。
【００５６】
また、上記テーブルには、５枚に１回抽出した場合の目標フレームレート（６ｆｐｓ）が存在しないが、これは、６枚に１回抽出した場合の目標フレームレート（７．５ｆｐｓ）と近い値なので、メモリの効率利用を図るためや変化量を一定化させるためである。
【００５７】
図５に、フレームレート算出部１６によるフレームレートの算出フローを示し、この算出フローを参照してフレームレートの算出処理について説明する。
【００５８】
まず、フレームレート算出部１６は、インデックスｉを適当な値に初期化する（ステップＳ１）。続いて、フレームレート算出部１６は、インデックスｉに対応した目標フレームレートＸを、図４に示したテーブルを参照して取得し、取得した目標フレームレートをフレームレート変換部１１に転送する。フレームレート変換部１１は、転送されてきた目標フレームレートＸを取得して内部に設定し、カメラ装置２から入力された動画像データのフレームレートを、転送されてきた目標フレームレートＸに変換する。
【００５９】
続いて、フレームレート算出部１６は、１フレーム分の符号化処理が完了するまで処理を待機する（ステップＳ３）。続いて、フレームレート算出部１６は、動画像符号化部１２から量子化スケールを読み込む（ステップＳ４）。なお、量子化スケールは、マクロブロック毎に異なっている。そのため、動画像符号化部１２から読み込む量子化スケールは、１フレーム内の平均の量子化スケールであることが望ましい。しかしながら、演算量を減少させるために、フレームの最初のマクロブロックの量子化スケールであるｖｏｐ＿ｑｕａｎｔを読み込むようにしてもよい。
【００６０】
続いて、フレームレート算出部１６は、読み込んだ量子化スケールと、第１のしきい値（Ｔｈ１）との大小比較を行う（ステップＳ５）。第１のしきい値（Ｔｈ１）は、画質の劣化度の上限の基準値を示す値である。つまり、量子化スケールが大きくなれば大きくなるほど画質は劣化するが、第１のしきい値は、これ以上の値の量子化スケール（ｑ＿ｓｃａｌｅ）での量子化を制限し、画質の劣化度の上限を設定している。ＭＰＥＧ−４の場合、量子化スケールは、１から３１までの値をとるが、第１のしきい値（Ｔｈ１）は、例えば、“２０”といった値に設定される。
【００６１】
フレームレート算出部１６は、読み込んだ量子化スケールが第１のしきい値（Ｔｈ１）以上である場合には、つまり、一定の基準値以上、画質が劣化している場合には、インデックスｉを１つインクリメントする（ステップＳ６）。すなわち、目標フレームレートを１ステップ分、減少させる。このように目標フレームレートを減少させると、もしビットレートに変更がなければ、１フレームに割り当てられるビット量が増加する。そのため、画質が向上することとなる。
【００６２】
フレームレート算出部１６は、第１のしきい値（Ｔｈ１）よりも読み込んだ量子化スケール（ｑ＿ｓｃａｌｅ）の方が小さい場合には、つまり、一定の基準値より、画質が劣化していない場合には、読み込んだ量子化スケールと、第２のしきい値（Ｔｈ２）との大小比較を行う（ステップＳ７）。第２のしきい値（Ｔｈ２）は、第１のしきい値（Ｔｈ１）よりも、低い値に設定されている。第２のしきい値（Ｔｈ２）は、画質の劣化度の下限の基準値を示す値である。つまり、充分に良い画質であると判断し、画質よりは画像の連続性を良くするための基準値である。ＭＰＥＧ−４の場合、量子化スケールは、１から３１までの値をとるが、第２のしきい値（Ｔｈ２）は、例えば、“１０”といった値に設定される。
【００６３】
フレームレート算出部１６は、読み込んだ量子化スケールが第２のしきい値（Ｔｈ２）以下である場合には、つまり、一定の基準値よりも画質が良好である場合には、インデックスｉを１つデクリメントする（ステップＳ６）。すなわち、フレームレートを１ステップ分、増加させる。このようにフレームレートを増加させると、もしビットレートに変更がなければ、１フレームに割り当てられるビット量が減少する。そのため、画質が劣化することになるが、画像の連続性は向上する。
【００６４】
ステップＳ６及びステップＳ７で、インデックスｉを更新すると、続いて、フレームレート算出部１６は、インデックスｉに対応した目標フレームレート値Ｘを、図４に示したテーブルを参照して取得し、取得した目標フレームレート値Ｘをフレームレート変換部１１に転送し、フレームレート変換部１１に設定されているフレームレートを更新する（ステップＳ９）。フレームレート変換部１１は、カメラ装置２から入力された動画像データのフレームレートを、転送されてきた目標フレームレート値Ｘに変換する。
【００６５】
フレームレート算出部１６は、ステップＳ７での判断の結果、第２のしきい値（Ｔｈ２）よりも読み込んだ量子化スケール（ｑ＿ｓｃａｌｅ）の方が大きい場合、並びに、ステップＳ９でのフレームレートの転送を終了すると、ステップＳ３に戻り、ステップＳ３から１フレーム毎に処理を繰り返して行う。
【００６６】
以上のようなフレームレートの制御処理を行った場合の送信装置３の具体的な処理動作例を図６に示す。
【００６７】
図６Ａは、送信装置３に入力される動画像データを示している。図６Ｂは、目標ビットレート算出部１５により設定される目標ビットレート値ｂ´を示している。図６Ｃは、フレームレート算出部１６が検出する量子化スケールを示している。図６Ｄは、フレームレート算出部１６から出力される目標フレームレートＸを示している。図６Ｅは、フレームレート変換部１１によりフレームレートが変換された後の動画像データを示している。
【００６８】
図６に示すように、例えば、ある任意の時刻ｔ１までは、ＩＰネットワーク５の通信状態が良好であり、ある任意の目標ビットレートｂ１でＭＰＥＧ−４データストリームが生成されており、フレームレートは、１５ｆｐｓであった。
【００６９】
ここで、任意の時刻ｔ１でＩＰネットワーク５の通信状態が悪化したと判断されたとする。すると、目標ビットレート算出部１５は、目標ビットレートを低下させ、ｂ２（ｂ２＜ｂ１）とする。目標ビットレートが下げられたことにともない、時刻ｔ１の直後に符号化されるフレームの量子化スケールは増加する。このとき、量子化スケールが、第１のしきい値Ｔｈ１以上となると、フレームレート算出部１６が、次のフレームからフレームレートの変更指示を行う。この結果、フレームレートが１ステップ分減少され、１０ｆｐｓとされる。
【００７０】
以上のように本発明の実施の形態の動画像データのリアルタイム配信システムでは、ＩＰネットワーク５の状況に応じて決定された目標のビットレートに応じてＭＰＥＧ−４データストリームのビットレートを制御し、ビットレートが制御されたＭＰＥＧ−４データストリームをＩＰネットワーク５に送信している。
【００７１】
それとともに、本発明の実施の形態の動画像データのリアルタイム配信システムでは、ＭＰＥＧ−４データストリームで符号化された動画像データの画質の劣化度に応じて、圧縮符号化する動画像データのフレームレートに変更している。具体的には、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームの画質の劣化度が第１のしきい値（Ｔｈ１）より大きくなった場合には、フレームレートの設定値を、現在の値よりも低い値に変更する。このことにより、ＩＰネットワーク５の通信状態が悪化したとしても、一定以上画質を劣化させずに、動画像データをリアルタイム配信することができる。また、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームの画質の劣化度が第２のしきい値（Ｔｈ２）より小さくなった場合には、フレームレートの設定値を、現在の値よりも高いに変更する。このことにより、ＩＰネットワーク５の通信状態が良好となり、充分な画質が得られる場合には、画像の連続性を向上させた動画像データのリアルタイム配信をすることができる。
【００７２】
ところで、以上の例では、ＭＰＥＧ−４のデータストリームの画質の劣化度を判断するパラメータとして量子化スケールを検出していたが、画質の劣化度として、例えば、ＭＰＥＧ−４データストリームに符号化された後の動画像データのＳ／Ｎ比（シグナル／ノイズ比）を用いてもよい。
【００７３】
つまり、符号化を行った後のフレームのＳ／Ｎ比が設定された第１のしきい値以下になれば、画質の劣化が基準を超えたと判断してフレームレートを下げ、逆に別に設定された第２のしきい値（第１のしきい値よりも高い値）以上になれば画質は十分良いと判断しフレームレートを上げる。ただし、Ｓ／Ｎ比と主観的な画質との関係は、入力される画像の特徴などにより必ずしも一致するとは限らないので、画像特徴を表すパラメータ、例えばアクティビティなどを用いてＳ／Ｎ比を補正するのが望ましい。すなわち、主観的に同じような画質劣化の画像であっても、アクティビティの低い（平坦な部分の多い）画像では、Ｓ／Ｎ比が高く、逆にアクティビティの高い（複雑な部分の多い）画像ではＳ／Ｎ比が低くなる傾向にある。従って、アクティビティの低い画像では得られたＳ／Ｎ比を低く、アクティビティの高い画像では得られたＳ／Ｎ比を高く補正するのが望ましい。
【００７４】
また、画質の劣化度をＳ／Ｎ比により判断をする場合、例えば、図７に示すように、動画像符号化部１２に、Ｓ／Ｎ比算出回路４０を設ければよい。
【００７５】
Ｓ／Ｎ比算出回路４０は、次のようにＳ／Ｎ比を求める。
【００７６】
まず、Ｓ／Ｎ比算出回路４０は、入力バッファ２１に格納されている入力画像の画素値（ｆ（ｉ，ｊ））と、フレームメモリ２９に格納されている符号化された後の復号画像の画素値（ｇ（ｉ，ｊ））とに基づき、下記式（２）に示すように誤差ｄを求める。なお、ｉはフレーム内における水平方向の画素位置であり、ｊはフレーム内における垂直方向の画素位置である。
【００７７】
【数１】
2004147104.tif 000003
【００７８】
続いて、Ｓ／Ｎ比算出回路４０は、得られた誤差ｄから、Ｓ／Ｎ比は次の式（３）のように求められる。
【００７９】
【数２】
2004147104.tif 000004
【００８０】
また、誤差ｄの算出方法は、式（２）で示すような２乗和の他に、次の式（４）に示すような絶対値和を用いることもできる。
【００８１】
【数３】
2004147104.tif 000005
【００８２】
絶対値和を用いた場合、Ｓ／Ｎ比は、次の式（５）のように求められる。
【００８３】
【数４】
2004147104.tif 000006
【００８４】
なお、誤差ｄからＳ／Ｎ比を算出するには、対数計算が必要になり、演算量が増加してしまう。誤差ｄに対してＳ／Ｎ比は単純減少する関数であるので、Ｓ／Ｎ比を出力するのではなく、誤差ｄを出力するようにしてもよい。
【００８５】
【発明の効果】
本発明にかかる動画像符号化装置及び方法では、外部から設定された目標のビットレートに応じて符号化データストリームのビットレートを制御しながら符号化データストリームを出力するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００８６】
このことにより、本発明にかかる動画像符号化装置及び方法では、出力する符号化データストリームのビットレートが変更されても、最低限の画質を保障した動画像の符号化を行うことができる。
【００８７】
本発明にかかる動画像送信装置では、ネットワークの状況に応じて決定された目標のビットレートに応じて符号化データストリームのビットレートを制御し、ビットレートが制御された当該符号化データストリームをネットワーク上に送信するとともに、動画像データストリームのフレームレートを符号化データストリームの画質に基づき算出されたフレームレートに変更する。
【００８８】
このことにより、本発明にかかる動画像送信装置では、出力する符号化データストリームのビットレートが変更されても、最低限の画質を保障した動画像の符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の動画像データのリアルタイム配信システムの構成図である。
【図２】ベースバンドの動画像データのデータ構成、並びに、フレームレートが変換された後の動画像データのデータ構成を示す図である。
【図３】送信装置内の動画像符号化部のブロック図である。
【図４】目標フレームレートが記述されたテーブルを示す図である。
【図５】フレームレートを算出する処理の流れを示したフローチャートである。
【図６】フレームレートの制御処理を行った場合の送信装置の具体的な処理動作例を示す図である。
【図７】Ｓ／Ｎ比算出回路が設けられた動画像符号化部のブロック図である。
【符号の説明】
１　リアルタイム配信システム、２　カメラ装置、３　送信装置、４　受信装置、５　ＩＰネットワーク、１１　フレームレート変換部、１２　動画像符号化部、１３　送信部
１４　受信部、１５　ビットレート算出部、１６　フレームレート算出部
【図１】
2004147104.tif 000007
【図２】
2004147104.tif 000008
【図３】
2004147104.tif 000009
【図４】
2004147104.tif 000010
【図５】
2004147104.tif 000011
【図６】
2004147104.tif 000012
【図７】
2004147104.tif 000013
【手続補正書】
【提出日】平成14年11月13日(2002.11.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
ＲＴＰ及びＲＴＣＰを用いたリアルタイム配信を行った場合、ネットワーク上で損失されたＲＴＰパケットの割合（パケット損失率）や受信装置側で受信したＲＴＰパケットの遅延時間（ジッタ）等が、ＲＴＣＰパケットに含められて受信装置側から送信装置側へ転送される。このため送信装置は、パケット損失率やジッタが大きくなればネットワークの転送効率が下がっていると判断し、データの送出レートを下げ、パケット損失率やジッタが小さくなればネットワークの転送効率が上がっていると判断し、データの送出レートを上げることができる。このようにＲＴＰ及びＲＴＣＰでは、ネットワークの状態に応じて送信側で送出レートを適応的に変化させ、データのリアルタイム性を保障しながら動画像データの配信をすることができる。


【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
さらに、リアルタイム配信システム１では、ＲＴＰパケットに対する制御情報がＲＴＣＰパケットにパケット化され、送信装置３と受信装置４との間でやり取りされる。ＲＴＣＰパケットは、ＩＰヘッダが付加されたＵＤＰパケットにパケット化されて、ＩＰネットワーク５上に配信される。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
送信部１３には、動画像符号化部１２から出力されたＭＰＥＧ−４データストリームが入力される。送信部１３は、入力されたＭＰＥＧ−４データストリームをＲＴＰパケットにパケット化し、さらに、このＲＴＰパケットをＩＰヘッダが付加されたＵＤＰパケットにパケット化する。また、送信部１３は、ＲＴＰパケットの転送を制御するための制御情報をＲＴＣＰパケットにパケット化し、このＲＴＣＰパケットをＩＰヘッダが付加されたＵＤＰパケットにパケット化する。送信部１３は、このように生成したＩＰパケットを、ＩＰネットワーク５を介して受信装置４へ送信する。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
具体的には、フレームレート算出部１６は、圧縮符号化後の画質の劣化度が第１のしきい値以上、つまり、量子化スケールが第１のしきい値以上となる場合には、目標フレームレートを下げ、動画像符号化部１２に供給する動画像データのフレームレートを下げる。このように画質の劣化度が第１のしきい値以上となる場合に、フレームレートを下げることによって、各フレームの画質が向上する。つまり、フレームレートを下げる前と下げた後とでビットレートが変わらないのであれば、１枚のフレームあたりに割り当てられるビット量が増加するため、フレームの画質が向上することとなる。また、フレームレート算出部１６は、圧縮符号化後の画質の劣化度が第２のしきい値以下、つまり、量子化スケールが第２のしきい値以下となる場合には、目標フレームレートを上げ、動画像符号化部１２に供給する動画像データのフレームレートを上げる。ここで、第２のしきい値は、第１のしきい値よりも小さい値である。このように画質の劣化度が第２のしきい値以下となる場合に、フレームレートを上げることによって、各フレームの画質は低下する。つまり、フレームレートを上げる前と上げた後とでビットレートが変わらないのであれば、１枚あたりに割り当てられるビット量が減少するため、フレームの画質が低下することとなる。しかしながら、第２のしきい値の設定を充分に小さい値とすることによって、ある一定以上の画質が確保することができる。従って、充分な画質を確保した状態でフレームレートを上げるので、画質の品質を保持しながら画像の連続性を向上させることができる。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
フレームレート算出部１６は、読み込んだ量子化スケールが第２のしきい値（Ｔｈ２）以下である場合には、つまり、一定の基準値よりも画質が良好である場合には、インデックスｉを１つデクリメントする（ステップＳ８）。すなわち、フレームレートを１ステップ分、増加させる。なお、ステップＳ８における左辺のｉは１以上である。このようにフレームレートを増加させると、もしビットレートに変更がなければ、１フレームに割り当てられるビット量が減少する。そのため、画質が劣化することになるが、画像の連続性は向上する。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
ステップＳ６及びステップＳ８で、インデックスｉを更新すると、続いて、フレームレート算出部１６は、インデックスｉに対応した目標フレームレート値Ｘを、図４に示したテーブルを参照して取得し、取得した目標フレームレート値Ｘをフレームレート変換部１１に転送し、フレームレート変換部１１に設定されているフレームレートを更新する（ステップＳ９）。フレームレート変換部１１は、カメラ装置２から入力された動画像データのフレームレートを、転送されてきた目標フレームレート値Ｘに変換する。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
それとともに、本発明の実施の形態の動画像データのリアルタイム配信システムでは、ＭＰＥＧ−４データストリームで符号化された動画像データの画質の劣化度に応じて、圧縮符号化する動画像データのフレームレートに変更している。具体的には、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームの画質の劣化度が第１のしきい値（Ｔｈ１）より大きくなった場合には、フレームレートの設定値を、現在の値よりも低い値に変更する。このことにより、ＩＰネットワーク５の通信状態が悪化したとしても、一定以上画質を劣化させずに、動画像データをリアルタイム配信することができる。また、動画像符号化部１２により生成されたＭＰＥＧ−４データストリームの画質の劣化度が第２のしきい値（Ｔｈ２）より小さくなった場合には、フレームレートの設定値を、現在の値よりも高い値に変更する。このことにより、ＩＰネットワーク５の通信状態が良好となり、充分な画質が得られる場合には、画像の連続性を向上させた動画像データのリアルタイム配信をすることができる。