(57)【特許請求の範囲】
【請求項１】
動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内符号化または画像間符号化して得られた動画像符号化データを送信する動画像符号化データ送信装置であって、
前記動画像符号化データを画像のブロック単位で分割して得られた複数のビデオパケットの供給を受け、前記ビデオパケットを蓄積するパケット蓄積部と、
各前記ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出部と、
前記複数の属性値に基づき、各前記ビデオパケットの優先度を算出する優先度算出部と、
前記パケット蓄積部に蓄積されたビデオパケットのうち、前記優先度に基づき選択したビデオパケットを送信するパケット送信部とを備え、
前記属性値検出部は、
各前記ビデオパケットに対応した画像の符号化タイプを検出する画像符号化タイプ検出部と、
各前記ビデオパケットに対応した画像と当該画像よりも前にあって最も近い画像内符号化された画像との間にある画像の数を検出する画像間符号化画像数検出部と、
各前記ビデオパケットに含まれる画像内符号化されたブロックの数を検出する画像内符号化ブロック数検出部とを含むことを特徴とする、動画像符号化データ送信装置。
【請求項２】
前記画像内符号化ブロック数検出部は、各前記ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と、当該ビデオパケットのサイズと、予め定めた画像内符号化されたブロックのデータサイズ及び／又は予め定めた画像間符号化されたブロックのデータサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする、請求項１に記載の動画像符号化データ送信装置。
【請求項３】
前記画像内符号化ブロック数検出部は、各前記ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と当該ビデオパケットのサイズと画像内符号化された画像に含まれるブロックの平均データサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする、請求項１に記載の動画像符号化データ送信装置。
【請求項４】
前記パケット送信部は、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、送信されるビデオパケットのデータ量が前記伝送容量を越えない範囲内で、送信すべきビデオパケットを前記優先度に従って選択することを特徴とする、請求項１に記載の動画像符号化データ送信装置。
【請求項５】
前記パケット送信部は、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、前記伝送容量は、受信装置との間で折衝して定めた値であることを特徴とする、請求項１に記載の動画像符号化データ送信装置。
【請求項６】
前記パケット送信部は、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、前記伝送容量は、通信路の伝送容量から前記通信路においてビデオパケットの再送用に割り当てた伝送容量を引いた値であることを特徴とする、請求項１に記載の動画像符号化データ送信装置。
【請求項７】
前記動画像符号化データは、複数の動画像を個別に符号化して得られたものであることを特徴とする、請求項１に記載の動画像符号化データ送信装置。
【請求項８】
前記パケット送信部は、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、各動画像を個別に符号化したときのデータ量に応じて前記伝送容量を分割し、前記優先度と分割された前記伝送容量とに基づき、動画像ごとに送信すべきビデオパケットを選択することを特徴とする、請求項７に記載の動画像符号化データ送信装置。
【請求項９】
動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内符号化または画像間符号化して得られた動画像符号化データを送信する動画像符号化データ送信方法であって、
前記動画像符号化データを画像のブロック単位で分割して得られた複数のビデオパケットの供給を受け、前記ビデオパケットを蓄積するパケット蓄積ステップと、
各前記ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出ステップと、
前記複数の属性値に基づき、各前記ビデオパケットの優先度を算出する優先度算出ステップと、
前記パケット蓄積ステップにおいて蓄積されたビデオパケットのうち、前記優先度に基づき選択したビデオパケットを送信するパケット送信ステップとを備え、
前記属性値検出ステップは、
各前記ビデオパケットに対応した画像の符号化タイプを検出する画像符号化タイプ検出ステップと、
各前記ビデオパケットに対応した画像と当該画像よりも前にあって最も近い画像内符号化された画像との間にある画像の数を検出する画像間符号化画像数検出ステップと、
各前記ビデオパケットに含まれる画像内符号化されたブロックの数を検出する画像内符号化ブロック数検出ステップとを含むことを特徴とする、動画像符号化データ送信方法。
【請求項１０】
前記画像内符号化ブロック数検出ステップは、各前記ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と、当該ビデオパケットのサイズと、予め定めた画像内符号化されたブロックのデータサイズ及び／又は予め定めた画像間符号化されたブロックのデータサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする、請求項９に記載の動画像符号化データ送信方法。
【請求項１１】
前記画像内符号化ブロック数検出ステップは、各前記ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と当該ビデオパケットのサイズと画像内符号化された画像に含まれるブロックの平均データサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする、請求項９に記載の動画像符号化データ送信方法。
【請求項１２】
前記パケット送信ステップは、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、送信されるビデオパケットのデータ量が前記伝送容量を越えない範囲内で、送信すべきビデオパケットを前記優先度に従って選択することを特徴とする、請求項９に記載の動画像符号化データ送信方法。
【請求項１３】
前記パケット送信ステップは、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、前記伝送容量は、受信側との間で折衝して定めた値であることを特徴とする、請求項９に記載の動画像符号化データ送信方法。
【請求項１４】
前記パケット送信ステップは、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、前記伝送容量は、通信路の伝送容量から前記通信路においてビデオパケットの再送用に割り当てた伝送容量を引いた値であることを特徴とする、請求項９に記載の動画像符号化データ送信方法。
【請求項１５】
前記動画像符号化データは、複数の動画像を個別に符号化して得られたものであることを特徴とする、請求項９に記載の動画像符号化データ送信方法。
【請求項１６】
前記パケット送信ステップは、前記優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、各動画像を個別に符号化したときのデータ量に応じて前記伝送容量を分割し、前記優先度と分割された前記伝送容量とに基づき、動画像ごとに送信すべきビデオパケットを選択することを特徴とする、請求項１５に記載の動画像符号化データ送信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化データの送信装置および送信方法に関し、より特定的には、一または複数の動画像符号化データを許容される伝送容量の範囲内で送信する動画像符号化データの送信装置および送信方法に関する。
【０００２】
【従来の技術】
従来から、映画やテレビ番組などの動画像データを、インターネットを介して動画像配信サーバからパーソナルコンピュータなどの動画像受信端末へ配信する技術が知られている。インターネットの伝送容量の範囲内で動画像データを配信するためには、動画像データを所定の方式で符号化し、符号化して得られた動画像符号化データを動画像の特性に応じた方式で伝送することが必要とされる。
【０００３】
例えば、図１５に示すように、動画像データの符号化方式としてＭＰＥＧ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  ４）を用い、データ伝送方式としてＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ  ）を用いることにより、動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができる。図１５において、ＭＰＥＧ４符号化部８２は、画像データ供給部８１から供給された画像データをＭＰＥＧ４に準拠して符号化し、動画像符号化データを求める。動画像符号化データは、ビデオパケット４１の形式でＲＴＰ送信部８３に供給される。ＲＴＰ送信部８３は、ＲＴＰに準拠してビデオパケット４１を送信し、ＲＴＰ受信部８４は、ＲＴＰに準拠してビデオパケット４９を受信する。ＭＰＥＧ４復号化部８５は、受信したビデオパケット４９をＭＰＥＧ４に準拠して復号化し、画像データを再生する。再生画像は、ディスプレイ８６に表示される。
【０００４】
なお、ＭＰＥＧ４の詳細は、”Ｔｅｘｔ  ｆｏｒ  ＣＤ  １４４９６−２  Ｖｉｄｅｏ”，ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｄｏｃｕｍｅｎｔ  ＭＰＥＧ／Ｎ１９０２，  Ｏｃｔｏｂｅｒ，  １９９７．や“ＭＰＥＧ４のすべて”、三木  弼一  編著、工業調査会、１９９８．に、ＲＴＰの詳細は、”ＲＴＰ：  Ａ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  Ａｐｐｌｉｃａｔｉｏｎｓ”，  Ｈ．Ｓｃｈｕｌｚｒｉｎｎｅ，  Ｓ．Ｃａｓｎｅｒ，  Ｒ．Ｆｒｅｄｅｒｉｋ，  ａｎｄ  Ｖ．Ｊａｃｏｂｓｏｎ，  ＲＦＣ１８８９，１９９６．に、それぞれ記載されている。
【０００５】
ＭＰＥＧ４では、図１６に示すように、動画像を構成する各画像ごとに画像内符号化または画像間符号化のいずれかが選択され、各画像は選択された方式で符号化される。図１６に示す例では、４枚の画像７１ａ〜ｄのうち、画像７１ａは画像内符号化され、画像７１ｂ〜ｄは画像間符号化される。画像内符号化される画像は、符号化対象とする画像だけを用いて符号化・復号化される。これに対して、画像間符号化される画像は、符号化対象とする画像に加えて、参照画像と呼ばれる画像を用いて符号化・復号化される。参照画像には、過去に復号化された画像が使用される。画像間符号化は、画像内符号化に比べて符号化効率が高いという長所を有する一方で、伝送誤りなどにより参照画像が得られない場合には復号化できないという短所を有する。
【０００６】
ＭＰＥＧ４では、各画像は、複数の画素からなるブロックに分割され、ブロック単位で符号化される。各ブロックは、ブロック内のデータのみを用いて符号化する画像内符号化、または、ブロック内のデータに加えて参照画像を用いて符号化する画像間符号化のいずれかの方式で符号化される。画像内符号化される画像（例えば、画像７１ａ）では、各ブロックは、すべて画像内符号化される。これに対して、画像間符号化される画像（例えば、画像７１ｂ）では、各ブロックは、画像内または画像間のいずれかの方式で符号化される。このように、画像間符号化された画像に含まれる画像内符号化されたブロックは、参照画像を参照することなく復号化できる。このようなブロックは、一般にリフレッシュブロックと呼ばれる。
【０００７】
このようにして得られた動画像符号化データは、画像のブロックを単位として、ビデオパケットと呼ばれるデータに分割される。図１７は、画像とビデオパケットとの対応関係を示す図である。図１７（ａ）に示す例では、１枚の画像を符号化して得られた動画像符号化データは、５個のビデオパケットに分割されている。ビデオパケットは、１個以上のブロックについての符号化データを含むことが条件とされる。したがって、ビデオパケットは、図１７（ｂ）に示すように、１ないし３個のブロックについての符号化データを含むものでもよく、図１７（ｃ）に示すように、画像のすべてのブロックについての符号化データを含むものでもよい。
【０００８】
ＲＴＰは、動画像のように実時間伝送を必要とするデータをインターネット上で伝送する方式の一つである。図１８は、ＲＴＰ伝送方式の説明図である。図１８において、ＲＴＰ送信部８３は、シリアルナンバーとタイムスタンプとを付加した後に、入力されたパケットを送信する。ＲＴＰ受信部８４は、タイムスタンプを参照して、シリアルナンバーの順に受信したパケットを出力する。この際、ＲＴＰ送信部８３は、パケットの到達を確認することなく、次々とパケットを送信する。したがって、通信ネットワーク７で輻輳や伝送誤りが発生したときには、パケットが途中で消失するパケットロスが発生する。このため、ＲＴＰでは、すべてのパケットの伝送を保証できない反面、伝送遅延によって動画像データの復号化処理が破綻することを防ぐことができる。
【０００９】
このようにＭＰＥＧ４とＲＴＰとを用いることにより、図１５に示すシステムを構成し、インターネット３を介して動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができる。この技術を用いれば、動画像受信端末２が携帯電話などの移動端末である場合にも、図１９に示すゲートウェイ４を使用することにより、動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができると考えられる。
【００１０】
【発明が解決しようとする課題】
しかしながら、図１９に示す動画像符号化データ配信システムには、動画像受信端末２における再生画像の画質が著しく劣化するという問題がある。その理由は、次のとおりである。
【００１１】
図１９に示すシステムでは、インターネット３の伝送容量はビデオパケット４１のデータレートに比べて十分大きいため、動画像配信サーバ１は、伝送容量の制限を考慮することなく、すべてのビデオパケット４１を送信する。このようにしても、インターネット３では輻輳や伝送誤りが生じることがない。したがって、ゲートウェイ４が受信するビデオパケット４８は、動画像配信サーバ１が送信したビデオパケット４１に一致する。
【００１２】
次に、ゲートウェイ４は、携帯電話網５に接続された動画像受信端末２に対して、ビデオパケット４８を送信する。この際、ビデオパケット４８は、携帯電話網５に含まれる無線伝送区間６を経由して伝送される。しかし、無線伝送区間６の伝送容量がビデオパケット４８のデータレートに比べて小さい場合には、図２０（ａ）に示すように、無線伝送区間６で輻輳が生じ、予期しないパケットロスが発生する。このため、受信したビデオパケット４９に基づき画像データを再生した場合に、再生画像の画質は著しく劣化する。
【００１３】
また、無線伝送の分野では、ノイズの影響を低減させ、通信の信頼性を向上させるために、伝送容量の一部を再送用に割り当る方式が採用される場合も多い。この方式を無線伝送区間６に採用した場合、図２０（ｂ）に示すように、送信部は、以前に消失したビデオパケット４７を、再送用伝送容量８を用いて送信する。しかし、たとえビデオパケットを再送することとしても、ビデオパケット４８のデータレートが無線伝送区間６の伝送容量を越えている場合には、やがて大量にビデオパケットが再送される状態になる。このため、無線伝送区間６ではやはり輻輳が生じ、予期しないパケットロスが発生する。したがって、この方式を採用しても、再生画像の画質を改善することはできない。
【００１４】
それ故に、本発明は、再生画像の画質を大きく劣化させることなく、許容される伝送容量の範囲内で動画像符号化データを送信する、動画像符号化データの送信装置および送信方法を提供することを目的とする。
【００１５】
【課題を解決するための手段および発明の効果】
第１の発明は、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内符号化または画像間符号化して得られた動画像符号化データを送信する動画像符号化データ送信装置であって、
動画像符号化データを画像のブロック単位で分割して得られた複数のビデオパケットの供給を受け、ビデオパケットを蓄積するパケット蓄積部と、
各ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出部と、
複数の属性値に基づき、各ビデオパケットの優先度を算出する優先度算出部と、
パケット蓄積部に蓄積されたビデオパケットのうち、優先度に基づき選択したビデオパケットを送信するパケット送信部とを備え、
属性値検出部は、
各ビデオパケットに対応した画像の符号化タイプを検出する画像符号化タイプ検出部と、
各ビデオパケットに対応した画像と当該画像よりも前にあって最も近い画像内符号化された画像との間にある画像の数を検出する画像間符号化画像数検出部と、
各ビデオパケットに含まれる画像内符号化されたブロックの数を検出する画像内符号化ブロック数検出部とを含むことを特徴とする。
【００１６】
このような第１の発明によれば、各ビデオパケットについて画像の符号化に関する複数の属性値が検出され、検出された属性値に基づき優先度が算出され、さらに、算出された優先度に基づき選択されたビデオパケットが送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、動画像符号化データを送信することができる。特に、各ビデオパケットについて、画像の符号化タイプと画像間符号化画像数と画像内符号化ブロック数とが、画像の符号化方式に関する属性値として検出されるので、これらの属性値を用いることにより、各ビデオパケットが再生画像の画質に大きな影響を与えるか否かを、効果的に判断することができる。
【００１９】
第２の発明は、第１の発明において、画像内符号化ブロック数検出部は、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と、当該ビデオパケットのサイズと、予め定めた画像内符号化されたブロックのデータサイズ及び／又は予め定めた画像間符号化されたブロックのデータサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００２０】
このような第２の発明によれば、ビデオパケットの構造から容易に得られる属性値を用いることにより、ビデオパケットを復号化することなく、画像内符号化ブロック数を簡易な処理で検出することができる。
【００２１】
第３の発明は、第１の発明において、画像内符号化ブロック数検出部は、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と当該ビデオパケットのサイズと画像内符号化された画像に含まれるブロックの平均データサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００２２】
このような第３の発明によれば、ビデオパケットの構造から容易に得られる、画像内符号化された画像に含まれるブロックの平均データサイズを用いることにより、画像内符号化ブロック数を簡易な処理で検出することができる。
【００２３】
第４の発明は、第１の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、送信されるビデオパケットのデータ量が伝送容量を越えない範囲内で、送信すべきビデオパケットを優先度に従って選択することを特徴とする。
【００２４】
このような第４の発明によれば、送信データ量が伝送容量を越えない範囲内で、優先度の高いビデオパケットを優先して選択することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００２５】
第５の発明は、第１の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、受信装置との間で折衝して定めた値であることを特徴とする。
【００２６】
このような第５の発明によれば、受信装置の特性や通信路の状態に応じて伝送容量を切り替えて、伝送容量の範囲内で動画像符号化データを送信することができる。
【００２７】
第６の発明は、第１の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、通信路の伝送容量から通信路においてビデオパケットの再送用に割り当てた伝送容量を引いた値であることを特徴とする。
【００２８】
このような第６の発明によれば、ビデオパケットの再送を考慮して伝送容量を決定し、伝送容量の範囲内で動画像符号化データを送信することができる。
【００２９】
第７の発明は、第１の発明において、動画像符号化データは、複数の動画像を個別に符号化して得られたものであることを特徴とする。
【００３０】
このような第７の発明によれば、複数の動画像に対応したビデオパケットが供給された場合でも、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００３１】
第８の発明は、第７の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、各動画像を個別に符号化したときのデータ量に応じて伝送容量を分割し、優先度と分割された伝送容量とに基づき、動画像ごとに送信すべきビデオパケットを選択することを特徴とする。
【００３２】
このような第８の発明によれば、複数の動画像に対応したビデオパケットが供給された場合には、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。
【００３３】
第９の発明は、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内符号化または画像間符号化して得られた動画像符号化データを送信する動画像符号化データ送信方法であって、
動画像符号化データを画像のブロック単位で分割して得られた複数のビデオパケットの供給を受け、ビデオパケットを蓄積するパケット蓄積ステップと、
各ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出ステップと、
複数の属性値に基づき、各ビデオパケットの優先度を算出する優先度算出ステップと、
パケット蓄積ステップにおいて蓄積されたビデオパケットのうち、優先度に基づき選択したビデオパケットを送信するパケット送信ステップとを備え、
属性値検出ステップは、
各ビデオパケットに対応した画像の符号化タイプを検出する画像符号化タイプ検出ステップと、
各ビデオパケットに対応した画像と当該画像よりも前にあって最も近い画像内符号化された画像との間にある画像の数を検出する画像間符号化画像数検出ステップと、
各ビデオパケットに含まれる画像内符号化されたブロックの数を検出する画像内符号化ブロック数検出ステップとを含むことを特徴とする。
【００３４】
このような第９の発明によれば、各ビデオパケットについて画像の符号化に関する複数の属性値が検出され、検出された属性値に基づき優先度が算出され、さらに、算出された優先度に基づき選択されたビデオパケットが送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、動画像符号化データを送信することができる。特に、各ビデオパケットについて、画像の符号化タイプと画像間符号化画像数と画像内符号化ブロック数とが、画像の符号化方式に関する属性値として検出されるので、これらの属性値を用いることにより、各ビデオパケットが再生画像の画質に大きな影響を与えるか否かを、効果的に判断することができる。
【００３７】
第１０の発明は、第９の発明において、画像内符号化ブロック数検出ステップは、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と、当該ビデオパケットのサイズと、予め定めた画像内符号化されたブロックのデータサイズ及び／又は予め定めた画像間符号化されたブロックのデータサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００３８】
このような第１０の発明によれば、ビデオパケットの構造から容易に得られる属性値を用いることにより、ビデオパケットを復号化することなく、画像内符号化ブロック数を簡易な処理で検出することができる。
【００３９】
第１１の発明は、第９の発明において、画像内符号化ブロック数検出ステップは、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と当該ビデオパケットのサイズと画像内符号化された画像に含まれるブロックの平均データサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００４０】
このような第１１の発明によれば、ビデオパケットの構造から容易に得られる、画像内符号化された画像に含まれるブロックの平均データサイズを用いることにより、画像内符号化ブロック数を簡易な処理で検出することができる。
【００４１】
第１２の発明は、第９の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、送信されるビデオパケットのデータ量が伝送容量を越えない範囲内で、送信すべきビデオパケットを優先度に従って選択することを特徴とする。
【００４２】
このような第１２の発明によれば、送信データ量が伝送容量を越えない範囲内で、優先度の高いビデオパケットを優先して選択することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４３】
第１３の発明は、第９の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、受信側との間で折衝して定めた値であることを特徴とする。
【００４４】
このような第１３の発明によれば、受信側の特性や通信路の状態に応じて伝送容量を切り替えて、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４５】
第１４の発明は、第９の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、通信路の伝送容量から通信路においてビデオパケットの再送用に割り当てた伝送容量を引いた値であることを特徴とする。
【００４６】
このような第１４の発明によれば、ビデオパケットの再送を考慮して伝送容量を決定し、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４７】
第１５の発明は、第９の発明において、動画像符号化データは、複数の動画像を個別に符号化して得られたものであることを特徴とする。
【００４８】
このような第１５の発明によれば、複数の動画像に対応したビデオパケットが供給された場合でも、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４９】
第１６の発明は、第１５の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、各動画像を個別に符号化したときのデータ量に応じて伝送容量を分割し、優先度と分割された伝送容量とに基づき、動画像ごとに送信すべきビデオパケットを選択することを特徴とする。
【００５０】
このような第１６の発明によれば、複数の動画像に対応したビデオパケットが供給された場合には、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。
【００５１】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１に示す動画像符号化データ送信装置１０は、画像データ供給部８１、ＭＰＥＧ４符号化部８２、ＲＴＰ送信部８３、画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、送信判定部１５、および、バッファ１６を備える。この動画像符号化データ送信装置１０は、図１５に示す動画像配信サーバ１と対比されるものである。
【００５２】
動画像符号化データ送信装置１０は、概ね次のように動作する。画像データ供給部８１は、ＭＰＥＧ４符号化部８２に対して画像データを供給する。画像データ供給部８１は、多数の動画像データを蓄積したデータサーバや、動画像データを取り込むカメラなどによって構成される。ＭＰＥＧ４符号化部８２は、供給された画像データをＭＰＥＧ４に準拠して符号化する。これにより得られた動画像符号化データは、ビデオパケット４１の形式でバッファ１６に供給される。
【００５３】
バッファ１６は、ＭＰＥＧ４符号化部８２から供給されたビデオパケット４１、各ビデオパケットの優先度５４、および、各ビデオパケットの送信マーク５５を蓄積する。優先度５４および送信マーク５５の詳細については、後述する。
【００５４】
画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、および、画像内符号化ブロック数検出部１３は、いずれも、バッファ１６に蓄積されたビデオパケット４１を参照し、各ビデオパケットの属性値を検出する。優先度算出部１４は、検出された複数の属性値に基づき、各ビデオパケットの優先度５４を算出し、バッファ１６に書き込む。送信判定部１５は、バッファ１６から読み出した優先度５４に基づき各ビデオパケット４１を送信するか否かを判定し、その結果を表す送信マーク５５をバッファ１６に書き込む。
【００５５】
バッファ１６からは、送信判定部１５において送信すべきと判定されたビデオパケット４２のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４２を受信装置（図示せず）に対して送信する。
【００５６】
次に、ビデオパケット４１について説明する。ビデオパケット４１は、ＭＰＥＧ４に準拠して符号化された動画像符号化データを分割したものである。この動画像符号化データは、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内または画像間のいずれかで符号化して得られたものである。動画像符号化データは、画像単位で分割された後に、ブロック単位でパケット化されている。すなわち、動画像符号化データは、各ブロックの符号化データが複数のビデオパケットにまたがらず、かつ、各画像の最初のブロックの符号化データはビデオパケットの先頭に位置するようにパケット化される。なお、本実施形態に係るビデオパケット４１は、図１５に示した従来のシステムにおけるビデオパケット４１と同じである。
【００５７】
図２は、ビデオパケットの構成を示す図である。ビデオパケット４１は、図２に示すように、ヘッダ６１、ブロックデータ６２、および、スタッフィング６３から構成される。ブロックデータ６２は、複数のブロックについての符号化データである。スタッフィング６３は、ビデオパケット４１のサイズをバイト境界にそろえるために追加された無意味なデータである。
【００５８】
ビデオパケット４１は、画像の最初のブロックを含むか否かにより、２種類に分類される。画像の最初のブロックを含むビデオパケット４１ａのヘッダ６１ａには、図２（ａ）に示すように、ピクチャスタートコード６４やＩ−Ｐ判定情報６５などが含まれる。画像の最初のブロックを含まないビデオパケット４１ｂのヘッダ６１ｂには、図２（ｂ）に示すように、ビデオパケットスタートコード６６や開始ブロック番号６７などが含まれる。ピクチャスタートコード６４は、このビデオパケットが画像の最初のブロックを含むことを表し、ビデオパケットスタートコード６６は、このビデオパケットが画像の最初のブロックを含まないことを表す。Ｉ−Ｐ判定情報６５は、画像が画像内または画像間のいずれによって符号化されたものであるかを示す。開始ブロック番号６７は、このビデオパケットに含まれる先頭のブロックの番号を示す。
【００５９】
図３は、画像とビデオパケットとの対応関係を示す図である。図３に示す例では、１枚の画像を符号化して得られた動画像符号化データは、ブロック単位で５個のビデオパケットに分割されている。画像の最初のブロックを含む第１のビデオパケット４１ａには、Ｉ−Ｐ判定情報６５が含まれている。画像の最初のブロックを含まない第２ないし第５のビデオパケット４１ｂには、開始ブロック番号６７が含まれている。
【００６０】
次に、動画像符号化データ送信装置１０の特徴である画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部１５の詳細について説明する。
【００６１】
ＭＰＥＧ４符号化部８２から供給されたビデオパケット４１は、順に、バッファ１６に蓄積される。画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部１５は、所定のタイミングで、例えば、バッファ１６に蓄積されたビデオパケット４１の量がしきい値以上となったときに、バッファ１６に蓄積されたビデオパケット４１のうち未処理のものについて、以下の処理を行う。
【００６２】
画像符号化タイプ検出部１１は、バッファ１６に蓄積されたビデオパケット４１を参照し、このビデオパケットが画像内符号化された画像、または、画像間符号化された画像のいずれに対応するかを検出し、その結果を表す画像符号化タイプ５１を出力する。具体的には、画像符号化タイプ検出部１１は、画像の最初のブロックを含むビデオパケット４１ａが与えられたときに、Ｉ−Ｐ判定情報６５を抽出して、その値を画像符号化タイプ５１に設定すればよい。
【００６３】
画像間符号化画像数検出部１２は、バッファ１６に蓄積されたビデオパケット４１を参照し、このビデオパケットに対応した画像の画像間符号化画像数５２を求める。ここで、画像間符号化画像数とは、画像間符号化された画像について、その画像とその画像の前にあって最も近い画像内符号化された画像との間に存在する画像の数をいう。例えば、図４に示すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７１ｄがこの順序で符号化され、画像７１ａは画像内符号化され、画像７１ｂ〜ｄは画像間符号化された場合を考える。画像７１ｄと直近の画像内符号化された画像７１ａとの間には、２枚の画像が存在するので、画像７１ｄの画像間符号化画像数は、２となる。同様に、画像７１ｂおよび７１ｃの画像間符号化画像数は、それぞれ、０および１となる。また、画像７１ａは画像内符号化されているので、画像７１ａの画像間符号化画像数は定義されない。画像間符号化画像数検出部１２は、画像符号化タイプ検出部１１と同様に、ビデオパケット４１ａに含まれるＩ−Ｐ判定情報６５を用いて、画像間符号化画像数５２を求める。
【００６４】
画像内符号化ブロック数検出部１３は、バッファ１６に蓄積されたビデオパケット４１を参照して、各ブロックが画像内または画像間のいずれによって符号化されているかを検出し、画像内符号化されたブロックの数５３（以下、画像内符号化ブロック数という）を出力する。具体的には、画像内符号化ブロック数検出部１３は、各ブロックの符号化方式が判別できる程度にまでビデオパケット４１を復号化することにより、画像内符号化ブロック数５３を求める。
【００６５】
ただし、画像の最初のブロックを含まないビデオパケット４１ｂには、図３に示すように、開始ブロック番号６７が含まれている。したがって、ビデオパケット４１が画像内符号化された画像に対応する場合には、画像内符号化ブロック数検出部１３は、対象とするビデオパケットの開始ブロック番号６７と次のビデオパケットの開始ブロック番号との差を画像内符号化ブロック数５３として出力することにより、ビデオパケット４１を復号化する必要はない。この場合、画像の最初のブロックを含むビデオパケット４１ａは、開始ブロック番号６７の値が１であるとして扱えばよい。
【００６６】
優先度算出部１４は、画像符号化タイプ検出部１１と画像間符号化画像数検出部１２と画像内符号化ブロック数検出部１３とによって検出された３個の属性値に基づき、各ビデオパケット４１の優先度５４を算出する。
【００６７】
図５は、ビデオパケットの属性値と優先度との対応関係を示す図である。図５に示すように、画像符号化タイプ５１が画像内符号化であるビデオパケットには、画像符号化タイプ５１が画像間符号化であるビデオパケットに比べて、高い優先度が与えられる。また、画像符号化タイプ５１が画像間符号化である場合には、画像間符号化画像数５２が少ないビデオパケットに、高い優先度が与えられる。また、画像内符号化ブロック数５３が多いビデオパケットに、高い優先度が与えられる。このように再生画像の画質に大きな影響を与えるビデオパケットには、高い優先度が与えられる。
【００６８】
図６は、優先度算出部１４の動作を示すフローチャートである。優先度算出部１４は、まず、求めるべき優先度Ｐの値を０に初期化する（ステップＳ１０１）。次に、優先度算出部１４は、画像符号化タイプ検出部１１から画像符号化タイプ５１を受け取る（ステップＳ１０２）。次に、優先度算出部１４は、画像符号化タイプ５１が画像内符号化であればステップＳ１０４に進み、そうでなければステップＳ１０５に進む（ステップＳ１０３）。ステップＳ１０４では、優先度算出部１４は、優先度Ｐに画像符号化タイプ５１に基づく第１の優先度Ｐａ＝Ｃａを加える。ここで、Ｃａは、後述する定数である。
【００６９】
ステップＳ１０４により、画像内符号化された画像に対応したビデオパケットには高い優先度が、画像間符号化された画像に対応したビデオパケットには低い優先度が、それぞれ与えられる。例えば、図７に示すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７１ｅがこの順序で符号化され、画像７１ａと７１ｅとは画像内符号化され、画像７１ｂと７１ｃとは画像間符号化された場合を考える。この場合、画像７１ａまたは７１ｅに対応したビデオパケットには高い優先度が、画像７１ｂまたは７１ｃに対応したビデオパケットには低い優先度が、それぞれ与えられる。
【００７０】
ステップＳ１０５では、優先度算出部１４は、画像間符号化画像数検出部１２から画像間符号化画像数５２を受け取る。次に、優先度算出部１４は、優先度Ｐに画像間符号化画像数５２に基づく第２の優先度Ｐｂ＝（Ｌ−Ｎ）×Ｃｂを加える（ステップＳ１０６）。ここで、Ｎは画像間符号化画像数５２であり、ＬおよびＣｂは後述する定数である。
【００７１】
ステップＳ１０６により、ビデオパケットに対応した画像が直近の画像内符号化された画像から離れるほど、そのビデオパケットには低い優先度が与えられる。例えば、図４に示した例については、図８に示すように、画像７１ｂに対応したビデオパケットには高い優先度が、画像７１ｄに対応したビデオパケットには低い優先度が、それぞれ与えられる。また、画像７１ｃに対応したビデオパケットには、両者の中間の優先度が与えられる。
【００７２】
次に、優先度算出部１４は、画像内符号化ブロック数検出部１３から画像内符号化ブロック数５３を受け取る（ステップＳ１０７）。次に、優先度算出部１４は、優先度Ｐに画像内符号化ブロック数５３に基づく第３の優先度Ｐｃ＝Ｍ×Ｃｃを加える（ステップＳ１０８）。ここで、Ｍは画像内符号化ブロック数５３であり、Ｃｃは後述する定数である。
【００７３】
ステップＳ１０８の処理により、画像内符号化されたブロックを多く含むビデオパケットには、より高い優先度が与えられる。
【００７４】
なお、Ｌはバッファ１６内のすべてのＮよりも大きな定数、Ｃａはバッファ１６内のすべてのＰｂよりも大きな定数、Ｃｂはバッファ１６内のすべてのＰｃよりも大きな定数、Ｃｃは正の定数である。これら定数の値は、この条件を満たすように予め決めておいてもよく、バッファ１６に蓄積されたビデオパケット４１を解析した後に決めてもよい。
【００７５】
送信判定部１５は、図１０に示すフローチャートに従い、通信ネットワークの伝送容量の範囲内で、優先度５４に従って送信すべきビデオパケットを選択する。送信判定部１５は、まず、送信量Ｔの値を０に設定し（ステップＳ２０１）、処理対象のビデオパケット４１の送信マーク５５をすべてオフに設定する（ステップＳ２０２）。次に、送信判定部１５は、処理対象のビデオパケット４１の最新のタイムスタンプＴ１（秒）および最古のタイムスタンプＴ２（秒）と、通信ネットワークの伝送容量Ｒ（キロビット毎秒）とに基づき、次式（１）を用いて送信可能データ量Ｂ（バイト）を計算する（ステップＳ２０３）。
【００７６】
【数１】
0003594296.tif 000002
【００７７】
その後、送信判定部１５は、送信すべきビデオパケットを選択する処理を繰り返す（ステップＳ２０４からＳ２０８）。具体的には、送信判定部１５は、送信マーク５５がオフであるビデオパケットのうち、優先度５４が最大であるものを検出する（ステップＳ２０４）。次に、送信判定部１５は、ステップＳ２０４で検出したビデオパケットのサイズＶを検出する（ステップＳ２０５）。次に、送信判定部１５は、ＴとＶとの和がＢ以下である場合にはステップＳ２０７に進み、それ以外の場合には処理を終了する（ステップＳ２０６）。ステップＳ２０７では、送信判定部１５は、ステップＳ２０４で検出したビデオパケットの送信マーク５５をオンに設定する。次に、送信判定部１５は、ＴにＶを加える（ステップＳ２０８）。ステップＳ２０４からＳ２０８により、送信可能データ量Ｂの範囲内で、優先度５４の順に、送信すべきビデオパケットの送信マーク５５をオンに設定したことになる。
【００７８】
また、送信判定部１５は、図１１に示すフローチャートに従い、送信すべきビデオパケットを選択してもよい。送信判定部１５は、まず、図１０のステップＳ２０１からＳ２０３と同じ処理を行い、送信量Ｔと送信マーク５５とを初期化し、送信可能データ量Ｂを計算する（ステップＳ３０１からＳ３０３）。
【００７９】
その後、送信判定部１５は、送信すべきビデオパケットを選択する処理を繰り返す（ステップＳ３０４からＳ３１０）。具体的には、送信判定部１５は、送信マーク５５がオフであるビデオパケットがあるか否かを判断し、ビデオパケットがある場合はステップＳ３０５に進み、それ以外の場合は処理を終了する（ステップＳ３０４）。次に、送信判定部１５は、送信マーク５５がオフであるビデオパケットのうち、優先度５４が最大であるものを検出し（ステップＳ３０５）、そのビデオパケットのサイズＶを検出する（ステップＳ３０６）。次に、送信判定部１５は、ＴとＶとの和がＢ以下である場合にはステップＳ３０８に進み、それ以外の場合にはステップＳ３１０に進む。
【００８０】
ＴとＶとの和がＢ以下である場合には、送信判定部１５は、検出したビデオパケットの送信マーク５５をオンに設定し（ステップＳ３０８）、ＴにＶを加えた後に、ステップＳ３０４へ戻る（ステップＳ３０９）。ＴとＶとの和がＢより大きい場合には、送信判定部１５は、検出したビデオパケットの送信マーク５５をチェック済みに設定し、ステップＳ３０４へ戻る（ステップＳ３１０）。チェック済みの送信マーク５５は、ステップＳ３０４ではオフでないとして取り扱われるものとする。ステップＳ３０４からＳ３１０により、送信可能データ量Ｂの範囲内で、優先度５４の順に、送信すべきビデオパケット４１の送信マーク５５をオンに設定したことになる。
【００８１】
なお、図１０および図１１に示すフローチャートでは、通信ネットワークの伝送容量Ｒを用いて送信可能データ量Ｂを計算しているが、これに代えて、許容される伝送容量として、受信装置との間で折衝して定めた伝送容量を用いてもよい。例えば、許容される伝送容量として、受信装置から指定された伝送容量を用いもよい。また、ビデオパケットの再送を行う方式を採用した場合には、許容される伝送容量として、通信ネットワークの伝送容量からビデオパケット再送用の伝送容量を引いた値を用いてもよい。
【００８２】
以上に示すように、本実施形態に係る動画像符号化データ送信装置は、供給された複数のビデオパケットを蓄積し、各ビデオパケットについて画像符号化タイプと画像間符号化画像数と画像内符号化ブロック数とを検出し、これらの属性値に基づき各ビデオパケットの優先度を算出した後に、蓄積したビデオパケットのうち、優先度と許容される伝送容量に従って選択したビデオパケットを送信する。これにより、画像内符号化された画像に対応したビデオパケットは、画像間符号化された画像に対応したビデオパケットよりも優先的に送信される。また、ビデオパケットに対応した画像が直近の画像内符号化された画像に近いほど、そのビデオパケットは優先的に送信される。また、画像内符号化されたブロックを多く含むビデオパケットは、優先的に送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００８３】
（第２の実施形態）
図１２は、本発明の第２の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１２に示す動画像符号化データ送信装置２０は、ＲＴＰ受信部８４、ＲＴＰ送信部８３、画像符号化タイプ検出部２１、画像間符号化画像数検出部１２、画像内符号化ブロック数推定部２３、優先度算出部１４、送信判定部１５、および、バッファ１６を備える。この動画像符号化データ送信装置２０は、図１９に示すゲートウェイ４と対比されるものである。
【００８４】
ＲＴＰ受信部８４は、通信ネットワーク（図示せず）を介して、ＭＰＥＧ４に準拠して求めたビデオパケット４１を受信する。本実施形態に係るビデオパケット４１は、第１の実施形態に係るビデオパケット４１と同じ特徴を有する。
【００８５】
バッファ１６は、ＲＴＰ受信部８４から供給されたビデオパケット４１、各ビデオパケットの優先度５８、および、各ビデオパケットの送信マーク５９を蓄積する。
【００８６】
画像符号化タイプ検出部２１、画像間符号化画像数検出部１２、画像内符号化ブロック数推定部２３、優先度算出部１４、および、送信判定部１５は、第１の実施形態と同様に、所定のタイミングで、バッファ１６に蓄積されたビデオパケット４１のうち未処理のものについて処理を行う。
【００８７】
画像符号化タイプ検出部２１は、第１の実施形態に係る画像符号化タイプ検出部１１と同様に、画像符号化タイプ５１を出力する。これに加えて、画像符号化タイプ検出部２１は、画像内符号化された画像に含まれるブロックのデータサイズの平均値である画像内符号化ブロック平均データサイズ５６を出力する。
【００８８】
具体的には、画像符号化タイプ検出部２１は、画像内符号化された画像に対応したビデオパケットが入力されたときに、ビデオパケットのデータサイズＰをビデオパケットに含まれるブロック数Ｑで割った商を、画像内符号化ブロック平均データサイズ５６として出力する。あるいは、画像符号化タイプ検出部２１は、画像内符号化された画像に対応した複数のビデオパケットについて上記ＰおよびＱをそれぞれ合計し、Ｐの合計値をＱの合計値で割った商を画像内符号化ブロック平均データサイズ５６として出力してもよい。画像符号化タイプ検出部２１は、第１の実施形態に係る画像内符号化ブロック数検出部１３と同様の手法を用いて、ビデオパケット４１を復号化することなく、上記Ｑを求める。このようにして求めた画像内符号化ブロック平均データサイズ５６は、画像内符号化ブロック数推定部２３に供給される。
【００８９】
画像内符号化ブロック数推定部２３は、バッファ１６に蓄積されたビデオパケット４１のデータサイズと、このビデオパケットに含まれるブロック数とを検出する。これら２つの値は、ビデオパケット４１を復号化することなく検出できる。ビデオパケットに含まれる画像内符号化されたブロックの数Ｂｉについては、次式（２）が成立する。そこで、画像内符号化ブロック数推定部２３は、式（２）をＢｉについて解いた次式（３）を用いて、画像内符号化されたブロックの数Ｂｉを求める。
【００９０】
【数２】
0003594296.tif 000003
【００９１】
ここで、Ｓｖは対象とするビデオパケット４１のデータサイズ、Ａは画像符号化タイプ検出部２１から供給された画像内符号化ブロック平均データサイズ５６、Ｂｖは対象ビデオパケットに含まれるブロック数、Ｒｃは画像内符号化されたブロックと画像間符号化されたブロックの符号化効率の比である。Ｒｃの値は、予め例えば、Ｒｃ＝１０のように決定しておく。このようにビデオパケット４１を復号化することなく求めた値Ｂｉは、画像内符号化ブロック数推定値５７として、優先度算出部１４に供給される。
【００９２】
画像間符号化画像数検出部１２、優先度算出部１４、および、送信判定部１５は、第１の実施形態と同様に動作する。ただし、優先度算出部１４は、第１の実施形態に係る画像内符号化ブロック数５３に代えて、画像内符号化ブロック数推定値５７を用いる。
【００９３】
バッファ１６からは、送信判定部１５において送信すべきと判定されたビデオパケット４３のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４３を受信装置（図示せず）に対して送信する。
【００９４】
以上に示すように、本実施形態に係る動画像符号化データ送信装置は、各ビデオパケットに含まれるブロックの数と、ビデオパケットのサイズと、画像内符号化されたブロックの平均データサイズとに基づき、各ビデオパケットの画像内符号化ブロック数を推定することを特徴とする。したがって、第１の実施形態に係る動画像符号化データ送信装置が奏する効果に加えて、画像内符号化ブロック数を簡易な処理で検出できるという効果を奏する。
【００９５】
なお、本実施形態では、上式（３）を用いて画像内符号化ブロック数を推定することとしたが、画像内符号化ブロック数を推定する計算式は、これに限るものではない。例えば、画像符号化タイプ検出部から供給される画像内符号化ブロック平均データサイズに代えて、予め定めた画像内符号化されたブロックのデータサイズや、予め定めた画像間符号化されたブロックのデータサイズを用いて、画像内符号化ブロック数を推定してもよい。
【００９６】
（第３の実施形態）
図１３は、本発明の第３の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１３に示す動画像符号化データ送信装置３０は、第１から第４のＲＴＰ受信部８４ａ〜ｄ、ＲＴＰ送信部８３、画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、送信判定部３５、および、バッファ３６を備える。この動画像符号化データ送信装置３０は、図１４に示すゲートウェイ９として使用される。
【００９７】
ＲＴＰ受信部８４ａ〜ｄは、図１４に示すように、インターネット３を介して４つの動画像配信サーバ１ａ〜ｄから、それぞれ、ビデオパケット４１ａ〜ｄを受信する。本実施形態に係るビデオパケット４１ａ〜ｄは、第１の実施形態に係るビデオパケット４１と同じ特徴を有する。
【００９８】
バッファ３６は、ＲＴＰ受信部８４ａ〜ｄから供給されたビデオパケット４１ａ〜ｄ、各ビデオパケットの優先度５４ａ〜ｄ、および、各ビデオパケットの送信マーク５５ａ〜ｄを蓄積する。ただし、図１３では、図面の簡単化のため、ビデオパケット４１ａと優先度５４ａと送信マーク５５ａのみを示している。
【００９９】
画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部３５は、第１の実施形態と同様に、所定のタイミングで、バッファ３６に蓄積されたビデオパケット４１ａ〜ｄのうち未処理のものについて処理を行う。画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、および、優先度算出部１４は、第１の実施形態と同様に動作する。これにより、ビデオパケット４１ａ〜ｄの優先度５４ａ〜ｄが求められ、バッファ３６に書き込まれる。
【０１００】
送信判定部３５は、優先度５４ａ〜ｄに基づき、通信ネットワークの伝送容量の範囲内で、送信すべきビデオパケットを選択する。送信判定部３５は、いずれのＲＴＰ受信部８４ａ〜ｄから供給されたかにかかわらず、処理対象のすべてのビデオパケットを同じように扱い、図１０または図１１に示すフローチャートに従い、送信すべきビデオパケットを選択する。この選択手法によれば、複数の動画像符号化データに対応したビデオパケットの中から、再生画像の画質に大きな影響を与えるビデオパケットを選択して送信することができる。
【０１０１】
また、送信判定部３５は、受信した動画像符号化データのデータレートの比に応じて各チャンネルに伝送容量を割り当て、チャンネルごとに送信すべきパケットを選択することとしてもよい。例えば、図１４に示すように、４種類のビデオパケット４１ａ〜ｄを携帯電話網５に中継する場合であって、ビデオパケット４１ａ〜ｄのデータレートが順に６４Ｋｂｐｓ、３２Ｋｂｐｓ、６４Ｋｂｐｓ、１２８Ｋｂｐｓである場合には、送信判定部３５は、携帯電話網５の伝送容量である６４Ｋｂｐｓを２：１：２：４の比に分割する。その後、送信判定部３５は、例えば、ビデオパケット４１ａについては、許容される伝送容量が６４Ｋｂｐｓ÷９であるとして、図１０または図１１に示すフローチャートに従い、送信すべきビデオパケットを選択する。この選択手法によれば、複数の再生画像のそれぞれについて、画質に大きな影響を与えるビデオパケットを選択して送信することができる。
【０１０２】
バッファ３６からは、送信判定部３５において送信すべきと判定されたビデオパケット４４のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４４を動画像受信端末２に対して送信する。動画像受信端末２は、ビデオパケット４４を受信し、図１４に示すように、４つの再生画面８７ａ〜ｄをディスプレイ８６に表示する。
【０１０３】
以上に示すように、本実施形態に係る動画像符号化データ送信装置は、複数の動画像に対応したビデオパケットを蓄積し、各ビデオパケットについて画像符号化タイプと画像間符号化画像数と画像内符号化ブロック数とを検出し、これらの属性値に基づき各ビデオパケットの優先度を算出した後に、蓄積したビデオパケットのうち、優先度と許容される伝送容量に従って選択したビデオパケットを送信する。したがって、複数の動画像に対応したビデオパケットが供給された場合でも、第１の実施形態に係る動画像符号化データ送信装置と同じ効果を奏することができる。また、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。
【０１０４】
なお、第１から第３の実施形態では、特定の構成を有する動画像符号化データ送信装置を示したが、供給されるビデオパケットは、装置の内部で生成したものでも、通信ネットワークを介して受信したものでもよい。また、ビデオパケットは、１本の動画像を符号化して得られたものでも、複数の動画像を符号化して得られたものでもよい。また、画像内符号化ブロック数は、ビデオパケットを復号化して検出したものでも、画像内符号化ブロック平均データサイズなどを用いて推定したものでもよい。
【０１０５】
また、第１から第３の実施形態では、画像の符号化タイプと画像内符号化画像数と画像間符号化ブロック数と優先度とを所定のタイミングで求めることとしたが、ビデオパケットが供給された時に、これらの値を求めることとしてもよい。
【０１０６】
また、第１から第３の実施形態では、ＭＰＥＧ４とＲＴＰとを用いた動画像符号化データ送信装置について説明したが、画像符号化方式としてＭＰＥＧ４以外の方式を用いてもよく、通信方式としてＲＴＰ以外の方式を用いてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。
【図２】ビデオパケットの構成を示す図である。
【図３】画像とビデオパケットとの対応関係を示す図である。
【図４】画像間符号化画像数の説明図である。
【図５】図１に示す動画像符号化データ送信装置における、ビデオパケットの属性値と優先度との対応関係を示す図である。
【図６】図１に示す動画像符号化データ送信装置の優先度算出部の動作を示すフローチャートである。
【図７】図１に示す動画像符号化データ送信装置における、画像符号化タイプに基づく優先度の説明図である。
【図８】図１に示す動画像符号化データ送信装置における、画像間符号化画像数に基づく優先度の説明図である。
【図９】図１に示す動画像符号化データ送信装置における、画像内符号化ブロック数に基づく優先度の説明図である。
【図１０】図１に示す動画像符号化データ送信装置の送信判定部の動作を示すフローチャートである。
【図１１】図１に示す動画像符号化データ送信装置の送信判定部の他の動作を示すフローチャートである。
【図１２】本発明の第２の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。
【図１３】本発明の第３の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。
【図１４】図１３に示す動画像符号化データ送信装置を用いた動画像符号化データ配信システムの構成を示す図である。
【図１５】従来の動画像符号化データ配信システムの構成を示す図である。
【図１６】ＭＰＥＧ４における画像符号化タイプの説明図である。
【図１７】画像とビデオパケットとの対応関係を示す図である。
【図１８】ＲＴＰ伝送方式の説明図である。
【図１９】無線伝送を用いた、従来の動画像符号化データ配信システムの構成を示す図である。
【図２０】図１９に示す動画像符号化データ配信システムが有する問題点の説明図である。
【符号の説明】
１０、２０、３０…動画像符号化データ送信装置
１１、２１…画像符号化タイプ検出部
１２…画像間符号化画像数検出部
１３…画像内符号化ブロック数検出部
１４…優先度算出部
１５、３５…送信判定部
１６、２６、３６…バッファ
２３…画像内符号化ブロック数推定部
４１、４２、４３、４４…ビデオパケット
５１…画像符号化タイプ
５２…画像間符号化画像数
５３…画像内符号化ブロック数
５４、５８…優先度
５５、５９…送信マーク
５６…画像内符号化ブロック平均データサイズ
５７…画像内符号化ブロック数推定値
８１…画像データ供給部
８２…ＭＰＥＧ４符号化部
８３…ＲＴＰ送信部
８４…ＲＴＰ受信部
【図１】
0003594296.tif 000004
【図２】
0003594296.tif 000005
【図３】
0003594296.tif 000006
【図４】
0003594296.tif 000007
【図５】
0003594296.tif 000008
【図６】
0003594296.tif 000009
【図７】
0003594296.tif 000010
【図８】
0003594296.tif 000011
【図９】
0003594296.tif 000012
【図１０】
0003594296.tif 000013
【図１１】
0003594296.tif 000014
【図１２】
0003594296.tif 000015
【図１３】
0003594296.tif 000016
【図１４】
0003594296.tif 000017
【図１５】
0003594296.tif 000018
【図１６】
0003594296.tif 000019
【図１７】
0003594296.tif 000020
【図１８】
0003594296.tif 000021
【図１９】
0003594296.tif 000022
【図２０】
0003594296.tif 000023