(57)【特許請求の範囲】
【請求項１】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、
前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、
を備える符号化データ出力方法であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、マクロブロックの四隅であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法。
【請求項２】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、
前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、
を備える符号化データ出力方法であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法。
【請求項３】
請求項１又は２に記載の符号化データ出力方法であって、
前記ビット数配分ステップでは、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データを削減することを特徴とする符号化データ出力方法。
【請求項４】
請求項１又は２に記載の符号化データ出力方法であって、
前記ビット数配分ステップでは、前記符号化データ選定ステップで選定された所定の種類の符号化データに、前記入力したビットストリームにおけるビット数と同一又はそれ以下のビット数を配分することを特徴とする符号化データ出力方法。
【請求項５】
請求項１又は２に記載の符号化データ出力方法において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定ステップを適用することを特徴とする符号化データ出力方法。
【請求項６】
請求項１又は２に記載の符号化データ出力方法において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定ステップを適用し、前記予測方向判断ステップが双方向であると判断したサブマクロブロックに対して、前記符号化データ選定ステップを適用し又は適用しないことを特徴とする符号化データ出力方法。
【請求項７】
請求項１又は２に記載の符号化データ出力方法において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定ステップを適用することを特徴とする符号化データ出力方法。
【請求項８】
請求項１又は２に記載の符号化データ出力方法において、
前記符号化データ選定ステップでは、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データを選定することを特徴とする符号化データ出力方法。
【請求項９】
請求項１又は２に記載の符号化データ出力方法において、
前記所定の種類以外の種類の符号化データについては、ビット数を削減しないことを特徴とする符号化データ出力方法。
【請求項１０】
請求項１乃至９の何れか１項に記載の符号化データ出力方法の各ステップと、
入力したビットストリームからベースバンド信号を復号化する復号化ステップと
前記ベースバンド信号に、入力したビットストリームに対して前記符号化データ出力方法を適用して得られた符号化データを多重化する多重化ステップと、
を備えることを特徴とする再符号化データ生成方法。
【請求項１１】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、
前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、
前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、
を備える符号化データ復元方法であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、マクロブロックの四隅であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法。
【請求項１２】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、
前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、
前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、
前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、
を備える符号化データ復元方法であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法。
【請求項１３】
請求項１１又は１２に記載の符号化データ復元方法であって、
前記符号化データ出力方法において選定されなかったことが前記符号化データ選定判断ステップで判断された所定の種類の符号化データが、前記符号化データ出力方法において、削減されたことを、前記ビット数配分判断ステップで、判断することを特徴とする符号化データ復元方法。
【請求項１４】
請求項１１又は１２に記載の符号化データ復元方法であって、
前記符号化データ出力方法において選定されたことが前記符号化データ選定判断ステップで判断された所定の種類の符号化データに、前記符号化データ出力方法において、入力したビットストリームにおけるビット数と同一又はそれ以下のビット数が配分削減されたことを、前記ビット数配分判断ステップで、判断することを特徴とする符号化データ復元方法。
【請求項１５】
請求項１１又は１２に記載の符号化データ復元方法において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定判断ステップを適用することを特徴とする符号化データ復元方法。
【請求項１６】
請求項１１又は１２に記載の符号化データ復元方法において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
前記予測方向判断ステップが双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定判断ステップを適用し、前記予測方向判断ステップが双方向であると判断したサブマクロブロックに対して、前記符号化データ選定判断ステップを適用し又は適用しないことを特徴とする符号化データ復元方法。
【請求項１７】
請求項１１又は１２に記載の符号化データ復元方法において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断ステップと、
所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定判断ステップを適用することを特徴とする符号化データ復元方法。
【請求項１８】
請求項１１又は１２に記載の符号化データ復元方法において、
前記符号化データ選定判断ステップでは、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データが選定されたこと、を判断することを特徴とする符号化データ復元方法。
【請求項１９】
請求項１１又は１２に記載の符号化データ復元方法において、
前記符号化データ出力方法において、前記所定の種類以外の種類の符号化データについては、ビット数が削減されなかったこと、に基づいて、符号化データを復元することを特徴とする符号化データ復元方法。
【請求項２０】
請求項１１乃至１９の何れか１項に記載の符号化データ復元方法の各ステップと、
前記符号化データ復元方法により復元された符号化データを利用して、入力したベースバンド信号を符号化する符号化ステップと、
を備えることを特徴とする符号化方法。
【請求項２１】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、
前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、
を備える符号化データ出力装置であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、マクロブロックの四隅であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置。
【請求項２２】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、
前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、
を備える符号化データ出力装置であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置。
【請求項２３】
請求項２１又は２２に記載の符号化データ出力装置であって、
前記ビット数配分手段は、前記符号化データ選定手段で選定されなかった所定の種類の符号化データを削減することを特徴とする符号化データ出力装置。
【請求項２４】
請求項２１又は２２に記載の符号化データ出力装置であって、
前記ビット数配分手段は、前記符号化データ選定手段で選定された所定の種類の符号化データに、前記入力したビットストリームにおけるビット数と同一又はそれ以下のビット数を配分することを特徴とする符号化データ出力装置。
【請求項２５】
請求項２１又は２２に記載の符号化データ出力装置において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定手段を適用することを特徴とする符号化データ出力装置。
【請求項２６】
請求項２１又は２２に記載の符号化データ出力装置において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定手段を適用し、前記予測方向判断手段が双方向であると判断したサブマクロブロックに対して、前記符号化データ選定手段を適用し又は適用しないことを特徴とする符号化データ出力装置。
【請求項２７】
請求項２１又は２２に記載の符号化データ出力装置において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定手段を適用することを特徴とする符号化データ出力装置。
【請求項２８】
請求項２１又は２２に記載の符号化データ出力装置において、
前記符号化データ選定手段は、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データを選定することを特徴とする符号化データ出力装置。
【請求項２９】
請求項２１又は２２に記載の符号化データ出力装置において、
前記所定の種類以外の種類の符号化データについては、ビット数を削減しないことを特徴とする符号化データ出力装置。
【請求項３０】
請求項２１乃至２９の何れか１項に記載の符号化データ出力装置の各手段と、
入力したビットストリームからベースバンド信号を復号化する復号化手段と
前記ベースバンド信号に、入力したビットストリームに対して前記符号化データ出力装置を通して得られた符号化データを多重化する多重化手段と、
を備えることを特徴とする再符号化データ生成装置。
【請求項３１】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、
前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、
前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、
を備える符号化データ復元装置であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、マクロブロックの四隅であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置。
【請求項３２】
入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、
マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、
前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、
前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、
前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、
を備える符号化データ復元装置であって、
前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、
前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、
前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置。
【請求項３３】
請求項３１又は３２に記載の符号化データ復元装置であって、
前記符号化データ出力装置において選定されなかったことが前記符号化データ選定判断手段で判断された所定の種類の符号化データが、前記符号化データ出力装置において、削減されたことを、前記ビット数配分判断手段で、判断することを特徴とする符号化データ復元装置。
【請求項３４】
請求項３１又は３２に記載の符号化データ復元装置であって、
前記符号化データ出力装置において選定されたことが前記符号化データ選定判断手段で判断された所定の種類の符号化データに、前記符号化データ出力装置において、入力したビットストリームにおけるビット数と同一又はそれ以下のビット数が配分削減されたことを、前記ビット数配分判断手段で、判断することを特徴とする符号化データ復元装置。
【請求項３５】
請求項３１又は３２に記載の符号化データ復元装置において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対してのみ、前記符号化データ選定判断手段を適用することを特徴とする符号化データ復元装置。
【請求項３６】
請求項３１又は３２に記載の符号化データ復元装置において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
前記予測方向判断手段が双方向でないと判断したサブマクロブロックに対して、前記符号化データ選定判断手段を適用し、前記予測方向判断手段が双方向であると判断したサブマクロブロックに対して、前記符号化データ選定判断手段を適用し又は適用しないことを特徴とする符号化データ復元装置。
【請求項３７】
請求項３１又は３２に記載の符号化データ復元装置において、
前記所定の予測モードが適用されるマクロブロックに含まれる各サブマクロブロックに適用される予測方向が双方向であるか否かを判断する予測方向判断手段と、
所定の予測モードが適用されるマクロブロックに含まれる双方向の予測方向が適用されるサブマクロブロックの数が所定値以下の場合にのみ、当該マクロブロックに対して、前記符号化データ選定判断手段を適用することを特徴とする符号化データ復元装置。
【請求項３８】
請求項３１又は３２に記載の符号化データ復元装置において、
前記符号化データ選定判断手段は、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素を含む二次サブマクロブロックに対応する所定の種類の符号化データが選定されたこと、を判断することを特徴とする符号化データ復元装置。
【請求項３９】
請求項３１又は３２に記載の符号化データ復元装置において、
前記符号化データ出力装置において、前記所定の種類以外の種類の符号化データについては、ビット数が削減されなかったこと、に基づいて、符号化データを復元することを特徴とする符号化データ復元装置。
【請求項４０】
請求項３１乃至３９の何れか１項に記載の符号化データ復元装置の各手段と、
前記符号化データ復元装置により復元された符号化データを利用して、入力したベースバンド信号を符号化する符号化手段と、
を備えることを特徴とする符号化装置。
【請求項４１】
請求項１乃至２０の何れか１項に記載の方法をコンピュータに行なわせるためのプログラム。
【請求項４２】
動画像データと共に動きベクトルを送信する装置であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信することを特徴とする装置。
【請求項４３】
動画像データと共に動きベクトルを送信する装置であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを送信することを特徴とする装置。
【請求項４４】
動画像データと共に動きベクトルを受信する装置であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信することを特徴とする装置。
【請求項４５】
動画像データと共に動きベクトルを受信する装置であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを受信することを特徴とする装置。
【請求項４６】
動画像データと共に動きベクトルを送信する方法であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信することを特徴とする方法。
【請求項４７】
動画像データと共に動きベクトルを送信する方法であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを送信することを特徴とする方法。
【請求項４８】
動画像データと共に動きベクトルを受信する方法であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信することを特徴とする方法。
【請求項４９】
動画像データと共に動きベクトルを受信する方法であって、
マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、
マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、
マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、
を備え、
前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、
前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１つの動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの２つの動きベクトルのみを受信することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化データ選定方法及びこれに対応した符号化データ設定方法並びにこれらの装置に関する。また、本発明は、符号化データ選定方法を含む再符号化データ生成方法及びそれに対応した装置に関する。更に、本発明は、符号化データ設定方法を含む再符号化方法及びそれに対応した装置に関する。例えば、符号化データ選定方法は、復号化装置が出力する符号化データの一部を選定するようなものである。
【背景技術】
【０００２】
ＭＰＥＧ−２復号化装置が出力するＭＰＥＧ−２ビットストリームの復号化画像を入力とするタンデム接続のＭＰＥＧ−２再符号化装置において、ビットストリーム中の符号化データをデコード画像に多重化して伝送する技術がある（非特許文献１参照）。
【０００３】
ＳＭＰＴＥ３１９Ｍ−２０００規格をサポートするＭＰＥＧ−２再符号化装置では、デコード画像からそれに多重化されている符号化データを分離し、分離した符号化データを利用して再符号化することで、再符号化による画質劣化を極力抑えることができる。ここで、符号化データとは、ビットストリーム中に可変長符号化された符号語を、元の数値に戻したデータである。
【０００４】
ＳＭＰＴＥ３１９Ｍ−２０００規格では、入力されるデコード画像のクロミナンスのＬＳＢに前記の符号化データを重畳することが規格化されており、１マクロブロック分の画像で２５６ｂｉｔの符号化データを伝送できる。
【０００５】
ＭＰＥＧ−２の符号化データ規格である非特許文献２のテーブル２を参照すると、ＭＰＥＧ−２の１マクロブロックあたりの符号化データは１１３ｂｉｔであり、上記の１マクロブロックあたり２５６ｂｉｔの帯域で十分に伝送が可能であった。
【非特許文献１】「ＳＭＰＴＥ  ３１９Ｍ−２０００」（２０００年１月２０日にＳＭＰＴＥにより認証された。）
【非特許文献２】「ＳＭＰＴＥ  ３２７Ｍ−２０００」（２０００年１月２０日にＳＭＰＴＥにより認証された。）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０）が近年注目されている。あるビットレートで符号化されたＨ．２６４のビットストリームを、所望のビットレートを有するＨ．２６４のビットストリーム又は所望のビットレートを有するＭＰＥＧ−２のビットストリームに変換することが必要となる場合がある。この様な場合のために、Ｈ．２６４復号化装置とＨ．２６４再符号化装置又はＭＰＥＧ−２再符号化装置とをタンデム接続し、これらの間で、Ｈ．２６４のビットストリームのデコード画像を伝送する必要がある。また、再符号化による画質劣化を極力抑えるためには、ＳＭＰＴＥ  ３１９Ｍ−２０００と同様に、符号化データをＨ．２６４のビットストリームのデコード画像に多重して伝送する必要がある。
【０００７】
ところで、Ｈ．２６４の１マクロブロックあたりの符号化データは、マクロブロックの符号化モードによる異なる。
【０００８】
符号化モードは、ピクチャ内符号化のイントラモードとピクチャ間符号化のインターモードに分類される。
【０００９】
また、マクロブロックのサイズは、１６×１６であるが、図１（ａ）〜（ｄ）に示すように、インターモードにおいては、マクロブロックは、４種類のタイプに分類される。図１（ａ）に示すように、第１のマクロブロックタイプにおいては、１６×１６画素のサブマクロブロック１つにより１つのマクロブロックが構成さる。図１（ｂ）に示すように、第２のマクロブロックタイプにおいては、１６×８画素のサブマクロブロック２つにより１つのマクロブロックが構成さる。図１（ｃ）に示すように、第３のマクロブロックタイプにおいては、８×１６画素のサブマクロブロック２つにより１つのマクロブロックが構成される。図１（ｄ）に示すように、第４のマクロブロックタイプにおいては、８×８画素のサブマクロブロック４つにより１つのマクロブロックが構成される。
【００１０】
また、第４のマクロタイプにおける各サブマクロブロックは、４種類のタイプに分類される。図２（ａ）に示すように、第１のサブマクロブロックタイプにおいては、８×８画素の２次サブマクロブロック１つにより１つのサブマクロブロックが構成される。図２（ｂ）に示すように、第２のサブマクロブロックタイプにおいては、８×４画素の２次サブマクロブロック２つにより１つのサブマクロブロックが構成される。図２（ｃ）に示すように、第３のサブマクロブロックタイプにおいては、４×８画素の２次サブマクロブロック２つにより１つのサブマクロブロックが構成される。図２（ｄ）に示すように、第４のサブマクロブロックタイプにおいては、４×４画素の２次サブマクロブロック４つにより１つのサブマクロブロックが構成される。
【００１１】
図１（ａ）に示すように、第１のマクロブロックタイプにおいては、１つのマクロブロックに１つ含まれる１６×１６画素のサブマクロブロックは、前方向予測（Ｆ）、後方向予測（Ｂ）又は双方向予測（ＢＩ）される。また、１つのサブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックあたりの動きベクトルは、１本又は２本である。
【００１２】
図１（ｂ）に示すように、第２のマクロブロックタイプにおいては、１つのマクロブロックに２つ含まれる１６×８画素のサブマクロブロックは、それぞれ、前方向予測、後方向予測又は双方向予測される。また、１つのサブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックあたりの動きベクトルは、２本、３本又は４本である。
【００１３】
図１（ｃ）に示すように、第３のマクロブロックタイプにおいては、１つのマクロブロックに２つ含まれる８×１６画素のサブマクロブロックは、それぞれ、前方向予測、後方向予測又は双方向予測される。また、１つのサブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックあたりの動きベクトルは、２本、３本又は４本である。
【００１４】
図１（ｄ）に示すように、第４のマクロブロックタイプにおいては、１つのマクロブロックに４つ含まれる８×８画素のサブマクロブロックは、それぞれ、前方向予測、後方向予測又は双方向予測される。また、個々のサブマクロブロックに含まれる２次サブマクロブロックは、動き予測方向を共通とするが、別々に、動き予測される。また、１つのサブマクロブロックに含まれる個々の２次サブマクロブロックあたりの動きベクトルは、１方向につき１本である。そうすると、１つのマクロブロックに含まれる２次サブマクロブロックの数は最大で１６個であり、これらが全て双方向予測される場合には、１つのマクロブロックあたりの動きベクトルは、３２本である。
【００１５】
なお、動き予測の単位となるサブマクロブロック又は２次サブマクロブロックのことを動き補償ブロックという。
【００１６】
マクロブロックあたりの符号化データのビット数は、図３に示すようになる。簡単に説明すると、左から、
（１）イントラモード：８７ビット
（２）インターモード、第１のマクロブロックタイプ、前方向予測又は後方向予測：５２ビット
（３）インターモード、第１のマクロブロックタイプ、双方向予測：８３ビット
（４）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測：８３ビット
（５）インターモード、第２又は３のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、他の１つのサブマクロブロックが双方向予測：１１４ビット
（６）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが双方向予測：１４５ビット
（７）インターモード、第１〜４のマクロブロックタイプ、Ｐピクチャで全ての動き補償ブロックが前方向予測：最大で４７３ビット：４７３ビット
（８）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが前方向予測又は後方向予測：４７３ビット
（９）インターモード、第４のマクロブロックタイプ、３つのサブマクロブロックが前方向予測又は後方向予測、１つのサブマクロブロックが双方向予測：５８２ビット
（１０）インターモード、第４のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測、２つのサブマクロブロックが双方向予測：６９１ビット
（１１）インターモード、第４のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、３つのサブマクロブロックが双方向予測：８００ビット
（１２）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが双方向予測：９０９ビット
となる。
【００１７】
従って、Ｈ．２６４の１マクロブロックあたりの符号化データは、最大で１マクロブロックあたり９０９ｂｉｔもあり、ＳＭＰＴＥ  ３１９Ｍ−２０００規格で規定されている１マクロブロックあたり２５６ｂｉｔの帯域では到底伝送できない。
【００１８】
このため、再符号化による画質劣化を極力抑えた再符号化を実現するためには、１）伝送帯域を拡大することか、２）従来の伝送帯域内に効率良くデータを配置するか、のどちらかの方法をとることが必要となる。
【００１９】
１）の方法は安易であるが、これ以上のデータを重畳すると、画像に可視化される特殊なパタンが生じるなどの弊害が考えられる。また、現状のシステムを利用しているＭＰＥＧ−２再符号化装置との互換性が大きく崩れることも考えられる。
【００２０】
したがって、２）の方法を採用せざるを得ない。２）の方法を採用した場合、安直なデータ配置（すなわち、「安直なデータ削減」）では、本来の「画質劣化を極力抑える」するという目的を達成できなくなる可能性がある。
【００２１】
そこで、本発明は、符号化データの情報量の欠落率を極力抑えながら、復号化装置から再符号化装置に伝送される1マクロブロックあたりの符号化データをある一定の値(例えば２５６ｂｉｔ)以下に制限可能な符号化データ選定方法及びその装置を提供することを目的とする。
【００２２】
また、本発明は、上記の符号化データ選定方法及びその装置により選定された符号化データを利用して、再符号化装置により再符号化されたビットストリームにより表される再符号化画像の品質劣化を極力抑えることを可能とする符号化データ設定方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明の第１の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、を備える符号化データ出力方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法が提供される。
【００２４】
本発明の第２の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、を備える符号化データ出力方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力方法が提供される。
【００２５】
本発明の第３の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、を備える符号化データ復元方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法が提供される。
【００２６】
本発明の第４の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元方法において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断ステップと、前記符号化データ出力方法において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断ステップと、前記ビット数配分判断ステップの結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元ステップと、を備える符号化データ復元方法であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元方法が提供される。
【００２７】
本発明の第５の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、を備える符号化データ出力装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置が提供される。
【００２８】
本発明の第６の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置であって、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定手段と、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分手段と、を備える符号化データ出力装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ出力装置が提供される。
【００２９】
本発明の第７の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、を備える符号化データ復元装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、マクロブロックの四隅であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置が提供される。
【００３０】
本発明の第８の観点によれば、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力装置により生成された各マクロブロックの符号化データを基に、符号化のための各マクロブロックの符号化データを復元する符号化データ復元装置において、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データが、選定されたこと、を判断する符号化データ選定判断手段と、前記符号化データ出力装置において、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定手段で選定されなかった所定の種類の符号化データよりも、前記符号化データ選定手段で選定された所定の種類の符号化データに対して、優先的にビット数が配分されたこと、を判断するビット数配分判断手段と、前記ビット数配分判断手段の結果に基づいて、再符号化のための各マクロブロックの符号化データを復元する符号化データ復元手段と、を備える符号化データ復元装置であって、前記所定の予測モードは、マクロブロックを構成する各サブマクロブロックを、更に１乃至複数の２次サブマクロブロックに分割し、各２次サブマクロブロックを動き補償ブロックとするモードであり、前記所定の位置は、他のマクロブロックの前記所定の種類の符号化データが欠落している場合に、その欠落した前記所定の種類の符号化データを再生するために利用される前記所定の種類の符号化データに関連した位置であり、前記所定の種類の符号化データは、動きベクトルであることを特徴とする符号化データ復元装置が提供される。
【００３１】
本発明の第９の観点によれば、動画像データと共に動きベクトルを送信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする装置が提供される。
【００３２】
本発明の第１０の観点によれば、動画像データと共に動きベクトルを送信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする装置が提供される。
【００３３】
本発明の第１１の観点によれば、動画像データと共に動きベクトルを受信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする装置が提供される。
【００３４】
本発明の第１２の観点によれば、動画像データと共に動きベクトルを受信する装置であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信手段と、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信手段と、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信手段と、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信手段は、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする装置が提供される。
【００３５】
本発明の第１３の観点によれば、動画像データと共に動きベクトルを送信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする方法が提供される。
【００３６】
本発明の第１４の観点によれば、動画像データと共に動きベクトルを送信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第１送信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを送信する第２送信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信する第３送信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３送信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを送信することを特徴とする方法が提供される。
【００３７】
本発明の第１５の観点によれば、動画像データと共に動きベクトルを受信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする方法が提供される。
【００３８】
本発明の第１６の観点によれば、動画像データと共に動きベクトルを受信する方法であって、マクロブロックが分割されていなければ、前記マクロブロックについて、該マクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第１受信ステップと、マクロブロックが第１のサブマクロブロックと第２のサブマクロブロックとに分割されていれば、前記第１のサブマクロブロックについて、該第１のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信し、前記第２のサブマクロブロックについて、該第２のサブマクロブロックの予測モードに応じて、１以上の動きベクトルを受信する第２受信ステップと、マクロブロックが４つのサブマクロブロックに分割されていれば、選択された１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信する第３受信ステップと、を備え、前記第２次サブマクロブロックは、各サブマクロブロックを分割することにより得られるものであり、前記第３受信ステップでは、マクロブロックが４つのサブマクロブロックに分割されていれば、片方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信し、更に、双方向予測されているサブマクロブロックの数が３以下であれば、双方向予測され且つマクロブロックの角にある画素を含む１以上の第２次サブマクロブロックそれぞれの１以上の動きベクトルのみを受信することを特徴とする方法が提供される。
【発明の効果】
【００４９】
本発明による、入力したビットストリームに対応する各マクロブロックの符号化データを所定のビット数以下で出力する符号化データ出力方法は、マクロブロックに適用される予測モードが所定の予測モードであるか否かを判断する予測モード判断ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データを選定する符号化データ選定ステップと、前記所定の予測モードが適用されるマクロブロックにおいて、前記符号化データ選定ステップで選定されなかった所定の種類の符号化データよりも、前記符号化データ選定ステップで選定された所定の種類の符号化データに対して優先的にビット数を配分するビット数配分ステップと、を備えるので、各マクロブロックあたりの符号化データのビット数を所定値以下に抑えると共に、所定の予測モード、マクロブロック内の所定の位置の画素に対応する所定の種類の符号化データ又はこれらの組合せを適切に設定することにより、符号化データの情報量の欠落率を極力抑えながら、復号化装置から再符号化装置に伝送される1マクロブロックあたりの符号化データをある一定の値以下に制限することが可能となる。
【発明を実施するための最良の形態】
【００５０】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００５１】
［実施形態１］
図４を参照すると、本実施形態による符号化データ多重化機能付き画像復号化装置は、画像復号化部１００、マルチプレクサ１１０及び本発明の特徴部である符号化データ選定部１２０を備える。
【００５２】
画像復号化部１００は、エントロピー復号化部１０１、逆量子化／逆変換部１０２、画像バッファ１０３、予測部１０４を備える。画像復号化部１００の動作を以下で説明する。
【００５３】
エントロピー復号化部１０１は、入力されるビットストリームをエントロピー復号して、係数情報、予測情報を抽出する。
【００５４】
逆量子化／逆変換部１０２は、エントロピー復号化部１０１から供給される係数情報を逆量子化および逆変換して予測誤差を得る。
【００５５】
予測部１０４は、エントロピー復号化部１０１から供給される予測情報を利用して、画像バッファ１０３に格納された再構築画像から予測画像を生成する。
【００５６】
予測画像には、逆量子化／逆変換部１０２から供給される予測誤差が加えられて再構築画像となる。前記再構築画像は、後の復号のために画像バッファ１０３に格納される。
【００５７】
画像バッファ１０３に格納された再構築画像は、適切な表示タイミングで、マルチプレクサ１１０を介して、外部に出力される。
【００５８】
以上で、画像復号化部１００の説明を終わる。
【００５９】
続いて、マルチプレクサ１１０の動作を説明する。
【００６０】
マルチプレクサ１１０は、画像復号化部１００により復号された映像ベースバンド信号に、符号化データ選定部１２０にて抽出しフォーマッティングされた符号化データをマルチプレクスする機能を有する。映像ベースバンド信号と符号化データは同期している。マルチプレクス後のフォーマットについてはＳＭＰＴＥ３１９Ｍ−２０００で規定されており、重畳位置は輝度１０ｂｉｔクロマ１０ｂｉｔを備える映像信号のクロマＬＳＢである。
【００６１】
以上で、マルチプレクサ１１０の説明を終わる。
【００６２】
続いて、本発明の特徴部である符号化データ選定部１２０を説明する。
【００６３】
符号化データ選定部１２０には、画像復号化装置内のエントロピー復号化部１０１から符号化データが供給される。
【００６４】
図５のフローチャートを参照して、符号化データ選定部１２０の動作を説明する。
【００６５】
ステップＳ１５１では、ｍｂ＿ｔｙｐｅがイントラモードか否かを判断する。ｍｂ＿ｔｙｐｅがイントラモードであればステップＳ１５３、そうでなければステップＳ１５２に移る。
【００６６】
ステップＳ１５２では、ｍｂ＿ｔｙｐｅがツリーモードであるか否かを判断する。ここで、ツリーモードとは、マクロブロックが図１（ｄ）に示すように４つのサブマクロブロックに分割され、更に、各サブマクロブロックが図２（ａ）〜（ｄ）の何れかに示す２次サブマクロブロックに分割されるモードのことである。ｍｂ＿ｔｙｐｅがツリーモードでなければステップＳ１５４、ｍｂ＿ｔｙｐｅがツリーモードであればステップＳ１５５に移る。
【００６７】
ステップＳ１５３（イントラモード）では、エントロピー復号化部１０１から入力した符号化データは、図３に示すように１マクロブロックあたり８７ｂｉｔであり、２５６ｂｉｔ以下であるため、これをそのまま出力する符号化データとする。つまり、全ての符号化データを選定する。従って、イントラモードにおいては、符号化データの情報は欠落しない。選定後は、処理を終了する（次マクロブロックの符号化データ選定に備える）。
【００６８】
ステップＳ１５４（インターモードであるがツリーモードでない場合）（インター１６×１６、１６×８、又は８×１６）では、図３から明らかなように、
・１６×１６モードの符号化データは片方向予測で５２ｂｉｔ、双方予測で８３ｂｉｔ
・片方向予測のみの１６×８モードもしくは８×１６モードの符号化データは８３ｂｉｔ
・一方が片方向予測、他方が双方向予測の１６×８モードもしくは８×１６モードの符号化データは１１４ｂｉｔ
・双方向予測のみの１６×８モードもしくは８×１６モードの符号化データは１４５ｂｉｔ
で１マクロブロックあたりの符号化データを表現できる。これらの１マクロブロックあたりの符号化データのビット数は、２５６ｂｉｔ以下であるため、この符号化データをそのまま出力する符号化データとする。つまり、全ての符号化データを選定する。従って、インターモードであるがツリーモードでないモードにおいては、符号化データの情報は欠落しない。選定後は、処理を終了する（次マクロブロックの符号化データ選定に備える）。
【００６９】
ステップＳ１５５（ツリーモード）では、符号化データを参照することにより、図６（ａ）〜（ｆ）に示すように、マクロブロックを、６種類のタイプに分類する。
【００７０】
図６（ａ）に示すタイプは、Ｐピクチャ内のマクロブロックのタイプであり、全て（４つ）のサブマクロブロックは、前方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、４〜１６となる。図６（ａ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、動き補償ブロックあたりの動きベクトルの数は常に１である。従って、図６（ａ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、１６である。図３の第７列に示すように、図６（ａ）に示すタイプのマクロブロックあたりの符号化データは、最大で４７３ビットとなる。
【００７１】
図６（ｂ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、全て（４つ）のサブマクロブロックは、前方向予測又は後方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、４〜１６となる。図６（ａ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、動き補償ブロックあたりの動きベクトルの数は常に１である。従って、図６（ｂ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、１６である。図３の第８列に示すように、図６（ｂ）に示すタイプのマクロブロックあたりの符号化データは、最大で４７３ビットとなる。
【００７２】
図６（ｃ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、３つのサブマクロブロックは、前方向予測又は後方向予測され、１つのサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、５〜２０となる。図６（ｃ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、前方向予測又は後方向予測される動き補償ブロックあたりの動きベクトルの数は常に１であり、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｃ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、２０である。図３の第９列に示すように、図６（ｃ）に示すタイプのマクロブロックあたりの符号化データは、最大で５８２ビットとなる。
【００７３】
図６（ｄ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、２つのサブマクロブロックは、前方向予測又は後方向予測され、２つのサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、６〜２４となる。図６（ｄ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、前方向予測又は後方向予測される動き補償ブロックあたりの動きベクトルの数は常に１であり、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｄ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、２４である。図３の第１０列に示すように、図６（ｄ）に示すタイプのマクロブロックあたりの符号化データは、最大で６９１ビットとなる。
【００７４】
図６（ｅ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、１つのサブマクロブロックは、前方向予測又は後方向予測され、３つのサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、７〜２８となる。図６（ｅ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、前方向予測又は後方向予測される動き補償ブロックあたりの動きベクトルの数は常に１であり、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｅ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、２８である。図３の第１１列に示すように、図６（ｅ）に示すタイプのマクロブロックあたりの符号化データは、最大で８００ビットとなる。
【００７５】
図６（ｆ）に示すタイプは、Ｂピクチャ内のマクロブロックの複数タイプのうちの１タイプであり、全て（４つ）のサブマクロブロックは、双方向予測される。各サブマクロブロックは、１〜４個の２次サブマクロブロックに分割されるため、マクロブロックあたりの動き補償ブロックの数は、８〜３２となる。図６（ｆ）には、マクロブロックあたりの動き補償ブロックの数が９である場合の例を示している。また、双方向予測される動き補償ブロックあたりの動きベクトルの数は常に２である。従って、図６（ｆ）に示すタイプでは、マクロブロックあたりの動きベクトルの最大数は、３２である。図３の第１２列に示すように、図６（ｆ）に示すタイプのマクロブロックあたりの符号化データは、最大で９０９ビットとなる。
【００７６】
従って、図６（ａ）〜（ｆ）に示す６つの何れのタイプにおいても、図３の第７〜１２列に示すように、１マクロブロックあたりの符号化ビットの最大数は、２５６ｂｉｔを超えてしまう。
【００７７】
そこで、ステップＳ１５５では、ツリーモードのマクロブロックあたりの動きベクトルの数を減らすことにより、マクロブロックあたりの符号化データのビット数が２５６ｂｉｔ未満になるようにする。
【００７８】
前方向予測又は後方向予測のサブマクロブロックにおいては、サブマクロブロックあたり最大で４つの動きベクトルとなるが、本実施形態では、1つの動きベクトルのみに十分なビット数を割り当てて、その他の動きベクトルにはビット数を割り当てない。例えば、動きベクトルを一本だけ選定する。
【００７９】
一方、双方向予測のサブマクロブロックにおいては、サブマクロブロックあたり最大で８つの動きベクトルとなるが、本実施形態では、全ての動きベクトルにビット数を割り当てない。つまり、１つも動きベクトルを選定しない。
【００８０】
また、図７に示すマクロブロックの四隅にある画素を含む動き補償ブロックについての動きベクトルを、前方向予測又は後方向予測の１つのサブマクロブロックに対して選定される１つの動きベクトルとする。つまり、例えば、図７に示す４つのサブマクロブロックのうちの左上のサブマクロブロックについて説明すると、左上のマクロブロックに関しては、図８（ａ）に示すように、サブマクロブロックが１つの８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）のみから構成される場合には、その２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図８（ｂ）に示すように、サブマクロブロックが２つの８×４画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、上の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図８（ｃ）に示すように、サブマクロブロックが２つの４×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、左の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図８（ｄ）に示すように、サブマクロブロックが４つの４×４画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、左上の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルをマクロブロックに対して選定される１つの動きベクトルとする。図７に示す４つのサブマクロブロックのうちの左下、右上、右下のサブマクロブロックについての全ての説明は省略するが、例えば、左下のマクロブロックが４つの４×４画素の２次サブマクロブロック（すなわち、動き補償ブロック）から構成される場合には、左下の２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルを左下のマクロブロックに対して選定される１つの動きベクトルとする。
【００８１】
どの２次サブマクロブロックが、図７に示すような四隅の画素を含むかは、符号化データを基に判断することができる。
【００８２】
上記の選定方法に従った場合の例を図９（ａ）〜（ｆ）に示す。これらは、それぞれ、図６（ａ）〜（ｆ）に示す例に対応したものである。
【００８３】
図６（ａ）に示すタイプでは、全て（４つ）のサブマクロブロックが、前方向予測されるので、図９（ａ）に示すように、４つのサブマクロブロックそれぞれにつき１つの動きベクトルが選定される。従って、マクロブロックあたり４つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ａ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルである。
【００８４】
図６（ｂ）に示すタイプでは、全て（４つ）のサブマクロブロックが、前方向予測又は後方向予測されるので、図９（ｂ）に示すように、各サブマクロブロックにつき１つの動きベクトルが選定される。従って、マクロブロックあたり４つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｂ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルである。
【００８５】
図６（ｃ）に示すタイプでは、３つのサブマクロブロックが、前方向予測又は後方向予測され、１つのサブマクロブロックが、双方向予測されるので、図９（ｃ）に示すように、３つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、１つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたり３つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｃ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
【００８６】
図６（ｄ）に示すタイプでは、２つのサブマクロブロックが、前方向予測又は後方向予測され、２つのサブマクロブロックが、双方向予測されるので、図９（ｄ）に示すように、２つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、２つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたり２つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｄ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
【００８７】
図６（ｅ）に示すタイプでは、１つのサブマクロブロックが、前方向予測又は後方向予測され、３つのサブマクロブロックが、双方向予測されるので、図９（ｅ）に示すように、１つの前方向予測又は後方向予測されるサブマクロブロックにつき１つの動きベクトルが選定され、３つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたり１つの動きベクトルが選定される。また、選定される動きベクトルは、図９（ｅ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
【００８８】
図６（ｆ）に示すタイプでは、全て（４つ）のサブマクロブロックが、双方向予測されるので、図９（ｆ）に示すように、４つの双方向予測されるサブマクロブロックについては動きベクトルが廃棄される。従って、マクロブロックあたりの選定される動きベクトルはない。
【００８９】
図９（ａ）〜（ｆ）それぞれの場合に、それぞれの動き補償ブロックの動きベクトルが選定されるか否かをまとめた表を図１０に示す。
【００９０】
なお、図６（ａ）、（ｂ）と図９（ａ）、（ｂ）とをそれぞれ比較すると明らかなように、或るサブマクロブロック（例えば、図６（ａ）、（ｂ）に示す左上のサブマクロブロック）が１つの８×８画素の２次サブマクロブロックから構成され、かつ、そのサブマクロブロックが前方向予測又は後方向予測される場合には、そのサブマクロブロックに対応する動きベクトルの数は、元々１つであり、これが必ず選定されるので、結局、そのサブマクロブロックに含まれる１つの８×８画素の２次サブマクロブロックに対応する動きベクトルは、全て選定されることとなる。
【００９１】
上記から明らかなように、ツリーモードのマクロブロックについては、情報の欠落の様子は次のようになる。
【００９２】
片方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
【００９３】
また、片方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含む２次サブマクロブロックの動きベクトルは選定される。
【００９４】
他方、片方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含まない２次サブマクロブロックの動きベクトルは廃棄される。
【００９５】
また、双方向予測のサブマクロブロックに含まれる全ての２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは廃棄される。
【００９６】
なお、動きベクトル以外の符号化データは、全て選定する。従って、ｒｅｆ＿ｉｄｘは全て伝送することとしたが、そうでなくてもよい。
【００９７】
このような選定方法により動きベクトルが選定されると、マクロブロックあたりの符号化データのビット数は、図１１に示すようになる。簡単に説明すると、左から、
（１）イントラモード：８７ビット
（２）インターモード、第１のマクロブロックタイプ、前方向予測又は後方向予測：５２ビット
（３）インターモード、第１のマクロブロックタイプ、双方向予測：８３ビット
（４）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測：８３ビット
（５）インターモード、第２又は３のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、他の１つのサブマクロブロックが双方向予測：１１４ビット
（６）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが双方向予測：１４５ビット
（７）インターモード、第１〜４のマクロブロックタイプ、Ｐピクチャで全ての動き補償ブロックが前方向予測：１６１ビット
（８）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが前方向予測又は後方向予測：１６１ビット
（９）インターモード、第４のマクロブロックタイプ、３つのサブマクロブロックが前方向予測又は後方向予測、１つのサブマクロブロックが双方向予測：１４０ビット
（１０）インターモード、第４のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測、２つのサブマクロブロックが双方向予測：１１９ビット
（１１）インターモード、第４のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、３つのサブマクロブロックが双方向予測：９８ビット
（１２）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが双方向予測：７７ビット
となる。
【００９８】
従って、マクロブロックがどのようなタイプであっても、マクロブロックあたりの符号化データのビット数を２５６以下に抑えることができる。
【００９９】
なお、上記（１）〜（６）の場合には、元々、マクロブロックあたりの符号化データのビット数は２５６以下であるため、これらの場合に行なうステップＳ１５３又はＳ１５４では、ビット数を削減しておらず、従って、マクロブロックあたりの符号化データの数は、図３に示す値と同一であり、上記（７）〜（１２）の場合には、元々、マクロブロックあたりの符号化データのビット数は２５６を超えるため、これらの場合に行なうステップＳ１５５では、ビット数を削減しており、従って、マクロブロックあたりの符号化データの数は、図３に示す値から削減されている。
【０１００】
上述した選定方法を利用して動きベクトルの数に制約を設けることにより、マクロブロックあたりの最大ビット量をある一定の値(例えば２５６ｂｉｔ)以下に制約することができる。ただし、動きベクトルの選定が適用される８×８未満のサイズの２次サブマクロブロック（すなわち、動き補償ブロック）の発生頻度は統計的に低いので、符号化データの欠落率は小さい。よって、上述した選定方法を利用した符号化データを利用して画像の再符号化を行っても、再符号化画像の品質劣化を極力抑えることが出来る。
【０１０１】
本実施形態では、
・統計的にツリーモードの発生確率は低い、
・統計的に、ツリーモードにおいて８×８未満のサイズの２次サブマクロブロック（すなわち、動き補償ブロック）の発生確率低い、
・動きベクトルの本数が多い傾向であるＢピクチャでは、同一位置のＰピクチャから動きベクトルを再現できるダイレクトモードの発生確率が高い、
という３つの特性を利用して、ツリーモードの各サブマクロブロックでは、図７に示すようにマクロブロックの四隅に位置する動きベクトル１本をサブマクロブロックの代表動きベクトルとして選定する。図１２に示すようにマクロブロックの四隅に位置する動きベクトルは、Ｈ．２６４でのダイレクトモードで利用される動きベクトルである（ダイレクトモードの詳細についてはH.264勧告 ISO/IEC 14496-10  8.4.1.2 Derivation process for luma motion vectors for B_Skip, B_Direct_16x16, and B_Direct_8x8を参照）。ダイレクトモードでは、図１２に示す位置に関する動きベクトルなどを基に、動きベクトルを算出する。このため、Ｂピクチャの動きベクトルが選定されず欠落したとしても、時間軸で隣接する参照ピクチャ（図１２において、「参照ＰＩＣ１」で示される。）の動きベクトル（選定されて欠落していない）から再現することが可能となる。
【０１０２】
図４に示す符号化データ多重化機能付き画像復号化装置から出力される映像ベースバンド信号と符号化データとの多重化データを入力とする画像再符号化装置を図１３に示す。上述したようにツリーモードのマクロブロックの一部では、符号化データの情報量（具体的には１以上の動きベクトル）が欠落している。従って、これを考慮して再符号化装置は動作を行わなくてはならない。
【０１０３】
本実施形態による画像再符号化装置は、デマルチプレクサ２１０、画像符号化部２００、本発明の特徴部である符号化データ設定部２２０を備える。
【０１０４】
デマルチプレクサ２１０を説明する。
【０１０５】
デマルチプレクサ２１０は、マルチプレクサ１１０の逆の操作をする。すなわち、デマルチプレクサ２１０は、符号化データが重畳された映像ベースバンド信号を入力し、これらを分離する。重畳された符号化データのフォーマットについてはＳＭＰＴＥ３１９Ｍ−２０００で規定されており、重畳位置は輝度１０ｂｉｔ／クロマ１０ｂｉｔで構成される映像信号のクロマＬＳＢである。
【０１０６】
以上で、デマルチプレクサ２１０の説明を終わる。
【０１０７】
続いて、画像復号化部２００を説明する。
【０１０８】
画像復号化部２００は、マクロブロックバッファ（ＭＢバッファ）２０１、変換／量子化部２０２、エントロピー符号化部２０３、逆量子化／逆変換部２０４、画像バッファ２０５、予測部２０６、予測データ推定部２０７、スイッチ２０８を備える。
【０１０９】
ＭＢバッファ２０１は、デマルチプレクサ２１０から供給される１マクロブロック分の画像を格納する。
【０１１０】
予測データ推定部２０７は、画像バッファ２０５に格納された再構築画像から、ＭＢバッファ２０１に格納された入力画像を好適に予測する予測情報を推定する。
【０１１１】
予測部２０６は、スイッチ２０８を介して供給される予測情報を利用して、画像バッファ２０５に格納された再構築画像から予測画像を生成する。
【０１１２】
ＭＢバッファ２０１から格納された画像から予測部２０６から供給される予測画像を減じて、予測誤差が得られる。
【０１１３】
変換／量子化部２０２によって、前記予測誤差は変換および量子化されて、その出力である係数情報は、エントロピー符号化部２０３および逆量子化／逆変換部２０４に供給される。
【０１１４】
エントロピー符号化部２０３は、供給される係数情報および予測情報をエントロピー符号化して、その符号化列をビットストリームとして外部に出力する。
【０１１５】
逆量子化／逆変換部２０４は、変換／量子化部２０２から供給される係数情報を逆量子化および逆変換して予測誤差を復元する。
【０１１６】
前記予測画像には、逆量子化／逆変換部２０４から供給される予測誤差が加えられて再構築画像となる。前記再構築画像は、後の符号化のために画像バッファ２０５に格納される。
【０１１７】
以上の処理を画像すべてのマクロブロックに適用することで、ビットストリームが得られる。
【０１１８】
以上で、画像復号化部２００の説明を終わる。
【０１１９】
続いて、本発明の特徴部である符号化データ設定部２２０を説明する。
【０１２０】
符号化データ設定部２２０には、デマルチプレクサ２１０から符号化データが供給される。符号化データ設定部２２０は、入力される符号化データに応じてスイッチ２０８を制御する。符号化データの情報量が欠落している場合には、予測データ推定部２０７の予測情報を予測部２０６に供給し、欠落していない場合にはデマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０６に供給する。
【０１２１】
図１４のフローチャートを参照して、符号化データ設定部２２０及びスイッチ２０８の動作を説明する。
【０１２２】
ステップＳ２５１では、ｍｂ＿ｔｙｐｅがイントラモードか否かを判断する。ｍｂ＿ｔｙｐｅがイントラモードであればステップＳ２５３、そうでなければステップＳ２５２に移る。
【０１２３】
ステップＳ２５２では、ｍｂ＿ｔｙｐｅがツリーモードであるか否かを判断する。ｍｂ＿ｔｙｐｅがツリーモードでなければステップＳ２５４、ｍｂ＿ｔｙｐｅがツリーモードであればステップＳ２５５に移る。
【０１２４】
ステップＳ２５３（イントラモード）では、符号化データ多重化機能付き画像復号化装置の説明から明らかなように、イントラモードの符号化データは、元々、伝送帯域の２５６ｂｉｔよりも少ないｂｉｔで表現できるため、符号化データ選定部１２０によって情報量は全く落ちていない。よって、スイッチ２０８を符号化データ設定部２２０側に切り換えて、デマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０８に供給して、処理を終了する。
【０１２５】
ステップＳ２５４（インターモードであるがツリーモードでない場合）（インター１６×１６、１６×８、又は８×１６）では、符号化データ多重化機能付き画像復号化装置の説明から明らかなように、元々、インターモードであるがツリーモードでないモードのマクロブロックの符号化データは、伝送帯域の２５６ｂｉｔよりも少ない数のｂｉｔで表現できるため、符号化データ選定部１２０によって情報量は全く落ちていない。よって、スイッチ２０８を符号化データ設定部２２０側に切り換えて、デマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０８に供給して、処理を終了する。
【０１２６】
ツリーモードのマクロブロックについての情報の欠落の様子は、符号化データ多重化機能付き画像復号化装置を説明する際に既に述べた。これに応じて、ステップＳ２５５（ツリーモード）では、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）については、予測データ推定部２０７で推定された動きベクトルを含む予測情報を予測部２０６に供給する。他方、情報（具体的には、動きベクトル）が符号化データ選定部１２０で選定されている（欠落していない）２次サブマクロブロック（すなわち、動き補償ブロック）については、デマルチプレクサ２１０から供給される符号化データに含まれる予測情報を予測部２０８に供給する。なお、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）について、ダイレクトモードにより動きベクトルが得られる場合には、それを利用する。また、動きベクトル以外の符号化データは符号化データ選定部１２０で選定されているので、それらを予測部２０６に供給する。
【０１２７】
符号化データ設定部２２０は、符号化データ選定部１２０と同様に、送られてきた符号化データを基に、ステップＳ２５５（ツリーモード）では、符号化データを参照することにより、各マクロブロックが図６（ａ）〜（ｆ）に示す６種類のタイプのうちどのタイプのものであるのかを判断する。また、符号化データ設定部２２０は、符号化データ選定部１２０と同様に、符号化データを参照することにより、各サブマクロブロックが、図２（ａ）〜（ｄ）に示す分割様式のうちどの分割様式により２次サブマクロブロックに分割されているのかを判断する。そして、それらの判断を基に、どの２次サブマクロブロックの動きベクトルが符号化データ選定部１２０で選定され、どの２次サブマクロブロックの動きベクトルが符号化データ選定部１２０で廃棄されたかを判断する。
【０１２８】
また、符号化データ選定部１２０と符号化データ設定部２２０との間で、マクロブロックあたり２５６ｂｉｔの領域における各符号化データの配置を予め決めておいて、その中で、動きベクトルをどうように配置するのかを予め決めておけば、符号化データ設定部２２０は、符号化データ選定部１２０から送られてきたどの動きベクトルが、動きベクトルが選定されていることが判断されたどの２次サブマクロブロックに対応するのかを知ることができる。例えば、それぞれの場合における、選定された動きベクトルを伝送する２次サブマクロブロックの順序を予め決めておけば、符号化データ設定部２２０は、符号化データ選定部１２０から送られてきたどの動きベクトルが、動きベクトルが選定されていることが判断されたどの２次サブマクロブロックに対応するのかを知ることができる。
【０１２９】
また、マクロブロックあたりの符号化データのビット数を２５６以下にするためには、マクロブロックあたりの動きベクトルの数を７以下にすればよいのであるが、上述した選定方法により選定されたマクロブロックあたりのマクロブロックの数が６以下である場合には、空いている領域を利用して、選定されたマクロブロックを複数回伝送するようにしてもよい。このような場合にも、符号化データ選定部１２０と符号化データ設定部２２０との間で、動きベクトルをどうように配置するのかを予め決めておく。こうすることにより、例えば、伝送路でのエラー耐性を高めることができる。
【０１３０】
また、ステップＳ２５５では、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）については、周りの動き補償ブロックについての選定された動きベクトルを基に、その２次サブマクロブロックについての動きベクトルを補間してもよい。また、ステップＳ２５５では、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）については、周りの動き補償ブロックについての選定された動きベクトルを、その２次サブマクロブロックについての動きベクトルを推定する際の初期値としてもよい。こうすることにより、予測データ推定部２０７で、情報（具体的には、動きベクトル）が欠落している２次サブマクロブロック（すなわち、動き補償ブロック）についての動きベクトルを推定する必要がなくなり、演算量を減らすことができる。
【０１３１】
本発明の再符号化装置では、欠損している動きベクトルを予測データ推定部２０７により補填するので画質の点で大きな破綻がない。また、符号化データ多重化機能付き画像復号化装置に関連して説明したように、発生確率の低いモードでのみで動きベクトルの補填が適用されるので、全体画質への影響は極めて小さい。
【０１３２】
［実施形態２］
実施形態１で採用した動きベクトルの選定方法では、双方向予測のサブマクロブロックについては、元々、１マクロブロックあたり最大で８つのマクロブロックがあるが、全ての動きベクトルを廃棄する（１つもマクロブロックを選定しない）こととしている。これにより、マクロブロックあたりの符号化データのビット数を最大で１６１にすることができるが、双方向予測のサブマクロブロックが１つ以上ある場合（図１１の第９〜１２列の場合）には、マクロブロックあたり２５６ビットの帯域を十分に利用していない。他方、動きベクトルが再符号化装置にできる限り多く伝送された方が、再符号化装置から出力されるビットストリームから得られる復元画像の画質が高くなる可能性が高くなる。ただし、１つの前方向又は後ろ方向予測されるサブマクロブロックについて１つの動きベクトルを選定し、３つの双方向予測されるサブマクロブロックそれぞれについて、２つの動きベクトルを選定した場合には、マクロブロックあたりの符号化データのビット数が２５４となり、これは、２５６以下であるが、４つの双方向予測されるサブマクロブロックそれぞれについて、２つの動きベクトルを選定した場合には、マクロブロックあたりの符号化データのビット数が２８０となり、これは、２５６を超える。
【０１３３】
そこで、上述した選定方法を基本として、マクロブロック内の双方向予測されるマクロブロックの数が１〜３である場合には、双方向予測されるマクロブロックそれぞれについての動きベクトルを追加して選定する方法を実施形態２における動きベクトル選定方法として採用する。
【０１３４】
この第２の選定方法に従った場合の例を図１５（ａ）〜（ｆ）に示す。これらは、それぞれ、図６（ａ）〜（ｆ）に示す例に対応したものである。
【０１３５】
図６（ａ）、（ｂ）及び（ｆ）のタイプの場合に選定される動きベクトルは、第１の選定方法では、図９（ａ）、（ｂ）及び（ｆ）に示すとおりであり、第２の選定方法では、図１５（ａ）、（ｂ）及び（ｆ）に示すとおりであるが、両方の選定方法で共通であるので、重複する説明を省略する。
【０１３６】
図６（ｃ）に示すタイプでは、３つのサブマクロブロックが、前方向予測又は後方向予測され、１つのサブマクロブロックが、双方向予測されるので、図１５（ｃ）に示すように、３つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、１つの双方向予測されるサブマクロブロックについては２つの動きベクトルが選定される。従って、マクロブロックあたり５つの動きベクトルが選定される。また、選定される動きベクトルは、図１５（ｃ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
【０１３７】
図６（ｄ）に示すタイプでは、２つのサブマクロブロックが、前方向予測又は後方向予測され、２つのサブマクロブロックが、双方向予測されるので、図１５（ｄ）に示すように、２つの前方向予測又は後方向予測されるサブマクロブロックそれぞれにつき１つの動きベクトルが選定され、２つの双方向予測されるサブマクロブロックそれぞれについては２つの動きベクトルが選定される。従って、マクロブロックあたり６つの動きベクトルが選定される。また、選定される動きベクトルは、図１５（ｄ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
【０１３８】
図６（ｅ）に示すタイプでは、１つのサブマクロブロックが、前方向予測又は後方向予測され、３つのサブマクロブロックが、双方向予測されるので、図１５（ｅ）に示すように、１つの前方向予測又は後方向予測されるサブマクロブロックにつき１つの動きベクトルが選定され、３つの双方向予測されるサブマクロブロックそれぞれについては２つの動きベクトルが選定される。従って、マクロブロックあたり７つの動きベクトルが選定される。また、選定される動きベクトルは、図１５（ｅ）に示す「×」で示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）についてのマクロブロックである。
【０１３９】
図１５（ａ）〜（ｆ）それぞれの場合に、それぞれの動き補償ブロックの動きベクトルが選定されるか否かをまとめた表を図１６に示す。
【０１４０】
なお、図６（ａ）、（ｂ）と図１５（ａ）、（ｂ）とをそれぞれ比較すると明らかなように、或るサブマクロブロック（例えば、図６（ａ）、（ｂ）に示す左上のサブマクロブロック）が１つの８×８画素の２次サブマクロブロックから構成され、かつ、そのサブマクロブロックが前方向予測又は後方向予測される場合には、そのサブマクロブロックに対応する動きベクトルの数は、元々１つであり、これが必ず選定されるので、結局、そのマクロブロックに含まれる１つの８×８画素の２次サブマクロブロックに対応する動きベクトルは、全て選定されることとなる。
【０１４１】
また、図６（ｃ）、（ｄ）、（ｅ）と図１５（ｃ）、（ｄ）、（ｅ）とをそれぞれ比較すると明らかなように、或るサブマクロブロック（例えば、図６（ｃ）、（ｄ）、（ｅ）に示す左上のサブマクロブロック）が１つの８×８画素の２次サブマクロブロックから構成され、かつ、そのサブマクロブロックが双方向予測され、かつ、そのサブマクロブロックを含むマクロブロックに含まれる４つのサブマクロブロックのうち双方向予測されるサブマクロブロックの数が３以下である場合には、前記或るサブマクロブロックに対応する動きベクトルの数は、元々２つであり、これが必ず選定されるので、結局、その或るマクロブロックに含まれる１つの８×８画素の２次サブマクロブロックに対応する動きベクトルは、全て選定されることとなる。
【０１４２】
上記から明らかなように、ツリーモードのマクロブロックについては、情報の欠落の様子は次のようになる。
【０１４３】
片方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
【０１４４】
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
【０１４５】
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含む２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
【０１４６】
他方、片方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含まない２次サブマクロブロックの動きベクトルは廃棄される。
【０１４７】
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含まない２次サブマクロブロックの動きベクトルは廃棄される。
【０１４８】
また、マクロブロックに含まれる双方向予測のサブマクロブロックの数が４であれば、そのマクロブロックに含まれる全ての２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは廃棄される。
【０１４９】
実施形態２を実施形態１と比較して説明すると、実施形態１で選定される動きベクトルの全ては、実施形態２で選定される。それに追加して、実施形態２では、マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８画素の２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。マクロブロックに含まれる双方向予測のサブマクロブロックの数が１〜３であれば、そのマクロブロックに含まれる双方向予測の８×８未満の２次サブマクロブロック（すなわち、動き補償ブロック）（具体的には、片方向予測の８×４画素の２次サブマクロブロック、片方向予測の４×８画素の２次サブマクロブロック、片方向予測の４×４画素の２次サブマクロブロック）のうちのマクロブロックの四隅の画素（図７に示す画素）を含む２次サブマクロブロック（すなわち、動き補償ブロック）の動きベクトルは選定される。
【０１５０】
このように動きベクトルが選定されると、マクロブロックあたりの符号化データのビット数は、図１７に示すようになる。簡単に説明すると、左から、
（１）イントラモード：８７ビット
（２）インターモード、第１のマクロブロックタイプ、前方向予測又は後方向予測：５２ビット
（３）インターモード、第１のマクロブロックタイプ、双方向予測：８３ビット
（４）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測：８３ビット
（５）インターモード、第２又は３のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、他の１つのサブマクロブロックが双方向予測：１１４ビット
（６）インターモード、第２又は３のマクロブロックタイプ、２つのサブマクロブロックが双方向予測：１４５ビット
（７）インターモード、第１〜４のマクロブロックタイプ、Ｐピクチャで全ての動き補償ブロックが前方向予測：１６１ビット
（８）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが前方向予測又は後方向予測：１６１ビット
（９）インターモード、第４のマクロブロックタイプ、３つのサブマクロブロックが前方向予測又は後方向予測、１つのサブマクロブロックが双方向予測：１９２ビット
（１０）インターモード、第４のマクロブロックタイプ、２つのサブマクロブロックが前方向予測又は後方向予測、２つのサブマクロブロックが双方向予測：２２３ビット
（１１）インターモード、第４のマクロブロックタイプ、１つのサブマクロブロックが前方向予測又は後方向予測、３つのサブマクロブロックが双方向予測：２５４ビット
（１２）インターモード、第４のマクロブロックタイプ、４つのサブマクロブロックが双方向予測：７７ビット
となる。
【０１５１】
従って、マクロブロックがどのようなタイプであっても、マクロブロックあたりの符号化データのビット数を２５６以下に抑えることができる。
【０１５２】
また、（１２）の場合には、動きベクトルを全く選定しないこととしたが、４つのサブマクロブロックのうちの３つのサブマクロブロックを選択し、選択されたサブマクロブロックについて、（１１）の場合と同様に、動きベクトルを選定してもよい。予め決められた位置にある３つのサブマクロブロックを選択してもよい。また、３つのサブマクロブロックを選択するためには、どの１つのサブマクロブロックについて動きベクトルを廃棄した場合に、画質劣化が最小に抑えられるかを試算してもよい。また、各動き補償ブロックの動きベクトルの大きさ、動き補償ブロック間の動きベクトルの差分、動き補償ブロック毎の画像の変化度等を基に、画質劣化の程度を試算するようにしてもよい。
【０１５３】
また、（１２）の場合には、４つのサブマクロブロックのうちの３つのサブマクロブロックを選択し、選択されたサブマクロブロックについて、（１１）の場合と同様に、動きベクトルを選定し、更に、その上で下記の方法により、選択されなかったサブマクロブロックについて、動きベクトルを送るようにしてもよい。
【０１５４】
動きベクトルの各成分について、選択されなかったサブマクロブロックの図７に示す位置の画素を含む２次サブマクロブロックの動きベクトルが、所定のビット数で表すことができる範囲に入っていた場合には、その動きベクトルをそのまま送り、そうでない場合には、無効を示す値を動きベクトルの代わりに送る。例えば、所定のビット数を２とし、その範囲を−０．２５画素〜０．２５画素とする。そして、実際の動きベクトルの値が−０．２５画素、０画素又は０．２５画素である場合には、例えば、それぞれ、その値を示す「００」、「０１」、「１０」を送り、実際の動きベクトルの値がその範囲を超える場合には、無効を示す「１１」を送る。
【０１５５】
また、このような方法は、（１２）の場合に限らず、他の場合において、余剰なビットを利用するために用いてもよい。例えば、（１０）の場合において、余剰な３３ビットを用いて、上記の方法により他の動き補償ブロックの動きベクトルを送るようにしてもよい。  また、（１２）の場合には、４つの双方向予測されるサブマクロブロックそれぞれの代表ベクトルを２本選定し、マクロブロックあたり８本のマクロブロックを選定し、マクロブロックを通常よりも少ないビット数で伝送することにより、マクロブロックあたりのビット数を２５６以下に収めるようにしてもよい。例えば、通常であれば、１つの動きベクトルは２６ビットで表されるが、これを２４ビットで表すようにしてもよい。そして、予測データ推定部２０７で、２４ビットで表された動きベクトルから２６ビット精度の動きベクトルを推定してもよい。
【０１５６】
また、マクロブロック内の双方向予測されるマクロブロックの数が１〜３ではなく、１又は１〜２である場合に、双方向予測されるマクロブロックそれぞれについての動きベクトルを追加して選定するようにしてもよい。
【０１５７】
なお、図４及び図１３に示した装置の各部をハードウェアによって実現してもよいが、コンピュータをこれらの部分として機能させるためのプログラムをコンピュータが読み込んで実行することによって実現してもよい。
【０１５８】
また、所定の条件が満たされたときに選定され、満たされないときに廃棄される符号化データとして、ビット数が多い動きベクトルを例に取り説明したが、例えば、動きベクトル以外の符号化データも同様な条件の基に、動きベクトルに追加して又は動きベクトルの代わりに、選定／非選定の対象となってもよい。
【０１５９】
また、ある符号化データについては、第１の所定の条件（例えば、実施形態１の条件）が満たされたときに選定され、満たされないときに廃棄されるようにして、ある別の符号化データについては、第２の所定の条件（例えば、実施形態２の条件）が満たされたときに選定され、満たされないときに廃棄されるようにしてもよい。
【図面の簡単な説明】
【０１６０】
【図１】マクロブロックの４種類の分割様式を示す図である。
【図２】サブマクロブロックの４種類の分割様式を示す図である。
【図３】従来例におけるマクロブロックあたりの符号化データのビット数を説明するための表である。
【図４】本発明の実施形態による符号化データ多重化機能付き画像復号化装置の構成を示すブロック図である。
【図５】図４に示す符号化データ選定部により行なわれる符号化データ選定方法を示すフローチャートである。
【図６】本発明の実施形態１において、図５に示す符号化データ選定方法が適用されない場合に伝送される動きベクトルを示す図である。
【図７】図５に示す符号化データ選定方法において、動きベクトルが選定される２次サブマクロブロック（すなわち、動き補償ブロック）が含むべき画素を示す図である。
【図８】図５に示す符号化データ選定方法において、図７に示す画素を含む２次サブマクロブロック（すなわち、動き補償ブロック）を示す図である。
【図９】本発明の実施形態１において、図５に示す符号化データ選定方法により選定される動きベクトルを示す図である。
【図１０】本発明の実施形態１において、図５に示す符号化データ選定方法により動きベクトルが選定される２次サブマクロブロック（すなわち、動き補償ブロック）を示す表である。
【図１１】本発明の実施形態１において、図５に示す符号化データ選定方法が適用された場合のマクロブロックあたりの符号化データのビット数を説明するための表である。
【図１２】Ｈ．２６４におけるダイレクトモードを説明するための図である。
【図１３】本発明の実施形態による画像再符号化装置の構成を示すブロック図である。
【図１４】図１３に示す符号化データ設定部により行なわれる符号化データ設定方法を示すフローチャートである。
【図１５】本発明の実施形態２において、図５に示す符号化データ選定方法により選定される動きベクトルを示す図である。
【図１６】本発明の実施形態２において、図５に示す符号化データ選定方法により動きベクトルが選定される２次サブマクロブロック（すなわち、動き補償ブロック）を示す表である。
【図１７】本発明の実施形態２において、図５に示す符号化データ選定方法が適用された場合のマクロブロックあたりの符号化データのビット数を説明するための表である。
【符号の説明】
【０１６１】
１００  画像復号化部
１１０  マルチプレクサ
１２０  符号化データ選定部
２００  画像符号化部
２１０  デマルチプレクサ
２０７  予測データ推定部
２０８  スイッチ
２２０  符号化データ設定部
【図１】
0004666255.tif 000002
【図２】
0004666255.tif 000003
【図３】
0004666255.tif 000004
【図４】
0004666255.tif 000005
【図５】
0004666255.tif 000006
【図６】
0004666255.tif 000007
【図７】
0004666255.tif 000008
【図８】
0004666255.tif 000009
【図９】
0004666255.tif 000010
【図１０】
0004666255.tif 000011
【図１１】
0004666255.tif 000012
【図１２】
0004666255.tif 000013
【図１３】
0004666255.tif 000014
【図１４】
0004666255.tif 000015
【図１５】
0004666255.tif 000016
【図１６】
0004666255.tif 000017
【図１７】
0004666255.tif 000018