(57)【特許請求の範囲】
【請求項１】
ビデオシーケンスを符号化する方法であって、該方法は、
前記シーケンスの第１のフレームの第１のセグメントにスキップ符号化モードを割り当てるステップ、
前記第１のセグメントに隣接する第２のセグメントの動き情報の少なくとも一部に基づき、前記第１のセグメントに対してゼロ値動きベクトル又は予測された非ゼロ値動きベクトルのどちらか一方を割り当てるステップ、
前記割り当てられた動きベクトルの少なくとも一部に基づき、参照フレームに関して前記第１のセグメントに対する予測値を形成するステップ、
前記スキップ符号化モードの指示を符号化されたビットストリーム内に供給するステップであって、前記第１のセグメントに対する更なる動きベクトルは、該符号化されたビットストリーム内に符号化されないステップ、
を有する方法。
【請求項２】
前記第２のセグメントは、前記第１のセグメントに隣接する予め符号化されたセグメントである、請求項１に記載の方法。
【請求項３】
前記第２のセグメントにおける動きが既定値より大きい場合、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１に記載の方法。
【請求項４】
前記第２のセグメントがグローバルな、又はローカルな動きの動き特性を含む場合、
前記方法は、
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項１に記載の方法。
【請求項５】
前記第１のセグメントを囲繞する領域の動きの解析を実行するステップ、及び
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップ、を更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
さもなければ、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項１に記載の方法。
【請求項６】
前記第２のセグメントがゼロ値動きベクトルを含む場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１に記載の方法。
【請求項７】
符号化されたビデオシーケンスを復号する方法であって、該方法は、
第１のセグメントに対するスキップ符号化モードの指示を受信するステップ、
前記第１のセグメントに隣接する第２のセグメントの動き情報の少なくとも一部に基づき、前記第１のセグメントに対してゼロ値動きベクトル又は予測された非ゼロ値動きベクトルのどちらか一方を割り当てるステップ、及び
前記割り当てられた動きベクトルの少なくとも一部に基づき、参照フレームに関して前記第１のセグメントに対する予測値を形成するステップ、
を有する方法。
【請求項８】
前記第１のセグメントを囲繞する領域の動きの解析を実行するステップ、及び
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップ、を更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
さもなければ、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項７に記載の方法。
【請求項９】
前記第１のセグメントを囲繞する予め復号化された領域内のセグメントがゼロ値動きベクトルを含む場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項７に記載の方法。
【請求項１０】
ビデオシーケンスを符号化するためのビデオエンコーダであって、該エンコーダは、
第１のセグメントにスキップ符号化モードを割り当てるための符号化制御装置、
前記第１のセグメントに隣接する第２のセグメントの動き情報の少なくとも一部に基づき、前記第１のセグメントに対してゼロ値動きベクトル又は予測された非ゼロ値動きベクトルのどちらか一方を割り当て、及び
前記割り当てられた動きベクトルの少なくとも一部に基づき、参照フレームに関して前記第１のセグメントに対する予測値を形成するための動き推定ブロック、
前記スキップ符号化モードの指示を符号化されたビットストリーム内に供給するためのマルチプレクサであって、前記第１のセグメントに対する更なる動きベクトルは該符号化されたビットストリーム内に符号化されないマルチプレクサ、
を有するエンコーダ。
【請求項１１】
前記第２のセグメントは、前記第１のセグメントに隣接する予め符号化されたセグメントである、請求項１０に記載のエンコーダ。
【請求項１２】
前記第２のセグメントにおける動きが既定値より大きい場合、前記動き推定ブロックは前記第１のセグメントに前記ゼロ値動きベクトルを割り当てるよう構成され、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１０に記載のエンコーダ。
【請求項１３】
前記第２のセグメントがグローバルな、又はローカルな動きの動き特性を含む場合、
前記動き推定ブロックは、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう構成され、及び
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項１０に記載のエンコーダ。
【請求項１４】
前記動き推定ブロックは、前記第１のセグメントを囲繞する領域の動きの解析を実行するように、及び
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すように、構成され、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
さもなければ、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項１０に記載のエンコーダ。
【請求項１５】
前記第１のセグメントを囲繞する領域内のセグメントがゼロ値動きベクトルを含む場合、前記エンコーダは前記第１のセグメントに前記ゼロ値動きベクトルを割り当てるように構成され、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルに関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１０に記載のエンコーダ。
【請求項１６】
符号化されたビデオシーケンスを復号化するためのビデオデコーダであって、該デコーダは、
第１のセグメントに割り当てられたスキップ符号化モードの指示を受信するためのデマルチプレクサ、
前記第１のセグメントに隣接する第２のセグメントの動き情報の少なくとも一部に基づき、前記第１のセグメントに対してゼロ値動きベクトル又は予測された非ゼロ値動きベクトルのどちらか一方を割り当て、及び
前記割り当てられた動きベクトルの少なくとも一部に基づき、参照フレームに関して前記第１のセグメントに対する予測値を形成するための動き補償予測ブロック、
を有するデコーダ。
【請求項１７】
前記第２のセグメントにおける動きが既定値より大きい場合、前記デコーダは前記第１のセグメントに前記ゼロ値動きベクトルを割り当てるよう構成され、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１６に記載のデコーダ。
【請求項１８】
前記第２のセグメントがグローバルな、又はローカルな動きの動き特性を含む場合、
前記デコーダは、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう構成され、前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項１６に記載のデコーダ。
【請求項１９】
前記動き補償予測ブロックは、前記第１のセグメントを囲繞する領域の動きの解析を実行するように、及び
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すように、構成され、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
さもなければ、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項１６に記載のデコーダ。
【請求項２０】
前記第１のセグメントを囲繞する領域内のセグメントがゼロ値動きベクトルを含む場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１６に記載のデコーダ。
【請求項２１】
請求項１０に記載のエンコーダを有する、マルチメディア端末。
【請求項２２】
請求項１６に記載のデコーダを有する、マルチメディア端末。
【請求項２３】
前記第２のセグメントが非ゼロ値動きベクトル含む場合、
前記方法は、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項１に記載の方法。
【請求項２４】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１に記載の方法。
【請求項２５】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが、該第２のセグメントが属するピクチャのすぐ後に続く第２の参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１に記載の方法。
【請求項２６】
前記第２のセグメントの動き情報、及び前記第１のセグメントに隣接する第３のセグメントの動き情報の解析を実行するステップ、並びに
前記第１のセグメントを囲繞する領域が、前記第２のセグメントの動きベクトル、及び前記第３のセグメントの動きベクトルの特性の少なくとも一部に基づき、ビデオシーケンスにおけるグローバルな、又はローカルな動きを有するかどうかを決定するステップ、
を更に有する、請求項１に記載の方法。
【請求項２７】
前記第１のセグメントを囲繞する前記領域が、ビデオシーケンスにおけるグローバルな、又はローカルな動きを含む場合、
前記方法は、前記第２のセグメントの前記動きベクトル、及び前記第３のセグメントの前記動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項２６に記載の方法。
【請求項２８】
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有する、請求項１に記載の方法。
【請求項２９】
前記第２のセグメントの前記動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有する、請求項１に記載の方法。
【請求項３０】
どのような残余の情報も、前記符号化されたビットストリーム内の前記第１のセグメントに供給されない、請求項１に記載の方法。
【請求項３１】
前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、予測された動きベクトルを導き出すステップを更に有し、
前記予測された動きベクトルの任意の要素が特定のしきい値より大きい絶対値を持つ場合、前記予測された動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
前記予測された動きベクトルのどの要素も前記特定のしきい値より大きい絶対値を持たない場合、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項１に記載の方法。
【請求項３２】
前記第２のセグメントがゼロ値動きベクトルを含む場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項７に記載の方法。
【請求項３３】
前記第２のセグメントにおける動きが既定値より大きい場合、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項７に記載の方法。
【請求項３４】
前記第２のセグメントが非ゼロ値動きベクトル含む場合、
前記方法は、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項７に記載の方法。
【請求項３５】
前記第２のセグメントが、グローバルな、又はローカルな動きの動き特性を含む場合、
前記方法は、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、
ことを特徴とする、請求項７に記載の方法。
【請求項３６】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項７に記載の方法。
【請求項３７】
前記第２のセグメントの動き情報、及び前記第１のセグメントに隣接する第３のセグメントの動き情報の解析を実行するステップ、
前記第１のセグメントを囲繞する領域が、前記第２のセグメントの動きベクトル、及び前記第３のセグメントの動きベクトルの特性の少なくとも一部に基づき、ビデオシーケンスにおけるグローバルな、又はローカルな動きを有するかどうかを決定するステップ、
を更に有する、請求項７に記載の方法。
【請求項３８】
前記第１のセグメントを囲繞する前記領域が、ビデオシーケンスにおけるグローバルな、又はローカルな動きを含む場合、
前記方法は、前記第２のセグメントの前記動きベクトル、及び前記第３のセグメントの前記動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有し、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項３７に記載の方法。
【請求項３９】
前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有する、請求項７に記載の方法。
【請求項４０】
前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すステップを更に有する、請求項７に記載の方法。
【請求項４１】
どのような残余の情報も、符号化されたビットストリーム内の前記第１のセグメントに供給されない、請求項７に記載の方法。
【請求項４２】
前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された動きベクトルを導き出すステップを更に有し、
前記予測された動きベクトルの任意の要素が特定のしきい値より大きい絶対値を持つ場合、前記予測された動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
前記予測された動きベクトルのどの要素も前記特定のしきい値より大きい絶対値を持たない場合、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項７に記載の方法。
【請求項４３】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが、該第２のセグメントが属するピクチャのすぐ後に続く第２の参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１に記載の方法。
【請求項４４】
前記第２のセグメントが非ゼロ値動きベクトルを含む場合、
前記動き推定ブロックは、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成され、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項１０に記載のエンコーダ。
【請求項４５】
前記動き推定ブロックが、
前記第２のセグメントの動き情報、及び前記第１のセグメントに隣接する第３のセグメントの動き情報の解析を実行し、
前記第１のセグメントを囲繞する領域が、前記第２のセグメントの動きベクトル、及び前記第３のセグメントの動きベクトルの特性の少なくとも一部に基づき、ビデオシーケンスにおけるグローバルな、又はローカルな動きを有するかどうかを決定する、
ように更に構成される、請求項１０に記載のエンコーダ。
【請求項４６】
前記第１のセグメントを囲繞する前記領域が、ビデオシーケンスにおけるグローバルな、又はローカルな動きを含む場合、
前記動き推定ブロックは、前記第２のセグメントの前記動きベクトル、及び前記第３のセグメントの前記動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成され、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項４５に記載のエンコーダ。
【請求項４７】
前記動き推定ブロックは、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成される、請求項１０に記載のエンコーダ。
【請求項４８】
前記動き推定ブロックは、前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成される、請求項１０に記載のエンコーダ。
【請求項４９】
どのような残余の情報も、前記符号化されたビットストリーム内の前記第１のセグメントに供給されない、請求項１０に記載のエンコーダ。
【請求項５０】
前記動き推定ブロックは、前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された動きベクトルを導き出すよう更に構成され、
前記予測された動きベクトルの任意の要素が特定のしきい値より大きい絶対値を持つ場合、前記予測された動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
前記予測された動きベクトルのどの要素も前記特定のしきい値より大きい絶対値を持たない場合、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項１０に記載のエンコーダ。
【請求項５１】
前記第２のセグメントがゼロ値動きベクトルを含む場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１０に記載のエンコーダ。
【請求項５２】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１０に記載のエンコーダ。
【請求項５３】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが、該第２のセグメントが属するピクチャのすぐ後に続く第２の参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１０に記載のエンコーダ。
【請求項５４】
前記第２のセグメントがゼロ値動きベクトルを含む場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１６に記載のデコーダ。
【請求項５５】
前記第２のセグメントが非ゼロ値動きベクトルを含む場合、
前記動き補償予測ブロックは、前記第２のセグメントの前記動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成され、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項１６に記載のデコーダ。
【請求項５６】
前記動き推定ブロックが、
前記第２のセグメントの動き情報、及び前記第１のセグメントに隣接する第３のセグメントの動き情報の解析を実行し、
前記第１のセグメントを囲繞する領域が、前記第２のセグメントの動きベクトル、及び前記第３のセグメントの動きベクトルの特性の少なくとも一部に基づき、ビデオシーケンスにおけるグローバルな、又はローカルな動きを有するかどうかを決定する、
ように更に構成される、請求項１６に記載のデコーダ。
【請求項５７】
前記第１のセグメントを囲繞する前記領域が、ビデオシーケンスにおけるグローバルな、又はローカルな動きを含む場合、
前記動き推定ブロックは、前記第２のセグメントの前記動きベクトル、及び前記第３のセグメントの前記動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成され、
前記予測された非ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された非ゼロ値動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成される、請求項５６に記載のデコーダ。
【請求項５８】
前記動き推定ブロックは、前記第２のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成される、請求項１６に記載のデコーダ。
【請求項５９】
前記動き推定ブロックは、前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された非ゼロ値動きベクトルを導き出すよう更に構成される、請求項１６に記載のデコーダ。
【請求項６０】
どのような残余の情報も、符号化されたビットストリーム内の前記第１のセグメントに供給されない、請求項１６に記載のデコーダ。
【請求項６１】
前記動き推定ブロックは、前記第２のセグメントの動きベクトル、及び前記第１のセグメントに隣接する第３のセグメントの動きベクトルの少なくとも一部に基づき、前記予測された動きベクトルを導き出すよう更に構成され、
前記予測された動きベクトルの任意の要素が特定のしきい値より大きい絶対値を持つ場合、前記予測された動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記予測された動きベクトルの少なくとも一部に基づき、前記参照フレームに関する動き補償予測により形成され、
前記予測された動きベクトルのどの要素も前記特定のしきい値より大きい絶対値を持たない場合、前記ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、前記ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、
請求項１６に記載のデコーダ。
【請求項６２】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１６に記載のデコーダ。
【請求項６３】
前記第２のセグメントがゼロ値動きベクトルを含み、前記第２のセグメントが、該第２のセグメントが属するピクチャのすぐ後に続く第２の参照ピクチャからの動き補償予測を用いて予測される場合、該ゼロ値動きベクトルが前記第１のセグメントに割り当てられ、前記第１のセグメントに対する前記予測が、該ゼロ値動きベクトルと関連づけられる前記参照フレームの対応するセグメントに関して形成される、請求項１６に記載のデコーダ。
【請求項６４】
前記第１のセグメントに対する更なる動きベクトル情報は、符号化されたビットストリームから取り出されない、請求項１６に記載のデコーダ。
【請求項６５】
前記第１のセグメントに対する更なる動きベクトル情報は、符号化されたビットストリームから取り出されない、請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に通信システムに関し、特に、ビデオ符号化時の動き補償に関する。
【背景技術】
【０００２】
フィルムに録画された通常の動画像のように、デジタルビデオシーケンスには一連の静止画像が含まれ、比較的高速なレート（一般に毎秒１５〜３０フレーム）でそのシーケンスの連続画像により動きの錯視が次々に形成される。この比較的高速のフレーム表示レートに起因して、連続フレーム内の画像はきわめて類似したものになり、したがって、相当量の冗長な情報を含む傾向がある。例えば、一般的な場面には背景場面などの静止要素と、ニュースキャスタの顔や、人や車の動き等の多くの異なる形をとり得る若干の動画領域とが含まれる。上記とは別に、あるいは、これに加えて、場面を録画するカメラの並進運動、パニングあるいはズーミングなどに起因していわゆる“グローバルな動き”が、例えば、ビデオシーケンス中に生じる場合がある。しかし、多くの場合、１つのビデオフレームと次のフレームとの間の変化は全体としてはきわめて小さい。
【０００３】
未圧縮のデジタルビデオシーケンスの個々のフレームは画像ピクセルからなるアレイを有する。例えば、１／４共通交換フォーマット（ＱＣＩＦ）として知られる広く用いられているデジタルビデオフォーマットでは、１フレームに１７６×１４４ピクセルのアレイが含まれ、各フレームは２５、３４４個のピクセルを有する。個々のピクセルは、そのピクセルに対応する画像領域の輝度および／またはカラー内容に関する情報を担持する一定のビット数により表される。一般に、画像の輝度と色差色差の内容を表すためにいわゆるＹＵＶカラーモデルが利用される。輝度（すなわちＹ）成分が画像の強度（輝度）を表すのに対して画像のカラー内容は、ＵとＶでラベルされる２つの色差すなわち色差により表される。
【０００４】
三原色（赤、緑、青、ＲＧＢ）を含む表示に基づくカラーモデルと比べた場合、画像内容の輝度／色差表示に基づくカラーモデルによって或る利点が得られる。人間の視覚系は、色の変動に対する場合に比べて強度の変動に対してより強く感応し、ＹＵＶカラーモデルは、輝度成分（Ｙ）に対する空間分解能よりも低い色成分（Ｕ、Ｖ）に対する空間分解能を用いることにより上記属性を利用するものである。このようにして、画像の品質を損なわない範囲で画像内のカラー情報の符号化に必要な情報量の低減を図ることが可能となる。
【０００５】
色成分の低い空間分解能は、空間サブサンプリングを行うことにより通常達成される。一般に、ビデオシーケンスの個々のフレームはいわゆる“マクロブロック”に分画されている。この“マクロブロック”には輝度（Ｙ）情報並びに関連する（空間サブサンプリングを施した）色差（Ｕ、Ｖ）情報が含まれる。図３は、マクロブロックの形成を可能とする１つの方法を例示する図である。図３ａはＹＵＶカラーモデルを用いて表されるビデオシーケンスのフレームを示す図であり、個々の成分は同じ空間分解能を有する。マクロブロックは、１６×１６の画像ピクセル領域を表すことにより、輝度情報を示す４つのブロックとして原画像（図３ｂ）内に形成され、個々の輝度ブロックには８×８のアレイからなる輝度（Ｙ）値、並びに、空間的に対応する２つの色成分（ＵとＶ）が含まれる。この２つの色成分に対して水平および垂直方向に２分の１のサブサンプリングを行って、８×８の対応するアレイの色差（Ｕ、Ｖ）値が得られる（図３ｃを参照）。
【０００６】
ＱＣＩＦ画像には１１×９のマクロブロックが含まれる。輝度ブロックと色差ブロックとが（０〜２５５の範囲の数である）８ビット分解能で表される場合、マクロブロック当たりの必要総ビット数は、（１６×１６×８）＋２×（８×８×８）＝３０７２ビットとなる。したがって、ＱＣＩＦフォーマットでビデオフレームを表すのに必要なビット数は、９９×３０７２＝３０４，１２８ビットとなる。これは、ＱＣＩＦフォーマットで未圧縮のビデオシーケンスの伝送／記録／表示を行うのに必要なデータ量であって、毎秒３０フレームの速度でＹＵＶカラーモデルを用いて表されるデータ量が９Ｍｂｐｓ（毎秒百万ビット）よりも多いデータ量となることを意味する。このレートは非常に高速のデータレートであり、非常に大きな記憶容量、伝送チャネル容量および求められるハードウェアのパフォーマンスに起因して、アプリケーションのビデオ録画時、アプリケーションの伝送時、および、アプリケーションの表示の際に使用するには実際的な速度でない。
【０００７】
ビデオデータが、ＩＳＤＮ（総合デジタル通信網）や従来のＰＳＴＮ（公衆電話交換網）などの固定ラインネットワークを介してリアルタイムで伝送される場合、利用可能なデータ伝送帯域幅は一般に６４キロビット／秒のオーダーである。無線通信リンクを介して少なくとも部分的に伝送が行われる携帯型テレビ電話では、利用可能な帯域幅は２０キロビット／秒ほどの低い帯域幅になる可能性がある。これは、低い帯域幅の通信ネットワークでデジタルビデオシーケンスの伝送を可能にするためには、ビデオデータを表すのに用いる情報量の著しい低減を達成することが必要であることを意味する。この理由のために、容認できる画像の品質を保持しながら伝送を行う対象情報量の低減を図るビデオ圧縮技術が開発されてきた。
【０００８】
ビデオ圧縮法は、ビデオシーケンスの冗長な部分並びに知覚上無関係な部分の縮減に基づく方法である。ビデオシーケンス内の冗長性はカテゴリ上空間的、時間的およびスペクトル的冗長性に分類することができる。“空間的冗長性”とは、フレーム内で隣接するピクセル間の相関関係（類似性）の記述に用いる用語である。“時間的冗長性”という用語は、シーケンスの１つのフレーム内に現れる対象物が後続フレーム内に出現する可能性が大きいという事実を表現するものであり、一方、“スペクトル的冗長性”とは同じ画像の異なる色成分間での相関関係を意味するものである。
【０００９】
所定の画像シーケンス内の種々の形の冗長性を単に低減するだけでは十分効率のよい圧縮の達成を行うことは通常不可能である。したがって、最新のビデオエンコーダでは、ビデオシーケンスの主観的重要度が最も低い部分の品質を落すことも行われている。さらに、効率のよい、損失の少ない符号化によって、圧縮済みビデオビットストリーム自体の冗長性が低減される。一般に、これはエントロピ符号化として公知の手法を用いて達成される。
【００１０】
かなりの量の空間的冗長性が、デジタルビデオシーケンスの個々のフレームを形成するピクセル間に存在する場合が多い。言い換えれば、シーケンスのフレーム内のいずれのピクセル値もそのすぐ近辺の別のピクセル値とほぼ同一である。一般的に、ビデオ符号化システムは、“ブロックベースの変換符号化”として公知の技法を用いて空間的冗長性を低減するシステムであり、このシステムでは、２次元離散余弦変換（ＤＣＴ）などの数学的変換が画像ピクセルのブロックに対して適用される。この適用によって、ピクセル値を含む表示から、空間的冗長性を大幅に低減させる空間周波数成分を表す１組の係数値を含む形式へ画像データが変換され、画像データのさらにコンパクトな表示が生成される。
【００１１】
シーケンス内の他のいずれのフレームも参照することなく、ブロックベースの変換符号化を用いて圧縮されたビデオシーケンスのフレームはイントラ符号化フレーム（Ｉ−フレーム）と呼ばれている。これに加えて、また、可能な場合には、同じフレーム内で前に符号化されたブロックからイントラ符号化済みフレームのブロックが予測される。この手法は、イントラ予測として公知のものであるが、イントラ符号化済みフレームの表示に必要なデータ量をさらに減らす効果がある。
【００１２】
一般的に、ビデオ符号化システムでは、ビデオシーケンスの個々のフレーム内の空間的冗長性の低減だけでなく、シーケンス内の時間的冗長性を低減する“動き補償予測”として公知の手法も利用される。動き補償予測を利用して、デジタルビデオシーケンス内のいくつかの（しばしば多数の）フレームの画像内容が“参照”フレームとして公知の、シーケンス内の１または２以上の別のフレームから“予測される”。画像内容の予測は、“動きベクトル”を用いて、符号化対象（被圧縮）フレームと、参照フレームとの間の画像オブジェクトまたは画像領域の動きとを追尾することにより達成される。一般に、参照フレームは、ビデオシーケンスの符号化対象フレームに先行するものであってもよいし、符号化対象フレームに後続するものであってもよい。イントラ符号化の場合のように、一般にビデオフレームの動き補償予測はマクロブロック毎に行われる。
【００１３】
動き補償予測を利用して圧縮されたビデオシーケンスのフレームは一般にインター符号化フレームすなわちＰ−フレームと呼ばれる。動き補償予測は単独でビデオフレームの画像内容を十分正確に表示することはめったにない。したがって、個々のインター符号化済みフレームにいわゆる“予測誤差”（ＰＥ）フレームを設けることが一般に必要となる。予測誤差フレームとは、インター符号化フレームの復号化バージョンと、符号化対象フレームの画像内容との間の誤差を表すフレームである。さらに詳しく言えば、予測誤差フレームには符号化対象フレーム内のピクセル値と、当該フレームの予測バージョンに基づいて形成される対応する再構成済みピクセル値との間の誤差を表す値が含まれる。その結果、予測誤差フレームは静止画像と類似の特徴を有するものとなり、この予測誤差フレームの空間的冗長性、したがって上記フレームを表すのに必要なデータ量（ビット数）の低減のためにブロックベースの変換符号化の適用が可能となる。
【００１４】
一般的ビデオ符号化システムの作動を示すために、添付図面の図１と図２に例示の典型的ビデオエンコーダとビデオデコーダとについてさらに詳細に以下言及することにする。図１のビデオエンコーダ１００はイントラ符号化とインター符号化の組み合わせを用いて、圧縮済み（符号化済み）ビデオビットストリームを発生させ、図２のデコーダ２００は、エンコーダ１００が発生させたこのビデオビットストリームを受け取り、復号化してビデオシーケンスの再構成を図るように構成される。以下の説明を通じてずっと、マクロブロックの輝度成分には４個の８×８のブロックからなるアレイとして並べられた１６×１６のピクセルが含まれているものと仮定とする。また、対応する色成分に対して、水平方向と垂直方向とに２分の１の空間的サブサンプリングが行われて、図３に描かれているように８×８のブロックが形成されるものと仮定とする。別のブロックサイズおよび別のサブサンプリング方式への本説明の拡張は当業者には自明である。
【００１５】
ビデオエンコーダ１００は、カメラまたは別のビデオソース（図示せず）からデジタルビデオ信号を受け取る入力部１０１を備える。ビデオエンコーダ１００は、ブロックベースの離散余弦変換（ＤＣＴ）を実行するように構成される変換ユニット１０４と、量子化装置１０６と、逆量子化器１０８と、反転ブロックベースの離散余弦変換（ＩＤＣＴ）を実行するように構成される逆変換ユニット１１０と、コンバイナ１１２と１１６と、フレーム格納部１２０も備える。エンコーダは、動き推定装置１３０、運動フィールドコーダ１４０および動き補償予測子１５０をさらに備える。スイッチ１０２と１１４はコントロールマネージャ１６０により協働して操作され、ビデオ符号化のイントラモードと、ビデオ符号化のインターモードとの間のエンコーダの切り替えが行われる。エンコーダ１００は、エンコーダ１００が生みだす種々のタイプの情報から単一のビットストリームを形成するビデオマルチプレクスコーダ１７０も備え、遠隔地にある受信端末へのさらなる伝送や、例えば、コンピュータのハードドライブ（図示せず）などの大容量記憶媒体への格納が行われる。
【００１６】
エンコーダ１００は以下のように作動する。ビデオソースから入力部１０１へ出力される未圧縮のビデオの個々のフレームが、好適にはラスタ・スキャン順にマクロブロック毎に受信され、処理される。新たなビデオシーケンスの符号化が開始されると、符号化の対象とする第１のフレームがイントラ符号化済みフレームとして符号化される。次に、以下の条件、すなわち、１）符号化中のフレームの現マクロブロックが、その予測時に用いられる参照フレーム内のピクセル値とは非常に異なる種類のものであるため、過剰な予測誤差情報が生みだされていると判断され、その場合現マクロブロックがイントラ符号化済みフォーマットで符号化されたものである；２）予め定義されたイントラフレーム反復間隔が時間切れになっている；あるいは、３）イントラ符号化済みフォーマットでフレームを出力すべき旨の要求を示すフィードバック情報が受信端末から受信される；のうちの１つの条件が満たされない限り、エンコーダはプログラムされて、個々のフレームの符号化がインター符号化フォーマットで行われる。
【００１７】
条件１）の発生は、コンバイナ１１６の出力信号のモニタを行うことにより検出される。コンバイナ１１６は、符号化中のフレームの現マクロブロックと、動き補償予測ブロック１５０で生成される、符号化中のフレームの現マクロブロックの予測マクロブロックとの間の誤差を形成する。この誤差の測定値（例えばピクセル値の絶対差の和）が所定のしきい値を上回った場合、コンバイナ１１６は制御ライン１１９を介してコントロールマネージャ１６０にこれを通知し、コントロールマネージャ１６０は、制御ライン１１３を介してスイッチ１０２と１１４を作動させて、エンコーダ１００のスイッチを入れ、イントラ符号化モードにする。このようにして、そうでない場合にはインター符号化フォーマットで符号化されるフレームはイントラ符号化済みマクロブロックを含むことができるようになる。条件２）の発生は、タイマまたはコントロールマネージャ１６０に実装されたフレームカウンタによってモニタされ、タイマが時間切れになった場合、または、フレームカウンタが所定数のフレームに達した場合、コントロールマネージャ１６０が制御ライン１１３を介してスイッチ１０２と１１４とを作動させて、エンコーダのスイッチを入れ、イントラ符号化モードにするように図られる。条件３）の場合、コントロールマネージャ１６０が、例えば受信端末によりイントラフレームのリフレッシュが必要であることを示す制御ライン１２１を介して受信端末からフィードバック信号を受け取った場合条件３）がトリガーされる。例えば、前に伝送されたフレームがその伝送の最中に干渉によりひどく損なわれて受信側での復号化が不可能な場合に、このような条件が発生することが考えられる。この状況で、受信側デコーダは、イントラ符号化済みフォーマットで符号化する次の対象フレームを出し、符号化シーケンスの再初期化が行われる。
【００１８】
イントラ符号化モードでのエンコーダ１００の作動について以下説明する。イントラ符号化モードで、コントロールマネージャ１６０はスイッチ１０２を作動させて、入力ライン１１８からビデオ入力を受け入れる。このビデオ信号入力は、入力ライン１１８を介してマクロブロック毎に入力部１０１から受信される。ビデオ信号入力が受信されると、マクロブロックを形成する輝度値と色差値とからなるブロックがＤＣＴ変換ブロック１０４へ渡され、このＤＣＴ変換ブロック１０４は、複数の値からなる個々のブロックに対して２次元離散余弦変換を実行して、複数の値からなる個々のブロックに対して、個々のブロックに関連する２次元アレイのＤＣＴ係数を生成する。ＤＣＴ変換ブロック１０４は個々のブロックに関連する係数値のアレイを生みだす。係数値の数値は、マクロブロックを形成するブロックの寸法に対応する（このケースでは８×８）。個々のブロックに関連するＤＣＴ係数は、量子化装置１０６へ渡され、この量子化装置１０６で、量子化パラメータＱＰを用いてＤＣＴ係数の量子化が行われる。量子化パラメータＱＰの選択は、制御ライン１１５を介してコントロールマネージャ１６０により制御される。
【００１９】
次いで、図１のライン１２５により示されるように、個々のブロックに関連する量子化済みＤＣＴ係数のアレイが量子化装置１０６からビデオマルチプレクスコーダ１７０へ渡される。ビデオマルチプレクスコーダ１７０は、ジグザグ状のスキャニング処理手順を用いて個々のブロックに関連する量子化変換係数のソートを行い、量子化変換係数の２次元配列を一次元アレイに変換する。次いで、１次元アレイにおける個々の非ゼロ値量子化係数はレベル値と実行値と呼ばれる一対の値として表される。但し、レベル値とは量子化係数の値であり、実行値とは当該係数に先行する連続するゼロ値係数の個数である。実行値並びにレベル値は、例えば可変長符号化（ＶＬＣ）や算術符号化などのエントロピ符号化を利用してビデオマルチプレクスコーダ１７０でさらに圧縮される。
【００２０】
適正な方法を用いて実行値とレベル値とをエントロピ符号化するとすぐに、ビデオマルチプレクスコーダ１７０は、適正な方法を用いて当該種類の情報に関連してやはりエントロピ符号化した制御情報と上記値とを組み合わせ、符号化済み画像情報１３５の単一の圧縮ビットストリームを形成する。ビデオマルチプレクスコーダ１７０により実行される処理と関連してエントロピ符号化について説明しているが、別の実施例では別個のエントロピ符号化部を設けてもよいことに留意されたい。
【００２１】
マクロブロックのローカルな復号化バージョンもエンコーダ１００で形成される。この復号化バージョンは、逆量子化器１０８を介して量子化装置１０６が出力する個々のブロックに関連する量子化変換係数を渡し、次いで、逆変換ブロック１１０で逆ＤＣＴ変換を印加することにより行われる。このようにして、マクロブロックの個々のブロックに関連してピクセル値の再構成アレイが構成される。結果として生じる復号化済み画像データがコンバイナ１１２へ入力される。イントラ符号化モードで、スイッチ１１４がセットされ、それによって、スイッチ１１４を介するコンバイナ１１２への入力信号はゼロになる。このようにして、コンバイナ１１２による実行処理は元のままの画像データの復号化と同等となる。
【００２２】
現フレームの後続マクロブロックを受け取り、次いで、ブロック１０４、１０６、１０８、１１０、１１２での前述した符号化ステップおよびローカルな復号化ステップを経て、イントラ符号化済みフレームの復号化バージョンがフレーム格納部１２０に組み立てられる。現フレームの最期のマクロブロックのイントラ符号化を行い、その後復号化すると、フレーム格納部１２０には、インター符号化フォーマットで後で受信したビデオフレームの符号化時に動き予測参照フレームとして利用できる完全に復号化されたフレームが含まれる。
【００２３】
インター符号化モードにおけるエンコーダ１００の作動について以下説明する。インター符号化モードで、コントロールマネージャ１６０はスイッチ１０２を作動させ、コンバイナ１１６からの出力信号を含むライン１１７からその入力信号を受け取る。コンバイナ１１６は入力信号１０１からビデオ入力信号をマクロブロック毎に受け取る。コンバイナ１１６は、マクロブロックを形成する輝度値と色差値とからなるブロックを受け取ると、対応する予測誤差情報ブロックを形成する。予測誤差情報は、当該ブロックと、動き補償予測ブロック１５０とで形成される、当該ブロックの予測ブロック間の誤差を表す。さらに詳しく言えば、マクロブロックの個々のブロックに関連する予測誤差情報には２次元配列の値が含まれ、これら値の各々は、以下に説明する処理手順に基づいて、輝度情報または色差情報からなるブロック内の符号化中のピクセル値と、当該ブロックに関連する動き補償予測を形成することにより得られる復号化済みピクセル値との間の誤差を表すものである。したがって、個々のマクロブロックが、例えば、輝度値と色差値とを含む８×８ブロックのアセンブリを含む本願で考慮の対象とする例示のビデオ符号化システムでは、マクロブロックの個々のブロックに関連する予測誤差情報にも同様に８×８アレイの予測誤差値が含まれる。
【００２４】
マクロブロックの個々のブロックに関連する予測誤差情報は、予測誤差値の個々のブロックに対して２次元離散余弦変換を実行するＤＣＴ変換ブロック１０４へ渡され、個々のブロックに関連する２次元配列のＤＣＴ変換係数が形成される。ＤＣＴ変換ブロック１０４は個々の予測誤差ブロックに関連する係数値のアレイを形成し、係数値の個数はマクロブロックを形成するこのブロックの寸法に対応する（このケースでは８×８）。個々の予測誤差ブロックから導き出される変換係数は、量子化装置１０６へ渡され、この量子化装置で、イントラ符号化モードでのエンコーダの作動と関連して上述した場合と同じ様に、量子化パラメータＱＰを用いて量子化される。前の場合と同じ様に、量子化パラメータＱＰの選択は制御ライン１１５を介してコントロールマネージャ１６０により制御される。
【００２５】
マクロブロックの個々のブロックに関連する予測誤差情報を表す量子化済みＤＣＴ係数は、図１のライン１２５により示されるように量子化装置１０６からビデオマルチプレクスコーダ１７０へ渡される。イントラ符号化モードにおける場合のように、ビデオマルチプレクスコーダ１７０は、或る一定のジグザグ状のスキャニング処理手順を用いて個々の予測誤差ブロックに関連する変換係数のソートを行い、次いで、個々の非ゼロ値量子化係数を実行値−レベル値対として表す。ビデオマルチプレクスコーダ１７０は、イントラ符号化モードと関連して上述した場合と同様に、エントロピ符号化を用いてこの実行値−レベル値対をさらに圧縮する。ビデオマルチプレクスコーダ１７０は、ライン１２６を介して動きフィールド符号化ブロック１４０からの動きベクトル情報（以下に解説）およびコントロールマネージャ１６０からの制御情報も受け取る。ビデオマルチプレクスコーダ１７０は、動きベクトル情報と制御情報とのエントロピ符号化を行い、次いで、エントロピ符号化済み動きベクトル、予測誤差および制御情報を含む単一のビットストリームの符号化済み画像情報を形成する（１３５）。
【００２６】
マクロブロックの個々のブロックに関連する予測誤差情報を表す量子化済みＤＣＴ係数は、量子化装置１０６から逆量子化器１０８へも渡される。ここでＤＣＴ係数は逆量子化され、結果として生じる逆量子化ＤＣＴ係数ブロックがＤＣＴ逆変換ブロック１１０に印加され、この逆変換ブロックでＤＣＴ係数はＤＣＴ逆変換を受け、予測誤差値のローカルに復号化されたブロックが形成される。次いで予測誤差値のローカルに復号化されたこのブロックはコンバイナ１１２に入力される。インター符号化モードでは、スイッチ１１４がセットされて、マクロブロックの個々のブロックに関連する予測ピクセル値であって、動き補償予測ブロック１５０により生成される予測ピクセル値をコンバイナ１１２がやはり受け取るように設定される。コンバイナ１１２は、予測誤差値のローカルに復号化されたブロックの各々を予測ピクセル値の対応するブロックと組み合わせ、再構成済み画像ブロックを生成し、これらの画像ブロックをフレーム格納部１２０内に格納する。
【００２７】
ビデオ信号の後続するマクロブロックをビデオソースから受け取り、次いで、ブロック１０４、１０６、１０８、１１０、１１２で前述した符号化およびローカルな復号化ステップを経て、フレームの復号化バージョンがフレーム格納部１２０に組み立てられる。フレームの最期のマクロブロックが処理されたとき、フレーム格納部１２０には、インター符号化フォーマットで後程受信されるビデオフレームの符号化時に動き予測参照フレームとして利用できる完全に復号化されたフレームが含まれることになる。
【００２８】
ビデオエンコーダ１００により実行される動き補償予測の詳細について次に考察する。
【００２９】
インター符号化フォーマットで符号化されたいずれのフレームも動き補償予測用参照フレームを必要とする。これは、ビデオシーケンスの符号化時に、シーケンス内の第１のフレームであるか、別の何らかのフレームであるかに関わらず、符号化の対象とする第１のフレームをイントラ符号化済みフォーマットで符号化しなければならないことを必然的に意味する。次いで、これは、コントロールマネージャ１６０によりビデオエンコーダ１００のスイッチが入れられ、インター符号化モードにされたとき、前に符号化したフレームをローカルに復号化することにより形成される完全な参照フレームがエンコーダのフレーム格納部１２０ですでに利用可能であることを意味する。一般に、イントラ符号化済みフレームか、インター符号化済みフレームかのいずれかをローカルに復号化することにより参照フレームは形成される。
【００３０】
以下の説明では、エンコーダがマクロブロックベースで動き補償予測を実行するものと仮定する。すなわち、マクロブロックは、動き情報と関連づけることが可能なビデオフレームの最小要素である。当該マクロブロックの１６×１６個の輝度値との最もよい一致を示す参照フレームの輝度成分内の１６×１６個の値領域を特定することにより所定のマクロブロックに対する予測が行われるものとさらに仮定される。マクロブロックよりもさらに小さな要素と動き情報とを関連づけることができるビデオ符号化システムでの動き補償予測については後程、本明細書で考察する。
【００３１】
現フレームのマクロブロックに対する予測値を形成する第１のステップは動き推定ブロック１３０により実行される。動き推定ブロック１３０は、ライン１２８を介して符号化を行う対象フレームの現マクロブロックを形成する、輝度値と色差値とからなるブロックを受け取る。次いで、動き推定ブロック１３０はブロックマッチング処理を実行して、現マクロブロックと最もよく一致する参照フレーム内の領域の特定を図る。ブロックマッチング処理を実行するために、動き推定ブロック１３０はライン１２７を介してフレーム格納部１２０に格納された参照フレームデータにアクセスする。さらに詳しく言えば、動き推定ブロック１３０は、チェック中のマクロブロックと、フレーム格納部１２０に格納された参照フレームから得られるピクセルの最適マッチングの候補領域との間のピクセル値の差を表す差値（絶対差の和など）を計算することによりブロックマッチングを実行する。参照フレームの予め定義された探索領域内での全ての可能なオフセット値で候補領域に対する差値が生成され、動き推定ブロック１３０は最小の計算された差値を決定する。最小の差値をもたらす候補領域が最適マッチング領域として選択される。現マクロブロックと参照フレームとの中で特定された最適マッチング領域との間のオフセット値によって当該マクロブロックに対する“動きベクトル”が定義される。動きベクトルには一般に一対の数値が含まれ、一方の数値は現マクロブロックと参照フレームの最適マッチング領域との間の水平方向の（Δｘ）変位を記述し、他方の数値は垂直方向の変位（Δｙ）を表す。
【００３２】
動き推定ブロック１３０は、ひとたびマクロブロックに対する動きベクトルを生成すると、動きフィールド符号化ブロック１４０へ動きベクトルを出力する。動きフィールド符号化ブロック１４０は、１組の基底関数と動き係数とを含む動きモデルを用いる、動き推定ブロック１３０から受信した動きベクトルに近似する。さらに詳しく言えば、動きフィールド符号化ブロック１４０は、基底関数を乗じたときに動きベクトルの近似値を形成する１組の動き係数値として動きベクトルを表す。一般に、２つだけの動き係数と、基底関数とを有する並進運動モデルが用いられるが、さらに大きな複雑さを示す動きモデルの使用も可能である。
【００３３】
動き係数は動きフィールド符号化ブロック１４０から動き補償予測ブロック１５０へ渡される。動き補償予測ブロック１５０は動き推定ブロック１３０により特定されたピクセル値の最適マッチング領域もフレーム格納部１２０から受け取る。動きフィールド符号化ブロック１４０により生成される動きベクトルの近似表示と、参照フレームから得られる最適マッチングピクセル領域のピクセル値とを用いて、動き補償予測ブロック１５０は、現マクロブロックの個々のブロックに対する予測ピクセル値のアレイを生成する。予測ピクセル値の個々のブロックはコンバイナ１１６へ渡され、このコンバイナ１１６で、現マクロブロックの対応するブロックにおける実際の（入力）ピクセル値から予測ピクセル値が減算される。このようにしてマクロブロックに関連する１組の予測誤差ブロックが得られる。
【００３４】
図２に図示のビデオデコーダ２００の作動について以下説明する。デコーダ２００は、エンコーダ１００から符号化済みビデオビットストリーム１３５を受け取り、ビデオビットストリーム１３５を多重分離してその構成部の中へ入れるビデオマルチプレクスデコーダ２７０と、逆量子化器２１０と、逆ＤＣＴ変換装置２２０と、動き補償予測ブロック２４０と、フレーム格納部２５０と、コンバイナ２３０と、コントロールマネージャ２６０と、出力部２８０とを備える。
【００３５】
コントロールマネージャ２６０は、イントラ符号化済みフレームとインター符号化済みフレームのいずれが復号化されているかに応答してデコーダ２００の作動を制御する。イントラ／インタートリガ制御信号は、復号化モード間でのデコーダの切り替えを生じさせる制御信号であるが、この制御信号は、例えば、エンコーダから受信した個々の圧縮済みビデオフレームと関連づけられるピクチャ種別情報から導き出される信号である。イントラ／インタートリガ制御信号はビデオマルチプレクスデコーダ２７０により符号化済みビデオビットストリームから取り出され、制御ライン２１５を介してコントロールマネージャ２６０へ渡される。
【００３６】
イントラ符号化済みフレームの復号化はマクロブロック毎のベースで実行され、個々のマクロブロックに関する符号化済み情報がビデオビットストリーム１３５で受信されるのとほぼ同時に個々のマクロブロックの復号化が行われる。ビデオマルチプレクスデコーダ２７０は、マクロブロックのブロックに関連する符号化情報を当該マクロブロックに関する可能な制御情報から分離する。イントラ符号化済みマクロブロックの個々のブロックに関連する符号化済み情報には、ブロックの非ゼロ量子化ＤＣＴ係数に関連するエントロ符号化レベル値と実行値とを表す可変長コードワードが含まれる。ビデオマルチプレクスデコーダ２７０は、エンコーダ１００で使用される符号化方法に対応する可変長復号化法を用いて上記可変長コードワードを復号化し、それによって、レベル値と実行値とを回復する。次いで、ビデオマルチプレクスデコーダ２７０は、マクロブロックの個々のブロックに関連する量子化変換係数値のアレイを再構成し、これらの量子化変換係数値を逆量子化器２１０へ渡す。マクロブロックに関するいずれの制御情報も適正な復号化方法を用いてビデオマルチプレクスデコーダ２７０で復号化され、コントロールマネージャ２６０へ渡される。特に、変換係数に印加される量子化レベルに関する情報は、ビデオマルチプレクスデコーダ２７０により符号化済みビットストリームから取り出され、制御ライン２１７を介してコントロールマネージャ２６０へ出力される。次いで、コントロールマネージャは、制御ライン２１８を介してこの情報を逆量子化器２１０へ送信する。逆量子化器２１０は、マクロブロックの個々のブロックに関連する量子化済みＤＣＴ係数を制御情報に基づいて逆量子化し、今度は逆量子化ＤＣＴ係数を逆ＤＣＴ変換装置２２０へ出力する。
【００３７】
逆ＤＣＴ変換装置２２０は、マクロブロックの個々のブロックに関連する逆量子化ＤＣＴ係数に対して逆ＤＣＴ変換を実行して、再構成済みピクセル値画像情報を含む復号化済みブロックを形成する。マクロブロックの個々のブロックに関連する再構成済みピクセル値は、コンバイナ２３０を介してデコーダのビデオ出力部２８０へ渡され、このビデオ出力部２８０で、例えば、上記ピクセル値を表示装置（図示せず）へ出力することができる。個々のブロックに関連する上記再構成済みピクセル値はフレーム格納部２５０に格納される。イントラ符号化済みマクロブロックの符号化／復号化の際に動き補償予測は利用されないため、コントロールマネージャ２６０はコンバイナ２３０を制御してピクセル値の個々のブロックをそのままビデオ出力部２８０とフレーム格納部２５０とへ渡す。イントラ符号化済みフレームの後続するマクロブロックが復号化され、格納されるにつれて、復号化済みフレームがフレーム格納部２５０に漸次組み立てられる結果、この復号化済みフレームはその後受信したインター符号化済みフレームの復号化と関連する動き補償予測用参照フレームとして利用できるようになる。
【００３８】
インター符号化済みフレームがマクロブロック毎に復号化され、個々のマクロブロックに関する符号化済み情報がビットストリーム１３５に受信されるのとほぼ同時に個々のマクロブロックは復号化される。ビデオマルチプレクスデコーダ２７０は、符号化済み動きベクトル情報およびマクロブロックに関する可能な制御情報から、当該インター符号化済みマクロブロックの個々のブロックに関連する符号化済み予測誤差情報を分離する。上記で説明したように、マクロブロックの個々のブロックに関連する符号化済み予測誤差情報には、当該予測誤差ブロックの非ゼロ量子化変換係数に関連するエントロ符号化レベル値と実行値とを表す可変長コードワードが含まれる。ビデオマルチプレクスデコーダ２７０は、エンコーダ１００で使用される符号化方法に対応する可変長復号化法を用いて上記可変長コードワードを復号化し、それによって、レベル値と実行値とを回復する。次いで、ビデオマルチプレクスデコーダ２７０は、個々の予測誤差ブロックに関連する量子化変換係数値のアレイを再構成し、これらの量子化変換係数値を逆量子化器２１０へ渡す。インター符号化済みマクロブロックに関する制御情報が適正な復号化方法を用いてビデオマルチプレクスデコーダ２７０で復号化され、コントロールマネージャ２６０へ渡される。予測誤差ブロックの変換係数に印加される量子化レベルに関する情報は、符号化済みビットストリームから取り出され、制御ライン２１７を介してコントロールマネージャ２６０へ出力される。次いで、コントロールマネージャは、制御ライン２１８を介して逆量子化器２１０へこの情報を送信する。逆量子化器２１０は、マクロブロックの個々のブロックに関連する予測誤差情報を表す量子化済みＤＣＴ係数を制御情報に基づいて逆量子化し、今度は逆量子化ＤＣＴ係数を逆ＤＣＴ変換装置２２０へ出力する。次いで、個々のブロックに関連する予測誤差情報を表す逆量子化ＤＣＴ係数が逆ＤＣＴ変換装置２２０で逆変換され、マクロブロックの個々のブロックに関連する再構成済み予測誤差値のアレイが産み出される。
【００３９】
マクロブロックと関連づけられた符号化済み動きベクトル情報はビデオマルチプレクスデコーダ２７０により符号化済みビデオビットストリーム１３５から取り出され、復号化される。このようにして得られた復号化済み動きベクトル情報は制御ライン２２５を介して動き補償予測ブロック２４０へ渡され、動き補償予測ブロック２４０は、エンコーダ１００でインター符号化済みマクロブロックの符号化に用いる動きモデルと同じ動きモデルを用いて、マクロブロックに関連する動きベクトルの再構成を行う。この再構成済み動きベクトルは、エンコーダの動き推定ブロック１３０により当初定められた動きベクトルに近似する。デコーダの動き補償予測ブロック２４０は、上記再構成済み動きベクトルを用いて、フレーム格納部２５０に格納された予測参照フレームの再構成済みピクセル領域の位置を特定する。上記参照フレームは、例えば、前に復号化された、イントラ符号化済みフレームであってもよいし、あるいは、前に復号化された、インター符号化済みフレームであってもよい。いずれの場合にせよ、再構成済み動きベクトルにより指示されるピクセル領域を利用して当該マクロブロックに対する予測値が形成される。さらに詳しく言えば、動き補償予測ブロック２４０は、動きベクトルが特定するピクセル領域から対応するピクセル値をコピーすることにより、マクロブロックの個々のブロックに関連するピクセル値からなるアレイを形成する。参照フレームから導き出されたピクセル値のブロックである予測値は、動き補償予測ブロック２４０からコンバイナ２３０へ渡され、コンバイナ２３０で復号化済み予測誤差情報と組み合わされる。実際には、個々の予測済みブロックのピクセル値が、逆ＤＣＴ変換装置２２０により出力された対応する再構成済み予測誤差値に追加される。このようにして、マクロブロックの個々のブロックに関連する再構成済みピクセル値のアレイが得られる。上記再構成済みピクセル値はデコーダのビデオ出力部２８０へ渡され、やはりフレーム格納部２５０に格納される。イントラ符号化済みフレームの後続するマクロブロックが復号化され、格納されるにつれて、復号化済みフレームがフレーム格納部２５０に漸次組み立てられ結果、この復号化済みフレームは、その後受信したインター符号化済みフレームの復号化と関連する動き補償予測用参照フレームとして利用できるようになる。
【００４０】
以上説明したように、一般的なビデオ符号化システムでは、マクロブロックが、動き情報との関連づけを行うことができるビデオフレームの最小要素となるように、マクロブロックベースで動き補償予測が実行される。しかし、ＩＳＯ／ＩＥＣ  ＭＰＥＧ（動画像専門家グループ）のジョイント・ビデオ・チーム（ＪＶＴ）並びにＩＴＵ−Ｔ  ＶＣＥＧ（ビデオ符号化専門家グループ）により現在開発されているビデオ符号化勧告は、マクロブロックよりもさらに小さな要素と動き情報とを関連づけることを可能にするものである。以下の説明では、および、本テキストの残り部分を通じてずっとＴ．  Ｗｅｉｇｌａｎｄ著文献“ジョイント・モデルＮｏ１”、Ｄｏｃ.ＪＶＴ-Ａ００３（ＩＳＯ／ＩＥＣのジョイント・ビデオ・チーム（ＪＶＴ）ＭＰＥＧ並びにＶＣＥＧ  ＩＴＵ−Ｔ（２００２年１月））に記載の上記ビデオ符号化規格バージョンについて言及する。前記文献は本願明細書でその全体が参照文献として含まれている。説明を簡略にするために、上記勧告のこのバージョンをＪＶＤコーデックＪＭ１”と呼ぶことにする。
【００４１】
ＪＶＤコーデックＪＭ１によれば、ビデオ映像は１６×１６ピクセルのマクロブロックに分画され、マクロブロック毎のベースで符号化される。実行される符号化は図１と図２の一般的なビデオエンコーダとデコーダとに関連して上述した基本原理に従うものとする。しかし、ＪＭ１によれば、インター符号化済みマクロブロックの動き補償予測は前述の方法とは異なる方法で実行される。さらに詳しく言えば、マクロブロックの各々には、マクロブロックの特性並びにビデオシーケンスにおける動き特性に応じてそれぞれ符号化モード”が割り当てられる。符号化モードのうちの７つのモードは、複数のサブブロックにインター符号化を行うマクロブロックの分画に基づくものであり、上記サブブロックの個々は、Ｎ×Ｍ個のピクセルを含み、動き情報をマクロブロック全体としてではなくＮ×Ｍ個のサブブロックの各々と関連づける。ＪＶＴビデオコーデックＪＭ１が提示する、マクロブロックをＮ×Ｍ個のサブブロックに分画する可能な方式の各々が添付図面の図４に例示されている。図から解るように、生成可能な分画は１６×１６、８×１６、１６×８、８×８、４×８、８×４、４×４である。したがって、ある特別のマクロブロックに割り当てられた符号化モードが、例えば、１６×８モードであった場合、マクロブロックはそれぞれがサイズ１６×８のピクセルからなる２つのサブブロックに分画され、双方のサブブロックにはそれ自身の動き情報が与えられる。さらに、ＳＫＩＰ（またはスキップ）モードとして公知の第８の符号化モードが提供される。このモードがマクロブロックに割り当てられた場合、それは動き補償予測を利用せずに参照ビデオフレームからマクロブロックをコピーすることを示す。
【００４２】
所定のマクロブロックに対する符号化モードの選択に関連する決定は動き予測処理の一部として一般に行われる。さらに詳しく言えば、図１に例示のようなビデオエンコーダであって、ＪＶＤコーデックＪＭ１に準拠する各種符号化モードを利用できるように実装されたビデオエンコーダにおいて、動き推定ブロック１３０が実行する動き予測処理が、Ｎ×Ｍ個のサブブロックへのマクロブロックの個々の可能な分画に関連して、また、スキップモードに関連して繰り返される。スキップモードに関連する動き予測は非常に単純な予測である。というのは、動きの探索が必要ではなく、定数のゼロ値ベクトルがこのモード用として割り当てられるからである。インターモードの残りについては、一般に、マクロブロック内部の個々の動きブロックに対するブロックマッチング処理の実行による動き予測が行われる。これらの処理後、一定のコスト関数を最小化するモードがマクロブロックに関連して選択される。コスト関数とは一般にマクロブロックの符号化に必要な予測ビット数と予測誤差とを組み合わせた関数であり、したがって、個々の符号化モードの相対的効率を評価するものである。
【００４３】
ＪＶＤコーデックＪＭ１に準拠して作動するビデオエンコーダがインター符号化済みの個々のマクロブロックに特別の符号化モードを割り当てていることに起因して、対応するビデオデコーダは、当該マクロブロックに関する受信情報を正しく復号化するために、当該符号化モードを認知している必要がある。したがって、個々のマクロブロックに対する割り当て済みの符号化モードの指示は、ビデオエンコーダからビデオデコーダへ伝送されるビデオビットストリームの形で提供される。符号化モードの指示に必要なデータ量を最小化するために、個々のマクロブロック用の符号化モードは可変長符号化を用いて指示される。符号化モードを指示するコードワードは、統計的に発生する可能性が最も大きい符号化モードを最短コードワードを用いて表すように割り当てられる。ＪＶＤコーデックＪＭ１は、単一セットのいわゆる“ユニバ−サル可変長コード”（ＵＶＬＣ）を用いてすべてのシンタックス（データ）要素をビデオビットストリームで表すものであるため、このセットのコードワードを用いてインター符号化されるマクロブロック用符号化モード情報が表される。ＪＭ１で使用されるＵＶＬＣコードワードは下記の表１に示す以下の圧縮された形式で書き込むことができる。この表で×ｎの項は０または１のいずれかの値をとることを表す：
表１：
ＪＶＤコーデックＪＭ１に基づくＵＶＬＣコードワードの生成方式
１
０     ｘ0    １
０     ｘ1    ０     ｘ0    １
０     ｘ2    ０     ｘ1    ０     ｘ0    １
０     ｘ3    ０     ｘ2    ０     ｘ1    ０     ｘ0    １
．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．
【００４４】
【表１】
0004611640.tif 000002
【００４５】
ＪＶＤコーデックＪＭ１では、スキップモードがマクロブロック用として統計的に最も予想される符号化モードであると仮定されている。非ＳＫＩＰモードを持つ次のマクロブロックの前にあるスキップモードのマクロブロックの数が上記表２を用いて単一のＵＶＬＣコードワードにより指示されている。残りの符号化モードは下記の表３に図示のようにＵＶＬＣコードワードにより表される：
コードワードインデックス      モード ＵＶＬＣコードワード
-      スキップ       符号化済みラン・レングス
０     １６×１６     １
１     １６×８       ００１
２     ８×１６       ０１１
３     ８×８ ００００１
４     ８×４ ０００１１
５     ４×８ ０１００１
６     ４×４ ０１０１１
表３：ＪＭ１のマクロブロック符号化モード
【００４６】
前述したように、上記表のＮ×Ｍモードは動きブロックのサイズを示すモードである。
【００４７】
ＪＶＤコーデックＪＭ１で採用されたアプローチに関する問題点としてスキップモードが常に最も蓋然性の高いモードであるという仮説は妥当ではないという点が挙げられる。ビデオシーケンスにグローバルな動き（パニング、ズーミングなど）が含まれる場合、スキップモードは実際には決して使用されることはない。上記ケースでは、圧縮効率が特に低位のビットレートで大きく低下する。というのは、コーデックが高いオーバヘッドのマクロブロック符号化モードを用いざるを得ないからである。
【００４８】
グローバルな動きが存在する際に動き補償予測の符号化効率の改善を図るための従来技術による２つの解決方法が公知である。これら２つの解決方法のうちの第１の方法は、例えば、ＩＳＯ  ＭＰＥＧ-４およびＩＴＵ−Ｔ  Ｈ.２６３＋ビデオ符号化規格で“グローバルな動き補償”として公知である。第２の方法は、Ｓｈｉｊｕｎ  ＳｕｎとＳｈａｗｍｉｎ  Ｌｅｉ著“グローバルな動きベクトル符号化”という名称の文献（ＶＣＥＧ-０２０文献、ＩＴＵ−Ｔビデオ符号化専門家グループ（ＶＣＥＧ）会議、パッタヤ（Ｐａｔｔａｙａ）、タイ国、２００１年１２月４日〜７日）に記載の方法である。上記文献は参照文献として本願明細書に含まれている。これらの２つの方法の基本概念について次に説明する。
【００４９】
添付資料Ｐ、国際電気通信連合ＩＴＵ−Ｔ勧告Ｈ.２６３“低ビットレート通信用ビデオ符号化”（１９９８年２月）の“参照ピクチャの再サンプリング”に記載のように、グローバルな動き補償の背後にある着想として、グローバルな動きの影響をキャンセルする動き補償用参照フレームの生成という着想がある。この動き補償用参照フレームを生成するためには、参照フレームをワープさせてさらに使用可能な形に変えるデコーダ内での複雑な処理が必要となる。さらに、補足情報をデコーダへ送って、グローバルな動き補償を行うための新たな参照フレームの組み立てを案内する必要がある。さらに詳しく言えば、Ｈ.２６３ビデオ符号化規格で採用されているグローバルな動き補償方式では、現ピクチャの動き補償予測で使用する参照フレームのワープさせたバージョンを生成する再サンプリング処理が用いられている。このワープさせたバージョンの参照フレームは、現ピクチャと関連する、形状、サイズおよび位置の変更を含むものであってもよい。この再サンプリング処理は現ピクチャの４つのコーナーと参照フレームの対応する４つのコーナーとの間のマッピングとして定義される。現ピクチャの輝度成分が水平方向サイズＨと垂直方向サイズＶとを有すると仮定すると、４つの概念的動きベクトルと、現ピクチャの４つのコーナーのうちの１つコーナーを移動させる方法を記述する個々の概念的動きベクトルとを定義して参照フレームの対応するコーナー上へこの１つのコーナーを対応づけるようにすることにより上記マッピングは実行される。この処理が図５に例示されている。次いで、ワープさせた参照フレームと関連するブロックマッチングを用いて現ピクチャのマクロブロックに関連する動き補償予測が実行される。これによってブロックマッチング処理が複雑なものとなる。というのはブロックマッチング処理時に用いるワープさせた参照フレームの個々のピクセルの値を（ワープされていない）原参照フレーム内のピクセル値の対応付けにより生成して、ワープさせた参照フレームの縦座標に変換する必要があるからである。この変換は双一次補間を利用して行われるが、この双一次補間は計算上集中的な演算となる。ワープさせた参照フレームのピクセル値の生成に用いられる双一次補間処理のさらなる詳細についてはＨ.２６３ビデオ符号化規格の添付資料Ｐを参照されたい。
【００５０】
上述の文献ＶＣＥＧ-０２０に記載のように、グローバルな動きベクトル符号化はグローバルな動き補償を単純化したバージョンである。参照フレームはこのように利用されるが、補足情報はグローバルな動きを記述するために伝送され、追加のマクロブロックモードを用いて、グローバルな動きベクトルの利用時期が指示される。このアプローチは、いま述べたグローバルな動き補償法に比べて複雑さは少ないが、このアプローチと関連する追加エンコーダの複雑さが生じる。すなわち、エンコーダは割り増しの動き予測処理を実行してグローバルな動きパラメータを見つける必要がある。さらに、さらに多くのマクロブロックモードを評価して、最適のマクロブロックモードを見つけ出す必要がある。さらに、伝送する必要がある割り増しのグローバルな動き情報の量が低分解能ビデオ用としては大きなものとなる。
【００５１】
上記の解説に照らして考えると、カメラの並進運動やパニングやズーミングなどのグローバルな動きが存在する際に、デジタルビデオシーケンスの符号化に関連する重要な未解決の技術上の問題が存在すると理解すべきである。特に、前述した３つの従来技術によるビデオ符号化の解決方法の各々には、何らかの形の技術的欠点がある。例えば、ＪＶＤコーデックＪＭ１にはビデオシーケンス内のグローバルな動きについて配慮する特別の措置は講じられていない。したがって、このような動きが存在するとき、この動きに起因して、動きを明示的にモデル化するマクロブロック符号化モードがビデオエンコーダにより選択されることになる。これは符号化効率の著しい低下につながることになる。というのは、すべてのインター符号化済みマクロブロック（またはサブブロック）でグローバルな動き成分の符号化が行われるからである。（Ｈ.２６３ビデオ符号化規格の添付資料Ｐにより提供されるような）グローバルな動き補償手法は、動き補償予測時に使用する参照フレームのワープによりグローバルな動きを考慮するものであるため、グローバルな動きを符号化する特別の方策がとられていないシステムと比べると改善された符号化効率を提供するものである。しかし、ワープ処理は計算が複雑であり、符号化済みビデオビットストリームで補足情報を伝送して、ビデオシーケンスの正しい復号化を可能にする必要がある。グローバルな動きベクトル符号化の関連する手法は、グローバルな動き補償よりも計算上の要求の厳しさは少ないものの、エンコーダの複雑さの増加が一定程度伴うものとなり、ビデオデータの正しい復号化を可能にするためには、ビデオビットストリームで補足情報をさらに伝送する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【００５２】
したがって、ローカルな動き補償の単純さをグローバルな動き補償の符号化効率と組み合わせて、大幅に改善された圧縮パフォーマンスと、無視できる複雑さの増加の上昇とを備えたビデオ符号化システムを提供することが本発明の１つの目的である。
【課題を解決するための手段】
【００５３】
従来技術によるビデオ符号化システムにおけるグローバルな動きの符号化と関連する問題点を解決するために、あるいは、少なくともこれらの問題点を大幅に軽減するために、本発明はＪＶＤコーデックＪＭ１で用いられているスキップモード概念の再定義をベースとする。本発明による方法は、グローバルな動き（すなわちビデオフレーム領域全体に影響を与える動き）が存在する際の符号化効率の改善を提供するだけでなく、局部的動きを効率的に表すことも可能にするものである。
【００５４】
本発明によれば、スキップモードに割り当てられたマクロブロックが、ゼロ（非アクティブ）の動きベクトルと関連づけられる（マクロブロックは従来方式のスキップモードマクロブロックと同じ方法で処理され、参照フレームから直接コピーされる）か、あるいは、非ゼロ（アクティブ）の動きベクトルと関連づけられるかのいずれかとなるようにスキップモード概念の再定義が行われる。符号化の対象マクロブロックを囲繞する領域の別のマクロブロックまたはサブブロックの動きを解析することにより、マクロブロックをゼロまたは非ゼロの動きベクトルのいずれと関連づけるべきかに関する決定が行われる。上記囲繞領域が或る一定タイプの動きを示すことが判明した場合、当該動きを表す非ゼロの動きベクトルが生成され、次いで現マクロブロックと関連づけられる。特に、囲繞するマクロブロックまたはサブブロックにおける動きの継続性、速度、あるいは偏りの解析を行うことが可能である。例えば、囲繞領域内の動きが、一定レベルの継続性、通常の一定速度、あるいは特別の分岐形態を示す場合、符号化対象の現マクロブロックに当該動きを表す動きベクトルを割り当てることが可能となる。一方、現マクロブロックの囲繞領域がこのような継続性、通常の速度あるいは分岐を示さず、重要でない動きレベルを有する場合、符号化対象のマクロブロックにはゼロの動きベクトルが割り当てられ、あたかも従来方式のＳＫＩＰモードマクロブロックであるかのように上記マクロブロックを参照フレームから直接コピーさせる。このようにして、本発明によれば、ＳＫＩＰモードマクロブロックをマクロブロックの囲繞領域内の動きに適合させることが可能となり、グローバルな動きやローカルな動きの効率的考慮が可能となる。
【００５５】
本発明の好適な実施形態では、動き解析の対象とする囲繞マクロブロックやサブブロックは符号化対象マクロブロックに隣接する、以前符号化済みのマクロブロックである。これによって、現マクロブロックが符号化（復号化）されているとき、マクロブロックの囲繞領域に関する動き情報がエンコーダ（デコーダ）で利用可能となり、この動き情報を利用して、現マクロブロックに割り当てるべき動きベクトルを直ちに決定することが可能となることが保証される。このアプローチによってエンコーダで囲繞領域の動き解析を実行して、デコーダで囲繞領域の正確な複製をつくることが可能となる。次いで、これによって、本発明によれば、グローバルな動きやローカルな動きのモデル化を行うためにデコーダへ補足情報を送信する必要がなくなることを意味する。
【００５６】
以下に示す本発明の詳細な説明から明らかになるように、本発明が提案するようなスキップモード概念の再定義は前述した従来技術によるビデオ符号化法と比べて著しい技術的利点を有するものとなる。特に、本発明による方法によって、参照フレームの複雑なワープやその他計算上の要求が厳しい演算を必要とせずに、ビデオシーケンス内のグローバルな動きとローカルな動きとの効率的考慮が可能となる。さらに、前述したグローバルな動き補償法とグローバルな動きベクトル符号化法の双方の方法とは対照的に、ビデオビットストリームで補足情報を伝送して、ビデオデータを正しく復号化できるようにする必要がなくなる。加えて、スキップモードマクロブロックというコンセプトを採用している既存のビデオ符号化システムの中へ本発明による方法を組み込むのに最小限の修正しか必要としない。
【００５７】
本発明の実施形態の上記特徴、その他の特徴、態様および利点は添付図面と共に以下の詳細な説明を参照することにより明らかになる。しかしながら、これらの図面は例示を目的として設計されたものであり、本発明を限定するための定義として設計されたものではないことを理解されたい。
【発明を実施するための最良の形態】
【００５８】
図６〜図１０を特に参照しながら、本発明の例示の実施形態について以下詳細に説明する。
【００５９】
本発明によれば、ビデオ符号化システムにおけるスキップ（ＳＫＩＰ）モードマクロブロックは囲繞する画像セグメントの動きに適合する。アクティブな動きが符号化／復号化対象のマクロブロックの周辺で検出された場合、その動きに一致する動きパラメータが生成され、マクロブロックの動き補償が行われる。これによって、エンコーダからデコーダへの補足情報の伝送を行う必要がなくなる。
【００６０】
図６は、本発明の実施形態に基づいて実現されるビデオエンコーダ６００の概略ブロック図である。デジタルビデオシーケンスのフレームを符号化するとき、エンコーダ６００は図１の従来技術によるビデオエンコーダに関連して前述した方法と同様の方法で作動して、イントラ符号化並びにインター符号化により圧縮されたビデオフレームが生成される。図６に図示のビデオエンコーダの構造は図１に図示の従来技術によるビデオエンコーダの構造とほぼ同一であるが、本発明によるビデオ符号化方法を実現するのに必要な動き予測部分に対する適切な修正が施されている。前述した従来技術によるビデオエンコーダと同一の方法で機能を実現し、作動するビデオエンコーダのすべての部分は同一の参照番号により特定される。
【００６１】
本発明は、インター符号化フォーマットでのビデオフレームの符号化に関し、特に、インター符号化処理の一部として実行される動き補償予測の細部に関するものであるため、イントラ符号化モードでのエンコーダ６００についての説明は省略し、以下のセクションではインター符号化モードでのエンコーダにより実行される処理に集中することにする。
【００６２】
インター符号化モードでは、ビデオエンコーダのコントロールマネージャ１６０はスイッチ１０２を作動させ、ライン１１７からスイッチ１０２の入力信号を受け取る。この入力信号にはコンバイナ１１６の出力信号が含まれる。コンバイナ１１６は入力部１０１からマクロブロック毎にビデオ入力信号を受け取る。コンバイナ１１６は、マクロブロックを形成する輝度値と色差値とからなるブロックを受け取ると、当該ブロックとその予測値との間の誤差を表す予測誤差情報であって、動き補償予測ブロック６５０で形成される予測誤差情報からなる対応するブロックを形成する。
【００６３】
マクロブロックの個々のブロックに関連する予測誤差情報はＤＣＴ変換ブロック１０４へ渡され、ＤＣＴ変換ブロック１０４は予測誤差値からなる個々のブロックに対して２次元離散余弦変換を実行して、個々のブロックに関連する２次元配列のＤＣＴ変換係数が形成される。これらのＤＣＴ変換係数は量子化装置１０６へ渡され、この量子化装置で量子化パラメータＱＰを用いてＤＣＴ変換係数の量子化が行われる。量子化パラメータＱＰの選択は制御ライン１１５を介してコントロールマネージャ１６０により制御される。
【００６４】
マクロブロックの個々のブロックに関連する予測誤差情報を表す量子化済みＤＣＴ係数は、次いで、ライン１２５を介して量子化装置１０６からビデオマルチプレクスコーダ１７０へ渡される。ビデオマルチプレクスコーダ１７０は、ジグザグ状のスキャニング処理手順を用いて個々の予測誤差ブロックに関連する変換係数をソートし、個々の非ゼロ値量子化係数を実行値−レベル値対として表し、エントロピ符号化を用いて上記実行値−レベル値対の圧縮を行う。ビデオマルチプレクスコーダ１７０はまたライン１２６を介して動きフィールド符号化ブロック６４０から動きベクトル情報を受け取り、さらに、コントロールマネージャ１６０から制御情報を受け取る。ビデオマルチプレクスコーダ１７０は、動きベクトル情報と制御情報のエントロピ符号化を行い、符号化済み画像情報の単一ビットストリームを形成し、１３５はエントロピ符号化を施した動きベクトルと、予測誤差と、制御情報とを含む。
【００６５】
マクロブロックの個々のブロックに関連する予測誤差情報を表す量子化済みＤＣＴ係数は、量子化装置１０６から逆量子化器１０８へも渡される。ここでＤＣＴ係数は逆量子化され、結果として生じる逆量子化ＤＣＴ係数ブロックがＤＣＴ逆変換ブロック１１０に印加され、この逆変換ブロックでＤＣＴ係数はＤＣＴ逆変換を受け、予測誤差値からなるローカルに復号化されたブロックが形成される。次いで、予測誤差値からなるローカルに復号化されたこれらのブロックはコンバイナ１１２に入力される。インター符号化モードでは、スイッチ１１４は、コンバイナ１１２がマクロブロックの個々のブロックに関連する予測ピクセル値であって、動き補償予測ブロック６５０により生成される予測ピクセル値をやはり受け取るように設定される。コンバイナ１１２は、予測誤差値のローカルに復号化されたブロックの各々を予測ピクセル値の対応するブロックと組み合わせ、再構成された画像ブロックを生成し、これらの画像ブロックをフレーム格納部１２０内に格納する。
【００６６】
ビデオ信号の後続するマクロブロックをビデオソースから受け取り、次いで、ブロック１０４、１０６、１０８、１１０、１１２で前述した符号化およびローカルな復号化ステップを経て、フレームの復号化バージョンがフレーム格納部１２０に組み立てられる。フレームの最期のマクロブロックが処理されたとき、フレーム格納部１２０には、インター符号化フォーマットで後程受信されるビデオフレームの符号化時に動き予測参照フレームとして利用できる完全に復号化されたフレームが含まれることになる。
【００６７】
ビデオエンコーダ６００により実行される動き補償予測の詳細について以下詳細に説明する。
【００６８】
エンコーダ６００は、前述したＪＶＤコーデックと同様の方法で動き補償予測を実行する。言い換えれば、エンコーダ６００は、マクロブロックの特徴に応じて個々のインター符号化マクロブロックに符号化モードを割り当てるように適合される。またビデオシーケンス内の動きの符号化も行われる。どの符号化モードを特定のマクロブロックに割り当てるかをチェックする際、動き推定ブロック６３０は個々の符号化モードに関連する動き予測処理を順次実行する。動き推定ブロック６３０は、ライン１２８を介して動き予測で使用する符号化対象マクロブロックを形成する、輝度値と色差値とからなるブロックを受け取る（６図を参照）。次いで、動き推定ブロック６３０は可能な符号化モードの各々を次々に選択し、最もよい一致を特定するために、選択した符号化モードと、符号化対象のマクロブロックのピクセル値とに基づいて参照フレーム内のマクロブロックに関連する動き予測を実行する（最適の一致は符号化モードに応じてピクセル値の１または２以上の最適マッチング領域を含むものとなる）。最適の一致は、例えば、検査中のマクロブロック内のピクセル値間の絶対差の和の線形結合、参照フレーム内での最適一致領域、モードを符号化し、動きベクトルを表すのに必要な予測ビット数などのコスト値全体と関連づけられる。ひとたび個々の符号化モードに対する最適の一致が得られると、動き推定ブロック６３０は現マクロブロックに関連する符号化モードとして全体的最小コスト値をもたらす当該符号化モードを選択する。
【００６９】
本発明によれば、エンコーダ６００により用いられる符号化モードは、グローバルな動き表示とローカルな動き表示とが可能となるようにＳＫＩＰモードが再定義されることを除いて、（表３に図示の）ＪＶＤコーデックＪＭ１により示される符号化モードに対応する。さらに詳しく言えば、ＳＫＩＰモードは、当該マクロブロックを囲繞する画像セグメント内の動きの特徴に応じて、ゼロ（非アクティブ）動きベクトルまたは非ゼロ（アクティブ）動きベクトルが個々のスキップモードマクロブロックと関連づけられるように修正される。以下では、このタイプの動きベクトルを“スキップモード動きベクトル”と呼ぶことにする。
【００７０】
個々の符号化モードに対して順次実行される前述した動き予測処理の一部としてスキップモードをチェックするとき、エンコーダは、ゼロスキップモード動きベクトルと非ゼロスキップモード動きベクトルとのうちいずれが用いられているかをまず判定する。この判定を行うために、エンコーダは、符号化対象マクロブロックを囲繞する画像セグメント（マクロブロックおよび／またはサブブロックなど）の動きを解析するように構成される。上記囲繞領域が或る一定タイプの動きを示す（例えば、グローバルな動きやローカルな動きを示す特徴を有する）ことがエンコーダにより判定された場合、エンコーダはその動きを表す非ゼロ値スキップモード動きベクトルを生成する。一方、現マクロブロックの囲繞領域はグローバルな動きやローカルな動きを示していないが、代わりに重要でない動きレベルを含んでいるとエンコーダが判定した場合、エンコーダはゼロ値スキップモード動きベクトルを生成する。言い換えれば、現マクロブロックの囲繞領域での動きがグローバルな特徴を有するとエンコーダが判定した場合、スキップモード符号化は（この動きを表す関連する非ゼロ値スキップモード動きベクトルを生成することにより）上記特徴を考慮するように適合される。或いは、上記のような動きが存在しない場合、ゼロ値動きベクトルが生成され、本発明により修正されるようなスキップモードを通常の方法で作動させる。すなわちゼロ値スキップモード動きベクトルによってマクロブロックは参照フレームから直接コピーされる。
【００７１】
本発明に基づいて修正されるようなスキップモードを含む利用可能な符号化モードの各々に関連する動き予測処理を実行した後、エンコーダ６００はどの符号化モードが全体として最小コスト値をもたらすかを判定し、当該モードを当該マクロブロック用の符号化モードとして選択する。例えば、表３に示す組のコードワードから選択される可変長コードワードなどの最後に選択された符号化モードに対する指示がマクロブロックと関連づけられ、この指示はビデオビットストリーム６３５の中に含まれることになる。こうすることによって、対応するデコーダによりマクロブロック用符号化モードが特定され、動き補償予測の正しい形式を用いてマクロブロックの正確な再構成を行うことが可能となる。
【００７２】
ゼロ値スキップモード動きベクトルと、非ゼロ値スキップモード動きベクトルのいずれを用いるべきかを決定するための、符号化対象マクロブロックを囲繞する領域内での動き解析について、次に、添付図面の図８を参照しながらさらに詳細に考察する。図８は、スキップモード動きベクトルの生成と関連づけられる動き推定ブロック６３０の機能エレメントを示す図である。これらの機能エレメントには、動き情報メモリ８０１、周囲の動き解析ブロック８０２、アクティブな動きパラメータ生成ブロック８０３およびゼロの動きパラメータ生成ブロック８０４が含まれる。
【００７３】
ゼロ値スキップモード動きベクトルと、非ゼロ値スキップモード動きベクトルとのうちのいずれのベクトルを生成するかについての決定は周囲の動き解析ブロック８０２によって行われる。符号化対象マクロブロックを囲繞する予め定義された領域におけるマクロブロックやサブブロックの動きを所定の解析方式を用いて解析し、類別することにより上記決定は行われる。上記解析を実行するために、周囲の動き解析ブロック８０２は囲繞領域内におけるマクロブロックおよび／またはサブブロックに関する動き情報を動き情報メモリ８０１から検索する。実施構成の具体的な細部によって左右されるが、周囲の動き解析ブロックは、囲繞するマクロブロックまたはサブブロック内での動きの継続性、速度または偏りを解析するように構成することができる。例えば、囲繞領域内での動きが、或る一定レベルの継続性、（例えば図９に描かれているような）通常の一定速度、あるいは特別の分岐形態を示す場合、ある形式のグローバルな動きやローカルな動きの存在が示唆されている場合がある。その結果、周囲の動き解析ブロックは、“アクティブな動き”が囲繞領域に存在し、非ゼロ値スキップモード動きベクトルを用いることが望ましいと結論する。一方、現マクロブロックの囲繞領域がこのような継続性、通常の速度あるいは分岐を示さず、一般に重要でない動きレベルを含んでいる場合、周囲の動き解析ブロックは、“アクティブでない動き”が囲繞領域内に存在するため、ゼロ値スキップモード動きベクトルを使用すべきであると結論する。
【００７４】
図８に図示のように、囲繞領域における“アクティブな動き”の存在を検出した場合、周囲の動き解析ブロック解析ブロックはアクティブな動きパラメータ生成ブロック８０３へその趣旨の指示を送り、ブロック８０３は、囲繞領域内の動きを表す非ゼロ値スキップモード動きベクトルを形成する。これを行うために、アクティブな動きパラメータ生成ブロック８０３は、囲繞するマクロブロックおよび／またはサブブロックに関する動き情報を動き情報メモリ８０１から検索する。或いは、上記動き情報は周囲の動き解析ブロック８０２によりアクティブな動きパラメータ生成ブロックへ渡される場合もある。囲繞領域内における“アクティブでない動き”の存在を検出した場合、周囲の動き解析ブロックはゼロの動きパラメータ生成ブロック８０４へ対応する指示を送り、ブロック８０４はゼロ値スキップモード動きベクトルを形成する。
【００７５】
本発明の特に好適な実施形態では、周囲の動き解析ブロックが解析したマクロブロックまたはサブブロックの囲繞領域には、符号化対象マクロブロックに隣接する以前符号化済みのマクロブロックが含まれる（図９）。この場合、エンコーダで実行された囲繞領域内での動き解析と類別の正確な複製をデコーダで行うことができる。これは、本発明によれば、グローバルな動きやローカルな動きをモデル化するためにデコーダへ補足情報を送信する必要がないことを意味する。
【００７６】
本発明の別の実施形態では、予め符号化済みのマクロブロックの符号化モードを考慮して、ゼロ値または非ゼロ値スキップモードの動きベクトルの使用が図られる。例えば、周囲の動き解析ブロックが１または２以上の静止隣接マクロブロックの存在を検出した場合、ゼロ値スキップモード動きベクトルが使用される。
【００７７】
本発明の第１の好ましい実施形態では、周囲の動き解析ブロック８０２によって、マクロブロックの囲繞領域内での動きが以下の３ステップの処理手順に基づいて類別される。第１に、周囲の動き解析ブロックにより、符号化対象マクロブロックを囲繞するマクロブロックまたはサブブロック（すなわち図９に図示のような符号化対象マクロブロックに隣接する以前符号化済みのマクロブロック）に関連する動き情報の検索が行われ、マクロブロックに関連する動きベクトル予測中央値が生成される。動きベクトル予測中央値は、例えば、ＪＶＤコーデックＪＭ１に準拠する動きベクトル予測で用いられる中央値と同じ様に形成されるものである（Ｔ.  Ｗｅｉｇｌａｎｄ著“ジョイント・モデルＮｏ１”、Ｄｏｃ.ＪＶＴ-Ａ００３（ＩＳＯ／ＩＥＣのジョイント・ビデオ・チーム（ＪＶＴ）ＭＰＥＧ並びにＶＣＥＧ  ＩＴＵ−Ｔ（２００２年１月）を参照されたい）。次に、周囲の動き解析ブロックは、結果として得られる動きベクトル成分が、或るしきい値（例えばピクセルの１／２）よりも大きな絶対値を持つかどうかを判定する。この条件が満たされた場合、この動きは“アクティブな動き”として類別され、この条件が満たされなかった場合、“アクティブでない動き”として類別される。最終的に、上記類別の結果に応じて、周囲の動き解析ブロック８０２は、アクティブな動きパラメータ生成ブロック８０３あるいはゼロの動きパラメータ生成ブロック８０４のいずれかのブロックへ指示を送り、適切なスキップモード動きパラメータの生成を図る。
【００７８】
本発明の第１の好ましい実施形態に基づく周囲の動き解析ブロックは、２つの理由のために特に好都合である。第１に、ＪＶＤコーデックなどの一般的ビデオコーデックでは、中央値予測子を用いて正方形の画像ブロックの動きベクトルが予測される。第１の好ましい実施形態によれば、周囲の動き解析ブロックではこの同じ予測子とアクティブな動きパラメータ生成ブロックとを用いて、符号化対象マクロブロックを囲繞する領域内での動きが解析され、ＳＫＩＰモードマクロブロックに関連する動きパラメータが生成される。このようにして、ビデオコーデックの実施構成上の全体的複雑さによる影響を最小限にして本発明を実現することが可能となる。第２に、周囲の動き解析ブロック８０２が、中央値動きベクトルを生成し、解析することにより、囲繞領域内での動きが類別されることに起因して、アクティブな動きパラメータ生成ブロック８０３は、周囲の動き解析ブロック内にすでに生成されている中央値動きパラメータを動き補償ブロックへ単に渡すだけでよい。これによっても実施構成上の複雑さが最小限にとどめられる。というのは、追加の動きパラメータの生成が不要となるからである。
【００７９】
本発明の第２の好ましい実施形態では、周囲の動き解析ブロックによって、符号化対象マクロブロックの近傍における動きが解析され、“アクティブな動き”または“アクティブでない動き”のいずれかの動きとして上記動きの類別が行われる。“アクティブな動き”の場合には、アクティブな動きパラメータ生成ブロックが起動され、“アクティブでない動き”の場合にはゼロの動きパラメータ生成ブロックが起動される。本実施形態では、下記の２つの条件のいずれか一方あるいは双方が真であれば、“アクティブでない動き”のカテゴリへの類別が行われ、そうでなければ、動きは“アクティブな動き”として類別される。
【００８０】
条件１：考慮中のマクロブロックのすぐ上のマクロブロックまたは考慮中のマクロブロックのすぐ左側のマクロブロックが利用可能でない（すなわち、マクロブロックがピクチャの外に出ているか、異なるスライスに属している）。
【００８１】
条件２：１６×１６インターモードに関連する動きベクトル予測で用いられるマクロブロックのすぐ上のマクロブロックまたはブロック、あるいは、１６×１６インターモードに関連する動きベクトル予測で用いられるマクロブロックのすぐ左側のマクロブロックまたはブロックがゼロの動きベクトルを持ち、動き補償時に参照ブロックとして最新のピクチャを使用している。
【００８２】
本発明の実施形態に基づくビデオデコーダ７００の処理について以下図７を参照しながら説明する。図７に例示のビデオデコーダの構造は、図２に図示の従来技術によるビデオデコーダの構造とほぼ同一であるが、動き予測処理を実行するデコーダの当該部分に対して適切な修正が施されている。前述した従来技術によるビデオデコーダと同一の方法で機能を実現し、作動するビデオデコーダのすべての部分は同一の参照番号によって特定される。図７のビデオデコーダは、図６と関連して説明したエンコーダに対応するものであり、エンコーダ６００が伝送したビットストリーム６３５を受け取り、このビットストリーム６３５を復号化する能力を持つものであることがさらに仮定されている。さらに、本発明はインター符号化フォーマットのビデオフレームの復号化に影響を与えるため、イントラ符号化済みフレームの復号化に関連してデコーダ７００が実行する処理についての説明は省略する。
【００８３】
インター符号化済みフレームがマクロブロック毎に復号化され、個々のマクロブロックに関する符号化済み情報がビットストリーム６３５に受信されるのとほぼ同時に個々のマクロブロックの復号化が行われる。符号化モードに応じて、インター符号化マクロブロック用ビットストリームに含まれる圧縮済みビデオデータは、個々のブロックに関連するＶＬＣ符号化済み予測誤差情報の組み合わせと、マクロブロック（またはサブブロック）に関連する動きベクトル情報と、当該マクロブロックの符号化に利用する、符号化モードの指示を含む符号化済み制御情報とを含むものであってもよい。マクロブロックがスキップモードで符号化される場合、マクロブロックに関する予測誤差や動きベクトル情報がビットストリームの中に含まれることはない。
【００８４】
ビデオマルチプレクスデコーダ２７０は、ビデオビットストリーム６３５を受け取ると、存在する可能性があるいずれの符号化済み予測誤差および／または動きベクトル情報からもマクロブロックの符号化モードの指示を含む制御情報を分離する。
【００８５】
前に説明したように、予測誤差情報はエントロ符号化レベル値と実行値とを表す可変長コードワードとして符号化される。現マクロブロックに対して予測誤差情報が与えられた場合、ビデオマルチプレクスデコーダ２７０は、使用する符号化方法に対応する可変長復号化方式を用いて可変長コードワードの復号化を行うことにより上記レベル値と実行値とを回復する。次いで、ビデオマルチプレクスデコーダ２７０は、個々の予測誤差ブロックに関連する量子化済みＤＣＴ変換係数値からなるアレイを再構成し、逆量子化器２１０へこれらの値を渡す。この逆量子化器２１０で上記値は逆量子化される。次いで、逆量子化ＤＣＴ係数は逆ＤＣＴ変換装置２２０で逆変換されて、マクロブロックの個々のブロックに関連する再構成済み予測誤差値のアレイが生成される。
【００８６】
符号化モード指示と、マクロブロックと関連づけられた符号化済み動きベクトル情報（もし何か存在する場合）との双方は、ビデオマルチプレクスデコーダで復号化され、制御ライン２２５を介して動き補償予測ブロック７４０へ渡される。動き補償予測ブロック７４０は、符号化モード指示と動きベクトル情報（必要な場合）とを用いて、当該マクロブロックに対する予測値を形成する。さらに詳しく言えば、動き補償予測ブロック７４０は、参照フレーム内の１つのピクセル領域（または複数の領域）から対応するピクセル値をコピーすることにより、マクロブロックの個々のブロックに関連するピクセル値のアレイを形成する。参照フレームから導き出されるピクセル値のブロックである予測値は、動き補償予測ブロック７４０からコンバイナ２３０へ渡され、コンバイナ２３０でこれらの予測値は、復号化済み予測誤差情報（もし何か存在する場合）と組み合わされる。このようにして、マクロブロックの個々のブロックに関連する再構成済みピクセル値のアレイが得られる。
【００８７】
再構成済みピクセル値はデコーダのビデオ出力部２８０へ渡され、フレーム格納部２５０に格納される。したがって、インター符号化済みフレームの後続マクロブロックが復号化され、格納されるにつれて、フレーム格納部２５０内に復号化済みフレームが漸次組み立てられる結果、この復号化済みフレームは別のインター符号化済みフレームの動き補償予測に関連する参照フレームとして利用できるようになる。
【００８８】
本発明によれば、デコーダ７００の動き補償予測ブロック７４０は、動き情報メモリブロック８０１、周囲の動き解析ブロック８０２、アクティブな動きパラメータ生成ブロック８０３およびエンコーダ６００内に設けられたゼロの動きパラメータ生成ブロックに類似したゼロの動きパラメータ生成ブロック８０４を備える。これらの機能ブロックを利用して、スキップモードで符号化されたマクロブロックをゼロ値スキップモード動きベクトルと関連づけるべきか、非ゼロ値スキップモード動きベクトルと関連づけるべきかの判定が行われる。さらに詳しく言えば、復号化すべきマクロブロックがスキップモードで符号化されたと判定されると、周囲の動き解析ブロック８０２は、復号化の対象マクロブロックを囲繞する予め定義された領域で予め復号化済みのマクロブロックおよび／またはサブブロックの動きをエンコーダ６００で用いられる方法に正確に対応する方法で解析し、類別する。この解析の結果、当該マクロブロックは、非ゼロ値スキップモード動きベクトルか、ゼロ値スキップモード動きベクトルかのいずれかと関連づけられる。次いで、この動きベクトルはマクロブロックに対する予測値の形成に用いられる。マクロブロックは、ゼロ値スキップモード動きベクトルと関連づけられた場合、参照フレーム内の対応する位置からピクセル値を単にコピーすることにより再構成される。一方、非ゼロ値動きベクトルと関連づけられた場合、非ゼロの動きベクトルにより指示されたピクセル値の領域を利用してマクロブロックに関連するピクセル値が生成される。
【００８９】
本発明が提案する方法におけるスキップモード概念を修正し、デコーダにおける囲繞動き解析を実行することにより、ビデオビットストリームで提供される上記のような動きに関する明示的な情報を必要とせずに、ビデオシーケンス内のグローバルな動きやローカルな動きを考慮することが可能となることを理解すべきである。
【００９０】
本発明に従う処理を行うように適合できるビデオ符号化用装置と復号化用装置とを備えた端末装置について以下説明する。添付図面の図１０はＩＴＵ−Ｔ勧告Ｈ.３２４に準拠して実現されたマルチメディア端末装置８０を示す。この端末装置はマルチメディアトランシーバ装置と考えることができる。この端末装置には、通信ネットワークを介して伝送用マルチメディアデータストリームをキャプチャし、符号化し、多重化するエレメント、並びに、受信したマルチメディア内容を受け取り、逆多重化し、復号化し、表示するエレメントが含まれる。ＩＴＵ−Ｔ勧告Ｈ.３２４には上記端末装置の作動全体が定められており、さらに、この端末装置の種々の構成部の作動を支配するその他の勧告についても言及されている。この種のマルチメディア端末装置は、テレビ電話などのリアルタイムのアプリケーションで、または、例えば、インターネットのマルチメディアコンテンツサーバから得られるビデオクリップの検索および／またはストリーミングなどの非リアルタイムのアプリケーションで利用することができる。
【００９１】
本発明のコンテキストでは、図１０に図示のＨ.３２４端末装置は、本発明の独創的方法のアプリケーションに適した複数の代替マルチメディア端末装置の実施構成のうちの１つの実施構成にすぎないと理解すべきである。端局装置の位置と実施構成とに関連して複数の代替例が存在することも付記しておく。図１０に例示のように、このマルチメディア端末装置は、アナログＰＳＴＮ（公衆電話交換網）などの固定ライン電話網と接続された通信設備内に配置することも可能である。この場合、マルチメディア端末装置にはＩＴＵ−Ｔ勧告Ｖ.８、Ｖ.３４およびオプションとしてＶ.８ｂｉｓに準拠するモデム９１が装備される。或いは、上記マルチメディア端末装置は外部モデムと接続されたものであってもよい。このモデムによって、マルチメディア端末装置により生成された多重化済みデジタルデータと制御信号とを変換して、ＰＳＴＮを介する伝送に適したアナログ形式に変えることが可能となる。上記モデムは、マルチメディア端末装置が、ＰＳＴＮからアナログ形式でデータと制御信号とを受信し、上記データと制御信号とを端末装置により適切に逆多重化し、処理できるデジタルデータのストリームに変換することをさらに可能にするものである。
【００９２】
Ｈ.３２４マルチメディア端末装置を実現して、ＩＳＤＮ（総合デジタル通信網）などのデジタル固定ラインネットワークと直接接続可能となるように図ることも可能である。その場合、モデム９１はＩＳＤＮユーザネットワーク用インタフェースよって置き換えられる。図１０に、ＩＳＤＮユーザネットワーク用インタフェースが別のブロック９２により表されている。
【００９３】
Ｈ.３２４マルチメディア端末装置は、移動通信用アプリケーションで使用できるように適合することも可能である。無線通信リンクと共に使用する場合、図１０で別のブロック９３により表されているようにモデム９１は任意の適切な無線インタフェースよって置き換えることが可能である。例えば、Ｈ.３２４／Ｍマルチメディア端末装置は、現在の第２世代ＧＳＭ移動電話ネットワークや本発明が提案する第３世代ＵＭＴＳ（一般移動電話システム）との接続を可能にする無線トランシーバを備えることが可能である。
【００９４】
ビデオデータの送受信用マルチメディア端末装置向けに設計された２方向通信では、本発明に基づいて実装されるビデオエンコーダとビデオデコーダとを設けると好適であることに留意されたい。このようなエンコーダとデコーダとの一対は、“コーデック”と呼ばれる単一の複合型機能ユニットとして実装される場合が多い。
【００９５】
図１０を参照しながら代表的Ｈ.３２４マルチメディア端末装置についてさらに詳細に以下説明する。
【００９６】
マルチメディア端末装置８０は“端局装置”と呼ばれる種々のエレメントを備える。この装置は、参照番号８１、８２、８３によりそれぞれ一般的に示すビデオ装置、オーディオ装置およびテレマティック装置を備える。ビデオ装置８１は、例えば、ビデオ画像をキャプチャするビデオカメラ、受信したビデオ内容を表示するモニタおよびオプションのビデオ処理装置を備えるものであってもよい。オーディオ装置８２は典型的には、例えば、話されたメッセージをキャプチャするマイクおよび受信した音声内容を再生するスピーカなどを備える。このオーディオ装置は追加の音声処理ユニットも含むものであってもよい。テレマティック装置８３は、データ端末装置、キーボード、電子ホワイトボードまたはファックスユニットなどの静止画像トランシーバを備えるものであってもよい。
【００９７】
ビデオ装置８１はビデオコーデック８５と接続される。ビデオコーデック８５はビデオエンコーダと、対応するビデオデコーダとを備えているが、これら双方は本発明に基づいて実現されたものである。以下、このようなエンコーダとデコーダについて説明する。ビデオコーデック８５は、適切な形式でキャプチャしたビデオデータを符号化し、通信リンクを介してさらに伝送を行うようにする役割を果たすものであり、さらに、通信ネットワークから受信した圧縮済みビデオ内容の復号化を行うものである。図１０に示す例には、ＪＶＤコーデックＪＭ１に準拠するビデオコーデックが実現されているが、これは、ビデオコーデックのエンコーダとデコーダの双方に本発明に基づく修正されたＳＫＩＰモード概念を実現するために適切な修正を施したものである。
【００９８】
端末装置のオーディオ装置は参照番号８６により図１０に示されるオーディオコーデックと接続されている。上記ビデオコーデックと同じ様に、このオーディオコーデックにもエンコーダ／デコーダの対が設けられている。このオーディオコーデックは、端末装置のオーディオ装置によりキャプチャしたオーディオデータを通信リンクを介して伝送するのに適した形に変換し、次いで、ネットワークから受信した符号化済みオーディオデータを例えば端末装置のスピーカでの再生に適した元の形に変換するものである。オーディオコーデックの出力信号は遅延ブロック８７へ渡される。この結果、ビデオ符号化処理により導入された遅延が補償され、オーディオおよびビデオ内容の同期が保証される。
【００９９】
マルチメディア端末装置のシステム制御ブロック８４は、適切な制御プロトコル（信号処理ブロック８８）を用いて端末からネットワークへの信号を制御して、送受信端末間で通常行われる処理モードが確立される。信号処理ブロック８８は送受信端末の符号化機能と復号化機能とに関する情報を交換して、ビデオエンコーダの種々の符号化モードを可能にするために利用できる信号処理ブロックである。システム制御ブロック８４はデータの暗号化の利用を制御するブロックである。データ伝送時に使用するタイプの暗号方式に関する情報は暗号化ブロック８９からマルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＭＵＸユニット）９０へ渡される。
【０１００】
マルチメディア端末装置からのデータ伝送中に、ＭＵＸ／ＤＭＵＸユニット９０は、符号化され、同期されたビデオストリームとオーディオストリームとをテレマティック装置８３から入力されたデータおよび可能な制御データと組み合わせて、単一のビットストリームを形成する。このビットストリームに印加するタイプのデータの暗号化（もし何か存在する場合）に関する情報であって、暗号化ブロック８９により提供される情報を利用して暗号化モードが選択される。これに対応して、多重化され、おそらく暗号化されたマルチメディアビットストリームを受信すると、ＭＵＸ／ＤＭＵＸユニット９０は、このビットストリームを解読し、分割してそのマルチメディア構成成分に変え、復号化と再生用の適切なコ−デックおよび／または端局装置へ当該成分を渡す役割を果たす。
【０１０１】
マルチメディア端末装置８０が移動端末装置である場合、すなわち、無線トランシーバ９３を装備している場合、当業者であればマルチメディア端末装置８０が追加のエレメントを備えることも可能であることを理解するであろう。１つの実施形態では、マルチメディア端末装置８０は、ユーザによるマルチメディア端末装置８０の作動を可能にする、表示部とキーボードとを有するユーザインタフェースと、マルチメディア端末装置の様々な機能を果たすブロックを制御するマイクロプロセッサのような中央演算処理装置と、ランダムアクセスメモリＲＡＭと、リードオンリメモリＲＯＭと、デジタルカメラとを備える。マルチメディア端末装置８０の基本機能に対応するプログラムコードであるマイクロプロセッサの作動命令は、リードオンリメモリＲＯＭに格納され、例えば、必要に応じてユーザ制御の下でマイクロプロセッサによりこの作動命令を実行することができる。このプログラムコードに基づいて、マイクロプロセッサは無線トランシーバ９３を用いて、移動通信ネットワークとの接続を形成し、それによってマルチメディア端末装置８０は、無線経路を介して移動通信ネットワークから情報の送受信を行うことが可能となる。
【０１０２】
マイクロプロセッサはユーザインタフェースの状態をモニタし、デジタルカメラを制御する。ユーザコマンドに応答して、マイクロプロセッサはＲＡＭの中へデジタル画像を録画するようにカメラに命令する。ひとたび画像すなわちデジタルビデオシーケンスがキャプチャされると、或いはキャプチャ処理中に、マイクロプロセッサは画像の分割を行って、画像セグメント（マクロブロックなど）に変え、次いで、上記解説で説明したように、エンコーダを用いて、セグメントの動き補償符号化を実行し、圧縮済み画像シーケンスの生成を図る。ユーザは、マルチメディア端末装置８０に命令を出して、その表示部にキャプチャ済み画像を表示したり、別のマルチメディア端末装置、固定ラインネットワーク（ＰＳＴＮ）と接続されたテレビ電話、または別の何らかの通信装置へ、無線トランシーバ９３を用いて圧縮済みビデオシーケンスを送るように指示したりすることができる。好ましい実施形態では、第１のセグメントが符号化されるとすぐに画像データの伝送が開始されるため、受け手側は最少の遅延で対応する復号化処理を開始することが可能となる。
【０１０３】
以上特定の実施形態の文脈で説明したが、上記教示に対して複数の修正と種々の変更を行うことができることは当業者には自明である。したがって、本発明について特に図示し、本発明の１または２以上の好ましい実施形態と関連して説明したが、上述のように、本発明の範囲と精神から逸脱することなく、何らかの修正や変更を本発明において行うことが可能であることは当業者であれば理解するであろう。
【０１０４】
特に、本発明の別の実施形態によれば、周囲の動き解析ブロック８０２は囲繞領域の動きを類別して、３以上の動きのクラスの中へ入るように適合される。例えば、３つのクラスの動きを含む１つの意味のある類別として“連続した動き”、“アクティブな動き”および“アクティブでない動き”がある。このようにして、連続した動きの代表的なケースに関連する特別の動きパラメータの生成が可能となる。
【０１０５】
本発明の別の代替実施形態では、周囲の動き解析ブロックが除去され、アクティブな動きパラメータ生成ブロックがすべてのスキップモードマクロブロックに対してアクティブにされる。
【０１０６】
別の代替実施形態によれば、類別情報を指示する周囲の動き解析ブロックを用いる代わりに、（例えば、マクロブロック、スライス、ピクチャ、あるいはシーケンスレベルでのサイド情報のような）別の手段により指示が与えられる。
【０１０７】
さらに別の代替実施形態では、このような手段を用いて周囲の動き解析ブロックを一時的に使用禁止にしたり、作動可能にしたりしてもよい。
【０１０８】
別の代替実現例では、周囲の動き解析ブロックの出力信号に応じてマクロブロックモード表が再ハッシュされ、より有望なモードに対して高い優先権が与えられる。関連する実施形態では、マクロブロックモード表は、例えば、スキップを除去することにより周囲の動き解析ブロックの出力信号に応じて完全に再生される。
【０１０９】
アクティブな動きパラメータ生成ブロック８０３を種々の方法で実現可能であることを理解されたい。本発明の特別の実施形態では、本発明は、例えば、囲繞する動きの継続性、速度あるいは偏りに基づいて動きパラメータを生成するように適合される。動きパラメータの生成を案内するために追加のサイド情報を送ることも可能である。代替実施形態では、アクティブな動きパラメータ生成ブロックがマクロブロックの異なる部分で用いられる複数の動きベクトルを出力するように適合される。
【０１１０】
ＳＫＩＰモードに加えてあるいはＳＫＩＰモードの代わりに、本発明を用いて別のマクロブロックモードの動き補償予測値を生成することも可能である。本発明は、マクロブロック構造により限定されるものではなく、ビデオ符号化システムに基づく任意の分割時に利用することが可能である。
【図面の簡単な説明】
【０１１１】
【図１】従来技術に準拠する一般的ビデオエンコーダの概略ブロック図である。
【図２】図１に図示のエンコーダに対応する、従来技術に準拠する一般的ビデオデコーダの概略ブロック図である。
【図３】従来技術に準拠するマクロブロックの構成を示す。
【図４】ＪＶＴビデオコーデックＪＭ１に準拠して、生じる可能性のあるマクロブロックの７通りの分画をブロックに変える図を示す。
【図５】Ｈ.２６３添付資料Ｐに準拠するグローバルな動き補償方式における参照ピクチャのコーナーに現ピクチャのコーナーを対応づける概念的動きベクトルの生成を示す。
【図６】本発明の実施形態に基づくビデオエンコーダの概略ブロック図である。
【図７】本発明の実施形態に基づく、および、図６に図示のエンコーダに対応するビデオデコーダの概略ブロック図である。
【図８】本発明の実施形態に基づくエンコーダまたはデコーダにおけるスキップモードマクロブロック用ブロックの符号化と、復号化とを示す。
【図９】本発明の実施形態に基づく、マクロブロックの分割、符号化または復号化対象のマクロブロックを囲繞するマクロブロック内の動き、およびマクロブロック（図内の暗いマクロブロック）に関連する生成済みスキップモードの動きベクトルの１例を示す。
【図１０】本発明による方法を実現することが可能なマルチメディア通信端末装置の概略ブロック図である。
【図１】
0004611640.tif 000003
【図２】
0004611640.tif 000004
【図３】
0004611640.tif 000005
【図４】
0004611640.tif 000006
【図５】
0004611640.tif 000007
【図６】
0004611640.tif 000008
【図７】
0004611640.tif 000009
【図８】
0004611640.tif 000010
【図９】
0004611640.tif 000011
【図１０】
0004611640.tif 000012