参照ピクチャを処理する方法であって:iエンコードされるべき原ピクチャに対して、再構成された参照ピクチャおよび処理された参照ピクチャ推定に基づいて、動き推定を実行する段階と;ii動き推定されたピクチャをさらに処理して、さらに処理された参照ピクチャ推定を得る段階と;動き推定およびさらなる処理を逐次反復して、処理された参照ピクチャを提供する段階とを含む、方法。請求項1記載の方法であって、前記さらなる処理は、動きモデルパラメータを得るさらなる動き推定と、補間フィルタパラメータ、強度補償パラメータおよびノイズ除去フィルタパラメータのうちの少なくとも一つの推定と、前記動きモデルパラメータならびに補間フィルタパラメータ、強度補償パラメータおよびノイズ除去フィルタパラメータのうちの前記少なくとも一つの、前記再構成された参照ピクチャへの適用とを含む、方法。単一層または多層ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを推定する逐次反復方法であって:iエンコードされるべき原ピクチャおよび前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と;iiさらなる動き推定を実行して動きモデルパラメータを与える段階と;iii前記動きモデルパラメータに従って歪めを実行して歪められたピクチャを得る段階と;段階iないしiiiを逐次反復する段階とを含み、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づく、方法。請求項3記載の方法であって、逐次反復の前に、iv歪められたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含み、前記逐次反復はivをも逐次反復し、それによりiないしivを逐次反復し、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、方法。単一層または多層ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを推定する逐次反復方法であって:iエンコードされるべき原ピクチャおよび前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と;iiさらなる動き推定を実行して動きモデルパラメータを与える段階と;iii前記動きモデルパラメータを処理して、補間フィルタパラメータおよび強度補償パラメータのうち少なくとも一つを与える段階と;iv前記動きモデルパラメータおよび補間フィルタパラメータおよび強度補償パラメータのうち前記少なくとも一つに従って歪めを実行して歪められたピクチャを得る段階と;段階iないしivを逐次反復する段階とを含み、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づく、方法。請求項5記載の方法であって、逐次反復の前に、iv歪められたピクチャをフィルタリングして前記処理された参照ピクチャを得る段階をさらに含み、前記逐次反復はivおよびvをも逐次反復し、それによりiないしvを逐次反復し、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、方法。単一層または多層ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、エンコーダから得られるパラメトリック情報を受領し、パースするよう適応されたデコーダにおいて、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域をデコードする方法であって:i入力ピクチャの歪めを実行して第一の処理されたピクチャを得る段階と;ii前記第一の処理されたピクチャに対して強度補償を適用して第二の処理されたピクチャを得る段階とを含む、方法。iii前記第二の処理されたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含む、請求項7記載の方法。前記再構成された参照ピクチャが、前記参照ピクチャバッファの処理されていないもとの参照ピクチャを含む、請求項1ないし6のうちいずれか一項記載の方法。前記再構成された参照ピクチャが、前に処理された参照ピクチャを含む、請求項1ないし6のうちいずれか一項記載の方法。前記前に処理された参照ピクチャが、代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの少なくとも一つを適用することによって処理されている、請求項1ないし6のうちいずれか一項記載の方法。代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャから推定される、請求項11記載の方法。代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャおよび前記前に処理された参照ピクチャから推定される、請求項11記載の方法。前記処理された参照ピクチャが、前記逐次反復におけるその後の動き推定のための参照として使われる、請求項1~6または11のうちいずれか一項記載の方法。前記動き推定が:ブロックベースの動き推定;周波数相関動き推定;または位相相関動き推定;ピクセルレベルの動き推定;勾配降下推定のうち少なくとも一つを含む、請求項1ないし6または請求項11ないし12のうちいずれか一項記載の方法。請求項1ないし15のうちいずれか一項記載のプロセス方法の一つまたは複数の段階を実行、執行または制御する手段を有するシステム。少なくとも一つのプロセッサ上で実行されるときに、請求項1ないし15のうちいずれか一項記載のプロセス方法の一つまたは複数の段階を実行、執行または制御するプロセス方法を実行、執行または制御することを、前記プロセッサにさせる、前記プロセッサにプログラムする、前記プロセッサを制御するまたは前記プロセッサを構成する命令を格納したコンピュータ可読記憶媒体プロダクト。少なくとも一つのプロセッサと;命令を格納したコンピュータ可読記憶媒体とを有するビデオエンコーダであって、前記命令は、前記少なくとも一つのプロセッサ上で実行されるときに、請求項1ないし6または11ないし15のうちいずれか一項記載のプロセス方法の一つまたは複数の段階を実行、執行または制御するプロセス方法を実行、執行または制御することを、前記プロセッサにさせる、前記プロセッサにプログラムする、前記プロセッサを制御するまたは前記プロセッサを構成し;任意的に、前記プロセス方法段階に従ってエンコードされたビデオ信号を出力する、ビデオエンコーダ。少なくとも一つのプロセッサと;命令を格納したコンピュータ可読記憶媒体とを有するビデオデコーダであって、前記命令は、前記少なくとも一つのプロセッサ上で実行されるときに、請求項18記載のビデオエンコーダを用いて出力されたビデオ信号をデコードする;または請求項1ないし15のうちいずれか一項記載のプロセス方法の一つまたは複数の段階を実行、執行または制御するプロセス方法を実行、執行または制御することを、前記プロセッサにさせる、前記プロセッサにプログラムする、前記プロセッサを制御するまたは前記プロセッサを構成する、ビデオデコーダ。少なくとも一つのプロセッサと;命令を格納したコンピュータ可読記憶媒体とを有するビデオまたはコンピューティング装置であって、前記命令は、前記少なくとも一つのプロセッサ上で実行されるときに、請求項16記載のビデオエンコーダから出力されたビデオ信号をエンコードする;請求項18または19の一つまたは複数に記載されるビデオエンコーダを用いて出力されたビデオ信号をデコードする;または請求項1ないし15のうちいずれか一項記載のプロセス方法の一つまたは複数の段階を実行、執行または制御するプロセス方法を実行、執行または制御することを、前記プロセッサにさせる、前記プロセッサにプログラムする、前記プロセッサを制御するまたは前記プロセッサを構成する、装置。請求項18または19の一つまたは複数に記載されるビデオエンコーダ;請求項19記載のビデオデコーダ;または請求項20記載のビデオまたはコンピューティング装置のうちの少なくとも一つを有する、ビデオまたはコンピューティング装置。請求項1ないし15のうちいずれか一項記載のプロセス方法の一つまたは複数の段階を実行するよう構成されている、プログラムされているまたは制御されている、請求項21記載のビデオ装置。何らの追加的処理もないことは、多くの符号化シナリオにおいて見られる。そのような符号化シナリオは、静的ビデオシーケンスまたは一貫した並進動きをもって動いているシーケンスについての符号化を含む。しかしながら、参照ピクチャをその後のピクチャの予測のために使う前に前処理することによって、改善された符号化利益を達成できる。前処理が使われる一つのシナリオは、ステレオまたはマルチポイントビデオ符号化アプリケーションのものである。ここでは、ある種のビュー/層レイヤーが他のビュー/層を予測するのに利用され、他のビュー/層が互いに異なる角度で捕捉されうる。以下の件がここに参照によって組み込まれる:2010年4月20日に出願された国際特許出願PCTUS2010031762国際公開第2010123909号、2010年10月28日発行;2010年6月30日に出願された国際特許出願PCTUS2010040545国際公開第2011005624号、2011年1月13日発行;2011年1月5日に出願された国際特許出願PCTUS2011020163未公開。本発明は請求項記載の手段によって課題を解決する。本開示の諸実施形態は、画像処理およびビデオ処理に関する。本開示の第一の実施形態によれば、参照ピクチャを処理する方法であって:iエンコードされるべき原ピクチャに対して、再構成された参照ピクチャおよび処理された参照ピクチャ推定に基づいて、動き推定を実行する段階と;ii動き推定されたピクチャにさらに処理して、さらに処理された参照ピクチャ推定を得る段階と;動き推定およびさらなる処理を逐次反復して処理された参照ピクチャを提供する段階とを含む、方法が提供される。本開示の第二の実施形態によれば、単一層singlelayeredまたは多層multilayeredビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャの領域の動きモデルパラメータを推定するための逐次反復方法であって:iエンコードされるべき原ピクチャおよび前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域に基づいて動き推定を実行する段階と;iiさらなる動き推定を実行して動きモデルパラメータを与える段階と;iii前記動きモデルパラメータに従って歪めwarpingを実行して歪められたピクチャを得る段階と;段階iないしiiiを逐次反復する段階とを含み、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域および前記歪められたピクチャに基づく、方法が提供される。本開示の第三の実施形態によれば、単一層singlelayeredまたは多層multilayeredビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャの領域の動きモデルパラメータを推定するための逐次反復方法であって:iエンコードされるべき原ピクチャおよび前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域に基づいて動き推定を実行する段階と;iiさらなる動き推定を実行して動きモデルパラメータを与える段階と;iii前記動きモデルパラメータを処理して、補間フィルタパラメータおよび強度補償パラメータのうち少なくとも一つを与える段階と;iv前記動きモデルパラメータおよび補間フィルタパラメータおよび強度補償パラメータのうち少なくとも一つに従って歪めwarpingを実行して歪められたピクチャを得る段階と;段階iないしivを逐次反復する段階とを含み、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域および前記歪められたピクチャに基づく、方法が提供される。本開示の第四の実施形態によれば、単一層singlelayeredまたは多層multilayeredビデオ符号化システムにおける参照ピクチャ処理を実行するときに、エンコーダから得られるパラメトリック情報を受領し、パースするparseよう適応されたデコーダにおいて、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャの領域をデコードする方法であって:i入力ピクチャの歪めを実行して第一の処理されたピクチャを得る段階と;ii前記第一の処理されたピクチャに対して強度補償を適用して第二の処理されたピクチャを得る段階とを含む、方法が提供される。A.参照ピクチャ処理図2は、以下でRPUと称する参照処理ユニットreferenceprocessingunit200を利用するビデオ符号化システムのある実装を示している。RPU200は、フィルタパラメータ、動き補償パラメータおよび他のモデリングパラメータといった処理パラメータの信号伝達を可能にする。信号伝達は、新しい参照ピクチャを生成するために、参照ピクチャバッファ205においてすでに利用可能な参照ピクチャに対して適用されることができる。これらの新しい参照ピクチャは、一般に、処理される必要があるその後のピクチャと、より相関が高くなっている。望むなら、信号伝達は、グローバルレベルではなく領域レベルで行うこともできる。それにより、より細かい制御および符号化利益におけるさらなる改善が可能になる。参照処理ユニット200の使用を導入する二つの例示的文献が、2009年4月20日に出願されたDirectedInterpolationandPostProcessingという名称の米国仮出願第61170995号および2009年7月4日に出願されたEncodingandDecodingArchitecturesforFormatCompatible3DVideoDeliveryという名称の米国仮出願第61223027号である。両文献はここにその全体において参照によって組み込まれる。ビデオ符号化システムにおいてRPU200を利用することによって、ステレオおよびマルチポイントビデオ符号化をサポートするアプリケーションが達成されている。そのようなアプリケーションは、各参照ピクチャをその後の向上層ピクチャの予測に使うのに先立って、前の層のピクチャからの各参照ピクチャに対して適用すべき高度な動きモデルおよびフィルタリング機構を選択することによって実現される。各参照ピクチャについて適切な高度な動きモデルこれに限られないが、並進、ズーム、回転、アフィンおよび透視変換を含むおよびフィルタリング機構これに限られないが、双線形、双三次、ミッチェルネトラヴァリMitchellNetravali、ランツォシュLanczosおよびユーザー指定される補間フィルタを含むを選択することに関わる諸技法は、フレーム互換な3D送達方法および2D互換な3D送達方法の両方において適用される。これらの3D送達方法は、MPEG4AVCH264のマルチビュービデオ符号化MVCMultiViewVideoCoding拡張によって現在サポートされているものと同様である。その後の向上層の予測が前の層からの参照ピクチャを処理なしで考慮するMVCとは異なり、RPU200は、前の層からの参照ピクチャをその後の向上層の予測に使うのに先立って、前の層からの参照ピクチャを洗練することを可能にする。洗練は一般に、符号化利益を改善する。本開示のいくつかの実施形態は、2D互換な多層3D符号化方法に向けられる。呈示される符号化方法は、フレーム互換な3D符号化方法ならびに一般的なおよびスケーラブルな2D符号化のような他のアプリケーションにおいて使用されることもできる。さらに、呈示される符号化方法は、知的かつ適応的な補間フィルタリング、強度補償方法およびブロック解除/ノイズ除去フィルタと組み合わせて使うことができる。引き続き、RPU200を利用するビデオ符号化システムを示す図2を参照すると、参照ピクチャバッファ205からの参照ピクチャは、該参照ピクチャが参照ピクチャバッファ205に記憶されたのちまたは参照ピクチャバッファ205から取得されたのちに処理される。参照ピクチャを処理することによって、参照ピクチャは、参照ピクチャが処理されない場合に比べ、その後のビデオピクチャのより正確な予測を提供することができる。そのような処理方法は一般に、動きモデルの使用を通じた動き補償方法を含む。動きモデルの具体的な諸カテゴリーは本開示においてのちに述べる。参照ピクチャを処理する一つの例示的な方法は、参照ピクチャにグローバルまたはローカルな動きモデルを適用することである。動き補償方法との組み合わせにおいて、端数位置補間、ノイズ除去、アーチファクト軽減たとえばブロッキング除去および画像向上のために、線形または非線形なフィルタによる処理も使用できる。図3は、マルチビューまたは多層ビデオ符号化システムにおける参照ピクチャ処理技術の使用を示している。図3を参照するに、システムは、基本ビュー300および第二のビュー305を有する。さらに、システムはビュー間RPU310を有する。基本ビュー300および第二のビュー305は対応する基本ビュー参照ピクチャバッファ315および第二のビュー参照ピクチャバッファ325をもつ。基本ビュー参照ピクチャバッファ315は基本ビューRPU320に接続され、一方、第二のビュー参照ピクチャバッファ325は第二のビューRPU330に接続される。ビュー間RPU310は両方のピクチャバッファ315、325と接続される。図3は二つのビューまたは二つの層のビデオ符号化システムを示しているが、追加的なビューまたは層および各ビューまたは層に対する追加的なRPUおよび追加的なビュー間または層間RPUも考えられる。引き続き図3を参照するに、基本ビューおよび第二のビュー300、305内の参照ピクチャは対応するRPU320、330によって処理される。さらに、基本ビュー300から第二のビュー305に参照ピクチャを送るのに先立って、ビュー間RPU310は、基本ビュー参照ピクチャバッファ315から受領された参照ピクチャを処理する。ビュー間RPU310による処理は一般に、すべての参照ピクチャが各ビューに固有の参照ピクチャバッファ315、325に記憶されたあとに、またはある参照ピクチャがその後のピクチャの予測のために考慮されるときオンザフライRPU処理時などに行われる。たとえば、基本ビュー300のための参照ピクチャは、基本ビュー300、第二のビュー305または両方のビュー300、305におけるその後のピクチャの予測のために使われることができる新たな参照ピクチャを生成するために、指定された動きモデルに従って歪められてもよい。各バッファ315、325内のもとの参照ピクチャは、同じビュー300、305または他方のビュー300、305についての追加的な参照ピクチャを生成するために使われる。もとの参照ピクチャまたは新たに生成された参照ピクチャは、処理されるべきその後のピクチャについて指定されうる、動きモデル、補間フィルタおよび強度補償パラメータのような新たな処理パラメータを与えられて、再び処理されることができる。たとえば、ビュー間参照処理310について、動きモデル情報は、各ビュー300、305を捕捉するために利用される異なるカメラ位置およびアングルといった、ビュー300、305間の差異を表現してもよい。動きモデル情報は、動き歪め情報のみならず追加的な情報をも含んでいてもよい。追加的な情報はたとえば、サブピクセル位置を生成するためにどの補間フィルタを使うべきかおよび強度補償情報を示してもよい。処理モデルは、ガウシアンおよび/または分離型線形フィルタ、メジアンフィルタもしくは順序付けられたフィルタのような非線形フィルタなどといったノイズ除去フィルタを含むこともできる。領域を横断して指定されることができるブロック解除方法も使用できる。一般的な場合では、ビデオ符号化システムによって処理されるビュー/層の数は、図3に示される二つのビュー/層のビデオ符号化システムよりもずっと多いことができる。一般に、特定のビュー/層の参照ピクチャを処理して、別のビュー/層の追加的な参照ピクチャを生成することができる。さらに、特定のビュー/層の参照ピクチャを処理して、その特定のビュー/層自身についての向上された参照ピクチャを生成することもできる。パラメータ推定プロセスに関しては、動きモデル情報は、適切な歪めパラメータを使う動きモデルに基づいて、エンコーダ側で推定または選択されることができる。歪めパラメータは、単一の指定された基準または指定された諸基準の組み合わせに依存することができる。基準は、中でも、視覚的品質、アルゴリズムの複雑さ、ビットレートといったものがある。あるいはまた、動きモデル情報は、適切な補間フィルタパラメータ、強度補償パラメータまたはブロック解除/ノイズ除去パラメータを使う動きモデルに基づいてエンコーダ側で推定または選択されることができる。さらに、動きモデル情報は、先に挙げなかった他のパラメータの中でも、使用される歪めパラメータ、補間フィルタパラメータ、強度補償パラメータおよびブロック解除パラメータの適切な組み合わせに基づいてエンコーダ側で推定または選択されることができる。高度な動きモデルの使用に加えて、線形および非線形フィルタリングを組み合わせる縦続させるまたは組み合わせて実行することによってさらなる恩恵が達成できる。図12は、参照処理ユニットのデコーダ側の例示的な実施形態を示している。これに限られないが歪めパラメータ、補間フィルタパラメータ、強度補償パラメータおよびブロック解除/ノイズ除去パラメータを含む動きモデル情報のすべてが、参照処理ユニットのペイロード中でカプセル化され、デコーダ1200に送られることができる。換言すれば、RPUのペイロードは、参照ピクチャを処理するために直接使われる動きモデル情報を含む。ペイロードと対照的に、RPUは、ペイロードと、信号の再構成および表示のためにどのようにそれが処理もしくは使用される必要がありうるかとを記述しうる追加的なヘッダ情報を含んでいてもよい。RPUのデコーダは、RPUのペイロードをパースして、該ペイロードから抽出された情報を使って、RPUのエンコーダ図12には示さずによって使われたものと同一のまたはほぼ同一の処理パラメータを復元するパースユニット1205を有する。具体的には、図12に示される実施形態は、ペイロードから、エンコーダによって使われた動きモデルパラメータ1210、補間フィルタパラメータ1210、強度補償パラメータ1215およびノイズ除去フィルタパラメータ1220に関する情報を得る。これらのパラメータ1210、1215、1220は再構成された参照ピクチャ1225を処理するのに利用される。再構成された参照ピクチャ1225はもとの参照ピクチャまたは前にRPU処理された参照ピクチャでありうる。もとの参照ピクチャは、参照ピクチャバッファ図2に示した参照ピクチャバッファ205などから何の処理もなしにそのまま取られた参照ピクチャを指す。対照的に、複数のRPUを縦続させることができるので、前にRPU処理された参照ピクチャは、RPUまたは複数のRPUによって処理された参照ピクチャバッファからの参照ピクチャである。その結果、考えている現在のRPUエンコーダ/デコーダは、入力参照ピクチャとして、以前の層または以前のエンコード/デコードステップからのもとの参照ピクチャまたは前にRPU処理された参照ピクチャを取ることができる。図12の参照に戻ると、もとの参照ピクチャまたは前にRPU処理された参照ピクチャは、考えている現在のRPUデコーダへの入力参照ピクチャのはたらきをし、これは再構成された参照ピクチャ1225と称される。再構成された参照ピクチャ1225の処理は、エンコーダから得られるパラメータ1210、1215、1220を利用することによるピクチャ歪め1230、強度補償1235およびノイズ除去1240を含む一連のステップとして示されている。この処理の結果は処理された参照ピクチャ1245である。考えている現在のRPUデコーダの処理された参照ピクチャ1245は、その後のRPUデコーダへの入力参照ピクチャとしておよび/またはその後のピクチャの予測をするもとになりうるピクチャとしてのはたらきをしうる。デコーダはエンコーダによって使われるのと同様の処理モデルを復元するので、処理された参照ピクチャ1245はエンコーダにおいて実行されたのと同様の処理を受ける。符号化効率をさらに改善するために、種々の参照ピクチャ処理ペイロード情報が、再構成された参照ピクチャ1225の種々の領域に送られてもよい。換言すれば、再構成された参照ピクチャ1225は複数の領域に区分されることができ、各領域は独自の最適化された処理パラメータを有することができる。これは、より正確な動きモデルパラメータおよびフィルタリングパラメータが各個別的な領域に適用されることを許容できる。図4は、参照ピクチャを、各領域内での動きの均一性に基づいて、多くの領域に区分する第一の例を示している。さらに、これら多くの領域には重なりがない。同様に、図5は、参照ピクチャを動きの均一性に基づいて多くの領域に区分する第二の例を示している。しかしながら、図5における多くの領域には重なりがある。図4および図5の両方において、各区分は別個のパラメータのセットを使って記述できる。異なる動きパラメータをもつ複数の動き領域が一つの参照ピクチャ内に存在する場合または異なるぼけblurringおよび焦点特性が一つの参照ピクチャ内に存在する場合、領域ベースのRPU信号伝達がより高い符号化効率につながる可能性が高い。領域は図4および図5に示されるように長方形であってもよいが、領域は任意の形であってもよい。領域は、図4のように重なり合わなくてもよいし、図5のように重なり合っていてもよい。さらに、領域は単一または複数の処理パラメータを含むことができる。たとえば、特定の領域が単一の動きモデルによってのみ表現されるのではないこともある。たとえば、ズーム動きモデルおよびアフィン動きモデルが、強度補償パラメータのような他のパラメータと一緒に、同じ領域に信号伝達されることがある。領域の重なり合う部分は一般に、複数の動きモデルが適用されることを注意しておく。現在の参照ピクチャのその領域に基づく、その後のピクチャでのその領域についての予測は、各動きモデルを使って推定される動きベクトルの平均または重み付き平均によって得られる。限定ではなく例として、特定の平均法が信号伝達されてもよいし、あるいは特定の領域とその近傍領域の動きベクトル間の類似性または相違に基づいて決定されてもよい。ブロック解除方法が領域を横断して適用できる。これはピクセルベースの方法および/または過完全ノイズ除去overcompletedenoisingのような他の、周波数領域の方法を含みうる。領域間でどのくらいのフィルタリングが適用されるかを定量化するブロック解除強さは、隣り合う区分において使われる動きモデルまたは予測方法における相違ならびに隣り合う区分の間の動きモデルパラメータにおける相違に基づくことができる。二つの領域が同一の予測方法および同一のもしくは類似した動きモデルを使う具体的な場合には、ブロック解除フィルタリングは実行されない。動きモデルが類似していると考えられるのは、異なる動きモデルを適用することによって得られるすべての動きベクトルの絶対差が所定の閾値または一組の閾値より小さい場合である。他方、異なる動きモデルが使われているまたは動きベクトル間の相違が有意である相違が閾値または一組の閾値より大きい場合には、強いブロック解除が適用される。参照ピクチャ内のいくつかの領域はより多くのフィルタリングを要求する一方、他の領域はそれほどのフィルタリングは要求しないこともある。何らかの特定の領域に適用されるフィルタリングの量は、この特定の領域の動きモデルおよび予測方法、ならびに、その特定の領域の動きモデルおよび予測方法とこの特定の領域の近傍領域の動きモデルおよび予測方法との間の関係に依存する。さらに、領域に適用されるフィルタリングの量は、その特定の領域内でのテクスチャ特性によって影響されることもある。領域ベースのRPUはより高いビットオーバーヘッドに関わることがあるが、エンコーダは、最適な領域分割ならびに各領域についての最適な動きモデルおよび予測方法を見出すために、レート‐歪みratedistortionに基づく判断を適用してもよい。例として、ビデオ符号化システムは、M×Nの区画をもつ参照ピクチャを処理するRPUを使うことのパフォーマンスではなく、単一の区画をもつ参照ピクチャを処理するRPUを使うことのパフォーマンスを調べることができる。領域分割、動きモデルおよび予測方法の最適な組み合わせに関する決定は、エンコードに先立ってできる。決定は、たとえば、単に、生成された参照ピクチャのパラメータをエンコードされるべき源ピクチャのパラメータと突き合わせて比較することによってなされてもよい。決定はまた、RPUにおける完全な、部分的なまたはシミュレートされたエンコードを考慮することによってなされてもよい。シミュレートされたエンコードはたとえば、ピクチャのより低解像度の表現を使うことによって実行される。信号伝達されるよう選択される方法は、たとえば、エンコードに関するパフォーマンスに基づいて選ばれてもよい。パフォーマンスは、特定のラグランジュ乗数が与えられたときの組み合わされたレート‐歪みパフォーマンスのようなある種の基準を使って評価されてもよい。B.動きモデルビデオ符号化システムのある実施形態において、いくつかの異なる動きモデルが考慮される。そうした異なる動きモデルは多様な代替的な実装を提供し、各実装は異なる複雑さおよび動きカバー範囲に関わるからである。考慮される動きモデルは、中でも、並進、ズーム、アフィン、透視、等方および多項式モデルを含む。先に論じたように、これらの動きモデルの組み合わせも可能である。これらの動きモデルは一般に、3Dの現実世界のシーンにおいて存在しうる複雑な動きを正確に記述できる。しかしながら、透視perspective動きモデルのような動きモデルは3Dの動きを正確に記述できるものの、これらの動きモデルは推定するための計算量が大きいことがある。さらに、これらの動きモデルに対応する推定プロセスはノイズに敏感であることがある。そのような、推定プロセスがノイズに敏感である場合、前置フィルタリングまたはより堅牢な推定器がモデル推定プロセスを改善できる。前置フィルタリングは参照ピクチャ、原ピクチャまたは参照ピクチャもしくは原ピクチャの動きベクトルに対して実行されてもよい。堅牢な推定器の一例は、レヴェンバーグマーカートLevenbergMarquadt法を利用するものである。さらに、デコーダにおいて適用される必要があるこれらの動きモデルについての動き補償プロセスは、それ自身、複雑であることがある。他方、並進モデルのようなより単純な動きモデルは推定するのがより簡単で、ノイズに対してより堅牢である傾向がある。したがって、ビデオ符号化システムの本実施形態における、参照ピクチャ処理について異なる複雑さおよびパフォーマンス特性をもつ複数の異なる動きモデルを考える柔軟性は、エンコーダを設計するときに種々の複雑さとパフォーマンスのトレードオフの考慮を簡単にし、エンコーダと協働するために必要とされるデコーダの複雑さを制御することを許容する。先に論じたように、並進およびズームモデルの組み合わせのような種々の動きモデルの組み合わせもパフォーマンスを改善するために使われることができる。参照ピクチャの各領域についての動きモデルの選択は、歪み要件、ビットレート期待および動きモデルの複雑さといった多様な条件に依存する。より複雑なモデルはさらに、レート‐歪みRDratedistortionコストおよびレート‐歪み‐複雑さRDCratedistortioncomplexityコストといった条件に依存してもよい。動きモデルのRDコストはたとえば、ラグランジュ最適化法を使って式のようにして計算される。RD=DOλRR上式に見られる関数Warpは、動き補償のために使われる歪めwarping関数である。Warp関数は、表1に挙げられる動きモデルのような、適用される動きモデルに依存する。具体的には、Warpは、動きモデルであるmと、入力画像であるIの関数である。やはり上式に見られる関数Rは、処理ツールtのための副情報sideinformationをエンコードするレートを与える。関数Dは、平方誤差和SSEsumofsquareerrorsのような歪みdistortionメトリック関数である。特に、Dは処理される信号であるxおよび原original信号であるOの関数である。より高度な方法はたとえば、歪められたピクチャと原ピクチャの間の歪みのみならず、ビデオ符号化システム内部で歪められたピクチャを使う最終的な符号化効率をも考慮してもよい。歪みおよび最終的な符号化の考慮の計算量が大きすぎるのであれば、種々の推定を使うことができる。たとえば、単なるブロックベースの動き推定を使ってもよい。あるいはまた、推定は、任意的に、推定プロセスのために、コーデック内の、時間的参照などいかなる利用可能な参照の影響を考慮してもよい。推定はまた、歪められたピクチャおよび原ピクチャのサブサンプリングされたバージョンを考慮することによってもできる。推定はまた、たとえば階層ベースの動き推定アプローチを使うことによって、種々の解像度の画像を使って実行することもできる。階層ベースの動き推定の例は、次のように与えられる。さまざまなRPUパラメータ動きモデルパラメータ、補間フィルタパラメータなどの推定は、最低解像度の歪められた参照ピクチャおよびもとの源ピクチャから導出されてもよい。さまざまなRPUパラメータのさらなる推定は、より高い解像度の歪められた参照ピクチャおよびもとの源ピクチャから導出されてもよい。このさらなる推定および任意のその後の推定は、さまざまなRPUパラメータの値をさらに洗練する。同じことは、レートの考慮にも当てはまる。さまざまなRPUパラメータ動きモデルパラメータ、補間フィルタパラメータなどを符号化するために要求されるレートのみを考えるのではなく、ピクチャ全体をエンコードするために要求されるレートをも考えるのである。RPUパラメータを符号化するために要求されるレートおよびピクチャ全体をエンコードするために要求されるレートの両方が考慮される場合、RPU信号伝達されたパラメータとピクチャのエンコードのために信号伝達される実際のビットとの間で使うために異なるラグランジュパラメータが選択されることができる。単純化は、ピクチャをエンコードするために使われる可能性がある動きおよび参照指数のようなローカルパラメータの考慮を含んでいてもよい。特に、エンコードは、ピクチャ全体に対して実行されるのではなく、局所化された動き推定が実行されるだけである。下記に示す表1はさまざまな動きモデルを挙げている。表1の最後の列は、各動きモデルを定義する変換の式を指している。具体的には、各モデルについての式は次のように与えられる。変換の式は式ないし式で定義される。これらの式において、は源位置であり、は源位置をある動きモデルhijの形のさまざまなパラメータによって定義されるによって変換した対応する位置である。パラメータは下記の表2に示される。表2は、各動きモデルがどんな型の動き/情報を提供するかの洞察を与える。表2から見て取れるように、並進モデルは並進のためのカバー範囲を提供し、ズームモデルは並進モデルの並進パラメータおよびズームパラメータを含み、等方モデルは両方の次元方向を通じて等しいズームおよび回転を想定し、などとなっている。多項式モデルが表1および表2に示した動きモデルのうちで最も複雑なモデルであるが、このモデルは、これらの表に呈示された他のモデルに比べてより包括的な動き/変形カバー範囲を提供できる。複数仮説法を使ってこれらのモデルの組み合わせも可能であり、その場合、領域毎に複数の動きモデルが信号伝達されることができ、歪めに基づく動き補償が各動きモデルと一緒に別個に実行されることができ、次いで複数の仮説が平均または重み付き平均されてその後のピクチャの予測のための最終的な仮説を生成することができる。B.1動きモデル推定および符号化いくつかの種類の動きモデル推定方法がある。いくつかの一般的な方法は、ピクセルレベルの動き推定、周波数/位相相関に基づく動き推定およびオプティカルフロー場のような動き場推定を含む。ピクセルレベルの動き推定は計算量が大きいことがあり、ノイズおよび照明条件のような他の画像特性によって影響されやすい。他方、周波数/位相相関方法およびオプティカルフロー方法はたいていの用途について十分な結果を提供できる。たとえば、位相相関方法およびオプティカルフロー方法は互いに関連して利用されることができる。位相相関方法は、参照ピクチャおよび源ピクチャの変換を通じて並進パラメータおよび回転およびズームパラメータの推定値の導出を可能にする。オプティカルフロー方法は、位相補正方法によってまだ推定されていない残りのパラメータのために利用されることができる。換言すれば、オプティカルフロー方法は本質的により単純なモデルである。オプティカルフロー方法は、強度パラメータへの考慮とともにまたはそのような考慮なしに、ブロックベースの動き推定方法を利用することができる。ブロックベースの動き推定方法および周波数/位相相関方法は、オプティカルフロー情報を推定するために使用できる。たとえば、ピクチャの動き場を表すのに実際のオプティカルフロー情報を使う代わりに、種々のブロック区画についての動きを導出するために、ブロックベースの動き推定方法を使うことができる。ここで、それらのブロック区画はいかなるサイズM×Nであってもよい。サイズはたとえば、8×8、2×2、4×2またさらには1×1であることができる。さらに、区画は長方形である必要はなく、いかなる形でもよい。一般に、動きベクトルはいかなる精度であってもよい。限定ではなく例として、動きベクトルは整数、半ピクセル、四分の一ピクセルまたは浮動小数点精度であることができる。動きベクトルについての情報を与えられると、動きモデルパラメータを推定するために勾配降下法を使うことができる。勾配降下法は、ニュートンラフソンNewtonRaphsonおよびレヴェンバーグマーカート逐次反復法文献6参照または最小二乗推定器といった当てはめfitting法を使うことができる。図6は、エンコーダ側における参照ピクチャユニットの動きモデルパラメータ推定プロセス600を示している。本質的には、動きモデルパラメータ推定プロセスは逐次反復的な推定プロセスである。図6に示される動きモデルパラメータ推定プロセス600を参照するに、推定プロセス600は、エンコードされる必要のあるもとの源ピクチャ605と、再構成された参照ピクチャ610と、処理された参照ピクチャ615とを利用する。図12におけるRPUデコーダと同様に、図6におけるRPUエンコーダの再構成された参照ピクチャ610は、もとの参照ピクチャまたは前にRPU処理された参照ピクチャである。もとの参照ピクチャは、いかなるRPU処理もされる前の参照ピクチャをいう。複数のRPUエンコーダが縦続させられることがあるので、前にRPU処理された参照ピクチャは、RPUまたは複数のRPUによって処理された参照ピクチャである。結果として、考えている現在のRPUエンコーダは、入力参照ピクチャとして、以前の層または以前のエンコードステップからの、もとの参照ピクチャまたは前にRPU処理された参照ピクチャを取ることができる。現在のRPUエンコーダの処理された参照ピクチャ615は、その後のRPUエンコーダおよび/またはRPUデコーダへの入力参照ピクチャとしてのはたらきをしてもよい。三つのピクチャ605、610、615のそれぞれは、ブロックベースの動きパラメータ推定620、動きモデルパラメータ推定625、補間フィルタパラメータ推定630、強度補償パラメータ推定630およびノイズ除去フィルタパラメータ推定640を達成するために使われる情報を得るために使われる。推定プロセス600の逐次反復的な側面は、処理された参照ピクチャ615がフィードバックループ645によって推定プロセス600にフィードバックされるときに生じる。ピクチャ歪め635は、ブロック620および625からの推定された動きパラメータならびにブロック630からの推定された補間フィルタパラメータおよび強度補償パラメータに従って、ピクチャ変換を実行する。ピクチャ歪め635ののち、ノイズ除去フィルタパラメータ推定640が、歪められた参照ピクチャをもとの源ピクチャ605と比較することによって達成される。フィードバックループ635は処理された参照ピクチャ615を推定プロセス620、625、630、640およびピクチャ歪め635中に送り返す。ブロック620、625、630および640によって推定されるパラメータのそれぞれについてより洗練された値を得るためである。もとの源ピクチャ605自身は処理されないことを注意しておくべきである。もとの源ピクチャ605は、処理された参照ピクチャ615を生成するために必要とされるパラメータを導出するためにのみエンコーダにおいて使用される。図6から、パラメータは、ブロックベースの動きパラメータ、動きモデルパラメータ、補間フィルタパラメータ、強度補償パラメータおよびノイズ除去フィルタパラメータである。特に、これらのパラメータは、もとの源ピクチャ605に緊密に一致するよう、処理された参照ピクチャ615を生成するために使われる。上記の議論は図6に描かれるパラメータ推定を参照してなされているが、上記の議論はRPUにおけるパラメータ推定一般に当てはまる。図12に実施例を示したRPUのデコーダ側に関係して、図6に示されるようなもとの源ピクチャ605はデコーダには利用可能でない。しかしながら、図6に示したパラメータ推定は、先に論じたように、RPUペイロードの形でデコーダに送られるパラメータについての値を与える。デコーダは、パラメータ図12における1210、1215、1220に関する情報を求めてペイロードをパースする1205。デコーダ側における再構成された参照ピクチャ1225は、これらの推定されたパラメータ1210、1215、1220を使って処理されて、処理された参照ピクチャ1245が得られる。図6には示されていないが、プロセスは、前に処理され、エンコードされたピクチャまたさらには同じピクチャ内の前に処理された領域からの動きパラメータをも考慮することができる。後者の場合、信号伝達プロセスは領域レベルで行われることが想定される。前に処理され、エンコードされたピクチャの動きモデルは、動き推定プロセスを初期化するために使用できるが、動きモデルは、動き推定値を現在の参照ピクチャに適用することによって、新しい仮説参照を生成するために使われることもできる。新しい仮説参照は次いで、その後の動き推定を実行するために使われることができる。最終的な動きモデルは、もとの仮説動きモデルと組み合わされて、その後のピクチャの予測のために使われる最終的な動きモデルを生成することができる。エンコーダ側での動きモデル推定プロセス600の異なる実施形態では、複数の最終的な仮説が生成され、そのうちから一つの最終的な仮説が選択されることができる。最終的な仮説の選択は、もとの仮説または異なる動き推定プロセスを使って生成されていたかもしれない別の仮説に関する何らかの基準が与えられて、行うことができる。異なる動き推定プロセスは、たとえば、何らの予測子predictorも使うことなく直接的に動き推定を実行することまたは種々の予測子を使うことに関わることができる。所与の基準を最もよく満たす仮説が最終的な仮説として選択される。種々のシステムにおいて、複数の仮説が選択され、信号伝達され、使用されてもよい。引き続き図6を参照しつつ、単一の動きモデルがもとの源ピクチャ605全体について使われる場合を考える。単一の動きモデルの動きモデルパラメータが計算されたのち、ピクチャ歪め635が再構成された参照ピクチャ610に適用されて、その後の動きモデル推定のための参照ピクチャとして使われる処理された参照ピクチャ615が得られる。再構成された参照ピクチャ610が異なる動きモデルおよび/またはパラメータをもつ複数の領域を有する別の場合を考える。処理された参照ピクチャ1245は、再構成された参照ピクチャ610の動きモデルおよびパラメータのそれぞれの考慮ののちに生成できる。近隣領域間の不連続を避けるため、重なり合いが考慮されてもよい。領域どうしが重なり合うことができ、処理された参照ピクチャ1245のいくつかのピクセルが、複数の動きモデルおよび動きモデルパラメータを使って予測されることができる。先に論じたように、領域の重なり合う部分は異なる動きモデルおよび/または動きモデルパラメータが適用されてもよい。たとえば、図5を参照するに、第一の領域500の下部と第二の領域505の上部の間に重なり510部分があると考える。また、第一および第二の領域500、505には異なる動きモデルが適用されると考える。重なり部分510についての予測されるピクセルの第一の集合が第一の領域500の動きモデルパラメータから得られる。重なり部分510についての予測されるピクセルの第二の集合が第二の領域505の動きモデルパラメータから得られる。重なり部分510についての処理された参照ピクチャ615の予測されるピクセルは、予測されるピクセルの第一の集合および予測されるピクセルの第二の集合の平均または重み付き平均を取ることによって生成できる。重なり合う領域についての予測の平均または重み付き平均から得られる結果としてのピクセルは、最終ピクセルと称される。等価だが、これらの最終的なピクセルは、その後のピクチャを予測する際に使われる情報としてのはたらきをする。重み付き平均において適用される重みは、信号伝達される、または各ピクセルの、各区画の中心からの距離が与えられて自動的に選択されることができる。代替として、先に論じたように、不連続を避けるために、ブロック解除が領域境界をまたいで適用されてもよい。大きな動き場についてでさえ、正確な動きモデルパラメータが推定できる。歪めプロセス635は異なる動きモデルについては異なり、原ピクチャ605における異なる領域は異なる動きモデルおよび/または異なるモデルパラメータを有していてもよい。結果として、ピクチャ内の領域どうしの間で、またエンコーダ側とデコーダ側の間で異なる符号化効率が存在する。同時に、効率は、動きモデルパラメータを適用するときに使われる補間フィルタの精度によって有意に影響されることがある。符号化効率を改善する一つの方法は、双線形またはピクセル複製法を利用するもののような単純な補間フィルタを使うことである。しかしながら、符号化効率を改善するためにより複雑な補間フィルタを使うこともできる。動きモデルだけを信号伝達することとは別に、図6に示されるように、各区画について使われるべき異なる補間方法630をも信号伝達することが望ましいことがある。再構成された参照ピクチャ610におけるさまざまな区画において使用される各補間フィルタは、異なるパフォーマンス挙動をもつと指定されることができる。各補間フィルタのパフォーマンスの評価は、一般に、信号伝達および符号化のために適切な動きモデルを選択するのに先立って実行される。動きモデルの選択は、何らかの客観的またさらには主観的な基準の考慮を通じてできる。客観的な基準は、レート‐歪みおよび計算量の考察に基づくことができる。たとえば、選択される動きモデルは、定義されたコストを最小にするものであってもよい。より詳細には、最小にしようとされる定義されたコストは、式で定義されたRDコストであってもよい。ラグランジュ最適化を利用することによってRDコストを計算する個別的な実施形態では、力ずくの選択方法を実行することができる。力ずくの選択方法は、あらゆる動きモデルを評価し、比較することを含む。動きモデルの評価は、潜在的に、動きモデルによってサポートされるすべての補間方法の考慮を含むことができる。今の例では、選択された動きモデルは最小のRDコストをもつ。しかしながら、力ずくの選択方法はあまりに遅いことがある。動きモデル選択プロセスを高速化するため、枝刈り評価方法pruningevaluationmethodのような高速選択手法を使うことができる。具体的には、枝刈り評価方法のために、ビデオ符号化システムのサポートされるグループはサブグループに分割できる。サポートされるグループが表1に挙げた六つの動きモデルを含むと考える。ある個別的な実施形態では、表1の第二列に挙げたように、五つのグループが定義される。グループは一般に、動きモデルの複雑さに基づいて決定される。表1については、グループは、モデルパラメータの数によってグループ化されている。結果として、ズーム動きモデルおよび等方動きモデルはそれぞれ四つのモデルパラメータをもつので、一つのサブグループをなす。表1における他の動きモデルのそれぞれは、独自のサブグループをもつ。図7は、例示的な高速動きモデル選択アルゴリズム700を示している。選択アルゴリズム700は、最小のRDコストをもつ動きモデルを選択する。RDコストの評価はグループ0に関して始まる705。MinCost最小コストパラメータはビデオシステムがサポートできる最大値に設定される。たとえば、システムが8ビット整数しかサポートしない場合、最大値は255である。第二のステップ710では、グループ0のRDコストが評価される。第三のステップ715では、グループ0のRDコストがMinCostパラメータと比較される。グループ0のRDコストがMinCostパラメータより小さければ、第四のステップ720は、評価すべきさらなるグループがあるかどうかを検査する。さらなるグループがあれば、第五のステップ725は次のグループ、この場合グループ1を、評価対象として位置付ける。第二ないし第五のステップ710、715、720、725は、すべてのグループが評価されるか、第三のステップ715が現在のRDコストがMinCostパラメータより小さくないと判定する任意の時点まで繰り返される。各グループの評価のために、そのグループに属するあらゆる動きモデルが評価される。図7に示した動きモデル選択アルゴリズム700については、最小のRDコストをもつ動きおよび/または処理モデルが選択されることになる。図7は、最小RDコストに基づく高速動きモデル選択アルゴリズムを示している。先に論じたように、レート‐歪み‐複雑さコストおよび動きモデルパラメータ信号伝達のためのビットオーバーヘッドのような他の符号化基準も、動きおよび/または処理モデルを選択するために使われてもよい。高速動きモデル選択アルゴリズム700のさらなる実施形態は、前の諸参照ピクチャおよび近隣の空間的および/または時間的領域を考慮することができる。さらに、任意の特定の領域についてどの動きモデルがすでに考慮されているかを考えることで、選択プロセス700をさらに高速化できる。例として、近隣領域がモデル0を選択しており、そのモデルについて現在領域と同様の動きパラメータをもつとする。この場合、モデル0は現在領域について適切なモデルである可能性が高い。結果として、すぐにモデル0を選択することができる。あるいはまた、評価は、同様の動きモデルであると考えられる他の動きモデルに制約されることができる。たとえば、ズームモデル表1においてグループ指数1が近隣の諸領域について使うべきもっとも可能性の高い動きモデルであるとすると、等方モデルやはり表1においてグループ指数1は同様の動きモデルと考えられることになる。さらに、近隣の諸領域を横断するブロックベースの動きパラメータが比較されることができる。そのような比較は、領域間の類似性の度合いを決定するために使われる。類似性の度合いは、選択プロセス700をより一層高速化するために使うことのできる情報を与える。さらなる実施形態では、異なる領域におけるすべての動きモデルが同じまたは非常に似通った動きモデルパラメータをもつ場合、最終的な動きモデルの決定は、さらなる洗練なしにすぐに行われることができる。閾値法のような他の諸方法も考慮できる。閾値法はたとえば、ある種の動きモデルの予測歪みおよび近隣の領域間での予測歪みを考えることができる。動きモデルパラメータにおける差が小さいときは、複数の近隣の領域間で類似性が判別できる。閾値法は一般に、さまざまな動きモデルパラメータの間の差分絶対値和SADsumofabsolutedifferencesまたは平方差和sumofsquaredifferencesを計算する。一般に、動きモデルパラメータは、浮動小数点精度を含むいかなる精度を取ることもできる。しかしながら、符号化の目的のためには、導出された動きモデルパラメータの整数精度への変換が実行されるべきである。具体的には、任意の個別的な動きモデルパラメータの浮動小数点精度から整数精度への例示的な変換は、次の式によって与えられる:Pint=Floorここで、Pintは整数精度を取る動きモデルパラメータであり、Pfloatは浮動小数点精度を取る動きモデルパラメータであり、sはデコーダが知っているスケーリング因子であり、rは丸めオフセットである。Floor演算は、x以下の最大の整数を選択する。スケーリング因子sの値は、異なる動きモデルパラメータについては異なっていてもよい。動きモデルパラメータは、下記の表3に挙げられるように、三つのグループに分類できる。一般に、より高次のパラメータは、精確な表現のためにより高い精度を要求する。さらに、より高い精度はスケーリング因子sについてのより大きな値を与える。多くの区画が同様の動きモデルをもつことができることを考えると、追加的な圧縮恩恵を提供するためにある種の予測方法が利用できる。たとえば、複数の領域が同じ動きモデルを使う場合、それらの諸区画の外部の、より高いレベルから、単一の動きモデルが信号伝達されることができる。それにより、RPU内で同一のモデルを複数回信号伝達しなければならないのではなく、この単一の動きモデルの諸区画内での信号伝達が使用されることができる。予測プロセスは、複数の動きモデルの場合にも考慮されることができる。特に、複数の動きモデルを考慮する予測子導出法predictorderivationmethodが表4に挙げられている。この方法について、予測は、グローバルな動きモデルパラメータの単一のセットからの情報を使ってもよいし、あるいはまた予測情報を使うことなくすべての動きパラメータを信号伝達してもよい。他方、一部または全部の近隣区画を利用することによって、より単純な予測方法が考慮されることができる。予測方法は、たとえば、予測のために使われる動きモデルパラメータを導出するために、MPEG4AVCにおいて使われるメジアン手法のようなメジアン手法を使うことができる。あるいはまた、予測方法は、同じ動きモデルを利用する近隣区画のみを考慮することもできる。異なるモデルが組み合わされる場合、異なる動きモデルの現在考えられている動きモデルへの変換は一般に、その動きベクトルを予測のために使用することを考える前に実行される。ある代替的な実施形態では、予測子位置が近隣の区画から含意されたり導出されたりするのではなく、予測子位置の信号伝達を可能にする、より包括的な手法を使うことができる。そのような方法は下記の表5および表6に示される。表5は、単一のグローバルな動きモデルの存在を想定している。しかしながら、諸区画の動きモデル予測は、諸区画の信号伝達に先立って信号伝達される複数のグローバルな動きモデルをサポートするよう拡張されることができる。代替的に、表6は、いかなるグローバルな動きモデルパラメータもないときに諸区画の動きモデル予測を考えている。含意されるおよび明示的に指定される方法の組み合わせも使用できる。いかなる特定の区画についての含意される諸方法も、たとえば、近隣区画からの情報に基づく予測プロセスに基づくことができる。たとえば、特定の区画の近隣の諸区画がみなアフィン動きモデルを使っていて、みな同じパラメータをもつならば、その特定の区画も同じ動きモデルおよび同じパラメータを使う可能性が高い。結果として、この単純化された例では、特定の区画はアフィン動きモデルおよび近隣区画と同じパラメータを使う可能性が非常に高い。さらに、予測結果は、何らの追加的な洗練情報も信号伝達することなく、動きベクトル全体が正しく予測されることを含意することができる。そうなるのは、たとえば、動き推定プロセスのコスト基準が満たされるときである。そのような場合でさえ、追加的な洗練情報が任意的に信号伝達されてもよい。この洗練情報は、下記に示される式において定義されるプロセスと同様の予測された動きモデルに加えられることができる。予測は、各RPU領域のデコード並列化にも有意に影響することができ、そのような技法を使うシステムの設計において考慮される必要があるかもしれないことを注意しておく。ここで、ベクトルMint上式ではMintの上に→はデコードされた動きモデルパラメータであり、ベクトルPint上式ではPintの上に→は予測された動きモデルパラメータであり、ベクトルrint上式ではrintの上に→はエンコードされた残差である。これらのパラメータのすべては一般に、固定小数点精度である。ScaleDownスケールダウンおよびScaleUpスケールアップ関数は変換において使われるスケーリング関数である。式に示されるようなスケーリング因子sを考える。スケーリング因子の三つの可能な信号伝達方法が論じられる。スケーリング因子は符号化プロセス全体にわたって含意され、固定されてもよい。換言すれば、スケーリング因子はすべての区画について信号伝達されることができる。スケーリング因子は、近隣の区画からの情報に基づいて信号伝達されるまたは信号伝達されないことができる。第一の例として、スケーリング因子がすべての区画について同じであると判定される場合、スケーリング因子は一度信号伝達される必要があるだけである。代替的に、特定の区画のスケーリング因子と近隣の区画のスケーリング因子との間の差が信号伝達されてもよい。スケーリング因子はまた、各領域について指定されたフラグに依存して信号伝達されてもよい。たとえば、フラグが1に設定される場合にスケーリング因子が信号伝達されてもよい。そうでない場合はスケーリング因子は信号伝達されず、デコーダはデフォルト値を使うことになる。C.補間フィルタリング動き歪めに続いて、端数位置でのピクセル値を得るために、さまざまな補間フィルタが使用されてもよい。端数位置でのピクセル値を得るために使われる補間フィルタリング方法は、動きモデルパラメータの信号伝達の一環として指示されることができる。限定ではなく例として、端数位置でのピクセル値を得るために、下記に示される表7に指定される六つの補間フィルタのいずれが使用されることもできる。明示的フィルタ表7においてフィルタ指数5の場合、フィルタ係数はビットストリームの一部としてデコーダに送られる必要があることがある。動きモデルパラメータの信号伝達と同様に、係数は予測されることもできる。たとえば、フィルタ係数の予測は、信号伝達プロセスを通じてまたは前に符号化された区画を通じて達成されることができる。これは、前に符号化された区画と現在の区画の動きモデルが同様であるか異なっているかによらない。表7の他のフィルタのすべてフィルタ指数0~4は固定フィルタであり、暗黙的フィルタとも呼ばれる。固定フィルタについては、フィルタ係数はあらかじめ決まっており、よってデコーダにはフィルタインデックスが信号伝達される必要があるだけである。それで、デコーダは、たとえばルックアップテーブルを使うことによって係数を決定することができる。固定フィルタでは、係数量子化が行われない場合、固定フィルタ係数は浮動小数点精度であってもよい。浮動小数点精度の使用は、対応して浮動小数点精度の処理を使うことを必要とする。あるいはまた、補間フィルタのもう一つの実施形態では、フィルタ係数が固定小数点精度をもつよう量子化されることができる。固定小数点精度は一般に、実装の複雑さを軽減する。さらに、固定小数点精度は、ドリフトの可能性をなくす。ドリフトは、異なるプラットフォーム異なるオペレーティングシステムなどを使うことから異なる結果が得られる現象である。ドリフトは、異なるプラットフォーム上での異なる精度の浮動小数点数値表現たとえば異なる仮数および指数のサイズをもつ数値および算術の使用に起因することがありうる。さらにもう一つの実施形態では、フィルタ係数は、16ビットの算術が使用できるよう量子化されることができる。たとえば、フィルタ係数は、下記の表8ないし表11に示されるように、各フィルタフィルタ指数1~4について量子化されることができる。双線形フィルタ係数フィルタ指数0は前もって量子化される必要がないことを注意しておく。これは、双線形フィルタ係数は、オンザフライで固定小数点精度をもって簡単に計算されることができるからである。表8ないし表11に示されるフィルタは8ビットの入力ビデオ信号について16ビットの算術を使うことを許容する。量子化されたフィルタ係数は、132ピクセル精度までの補間を実行できるだけであるが、補間フィルタによって実行される動き歪めプロセスが132よりも高いピクセル精度を使う場合は、第二段の双線形フィルタまたは他の任意のフィルタが、より高いピクセル精度での値を得るために使用されてもよい。補間フィルタは、非線形な補間機構を考えてもよいことを注意しておく。非線形な補間は、ウェーブレットまたはバンドレットbandletベースの補間、動き補償された時間的フィルタリングMCTFmotioncompensatedtemporalfilteringベースの補間などといった技法を通じて達成されてもよい。種々の補間フィルタおよび/または補間機構が、クロマサンプルおよびルーマサンプルについて使用できる。ルーマサンプルはピクチャの明るさに関する情報を含む。換言すれば、ルーマサンプルはピクチャの無色情報を扱う。対照的に、クロマサンプルはピクチャの色情報を含む。補間フィルタは一般に、特定の基準または複数の基準に基づいて選択される。そのような基準は、先に論じたように、歪みに対する要件、レート‐歪み、歪み‐複雑さ、合同レート‐歪み‐複雑さなどを含んでいてもよい。図8は、例示的な合同補間フィルタ選択および強度補償推定プロセス800を示している。例示的な選択プロセス800は、強度情報を推定し、フィルタプールから最低のRDコストをもつ補間フィルタを選択する。第一のステップ805は、フィルタプールから現在の補間フィルタを選ぶことを含む。第二のステップ810は、第一のステップ805の補間フィルタを用いて参照ピクチャを歪めることを含む。第三のステップ815は、RDコストの計算において使うための強度補償推定を含む。第四のステップ820は、RDコストを計算することを含む。第五のステップ825は、現在フィルタのRDコストを、これまで評価された補間フィルタのすべての最小RDコストと比較することを含む。現在フィルタが現在の最小RDコストより低いRDコストを有していれば、最小RDコストは現在フィルタのRDコストに設定される。第六のステップ830は、フィルタプールからのすべての補間フィルタが評価されたかどうかを判定する。まだであれば、第二のステップ810ないし第六のステップ830が次の補間フィルタについて繰り返される。ひとたびすべての補間フィルタが評価されたら、最低のRDコストをもつ補間フィルタが選択される。図7に示される高速動きモデル選択アルゴリズム700についてと同様、図8に示される補間フィルタ選択アルゴリズム800もRDコストをその基準として利用する。RDコストを利用する基準を使っているのは単に例であり、当業者には、他のあらかじめ定義された符号化基準が使用されてもよいことがわかる。そのような基準はレート‐歪み‐複雑さコストを含み、動きモデルパラメータ信号伝達のためのビットオーバーヘッドも動きモデルを選択するために使われてもよい。表7で分類されるところのフィルタインデックス0~4をもつフィルタについては、フィルタ係数はあらかじめ定義されており、よって、デコーダにはフィルタ指数を信号伝達する必要があるだけである。明示的フィルタフィルタ指数5については、フィルタ係数が推定される必要がある。たとえば、明示的フィルタのフィルタ係数は、最小二乗推定器を使うことによって動きモデルパラメータに基づいて推定されてもよい。これらのフィルタ係数は次いでデコーダに信号伝達される。フィルタ選択プロセスを高速化するために他の方法が使われることもできる。たとえば、たった今論じた図8の補間フィルタ選択および強度補償推定は、同じプロセス内で実行された。あるいはまた、補間フィルタ選択および強度補償推定は別個のプロセスにおいて実行されることもできる。さらに、図8の選択プロセスと動きモデルパラメータ推定との間の逐次反復が実装されてもよい。固定したフィルタ信号伝達の実施形態を考える。具体的には、第一のピクセル精度レベルまで補間を実行する第一の固定したフィルタおよび前記第一のピクセル精度レベルより高い残りの諸ピクセル精度レベルについて補間を実行する第二の固定したフィルタを考える。第一の固定したフィルタに対応する第一のピクセル指数は、前記第一のピクセル精度レベルまでのすべてのピクセル精度レベルについて信号伝達されることができる。第二の固定したフィルタに対応する第二のピクセル指数は、第一のピクセル精度レベルより高い残りの諸ピクセル精度レベルについて信号伝達されることができる。いくつかの方法は、近隣の空間的区画であれ近隣の時間的区画であれ、近隣の諸区画を考慮することができる。例として、エンコーダは、特定の補間フィルタをグローバルレベルで、複数の補間フィルタを領域レベルで試験することができる。次いで、エンコーダは、レート‐歪みコストまたはレート‐歪み‐複雑さコストのようなあらかじめ定義された基準に基づいてグローバルまたは領域レベルの補間フィルタリングのどちらを利用するかどうかを選択できる。さらに、いくつかの方法は、早期終了を含むことができる。ここで、ある具体的な方法は、たとえば、複雑さ予算の考慮を含めることができる。複雑さ予算は、エンコーダによって定義されてもよい。ここで、エンコーダは、過度に複雑になる最適化プロセスを単純化するまたは終了させることができる。エンコーダはまた、最適化プロセスを実行するときにデコード複雑さをも考慮してもよい。さらに、明示的フィルタは、フィルタ係数信号伝達のための追加的なオーバーヘッドのためによりよいパフォーマンスを与えることもあるし、与えないこともある。一般に、エンコーダは、図8に与えられるような選択プロセスに基づいて明示的または固定フィルタのどちらを使うかについての決定を生成する。C.1明示的フィルタ信号伝達明示的補間フィルタ表7におけるフィルタ指数5が使用されるとき、フィルタ係数信号伝達は高いビットオーバーヘッドを被ることがある。このため、信号伝達される必要のある一意的なフィルタ係数の数を減らすためにある種の型のピクセル対称性および係数対称性が一般に利用される。一意的なフィルタ係数の数を減らすためにピクセルおよび係数の対称性を使うことを扱う例示的な文献は、2010年1月14日に出願された、BufferedAdaptiveFiltersという名称の米国仮出願第61295034である。この文献はここにその全体において参照によって組み込まれる。図9は、ピクセル対称性の第一の例を示している。具体的には、図9は、四分の一ピクセル精度を利用し、よってピクセルAないしOとラベル付けされた15個の端数ピクセル位置およびINTとラベル付けされたフルピクセル位置を示している。図9において、同じ網掛けパターンを共有する端数ピクセル位置は同じフィルタ係数の集合をも共有すると想定する。しかしながら、それらの補間フィルタは互いに対して転置されたtransposedおよび/またはフリップされたflippedバージョンである。したがって、図9に示されるピクセル対称性を使って、15個のピクセル位置のうち5個についての補間フィルタが信号伝達される必要があるだけである。具体的には、ピクセルACDおよびLは第一の組のフィルタ係数を共有し、BおよびHは第二の組のフィルタ係数を共有し、EGMおよびOは第三の組のフィルタ係数を共有し、Jは第四の組のフィルタ係数をもつ。結果として、ピクセル対称性を使うことにより、フィルタ係数の数は低減され、よってフィルタ係数信号伝達のためのビットオーバーヘッドが軽減される。図10は、ピクセル対称性の第二の例を示している。端数位置AおよびBについての水平方向補間フィルタおよび端数位置DおよびHについての垂直方向補間フィルタだけが信号伝達される。端数位置CおよびLはそれぞれ端数位置AおよびDと同じフィルタ係数の組を共有する。2Dピクセル位置つまりEFGIJKMNおよびOのそれぞれは、まず水平方向の補間フィルタを使い、次いで垂直方向の補間フィルタをフィルタリングしてまたはその逆補間される。フィルタ係数信号伝達のためのビットオーバーヘッドをさらに軽減するために、水平方向補間フィルタおよび垂直方向補間フィルタは、同じ組のフィルタ係数を共有するよう強制されてもよい。たとえば、ACDおよびLが一組のフィルタ係数を共有し、BおよびHが別の一組のフィルタ係数を共有するなどである。より特定的に、端数位置ACおよびDについてのピクセル対称性を考える。ピクセル対称性を活用することにより、端数位置AおよびCは同じフィルタ係数の組を共有していてもよいが、それらのフィルタは互いの転置されたバージョンである180度回転。端数位置AおよびDも同じ係数を共有するが、Aについてのフィルタは水平方向に適用され、Dについてのフィルタは垂直方向に適用され、よって、DのフィルタはAのフィルタに対して90度を示す。端数位置ACおよびDのいずれの間でも補間フィルタ自身は同一ではないが、これらの端数位置のいずれかについてフィルタ係数を信号伝達すれば十分である。これらの端数位置のいずれか一つの補間フィルタを使って、他の二つの補間フィルタを導出することができるからである。結果として、ピクセル対称性の使用からビットオーバーヘッドの節約が生ずる。先に挙げた他の対称性も、ビットオーバーヘッド節約を達成するために利用されてもよい。図9および図10は、ピクセル対称性の単に二つの例である。他の型のピクセル対称性も、フィルタ係数信号伝達のオーバーヘッドを軽減するために使用されてもよい。エンコーダは最適なピクセル対称性を選び、該ピクセル対称性をRPUペイロードの一部としてデコーダに信号伝達してもよい。参照ピクチャのピクセル対称性に加えて、フィルタ係数オーバーヘッドをさらに減らすために、係数対称性のような他の対称性も課されてもよい。たとえば、ピクセル位置BおよびHについての補間フィルタが対称的なフィルタであってもよい。補間フィルタによって実行される動き歪めプロセスの間は、より高い端数ピクセル精度が使われることが一般的である。より高い端数ピクセル精度は、歪められた参照ピクチャについてのよりよい品質につながる。しかしながら、より高い端数ピクセル精度は、信号伝達を必要とするより多数のフィルタにもつながり、結果としてビットオーバーヘッドが高くなる。たとえある種の型のピクセル対称性が強制されたとしても、ビットオーバーヘッドはピクセル精度が増すにつれて実質的に上昇することがある。図9におけるピクセル対称性を使う第一の例を考える。ここでは、先に論じたように、四分の一ピクセル精度が使われ、5つの補間フィルタが信号伝達される必要がある。四分の一ピクセル精度の代わりに2m分の一ピクセル精度が使われると考える。信号伝達される必要のある補間フィルタの数は-1となる。これは、132ピクセル精度m=5が使われる場合には152個のフィルタが信号伝達される必要があることを意味する。図10におけるピクセル対称性を使う第一の例を考える。ここでは、先に論じたように、四分の一ピクセル精度が使われ、4つの補間フィルタが信号伝達される必要がある。2m分の一ピクセル精度が使われると考える。信号伝達される必要のある補間フィルタの数は、水平方向および垂直方向の補間フィルタが異なることが許容されるならば2mとなり、水平方向および垂直方向の補間フィルタが同じであるよう強制されるならば2m1となる。あまりに多くのフィルタを信号伝達しなければならない問題に対処するため、明示的フィルタは、n<mとしてある精度12nまでしか信号伝達されなくてもよい。ここで、mはレート歪みコストのような基準に基づいてエンコーダによって選ばれるパラメータである。12nより高いいかなる精度についても、固定した補間フィルタ表7において指数0ないし4のフィルタが使用されうる。たとえば、図11は明示的フィルタ信号伝達のある実施形態1100を記述している。図11のプロセスは、最低の補間精度1105から始まる。これは一般に12ピクセル精度である。現在の精度についてすべての明示的フィルタが信号伝達されたら1110、プロセスはすべての精度が信号伝達されたかどうかを判定する1115。ブロック1115の判断が肯定的であれば、それ以上の補間フィルタが信号伝達される必要はない。そうではなく、1115の判断が否定的であれば、明示的フィルタのさらなる信号伝達が続いて行われるかどうかを示すために、図11で停止フラグstopflagとして示される一ビットのフラグが信号伝達される1120。停止フラグの値が1であれば1125、それ以上の明示的フィルタは信号伝達されない。そうではなく、停止フラグの値が0であれば1125、現在のピクセル精度がインクリメントされ1130、明示的補間フィルタのさらなる信号伝達が続けられるブロック1110、1115、1120および1125が繰り返される。すべての明示的フィルタが信号伝達されたのち、プロセスは、すべての精度レベルについての明示的フィルタが信号伝達されたかどうかを判定する1135。ブロック1135の判断が肯定的であれば、それ以上の信号伝達は必要ない。そうではなく、1135の判断が否定的であれば、プロセスは、残りの精度レベルすべてについて一つの固定したフィルタ指数を信号伝達するブロック1140。これらの残りの精度レベルすべてについての対応する補間フィルタはこのフィルタ指数から推定されうる。最後に、使用されるピクセル対称性の型前に信号伝達された、図11には示さずが適用されて、すべての精度レベルにおけるすべてのピクセル位置についての補間フィルタが得られる1145。強度補償表1において呈示された動きモデルは、参照ピクチャに関するある領域内に存在しうる動きについての正確な情報を提供できるが、動きモデルは一般に、シーン内に存在することがある強度変化、特に明るさおよびコントラストの変化についてはあまり多くの情報を提供しない。したがって、動きモデルパラメータを追加的な強度補償モデルと組み合わせることで、マルチビュー、スケーラブルまたは2Dコーデックシステム内での符号化効率におけるさらなる改善を提供することができる。強度補償は、強度補償パラメータの信号伝達に先立って、一組の強度補償パラメータを導出することを必要とする。強度補償パラメータは、ヒストグラムマッチング、最小二乗推定、DC減算および比考慮のような多様な方法を通じて導出できる。異なる強度補償パラメータがルーマおよびクロマ成分から導出できる。あるいはまた、強度補償パラメータの導出は一つの成分に基づくこともでき、一方で、その他については単純な投影方法を通じて導出できる。たとえば、いくつかの強度補償パラメータがルーマ成分のみに基づいて導出されることができる。残りの強度補償パラメータ、つまりクロマ成分から一般に得られるものは、ルーマ成分から導出されるパラメータからの情報を使って推定されることができる。参照ピクチャに適用される強度補償は、高ダイナミックレンジアプリケーションで使われるもののような非線形方法を含む多様な方法を使って表現できる。ある種の実施形態では、強度補償は、単純のため、下記の式に示されるような線形フォーマットを使うことができる。I=wIoここで、Iは強度補償後の最終的なピクセルであり、Iは強度補償前のもとのピクセルであり、wは強度補償の重みを示すパラメータであり、oは強度補償のオフセットである。パラメータwおよびoは一般に、符号化において使うのに先立って量子化される。最終的なピクセルIは、ピクセル値の要求される精度に従って制約される必要があることもある。強度パラメータは、普通、エンコードプロセスおよび計算プロセスを単純化するために整数形または固定小数点形で表現される。その結果、スケーリング因子wおよびoは浮動小数点精度から整数精度または固定点精度に変換されてもよい。そのような変換は、式において先に定義した。強度補償パラメータ推定は、何らの動き考慮もなしに原ピクチャに基づくことも、動き整列/補償されたピクチャに基づくこともできる。動き整列/補償に基づく場合、強度補償パラメータ推定は改善されることができる。さらに、強度補償パラメータ推定のために逐次反復方法が利用されることができる。例示的な逐次反復方法は次のように与えられる。予備的な動きモデルパラメータを導出したのち、初期強度補償パラメータが予備的な動きモデルパラメータから導出されることができる。これらの初期の強度補償パラメータが与えられると、予備的な動きモデルパラメータが洗練されることができる。換言すれば、強度パラメータを利用することによって、すべての動きモデルパラメータが改めて推定されることができ、それにより第二の組の動きモデルパラメータが与えられる。第二の組の動きモデルパラメータを使って、強度補償パラメータの第二の洗練が続くことができる。逐次反復プロセスは、動きモデルパラメータおよび強度パラメータにおいて無視できる変化が観察されるまで繰り返されることができる。あるいはまた、逐次反復プロセスは、強度補償の実行が特定の用途にとって十分となるまで繰り返されることができる。もう一つの代替として、逐次反復プロセスはあらかじめ定義された反復工程回数にわたって繰り返されることができる。フェードおよびクロスフェードの検出も、逐次反復プロセスを高速化するために考慮されることができる。たとえば、単純化された方法を使うことができ、参照ピクチャにおいてフェードやクロスフェードが検出されない場合には、強度パラメータの検出は完全にスキップされることができる。他方、フェードまたはクロスフェードが検出される場合、エンコーダはさらに照明パラメータの推定を実行し、該推定がエンコードプロセスに有益である場合には、それらの照明パラメータをデコーダに信号伝達することができる。先述したように、強度パラメータはRPU内で任意的であることができる。強度パラメータの信号伝達は各領域を信号伝達するために使われるフラグに基づくことができる。あるいはまた、強度パラメータの信号伝達は、近隣の区画のいずれかまたは全部も強度パラメータを信号伝達するかどうかに基づくこともできる。換言すれば、近隣の区画が、近傍ベースの予測プロセスにおいて利用されることができる。近傍ベースの予測プロセスは、たとえば、多数決投票を使うことができる。多数決投票では、近隣区画における強度パラメータが、それらの同じ強度パラメータがある特定の領域について信号伝達されるかどうかを決定するために使われる。すなわち、近隣区画の全部または大半が同じ強度パラメータを使う場合、それらの同じ強度パラメータが予測のために使われる。強度パラメータの符号化は、近隣パラメータの強度パラメータの値にも基づくことができる。符号化も、先に論じた動き予測モデルの場合と同様な、グローバルな予測方法を考えることができる。先に示唆したように、異なる色成分についてのオフセットoおよび重みwについて、異なるフラグが信号伝達されることもできる。強度パラメータがビットストリーム中で信号伝達されない場合、デフォルトの強度パラメータの組が使われる。エンコーダおよびデコーダの両方において新しい参照ピクチャを生成するために、強度補償は下記に示す式に従って実行されることができる。I=Floorsoointswrここで、rは丸めオフセットであり、wintおよびointはビットストリームからデコードされたところの整数精度をもつ強度パラメータ具体的には、それぞれ重みおよびオフセットパラメータであり、swおよびsoはそれぞれ重みおよびオフセットパラメータについてのスケーリング因子である。式は、照明パラメータにスケーリング因子swおよびsoを適用するほかは、式と等価である。E.ノイズ除去フィルタ参照処理の例示的な実施形態の最終ステップとして、処理された参照ピクチャの品質をさらに改善するために、一般にアーチファクト軽減フィルタとも称されるノイズ除去フィルタが動き補償された画像に適用されてもよい。ノイズ除去フィルタは、符号化および/または歪めプロセスの間に導入されたノイズおよびアーチファクトならびにもとの源に存在していたことがありうるノイズおよびアーチファクトをさらに軽減するために使用されてもよい。ノイズおよびアーチファクトをさらに軽減することにより、ノイズ除去フィルタは、参照ピクチャの品質をさらに改善し、よって、参照ピクチャの、予測信号としての機能を改善する。多くの実施形態において、ノイズ除去フィルタは、エンコーダ側において最小二乗推定器または他の最適化プロセスを使って得ることができる。結果として得られるノイズ除去フィルタはRPU内で適切なシンタックスを使ってデコーダに信号伝達されてもよい。先述したように、図12はデコーダ側のブロック図を描いている。具体的には、図12は、デコーダ側でのRPU内部のさまざまなコンポーネントを示している。ノイズ除去フィルタがRPU内部で使われるとき、エンコーダは、ノイズ除去フィルタを、RPU内の動きモデルおよび対応する動きモデルパラメータ、補間フィルタ、強度補償などといった他のコンポーネントと一緒に合同して最適化してもよい。換言すれば、エンコーダは、図8に示される選択ループ内部でのノイズ除去フィルタ最適化を考えてもよい。本開示において記述される方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記述される特徴は一緒に実装されてもよいしたとえば集積論理デバイスのような論理デバイスにおいて、あるいは別個に実装されてもよいたとえば別個の接続された論理デバイスとして。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記述された方法を実行する命令を含むコンピュータ可読媒体を有していてもよい。コンピュータ可読媒体はたとえば、ランダムアクセスメモリRAMおよび/または読み出し専用メモリROMを有していてもよい。命令はプロセッサたとえばデジタル信号プロセッサDSP、特定用途向け集積回路ASICまたはフィールドプログラム可能な論理アレイFPGAによって実行されてもよい。このように、本発明のある実施形態は、下記の実施例の一つまたは複数に関係することがありうる。よって、本発明は、以下の付番実施例EEEEnumeratedExampleEmbodimentを含むがそれに限定されない、本稿に記載される形のいずれにおいて具現されてもよい。それは、本発明のいくつかの部分の構造、特徴および機能を述べたものである。EEE1参照ピクチャを処理する方法であって:iエンコードされるべき原ピクチャに対して、再構成された参照ピクチャおよび処理された参照ピクチャ推定に基づいて、動き推定を実行する段階と;ii動き推定されたピクチャをさらに処理して、さらに処理された参照ピクチャ推定を得る段階と;動き推定およびさらなる処理を逐次反復して、処理された参照ピクチャを提供する段階とを含む、方法。EEE2付番実施例1記載の方法であって、前記さらなる処理は、動きモデルパラメータを得るさらなる動き推定と、補間フィルタパラメータ、強度補償パラメータおよびノイズ除去フィルタパラメータのうちの少なくとも一つの推定と、前記動きモデルパラメータならびに補間フィルタパラメータ、強度補償パラメータおよびノイズ除去フィルタパラメータのうちの前記少なくとも一つの前記再構成された参照ピクチャへの適用とを含む、方法。EEE3単一層singlelayeredまたは多層multilayeredビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを推定するための逐次反復方法であって:iエンコードされるべき原ピクチャおよび前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と;iiさらなる動き推定を実行して動きモデルパラメータを与える段階と;iii前記動きモデルパラメータに従って歪めwarpingを実行して歪められたピクチャを得る段階と;段階iないしiiiを逐次反復する段階とを含み、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づく、方法。EEE4単一層singlelayeredまたは多層multilayeredビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを推定するための逐次反復方法であって:iエンコードされるべき原ピクチャおよび前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と;iiさらなる動き推定を実行して動きモデルパラメータを与える段階と;iii前記動きモデルパラメータを処理して、補間フィルタパラメータおよび強度補償パラメータのうち少なくとも一つを与える段階と;iv前記動きモデルパラメータおよび補間フィルタパラメータおよび強度補償パラメータのうち前記少なくとも一つに従って歪めwarpingを実行して歪められたピクチャを得る段階と;段階iないしivを逐次反復する段階とを含み、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づく、方法。EEE5付番実施例3記載の方法であって、逐次反復の前に、iv歪められたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含み、前記逐次反復はivをも逐次反復し、それによりiないしivを逐次反復し、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、方法。EEE6付番実施例4記載の方法であって、逐次反復の前に、iv歪められたピクチャをフィルタリングして前記処理された参照ピクチャを得る段階をさらに含み、前記逐次反復はivおよびvをも逐次反復し、それによりiないしvを逐次反復し、その後の反復工程におけるiの動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャバッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、方法。EEE7前記再構成された参照ピクチャが、処理されていない、前記参照ピクチャバッファのもとの参照ピクチャである、付番実施例1ないし6のうちいずれか一項記載の方法。EEE8前記再構成された参照ピクチャが、前に処理された参照ピクチャである、付番実施例1ないし6のうちいずれか一項記載の方法。EEE9前記前に処理された参照ピクチャが、代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの少なくとも一つを適用することによって処理されている、付番実施例1ないし6のうちいずれか一項記載の方法。EEE10代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャから推定される、付番実施例9記載の方法。EEE11代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャおよび前記前に処理された参照ピクチャから推定される、付番実施例9記載の方法。EEE12前記処理された参照ピクチャが、前記逐次反復におけるその後の動き推定のための参照として使われる、付番実施例1~2または5~11のうちいずれか一項記載の方法。EEE13前記動き推定がブロックベースの動き推定を含む、付番実施例1ないし12のうちいずれか一項記載の方法。EEE14前記動き推定が周波数相関方法または位相相関方法を含む、付番実施例1ないし12のうちいずれか一項記載の方法。EEE15前記動き推定がピクセルレベルの動き推定方法を含む、付番実施例1ないし12のうちいずれか一項記載の方法。EEE16前記さらなる動き推定が勾配降下推定方法である、付番実施例2ないし15のうちいずれか一項記載の方法。EEE17前記勾配降下推定方法は、ニュートンラフソンNewtonRaphson逐次反復法、レヴェンバーグマーカート逐次反復法および最小二乗推定器からなる群から選択される当てはめフィッティング方法を利用する、付番実施例16記載の方法。EEE18前記さらなる動き推定が単一動きモデルを利用する、付番実施例2ないし17のうちいずれか一項記載の方法。EEE19前記さらなる動き推定が複数の動きモデルを利用する、付番実施例2ないし17のうちいずれか一項記載の方法。EEE20前記単一動きモデルまたは前記複数の動きモデルが、並進、ズーム、回転、等方、アフィン、透視および多項式動きモデルからなる群から選択される、付番実施例18または19記載の方法。EEE21前記動きモデルパラメータが前にエンコードされたまたは処理されたピクチャからのものである、付番実施例2ないし20のうちいずれか一項記載の方法。EEE22前記動きモデルパラメータが同じピクチャの前に処理された領域からのものである、付番実施例2ないし20のうちいずれか一項記載の方法。EEE23前記再構成された参照ピクチャが複数の重なり合う領域に分割される、付番実施例2ないし22のうちいずれか一項記載の方法。EEE24前記再構成された参照ピクチャが複数の重なり合わない領域に分割される、付番実施例2ないし22のうちいずれか一項記載の方法。EEE25補間フィルタ選択および強度補償推定を通じた前記動きモデルパラメータの前記処理は、前記エンコードされるべき原ピクチャおよび前記再構成された参照ピクチャにも基づく、付番実施例16ないし24のうちいずれか一項記載の方法。EEE26前記フィルタリングはノイズ除去フィルタリングを含む、付番実施例5ないし25のうちいずれか一項記載の方法。EEE27前記歪めは前記再構成された参照ピクチャに基づいて実行される、付番実施例5ないし26のうちいずれか一項記載の方法。EEE28前記動きモデルパラメータは前記歪められたピクチャに基づいて選択される、付番実施例3または4記載の方法。EEE29前記動きモデルパラメータは前記処理された参照ピクチャに基づいて選択される、付番実施例5または6記載の方法。EEE30前記動きモデルパラメータは、歪みコスト、レート‐歪みコスト、歪み複雑さまたはレート‐歪み複雑さに基づいて選択される、付番実施例2ないし26のうちいずれか一項記載の方法。EEE31ピクチャの諸領域の動きモデルパラメータ推定が、重なり合うまたは重なり合わない領域の解析を通じて行われる、付番実施例3ないし22のうちいずれか一項記載の方法。EEE32前記解析が平均することを含む、付番実施例31記載の方法。EEE33前記解析が重み付き平均することを含む、付番実施例31記載の方法。EEE34前記解析が、前記重なり合うまたは重なり合わない領域のいずれかに複数の動きモデルを適用し、該複数の動きモデルにおける各動きモデルの寄与に基づいて平均を得ることを含む、付番実施例31記載の方法。EEE35前記解析が、前記重なり合うまたは重なり合わない領域のいずれかに複数の動きモデルを適用し、該複数の動きモデルにおける各動きモデルの寄与に基づいて重み付き平均を得ることを含む、付番実施例31記載の方法。EEE36前記重み付き平均の重みが前記デコーダに信号伝達される、付番実施例35記載の方法。EEE37前記解析が領域境界にまたがってブロック解除を実行することを含む、付番実施例31記載の方法。EEE38ブロック解除を実行する際にピクセルベースの方法が使われる、付番実施例37記載の方法。EEE39ブロック解除を実行する際に周波数領域の方法が使われる、付番実施例37記載の方法。EEE40補間フィルタ選択が、歪めwarpingおよびレート歪みratedistortion考慮に基づいて実行される、付番実施例25記載の方法。EEE41補間フィルタ選択が前記デコーダに信号伝達される、付番実施例25記載の方法。EEE42補間フィルタパラメータが前記動きモデルパラメータから得られ、前記補間フィルタパラメータがさらに、複数の独立な補間フィルタからのフィルタパラメータに依存する、付番実施例5または6記載の方法。EEE43前記複数の独立な補間フィルタが複数のピクセル精度レベルに関する、付番実施例42記載の方法。EEE44前記複数の独立な補間フィルタが複数の固定フィルタを含み、各固定フィルタは固定フィルタ指数インデックスによって同定される、付番実施例43記載の方法。EEE45前記複数の独立な補間フィルタが少なくとも一つの固定フィルタおよび少なくとも一つの明示的フィルタを含む、付番実施例43記載の方法。EEE46前記複数の固定フィルタが、前記複数の固定フィルタに対応するすべての精度レベルについて、前記複数の固定フィルタの各固定フィルタに対応する固定フィルタ指数を使って信号伝達される、付番実施例44記載の方法。EEE47付番実施例44記載の方法であって:前記複数の固定フィルタが第一の固定フィルタおよび第二の固定フィルタを含み、前記第一の固定フィルタが第一の固定フィルタ指数によって同定され、前記第二の固定フィルタが第二の固定フィルタ指数によって同定され、前記固定フィルタが、第一のピクセル精度レベルまで補間を実行し、前記第二の固定フィルタが、前記第一のピクセル精度レベルより高い残りのピクセル精度レベルについて補間を実行する、方法。EEE48前記第一の固定フィルタが、前記第一の固定フィルタに対応するすべてのピクセル精度レベルについて、前記第一の固定フィルタ指数を使って信号伝達され、前記第二の固定フィルタが、前記第二の固定フィルタに対応するすべてのピクセル精度レベルについて、前記第二の固定フィルタ指数を使って信号伝達される、付番実施例47記載の方法。EEE49前記独立な補間フィルタが、16ビット算術をもって使うために適応されている、付番実施例43記載の方法。EEE50前記独立な補間フィルタが、16ビット算術をもって使うために適応されている、付番実施例44または45記載の方法。EEE51前記少なくとも一つの明示的フィルタが、前記少なくとも一つの明示的フィルタに対応するすべてのピクセル精度レベルについて信号伝達される、付番実施例45記載の方法。EEE52前記少なくとも一つの固定フィルタが、前記少なくとも一つの固定フィルタに対応するすべてのピクセル精度レベルについて、前記少なくとも一つの固定フィルタに対応する前記固定フィルタ指数を使って信号伝達される、付番実施例50記載の方法。EEE53前記少なくとも一つの明示的フィルタが、前記少なくとも一つの明示的フィルタに対応するすべてのピクセル精度レベルについて信号伝達される、付番実施例50記載の方法。EEE54各ピクセル精度レベルと該精度レベルにおいて使われるべきその対応する補間フィルタとの間の関係が、使用される補間フィルタの型から推定される、付番実施例43記載の方法。EEE55各ピクセル精度レベルと該精度レベルにおいて使われるべきその対応する補間フィルタとの間の関係が、ビットストリームにおいて前記デコーダに信号伝達される、付番実施例43記載の方法。EEE56独立な補間フィルタは、双線形、ランツォシュ、双三次、ミッチェルネトラヴァリ、ウェーブレットベース、バンドレットbandletベース、動き補償された時間的フィルタリングMCTFmotioncompensatedtemporalfilteringベースおよび明示的補間フィルタからなる群から選択される、付番実施例42または43記載の方法。EEE57ノイズ除去フィルタリングを実行するノイズ除去フィルタが最小二乗推定器を使って得られる、付番実施例2または26記載の方法。EEE58ノイズ除去フィルタリングを実行するノイズ除去フィルタが、前記動きモデルパラメータ、前記補間フィルタパラメータおよび前記強度補償パラメータのうちの少なくとも一つの推定プロセスと合同して得られる、付番実施例2または26記載の方法。EEE59ノイズ除去フィルタリングを実行するノイズ除去フィルタが、前記動きモデルパラメータ、前記補間フィルタパラメータおよび前記強度補償パラメータの推定プロセスの完了後に得られる、付番実施例2または26記載の方法。EEE60ノイズ除去フィルタリングを実行するノイズ除去フィルタが、ガウシアンフィルタ、メジアンフィルタおよび順序付きフィルタからなる群から選択される、付番実施例2、26、58または59記載の方法。EEE61単一層singlelayeredまたは多層multilayeredビデオ符号化システムにおける参照ピクチャ処理を実行するときに、エンコーダから得られるパラメトリック情報を受領し、パースするparseよう適応されたデコーダにおいて、参照ピクチャバッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域をデコードする方法であって:i入力ピクチャの歪めを実行して第一の処理されたピクチャを得る段階と;ii前記第一の処理されたピクチャに対して強度補償を適用して第二の処理されたピクチャを得る段階とを含む、方法。EEE62iii前記第二の処理されたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含む、付番実施例61記載の方法。EEE63歪めwarpingが、前記再構成された参照ピクチャに基づいて実行される、付番実施例61または62記載の方法。EEE64歪めwarpingが、動きモデルパラメータおよび補間フィルタパラメータに基づいて実行される、付番実施例61ないし63のうちいずれか一項記載の方法。EEE65強度補償が強度補償パラメータに基づいて実行される、付番実施例61ないし64のうちいずれか一項記載の方法。EEE66ノイズ除去フィルタがノイズ除去フィルタパラメータに基づいて実行される、付番実施例61ないし64のうちいずれか一項記載の方法。EEE67ブロック解除フィルタリングがブロック解除フィルタパラメータに基づいて実行される、付番実施例61ないし64のうちいずれか一項記載の方法。EEE68前記再構成された参照ピクチャが、処理されていない、前記参照ピクチャバッファのもとの参照ピクチャである、付番実施例61または62記載の方法。EEE69前記再構成された参照ピクチャが、前に処理された参照ピクチャである、付番実施例61または62記載の方法。EEE70前記前に処理された参照ピクチャが、代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの少なくとも一つを適用することによって処理されている、付番実施例61または62記載の方法。EEE71代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャから推定される、付番実施例70記載の方法。EEE72代替的な動きモデルパラメータ、代替的な補間フィルタパラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタパラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャおよび前記前に処理された参照ピクチャから推定される、付番実施例70記載の方法。本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。本開示が個別的な方法またはシステムに限定されないことは理解しておくべきである。個別的な方法やシステムはむろん多様である。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項において、単数形の表現は、前後関係が明らかにそうでないことを示すのでない限り、複数の被指示物も含む。特に定義されているのでない限り、本稿で使われているすべての技術用語および科学用語は、本開示が関係する当業者によって通常理解される意味をもつ。上記の例は、本開示の参照処理方法の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。本開示を実行するための上記の態様の修正が当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。本開示のいくつかの実施形態を述べてきた。だが、本開示の精神および範囲から外れることなくさまざまな修正がなされてもよいことは理解されるであろう。よって、他の実施形態も請求項の範囲内にある。