(57)【特許請求の範囲】
【請求項１】
参照ピクチャを装置が処理する方法であって：
ｉ）エンコードされるべき原ピクチャに対して、再構成された参照ピクチャおよび処理された参照ピクチャ推定に基づいて、動き推定を実行して動きモデル・パラメータを与える段階と；
ｉｉ）動き推定されたピクチャをさらに処理して、さらに処理された参照ピクチャ推定を得る段階と；
動き推定およびさらなる処理を逐次反復して、処理された参照ピクチャを提供する段階とを含んでおり、
前記再構成された参照ピクチャが複数の領域に分割され；
前記動き推定の実行が前記複数の領域についての動きモデル・パラメータを与え；
前記再構成された参照ピクチャの、前記複数の領域中の少なくとも一つの領域について、前記動き推定の実行は、前記再構成された参照ピクチャの前記少なくとも一つの領域に複数の動きモデルを適用して、前記再構成された参照ピクチャの前記少なくとも一つの領域に関連付けられた動きモデル・パラメータを与えることを含み、前記複数の動きモデルのうちの各動きモデルは、前記再構成された参照ピクチャの前記少なくとも一つの領域に別個に適用され、前記少なくとも一つの領域に関連付けられた動きモデル・パラメータは、前記再構成された参照ピクチャの前記少なくとも一つの領域に前記複数の動きモデルのそれぞれを別個に適用することによって、ブロック・ベースの動き推定によって決定される動きベクトルの平均または重み付き平均に基づいて与えられる、
方法。
【請求項２】
請求項１記載の方法であって、前記さらなる処理は、さらなる動き推定と、補間フィルタ・パラメータ、強度補償パラメータおよびノイズ除去フィルタ・パラメータのうちの少なくとも一つの推定と、前記動きモデル・パラメータならびに補間フィルタ・パラメータ、強度補償パラメータおよびノイズ除去フィルタ・パラメータのうちの前記少なくとも一つの、前記再構成された参照ピクチャへの適用とを含む、方法。
【請求項３】
単一層または多層ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを装置が推定する逐次反復方法であって：
ｉ）エンコードされるべき原ピクチャおよび前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と；
ｉｉ）さらなる動き推定を実行して動きモデル・パラメータを与える段階と；
ｉｉｉ）前記動きモデル・パラメータに従って歪めを実行して歪められたピクチャを得る段階と；
段階ｉ）ないしｉｉｉ）を逐次反復する段階とを含み、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づき、
前記再構成された参照ピクチャが複数の領域に分割され；
前記さらなる動き推定の実行が前記複数の領域についての動きモデル・パラメータを与え；
前記再構成された参照ピクチャの、前記複数の領域中の少なくとも一つの領域について、前記さらなる動き推定の実行は、前記再構成された参照ピクチャの前記少なくとも一つの領域に複数の動きモデルを適用して、前記再構成された参照ピクチャの前記少なくとも一つの領域に関連付けられた動きモデル・パラメータを与えることを含み、前記複数の動きモデルのうちの各動きモデルは、前記再構成された参照ピクチャの前記少なくとも一つの領域に別個に適用され、前記少なくとも一つの領域に関連付けられた動きモデル・パラメータは、前記再構成された参照ピクチャの前記少なくとも一つの領域に前記複数の動きモデルのそれぞれを別個に適用することによって、ブロック・ベースの動き推定によって決定される動きベクトルの平均または重み付き平均に基づいて与えられる、
方法。
【請求項４】
請求項３記載の方法であって、逐次反復の前に、
ｉｖ）歪められたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含み、
前記逐次反復はｉｖ）をも逐次反復し、それによりｉ）ないしｉｖ）を逐次反復し、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、
方法。
【請求項５】
単一層または多層ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを装置が推定する逐次反復方法であって：
ｉ）エンコードされるべき原ピクチャおよび前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と；
ｉｉ）さらなる動き推定を実行して動きモデル・パラメータを与える段階と；
ｉｉｉ）前記動きモデル・パラメータを処理して、補間フィルタ・パラメータおよび強度補償パラメータのうち少なくとも一つを与える段階と；
ｉｖ）前記動きモデル・パラメータおよび補間フィルタ・パラメータおよび強度補償パラメータのうち前記少なくとも一つに従って歪めを実行して歪められたピクチャを得る段階と；
段階ｉ）ないしｉｖ）を逐次反復する段階とを含み、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づき、
前記再構成された参照ピクチャが複数の領域に分割され；
前記さらなる動き推定の実行が前記複数の領域についての動きモデル・パラメータを与え；
前記再構成された参照ピクチャの、前記複数の領域中の少なくとも一つの領域について、前記さらなる動き推定の実行は、前記再構成された参照ピクチャの前記少なくとも一つの領域に複数の動きモデルを適用して、前記再構成された参照ピクチャの前記少なくとも一つの領域に関連付けられた動きモデル・パラメータを与えることを含み、前記複数の動きモデルのうちの各動きモデルは、前記再構成された参照ピクチャの前記少なくとも一つの領域に別個に適用され、前記少なくとも一つの領域に関連付けられた動きモデル・パラメータは、前記再構成された参照ピクチャの前記少なくとも一つの領域に前記複数の動きモデルのそれぞれを別個に適用することによって、ブロック・ベースの動き推定によって決定される動きベクトルの平均または重み付き平均に基づいて与えられる、
方法。
【請求項６】
請求項５記載の方法であって、逐次反復の前に、
ｉｖ）歪められたピクチャをフィルタリングして前記処理された参照ピクチャを得る段階をさらに含み、
前記逐次反復はｉｖ）およびｖ）をも逐次反復し、それによりｉ）ないしｖ）を逐次反復し、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、
方法。
【請求項７】
単一層または多層ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、エンコーダから得られるパラメトリック情報を受領し、パースするよう適応されたデコーダにおいて、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域をデコーダがデコードする方法であって：
ｉ）入力ピクチャの歪めを実行して第一の処理されたピクチャを得る段階であって、前記歪めは少なくとも、前記エンコーダから受領される動きモデル・パラメータに基づく、段階と；
ｉｉ）前記第一の処理されたピクチャに対して強度補償パラメータに基づく強度補償を適用して第二の処理されたピクチャを得る段階とを含み、
前記再構成された参照ピクチャが複数の領域に分割され；
前記再構成された参照ピクチャの、前記複数の領域中の少なくとも一つの領域について、
前記再構成された参照ピクチャの前記少なくとも一つの領域に関連付けられており前記エンコーダから受領される動きモデル・パラメータは、前記エンコーダにおいて、前記再構成された参照ピクチャの前記少なくとも一つの領域に複数の動きモデルを適用することによって得られ、前記複数の動きモデルのうちの各動きモデルは、前記再構成された参照ピクチャの前記少なくとも一つの領域に別個に適用され、前記少なくとも一つの領域に関連付けられた動きモデル・パラメータは、前記再構成された参照ピクチャの前記少なくとも一つの領域に前記複数の動きモデルのそれぞれを別個に適用することによって、ブロック・ベースの動き推定によって決定される動きベクトルの平均または重み付き平均に基づいて与えられる、
方法。
【請求項８】
ｉｉｉ）前記第二の処理されたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含む、
請求項７記載の方法。
【請求項９】
前記再構成された参照ピクチャが、前記参照ピクチャ・バッファから取得されるもとの参照ピクチャを含み、前記参照ピクチャ・バッファから取得されたのち動き推定の前記実行の前に何らの処理もされていない、請求項１ないし６のうちいずれか一項記載の方法。
【請求項１０】
前記再構成された参照ピクチャが、前に処理された参照ピクチャを含み、前記前に処理された参照ピクチャは、前記参照ピクチャ・バッファから取得されたのち動き推定の前記実行の前に処理された参照ピクチャである、請求項１ないし６のうちいずれか一項記載の方法。
【請求項１１】
前記前に処理された参照ピクチャが、代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの少なくとも一つを適用することによって処理されている、請求項１０記載の方法。
【請求項１２】
代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャから推定される、請求項１１記載の方法。
【請求項１３】
代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャおよび前記前に処理された参照ピクチャから推定される、請求項１１記載の方法。
【請求項１４】
前記処理された参照ピクチャが、前記逐次反復におけるその後の動き推定のための参照として使われる、請求項１〜６または１１のうちいずれか一項記載の方法。
【請求項１５】
前記動き推定が：
ブロック・ベースの動き推定；
周波数相関動き推定；
位相相関動き推定；
ピクセル・レベルの動き推定；
勾配降下推定
のうち少なくとも一つを含む、請求項１ないし６または請求項１１ないし１２のうちいずれか一項記載の方法。
【請求項１６】
請求項１ないし８のうちいずれか一項記載の方法であって、前記再構成された参照ピクチャの前記少なくとも一つの領域に複数の動きモデルを適用することが：
前記少なくとも一つの領域に対して第一の動きモデルを適用して第一の組の動きモデル・パラメータを生成し；
前記少なくとも一つの領域に対して第二の動きモデルを適用して第二の組の動きモデル・パラメータを生成することを含む、
方法。
【請求項１７】
請求項１ないし８のうちいずれか一項記載の方法であって、前記再構成された参照ピクチャの前記少なくとも一つの領域が、前記再構成された参照ピクチャの前記複数の領域のうちの少なくとも第一の領域および第二の領域の重なりによって形成され、前記再構成された参照ピクチャの前記少なくとも一つの領域に複数の動きモデルを適用することが：
前記第一の領域に対して第一の動きモデルを適用して第一の組の動きモデル・パラメータを生成し；
前記第二の領域に対して第二の動きモデルを適用して第二の組の動きモデル・パラメータを生成し、それにより前記再構成された参照ピクチャの前記少なくとも一つの領域に前記第一および第二の動きモデルを適用することを含む、
方法。
【請求項１８】
前記強度補償パラメータの少なくとも一つがルーマ成分のみに基づいて導出される、請求項２または請求項５ないし８のうちいずれか一項記載の方法。
【請求項１９】
第一の強度補償パラメータがルーマ成分のみに基づいて導出され、第二の強度補償パラメータが前記第一の強度補償パラメータに基づいて導出される、請求項２または請求項５ないし８のうちいずれか一項記載の方法。
【請求項２０】
請求項１ないし１５のうちいずれか一項記載の方法を実行、執行または制御する手段を有するシステム。
【請求項２１】
少なくとも一つのプロセッサに請求項１ないし１５のうちいずれか一項記載の方法を実行させるための命令を格納したコンピュータ可読記憶媒体。
【請求項２２】
少なくとも一つのプロセッサと；
命令を格納したコンピュータ可読記憶媒体とを有するビデオ・エンコーダであって、前記命令は、前記少なくとも一つのプロセッサに、
請求項１ないし６または１１ないし１５のうちいずれか一項記載の方法を実行させるものである、
ビデオ・エンコーダ。
【請求項２３】
少なくとも一つのプロセッサと；
命令を格納したコンピュータ可読記憶媒体とを有するビデオ・デコーダであって、前記命令は、前記少なくとも一つのプロセッサ上で実行されるときに、
請求項２２記載のビデオ・エンコーダを用いて出力されたビデオ信号をデコードする；または
請求項１ないし１５のうちいずれか一項記載の方法を実行することを、前記プロセッサにさせるものである、
ビデオ・デコーダ。
【請求項２４】
少なくとも一つのプロセッサと；
命令を格納したコンピュータ可読記憶媒体とを有するビデオまたはコンピューティング装置であって、前記命令は、前記少なくとも一つのプロセッサ上で実行されるときに、
請求項２０記載のビデオ・エンコーダから出力されたビデオ信号をエンコードする；
請求項２２または２３の一つまたは複数に記載されるビデオ・エンコーダを用いて出力されたビデオ信号をデコードする；または
請求項１ないし１５のうちいずれか一項記載の方法を実行することを、
前記プロセッサにさせるものである、
装置。
【請求項２５】
請求項２２または２３の一つまたは複数に記載されるビデオ・エンコーダ；
請求項２３記載のビデオ・デコーダ；または
請求項２４記載のビデオまたはコンピューティング装置
のうちの少なくとも一つを有する、ビデオまたはコンピューティング装置。
【請求項２６】
請求項１ないし１５のうちいずれか一項記載の方法を実行するよう構成されている、プログラムされているまたは制御されている、請求項２５記載のビデオ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2010年7月21日に出願された米国仮特許出願第61/366,517号の優先権を主張する。該出願の内容はここにその全体において参照によって組み込まれる。
【０００２】
技術
本開示は概括的には画像処理およびビデオ処理に関する。より詳細には、ビデオ符号化のための高度な動きモデルを使った参照処理に関する。
【背景技術】
【０００３】
動き補償された予測ベースのビデオ符号化方式において、ビデオ符号化方式に使われる参照ピクチャの品質は符号化効率にかなりの影響を及ぼすことがある。すなわち、高品質であって源ピクチャとの相関も高いほど、一般に、改善された符号化利益につながる。符号化利益は、改善された符号化効率、低下した複雑さおよびより簡単な並列化といった因子を含む。
【０００４】
図１は、従来のビデオ符号化システムの実装を示している。図１に示される従来のビデオ符号化システムのような従来のビデオ符号化システムでは、参照ピクチャは参照ピクチャ・バッファ（１００）から、一般には該参照ピクチャに対して何らの追加的処理も適用されることなく、取得される。参照ピクチャは一般に、その後のピクチャの予測のために使われる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Advanced  video  coding  for  generic  audiovisual  services、http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264、March  2010
【非特許文献２】SMPTE  421M、"VC-1  Compressed  Video  Bitstream  Format  and  Decoding  Process"、April  2006
【非特許文献３】G.J.  Sullivan  and  T.  Wiegand、"Rate-distortion  optimization  for  video  compression"、IEEE  Signal  Processing  Magazine、vol.15,  6号、November  1998
【非特許文献４】Y.  He,  B.  Feng,  S.  Yang,  Y.  Zhong、"Fast  Global  Motion  Estimation  for  Global  Motion  Compensation  Coding"、2001  IEEE  International  Symposium  on  Circuits  and  Systems  (ISCAS'  2001)、May  2001、Page(s):  233-236  vol.  2
【発明の概要】
【発明が解決しようとする課題】
【０００６】
何らの追加的処理もないことは、多くの符号化シナリオにおいて見られる。そのような符号化シナリオは、静的ビデオ・シーケンスまたは一貫した並進動きをもって動いているシーケンスについての符号化を含む。しかしながら、参照ピクチャをその後のピクチャの予測のために使う前に前処理することによって、改善された符号化利益を達成できる。前処理が使われる一つのシナリオは、ステレオまたはマルチポイント・ビデオ符号化アプリケーションのものである。ここでは、ある種のビュー／層〔レイヤー〕が他のビュー／層を予測するのに利用され、他のビュー／層が互いに異なる角度で捕捉されうる。
【０００７】
以下の件がここに参照によって組み込まれる：2010年4月20日に出願された国際特許出願PCT/US2010/031762（国際公開第2010/123909号、2010年10月28日発行）；2010年6月30日に出願された国際特許出願PCT/US2010/040545（国際公開第2011/005624号、2011年1月13日発行）；2011年1月5日に出願された国際特許出願PCT/US2011/020163（未公開）。
【課題を解決するための手段】
【０００８】
本発明は請求項記載の手段によって課題を解決する。
【図面の簡単な説明】
【０００９】
本明細書に組み込まれ、その一部をなす付属の図面は本開示の一つまたは複数の実施形態を示し、例示的な実施形態の記述と相俟って本開示の原理および実装を説明するのに資する。
【図１】従来のビデオ符号化システムの実装を示す図である。
【図２】参照処理ユニットを利用するビデオ符号化システムの実装を示す図である。
【図３】参照処理ユニットを利用するステレオ・ビデオ符号化システムの実装を示す図である。
【図４】重なり合わない諸領域に区分された参照ピクチャを示す図である。
【図５】重なり合う諸領域に区分された参照ピクチャを示す図である。
【図６】エンコーダ側での動きモデル推定プロセスのある例示的な実施形態を示す図である。
【図７】高速動きモデル選択プロセスのある例示的な実施形態を示す図である。
【図８】補間フィルタ選択および強度補償推定プロセスのある例示的な実施形態を示す図である。
【図９】ピクセル対称性の第一の例を示す図である。
【図１０】ピクセル対称性の第二の例を示す図である。
【図１１】明示的補間フィルタを信号伝達するプロセスのある実施形態を示す図である。
【図１２】参照処理ユニットのデコーダ側のブロック図である。
【発明を実施するための形態】
【００１０】
本開示の諸実施形態は、画像処理およびビデオ処理に関する。
【００１１】
本開示の第一の実施形態によれば、参照ピクチャを処理する方法であって：ｉ）エンコードされるべき原ピクチャに対して、再構成された参照ピクチャおよび処理された参照ピクチャ推定に基づいて、動き推定を実行する段階と；ｉｉ）動き推定されたピクチャにさらに処理して、さらに処理された参照ピクチャ推定を得る段階と；動き推定およびさらなる処理を逐次反復して処理された参照ピクチャを提供する段階とを含む、方法が提供される。
【００１２】
本開示の第二の実施形態によれば、単一層（single-layered）または多層（multi-layered）ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャの領域の動きモデル・パラメータを推定するための逐次反復方法であって：ｉ）エンコードされるべき原ピクチャおよび前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域に基づいて動き推定を実行する段階と；ｉｉ）さらなる動き推定を実行して動きモデル・パラメータを与える段階と；ｉｉｉ）前記動きモデル・パラメータに従って歪め（warping）を実行して歪められたピクチャを得る段階と；段階ｉ）ないしｉｉｉ）を逐次反復する段階とを含み、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域および前記歪められたピクチャに基づく、方法が提供される。
【００１３】
本開示の第三の実施形態によれば、単一層（single-layered）または多層（multi-layered）ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャの領域の動きモデル・パラメータを推定するための逐次反復方法であって：ｉ）エンコードされるべき原ピクチャおよび前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域に基づいて動き推定を実行する段階と；ｉｉ）さらなる動き推定を実行して動きモデル・パラメータを与える段階と；ｉｉｉ）前記動きモデル・パラメータを処理して、補間フィルタ・パラメータおよび強度補償パラメータのうち少なくとも一つを与える段階と；ｉｖ）前記動きモデル・パラメータおよび補間フィルタ・パラメータおよび強度補償パラメータのうち少なくとも一つに従って歪め（warping）を実行して歪められたピクチャを得る段階と；段階ｉ）ないしｉｖ）を逐次反復する段階とを含み、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャの領域および前記歪められたピクチャに基づく、方法が提供される。
【００１４】
本開示の第四の実施形態によれば、単一層（single-layered）または多層（multi-layered）ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、エンコーダから得られるパラメトリック情報を受領し、パースする（parse）よう適応されたデコーダにおいて、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャの領域をデコードする方法であって：ｉ）入力ピクチャの歪めを実行して第一の処理されたピクチャを得る段階と；ｉｉ）前記第一の処理されたピクチャに対して強度補償を適用して第二の処理されたピクチャを得る段階とを含む、方法が提供される。
【００１５】
〈Ａ．参照ピクチャ処理〉
図２は、以下でRPUと称する参照処理ユニット（reference  processing  unit）（２００）を利用するビデオ符号化システムのある実装を示している。RPU（２００）は、フィルタ・パラメータ、動き補償パラメータおよび他のモデリング・パラメータといった処理パラメータの信号伝達を可能にする。信号伝達は、新しい参照ピクチャを生成するために、参照ピクチャ・バッファ（２０５）においてすでに利用可能な参照ピクチャに対して適用されることができる。これらの新しい参照ピクチャは、一般に、処理される必要があるその後のピクチャと、より相関が高くなっている。望むなら、信号伝達は、グローバル・レベルではなく領域レベルで行うこともできる。それにより、より細かい制御および符号化利益におけるさらなる改善が可能になる。
【００１６】
参照処理ユニット（２００）の使用を導入する二つの例示的文献が、2009年4月20日に出願された「Directed  Interpolation  and  Post-Processing」という名称の米国仮出願第61/170,995号および2009年7月4日に出願された「Encoding  and  Decoding  Architectures  for  Format  Compatible  3D  Video  Delivery」という名称の米国仮出願第61/223,027号である。両文献はここにその全体において参照によって組み込まれる。
【００１７】
ビデオ符号化システムにおいてRPU（２００）を利用することによって、ステレオおよびマルチポイント・ビデオ符号化をサポートするアプリケーションが達成されている。そのようなアプリケーションは、各参照ピクチャをその後の向上層ピクチャの予測に使うのに先立って、前の層のピクチャからの各参照ピクチャに対して適用すべき高度な動きモデルおよびフィルタリング機構を選択することによって実現される。
【００１８】
各参照ピクチャについて適切な高度な動きモデル（これに限られないが、並進、ズーム、回転、アフィンおよび透視変換を含む）およびフィルタリング機構（これに限られないが、双線形、双三次、ミッチェル・ネトラヴァリ（Mitchell-Netravali）、ランツォシュ（Lanczos）およびユーザー指定される補間フィルタを含む）を選択することに関わる諸技法は、フレーム互換な3D送達方法および2D互換な3D送達方法の両方において適用される。これらの3D送達方法は、MPEG-4  AVC/H.264のマルチビュー・ビデオ符号化（MVC:  Multi-View  Video  Coding）拡張によって現在サポートされているものと同様である。その後の向上層の予測が前の層からの参照ピクチャを処理なしで考慮するMVCとは異なり、RPU（２００）は、前の層からの参照ピクチャをその後の向上層の予測に使うのに先立って、前の層からの参照ピクチャを洗練することを可能にする。洗練は一般に、符号化利益を改善する。
【００１９】
本開示のいくつかの実施形態は、2D互換な多層3D符号化方法に向けられる。呈示される符号化方法は、フレーム互換な3D符号化方法ならびに一般的なおよびスケーラブルな2D符号化のような他のアプリケーションにおいて使用されることもできる。さらに、呈示される符号化方法は、知的かつ適応的な補間フィルタリング、強度補償方法およびブロック解除／ノイズ除去フィルタと組み合わせて使うことができる。
【００２０】
引き続き、RPU（２００）を利用するビデオ符号化システムを示す図２を参照すると、参照ピクチャ・バッファ（２０５）からの参照ピクチャは、該参照ピクチャが参照ピクチャ・バッファ（２０５）に記憶されたのちまたは参照ピクチャ・バッファ（２０５）から取得されたのちに処理される。参照ピクチャを処理することによって、参照ピクチャは、参照ピクチャが処理されない場合に比べ、その後のビデオ・ピクチャのより正確な予測を提供することができる。そのような処理方法は一般に、動きモデルの使用を通じた動き補償方法を含む。動きモデルの具体的な諸カテゴリーは本開示においてのちに述べる。
【００２１】
参照ピクチャを処理する一つの例示的な方法は、参照ピクチャにグローバルまたはローカルな動きモデルを適用することである。動き補償方法との組み合わせにおいて、端数位置補間、ノイズ除去、アーチファクト軽減（たとえばブロッキング除去）および画像向上のために、線形または非線形なフィルタによる処理も使用できる。
【００２２】
図３は、マルチビューまたは多層ビデオ符号化システムにおける参照ピクチャ処理技術の使用を示している。図３を参照するに、システムは、基本ビュー（３００）および第二のビュー（３０５）を有する。さらに、システムはビュー間RPU（３１０）を有する。基本ビュー（３００）および第二のビュー（３０５）は対応する基本ビュー参照ピクチャ・バッファ（３１５）および第二のビュー参照ピクチャ・バッファ（３２５）をもつ。基本ビュー参照ピクチャ・バッファ（３１５）は基本ビューRPU（３２０）に接続され、一方、第二のビュー参照ピクチャ・バッファ（３２５）は第二のビューRPU（３３０）に接続される。ビュー間RPU（３１０）は両方のピクチャ・バッファ（３１５、３２５）と接続される。図３は二つのビューまたは二つの層のビデオ符号化システムを示しているが、追加的なビューまたは層および各ビューまたは層に対する追加的なRPUおよび追加的なビュー間または層間RPUも考えられる。
【００２３】
引き続き図３を参照するに、基本ビューおよび第二のビュー（３００、３０５）内の参照ピクチャは対応するRPU（３２０、３３０）によって処理される。さらに、基本ビュー（３００）から第二のビュー（３０５）に参照ピクチャを送るのに先立って、ビュー間RPU（３１０）は、基本ビュー参照ピクチャ・バッファ（３１５）から受領された参照ピクチャを処理する。ビュー間RPU（３１０）による処理は一般に、すべての参照ピクチャが各ビューに固有の参照ピクチャ・バッファ（３１５、３２５）に記憶されたあとに、またはある参照ピクチャがその後のピクチャの予測のために考慮されるとき（オンザフライRPU処理時など）に行われる。たとえば、基本ビュー（３００）のための参照ピクチャは、基本ビュー（３００）、第二のビュー（３０５）または両方のビュー（３００、３０５）におけるその後のピクチャの予測のために使われることができる新たな参照ピクチャを生成するために、指定された動きモデルに従って歪められてもよい。
【００２４】
各バッファ（３１５、３２５）内のもとの参照ピクチャは、同じビュー（３００、３０５）または他方のビュー（３００、３０５）についての追加的な参照ピクチャを生成するために使われる。もとの参照ピクチャまたは新たに生成された参照ピクチャは、処理されるべきその後のピクチャについて指定されうる、動きモデル、補間フィルタおよび強度補償パラメータのような新たな処理パラメータを与えられて、再び処理されることができる。たとえば、ビュー間参照処理（３１０）について、動きモデル情報は、各ビュー（３００、３０５）を捕捉するために利用される異なるカメラ位置およびアングルといった、ビュー（３００、３０５）間の差異を表現してもよい。動きモデル情報は、動き歪め情報のみならず追加的な情報をも含んでいてもよい。追加的な情報はたとえば、サブピクセル位置を生成するためにどの補間フィルタを使うべきかおよび強度補償情報を示してもよい。処理モデルは、ガウシアンおよび／または分離型線形フィルタ、メジアン・フィルタもしくは順序付けられたフィルタのような非線形フィルタなどといったノイズ除去フィルタを含むこともできる。領域を横断して指定されることができるブロック解除方法も使用できる。
【００２５】
一般的な場合では、ビデオ符号化システムによって処理されるビュー／層の数は、図３に示される二つのビュー／層のビデオ符号化システムよりもずっと多いことができる。一般に、特定のビュー／層の参照ピクチャを処理して、別のビュー／層の追加的な参照ピクチャを生成することができる。さらに、特定のビュー／層の参照ピクチャを処理して、その特定のビュー／層自身についての向上された参照ピクチャを生成することもできる。
【００２６】
パラメータ推定プロセスに関しては、動きモデル情報は、適切な歪めパラメータを使う動きモデルに基づいて、エンコーダ側で推定または選択されることができる。歪めパラメータは、単一の指定された基準または指定された諸基準の組み合わせに依存することができる。基準は、中でも、視覚的品質、アルゴリズムの複雑さ、ビットレートといったものがある。あるいはまた、動きモデル情報は、適切な補間フィルタ・パラメータ、強度補償パラメータまたはブロック解除／ノイズ除去パラメータを使う動きモデルに基づいてエンコーダ側で推定または選択されることができる。さらに、動きモデル情報は、先に挙げなかった他のパラメータの中でも、使用される歪めパラメータ、補間フィルタ・パラメータ、強度補償パラメータおよびブロック解除パラメータの適切な組み合わせに基づいてエンコーダ側で推定または選択されることができる。高度な動きモデルの使用に加えて、線形および非線形フィルタリングを組み合わせる（縦続させるまたは組み合わせて実行する）ことによってさらなる恩恵が達成できる。
【００２７】
図１２は、参照処理ユニットのデコーダ側の例示的な実施形態を示している。これに限られないが歪めパラメータ、補間フィルタ・パラメータ、強度補償パラメータおよびブロック解除／ノイズ除去パラメータを含む動きモデル情報のすべてが、参照処理ユニットのペイロード中でカプセル化され、デコーダ（１２００）に送られることができる。換言すれば、RPUのペイロードは、参照ピクチャを処理するために直接使われる動きモデル情報を含む。ペイロードと対照的に、RPUは、ペイロードと、信号の再構成および表示のためにどのようにそれが処理もしくは使用される必要がありうるかとを記述しうる追加的なヘッダ情報を含んでいてもよい。
【００２８】
RPUのデコーダは、RPUのペイロードをパースして、該ペイロードから抽出された情報を使って、RPUのエンコーダ（図１２には示さず）によって使われたものと同一のまたはほぼ同一の処理パラメータを復元するパース・ユニット（１２０５）を有する。具体的には、図１２に示される実施形態は、ペイロードから、エンコーダによって使われた動きモデル・パラメータ（１２１０）、補間フィルタ・パラメータ（１２１０）、強度補償パラメータ（１２１５）およびノイズ除去フィルタ・パラメータ（１２２０）に関する情報を得る。
【００２９】
これらのパラメータ（１２１０、１２１５、１２２０）は再構成された参照ピクチャ（１２２５）を処理するのに利用される。再構成された参照ピクチャ（１２２５）はもとの参照ピクチャまたは前にRPU処理された参照ピクチャでありうる。もとの参照ピクチャは、参照ピクチャ・バッファ（図２に示した参照ピクチャ・バッファ（２０５）など）から何の処理もなしにそのまま取られた参照ピクチャを指す。対照的に、複数のRPUを縦続させることができるので、前にRPU処理された参照ピクチャは、RPUまたは複数のRPUによって処理された参照ピクチャ・バッファからの参照ピクチャである。その結果、考えている現在のRPUエンコーダ／デコーダは、入力参照ピクチャとして、以前の層または以前のエンコード／デコード・ステップからのもとの参照ピクチャまたは前にRPU処理された参照ピクチャを取ることができる。
【００３０】
図１２の参照に戻ると、もとの参照ピクチャまたは前にRPU処理された参照ピクチャは、考えている現在のRPUデコーダへの入力参照ピクチャのはたらきをし、これは再構成された参照ピクチャ（１２２５）と称される。再構成された参照ピクチャ（１２２５）の処理は、エンコーダから得られるパラメータ（１２１０、１２１５、１２２０）を利用することによるピクチャ歪め（１２３０）、強度補償（１２３５）およびノイズ除去（１２４０）を含む一連のステップとして示されている。この処理の結果は処理された参照ピクチャ（１２４５）である。考えている現在のRPUデコーダの処理された参照ピクチャ（１２４５）は、その後のRPUデコーダへの入力参照ピクチャとしておよび／またはその後のピクチャの予測をするもとになりうるピクチャとしてのはたらきをしうる。デコーダはエンコーダによって使われるのと同様の処理モデルを復元するので、処理された参照ピクチャ（１２４５）はエンコーダにおいて実行されたのと同様の処理を受ける。
【００３１】
符号化効率をさらに改善するために、種々の参照ピクチャ処理ペイロード情報が、再構成された参照ピクチャ（１２２５）の種々の領域に送られてもよい。換言すれば、再構成された参照ピクチャ（１２２５）は複数の領域に区分されることができ、各領域は独自の最適化された処理パラメータを有することができる。これは、より正確な動きモデル・パラメータおよびフィルタリング・パラメータが各個別的な領域に適用されることを許容できる。
【００３２】
図４は、参照ピクチャを、各領域内での動きの均一性に基づいて、多くの領域に区分する第一の例を示している。さらに、これら多くの領域には重なりがない。同様に、図５は、参照ピクチャを動きの均一性に基づいて多くの領域に区分する第二の例を示している。しかしながら、図５における多くの領域には重なりがある。図４および図５の両方において、各区分は別個のパラメータのセットを使って記述できる。
【００３３】
異なる動きパラメータをもつ複数の動き領域が一つの参照ピクチャ内に存在する場合または異なるぼけ（blurring）および焦点特性が一つの参照ピクチャ内に存在する場合、領域ベースのRPU信号伝達がより高い符号化効率につながる可能性が高い。領域は図４および図５に示されるように長方形であってもよいが、領域は任意の形であってもよい。領域は、図４のように重なり合わなくてもよいし、図５のように重なり合っていてもよい。
【００３４】
さらに、領域は単一または複数の処理パラメータを含むことができる。たとえば、特定の領域が単一の動きモデルによってのみ表現されるのではないこともある。たとえば、ズーム動きモデルおよびアフィン動きモデルが、強度補償パラメータのような他のパラメータと一緒に、同じ領域に信号伝達されることがある。領域の重なり合う部分は一般に、複数の動きモデルが適用されることを注意しておく。現在の参照ピクチャのその領域に基づく、その後のピクチャでのその領域についての予測は、各動きモデルを使って推定される動きベクトルの平均または重み付き平均によって得られる。限定ではなく例として、特定の平均法が信号伝達されてもよいし、あるいは特定の領域とその近傍領域の動きベクトル間の類似性または相違に基づいて決定されてもよい。
【００３５】
ブロック解除方法が領域を横断して適用できる。これはピクセル・ベースの方法および／または（過完全ノイズ除去（overcomplete  denoising）のような）他の、周波数領域の方法を含みうる。領域間でどのくらいのフィルタリングが適用されるかを定量化するブロック解除強さは、隣り合う区分において使われる動きモデルまたは予測方法における相違ならびに隣り合う区分の間の動きモデル・パラメータにおける相違に基づくことができる。
【００３６】
二つの領域が同一の予測方法および同一のもしくは類似した動きモデルを使う具体的な場合には、ブロック解除フィルタリングは実行されない。動きモデルが類似していると考えられるのは、異なる動きモデルを適用することによって得られるすべての動きベクトルの絶対差が所定の閾値または一組の閾値より小さい場合である。他方、異なる動きモデルが使われているまたは動きベクトル間の相違が有意である（相違が閾値または一組の閾値より大きい）場合には、強いブロック解除が適用される。参照ピクチャ内のいくつかの領域はより多くのフィルタリングを要求する一方、他の領域はそれほどのフィルタリングは要求しないこともある。何らかの特定の領域に適用されるフィルタリングの量は、この特定の領域の動きモデルおよび予測方法、ならびに、その特定の領域の動きモデルおよび予測方法とこの特定の領域の近傍領域の動きモデルおよび予測方法との間の関係に依存する。さらに、領域に適用されるフィルタリングの量は、その特定の領域内でのテクスチャ特性によって影響されることもある。
【００３７】
領域ベースのRPUはより高いビット・オーバーヘッドに関わることがあるが、エンコーダは、最適な領域分割ならびに各領域についての最適な動きモデルおよび予測方法を見出すために、レート‐歪み（rate  distortion）に基づく判断を適用してもよい。
【００３８】
例として、ビデオ符号化システムは、M×Nの区画をもつ参照ピクチャを処理するRPUを使うことのパフォーマンスではなく、単一の区画をもつ参照ピクチャを処理するRPUを使うことのパフォーマンスを調べることができる。領域分割、動きモデルおよび予測方法の最適な組み合わせに関する決定は、エンコードに先立ってできる。決定は、たとえば、単に、生成された参照ピクチャのパラメータをエンコードされるべき源ピクチャのパラメータと突き合わせて比較することによってなされてもよい。決定はまた、RPUにおける完全な、部分的なまたはシミュレートされたエンコードを考慮することによってなされてもよい。シミュレートされたエンコードはたとえば、ピクチャのより低解像度の表現を使うことによって実行される。信号伝達されるよう選択される方法は、たとえば、エンコードに関するパフォーマンスに基づいて選ばれてもよい。パフォーマンスは、特定のラグランジュ乗数が与えられたときの組み合わされたレート‐歪みパフォーマンスのようなある種の基準を使って評価されてもよい。
【００３９】
〈Ｂ．動きモデル〉
ビデオ符号化システムのある実施形態において、いくつかの異なる動きモデルが考慮される。そうした異なる動きモデルは多様な代替的な実装を提供し、各実装は異なる複雑さおよび動きカバー範囲に関わるからである。考慮される動きモデルは、中でも、並進、ズーム、アフィン、透視、等方および多項式モデルを含む。先に論じたように、これらの動きモデルの組み合わせも可能である。
【００４０】
これらの動きモデルは一般に、3Dの現実世界のシーンにおいて存在しうる複雑な動きを正確に記述できる。しかしながら、透視（perspective）動きモデルのような動きモデルは3Dの動きを正確に記述できるものの、これらの動きモデルは推定するための計算量が大きいことがある。さらに、これらの動きモデルに対応する推定プロセスはノイズに敏感であることがある。そのような、推定プロセスがノイズに敏感である場合、前置フィルタリングまたはより堅牢な推定器がモデル推定プロセスを改善できる。前置フィルタリングは参照ピクチャ、原ピクチャまたは参照ピクチャもしくは原ピクチャの動きベクトルに対して実行されてもよい。堅牢な推定器の一例は、レヴェンバーグ・マーカート（Levenberg-Marquadt）法を利用するものである。さらに、デコーダにおいて適用される必要があるこれらの動きモデルについての動き補償プロセスは、それ自身、複雑であることがある。
【００４１】
他方、並進モデルのようなより単純な動きモデルは推定するのがより簡単で、ノイズに対してより堅牢である傾向がある。したがって、ビデオ符号化システムの本実施形態における、参照ピクチャ処理について異なる複雑さおよびパフォーマンス特性をもつ複数の異なる動きモデルを考える柔軟性は、エンコーダを設計するときに種々の複雑さとパフォーマンスのトレードオフの考慮を簡単にし、エンコーダと協働するために必要とされるデコーダの複雑さを制御することを許容する。先に論じたように、並進およびズーム・モデルの組み合わせのような種々の動きモデルの組み合わせもパフォーマンスを改善するために使われることができる。
【００４２】
参照ピクチャの各領域についての動きモデルの選択は、歪み要件、ビットレート期待および動きモデルの複雑さといった多様な条件に依存する。より複雑なモデルはさらに、レート‐歪み（RD:  rate-distortion）コストおよびレート‐歪み‐複雑さ（RDC:  rate-distortion-complexity）コストといった条件に依存してもよい。動きモデルのRDコストはたとえば、ラグランジュ最適化法を使って式(1)のようにして計算される。
【００４３】
RD(m)＝D(Warp(m,R),O)＋λ*(R(motion_model)＋R(filter)＋R(intensity_comp))  (1)
上式(1)に見られる関数Warp(m,I)は、動き補償のために使われる歪め（warping）関数である。Warp(m,I)関数は、表１に挙げられる動きモデルのような、適用される動きモデルに依存する。具体的には、Warp(m,I)は、動きモデルであるmと、入力画像であるIの関数である。やはり上式(1)に見られる関数R(t)は、処理ツールtのための副情報（side  information）をエンコードするレートを与える。関数D(x,O)は、平方誤差和（SSE:  sum  of  square  errors）のような歪み（distortion）メトリック関数である。特に、D(x,O)は処理される信号であるxおよび原（original）信号であるOの関数である。
【００４４】
より高度な方法はたとえば、歪められたピクチャと原ピクチャの間の歪みのみならず、ビデオ符号化システム内部で歪められたピクチャを使う最終的な符号化効率をも考慮してもよい。歪みおよび最終的な符号化の考慮の計算量が大きすぎるのであれば、種々の推定を使うことができる。たとえば、単なるブロック・ベースの動き推定を使ってもよい。あるいはまた、推定は、任意的に、推定プロセスのために、コーデック内の、時間的参照などいかなる利用可能な参照の影響を考慮してもよい。推定はまた、歪められたピクチャおよび原ピクチャのサブサンプリングされたバージョンを考慮することによってもできる。推定はまた、たとえば階層ベースの動き推定アプローチを使うことによって、種々の解像度の画像を使って実行することもできる。階層ベースの動き推定の例は、次のように与えられる。さまざまなRPUパラメータ（動きモデル・パラメータ、補間フィルタ・パラメータなど）の推定は、最低解像度の歪められた参照ピクチャおよびもとの源ピクチャから導出されてもよい。さまざまなRPUパラメータのさらなる推定は、より高い解像度の歪められた参照ピクチャおよびもとの源ピクチャから導出されてもよい。このさらなる推定および任意のその後の推定は、さまざまなRPUパラメータの値をさらに洗練する。
【００４５】
同じことは、レートの考慮にも当てはまる。さまざまなRPUパラメータ（動きモデル・パラメータ、補間フィルタ・パラメータなど）を符号化するために要求されるレートのみを考えるのではなく、ピクチャ全体をエンコードするために要求されるレートをも考えるのである。RPUパラメータを符号化するために要求されるレートおよびピクチャ全体をエンコードするために要求されるレートの両方が考慮される場合、RPU信号伝達されたパラメータとピクチャのエンコードのために信号伝達される実際のビットとの間で使うために異なるラグランジュ・パラメータが選択されることができる。単純化は、ピクチャをエンコードするために使われる可能性がある動きおよび参照指数のようなローカル・パラメータの考慮を含んでいてもよい。特に、エンコードは、ピクチャ全体に対して実行されるのではなく、局所化された動き推定が実行されるだけである。
【００４６】
下記に示す表１はさまざまな動きモデルを挙げている。
【００４７】
【表１】
0005606625.tif 000002
表１の最後の列は、各動きモデルを定義する変換の式を指している。具体的には、各モデルについての式は次のように与えられる。
【００４８】
【数１】
0005606625.tif 000003
変換の式は式(2)ないし式(7)で定義される。これらの式において、(ux,uy)は源位置であり、(ux',uy')は源位置(ux,uy)をある動きモデル（hijの形のさまざまなパラメータによって定義される）によって変換した対応する位置である。パラメータは下記の表２に示される。表２は、各動きモデルがどんな型の動き／情報を提供するかの洞察を与える。
【００４９】
【表２】
0005606625.tif 000004
表２から見て取れるように、並進モデルは並進のためのカバー範囲を提供し、ズーム・モデルは並進モデルの並進パラメータおよびズーム・パラメータを含み、等方モデルは両方の次元方向を通じて等しいズームおよび回転を想定し、などとなっている。多項式モデルが表１および表２に示した動きモデルのうちで最も複雑なモデルであるが、このモデルは、これらの表に呈示された他のモデルに比べてより包括的な動き／変形カバー範囲を提供できる。複数仮説法を使ってこれらのモデルの組み合わせも可能であり、その場合、領域毎に複数の動きモデルが信号伝達されることができ、歪めに基づく動き補償が各動きモデルと一緒に別個に実行されることができ、次いで複数の仮説が平均または重み付き平均されてその後のピクチャの予測のための最終的な仮説を生成することができる。
【００５０】
〈Ｂ．１  動きモデル推定および符号化〉
いくつかの種類の動きモデル推定方法がある。いくつかの一般的な方法は、ピクセル・レベルの動き推定、周波数／位相相関に基づく動き推定および（オプティカルフロー場のような）動き場推定を含む。ピクセル・レベルの動き推定は計算量が大きいことがあり、ノイズおよび照明条件のような他の画像特性によって影響されやすい。他方、周波数／位相相関方法およびオプティカルフロー方法はたいていの用途について十分な結果を提供できる。
【００５１】
たとえば、位相相関方法およびオプティカルフロー方法は互いに関連して利用されることができる。位相相関方法は、参照ピクチャおよび源ピクチャの変換を通じて並進パラメータおよび回転およびズーム・パラメータの推定値の導出を可能にする。オプティカルフロー方法は、位相補正方法によってまだ推定されていない残りのパラメータのために利用されることができる。換言すれば、オプティカルフロー方法は本質的により単純なモデルである。オプティカルフロー方法は、強度パラメータへの考慮とともにまたはそのような考慮なしに、ブロック・ベースの動き推定方法を利用することができる。
【００５２】
ブロック・ベースの動き推定方法および周波数／位相相関方法は、オプティカルフロー情報を推定するために使用できる。たとえば、ピクチャの動き場を表すのに実際のオプティカルフロー情報を使う代わりに、種々のブロック区画についての動きを導出するために、ブロック・ベースの動き推定方法を使うことができる。ここで、それらのブロック区画はいかなるサイズM×Nであってもよい。サイズはたとえば、8×8、2×2、4×2またさらには1×1であることができる。さらに、区画は長方形である必要はなく、いかなる形でもよい。
【００５３】
一般に、動きベクトルはいかなる精度であってもよい。限定ではなく例として、動きベクトルは整数、半ピクセル、四分の一ピクセルまたは浮動小数点精度であることができる。動きベクトルについての情報を与えられると、動きモデル・パラメータを推定するために勾配降下法を使うことができる。勾配降下法は、ニュートン・ラフソン（Newton  Raphson）およびレヴェンバーグ・マーカート逐次反復法（文献６参照）または最小二乗推定器といった当てはめ（fitting）法を使うことができる。
【００５４】
図６は、エンコーダ側における参照ピクチャ・ユニットの動きモデル・パラメータ推定プロセス（６００）を示している。本質的には、動きモデル・パラメータ推定プロセスは逐次反復的な推定プロセスである。図６に示される動きモデル・パラメータ推定プロセス（６００）を参照するに、推定プロセス（６００）は、エンコードされる必要のあるもとの源ピクチャ（６０５）と、再構成された参照ピクチャ（６１０）と、処理された参照ピクチャ（６１５）とを利用する。
【００５５】
図１２におけるRPUデコーダと同様に、図６におけるRPUエンコーダの再構成された参照ピクチャ（６１０）は、もとの参照ピクチャまたは前にRPU処理された参照ピクチャである。もとの参照ピクチャは、いかなるRPU処理もされる前の参照ピクチャをいう。複数のRPUエンコーダが縦続させられることがあるので、前にRPU処理された参照ピクチャは、RPUまたは複数のRPUによって処理された参照ピクチャである。結果として、考えている現在のRPUエンコーダは、入力参照ピクチャとして、以前の層または以前のエンコード・ステップからの、もとの参照ピクチャまたは前にRPU処理された参照ピクチャを取ることができる。現在のRPUエンコーダの処理された参照ピクチャ（６１５）は、その後のRPUエンコーダおよび／またはRPUデコーダへの入力参照ピクチャとしてのはたらきをしてもよい。
【００５６】
三つのピクチャ（６０５、６１０、６１５）のそれぞれは、ブロック・ベースの動きパラメータ推定（６２０）、動きモデル・パラメータ推定（６２５）、補間フィルタ・パラメータ推定（６３０）、強度補償パラメータ推定（６３０）およびノイズ除去フィルタ・パラメータ推定（６４０）を達成するために使われる情報を得るために使われる。推定プロセス（６００）の逐次反復的な側面は、処理された参照ピクチャ（６１５）がフィードバック・ループ（６４５）によって推定プロセス（６００）にフィードバックされるときに生じる。ピクチャ歪め（６３５）は、ブロック６２０および６２５からの推定された動きパラメータならびにブロック６３０からの推定された補間フィルタ・パラメータおよび強度補償パラメータに従って、ピクチャ変換を実行する。ピクチャ歪め（６３５）ののち、ノイズ除去フィルタ・パラメータ推定（６４０）が、歪められた参照ピクチャをもとの源ピクチャ（６０５）と比較することによって達成される。フィードバック・ループ（６３５）は処理された参照ピクチャ（６１５）を推定プロセス（６２０、６２５、６３０、６４０）およびピクチャ歪め（６３５）中に送り返す。ブロック６２０、６２５、６３０および６４０によって推定されるパラメータのそれぞれについてより洗練された値を得るためである。
【００５７】
もとの源ピクチャ（６０５）自身は処理されないことを注意しておくべきである。もとの源ピクチャ（６０５）は、処理された参照ピクチャ（６１５）を生成するために必要とされるパラメータを導出するためにのみエンコーダにおいて使用される。図６から、パラメータは、ブロック・ベースの動きパラメータ、動きモデル・パラメータ、補間フィルタ・パラメータ、強度補償パラメータおよびノイズ除去フィルタ・パラメータである。特に、これらのパラメータは、もとの源ピクチャ（６０５）に緊密に一致するよう、処理された参照ピクチャ（６１５）を生成するために使われる。上記の議論は図６に描かれるパラメータ推定を参照してなされているが、上記の議論はRPUにおけるパラメータ推定一般に当てはまる。
【００５８】
図１２に実施例を示したRPUのデコーダ側に関係して、図６に示されるようなもとの源ピクチャ（６０５）はデコーダには利用可能でない。しかしながら、図６に示したパラメータ推定は、先に論じたように、RPUペイロードの形でデコーダに送られるパラメータについての値を与える。デコーダは、パラメータ（図１２における１２１０、１２１５、１２２０）に関する情報を求めてペイロードをパースする（１２０５）。デコーダ側における再構成された参照ピクチャ（１２２５）は、これらの推定されたパラメータ（１２１０、１２１５、１２２０）を使って処理されて、処理された参照ピクチャ（１２４５）が得られる。
【００５９】
図６には示されていないが、プロセスは、前に処理され、エンコードされたピクチャまたさらには同じピクチャ内の前に処理された領域からの動きパラメータをも考慮することができる。後者の場合、信号伝達プロセスは領域レベルで行われることが想定される。前に処理され、エンコードされたピクチャの動きモデルは、動き推定プロセスを初期化するために使用できるが、動きモデルは、動き推定値を現在の参照ピクチャに適用することによって、新しい「仮説」参照を生成するために使われることもできる。新しい仮説参照は次いで、その後の動き推定を実行するために使われることができる。最終的な動きモデルは、もとの仮説動きモデルと組み合わされて、その後のピクチャの予測のために使われる最終的な動きモデルを生成することができる。
【００６０】
エンコーダ側での動きモデル推定プロセス（６００）の異なる実施形態では、複数の最終的な仮説が生成され、そのうちから一つの最終的な仮説が選択されることができる。最終的な仮説の選択は、もとの仮説または異なる動き推定プロセスを使って生成されていたかもしれない別の仮説に関する何らかの基準が与えられて、行うことができる。異なる動き推定プロセスは、たとえば、何らの予測子（predictor）も使うことなく直接的に動き推定を実行することまたは種々の予測子を使うことに関わることができる。所与の基準を最もよく満たす仮説が最終的な仮説として選択される。種々のシステムにおいて、複数の仮説が選択され、信号伝達され、使用されてもよい。
【００６１】
引き続き図６を参照しつつ、単一の動きモデルがもとの源ピクチャ（６０５）全体について使われる場合を考える。単一の動きモデルの動きモデル・パラメータが計算されたのち、ピクチャ歪め（６３５）が再構成された参照ピクチャ（６１０）に適用されて、その後の動きモデル推定のための参照ピクチャとして使われる処理された参照ピクチャ（６１５）が得られる。
【００６２】
再構成された参照ピクチャ（６１０）が異なる動きモデルおよび／またはパラメータをもつ複数の領域を有する別の場合を考える。処理された参照ピクチャ（１２４５）は、再構成された参照ピクチャ（６１０）の動きモデルおよびパラメータのそれぞれの考慮ののちに生成できる。近隣領域間の不連続を避けるため、重なり合いが考慮されてもよい。領域どうしが重なり合うことができ、処理された参照ピクチャ（１２４５）のいくつかのピクセルが、複数の動きモデルおよび動きモデル・パラメータを使って予測されることができる。
【００６３】
先に論じたように、領域の重なり合う部分は異なる動きモデルおよび／または動きモデル・パラメータが適用されてもよい。たとえば、図５を参照するに、第一の領域（５００）の下部と第二の領域（５０５）の上部の間に重なり（５１０）部分があると考える。また、第一および第二の領域（５００、５０５）には異なる動きモデルが適用されると考える。重なり部分（５１０）についての予測されるピクセルの第一の集合が第一の領域（５００）の動きモデル・パラメータから得られる。重なり部分（５１０）についての予測されるピクセルの第二の集合が第二の領域（５０５）の動きモデル・パラメータから得られる。重なり部分（５１０）についての処理された参照ピクチャ（６１５）の予測されるピクセルは、予測されるピクセルの第一の集合および予測されるピクセルの第二の集合の平均または重み付き平均を取ることによって生成できる。
【００６４】
重なり合う領域についての予測の平均または重み付き平均から得られる結果としてのピクセルは、最終ピクセルと称される。等価だが、これらの最終的なピクセルは、その後のピクチャを予測する際に使われる情報としてのはたらきをする。重み付き平均において適用される重みは、信号伝達される、または各ピクセルの、各区画の中心からの距離が与えられて自動的に選択されることができる。代替として、先に論じたように、不連続を避けるために、ブロック解除が領域境界をまたいで適用されてもよい。
【００６５】
大きな動き場についてでさえ、正確な動きモデル・パラメータが推定できる。歪めプロセス（６３５）は異なる動きモデルについては異なり、原ピクチャ（６０５）における異なる領域は異なる動きモデルおよび／または異なるモデル・パラメータを有していてもよい。結果として、ピクチャ内の領域どうしの間で、またエンコーダ側とデコーダ側の間で異なる符号化効率が存在する。同時に、効率は、動きモデル・パラメータを適用するときに使われる補間フィルタの精度によって有意に影響されることがある。
【００６６】
符号化効率を改善する一つの方法は、双線形またはピクセル複製法を利用するもののような単純な補間フィルタを使うことである。しかしながら、符号化効率を改善するためにより複雑な補間フィルタを使うこともできる。動きモデルだけを信号伝達することとは別に、図６に示されるように、各区画について使われるべき異なる補間方法（６３０）をも信号伝達することが望ましいことがある。再構成された参照ピクチャ（６１０）におけるさまざまな区画において使用される各補間フィルタは、異なるパフォーマンス挙動をもつと指定されることができる。各補間フィルタのパフォーマンスの評価は、一般に、信号伝達および符号化のために適切な動きモデルを選択するのに先立って実行される。
【００６７】
動きモデルの選択は、何らかの客観的またさらには主観的な基準の考慮を通じてできる。客観的な基準は、レート‐歪みおよび計算量の考察に基づくことができる。たとえば、選択される動きモデルは、定義されたコストを最小にするものであってもよい。より詳細には、最小にしようとされる定義されたコストは、式(1)で定義されたRDコストであってもよい。
【００６８】
ラグランジュ最適化を利用することによってRDコストを計算する個別的な実施形態では、力ずくの選択方法を実行することができる。力ずくの選択方法は、あらゆる動きモデルを評価し、比較することを含む。動きモデルの評価は、潜在的に、動きモデルによってサポートされるすべての補間方法の考慮を含むことができる。今の例では、選択された動きモデルは最小のRDコストをもつ。
【００６９】
しかしながら、力ずくの選択方法はあまりに遅いことがある。動きモデル選択プロセスを高速化するため、枝刈り評価方法（pruning  evaluation  method）のような高速選択手法を使うことができる。具体的には、枝刈り評価方法のために、ビデオ符号化システムのサポートされるグループはサブグループに分割できる。サポートされるグループが表１に挙げた六つの動きモデルを含むと考える。ある個別的な実施形態では、表１の第二列に挙げたように、五つのグループが定義される。グループは一般に、動きモデルの複雑さに基づいて決定される。表１については、グループは、モデル・パラメータの数によってグループ化されている。結果として、ズーム動きモデルおよび等方動きモデルはそれぞれ四つのモデル・パラメータをもつので、一つのサブグループをなす。表１における他の動きモデルのそれぞれは、独自のサブグループをもつ。
【００７０】
図７は、例示的な高速動きモデル選択アルゴリズム（７００）を示している。選択アルゴリズム（７００）は、最小のRDコストをもつ動きモデルを選択する。RDコストの評価はグループ０に関して始まる（７０５）。Min_Cost〔最小コスト〕パラメータはビデオ・システムがサポートできる最大値に設定される。たとえば、システムが8ビット整数しかサポートしない場合、最大値は255である。第二のステップ（７１０）では、グループ０のRDコストが評価される。第三のステップ（７１５）では、グループ０のRDコストがMin_Costパラメータと比較される。グループ０のRDコストがMin_Costパラメータより小さければ、第四のステップ（７２０）は、評価すべきさらなるグループがあるかどうかを検査する。さらなるグループがあれば、第五のステップ（７２５）は次のグループ、この場合グループ１を、評価対象として位置付ける。第二ないし第五のステップ（７１０、７１５、７２０、７２５）は、すべてのグループが評価されるか、第三のステップ（７１５）が現在のRDコストがMin_Costパラメータより小さくないと判定する任意の時点まで繰り返される。各グループの評価のために、そのグループに属するあらゆる動きモデルが評価される。図７に示した動きモデル選択アルゴリズム（７００）については、最小のRDコストをもつ動きおよび／または処理モデルが選択されることになる。
【００７１】
図７は、最小RDコストに基づく高速動きモデル選択アルゴリズムを示している。先に論じたように、レート‐歪み‐複雑さコストおよび動きモデル・パラメータ信号伝達のためのビット・オーバーヘッドのような他の符号化基準も、動きおよび／または処理モデルを選択するために使われてもよい。
【００７２】
高速動きモデル選択アルゴリズム（７００）のさらなる実施形態は、前の諸参照ピクチャおよび近隣の空間的および／または時間的領域を考慮することができる。さらに、任意の特定の領域についてどの動きモデルがすでに考慮されているかを考えることで、選択プロセス（７００）をさらに高速化できる。
【００７３】
例として、近隣領域がモデル０を選択しており、そのモデルについて現在領域と同様の動きパラメータをもつとする。この場合、モデル０は現在領域について適切なモデルである可能性が高い。結果として、すぐにモデル０を選択することができる。あるいはまた、評価は、同様の動きモデルであると考えられる他の動きモデルに制約されることができる。たとえば、ズーム・モデル（表１においてグループ指数1）が近隣の諸領域について使うべきもっとも可能性の高い動きモデルであるとすると、等方モデル（やはり表１においてグループ指数1）は同様の動きモデルと考えられることになる。
【００７４】
さらに、近隣の諸領域を横断するブロック・ベースの動きパラメータが比較されることができる。そのような比較は、領域間の類似性の度合いを決定するために使われる。類似性の度合いは、選択プロセス（７００）をより一層高速化するために使うことのできる情報を与える。
【００７５】
さらなる実施形態では、異なる領域におけるすべての動きモデルが同じまたは非常に似通った動きモデル・パラメータをもつ場合、最終的な動きモデルの決定は、さらなる洗練なしにすぐに行われることができる。閾値法のような他の諸方法も考慮できる。閾値法はたとえば、ある種の動きモデルの予測歪みおよび近隣の領域間での予測歪みを考えることができる。動きモデル・パラメータにおける差が小さいときは、複数の近隣の領域間で類似性が判別できる。閾値法は一般に、さまざまな動きモデル・パラメータの間の差分絶対値和（SAD:  sum  of  absolute  differences）または平方差和（sum  of  square  differences）を計算する。
【００７６】
一般に、動きモデル・パラメータは、浮動小数点精度を含むいかなる精度を取ることもできる。しかしながら、符号化の目的のためには、導出された動きモデル・パラメータの整数精度への変換が実行されるべきである。具体的には、任意の個別的な動きモデル・パラメータの浮動小数点精度から整数精度への例示的な変換は、次の式(8)によって与えられる：
Pint＝Floor(Pfloat*s＋r)        (8)
ここで、Pintは整数精度を取る動きモデル・パラメータであり、Pfloatは浮動小数点精度を取る動きモデル・パラメータであり、sはデコーダが知っているスケーリング因子であり、rは丸めオフセットである。Floor(x)演算は、x以下の最大の整数を選択する。スケーリング因子sの値は、異なる動きモデル・パラメータについては異なっていてもよい。
【００７７】
動きモデル・パラメータは、下記の表３に挙げられるように、三つのグループに分類できる。
【００７８】
【表３】
0005606625.tif 000005
一般に、より高次のパラメータは、精確な表現のためにより高い精度を要求する。さらに、より高い精度はスケーリング因子sについてのより大きな値を与える。
【００７９】
多くの区画が同様の動きモデルをもつことができることを考えると、追加的な圧縮恩恵を提供するためにある種の予測方法が利用できる。たとえば、複数の領域が同じ動きモデルを使う場合、それらの諸区画の外部の、より高いレベルから、単一の動きモデルが信号伝達されることができる。それにより、RPU内で同一のモデルを複数回信号伝達しなければならないのではなく、この単一の動きモデルの諸区画内での信号伝達が使用されることができる。
【００８０】
予測プロセスは、複数の動きモデルの場合にも考慮されることができる。特に、複数の動きモデルを考慮する予測子導出法（predictor  derivation  method）が表４に挙げられている。この方法について、予測は、グローバルな動きモデル・パラメータの単一のセットからの情報を使ってもよいし、あるいはまた予測情報を使うことなくすべての動きパラメータを信号伝達してもよい。
【００８１】
【表４】
0005606625.tif 000006
他方、一部または全部の近隣区画を利用することによって、より単純な予測方法が考慮されることができる。予測方法は、たとえば、予測のために使われる動きモデル・パラメータを導出するために、MPEG-4  AVCにおいて使われるメジアン手法のようなメジアン手法を使うことができる。あるいはまた、予測方法は、同じ動きモデルを利用する近隣区画のみを考慮することもできる。異なるモデルが組み合わされる場合、異なる動きモデルの現在考えられている動きモデルへの変換は一般に、その動きベクトルを予測のために使用することを考える前に実行される。
【００８２】
ある代替的な実施形態では、予測子位置が近隣の区画から含意されたり導出されたりするのではなく、予測子位置の信号伝達を可能にする、より包括的な手法を使うことができる。そのような方法は下記の表５および表６に示される。
【００８３】
【表５】
0005606625.tif 000007
【００８４】
【表６】
0005606625.tif 000008
表５は、単一のグローバルな動きモデルの存在を想定している。しかしながら、諸区画の動きモデル予測は、諸区画の信号伝達に先立って信号伝達される複数のグローバルな動きモデルをサポートするよう拡張されることができる。
【００８５】
代替的に、表６は、いかなるグローバルな動きモデル・パラメータもないときに諸区画の動きモデル予測を考えている。含意されるおよび明示的に指定される方法の組み合わせも使用できる。いかなる特定の区画についての含意される諸方法も、たとえば、近隣区画からの情報に基づく予測プロセスに基づくことができる。たとえば、特定の区画の近隣の諸区画がみなアフィン動きモデルを使っていて、みな同じパラメータをもつならば、その特定の区画も同じ動きモデルおよび同じパラメータを使う可能性が高い。結果として、この単純化された例では、特定の区画はアフィン動きモデルおよび近隣区画と同じパラメータを使う可能性が非常に高い。
【００８６】
さらに、予測結果は、何らの追加的な洗練情報も信号伝達することなく、動きベクトル全体が正しく予測されることを含意することができる。そうなるのは、たとえば、動き推定プロセスのコスト基準が満たされるときである。そのような場合でさえ、追加的な洗練情報が任意的に信号伝達されてもよい。この洗練情報は、下記に示される式(9)において定義されるプロセスと同様の予測された動きモデルに加えられることができる。予測は、各RPU領域のデコード並列化にも有意に影響することができ、そのような技法を使うシステムの設計において考慮される必要があるかもしれないことを注意しておく。
【００８７】
【数２】
0005606625.tif 000009
ここで、ベクトルMint〔上式ではMintの上に→〕はデコードされた動きモデル・パラメータであり、ベクトルPint〔上式ではPintの上に→〕は予測された動きモデル・パラメータであり、ベクトルrint〔上式ではrintの上に→〕はエンコードされた残差である。これらのパラメータのすべては一般に、固定小数点精度である。Scale_Down〔スケールダウン〕およびScale_Up〔スケールアップ〕関数は変換において使われるスケーリング関数である。
【００８８】
式(8)に示されるようなスケーリング因子sを考える。スケーリング因子の三つの可能な信号伝達方法が論じられる。スケーリング因子は符号化プロセス全体にわたって含意され、固定されてもよい。換言すれば、スケーリング因子はすべての区画について信号伝達されることができる。スケーリング因子は、近隣の区画からの情報に基づいて信号伝達される（または信号伝達されない）ことができる。第一の例として、スケーリング因子がすべての区画について同じであると判定される場合、スケーリング因子は一度信号伝達される必要があるだけである。代替的に、特定の区画のスケーリング因子と近隣の区画のスケーリング因子との間の差が信号伝達されてもよい。スケーリング因子はまた、各領域について指定されたフラグに依存して信号伝達されてもよい。たとえば、フラグが1に設定される場合にスケーリング因子が信号伝達されてもよい。そうでない場合はスケーリング因子は信号伝達されず、デコーダはデフォルト値を使うことになる。
【００８９】
〈Ｃ．補間フィルタリング〉
動き歪めに続いて、端数位置でのピクセル値を得るために、さまざまな補間フィルタが使用されてもよい。端数位置でのピクセル値を得るために使われる補間フィルタリング方法は、動きモデル・パラメータの信号伝達の一環として指示されることができる。限定ではなく例として、端数位置でのピクセル値を得るために、下記に示される表７に指定される六つの補間フィルタのいずれが使用されることもできる。
【００９０】
【表７】
0005606625.tif 000010
明示的フィルタ（表７においてフィルタ指数5）の場合、フィルタ係数はビットストリームの一部としてデコーダに送られる必要があることがある。動きモデル・パラメータの信号伝達と同様に、係数は予測されることもできる。たとえば、フィルタ係数の予測は、信号伝達プロセスを通じてまたは前に符号化された区画を通じて達成されることができる。これは、前に符号化された区画と現在の区画の動きモデルが同様であるか異なっているかによらない。
【００９１】
表７の他のフィルタのすべて（フィルタ指数0〜4）は固定フィルタであり、暗黙的フィルタとも呼ばれる。固定フィルタについては、フィルタ係数はあらかじめ決まっており、よってデコーダにはフィルタ・インデックスが信号伝達される必要があるだけである。それで、デコーダは、たとえばルックアップ・テーブルを使うことによって係数を決定することができる。固定フィルタでは、係数量子化が行われない場合、固定フィルタ係数は浮動小数点精度であってもよい。浮動小数点精度の使用は、対応して浮動小数点精度の処理を使うことを必要とする。
【００９２】
あるいはまた、補間フィルタのもう一つの実施形態では、フィルタ係数が固定小数点精度をもつよう量子化されることができる。固定小数点精度は一般に、実装の複雑さを軽減する。さらに、固定小数点精度は、ドリフトの可能性をなくす。ドリフトは、異なるプラットフォーム（異なるオペレーティング・システムなど）を使うことから異なる結果が得られる現象である。ドリフトは、異なるプラットフォーム上での異なる精度の浮動小数点数値表現（たとえば異なる仮数および指数のサイズをもつ数値）および算術の使用に起因することがありうる。
【００９３】
さらにもう一つの実施形態では、フィルタ係数は、16ビットの算術が使用できるよう量子化されることができる。たとえば、フィルタ係数は、下記の表８ないし表１１に示されるように、各フィルタ（フィルタ指数1〜4）について量子化されることができる。双線形フィルタ係数（フィルタ指数0）は前もって量子化される必要がないことを注意しておく。これは、双線形フィルタ係数は、オンザフライで固定小数点精度をもって簡単に計算されることができるからである。表８ないし表１１に示されるフィルタは8ビットの入力ビデオ信号について16ビットの算術を使うことを許容する。量子化されたフィルタ係数は、1/32ピクセル精度までの補間を実行できるだけであるが、補間フィルタによって実行される動き歪めプロセスが1/32よりも高いピクセル精度を使う場合は、第二段の双線形フィルタまたは他の任意のフィルタが、より高いピクセル精度での値を得るために使用されてもよい。
【００９４】
【表８】
0005606625.tif 000011
【００９５】
【表９】
0005606625.tif 000012
【００９６】
【表１０】
0005606625.tif 000013
【００９７】
【表１１】
0005606625.tif 000014
補間フィルタは、非線形な補間機構を考えてもよいことを注意しておく。非線形な補間は、ウェーブレットまたはバンドレット（bandlet）ベースの補間、動き補償された時間的フィルタリング（MCTF:  motion-compensated  temporal  filtering）ベースの補間などといった技法を通じて達成されてもよい。
【００９８】
種々の補間フィルタおよび／または補間機構が、クロマ・サンプルおよびルーマ・サンプルについて使用できる。ルーマ・サンプルはピクチャの明るさに関する情報を含む。換言すれば、ルーマ・サンプルはピクチャの無色情報を扱う。対照的に、クロマ・サンプルはピクチャの色情報を含む。
【００９９】
補間フィルタは一般に、特定の基準または複数の基準に基づいて選択される。そのような基準は、先に論じたように、歪みに対する要件、レート‐歪み、歪み‐複雑さ、合同レート‐歪み‐複雑さなどを含んでいてもよい。
【０１００】
図８は、例示的な合同補間フィルタ選択および強度補償推定プロセス（８００）を示している。例示的な選択プロセス（８００）は、強度情報を推定し、フィルタ・プールから最低のRDコストをもつ補間フィルタを選択する。第一のステップ（８０５）は、フィルタ・プールから現在の補間フィルタを選ぶことを含む。第二のステップ（８１０）は、第一のステップ（８０５）の補間フィルタを用いて参照ピクチャを歪めることを含む。第三のステップ（８１５）は、RDコストの計算において使うための強度補償推定を含む。第四のステップ（８２０）は、RDコストを計算することを含む。第五のステップ（８２５）は、現在フィルタのRDコストを、これまで評価された補間フィルタのすべての最小RDコストと比較することを含む。現在フィルタが現在の最小RDコストより低いRDコストを有していれば、最小RDコストは現在フィルタのRDコストに設定される。第六のステップ（８３０）は、フィルタ・プールからのすべての補間フィルタが評価されたかどうかを判定する。まだであれば、第二のステップ（８１０）ないし第六のステップ（８３０）が次の補間フィルタについて繰り返される。ひとたびすべての補間フィルタが評価されたら、最低のRDコストをもつ補間フィルタが選択される。
【０１０１】
図７に示される高速動きモデル選択アルゴリズム（７００）についてと同様、図８に示される補間フィルタ選択アルゴリズム（８００）もRDコストをその基準として利用する。RDコストを利用する基準を使っているのは単に例であり、当業者には、他のあらかじめ定義された符号化基準が使用されてもよいことがわかる。そのような基準はレート‐歪み‐複雑さコストを含み、動きモデル・パラメータ信号伝達のためのビット・オーバーヘッドも動きモデルを選択するために使われてもよい。
【０１０２】
表７で分類されるところのフィルタ・インデックス0〜4をもつフィルタについては、フィルタ係数はあらかじめ定義されており、よって、デコーダにはフィルタ指数を信号伝達する必要があるだけである。明示的フィルタ（フィルタ指数5）については、フィルタ係数が推定される必要がある。たとえば、明示的フィルタのフィルタ係数は、最小二乗推定器を使うことによって動きモデル・パラメータに基づいて推定されてもよい。これらのフィルタ係数は次いでデコーダに信号伝達される。フィルタ選択プロセスを高速化するために他の方法が使われることもできる。たとえば、たった今論じた図８の補間フィルタ選択および強度補償推定は、同じプロセス内で実行された。あるいはまた、補間フィルタ選択および強度補償推定は別個のプロセスにおいて実行されることもできる。さらに、図８の選択プロセスと動きモデル・パラメータ推定との間の逐次反復が実装されてもよい。
【０１０３】
固定したフィルタ信号伝達の実施形態を考える。具体的には、第一のピクセル精度レベルまで補間を実行する第一の固定したフィルタおよび前記第一のピクセル精度レベルより高い残りの諸ピクセル精度レベルについて補間を実行する第二の固定したフィルタを考える。第一の固定したフィルタに対応する第一のピクセル指数は、前記第一のピクセル精度レベルまでのすべてのピクセル精度レベルについて信号伝達されることができる。第二の固定したフィルタに対応する第二のピクセル指数は、第一のピクセル精度レベルより高い残りの諸ピクセル精度レベルについて信号伝達されることができる。
【０１０４】
いくつかの方法は、近隣の空間的区画であれ近隣の時間的区画であれ、近隣の諸区画を考慮することができる。例として、エンコーダは、特定の補間フィルタをグローバル・レベルで、複数の補間フィルタを領域レベルで試験することができる。次いで、エンコーダは、レート‐歪みコストまたはレート‐歪み‐複雑さコストのようなあらかじめ定義された基準に基づいてグローバルまたは領域レベルの補間フィルタリングのどちらを利用するかどうかを選択できる。さらに、いくつかの方法は、早期終了を含むことができる。ここで、ある具体的な方法は、たとえば、「複雑さ」予算の考慮を含めることができる。複雑さ予算は、エンコーダによって定義されてもよい。ここで、エンコーダは、過度に複雑になる最適化プロセスを単純化するまたは終了させることができる。エンコーダはまた、最適化プロセスを実行するときにデコード複雑さをも考慮してもよい。
【０１０５】
さらに、明示的フィルタは、フィルタ係数信号伝達のための追加的なオーバーヘッドのためによりよいパフォーマンスを与えることもあるし、与えないこともある。一般に、エンコーダは、図８に与えられるような選択プロセスに基づいて明示的または固定フィルタのどちらを使うかについての決定を生成する。
【０１０６】
〈Ｃ．１  明示的フィルタ信号伝達〉
明示的補間フィルタ（表７におけるフィルタ指数5）が使用されるとき、フィルタ係数信号伝達は高いビット・オーバーヘッドを被ることがある。このため、信号伝達される必要のある一意的なフィルタ係数の数を減らすためにある種の型のピクセル対称性および係数対称性が一般に利用される。
【０１０７】
一意的なフィルタ係数の数を減らすためにピクセルおよび係数の対称性を使うことを扱う例示的な文献は、2010年1月14日に出願された、「Buffered  Adaptive  Filters」という名称の米国仮出願第61/295,034である。この文献はここにその全体において参照によって組み込まれる。
【０１０８】
図９は、ピクセル対称性の第一の例を示している。具体的には、図９は、四分の一ピクセル精度を利用し、よってピクセル「A」ないし「O」とラベル付けされた15個の端数ピクセル位置および「INT」とラベル付けされたフル・ピクセル位置を示している。図９において、同じ網掛けパターンを共有する端数ピクセル位置は同じフィルタ係数の集合をも共有すると想定する。しかしながら、それらの補間フィルタは互いに対して転置された（transposed）および／またはフリップされた（flipped）バージョンである。したがって、図９に示されるピクセル対称性を使って、15個のピクセル位置のうち5個についての補間フィルタが信号伝達される必要があるだけである。具体的には、ピクセル「A」「C」「D」および「L」は第一の組のフィルタ係数を共有し、「B」および「H」は第二の組のフィルタ係数を共有し、「E」「G」「M」および「O」は第三の組のフィルタ係数を共有し、「J」は第四の組のフィルタ係数をもつ。結果として、ピクセル対称性を使うことにより、フィルタ係数の数は低減され、よってフィルタ係数信号伝達のためのビット・オーバーヘッドが軽減される。
【０１０９】
図１０は、ピクセル対称性の第二の例を示している。端数位置「A」および「B」についての水平方向補間フィルタおよび端数位置「D」および「H」についての垂直方向補間フィルタだけが信号伝達される。端数位置「C」および「L」はそれぞれ端数位置「A」および「D」と同じフィルタ係数の組を共有する。2Dピクセル位置（つまり「E」「F」「G」「I」「J」「K」「M」「N」および「O」）のそれぞれは、まず水平方向の補間フィルタを使い、次いで垂直方向の補間フィルタをフィルタリングして（またはその逆）補間される。フィルタ係数信号伝達のためのビット・オーバーヘッドをさらに軽減するために、水平方向補間フィルタおよび垂直方向補間フィルタは、同じ組のフィルタ係数を共有するよう強制されてもよい。たとえば、「A」「C」「D」および「L」が一組のフィルタ係数を共有し、「B」および「H」が別の一組のフィルタ係数を共有するなどである。
【０１１０】
より特定的に、端数位置「A」「C」および「D」についてのピクセル対称性を考える。ピクセル対称性を活用することにより、端数位置「A」および「C」は同じフィルタ係数の組を共有していてもよいが、それらのフィルタは互いの転置されたバージョンである（180度回転）。端数位置「A」および「D」も同じ係数を共有するが、「A」についてのフィルタは水平方向に適用され、「D」についてのフィルタは垂直方向に適用され、よって、「D」のフィルタは「A」のフィルタに対して90度を示す。端数位置「A」「C」および「D」のいずれの間でも補間フィルタ自身は同一ではないが、これらの端数位置のいずれかについてフィルタ係数を信号伝達すれば十分である。これらの端数位置のいずれか一つの補間フィルタを使って、他の二つの補間フィルタを導出することができるからである。結果として、ピクセル対称性の使用からビット・オーバーヘッドの節約が生ずる。先に挙げた他の対称性も、ビット・オーバーヘッド節約を達成するために利用されてもよい。
【０１１１】
図９および図１０は、ピクセル対称性の単に二つの例である。他の型のピクセル対称性も、フィルタ係数信号伝達のオーバーヘッドを軽減するために使用されてもよい。エンコーダは最適なピクセル対称性を選び、該ピクセル対称性をRPUペイロードの一部としてデコーダに信号伝達してもよい。参照ピクチャのピクセル対称性に加えて、フィルタ係数オーバーヘッドをさらに減らすために、係数対称性のような他の対称性も課されてもよい。たとえば、ピクセル位置「B」および「H」についての補間フィルタが対称的なフィルタであってもよい。
【０１１２】
補間フィルタによって実行される動き歪めプロセスの間は、より高い端数ピクセル精度が使われることが一般的である。より高い端数ピクセル精度は、歪められた参照ピクチャについてのよりよい品質につながる。しかしながら、より高い端数ピクセル精度は、信号伝達を必要とするより多数のフィルタにもつながり、結果としてビット・オーバーヘッドが高くなる。たとえある種の型のピクセル対称性が強制されたとしても、ビット・オーバーヘッドはピクセル精度が増すにつれて実質的に上昇することがある。
【０１１３】
図９におけるピクセル対称性を使う第一の例を考える。ここでは、先に論じたように、四分の一ピクセル精度が使われ、5つの補間フィルタが信号伝達される必要がある。四分の一ピクセル精度の代わりに2m分の一ピクセル精度が使われると考える。信号伝達される必要のある補間フィルタの数は(2m-2＋1)(2m-1＋1)−1となる。これは、1/32ピクセル精度（m＝5）が使われる場合には152個のフィルタが信号伝達される必要があることを意味する。
【０１１４】
図１０におけるピクセル対称性を使う第一の例を考える。ここでは、先に論じたように、四分の一ピクセル精度が使われ、4つの補間フィルタが信号伝達される必要がある。2m分の一ピクセル精度が使われると考える。信号伝達される必要のある補間フィルタの数は、水平方向および垂直方向の補間フィルタが異なることが許容されるならば2mとなり、水平方向および垂直方向の補間フィルタが同じであるよう強制されるならば2m-1となる。あまりに多くのフィルタを信号伝達しなければならない問題に対処するため、明示的フィルタは、n＜mとしてある精度1/2nまでしか信号伝達されなくてもよい。ここで、mはレート歪みコストのような基準に基づいてエンコーダによって選ばれるパラメータである。1/2nより高いいかなる精度についても、固定した補間フィルタ（表７において指数0ないし4のフィルタ）が使用されうる。
【０１１５】
たとえば、図１１は明示的フィルタ信号伝達のある実施形態（１１００）を記述している。図１１のプロセスは、最低の補間精度（１１０５）から始まる。これは一般に1/2ピクセル精度である。現在の精度についてすべての明示的フィルタが信号伝達されたら（１１１０）、プロセスはすべての精度が信号伝達されたかどうかを判定する（１１１５）。ブロック１１１５の判断が肯定的であれば、それ以上の補間フィルタが信号伝達される必要はない。そうではなく、１１１５の判断が否定的であれば、明示的フィルタのさらなる信号伝達が続いて行われるかどうかを示すために、図１１で「停止フラグ（stop_flag）」として示される一ビットのフラグが信号伝達される（１１２０）。「停止フラグ」の値が1であれば（１１２５）、それ以上の明示的フィルタは信号伝達されない。そうではなく、「停止フラグ」の値が0であれば（１１２５）、現在のピクセル精度がインクリメントされ（１１３０）、明示的補間フィルタのさらなる信号伝達が続けられる（ブロック１１１０、１１１５、１１２０および１１２５が繰り返される）。
【０１１６】
すべての明示的フィルタが信号伝達されたのち、プロセスは、すべての精度レベルについての明示的フィルタが信号伝達されたかどうかを判定する（１１３５）。ブロック１１３５の判断が肯定的であれば、それ以上の信号伝達は必要ない。そうではなく、１１３５の判断が否定的であれば、プロセスは、残りの精度レベルすべてについて一つの固定したフィルタ指数を信号伝達する（ブロック１１４０）。これらの残りの精度レベルすべてについての対応する補間フィルタはこのフィルタ指数から推定されうる。最後に、使用されるピクセル対称性の型（前に信号伝達された、図１１には示さず）が適用されて、すべての精度レベルにおけるすべてのピクセル位置についての補間フィルタが得られる（１１４５）。
【０１１７】
〈強度補償〉
表１において呈示された動きモデルは、参照ピクチャに関するある領域内に存在しうる動きについての正確な情報を提供できるが、動きモデルは一般に、シーン内に存在することがある強度変化、特に明るさおよびコントラストの変化についてはあまり多くの情報を提供しない。したがって、動きモデル・パラメータを追加的な強度補償モデルと組み合わせることで、マルチビュー、スケーラブルまたは2Dコーデック・システム内での符号化効率におけるさらなる改善を提供することができる。強度補償は、強度補償パラメータの信号伝達に先立って、一組の強度補償パラメータを導出することを必要とする。強度補償パラメータは、ヒストグラム・マッチング、最小二乗推定、DC減算および比考慮のような多様な方法を通じて導出できる。異なる強度補償パラメータがルーマおよびクロマ成分から導出できる。あるいはまた、強度補償パラメータの導出は一つの成分に基づくこともでき、一方で、その他については単純な投影方法を通じて導出できる。たとえば、いくつかの強度補償パラメータがルーマ成分のみに基づいて導出されることができる。残りの強度補償パラメータ、つまりクロマ成分から一般に得られるものは、ルーマ成分から導出されるパラメータからの情報を使って推定されることができる。
【０１１８】
参照ピクチャに適用される強度補償は、高ダイナミックレンジ・アプリケーションで使われるもののような非線形方法を含む多様な方法を使って表現できる。ある種の実施形態では、強度補償は、単純のため、下記の式(10)に示されるような線形フォーマットを使うことができる。
【０１１９】
I'＝w*I＋o        (10)
ここで、I'は強度補償後の最終的なピクセルであり、Iは強度補償前のもとのピクセルであり、wは強度補償の重みを示すパラメータであり、oは強度補償のオフセットである。
【０１２０】
パラメータwおよびoは一般に、符号化において使うのに先立って量子化される。最終的なピクセルI'は、ピクセル値の要求される精度に従って制約される必要があることもある。強度パラメータは、普通、エンコード・プロセスおよび計算プロセスを単純化するために整数形または固定小数点形で表現される。その結果、スケーリング因子wおよびoは浮動小数点精度から整数精度または固定点精度に変換されてもよい。そのような変換は、式(8)において先に定義した。
【０１２１】
強度補償パラメータ推定は、何らの動き考慮もなしに原ピクチャに基づくことも、動き整列／補償されたピクチャに基づくこともできる。動き整列／補償に基づく場合、強度補償パラメータ推定は改善されることができる。
【０１２２】
さらに、強度補償パラメータ推定のために逐次反復方法が利用されることができる。例示的な逐次反復方法は次のように与えられる。予備的な動きモデル・パラメータを導出したのち、初期強度補償パラメータが予備的な動きモデル・パラメータから導出されることができる。これらの初期の強度補償パラメータが与えられると、予備的な動きモデル・パラメータが洗練されることができる。換言すれば、強度パラメータを利用することによって、すべての動きモデル・パラメータが改めて推定されることができ、それにより第二の組の動きモデル・パラメータが与えられる。第二の組の動きモデル・パラメータを使って、強度補償パラメータの第二の洗練が続くことができる。逐次反復プロセスは、動きモデル・パラメータおよび強度パラメータにおいて無視できる変化が観察されるまで繰り返されることができる。あるいはまた、逐次反復プロセスは、強度補償の実行が特定の用途にとって十分となるまで繰り返されることができる。もう一つの代替として、逐次反復プロセスはあらかじめ定義された反復工程回数にわたって繰り返されることができる。
【０１２３】
フェードおよびクロスフェードの検出も、逐次反復プロセスを高速化するために考慮されることができる。たとえば、単純化された方法を使うことができ、参照ピクチャにおいてフェードやクロスフェードが検出されない場合には、強度パラメータの検出は完全にスキップされることができる。他方、フェードまたはクロスフェードが検出される場合、エンコーダはさらに照明パラメータの推定を実行し、該推定がエンコード・プロセスに有益である場合には、それらの照明パラメータをデコーダに信号伝達することができる。
【０１２４】
先述したように、強度パラメータはRPU内で任意的であることができる。強度パラメータの信号伝達は各領域を信号伝達するために使われるフラグに基づくことができる。あるいはまた、強度パラメータの信号伝達は、近隣の区画のいずれかまたは全部も強度パラメータを信号伝達するかどうかに基づくこともできる。換言すれば、近隣の区画が、近傍ベースの予測プロセスにおいて利用されることができる。近傍ベースの予測プロセスは、たとえば、多数決投票を使うことができる。多数決投票では、近隣区画における強度パラメータが、それらの同じ強度パラメータがある特定の領域について信号伝達されるかどうかを決定するために使われる。すなわち、近隣区画の全部または大半が同じ強度パラメータを使う場合、それらの同じ強度パラメータが予測のために使われる。強度パラメータの符号化は、近隣パラメータの強度パラメータの値にも基づくことができる。符号化も、先に論じた動き予測モデルの場合と同様な、グローバルな予測方法を考えることができる。先に示唆したように、異なる色成分についてのオフセットoおよび重みwについて、異なるフラグが信号伝達されることもできる。
【０１２５】
強度パラメータがビットストリーム中で信号伝達されない場合、デフォルトの強度パラメータの組が使われる。エンコーダおよびデコーダの両方において新しい参照ピクチャを生成するために、強度補償は下記に示す式(11)に従って実行されることができる。
【０１２６】
I'＝Floor(((wint*I)*so＋oint*sw+r)/(sw*so))        (11)
ここで、rは丸めオフセットであり、wintおよびointはビットストリームからデコードされたところの整数精度をもつ強度パラメータ（具体的には、それぞれ重みおよびオフセット・パラメータ）であり、swおよびsoはそれぞれ重みおよびオフセット・パラメータについてのスケーリング因子である。式(11)は、照明パラメータにスケーリング因子swおよびsoを適用するほかは、式(10)と等価である。
【０１２７】
〈Ｅ．ノイズ除去フィルタ〉
参照処理の例示的な実施形態の最終ステップとして、処理された参照ピクチャの品質をさらに改善するために、一般にアーチファクト軽減フィルタとも称されるノイズ除去フィルタが動き補償された画像に適用されてもよい。ノイズ除去フィルタは、符号化および／または歪めプロセスの間に導入されたノイズおよびアーチファクトならびにもとの源に存在していたことがありうるノイズおよびアーチファクトをさらに軽減するために使用されてもよい。ノイズおよびアーチファクトをさらに軽減することにより、ノイズ除去フィルタは、参照ピクチャの品質をさらに改善し、よって、参照ピクチャの、予測信号としての機能を改善する。
【０１２８】
多くの実施形態において、ノイズ除去フィルタは、エンコーダ側において最小二乗推定器または他の最適化プロセスを使って得ることができる。結果として得られるノイズ除去フィルタはRPU内で適切なシンタックスを使ってデコーダに信号伝達されてもよい。
【０１２９】
先述したように、図１２はデコーダ側のブロック図を描いている。具体的には、図１２は、デコーダ側でのRPU内部のさまざまなコンポーネントを示している。ノイズ除去フィルタがRPU内部で使われるとき、エンコーダは、ノイズ除去フィルタを、RPU内の動きモデルおよび対応する動きモデル・パラメータ、補間フィルタ、強度補償などといった他のコンポーネントと一緒に合同して最適化してもよい。換言すれば、エンコーダは、図８に示される選択ループ内部でのノイズ除去フィルタ最適化を考えてもよい。
【０１３０】
本開示において記述される方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記述される特徴は一緒に実装されてもよいし（たとえば集積論理デバイスのような論理デバイスにおいて）、あるいは別個に実装されてもよい（たとえば別個の接続された論理デバイスとして）。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記述された方法を実行する命令を含むコンピュータ可読媒体を有していてもよい。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を有していてもよい。命令はプロセッサ（たとえばデジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）またはフィールド・プログラム可能な論理アレイ（FPGA））によって実行されてもよい。
【０１３１】
このように、本発明のある実施形態は、下記の実施例の一つまたは複数に関係することがありうる。
【０１３２】
よって、本発明は、以下の付番実施例（EEE:  Enumerated  Example  Embodiment）を含むがそれに限定されない、本稿に記載される形のいずれにおいて具現されてもよい。それは、本発明のいくつかの部分の構造、特徴および機能を述べたものである。
【実施例】
【０１３３】
〔ＥＥＥ１〕
参照ピクチャを処理する方法であって：
ｉ）エンコードされるべき原ピクチャに対して、再構成された参照ピクチャおよび処理された参照ピクチャ推定に基づいて、動き推定を実行する段階と；
ｉｉ）動き推定されたピクチャをさらに処理して、さらに処理された参照ピクチャ推定を得る段階と；
動き推定およびさらなる処理を逐次反復して、処理された参照ピクチャを提供する段階とを含む、
方法。
〔ＥＥＥ２〕
付番実施例１記載の方法であって、前記さらなる処理は、動きモデル・パラメータを得るさらなる動き推定と、補間フィルタ・パラメータ、強度補償パラメータおよびノイズ除去フィルタ・パラメータのうちの少なくとも一つの推定と、前記動きモデル・パラメータならびに補間フィルタ・パラメータ、強度補償パラメータおよびノイズ除去フィルタ・パラメータのうちの前記少なくとも一つの前記再構成された参照ピクチャへの適用とを含む、方法。
〔ＥＥＥ３〕
単一層（single-layered）または多層（multi-layered）ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを推定するための逐次反復方法であって：
ｉ）エンコードされるべき原ピクチャおよび前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と；
ｉｉ）さらなる動き推定を実行して動きモデル・パラメータを与える段階と；
ｉｉｉ）前記動きモデル・パラメータに従って歪め（warping）を実行して歪められたピクチャを得る段階と；
段階ｉ）ないしｉｉｉ）を逐次反復する段階とを含み、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づく、
方法。
〔ＥＥＥ４〕
単一層（single-layered）または多層（multi-layered）ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域の動きパラメータを推定するための逐次反復方法であって：
ｉ）エンコードされるべき原ピクチャおよび前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域に基づいて動き推定を実行する段階と；
ｉｉ）さらなる動き推定を実行して動きモデル・パラメータを与える段階と；
ｉｉｉ）前記動きモデル・パラメータを処理して、補間フィルタ・パラメータおよび強度補償パラメータのうち少なくとも一つを与える段階と；
ｉｖ）前記動きモデル・パラメータおよび補間フィルタ・パラメータおよび強度補償パラメータのうち前記少なくとも一つに従って歪め（warping）を実行して歪められたピクチャを得る段階と；
段階ｉ）ないしｉｖ）を逐次反復する段階とを含み、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記歪められたピクチャに基づく、
方法。
〔ＥＥＥ５〕
付番実施例３記載の方法であって、逐次反復の前に、
ｉｖ）歪められたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含み、
前記逐次反復はｉｖ）をも逐次反復し、それによりｉ）ないしｉｖ）を逐次反復し、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、
方法。
〔ＥＥＥ６〕
付番実施例４記載の方法であって、逐次反復の前に、
ｉｖ）歪められたピクチャをフィルタリングして前記処理された参照ピクチャを得る段階をさらに含み、
前記逐次反復はｉｖ）およびｖ）をも逐次反復し、それによりｉ）ないしｖ）を逐次反復し、その後の反復工程におけるｉ）の動き推定は、前記エンコードされるべき原ピクチャ、前記参照ピクチャ・バッファの前記再構成された参照ピクチャもしくは前記再構成された参照ピクチャのある領域および前記処理された参照ピクチャに基づく、
方法。
〔ＥＥＥ７〕
前記再構成された参照ピクチャが、処理されていない、前記参照ピクチャ・バッファのもとの参照ピクチャである、付番実施例１ないし６のうちいずれか一項記載の方法。
〔ＥＥＥ８〕
前記再構成された参照ピクチャが、前に処理された参照ピクチャである、付番実施例１ないし６のうちいずれか一項記載の方法。
〔ＥＥＥ９〕
前記前に処理された参照ピクチャが、代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの少なくとも一つを適用することによって処理されている、付番実施例１ないし６のうちいずれか一項記載の方法。
〔ＥＥＥ１０〕
代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャから推定される、付番実施例９記載の方法。
〔ＥＥＥ１１〕
代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャおよび前記前に処理された参照ピクチャから推定される、付番実施例９記載の方法。
〔ＥＥＥ１２〕
前記処理された参照ピクチャが、前記逐次反復におけるその後の動き推定のための参照として使われる、付番実施例１〜２または５〜１１のうちいずれか一項記載の方法。
〔ＥＥＥ１３〕
前記動き推定がブロック・ベースの動き推定を含む、付番実施例１ないし１２のうちいずれか一項記載の方法。
〔ＥＥＥ１４〕
前記動き推定が周波数相関方法または位相相関方法を含む、付番実施例１ないし１２のうちいずれか一項記載の方法。
〔ＥＥＥ１５〕
前記動き推定がピクセル・レベルの動き推定方法を含む、付番実施例１ないし１２のうちいずれか一項記載の方法。
〔ＥＥＥ１６〕
前記さらなる動き推定が勾配降下推定方法である、付番実施例２ないし１５のうちいずれか一項記載の方法。
〔ＥＥＥ１７〕
前記勾配降下推定方法は、ニュートン・ラフソン（Newton  Raphson）逐次反復法、レヴェンバーグ・マーカート逐次反復法および最小二乗推定器からなる群から選択される当てはめ〔フィッティング〕方法を利用する、付番実施例１６記載の方法。
〔ＥＥＥ１８〕
前記さらなる動き推定が単一動きモデルを利用する、付番実施例２ないし１７のうちいずれか一項記載の方法。
〔ＥＥＥ１９〕
前記さらなる動き推定が複数の動きモデルを利用する、付番実施例２ないし１７のうちいずれか一項記載の方法。
〔ＥＥＥ２０〕
前記単一動きモデルまたは前記複数の動きモデルが、並進、ズーム、回転、等方、アフィン、透視および多項式動きモデルからなる群から選択される、付番実施例１８または１９記載の方法。
〔ＥＥＥ２１〕
前記動きモデル・パラメータが前にエンコードされたまたは処理されたピクチャからのものである、付番実施例２ないし２０のうちいずれか一項記載の方法。
〔ＥＥＥ２２〕
前記動きモデル・パラメータが同じピクチャの前に処理された領域からのものである、付番実施例２ないし２０のうちいずれか一項記載の方法。
〔ＥＥＥ２３〕
前記再構成された参照ピクチャが複数の重なり合う領域に分割される、付番実施例２ないし２２のうちいずれか一項記載の方法。
〔ＥＥＥ２４〕
前記再構成された参照ピクチャが複数の重なり合わない領域に分割される、付番実施例２ないし２２のうちいずれか一項記載の方法。
〔ＥＥＥ２５〕
補間フィルタ選択および強度補償推定を通じた前記動きモデル・パラメータの前記処理は、前記エンコードされるべき原ピクチャおよび前記再構成された参照ピクチャにも基づく、付番実施例１６ないし２４のうちいずれか一項記載の方法。
〔ＥＥＥ２６〕
前記フィルタリングはノイズ除去フィルタリングを含む、付番実施例５ないし２５のうちいずれか一項記載の方法。
〔ＥＥＥ２７〕
前記歪めは前記再構成された参照ピクチャに基づいて実行される、付番実施例５ないし２６のうちいずれか一項記載の方法。
〔ＥＥＥ２８〕
前記動きモデル・パラメータは前記歪められたピクチャに基づいて選択される、付番実施例３または４記載の方法。
〔ＥＥＥ２９〕
前記動きモデル・パラメータは前記処理された参照ピクチャに基づいて選択される、付番実施例５または６記載の方法。
〔ＥＥＥ３０〕
前記動きモデル・パラメータは、歪みコスト、レート‐歪みコスト、歪み複雑さまたはレート‐歪み複雑さに基づいて選択される、付番実施例２ないし２６のうちいずれか一項記載の方法。
〔ＥＥＥ３１〕
ピクチャの諸領域の動きモデル・パラメータ推定が、重なり合うまたは重なり合わない領域の解析を通じて行われる、付番実施例３ないし２２のうちいずれか一項記載の方法。
〔ＥＥＥ３２〕
前記解析が平均することを含む、付番実施例３１記載の方法。
〔ＥＥＥ３３〕
前記解析が重み付き平均することを含む、付番実施例３１記載の方法。
〔ＥＥＥ３４〕
前記解析が、前記重なり合うまたは重なり合わない領域のいずれかに複数の動きモデルを適用し、該複数の動きモデルにおける各動きモデルの寄与に基づいて平均を得ることを含む、付番実施例３１記載の方法。
〔ＥＥＥ３５〕
前記解析が、前記重なり合うまたは重なり合わない領域のいずれかに複数の動きモデルを適用し、該複数の動きモデルにおける各動きモデルの寄与に基づいて重み付き平均を得ることを含む、付番実施例３１記載の方法。
〔ＥＥＥ３６〕
前記重み付き平均の重みが前記デコーダに信号伝達される、付番実施例３５記載の方法。
〔ＥＥＥ３７〕
前記解析が領域境界にまたがってブロック解除を実行することを含む、付番実施例３１記載の方法。
〔ＥＥＥ３８〕
ブロック解除を実行する際にピクセル・ベースの方法が使われる、付番実施例３７記載の方法。
〔ＥＥＥ３９〕
ブロック解除を実行する際に周波数領域の方法が使われる、付番実施例３７記載の方法。
〔ＥＥＥ４０〕
補間フィルタ選択が、歪め（warping）およびレート歪み（rate  distortion）考慮に基づいて実行される、付番実施例２５記載の方法。
〔ＥＥＥ４１〕
補間フィルタ選択が前記デコーダに信号伝達される、付番実施例２５記載の方法。
〔ＥＥＥ４２〕
補間フィルタ・パラメータが前記動きモデル・パラメータから得られ、前記補間フィルタ・パラメータがさらに、複数の独立な補間フィルタからのフィルタ・パラメータに依存する、付番実施例５または６記載の方法。
〔ＥＥＥ４３〕
前記複数の独立な補間フィルタが複数のピクセル精度レベルに関する、付番実施例４２記載の方法。
〔ＥＥＥ４４〕
前記複数の独立な補間フィルタが複数の固定フィルタを含み、各固定フィルタは固定フィルタ指数〔インデックス〕によって同定される、付番実施例４３記載の方法。
〔ＥＥＥ４５〕
前記複数の独立な補間フィルタが少なくとも一つの固定フィルタおよび少なくとも一つの明示的フィルタを含む、付番実施例４３記載の方法。
〔ＥＥＥ４６〕
前記複数の固定フィルタが、前記複数の固定フィルタに対応するすべての精度レベルについて、前記複数の固定フィルタの各固定フィルタに対応する固定フィルタ指数を使って信号伝達される、付番実施例４４記載の方法。
〔ＥＥＥ４７〕
付番実施例４４記載の方法であって：
前記複数の固定フィルタが第一の固定フィルタおよび第二の固定フィルタを含み、
前記第一の固定フィルタが第一の固定フィルタ指数によって同定され、前記第二の固定フィルタが第二の固定フィルタ指数によって同定され、
前記固定フィルタが、第一のピクセル精度レベルまで補間を実行し、前記第二の固定フィルタが、前記第一のピクセル精度レベルより高い残りのピクセル精度レベルについて補間を実行する、
方法。
〔ＥＥＥ４８〕
前記第一の固定フィルタが、前記第一の固定フィルタに対応するすべてのピクセル精度レベルについて、前記第一の固定フィルタ指数を使って信号伝達され、前記第二の固定フィルタが、前記第二の固定フィルタに対応するすべてのピクセル精度レベルについて、前記第二の固定フィルタ指数を使って信号伝達される、付番実施例４７記載の方法。
〔ＥＥＥ４９〕
前記独立な補間フィルタが、16ビット算術をもって使うために適応されている、付番実施例４３記載の方法。
〔ＥＥＥ５０〕
前記独立な補間フィルタが、16ビット算術をもって使うために適応されている、付番実施例４４または４５記載の方法。
〔ＥＥＥ５１〕
前記少なくとも一つの明示的フィルタが、前記少なくとも一つの明示的フィルタに対応するすべてのピクセル精度レベルについて信号伝達される、付番実施例４５記載の方法。
〔ＥＥＥ５２〕
前記少なくとも一つの固定フィルタが、前記少なくとも一つの固定フィルタに対応するすべてのピクセル精度レベルについて、前記少なくとも一つの固定フィルタに対応する前記固定フィルタ指数を使って信号伝達される、付番実施例５０記載の方法。
〔ＥＥＥ５３〕
前記少なくとも一つの明示的フィルタが、前記少なくとも一つの明示的フィルタに対応するすべてのピクセル精度レベルについて信号伝達される、付番実施例５０記載の方法。
〔ＥＥＥ５４〕
各ピクセル精度レベルと該精度レベルにおいて使われるべきその対応する補間フィルタとの間の関係が、使用される補間フィルタの型から推定される、付番実施例４３記載の方法。
〔ＥＥＥ５５〕
各ピクセル精度レベルと該精度レベルにおいて使われるべきその対応する補間フィルタとの間の関係が、ビットストリームにおいて前記デコーダに信号伝達される、付番実施例４３記載の方法。
〔ＥＥＥ５６〕
独立な補間フィルタは、双線形、ランツォシュ、双三次、ミッチェル・ネトラヴァリ、ウェーブレット・ベース、バンドレット（bandlet）・ベース、動き補償された時間的フィルタリング（MCTF:  motion-compensated  temporal  filtering）ベースおよび明示的補間フィルタからなる群から選択される、付番実施例４２または４３記載の方法。
〔ＥＥＥ５７〕
ノイズ除去フィルタリングを実行するノイズ除去フィルタが最小二乗推定器を使って得られる、付番実施例２または２６記載の方法。
〔ＥＥＥ５８〕
ノイズ除去フィルタリングを実行するノイズ除去フィルタが、前記動きモデル・パラメータ、前記補間フィルタ・パラメータおよび前記強度補償パラメータのうちの少なくとも一つの推定プロセスと合同して得られる、付番実施例２または２６記載の方法。
〔ＥＥＥ５９〕
ノイズ除去フィルタリングを実行するノイズ除去フィルタが、前記動きモデル・パラメータ、前記補間フィルタ・パラメータおよび前記強度補償パラメータの推定プロセスの完了後に得られる、付番実施例２または２６記載の方法。
〔ＥＥＥ６０〕
ノイズ除去フィルタリングを実行するノイズ除去フィルタが、ガウシアン・フィルタ、メジアン・フィルタおよび順序付きフィルタからなる群から選択される、付番実施例２、２６、５８または５９記載の方法。
〔ＥＥＥ６１〕
単一層（single-layered）または多層（multi-layered）ビデオ符号化システムにおける参照ピクチャ処理を実行するときに、エンコーダから得られるパラメトリック情報を受領し、パースする（parse）よう適応されたデコーダにおいて、参照ピクチャ・バッファの再構成された参照ピクチャもしくは該再構成された参照ピクチャのある領域をデコードする方法であって：
ｉ）入力ピクチャの歪めを実行して第一の処理されたピクチャを得る段階と；
ｉｉ）前記第一の処理されたピクチャに対して強度補償を適用して第二の処理されたピクチャを得る段階とを含む、
方法。
〔ＥＥＥ６２〕
ｉｉｉ）前記第二の処理されたピクチャをフィルタリングして処理された参照ピクチャを得る段階をさらに含む、
付番実施例６１記載の方法。
〔ＥＥＥ６３〕
歪め（warping）が、前記再構成された参照ピクチャに基づいて実行される、付番実施例６１または６２記載の方法。
〔ＥＥＥ６４〕
歪め（warping）が、動きモデル・パラメータおよび補間フィルタ・パラメータに基づいて実行される、付番実施例６１ないし６３のうちいずれか一項記載の方法。
〔ＥＥＥ６５〕
強度補償が強度補償パラメータに基づいて実行される、付番実施例６１ないし６４のうちいずれか一項記載の方法。
〔ＥＥＥ６６〕
ノイズ除去フィルタがノイズ除去フィルタ・パラメータに基づいて実行される、付番実施例６１ないし６４のうちいずれか一項記載の方法。
〔ＥＥＥ６７〕
ブロック解除フィルタリングがブロック解除フィルタ・パラメータに基づいて実行される、付番実施例６１ないし６４のうちいずれか一項記載の方法。
〔ＥＥＥ６８〕
前記再構成された参照ピクチャが、処理されていない、前記参照ピクチャ・バッファのもとの参照ピクチャである、付番実施例６１または６２記載の方法。
〔ＥＥＥ６９〕
前記再構成された参照ピクチャが、前に処理された参照ピクチャである、付番実施例６１または６２記載の方法。
〔ＥＥＥ７０〕
前記前に処理された参照ピクチャが、代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの少なくとも一つを適用することによって処理されている、付番実施例６１または６２記載の方法。
〔ＥＥＥ７１〕
代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャから推定される、付番実施例７０記載の方法。
〔ＥＥＥ７２〕
代替的な動きモデル・パラメータ、代替的な補間フィルタ・パラメータ、代替的な強度補償パラメータおよび代替的なノイズ除去フィルタ・パラメータのうちの前記少なくとも一つが、エンコードされるべき、前の原ピクチャおよび前記前に処理された参照ピクチャから推定される、付番実施例７０記載の方法。
【０１３４】
本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。
【０１３５】
本開示が個別的な方法またはシステムに限定されないことは理解しておくべきである。個別的な方法やシステムはむろん多様である。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項において、単数形の表現は、前後関係が明らかにそうでないことを示すのでない限り、複数の被指示物も含む。特に定義されているのでない限り、本稿で使われているすべての技術用語および科学用語は、本開示が関係する当業者によって通常理解される意味をもつ。
【０１３６】
上記の例は、本開示の参照処理方法の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。本開示を実行するための上記の態様の修正が当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。
【０１３７】
本開示のいくつかの実施形態を述べてきた。だが、本開示の精神および範囲から外れることなくさまざまな修正がなされてもよいことは理解されるであろう。よって、他の実施形態も請求項の範囲内にある。
【図１】
0005606625.tif 000015
【図２】
0005606625.tif 000016
【図３】
0005606625.tif 000017
【図４】
0005606625.tif 000018
【図５】
0005606625.tif 000019
【図６】
0005606625.tif 000020
【図７】
0005606625.tif 000021
【図８】
0005606625.tif 000022
【図９】
0005606625.tif 000023
【図１０】
0005606625.tif 000024
【図１１】
0005606625.tif 000025
【図１２】
0005606625.tif 000026