(57)【要約】ビデオ画像を符号化する方法は、ビデオ画像のブロックのうちの夫々１つについて、ブロックの因果的近傍において計算された隣接勾配値に応じてそのブロックにおける仮想勾配値を計算し、仮想勾配値に基づき１つの予測方向又は無指向性イントラ予測モードを得ることと、ブロックについての異なる予測どうしを比較することでコーディングモードを決定し、決定された“コーディングモード”を適用することによって予測ブロックを得、予測ブロックと現在のブロックとの間の残余誤差を得、決定されたコーディングモードと予測方向又は無指向性イントラ予測モードとの間の差を符号化することとを含む。計算することは、夫々の予測方向について、ブロックにおける仮想勾配値を推定するようその予測方向に沿って隣接勾配値を伝播することを含む。
2018501710.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像を符号化する方法であって、
前記ビデオ画像のブロックのうちの夫々１つについて、
（ａ）当該ブロックの因果的近傍における第１の勾配値を計算するステップと、
（ｂ）予測方向のうちの夫々について、該予測方向のうちの夫々に沿って前記第１の勾配値を外挿することによって、当該ブロックにおける第２の勾配値を計算するステップと、
（ｃ）前記予測方向のうちの夫々について、当該ブロックにおける前記第２の勾配値からエネルギ値を得るステップと、
（ｄ）前記予測方向についての前記得られたエネルギ値を使用することによって、少なくとも１つの無指向性予測モードについてのエネルギ値を得るステップと、
（ｅ）当該ブロックについて、前記得られたエネルギ値に基づき前記予測方向についての指向性モード及び前記少なくとも１つの無指向性予測モードの中から符号化のための予測モードを決定するステップと
を有する方法。
【請求項２】
符号化されたビデオ画像を復号する方法であって、
前記符号化されたビデオ画像のブロックのうちの夫々１つについて、
（ａ）当該ブロックの因果的近傍における第１の勾配値を計算するステップと、
（ｂ）予測方向のうちの夫々について、該予測方向のうちの夫々に沿って前記第１の勾配値を外挿することによって、当該ブロックにおける第２の勾配値を計算するステップと、
（ｃ）前記予測方向のうちの夫々について、当該ブロックにおける前記第２の勾配値からエネルギ値を得るステップと、
（ｄ）前記予測方向についての前記得られたエネルギ値を使用することによって、少なくとも１つの無指向性予測モードについてのエネルギ値を得るステップと、
（ｅ）当該ブロックについて、前記得られたエネルギ値に基づき前記予測方向についての指向性モード及び前記少なくとも１つの無指向性予測モードの中から復号化のための予測モードを決定するステップと
を有する方法。
【請求項３】
前記ステップ（ａ）において、前記第１の勾配値は、当該ブロックの前記因果的近傍におけるピクセル値をフィルタリングすることで求められ、該フィルタリングは、前記予測方向に関係があり、
Ｎは正の整数であるとして、（２Ｎ＋１）×（２Ｎ＋１）個のピクセル値が前記第１の勾配値のうちの夫々のために使用される、
請求項１又は２に記載の方法。
【請求項４】
前記ステップ（ｂ）において、前記第２の勾配値は空間外挿によって求められる、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記ステップ（ｃ）において、前記エネルギ値は、前記第２の勾配値の絶対値の和、又は前記第２の勾配値の絶対値の中の最大値である、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記ステップ（ｄ）において、前記エネルギ値は、前記予測方向について前記得られたエネルギ値を平均することによって求められる、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
前記ステップ（ｅ）において、前記予測モードは、前記エネルギ値が前記得られたエネルギ値の中で最も高い予測モードとして決定される、
請求項１乃至６のうちいずれか一項に記載の方法。
【請求項８】
前記ステップ（ｅ）において、前記エネルギ値が前記得られたエネルギ値の中で最も高い前記予測モードが前記無指向性予測モードである場合、且つ、複数の無指向性予測モードがある場合に、前記予測モードは、ＨＥＶＣ標準の方法に従って、又は当該ブロックの前記因果的近傍における推定値及びピクセル値の間の差の絶対値に従って、決定される、
請求項７に記載の方法。
【請求項９】
（ｆ）前記決定された予測モードを用いて当該ブロックを符号化するステップと、
（ｇ）予測子への前記決定された予測モードのインデックスを符号化するステップと
を更に有する請求項１及び３乃至８に記載の方法。
【請求項１０】
（ｆ２）前記決定された予測モードを用いて当該ブロックを復号するステップ
を更に有する請求項２乃至８に記載の方法。
【請求項１１】
ビデオ画像を符号化するか、又は符号化されたビデオ画像を復号する装置であって、
請求項１及び３乃至９のうちいずれか一項に記載の方法の各ステップを実施するよう構成される手段を有する装置。
【請求項１２】
符号化されたビデオ画像を復号する装置であって、
請求項２乃至８及び１０のうちいずれか一項に記載の方法の各ステップを実施するよう構成される手段を有する装置。
【請求項１３】
通信ネットワークからダウンロード可能であり及び／又はコンピュータによって読み出し可能な媒体上に記録され及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
請求項１乃至１０のうちいずれか一項に記載の方法を実施するプログラムコード命令を有するプログラム製品。
【請求項１４】
プロセッサによって実行されることが可能なコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体であって、
請求項１乃至１０のうちいずれか一項に記載の方法を実施するプログラムコード命令を含む非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像を符号化する方法、符号化されたビデオ画像を復号する方法、ビデオ画像を符号化する装置、及び符号化されたビデオ画像を復号する装置に概して関係がある。
【背景技術】
【０００２】
Ｈ．２６４（“MPEG-4  AVC/H.264  document  ISO/IEC  14496-10”を参照）及びＨＥＶＣ（“B.Bross，W.J.Han，G.J.Sullivan，J.R.Ohm，T.Wiegand  JCTVC-K1003，“High  Efficiency  Video  Coding  （HEVC）  text  specification  draft  9”，Oct  2012”及び“G.Sulivan，J.Ohm，W.J.Han，T.Wiegand，“Overview  of  the  High  efficiency  Video  Coding  （HEVC）  standard”，TCSVT  2012  (http://iphome.hhi.de/wiegand/assets/pdfs/2012_12_IEEE-HEVC-Overview.pdf)”）標準において、夫々９及び３５のイントラ予測モードが使用され得る。モードにおけるコーディングは、現在のブロックがコーディングされるより前に選択されたモードに従って決定された最確モード（ＭＰＭ；Most  Probable  Mode）の事前計算に基づく。
【０００３】
Ｈ．２６４標準において、イントラ４×４及びイントラ８×８予測は、隣接する再構成されたピクセルに基づきコーディングされる現在のブロック（図１中“ｂｌｃ”）のピクセルの空間推定に対応する。Ｈ．２６４標準は、ピクセル予測を精緻化するために種々の指向性予測モード（directional  prediction  modes）を特定する。９個のイントラ予測モードは、４×４及び８×８のブロックサイズのマクロブロック（ＭＢ；macroblock）に対して定義される。図２に記載されるように、それらのモードのうちの８つは、予測する現在のブロックを囲んでいるピクセル（左の列及び上の行）に基づく１Ｄ指向性外挿から成る。イントラ予測モード２（ＤＣモード）は、予測されるブロックピクセルを、利用可能な周囲ピクセルの平均として定義する。
【０００４】
Ｈ．２６４のイントラ４×４モード予測において、予測は、図１により表されるように、再構成された隣接ピクセルに依存する。
【０００５】
図１において、“ｂｌｃ”は、符号化する現在のブロックを表し、網掛けされた区間は、再構成されたピクセル又は因果的区間に対応し、残りのピクチャ（画像）は未だ符号化されておらず、因果的部分の中にある左の列及び上の行のピクセルは、空間予測を行うために使用されることに留意されたい。
【０００６】
イントラ４×４予測に関して、異なるモードが図２において説明される。
【０００７】
それらの４×４予測は、例えば、次のように行われる：
モード１（水平）において、ピクセル“ｅ”、“ｆ”、“ｇ”及び“ｈ”は、再構成されたピクセル“Ｊ”（左の列）を用いて予測される。
【０００８】
モード５において、例えば、“ａ”は、（Ｑ＋Ａ＋１）／２によって予測され、“ｇ”は、（Ａ＋２Ｂ＋Ｃ＋２）／４によって予測される。
【０００９】
同様に、図３は、イントラ８×８予測の原理を説明する。
【００１０】
それらの８×８予測は、例えば、次のように行われる：
以下で示される“ｐｒｄ（ｉ，ｊ）”は、現在のブロックの予測すべきピクセルの座標行列（ｉ，ｊ）を表すことに留意されたい。インデックス（０，０）の第１のピクセルは、現在のブロックにおける左上のピクセルである。
【００１１】
モード１（水平）において、例えば、ピクセルｐｒｄ（０，０）、ｐｒｄ（０，１），・・・及びｐｒｄ（０，７）は、再構成された“Ｑ”ピクセルにより予測される。
【００１２】
モード５において、例えば、ｐｒｄ（０，０）は、（Ｍ＋Ａ＋１）／２によって予測され、また、ｐｒｄ（１，２）及びｐｒｄ（３，３）は、（Ａ＋２Ｂ＋Ｃ＋２）／４によって予測される。
【００１３】
イントラ予測は、次いで、異なる予測方向を用いて行われる。残余、すなわち、現在のブロックと予測されたブロックとの間の差が周波数変換（ＤＣＴ）され、量子化され、最終的に符号化された後、それは送出される。符号化プロセスの前に、利用可能な９個の予測モードから、最良の予測モードが選択される。方向予測のために、符号化する現在のブロックと予測されたブロックとの間で比較されるＳＡＤ（Sum  of  Absolute  Difference）の大きさが、例えば、使用され得る。明らかに、予測モードは、夫々のサブパーティションについて符号化される。
【００１４】
Ｈ．２６４標準において、ＭＰＭは、“ｌｅｆｔ”及び“ｕｐ”ブロック（図１を参照）のイントラコーディングモードのインデックスの最小値に対応する。隣接ブロックのイントラコーディングモードが利用可能でない場合には、ＤＣモード（インデックス＝２）が、デフォルトとして、現在のブロックに割り当てられる。
【００１５】
ＨＥＶＣ標準におけるＭＰＭに関して、下記が、前述の参考文献：G.Sulivan，J.Ohm，W.J.Han，T.Wiegand，“Overview  of  the  High  efficiency  Video  Coding  （HEVC）  standard”，TCSVT  2012  (http://iphome.hhi.de/wiegand/assets/pdfs/2012_12_IEEE-HEVC-Overview.pdf)，page  1658  columns  1  and  2から抜粋される。
【００１６】
“７）モードコーディング：
ＨＥＶＣは、全てのブロックサイズについてルーマ予測のために全部で３３のIntra-Angular予測モード並びにIntra-Planar及びIntra-DC予測モードをサポートする（図４を参照）。方向の数が増加することにより、ＨＥＶＣは、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣで考えられている１つの最確モード（ＭＰＭ）よりもむしろ、ルーマイントラピクチャ予測モードを予測的にコーディングするときに、３つの最確モードを考える。  
３つの最確モードの中で、最初の２つは、上及び左のＰＢが利用可能であり、イントラピクチャ予測モードを用いてコーディングされる場合に、それらのＰＢのルーマイントラピクチャ予測モードによって初期化される。如何なる利用不可能な予測モードもイントラＤＣであると見なされる。ルーマコーディングツリーブロック（ＣＴＢ；coding  tree  block）の上にある予測ブロック（ＰＢ；prediction  block）は、隣接ルーマ予測モードのラインバッファを保持する必要性回避するために、常に利用不可能であると見なされる。  
最初の２つの最確モードが等しくない場合に、３つ目の最確モードは、最初の２つの最確モードがIntra-Planar、Intra-DC、又はIntra-Angular[26]（垂直）のうちのどれかであるかに応じて、この順序で、最初の２つのモードのうちの１つの複製でない（インデックスの）モードに等しく設定される。最初の２つの最確モードが同じである場合に、この最初のモードが値Intra-Planar又はIntra-DCを有するならば、２つ目及び３つ目の最確モードは、最初の２つの最確モードがどのモードであるかに応じて、複製でないIntra-Planar、Intra-DC、又はIntra-Angular[26]としてこの順序で割り当てられる。最初の２つの最確モードが同じであり、最初のモードがIntra-Angular値を有するならば、２つ目及び３つ目の最確モードは、最初の最確モードの角度（すなわち、ｋの値）に最も近い２つの角度予測モードとして選択される。  
現在のルーマ予測モードが３つのＭＰＭのうちの１つである場合において、ＭＰＭインデックスのみが復号器へ送信される。そうでない場合には、３つのＭＰＭを除く現在のルーマ予測モードのインデックスが、５−ｂ固定長コードを使用することによって復号器へ送信される。  
クロマイントラピクチャ予測のために、ＨＥＶＣは、５つのモード：Intra-Planar、Intra-Angular[26]（垂直）、Intra-Angular[10]（水平）、Intra-DC、及びIntra-Derivedのうちの１つを選択することを符号器に可能にする。Intra-Derivedモードは、クロマ予測がルーマ予測と同じ角度方向を使用することを特定する。このスキームによれば、ＨＥＶＣにおいてルーマのために特定される全ての角度モードは、原理上、クロマ予測でも使用可能であり、予測精度とシグナリングオーバーヘッドとの間では、望ましいトレードオフが達成される。選択されたクロマ予測モードは、（ＭＰＭ予測メカニズムを使用せずに）直接にコーディングされる。”（1658頁、第1及び第2列“7)  Mode  Coding:  HEVC  supports  a total  of  33  Intra−Angular  prediction  modes  and  Intra−Planar  and  Intra−DC  prediction  modes  for  luma  prediction  for  all  block  sizes.   Due to the  increased number of directions,  HEVC  considers  three  most  probable  modes  (MPMs)  when  coding  the  luma  intrapicture  prediction  mode  predictively,  rather  than  the  one  most  probable  mode  considered  in  H.264/MPEG-4  AVC.  
Among  the  three  most  probable  modes,  the  first  two  are  initialized  by  the  luma  intrapicture  prediction  modes  of  the  above  and  left  PBs  if  those  PBs  are  available  and  are  coded  using  an  intrapicture  prediction  mode.  Any  unavailable  prediction  mode  is  considered  to  be  Intra−DC.  The  PB  above  the  luma  CTB  is  always  considered  to  be  unavailable  in  order  to  avoid  the  need  to  store  a  line  buffer  of  neighboring  luma  prediction  modes.  
When  the  first  two  most  probable  modes  are  not  equal,  the  third  most  probable  mode  is  set  equal  to  Intra−Planar,  Intra−DC,  or  Intra−Angular[26]  (vertical),  according  to  which  of  these  modes,  in  this  order,  is  not  a  duplicate  of  one  of  the  first  two  modes.  When  the  first  two  most  probable  modes  are  the  same,  if  this  first  mode  has  the  value  Intra−Planar  or  Intra−DC,  the  second  and  third  most  probable  modes  are  assigned  as  Intra−Planar,  Intra−DC,  or  Intra−Angular[26],  according  to  which  of  these  modes,  in  this  order,  are  not  duplicates.  When  the  first  two  most  probable  modes  are  the  same  and  the  first  mode  has  an  Intra−Angular  value,  the  second  and  third  most  probable  modes  are  chosen  as  the  two  angular  prediction  modes  that  are  closest  to  the  angle  (i.e.,  the  value  of  k)  of  the  first.  
In  the  case  that  the  current  luma  prediction  mode  is  one  of  three  MPMs,  only  the  MPM  index  is  transmitted  to  the  decoder.  Otherwise,  the  index  of  the  current  luma  prediction  mode  excluding  the  three  MPMs  is  transmitted  to  the  decoder  by  using  a  5-b  fixed  length  code.  
For  chroma  intrapicture  prediction,  HEVC  allows  the  encoder  to  select  one  of  five  modes:  Intra−Planar,  Intra−Angular[26]  (vertical),  Intra−Angular[10]  (horizontal),  Intra−DC,  and  Intra−Derived.  The  Intra−Derived  mode  specifies  that  the  chroma  prediction  uses  the  same  angular  direction  as  the  luma  prediction.  With  this  scheme,  all  angular  modes  specified  for  luma  in  HEVC  can,  in  principle,  also  be  used  in  the  chroma  prediction,  and  a  good  tradeoff  is  achieved  between  prediction  accuracy  and  the  signaling  overhead.  The  selected  chroma  prediction  mode  is  coded  directly  (without  using  an  MPM  prediction  mechanism).
【００１７】
国際公開第２０１０／１０２９３５（Ａ１）号によれば、ＭＰＭ推定は、畳み込み（convolution）フィルタを用いて因果的近傍から得られる勾配に特に基づく。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】国際公開第２０１０／１０２９３５（Ａ１）号
【非特許文献】
【００１９】
【非特許文献１】G.Sulivan，J.Ohm，W.J.Han，T.Wiegand，“Overview  of  the  High  efficiency  Video  Coding  （HEVC）  standard”，TCSVT  2012  (http://iphome.hhi.de/wiegand/assets/pdfs/2012_12_IEEE-HEVC-Overview.pdf)
【発明の概要】
【００２０】
本発明の一態様に従って、ビデオ画像を符号化する方法は、ビデオ画像のブロックのうちの夫々１つについて、当該ブロックの因果的近傍において計算された隣接勾配値に応じて当該ブロックにおける仮想勾配値を計算し、該仮想勾配値に基づき１つの予測方向又は無指向性イントラ予測モードを得ることと、当該ブロックについての異なる予測どうしを比較することでコーディングモードを決定し、該決定された“コーディングモード”を適用することによって予測ブロックを得、該予測ブロックと現在のブロックとの間の残余誤差を得、該残余誤差及び、前記決定されたコーディングモードと予測方向又は無指向性イントラ予測モードとの間の差を符号化することとを含む。前記計算することは、夫々の予測方向について、当該ブロックにおける仮想勾配値を推定するようその予測方向に沿って隣接勾配値を伝播することを含む。
【図面の簡単な説明】
【００２１】
【図１】空間予測を表す。
【図２】イントラ４×４予測を表す。
【図３】イントラ８×８予測を表す。
【図４】ＨＥＶＣ標準に従うイントラ予測モードを表す。
【図５】２Ｄ畳み込み窓を表す。
【図６】因果的近傍を表す。
【図７】所与の方向ｄについての因果的近傍の勾配を表す。
【図８】仮想８×８予測（又は外挿）ブロックＧｒｄ（Ｇｒ０，Ｇｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４，Ｇｒ５，Ｇｒ６，Ｇｒ７及びＧｒ８）を表す。
【図９】現在のブロックの予測を表す。
【図１０Ａ】本実施形態に従う符号器側での処理を表すフローチャートである。
【図１０Ｂ】本実施形態に従う復号器側での処理を表すフローチャートである。
【図１１】図１０に示されるステップＳ１００の処理を表すフローチャートである。
【図１２】Ｈ．２６４標準の方法を適用する場合において図１１に示されるステップＳ１３０の処理を表すフローチャートである。
【図１３】第１の解決法に従ってＨＥＶＣ標準の方法を適用する場合において図１１に示されるステップＳ１３０の処理を表すフローチャートである。
【図１４】第２の解決法に従ってＨＥＶＣ標準の方法を適用する場合において図１１に示されるステップＳ１３０の処理を表すフローチャートである。
【図１５】実施形態に従う符号器を表すブロック図である。
【図１６】実施形態に従う復号器を表すブロック図である。
【発明を実施するための形態】
【００２２】
本発明の好適な実施形態は、添付の図面を参照して記載される。
【００２３】
本実施形態の目的は、低ビットレートのために同じ品質を保つことによってビデオコーディング性能を改善することである。目的は、そのようなコーディングの利点を提供する、符号器及び復号器で使用されるツールを実装することである。
【００２４】
ここで扱われるものは、画像及びビデオコーディングとの関連でイントラ（又は空間）モードのための予測モードの推定の問題である。
【００２５】
Ｈ．２６４及びＨＥＶＣ標準では、上述されたように、夫々９及び３５のイントラ予測モードが使用され得る。モードにおけるコーディングは、現在のブロックがコーディングされるより前に選択されたモードに従って決定された最確モード（ＭＰＭ）の計算に基づく。
【００２６】
本実施形態に従って、ＭＰＭのより良い推定によって、現在のモード（現在のブロックに専用である。）のコーディング費用を減らすことが可能である。
【００２７】
よって、本実施形態に従って、現在のブロックのイントラコーディングモードの推定、ひいては、ＭＰＭの効率を改善することが可能である。
【００２８】
Ｈ．２６４及びＨＥＶＣ標準に従うＭＰＭの計算は、非常に簡単（低い計算費用）でありながら、改善され得る。改善は、前述の参考文献、すなわち、国際公開第２０１０／１０２９３５（Ａ１）号（特許文献１）において提案されている。この特許文献１において、現在のブロックの近傍は、指向性勾配フィルタを用いて解析される。この技術では、現在のブロックの周りの限定的な領域（因果的部分）は、たとえ多数の再構成されたピクセルが予測において使用可能であるとしても（例えば、Ｈ．２６４の場合におけるモード３及び７並びにＨＥＶＣの場合におけるモード２７乃至３４）それらが考慮されない場合に（特許文献１の図３中のL-zoneを参照）、使用される。
【００２９】
その上、この技術では、外挿される可能性がある輪郭（contour）の影響は、現在のブロックの領域において解析されない。
【００３０】
本実施形態に従って、妥当な複雑性を伴ってコーディング費用（又はビットレート）を減らすためにＭＰＭ推定を改善することが可能である。
【００３１】
本実施形態は、
ａ）（符号化する）現在のブロックについて、該ブロックの因果的（又は復号された）近傍において計算された指向性勾配値に依存する値を計算すること、及び
ｂ）前記現在のブロックを符号化すること
によって、指向性勾配フィルタを用いて周囲の因果的ピクセルに基づきＭＰＭを計算することにある。
【００３２】
ステップｂは、所与の空間予測モードに従って当該ブロックのテクスチャを符号化すること、及び
予測子により指名された最確モード（ＭＰＭ）に対して区別を付けて予測モードのインデックスを符号化すること
を含む。
【００３３】
ステップａは、前記現在のブロックについて、
ａ１）ある予測方向について、前記因果的近傍における勾配値を計算すること、
ａ２）当該予測方向に沿って前記勾配値を伝播することによって仮想勾配予測ブロックを決定すること、
ａ３）前記仮想勾配予測ブロックの前記伝播された勾配値からエネルギ値を決定すること、
ａ４）夫々の予測方向、すなわち、Ｈ．２６４の場合には８方向、及びＨＥＶＣの場合には３３方向、について、ステップａ１乃至ａ３を繰り返すこと、
ａ５）前記現在のブロックのためのコーディングモードとして該現在のブロックに専用のＭＰＭ又は予測子を与える最も高いエネルギ値を決定すること
を含む。
【００３４】
ステップａ（その場合にステップａ１乃至ａ５）は復号器側でも実装されることに留意されたい。
【００３５】
ステップａ２乃至ａ５は、実施形態の目的に相当し、ステップａ１は、前述の参考文献、すなわち、国際公開第２０１０／１０２９３５（Ａ１）号（特許文献１）に部分的に含まれている。夫々のイントラ予測モードに従うイントラ予測のために、符号器は、そのイントラ予測モードを伝えるフラグとともにＭＰＭの条件を使用する。ＭＰＭがイントラ予測モードと同じである場合には、フラグは“１”に設定され、１ビットしか、イントラ予測モードを伝えるために必要とされない。ＭＰＭ及びイントラ予測モードが異なる場合には、フラグは“０”に設定され、追加の３ビットが、イントラ予測モードを伝えるために必要とされる。符号器は、イントラ予測モードを表すために、１又は４ビットのいずれかを費やす必要がある。
【００３６】
現在のブロックを予測するために使用される予測モードは、所与のモード決定アルゴリズムを用いて、例えば、ＲＤＯ（Rate  Distortion  Optimization）に基づき、符号器によって選択される。ＲＤＯアルゴリズムは、映像圧縮の分野ではよく知られている。
【００３７】
その場合に、現在のブロックを予測するために使用される予測モードは、一般的に、ＭＰＭとは異なる。
【００３８】
本実施形態の目的は、ブロックを予測するために実際に使用されるコーディングモードに可能な限り近いＭＰＭを見つけることである。
【００３９】
ブロックを符号化又は復号するプロセッサは、次のものであることができる。
【００４０】
符号器側で、符号器は、
１．実施形態に従ってＭＰＭを決定し、
２．符号化するブロックのための予測の異なったブロックどうしを比較することによって、そのブロックのための最良のコーディングモードを決定し（例えば、映像圧縮領域においてよく知られているＲＤＯアルゴリズムを用いる。）、
３．ＭＰＭを参照して“コーディングモード”を符号化し（例えば、前記決定された最良のコーディングモードとＭＰＭとの間の差を符号化する。）、且つ
４．符号化する現在のブロックと予測のブロック（コーディングモードに対応する。例えば、図２を参照）との間の残余誤差のブロックを符号化する。
【００４１】
復号器側で、復号器は、
１．実施形態に従ってＭＰＭを決定し、
２．ＭＰＭの助けにより“コーディングモード”を復号し（例えば、取得するコーディングモードとＭＰＭとの間の差を復号することによって復号すべきブロックを予測するよう“コーディングモード”を取得する。）、且つ
３．残余誤差予測のブロックを復号し、このようにして得られた残余誤差予測のブロックを予測のブロック（コーディングモードを適用することによって得られる。例えば、図２を参照）に加えて、復号すべきブロックを得る。
【００４２】
（１）原理
本実施形態に従ってＭＰＭを決定する処理は、現在のブロックの近傍に位置する勾配の予測の仮想ブロックに存在する。この処理は、予測の各指向性モードについて実現される。
【００４３】
予測のブロックは、ピクセルドメインに関する予測に関係があり、符号化する現在のブロックに専用の予測に対応する。それと対照的に、勾配予測の仮想ブロックは、予測に使用されないが、現在のブロック内で外挿される勾配のエネルギ値を推定するためにのみ使用される。
【００４４】
この解析は、最も高い勾配エネルギ値を与える方向のエネルギ値に関する検出及び定量化（又は総和）から成る。
【００４５】
そのアプローチの利点は、次の通りである：
予測のブロックの構成に寄与する全ての再構成されたピクセルの影響を考慮して、この影響は当該ブロック内で解析される。
【００４６】
（勾配の）仮想予測のブロックで働くことは、予測の各方向についての潜在的な輪郭の勾配振幅、及び当該ブロック内のそれらの輪郭の空間的な寄与、すなわち、輪郭のサイズのような、輪郭密度及び勾配エネルギ値のまずまずの妥協を与える。
【００４７】
処理は、以下で詳細に記載される。
【００４８】
前述の参考文献、すなわち、国際公開第２０１０／１０２９３５（Ａ１）号（特許文献１）で説明されている技術に従って、インデックス３の予測８×８“対角左下”のモードが考えられる。このとき、再構成されたピクセルＡ乃至Ｈのみが使用され、残りのピクセル（Ｉ乃至Ｐ）は使用されない。
【００４９】
本実施形態に従って、予測の各方向について、勾配の予測の仮想ブロックが決定される。このとき、勾配は、因果的近傍（causal  neighbor）において計算され、勾配予測の仮想ブロックは、予測のブロックの処理において使用された外挿の同じ式を用いて実施される。
【００５０】
その後、勾配予測の各仮想ブロックについて、エネルギ値が計算され（例えば、勾配の絶対値の和）、最終的に、最も高いエネルギ値を与える勾配予測の仮想ブロックが、本実施形態に従って、ＭＰＭに対応する方向として選択される。
【００５１】
（２）勾配処理（Gradient  processing）
上述されたように、最初のステップは、現在のブロックの近傍における勾配を計算することである。そのために、２Ｄ窓畳み込み（又はフィルタ）が、因果的区間内のピクセルに対して適用される。通常、現在のブロック（Ｈ．２６４の場合に図２及び３を参照）に関して、Ｆｄは、異なる空間ｄ（ｄ＝０，１，・・・，８且つｄ≠２）方向について、例えば、図５に示されるものである。
【００５２】
この例では、８つの畳み込みフィルタが使用される。インデックス“ｄ”は、異なる向き（orientations）に対応する。勾配は、（２Ｎ＋１）×（２Ｎ＋１）個の係数のサイズを有しているフィルタを用いて計算される。目的は、図６に示される隣接ピクセルＸ乃至Ｐに勾配値を割り当てることである。
【００５３】
図６の隣接ピクセルの場合に、再構成されたピクセルＩ（ｘ，ｙ）の勾配Ｇｄ（ｙ，ｘ）は、次のように計算される：
【数１】
2018501710.tif 000003
【００５４】
そこで、“ｙ”及び“ｘ”は、勾配Ｇｄ（ｙ，ｘ）の行及び列の座標を表す。
【００５５】
また、“ｙ”及び“ｘ”は、ピクセルＩ（ｙ，ｘ）の行及び列の座標を表す。
【００５６】
“Ｎ＋ｉ”及び“Ｎ＋ｊ”は、（２Ｎ＋１）×（２Ｎ＋１）のサイズを有しているフィルタＦｄの係数の行及び列の座標を表す。なお、“Ｎ”は正の整数である。
【００５７】
最後の行に対してフィルタを適用するために、Ｎ行パディング（padding）（例えば、コピー）が実現される。このパディングは図６によって表されており、ピクセルｐ０、ｐ１及びｐ２は、例えば、上にある夫々のピクセルの、本例では、３×３のＦｄサイズ（Ｎ＝１）の、単純なコピーである。
【００５８】
よって、図７の例では、勾配は、次のように計算される：
Ａ乃至Ｐのピクセルについて、
【数２】
2018501710.tif 000004
Ｑ乃至Ｘのピクセルについて、
【数３】
2018501710.tif 000005
ピクセルＭについて、
【数４】
2018501710.tif 000006
【００５９】
図６に示されるフィルタの例では、３乃至８（Ｆ３乃至Ｆ８）の予測の方向について、それらの式（６）乃至（８）が適用される。
【００６０】
垂直及び水平予測のために、フィルタリング（Ｆ０及びＦ１フィルタ）は最適化され得る。それらのフィルタは、ゼロ係数の列及び行を夫々ほとんど有さない。この場合に、勾配は、次のように計算される：
Ａ乃至Ｐのピクセルについて、
【数５】
2018501710.tif 000007
Ｑ乃至Ｘのピクセルについて、
【数６】
2018501710.tif 000008
【００６１】
ここで、ピクセルＭは、垂直及び水平予測では使用されない（図２及び３におけるモード０及び１を参照）。
【００６２】
（３）勾配外挿（extrapolation）
前のステップにおいて、勾配は、夫々のＦｄフィルタを用いて、各予測方向ｄ（ｄ＝０，１，・・・，７且つｄ≠２）について、図７に示されるように境界上で計算される。
【００６３】
勾配がこのようにして計算されると、次いで、（各方向についての）勾配予測の仮想ブロックが、図８に表されるように、予測のブロック（ピクセルドメインにおいて図２及び３を参照）で使用される同じ外挿技術を使用することによって、“単純な”空間伝播により計算される。
【００６４】
それらの予測は、次のように実施される。
【００６５】
勾配Ｇｒｄ（ｉ，ｊ）は、座標行列（ｉ，ｊ）の現在のブロックについて外挿される。インデックス（０，０）の第１の勾配は、現在のブロック内の左上にある。
【００６６】
例えば、モード１（水平）において、勾配Ｇｒ１（０，０）、Ｇｒ１（０，１）、・・・、Ｇｒ１（０，７）は、勾配ＧＱ１を用いて予測される。
【００６７】
モード５において、例えば、Ｇｒ５（０，０）は、（ＧＡ５＋ＧＱ５＋１）／２によって外挿され、また、Ｇｒ５（１，２）及びＧｒ５（３，３）は、（ＧＡ５＋２ＧＢ５＋ＧＣ５＋２）／４によって予測される。
【００６８】
外挿の他の可能性は、勾配の絶対値の伝播に存在する。
【００６９】
この場合に、モード１（水平）において、勾配Ｇｒ１（０，０）、Ｇｒ１（０，１）、・・・、Ｇｒ１（０，７）は、勾配｜ＧＱ１｜を用いて予測される。ここで、符号｜｜は、絶対値の演算子である。
【００７０】
モード５において、Ｇｒ５（０，０）は、（｜ＧＡ５｜＋｜ＧＱ５｜＋１）／２によって外挿され、また、Ｇｒ５（１，２）及びＧｒ５（３，３）は、（｜ＧＡ５｜＋２｜ＧＢ５｜＋｜ＧＣ５｜＋２）／４によって予測される。
【００７１】
（４）勾配エネルギのブロック
（仮想予測）ブロックにおける外挿された勾配のエネルギ値は、仮想勾配予測ブロック内に含まれる勾配の和によって得られる。所与のｄの向きについての勾配Ｇｒｄ（Ｈ×Ｗのサイズ）のブロックについて、このブロックのエネルギ値Ｅｄは、次のように計算される：
勾配の和は、次のように計算され、
【数７】
2018501710.tif 000009
あるいは、勾配の和は、所与の閾値よりも大きい場合には、次のように計算され、
【数８】
2018501710.tif 000010
例えば、ｔｈｒ＝１０であり、あるいは、量子化ステップ値（ＱＰ）を使用する閾値関数によれば、次のように計算され、
【数９】
2018501710.tif 000011
例えば、ＱＰ＞０の場合にｆ（ＱＰ）＝√ＱＰであり（注記：量子化ステップ値（ＱＰ）は、例えば、（予測の）残余誤差に変換（例えば、ＤＣＴ）される係数に適用される、Ｈ．２６４及びＨＥＶＣで使用されるよく知られた量子化ステップに対応する。）、あるいは、次のように、最大勾配が使用される。
【数１０】
2018501710.tif 000012
【００７２】
現在のブロックＢに関して、因果的近傍において利用可能な予測の方向の中で最大のエネルギ値ＥＢを有している最良の方向は、
【数１１】
2018501710.tif 000013
によって得られる。
【００７３】
Ｈ．２６４の８つの指向性モードの例（図２及び３を参照）では、
【数１２】
2018501710.tif 000014
【００７４】
（５）ＭＰＭ基準選択
式（１７）は、現在のブロックを横断する潜在的な輪郭の（ＥＢエネルギ値の）最確方向を与える。その上、ビデオコーディング標準で使用される空間モード予測との関連で、Ｈ．２６４標準についてのＤＣモード並びにＨＥＶＣ標準についてのＤＣ及び平面モードのような、無指向性予測モードが考慮に入れられる。
【００７５】
（５．１）Ｈ．２６４
更なる仮想勾配（ＤＣモードによる。）は、インデックス番号２のＤＣモードについて、次のように推定される：
【数１３】
2018501710.tif 000015
【００７６】
そこで、λは、推定値をＤＣモードに割り当てる所定の係数を表す。次いで、この値は、現在のブロックの周りの信号はおおよそ平坦であるときに（他のｄ方向から）選択される。例えば、λは１．２に等しくなり得る。
【００７７】
その場合に、式（１７）は、次のようである：
【数１４】
2018501710.tif 000016
【００７８】
次いで、ＭＰＭは、最大エネルギ値を与えるインデックスｄＥｍａｘのモードに対応する。
【００７９】
（５．２）ＨＥＶＣ
ＨＥＶＣ標準では、無指向性モード、すなわち、ＤＣ及び平面モードを含む３５のモードが考慮に入れられる。この状況において、次の２つの解決法のうちのいずれかが適用され得る。
【００８０】
上述されたＨ．２６４標準の場合と同様に、ＤＣ及び平面モードに特有のエネルギ値ＥＤＣ及びＥｐｌａｎａｒは、夫々次のように推定される：
【数１５】
2018501710.tif 000017
【００８１】
第１の解決法が、これより説明される。
【００８２】
最初に、同じようにして、エネルギ値は、全ての指向性及び無指向性モードから、次のように計算される：
【数１６】
2018501710.tif 000018
【００８３】
次いで、ｄＥｍａｘが指向性モードｄ（インデックス２乃至３４）のうちのいずれか１つに等しい場合には、
ＭＰＭ＝ｄＥｍａｘ
【００８４】
ｄＥｍａｘが指向性モードｄ（インデックス２乃至３４）以外である場合、すなわち、ＭＰＭが無指向性モード（インデックス０及び１、すなわち、ＤＣ及び平面モード）のいずれか一方に等しい場合には、ＨＥＶＣ標準で使用される規則は、ＭＰＭを決定するために適用される。
【００８５】
第２の解決法が、これより説明される。
【００８６】
最初に、同じようにして、エネルギ値は、全ての指向性及び無指向性モードから、次のように計算される：
【数１７】
2018501710.tif 000019
【００８７】
次いで、ｄＥｍａｘが指向性モードｄ（インデックス２乃至３４）のうちのいずれか１つに等しい場合には、
ＭＰＭ＝ｄＥｍａｘ
【００８８】
ｄＥｍａｘが指向性モードｄ（インデックス２乃至３４）以外である場合、すなわち、ＭＰＭが無指向性モード（インデックス０及び１、すなわち、ＤＣ及び平面モード）のいずれか一方に等しい場合には、隣接する再構成されたピクセルに基づき、ＤＣ及び平面モードのいずれか一方が選択される。
【００８９】
図９に示される現在のブロックの予測の状況が検討される。
【００９０】
再構成された隣接ピクセル（図９中“ｘ”）における２つの推定誤差、すなわち、ＤＣモードについてのＥｒＤＣ及び平面モードについてのＥｒｐｌａｎａｒが、計算される。
【００９１】
以下で、ｉ、ｊは、（Ｈ×Ｗのサイズの予測すべき）ブロックのピクセルの行及び列に関する座標を表す。インデックス（０，０）の第１のピクセルは、現在のブロック内の左上にあり、モードＤＣに関連する値は、次のように計算される：
【数１８】
2018501710.tif 000020
【００９２】
ＤＣモードからの隣接ピクセル（ｘ）に関する推定誤差ＥｒＤＣは、次のように計算される：
【数１９】
2018501710.tif 000021
【００９３】
平面モードに関して、隣接ピクセルの行及び列における夫々の傾きが計算され、その後に、隣接ピクセル（ｘ）に関する誤差Ｅｒｐｌａｎａｒは、次のように計算される：
左の列（垂直）及び上の行（水平）に関して夫々推定される偏差を表す傾きαｖ及びαｈは、次のように計算される：
Ｉ（Ｈ，−１）が利用可能である場合
αｖ＝（Ｉ（Ｈ，−１）−Ｉ（−１，−１））／（Ｈ＋１）
αｈ＝（Ｉ（−１，Ｗ）−Ｉ（−１，−１））／（Ｗ＋１）
【００９４】
次いで、推定誤差Ｅｒｐｌａｎａｒは、次のように計算される：
【数２０】
2018501710.tif 000022
【００９５】
他方で、Ｈ（Ｈ，−１）が利用可能でない場合には、ピクセルＩ（Ｈ−１，−１）が、次のように使用される：
Ｉ（Ｈ，−１）が利用可能でない場合
αｖ＝（Ｉ（Ｈ−１，−１）−Ｉ（−１，−１））／（Ｈ）
αｈ＝（Ｉ（−１，Ｗ）−Ｉ（−１，−１））／（Ｗ＋１）
【００９６】
次いで、推定誤差Ｅｒｐｌａｎａｒは、次のように計算される：
【数２１】
2018501710.tif 000023
【００９７】
Ｉ（Ｈ，−１）及びＩ（−１，Ｗ）が利用可能でない場合には、
αｖ＝（Ｉ（Ｈ−１，−１）−Ｉ（−１，−１））／（Ｈ）
αｈ＝（Ｉ（−１，Ｗ−１）−Ｉ（−１，−１））／（Ｗ）
【数２２】
2018501710.tif 000024
【００９８】
次いで、ＭＰＭは、次のように、ＥｒＤＣ及びＥｒｐｌａｎａｒのうちの推定誤差の最小値に対応する：
ＥｒＤＣ≦Ｅｒｐｌａｎａｒの場合、ＭＰＭ＝ＤＣモード
ＥｒＤＣ＞Ｅｒｐｌａｎａｒの場合、ＭＰＭ＝平面モード
【００９９】
次に、図１０Ａ乃至１４を用いて、本実施形態における処理のフローが説明される。
【０１００】
図１０Ａに示されるように、符号化されるビデオ画像のブロックのうちの夫々について、図１０Ａの処理が実行され、それにより、ビデオ画像は、結果として、符号化され得る。
【０１０１】
ステップＳ１００で、そのブロックの因果的近傍における隣接勾配値に応じた仮想勾配値が計算される。次いで、１つの予測方向又は無指向性イントラ予測モードが取得（選択）される。
【０１０２】
“隣接勾配値”は、図６に示される隣接ピクセルＸ乃至ＰについてＧｄ（ｙ，ｘ）として前述の項目“（２）勾配処理”において取得される。
【０１０３】
“仮想勾配値”Ｇｒｄは、“（３）勾配外挿”から取得され、次いで、“１つの予測方向又は無指向性イントラ予測モード”（ＭＰＭ）は、“（４）勾配エネルギのブロック”及び“（５）ＭＰＭ基準選択”から取得される。
【０１０４】
詳細は、図１１乃至１４を用いて後述される。
【０１０５】
ステップＳ２００Ｅで、“コーディングモード”は、符号化するブロックのための異なる予測どうしを比較することによって決定され、決定された“コーディングモード”と取得された“予測方向又は無指向性イントラ予測モード”（ＭＰＭ）との間の“差”が取得され、そして、予測されたブロックは、“コーディングモード”を適用することによって取得される。次いで、符号化する現在のブロックと予測されたブロックとの間の残余誤差が取得され、取得された残余誤差及び“差”は符号化されて送出される。
【０１０６】
図１０Ｂに示されるように、復号されるビデオ画像のブロックのうちの夫々について、図１０Ｂの処理が実行され、それにより、ビデオ画像は、結果として、復号され得る。
【０１０７】
図１０ＢのステップＳ１００で、そのブロックの因果的近傍における隣接勾配値に応じた仮想勾配値が計算される。次いで、１つの予測方向又は無指向性イントラ予測モードが取得（選択）される。
【０１０８】
“隣接勾配値”は、図６に示される隣接ピクセルＸ乃至ＰについてＧｄ（ｙ，ｘ）として前述の項目“（２）勾配処理”において取得される。
【０１０９】
“仮想勾配値”Ｇｒｄは、“（３）勾配外挿”から取得され、次いで、“１つの予測方向又は無指向性イントラ予測モード”（ＭＰＭ）は、“（４）勾配エネルギのブロック”及び“（５）ＭＰＭ基準選択”から取得される。
【０１１０】
詳細は、図１１乃至１４を用いて後述される。
【０１１１】
図１０ＢのステップＳ２００Ｄで、符号器側から送出された“差”は、取得された“予測方向又は無指向性イントラ予測モード”（ＭＰＭ）を用いて“コーディングモード”を得るよう、復号される。例えば、“コーディングモード”は、復号された“差”をＭＰＭに適用することによって得られる。次いで、予測ブロックは、そのように取得された“コーディングモード”を適用することによって得られる。次いで、符号器側から送出された残余誤差が復号され、復号された残余誤差は、現在の復号されたブロックを得るよう、得られた予測ブロックに加えられる。
【０１１２】
図１１は、図１０に示されているステップＳ１００の詳細の一例を表す。
【０１１３】
ステップＳ１１０で、各予測方向“ｄ”について、因果的近傍における隣接勾配値（“Ｇｄ（ｙ，ｘ）”）は計算される。上述されたように、例えば、Ｈ．２６４標準における方法を提供する場合において、予測方向“ｄ”はｄ＝０，１，・・・，８且つｄ≠２を含む（図２及び３を参照）。
【０１１４】
ステップＳ１２０で、ステップＳ１１０で計算された隣接勾配値は、現在のブロックにおける仮想勾配値を推定するよう現在の予測方向に沿って伝播される（“（３）勾配外挿”）。次いで、このようにして推定された現在のブロックにおける仮想勾配値は、エネルギ値“Ｅｄ”を得るよう合計される（“（４）勾配エネルギのブロック”）。
【０１１５】
ステップＳ１３０で、１つの予測方向又は無指向性イントラ予測モードは、ステップＳ１１０乃至Ｓ１２０の反復的なループ処理から夫々の予測方向について取得されたエネルギ値に基づき、決定される。
【０１１６】
より具体的には、Ｈ．２６４標準における方法を適用する場合において、図１２に示されるように、ＤＣモードについてのエネルギ値“Ｅ２”は、式（１８）において示されるように、ステップＳ１３１で、ステップＳ１１０乃至Ｓ１２０の反復的なループ処理から夫々の予測方向について取得されたエネルギ値に基づき取得される。
【０１１７】
図１２のステップＳ１３２で、最も高いエネルギを有する１つの予測方向又は無指向性イントラ予測モード（ＭＰＭ）は、式（１９）において示されるように、決定される。
【０１１８】
他方で、ＨＥＶＣ標準における方法を適用する場合における前述の第１の解決法では、図１３に示されるように、ＤＣ及び平面モードについての夫々のエネルギ値“ＥＤＣ”及び“Ｅｐｌａｎａｒ”は、式（２０）において示されるように、ステップＳ１３３で、ステップＳ１１０乃至Ｓ１２０の反復的なループ処理から夫々の予測方向について取得されたエネルギ値に基づき取得される。
【０１１９】
ステップＳ１３４で、予測方向のうちのいずれか１つが最も高いエネルギ値を有するかどうかが決定される（すなわち、“ｄＥｍａｘ＝ｄ（２乃至３４）”）。
【０１２０】
予測方向のうちのいずれか１つが最も高いエネルギ値を有する場合に（すなわち、“ｄＥｍａｘ＝ｄ（２乃至３４）”）、対応する予測方向は、１つの予測方向又は無指向性イントラ予測モード（ＭＰＭ）と見なされる（ステップＳ１３５）。
【０１２１】
無指向性イントラ予測モード（ＤＣモード及び平面モード）のいずれか一方が最も高いエネルギ値を有する場合には（すなわち、“ｄＥｍａｘ≠ｄ（２乃至３４）”）、１つの予測方向又は無指向性イントラ予測モード（ＭＰＭ）は、関連技術におけるＨＥＶＣ標準の規則に従って決定される（ステップＳ１３６）。ＨＥＶＣ標準の規則は、本願の“背景技術”において記載されている。
【０１２２】
他方で、ＨＥＶＣ標準における方法を適用する場合における前述の第２の解決法では、図１４に示されるように、ステップＳ１３３乃至Ｓ１３５は、図１３のそれらのステップと同じである。
【０１２３】
無指向性イントラ予測モード（ＤＣモード及び平面モード）のいずれか一方が最も高いエネルギ値を有する場合に（すなわち、“ｄＥｍａｘ≠ｄ（２乃至３４）”）、再構成された隣接ピクセル（図９中“ｘ”）において最小推定誤差（“ＥｒＤＣ”又は“Ｅｒｐｌａｎａｒ”）を有するＤＣモード又は平面モードのいずれか一方が、１つの予測方向又は無指向性イントラ予測モード（ＭＰＭ）と見なされる（ステップＳ１３７）。
【０１２４】
次に、図１５及び１６を用いて、実施形態の例における符号器及び復号器が説明される。
【０１２５】
図１５及び１６は、符号器及び復号器を夫々示す。これらでは、最確モード（ＭＰＭ）決定が焦点を当てられている（すなわち、“ＭＰＭ”ボックス１４及び３４）。符号器及び復号器に含まれている同じボックス（すなわち、“ＭＰＭ”ボックス１４及び３４、“Ｑ−１Ｔ−１”ボックス１７及び３２、“参照フレーム”ボックス２１及び３３、並びに“空間予測”ボックス１３及び３５）は、同じ機能を夫々有していることに留意されたい。
【０１２６】
符号器側及び復号器側で、イントラ画像予測モードのみが、イントラモード（ｍ）を用いて、記載されている。しかし、“モード決定”ボックス１５の機能（所与のＲＤＯ基準を使用する。）は、イントラ及びインター画像予測モードからの最良の予測モードの決定にある。
【０１２７】
図１５に示されるように、符号器は、“動き推定”ボックス１１、“時間予測”ボックス１２、“空間予測”ボックス１３、“ＭＰＭ”ボックス１４、“モード決定”ボックス１５、加算器（“＋”）ボックス１６、“Ｔ，Ｑ”ボックス１７、“エントロピ符号器”ボックス１８、“Ｑ−１Ｔ−１”ボックス１９、加算器（“＋”）ボックス２０、及び“参照フレーム”ボックス２１を含む。
【０１２８】
原画像ブロックｂが符号化されるべきとき、以下の処理が図１５の符号器において実施される。
【０１２９】
１）原画像ブロックｂ及び、参照フレームを記憶するバッファとして機能する“参照フレーム”ボックス２１に記憶されている（以前に復号された）画像を用いて、“動き推定”ボックス１１は、所与の動きベクトルを有する最良のインター画像予測ブロックを（“時間予測”ボックス１２とともに）見つける。利用可能なイントラ予測モード（例えば、Ｈ．２６４の場合に、図２を参照）及び隣接する再構成された（すなわち、復号された）ピクセルから、“空間予測”ボックス１３はイントラ予測ブロックを与える。
【０１３０】
２）ＭＰＭは、上述された実施形態に従って、現在の画像の前のブロックからそのブロックの因果的（又は復号された）近傍において計算された指向性勾配に応じて、“ＭＰＭ”ボックス１４によって決定される。
【０１３１】
３）“モード決定”ボックス１５”が（利用可能なＤ個のイントラモードから“ｍ”インデックスの）イントラ画像予測モードを（例えば、後述されるRate  Distortion  Optimization基準、すなわちＲＤＯに基づき）選択する場合に、残余誤差予測ｒｂは、原画像ブロックｂと予測ブロック
（外１）
2018501710.tif 000025
との間の差として加算器１６によって取得される。決定されたＭＰＭを参照して、空間（イントラ）コーディングモードｍが符号化される。例えば、ＭＰＭと選択された空間（イントラ）コーディングモードｍとの間の差が取得され、“エントロピ符号器”ボックス１８によって符合された後に復号器へ送出される。
【０１３２】
４）その後に、残余誤差予測ｒｂは、“Ｔ，Ｑ”ボックス１７によって変換及び量子化され（ｒｂｑ）、最終的に、“エントロピ符号器”ボックス１８によってエントロピ符号化され、ビットストリームにおいて送出される。
【０１３３】
５）復号されたブロックｂｒｅｃは、（“Ｑ−１Ｔ−１”ボックス１９によって）逆変換及び逆量子化された予測誤差ブロックｒｂｄｑを加算器２０によって予測ブロック
（外２）
2018501710.tif 000026
に加えることによって、ローカルで再構築される。このようにして、再構成されたブロックｂｒｅｃが得られる。
【０１３４】
６）このようにして得られた再構成された（すなわち、復号された）フレームは、“参照フレーム”ボックス２１に記憶される。
【０１３５】
前述の“Rate  Distortion  Optimization”（ＲＤＯ）が、これより説明される。
【０１３６】
ＲＤＯ基準は、最小レート歪み費用を有する最良のコーディングモードを選択するために使用され得る。この方法は、次の式によって表現され得る：
【数２３】
2018501710.tif 000027
なお、“Ｖ”及び“Ｕ”は、ブロックの垂直方向及び水平方向の次元を表し、“ｉ”及び“ｊ”は、ブロック内のピクセルの垂直方向及び水平方向の座標を表す。前述の式において、λは、（よく知られた）ラグランジュ乗数であり、ＳＳＤｋは、原画像ブロックｂにおけるオリジナルのサンプルと再構成された（すなわち、復号された）ブロックｂｒｅｃｋとの間の二乗された差の和によって計算されるｋインデックスモードのイントラ予測による再構成されたブロックｂｒｅｃｋの歪みであり、項Ｃｓｔｋは、可変長符号化の後のビットレートの費用である。
【０１３７】
最後に、ｍインデックスの最良のコーディングモードは、例えば、イントラ予測Ｈ．２６４の場合において、Ｄ個のとり得るモードの中のレート歪みＲｄの最小値に対応する。とり得るモードの総数は９に等しくなり得る（図２を参照）。
【０１３８】
これに関して、Thomas  Wiegand,  Bernd  Girod，“Lagrange  Multiplier  Selection  in  Hybrid  Video  Coder  Control”，Image  Processing  IEEE  2001を参照されたい。
【０１３９】
図１６に示されるように、復号器は、“エントロピ復号器”ボックス３１、“Ｑ−１Ｔ−１”ボックス３２、参照フレーム”ボックス３３、“ＭＰＭ”ボックス３４、“空間予測”ボックス３５、“動き補償”ボックス３６、“予測”ボックス３７、及び加算器（“＋”）３８を含む。
【０１４０】
以下の処理が、図１６の復号器において実施される。
【０１４１】
１）符号器から送出されたビットストリームから、所与のブロックについて、“エントロピ復号器”ボックス３１は、量子化された誤差予測ｒｂｑを復号する。
【０１４２】
２）このようにして得られた残余誤差予測ｒｂｑは、“Ｑ−１Ｔ−１”ボックス３２によって、逆量子化及び逆変換された残余誤差予測ｒｂｄｑへと逆量子化及び逆変換される。
【０１４３】
３）ＭＰＭは、上述された実施形態に従って、現在の画像の前のブロックからそのブロックの因果的（又は復号された）近傍において計算された指向性勾配に応じて、“ＭＰＭ”ボックス３４によって決定される。
【０１４４】
４）決定されたＭＰＭを用いて、空間（イントラ）コーディングモードｍが復号される。例えば、ＭＰＭと空間（イントラ）コーディングモード“ｍ”との間の差は、復号すべきブロックを予測するために“コーディングモード”を得るよう復号される。
【０１４５】
５）このようにして得られた“ｍ”イントラモードを適用することによって、“空間予測”ボックス３５及び“予測”ボックス３７は、復号された隣接ピクセルを用いてイントラ画像予測
（外３）
2018501710.tif 000028
を得る。
【０１４６】
６）復号されたブロックｂｒｅｃは、復号された逆量子化された予測誤差ブロックｒｂｄｑを加算器３８によって予測ブロック
（外４）
2018501710.tif 000029
に加えることによって、ローカルで再構築される。
【０１４７】
７）このようにして得られた再構成された（すなわち、復号された）フレームは、“参照フレーム”ボックス３３に記憶される。復号されたフレームは、次のインター／イントラ画像予測のために使用される。
【０１４８】
本実施形態は、指向性勾配フィルタを用いて、且つ、予測の各方向について潜在的な輪郭の現在のブロック（仮想勾配予測ブロック）に対する影響を解析することによって、周囲の因果的ピクセルに基づきＭＰＭを計算することにある。このアプローチを通じて、上述された関連技術と比較して、現在のブロックの周りの再構成された信号のコンテンツに特に近いことが可能である。本実施形態が符号器で実装されるときに、利点は、所与の品質についてのビットレートの低減、又は所与のビットレートについての品質の改善に存在する。
【０１４９】
本実施形態は、画像及び映像圧縮に適用され得る。特に、本実施形態に存在する概念は、ビデオコンテンツのアーカイブ及び分配に専用の新世代の符号器の開発の部分として、ＩＴＵ−Ｔ又はＭＰＥＧ標準化グループに受け入れられ得る。
【０１５０】
このように、ビデオ画像を符号化する方法、符号化されたビデオ画像を復号する方法、及び符号器は、具体的な実施形態において説明されてきた。しかし、本発明は、実施形態に制限されず、変形及び置換が、請求される発明の適用範囲内で行われ得る。
【０１５１】
多数の変更が、実例となる実施形態に対して行われてよく、他の配置は、添付の特許請求の範囲によって定義されるように発案され得ることが理解されるべきである。
【０１５２】
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装されてよい。たとえ単一の実施形態に関してか説明されない（例えば、方法又はデバイスとしてしか説明されない）としても、説明されている特徴の実施は、他の形態（例えば、プログラム）においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。方法は、例えば、プロセッシングデバイス全般を指すプロセッサのような装置において実装され得る。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含む。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスを含む。
【０１５３】
本願で記載される様々なプロセス及び特徴の実施は、多種多様な設備又は用途（特に、例えば、設備又は用途）において具現化され得る。そのような設備の例は、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスを含む。当然に、設備はモバイルであってよく、移動車両に設置さえされてよい。
【０１５４】
加えて、方法は、プロセッサによって実行される命令によって実装されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、又はリードオンリーメモリ（“ＲＯＭ”））のようなプロセッサ可読媒体に記憶され得る。命令は、プロセッサ可読媒体において有形に具現化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はその両者の組み合わせにおいて見受けられ得る。プロセッサは、従って、例えば、処理を実行するよう構成されたデバイス、及び処理を実行するための命令を有しているプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方と見なされ得る。更には、プロセッサ可読媒体は、命令に加えて、又は命令に代えて、実施によって生成されたデータ値を記憶してよい。
【０１５５】
多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施を生じるように結合され、置換され、変更され、又は削除されてよい。加えて、他の構造及びプロセスは、開示されているものと置換されてよく、結果として現れる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を遂行することが当業者に理解されるだろう。然るに、それら及び他の実施は、本願によって考えられている。
【図１】
2018501710.tif 000030
【図２】
2018501710.tif 000031
【図３】
2018501710.tif 000032
【図４】
2018501710.tif 000033
【図５】
2018501710.tif 000034
【図６】
2018501710.tif 000035
【図７】
2018501710.tif 000036
【図８】
2018501710.tif 000037
【図９】
2018501710.tif 000038
【図１０Ａ】
2018501710.tif 000039
【図１０Ｂ】
2018501710.tif 000040
【図１１】
2018501710.tif 000041
【図１２】
2018501710.tif 000042
【図１３】
2018501710.tif 000043
【図１４】
2018501710.tif 000044
【図１５】
2018501710.tif 000045
【図１６】
2018501710.tif 000046
【手続補正書】
【提出日】平成29年6月12日(2017.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ画像を符号化する方法であって、
前記ビデオ画像のブロックのうちの夫々１つについて、
（ａ）当該ブロックの因果的近傍における第１の勾配値を計算するステップと、
（ｂ）イントラ予測方向のうちの夫々について、該イントラ予測方向のうちの夫々に沿って前記第１の勾配値を予測することによって、当該ブロックにおける第２の勾配値を計算するステップと、
（ｃ）前記イントラ予測方向のうちの夫々について、当該ブロックにおける前記第２の勾配値からエネルギ値を得るステップと、
（ｄ）前記イントラ予測方向についての前記得られたエネルギ値を使用することによって、少なくとも１つの無指向性イントラ予測モードについてのエネルギ値を得るステップと、
（ｅ）当該ブロックについて、前記得られたエネルギ値に基づき前記イントラ予測方向についての指向性モード及び前記少なくとも１つの無指向性イントラ予測モードの中からイントラ予測モードを決定するステップと
を有する方法。
【請求項２】
符号化されたビデオ画像を復号する方法であって、
前記符号化されたビデオ画像のブロックのうちの夫々１つについて、
（ａ）当該ブロックの因果的近傍における第１の勾配値を計算するステップと、
（ｂ）イントラ予測方向のうちの夫々について、該イントラ予測方向のうちの夫々に沿って前記第１の勾配値を外挿することによって、当該ブロックにおける第２の勾配値を計算するステップと、
（ｃ）前記イントラ予測方向のうちの夫々について、当該ブロックにおける前記第２の勾配値からエネルギ値を得るステップと、
（ｄ）前記イントラ予測方向についての前記得られたエネルギ値を使用することによって、少なくとも１つの無指向性イントラ予測モードについてのエネルギ値を得るステップと、
（ｅ）当該ブロックについて、前記イントラ予測方向についての指向性モードに対応する前記得られたエネルギ値及び前記少なくとも１つの無指向性イントラ予測モードに基づきイントラ予測モードを決定するステップと
を有する方法。
【請求項３】
前記ステップ（ａ）において、前記第１の勾配値は、当該ブロックの前記因果的近傍におけるピクセル値をフィルタリングすることで求められ、該フィルタリングは、前記イントラ予測方向に関係があり、
Ｎは正の整数であるとして、（２Ｎ＋１）×（２Ｎ＋１）個のピクセル値が前記第１の勾配値のうちの夫々のために使用される、
請求項１又は２に記載の方法。
【請求項４】
前記ステップ（ｃ）において、前記エネルギ値は、前記第２の勾配値の絶対値の和、又は前記第２の勾配値の絶対値の中の最大値である、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記ステップ（ｄ）において、前記エネルギ値は、前記イントラ予測方向について前記得られたエネルギ値を平均することによって求められる、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記ステップ（ｅ）において、前記イントラ予測モードは、前記エネルギ値が前記得られたエネルギ値の中で最も高いイントラ予測モードとして決定される、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
前記ステップ（ｅ）において、前記エネルギ値が前記得られたエネルギ値の中で最も高い前記イントラ予測モードが前記少なくとも１つの無指向性イントラ予測モードのためである場合、且つ、複数の無指向性イントラ予測モードがある場合に、前記イントラ予測モードは、当該ブロックの前記因果的近傍におけるピクセル値及び前記少なくとも１つの無指向性イントラ予測モードに基づく予測されるピクセル値の推定誤差に従って、決定される、
請求項６に記載の方法。
【請求項８】
（ｆ）ＲＤＯに基づく第２のイントラ予測モードを用いて当該ブロックを符号化するステップと、
（ｇ）前記決定されたイントラ予測モードに対する前記第２のイントラ予測モードのインデックスを符号化するステップと
を更に有する請求項１及び３乃至７に記載の方法。
【請求項９】
（ｆ２）前記決定されたイントラ予測モードに基づき復号された第２の予測モードを用いて当該ブロックを復号するステップ
を更に有する請求項２及び３乃至７に記載の方法。
【請求項１０】
ビデオ画像を符号化するか、又は符号化されたビデオ画像を復号する装置であって、
請求項１及び３乃至８のうちいずれか一項に記載の方法の各ステップを実施するよう構成される手段を有する装置。
【請求項１１】
符号化されたビデオ画像を復号する装置であって、
請求項２乃至７及び９のうちいずれか一項に記載の方法の各ステップを実施するよう構成される手段を有する装置。
【請求項１２】
通信ネットワークからダウンロード可能であり及び／又はコンピュータによって読み出し可能な媒体上に記録され及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
請求項１乃至９のうちいずれか一項に記載の方法を実施するプログラムコード命令を有するプログラム製品。
【請求項１３】
プロセッサによって実行されることが可能なコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体であって、
請求項１乃至９のうちいずれか一項に記載の方法を実施するプログラムコード命令を含む非一時的なコンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【０１５５】
多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施を生じるように結合され、置換され、変更され、又は削除されてよい。加えて、他の構造及びプロセスは、開示されているものと置換されてよく、結果として現れる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を遂行することが当業者に理解されるだろう。然るに、それら及び他の実施は、本願によって考えられている。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
ビデオ画像を符号化する方法であって、
前記ビデオ画像のブロックのうちの夫々１つについて、
（ａ）当該ブロックの因果的近傍における第１の勾配値を計算するステップ（Ｓ１１０）と、
（ｂ）予測方向のうちの夫々について、該予測方向のうちの夫々に沿って前記第１の勾配値を外挿することによって、当該ブロックにおける第２の勾配値を計算するステップ（Ｓ１２０）と、
（ｃ）前記予測方向のうちの夫々について、当該ブロックにおける前記第２の勾配値からエネルギ値を得るステップ（Ｓ１２０）と、
（ｄ）前記予測方向についての前記得られたエネルギ値を使用することによって、少なくとも１つの無指向性予測モードについてのエネルギ値を得るステップ（Ｓ１３１）と、
（ｅ）当該ブロックについて、前記得られたエネルギ値に基づき前記予測方向についての指向性モード及び前記少なくとも１つの無指向性予測モードの中から符号化のための予測モードを決定するステップ（Ｓ１３２）と
を有する方法。
（付記２）
符号化されたビデオ画像を復号する方法であって、
前記符号化されたビデオ画像のブロックのうちの夫々１つについて、
（ａ）当該ブロックの因果的近傍における第１の勾配値を計算するステップ（Ｓ１１０）と、
（ｂ）予測方向のうちの夫々について、該予測方向のうちの夫々に沿って前記第１の勾配値を外挿することによって、当該ブロックにおける第２の勾配値を計算するステップ（Ｓ１２０）と、
（ｃ）前記予測方向のうちの夫々について、当該ブロックにおける前記第２の勾配値からエネルギ値を得るステップ（Ｓ１２０）と、
（ｄ）前記予測方向についての前記得られたエネルギ値を使用することによって、少なくとも１つの無指向性予測モードについてのエネルギ値を得るステップ（Ｓ１３１）と、
（ｅ）当該ブロックについて、前記得られたエネルギ値に基づき前記予測方向についての指向性モード及び前記少なくとも１つの無指向性予測モードの中から復号化のための予測モードを決定するステップ（Ｓ１３２）と
を有する方法。
（付記３）
前記ステップ（ａ）において、前記第１の勾配値は、当該ブロックの前記因果的近傍におけるピクセル値をフィルタリングすることで求められ、該フィルタリングは、前記予測方向に関係があり、
Ｎは正の整数であるとして、（２Ｎ＋１）×（２Ｎ＋１）個のピクセル値が前記第１の勾配値のうちの夫々のために使用される、
付記１又は２に記載の方法。
（付記４）
前記ステップ（ｂ）において、前記第２の勾配値は空間外挿によって求められる、
付記１乃至３のうちいずれか一つに記載の方法。
（付記５）
前記ステップ（ｃ）において、前記エネルギ値は、前記第２の勾配値の絶対値の和、又は前記第２の勾配値の絶対値の中の最大値である、
付記１乃至４のうちいずれか一つに記載の方法。
（付記６）
前記ステップ（ｄ）において、前記エネルギ値は、前記予測方向について前記得られたエネルギ値を平均することによって求められる、
付記１乃至５のうちいずれか一つに記載の方法。
（付記７）
前記ステップ（ｅ）において、前記予測モードは、前記エネルギ値が前記得られたエネルギ値の中で最も高い予測モードとして決定される、
付記１乃至６のうちいずれか一つに記載の方法。
（付記８）
前記ステップ（ｅ）において、前記エネルギ値が前記得られたエネルギ値の中で最も高い前記予測モードが前記無指向性予測モードである場合、且つ、複数の無指向性予測モードがある場合に、前記予測モードは、ＨＥＶＣ標準の方法に従って、又は当該ブロックの前記因果的近傍における推定値及びピクセル値の間の差の絶対値に従って、決定される、
付記７に記載の方法。
（付記９）
（ｆ）前記決定された予測モードを用いて当該ブロックを符号化するステップ（Ｓ２００Ｅ）と、
（ｇ）予測子への前記決定された予測モードのインデックスを符号化するステップと
を更に有する付記１及び３乃至８に記載の方法。
（付記１０）
（ｆ２）前記決定された予測モードを用いて当該ブロックを復号するステップ（Ｓ２００Ｄ）
を更に有する付記２乃至８に記載の方法。
（付記１１）
ビデオ画像を符号化するか、又は符号化されたビデオ画像を復号する装置であって、
付記１及び３乃至９のうちいずれか一つに記載の方法の各ステップを実施するよう構成される手段を有する装置。
（付記１２）
符号化されたビデオ画像を復号する装置であって、
付記２乃至８及び１０のうちいずれか一つに記載の方法の各ステップを実施するよう構成される手段を有する装置。
（付記１３）
通信ネットワークからダウンロード可能であり及び／又はコンピュータによって読み出し可能な媒体上に記録され及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
付記１乃至１０のうちいずれか一つに記載の方法を実施するプログラムコード命令を有するプログラム製品。
（付記１４）
プロセッサによって実行されることが可能なコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体であって、
付記１乃至１０のうちいずれか一つに記載の方法を実施するプログラムコード命令を含む非一時的なコンピュータ可読媒体。
【国際調査報告】
2018501710.tif 000047
2018501710.tif 000048
2018501710.tif 000049