(57)【要約】【課題】IBC予測符号化方式による動きベクトルを予測符号化できる可能性を向上できる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックと符号化済みの領域内の参照ブロック間のピクチャ内動きベクトルを算出するピクチャ内動きベクトル算出部１２と、符号化対象ブロックよりも前に符号化された複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて求めた予測ベクトルに基づいて符号化対象ブロックのピクチャ内動きベクトルを予測符号化するベクトル符号化部１６とを有する。【選択図】図１
2019129371.tif 000002
【特許請求の範囲】
【請求項１】
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、当該ブロックと前記符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出するピクチャ内動きベクトル算出部と、
前記複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、前記符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて前記符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測する予測ベクトルを求め、当該予測ベクトルに基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測符号化するベクトル符号化部と、
前記符号化対象ブロックについての前記参照ブロックと前記符号化対象ブロック間の予測誤差を算出し、当該予測誤差を符号化する符号化部と、
を有する動画像符号化装置。
【請求項２】
前記ベクトル符号化部は、前記第２の参照可能領域に含まれる前記第２のピクチャ内動きベクトルが複数存在する場合に、当該複数の第２のピクチャ内動きベクトルの平均ベクトルに基づいて前記予測ベクトルを求める、請求項１に記載の動画像符号化装置。
【請求項３】
前記ベクトル符号化部は、前記第２の参照可能領域に含まれる前記第２のピクチャ内動きベクトルが複数存在する場合に、当該複数の第２のピクチャ内動きベクトルのうちの前記符号化対象ブロックに対応する位置にあるブロックに最も近いブロックについて算出された第２のピクチャ内動きベクトルに基づいて前記予測ベクトルを求める、請求項１に記載の動画像符号化装置。
【請求項４】
前記ベクトル符号化部は、前記参照ピクチャを複数のサブ領域に分割し、前記複数のサブ領域のうち、前記符号化対象ブロックに対応する位置にあるブロックを含むサブ領域を前記第２の参照可能領域に含める、請求項１〜３の何れか一項に記載の動画像符号化装置。
【請求項５】
前記ベクトル符号化部は、前記複数のサブ領域のうち、前記符号化対象ブロックに対応する位置にあるブロックよりも前に符号化されたブロックを含むサブ領域を前記第２の参照可能領域にさらに含める、請求項４に記載の動画像符号化装置。
【請求項６】
前記ベクトル符号化部は、前記参照ピクチャを前記複数のサブ領域に分割する方法を規定する分割モードに従って、前記参照ピクチャを前記複数のサブ領域に分割し、
前記分割モードを表す情報を前記動画像データの符号化データに付加する付加部をさらに有する、請求項４または５に記載の動画像符号化装置。
【請求項７】
動画像データを復号する動画像復号装置であって、
前記動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、前記復号対象ブロックと前記復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて前記予測ベクトルとなる候補を表す情報とを取り出す分離部と、
前記復号対象ピクチャにおいて前記復号対象ブロックよりも前に復号され、かつ、前記復号対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記復号対象ピクチャよりも前に復号された参照ピクチャにおいて前記復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストと前記予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて前記ピクチャ内動きベクトルを復号するベクトル復号部と、
復号された前記ピクチャ内動きベクトルに基づいて特定される前記参照ブロックと前記予測誤差とに基づいて前記復号対象ブロックを復号する復号部と、
を有する動画像復号装置。
【請求項８】
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、当該ブロックと前記符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出し、
前記複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、前記符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて前記符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測する予測ベクトルを求め、当該予測ベクトルに基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測符号化し、
前記符号化対象ブロックについての前記参照ブロックと前記符号化対象ブロック間の予測誤差を算出し、当該予測誤差を符号化する、
ことを含む動画像符号化方法。
【請求項９】
動画像データを復号する動画像復号方法であって、
前記動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、前記復号対象ブロックと前記復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて前記予測ベクトルとなる候補を表す情報とを取り出し、
前記復号対象ピクチャにおいて前記復号対象ブロックよりも前に復号され、かつ、前記復号対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記復号対象ピクチャよりも前に復号された参照ピクチャにおいて前記復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストと前記予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて前記ピクチャ内動きベクトルを復号し、
復号された前記ピクチャ内動きベクトルに基づいて特定される前記参照ブロックと前記予測誤差とに基づいて前記復号対象ブロックを復号する、
ことを含む動画像復号方法。
【請求項１０】
動画像データに含まれる符号化対象ピクチャを符号化するための動画像符号化用コンピュータプログラムであって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、当該ブロックと前記符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出し、
前記複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、前記符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて前記符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測する予測ベクトルを求め、当該予測ベクトルに基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測符号化し、
前記符号化対象ブロックについての前記参照ブロックと前記符号化対象ブロック間の予測誤差を算出し、当該予測誤差を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【請求項１１】
動画像データを復号するための動画像復号用コンピュータプログラムであって、
前記動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、前記復号対象ブロックと前記復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて前記予測ベクトルとなる候補を表す情報とを取り出し、
前記復号対象ピクチャにおいて前記復号対象ブロックよりも前に復号され、かつ、前記復号対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記復号対象ピクチャよりも前に復号された参照ピクチャにおいて前記復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストと前記予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて前記ピクチャ内動きベクトルを復号し、
復号された前記ピクチャ内動きベクトルに基づいて特定される前記参照ブロックと前記予測誤差とに基づいて前記復号対象ブロックを復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、動画像データを符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、及び、符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に、大きなデータ量を有する。特に、いわゆる4K、8Kといった、非常に画素数が多い規格に従った動画像データは、非常に大きいデータ量を有することがある。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信する場合、あるいは、動画像データを記憶装置に記憶する場合、動画像データを圧縮符号化する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、あるいはMPEG-4、H.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が挙げられる。また、新たな標準として、High Efficiency Video Coding(HEVC, MPEG-H/H.265)が、ITU-TとISO/IECが共同で運営するJCTVCにより策定されている。
【０００３】
さらに、JCTVCは、HEVCの拡張として、スクリーンコンテンツ向けの符号化標準であるScreen Contents Coding(SCC)を策定すべく検討している。SCCは、コンピュータのデスクトップ画面に表示される映像といった、人工的な映像を符号化するために適用されることが想定される符号化標準であり、例えば、サーバからシンクライアント端末に伝送される映像を符号化する用途などに用いられることが検討されている。
【０００４】
より詳細に説明すると、スクリーン映像は、自然映像とは異なる特徴を持っている。例えば、自然映像では、時系列に沿って連続する複数の画像にわたって同じ物体が写っていることが多いため、連続する複数の画像に高い相関性が存在することが多い。そのため、一般に、自然映像に対して、符号化対象ピクチャを符号化済みのピクチャを参照して符号化するインター予測符号化方式を適用することで、高い符号化効率が得られる。
【０００５】
一方、スクリーン映像では、自然映像と異なり、ある瞬間に、それまでに表示されていなかった物体が表示されるようなことが起こり得る。例えば、コンピュータを操作することにより、新たなウィンドウがデスクトップ画面に表示される場合、ウィンドウは瞬間的に出現するため、ウィンドウが出現する前後のピクチャ間の相関性は低い。そのため、出現したウィンドウが表示される領域に対しては、符号化対象ブロックに隣接する符号化済みの領域を参照して符号化対象ブロックを符号化するイントラ予測符号化方式が適用されることになる。一般的に、イントラ予測符号化方式の符号化効率は、インター予測符号化方式の符号化効率よりも低いので、出現したウィンドウが表示される領域の符号化効率は低くなる。
【０００６】
しかし、スクリーン映像では、一様な模様が表示されている背景、または、ウィンドウ内の余白部分など、互いに類似するテクスチャを持つ複数の領域が同じピクチャ内に含まれることがある。このような領域同士は、非常に高い相関性を持つ。
【０００７】
そのため、SCCでは、Intra Block Copy(IBC)予測符号化方式と呼ばれる、符号化対象ブロックが属する符号化対象ピクチャ内の既符号化領域を参照ブロックとして符号化対象ブロックを符号化する技術を導入することが検討されている（例えば、非特許文献１を参照）。IBC予測符号化方式を適用することで、上記のような時間的な相関性が低い領域を持つピクチャについての符号化効率が向上することが期待されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】R. Joshi他, “High Efficiency Video Coding(HEVC) Screen Content Coding: Draft 5”, JCTVC-V1005, 22nd JCT-VC Meeting, Geneva, CH, 15-21 October, 2015
【発明の概要】
【発明が解決しようとする課題】
【０００９】
IBC予測符号化方式では、インター予測符号化方式と同様に、符号化対象ブロックと参照ブロック間の相対的な位置関係を表す動きベクトルが算出される。また、SCCにおいて、IBC予測符号化方式は、インター予測符号化方式の枠組みを利用している。そのため、IBC予測符号化方式において算出された、ピクチャ内の動きベクトルも、インター予測符号化方式のピクチャ間の動きベクトルと同様に予測符号化されてもよい。
【００１０】
非特許文献１では、符号化対象ピクチャ自体を参照ピクチャとして利用するIBC予測符号化方式が適用される場合、参照ピクチャはLong-term参照ピクチャとして分類されることが規定されている。Long-term参照ピクチャは、一般的には、符号化対象ピクチャから時間的に離れた特殊な参照ピクチャである。したがって、IBC予測符号化方式が適用される場合、すなわち、符号化対象ピクチャ自体が参照ピクチャとして使用される場合、符号化対象ピクチャはLong-term参照ピクチャとして扱われる。
【００１１】
符号化対象ブロックがLong-term参照ピクチャ上の領域を参照ブロックとして利用する場合は、動きベクトル予測のために動きベクトルが参照されるブロックも、Long-term参照ピクチャを参照することが求められる。なお、動きベクトルが参照されるブロックは、例えば、符号化対象ブロックの周辺ブロックまたは時間的に前の符号化済みのピクチャであるColPicにおける、符号化対象ブロックの対応位置にあるブロックであるColPUである。そのため、周辺ブロックまたはColPUもLong-term参照ピクチャを参照していなければ、それらのブロックの動きベクトルは、動きベクトル予測には利用できない。そして、非特許文献１では、その周辺ブロックの動きベクトルまたはColPUの動きベクトルをそのまま動きベクトル予測に使用することが定義されている。したがって、IBC予測符号化方式が適用される符号化対象ブロックのピクチャ内動きベクトルを予測符号化するためには、その予測符号化の際に参照される周辺ブロックまたはColPUもIBC予測符号化方式を用いて符号化されている必要がある。しかし、IBC予測符号化方式のピクチャ内動きベクトル（以下、便宜上、IBCベクトルと呼ぶ）は、符号化対象ピクチャの既符号化領域を参照するという特性を持つ。そのため、一般に、IBC予測符号化方式で符号化されるブロックの数は、インター予測符号化方式で符号化されるブロックの数より少ない。その結果として、IBCベクトルを予測符号化するために参照されるべきIBCベクトルが存在しない場合があり、動きベクトル予測による符号化効率の向上が見込めないことがある。また仮に、インター予測符号化されたブロックの動きベクトルをIBCベクトルの予測に利用するとしても、インター予測符号化されたブロックについては、参照される領域に関してIBC予測符号化されるブロックのような制限が無い。そのため、符号化対象ブロックのIBCベクトルと、隣接するブロックの動きベクトル間の差は大きく、そのような動きベクトルを用いてIBCベクトルを予測しても、符号量は減少しないことがある。
【００１２】
一つの側面では、本発明は、IBC予測符号化方式による動きベクトルを予測符号化できる可能性を向上できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
一つの実施形態によれば、動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、そのブロックと符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出するピクチャ内動きベクトル算出部と、複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて符号化対象ブロックのピクチャ内動きベクトルを予測する予測ベクトルを求め、その予測ベクトルに基づいて符号化対象ブロックのピクチャ内動きベクトルを予測符号化するベクトル符号化部と、符号化対象ブロックについての参照ブロックと符号化対象ブロック間の予測誤差を算出し、その予測誤差を符号化する符号化部とを有する。
【００１４】
他の実施形態によれば、動画像データを復号する動画像復号装置が提供される。この動画像復号装置は、動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、復号対象ブロックと復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて予測ベクトルとなる候補を表す情報とを取り出す分離部と、復号対象ピクチャにおいて復号対象ブロックよりも前に復号され、かつ、復号対象ブロックと隣接しないブロックを含む複数のブロックを含む第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、復号対象ピクチャよりも前に復号された参照ピクチャにおいて復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて復号対象ブロックのピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、そのリストと予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて復号対象ブロックのピクチャ内動きベクトルを復号するベクトル復号部と、復号されたピクチャ内動きベクトルに基づいて特定される参照ブロックと予測誤差とに基づいて復号対象ブロックを復号する復号部とを有する。
【発明の効果】
【００１５】
一つの側面では、IBC予測符号化方式による動きベクトルを予測符号化できる可能性を向上できる。
【図面の簡単な説明】
【００１６】
【図１】一つの実施形態による動画像符号化装置の概略構成図である。
【図２】HEVCによる、ピクチャの分割の一例を示す図である。
【図３】AMVPモードでの予測ベクトルの決定手順を示す動作フローチャートである。
【図４】AMVPモードにおける、空間予測ベクトルの登録順序を示す図である。
【図５】（ａ）〜（ｃ）は、それぞれ、符号化対象ブロックとColPUの位置関係の一例を示す図である。
【図６】時間予測ベクトルmvLXBを決定するために参照可能な領域の説明図である。
【図７】Mergeモードでの予測ベクトルの候補リストmergeCandListの作成手順を示す動作フローチャートである。
【図８】Mergeモードにおける、空間予測ベクトルの登録順序を示す図である。
【図９】ColPicの分割方法及び縦方向及び横方向のそれぞれの分割数を規定するシンタックスの一例を示す図である。
【図１０】動画像符号化処理の動作フローチャートである。
【図１１】一つの実施形態による動画像復号装置の概略構成図である。
【図１２】動画像復号処理の動作フローチャートである。
【図１３】動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１７】
以下、図を参照しつつ、動画像符号化装置及び動画像復号装置について説明する。この動画像符号化装置は、ピクチャを予測ブロックの生成単位となるブロックごとに分割し、そのブロックごとに予測符号化する。その際、この動画像符号化装置は、IBC予測符号化方式が適用される符号化対象ブロックのIBCベクトルを予測符号化する際の予測ベクトルの候補として、ColPUとともにColPU周囲のブロックが属する参照可能領域内のIBCベクトルを参照する。また、この動画像符号化装置は、符号化対象ブロックの符号化対象ピクチャ内の位置に応じて、ColPicにおける、参照可能領域を、符号化対象ブロックのIBCベクトルと類似するIBCベクトルを持つと想定される領域に設定する。
【００１８】
本実施形態では、動画像符号化装置は、H.265に準拠して動画像データを符号化する。しかし、動画像符号化装置は、IBCが適用可能な他の符号化標準、例えば、予測ブロックの生成単位となるブロックと直交変換の単位となるブロックが一致する符号化標準に準拠して動画像データを符号化してもよい。
【００１９】
また、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータ及び偶数行のデータの何れか一方を取り出すことにより得られる静止画像である。
【００２０】
図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、ピクチャ間動き探索部１１と、ピクチャ内動き探索部１２と、符号化モード判定部１３と、ソース符号化部１４と、復号部１５と、ベクトル符号化部１６と、記憶部１７と、エントロピー符号化部１８とを有する。
【００２１】
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有する一つまたは複数のプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００２２】
動画像符号化装置１が準拠するHEVCでは、動画像データに含まれる各ピクチャは複数の段階で分割される。そこで先ず、HEVCにおける、ピクチャの分割について説明する。
【００２３】
図２は、HEVCによる、ピクチャの分割の一例を示す図である。図２に示されるように、ピクチャ２００は、符号化処理の単位であるCoding Tree Unit(CTU)単位で分割され、各CTU２０１は、ラスタスキャン順に符号化される。CTU２０１のサイズは、64x64〜16x16画素の中から選択できる。
【００２４】
CTU２０１は、さらに、四分木構造で複数のCoding Unit（CU）２０２に分割される。一つのCTU２０１内の各CU２０２は、Zスキャン順に符号化される。CU２０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU２０２は、符号化モードであるイントラ予測符号化方式、インター予測符号化方式及びIBC予測符号化方式を選択する単位となる。
【００２５】
CU２０２は、Prediction Unit（PU）２０３単位またはTransform Unit（TU）２０４単位で個別に処理される。PU２０３は、符号化モードに応じた予測が行われる、予測ブロックの生成単位となる。例えば、PU２０３は、イントラ予測符号化方式では、予測ブロックの生成の際に参照される画素及び予測ブロックの生成方法を規定する予測モードが適用される単位となる。一方、インター予測符号化方式またはIBC予測符号化方式では、PU２０３は、動き補償を行う単位となる。PU２０３のサイズは、例えば、インター予測符号化方式またはIBC予測符号化方式が適用される場合、2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2N（Nは、CUサイズ/2）の中から選択可能である。一方、TU２０４は、直交変換の単位であり、TUごとに直交変換される。TU２０４のサイズは、4x4画素〜32x32画素の中から選択される。TU２０４は、四分木構造で分割され、Zスキャン順に処理される。なお、CU及びPUは、符号化対象ブロックの一例である。
【００２６】
動画像符号化装置１は、符号化対象のピクチャについて、各CTUをラスタスキャン順に符号化する。そこで、以下では、動画像符号化装置１の各部について、一つのCTUに対する処理を例として説明する。
【００２７】
ピクチャ間動き探索部１１は、符号化対象CTUを含む符号化対象ピクチャがインター予測符号化方式が適用可能なPピクチャまたはBピクチャである場合、符号化対象CTUについて適用可能なPUごとに動きベクトルを算出する。なお、符号化対象ピクチャの種別は、例えば、制御部（図示せず）が符号化対象の動画像データに適用するGroup Of Pictures(GOP)の構造及び符号化対象ピクチャのGOP内での位置に基づいて決定される。
【００２８】
ピクチャ間動き探索部１１は、符号化対象CTUの着目するPUについて、局所復号ピクチャについての参照可能な領域に対してブロックマッチングを行って、着目するPUと最も一致する参照ブロックを特定する。そしてピクチャ間動き探索部１１は、着目するPUと参照ブロック間の移動量を表すベクトルを動きベクトルとして算出する。なお、ピクチャ間動き探索部１１は、符号化対象ピクチャがBピクチャである場合、L0予測とL1予測の両方について動きベクトルを算出する。ピクチャ間動き探索部１１は、各PUの動きベクトルを、記憶部１７に記憶するとともに、符号化モード判定部１３へ通知する。
【００２９】
ピクチャ内動き探索部１２は、ピクチャ内動きベクトル算出部の一例であり、符号化対象CTUについて適用可能なPUごとに、符号化対象CTUが含まれる符号化対象ピクチャの符号化済みの領域を参照してIBCベクトルを算出する。ピクチャ内動き探索部１２は、符号化対象ピクチャがPピクチャまたはBピクチャである場合だけでなく、符号化対象ピクチャがインター予測符号化方式が適用されないIピクチャである場合にも、IBCベクトルを算出してもよい。
【００３０】
ピクチャ内動き探索部１２は、ピクチャ間動き探索部１１と同様に、符号化対象CTUの着目するPUについて、符号化対象ピクチャについての符号化済みの領域に対してブロックマッチングを行って、着目するPUと最も一致する参照ブロックを特定する。なお、上述したように、各CTUは、ラスタスキャン順に符号化されるので、符号化済みの領域は、着目するPUよりも左側または上側の領域となる。そしてピクチャ内動き探索部１２は、着目するPUと参照ブロック間の移動量を表すベクトルをIBCベクトルとして算出する。ピクチャ内動き探索部１２は、各PUのIBCベクトルを、記憶部１７に記憶するとともに、符号化モード判定部１３へ通知する。
【００３１】
符号化モード判定部１３は、符号化対象CTUを分割するCU、PU及びTUの分割モード及びCUごとに適用される符号化モードを決定する。符号化モード判定部１３は、例えば、図示しない制御部から取得した、符号化対象CTUが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのCTUの符号化モードを決定する。符号化対象のピクチャのタイプがインター予測符号化方式が適用されないIピクチャであれば、符号化モード判定部１３は、適用される符号化モードとしてイントラ予測符号化方式またはIBC予測符号化方式を選択する。また、符号化対象のピクチャのタイプが、PピクチャまたはBピクチャであれば、符号化モード判定部１３は、例えば、適用される符号化モードとして、インター予測符号化方式、イントラ予測符号化方式及びIBC予測符号化方式の何れかを選択する。
【００３２】
符号化モード判定部１３は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部１３は、インター予測符号化方式については、CTUを分割するCU分割モード、PU分割モード及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部１３は、ベクトルモードとして、例えば、Adaptive Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。AMVPモードは、予測ベクトルを用いて差分ベクトルを符号化するモードであり、Mergeモードは、符号化済みPUの動きベクトルから求められる予測ベクトルを符号化対象PUの動きベクトルとしてコピーするモードである。
【００３３】
同様に、符号化モード判定部１３は、IBC予測符号化方式についても、CTUを分割するCU分割モード、PU分割モード及びベクトルモードの組み合わせごとに符号化コストを算出する。またこの場合も、符号化モード判定部１３は、ベクトルモードとして、例えば、AMVPモードまたはMergeモードの何れかを利用できる。なお、符号化モード判定部１３は、ベクトルモードに関連する符号化コストを算出するために、ベクトル符号化部１６の処理と同様の処理を実行すればよい。ベクトル符号化部１６の処理の詳細については後述する。
【００３４】
また、イントラ予測符号化方式については、符号化モード判定部１３は、CTUを分割するCU分割モード、PU分割モード及び予測モードの組み合わせごとに符号化コストを算出する。
【００３５】
符号化モード判定部１３は、符号化コストを算出するために、例えば、着目するPUについて、次式に従って、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは着目するPUに含まれる画素の値であり、PredPixelは着目するブロックに対応する、符号化コストの算出対象となる符号化モードに従って生成された予測ブロックに含まれる画素の値である。
【００３６】
そして符号化モード判定部１３は、例えば、次式に従って、着目するCUについての符号化コストCostを算出する。
Cost=ΣSAD + λ*B
ここで、ΣSADは、着目するCUに含まれる各PUについて算出されたSADの総和である。またBは、動きベクトル、予測モードを表すフラグなど、予測誤差以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。
【００３７】
なお、符号化モード判定部１３は、SADの代わりに、着目するPUと予測ブロックとの差分画像をアダマール変換した後の各画素のアダマール係数の絶対値和SATDを算出してもよい。
【００３８】
符号化モード判定部１３は、符号化対象CTUについて、例えば、取り得るCUサイズの中でサイズが大きい方から順に着目するCUを設定する。そして符号化モード判定部１３は、着目するCUについて、イントラ予測符号化方式に関してそのCU内のPU分割モードごとにコストが最小となる予測モードを選択する。また、符号化モード判定部１３は、着目するCUについて、インター予測符号化方式またはIBC予測符号化方式に関してそのCU内のPU分割モードごとにコストが最小となるベクトルモードを選択する。さらに、符号化モード判定部１３は、同サイズのCUごとに、イントラ予測符号化方式、インター予測符号化方式及びIBC予測符号化方式のうちで、符号化コストが最小となる方式を、そのCUについて適用する符号化モードとして選択する。
【００３９】
さらに、符号化モード判定部１３は、着目するCUを４分割したCUのそれぞれを、次に着目するCUとして、同様の処理を実行して、最小符号化コストを算出する。そして符号化モード判定部１３は、４分割したCUのそれぞれについて算出された、最小符号化コストの総和と、着目するCUについての最小符号化コストよりも小さければ、着目するCUを４分割する。符号化モード判定部１３は、各CUが分割されなくなるまで、上記の処理を繰り返すことで、符号化対象CTUに適用されるCU分割モード及びPU分割モードを決定する。
【００４０】
さらに、符号化モード判定部１３は、上記のようにして決定したCU分割モードに従ったCUごとに、TU分割モードを決定する。その際、符号化モード判定部１３は、適用可能なTU分割モードごとに、次式に従ってRDコストCostを算出する。
【数１】
2019129371.tif 000003
ここで、org(i)は、着目するCUに含まれる画素の値であり、ldec(i)は、着目するTU分割モードを用いてそのCUを符号化し、さらに復号して得られる復号画素の値を表す。またbitは、そのCUを着目するTU分割モードを用いて符号化したときの符号量を表す。（１）式の右辺の第一項は、符号化歪みを表し、右辺の第二項は符号量を表す。そのため、RDコストが最小となるTU分割モードでは、符号化歪みと符号量が最適なバランスとなっている。
そこで、符号化モード判定部１３は、RDコストCostが最小となるTU分割モードを選択する。
【００４１】
符号化モード判定部１３は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせをソース符号化部１４に通知する。また符号化モード判定部１３は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶部１７に保存する。さらに、符号化モード判定部１３は、IBCベクトル及び動きベクトルをソース符号化部１４及びベクトル符号化部１６へ通知するとともに、記憶部１７に保存する。
【００４２】
ソース符号化部１４は、符号化部の一例であり、符号化対象CTUについて選択されたCU及びPUの分割モード及び符号化モードの組み合わせに従ってPUごとに予測ブロックを生成する。ソース符号化部１４は、着目するCUがイントラ予測符号化される場合、そのCU内のPUごとに選択された予測モードに従って参照される、そのPUの周囲の局所復号ブロック内の画素の値に基づいて予測ブロックを生成する。
【００４３】
一方、ソース符号化部１４は、着目するCUがインター予測符号化される場合、そのCU内のPUごとに、記憶部１７から読み出した局所復号ピクチャを、そのPUについて算出された動きベクトルに基づいて動き補償することで予測ブロックを生成する。同様に、ソース符号化部１４は、着目するCUがIBC予測符号化される場合、そのCU内のPUごとに、記憶部１７から読み出した局所復号ブロックを、そのPUについて算出されたIBCベクトルに基づいて動き補償することで予測ブロックを生成する。
【００４４】
予測ブロックが生成されると、ソース符号化部１４は、符号化対象CTU内の各画素について、予測ブロックの対応画素との差分演算を実行する。そしてソース符号化部１４は、符号化対象CTU内の各TUについて、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの予測誤差信号とする。
【００４５】
ソース符号化部１４は、符号化対象CTU内の各TUについて、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、ソース符号化部１４は、予測誤差信号に対して、直交変換処理として離散コサイン変換(Discrete Cosine Transform, DCT)を実行することにより、直交変換係数として、DCT係数の組を得る。
【００４６】
ソース符号化部１４は、符号化対象CTUにおいて、TUごとの直交変換係数を、量子化幅を指定するqp値などを含む量子化パラメータに従って量子化することにより、量子化された直交変換係数を算出する。なお、以下では、量子化された直交変換係数を、単に量子化係数と呼ぶことがある。
ソース符号化部１４は、量子化された直交変換係数を復号部１５及びエントロピー符号化部１８へ出力する。
【００４７】
復号部１５は、符号化対象CTU内の各TUの量子化係数から、そのTUよりも後のCUなどを符号化するために参照される局所復号ブロックを生成し、その局所復号ブロックを記憶部１７に記憶する。そこで、復号部１５は、各TUの量子化された量子化係数を逆量子化することで、量子化前の直交変換係数を復元する。
【００４８】
復号部１５は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、ソース符号化部１４が直交変換としてDCTを用いている場合、復号部１５は、逆直交変換として逆DCT処理を実行する。これにより、復号部１５は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。
【００４９】
復号部１５は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、局所復号ブロックを生成する。
復号部１５は、局所復号ブロックを生成する度に、その局所復号ブロックを記憶部１７に記憶させる。
【００５０】
さらに、復号部１５は、１枚のピクチャ分の局所復号ブロックを各CTUの符号化順序にしたがって結合することで得られる局所復号ピクチャを記憶部１７に書き込む。
【００５１】
ベクトル符号化部１６は、インター予測符号化方式が適用される各PUについて、符号化モード判定部１３により適用されると判定されたベクトルモードにしたがってそのPUの予測ベクトルの候補のリストを作成する。ベクトル符号化部１６は、インター予測符号化される各PUについて、予測ベクトルの候補のリスト中の予測ベクトルとして利用される候補の位置を表す情報をエントロピー符号化部１８へわたす。さらに、ベクトル符号化部１６は、適用されるベクトルモードがAMVPモードである場合、そのPUの動きベクトルと予測ベクトル間の差分ベクトルを算出する。そしてベクトル符号化部１６は、算出した差分ベクトルもエントロピー符号化部１８へわたす。
【００５２】
同様に、ベクトル符号化部１６は、IBC予測符号化方式が適用される各PUについて、符号化モード判定部１３により適用されると判定されたベクトルモードにしたがってそのPUの予測ベクトルの候補のリストを作成する。ベクトル符号化部１６は、IBC予測符号化される各PUについて、予測ベクトルの候補のリスト中の予測ベクトルとして利用される候補の位置を表す情報をエントロピー符号化部１８へわたす。さらに、ベクトル符号化部１６は、適用されるベクトルモードがAMVPモードである場合、そのPUのIBCベクトルと予測ベクトル間の差分ベクトルを算出する。そしてベクトル符号化部１６は、算出した差分ベクトルもエントロピー符号化部１８へわたす。
【００５３】
ここで、IBC予測符号化方式が適用されるPUについて、予測ベクトルの候補のリストの作成の詳細について説明する。
【００５４】
AMVPモード及びMergeモードでは、予測ベクトルの候補を作成する方法を規定するモードとして、以下のものが規定されている。
・符号化対象ブロックの空間的な周囲ブロックのIBCベクトルを予測ベクトルの候補として用いるSpatialモード。なお、以下では、Spatialモードにより、符号化対象ブロックの空間的な周囲ブロックのIBCベクトルのなかから選択される予測ベクトルの候補を、空間予測ベクトルと呼ぶ。
・符号化対象ブロックを含む符号化対象ピクチャに対して時間的に前の符号化済みピクチャ(ColPic)における、符号化対象ブロックに対応する位置にあるブロック(ColPU)のIBCベクトルを用いるTemporalモード。なお、以下では、Temporalモードにより、符号化済みの他のピクチャ上のブロックのIBCベクトルのなかから選択される予測ベクトルの候補を、時間予測ベクトルと呼ぶ。
・大きさがゼロ、すなわち、水平方向の移動量を表す要素の値及び垂直方向の移動量を表す要素の値がともに0であるゼロベクトルを用いるゼロモード
【００５５】
AMVPモードでは、予測方向ごとに、予測ベクトルとして利用可能なベクトルの候補を最大で二つ含む予測ベクトル候補リストmvpListLXが作成される。
【００５６】
図３は、AMVPモードでの予測ベクトルの決定手順を示す動作フローチャートである。
ベクトル符号化部１６は、まず、符号化対象ブロックに隣接する、既に符号化されたブロックのIBCベクトルのなかから、予測ベクトルの候補を選択する。
【００５７】
具体的には、ベクトル符号化部１６は、符号化対象ブロックの左側に隣接するブロックのIBCベクトルを、所定の順序に従って空間予測ベクトルmvLXAとして選択する（ステップＳ１０１）。
【００５８】
図４を参照しつつ、空間予測ベクトルの選択についての詳細を説明する。図４は、AMVPモードにおける、空間予測ベクトルの登録順序を示す図である。ベクトル符号化部１６は、符号化対象ブロック４００について、矢印４０１に示されるように、左下に隣接するブロックA0、ブロックA0の上側に隣接するブロックA1の順に、各ブロックのIBCベクトルを空間予測ベクトルとして登録するか否かを判定する。
【００５９】
ベクトル符号化部１６は、ブロックA0が符号化済みであるか否か判定する。ブロックA0が符号化済みである場合、ベクトル符号化部１６は、ブロックA0がIBC予測符号化されているか否か判定する。ブロックA0がIBC予測符号化されている場合、ベクトル符号化部１６は、ブロックA0のIBCベクトルを１番目の空間予測ベクトルmvLXAとして選択する。
【００６０】
一方、ブロックA0がIBC予測符号化されていなければ、ベクトル符号化部１６は、ブロックA1について同様の判定処理を行う。そしてベクトル符号化部１６は、ブロックA1がIBC予測符号化されている場合、ブロックA1のIBCベクトルを空間予測ベクトルmvLXAとして選択する。
【００６１】
なお、ブロックA0、A1の何れもが、IBC予測符号化されていなければ、空間予測ベクトルmvLXAは選択されない。
【００６２】
次に、ベクトル符号化部１６は、符号化対象ブロックの上側に隣接するブロックのIBCベクトルを、所定の順序に従って空間予測ベクトルmvLXBとして選択する（ステップＳ１０２）。
【００６３】
再度図４を参照すると、ベクトル符号化部１６は、矢印４０２に示される順に、符号化対象ブロック４００の上側に隣接するブロックB0、B1、B2に対して、ブロックA0、A1に対する選択処理と同様の処理を行う。そしてベクトル符号化部１６は、それらのブロックのIBCベクトルを空間予測ベクトルmvLXBとして選択するか否かを判定する。なお、ブロックB0は、符号化対象ブロック４００の右上に隣接し、ブロックB1は、ブロックB0の左隣に隣接する。そしてブロックB2は、符号化対象ブロック４００の左上に隣接する。
【００６４】
すなわち、ベクトル符号化部１６は、ブロックB0からB2の順で、最初にIBC予測符号化されたブロックのIBCベクトルを空間予測ベクトルmvLXBとして選択する。一方、ブロックB0〜B2の何れもが、IBC予測符号化されていなければ、ベクトル符号化部１６は、空間予測ベクトルmvLXBに空間予測ベクトルmvLXAを代入する。また、この場合において、空間予測ベクトルmvLXAが選択されていなければ、空間予測ベクトルmvLXBも選択されない。
【００６５】
ベクトル符号化部１６は、空間予測ベクトルmvLXA、mvLXBを、予測ベクトルの候補リストmvpListLXに登録する（ステップＳ１０３）。ただし、空間予測ベクトルmvLXAと空間予測ベクトルmvLXBが等しい場合、ベクトル符号化部１６は、空間予測ベクトルmvLXBを候補リストmvpListLXから消去する。
【００６６】
ベクトル符号化部１６は、候補リストmvpListLXに登録されている予測ベクトルの候補が２以上か否か判定する（ステップＳ１０４）。候補リストmvpListLXに登録されている予測ベクトルの候補が２以上であれば（ステップＳ１０４−Ｙｅｓ）、ベクトル符号化部１６は、予測ベクトルの候補リストの作成を終了する。そしてベクトル符号化部１６は、後述するように、その候補リストに基づいて予測ベクトルを設定する。一方、候補リストmvpListLXに登録されている空間予測ベクトルが２個未満である場合（ステップＳ１０４−Ｎｏ）、ベクトル符号化部１６は、Temporalモード処理を実行する。
【００６７】
Temporalモード処理では、ベクトル符号化部１６は、符号化対象ブロックに対応する位置にある、ColPic上のブロック（本実施形態では、PU）であるColPUを選択する。そしてベクトル符号化部１６は、そのColPUがIBC予測符号化されているか否か判定する（ステップＳ１０５）。
【００６８】
図５（ａ）〜図５（ｃ）を参照しつつ、符号化対象ブロックとColPUの位置関係について説明する。なお、図５（ａ）〜図５（ｃ）では、ピクチャ内の一つのCTU５００が示されている。基本的に、ColPUとして、符号化対象ブロックであるPUの右下に隣接するPUが選択される。例えば、符号化対象ブロックと右下に隣接するPUがIBC予測符号化されている場合には、符号化対象ブロックの右下に隣接する画素を含む、16×16画素のグリッドの左上端の画素を含むPUがColPUとして選択される。また、符号化対象ブロックの右下に隣接する画素を含むPUが存在しない、あるいは、IBC予測符号化されていない場合には、符号化対象ブロックの右下端の画素を含むPUがColPUとして選択される。
【００６９】
例えば、図５（ａ）に示されるように、符号化対象ブロックであるPU５１０がCTU５００内の左上の16×16画素よりも大きなブロックである場合、PU５１０の右下に隣接する画素５１１は、16×16画素のグリッド単位でも同じ位置にある。そのため、ColPic５０１において、PU５１０の右下に隣接するPU５１２がColPUの第１の候補となる。また、PU５１０の右下端の画素５１３と同じ位置の画素を含む、PU５１４がColPUの第２の候補となる。
【００７０】
一方、図５（ｂ）に示されるように、符号化対象ブロックであるPU５２０が、16×16画素のブロックを４分割したうちの左上のブロックである場合、その右下に隣接する画素５２１は、16×16画素のグリッド５２２の中心近傍に位置する。そこで、ColPic５０１において、グリッド５２２の左上端の画素５２３を含むPU５２４がColPUとなる。
【００７１】
また、符号化対象ブロックと右下に隣接するPUの間に、水平方向のCTU境界が挟まれる場合には、符号化対象ブロックの中心の左上の画素の位置が求められ、その画素を含む、16×16画素のグリッドが特定される。そして特定されたグリッドの左上端の画素を含むColPic上のPUが、ColPUとなる。
【００７２】
例えば図５（ｃ）に示されるように、符号化対象ブロックであるPU５３０がCTU５００の右下に位置している場合、PU５３０とその右下の画素５３１との間にCTU境界が位置する。そこでPU５３０内の中心の画素５３２が求められ、画素５３２を含む16×16画素のグリッド５３３が特定される。そしてColPic５０１において、グリッド５３３の左上端の画素５３４を含むPU５３５がColPUとなる。
【００７３】
ColPUがIBC予測符号化されていれば（ステップＳ１０５−Ｙｅｓ）、ベクトル符号化部１６は、ColPUのIBCベクトルmvColを時間予測ベクトルmvLXBとして候補リストmvpListLXに登録する（ステップＳ１０６）。
【００７４】
一方、ColPUがIBC予測符号化されていなければ（ステップＳ１０５−Ｎｏ）、ColPUにはIBCベクトルは規定されていないので、ベクトル符号化部１６は、予測ベクトルとしてColPUのIBCベクトルを利用することはできない。そこで、本実施形態では、ベクトル符号化部１６は、ColPUだけでなく、ColPUの周囲に、時間予測ベクトルmvLXBを決定するために参照可能な領域（以下、説明の便宜上、単に参照可能領域と呼ぶ）を設定する。そしてベクトル符号化部１６は、参照可能領域に含まれる各PUのうち、IBC予測符号化されたPUについて規定されたIBCベクトルに基づいて算出される時間予測ベクトルmvLXBを候補リストmvpLXに登録する（ステップＳ１０７）。なお、参照可能領域内にも利用可能なIBCベクトルがなければ、ベクトル符号化部１６は、時間予測ベクトルmvLXBを算出しなくてもよい。
【００７５】
図６は、時間予測ベクトルmvLXBを決定するために参照可能な領域の説明図である。例えば、ColPic６００は、所定数のサブ領域にて等分割される。図６では、ColPic６００は、縦方向及び横方向のそれぞれについて３個ずつ、合計９個のサブ領域６０１−１〜６０１−９に分割される。そしてこれらサブ領域６０１−１〜６０１−９のうち、符号化対象ピクチャ６１０のIBC予測符号化される符号化対象ブロック６１１に対応するColPU６１２が属するサブ領域が、参照可能領域となる。図６に示される例では、ColPU６１２はサブ領域６０１−６に属しているので、サブ領域６０１−６が参照可能領域となる。
【００７６】
ベクトル符号化部１６は、例えば、参照可能領域内でIBC予測符号化された各PUのIBCベクトルの平均値を算出し、その平均値を時間予測ベクトルmvLXBとして候補リストmvpListLXに登録する。
【００７７】
変形例によれば、ベクトル符号化部１６は、参照可能領域に、ColPUが属するサブ領域とともに、それ以外のサブ領域を含めてもよい。ここで、IBC予測符号化方式では、既に符号化された領域が参照されるため、IBCベクトルは、IBC予測符号化されるPUよりも左側または上側を参照するように決定される。そこで、時間予測ベクトルと符号化対象ブロックのIBCベクトル間の差分ベクトルを小さくするためには、参照可能領域に含めるサブ領域は、ColPUよりも前に符号化されたサブ領域とすることが好ましい。すなわち、ColPUが属するサブ領域の左側または上側に位置するサブ領域が参照可能領域に含まれることが好ましい。
【００７８】
再度図６を参照すると、上記のように、ColPU６１２がサブ領域６０１−６に属しているので、この変形例によれば、矢印６２１で示されるように、サブ領域６０１−６よりも左側または上側に位置するサブ領域６０１−１〜６０１−５が参照可能領域に含まれる。また仮に、ColPU６１２が上端のサブ領域６０１−３に属する場合には、矢印６２２で示されるように、サブ領域６０１−３よりも左側に位置するサブ領域６０１−１〜６０１−２が参照可能領域に含まれる。さらに、仮に、ColPU６１２が中央のサブ領域６０１−５に属する場合には、矢印６２３で示されるように、サブ領域６０１−５の左側から右上までの範囲に含まれるサブ領域、すなわち、サブ領域６０１−１〜６０１−４が参照可能領域に含まれる。さらに、仮に、ColPU６１２が左端のサブ領域６０１−７に属する場合には、矢印６２４で示されるように、サブ領域６０１−７の上から右上までの範囲に含まれるサブ領域、すなわち、サブ領域６０１−１〜６０１−６が参照可能領域に含まれる。
【００７９】
なお、上記のように、参照可能領域を拡張する場合でも、ベクトル符号化部１６は、ColPUが属するサブ領域と隣接しないサブ領域は、参照可能領域に含めないようにしてもよい。
【００８０】
なお、ColPicの分割モードは、上記の例に限られず、ColPicは、縦方向及び横方向のそれぞれごとに個別に等分割されてもよい。あるいは、ColPicは、各サブ領域が互いに異なる形状を持つように分割されてもよい。その際、縦方向及び横方向のそれぞれごとに、各サブ領域の分割位置が任意に指定されてもよい。あるいは、ColPicは、各サブ領域に含まれるIBCベクトルの数が等しくなるように、試行錯誤的に分割されてもよい。あるいはまた、ColPicは、例えば、k-means法といったクラスタリング手法に従ってColPicの各IBCベクトルをクラスタリングし、個々のクラスタが一つのサブ領域となるように分割されてもよい。なお、一つのIBCベクトルも含まれないサブ領域については、隣接するサブ領域、例えば、左側または上側に隣接するサブ領域のIBCベクトルがコピーされてもよい。
【００８１】
さらに他の変形例によれば、ベクトル符号化部１６は、参照可能領域内でIBC予測符号化された各PUのうち、ColPUに最も近いPUについて算出されたIBCベクトルを時間予測ベクトルmvLXBとして候補リストmvpListLXに登録してもよい。あるいは、ベクトル符号化部１６は、参照可能領域内でIBC予測符号化された各PUのIBCベクトルを、ColPUに近いほど大きくなる重み係数を用いて加重平均して得られたベクトルを、時間予測ベクトルmvLXBとして候補リストmvpListLXに登録してもよい。
【００８２】
なお、候補リストmvpListLXに登録された二つのベクトルmvLXAと時間予測ベクトルmvLXBが等しい場合、ベクトル符号化部１６は、時間予測ベクトルmvLXBを候補リストmvpListLXから消去する。
【００８３】
ステップＳ１０６の後、あるいは、ステップＳ１０７の後、候補リストmvpListLXに登録されている予測ベクトルの候補が２以上か否か判定する（ステップＳ１０８）。候補リストmvpListLXに登録されている予測ベクトルの候補が２個未満である場合（ステップＳ１０８−Ｎｏ）、ベクトル符号化部１６は、予測ベクトルの候補としてゼロベクトルを候補リストmvpListLXに登録する（ステップＳ１０９）。
【００８４】
ステップＳ１０９の後、ベクトル符号化部１６は、その二つの候補の中から、符号化対象ブロックのIBCベクトルに対する差分ベクトルが小さい方、すなわち誤差が小さい方の候補を予測ベクトルmvpLXとして設定する（ステップＳ１１０）。また、ステップＳ１０４またはステップＳ１０８にて候補リストmvpListLXに登録されている予測ベクトルの候補が２以上である場合（ステップＳ１０４またはＳ１０８−Ｙｅｓ）も、ベクトル符号化部１６は、ステップＳ１１０の処理を実行する。そしてベクトル符号化部１６は、予測ベクトルの決定手順を終了する。
【００８５】
予測ベクトルmvpLXとして選択されたベクトルは、候補リストmvpListLXにおけるその選択されたベクトルの位置を表すシンタックスmvpLxFlagで表される。ベクトル符号化部１６は、選択されたベクトルの位置を表すシンタックスmvpLxFlag及び符号化対象ブロックのIBCベクトルと予測ベクトル間の差分ベクトルをエントロピー符号化部１８へわたす。さらに、ベクトル符号化部１６は、ColPicの分割モード及び縦方向及び横方向のそれぞれの分割数を規定するシンタックスをエントロピー符号化１８へわたす。
【００８６】
次に、Mergeモードについて説明する。
【００８７】
図７は、Mergeモードでの予測ベクトルの候補リストmergeCandListの作成手順を示す動作フローチャートである。Mergeモードでは、ベクトル符号化部１６は、シンタックスMaxNumMergeCand（最大５）で示される数の利用可能なMergeベクトル候補の中から一つのベクトルをMergeベクトルmvLXNとして選択する。選択されたベクトルは、候補リストmergeCandListの位置を表すシンタックスmergeIdxで表される。
【００８８】
ベクトル符号化部１６は、符号化対象ブロックの左側または上側に隣接するブロックのIBCベクトルを、所定の順序に従って空間予測ベクトル候補として選択する（ステップＳ２０１）。
【００８９】
図８を参照しつつ、空間予測ベクトルの選択についての詳細を説明する。図８は、Mergeモードにおける、空間予測ベクトルの登録順序を示す図である。ベクトル符号化部１６は、符号化対象ブロックであるPU８００について、矢印８０１〜８０４に示されるように、ブロックA1→B1→B0→A0→B2の順に、各ブロックの動きベクトルを空間予測ベクトル候補として登録するか否かを判定する。
【００９０】
また、複数の空間予測ベクトル候補が同値であれば、それら複数の空間予測ベクトル候補のうちの一つ以外は削除される。 例えば、あるブロックが分割されており、そのブロックが、他のブロックのベクトルを候補とする場合、分割する必要がないことから削除される。ベクトル符号化部１６は、ブロックB2については、すでに四つの空間予測ベクトル候補が選択されていたらブロックB2の動きベクトルを、空間予測ベクトル候補から除外する。
【００９１】
次に、ベクトル符号化部１６は、Temporalモード処理を実行して、時間予測ベクトル候補mvLXColを選択する（ステップＳ２０２）。なお、MergeモードにおけるTemporalモード処理は、AMVPモードにおけるTemporalモード処理と同一であるので、Temporalモード処理の詳細な説明は省略する。
【００９２】
ベクトル符号化部１６は、選択された予測ベクトルの候補を候補リストmergeCandListに登録する（ステップＳ２０３）。そしてベクトル符号化部１６は、候補リストmergeCandListに登録されている予測ベクトルの候補の数numOrigMergeCandを算出する（ステップＳ２０４）。
【００９３】
ベクトル符号化部１６は、予測ベクトルの候補数numOrigMergeCandがMaxNumMergeCand未満か否か判定する（ステップＳ２０５）。予測ベクトルの候補数numOrigMergeCandがMaxNumMergeCand未満であれば（ステップＳ２０５−Ｙｅｓ）、候補リストmergeCandListにまだ空きが残っている。そこでベクトル符号化部１６は、予測ベクトルの候補数がMaxNumMergeCandに達するまで、予測ベクトルの候補としてゼロベクトルを候補リストmergeCandListに登録する（ステップＳ２０６）。
【００９４】
ステップＳ２０６の後、ベクトル符号化部１６は、予測ベクトルの候補のなかから符号化対象ブロックの動きベクトルとの差が最小となる候補をMergeベクトルmvLXNとして選択する（ステップＳ２０７）。また、ステップＳ２０５で予測ベクトルの候補数numOrigMergeCandがMaxNumMergeCand以上である場合（ステップＳ２０５−Ｎｏ）も、ベクトル符号化部１６は、ステップＳ２０７の処理を実行する。その後、ベクトル符号化部１６は、予測ベクトルの決定手順を終了する。
【００９５】
予測ベクトルmvpLXとして選択されたベクトルは、候補リストmvpListLXにおけるその選択されたベクトルの位置を表すシンタックスmvpLxFlagで表される。ベクトル符号化部１６は、選択されたベクトルの位置を表すシンタックスmvpLxFlagをエントロピー符号化部１８へわたす。さらに、ベクトル符号化部１６は、ColPicの分割モード及び縦方向及び横方向のそれぞれの分割数を規定するシンタックスをエントロピー符号化１８へわたす。
【００９６】
図９は、ColPicの分割モード及び縦方向及び横方向のそれぞれの分割数を規定するシンタックスの一例を示す図である。シンタックス９００には、横方向の分割数を表す横分割数シンタックスImaxと、縦方向の分割数を表す縦分割数シンタックスJmaxと、ColPicが等分割されるか否かを表す等分割シンタックスdivaveが含まれる。さらに、ColPicが等分割されない場合には、横方向の分割位置xDivri(i=0, ..., Imax-1)及び縦方向の分割位置yDivrj(j=0, ..., Jmax-1)が含まれる。なお、等分割シンタックスdivaveが、ColPicが等分割されないことを示している場合には、ColPicは、例えば、上記のような、予め指定された所定の分割モードに従って分割されてもよい。この場合には、縦方向及び横方向の分割位置を示すシンタックスは省略されてもよい。
【００９７】
なお、シンタックス９００は、ピクチャごとに規定されてもよく、GOPごと、あるいは、シーケンスごとに規定されてもよい。シンタックス９００がピクチャごとに規定される場合には、エントロピー符号化部１８は、ピクチャごとに、シンタックス９００の符号化データを付加する。また、シンタックス９００がGOPごと、あるいは、シーケンスごとに規定される場合には、エントロピー符号化部１８は、GOPごと、あるいは、シーケンスごとに、シンタックス９００の符号化データを付加すればよい。
【００９８】
記憶部１７は、復号部１５から受け取った局所復号ブロックを一時的に記憶する。記憶部１７は、ピクチャ間動き探索部１１、ピクチャ内動き探索部１２、符号化モード判定部１３、ソース符号化部１４及び復号部１５に、局所復号ピクチャまたは局所復号ブロックを供給する。なお、記憶部１７は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
さらに、記憶部１７は、インター予測符号化された局所復号ブロックのそれぞれについての動きベクトルを記憶する。同様に、記憶部１７は、IBC予測符号化された局所復号ブロックのそれぞれについてのIBCベクトルを記憶する。さらにまた、記憶部１７は、各CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶する。
【００９９】
エントロピー符号化部１８は、付加部の一例であり、符号化対象CTUの各TUの量子化係数及び各種シンタックスなどをエントロピー符号化する。そしてエントロピー符号化部１８は、エントロピー符号化された量子化係数及び各種シンタックスなどを符号化された動画像データを表すビットストリームに含める。なお、各種シンタックスには、上記のように、IBCモードに関して、ColPicの分割モードなどを規定するシンタックスが含まれる。さらに、エントロピー符号化部１８は、インター予測符号化され、AMVPモードが適用された各PUについての差分ベクトル、及び、IBC予測符号化され、AMVPモードが適用された各PUについての差分ベクトルもエントロピー符号化する。
【０１００】
本実施形態では、エントロピー符号化部１８は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。そしてエントロピー符号化部１８は、エントロピー符号化により得られたビットストリームを出力する。
【０１０１】
エントロピー符号化部１８により出力された各CTUのビットストリームは所定の順序で結合され、HEVCで規定されるヘッダ情報などを付加することで、符号化された動画像データを含む符号化ビットストリームが得られる。動画像符号化装置１は、その符号化ビットストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶装置（図示せず）に記憶するか、あるいはその符号化ビットストリームを他の機器へ出力する。
【０１０２】
図１０は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はCTUごとに、下記の動作フローチャートに従って符号化する。
【０１０３】
ピクチャ間動き探索部１１は、符号化対象ピクチャがインター予測符号化方式を適用可能な場合、適用可能な各PUについて動きベクトルを算出する（ステップＳ３０１）。また、ピクチャ内動き探索部１２は、適用可能な各PUについてIBCベクトルを算出する（ステップＳ３０２）。符号化モード判定部１３は、各PUの動きベクトル及びIBCベクトルなどに基づいて、CU、PU及びTUの分割モード、及び、適用される符号化モード及びベクトルモードなどを決定する（ステップＳ３０３）。
【０１０４】
ソース符号化部１４は、CU及びPUの分割モード及び符号化モードに従って予測ブロックを作成し、TUごとに、そのTUと予測ブロックの対応画素間の予測誤差信号を算出する。そしてソース符号化部１４は、TUごとの予測誤差信号を直交変換及び量子化することで、TUごとの量子化係数を算出する（ステップＳ３０４）。
【０１０５】
復号部１５は、TUごとの量子化係数を逆量子化及び逆直交変換することで、TUごとの予測誤差信号を復元し、予測ブロックの対応画素の値を加算して局所復号ブロックを算出し、記憶部１７に保存する（ステップＳ３０５）。なお、符号化対象ピクチャの全てのCTUについて局所復号ブロックが得られると、それら局所復号ブロックを組み合わせることで局所復号ピクチャが得られる。
【０１０６】
また、ベクトル符号化部１６は、インター予測符号化される各PUの動きベクトル、及び、IBC予測符号化される各PUのIBCベクトルを、適用されるベクトルモードに従って予測符号化する（ステップＳ３０６）。
【０１０７】
エントロピー符号化部１８は、各TUの量子化係数、及び、各種シンタックスなどをエントロピー符号化することで、符号化対象CTUの符号化ビットストリームを生成する（ステップＳ３０７）。エントロピー符号化部１８は、得られた符号化ビットストリームを出力する。そして動画像符号化装置１は、動画像符号化処理を終了する。
【０１０８】
以上に説明してきたように、この動画像符号化装置は、IBC予測符号化されたブロックについて、IBCベクトルの時間予測ベクトルを決定するために、ColPUだけでなく、ColPU以外のブロックを含む参照可能領域を参照する。そのため、この動画像符号化装置は、IBCベクトルの予測ベクトルの候補として選択可能な、ColPicについて算出されたIBCベクトルの数を増やすことができる。したがって、この動画像符号化装置は、IBC符号化方式が適用される可能性を向上することができ、その結果として、動画像データの符号化効率を向上できる。
【０１０９】
次に、上記の動画像符号化装置により符号化された動画像データを復号する動画像復号装置について説明する。
【０１１０】
図１１は、一つの実施形態による動画像復号装置の概略構成図である。動画像復号装置２は、エントロピー復号部２１と、ベクトル復号部２２と、予測ブロック生成部２３と、復号部２４と、記憶部２５とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。さらに、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【０１１１】
動画像復号装置２は、符号化された動画像データを含む符号化ビットストリームを、例えば、通信ネットワーク及び動画像復号装置２を通信ネットワークに接続するためのインターフェース回路を介して取得する。そして動画像復号装置２は、その符号化ビットストリームを、図示しないバッファメモリに記憶させる。動画像復号装置２は、符号化されたデータを、CTU単位でバッファメモリから読み出し、そのCTU単位のデータをエントロピー復号部２１へ入力する。
【０１１２】
エントロピー復号部２１は、分離部の一例であり、CTU単位で符号化されているデータをエントロピー復号する。そしてエントロピー復号部２１は、CTU内の各TUの量子化係数を復号することで、その量子化係数を取り出す。またエントロピー復号部２１は、適用された分割モード、符号化方式などを表すシンタックスを含む各種シンタックスをエントロピー復号して取り出す。例えば、エントロピー復号部２１は、インター予測符号化されている各CUについて、そのCUに含まれる各PUについての予測ベクトルの候補のリスト中の位置を表すシンタックスをエントロピー復号する。さらに、AMVPモードが適用された各PUについて、動きベクトルと予測ベクトル間の差分ベクトルをエントロピー復号する。同様に、エントロピー復号部２１は、IBC予測符号化されている各CUについて、そのCUに含まれる各PUについての予測ベクトルの候補のリスト中の位置を表すシンタックスをエントロピー復号する。さらに、AMVPモードが適用された各PUについて、IBCベクトルと予測ベクトル間の差分ベクトルをエントロピー復号する。さらに、エントロピー復号部２１は、ColPicの分割モード及び縦方向及び横方向のそれぞれの分割数を規定するシンタックスをエントロピー復号する。さらに、エントロピー復号部２１は、イントラ予測符号化されている各CUについて、そのCUに含まれる各PUについての予測モードをエントロピー復号する。そしてエントロピー復号部２１は、動きベクトル及びIBCベクトルの復号に用いられる各種シンタックスなどをベクトル復号部２２へわたす。またエントロピー復号部２１は、予測ブロックの生成に用いられる各種シンタックスなどを予測ブロック生成部２３へわたす。またエントロピー復号部２１は、量子化係数を復号部２４へわたす。
【０１１３】
ベクトル復号部２２は、インター予測符号化されたCU内の各PUについて、適用されたベクトルモードを表す情報、予測ベクトルの候補のリスト中の位置を表すシンタックス及び差分ベクトルなどから動きベクトルを再生する。同様に、ベクトル復号部２２は、IBC予測符号化されたCU内の各PUについて、ColPicの分割モードなどを規定するシンタックス、予測ベクトルの候補のリスト中の位置を表すシンタックス及び差分ベクトルなどからIBCベクトルを再生する。
【０１１４】
なお、ベクトル復号部２２は、動きベクトル符号化部１６と同様の処理を実行することで、参照可能領域を特定し、参照可能領域内のIBCベクトルに基づいて予測ベクトルの候補のリストを作成できる。その際、ベクトル復号部２２は、ColPicの分割モード及び縦方向及び横方向のそれぞれの分割数を規定するシンタックスにしたがって、復号済みのColPicを複数のサブ領域に分割し、各サブ領域とColPUの位置関係に基づいて参照可能領域を特定すればよい。
【０１１５】
そしてベクトル復号部２２は、作成した予測ブロックの候補のリストを参照して、予測ベクトルの候補のリスト中の位置を表すシンタックスで示される候補を予測ベクトルとして特定する。適用されるベクトルモードがAMVPモードであれば、ベクトル復号部２２は、特定された予測ベクトルに、復号された差分ベクトルを加算することで、IBCベクトルを再生できる。一方、適用されるベクトルモードがMergeモードであれば、ベクトル復号部２２は、特定された予測ベクトルそのものをIBCベクトルとすればよい。そしてベクトル復号部２２は、再生された動きベクトル及びIBCベクトルを予測ブロック生成部２３へわたすとともに、記憶部２５に保存する。
【０１１６】
予測ブロック生成部２３は、復号対象CTUについて、復号済みのピクチャまたは復号対象ピクチャの復号済みの領域を参照して、CUごとに、そのCUに含まれる各PUの予測ブロックを生成する。その際、予測ブロック生成部２３は、動画像符号化装置１のソース符号化部１４と同様の処理を実行することにより予測ブロックを生成すればよい。例えば、予測ブロック生成部２３は、着目するCUがインター予測符号化されている場合、そのCU内のPUごとに、記憶部２５から読み出した復号済みのピクチャを、そのPUについて復号された動きベクトルに基づいて動き補償することで予測ブロックを生成する。同様に、予測ブロック生成部２３は、着目するCUがIBC予測符号化されている場合、そのCU内のPUごとに、記憶部２５から読み出した復号済みのブロックを、そのPUについて復号されたIBCベクトルに基づいて動き補償することで予測ブロックを生成する。
【０１１７】
予測ブロック生成部２３は、生成した予測ブロックを復号部２４へ出力する。
【０１１８】
復号部２４は、エントロピー復号部２１から受け取った各TUの量子化係数に、復号されたヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各TUの直交変換係数が復元される。その後、復号部２４は、TUごとに、直交変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を各TUの量子化係数に対して実行することにより、CTU全体の各画素の予測誤差信号が再生される。
【０１１９】
復号部２４は、各PUの予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、各PUを復号できる。そして復号部２４は、復号された各PUを、符号化順序に従って結合することにより、CTUを復号する。復号部２４は、復号されたCTUを記憶部２５に記憶させる。また、復号部２４は、復号されたCTUを、符号化順序に従って結合することでピクチャ全体を復号する。復号部２４は、復号されたピクチャを記憶部２５に記憶するとともに、復号されたピクチャをバッファメモリに記憶する。バッファメモリに記憶されている復号された各ピクチャは、例えば、制御部（図示せず）により表示順序に従って、表示装置（図示せず）へ出力される。
【０１２０】
記憶部２５は、復号部２４から受け取った、復号されたCTU及び復号されたピクチャを一時的に記憶する。そして記憶部２５は、予測ブロック生成部２３に、CTUを参照領域として、あるいはピクチャを参照ピクチャとして供給する。さらに、記憶部２５は、ベクトル復号部２２に、復号済みのPUの動きベクトルまたはIBCベクトルを供給する。なお、記憶部２５は、予め定められた所定枚数分のピクチャを記憶し、記憶されているデータ量がその所定枚数に相当する量を超えると、符号化順序が古いピクチャから順に破棄する。
【０１２１】
図１２は、動画像復号装置２により実行される、動画像復号処理の動作フローチャートである。動画像復号装置２は、復号対象となるCTUごとに図１２に示される動画像復号処理を実行する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号することにより、復号対象CTUの各TUの量子化係数及び各種シンタックスなどを再生する（ステップＳ４０１）。
【０１２２】
ベクトル復号部２２は、復号対象CTUに含まれる、インター予測符号化された各PUについて、適用されたベクトルモードに応じて、動きベクトルを復号する（ステップＳ４０２）。また、ベクトル復号部２２は、IBC予測符号化された各PUについて、ColPicの分割モードなどを示すシンタックスを参照してColPicを複数のサブ領域に分割し、各サブ領域とColPUの位置関係に基づいて参照可能領域を設定する（ステップＳ４０３）。そしてベクトル復号部２２は、その参照可能領域内のIBCベクトルを用いて予測ベクトルの候補リストを作成し、候補リスト内の予測ベクトルの位置を表すシンタックスを参照して予測ベクトルを特定することで、IBCベクトルを復号する（ステップＳ４０４）。
【０１２３】
また、予測ブロック生成部２３は、復号対象CTUに含まれる各CUについて適用された符号化モード及び復号された動きベクトルまたはIBCベクトルに応じて、PUごとに予測ブロックを生成する（ステップＳ４０５）。
【０１２４】
復号部２４は、エントロピー復号部２１から受け取った量子化係数に、符号化ビットストリームに含まれるヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。そして、復号部２４は、直交変換信号をTU単位で逆直交変換処理することにより復号対象CTUの予測誤差信号を再生する（ステップＳ４０６）。その後、復号部２４は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、復号対象CTUを再生する（ステップＳ４０７）。復号部２４は、再生したCTUを記憶部２５に記憶する。そして動画像復号装置２は、復号対象CTUについての動画像復号処理を終了する。
【０１２５】
以上に説明してきたように、この動画像復号装置は、上記の実施形態による動画像符号化装置により、IBC予測符号化されたブロックが含まれていても、符号化された動画像データを復号できる。
【０１２６】
なお、変形例によれば、ベクトル符号化部１６は、IBC予測符号化されたPUについて、ColPUがIBC予測符号化されているか否かにかかわらず、参照可能領域内のIBCベクトルを参照して、時間予測ベクトルを決定してもよい。この場合には、図６に示された動作フローチャートにおいて、ステップＳ１０５及びステップＳ１０６の処理は省略されてもよい。
【０１２７】
また他の変形例によれば、ColPicの分割モードは予め指定されたモードに制限されてもよい。この場合、ColPicの分割モードなどを指定するシンタックスにおいて、等分割されるか否かを表すフラグが省略されてもよい。さらに、縦方向及び横方法のそれぞれについて、ColPicが等分割されることが予め指定され、かつ、縦方向及び横方向のそれぞれの分割数も予め指定される場合には、ColPicの分割モードなどを指定するシンタックス自体、動画像復号装置へ伝送されなくてもよい。同様に、縦方向及び横方向の分割位置も、任意に決定されるのではなく、予め指定された所定の分割モードに従って決定される場合も、ColPicの分割モードなどを指定するシンタックス自体、動画像復号装置へ伝送されなくてもよい。そのため、このシンタックスが符号化ビットストリームに付加されない分だけ符号化効率が向上する可能性がある。
【０１２８】
さらに他の変形例によれば、ベクトル符号化部１６は、IBCベクトルを予測符号化する際に、空間予測ベクトルについても、時間予測ベクトルと同様に、隣接するブロック以外のブロックも属するように参照可能領域を設定してもよい。これにより、空間予測ベクトルについても、参照可能なIBCベクトルの数が増加する。そしてベクトル符号化部１６は、その参照可能領域において求められたIBCベクトルから空間予測ベクトルを求めてもよい。すなわち、ベクトル符号化部１６は、符号化対象ピクチャについて、上記の実施形態または変形例に従って、ColPicと同様に複数のサブ領域に分割する。そしてベクトル符号化部１６は、符号化対象ブロックであるPUが属するサブ領域を参照可能領域とする。または、ベクトル符号化部１６は、上記の変形例と同様に、符号化対象ブロックであるPUが属するサブ領域の左側または上側に位置するサブ領域を参照可能領域に含めてもよい。そしてベクトル符号化部１６は、上記の実施形態または変形例と同様に、参照可能領域内のIBCベクトルの平均値または符号化対象ブロックまでの距離による加重平均値、または、符号化対象ブロックに最も近いIBCベクトルを、空間予測ベクトルとしてもよい。さらに、空間予測ベクトルに関しては、符号化対象ブロックであるPUの左側に隣接するブロックから求められるものと、そのPUの上側に隣接するブロックからもとめられるものがある。そこで、参照可能領域に関しても、符号化対象ブロックであるPUが属するサブ領域の左側に隣接するサブ領域を含む参照可能領域と、そのPUが属するサブ領域の上側に隣接するサブ領域を含む参照可能領域とが設定されてもよい。そしてベクトル符号化部１６は、それぞれの参照可能領域ごとに、上記と同様の処理を行って空間予測ベクトルを求めてもよい。なおこの場合、符号化対象ブロックであるPUが属するサブ領域は、何れの参照可能領域に含められてもよい。
【０１２９】
なお、ベクトル符号化部１６は、この変形例のように空間予測ベクトルに関して参照可能領域を設定する代わりに、時間予測ベクトルに関しては、参照可能領域を設定せず、ColPUのIBCベクトルに基づいて時間予測ベクトルを決定してもよい。
【０１３０】
なお、符号化対象ピクチャについても、等分割されず、所定の分割モードに従って複数のサブ領域に分割されてもよい。ただし場合には、符号化対象ピクチャ全体がまだ符号化されていないので、符号化対象ピクチャ全体のIBCベクトルの分布も確定していない。そこで、ベクトル符号化部１６は、ColPicのIBCベクトルを参照することで、上記の変形例と同様に、例えば、IBCベクトルの数が互いに等しくなるように、あるいは、クラスタリング手法に従って、符号化対象ピクチャを複数のサブ領域に分割してもよい。この場合、動画像復号装置２のベクトル復号部２２も、この変形例と同様の処理を行って復号対象ピクチャを複数のサブ領域に分割し、復号対象ブロックと各サブ領域の位置関係に基づいて参照可能領域を設定すればよい。
【０１３１】
図１３は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。このコンピュータは、例えば、Wireless displayまたはVirtual Desktop Infrastructure(VDI)を実現するシステムにおいてスクリーン映像を生成するサーバ、あるいは、符号化されたスクリーン映像を再生する端末として利用可能である。
【０１３２】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１３３】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ１０５上で動作するアプリケーションプログラムによって決定されてもよい。
【０１３４】
通信インターフェース部１０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。
【０１３５】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、記憶部１０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。
【０１３６】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【０１３７】
プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ１０５は、符号化された動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース部１０１の表示装置に表示させる。
【０１３８】
なお、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラム及び動画像復号処理用コンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【０１３９】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【０１４０】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、当該ブロックと前記符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出するピクチャ内動きベクトル算出部と、
前記複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、前記符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて前記符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測する予測ベクトルを求め、当該予測ベクトルに基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測符号化するベクトル符号化部と、
前記符号化対象ブロックについての前記参照ブロックと前記符号化対象ブロック間の予測誤差を算出し、当該予測誤差を符号化する符号化部と、
を有する動画像符号化装置。
（付記２）
前記ベクトル符号化部は、前記第２の参照可能領域に含まれる前記第２のピクチャ内動きベクトルが複数存在する場合に、当該複数の第２のピクチャ内動きベクトルの平均ベクトルに基づいて前記予測ベクトルを求める、付記１に記載の動画像符号化装置。
（付記３）
前記ベクトル符号化部は、前記第２の参照可能領域に含まれる前記第２のピクチャ内動きベクトルが複数存在する場合に、当該複数の第２のピクチャ内動きベクトルのうちの前記符号化対象ブロックに対応する位置にあるブロックに最も近いブロックについて算出された第２のピクチャ内動きベクトルに基づいて前記予測ベクトルを求める、付記１に記載の動画像符号化装置。
（付記４）
前記ベクトル符号化部は、前記参照ピクチャを複数のサブ領域に分割し、前記複数のサブ領域のうち、前記符号化対象ブロックに対応する位置にあるブロックを含むサブ領域を前記第２の参照可能領域に含める、付記１〜３の何れかに記載の動画像符号化装置。
（付記５）
前記ベクトル符号化部は、前記複数のサブ領域のうち、前記符号化対象ブロックに対応する位置にあるブロックよりも前に符号化されたブロックを含むサブ領域を前記第２の参照可能領域にさらに含める、付記４に記載の動画像符号化装置。
（付記６）
前記ベクトル符号化部は、前記参照ピクチャを前記複数のサブ領域に分割する方法を規定する分割モードに従って、前記参照ピクチャを前記複数のサブ領域に分割し、
前記分割モードを表す情報を前記動画像データの符号化データに付加する付加部をさらに有する、付記４または５に記載の動画像符号化装置。
（付記７）
前記ベクトル符号化部は、前記複数のサブ領域のそれぞれに含まれる前記ピクチャ内動きベクトルの数が互いに等しくなるように前記参照ピクチャを前記複数のサブ領域に分割する、付記４または５に記載の動画像符号化装置。
（付記８）
前記ベクトル符号化部は、前記第１のピクチャ内動きベクトルと前記第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストにおいて前記予測ベクトルとなる候補を表す情報を求め、
前記予測ベクトルとなる候補を表す情報を前記動画像データの符号化データに付加する付加部をさらに有する、付記１〜５の何れかに記載の動画像符号化装置。
（付記９）
動画像データを復号する動画像復号装置であって、
前記動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、前記復号対象ブロックと前記復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて前記予測ベクトルとなる候補を表す情報とを取り出す分離部と、
前記復号対象ピクチャにおいて前記復号対象ブロックよりも前に復号され、かつ、前記復号対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記復号対象ピクチャよりも前に復号された参照ピクチャにおいて前記復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストと前記予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて前記ピクチャ内動きベクトルを復号するベクトル復号部と、
復号された前記ピクチャ内動きベクトルに基づいて特定される前記参照ブロックと前記予測誤差とに基づいて前記復号対象ブロックを復号する復号部と、
を有する動画像復号装置。
（付記１０）
前記ベクトル復号部は、前記参照ピクチャを複数のサブ領域に分割し、前記複数のサブ領域のうち、前記復号対象ブロックに対応する位置にあるブロックを含むサブ領域を前記第２の参照可能領域に含める、付記９に記載の動画像復号装置。
（付記１１）
前記ベクトル復号部は、前記複数のサブ領域のうち、前記復号対象ブロックに対応する位置にあるブロックよりも前に復号されたブロックを含むサブ領域を前記第２の参照可能領域にさらに含める、付記１０に記載の動画像復号装置。
（付記１２）
前記分離部は、前記動画像データの符号化データから、前記参照ピクチャを前記複数のサブ領域に分割する方法を規定する分割モードを表す情報をさらに取り出し、
前記ベクトル復号部は、前記参照ピクチャを前記分割モードに従って複数のサブ領域に分割する、付記１０または１１に記載の動画像復号装置。
（付記１３）
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、当該ブロックと前記符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出し、
前記複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、前記符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて前記符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測する予測ベクトルを求め、当該予測ベクトルに基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測符号化し、
前記符号化対象ブロックについての前記参照ブロックと前記符号化対象ブロック間の予測誤差を算出し、当該予測誤差を符号化する、
ことを含む動画像符号化方法。
（付記１４）
動画像データを復号する動画像復号方法であって、
前記動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、前記復号対象ブロックと前記復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて前記予測ベクトルとなる候補を表す情報とを取り出し、
前記復号対象ピクチャにおいて前記復号対象ブロックよりも前に復号され、かつ、前記復号対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記復号対象ピクチャよりも前に復号された参照ピクチャにおいて前記復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストと前記予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて前記ピクチャ内動きベクトルを復号し、
復号された前記ピクチャ内動きベクトルに基づいて特定される前記参照ブロックと前記予測誤差とに基づいて前記復号対象ブロックを復号する、
ことを含む動画像復号方法。
（付記１５）
動画像データに含まれる符号化対象ピクチャを符号化するための動画像符号化用コンピュータプログラムであって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、前記符号化対象ピクチャの符号化済みの領域を参照して符号化されるブロックについて、当該ブロックと前記符号化済みの領域内の参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルを算出し、
前記複数のブロックのうちの符号化対象ブロックよりも前に符号化され、かつ、前記符号化対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記符号化対象ピクチャよりも前に符号化された参照ピクチャにおいて前記符号化対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測する予測ベクトルを求め、当該予測ベクトルに基づいて前記符号化対象ブロックの前記ピクチャ内動きベクトルを予測符号化し、
前記符号化対象ブロックについての前記参照ブロックと前記符号化対象ブロック間の予測誤差を算出し、当該予測誤差を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
（付記１６）
動画像データを復号するための動画像復号用コンピュータプログラムであって、
前記動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの予測誤差と、前記復号対象ブロックと前記復号対象ピクチャの復号済みの参照ブロック間の空間的な移動量を表すピクチャ内動きベクトルの予測ベクトルの候補のリストにおいて前記予測ベクトルとなる候補を表す情報とを取り出し、
前記復号対象ピクチャにおいて前記復号対象ブロックよりも前に復号され、かつ、前記復号対象ブロックと隣接しないブロックを含む複数のブロックが属する第１の参照可能領域において算出された第１のピクチャ内動きベクトルと、前記復号対象ピクチャよりも前に復号された参照ピクチャにおいて前記復号対象ブロックに対応する位置にあるブロックを含む複数のブロックが属する第２の参照可能領域において算出された第２のピクチャ内動きベクトルのうちの少なくとも一方に基づいて前記ピクチャ内動きベクトルの予測ベクトルの候補のリストを作成し、当該リストと前記予測ベクトルとなる候補を表す情報とに基づいて予測ベクトルを特定し、特定した予測ベクトルに基づいて前記ピクチャ内動きベクトルを復号し、
復号された前記ピクチャ内動きベクトルに基づいて特定される前記参照ブロックと前記予測誤差とに基づいて前記復号対象ブロックを復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
【符号の説明】
【０１４１】
１    動画像符号化装置
１１    ピクチャ間動き探索部
１２    ピクチャ内動き探索部
１３    符号化モード判定部
１４    ソース符号化部
１５    復号部
１６    ベクトル符号化部
１７    記憶部
１８    エントロピー符号化部
２    動画像復号装置
２１    エントロピー復号部
２２    ベクトル復号部
２３    予測ブロック生成部
２４    復号部
２５    記憶部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2019129371.tif 000004
【図２】
2019129371.tif 000005
【図３】
2019129371.tif 000006
【図４】
2019129371.tif 000007
【図５】
2019129371.tif 000008
【図６】
2019129371.tif 000009
【図７】
2019129371.tif 000010
【図８】
2019129371.tif 000011
【図９】
2019129371.tif 000012
【図１０】
2019129371.tif 000013
【図１１】
2019129371.tif 000014
【図１２】
2019129371.tif 000015
【図１３】
2019129371.tif 000016