(57)【要約】【課題】イントラリフレッシュ方式が採用される場合において、動きベクトルの予測ベクトルによりリフレッシュ済み領域内にエラーが伝搬することを抑制できる動画像符号化装置を提供する。【解決手段】動画像符号化装置（１）は、符号化済みの第１のピクチャにおける、リフレッシュ済み領域と未リフレッシュ領域間の境界の位置とリフレッシュ更新サイズに従って、符号化対象の第２のピクチャにおける境界の位置を決定するリフレッシュ境界決定部（１０）と、第１及び第２のピクチャのその境界の位置に基づいて、第２のピクチャのリフレッシュ済み領域に含まれ、かつ、動きベクトルの予測ベクトルとして第１のピクチャの未リフレッシュ領域内の動きベクトルを選択する可能性の有る、動き補償の単位である第１のサブブロックを、予測ベクトルを利用しない第１の制限対象サブブロックとして特定する制限ブロック特定部（１１）とを有する。【選択図】図１３
2015106747.tif 000002
【特許請求の範囲】
【請求項１】
イントラリフレッシュ方式により動画像に含まれる複数のピクチャを符号化する動画像符号化装置であって、
前記複数のピクチャのうちの符号化済みの第１のピクチャにおける、イントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域とイントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域間の境界の位置と、リフレッシュ周期に対する前記境界の移動方向における前記ピクチャのサイズの比であるリフレッシュ更新サイズに従って、前記複数のピクチャのうちの前記第１のピクチャに後続する符号化対象の第２のピクチャにおける前記境界の位置を決定するリフレッシュ境界決定部と、
前記第１のピクチャの前記境界の位置と前記第２のピクチャの前記境界の位置に基づいて、前記第２のピクチャに含まれる、動き補償の単位である複数の第１のサブブロックのうち、前記リフレッシュ済み領域に含まれ、かつ、当該第１のサブブロックを符号化済みの他のピクチャを参照するインター予測符号化モードで符号化する場合に当該第１のサブブロックの動きベクトルの予測ベクトルとして前記第１のピクチャの前記未リフレッシュ領域に含まれる前記第１のサブブロックの動きベクトルを選択する可能性の有る第１のサブブロックを第１の制限対象サブブロックとして特定する制限ブロック特定部と、
前記第２のピクチャを分割した、前記インター予測符号化モードまたは符号化対象のピクチャのみを参照するイントラ予測符号化モードの適用単位である複数の第２のサブブロックのうち、当該第１の制限対象サブブロックを含む第２のサブブロックである第２の制限対象サブブロックを、前記インター予測符号化モードで前記第１の制限対象サブブロックについて前記予測ベクトルを利用せずに符号化するか、または前記イントラ予測符号化モードで符号化することにより符号化データを生成する予測符号化部と、
前記符号化データをエントロピー符号化するエントロピー符号化部と、
を有する動画像符号化装置。
【請求項２】
前記制限ブロック特定部は、
前記第２のピクチャを分割した、符号化処理の適用単位であり、かつ、少なくとも一つの前記第２のサブブロックを含む複数のブロックのうち、インター予測符号化モードの適用を制限することで前記第１のピクチャの未リフレッシュ領域内で前記第１のピクチャを正常に復号できないエラーが生じても、当該エラーが前記第２のピクチャのリフレッシュ済み領域内への伝搬が防止されるブロックをインター予測制限対象ブロックとして特定するインター予測制限対象ブロック決定部と、
前記インター予測制限対象ブロックに含まれる前記第２のサブブロックのうち、前記第１の制限対象サブブロックを含む第２のサブブロックを前記第２の制限対象サブブロックとして特定するインター予測制限対象サブブロック決定部とを有する、
請求項１に記載の動画像符号化装置。
【請求項３】
前記境界の移動方向は水平方向であり、
前記インター予測制限対象ブロック決定部は、前記第１のピクチャにおける前記境界の位置を含むか、前記境界の移動先側の端部が前記第１のピクチャにおける前記境界の位置に接する前記ブロックの垂直方向の列から、前記第２のピクチャにおける前記境界を含むか前記境界の移動先側の端部が前記境界に接する前記ブロックの垂直方向の列までの各ブロックの列に含まれ、かつ、前記第２のピクチャの下端に位置するブロックを前記インター予測制限対象ブロックとして特定する、請求項２に記載の動画像符号化装置。
【請求項４】
前記境界の移動方向は垂直方向であり、
前記インター予測制限対象ブロック決定部は、前記第１のピクチャにおける前記境界の位置を含むか、前記境界の移動元側の端部が前記第１のピクチャにおける前記境界の位置に接する前記ブロックの水平方向の列から、前記第２のピクチャにおける前記境界を含むか前記境界の移動先側の端部が前記境界に接する前記ブロックの水平方向の列までの各ブロックの列に含まれるブロックを前記インター予測制限対象ブロックとして特定する、請求項２に記載の動画像符号化装置。
【請求項５】
前記イントラ予測符号化モードが適用される場合の前記第２の制限対象サブブロックの符号量の推定値と、前記インター予測符号化モードが適用され、かつ、前記第２の制限対象サブブロック内の前記第１の制限対象サブブロックについて前記時間予測ベクトルを用いない場合の前記第２の制限対象サブブロックの符号量の推定値とを算出し、前記イントラ予測符号化モードと前記インター予測符号化モードのうち、前記推定値が最小となる符号化モードを前記第２の制限対象サブブロックに対して適用する符号化モードとする符号化モード決定部をさらに有する、請求項２〜４の何れか一項に記載の動画像符号化装置。
【請求項６】
前記符号化モード決定部は、前記第１の制限対象サブブロックの周囲のサブブロックにおいて前記第１の制限対象サブブロックの動きベクトルの予測ベクトルとして利用できる動きベクトルが存在しない場合、前記第１の制限対象サブブロックを含む前記第２の制限対象サブブロックに適用する符号化モードを前記イントラ予測符号化モードとする、請求項５に記載の動画像符号化装置。
【請求項７】
前記第２のサブブロックのサイズは複数のサイズの中から選択可能であり、
前記インター予測制限対象サブブロック決定部は、前記インター予測制限対象ブロックについて、前記複数のサイズのそれぞれごとに前記第２の制限対象サブブロックを特定し、
前記符号化モード決定部は、前記インター予測制限対象ブロックについて、前記複数のサイズ及びイントラ予測符号化モードとインター予測符号化モードの組み合わせのうち、前記インター予測制限対象ブロックの符号量が最小となるように前記第２のサブブロックのサイズ及び適用される符号化モードを決定する、請求項５または６に記載の動画像符号化装置。
【請求項８】
前記符号化モード決定部は、前記第２の制限対象サブブロックのサイズを前記第２のサブブロックについて選択可能な複数のサイズのうちの最小サイズに設定する、請求項７に記載の動画像符号化装置。
【請求項９】
前記制限ブロック特定部は、前記インター予測制限対象ブロックに含まれる前記第１のサブブロックのうち、当該サブブロックの右端または下端が前記複数のブロック間の境界に隣接する第１のサブブロックを前記第１の制限対象サブブロックとする、請求項２〜８の何れか一項に記載の動画像符号化装置。
【請求項１０】
前記インター予測符号化モードは、予測ベクトルの選択方法が互いに異なる複数のインター予測モードを含み、
前記複数のインター予測モードのうちの第１の予測モードについて前記第１の制限対象サブブロックの動きベクトルの予測ベクトルとして前記第１の制限対象サブブロックの周囲の動きベクトルを利用可能な場合、前記第１の制限対象サブブロックについて適用される前記インター予測符号化モードとして前記第１の予測モードを適用するベクトルモード決定部をさらに有する、請求項２〜９の何れか一項に記載の動画像符号化装置。
【請求項１１】
イントラリフレッシュ方式により動画像に含まれる複数のピクチャを符号化する動画像符号化方法であって、
前記複数のピクチャのうちの符号化済みの第１のピクチャにおける、イントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域とイントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域間の境界の位置と、リフレッシュ周期に対する前記境界の移動方向における前記ピクチャのサイズの比であるリフレッシュ更新サイズに従って、前記複数のピクチャのうちの前記第１のピクチャに後続する符号化対象の第２のピクチャにおける前記境界の位置を決定し、
前記第１のピクチャの前記境界の位置と前記第２のピクチャの前記境界の位置に基づいて、前記第２のピクチャに含まれる、動き補償の単位である複数の第１のサブブロックのうち、前記リフレッシュ済み領域に含まれ、かつ、当該第１のサブブロックを符号化済みの他のピクチャを参照するインター予測符号化モードで符号化する場合に当該第１のサブブロックの動きベクトルの予測ベクトルとして前記第１のピクチャの前記未リフレッシュ領域に含まれる前記第１のサブブロックの動きベクトルを選択する可能性の有る第１のサブブロックを第１の制限対象サブブロックとして特定し、
前記第２のピクチャを分割した、前記インター予測符号化モードまたは符号化対象のピクチャのみを参照するイントラ予測符号化モードの適用単位である複数の第２のサブブロックのうち、当該第１の制限対象サブブロックを含む第２のサブブロックである第２の制限対象サブブロックを、前記インター予測符号化モードで前記第１の制限対象サブブロックについて前記予測ベクトルを利用せずに符号化するか、または前記イントラ予測符号化モードで符号化することにより符号化データを生成し、
前記符号化データをエントロピー符号化する、
ことを含む動画像符号化方法。
【請求項１２】
イントラリフレッシュ方式により動画像に含まれる複数のピクチャを符号化することをコンピュータに実行させる動画像符号化用コンピュータプログラムであって、
前記複数のピクチャのうちの符号化済みの第１のピクチャにおける、イントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域とイントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域間の境界の位置と、リフレッシュ周期に対する前記境界の移動方向における前記ピクチャのサイズの比であるリフレッシュ更新サイズに従って、前記複数のピクチャのうちの前記第１のピクチャに後続する符号化対象の第２のピクチャにおける前記境界の位置を決定し、
前記第１のピクチャの前記境界の位置と前記第２のピクチャの前記境界の位置に基づいて、前記第２のピクチャに含まれる、動き補償の単位である複数の第１のサブブロックのうち、前記リフレッシュ済み領域に含まれ、かつ、当該第１のサブブロックを符号化済みの他のピクチャを参照するインター予測符号化モードで符号化する場合に当該第１のサブブロックの動きベクトルの予測ベクトルとして前記第１のピクチャの前記未リフレッシュ領域に含まれる前記第１のサブブロックの動きベクトルを選択する可能性の有る第１のサブブロックを第１の制限対象サブブロックとして特定し、
前記第２のピクチャを分割した、前記インター予測符号化モードまたは符号化対象のピクチャのみを参照するイントラ予測符号化モードの適用単位である複数の第２のサブブロックのうち、当該第１の制限対象サブブロックを含む第２のサブブロックである第２の制限対象サブブロックを、前記インター予測符号化モードで前記第１の制限対象サブブロックについて前記予測ベクトルを利用せずに符号化するか、または前記イントラ予測符号化モードで符号化することにより符号化データを生成し、
前記符号化データをエントロピー符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、符号化対象ピクチャを他のピクチャの情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを高能率符号化する。なお、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
【０００３】
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法で符号化されたピクチャは、そのピクチャ内の情報のみで復元できる。
【０００４】
また、高能率符号化方法で採用されている他の符号化方式として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データでは、一般に、あるタイミングのピクチャとそのピクチャに後続するピクチャ間の類似度が高いことが多い。そのため、インター予測符号化方法は、動画像データのその性質を使用する。一般に、動画像符号化装置は、符号化対象の原ピクチャを複数の符号化ブロックに分割する。動画像符号化装置は、ブロックごとに、符号化済みピクチャを復号して得られた参照ピクチャから、符号化ブロックと類似している領域を参照領域として選択し、参照領域と符号化ブロック間の差分を表す予測誤差画像を計算することで、時間的な冗長性を取り除く。そして動画像符号化装置は、参照領域を示す動きベクトル情報および予測誤差画像を符号化することにより、高い圧縮率が実現される。一般的に、イントラ予測符号化方法よりも、インター予測符号化方法の方が圧縮効率が高い。
【０００５】
これらの予測符号化方法を採用する代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。これらの符号化方式では、例えば、ピクチャについて、イントラ予測符号化方法とインター予測符号化方法のいずれが選択されたかは、符号化された動画像データを含む映像ストリームに明示的に記載される。選択された予測符号化方法は符号化モードと呼ばれる。さらに、選択された符号化モードがイントラ予測符号化モードであれば、動画像符号化装置は、実際に使用する予測方法としてイントラ予測符号化方法のみを選択できる。一方、選択された符号化モードがインター予測符号化モードであれば、動画像符号化装置は、実際に使用する予測方法としてインター予測符号化方法を選択でき、場合によっては、イントラ予測符号化方法も選択できる。さらに、動画像符号化装置は、インター予測符号化方法を選択する場合、動きベクトルの符号化方法が互いに異なる複数のベクトルモードの中から、何れかのベクトルモードを選択できる。
【０００６】
これら動画像符号化方式では、Iピクチャ、Pピクチャ、Bピクチャが規定されている。Iピクチャは、ピクチャ自身の情報のみを用いて符号化されるピクチャである。Pピクチャは、既に符号化されている１枚のピクチャの情報を用いてインター符号化されるピクチャである。Bピクチャは、既に符号化されている２枚のピクチャの情報を用いて双方向予測符号化されるピクチャである。Bピクチャが参照する二つの参照ピクチャを示す時間的な方向は、L0、L1で表される。なお、Bピクチャが参照する２枚の参照ピクチャの一方がそのBピクチャよりも時間的に前のピクチャであり、他方がそのBピクチャよりも時間的に後のピクチャであってもよい。この場合、L0方向は、例えば、Bピクチャである符号化対象ピクチャから時間的に前方を示す向きとなり、L1方向は、符号化対象ピクチャから時間的に後方を示す向きとなる。あるいは、２枚の参照ピクチャの何れも、Bピクチャよりも時間的に前のピクチャであってもよい。この場合、L0方向、L1方向は、何れも、符号化対象ピクチャから時間的に前方を示す向きとなる。さらに、２枚の参照ピクチャの何れも、Bピクチャよりも時間的に後のピクチャであってもよい。この場合、L0方向、L1方向は、何れも、符号化対象ピクチャから時間的に後方を示す向きとなる。
【０００７】
このような符号化方式を用いて符号化された動画像データをリアルタイム通信する場合、動画像符号化装置および動画像復号装置において低遅延化が図られている。例えば、H.264における低遅延を実現するための方式では、ピクチャの並び替えによる遅延を防ぐために、符号化対象ピクチャよりも時間的に後のピクチャを参照する後方向予測は使用されない。また、動画像符号化装置は、ピクチャを16x16画素のブロック単位に分割する。このブロックはマクロブロックと呼ばれる。また、マクロブロックのラインはスライスと呼ばれる。マクロブロックには、イントラ予測符号化を行うイントラマクロブロックと、インター予測符号化を行うインターマクロブロックがある。さらなる低遅延を実現するため、あるスライス内のデータをすべて、イントラマクロブロックとして符号化するイントラリフレッシュ方式が提案されている（例えば、特許文献１を参照）。
【０００８】
図１（ａ）及び図１（ｂ）を参照しつつ、このイントラリフレッシュ方式を説明する。図１（ａ）は、垂直方向にリフレッシュ済み領域が移動する例を示し、図１（ｂ）は、水平方向にリフレッシュ済み領域が移動する例を示す。図１（ａ）及び図１（ｂ）において、横軸は時間を表す。各ピクチャ１０１〜１０５は、Pピクチャまたは過去のピクチャのみを参照するBピクチャとして符号化される。動画像符号化装置は、イントラリフレッシュが適用されるスライスの位置を、ピクチャごとに、第０マクロブロックラインから第tマクロブロックライン、第（t＋１）マクロブロックラインと徐々にずらしていく。そして動画像符号化装置は、一定のリフレッシュ周期でピクチャ全体にイントラリフレッシュが適用されるスライスを巡回させる。例えば、図１（ａ）では、時間経過とともに、イントラリフレッシュが適用されるスライスが通過した領域であるリフレッシュ済み領域１１０が下方に拡張される。また、図１（ｂ）では、時間経過とともに、リフレッシュ済みの領域１２０が右方に拡張される。ここで、リフレッシュ済み領域では、すなわち、図１（ａ）では、リフレッシュ境界１３０よりも上側の領域では、各ブロックは、過去の符号化済みのピクチャのリフレッシュ済み領域、または現ピクチャの符号化済みであるリフレッシュ済み領域のみを参照して符号化されなければならない。その結果、イントラリフレッシュが適用されるスライスが一巡した後、ピクチャ全体がリフレッシュされるので、動画像復号装置は、伝送エラーなどでピクチャを復号不能なエラーが生じても、リフレッシュ後のピクチャから復号を再開できる。また、動画像復号装置は、映像ストリームを途中から復号できる。さらに、情報量が多いIピクチャが用いられないので、動画像符号化装置及び動画像復号装置のバッファのサイズが小さくて済む。その結果、バッファによる遅延も軽減できる。さらに、図１（ｂ）に示されるように、イントラリフレッシュが適用されるスライスを垂直方向のマクロブロックラインとすることで、マクロブロックライン単位の情報量が均一化される。その結果として、動画像符号化装置は、情報量制御を簡単化できる。
【０００９】
なお、イントラリフレッシュが適用されるスライスに含まれるマクロブロックについても、必ずしもイントラ予測符号化される必要はなく、動画像符号化装置は、過去の符号化済みのピクチャのリフレッシュ済み領域のみを参照するようにして、インター予測符号化してもよい。例えば、過去の符号化済みのピクチャのリフレッシュ済み領域に符号化対象ブロックと類似した領域が存在していれば、動画像符号化装置は、インター予測符号化方法を選択することで圧縮効率を上げることができる。
【００１０】
図２を参照しつつ、イントラリフレッシュ方式による一つのピクチャ内で用いられる符号化方法について説明する。符号化対象ピクチャ２００及び符号化対象ピクチャよりも過去の符号化済みピクチャ２１０において各ブロック２０１は、一つのマクロブロックを表す。この例では、イントラリフレッシュが適用されるスライスは、左から右へと移動する。すなわち、リフレッシュ済み領域と、イントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域間の境界であるリフレッシュ境界２０２は、垂直方向に平行となる。符号化対象ピクチャ２００のリフレッシュ済み領域２２１内のインター予測符号化されるマクロブロックは、符号化済みピクチャ２１０のリフレッシュ済み領域２３１のみを参照する。一方、符号化対象ピクチャ２００の未リフレッシュ領域２２２内のインター予測符号化されるマクロブロックは、符号化済みピクチャ２１０のリフレッシュ済み領域２３１と未リフレッシュ領域２３２の両方を参照できる。
【００１１】
また、最新の動画像符号化方式(High Efficiency Video Coding、HEVC)では、ピクチャをブロックに分割する方法が従来の符号化方式と異なる。図３は、HEVCによる、ピクチャの分割の一例を示す図である。
【００１２】
図３に示されるように、ピクチャ３００は、符号化ブロックCoding Tree Unit(CTU)単位で分割され、各CTU３０１は、ラスタスキャン順に符号化される。CTU３０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU３０１のサイズは、シーケンス単位で一定とされる。
【００１３】
CTU３０１は、さらに、四分木構造で複数のCoding Unit（CU）３０２に分割される。一つのCTU３０１内の各CU３０２は、Zスキャン順に符号化される。CU３０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU３０２は、符号化モードであるイントラ予測符号化モードとインター予測符号化モードを選択する単位となる。CU３０２は、Prediction Unit（PU）３０３単位またはTransform Unit（TU）３０４単位で個別に処理される。PU３０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU３０３は、イントラ予測符号化モードでは、予測モードが適用される単位となり、インター予測符号化モードでは、動き補償を行う単位となる。PU３０３のサイズは、例えば、インター予測符号化では、PU分割モードPartMode =2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nの中から選択できる。一方、TU３０４は、直交変換の単位であり、TU３０４のサイズは、4x4画素〜32x32画素の中から選択される。TU３０４は、四分木構造で分割され、Zスキャン順に処理される。本明細書では、便宜上、Prediction Unitを第１のサブブロックと呼び、Coding Unitを第２のサブブロックと呼ぶ。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特公平６−１０１８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
HEVCでは、動画像符号化装置は、動きベクトルをPU単位で求めることができる。またHEVCでは、動きベクトルを符号化するために、予測ベクトルを用いて差分ベクトルを符号化するAdaptive Motion Vector Prediction(AMVP)モードと、符号化済みPUの動きベクトルを符号化対象PUの動きベクトルとしてコピーするMergeモードが規定されている。これらのモードをインター予測モードと呼ぶ。また、インター予測モードでは、予測ベクトルを作成する方法を規定するベクトルモードとして、以下のものが規定されている。
・符号化対象ブロックの空間的な周囲ブロックの動きベクトルを用いるSpatialベクトルモード
・符号化対象ブロックを含む符号化対象ピクチャに対して時間的に前の符号化済みピクチャにおける、符号化対象ブロックと同一の領域の周囲ブロックの動きベクトルを用いるTemporalベクトルモード
・Spatialベクトルと Temporalベクトルの組合せのベクトルを用いる combined bi-directive（結合両予測）ベクトルモード
・ゼロベクトルを用いるゼロベクトルモード
【００１６】
AMVPモードでは、予測方向ごとに、予測ベクトルとして利用可能なベクトルの候補を最大で二つ含む予測ベクトル候補リストmvpListLXが作成される。
【００１７】
図４は、AMVPモードでの予測ベクトルの決定手順を示す動作フローチャートである。
動画像符号化装置は、まず、符号化対象ブロックに隣接する、既に符号化されたブロックの動きベクトルのなかから、予測ベクトルの候補を選択する。以下では、符号化対象ブロックに隣接するブロックの動きベクトルのなかから選択される予測ベクトルの候補を、空間予測ベクトルと呼ぶ。
【００１８】
具体的には、動画像符号化装置は、符号化対象ブロックの左側に隣接するブロックの動きベクトルを、所定の順序に従って空間予測ベクトルmvLXAとして選択する（ステップＳ１０１）。
【００１９】
図５を参照しつつ、空間予測ベクトルの選択についての詳細を説明する。図５は、AMVPモードにおける、空間予測ベクトルの登録順序を示す図である。動画像符号化装置は、符号化対象ブロック５００について、矢印５０１に示されるように、左下に隣接するブロックA0、ブロックA0の上側に隣接するブロックA1の順に、各ブロックの動きベクトルを空間予測ベクトルとして登録するか否かを判定する。
【００２０】
動画像符号化装置は、ブロックA0が符号化済みであるか否か判定する。ブロックA0が符号化済みである場合、動画像符号化装置は、ブロックA0が符号化対象ブロック５００と同じ方向についてインター予測符号化されているか否か判定する。ブロックA0が符号化対象ブロック５００と同じ方向についてインター予測符号化されている場合、動画像符号化装置は、ブロックA0の参照ピクチャrefIdxLXA0が、符号化対象ブロック５００の参照ピクチャrefIdxLXと一致するか否か判定する。参照ピクチャrefIdxLXA0が参照ピクチャrefIdxLXと一致する場合、動画像符号化装置は、ブロックA0の動きベクトルを１番目の空間予測ベクトルmvLXAとして選択する。
【００２１】
一方、ブロックA0が符号化されていないか、参照ピクチャrefIdxLXA0が参照ピクチャrefIdxLXと一致しない場合、動画像符号化装置は、ブロックA1について同様の判定処理を行う。そして動画像符号化装置は、ブロックA1が符号化済みであり、かつ、ブロックA1が参照する参照ピクチャrefIdxLXA1が、参照ピクチャrefIdxLXと一致する場合、ブロックA1の動きベクトルを空間予測ベクトルmvLXAとして選択する。
【００２２】
参照ピクチャrefIdxLXA0及びrefIdxLXA1の何れも参照ピクチャrefIdxLXと一致せず、かつ、ブロックA0が符号化対象ブロック５００と同じ方向についてインター予測符号化されている場合、動画像符号化装置は、ブロックA0の動きベクトルを選択する。そして動画像符号化装置は、符号化対象ブロック５００が含まれる符号化対象ピクチャと参照ピクチャrefIdxLXA0間の時間に対する、符号化対象ピクチャと参照ピクチャrefIdxLX間の時間の比を、ブロックA0の動きベクトルに乗じる。これにより得られたベクトルを、動画像符号化装置は、空間予測ベクトルmvLXAとする。
【００２３】
上記の処理によっても空間予測ベクトルmvLXAが求められず、かつ、ブロックA1が符号化対象ブロック５００と同じ方向についてインター予測符号化されている場合、動画像符号化装置は、ブロックA1の動きベクトルを選択する。そして動画像符号化装置は、符号化対象ピクチャと参照ピクチャrefIdxLXA1間の時間に対する、符号化対象ピクチャと参照ピクチャrefIdxLX間の時間の比を、ブロックA1の動きベクトルに乗じる。これにより得られたベクトルを、動画像符号化装置は、空間予測ベクトルmvLXAとする。
なお、ブロックA0、A1の何れもが、符号化対象ブロック５００と同じ方向についてインター予測符号化されていなければ、空間予測ベクトルmvLXAは選択されない。
【００２４】
次に、動画像符号化装置は、符号化対象ブロックの上側に隣接するブロックの動きベクトルを、所定の順序に従って空間予測ベクトルmvLXBとして選択する（ステップＳ１０２）。
再度図５を参照すると、動画像符号化装置は、矢印５０２に示される順に、符号化対象ブロック５００の上側に隣接するブロックB0、B1、B2に対して、ブロックA0、A1に対する選択処理と同様の処理を行う。そして動画像符号化装置は、それらのブロックの動きベクトルを空間予測ベクトルmvLXBとして選択するか否かを判定する。なお、ブロックB0は、符号化対象ブロック５００の右上に隣接し、ブロックB1は、ブロックB0の左隣に隣接する。そしてブロックB2は、符号化対象ブロック５００の左上に隣接する。
【００２５】
すなわち、動画像符号化装置は、ブロックB0からB2の順で、参照ピクチャと符号化対象ブロック５００の参照ピクチャrefIdxLXが最初に一致するブロックの動きベクトルを空間予測ベクトルmvLXBとして選択する。一方、ブロックB0〜B2の参照ピクチャの何れもが、参照ピクチャrefIdxLXと一致しなければ、動画像符号化装置は、ブロックB0からB2の順で、動きベクトルが求められている最初のブロックを特定する。そして、特定されたブロックの動きベクトルに、特定されたブロックが参照する参照ピクチャと符号化対象ピクチャ間の時間に対する符号化対象ピクチャと参照ピクチャrefIdxLX間の時間の比を乗じて得られるベクトルが空間予測ベクトルmvLXBとなる。
【００２６】
なお、ブロックB0〜B2の何れもが、符号化対象ブロック５００と同じ方向についてインター予測符号化されていなければ、動画像符号化装置は、空間予測ベクトルmvLXBに空間予測ベクトルmxLXAを代入する。また、この場合において、空間予測ベクトルmxLXAが選択されていなければ、空間予測ベクトルmvLXBも選択されない。
【００２７】
動画像符号化装置は、空間予測ベクトルmxLXA、mxLXBを、予測ベクトルの候補リストmvpListLXに登録する（ステップＳ１０３）。ただし、空間予測ベクトルmxLXAと空間予測ベクトルmvLXBが等しい場合、動画像符号化装置は、空間予測ベクトルmxLXBを候補リストmvpListLXから消去する。
【００２８】
動画像符号化装置は、候補リストmvpListLXに登録されている予測ベクトルの候補が２以上か否か判定する（ステップＳ１０４）。候補リストmvpListLXに登録されている予測ベクトルの候補が２以上であれば（ステップＳ１０４−Ｙｅｓ）、動画像符号化装置は、予測ベクトルの候補リストの作成を終了する。一方、候補リストmvpListLXに登録されている空間予測ベクトルが２個未満である場合（ステップＳ１０４−Ｎｏ）、動画像符号化装置は、Temporalベクトルモード処理を実行する。
なお、動画像符号化装置は、シンタックスsliceTemporalMvpEnabledFlagにより、スライス単位でTemporalベクトルモード処理を実行しないように選択できる。
【００２９】
Temporalベクトルモード処理では、動画像符号化装置は、符号化済みのピクチャ上の所定位置のブロックColPUを選択する。そして動画像符号化装置は、そのブロックColPUの動きベクトルmvColを、予測ベクトルの候補として利用か否か判定する（ステップＳ１０５）。以下では、符号化済みの他のピクチャ上のブロックの動きベクトルのなかから選択される予測ベクトルの候補を、時間予測ベクトルと呼ぶ。
【００３０】
動画像符号化装置は、符号化対象ブロックが参照する可能性がある符号化済みピクチャの中から候補となるピクチャを選択する。そして動画像符号化装置は、選択したピクチャColPic上で、符号化対象ブロックと同位置のブロックに隣接するブロックColPUを特定する。
【００３１】
ここで、シンタックスcollocatedFromL0Flagにより、ColPUが含まれるピクチャColPicは、L0方向から選択されるか、あるいは、L1方向から選択されるかが指定される。また、シンタックスcollocatedRefIdxにより、ColPicとして選択されたピクチャが示される。
【００３２】
図６（ａ）〜図６（ｃ）を参照しつつ、符号化対象ブロックとColPUの位置関係について説明する。なお、図６（ａ）〜図６（ｃ）では、ピクチャ内の一つのCTU６００が示されている。基本的に、ColPUとして、符号化対象ブロックであるPUの右下に隣接するPUが選択される。例えば、符号化対象ブロックと右下に隣接するPUの間にCTU境界が挟まれない場合には、符号化対象ブロックの右下に隣接する画素を含む、16×16画素のグリッドの左上端の画素を含むPUがColPUとして選択される。
【００３３】
例えば、図６（ａ）に示されるように、符号化対象ブロックであるPU６１０がCTU６００内の左上の16×16画素よりも大きなブロックである場合、PU６１０の右下に隣接する画素６１１は、16×16画素のグリッド単位でも同じ位置にあるので、ColPic６０１において、PU６１０の右下に隣接するPU６１２がColPUとなる。
一方、図６（ｂ）に示されるように、符号化対象ブロックであるPU６２０が、16×16画素のブロックを４分割したうちの左上のブロックである場合、その右下に隣接する画素６２１は、16×16画素のグリッド６２２の中心近傍に位置する。そこで、ColPic６０１において、グリッド６２２の左上端の画素６２３を含むPU６２４がColPUとなる。
【００３４】
また、符号化対象ブロックと右下に隣接するPUの間にCTU境界が挟まれる場合には、符号化対象ブロックの中心の左上の画素の位置が求められ、その画素を含む、16×16画素のグリッドが特定される。そして特定されたグリッドの左上端の画素を含むColPic上のPUが、ColPUとなる。
例えば図６（ｃ）に示されるように、符号化対象ブロックであるPU６３０がCTU６００の右下に位置している場合、PU６３０とその右下の画素６３１との間にCTU境界が位置する。そこでPU６３０内の中心の画素６３２が求められ、画素６３２を含む16×16画素のグリッド６３３が特定される。そしてColPic６０１において、グリッド６３３の左上端の画素６３４を含むPU６３５がColPUとなる。
【００３５】
ここで、ColPUがイントラ予測符号化されるブロックであれば、ColPUには動きベクトルは規定されていないので、動画像符号化装置は、予測ベクトルとしてColPUの動きベクトルを利用することはできない。また、ColPUについて、L0方向の動きベクトルが存在しない場合、動画像符号化装置は、L1方向の動きベクトルを利用する。逆に、ColPUについて、L1方向の動きベクトルが存在しない場合、動画像符号化装置は、L0方向の動きベクトルを利用する。また、ColPUについて、L0方向及びL1方向の両方の動きベクトルが存在し、かつ、符号化対象ブロックの参照ピクチャが全て過去のピクチャまたは自ピクチャであれば、動画像符号化装置は、シンタックスcollocatedFromL0Flagで指定された方向の動きベクトルを用いる。一方、ColPUについて、L0方向及びL1方向の両方の動きベクトルが存在し、かつ、符号化対象ブロックの参照ピクチャに未来のピクチャが含まれていれば、動画像符号化装置は、シンタックスcollocatedFromL0Flagで指定された方向と逆方向の動きベクトルを用いる。
【００３６】
動きベクトルmvColが利用可能な場合（ステップＳ１０５−Ｙｅｓ）、動画像符号化装置は、その動きベクトルmvColを時間スケーリングして得られるベクトルを時間予測ベクトルとして候補リストmvpListLXに登録する（ステップＳ１０６）。具体的には、動画像符号化装置は、Colブロックが含まれるピクチャとColブロックが参照するピクチャ間の時間に対する、符号化対象ブロックが含まれる符号化対象ピクチャと符号化対象ブロックが参照するピクチャ間の時間の比を、動きベクトルmvColに乗じる。
【００３７】
ステップＳ１０６の後、あるいは、ステップＳ１０５で動きベクトルmvColが利用できない場合（ステップＳ１０５−Ｎｏ）、候補リストmvpListLXに登録されている予測ベクトルの候補が２以上か否か判定する（ステップＳ１０７）。候補リストmvpListLXに登録されている予測ベクトルの候補が２個未満である場合（ステップＳ１０７−Ｎｏ）、動画像符号化装置は、予測ベクトルの候補としてゼロベクトルを候補リストmvpListLXに登録する（ステップＳ１０８）。なお、ゼロベクトルは、水平方向の移動量を表す要素の値及び垂直方向の移動量を表す要素の値がともに0のベクトルである。
【００３８】
ステップＳ１０８の後、あるいは、ステップＳ１０７にて候補リストmvpListLXに登録されている予測ベクトルの候補が２以上であれば（ステップＳ１０７−Ｙｅｓ）、動画像符号化装置は、その二つの候補の中から、符号化対象ブロックの動きベクトルに対する誤差が小さい方の候補を予測ベクトルmvpLXとして選択する（ステップＳ１０９）。そして動画像符号化装置は、予測ベクトルの決定手順を終了する。
予測ベクトルmvpLXとして選択されたベクトルは、候補リストmvpListLXにおけるその選択されたベクトルの位置を表すシンタックスmvpLxFlagで表される。そのシンタックスmvpLxFlag及び符号化対象ブロックの動きベクトルと予測ベクトル間の差分ベクトルがエントロピー符号化される。
【００３９】
動画像符号化装置は、符号化対象ピクチャがPピクチャであれば、L0方向の動きベクトルについてのみ、上記の処理を実行する。一方、符号化対象ピクチャがBピクチャであれば、動画像符号化装置は、L0方向とL1方向の両方の動きベクトルについて上記の処理を実行する。
【００４０】
次に、Mergeモードについて説明する。
【００４１】
図７は、Mergeモードでの予測ベクトルの候補リストmergeCandListの作成手順を示す動作フローチャートである。Mergeモードでは、動画像符号化装置は、シンタックスMaxNumMergeCand（最大５）で示される数の利用可能なMergeベクトル候補の中から一つのベクトルをMergeベクトルmvLXNとして選択し、そのベクトルを、候補リストmergeCandListの位置を表すシンタックスmergeIdxで表す。
【００４２】
動画像符号化装置は、符号化対象ブロックの左側または上側に隣接するブロックの動きベクトルを、所定の順序に従って空間予測ベクトル候補として選択する（ステップＳ２０１）。
【００４３】
図８を参照しつつ、空間予測ベクトルの選択についての詳細を説明する。図８は、Mergeモードにおける、空間予測ベクトルの登録順序を示す図である。動画像符号化装置は、符号化対象ブロックであるPU８００について、矢印８０１〜８０４に示されるように、ブロックA1→B1→B0→A0→B2の順に、各ブロックの動きベクトルを空間予測ベクトル候補として登録するか否かを判定する。
【００４４】
また、複数の空間予測ベクトル候補が同値であれば、それら複数の空間予測ベクトル候補のうちの一つ以外は削除される。 例えば、あるブロックが分割されており、そのブロックが、他のブロックのベクトルを候補とする場合、分割する必要がないことから削除される。ブロックB2については、すでに四つの空間予測ベクトル候補が選択されていたらブロックB2の動きベクトルを、空間予測ベクトル候補から除外する。それぞれの空間予測ベクトル候補をmvLXA0, mvLXA1,mvLXB0, mvLXB1, mvLXB2とする。
【００４５】
次に、動画像符号化装置は、Temporalベクトルモード処理を実行して、時間予測ベクトル候補mvLXColを選択する（ステップＳ２０２）。なお、MergeモードにおけるTemporalベクトルモード処理は、AMVPモードにおけるTemporalベクトルモード処理と同一であるので、Temporalベクトルモード処理の詳細な説明は省略する。
【００４６】
動画像符号化装置は、選択された予測ベクトルの候補を候補リストmergeCandListに登録する（ステップＳ２０３）。そして動画像符号化装置は、候補リストmergeCandListに登録されている予測ベクトルの候補の数numOrigMergeCandを算出する（ステップＳ２０４）。
【００４７】
次に、動画像符号化装置は、符号化対象ブロックが含まれる符号化対象ピクチャがBピクチャであり、かつ、numOrigMergeCandが2以上かつMaxNumMergeCand未満か否か判定する（ステップＳ２０５）。ステップＳ２０５の判定条件が満たされる場合、動画像符号化装置は、候補リストmergeCandListに登録されている予測ベクトルの候補を組み合わせて、結合両予測(combined bi-predictive)ベクトルを導出し、予測ベクトルの候補として追加する（ステップＳ２０６）。動画像符号化装置は、numOrigMergeCand * (numOrigMergeCand - 1)回、または予測ベクトルの候補数がMaxNumMergeCandに達するまでステップＳ２０６の処理を繰り返し実行する。算出されたベクトル候補をmvLXcombCandと表記する。
【００４８】
図９は、MaxNumMergeCandが4のときのL0方向の予測ベクトル候補及びL1方向の予測ベクトル候補と結合両予測ベクトル候補mvLXcombCandの関係を表すテーブルを示す。テーブル９００において、l0CandIdxは、候補リストmergeCandListにおけるL0方向の予測ベクトル候補の登録順を示し、l1CandIdxは、候補リストmergeCandListにおけるL1方向の予測ベクトル候補の登録順を示す。そしてcombIdxは、L0方向の予測ベクトル候補とL1方向の予測ベクトル候補の組み合わせにより導出されるmvLXcombCandを示す。
【００４９】
ステップＳ２０６の後、あるいは、ステップＳ２０５の判定条件が満たされない場合、動画像符号化装置は、予測ベクトルの候補数がMaxNumMergeCand未満か否か判定する（ステップＳ２０７）。予測ベクトルの候補数numOrigMergeCandがMaxNumMergeCand未満であれば（ステップＳ２０７−Ｙｅｓ）、動画像符号化装置は、予測ベクトルの候補数がMaxNumMergeCandに達するまで、予測ベクトルの候補としてゼロベクトルを候補リストmergeCandListに登録する（ステップＳ２０８）。
ステップＳ２０８の後、あるいは、ステップＳ２０７で予測ベクトルの候補数numOrigMergeCandがMaxNumMergeCand以上である場合（ステップＳ２０７−Ｎｏ）、動画像符号化装置は、予測ベクトルの候補のなかから符号化対象ブロックの動きベクトルとの差が最小となる候補をMergeベクトルmvLXNとして選択する（ステップＳ２０９）。その後、動画像符号化装置は、候補リストmergeCandListの作成を終了する。
【００５０】
ここで、イントラリフレッシュ方式が採用される場合においてAMVPモードまたはMergeモードを適用することを考える。
図１０に、HEVCのイントラリフレッシュ構造を示す。図１０では、下側に符号化対象ピクチャ１０００が示され、上側に一つ前の符号化済みピクチャ１０１０が示されている。この例では、各ピクチャの符号化ブロックCTU１００１は、64x64画素のブロックである。動画像符号化装置は、左側から順に一つずつ、CTU１００１を符号化する（ラスタスキャン順）。各CTU１００１は、動きベクトル生成単位であるPU１００２単位で分割されている。符号化済みのピクチャ１０１０と符号化対象ピクチャ１０００とでは、リフレッシュ済み領域１００５と未リフレッシュ領域１００６の境界であるリフレッシュ境界１００３の位置が異なる。リフレッシュ境界１００３は、連続する二つのピクチャ間で、リフレッシュ方向（この例では、左から右へ向かう方向）にリフレッシュ更新サイズ１００４だけシフトされる。ただし、動画像符号化装置は、ピクチャごとにリフレッシュ境界の位置を更新する必要はなく、あるピクチャ間隔でリフレッシュ境界の位置をシフトしてもよい。ここでは簡単化のため、リフレッシュ境界の位置は、ピクチャごとに更新されるとする。
【００５１】
図１１は、符号化映像ストリームの伝送のエラーなどにより生じた、ピクチャを正常に復号できなくなるエラーがリフレッシュ済み領域に伝搬する例を説明する図である。図１１では、下側に符号化対象ピクチャ１１００が示され、上側に一つ前の符号化済みピクチャ１１１０が示されている。符号化済みピクチャ１１１０に含まれる各CTUのうち、CTU１１１１はエラーが生じ、正常に復号できないエラーブロックであるとする。CTU１１１１は、リフレッシュ境界１１１２よりも右側に存在する、すなわち、未リフレッシュ領域に含まれている。この場合、エラーブロックよりも符号化順で後の同じスライスに含まれる全てのCTU１１１３に、エラーブロックのエラーが伝搬するため、リフレッシュ境界の巡回がもう１周しなければ動画像データは正しく復号されない。
【００５２】
符号化対象ピクチャ１１００について、詳しく説明する。一つ前の符号化済みピクチャ１１１０に対してリフレッシュ済み領域が更新される（すなわち、拡張される）区間１１１４にあるPUを参照するＰＵは、Temporalベクトルモードによって、予測ベクトルとして、符号化済みピクチャ１１１０の未リフレッシュ領域内のPUの動きベクトルを選択する可能性がある。すなわち、Temporalベクトルモードで選択された予測ベクトルが、符号化対象ピクチャ１１００のリフレッシュ済み領域１１０１にエラーを伝搬させてしまうおそれがある。
【００５３】
そこで、本明細書は、イントラリフレッシュ方式が採用される場合において、動きベクトルの予測ベクトルによりリフレッシュ済み領域内にエラーが伝搬することを抑制できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００５４】
一つの実施形態によれば、イントラリフレッシュ方式により動画像に含まれる複数のピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、複数のピクチャのうちの符号化済みの第１のピクチャにおける、イントラリフレッシュが適用されるスライスが通過したリフレッシュ済み領域とイントラリフレッシュが適用されるスライスが通過していない未リフレッシュ領域間の境界の位置と、リフレッシュ周期に対するリフレッシュ済み領域と未リフレッシュ領域間の境界の移動方向におけるピクチャのサイズの比であるリフレッシュ更新サイズに従って、複数のピクチャのうちの第１のピクチャに後続する符号化対象の第２のピクチャにおけるその境界の位置を決定するリフレッシュ境界決定部と、第１のピクチャのリフレッシュ済み領域と未リフレッシュ領域間の境界の位置と第２のピクチャのその境界の位置に基づいて、第２のピクチャに含まれる、動き補償の単位である複数の第１のサブブロックのうち、リフレッシュ済み領域に含まれ、かつ、第１のサブブロックを符号化済みの他のピクチャを参照するインター予測符号化モードで符号化する場合にその第１のサブブロックの動きベクトルの予測ベクトルとして第１のピクチャの未リフレッシュ領域に含まれる第１のサブブロックの動きベクトルを選択する可能性の有る第１のサブブロックを第１の制限対象サブブロックとして特定する制限ブロック特定部と、第２のピクチャを分割した、インター予測符号化モードまたは符号化対象のピクチャのみを参照するイントラ予測符号化モードの適用単位である複数の第２のサブブロックのうち、第１の制限対象サブブロックを含む第２のサブブロックである第２の制限対象サブブロックを、インター予測符号化モードで第１の制限対象サブブロックについて上記の予測ベクトルを利用せずに符号化するか、またはイントラ予測符号化モードで符号化することにより符号化データを生成する予測符号化部と、符号化データをエントロピー符号化するエントロピー符号化部とを有する。
【００５５】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００５６】
本明細書に開示された動画像符号化装置は、イントラリフレッシュ方式が採用される場合において、動きベクトルの予測ベクトルによりリフレッシュ済み領域内にエラーが伝搬することを抑制できる。
【図面の簡単な説明】
【００５７】
【図１】（ａ）は、垂直方向にリフレッシュ済み領域が移動する例を示す図であり、（ｂ）は、水平方向にリフレッシュ済み領域が移動する例を示す図である。
【図２】イントラリフレッシュ方式において符号化対象ピクチャ内の各領域と、符号化済みピクチャ内の参照可能な領域との関係を示す図である。
【図３】HEVCによる、ピクチャの分割の一例を示す図である。
【図４】AMVPモードでの予測ベクトルの決定手順を示す動作フローチャートである。
【図５】AMVPモードにおける、空間予測ベクトルの登録順序を示す図である。
【図６】（ａ）〜（ｃ）は、それぞれ、符号化対象ブロックとColPUの位置関係の一例を示す図である。
【図７】Mergeモードでの予測ベクトルの候補リストmergeCandListの作成手順を示す動作フローチャートである。
【図８】Mergeモードにおける、空間予測ベクトルの登録順序を示す図である。
【図９】L0方向の予測ベクトル候補及びL1方向の予測ベクトル候補と結合両予測ベクトル候補mvLXcombCandの関係を表すテーブルを示す図である。
【図１０】HEVCのイントラリフレッシュ構造を示す図である。
【図１１】エラーがリフレッシュ済み領域に伝搬する例を説明する図である。
【図１２】Temporalベクトルモードの適用が禁止されるPUの一例を示す図である。
【図１３】一つの実施形態による動画像符号化装置の概略構成図である。
【図１４】リフレッシュ境界の位置の決定方法の説明図である。
【図１５】CTUの水平方向のインデックスの割り当て方法を示す図である。
【図１６】インター予測制限対象ブロックの一例を示す図である。
【図１７】インター予測制限対象CUの一例を示す図である。
【図１８】（ａ）〜（ｄ）は、それぞれ、CUのサイズごとの各CUのインデックスを示す図である。
【図１９】（ａ）〜（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、リフレッシュ境界がCTUの右端に位置する場合のインター予測制限対象CUを示すマップである。
【図２０】（ａ）〜（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、リフレッシュ境界がCTU内に位置する場合のインター予測制限対象CUを示すマップである。
【図２１】（ａ）〜（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、リフレッシュ境界がCTU内に位置する場合に、選択できないCUを示すマップである。
【図２２】（ａ）〜（ｈ）は、それぞれ、一つのCUに含まれる各PUに割り当てられる、インデックスを示す図である。
【図２３】（ａ）〜（ｈ）は、それぞれ、PU分割モードPartModeが2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nである場合の予測制限対象PUを示すマップの一例である。
【図２４】（ａ）〜（ｈ）は、それぞれ、PU分割モードPartModeが2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nである場合の予測制限対象PUを示すマップの他の一例である。
【図２５】AMVPモードにおける、予測制限対象PUについての予測ベクトルの決定手順の動作フローチャートである。
【図２６】Mergeモードにおける、予測制限対象PUについての予測ベクトルの決定手順の動作フローチャートである。
【図２７】符号化モード決定の手順の説明図である。
【図２８】動画像符号化処理の動作フローチャートである。
【図２９】CTUの垂直方向のインデックスの割り当て方法を示す図である。
【図３０】変形例による、インター予測制限対象ブロックの一例を示す図である。
【図３１】実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００５８】
以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
【００５９】
上述したように、イントラリフレッシュ方式が採用される場合において、動画像符号化装置がAMVP方式またはMerge方式により動きベクトルを符号化することを想定する。この場合、Temporalベクトルモードにより選択された、未リフレッシュ領域内のPUの動きベクトルが、リフレッシュ済み領域内にエラーを伝搬させてしまうことがある。
【００６０】
そこで、図１２に示されるように、符号化対象ピクチャ１２００のリフレッシュ境界１２０１と一つ前の符号化済みピクチャ１２１０のリフレッシュ境界１２１１の間のリフレッシュ済み領域が更新される区間１２２１内のPUをTemporalベクトルモードにおいて参照するPU１２０２が特定される。そしてそのPU１２０２に対して、動画像符号化装置は、Temporalベクトルモードの適用を禁止する。これにより、一番下のCTUラインに限っては次のピクチャでリフレッシュ更新がなされれば、リフレッシュ済み領域内へのエラーの伝搬が防止される。そのため、動画像データを正常に再生するために、動画像符号化装置は、リフレッシュ境界の巡回をもう１周待たなくてよい。なお、本実施形態では、リフレッシュ境界とPUの位置関係によってTemporalベクトルモードの適用が禁止されるPUが特定される。そのため、動画像符号化装置からTemporalベクトルモードの適用が禁止されるPUを特定する情報が通知されなくても、動画像復号装置は、Temporalベクトルモードの適用が禁止されるPUを特定できる。
【００６１】
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
【００６２】
本実施形態では、動画像符号化装置は、動画像符号化方式としてHEVCを利用し、かつ、イントラリフレッシュ方式により動画像データを符号化する。また、簡単化のために、リフレッシュ境界は水平方向に移動するものとする。ただし、リフレッシュ境界は、垂直方向に沿って移動するものでもよい。また動画像符号化装置は、ピクチャごとに、リフレッシュ境界を移動させなくてもよく、一定周期でピクチャ全体にリフレッシュ境界を巡回させればよい。なお、便宜上、リフレッシュ境界が移動する方向、すなわち、イントラリフレッシュが適用されるスライスが移動する方向をリフレッシュ方向と呼ぶ。
【００６３】
図１３は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、リフレッシュ境界決定部１０と、制限ブロック特定部１１と、ベクトルモード決定部１５と、符号化モード決定部１６と、予測符号化部１７と、エントロピー符号化部１８とを有する。また、制限ブロック特定部１１は、インター予測制限対象CTU決定部１２と、インター予測制限対象CU決定部１３と、インター予測制限対象PU決定部１４とを有する。
【００６４】
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００６５】
符号化対象となるピクチャは、例えば、動画像符号化装置１全体を制御する制御部（図示せず）により所定数の画素を持つ複数のCTUに分割される。そして動画像符号化装置１には、各CTUが、例えばラスタスキャン順で入力される。そして動画像符号化装置１は、CTUごとに符号化する。以下、動画像符号化装置１が有する各部について説明する。
【００６６】
リフレッシュ境界決定部１０は、リフレッシュ周期及び前回のリフレッシュ境界の更新時におけるリフレッシュ境界の位置に基づいて、符号化対象ピクチャにおけるリフレッシュ境界の位置を決定する。
【００６７】
リフレッシュ境界は、リフレッシュ済み領域が、所定のリフレッシュ周期でピクチャ全体を占めるように巡回される。これにより、イントラリフレッシュが適用されるスライスが、リフレッシュ方向において、ピクチャの一方の端部からピクチャの他方の端部まで一巡したときに、リフレッシュ済み領域がピクチャ全体を占めることができる。そのため、動画像復号装置は、その時点でピクチャを正しく復号できる。
【００６８】
リフレッシュ周期Tは、PicWidth/Sで表される。ここで、Sは、イントラリフレッシュが適用されるスライスのリフレッシュ方向におけるサイズであるリフレッシュ更新サイズである。また、PicWidthは、ピクチャのリフレッシュ方向におけるサイズ、すなわち、この例ではピクチャの水平方向のサイズである。例えば、HDTVである2Kx1K（1920x1080）画素のピクチャに対するリフレッシュ更新サイズがSであるとする。この場合、UHDTVである4Kx2K（3840×2160）画素のピクチャでは、水平方向及び垂直方向の解像度がHDTVのピクチャの解像度の２倍となる。そのため、UHDTVにおけるリフレッシュ周期TをHDTVにおけるリフレッシュ周期と同じにするには、リフレッシュ更新サイズは2*Sに設定される。ただし、ピクチャの解像度によりリフレッシュ周期は制限されない。
【００６９】
一般に、リフレッシュ周期Tは予め設定され、制御部（図示せず）がピクチャのサイズ及びリフレッシュ周期Tに基づいてリフレッシュ更新サイズSを算出する。そしてリフレッシュ更新サイズSは、制御部からリフレッシュ境界決定部１０に通知される。リフレッシュ更新サイズSは、イントラ予測の選択単位となるサブブロック、すなわちCUの取り得る最小サイズの整数倍となることが好ましい。HEVCでは、CTUのサイズ、選択可能なCUサイズの候補は予め設定可能である。ここでは、説明のために、CTUのサイズを64x64画素とし、CUサイズの候補を64x64画素、・・・、8x8画素とする。
【００７０】
図１４を参照しつつ、リフレッシュ境界の位置の決定方法を説明する。図１４において、横軸は時間を表す。時刻t0のピクチャP0では、イントラリフレッシュが適用されるスライス１４１０（水平方向の幅がリフレッシュ更新サイズSに相当）は、ピクチャの左端に位置し、時刻t4のピクチャP4でピクチャの右端まで移動する。また各ピクチャの水平方向の画素数をPicWidthとする。
【００７１】
リフレッシュ境界決定部１０は、符号化対象ピクチャの一つ前のピクチャのリフレッシュ境界位置とリフレッシュ更新サイズSにより、リフレッシュ済み領域が１ピクチャ毎にリフレッシュ更新サイズSだけ右方向へ拡張されるようにリフレッシュ境界rの位置を決定する。この例では、リフレッシュ境界rは、水平方向の画素の座標で表される。各ピクチャにおける水平方向の座標系を、左端画素が0となるように設定すると、イントラリフレッシュの先頭ピクチャ、すなわちピクチャP0では、リフレッシュ境界rは、リフレッシュ済み領域の右端の画素位置(S-1)に設定される。同様に、ピクチャPtでは、リフレッシュ境界rは、リフレッシュ済み領域の右端の画素位置{S*(t+1)-1}に設定される。以下では、説明の便宜のため、ピクチャPtのリフレッシュ境界位置をr(t)と表す。
【００７２】
制限ブロック特定部１１は、符号化対象ピクチャのリフレッシュ済み領域に含まれ、かつ、PUをインター予測符号化する場合に用いられる動きベクトルの時間予測ベクトルとして符号化済みピクチャの未リフレッシュ領域に含まれるPUの動きベクトルを選択する可能性の有るPUを特定する。そのために、制限ブロック特定部１１は、インター予測制限対象CTU決定部１２と、インター予測制限対象CU決定部１３と、インター予測制限対象PU決定部１４とを有する。
【００７３】
インター予測制限対象CTU決定部１２は、符号化対象ピクチャと一つ前の符号化済みピクチャのリフレッシュ境界位置に基づいて、Temporalベクトルモードの適用が禁止されるPUを含むCTUを決定する。なお、Temporalベクトルモードの適用が禁止されるPUを含むCTUを、以下では、インター予測制限対象ブロックと呼ぶ。
【００７４】
インター予測制限対象ブロックの特定方法の理解を容易にするために、図１５を参照しつつ、各CTUに割り当てられる、CTUを特定するためのインデックスについて説明する。図１５において、ピクチャ１５００は複数のCTU１５０１に分割される。ここでは、CTUのサイズCTUSIZEは64画素とする。上述したように、ピクチャに含まれる複数のCTUは、ラスタスキャン順に符号化される。そこで、各CTUを特定するためのインデックスCTUIDXは、符号化順に設定される。また、各CTU１５０１内に示されている、各CTUの水平方向のインデックスCTUHIDXは、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、左端のCTUから順に割り当てられる。すなわち、左端のCTUについてのCTUHIDXは0であり、左端から(N+1)番目のCTUについてのCTUHIDXはNとなる。そして右端のCTUについてのCTUHIDXは(PicWidth/CTUSIZE)-1となる。同様に、垂直方向のCTUごとのインデックスCTUVIDXが、0,1,...,{(PicHeight/CTUSIZE)-1}に設定される。
【００７５】
ここで、イントラリフレッシュ方式で符号化された動画像データについて、伝送エラーなど、ピクチャの復号が正常にできなくなるエラーは、CTU単位で発生する。なお、以下の説明において、ピクチャの復号が正常にできなくなるエラーを、単にエラーと呼ぶ。
符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域を含むCTUでエラーが起きたと仮定する。リフレッシュ境界がCTU内にあり、そのCTUの未リフレッシュ領域側でエラーが発生したとき、リフレッシュ境界を含むCTU全体がエラーとなるため、リフレッシュ済み領域にエラーが伝搬する。よって、この場合はリフレッシュ境界がもう１周巡回しなければ、動画像復号装置は、ピクチャを正しく復号できない。そのため、リフレッシュ境界を含むCTUの次のCTUでエラーが起きた場合を考えればよい。さらに、図１（ｂ）に示されるように、リフレッシュ境界が水平方向に移動する場合、下端のCTUライン以外のCTUラインに含まれるCTUでエラーが発生した場合、下側に隣接するCTUラインのリフレッシュ済み領域にもエラーが伝搬する。そのため、やはりリフレッシュ境界がもう１周巡回しなければ、動画像復号装置は、ピクチャを正しく復号できない。よって下端のCTUラインでエラーが起きた場合のみを考えればよい。
【００７６】
ピクチャ間のエラー伝搬を防止するためには、動画像符号化装置は、前のピクチャの下端のCTUラインでリフレッシュ境界を含むCTUに隣接する未リフレッシュ領域のCTU以降のCTUの情報を、符号化対象ピクチャのリフレッシュ済み領域に含まれるCUまたはPUが参照しないように、そのCU及びPUの参照範囲を制限する。
【００７７】
そこで、インター予測制限対象CTU決定部１２は、符号化対象ピクチャにおける、下端のCTUラインに含まれ、かつ、一つ前の符号化済みピクチャのリフレッシュ境界の位置を含むか、リフレッシュ境界の移動先側の端部（この例では、右端）が一つ前の符号化済みピクチャにおけるリフレッシュ境界の位置に接するCTUから、符号化対象ピクチャにおけるリフレッシュ境界を含むか、リフレッシュ境界の移動先側の端部がリフレッシュ境界に接するCTUまでの各CTUをインター予測制限対象ブロックに決定する。
すなわち、インター予測制限対象CTU決定部１２は、垂直方向のインデックスCTUVIDXが{(PicHeight/CTUSIZE)-1}であり、かつ、水平方向のインデックスCTUHIDXがr(t-1)/CTUSIZEからr(t)/CTUSIZE間に含まれるCTUを、インター予測制限対象ブロックに決定する。
【００７８】
図１６は、インター予測制限対象ブロックの一例を示す図である。符号化対象ピクチャ１６００の一つ前の符号化済みピクチャ１６１０において、リフレッシュ境界r(t-1)が最下端のCTUラインのCTU１６２１とCTU１６２２の間に位置しているとする。また、符号化対象ピクチャ１６００において、リフレッシュ境界r(t)が最下端のCTUラインのCTU１６２３内に位置しているとする。この場合、符号化対象ピクチャ１６００では、CTU１６２１〜１６２３がインター予測制限対象ブロックとなる。
【００７９】
インター予測制限対象CU決定部１３は、インター予測制限対象ブロックにおいて、符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域内のPUをTemporalベクトルモードにおいて参照するPUを含むCUについて、Temporalベクトルモードの適用を制限する。以下では、説明の便宜上、Temporalベクトルモードの適用が制限されるCU、すなわち、Temporalベクトルモードの適用が禁止されるPUを含むCUを、インター予測制限対象CUと呼ぶ。
【００８０】
図１７は、インター予測制限対象CUの一例を示す図である。符号化対象ピクチャ１７００の一つ前の符号化済みピクチャ１７１０において、リフレッシュ境界r(t-1)が最下端のCTUラインのCTU１７２１とCTU１７２２の間に位置しているとする。また、符号化対象ピクチャ１７００において、リフレッシュ境界r(t)が最下端のCTUラインのCTU１７２３内に位置しているとする。この場合、符号化対象ピクチャ１７００では、ハッチングで示された各CU１７３０がインター予測制限対象CUとなる。
【００８１】
図３に示されるように、HEVCでは、選択可能なCUのサイズは、最大64x64画素から四分木構造で32x32画素、16x16画素、8x8画素である。これはCUの階層構造を表しており、符号化モード決定部１６にてCUサイズを決定するために、CUの階層構造ごとにインター予測制限対象CUが決定される。
【００８２】
図１８（ａ）〜図１８（ｄ）を参照しつつ、CUの階層構造ごとに、一つのCTU１８００に含まれる各CUに割り当てられる、CUを識別するためのCUインデックスCUIDXについて説明する。図１８（ａ）〜図１８（ｄ）において、各ブロック１８０１がそれぞれ一つのCUを表し、ブロック内に示された数値がCUインデックスCUIDXを表す。また、CTU１８００の上側に示された数値は、水平方向のCUインデックスCUHIDXを表す。図１８（ａ）は、CUサイズが64x64画素である場合のインデックスCUIDXを表す。同様に、図１８（ｂ）〜図１８（ｄ）は、それぞれ、CUサイズが32x32画素、16x16画素、8x8画素である場合のCUインデックスCUIDXを表す。
【００８３】
CUインデックスCUIDXは、符号化順に従って割り当てられる。また、水平方向のCUのインデックスであるCU水平インデックスCUHIDXは、本実施形態では、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、水平方向に左から右へ順にCUごとに割り当てられる。
【００８４】
便宜上、インター予測制限対象ブロックであるCTUについて、そのCTUの左端を基準とした座標を定義する。そのときのリフレッシュ境界位置をr'とする。そしてr'に基づいて、インター予測制限対象CUの決定の詳細について説明する。
【００８５】
（１）CTUHIDX = r(t-1)/CTUSIZEであるインター予測制限対象ブロックについて
一つ前の符号化済みピクチャのリフレッシュ境界r(t-1)を含むCTUとその右に隣接するCTUの境界をr'={(r'(t-1)/CTUSIZE)*CTUSIZE-1}とする。この場合、インター予測制限対象CU決定部１３は、そのCTU境界に接するCUHIDX=r'/CUSIZEとなるCUを、インター予測制限対象CUとする。ただし、図６（ｃ）に示されるように、符号化対象のPUとその右下のPUとの間にCTU境界が位置する符号化対象のPUに対応するCU、すなわちCUIDX={(CTUSIZE/CUSIZE)*(CTUSIZE/CUSIZE)-1}のCUでは、ColPUの位置が修正される。そのため、インター予測制限対象CU決定部１３は、そのCUを、例外的にインター予測制限対象CUとしなくてもよい。
【００８６】
図１９（ａ）〜図１９（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、リフレッシュ境界r'がCTU１９００の右端に位置する場合のインター予測制限対象CUを示すマップである。各ブロック１９０１は、それぞれ、一つのCUを表す。そしてCU内に示された'0'〜'2'のうち、'0'は、インター予測制限対象CUでないことを表す。また'1'は、インター予測制限対象CUであることを表す。そして'2'は、インター予測制限対象CUのうちで例外的にTemporalベクトルモードが制限されないCUであることを表す。図１９（ａ）〜図１９（ｄ）に示されるように、インター予測制限対象ブロックの右端のCUがインター予測制限対象CUとなる。ただし、インター予測制限対象ブロックの右端かつ下端に位置するCUは、例外として扱われる。
なお、設定の簡略化のため、インター予測制限対象CU決定部１３は、インター予測制限対象ブロックに含まれるすべてのCUをインター予測制限対象CUとしてもよい。
【００８７】
（２）CTUHIDX=r(t)/CTUSIZEであるインター予測制限対象ブロックについて
この場合、インター予測制限対象CU決定部１３は、符号化対象ピクチャの一つ前のピクチャのリフレッシュ済み領域に含まれ、かつ、リフレッシュ境界r'(t)に接するCU、またはリフレッシュ境界r(t)を含むCU、すなわちCUHIDX=r'(t)/CUSIZEとなるCUを、インター予測制限対象CUとする。ただし、この場合も、インター予測制限対象CU決定部１３は、符号化対象のPUとその右下のPUとの間にCTU境界が位置する符号化対象のPUに対応するCU、すなわちCUIDX={(CTUSIZE/CUSIZE)*(CTUSIZE/CUSIZE)-1}のCUを、例外的にインター予測制限対象CUとしなくてもよい。
【００８８】
図２０（ａ）〜図２０（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、リフレッシュ境界r'がCTU２０００内に位置する場合のインター予測制限対象CUを示すマップである。各ブロック２００１は、それぞれ、一つのCUを表す。そしてCU内に示された'0'〜'2'のうち、'0'は、インター予測制限対象CUでないことを表す。また'1'は、インター予測制限対象CUであることを表す。そして'2'は、インター予測制限対象CUのうちで例外的にTemporalベクトルモードが制限されないCUであることを表す。図２０（ａ）〜図２０（ｃ）に示されるように、CU内にリフレッシュ境界r'が含まれる場合には、そのCUがインター予測制限対象CUとなる。また、図２０（ｄ）に示されるように、隣接する二つのCU間にリフレッシュ境界r'が位置する場合、リフレッシュ境界r'の左側に隣接するCU、すなわち、右端がリフレッシュ境界r'となるCUがインター予測制限対象CUとなる。ただし、インター予測制限対象ブロックの右端かつ下端に位置するCUは、例外として扱われる。
なお、設定の簡略化のため、インター予測制限対象CU決定部１３は、インター予測制限対象ブロックに含まれるすべてのCUをインター予測制限対象CUとしてもよい。
【００８９】
（３）（１）及び（２）以外のインター予測制限対象ブロックについて
インター予測制限対象CU決定部１３は、インター予測制限対象ブロックに含まれるすべてのCUを、インター予測制限対象CUとする。すなわち、インター予測制限対象CUでないCUを'0'、インター予測制限対象CUを'1'とするCU制限インデックスを設定すると、インター予測制限対象ブロックに含まれる全てのCUのインデックスが'1'となる。
【００９０】
なお、インター予測制限対象CU決定部１３は、選択可能なCUのサイズを制限してもよい。例えば、インター予測制限対象CU決定部１３は、CU制限インデックスとして、無効を示す値を規定することで、CTU内で選択されるCUの分割を制限できる。上述したように、CUは符号化モードを決定する単位であり、動画像符号化装置１は、CUごとに、符号化モードとして、イントラ予測符号化モードとインター予測符号化モードの何れかを選択できる。詳細な説明は後述するが、符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域内のPUを、Temporalベクトルモードで参照するPUが含まれるCUがイントラ予測符号化される可能性がある。イントラ予測符号化モードは一般的にインター予測符号化モードよりも圧縮効率が低いため、イントラ予測符号化モードが適用されるCUのサイズは、選択可能なCUサイズのうちの最小サイズとすることが好ましい。例えば、CUのサイズが無効であることを示すCU制限インデックスの値を'3'とする。この場合、図２０（ａ）〜図２０（ｄ）に示される例では、CUの最小サイズCUSIZE=8において、Temporalベクトルモードの適用が制限されるCU（すなわち、CU制限インデックスが非0であるCU）が選択されるようにする。そのため、インター予測制限対象CU決定部１３は、CUサイズが8より大きい場合、CU制限インデックスが非0である最小サイズのCUと同一位置を含むCUのCU制限インデックスの値を'3'にする。
【００９１】
図２１（ａ）〜図２１（ｄ）は、それぞれ、サイズが64x64画素、32x32画素、16x16画素、8x8画素のCUについて、リフレッシュ境界r'がCTU２１００内に位置する場合に、選択できないCUを示すマップである。各ブロック２１０１は、それぞれ、一つのCUを表す。そしてCU内に示された数値は、CU制限インデックスの値を表す。図２１（ａ）〜図２１（ｃ）に示されるように、Temporalベクトルモードの適用が制限される、最小サイズのインター予測制限対象CU（図２１（ｄ）を参照）が含まれる、最小サイズよりも大きいサイズのCUは選択不能、すなわち、無効とされる。
なお、さらに簡略化する場合、インター予測制限対象CU決定部１３は、最小サイズ以外のCUを全て無効としてもよい。
【００９２】
インター予測制限対象PU決定部１４は、インター予測制限対象CUにおいて符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域内のPUをTemporalベクトルモードにおいて参照するPUについて、Temporalベクトルモードの適用を禁止する。以下では、説明の便宜上、Temporalベクトルモードの適用が禁止されるPUをインター予測制限対象PUと呼ぶ。
【００９３】
図３に示されるように、HEVCでは、選択可能なCUのサイズは、最大64x64画素から四分木構造で32x32画素、16x16画素、8x8画素である。それぞれのサイズのCUは、図３に示したPU分割モードPartMode =2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nに従って、複数のPUに分割される。すなわち、PUも、CUについての階層構造となっている。そこで、CUの階層構造ごとにインター予測制限対象PUが決定される。
【００９４】
図２２（ａ）〜図２２（ｈ）を参照しつつ、一つのCU２２００に含まれる各PUに割り当てられる、PUを識別するためのPUインデックスPUIDXについて説明する。図２２（ａ）〜図２２（ｈ）は、それぞれ、PU分割モードPartModeが2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nである場合のインデックスPUIDXを表す。図２２（ａ）〜図２２（ｈ）において、各ブロック２２０１がそれぞれ一つのPUを表し、ブロック内に示された数値がPUインデックスPUIDXを表す。また、CU２２００の上側に示された数値は、水平方向のPUインデックスPUHIDXを表す。
【００９５】
インデックスPUIDXは、PUの符号化順に従って割り当てられる。また、水平方向のPUインデックスPUHIDXは、リフレッシュ境界がピクチャ左端から右端へ移動すると仮定しているため、水平方向に左から右へPUごとに順に割り当てられる。
【００９６】
インター予測制限対象PU決定部１４は、インター予測制限対象CUを示す、各CUの制限インデックスのマップであるCU制限マップを参照し、CU制限インデックスが'１'もしくは'２'のCUを着目するCUとする。そしてインター予測制限対象PU決定部１４は、着目するCUに含まれる各PUについて、符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域内のPUをTemporalベクトルモードで参照するか否かを判定する。
【００９７】
具体的には、インター予測制限対象PU決定部１４は、CTUHIDX = r(t-1)/CTUSIZEまたはr(t)/CTUSIZEとなるCTUに含まれ、かつ、制限インデックスが'1'のCUに含まれるPUのうち、PUHIDX=r'/PUHSIZEであるPUをインター予測制限対象PUに設定する。ここで、PUHSIZEは、PUの水平方向のサイズを表す。
【００９８】
例えば、図２２（ａ）〜図２２（ｈ）に示されるように、リフレッシュ境界r'がCTU内に設定されているとする（すなわち、CTUHIDX = r(t)/CTUSIZE）。また、CUSIZE=64、すなわち、CTUに含まれるCUが一つであるとする。この場合、PU分割モードPartModeが2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nである場合の予測制限対象PUを示すマップが図２３（ａ）〜図２３（ｈ）に示される。図２３（ａ）〜図２３（ｈ）において、各ブロック２３０１は、それぞれ、一つのPUを表す。そしてPU内に示された数値は、そのPUについて設定されたPU制限フラグの値である。PU制限フラグの値'0'は、対応するPUがインター予測制限対象PUでないことを表す。一方、PU制限フラグの値'1'は、対応するPUがインター予測制限対象PUであることを表す。図２３（ａ）〜図２３（ｈ）に示されるように、リフレッシュ境界r'と重なるPUまたはリフレッシュ境界r'の左側に隣接するPUがインター予測制限対象PUに設定される。
【００９９】
また、インター予測制限対象PU決定部１４は、CU制限インデックスが'2'であるCUに含まれるPUのうち、PUとその右下のPUとの間にCTU境界が位置するPUについては、例外として、インター予測制限対象PUから除外してもよい（すなわち、そのPUのPU制限フラグの値は'0'に設定される）。PUとその右下のPUとの間にCTU境界が位置するPUについては、ColPUがそのPUと重なるように設定され、Temporalベクトルモードで選択される予測ベクトルの候補が未リフレッシュ領域を参照しないためである。
この場合、PU分割モードPartModeが2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nである場合の予測制限対象PUを示すマップは、図２４（ａ）〜図２４（ｈ）に示されるものとなる。図２４（ａ）〜図２４（ｈ）において、各ブロック２４０１は、それぞれ、一つのPUを表す。そしてPU内に示された数値は、そのPUについて設定されたPU制限フラグの値である。
【０１００】
さらに、インター予測制限対象PU決定部１４は、CTUHIDX = r(t-1)/CTUSIZEとなるCTUとr(t)/CTUSIZEとなるCTUの間に含まれる全てのCTUに含まれるPUを、予測制限対象PUに設定する。すなわち、CTUHIDX = r(t-1)/CTUSIZEとなるCTUとr(t)/CTUSIZEとなるCTUの間に含まれる全てのCUについてのPU制限マップでは、全てのPUについてPU制限フラグの値が'1'となる。
なお、CU制限インデックスの値が'3'（無効）であるCUは設定されないので、そのようなCUに含まれるPUも無効である。そのため、CU制限インデックスの値が'3'であるCUに含まれるPUについては、インター予測制限対象PU決定部１４は、予測制限対象PUか否かを判定せず、PU制限対象フラグを設定しなくてもよい。
【０１０１】
ベクトルモード決定部１５は、符号化対象PUの動きベクトルの予測ベクトルを決定する。ただし、予測制限対象PUについては、ベクトルモード決定部１５は、予測制限対象PUにおいて選択可能なインター予測モードのベクトルモード判定でTemporalベクトルモードの適用を禁止し、予測ベクトルの候補を、Spatialベクトルモードで選択される動きベクトルとする。そしてベクトルモード決定部１５は、Spatialベクトルモードにより選択された予測ベクトルの候補の中から、予測ベクトルを決定する。
【０１０２】
図２５は、AMVPモードにおける、ベクトルモード決定部１５による、予測制限対象PUについての予測ベクトルの決定手順の動作フローチャートである。ベクトルモード決定部１５は、図４に示されたフローチャートにおける、ステップＳ１０１〜Ｓ１０３の処理を行った後、図２５に示されたステップＳ３０１以降の処理を実行する。なお、ベクトルモード決定部１５は、予測制限対象PU以外のPUについては、図４に示されたフローチャートに従って、予測ベクトルを決定すればよい。
【０１０３】
ベクトルモード決定部１５は、予測ベクトル候補リストmvpListLXに、mvLXAまたはmvLXBが登録されているか否か判定する（ステップＳ３０１）。予測ベクトル候補リストmvpListLXに、mvLXAまたはmvLXBが登録されている場合（ステップＳ３０１−Ｙｅｓ）、ベクトルモード決定部１５は、mvLXA及びmvLXBのうち、予測ベクトル候補リストmvpListLXに登録されている方を予測ベクトルmvpLXとする（ステップＳ３０２）。なお、mvLXAとmvLXBの両方が登録されている場合、ベクトルモード決定部１５は、mvLXA及びmvLXBのうち、符号化対象PUの動きベクトルに対する誤差が小さい方、すなわち、情報量が小さい方を予測ベクトルmvpLXとしてもよい。予測ベクトルmvpLXとして選択されたベクトルは、候補リストmvpListLXにおけるその選択されたベクトルの位置を表すシンタックスmvpLxFlagで表される。そのシンタックスmvpLxFlag及び符号化対象PUの動きベクトルと予測ベクトル間の差分ベクトルがエントロピー符号化される。
【０１０４】
一方、mvLXA及びmvLXBの両方が登録されていない場合（ステップＳ３０１−Ｎｏ）、ベクトルモード決定部１５は、予測ベクトルmvpLXを無効とする（ステップＳ３０３）。
ステップＳ３０２またはＳ３０３の後、ベクトルモード決定部１５は、予測ベクトルの決定を終了する。
【０１０５】
図２６は、Mergeモードにおける、ベクトルモード決定部１５による、予測制限対象PUについての予測ベクトルの決定手順の動作フローチャートである。ベクトルモード決定部１５は、図７に示されたフローチャートにおける、ステップＳ２０１及びＳ２０３の処理を行った後、図２６に示されたステップＳ４０１以降の処理を実行する。ただし、予測制限対象PU以外のPUについては、ベクトルモード決定部１５は、図７に示されたフローチャートに従って予測ベクトルを決定すればよい。
【０１０６】
ベクトルモード決定部１５は、Mergeベクトル候補リストmergeCandList（最大で５個の候補を含む）を作成した後、mergeCandListにSpatialベクトルモードで選択された予測ベクトルの候補mvLXAnまたはmvLXBnが登録されているか否か判定する（ステップＳ４０１）。mvLXAn及びmvLXBnのうちの何れかが、予測ベクトル候補リストmergeCandListに登録されていれば（ステップＳ４０１−Ｙｅｓ）、ベクトルモード決定部１５は、mvLXAn及びmvLXBnのうちの登録されている何れかを予測ベクトルmvpLXとする（ステップＳ４０２）。なお、mvLXAn及びmvLXBnのうちの複数が登録されている場合、ベクトルモード決定部１５は、登録されているmvLXAn及びmvLXBnのうち、符号化対象PUの動きベクトルに対する誤差が最小となるもの、すなわち、情報量が最小となるものを予測ベクトルmvpLXとしてもよい。予測ベクトルmvpLXとして選択されたベクトルは、候補リストmergeCandListにおけるその選択されたベクトルの位置を表すシンタックスmergeIdxで表される。そのシンタックスmergeIdx及び符号化対象PUの動きベクトルと予測ベクトル間の差分ベクトルがエントロピー符号化される。
【０１０７】
一方、mvLXAn及びmvLXBnの何れも登録されていない場合（ステップＳ４０１−Ｎｏ）、ベクトルモード決定部１５は、予測ベクトルmvpLXを無効とする（ステップＳ４０３）。  ステップＳ４０２またはＳ４０３の後、ベクトルモード決定部１５は、予測ベクトルの決定を終了する。
なお、ベクトルモード決定部１５は、符号化モード決定部１６のPUについての処理と同期して、そのPUについての予測ベクトルの決定手順を実行してもよい。
【０１０８】
符号化モード決定部１６は、符号化対象ピクチャの各CUについての符号化モードを決定する。さらに、符号化モード決定部１６は、各PUについてのインター予測モードを決定する。
【０１０９】
符号化モード決定部１６は、図２５または図２６において、予測ベクトルmvpLXが無効とされたPUについて、そのPUを含むCUをイントラ予測符号化することに決定する。
【０１１０】
符号化モード決定部１６は、符号化対象ピクチャの符号化対象CTUにおいて、CU分割モード（CUサイズ）とPU分割モードの組み合わせのなかから、一つの組み合わせを選択し、選択した組み合わせに応じたインター予測モードを決定する。さらに、符号化モード決定部１６は、その組み合わせについて、符号化モード、すなわちイントラ予測符号化するか、インター予測符号化するかを決定する。
【０１１１】
符号化モード決定部１６は、CU分割モード及びPU分割モードを決定するために、CU分割モードとPU分割モードの組み合わせのそれぞれについて、符号量の推定値である符号化コストを算出し、その符号化コストが最小となる組み合わせを選択する。符号化モード決定部１６は、符号化コストを算出するために、次式に従って予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロック、例えば、PUに含まれる画素の値であり、PredPixelはHEVC規格で求められる、着目するブロックに対応する予測ブロックに含まれる画素の値である。
ただし、符号化モード決定部１６は、SADの代わりに、符号化対象CTUと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。
【０１１２】
また、差分ベクトルMVD=(予測ベクトル−動きベクトル)を符号化するために必要な情報量をMVDCostとすると、符号化コストCostは、次式で表される。
Cost=SAD + λ*MVDCost
ただし、λはSADとMVDCostのバランスを調整するスケーラーである。
【０１１３】
図２７を参照しつつ、符号化モード決定部１６の処理をより詳細に説明する。なお、符号化モード決定部１６は、無効とされているCUについては選択されないので、そのCUを含む組み合わせの符号化コストを算出しない。ここでは簡単化のためCUSIZE=32とCUSIZE=16が有効であるとして説明する。
【０１１４】
まず、符号化モード決定部１６は、CTU２７００において、CUSIZEを32に設定する。そして符号化モード決定部１６は、符号化対象CU内のPU分割モードPartModeごとにコストPuSizeCostを求めるため、CU２７０１に含まれる各PU２７０２のコストPuCostを求める。インター予測モードの決定において、符号化モード決定部１６は、AMVPモードとMergeモードのそれぞれについてPUのコストを算出する。その際、符号化モード決定部１６は、予測ベクトルとして、ベクトルモード決定部１５により選択された予測ベクトルを用いる。上述したように、インター予測制限対象PUについては、Spatialベクトルモードで選択された予測ベクトルの候補の中から予測ベクトルが選択される。AMVPモードとMergeモードの両方で予測ベクトルが無効なPU、すなわち、Spatialベクトルモードで選択された予測ベクトルの候補が無いPUであれば、符号化モード決定部１６は、インター予測モードを無効とし、PUコストPuCostも無効値、すなわち、非常に大きな値とする。
【０１１５】
AMVPモードが無効であり、かつ、Mergeモードが有効、すなわち、MergeモードにおいてSpatialベクトルモードで選択された予測ベクトルの候補の中から予測ベクトルが選択されていれば、符号化モード決定部１６は、インター予測モードをMergeモードとする。そして符号化モード決定部１６は、PUコストPuCostを、MergeモードのコストMergeCostとする。逆に、AMVPモードが有効、すなわち、AMVPモードにおいてSpatialベクトルモードで選択された予測ベクトルの候補の中から予測ベクトルが選択されており、かつ、Mergeモードが無効であれば、符号化モード決定部１６は、インター予測モードをAMVPモードとする。そして符号化モード決定部１６は、PUコストPuCostを、AMVPモードのコストAMVPCostとする。また、AMVPモードとMergeモードの両方が有効であれば、符号化モード決定部１６は、インター予測モードを、AMVPモードのコストAMVPCostとMergeモードのコストMergeCostのうちの最小値に対応するモードとする。そして符号化モード決定部１６は、その最小値をPUコストPuCostとする。
【０１１６】
CUに含まれる全てのPUについて、PUコストPuCostが算出されると、符号化モード決定部１６は、PU分割モードごとに、CUに含まれる全てのPUのPUコストPuCostの総和PuSizeCost=ΣPuCostを、PU分割モードコストとして算出する。符号化モード決定部１６は、設定可能な全てのPU分割モードのPU分割モードコストのうちの最小値に対応するPU分割モードを選択する。また符号化モード決定部１６は、PU分割モードコストのうちの最小値を、着目するCUサイズ（この例では、32）についてのインター予測符号化モードのコストInterCu32Costとする。
【０１１７】
さらに、符号化モード決定部１６は、CUSIZE=32においてCUをイントラ予測符号化するときのイントラ予測符号化モードのコストIntraCu32Costを算出する。この場合には、符号化モード決定部１６は、例えば、HEVC規格で規定されている、イントラ予測符号化モードで選択可能な予測ブロックの作成方法に従ってそれぞれ予測ブロックを生成し、予測ブロックごとに、上記のSADの算出式に従ってコストを算出する。そして符号化モード決定部１６は、予測画像ごとのコストのうちの最小値をコストIntraCu32Costとすればよい。
【０１１８】
符号化モード決定部１６は、イントラ予測符号化モードのコストIntraCu32Costとインター予測符号化モードのコストInterCu32Costのうちの最小値に対応する符号化モードを、そのCUサイズについて選択される符号化モードとする。選択された符号化モードは、フラグpredModeFlag（=イントラ予測符号化モードまたはインター予測符号化モード）で表される。また符号化モード決定部１６は、その最小値をCUSIZE=32のコストCu32Costとする。なお、CUに含まれるPUのうちの一つでも無効なPUがあれば、InterCu32Costが無効値となる。この場合、符号化モード決定部１６は、CUSIZE=32のCUについてイントラ予測符号化モードを選択する。
【０１１９】
次に、符号化モード決定部１６は、CUSIZEを16に設定し、同様の処理を行う。最後に、符号化モード決定部１６は、CUSIZE=32のコストCu32CostとCUSIZE=16の四つのCUのコストの総和であるコストCu16Costのうちの最小値を求める。そして符号化モード決定部１６は、その最小値に対応するCUサイズ、PU分割モード、及び符号化モード（インター予測符号化モードであれば、さらにインター予測モード）を決定する。
【０１２０】
このように、符号化モード決定部１６は、CUに含まれる何れかのPUについてSpatialベクトルモードで選択された予測ベクトルの候補が無い場合、そのPUを含むCUに対する符号化モードをイントラ予測符号化モードに決定する。
【０１２１】
なお、変形例によれば、符号化モード決定部１６は、CU制限インデックスが'0'以外のCUについては、強制的にそのCUの符号化モードをイントラ予測符号化モードとしてもよい。この場合、符号化モードの選択に要する演算量が削減される。
【０１２２】
予測符号化部１７は、各CUについて、符号化モード決定部１６により決定された符号化モードに従って、PUごとに予測ブロックを生成し、その予測ブロックとPU間の予測誤差を量子化することで、各CUの符号化データを生成する。
【０１２３】
具体的に、予測符号化部１７は、符号化対象PUと、予測ブロックとの差分演算を実行する。そして予測符号化部１７は、その差分演算により得られたPU内の各画素に対応する差分値を、予測誤差信号とする。
【０１２４】
予測符号化部１７は、符号化対象TUの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、予測符号化部１７は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を予測誤差信号に対して実行することにより、周波数信号として、TUごとのDCT係数の組を得る。
【０１２５】
次に、予測符号化部１７は、周波数信号を量子化することにより、その周波数信号の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、予測符号化部１７は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その周波数信号を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、予測符号化部１７は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。
【０１２６】
あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、予測符号化部１７が有するメモリに記憶される。そして予測符号化部１７は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして予測符号化部１７は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定してもよい。
【０１２７】
また予測符号化部１７は、HEVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。予測符号化部１７は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
予測符号化部１７は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減できるので、符号化対象TUに含まれる情報量を低減できる。予測符号化部１７は、量子化係数を符号化データとしてエントロピー符号化部１８へ出力する。
【０１２８】
また予測符号化部１７は、符号化対象TUの量子化係数から、そのブロックよりも後のブロックを符号化するための参照ピクチャを生成する。そのために、予測符号化部１７は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、符号化対象TUの周波数信号、例えば、DCT係数の組が復元される。その後、予測符号化部１７は、周波数信号を逆直交変換処理する。例えば、予測符号化部１７がDCTを用いて周波数信号を算出している場合、予測符号化部１７は、復元された周波数信号に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。
【０１２９】
予測符号化部１７は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各ブロックについて実行することにより、予測符号化部１７は、その後に符号化されるPUに対する予測ブロックを生成するために利用される参照ブロックを生成する。
予測符号化部１７は、参照ブロックを生成する度に、その参照ブロックを、予測符号化部１７が有するメモリに記憶する。
【０１３０】
予測符号化部１７が有するメモリは、順次生成された参照ブロックを一時的に記憶する。各ブロックの符号化順序にしたがって、１枚のピクチャ分の参照ブロックを結合することで、後続するピクチャの符号化の際に参照される参照ピクチャが得られる。予測符号化部１７が有するメモリは、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の参照ピクチャを記憶し、参照ピクチャの枚数がその所定枚数を超えると、符号化順序が古い参照ピクチャから順に破棄する。
【０１３１】
さらに、予測符号化部１７が有するメモリは、インター符号化された参照ブロックのそれぞれについての動きベクトルを記憶する。
【０１３２】
また、予測符号化部１７は、インター符号化用の予測ブロックを生成するために、符号化対象PUと参照ピクチャとの間でブロックマッチングを実行して、符号化対象PUと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定することにより、動きベクトルを求める。
【０１３３】
予測符号化部１７は、符号化モード決定部１６によって選択された符号化モードに従って予測ブロックを生成する。予測符号化部１７は、符号化対象PUがインター予測符号化される場合、参照ピクチャを動きベクトルに基づいて動き補償することで予測ブロックを生成する。
【０１３４】
また予測符号化部１７は、符号化対象PUがイントラ予測符号化される場合、符号化対象PUに隣接するブロックから予測ブロックを生成する。その際、予測符号化部１７は、例えば、HEVCに規定されている各種のイントラモードのうち、符号化モード決定部１６により決定されたイントラモードに従って予測ブロックを生成する。
【０１３５】
エントロピー符号化部１８は、予測符号化部１７から出力された量子化信号及び動きベクトルの予測誤差信号などをエントロピー符号化することにより得られたビットストリームを出力する。そして制御部（図示せず）は、出力されたビットストリームを所定の順序で結合し、HEVCなどの符号化規格で規定されるヘッダ情報などを付加することで、符号化された動画像データが得られる。
【０１３６】
図２８は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はピクチャごとに、下記の動作フローチャートに従ってピクチャを符号化する。
リフレッシュ周期は動画像符号化装置１の動作開始時に設定される。そして制御部（図示せず）は、リフレッシュ周期及びピクチャサイズに基づいて連続する二つのピクチャ間でのリフレッシュ更新サイズを決定する。
【０１３７】
リフレッシュ境界決定部１０は、リフレッシュ更新サイズと一つ前の符号化済みピクチャのリフレッシュ境界位置とから符号化対象ピクチャのリフレッシュ境界の位置を決定する（ステップＳ５０１）。インター予測制限対象CTU決定部１２は、符号化対象ピクチャと一つ前の符号化済みピクチャのリフレッシュ境界位置に基づいて、インター予測符号化モードの適用を制限するCTUを特定する（ステップＳ５０２）。
【０１３８】
インター予測制限対象CU決定部１３は、インター予測符号化モードの適用を制限するCTU内で、インター予測符号化モードの適用を制限するCUを特定する（ステップＳ５０３）。なお、インター予測符号化モードの適用が制限されないCTUでは、そのCTU内のサブブロック（CU、PU）については、インター予測符号化モードの適用は制限されない。
【０１３９】
インター予測制限対象PU決定部１４は、インター予測符号化モードの適用を制限するCU内で、インター予測符号化モードの適用を制限するPUを特定する（ステップＳ５０４）。なお、インター予測符号化モードの適用が制限されないCUでは、そのCU内のPUについては、インター予測符号化モードの適用は制限されない。
【０１４０】
ベクトルモード決定部１５は、Temporalベクトルモードの適用が禁止されるPUについてはTemporalベクトルモードを適用せずに予測ベクトルの候補を選択する。一方、ベクトルモード決定部１５は、インター予測符号化モードの適用が禁止されないPUについてはTemporalベクトルモードも適用して予測ベクトルの候補を選択する（ステップＳ５０５）。そしてベクトルモード決定部１５は、各PUについて予測ベクトルの候補の中から予測ベクトルを選択する（ステップＳ５０６）。
【０１４１】
符号化モード決定部１６は、CTUごとに、符号化コストが最小となるCU及びPUの組み合わせ、及び適用される符号化モードを決定する（ステップＳ５０７）。その際、インター予測符号化モードの適用が制限されるPUを含むCUについては、符号化モード決定部１６は、その制限に従ってTemporalベクトルモードにより選択される予測ベクトルの候補を用いずに符号化コストを算出する。また、符号化モード決定部１６は、無効とされるCUを選択しないように、CUとPUの組み合わせを決定する。
【０１４２】
予測符号化部１７は、各CTUを、決定された符号化モードに従って予測符号化する（ステップＳ５０８）。そしてエントロピー符号化部１８は、予測符号化により得られた符号化データをエントロピー符号化する（ステップＳ５０９）。ステップＳ５０９の後、動画像符号化装置１は、動画像符号化処理を終了する。
【０１４３】
以上に説明してきたように、この動画像符号化装置では、イントラリフレッシュ方式が適用される。この動画像符号化装置は、符号化対象ピクチャのリフレッシュ済み領域内のPUのうち、予測ベクトルの候補として、符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域内のブロックの動きベクトルを選択する可能性があるPUを特定する。そしてこの動画像符号化装置は、特定されたPUについてTemporalベクトルモードの適用を制限することで、リフッシュ済み領域内に未リフレッシュ領域のエラーが伝搬することを防止できる。
【０１４４】
変形例によれば、動画像符号化装置は、図１（ａ）に示されるように、リフレッシュ境界をピクチャに対して水平に設定し、リフレッシュ境界を垂直方向に巡回させてもよい。この場合、インター予測制限対象CTU決定部１２は、下記で説明するように、インター予測符号化モードの適用が制限されるCTUを決定する。なお、この変形例では、上記の実施形態と比較して、リフレッシュ境界の巡回方向とインター予測制限対象CTU決定部１２の処理が異なる。そこで以下では、インター予測制限対象CTU決定部１２について説明する。ただし、リフレッシュ境界が水平となるため、上記の説明で示された各CTU、CU及びPUのインデックスは、垂直方向のインデックスとなる。また、PUについては正方形ではないため、動画像符号化装置は、垂直サイズPUVSIZEに従い、PU制限マップを導出する。
【０１４５】
インター予測制限対象CTU決定部１２は、符号化対象ピクチャと一つ前の符号化済みピクチャのリフレッシュ境界位置に基づいて、インター予測符号化モードの適用が制限されるCTUを特定する。最初に、垂直方向についてのCTUのインデックスCTUVIDXについて説明する。
【０１４６】
図２９に示されるように、ピクチャ２９００は、複数のCTU２９０１に分割される。各CTUの垂直方向のインデックスCTUVIDXは、リフレッシュ境界がピクチャ上端から下端へ移動すると仮定しているため、上端のCTUから順に割り当てられる。すなわち、上端のCTUについてのCTUVIDXは0であり、上端から(N+1)番目のCTUについてのCTUVIDXはNとなる。そして下端のCTUについてのCTUVIDXは(PicHeight/CTUSIZE)-1となる。なお、PicHeightは、ピクチャの垂直方向のサイズである。
【０１４７】
ここで、図１（ａ）に示されるように、リフレッシュ境界が垂直方向に移動するイントラリフレッシュ方式において、伝送エラーなどにより、ピクチャを正常に復号できなくなるエラーが生じた場合を考える。上述したように、ピクチャの復号が正常にできなくなるエラーは、CTU単位で発生する。
【０１４８】
符号化対象ピクチャよりも前の符号化済みピクチャの未リフレッシュ領域を含むCTUでエラーが起きたと仮定する。リフレッシュ境界がCTU内にあり、そのCTUの未リフレッシュ領域側でエラーが発生したとき、リフレッシュ境界を含むCTU全体がエラーとなるため、リフレッシュ済み領域にエラーが伝搬する。さらに、そのCTU以降のリフレッシュ境界を含むCTUにエラーは伝搬する。よって、この場合はリフレッシュ境界がもう１周巡回しなければ、動画像復号装置は、ピクチャを正しく復号できない。そのため、リフレッシュ境界を含むCTUラインの一つ下のCTUライン以降でエラーが起きた場合のみ考えればよい。
ピクチャ間のエラー伝搬を防止するためには、動画像符号化装置は、符号化対象ピクチャの一つ前の符号化済みピクチャのリフレッシュ境界を含むCTUラインの一つ下のCTUライン以降の情報を、符号化対象ピクチャのリフレッシュ済み領域に含まれるCUまたはPUが参照しないようにする。
【０１４９】
したがって、Temporalベクトルモードの影響範囲から、インター予測制限対象CTU決定部１２は、一つ前の符号化済みのピクチャのリフレッシュ境界を含むCTUラインと同一位置にある符号化対象ピクチャ内のCTUラインまたは一つ前の符号化済みのピクチャのリフレッシュ境界の移動元側の端部（この例では、上端）が一つ前の符号化済みのピクチャのリフレッシュ境界の位置に接するCTUラインから、符号化対象ピクチャのリフレッシュ境界を含むか、リフレッシュ境界の移動先側の端部（この例では、下端）がリフレッシュ境界に接するCTUラインまでの各CTUラインに含まれるCTUをインター予測制限対象ブロックに決定する。すなわち、インター予測制限対象CTU決定部１２は、r(t-1)/CTUSIZEからr(t)/CTUSIZEまでの間のCTUVIDXを持つCTUをインター予測制限対象ブロックに決定する。
【０１５０】
図３０は、この変形例による、インター予測制限対象ブロックの一例を示す図である。符号化対象ピクチャ３０００の一つ前の符号化済みピクチャ３０１０において、リフレッシュ境界r(t-1)がCTUライン３０２１とCTUライン３０２２の間に位置しているとする。また、符号化対象ピクチャ３０００において、リフレッシュ境界r(t)がCTUライン３０２２内に位置しているとする。この場合、符号化対象ピクチャ３０００では、CTUライン３０２２に含まれる各CTU３０２３がインター予測制限対象ブロックとなる。
【０１５１】
図３１は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【０１５２】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１５３】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データあるいは復号する符号化動画像データを選択する操作信号をプロセッサ１０５へ出力する。またユーザインターフェース部１０１は、プロセッサ１０５から受け取った、復号された動画像データを表示してもよい。
【０１５４】
通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
【０１５５】
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
【０１５６】
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。
【０１５７】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
【０１５８】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【０１５９】
プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【０１６０】
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【０１６１】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【０１６２】
１    動画像符号化装置
１０    リフレッシュ境界決定部
１１    制限ブロック特定部
１２    インター予測制限対象CTU決定部
１３    インター予測制限対象CU決定部
１４    インター予測制限対象PU決定部
１５    ベクトルモード決定部
１６    符号化モード決定部
１７    予測符号化部
１８    エントロピー符号化部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
【図１】
2015106747.tif 000003
【図２】
2015106747.tif 000004
【図３】
2015106747.tif 000005
【図４】
2015106747.tif 000006
【図５】
2015106747.tif 000007
【図６】
2015106747.tif 000008
【図７】
2015106747.tif 000009
【図８】
2015106747.tif 000010
【図９】
2015106747.tif 000011
【図１０】
2015106747.tif 000012
【図１１】
2015106747.tif 000013
【図１２】
2015106747.tif 000014
【図１３】
2015106747.tif 000015
【図１４】
2015106747.tif 000016
【図１５】
2015106747.tif 000017
【図１６】
2015106747.tif 000018
【図１７】
2015106747.tif 000019
【図１８】
2015106747.tif 000020
【図１９】
2015106747.tif 000021
【図２０】
2015106747.tif 000022
【図２１】
2015106747.tif 000023
【図２２】
2015106747.tif 000024
【図２３】
2015106747.tif 000025
【図２４】
2015106747.tif 000026
【図２５】
2015106747.tif 000027
【図２６】
2015106747.tif 000028
【図２７】
2015106747.tif 000029
【図２８】
2015106747.tif 000030
【図２９】
2015106747.tif 000031
【図３０】
2015106747.tif 000032
【図３１】
2015106747.tif 000033