(57)【要約】【課題】複雑なブロックの分割を実現することができると同時に、少ない符号量で分割状態を表現することができるようにする。【解決手段】符号化制御部１が、最大符号化ブロックを分割して符号化ブロックを生成する際、四分木分割の分割パターン及び四分木分割では表現できない分割パターンが混在している複数の分割パターンの中から、最も効率がよい分割パターンを選択し、その分割パターンにしたがって符号化ブロックを生成するようにする。【選択図】図１
2012080213.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を所定の初期ブロックに分割し、さらに該初期ブロック内を分割して得られる符号化ブロックの単位で符号化を行う動画像符号化装置において、
利用可能な１以上の符号化モードの中から、階層的に分割されて生成される各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの初期ブロックに分割するとともに、該初期ブロックを階層的に分割して符号化ブロックを生成するブロック分割手段と、上記ブロック分割手段により生成された符号化ブロックに対して、上記符号化制御手段により決定された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、上記ブロック分割手段により生成された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化するとともに、上記初期ブロックの分割状態を示す情報を可変長符号化し、上記圧縮データ、上記符号化モード及び上記初期ブロックの分割状態を示す情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、
上記符号化制御手段は、上記初期ブロックを分割して符号化ブロックを生成する際、四分木分割の分割パターン及び上記四分木分割では表現できない分割パターンが混在している複数の分割パターンの中から、所定の判定基準に基づき分割パターンを選択し、上記分割パターンにしたがって符号化ブロックを生成することを特徴とする動画像符号化装置。
【請求項２】
四分木分割では表現できない分割パターンは、四分木分割によって得られる符号化ブロックサイズと同じサイズの符号化ブロックを配置することで得られるパターンであることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ビットストリームに多重化されている符号化データから初期ブロックの分割状態を示す情報を可変長復号して、上記初期ブロックが階層的に分割されて生成されている符号化ブロックを特定し、上記ビットストリームに多重化されている符号化データから上記符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により特定された符号化ブロックに対して、上記符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えた動画像復号装置。
【請求項４】
符号化制御手段が、所定のサイズの初期ブロックを階層的に分割して得られる符号化ブロックごとに、利用可能な１以上の符号化モードの中から、階層的に分割されて生成される各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの初期ブロックに分割するとともに、該初期ブロックを階層的に分割して符号化ブロックを生成するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで生成された符号化ブロックに対して、上記符号化制御処理ステップで決定された符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで生成された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化するとともに、上記初期ブロックの分割状態を示す情報を可変長符号化し、上記圧縮データ、上記符号化モード及び上記初期ブロックの分割状態を示す情報の符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、
上記符号化制御処理ステップでは、上記初期ブロックを分割して符号化ブロックを生成する際、四分木分割の分割パターン及び上記四分木分割では表現できない分割パターンが混在している複数の分割パターンの中から、所定の判定基準に基づき分割パターンを選択し、上記分割パターンにしたがって符号化ブロックを生成することを特徴とする動画像符号化方法。
【請求項５】
可変長復号手段が、ビットストリームに多重化されている符号化データから初期ブロックの分割状態を示す情報を可変長復号して、上記初期ブロックが階層的に分割されて生成されている符号化ブロックを特定し、上記ビットストリームに多重化されている符号化データから上記符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで特定された符号化ブロックに対して、上記符号化モードに対応する予測処理を実施することで予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備えた動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式では、映像信号の各フレームをマクロブロックと呼ばれる正方ブロックに均等分割し、マクロブロックの単位で、フレーム内・フレーム間予測処理、予測差分信号に対する直交変換処理（例えば、ＤＣＴ等）、量子化処理を実施して、エントロピー符号化を行うことによって、最終的な圧縮データとしてビットストリームを得ている。
国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）までの方式では、マクロブロックは、輝度信号上で１６画素×１６ラインのブロックサイズが採用されていたが、このサイズを拡張して、予測対象ブロックや変換ブロックのサイズを適応化させることにより、符号化性能が大きく改善されることが報告されている（以下、非特許文献１，２を参照）。
【０００３】
従来のマクロブロックサイズの拡張方式では、マクロブロック内を更に分割して、分割ブロック毎に、動きベクトルの検出を行う構成や、直交変換のサイズを適応化させる構成を開示しているが、フレーム内符号化・フレーム間符号化の選択など、符号化モード情報を付与する単位は、図１６の四分木分割を用いている。
図１６において、「第０階層」と記されている輝度成分で（Ｍ０，Ｍ０）（右上肩の数字は階層レベルを示している）のサイズを有する符号化ブロックがマクロブロックであり、そのマクロブロックを出発点として、四分木構造で、別途定める所定の深さまで階層的に分割を行うことによって符号化ブロック分割状態を得ている。
四分木分割を行うため、常に、（Ｍｎ＋１，Ｍｎ＋１）＝（Ｍｎ／２，Ｍｎ／２）が成立する。
【０００４】
四分木分割は、分割状態を少ない情報量で表現する目的には適しているが、逆に分割状態が階層的な四分木構造に限定され、そこから逸脱する分割状態を表現することができないという課題を有している。
この分割状態の表現の自由度は、下記の２つの理由により、符号化効率に著しい影響を与える。
【０００５】
理由１：分割は、一般的に、最適な予測の方法が異なり、最適な予測パラメータを変更する必要がある場合に発生する。
動きの異なる領域は、分割を行って、それぞれに最適な動きベクトルを求めることによって全体の予測効率を高めることができる。
一方、映像信号では、一般的に、この動きの異なる領域の境界が常に四分木分割の境界に存在することは保証されない。
したがって、分割を四分木分割の境界に制約するようにすると、分割された領域の中のいくつかは、最適な動き予測を行えない可能性がある。
【０００６】
理由２：直交変換のブロックサイズを大きく取ることができると、適切な量子化・エントロピー符号化との組み合わせにより、符号化効率を高められることが知られている。
直交変換は、画像信号の電力が低周波領域に集中することを利用して符号化効率を高める手法であるため、ブロック単位で動き予測を行って、予測差分信号を直交変換する場合、変換の結果、不要な高周波成分が発生しないように、動き予測ブロックをまたがって直交変換ブロックを定めることを回避するのが通例である（動き予測ブロックの境界では、一般的に画素変化が不連続となるため、不要な高周波成分が含まれてしまう）。
この考え方を適用すると、直交変換ブロックサイズが動き予測ブロックのサイズに制約を受けてしまって、大きな変換ブロックサイズを適用する機会が制限されてしまうことになる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】S.Ma and C.-C. J.Kuo, “High-definition Video Coding with Super-macroblocks,” Visual Communications and Image Processing 2007, September 2007.
【非特許文献２】P. Chen, Y. Ye and M. Karczewicz, “Video Coding Using Extended Block Sizes,” VCEG-AJ23, October 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の動画像符号化装置は以上のように構成されているので、四分木分割を用いれば、分割状態を少ない情報量で表現することができる。しかし、分割状態が階層的な四分木構造に限定されてしまうため、そこから逸脱する分割状態を表現することができない課題があった。
また、四分木分割を用いれば、階層を深くしていくほど、自由度の高いブロック分割状態を記述することができる。しかし、分割状態を表現するには、多くの符号量が必要であり、符号量が増加してしまう課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、複雑なブロックの分割を実現することができると同時に、少ない符号量で自由度が高い分割状態を表現することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、ビットストリームから少ない符号量で自由度が高い分割状態を表現している情報を復号して、映像信号を再生することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る動画像符号化装置は、符号化制御手段が、初期ブロックを分割して符号化ブロックを生成する際、四分木分割の分割パターン及び四分木分割では表現できない分割パターンが混在している複数の分割パターンの中から、最も効率がよい分割パターンを選択し、その分割パターンにしたがって符号化ブロックを生成するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、符号化制御手段が、初期ブロックを分割して符号化ブロックを生成する際、四分木分割の分割パターン及び四分木分割では表現できない分割パターンが混在している複数の分割パターンの中から、最も効率がよい分割パターンを選択し、その分割パターンにしたがって符号化ブロックを生成するように構成したので、複雑なブロックの分割を実現することができると同時に、少ない符号量で自由度が高い分割状態を表現することができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図３】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図４】符号化制御部１による符号化モードの選択処理を示すフローチャートである。
【図５】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図６】可変長復号部５１による最大符号化ブロックの分割状態の復号手順を示すフローチャートである。
【図７】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図８】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図９】最大符号化ブロックの分割状態を決定する際の処理内容を示す説明図である。
【図１０】インター分割状態記述情報の一例を示す説明図である。
【図１１】カレント最大符号化ブロックの分割パターンが参照符号化ブロックの状態と大きく異なる状態を示す説明図である。
【図１２】カレント最大符号化ブロックの分割状態、参照符号化ブロックの分割状態のいずれも四分木分割で表現される場合を示す説明図である。
【図１３】可変長符号化部１３により生成されるビットストリーム（特にスライスレベルのデータ）を示す説明図である。
【図１４】可変長符号化部１３により生成されるビットストリーム（特にスライスレベルのデータ）を示す説明図である。
【図１５】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図１６】符号化モード情報を付与する単位として、四分木分割を用いている例を示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、符号化済みの近傍画素からのイントラ予測処理または近接フレーム間で動き補償予測処理を実施することで予測画像を生成し、その予測画像とフレーム画像の差分画像である予測差分信号に対して、直交変換・量子化による圧縮処理を施した後に、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００１４】
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００１５】
符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
【００１６】
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１７】
図１は、この発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズ（初期ブロックのサイズ）を決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定し、その量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力し、そのイントラ予測パラメータをイントラ予測部４及び可変長符号化部１３に出力し、そのインター予測パラメータを動き補償予測部５及び可変長符号化部１３に出力する処理を実施する。
また、符号化制御部１は最大サイズの符号化ブロックの分割状態を示す最大符号化ブロック分割状態記述情報を可変長符号化部１３に出力する処理を実施する。
なお、符号化制御部１は符号化制御手段を構成している。
【００１８】
ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
【００１９】
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
【００２０】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
【００２１】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
【００２２】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２３】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２４】
ループフィルタ部１１は加算器９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２５】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード、予測差分符号化パラメータ及び最大符号化ブロック分割状態記述情報（最大サイズの符号化ブロックの分割状態を示す情報）と、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、最大符号化ブロック分割状態記述情報、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２６】
図２はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図２において、可変長復号部５１はビットストリームに多重化されている符号化データから最大サイズの符号化ブロックの分割状態を示す最大符号化ブロック分割状態記述情報を可変長復号して、最大サイズの符号化ブロックが階層的に分割されて生成されている符号化ブロックを特定し、そのビットストリームに多重化されている符号化データから上記符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。
なお、可変長復号部５１は可変長復号手段を構成している。
【００２７】
切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。
【００２８】
イントラ予測部５３はフレーム内の復号済みの画像信号を用いて、切替スイッチ５２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
【００２９】
動き補償予測部５４は動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ５２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ５２、イントラ予測部５３及び動き補償予測部５４から予測画像生成手段が構成されている。
【００３０】
逆量子化・逆変換部５５は可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部５５は差分画像生成手段を構成している。
【００３１】
加算部５６は逆量子化・逆変換部５５から出力された復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部５６は復号画像生成手段を構成している。
イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００３２】
ループフィルタ部５８は加算器５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００３３】
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００３４】
図２では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００３５】
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図３のステップＳＴ１）。
【００３６】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００３７】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１は、符号化モードを選択する際、利用可能な全ての符号化モードないし、そのサブセットの中から、各々の符号化ブロックに対して最も符号化効率がよい符号化モードを選択するが、符号化制御部１による符号化モードの選択方法の詳細は後述する。
【００３８】
また、符号化制御部１は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
また、符号化制御部１は、最大サイズの符号化ブロックの分割状態を示す最大符号化ブロック分割状態記述情報（詳細は後述する）を生成する。
符号化制御部１は、その量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力し、その最大符号化ブロック分割状態記述情報を可変長符号化部１３に出力する。
【００３９】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図７は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図７の例では、ｎ＝０のときの最大符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図７の例では、最大符号化ブロックＢ０を出発点（＝第０階層）として、８つの分割パターンへの分割をサポートすることを特徴としている。
図７では、各パターンに対して、ＳＰ１〜ＳＰ８という識別番号が付与されている。後述する符号化制御部１による符号化モードの選択処理において、パターン識別番号が、最大符号化ブロック分割状態記述情報の一部として可変長符号化部１３に出力される。
【００４０】
ＳＰ１は従来例に示している四分木構造のパターンである。
その他のパターンは、四分木構造では表現できない符号化ブロックの定義を可能とするものであり、各パターンの実線で囲まれるブロックが符号化ブロックである。点線で示した非正方領域の扱いは後述する。
ＳＰ２は最大符号化ブロックの水平の中心部、ＳＰ３は最大符号化ブロックの垂直の中心部で、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立するサイズの符号化ブロックを割り当てるパターンである。
ＳＰ４は、ＳＰ２やＳＰ３でも表現できない符号化ブロックの定義を可能とするものである。これらの分割パターンは、動きのアクティビティや予測差分信号電力が、最大符号化ブロックの中心部に集まるようなケースで効果を奏する。
ＳＰ５〜ＳＰ８は、最大符号化ブロック内の上下左右いずれかのエリアに特化して、四分木分割よりも効果的な符号化ブロックの定義を行うことを可能とするものである。
【００４１】
符号化ブロックを（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）のサイズに限定することにより、四分木構造のＳＰ１と同様に、直交変換の処理単位を２のべき乗を一辺とする正方ブロックに限定しつつ、各階層で最大の変換ブロックサイズを確保できるとともに、分割のパターン数を限定することができる。
これらの選択可能な分割パターン数を増加させることによって、符号化ブロックの割り当ての最適性を高めることができる一方、動画像符号化装置側で最適なパターンを選ぶための処理負荷が増大する。
図７のような限定された分割パターンの定義を用いることにより、符号化性能と符号化処理負荷のバランスに優れた符号化を行うことができる。
【００４２】
なお、動画像符号化装置の構成の複雑化や処理負荷の増大を伴うが、符号化効率の向上を優先して、符号化ブロックサイズのバリエーションを長方形形状まで増やして、図７より多くの分割パターンを表現するように構成してもよい。
その場合、最大の変換ブロックサイズについては、符号化ブロックを四分木構造のＳＰ１による符号化ブロックと共有可能な最大変換ブロックサイズの倍数で構成するようにすれば、直交変換の処理単位を２のべき乗を一辺とする正方ブロックに統一して変換・量子化処理に係る装置の複雑化を抑えることができる。
もちろん、装置構成の複雑化を前提とするが、長方形の任意の符号化ブロックに対応するサイズの変換ブロックサイズを新たに定義して対応するように構成してもよい。
【００４３】
このような分割パターンを用いて、別途定める分割階層数まで分割を行うことによって符号化ブロックＢｎを得る。図７のパターンを用いる場合、深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図７の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義し、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立するように構成する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックをＢｎとして、符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と記載する。
【００４４】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
【００４５】
符号化制御部１は、符号化対象となっているピクチャ（カレントピクチャ）の各最大符号化ブロックに対して、図７に示す分割パターンを階層的に選択して、符号化ブロックＢｎを特定する。
図８は最大符号化ブロックの分割状態の例を示している。
図８の例では、第１階層のレベルで図７の分割パターンのＳＰ２が選択され、第３階層のレベルで図７の分割パターンのＳＰ３が選択されているケースを示している。
図８（ａ）の点線で囲まれている領域は、符号化ブロックＢｎとして定義される領域であり、網がけ部分は符号化ブロックＢｎ内で予測処理の単位になるパーティションの分布を示している。
図８（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図８（ｂ）において、□で囲まれている白抜きのノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示しおり、□で囲まれている黒塗りのノードが、符号化ブロックとは別に後述する方法で符号化される非正方領域を示している。
【００４６】
符号化ブロックＢｎは、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢｎに属するパーティションＰｉｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００４７】
切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢｎのパーティションＰｉｎに対して最適な符号化モードｍ（Ｂｎ）を選択すると、その符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎを動き補償予測部５に出力する。
【００４８】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉｎを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックＢｎのパーティションＰｉｎに対するフレーム内予測処理を実施することで、イントラ予測画像Ｐｉｎを生成する（ステップＳＴ４）。
イントラ予測画像Ｐｉｎの生成に用いられたイントラ予測パラメータは、例えば、イントラ予測処理が、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ  １４４９６−１０）に定められるような方向性を有する適応空間予測を行う場合、各パーティション毎に選択される予測モード情報などの情報を含み、動画像復号装置側でも全く同じイントラ予測画像を生成できるようにするために、後述する可変長符号化部１３がイントラ予測パラメータの符号化データをビットストリームに多重化する。
なお、イントラ予測処理は、ＡＶＣ／Ｈ．２６４規格に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置と動画像復号装置において、全く同じイントラ予測画像を生成するために必要な情報を含む必要がある。
【００４９】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉｎを受けると、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックＢｎのパーティションＰｉｎに対する動き補償予測処理を実施することでインター予測画像Ｐｉｎを生成する（ステップＳＴ５）。
なお、動き補償予測処理を実施することで予測画像を生成する技術は公知の技術であるため詳細な説明を省略するが、インター予測画像Ｐｉｎの生成に用いられたインター予測パラメータには、下記の情報等を含んでいる必要があり、動画像復号装置側でも全く同じイントラ予測画像を生成できるようにするために、後述する可変長符号化部１３がインター予測パラメータの符号化データをビットストリームに多重化する。
【００５０】
（１）符号化ブロックＢｎ内のパーティション分割を記述するモード情報
（２）各パーティションの動きベクトル
（３）動き補償予測フレームメモリ１２内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測処理を行うかを示す参照画像指示インデックス情報
（４）複数の動きベクトル予測値候補がある場合、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
（５）複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
（６）当該パーティションの動きベクトルが複数の画素精度（例えば、半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
【００５１】
減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ６）。
【００５２】
変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅｉｎを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００５３】
逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号ｅｉｎハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。
【００５４】
なお、予測差分符号化パラメータは、符号化ブロックＢｎの領域毎に、その内部の予測差分信号ｅｉｎの符号化に用いる量子化パラメータと変換ブロックサイズの情報を含んでいるが、予測差分符号化パラメータは、上述したように、符号化制御部１により符号化モードｍ（Ｂｎ）が選択される際に決定される。
量子化パラメータは、最大符号化ブロックの単位で一つ割り当て、それらを分割した符号化ブロック単位で共通に使用する形式でもよいし、各符号化ブロック毎に最大符号化ブロックの値からの差分値として表現するようにしてもよい。
変換ブロックサイズは、符号化ブロックＢｎを起点として、最大符号化ブロックの分割と同様に、四分木分割の表現がされていてもよいし、いくつかの選択可能な変換ブロックサイズがインデックス情報として表現された形式でもよい。
変換・量子化部７及び逆量子化・逆変換部８は、この変換ブロックサイズの情報に基づいて、変換・量子化処理のブロックサイズを特定して処理を行う。この変換ブロックサイズの情報は、符号化ブロックＢｎではなく、符号化ブロックＢｎを分割するパーティションＰｉｎを単位として決定するように構成されていてもよい。
【００５５】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号ｅｉｎハットを受けると、その局所復号予測差分信号ｅｉｎハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を示す予測信号を加算することで、局所復号パーティション画像Ｐｉｎハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
【００５６】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。
【００５７】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード、予測差分符号化パラメータ及び最大符号化ブロック分割状態記述情報と、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、最大符号化ブロック分割状態記述情報、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。
【００５８】
図７のＳＰ２〜ＳＰ８の点線で示される（Ｌｎ／４，Ｍｎ／４）ないし（Ｌｎ／２，Ｍｎ／２）の非正方領域は、以下の（１）〜（３）のように符号化される。
（１）これらの領域については、符号化ブロックとしての再分割は実施しない。即ち、ＳＰ１が選択された場合のみ、さらなる再分割を実施できるものとする。
（２）各領域は、それぞれ個別にイントラ・インター予測を行う。
（３）予測差分信号に対する変換・量子化は、領域内を（Ｌｎ／４，Ｍｎ／４）のブロックサイズに分割して実行する。
【００５９】
また、ＳＰ２〜ＳＰ８の分割パターンを選択する場合は、選択された符号化ブロック領域に符号化すべき情報が集中していることが考えられるので、符号化ブロック以外の図７のＳＰ２〜ＳＰ８の点線で示される（Ｌｎ／２，Ｍｎ／４）ないし（Ｌｎ／４，Ｍｎ／２）の非正方領域に対しては、予測差分信号の符号化をスキップするモードを設けてもよい。
【００６０】
ループフィルタ部１１は、加算器９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算器９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００６１】
以下、符号化制御部１による符号化モードの選択処理を具体的に説明する。
図４は符号化制御部１による符号化モードの選択処理を示すフローチャートである。
符号化制御部１は、符号化モードを選択する際、カレントピクチャの予測処理に用いる参照画像が動き補償予測フレームメモリ１２に格納されているか否かを確認する（ステップＳＴ２１）。
一般的に、動画像信号は時間方向の冗長度が大きく、局所的に見れば、参照画像とカレントピクチャとの間に絵柄・動きなどについて類似した性質を有することがある。
この実施の形態１では、このことを利用して、カレントピクチャの予測処理に用いる参照画像が動き補償予測フレームメモリ１２に格納されていれば、その参照画像が符号化された際に用いられた最大符号化ブロックの分割状態を、カレントピクチャの最大符号化ブロックの分割状態を決定する際の初期状態として用いるか、用いないかを選択できるようにしている。
【００６２】
図９は最大符号化ブロックの分割状態を決定する際の処理内容を示す説明図である。
図９の例では、カレントピクチャの符号化対象となる最大符号化ブロックをＡ、時間的に最近傍となる参照画像において、最大符号化ブロックＡと同じ空間位置にある最大符号化ブロックをＢとしている。
符号化制御部１は、上述したように、符号化モードを選択する際、カレントピクチャの予測処理に用いる参照画像が動き補償予測フレームメモリ１２に格納されているか否かを確認する。
符号化制御部１は、カレントピクチャの予測処理に用いる参照画像が動き補償予測フレームメモリ１２に格納されている場合、「参照符号化ブロック」を特定する（ステップＳＴ２２）。
図９の例では、最大符号化ブロックＢを「参照符号化ブロック」として特定する。
【００６３】
次に、符号化制御部１は、参照符号化ブロックＢが符号化された際に用いられた分割状態を、最大符号化ブロックＡの分割状態を決定する際の初期状態として用いるか否かを決定する（ステップＳＴ２３）。
この決定方法としては、例えば、最大符号化ブロックＡと参照符号化ブロックＢの間の絵柄の類似度を表す評価値を計算し、その評価値が所定の閾値以上の類似度である場合に限り、参照符号化ブロックＢの分割状態を、最大符号化ブロックＡの分割状態を決定する際の初期状態として用いる決定を行う方法が考えられる。
また、参照符号化ブロックＢの分割状態に基づいて、最大符号化ブロックＡの予測符号化が実施された場合のレート歪コストと、参照符号化ブロックＢの分割状態に依存せずに、最大符号化ブロックＡの最適な分割状態を決定し、その分割状態に基づいて最大符号化ブロックＡの予測符号化が実施された場合のレート歪コストとを比較し、レート歪コストが小さい方を選択する方法が考えられる。
【００６４】
いずれの決定方法を用いる場合でも、符号化制御部１が参照符号化ブロックＢの分割状態を利用することができれば、最大符号化ブロックＡの分割状態を示す情報の符号量を削減して、効率的に符号化を行うことが可能になる。
この決定は、動画像復号装置でも行う必要があるため、参照符号化ブロックＢの分割状態を最大符号化ブロックＡの分割状態を決定する際の初期状態として用いるか否かを示す分割初期状態指示情報を最大符号化ブロック分割状態記述情報の一部に含めてビットストリームに多重化する。
【００６５】
分割初期状態指示情報が「参照符号化ブロックＢの分割状態を初期状態とする」ことを示す場合は（ステップＳＴ２４）、参照符号化ブロックＢの分割状態を起点として得られる最終的な分割状態（最大符号化ブロック分割状態記述情報）と、各符号化ブロックＢｎに対する符号化モードｍ（Ｂｎ）、イントラ予測パラメータ／インター予測パラメータ、予測差分符号化パラメータを決定する（ステップＳＴ２５）。
このとき、最終的な分割状態は、参照符号化ブロックＢの分割状態からの差分情報として伝送する。このような分割状態記述情報を「インター分割状態記述情報」と称する。
【００６６】
図１０はインター分割状態記述情報の一例を示す説明図である。
図１０の例では、「四分木分割が実行されている状況」は“１”、「四分木分割が実行されていない状況」は“０”で表れている。
図１０の例における参照符号化ブロックＢの分割状態を確認すると、第０階層は分割実行“１”であることを表し、第１階層は左上、右上、左下、右下の順序（ジグザグスキャン順）で各符号化ブロックを見ていくと、最初の３つは分割不実行“０”で、右下が分割実行“１”であることを表し、第２階層はすべての符号化ブロックで分割不実行“０”であることを表している。
３階層以上は分割できないことを前提とすると、第０階層は“１”、第１階層は“０００１”、第２階層は“００００”である。
同様に、カレントの最大符号化ブロックにおける分割状態については、階層順、ジグザグスキャン順に見ると、第０階層は“１”、第１階層は“０００１”、第２階層は“１０００”である。
【００６７】
参照符号化ブロックＢを起点とすることが分かっている場合、第０階層と第１階層は差分がないので、記述情報は不要であり、第２階層についてのみ、差分“１０００”−“００００”＝“１０００”によって、カレント最大符号化ブロックの分割状態を記述することができる。
よく知られているように、分割状態が参照符号化ブロックＢの状態に類似している場合は、各階層の差分がゼロ近辺に偏りを生じることや、時間・空間近傍の周辺符号化ブロックの分割状態も加味して適切な条件付発生確率によって適応エントロピー符号化を行うことで、さらに符号量を削減することができる。
【００６８】
あるいは、カレント最大符号化ブロックの分割状態を、参照符号化ブロックＢの分割状態からの差分として表現できるパターンを予め定めておき、各パターンについてインデックスを付与して、選択したパターンのインデックスのみを伝送したり、選択パターンからの差分を符号化するように構成してもよい。
ここで、図１１はカレント最大符号化ブロックの分割パターンが参照符号化ブロックの状態と大きく異なる状態を示す説明図である。
このような場合、図１０のように階層毎に差分を積み上げると、多くの符号を必要とする。
【００６９】
そこで、参照符号化ブロックＢの分割状態毎に、中間的に選択可能な類似パターンを限定的に定めておき、ここからカレント最大符号化ブロックの分割状態に最も近いパターンを選んで、当該パターンからの差分を符号化するように構成する。
選ばれた中間類似パターンは、インデックスを割り振っておき、そのインデックス情報をインター分割状態記述情報の一部として符号化するようにする（中間類似パターン自体で差分が表現される場合は当該インデックス情報のみを符号化する)。
これにより、参照符号化ブロックＢの分割状態と、カレント最大符号化ブロックの分割状態とが広範に異なっていても、効率よく差分を表現できるケースが増え、インター分割状態記述情報の符号化効率を高めることができる。
図１２に示すように、カレント最大符号化ブロックの分割状態、参照符号化ブロックの分割状態のいずれも四分木分割で表現される場合でも、この考え方が適用できることは言うまでもない。
【００７０】
分割初期状態指示情報が「カレントの最大符号化ブロックで分割状態を決定する」ことを示す場合は（ステップＳＴ２４）、図３で説明した手順と同様に、参照符号化ブロックＢに依存することなく、カレントの最大符号化ブロックに対する分割状態を示す最大符号化ブロック分割状態記述情報、各符号化ブロックＢｎに対する符号化モードｍ（Ｂｎ）、イントラ予測パラメータ／インター予測パラメータ、予測差分符号化パラメータを決定する（ステップＳＴ２６）。
このときの分割状態記述情報を「イントラ分割状態記述情報」と称し、インター分割状態記述情報と区別する。
【００７１】
なお、分割初期状態指示情報が「参照符号化ブロックの分割状態を初期状態とする」ことを示す場合、カレントの最大符号化ブロックの分割状態を参照符号化ブロックの分割状態と同一にするように構成してもよい。
これにより、インター分割状態記述情報は一切符号化する必要がない。
さらに、分割された各符号化ブロックＢｎで用いる符号化モードｍ（Ｂｎ）も参照符号化ブロックで用いられた情報と同じものを用いるように構成してもよい。この場合、符号化モードｍ（Ｂｎ）についてもビットストリームに多重化する必要がなくなる。
参照画像が存在しない場合は、参照符号化ブロックを定めることができないため、常にイントラ分割状態記述情報を求めて符号化する。
【００７２】
図１３及び図１４は可変長符号化部１３により生成されるビットストリーム（特にスライスレベルのデータ）を示す説明図である。
図１３の例では、スライス符号化データがスライスヘッダと、それに続くスライス内の個数分の最大符号化ブロックの符号化データから構成されている様子を示している。
各々の最大符号化ブロックの符号化データは、最大符号化ブロック分割状態記述情報を含み、最大符号化ブロック分割状態記述情報は、分割初期状態指示情報と分割状態記述情報から構成されている。
【００７３】
図示していないが、最大符号化ブロックの符号化データには、このほか、各符号化ブロックＢｎ毎の符号化モードｍ（Ｂｎ）、イントラ予測パラメータ／インター予測パラメータ、予測差分符号化パラメータ、圧縮データ（量子化済み変換係数）を含んでいる。
最大符号化ブロック分割状態記述情報の形式（ａ）は、イントラ分割状態記述情報を伝送するか、インター分割状態記述情報を伝送するかを選択する形式を示している。
形式（ｂ）は、参照符号化ブロックの状態をそのままカレント最大符号化ブロックの分割状態として用いるようにしてインター分割状態記述情報を一切伝送しないことにするか、イントラ分割状態記述情報を伝送するかを選択する形式を示している。
【００７４】
図１４の例では、スライスヘッダに分割初期状態指示情報多重化フラグを含め、このフラグの値に基づいて、各最大符号化ブロックの単位で分割初期状態指示情報を多重するか否かを指定する構成を示している。
映像信号は非定常であるため、状況によっては分割状態に関してピクチャ間の時間相関が非常に低いケースも考えられる（例えば、ランダムな動きが画面全体を支配している場合など）。
そのような場合は、最大符号化ブロックの単位で分割初期状態指示情報を多重して適応的に初期値を決めるよりも、分割初期状態指示情報自体の符号量がオーバヘッドとなってしまう可能性もある。
そこで、スライス等の上位レベルで分割初期状態指示情報を使用するか否かを選択できる仕組みを備える。
これにより、分割初期状態指示情報による参照符号化ブロックの分割状態の参照が有効であるスライスのみ、分割初期状態指示情報を活用した効率的な分割状態の符号化が可能となる。
なお、分割初期状態指示情報多重化フラグはピクチャやシーケンス、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）などの単位で定義されるヘッダ情報領域に多重するように構成してもよい。
【００７５】
次に、図２の動画像復号装置の処理内容を説明する。
可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１枚以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にピクチャサイズ（水平画素数・垂直ライン数）を規定する情報を復号する（図５のステップＳＴ３１）。
可変長復号部５１は、図１の符号化制御部１と同様の手順で、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロック（最大符号化ブロック）が階層的に分割される際の上限の階層数を決定する（ステップＳＴ３２）。
【００７６】
例えば、動画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているピクチャサイズに基づいて符号化ブロックの最大サイズを決定する。符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
また、可変長復号部５１は、最大符号化ブロック単位に、最大符号化ブロック分割状態記述情報に含まれている分割初期状態指示情報に基づいて、最大符号化ブロックの分割状態を復号する。
【００７７】
以下、最大符号化ブロックの分割状態の復号手順を具体的に説明する。
図６は可変長復号部５１による最大符号化ブロックの分割状態の復号手順を示すフローチャートである。
まず、可変長復号部５１は、カレントピクチャの復号に際して、カレントピクチャの予測処理に用いる参照画像が動き補償予測フレームメモリ５９に格納されているか否かを確認する（ステップＳＴ５１）。
可変長復号部５１は、カレントピクチャの予測処理に用いる参照画像が動き補償予測フレームメモリ５９に格納されている場合、図９に示すように、時間的に最近傍の参照画像に含まれ、カレントピクチャの復号対象の最大符号化ブロックと空間的に同じ位置に存在する最大符号化ブロックを参照符号化ブロックに設定する（ステップＳＴ５２）。
【００７８】
可変長復号部５１は、参照符号化ブロックを設定すると、その参照符号化ブロックの最大符号化ブロック分割状態記述情報に含まれている分割初期状態指示情報を復号し（ステップＳＴ５３）、その分割初期状態指示情報に基づいて、カレント最大符号化ブロックの分割状態を復号する際に、その参照符号化ブロックの分割状態を使用するのか、使用しないのかを判定する（ステップＳＴ５４）。
即ち、カレント最大符号化ブロックの分割状態を復号する際に、イントラ分割状態記述情報を用いるのか、インター分割状態記述情報を用いるのかを判定する。
【００７９】
可変長復号部５１は、分割初期状態指示情報が「イントラ分割状態記述情報を用いて分割状態を復号する」ことを示す場合、その分割初期状態指示情報に続いて多重化されているイントラ分割状態記述情報を復号し、そのイントラ分割状態記述情報を参照して、カレント最大符号化ブロックの分割状態を決定する（ステップＳＴ５５）。
一方、分割初期状態指示情報が「インター分割状態記述情報を用いて分割状態を復号する」ことを示す場合、その分割初期状態指示情報に続いて多重化されているインター分割状態記述情報（参照符号化ブロックの分割状態からの差分情報）を復号し、そのインター分割状態記述情報を参照して、カレント最大符号化ブロックの分割状態を決定する（ステップＳＴ５６）。
【００８０】
インター分割状態記述情報の符号化形式としては、例えば、動画像符号化装置の処理内容の説明でも述べたように、下記の（１）（２）のような形式があり、動画像符号化装置で選択された符号化形式に対応して、可変長復号部５１が復号処理を行うように構成している。
（１）分割階層毎の差分情報を適応エントロピー符号化する
（２）カレント最大符号化ブロックの分割状態を、参照符号化ブロックの分割状態からの差分として表現できるパターンとして予め定めておき、各パターンにインデックスを付与して選択したパターンのインデックスのみ、ないし選択したパターンからの差分情報を適応エントロピー符号化する
動画像符号化装置の処理内容の説明でも述べたように、分割初期状態指示情報に「参照符号化ブロックの分割状態そのものを用いる」というセマンティクスを持たせることにより、ビットストリームからインター分割状態記述情報の復号を行わないように構成することもできる。
【００８１】
なお、図１４の構成のビットストリームを入力する場合は、最大符号化ブロックレベルの復号に先立ち、スライスヘッダから分割初期状態指示情報多重化フラグを復号し、その分割初期状態指示情報多重化フラグが「分割初期状態指示情報を多重する」ことを示していれば、図６の手順で最大符号化ブロックの分割状態の復号を行うようにする。
一方、分割初期状態指示情報多重化フラグが「分割初期状態指示情報を多重しない」ことを示していれば、常にイントラ分割状態記述情報に基づいて、最大符号化ブロックの分割状態の復号を行うようにする。
分割初期状態指示情報多重化フラグがシーケンスレベルヘッダやＧＯＰレベルヘッダ、ピクチャレベルヘッダに挿入されるように構成されたビットストリームであれば、当該ヘッダから復号を行い、それ以下に含まれる全ての最大符号化ブロックに対して、分割初期状態指示情報多重化フラグに基づく分割状態の復号処理を行うようにする。
【００８２】
可変長復号部５１は、最大符号化ブロックの分割状態を復号すると、その分割状態に基づいて、階層的に分割されている各々の符号化ブロックＢｎを特定する（図５のステップＳＴ３３）。
可変長復号部５１は、各々の符号化ブロックＢｎを特定すると、その符号化ブロックＢｎの符号化モードｍ（Ｂｎ）を復号し、その符号化モードｍ（Ｂｎ）に含まれているパーティションＰｉｎの情報に基づいて、符号化ブロックＢｎをさらに１つないし複数の予測処理単位であるパーティションＰｉｎに分割する。
次に、可変長復号部５１は、パーティションＰｉｎ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ３４）。
【００８３】
即ち、符号化ブロックＢｎに割り当てられた符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合、符号化ブロックＢｎに属しているパーティションＰｉｎ毎にイントラ予測パラメータを復号する。
イントラ予測パラメータの復号は、図１の動画像符号化装置と同じ手順で、周辺の復号済みパーティションのイントラ予測パラメータに基づいて、復号対象であるパーティションＰｉｎのイントラ予測パラメータの予測値を算出し、その予測値を用いて復号する。
符号化ブロックＢｎに割り当てられた符号化モードｍ（Ｂｎ）がインター符号化モードである場合、符号化ブロックＢｎに属しているパーティションＰｉｎ毎にインター予測パラメータを復号する。
予測処理単位となるパーティションは、さらに予測差分符号化パラメータに含まれる変換ブロックサイズ情報に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する。
【００８４】
切替スイッチ５２は、可変長復号部５１から符号化ブロックＢｎに属しているパーティションＰｉｎの符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ステップＳＴ３５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
一方、パーティションＰｉｎの符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ステップＳＴ３５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。
【００８５】
イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、フレーム内の復号済みの画像信号を用いて、そのイントラ予測パラメータに基づいて、符号化ブロックＢｎのパーティションＰｉｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐｉｎを生成する（ステップＳＴ３６）。
動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢｎのパーティションＰｉｎに対する動き補償予測処理を実施することでインター予測画像Ｐｉｎを生成する（ステップＳＴ３７）。
【００８６】
逆量子化・逆変換部５５は、可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ３８）。
なお、予測差分符号化パラメータに含まれている量子化パラメータは、ビットストリームに多重化されている符号化データから符号化ブロックＢｎの単位で復元し、変換ブロックサイズの情報は、符号化ブロックＢｎを起点として、最大符号化ブロックの分割と同様に、四分木分割で表現された分割情報の形式や、選択可能な変換ブロックサイズをインデックス情報として表現された形式などで、ビットストリームから抽出して復元する。
変換ブロックサイズの情報は、符号化ブロックＢｎではなく、符号化ブロックＢｎに属しているパーティションＰｉｎを単位として決定するように構成されていてもよい。
【００８７】
加算部５６は、逆量子化・逆変換部５５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ３９）。
【００８８】
ステップＳＴ３３〜ＳＴ３９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ４０）。
ループフィルタ部５８は、加算器５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ４１）。
ループフィルタ部５８によるフィルタリング処理は、加算器５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００８９】
以上で明らかなように、この実施の形態１によれば、符号化制御部１が、最大符号化ブロックを分割して符号化ブロックを生成する際、四分木分割の分割パターン及び四分木分割では表現できない分割パターンが混在している複数の分割パターンの中から、最も効率がよい分割パターンを選択し、その分割パターンにしたがって符号化ブロックを生成するように構成したので、複雑なブロックの分割を実現することができると同時に、少ない符号量で自由度が高い分割状態を表現することができる動画像符号化装置が得られる効果を奏する。
【００９０】
また、この実施の形態１によれば、可変長復号部５１が、ビットストリームに多重化されている符号化データから最大符号化ブロックの分割状態を示す情報を可変長復号して、最大符号化ブロックが階層的に分割されて生成されている符号化ブロックを特定し、ビットストリームに多重化されている符号化データから上記符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータを可変長復号するように構成したので、ビットストリームから少ない符号量で自由度が高い分割状態を表現している情報を復号して、映像信号を再生することができる動画像復号装置が得られる効果を奏する。
【００９１】
なお、この実施の形態１では、参照符号化ブロックを「時間的に最近傍の参照画像において、カレント最大符号化ブロックと空間的に同じ位置にある最大符号化ブロック」としているが、例えば、「時間的に最近傍の参照画像上で、カレント最大符号化ブロックを代表する動き量分だけシフトさせた位置の最大符号化ブロック」を参照符号化ブロックとするように構成してもよい。
カレント最大符号化ブロックを代表する動き量は、例えば、カレント最大符号化ブロックの領域に対して求められる動きベクトル予測値を最大符号化ブロックのグリッド位置に調整した動き量などを利用することができる。
また、動きベクトル予測値は、既に符号化されている周辺符号化ブロックの動きベクトルから算出することができるので、別途ビットストリームに多重化して伝送する必要がない。
このようにカレント最大符号化ブロックの領域で想定される動きを加味して分割状態を参照することにより、より分割状態に関する相関が高い領域を参照符号化ブロックとして用いることができる。
【００９２】
また、参照符号化ブロックを「時間的に最近傍の参照画像において、カレント最大符号化ブロックと空間的に同じ位置にある最大符号化ブロック」とするか、「カレント最大符号化ブロックの領域に対して求められる動きベクトル予測値を最大符号化ブロックのグリッド位置に調整した動き量でシフトした位置の参照画像上の最大符号化ブロック」とするかを、スライス、ピクチャ、ＧＯＰ、シーケンスなどのレベルで選択させるようにしてもよい。
【００９３】
また、この実施の形態１では、参照符号化ブロックを最大符号化ブロック毎に定めるようにしているが、例えば、スライス、ピクチャ、ＧＯＰ、シーケンスなどより上位のレベルでテンプレートとなる参照分割状態を定め、各最大符号化ブロックの分割状態は、当該参照分割状態からの差分情報を伝送することで符号化を行うような構成も可能である。
例えば、映像のシーン毎に特徴的な被写体・動きが固定化されているような場合は、時間・空間的に比較的広い範囲で予測・符号化の分割状態が一様化される可能性がある。
このような場合は、局所的に参照符号化ブロックを定める代わりに、大域的な参照符号化ブロック領域を定める方が、伝送すべき分割初期状態指示情報を少なくすることができ、符号化効率を高めることができる。
テンプレートとなる参照分割状態は、例えば、シーンチェンジの先頭ピクチャにおける分割状態を用いるなどの構成をとることができる。
【００９４】
また、この実施の形態１では、各々の最大符号化ブロックを分割の階層に依存せずに図７の分割パターンを用いて、階層分割を行う構成を説明したが、四分木以外の分割パターンを用いることにより、四分木分割で十分な分割の最適性が得られるケースでは余分なパターン表現の符号が必要となるため、図７の分割パターンを用いるか、あるいは、図１６に示す従来例のような四分木分割のみを用いるかを適応的に選択する構成にしてもよい。
例えば、分割の階層ｎが深くなって、符号化ブロックＢｎ自体のサイズが小さくなってくると、符号化ブロックＢｎ内の信号特性に局所的なばらつきがなくなってくるため、ＳＰ２〜ＳＰ８のような特殊な分割パターンを用いる効果が薄れることが考えられる。
このような場合、分割階層ｎないし符号化ブロックＢｎ自体のサイズに応じて、ＳＰ２〜ＳＰ８のパターンを使用するか、使用しないかを選択するように構成することで、余分な分割状態記述情報を符号化する必要がなくなる効果が得られる。
このような選択的な分割パターンの記述を行うか否かを、シーケンス、ＧＯＰ、ピクチャ、スライスなどのレベルでＯＮ／ＯＦＦする識別情報をビットストリームに多重化するように構成してもよい。
【００９５】
また、この実施の形態１では、図７に示すように、Ｌｎ＝Ｍｎのケースを示しているが、例えば、図１５に示すように、最大符号化ブロックサイズをＬｎ＝ｋＭｎとする場合にも適用することができる。
この際、第０階層では、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ，Ｍｎ）となる符号化ブロックへの分割のみを行うこととして、以降の分割は、図７と同様の分割を行うように構成する。
このような構成により、例えば、Ｍ０＝１６とすることにより、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８−２）やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（ＩＳＯ/ＩＥＣ １４４９６−１０）のような１６×１６画素からなるマクロブロックを横に連結する構成の最大符号化ブロックを定義することができ、既存方式との互換性を維持した動画像符号化装置を構成し易いという効果がある。
ここでは、Ｌｎ＝ｋＭｎのケースを示しているが、ｋＬｎ＝Ｍｎのように、縦に連結したものであっても同様の考えで分割が可能であることは言うまでもない。
【００９６】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
例えば、この実施の形態１では、符号化制御部１が、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズ（初期ブロックのサイズ）を決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施するとしているが、初期ブロックのサイズや最大サイズの符号化ブロックが階層的に分割される際の上限の階層数は、符号化制御部１で決定するのでなく、別途外部から与えられる情報に基づいて動作するように動画像符号化装置を構成してもよい。
同様に、可変長復号部５１が、図１の符号化制御部１と同様の手順で、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロック（最大符号化ブロック）が階層的に分割される際の上限の階層数を決定するとしているが、初期ブロックのサイズや最大サイズの符号化ブロックが階層的に分割される際の上限の階層数は、可変長復号部５１で決定するのでなく、対応する動画像符号化装置との取り決めを別の手段で行っておき、一意に定まる情報に基づいて動作するように動画像復号装置を構成してもよい。
【００９７】
なお、任意のピクチャへのランダムアクセスが可能となるよう、入力映像信号のすべてのピクチャをイントラ符号化する場合には、イントラ分割状態記述情報のみを用いるように動画像符号化装置・動画像復号装置を構成したり、イントラ分割状態記述情報のみを用いることを識別する情報を多重したビットストリームの構成を扱うように動画像符号化装置・動画像復号装置を構成してもよい。
【符号の説明】
【００９８】
１  符号化制御部（符号化制御手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ（予測画像生成手段）、４  イントラ予測部（予測画像生成手段）、５  動き補償予測部（予測画像生成手段）、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、５１  可変長復号部（可変長復号手段）、５２  切替スイッチ（予測画像生成手段）、５３  イントラ予測部（予測画像生成手段）、５４  動き補償予測部（予測画像生成手段）、５５  逆量子化・逆変換部（差分画像生成手段）、５６  加算部（復号画像生成手段）、５７  イントラ予測用メモリ、５８  ループフィルタ部、５９  動き補償予測フレームメモリ。
【図１】
2012080213.tif 000003
【図２】
2012080213.tif 000004
【図３】
2012080213.tif 000005
【図４】
2012080213.tif 000006
【図５】
2012080213.tif 000007
【図６】
2012080213.tif 000008
【図７】
2012080213.tif 000009
【図８】
2012080213.tif 000010
【図９】
2012080213.tif 000011
【図１０】
2012080213.tif 000012
【図１１】
2012080213.tif 000013
【図１２】
2012080213.tif 000014
【図１３】
2012080213.tif 000015
【図１４】
2012080213.tif 000016
【図１５】
2012080213.tif 000017
【図１６】
2012080213.tif 000018