入力された符号化ストリームを可変長復号化し、符号化単位で逆量子化、逆変換して予測差分画像とし、予測画像と加算して画像を出力する動画像復号化装置において、前記符号化単位の分割サイズを決定するCU分割部と、前記符号化単位の分割サイズを格納するCUサイズ格納部と、を備え、前記CU分割部は、前記CUサイズ格納部に格納された符号化済みの符号化単位のサイズ情報を用いて復号化対象の符号化単位の分割サイズを予測することを特徴とする画像復号化装置。請求項1において、前記CU分割部は、前記復号化対象である符号化単位がIピクチャである場合、前記復号化対象である符号化単位があるピクチャ内の、前記復号化対象である符号化単位に隣接する復号化済みの符号化単位のサイズ情報を用い、分割サイズを予測するイントラ分割予測処理を行うことを特徴とする画像復号化装置。請求項2において、前記復号化対象である符号化単位に隣接する復号化済みの符号化単位は、前記符号化対象の符号化単位の上、左、斜め上に隣接する符号化単位を含むことを特徴とする画像復号化装置。請求項3において、前記隣接する符号化済み符号化単位が複数ある場合に、それぞれの符号化単位におけるサイズ情報から多数決で前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。請求項4において、前記復号化対象である符号化単位の左、上、左上に最大分割符号化単位がいずれにもない場合、前記復号化対象である符号化単位に対して、イントラ分割予測を用いずにサイズ情報を決めることを特徴とする画像復号化装置。請求項4において、前記復号化対象である符号化単位の左に最大分割符号化単位があるが、前記復号化対象である符号化単位の上と左上に最大分割符号化単位がない場合、前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の左にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。請求項4において、前記復号化対象である符号化単位の上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左と左上に最大分割符号化単位がない場合、前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。請求項4において、前記復号化対象である符号化単位の左上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左上と左斜め上に最大分割符号化単位がない場合、前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。請求項4において、前記復号化対象である符号化単位の左、上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左上に最大分割符号化単位がない場合、前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の左および上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。請求項9において、前記復号化対象である符号化単位の左にある最大分割符号化単位のサイズ情報を用いることを特徴とする画像復号化装置。請求項1において、前記CU分割部は、前記復号化対象がPピクチャまたはBピクチャである場合には、前また後または双方のピクチャの符号化済の符号化単位のサイズ情報を用いて前記復号化対象である符号化単位の分割サイズを予測する、イントラ分割予測処理を行うことを特徴とする画像復号化装置。請求項11において、前記復号化対象である前記符号化単位がPピクチャであり、インター分割予測を選択した場合、前方向のみ参照することを特徴とする画像復号化装置。請求項11において、前記復号化対象である前記符号化単位がBピクチャであり、インター分割予測を選択した場合、前方向と後方向を参照し、多数決で参照方向を決定し、複数ある動きベクトルの中から選択された動きベクトルで参照する画素が含まれる符号化単位のサイズ情報を前記復号化対象である符号化単位のサイズ情報とすることを特徴とする画像復号化装置。請求項11において、前記予測動きベクトルによる参照位置がピクチャの外部を示す場合、参照位置の近傍の画素を参照することを特徴とする画像復号化装置。請求項14において、前記参照位置のX座標が0未満、もしくは最大値以上であれば、参照位置のX座標をそれぞれ0、もしくはPicWidth1と置き換えることを特徴とする復号化装置。請求項14において、前記参照位置のY座標が0未満、もしくは最大値以上であれば、参照位置のY座標をそれぞれ0、もしくはPicHeight1と置き換えることを特徴とする復号化装置。請求項1において、前記CU分割部は、イントラ分割予測とインター分割予測のうち、いずれを選択したかを示すフラグ情報に基づき、イントラ分割予測と、インター分割予測のうち、いずれかを用いて復号化対象である符号化単位の分割サイズを決定することを特徴とする画像復号化装置。しかしながら、特許文献1及び非特許文献1に記載されるような動画像符号化におけるマクロブロックのサイズの拡大及び縮小は、そのマクロブロックのサイズ情報を記述するための情報量が増えてしまうため、圧縮率が低下するという課題があった。本発明の目的は、マクロブロックの拡大及び縮小をともなう画像符号化復号化処理において、マクロブロックのサイズ情報を記述するための情報量を削減することである。上記課題を解決する手段を本願は複数含む。その代表例を挙げるならば、以下の通りである。本発明の画像復号化装置は、CU分割部とCUサイズ格納部を備え、CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とを格納し、さらにCU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。本発明によれば、CUの拡大または縮小をともなう画像符号化復号化処理において、CUのサイズを記述する情報量を削減することにより、圧縮率を向上させることができるようになる。本発明は、原画像を符号化し、符号化された画像を復号化する画像符号化復号化技術で用いられる画像符号化装置及び画像復号化装置に関するものである。この画像符号化装置は、CU分割部とCUサイズ格納部を備える。ここでCUとは符号化単位ブロックであり、従来技術のマクロブロックの概念に相当する。CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とが格納される。CU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。この画像符号化装置が出力する符号化ストリームには、個々の符号化対象CUに対し、予測されたCUサイズと一致するかしないかのフラグ情報が格納される。このフラグ情報が1予測サイズと一致するの場合には、CUサイズ情報は符号化ストリーム内に含まれない。一方、フラグ情報が0予測サイズと一致しないの場合には、CUサイズ情報は符号化ストリーム内に含まれる。いいかえると、予測するモード1と符号化ストリームからCUサイズ情報を取り出すモード0とを示すフラグが符号化ストリームに入っている。画像復号化装置は、CU分割部とCUサイズ格納部を備える。CUサイズ格納部には、格納される符号化対象ピクチャ内の復号済みのCUサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUサイズ情報とを格納する。CU分割部は、上記符号化ストリーム内に含まれるフラグ情報が1予測サイズと一致するの場合、符号化ビットストリームからCUサイズ情報を取り出そうとせずに、CUサイズ格納部に格納されたCUサイズ情報を用いて復号化対象位置のCUサイズを予測し、最終的な復号化対象CUのCUサイズを決定する。上記符号化ストリーム内に含まれるフラグ情報が0予測サイズと一致しないの場合、符号化ストリーム内に含まれるCUサイズ情報により復号化対象CUのCUサイズを決定する。このような画像符号化装置と画像復号化装置の詳細な構成を、以下の実施例で説明する。なお、本発明はこの実施例のみに限定されるものではない。<画像符号化装置の構成>図1は、実施例1による画像符号化装置の概略構成を示す図である。図1に示す通り、この画像符号化装置は、符号化済みCUサイズ情報が格納されているCUサイズ格納部116と、CUサイズ格納部116に格納される符号化済みCUサイズ情報を基に、入力画像114のうちの符号化対象CUとすべきCUサイズを予測し、CUサイズを決定するCU分割部100と、予測画像が格納される予測画像格納部107と、予測画像格納部107に格納される予測画像と入力画像114との予測差分画像を生成する差分器101、前記予測差分画像をDCTなどの直交変換を行う変換部102、変換後の信号を量子化する量子化部103、量子化後の信号を符号化する可変長符号化部104を有し、符号化ストリーム115を出力する。CU分割部100におけるCUサイズ予測処理については後述する。この動画像符号化装置は、予測画像を生成するために2系統の予測処理系統を有する。第1の系統はインター予測によるもので、次の入力画像のための参照画像を得るため、量子化部103で出力された量子化信号を逆量子化する逆量子化部109、逆量子化信号を逆変換して予測差分画像を得る逆変換部108、逆変換後の予測差分画像と予測画像格納部107からの予測画像を加算する加算器111、加算後の画像からブロックノイズを除去した参照画像を得るデブロック処理部112を有する。そして、得られた参照画像を格納する参照画像格納部113、参照画像格納部113に格納される参照画像と入力画像114との間の動き予測を行うインター予測部106を有する。第2の系統はイントラ予測によるもので、入力画像114から画面内予測を行うイントラ予測部105を有する。予測モード決定部110では上記2系統の予測処理系統、すなわち、インター予測部106からのインター予測画像及びイントラ予測部105からの画面内予測画像のうち、最も予測効率が高いとして評価された予測画像を選択する。予測効率の評価指標としては、予測誤差エネルギーを用いたが、近傍のCUの予測方式画面間予測か画面内予測かとの類似性を考慮して予測画像すなわち予測モードを用いてもよい。選択された予測画像は予測画像格納部113に格納され、入力画像114との予測差分画像を生成するために用いられる。なお、予測モード決定部110で選択した予測モードインター予測とイントラ予測の種別と、予測単位ブロックのサイズの組み合わせに関する情報は可変長符号化部104に送られ、符号化ストリーム115の一部に格納される。本実施例では、CU分割部100とCUサイズ情報格納部116を有する構成に特徴があり、以下詳細に説明する。<CU分割部の処理内容符号化側>以下、図面を参照して、CU分割部100の処理内容について詳細に説明する。図5は、CUの概念を説明する図である。本実施例では従来技術のマクロブロックに相当する符号化処理単位ブロックを、CUCodingUnitと記す。本実施例においてCUに対して以下のような性質を有するものとするが、この性質に限定されるものではない。1CUを正方形とする。CUを長方形としてもよい。2CUの最大サイズと最小サイズとが符号化ストリーム中に記載されるか、規格として定義されることにより符号化側と復号化側とで共有されるものとする。34分木構造によって最大CUを3回階層的に4分割可能と全4階層の木構造する。適用できる木構造と階層を一般化すると、m分木構造m=任意整数、n階層n=2以上の整数となる。図5において、最大サイズのCUをLCUと記し、そのサイズLCUの縦もしくは横方向の画素数をLCUsizeと記す。なお、本実施例ではLCUsizeは2のべき乗とするが、これに限定されない。図5で示すように、一つのピクチャはLCU単位で分割される。連続するLCUの集まりをスライスと定義する。この概念は従来技術のマクロブロックに相当する。個々のLCUは4分木構造により階層的になっている。図6は4分木構造により構成されたCU分割の一例を示す図である。同図で示すようにLCUが4つのCU0、CU1、CU2、CU3に分割されている。CU0は分割されず最終的にCUとして確定している。CU1はCU10、CU11、CU12、CU13に、CU2はCU20、CU21、CU22、CU23に、CU3はCU30、CU31、CU32、CU33にそれぞれ4分割されている。これらのうち、CU11がさらに、CU110、CU111、CU112、CU113に、CU12がCU120、CU121、CU122、CU123へ、CU30はCU300、CU301、CU302、CU303へそれぞれ4分割されており、それ以外のCUは最終的にCUとして確定している。このようにLCUから階層的に4分割していき、CUのサイズが最小サイズになるまで分割を行うことができる。上記の4分木構造の場合、最大サイズ/最小サイズの比が2N2のN乗であった場合に、従来技術のように個々のCUを分割するかしないかのフラグを1bitで表記するとした場合、個々のLCUに対して最大bitの情報量を要することとなる。このため、CUの最大サイズと最小サイズの比が大きくなるほど、CUのサイズ情報を示すための情報量が大きくなる。そこで、本実施例では、個々のCUに対して、周囲のCU空間的に周囲のCUや前後ピクチャのCU時間的に周囲のCUColocatedCuとその周囲のCUのサイズ情報を用いて、現CUを4分割するかしないかの予測を行い、この予測結果に従って分割することを特徴とする。これによりCUのサイズ情報、すなわち上記のフラグが不要となるため、情報量の削減が期待できる。図7を用いて本実施例におけるCUの符号化ストリームのシンタックスの一例を説明する。同図中、currCUSizeは符号化対象CUのサイズ1辺の画素数、関数codingunitは、の画素位置かつ、currCUSizeが示すサイズのCUの符号化シンタックスを示している。なお、PicWidthはピクチャ幅画素数、PicHeightはピクチャ高画素数、MinCUSizeはCUの最小サイズである。usepredsplitflagは、現LCUに対し、予測したCU分割パターンを適用するか否かで示される1ビットのフラグであり、現CUがLCUである場合にのみ格納されるL700。usepredsplitflagが1の場合には、predsplitflagをsplitflagに代入する。ここでpredsplitflagは、現CUを分割するか否かの予測値を示すフラグ、splitflagは現CUを分割するか否かを示すフラグであり、いずれも1ビットで表現される。すなわちusepredsplitflagが1の場合は、予測した分割パターンによって現CUを分割するため、splitflagの情報が不要となる。現CUを分割するか否かの予測方法は後述する。もしも、usepredsplitflagが0の場合には、splitflagの1ビットの情報を符号化ストリームに格納する。splitflagが1の場合、現CUは4分割される。この場合、分割CUのサイズsplitCUSizeは、現CUのサイズcurrCUSizeの12とし、横方向の分割位置x1と、縦方向の分割位置y1とをそれぞれ、x1x0splitCUSize、y1y0splitCUSizeとするL7203。そして、4つの分割CUCU0~CU3が、codingunitを再帰的に呼び出すことによって格納されるL704~L707。個々の4つの分割CU内でも、同様にusepredsplitflagかsplitflagによって、さらに分割を行うかどうか指定される。このような再帰呼び出しがCUサイズがMinCUSize以上である限り行われる。もしも、splitflagが0の場合には、このCUが符号化単位として確定し、符号化の主な処理である、予測処理の情報と、予測誤差の直交変換情報とが格納される。予測処理や直交変換処理の詳細については、省略する。<ブロック分割部の処理内容>次に、実施例1によるブロック分割部100の処理内容について説明する。ブロック分割部100は、ピクチャ内の各LCU内の分割パターンを、その周辺のCUサイズや前後のピクチャのCUサイズを用いて予測することにより決定する。1処理全体の概要図8は、ブロック分割部100の構成を示す図である。ブロック分割部100は、分割決定部800と分割予測部801とを有する。分割決定部800は、入力画像114を元に最適なブロック分割パターンを決定する。そして、分割予測部801で予測されたブロック分割パターンと、最適なブロック分割パターンとを比較し、予測されたブロック分割パターンを用いるか、別のブロック分割パターンを用いるかを決定する。2分割決定部の概要分割決定部800では、まず入力画像114を元に最適なCU分割パターンを決定する。本実施例では最適なCU分割パターンの決定方法は限定しないが、例えば特許文献1で示されるように、あるCUに対し、分割した場合の分散を計算し、閾値判定を行うことにより、分割するかしないかを決定していくことで最適な分割パターンを決定する方法をとることができる。もしくは多大な演算処理量を許容される場合には、全ての分割パターンで予測処理を行い、予測誤差が最小となるように、最適な分割パターンを決定してもよい。次に、分割予測部801で予測されたブロック分割パターンを評価し、予測されたCU分割パターンを分割パターンとするか、上記の最適な分割パターンを分割パターンとするかのいずれかを判定する。この判定方法の一例としては、予測ブロックのパターンと最適ブロックパターンとで、分割の有無が異なる場合、その分割CUの分散値を閾値評価し、分割するかしないかを決定することで、いずれかを選択するという方法が挙げられる。3分割予測部の詳細分割予測部801におけるCU分割予測処理について以下に説明する。図9は、分割予測処理の流れを示すフローチャートである。CUの分割パターンの予測方法としては、同一ピクチャ内の周囲の符号化済CUのサイズ情報を用いるイントラ分割予測と、前後のピクチャの符号化済CUのサイズ情報を用いるインター分割予測方法とに分けられる。図9においてステップS900にて分割予測処理を開始後、ステップS901にて、現在のピクチャがIピクチャか否かを判定する。もしも、Iピクチャであった場合、CUは全て、後述するイントラ分割予測処理を行うステップS902。もしも、Iピクチャ以外PピクチャやBピクチャであった場合は、後述する分割判定予測処理を行うかの判定を行うステップS903。ステップS903においてイントラ分割予測と判定された場合には、イントラ分割予測を行うステップS902。ステップS903において、インター分割予測と判定された場合には、インター分割予測を行いステップS905、分割予測処理を終了するステップS906。4イントラ分割予測ステップS902の詳細次に、図9中のステップS902における、イントラ分割予測処理について図10を用いて説明する。ステップS902における処理は、以下のフローが実行される。まず、LCUから分割判定処理を行う。このためステップS1001において現在のCUサイズcurrCUSizeをLCUのサイズに設定する。次に、currCUSizeであるCUの全てに対して、後述するイントラ分割判定処理ステップS1003を行う。その後、currCUSizeを12にするステップS1004。もしも、currCUSizeがCUの最小サイズMinCUSizeよりも大きければステップS1005、ステップS1002に戻り、全てのcurrCUSizeのサイズのCUに対して後述するイントラ分割判定処理ステップS1003を行う。もしも、currCUSizeがCUの最小サイズMinCUSize以下であれば、これ以上の分割処理は行わず、イントラ分割予測処理を終了するステップS1006。次に図11と図12を参照して、イントラ分割判定処理ステップS1003の一例を説明する。図11は、本実施例1における符号化対象のCUと、イントラ分割判定処理を行うために参照されるCUの位置関係を示している。同図に示すように、符号化対象CUXの、左CU同図中A、上CU同図中B、左上CU同図中Cの3つの同一サイズのCUを参照し、符号化対象CUXの分割の有無を判定する。本実施例、ではこの符号化対象CUXの分割の有無を判定する方法として、左CU、上CU、左上CUがそれぞれ分割されているかの有無を判定し、多い方を符号化対象CUに適用する、という方法を採用したが、周囲の符号化済のCUの分割の有無を用いて判定を行うことができれば他の方法でもかまわない。図12を用いて、ステップS902におけるイントラ分割予測の具体例を説明する。まず、あるLCUとその周囲の同一サイズのCUすなわちLCUが、同図Aで示される分割状態であり、LCUSize32、MinCUSize8であるとした。図12Aの場合、符号化対象CUの左と左上のLCUが分割され、上のLCUが分割されていない。そこで上記で述べた多数決により、符号化対象CUを分割する同図B。CUサイズが32のCUはLCU唯一であるため、currCUSizeを12してcurrCUSize16とする。currCUSize16はMinCuSize8よりも大きいため図10中ステップS1005、CUサイズが16のCUの処理を開始する図10中ステップS1002、S1003。図12Bにて、分割された符号化対象CUの左上CUCUサイズ16を次の符号化対象CUとする。図12Cにて、符号化対象CUは、左CUと左上CUとが分割されているので、多数決により、分割すると判定されている。そして、符号化対象CUをラスタスキャン順で右に移動する。次に、図12Dにて、符号化対象CUは、左CUが分割され、左上CUと上CUとは分割されていないため、多数決により、分割しないと判定されている。そして、符号化対象CUをラスタスキャン順で左下に移動する。次に図12Eにて、符号化対象CUは、左CUが非分割、左上CUと上CUとは分割されているため、多数決により、分割すると判定されている。そして、符号化対象CUをラスタスキャン順で右下に移動する。次に図12Fには、符号化対象CUは、左CUと左上CUとが分割され、上CUが非分割であるため、多数決により、分割すると判定されている。CUサイズが16のCUはこれ以上存在しない図10中ステップS1002ため、currCUSizeを12してcurrCUSize8とする。currCUSize8はMinCuSize8と等しいため図10中ステップS1005、イントラ分割予測処理を終了する。以上のような流れにより、イントラ分割予測処理により、符号化対象LCUの周囲のLCUのサイズ情報から、符号化対象LCUの分割パターンを予測することができる。上記の例は、符号化対象LCUの左、左上、上の3つのCUが全て存在する場合について説明したが、ピクチャ境界やスライス境界では、上記のイントラ分割予測のために3つ全てのCUが参照することができない場合がある。図13は、ピクチャ境界やスライス境界においてイントラ分割予測のために用いるLCUを説明するための図である。ここでは、スライスとは連続するLCUの集合であり、異なるスライスに跨って予測をしないこととした。ただし、必ずしも跨って予測をしてはいけないわけではない。図13中、Pで示される位置左、上、左上にLCUが無い場合のLCUは、左LCU、上LCU、左上LCUのいずれも存在しない。このためPの位置のLCUではイントラ分割予測は行わない。図13中、Qで示される位置上のLCUが無い場合のLCUは、上LCUと左上LCUが存在しない。このためQの位置のLCUでは左LCUの分割パターンのみを用いてイントラ分割予測を行う。図13中、Rで示される位置左、上、左上のいずれにもLCUが無い場合のLCUは、左LCUと左上LCUが存在しない。このためRの位置のLCUでは上LCUの分割パターンのみを用いてイントラ分割予測を行う。図13中、Sで示される位置のLCUは、左上LCUが存在しない。このためSの位置のLCUでは左LCUと上LCUの分割パターンを用いてイントラ分割予測を行う。ただし、LCUの左上に位置するCUCUサイズはLCUSize2では、上LCUと左LCUの2つしか参照できないため、双方の分割パターンが異なる場合には多数決をとることができない。このような場合には、どちらの分割パターンを用いるかを予めルール付けしておく本実施例では、左LCUを優先する。5分割予測方法判定ステップS903の詳細次に、図9中のステップS903における、分割予測方法判定処理について説明する。ステップS903における処理は、以下のような流れで実行される。図14は、分割予測方法判定ステップS903処理の流れを示すフローチャートである。あるLCUの分割予測方法判定処理が開始されるとステップS1400、まず、このLCUに隣接する全てのCUの予測モード情報を取得する。図15は、予測モード情報の取得処理を説明するための図である。同図中、イントラ予測が行われているCUは‘I’、前方向のインター予測が行われているCUは‘P’、双方向のインター予測が行われているCUは‘B’と記されている。これらのCUのサイズは異なっていても良いが、予測モードの数をカウントする際には同じCUサイズに換算してカウントする。例えば、同図中では、8画素×8画素のCUではIが1つ、Pが2つ存在する。16画素×16画素のCUではPが2つ、Bが1つ存在する。このようにCUサイズが異なる場合は、8画素×8画素のCUの数に換算し、16画素×16画素のCUの2つのPは、8画素×8画素のCUでは4つのPと換算する。同様に、16画素×16画素のCUの1つのBは、8画素×8画素のCUでは2つのBと換算する。次に、図14中、ステップS1402においてインター予測モード数とイントラ予測モード数の比較を行う。上記の例では、IのCUがイントラ予測モード、P、及びBのCUがインター予測モードであるため、インター予測モード数が8、イントラ予測モード数が1と得られる。そして、ステップS1402にて、イントラ予測モード数がインター予測モード数以上であれば、分割予測方法として、イントラ分割予測を選択するステップS1403。イントラ予測モード数がインター予測モード数未満であれば、分割予測方法として、インター分割予測を選択するステップS1404。すなわち、分割予測方法判定処理ステップS903においては、周囲のCUがイントラ予測モードが選択されているか、インター予測モードが選択されているかの情報を収集し、多い方の予測モードに合わせて、分割予測方法を選択している。ただし、上記の選択方法は一例であり、周囲のCUの情報を参照して、符号化対象LCUの分割予測方法を決めることができれば、他の選択方法でもよい。また、周囲のCUの情報のみならず、前後のピクチャのCUの情報を参照して、符号化対象LCUの分割予測方法を決めてもよい。6インター分割予測ステップS905の詳細次に、図16を用いて、図9中のステップS905における、インター分割予測処理について説明する。ステップS905における処理は、以下のフローで実行される。まず、LCUから分割判定処理を行う。このためステップS1601において現在のCUサイズcurrCUSizeをLCUのサイズに設定する。次に、currCUSizeであるCUの全てに対して、後述するインター分割判定処理ステップS1603を行う。その後、currCUSizeを12にするステップS1604。もしも、currCUSizeがCUの最小サイズMinCUSizeよりも大きければステップS1605、ステップS1602に戻り、全てのcurrCUSizeのサイズのCUに対して後述するインター分割判定処理ステップS1603を行う。もしも、currCUSizeがCUの最小サイズMinCUSize以下であれば、これ以上の分割処理は行わず、インター分割予測処理を終了するステップS1606。次に、図17を参照して、インター分割判定処理ステップS1603の一例を説明する。同図では符号化対象LCUにおいて、周囲の符号化済の動きベクトルを基に符号化対象LCUの動きベクトルを予測し、この予測された動きベクトルをPMVと記している。同図では、矢印が動きベクトルを表しており、矢印に括弧で付記されたFは前方ピクチャを参照する動きベクトル、Bは後方ピクチャを参照する動きベクトルであることを表す。なお、同図では、CU内部のインター予測処理においては、CUをさらに縦横比で2×2、2×1、1×2の予測単位に分割し、個々の予測単位にて動きベクトルを設定できるようになっている。ただし、この予測単位の分割の規則は一例である。同図では、CU、CU、CUは8画素×8画素の予測単位で動きベクトルが設定されている。CUは8画素×16画素の予測単位で前ピクチャを参照する動きベクトルが設定されている。CUは16画素×16画素の予測単位で双方向予測が行われており、前方ピクチャを参照するベクトルと、後方ピクチャを参照するベクトルとが設定されている。同図に示すような周囲CUの動きベクトルから、符号化対象LCUの動きベクトルを予測する方法の一例としては、周囲CUの動きベクトルのうち、前方参照か後方参照かのいずれかの参照方向を選択し、選択された参照方向の動きベクトルの中央値を予測値とする方法が挙げられる。すなわち、同図の例では、Pと記された前方ピクチャ参照の動きベクトルの方が多いため、PMVとしては前方ピクチャ参照方向と選択する。そして、CU、CU、CU、CU、CUの前方ピクチャを参照する動きベクトルの全てのうち、その中央値をPMVとする。すなわち、全ての動きベクトルのX成分の中央値と、Y成分の中央値との組をPMVとする。この際、動きベクトルの予測単位のサイズを考慮してもよい。すなわちCUからCUは8画素サイズの予測単位で符号化対象LCUに隣接しているが、CUは16画素サイズの予測単位で符号化対象LCUに隣接している。このため、CUにおける動きベクトルは、8画素サイズの予測単位の動きベクトルが2個存在するものと解釈してもよい。上記の例では、中央値によってPMVを決定したが、例えば、全ての動きベクトルの平均を求め、これをPMVとしてもよい。PMVの決定方法としては周囲の符号化済CUの動きベクトルから一意に求めることができる方法であれば、他の方法を用いてもよい。同図は、上記のように決定された符号化対象LCUのPMVを用いて、符号化対象LCUの分割を行うか否かを予測する方法の一例を示している。同図では、LCUの中心座標をとし、位置からPMVの分だけ移動した位置以降、参照位置と記すの、参照ピクチャ上の位置の画素が含まれるCUのサイズを参照する。この参照位置のCUサイズが、符号化対象のCUのサイズよりも小さければ分割すると判定する。参照位置のCUサイズが、符号化対象のCUのサイズ以上であれば分割しないと判定する。同図では現ピクチャのLCUの参照位置は、参照ピクチャ上ではLCUサイズよりも小さいサイズに分割されている同図中、濃いグレーの部分。このため符号化対象LCUを分割する、と判定する。なお、参照ピクチャにおけるCUサイズ情報は、ブロックサイズ格納部116に格納されている。図18を参照して、分割されたCULCUよりも小さいサイズのCUについて、インター分割判定処理ステップS1603を適用する場合の一例を説明する。同図の例では、上記で決定された符号化対象LCUのPMVを用いて、個々の分割CUの、PMVによる参照位置のCUサイズを参照して、個々のCUをさらに分割するか否かを決定する。すなわち個々の分割CUの中心座標をそれぞれ、、、とし、それぞれの中心座標からPMVだけずれた参照位置のCUサイズを参照し、上記のLCUにおける判定と同様に、個々の分割CUをさらに分割するか否かを判定する。もしも、上記PMVによる参照位置がピクチャの外部を示している場合には、近傍の画素位置に置き換えればよい。例えば、参照位置のX座標が0未満、もしくは最大値以上であれば、参照位置のX座標をそれぞれ0、もしくはPicWidth1と置き換えればよい。同様に、参照位置のY座標が0未満、もしくは最大値以上であれば、参照位置のY座標をそれぞれ0、もしくはPicHeight1と置き換えればよい。以上により、インター分割予測ステップS905では、隣接する符号化済みCUの動きベクトル情報を参照して符号化対象LCU内部の分割パターンを予測する。なお、上記で述べた予測方法は一例であり、隣接する符号化済みCUの動きベクトル情報を用いた予測方法であれば、適用可能である。また、動きベクトルをゼロとみなし、符号化対象CUと同一な参照位置におけるCUサイズを参照してもよい。以上により、本実施例による画像符号化装置におけるブロック分割部100では、周囲のCUや参照ピクチャ上のCUの情報を参照して、符号化対象LCUの分割パターンを予測し、この予測パターンにより符号化対象LCUが分割されている場合には、その旨を示すフラグ情報のみを符号化ストリームに格納する。これにより、符号化対象LCUの分割パターン情報を削減することで、圧縮率の向上が実現できる。<画像復号化装置の構成>図19は、実施例1の画像復号化装置の概略構成を示す図である。図19において、画像復号化装置は、符号化ストリーム1900を入力とし、これを復号する可変長復号化部1901と、CUサイズ格納部1903に格納される符号化済みCUサイズ情報を基に符号化対象CUのCUサイズを予測し、CUサイズを決定するブロック分割部1902と、前記CU内の、変換量子化された予測誤差画像を逆量子化する逆量子化部1904と、逆量子化部1904で逆量子化されることで得られた変換された予測画像を逆変換して予測誤差画像を出力する逆変換部1905と、予測画像格納部1910に格納される予測画像と、逆変換部1905から出力される予測誤差画像とを加算する加算器1906と、加算結果の画像に対してデブロック処理を行うデブロック処理部1907を有し、出力画像1913を出力する。実施例1の動画像復号化装置は、上記の予測画像を生成するために、2系統の予測処理系統を有する。第一の系統はイントラ予測によるもので、CU単位で逐次格納される復号済みCUの画像信号デブロック処理前を用いてイントラ予測を行うイントラ予測部1908を有する。第二の系統はインター予測によるもので、出力画像を格納する参照画像格納部1911と、参照画像格納部1911に格納される参照画像と、可変長復号部1901で復号された動きベクトルを用いて動き補償を行い、インター予測画像を得る、インター予測部1912を有する。予測選択部1909では、可変長復号化部1901で復号された予測モード情報に従い、上記の2系統のうちのどちらかで生成された予測画像を選択し、予測画像格納部1909に格納する。<CU分割部の処理内容復号化側>以下、図面を参照して画像復号化側のCU分割部1902の処理内容について説明する。図20は、CU分割部1902の内部構成を示す図である。分割決定部2000は、可変長復号部1901で復号されたCU分割情報に基づいて、符号化対象LCU内の分割パターンを決定する。CU分割情報の具体例としては、図7におけるusepredsplitflagとsplitflagの情報が挙げられる。もしも、usepredsplitflagが0の場合は、splitflagの情報に従い、splitflagが1のときは符号化対象CUを分割する、splitflagが0のときは符号化対象CUを分割しない。もしも、usepredsplitflagが1の場合は、分割予測部2001にて符号化対象CUの分割パターンを予測する。分割予測部2001における処理内容は、符号化装置における分割予測部801と同様であるため、説明を省略する。また、CUサイズ格納部1903も、符号化装置におけるCUサイズ格納部116と同様の機能を有する。可変長復号化部1901では、分割決定部2000にて決定された分割有無パターンに基づいて符号化対象CUの可変長復号処理を行う。以上により、本実施例による画像復号化装置におけるCU分割部1902では、符号化ストリームのフラグ情報に従い、周囲のCUや参照ピクチャ上のCUの情報を参照して、符号化対象LCUの分割パターンを予測する。これにより符号化ストリーム中における符号化対象LCUの分割パターン情報を削減できるため、圧縮率の向上が実現できる。本発明の実施例2による画像符号化装置では、符号化対象LCUの分割パターンを予測する際、イントラ分割予測を行うか、インター分割予測を行うかの情報を符号化ストリーム中に含める点が実施例1と異なる以外は、実施例1と同様である。図21に示す符号化ストリームでは、実施例1の符号化ストリームと比べ、useintrasplitpredflagの1bit情報が付与されており、このuseintrasplitpredflagが1の場合は、イントラ分割予測を行う、useintrasplitpredflagが0の場合は、インター分割予測を行うことを意味する。また、実施例2による画像復号装置では、実施例1におけるCU分割部1902内の分割予測部2001においては、useintrasplitpredflagのフラグに従ってイントラ分割予測とインター分割予測処理を切り替えればよい。このため、実施例1と比べて、図14で示される分割予測方法判定処理を簡略化しながらも、同様な情報量削減を実現できる。実施例2による画像符号化装置は、実施例1と同様な分割予測方法判定処理図14を行い、符号化ストリーム中のuseintrasplitpredflagに判定結果を格納すればよい。<まとめ>以上のように、符号化対象CUに隣接する符号化済みCUのサイズ情報や、前後の符号化済みCUのサイズ情報を基に符号化対象CUのCUサイズを予測し、符号化対象CUのサイズが予測したサイズと一致した場合には、画像符号化装置はCUのサイズ情報を送らずに、画像復号化装置で同様の予測処理を行うことによりCUサイズを復元することにより、情報量を削減することができる。なお、実施例1、実施例2の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ又はCPUやMPUが記憶媒体に格納されたプログラムコードを読み出し、システムや装置の制御部と協調することにより機能を実現する。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOSオペレーティングシステムなどが実際の処理の一部又は全部を行い、その処理によって前述した機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。また、前述した機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ又はCPUやMPUが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。