"動画像を構成する各ピクチャを予測符号化する予測符号化装置であって、符号化対象画像に対して所定のブロック単位毎に予測処理を行う予測処理手段と、前記予測処理手段における予測処理の結果を直交変換し、量子化して多値データを生成する変換手段と、前記多値データを、2値化データに変換する2値化手段と、前記2値化データの量を検出する検出手段と、前記2値化データを算術符号化して符号化データを生成する符号化手段と、前記符号化データに、前記検出手段によって検出された2値化データの量を示す情報を多重化して符号化データストリームを生成する多重化処理手段とを備えることを特徴とする予測符号化装置。前記2値化データの量は、前記符号化対象画像を構成するスライス毎のデータ量であることを特徴とする請求項1に記載の予測符号化装置。前記多重化処理手段は、前記2値化データの量を、閾値と比較して前記2値化データの量が前記閾値よりも大きい場合に、当該2値化データの量を示す情報を多重化することを特徴とする請求項1又は2に記載の予測符号化装置。前記多重化処理手段は、前記符号化対象画像が、前記予測処理手段により他の符号化対象画像の予測処理において参照画像として用いられた場合に、前記符号化対象画像についての前記2値化データの量を示す情報を多重化することを特徴とする請求項1乃至3のいずれか1項に記載の予測符号化装置。前記多重化処理手段は、前記2値化データの量を示す情報を、複数ピクチャ分まとめて、符号化データストリームの先頭の所定ピクチャのアクセスユニットに多重化することを特徴とする請求項1乃至4のいずれか1項に記載の予測符号化装置。動画像を構成する各ピクチャを予測符号化する予測符号化装置の制御方法であって、予測処理手段が、符号化対象画像に対して所定のブロック単位毎に予測処理を行う予測処理工程と、前記予測処理工程における予測処理の結果を、変換手段が直交変換し、量子化して多値データを生成する変換工程と、2値化手段が、前記多値データを2値化データに変換する2値化工程と、検出手段が、前記2値化データの量を検出する検出工程と、符号化手段が、前記2値化データを算術符号化して符号化データを生成する符号化工程と、多重化処理手段が、前記符号化データに、前記検出工程において検出された2値化データの量を示す情報を多重化して符号化データストリームを生成する多重化処理工程とを備えることを特徴とする予測符号化装置の制御方法。コンピュータを請求項1乃至5のいずれか1項に記載の予測符号化装置の各手段として機能させることを特徴とするプログラム。しかしながら、提案方法では、以下の2つの点に起因して、本来の符号化条件に対して画質低下が懸念される。1本来適用したい符号化条件で符号化した直交変換後の変換係数値に対して加工を行う点2評価値が最小となる動きベクトルで符号化した場合より、2値化データ量が少なくなるような動きベクトルを適用する点また復号処理を考えた場合、2値化データ量は算術復号処理後に得られる情報であるため、ワーストケースを想定して実際に発生する2値化データ量よりも大きい、冗長なメモリ領域を用意しなければならない状況が想定される。一方、ワーストケースを想定せずに限定的サイズのメモリ領域を構成した場合、メモリ領域がオーバーフローして復号化処理が破綻してしまうおそれがある。よって、符号化時に画質を低下させず、かつ、復号化装置側で算術復号化前に最適な2値化メモリ領域を配置して冗長なメモリ領域を不要とし、2値化メモリ領域のオーバーフローによる復号化処理の破綻を未然に防止可能な技術が望まれる。上記課題を解決するための本発明は、動画像を構成する各ピクチャを予測符号化する予測符号化装置であって、符号化対象画像に対して所定のブロック単位毎に予測処理を行う予測処理手段と、前記予測処理手段における予測処理の結果を直交変換し、量子化して多値データを生成する変換手段と、前記多値データを、2値化データに変換する2値化手段と、前記2値化データの量を検出する検出手段と、前記2値化データを算術符号化して符号化データを生成する符号化手段と、前記符号化データに、前記検出手段によって検出された2値化データの量を示す情報を多重化して符号化データストリームを生成する多重化処理手段とを備える。本発明では、符号化時に画質を低下させず、かつ、復号化装置側で算術復号化前に最適な2値化メモリ領域を配置して冗長なメモリ領域を不要とし、2値化メモリ領域のオーバーフローによる復号化処理の破綻を未然に防止可能な技術を提供できる。以下、図面を参照しながら本発明の実施の形態を説明する。[実施形態1]例えばMPEG-4AVCISO/IEC14496-10方式によって、動画像を構成する各ピクチャを予測符号化する本発明の実施形態に係る予測符号化装置の構成及び処理の流れについて、図1のブロック図を参照しながら説明を行う。本実施形態に係る予測符号化装置100は、符号化対象画像を例えば8×8画素や16×16画素のブロックに分割した所定のブロック単位毎例えばマクロブロック単位毎に処理する。図1の予測符号化装置100において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPUが実行することにより、ソフトウェア的に構成されてもよい。まず予測方法決定部101は、符号化対象画像内の各マクロブロックに対する予測方法を決定する処理部である。入力される符号化対象画像と、符号化済み画像を格納するメモリ103から読み出した符号化済み画像から、簡易的な画面内予測又は動き検出を含む画面間予測処理を行って符号化効率を示す評価値を算出する。そして、算出した符号化効率が最適となる予測方式を決定する。このとき、符号化対象マクロブロックがIスライスの場合は、予測画素ブロックサイズ及び予測モードを決定する。また、Pスライス又はBスライスの場合、画面内予測又は画面間予測のうち、符号化効率の高い方を選択する。画面内予測の場合、画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。一方の画面間予測の場合、参照画像フレーム、マクロブロック分割パターン、動きベクトル等の画面間予測符号化用パラメータを決定する。予測処理部102は、予測方法決定部101により指定された予測符号化用パラメータに応じて、メモリ103から読み出した符号化済み画像から予測画像を生成する。予測画像は局所復号化部105へ出力されると共に、符号化対象のマクロブロックと予測画像との差分となる予測残差信号を生成し、直交変換量子化部104へ出力する。直交変換量子化部104は、指定された画素ブロック単位8×8画素、4×4画素等のブロック単位に整数精度離散コサイン変換及び、離散アダマール変換による直交変換処理を行う。離散アダマール変換は、16×16画素ブロック単位で画面内予測処理が行われた輝度信号又は、色差信号に対して各画素ブロックを整数精度離散コサイン変換した結果のDC直流成分に対してのみ行われる。直交変換された変換係数は、後述する符号量制御部106により、指定された量子化パラメータに応じた量子化ステップで量子化される。得られた量子化データは、エントロピー符号化部107へ出力される。量子化データは同時に、局所復号化部105へ入力され、局所復号化部105で量子化データに対して逆量子化処理、逆直交変換処理逆離散アダマール変換及び逆整数精度離散コサイン変換を行う。そして、得られたデータに対して予測処理部102から入力される予測画像を加算して復号化処理を行う。こうして復号化されたデータは、メモリ103で保持する。メモリ103で保持された復号化データは、以降の画面内予測処理に利用される。更にデブロッキングフィルタ処理が施された復号化データをメモリ103へ保持する。メモリ103が保持したデブロッキングフィルタ処理後の復号化データは、以降の画面間予測処理で利用される。エントロピー符号化部107は、入力データに対してスライス単位にCABACコンテキスト適応型2値算術符号化によるエントロピー符号化処理を行う処理部である。エントロピー符号化部107において、2値化部107aは入力される多値データを2値化データへ変換する。2値化データメモリ107bは、2値化部107aが生成した2値化データを格納する。コンテキスト計算部107cは、2値化データの発生確率をコンテキストに応じて計算し、保持する。算術符号化部107dは、コンテキスト計算部107cにより供給される発生確率に応じて算術符号化を行う。なお、2値化データ量検出部107eは、2値化部107aが生成して、2値化データメモリ107bに格納された2値化データをカウントすることによって、スライス単位に発生した2値化データの量を検出する。算術符号化部107dで符号化されたデータと、2値化データ量検出部107eで検出された2値化データの量を示す情報2値化データ情報は、ピクチャ単位毎に多重化処理部108へ供給される。なお2値化データ情報は、ピクチャのシーケンス先頭からの符号化順でのピクチャカウント数、参照画像であるかどうかを示す情報refpicflag、及びピクチャを構成するスライス数とスライス単位での2値化データ量を示す情報で構成される。なお、参照画像であるかどうかとは、他の符号化対象画像を動き補償予測符号化する際に用いられたかどうか、を意味し、係る情報は、予測方法決定部101から得られる。符号量制御部106は、符号化ピクチャバッファCPBをオーバーフロー、又はアンダーフローさせないように符号化データの符号量を制御する処理部である。エントロピー符号化部107から供給されるエントロピー符号化後の発生符号量を元に量子化パラメータを生成し、直交変換量子化部104へ供給する。多重化処理部108は、生成した符号化ストリームを符号化データとして出力する。多重化処理部108において、システム情報生成部108aは符号化データに関するシステム情報を生成する。復号化補助情報生成部108bは、符号化データに対する付加情報となる復号化補助情報を生成する。ストリーム生成部108cは、生成されたシステム情報、復号化補助情報、及び、符号化データを所定の単位でパケット化し、符号化データストリームとして出力する。以上の処理部により予測符号化装置100が構成されている。上記構成において、エントロピー符号化部107の2値化部107aが生成する2値化データは、エントロピー符号化過程で発生する中間的な符号化データであり、そのデータを格納するための2値化データメモリ107bを必要とする。一方、復号化装置側を考えた場合も同様に算術復号化後の中間的な符号化データとなる2値化データが発生するため、2値化データメモリが必要となる。しかしながら、この中間的に発生する2値化データ量は、最終的な符号化データからは得ることができないため、復号化装置側では、符号化単位スライスの算術復号化が完了した時点で初めて2値化データの発生量を知ることになる。よって、算術復号化前に実際に発生する2値化データ量となる最適な2値化データメモリを確保することが極めて困難である。そのため、予めワーストケースを想定した2値化データメモリを確保しておく必要がある。本実施形態では、復号化装置側で復号化前に2値化データ量を得られるようにするために、多重化処理部108は、エントロピー符号化部107から供給される2値化データに関する情報を復号化補助情報として符号化データに多重化する。以下に復号化補助情報生成部108bで生成される復号化補助情報について説明を行う。まず、MPEG-4AVCでは、様々なネットワークでの利用が考慮されているため、以下の2つの階層が規定されている。映像符号化処理を扱うビデオ符号化層VCLVideoCodingLayer実際の伝送蓄積のシステムとの間にネットワーク抽象化層NALNetworkAbstractionLayerこのうちNALは、図2Aに示すように、NALヘッダとRBSPRowByteSequencePayloadから構成されるNALユニットと呼ばれる単位でパケット化される。NALヘッダは、NALユニットの種類と参照画像かどうかを識別するのに用いられる。nalrefidcの値が00であれば参照画像ではなく、それ以外の場合、参照画像であることを示す。RBSPは、符号化データの実体を格納する。NALユニットの種類は、図2Bに示す通りであり、識別番号に基づいて識別され、以下のようなものが含まれる。映像符号化データスライス映像符号化データのシーケンスに関する情報であるSPSSequenceParameterSet映像符号化データのピクチャに関する情報であるPPSPictureParameterSet映像符号化データの付加情報であるSEISupplementalEnhancementInformationこれらのNALユニットをピクチャ単位にまとめた単位をアクセスユニットと呼ぶ。図2Cに示すようにアクセスユニットの先頭には、アクセスユニット内のピクチャタイプを識別可能な情報を含むAUDアクセスユニットデリミター、Accessunitdelimiterと呼ばれるNALユニットが位置する。それに続いて、SPS、PPS、スライスデータなどのピクチャに必要なNALユニット群で構成される。上記のNALユニットのうち、SPS、PPSは、システム情報生成部108a、SEIは、復号化補助情報生成部108bで生成される。アクセスユニットの構成は、ストリーム生成部108cで行われる。ここで、多重化処理部108は、まずエントロピー符号化部107からピクチャ単位に入力される2値化データ情報から、復号化補助情報をSEIとして生成する。SEIには、ユーザー定義のシンタクスを使用可能なuserdataSEIが用意されている。userdataSEIには更に、userdataunregisteredSEIとuserregisteredbyITUTRecomendationT35SEIの2種類が定義されている。ここではuserdataunregisteredSEIを利用して復号化補助情報を多重化するものとし、図3AにuserdataunregisteredSEIのシンタクスを示す。図3Aにおけるシンタクス要素のうち、userdatapayloadbyte領域に2値化データ情報を格納することが可能である。また、userdataunregisteredSEIに2値化データ情報が格納されていることを、uuidisoiec11578領域によりUUIDで識別できるようにしておく。userdatapayloadbyte領域に格納するための2値化データ情報をbininfo、そのSEIをbininfoSEIと呼ぶものとし、そのシンタクスの定義を図3Bに示す。picposは、bininfoに対応するピクチャ位置を示す情報であり、シーケンス先頭からの符号化順復号化装置側では復号化順、即ちデコーディングオーダでのピクチャカウント数が格納される。numsliceは、ピクチャを構成するスライス数を示す。続いてnumsliceで示されるスライス数に対応するスライス毎の2値化データ量キロビットがbinsizeとして格納される。なお、2値化データ量は、ピクチャ単位のデータ量として格納されていてもよい。以上のシンタクスに従って、復号化補助情報生成部108bは、エントロピー符号化部107から入力される2値化データ情報を元に上記のbininfoSEIを生成し、ストリーム生成部108cにてアクセスユニットに多重化される。上記のようにbininfoSEIを多重化した1ピクチャ4スライスで符号化した符号化データの例を図4A及び図4Bに示す。図4Aは、ピクチャ単位にbininfoSEIを多重化した例であり、代表してI0及びB6の各ピクチャに付加されたSEIの内容を示している。ピクチャI0は、符号化順で先頭となるため、picpos=0であり、1ピクチャ4スライスで符号化されているため、numslice=4となる。続いてピクチャに含まれている各スライスの2値化データ量がbinsize0からbinsize3まで、4スライス分格納されている。ピクチャB6は、符号化順で11ピクチャ目となるため、picpos=10であり、ピクチャI0と同様に4スライスで符号化されているため、numslice=4となる。また、スライス毎の2値化データ量が、binsize0からbinsize3まで4スライス分格納されている。図4Aは、アクセスユニット毎にbininfoSEIを多重化している例を示しているが、図4Bに示すように符号化データストリームの先頭の所定ピクチャのアクセスユニットに、その符号化データストリームの各ピクチャのSEIをまとめて多重化するようにしても良い。例えば、符号化データストリームの先頭のIピクチャのアクセスユニットに複数ピクチャ例えば、1GOP分、1動画ファイル分のbininfoSEIを纏めて多重化しても良い。このように多重化することで、復号化装置側で先行して複数ピクチャ分のbininfoSEIを取得することが容易になる。以上のように多重化したbininfoSEIは、復号化装置側で以下に示すような場合に有効となる。共有メモリ内に2値化データメモリ領域を動的に配置可能な機構を持つ復号化装置を考えた場合、MPEG-4AVC規格で規定された上限となる2値化データ発生量を考慮して2値化データメモリ領域を配置することが想定される。しかしながら2値化データ量が規格で規定された上限近くまで発生する頻度は低く、多くの場合は、復号化処理に対して冗長なメモリ領域を2値化データメモリ領域に割り当てていると考えられる。例えば、符号化データにおける各ピクチャの2値化データ量が図5Aに示すグラフのように遷移していたとし、復号化装置側では、グラフの破線で示すメモリサイズの領域を配置していたとする。この場合、復号化装置側では復号化の過程でグラフの斜線で示される領域501は未使用な冗長なメモリ領域となる。そこで、bininfoSEIを利用することによりグラフに示す2値化データ量の遷移も把握できるため、図5Bに示すように各ピクチャに対応した最適な2値化メモリ領域を配置することが可能となる。結果として、冗長なメモリ領域を配置することなく空き領域を有効活用することが可能となる。また、符号化データにおける各ピクチャの2値化データが図6Aに示すグラフのように遷移していたとし、復号化装置側では、グラフの破線601で示すように規格で規定された上限を格納できないようなサイズのメモリ領域を配置していたとする。この場合、13枚目のピクチャで膨大な2値化データが発生し、算術復号化を実行中に2値化メモリ領域のオーバーフローさせる可能性がある。このような場合でも、bininfoSEIにより得られた値から、図6Bに示すように13枚目のピクチャの2値化データ量を格納可能なメモリ領域を事前に割り当てることができる。結果として、2値化データメモリ領域のオーバーフローを未然に防ぐことが可能となる。もちろん図5Bに示す例のようにピクチャ単位に最適値でメモリ領域を配置しても良い。また、仮にメモリ領域が拡張して配置できない場合には、13枚目のピクチャの復号化を事前にキャンセルし、他のピクチャへ置き換えるなどのエラー補間処理を実行してもよい。これにより、未然に2値化メモリオーバーフローを回避することにより復号化処理のリアルタイム性を保証することが容易になる。一方、2値化データ量はメモリ領域だけでなく算術復号化処理性能への影響も考えられる。一般にCABACにおける算術復号化は、最低でも2値化データの1binを処理するのにクロックの1サイクルを必要とすることが知られている。このためCABAC復号化処理の性能は、算術復号化処理部を駆動するクロック周波数に依存する。例えば、算術復号化処理部の駆動クロック周波数を動的に可変可能な復号化装置を考えた場合、通常は規格の上限となる2値化データ量の復号化を所定時間内に処理可能なクロック周波数で駆動させる必要が生じる。そこで、本発明による復号化補助情報を用いて復号化を行うことで、算術復号化を開始する前に2値化データ発生量を得ることができるため、算術復号化処理に必要な性能を予め算出することが可能となる。結果として、符号化データ毎に最適なクロック周波数で算術復号化処理部を駆動すれば良く、消費電力を抑えることが期待できる。また、算術復号化処理部の駆動クロック周波数が固定である復号化装置を考えると、膨大な2値化データが発生する符号化データに対しては、算術復号化処理性能を満たすことが困難な場合がある。その場合、算術復号化処理性能を超える2値化データが発生した時点で何らかのリカバリー処理が実行されるよう設計されることが想定される。しかしながら、この場合も同様に処理性能を超えたかどうかは算術復号化後に得られるため、算術復号化処理に要した時間をロスし、復号化処理のリアルタイム性を保証することが困難になる可能性が高い。このような場合でも、本発明による復号化補助情報を用れば、算術復号化を開始する前に2値化データ発生量を得ることができる。よって、算術復号化を開始する前に、算術復号化処理負荷の高いピクチャをスキップするなどの対応が可能となり、復号化処理のリアルタイム性を保証することが容易となる。図9に上述した予測符号化装置100で生成された符号化データを復号化可能な、本実施形態に係わる復号化装置900のブロック図を示す。図9において、CPU901は、復号化処理に必要とされる画像データ格納用バッファ及び符号化データ格納用バッファ等のワークメモリ領域をメモリ906上へ配置し、復号化装置900を構成する後述の各処理部を制御する。クロック生成部902は、復号化装置を構成する各処理部を駆動するためのクロック信号を生成し、各処理部へ供給する。尚、クロック生成部902で生成するクロック信号のクロック周波数は、CPU901によりプログラマブルに制御可能となっている。符号化データ入力部903は、入力された符号化データストリームに対してスタートコード0x000001によりNALユニットの先頭を検出し、NALユニットの種別を判定する。NALユニットは、入力された符号化データのシーケンスに関する情報であるSPSSequenceParameterSet、符号化データのピクチャに関する情報であるPPSPictureParameterSet、符号化データの付加情報であるSEISupplementalEnhancementInformation、そして映像符号化データスライス等が含まれる。種別を判定したNALユニットの内、SPS,PPS,SEI及びスライスヘッダからビットストリーム情報以下、SPS,PPS,SEI及びスライスヘッダを合わせてビットストリーム情報と呼ぶをCPU901へ通知し、スライスデータをエントロピー復号化処理部904へ送信する。エントロピー復号化処理部904は、CPU901から設定されたビットストリーム情報に基づき、エントロピー復号化を行い中間データとなる2値化データをメモリ906へ書き込む。メモリI/F部905は、各処理部からのメモリアクセス要求を調停し、メモリ906に対する読み出し書き込み制御を行う。メモリ906は、エントロピー復号化処理部904により復号化された2値化データと予測復号化処理部907により復元された画像データを格納するメモリであり、メモリI/F部905を介して各処理部により共有して使用される。予測復号化処理部907は、16×16画素ブロックから成るマクロブロック単位に予測復号化処理を行う処理部である。予測復号化処理部907は、2値化データを復号化する2値化データ復号化処理部と、画面内予測又は画面間予測による予測画像を生成する予測画像生成部と、逆量子化逆直交変換により残差信号を復元する逆変換処理部と、予測画像と残差信号を加算して画像データを復元する画像復号化処理部と、復号化された画像データへデブロッキングフィルタ処理を行うデブロッキングフィルタ処理部から構成されている。予測復号化処理部907は、まず始めに、CPU901から設定されたビットストリーム情報に基づき、メモリ906から2値化データを読み出す。そして、予測復号化に必要な画面内予測画像又は画面間予測画像の生成に必要な予測モード及び動きベクトル情報等を復元し、メモリ906から読み出した参照画像を元に予測画像を生成する。続いて、逆量子化逆直交変換処理により残差信号を復元し、予測画像と残差信号を加算して画像データを復元する。復元された画像データに必要に応じてデブロッキングフィルタ処理を施した画像データをメモリ906へ書き込む。映像データ出力部908は、予測復号化処理部907により復元された画像データをCPU901から指定された表示順でメモリ906から読み出し、垂直水平同期信号を付加して映像信号として出力する。以上のように構成される復号化装置900に対して、予測符号化装置100により生成した符号化データを入力した場合でも、CPU901では、2値化データ情報を含むSEI、即ちbininfoSEIを取得することで、2値化データの発生量を得ることが可能である。よって、前述したように映像復号化処理を実行する前に最適な2値化データ用バッファ領域をメモリ906へ配置することも、クロック生成部902に対して最適な周波数のクロック信号を生成することも可能である。[実施形態2]実施形態2の予測符号化装置は、実施形態1で示した予測符号化装置100と構成は同様であるので図1を流用するものとし、差分となる復号化補助情報生成部108bにおける復号化補助情報の生成方法について説明する。実施形態1では、ピクチャ毎にbininfoSEIを多重化する場合の例を示した。しかしながら、復号化装置側で想定している2値化メモリ領域よりも実際に発生する2値化データ量が少ない場合には、bininfoSEIは不要であると考えられる。また、一般に非参照画像よりも参照画像に対してより多くの符号量が割り当てられるため、参照画像でより多くの2値化データが発生する可能性が高く、非参照画像では、2値化データ量が少ないと考えられる。このことから、2値化データ量が所定閾値以上の場合、及び、符号化対象ピクチャが参照画像である場合の少なくともいずれかの場合にbininfoSEIを生成し多重化することが符号量の観点からも効率的である。そこで、2値化データ量に対する閾値を予めbinthrとして設定しておく。その上で、エントロピー符号化部107から多重化処理部108へ入力される2値化データ情報について、符号化対象画像が参照画像であるかどうかを示す情報がrefpicflagで示される。また、2値化データ量を示す情報をbincurとして、2値化データ量が所定閾値以上の場合で、かつ、符号化対象ピクチャが参照画像である場合にbininfoSEIを生成する。以下、本実施形態におけるbininfoSEIの生成方法を図7のフローチャートを参照して説明する。当該フローチャートに対応する処理は、例えば、多重化処理部108として機能するCPUが対応するプログラムROM等に格納を実行することにより実現できる。まず、エントロピー符号化部107から多重化処理部108へ2値化データ情報が入力されると、S701において復号化補助情報生成部108bは、refpicflagの値から符号化対象画像が参照画像であるかどうかを判定する。もし、refpicflagの値が1であり、符号化対象画像が参照画像である場合S701でYES、S702に移行する。S702では、復号化補助情報生成部108bが閾値binthrと入力2値化データ量bincurとを比較する。もしbincurがbinthr以上の場合S702でYES、S703で復号化補助情報生成部108bが入力2値化データ情報からbininfoSEIを生成する。また、ストリーム生成部108cは、当該bininfoSEIをアクセスユニットに多重化する。一方、符号化対象画像が参照画像でない場合S701でNOや、bincurがbinthrより小さい場合S702でNO、復号化補助情報生成部108bは復号化補助情報を生成しない。なお、上記では入力2値化データ量を符号化対象画像1ピクチャ分のデータ量として考えるが、スライス毎に比較を行ってもよい。その場合、いずれかのスライスのデータ量が閾値を超えた場合に復号化補助情報生成部108bが復号化補助情報を生成する。このように本実施形態では、復号化補助情報生成部108bが、符号化対象画像が参照画像であるかどうかの判定と、2値化データ量の判定とを行う。よって、参照画像で、かつ、2値化データ量が閾値以上の符号化対象画像についてのみbininfoSEIが生成される。これにより、冗長なbininfoSEIによるデータ量の増大を回避可能となる。なお、本実施形態では、符号化対象画像が参照画像であり、かつ、2値化データ量が閾値以上の場合を生成条件としたが、どちらか一方を満たせばbininfoSEI生成してもよい。また、本実施形態によれば、復号化装置側でも、多重化されているbininfoSEIがクリティカルな2値化データ量が発生するものとして判断し、復号化処理を行うことが可能となる。例えば、符号化データにおける各ピクチャの2値化データ量が図8Aに示すグラフのように遷移していたとする。斜線で示されたピクチャは参照画像であり、グラフの破線が2値化データ量に対して設定された閾値binthrとする。この場合、図7のフローチャートで示した方法により、参照画像且つ、binthr以上の2値化データが発生しているI0、P0及びP3ピクチャに対してbininfoSEIが多重化される。復号化装置側では、図8Bに示すようにI0、P0及びP3で受信したbininfoSEIに従ってメモリを配置することで容易に2値化データ領域を破綻させることなく復号化を行うことが可能となる。その他の実施例また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"