"動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する時間予測を行うか否かを制御する時間予測制御部と、前記時間予測制御部の制御に従って、前記注目領域の空間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する空間予測のみを行って、若しくは、前記空間予測および前記時間予測の両方を行って、前記注目領域の動きベクトルを予測し、その予測値を用いて前記注目領域の動きベクトルを符号化する動きベクトル符号化部とを備える画像処理装置。前記時間予測制御部は、前記注目領域の大きさに応じて前記時間予測を行うか否かを制御する請求項1に記載の画像処理装置。前記時間予測制御部は、前記注目領域の大きさが所定の閾値以下の場合、前記時間予測を行わないように制御する請求項2に記載の画像処理装置。前記閾値を設定する閾値設定部をさらに備え、前記時間予測制御部は、前記注目領域の大きさが、前記閾値設定部により設定された前記閾値以下の場合、前記時間予測を行わないように制御する請求項3に記載の画像処理装置。前記閾値設定部は、プロファイルレベルに応じて前記閾値を設定する請求項4に記載の画像処理装置。前記閾値を伝送する伝送部をさらに備える請求項3に記載の画像処理装置。前記時間予測制御部は、前記注目領域の動きベクトルの予測値として、前記時間予測により予測された前記注目領域の動きベクトルである時間予測動きベクトルが適用された回数によって、前記時間予測を行うか否かを制御する請求項1に記載の画像処理装置。前記時間予測制御部は、所定のデータ単位当たりの前記回数が所定の閾値に達した場合、前記時間予測を行わないように制御する請求項7に記載の画像処理装置。前記閾値を設定する閾値設定部をさらに備え、前記時間予測制御部は、所定のデータ単位当たりの前記回数が、前記閾値設定部により設定された前記閾値に達した場合、前記時間予測を行わないように制御する請求項8に記載の画像処理装置。前記閾値設定部は、プロファイルレベルに応じて前記閾値を設定する請求項9に記載の画像処理装置。前記閾値設定部は、前記所定のデータ単位の大きさに応じて前記閾値を設定する請求項9に記載の画像処理装置。前記所定のデータ単位は、LCULargestCodingUnitである請求項8に記載の画像処理装置。前記閾値は、予測方向毎に設けられ、前記時間予測制御部は、複数の予測方向の内、少なくともいずれか1つの予測方向において、所定のデータ単位当たりの前記回数が、前記予測方向用の閾値に達した場合、前記時間予測を行わないように制御する請求項8に記載の画像処理装置。前記閾値を伝送する伝送部をさらに備える請求項8に記載の画像処理装置。前記注目領域の空間方向の周辺領域の動きベクトルが全て利用不可であるか否かを判定する判定部と、前記時間予測制御部が前記時間予測を行うように制御するか否かに関わらず、前記判定部により前記注目領域の空間方向の周辺領域の動きベクトルが全て利用不可であると判定された場合、ゼロベクトルを前記注目領域の動きベクトルの予測値に設定する設定部とをさらに備える請求項1に記載の画像処理装置。前記動きベクトル符号化部は、前記空間予測のみを行って前記注目領域の動きベクトルを予測する場合、前記時間予測を除外した、前記予測値の種類を示すコードナンバの割当表を用いて前記予測値にコードナンバを割り当てる請求項1に記載の画像処理装置。前記コードナンバの割当表を伝送する伝送部をさらに備える請求項16に記載の画像処理装置。前記動きベクトル符号化部は、前記時間予測制御部により許可された場合、前記時間予測を行い、前記時間予測により予測された前記注目領域の動きベクトルである時間予測動きベクトルを生成する時間予測部と、前記空間予測を行い、前記空間予測により予測された前記注目領域の動きベクトルである空間予測動きベクトルを生成する空間予測部と、前記時間予測部により生成された前記時間予測動きベクトルと、前記空間予測部により生成された前記空間予測動きベクトルとの内、前記注目領域の動きベクトルにより近い方を、前記注目領域の動きベクトルの予測値とする予測動きベクトル生成部と、前記注目領域の動きベクトルと、前記予測動きベクトル生成部により生成された前記予測値との差分値を算出する差分値算出部とを備える請求項1に記載の画像処理装置。前記差分値算出部により算出された前記差分値を伝送する伝送部をさらに備える請求項18に記載の画像処理装置。画像処理装置の画像処理方法であって、前記時間予測制御部が、動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する時間予測を行うか否かを制御し、前記動きベクトル符号化部が、その制御に従って、前記注目領域の空間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する空間予測のみを行って、若しくは、前記空間予測および前記時間予測の両方を行って、前記注目領域の動きベクトルを予測し、その予測値を用いて前記注目領域の動きベクトルを符号化する画像処理方法。しかしながら、temporalpredictorが、特に画枠が大きくて、小さなPUが頻発する場合、メモリへのアクセス量が増大し、より多くのメモリバンド幅が必要になる恐れがあった。本開示は、このような状況に鑑みてなされたものであり、画像の符号化復号に関する処理の負荷の増大を抑制することを目的とする。本開示の一側面は、動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する時間予測を行うか否かを制御する時間予測制御部と、前記時間予測制御部の制御に従って、前記注目領域の空間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する空間予測のみを行って、若しくは、前記空間予測および前記時間予測の両方を行って、前記注目領域の動きベクトルを予測し、その予測値を用いて前記注目領域の動きベクトルを符号化する動きベクトル符号化部とを備える画像処理装置である。前記時間予測制御部は、前記注目領域の大きさに応じて前記時間予測を行うか否かを制御することができる。前記時間予測制御部は、前記注目領域の大きさが所定の閾値以下の場合、前記時間予測を行わないように制御することができる。前記閾値を設定する閾値設定部をさらに備え、前記時間予測制御部は、前記注目領域の大きさが、前記閾値設定部により設定された前記閾値以下の場合、前記時間予測を行わないように制御することができる。前記閾値設定部は、プロファイルレベルに応じて前記閾値を設定することができる。前記閾値を伝送する伝送部をさらに備えることができる。前記時間予測制御部は、前記注目領域の動きベクトルの予測値として、前記時間予測により予測された前記注目領域の動きベクトルである時間予測動きベクトルが適用された回数によって、前記時間予測を行うか否かを制御することができる。前記時間予測制御部は、所定のデータ単位当たりの前記回数が所定の閾値に達した場合、前記時間予測を行わないように制御することができる。前記閾値を設定する閾値設定部をさらに備え、前記時間予測制御部は、所定のデータ単位当たりの前記回数が、前記閾値設定部により設定された前記閾値に達した場合、前記時間予測を行わないように制御することができる。前記閾値設定部は、プロファイルレベルに応じて前記閾値を設定することができる。前記閾値設定部は、前記所定のデータ単位の大きさに応じて前記閾値を設定することができる。前記所定のデータ単位は、LCULargestCodingUnitであるようにすることができる。前記閾値は、予測方向毎に設けられ、前記時間予測制御部は、複数の予測方向の内、少なくともいずれか1つの予測方向において、所定のデータ単位当たりの前記回数が、前記予測方向用の閾値に達した場合、前記時間予測を行わないように制御することができる。前記閾値を伝送する伝送部をさらに備えることができる。前記注目領域の空間方向の周辺領域の動きベクトルが全て利用不可であるか否かを判定する判定部と、前記時間予測制御部が前記時間予測を行うように制御するか否かに関わらず、前記判定部により前記注目領域の空間方向の周辺領域の動きベクトルが全て利用不可であると判定された場合、ゼロベクトルを前記注目領域の動きベクトルの予測値に設定する設定部とをさらに備えることができる。前記動きベクトル符号化部は、前記空間予測のみを行って前記注目領域の動きベクトルを予測する場合、前記時間予測を除外した、前記予測値の種類を示すコードナンバの割当表を用いて前記予測値にコードナンバを割り当てることができる。前記コードナンバの割当表を伝送する伝送部をさらに備えることができる。前記動きベクトル符号化部は、前記時間予測制御部により許可された場合、前記時間予測を行い、前記時間予測により予測された前記注目領域の動きベクトルである時間予測動きベクトルを生成する時間予測部と、前記空間予測を行い、前記空間予測により予測された前記注目領域の動きベクトルである空間予測動きベクトルを生成する空間予測部と、前記時間予測部により生成された前記時間予測動きベクトルと、前記空間予測部により生成された前記空間予測動きベクトルとの内、前記注目領域の動きベクトルにより近い方を、前記注目領域の動きベクトルの予測値とする予測動きベクトル生成部と、前記注目領域の動きベクトルと、前記予測動きベクトル生成部により生成された前記予測値との差分値を算出する差分値算出部とを備えることができる。前記差分値算出部により算出された前記差分値を伝送する伝送部をさらに備えることができる。本開示の一側面は、また、画像処理装置の画像処理方法であって、前記時間予測制御部が、動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する時間予測を行うか否かを制御し、前記動きベクトル符号化部が、その制御に従って、前記注目領域の空間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する空間予測のみを行って、若しくは、前記空間予測および前記時間予測の両方を行って、前記注目領域の動きベクトルを予測し、その予測値を用いて前記注目領域の動きベクトルを符号化する画像処理方法である。本開示の一側面においては、動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて動きベクトルを予測する時間予測を行うか否かが制御され、その制御に従って、注目領域の空間方向の周辺領域の動きベクトルを用いて動きベクトルを予測する空間予測のみが行われ、若しくは、空間予測および時間予測の両方が行われて、注目領域の動きベクトルが予測され、その予測値を用いて注目領域の動きベクトルが符号化される。本開示によれば、画像を処理することができる。特に、画像の符号化復号に関する処理の負荷の増大を抑制することができる。以下、本開示を実施するための形態以下実施の形態とするについて説明する。なお、説明は以下の順序で行う。1.第1の実施の形態領域サイズによる時間予測制限2.第2の実施の形態時間予測動きベクトル数による時間予測制限3.第3の実施の形態空間周辺動きベクトルの利用可否による制御4.第4の実施の形態予測動きベクトル確認5.第5の実施の形態コンピュータ6.第6の実施の形態テレビジョン受像機7.第7の実施の形態携帯電話機8.第8の実施の形態記録再生装置9.第9の実施の形態撮像装置<1.第1の実施の形態>[画像符号化装置]図1は、画像処理装置である画像符号化装置の主な構成例を示すブロック図である。図1に示される画像符号化装置100は、例えばH.264及びMPEGMovingPictureExpertsGroup4Part10AVCAdvancedVideoCoding符号化方式のように、予測処理を用いて画像データを符号化する。図1に示されるように画像符号化装置100は、AD変換部101、画面並べ替えバッファ102、演算部103、直交変換部104、量子化部105、可逆符号化部106、および蓄積バッファ107を有する。また、画像符号化装置100は、逆量子化部108、逆直交変換部109、演算部110、ループフィルタ111、フレームメモリ112、選択部113、イントラ予測部114、動き予測補償部115、予測画像選択部116、およびレート制御部117を有する。画像符号化装置100は、さらに、時間予測制御部121および動きベクトル符号化部122を有する。AD変換部101は、入力された画像データをAD変換し、変換後の画像データデジタルデータを、画面並べ替えバッファ102に供給し、記憶させる。画面並べ替えバッファ102は、記憶した表示の順番のフレームの画像を、GOPGroupOfPictureに応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部103に供給する。また、画面並べ替えバッファ102は、フレームの順番を並び替えた画像を、イントラ予測部114および動き予測補償部115にも供給する。演算部103は、画面並べ替えバッファ102から読み出された画像から、予測画像選択部116を介してイントラ予測部114若しくは動き予測補償部115から供給される予測画像を減算し、その差分情報を直交変換部104に出力する。例えば、イントラ符号化が行われる画像の場合、演算部103は、画面並べ替えバッファ102から読み出された画像から、イントラ予測部114から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部103は、画面並べ替えバッファ102から読み出された画像から、動き予測補償部115から供給される予測画像を減算する。直交変換部104は、演算部103から供給される差分情報に対して、離散コサイン変換やカルーネンレーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部104は、その変換係数を量子化部105に供給する。量子化部105は、直交変換部104から供給される変換係数を量子化する。量子化部105は、レート制御部117から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部105は、量子化された変換係数を可逆符号化部106に供給する。可逆符号化部106は、量子化部105において量子化された変換係数を、任意の符号化方式で符号化する。係数データは、レート制御部117の制御の下で量子化されているので、この符号量は、レート制御部117が設定した目標値となる若しくは目標値に近似する。また、可逆符号化部106は、イントラ予測のモードを示す情報等を含むイントラ予測情報をイントラ予測部114から取得し、インター予測のモードを示す情報や動きベクトル情報などを含むインター予測情報を動き予測補償部115から取得する。さらに、可逆符号化部106は、ループフィルタ111において使用されたフィルタ係数等を取得する。可逆符号化部106は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする多重化する。可逆符号化部106は、符号化して得られた符号化データを蓄積バッファ107に供給して蓄積させる。可逆符号化部106の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264AVC方式で定められているCAVLCContextAdaptiveVariableLengthCodingなどが挙げられる。算術符号化としては、例えば、CABACContextAdaptiveBinaryArithmeticCodingなどが挙げられる。蓄積バッファ107は、可逆符号化部106から供給された符号化データを、一時的に保持する。蓄積バッファ107は、所定のタイミングにおいて、保持している符号化データを、ビットストリームとして、例えば、後段の図示せぬ記録装置記録媒体や伝送路などに出力する。つまり、符号化された各種情報が復号側に供給される。また、量子化部105において量子化された変換係数は、逆量子化部108にも供給される。逆量子化部108は、その量子化された変換係数を、量子化部105による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部105による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部108は、得られた変換係数を、逆直交変換部109に供給する。逆直交変換部109は、逆量子化部108から供給された変換係数を、直交変換部104による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部104による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力局所的に復元された差分情報は、演算部110に供給される。演算部110は、逆直交変換部109から供給された逆直交変換結果、すなわち、局所的に復元された差分情報に、予測画像選択部116を介してイントラ予測部114若しくは動き予測補償部115から供給される予測画像を加算し、局所的に再構成された画像以下、再構成画像と称するを得る。その再構成画像は、ループフィルタ111またはフレームメモリ112に供給される。ループフィルタ111は、デブロックフィルタや適応ループフィルタ等を含み、演算部110から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ111は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ111は、そのデブロックフィルタ処理結果ブロック歪みの除去が行われた復号画像に対して、ウィナーフィルタWienerFilterを用いてループフィルタ処理を行うことにより画質改善を行う。なお、ループフィルタ111が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ111は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部106に供給し、それを符号化させるようにすることもできる。ループフィルタ111は、フィルタ処理結果以下、復号画像と称するをフレームメモリ112に供給する。フレームメモリ112は、演算部110から供給される再構成画像と、ループフィルタ111から供給される復号画像とをそれぞれ記憶する。フレームメモリ112は、所定のタイミングにおいて、若しくは、イントラ予測部114等の外部からの要求に基づいて、記憶している再構成画像を、選択部113を介して、イントラ予測部114に供給する。また、フレームメモリ112は、所定のタイミングにおいて、若しくは、動き予測補償部115等の外部からの要求に基づいて、記憶している復号画像を、選択部113を介して、動き予測補償部115に供給する。選択部113は、フレームメモリ112から出力される画像の供給先を示す。例えば、イントラ予測の場合、選択部113は、フレームメモリ112からフィルタ処理されていない画像再構成画像を読み出し、周辺画素として、イントラ予測部114に供給する。また、例えば、インター予測の場合、選択部113は、フレームメモリ112からフィルタ処理された画像復号画像を読み出し、参照画像として、それを動き予測補償部115に供給する。イントラ予測部114は、フレームメモリ112から、処理対象領域の周辺に位置する周辺領域の画像周辺画像を取得すると、その周辺画像の画素値を用いて、基本的にプレディクションユニットPUを処理単位として予測画像を生成するイントラ予測画面内予測を行う。イントラ予測部114は、予め用意された複数のモードイントラ予測モードでこのイントラ予測を行う。イントラ予測部114は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ102から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部114は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部116に供給する。また、イントラ予測部114は、最適なイントラ予測モード等、イントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部106に供給し、符号化させる。動き予測補償部115は、画面並べ替えバッファ102から供給される入力画像と、フレームメモリ112から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測インター予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像インター予測画像情報を生成する。動き予測補償部115は、予め用意された複数のモードインター予測モードでこのようなインター予測画面間予測を行う。動き予測補償部115は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測補償部115は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部116に供給する。また、動き予測補償部115は、最適なインター予測モード等、インター予測に関する情報を含むインター予測情報を可逆符号化部106に供給し、符号化させる。予測画像選択部116は、演算部103や演算部110に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部116は、予測画像の供給元としてイントラ予測部114を選択し、そのイントラ予測部114から供給される予測画像を演算部103や演算部110に供給する。また、例えば、インター符号化の場合、予測画像選択部116は、予測画像の供給元として動き予測補償部115を選択し、その動き予測補償部115から供給される予測画像を演算部103や演算部110に供給する。レート制御部117は、蓄積バッファ107に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部105の量子化動作のレートを制御する。時間予測制御部121は、処理対象である注目領域の動きベクトルの予測値である予測動きベクトルを時間方向の周辺領域の動きベクトルを利用して生成する時間予測に関する制御処理を行う。より具体的には、時間予測制御部121は、予測動きベクトルの生成において、時間予測を行うか否かを制御する。動きベクトル符号化部122は、注目領域の予測動きベクトルを生成し、動き予測補償部115において動き探索されて得られた注目領域の動きベクトルと、その予測動きベクトルとの差分動きベクトルを生成する。その際、動きベクトル符号化部122は、予測動きベクトルの生成の際に、時間予測を、時間予測制御部121の制御に従って適宜行う。[コーディングユニット]ところで、マクロブロックサイズを16画素×16画素とするのは、次世代符号化方式の対象となるような、UHDUltraHighDefinition;4000画素×2000画素といった大きな画枠に対しては、最適ではない。AVCにおいては、マクロブロックとサブマクロブロックによる階層構造が規定されているが、例えば、HEVCHighEfficiencyVideoCodingにおいては、図2に示されるように、コーディングユニットCUCodingUnitが規定されている。CUは、CodingTreeBlockCTBとも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16×16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。例えば、出力となる符号化データに含まれるシーケンスパラメータセットSPSSequenceParameterSetにおいて、CUの最大サイズLCULargestCodingUnitと最小サイズSCUSmallestCodingUnitが規定される。それぞれのLCU内においては、SCUのサイズを下回らない範囲で、splitflag1とすることにより、より小さなサイズのCUに分割することができる。図2の例では、LCUの大きさが128であり、最大階層深度が5となる。2N×2Nの大きさのCUは、splitflagの値が1である時、1つ下の階層となる、N×Nの大きさのCUに分割される。更に、CUは、イントラ若しくはインター予測の処理単位となる領域ピクチャ単位の画像の部分領域であるプレディクションユニットPredictionUnitPUに分割され、また、直交変換の処理単位となる領域ピクチャ単位の画像の部分領域である、トランスフォームユニットTransformUnitTUに分割される。現在、HEVCにおいては、4×4及び8×8に加え、16×16及び32×32直交変換を用いることが可能である。以上のHEVCのように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVCにおけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは図2に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVCのマクロブロックより大きく設定されることが一般的である。なお、以下において、領域には、上述した各種領域例えば、マクロブロック、サブマクロブロック、LCU、CU、SCU、PU、およびTU等を全て含むそれらのいずれであってもよい。もちろん、上述した以外の単位が含まれてもよいし、説明の内容に応じて不可能な単位は、適宜、除外するものとする。[動きパーティションのマージ]ところで、非特許文献3には、動き情報の符号化方式の1つとして、図3に示されるような、MotionPartitionMergingと呼ばれる手法マージモードが提案されている。この手法においては、MergeFlagと、MergeLeftFlagという、2つのflagが、マージモードに関する情報であるマージ情報として伝送される。MergeFlag1は、当該領域Xの動き情報が、当該領域の上に隣接する周辺領域T、若しくは、当該領域の左に隣接する周辺領域Lの動き情報と同一であることを示す。この時、マージ情報には、MergeLeftFlagが含められ、伝送される。MergeFlag0は、当該領域Xの動き情報が、周辺領域Tおよび周辺領域Lのいずれの動き情報とも異なることを示す。この場合、当該領域Xの動き情報が伝送される。当該領域Xの動き情報が、周辺領域Lの動き情報と同一である場合、MergeFlag1、かつ、MergeLeftFlag1となる。当該領域Xの動き情報が、周辺領域Tの動き情報と同一である場合、MergeFlag1、かつ、MergeLeftFlag0となる。[時間予測動きベクトル]ところで、イントラ予測においては、動きベクトルの符号量を低減させるために、メディアン予測を用いた動きベクトルの符号化が行われる。例えば、AVCにおいては、処理対象である注目領域と同じフレームの、その注目領域の周辺の所定の位置に存在する領域である空間周辺領域の動きベクトル空間周辺動きベクトルを用いて、注目領域の動きベクトルの予測値予測動きベクトルが算出される。なお、以下において、このように空間周辺領域の動きベクトルを用いた動きベクトルの予測を空間予測と称し、空間予測により生成される予測動きベクトルを空間予測動きベクトルと称する。しかしながら、空間予測のみでは、常に十分な予測精度が得られるとは限らず、符号化効率の向上に寄与しない場合も考えられる。そこで、このような空間予測に加えて、時間予測も用いる方法が考えられた。時間予測の場合、注目領域の時間的に周辺な領域、すなわち、注目領域が参照する参照フレームの、その注目領域と同じ位置のcolocated領域と、そのcolocated領域の周辺の領域とを含む時間周辺領域の動きベクトル時間周辺動きベクトルを用いて、予測動きベクトル時間予測動きベクトルとも称するが算出される。例えば非特許文献2においては、空間予測による空間予測動きベクトルSpatialPredictorに加え、時間予測を用いて、時間予測動きベクトルTemporalPredictor及び空間時間予測動きベクトルSpatioTemporalPredictorを生成し、その内のいずれかを、予測動きベクトル情報として、適応的に用いることが記載されている。しかしながら、時間予測を行うためには、膨大な量の動きベクトルを保持しておく必要がある。注目領域の動きベクトルは、その後に処理される他の領域の処理において、空間周辺動きベクトルや時間周辺動きベクトルとして利用される。時間予測においては過去のフレームの動き情報も利用されるので、動きベクトルは、DRAM等の大容量かつ低速な記憶領域に保存しなければならない。つまり、時間予測が行われる度に、colocated領域のアドレスに応じて、時間周辺領域として使用される可能性のある動きベクトルがDRAMより読み出されることになる。これに対して、上述したように空間周辺領域は、注目領域と同じフレーム注目フレームの注目領域の周辺に位置する。したがって、空間予測のためには、おおよそ、領域の水平方向の並びをラインとすると、空間予測のためには、おおよそ、注目領域の1段上の1ライン分と、注目領域を含む1ライン分の動き情報動きベクトルや参照インデックス等を含む情報を保持すればよい。したがって、ラインバッファ等の小容量かつ高速なメモリによって十分保持することができる。このように、時間予測によるメモリアクセスに関する負荷は、空間予測のためのメモリアクセスの場合よりも圧倒的に大きい。特に、HEVCにおいては、上述したように64×64乃至8×8のCUにより符号化を行うことができる。インタースライスにおいては、この中が、更に、2Nx2N2NxNNx2NNxNのいずれかのPUに分割され、符号化処理が行われることになる。したがって、例えばPUの大きさが4x4といったように、小さな領域において時間予測が多く選択されると、その時間予測によるメモリアクセスに関する負荷が、さらに増大し、場合によっては、メモリバンド幅がボトルネックとなり、リアルタイム動作が困難になる恐れもあった。そこで、画像符号化装置100は、注目領域の大きさに応じて時間予測による符号化を制限するようにする。[動き予測補償部、時間予測制御部、動きベクトル符号化部]図4は、図1の動き予測補償部115、時間予測制御部121、および動きベクトル符号化部122の主な構成例を示すブロック図である。図4に示されるように、動き予測補償部115は、動き探索部131、コスト関数値生成部132、モード判定部133、および動き補償部134、および動き情報バッファ135を有する。また、時間予測制御部121は、閾値設定部141および領域サイズ判定部142を有する。さらに、動きベクトル符号化部122は、空間予測動きベクトル決定部151、時間予測動きベクトル決定部152、予測動きベクトル生成部153、および差分動きベクトル生成部154を有する。動き探索部131には、画面並べ替えバッファ102からの入力画像画素値と、フレームメモリ112からの参照画像画素値が入力される。動き探索部131は、全てのインター予測モードについて動き探索処理を行い、動きベクトルと参照インデックスを含む動き情報を生成する。動き探索部131は、その動き情報を動きベクトル符号化部122の、空間予測動きベクトル決定部151、時間予測動きベクトル決定部152、および予測動きベクトル生成部153に供給する。また、動き探索部131は、探索した動きベクトルを用いて、参照画像に補償処理を行い、予測画像を生成する。さらに、動き探索部131は、その予測画像と入力画像の差分画像を算出し、その画素値である差分画像画素値をコスト関数値生成部132に供給する。コスト関数値生成部132は、動き探索部131から供給された各インター予測モードの差分画像画素値を取得する。コスト関数値生成部132は、その差分画像画素値を用いて、各インター予測モードのコスト関数値を算出する。また、コスト関数値生成部132は、各インター予測モードの差分動き情報と、各インター予測モードの予測動きベクトル情報とを動きベクトル符号化部122の差分動きベクトル生成部154から取得する。予測動きベクトル情報は、処理対象である注目領域の動きベクトルの予測値である予測動きベクトルと、その予測動きベクトルを生成する為に動きベクトルを参照される周辺領域を示す情報とを含む。差分動き情報は、注目領域の動きベクトルと、予測動きベクトルとの差分である差分動きベクトルを含む。コスト関数値生成部132は、各インター予測モードのコスト関数値、差分動き情報、および予測動きベクトル情報をモード判定部133に供給する。モード判定部133は、コスト関数値生成部132から供給される各インター予測モードのコスト関数値、差分動き情報、および予測動きベクトル情報を取得する。モード判定部133は、その中で最も小さいコスト関数値のインター予測モードを、最適なモードとして選択する。モード判定部133は、その最適なモードに選択されたインター予測モードを示す情報である最適モード情報を、その最適なインター予測モードの差分動き情報および予測動きベクトル情報とともに、動き補償部134に供給する。動き補償部134は、モード判定部133から供給された差分動き情報および予測動きベクトル情報を用いて、最適なインター予測モードの動きベクトルを生成する。動き補償部134は、その動きベクトルを用いてフレームメモリ112からの参照画像に補償処理を行うことで、最適なインター予測モードの予測画像を生成する。動き補償部134は、生成した予測画像の画素値予測画像画素値を予測画像選択部116に供給する。予測画像選択部116によりインター予測が選択された場合、それを示す信号が予測画像選択部116から供給される。これに対応して、動き補償部134は、最適モード情報を、その最適なインター予測モードの差分動き情報および予測動き情報とともに、可逆符号化部106に供給し、符号化させ、復号側に伝送させる。予測動き情報は、予測動きベクトルを生成する為に動きベクトルを参照される周辺領域を示す情報を含む。また、動き補償部134は、予測画像の生成に用いた最適なインター予測モードの動き情報を、動き情報バッファ135および空間予測動きベクトル決定部151に供給する。なお、予測画像選択部116によりインター予測が選択されなかった場合すなわち、イントラ予測画像が選択された場合、動きベクトル情報として、0ベクトルが、動き情報バッファ135および空間予測動きベクトル決定部151に供給される。動き情報バッファ135は、例えばDRAM等の、大容量かつ低速な記憶領域を有し、動き補償部134から供給される動き情報をその記憶領域に記憶する。この動き情報バッファ135に記憶される動き情報は、時間予測において時間周辺動き情報として利用される。つまり、動き情報バッファ135は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、記憶している動き情報を時間予測動きベクトル決定部152に供給する。なお、動き情報バッファ135に記憶される動き情報のうち、時間周辺動き情報として使用される可能性がなくなった動き情報は、例えば記憶領域の空き容量が不足した場合等、所定のタイミングにおいて、動き情報バッファ135の記憶領域から破棄される。また、コスト関数値生成部132は、各イントラ予測モードについて、注目領域の領域サイズを領域サイズ判定部142に供給する。閾値設定部141は、領域サイズ判定部142において使用される、領域サイズに関する閾値を、例えば画像サイズ等、プロファイルレベルに応じて決定する。閾値設定部141は、設定した閾値を領域サイズ判定部142に供給する。領域サイズ判定部142は、注目領域の大きさを判定し、その大きさに従って、時間予測を行うか否かを制御する。より具体的には、領域サイズ判定部142は、注目領域の大きさについて、閾値設定部141により設定された閾値を用いた判定閾値判定を行う。すなわち、領域サイズ判定部142は、コスト関数値生成部132から供給される注目領域の領域サイズが、閾値設定部141により設定された閾値より大きいか否かを判定する。領域サイズ判定部142は、その判定結果に従って時間予測を行うか否かを制御する。例えば、注目領域の大きさが閾値より大きい場合、領域サイズ判定部142は、動きベクトルの予測符号化において時間予測を行うように制御する。また、例えば、注目領域の大きさが閾値より大きい場合、領域サイズ判定部142は、動きベクトルの予測符号化において時間予測を行わないように制御する。領域サイズ判定部142は、時間予測を行うか否かの指示を行う制御情報を、時間予測動きベクトル決定部152に供給することにより、時間予測動きベクトル決定部152の動作時間予測を行うか否かを制御する。動きベクトル符号化部122の空間予測動きベクトル決定部151は、動き補償部134から供給される動き情報を取得し、記憶する。空間予測動きベクトル決定部151は、例えばラインバッファ等の、小容量かつ高速な記憶領域を有しており、その記憶領域に、動き補償部134から取得した動き情報を記憶する。この動き情報は、空間予測において空間周辺動き情報として利用される。なお、空間予測動きベクトル決定部151に記憶される動き情報のうち、空間周辺動き情報として使用される可能性がなくなった動き情報は、例えば記憶領域の空き容量が不足した場合等、所定のタイミングにおいて、空間予測動きベクトル決定部151の記憶領域から破棄される。なお、この空間予測動きベクトル決定部151から破棄された動き情報が、動き情報バッファ135に供給され、記憶されるようにしてもよい。つまり、この場合、動き情報バッファ135は、動き情報を、動き補償部134から取得するのではなく、空間予測動きベクトル決定部151から取得する。空間予測動きベクトル決定部151は、記憶している動きベクトルを空間周辺動きベクトルとして用い、さらに、動き探索部131から供給される各インター予測モードの動き情報動きベクトルを適宜用いて、空間予測を行い、空間予測動きベクトルを生成する。空間予測動きベクトル決定部151は、その空間予測動きベクトルを含む空間予測動きベクトル情報を、予測動きベクトル生成部153に供給する。時間予測動きベクトル決定部152は、領域サイズ判定部142から供給される制御情報に従って、動作する。つまり、時間予測動きベクトル決定部152は、領域サイズ判定部142により時間予測が許可された場合、動き情報バッファ135から供給される周辺領域の動き情報周辺動き情報を用い、さらに、動き探索部131から供給される各インター予測モードの動き情報動きベクトルを適宜用いて、時間予測を行い、時間予測動きベクトルおよび空間時間予測動きベクトルを生成する。時間予測動きベクトル決定部152は、生成した時間予測動きベクトルおよび空間時間予測動きベクトルを含む時間予測動きベクトル情報を予測動きベクトル生成部153に供給する。予測動きベクトル生成部153は、各インター予測モードについて、空間予測動きベクトル決定部151から供給された空間予測動きベクトル情報と、時間予測動きベクトル決定部152から供給される時間予測動きベクトル情報とを取得する。予測動きベクトル生成部153は、各インター予測モードについて、その空間予測動きベクトル情報と時間予測動きベクトル情報との内、動き探索部131から供給される動き情報に対してより適切な方を選択する。つまり、予測動きベクトル生成部153は、注目領域の動きベクトルに近い方の予測動きベクトルを含む予測動きベクトル情報を選択する。なお、時間予測が行われない場合、空間予測動きベクトル情報しか供給されないので、予測動きベクトル生成部153は、その空間予測動きベクトル情報を選択する。予測動きベクトル生成部153は、各インター予測モードについて、選択した予測動きベクトル情報と、注目領域の動き情報とを、差分動きベクトル生成部154に供給する。差分動きベクトル生成部154は、各インター予測モードについて、予測動きベクトル生成部153から供給される情報を用いて、予測動きベクトルと注目領域の動きベクトルとの差分動きベクトルを生成する。差分動きベクトル生成部154は、生成した差分動きベクトルを含む差分動き情報と、予測動きベクトル情報とを、コスト関数値生成部132に供給する。以上のように、時間予測制御部121の領域サイズ判定部142が、注目領域の大きさに応じて、時間予測を行うか否かを制御するので、動きベクトル符号化部122は、所望の領域に対してのみ時間予測を行うことができ、不要な領域に対する時間予測を省略することができる。したがって、動きベクトル符号化部122は、メモリアクセスの負荷の不要な増大を抑制することができる。つまり、画像符号化装置100は、画像の符号化に関する処理の負荷の増大を抑制することができる。なお、本技術を適用しても時間予測が制限されるのみである。つまり、本技術を用いることにより、符号化データが規格外となることはない。つまり、本技術を適用した画像符号化装置100により生成された符号化データは、本技術を適用しないように動作させた画像符号化装置100に対応する画像復号装置以下、従来の画像復号装置と称するにより正しく復号することができる。ただし、画像復号装置の復号処理においても、復号処理の内容は従来と同様であるものの、結果として時間予測に符号化時と同様の制限が施されていることになる。したがって、画像符号化装置100は、画像の復号に関する処理の負荷の増大も抑制することができる。なお、領域サイズ判定部142が注目領域の領域サイズが小さい場合、時間予測が行われないようにするので、動きベクトル符号化部122は、予測動きベクトルの数が増大する小さな領域に対しての時間予測を省略することができ、メモリアクセスの負荷の不要な増大をより効果的に抑制することができる。また、領域サイズ判定部142は、閾値を用いて、注目領域の大きさの判定を行うので、容易にその判定を行うことができ、注目領域のサイズを判定する処理による負荷の増大を抑制することができる。さらに、閾値設定部141は、画枠サイズ等のプロファイルレベルに応じて、閾値を設定するので、領域サイズ判定部142は、時間予測の制御をより適切に行うことができる。例えば、より小さな画枠であるシーケンスに対しては、単位時間あたりに要求される処理量が低いため、時間予測の制限を行う必要性は高くない。また、より小さな画枠のシーケンスに関しては、符号化に用いられる領域CodingUnitもより小さなものとなり、より小さな領域PredictionUnitに関して、予測動きベクトルpredictorの生成を制限することにより、符号化効率の低下を招く恐れがある。そこで、閾値設定部141は、例えば、1920×1088画素解像度を持つシーケンスに関しては16×16未満の領域に対する時間予測を禁止するが、720×480解像度を持つシーケンスに関しては、8×8未満の領域に対する時間予測を禁止するようにする。このように、閾値設定部141が、より大きな画枠のシーケンスに対してはより大きな制限をかけ、より小さな画枠のシーケンスに対してはより小さな制限にするように閾値を設定することで、動きベクトル符号化部122は、メモリアクセスによるリアルタイム動作のためのボトルネックを適切に解消することができる。[符号化処理の流れ]次に、以上のような画像符号化装置100により実行される各処理の流れについて説明する。最初に、図5のフローチャートを参照して、符号化処理の流れの例を説明する。ステップS101において、AD変換部101は入力された画像をAD変換する。ステップS102において、画面並べ替えバッファ102は、AD変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップS103において、イントラ予測部114は、イントラ予測処理を行う。ステップS104において、動き予測補償部115は、インター動き予測処理を行う。ステップS105において、予測画像選択部116は、イントラ予測により生成された予測画像、および、インター予測により生成された予測画像の内、いずれか一方を選択する。ステップS106において、演算部103は、ステップS102の処理により並び替えられた画像と、ステップS105の処理により選択された予測画像との差分を演算する差分画像を生成する。生成された差分画像は元の画像に較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。ステップS107において、直交変換部104は、ステップS106の処理により生成された差分画像を直交変換する。具体的には、離散コサイン変換、カルーネンレーベ変換等の直交変換が行われ、直交変換係数が出力される。ステップS108において、量子化部105は、ステップS107の処理により得られた直交変換係数を量子化する。ステップS108の処理により量子化された差分画像は、次のようにして局部的に復号される。すなわち、ステップS109において、逆量子化部108は、ステップS108の処理により生成された量子化された直交変換係数量子化係数とも称するを量子化部105の特性に対応する特性で逆量子化する。ステップS110において、逆直交変換部109は、ステップS109の処理により得られた直交変換係数を、直交変換部104の特性に対応する特性で逆直交変換する。これにより差分画像が復元される。ステップS111において、演算部110は、ステップS105において選択された予測画像を、ステップS110において生成された差分画像に加算し、局部的に復号された復号画像再構成画像を生成する。ステップS112において、ループフィルタ111は、ステップS111の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。ステップS113において、フレームメモリ112は、ステップS112の処理により生成された復号画像、若しくは、ステップS111の処理により生成された再構成画像を記憶する。ステップS114において、可逆符号化部106は、ステップS108の処理により量子化された直交変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。なお、可逆符号化部106は、予測に関する情報や、量子化に関する情報や、フィルタ処理に関する情報等を符号化し、ビットストリームに付加する。ステップS115において、蓄積バッファ107は、ステップS114の処理により得られたビットストリームを蓄積する。蓄積バッファ107に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。ステップS116においてレート制御部117は、ステップS115の処理により蓄積バッファ107に蓄積された符号化データの符号量発生符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部105の量子化動作のレートを制御する。ステップS116の処理が終了すると、符号化処理が終了される。[インター動き予測処理の流れ]次に、図6のフローチャートを参照して、図5のステップS104において実行されるインター動き予測処理の流れの例を説明する。ステップS131において、閾値設定部141は、プロファイルレベルに応じて閾値を設定する。ステップS132において、動き探索部131は、各インター予測モードについて、動き探索を行い、処理対象である当該領域の動き情報を生成し、その動き情報を用いて補償処理を行って予測画像を生成し、さらに、その予測画像を用いて差分画像を生成する。ステップS133において、領域サイズ判定部142は、注目領域のサイズが、ステップS131において設定された閾値より大きいか否かを判定する。閾値より大きいと判定された場合、領域サイズ判定部142は、処理をステップS134に進める。ステップS134において、動きベクトル符号化部122は、時間予測を用いた動きベクトル符号化処理を行う。時間予測を用いた動きベクトル符号化処理が終了すると、動きベクトル符号化部122は、処理をステップS136に進める。また、ステップS133において、注目領域のサイズが閾値以下であると判定された場合、領域サイズ判定部142は、処理をステップS135に進める。ステップS135において、動きベクトル符号化部122は、時間予測を用いない動きベクトル符号化処理を行う。時間予測を用いない動きベクトル符号化処理が終了すると、動きベクトル符号化部122は、処理をステップS136に進める。ステップS136において、コスト関数値生成部132は、ステップS132において生成された差分画像の画素値を用いて、コスト関数値を算出する。ステップS137において、コスト関数値生成部132は、未処理のインター予測モードが存在するか否かを判定し、未処理のインター予測モードが存在すると判定された場合、処理をステップS132に戻し、それ以降の処理を繰り返す。つまり、ステップS132乃至ステップS137の各処理が、各インター予測モードについて実行される。全てのインター予測モードについて、コスト関数値が生成されると、コスト関数値生成部132は、処理をステップS138に進める。ステップS138において、モード判定部133は、各インター予測モードのコスト関数値に基づいて、最適インター予測モードを決定する。ステップS139において、動き補償部134は、ステップS138の処理により決定された最適インター予測モードで動き補償を行い、予測画像を生成する。ステップS140において、動き情報バッファ135および空間予測動きベクトル決定部151は、それぞれ、ステップS139の動き補償に用いられた当該領域の動きベクトルを含む動き情報を記憶する。この動き情報は、当該領域より後に処理される他の領域において空間周辺動き情報若しくは時間周辺動き情報として利用される。ステップS140の処理が終了すると、動き予測補償部115は、インター動き予測処理を終了し、処理を図5に戻す。[時間予測を用いた動きベクトル符号化処理の流れ]次に、図7のフローチャートを参照して、図6のステップS134において実行される、時間予測を用いた動きベクトル符号化処理の流れの例を説明する。時間予測を用いた動きベクトル符号化処理が開始されると、空間予測動きベクトル決定部151は、ステップS161において、空間予測動きベクトルを生成する。ステップS162において、時間予測動きベクトル決定部152は、時間予測動きベクトルを生成する。ステップS163において、予測動きベクトル生成部153は、ステップS161において生成された空間予測動きベクトルと、ステップS162において生成された時間予測動きベクトルの内、より適切な方、すなわち、注目領域の動きベクトルにより近い方を、予測動きベクトルに決定する。ステップS164において、差分動きベクトル生成部154は、ステップS163において生成された予測動きベクトルと、注目領域の動きベクトルとの差分である差分動きベクトルを生成し、その差分動きベクトルを含む差分動き情報を生成する。差分動き情報が生成されると、差分動きベクトル生成部154は、時間予測を用いた動きベクトル符号化処理を終了し、処理を図6に戻す。[時間予測を用いない動きベクトル符号化処理の流れ]次に、図8のフローチャートを参照して、図6のステップS135において実行される、時間予測を用いない動きベクトル符号化処理の流れの例を説明する。時間予測を用いない動きベクトル符号化処理は、時間予測を用いた動きベクトル符号化処理から時間予測動きベクトルの生成を省略したものである。つまり、図7の各処理の内、ステップS162が省略される。すなわち、図8のステップS181乃至ステップS183の各処理は、図7のステップS161,ステップS163、およびステップS164の各処理と同様に実行される。ただし、時間予測を用いない動きベクトル符号化処理の場合、時間予測動きベクトルが生成されないので、ステップS182において、ステップS181において生成された空間予測動きベクトルが、予測動きベクトルに採用される。以上のように各処理が行われることにより、画像符号化装置100は、画像の符号化および復号に関する処理の負荷の増大を抑制することができる。<2.第2の実施の形態>[時間予測動きベクトル数による時間予測制限]なお、時間予測の制限は、時間予測動きベクトルの生成数によって行うようにしてもよい。例えば、処理対象である注目領域を含むLCU注目LCU、若しくは、例えば、その注目LCUを含む複数の隣接するLCUにおいて、時間予測動きベクトルtemporalpredictorの出現する回数の制限を行う所定の上限以下とするようにしてもよい。[動き予測補償部、時間予測制御部、動きベクトル符号化部]図9は、この場合の動き予測補償部115、時間予測制御部121、および動きベクトル符号化部122の主な構成例を示すブロック図である。図9に示されるように、動き予測補償部115および動きベクトル符号化部122は、図4の場合と同様の構成を有する。また、時間予測制御部121は、閾値設定部201、時間予測動きベクトルカウンタ202、および適用回数判定部203を有する。この場合の時間予測制御部121は、所定のデータ単位例えばLCU毎に、時間予測動きベクトルの発生数を制限する。以下においては、このデータ単位をLCUとして説明する。閾値設定部201は、可逆符号化部106等から提供されるLCUの位置や大きさ等に関する情報に基づいて、LCUのサイズに応じて閾値を設定する。例えば、閾値設定部201は、LCUのサイズが64x64の場合、閾値をN回Nは自然数に設定し、LCUのサイズが32x32の場合、閾値をN4回に設定する。閾値設定部201は、LCUが他のサイズの場合も同様にNの比で設定する。もちろん、値は任意であるが、LCUのサイズが小さいほど閾値を小さくするのが望ましい。つまり、LCUのサイズが小さい場合、LCUのサイズが大きい場合に比べてLCUの総数が多くなるので、LCU1つ当たりの時間予測動きベクトルの発生数が同じだと、メモリアクセス量が増大する恐れがある。そのため、LCUのサイズが小さいほど、時間予測動きベクトルの発生数の制限を厳しくする上限値を小さくすることが望ましい。換言するに、このように閾値の大きさをLCUのサイズに応じて設定することにより、閾値設定部201は、より正確な時間予測動きベクトルの発生数の制御を行うことができる。さらに、閾値設定部201は、閾値設定部141の場合と同様に、時間予測動きベクトルの発生数に関する閾値を、例えば画像サイズ等、プロファイルレベルに応じて決定する。つまり、閾値設定部201は、上述したNを、プロファイルレベルに応じて決定する。閾値設定部201は、設定した閾値を適用回数判定部203に供給する。時間予測動きベクトルカウンタ202は、モード判定部133により最適モードに選択されたインター予測モードの予測動きベクトルが時間予測動きベクトルであるか否かを示す情報時間予測適用情報を、モード判定部133から取得する。つまり、モード判定部133は、コスト関数値に基づいて最適モードを選択すると、そのインター予測モードの予測動きベクトルが時間予測動きベクトルであるか否かを示す情報時間予測適用情報を、時間予測動きベクトルカウンタ202に供給する。時間予測動きベクトルカウンタ202は、モード判定部133から取得した時間予測適用情報に基づいて、時間予測動きベクトルの発生回数最適モードの予測動きベクトルとして時間予測動きベクトルが適用された回数をカウントする。なお、このカウント値は、所定のデータ単位であるLCU毎にリセットされる。時間予測動きベクトルカウンタ202には、可逆符号化部106等からLCU情報が提供される。時間予測動きベクトルカウンタ202には、このLCU情報に従って、注目領域の属するLCUが前回の注目領域が属するLCUと同じであるか否かを判定し、LCUが変わったと判定した場合、カウント値をリセットする。時間予測動きベクトルカウンタ202は、時間予測動きベクトルの発生回数をカウントする毎に、このカウント値を適用回数判定部203に供給する。適用回数判定部203は、時間予測動きベクトルの発生回数を判定し、その回数に従って、時間予測を行うか否かを制御する。より具体的には、適用回数判定部203は、時間予測動きベクトルの発生回数について、閾値設定部201により設定された閾値を用いた判定閾値判定を行う。すなわち、適用回数判定部203は、時間予測動きベクトルカウンタ202から供給されたカウント値時間予測動きベクトルの発生回数が、閾値設定部201により設定された閾値上限値に達したか否かを判定する。適用回数判定部203は、その判定結果に従って時間予測を行うか否かを制御する。例えば、時間予測動きベクトルの発生回数が閾値より少ない場合、適用回数判定部203は、動きベクトルの予測符号化において時間予測を行うように制御する。また、例えば、時間予測動きベクトルの発生回数が閾値に達した場合、適用回数判定部203は、動きベクトルの予測符号化において時間予測を行わないように制御する。適用回数判定部203は、領域サイズ判定部142の場合と同様に、時間予測を行うか否かの指示を行う制御情報を、時間予測動きベクトル決定部152に供給することにより、時間予測動きベクトル決定部152の動作時間予測を行うか否かを制御する。このような制御に従って、動きベクトル符号化部122の各部は、図4の場合と同様に動作し、差分動き情報と予測動きベクトル情報を生成する。したがって、この場合も、時間予測制御部121の適用回数判定部203が、時間予測動きベクトルの発生回数に応じて、時間予測を行うか否かを制御するので、動きベクトル符号化部122は、時間予測の回数を所定の回数以下に制限することができる。したがって、動きベクトル符号化部122は、メモリアクセスの負荷の不要な増大を抑制することができる。つまり、画像符号化装置100は、画像の符号化に関する処理の負荷の増大を抑制することができる。この場合も、本技術を適用した画像符号化装置100により生成された符号化データは、従来の画像復号装置により正しく復号することができる。したがって、この場合も、画像符号化装置100は、画像の復号に関する処理の負荷の増大も抑制することができる。また、適用回数判定部203は、閾値を用いて、注目領域の大きさの判定を行うので、容易にその判定を行うことができ、注目領域のサイズを判定する処理による負荷の増大を抑制することができる。さらに、閾値設定部201は、画枠サイズ等のプロファイルレベルに応じて閾値を設定するので、図4の場合と同様に、適用回数判定部203が時間予測の制御をより適切に行うことができる。[インター動き予測処理の流れ]この場合の符号化処理は、図5のフローチャートを参照して上述した場合と同様であるのでその説明は省略する。図10のフローチャートを参照して、図5のステップS104において実行されるインター動き予測処理の流れの例を説明する。インター動き予測処理が開始されると、ステップS201において、閾値設定部201は、プロファイルレベルに応じて閾値を設定する。ステップS202において、動き探索部131は、各インター予測モードについて、動き探索を行い、処理対象である当該領域の動き情報を生成し、その動き情報を用いて補償処理を行って予測画像を生成し、さらに、その予測画像を用いて差分画像を生成する。ステップS203において、適用回数判定部203は、時間予測動きベクトルが最適モードに適用された回数後述するステップS209においてカウントされたカウント値が、ステップS203において設定された閾値以上であるか否かを判定する。閾値より少ない閾値に達していないと判定された場合、適用回数判定部203は、処理をステップS204に進める。ステップS204において、動きベクトル符号化部122は、図7のフローチャートを参照して説明したのと同様に、時間予測を用いた動きベクトル符号化処理を行う。時間予測を用いた動きベクトル符号化処理が終了すると、動きベクトル符号化部122は、処理をステップS206に進める。また、ステップS203において、時間予測動きベクトルが最適モードに適用された回数後述するステップS209においてカウントされたカウント値が閾値以上である閾値に達したと判定された場合、適用回数判定部203は、処理をステップS205に進める。ステップS205において、動きベクトル符号化部122は、図8のフローチャートを参照して説明したのと同様に、時間予測を用いない動きベクトル符号化処理を行う。時間予測を用いない動きベクトル符号化処理が終了すると、動きベクトル符号化部122は、処理をステップS206に進める。ステップS206において、コスト関数値生成部132は、ステップS202において生成された差分画像の画素値を用いて、コスト関数値を算出する。ステップS207において、コスト関数値生成部132は、未処理のインター予測モードが存在するか否かを判定し、未処理のインター予測モードが存在すると判定された場合、処理をステップS202に戻し、それ以降の処理を繰り返す。つまり、ステップS202乃至ステップS207の各処理が、各インター予測モードについて実行される。全てのインター予測モードについて、コスト関数値が生成されると、コスト関数値生成部132は、処理をステップS208に進める。ステップS208において、モード判定部133は、各インター予測モードのコスト関数値に基づいて、最適インター予測モードを決定する。ステップS209において、時間予測動きベクトルカウンタ202は、時間予測動きベクトルの発生回数をカウントする。すなわち、時間予測動きベクトルカウンタ202は、ステップS208の処理において決定された最適モードの予測動きベクトルが時間予測動きベクトルである場合のみ、それをカウントするカウント値を1インクリメントする。つまり、最適モードの予測動きベクトルが空間予測動きベクトルの場合、時間予測動きベクトルカウンタ202は、カウント値を1インクリメントしない空間予測動きベクトル発生回数をカウントしない。なお、このカウント値は、LCU所定のデータ単位毎にリセットされる。ステップS210において、動き補償部134は、ステップS208の処理により決定された最適インター予測モードで動き補償を行い、予測画像を生成する。ステップS211において、動き情報バッファ135および空間予測動きベクトル決定部151は、それぞれ、ステップS210の動き補償に用いられた当該領域の動きベクトルを含む動き情報を記憶する。この動き情報は、当該領域より後に処理される他の領域において空間周辺動き情報若しくは時間周辺動き情報として利用される。ステップS211の処理が終了すると、動き予測補償部115は、インター動き予測処理を終了し、処理を図5に戻す。以上のように各処理が行われることにより、画像符号化装置100は、画像の符号化および復号に関する処理の負荷の増大を抑制することができる。[その他の例]なお、以上においては、時間予測動きベクトルの発生回数のカウント値をリセットするデータ単位をLCUとして説明したが、このデータ単位はLCU以外であってもよい。また、以上の第1の実施の形態および第2の実施の形態においては、閾値をプロファイルレベルに応じて決定するように説明したが、これに限らず、固定値としてもよい。その場合、閾値設定部141および閾値設定部201は、その固定値を記憶し、所定のタイミングにおいて、若しくは、外部からの要求に従って、その固定値を閾値として、領域サイズ判定部142または適用回数判定部203に供給する。また、ユーザ指示等に従って閾値が設定されるようにしてもよい。閾値設定部141および閾値設定部201は、ユーザ指示等を受け付け、受け付けられた情報に基づいて、閾値を設定する。また、閾値そのものが入力されるようにしてもよい。また、その場合、例えば、符号化側で設定した閾値をシーケンスパラメータセットSPSやピクチャパラメータセットPPS等に含めて復号側に伝送するようにしてもよい。この閾値は、復号側において、例えば、後述するデバッグ処理等に用いられる。この場合、例えば、閾値設定部141や閾値設定部201が設定した閾値を可逆符号化部106に供給し、可逆符号化部106が、その閾値をシーケンスパラメータセット等に含めるようにすればよい。なお、時間予測によるメモリアクセスに対する負荷は、ブロックサイズのみでなく、各領域PredictionUnitにおける予測方向にも依存する。すなわち、List0に関しては時間予測動きベクトルtemporalpredictorが使われているが、List1に関しては用いられていない場合に比して、List0、List1にともに時間予測動きベクトルtemporalpredictorが用いられている場合の方が、メモリアクセスに対する負荷は大きい。したがって、第2の実施の形態において、閾値判定部201が、List0、List1の各予測方向について、それぞれ閾値を設定し、時間予測動きベクトルカウンタ202が、その予測方向毎に時間予測動きベクトルの発生回数をカウントし、適用回数判定部203が、その予測方向毎に、そのカウント値を閾値判定するようにしてもよい。この場合、適用回数判定部203は、List0、List1のいずれかの予測方向について、カウント値が閾値に達した場合、時間予測を行わないように制御する。さらに、非特許文献3に記載のマージモードにおいて、時間周辺領域を、注目領域とマージさせる候補の1つとするようにしてもよい。つまり、マージモードにおいても時間予測が行われるようにしてもよい。その際、第1の実施の形態や第2の実施の形態において説明したのと同様に、領域サイズや時間周辺領域の適用回数等に応じて、時間予測を行うか否かを制御するようにしてもよい。その場合、動きベクトル符号化部122において、差分動き情報予測動きベクトル情報の生成の代わりに、マージ判定とフラグmergeflagやmergeleftflag等の生成が行われるが、時間予測制御部121による制御は、第1の実施の形態や第2の実施の形態において説明したのと同様である。<3.第3の実施の形態>[空間周辺動きベクトルの利用可否による制御]また、非特許文献2や非特許文献3に記載の方法においては、全ての周辺動きベクトルが利用不可notavailableである場合、が、予測動きベクトル情報として設定される。しかしながら、全ての空間周辺動きベクトルが利用不可notavailableであるが、時間周辺動きベクトルが利用可availableである場合、この機能は動作しない。つまりこの場合、時間予測動きベクトルtemporalpredictorが選択されることになり、それによって、メモリアクセスに対する負荷が増大する可能性がある。そこで、第1の実施の形態や第2の実施の形態において説明した方法において、時間周辺動きベクトルが利用可availableであっても、全ての空間周辺動きベクトルが利用不可notavailableである場合、が、予測動きベクトル情報として設定されるようにしてもよい。[時間予測を用いた動きベクトル符号化処理の流れ]その場合の、時間予測を用いた動きベクトル符号化処理の流れの例を、図11のフローチャートを参照して説明する。時間予測を用いた動きベクトル符号化処理が開始されると、空間予測動きベクトル決定部151は、ステップS301において、空間周辺動きベクトルが全て利用不可であるか否かを判定する。利用可の空間周辺動きベクトルが存在すると判定された場合、空間予測動きベクトル決定部151は、処理をステップS302に進める。ステップS302において、空間予測動きベクトル決定部151は、利用可の空間周辺動きベクトルを用いて空間予測動きベクトルを生成する。ステップS303において、時間予測動きベクトル決定部152は、時間予測動きベクトルを生成する。ステップS304において、予測動きベクトル生成部153は、ステップS302において生成された空間予測動きベクトルと、ステップS303において生成された時間予測動きベクトルの内、より適切な方、すなわち、注目領域の動きベクトルにより近い方を、予測動きベクトルに決定する。予測動きベクトルを決定すると、予測動きベクトル生成部153は、処理をステップS306に進める。また、ステップS301において、空間周辺動きベクトルが全て利用不可であると判定された場合、空間予測動きベクトル決定部151は、処理をステップS305に進める。ステップS305において、予測動きベクトル生成部153は、0,0、すなわち、ゼロベクトルを、予測動きベクトルとする。予測動きベクトルを決定すると、予測動きベクトル生成部153は、処理をステップS306に進める。ステップS306において、差分動きベクトル生成部154は、ステップS304若しくはステップS305において生成された予測動きベクトルと、注目領域の動きベクトルとの差分である差分動きベクトルを生成し、その差分動きベクトルを含む差分動き情報を生成する。差分動き情報が生成されると、差分動きベクトル生成部154は、時間予測を用いた動きベクトル符号化処理を終了し、処理を図6に戻す。このような処理を行うことにより、動きベクトル符号化部122は、時間周辺動きベクトルが利用可availableであっても、全ての空間周辺動きベクトルが利用不可notavailableである場合、時間予測動きベクトルtemporalpredictorを候補モードの予測動きベクトル情報から除外することができる。これにより、動きベクトル符号化部122は、メモリアクセスに対する負荷の増大を抑制することができる。なお、予測動き情報には予測動きベクトルの種類を示すコードナンバが含まれるが、第1の実施の形態乃至第3の実施の形態において上述したように、時間予測制御部121が時間予測を行わないように制御した場合、このコードナンバの割当表から、時間予測動きベクトルを除外するようにしてもよい。このようにすることにより、空間予測動きベクトルを、コードナンバのより若い番号に割り当てることができる。コードナンバが若いほど符号量は少ないので、このようにすることにより符号化効率を向上させることができる。ただし、この場合、復号側においても、符号化側と同様の、コードナンバの割当表の切り換え制御が必要になる。また、符号化側と復号側の両方において、複数種類のコードナンバの割当表符号化側と復号側のそれぞれに互いに同一のものを用意する必要がある。なお、符号化側に用意されたコードナンバの割当表を復号側に伝送するようにしてもよい。<4.第4の実施の形態>[予測動きベクトル確認]なお、符号化の際に、以上のような制限を規定する規格に従って時間予測が制限されたか否かを、復号側において、符号化データビットストリームを解析して確認するようにしてもよい。例えば、その確認結果をデバッグ処理に利用するようにしてもよい。[画像復号装置]図12は、画像処理装置である画像復号装置の主な構成例を示すブロック図である。図12に示される画像復号装置400は、図1の画像符号化装置100に対応する装置である。つまり、画像復号装置400は、画像符号化装置100が画像を符号化して生成した符号化データビットストリームを、画像符号化装置100の符号化方法に対応する復号方法で復号し、復号画像を得る。さらに、画像復号装置400は、画像符号化装置100から伝送された符号化データビットストリームが、符号化復号の規格において定義される、第1の実施の形態において説明したような時間予測の制限の下に生成されたか否かを確認する。図12に示されるように、画像復号装置400は、蓄積バッファ401、可逆復号部402、逆量子化部403、逆直交変換部404、演算部405、ループフィルタ406、画面並べ替えバッファ407、およびDA変換部408を有する。また、画像復号装置400は、フレームメモリ409、選択部410、イントラ予測部411、動き予測補償部412、および選択部413を有する。さらに、画像復号装置400は、動きベクトル復号部421および予測動きベクトル確認部422を有する。蓄積バッファ401は、伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部402に供給する。可逆復号部402は、蓄積バッファ401より供給された、図1の可逆符号化部106により符号化された情報を、可逆符号化部106の符号化方式に対応する方式で復号する。可逆復号部402は、復号して得られた差分画像の量子化された係数データを、逆量子化部403に供給する。また、可逆復号部402は、符号化データを復号して得られた最適な予測モードに関する情報を参照し、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定する。可逆復号部402は、その判定結果に基づいて、その最適な予測モードに関する情報を、イントラ予測部411若しくは動き予測補償部412に供給する。つまり、例えば、画像符号化装置100において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報であるイントラ予測情報等がイントラ予測部411に供給される。また、例えば、画像符号化装置100において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報であるインター予測情報等が動き予測補償部412に供給される。逆量子化部403は、可逆復号部402により復号されて得られた量子化された係数データを、図1の量子化部105の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部404に供給する。逆直交変換部404は、図1の直交変換部104の直交変換方式に対応する方式で逆量子化部403から供給される係数データを逆直交変換する。逆直交変換部404は、この逆直交変換処理により、画像符号化装置100において直交変換される前の差分画像に対応する差分画像を得る。逆直交変換されて得られた差分画像は、演算部405に供給される。また、演算部405には、選択部413を介して、イントラ予測部411若しくは動き予測補償部412から予測画像が供給される。演算部405は、差分画像と予測画像とを加算し、画像符号化装置100の演算部103により予測画像が減算される前の画像に対応する再構成画像を得る。演算部405は、その再構成画像をループフィルタ406に供給する。ループフィルタ406は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ406は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ406は、そのデブロックフィルタ処理結果ブロック歪みの除去が行われた再構成画像に対して、ウィナーフィルタWienerFilterを用いてループフィルタ処理を行うことにより画質改善を行う。なお、ループフィルタ406が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ406が、図1の画像符号化装置100から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。ループフィルタ406は、フィルタ処理結果である復号画像を画面並べ替えバッファ407およびフレームメモリ409に供給する。なお、このループフィルタ406によるフィルタ処理は省略することもできる。つまり、演算部405の出力が、フィルタ処理されずに、フレームメモリ409に格納されるようにすることもできる。例えば、イントラ予測部411は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。画面並べ替えバッファ407は、供給された復号画像の並べ替えを行う。すなわち、図1の画面並べ替えバッファ102により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。DA変換部408は、画面並べ替えバッファ407から供給された復号画像をDA変換し、図示せぬディスプレイに出力し、表示させる。フレームメモリ409は、供給される再構成画像や復号画像を記憶する。また、フレームメモリ409は、所定のタイミングにおいて、若しくは、イントラ予測部411や動き予測補償部412等の外部の要求に基づいて、記憶している再構成画像や復号画像を、選択部410を介してイントラ予測部411や動き予測補償部412に供給する。イントラ予測部411は、図1のイントラ予測部114と基本的に同様の処理を行う。ただし、イントラ予測部411は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。動き予測補償部412は、可逆復号部402から供給されるインター予測情報に基づいてインター動き予測処理を行い、予測画像を生成する。なお、動き予測補償部412は、可逆復号部402から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、インター動き予測処理を行う。動き予測補償部412は、予測処理単位の領域毎に、生成した予測画像を、選択部413を介して演算部405に供給する。選択部413は、イントラ予測部411から供給される予測画像、若しくは、動き予測補償部412から供給される予測画像を演算部405に供給する。動きベクトル復号部421は、動き予測補償部412から、画像符号化装置100から供給された予測動き情報を取得し、動き予測補償部412において利用される予測動きベクトルを再構築する。予測動きベクトル確認部422は、画像符号化装置100が予測ベクトルを、規格に従って生成したか否かを確認する。[動き予測補償部、動きベクトル復号部、および予測動きベクトル確認部]図13は、動き予測補償部412、動きベクトル復号部421、および予測動きベクトル確認部422の主な構成例を示すブロック図である。図13に示されるように、動き予測補償部412は、最適モード情報バッファ431、予測動き情報バッファ432、差分動き情報バッファ433、動き情報再構築部434、動き補償部435、および動き情報バッファ436を有する。また、動きベクトル復号部421は、空間予測動きベクトル決定部441、時間予測動きベクトル決定部442、および予測動きベクトル再構築部443を有する。最適モード情報バッファ431は、可逆復号部402から供給される、ビットストリームから抽出された最適モード情報を取得し、記憶する。最適モード情報バッファ431は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、その記憶している最適モード情報を、予測動きベクトル確認部422の領域サイズ判定部452に供給する。予測動き情報バッファ432は、可逆復号部402から供給される、ビットストリームから抽出された予測動き情報を取得し、記憶する。予測動き情報は、予測動きベクトルを生成する為に動きベクトルを参照される周辺領域時間周辺領域または空間周辺領域を示す情報を含む。予測動き情報バッファ432は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、その記憶している予測動き情報を、動きベクトル復号部421の空間予測動きベクトル決定部441および時間予測動きベクトル決定部442、並びに、予測動きベクトル確認部422の動きベクトル符号化方法判定部453に供給する。差分動き情報バッファ433は、可逆復号部402から供給される、ビットストリームから抽出された差分動き情報を取得し、記憶する。差分動き情報バッファ433は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、その記憶している差分動き情報を動き情報再構築部434に供給する。動き情報再構築部434は、差分動き情報バッファ433から、処理対象である当該領域の差分動き情報を取得すると、予測動きベクトル再構築部443から、注目領域の予測動きベクトル情報を取得し、それらを用いて注目領域の動き情報を再構築する。より具体的には、動き情報再構築部434は、差分動き情報の差分動きベクトルに、予測動きベクトル情報の予測動きベクトルを加算することにより、注目領域の動きベクトルを再構築する。動き情報再構築部434は、その動きベクトルを含む動き情報を、動き補償部435、動き情報バッファ436、並びに、空間予測動きベクトル決定部441に供給する。動き補償部435は、動き情報再構築部434から供給される当該領域の動き情報を取得する。また、動き補償部435は、フレームメモリ409から供給される参照画像画素値を取得する。動き補償部435は、それらを用いて動き補償を行い、予測画像を生成する。動き補償部435は、その予測画像画素値を、選択部413を介して演算部405に供給する。動き情報バッファ436は、例えばDRAM等の、大容量かつ低速な記憶領域を有し、動き情報再構築部434から供給される動き情報をその記憶領域に記憶する。この動き情報バッファ436に記憶される動き情報は、時間予測において時間周辺動き情報として利用される。つまり、動き情報バッファ436は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、記憶している動き情報を、動きベクトル復号部421の時間予測動きベクトル決定部442に供給する。動きベクトル復号部421の空間予測動きベクトル決定部441は、動き情報再構築部434から供給される動き情報を取得し、記憶する。空間予測動きベクトル決定部441は、例えばラインバッファ等の、小容量かつ高速な記憶領域を有しており、その記憶領域に、動き情報再構築部434から取得した動き情報を記憶する。この動き情報は、空間予測において空間周辺動き情報として利用される。なお、空間予測動きベクトル決定部441に記憶される動き情報のうち、空間周辺動き情報として使用される可能性がなくなった動き情報は、例えば記憶領域の空き容量が不足した場合等、所定のタイミングにおいて、空間予測動きベクトル決定部441の記憶領域から破棄される。なお、この空間予測動きベクトル決定部441から破棄された動き情報が、動き情報バッファ436に供給され、記憶されるようにしてもよい。つまり、この場合、動き情報バッファ436は、動き情報を、動き情報再構築部434から取得するのではなく、空間予測動きベクトル決定部441から取得する。空間予測動きベクトル決定部441は、予測動き情報に基づいて、記憶している動きベクトルを用いて空間予測を行い、空間予測動きベクトルを生成する。空間予測動きベクトル決定部441は、その空間予測動きベクトルを含む空間予測動きベクトル情報を、予測動きベクトル再構築部443に供給する。時間予測動きベクトル決定部442は、予測動き情報に基づいて、動き情報バッファ436から時間周辺動き情報を取得し、その時間周辺動きベクトルを用いて時間予測を行い、時間予測動きベクトルおよび空間時間予測動きベクトルを生成する。時間予測動きベクトル決定部442は、生成した時間予測動きベクトルおよび空間時間予測動きベクトルを含む時間予測動きベクトル情報を予測動きベクトル再構築部443に供給する。予測動きベクトル再構築部443は、各インター予測モードについて、空間予測動きベクトル決定部441から供給された空間予測動きベクトル情報と、時間予測動きベクトル決定部442から供給される時間予測動きベクトル情報とを取得する。予測動きベクトル再構築部443は、各インター予測モードについて、その空間予測動きベクトル情報と時間予測動きベクトル情報との内、動き情報再構築部434において再構築された動き情報に対してより適切な方を選択する。つまり、予測動きベクトル再構築部443は、注目領域の動きベクトルに近い方の予測動きベクトルを含む予測動きベクトル情報を選択する。なお、時間予測が行われない場合、空間予測動きベクトル情報しか供給されないので、予測動きベクトル再構築部443は、その空間予測動きベクトル情報を選択する。予測動きベクトル再構築部443は、各インター予測モードについて、選択した予測動きベクトル情報と、注目領域の動き情報とを、動き情報再構築部434に供給する。また、予測動きベクトル確認部422は、閾値設定部451、領域サイズ判定部452、動きベクトル符号化方法判定部453、および制御部454を有する。閾値設定部451は、閾値設定部141と同様に動作し、閾値を設定する。領域サイズ判定部452は、最適モード情報バッファ431から領域サイズの情報を取得し、その領域サイズを、閾値設定部451から取得した閾値を用いて、領域サイズ判定部142の場合と同様に判定する。つまり、領域サイズ判定部142は、第1の実施の形態で説明したように時間予測を制限しながら符号化を行った場合に、注目領域の予測動きベクトルが空間予測動きベクトルとなるか時間予測動きベクトルとなるかを、注目領域のサイズに基づいて判定する。領域サイズ判定部142は、その判定の結果、選択された動きベクトル符号化方法を動きベクトル符号化方法判定部453に供給する。動きベクトル符号化方法判定部453は、予測情報において示される動きベクトル符号化方法予測動きベクトルが空間予測動きベクトルであるか、時間予測動きベクトルであるかが、領域サイズ判定部452における判定結果と一致するか否かを判定する。つまり動きベクトル符号化方法判定部453は、画像符号化装置100から取得した符号化データが、第1の実施の形態において説明した時間予測の制限の下で生成されたものであるか否かを判定する。換言するに、動きベクトル符号化方法判定部453は、画像符号化装置100から取得した符号化データにおいて、時間予測が、第1の実施の形態において説明したように制限されているか否かを判定する。そして、動きベクトル符号化方法判定部453は、その判定結果を制御部454に通知する。制御部454は、その判定結果に基づいて各部を制御する。より具体的には、制御部454は、符号化データにおいて、時間予測が、第1の実施の形態において説明したように制限されていない場合、ユーザにその旨を通知したり、復号処理を終了したりするエラー処理を行う。[復号処理の流れ]次に、以上のような画像復号装置400により実行される各処理の流れについて説明する。最初に、図14のフローチャートを参照して、復号処理の流れの例を説明する。復号処理が開始されると、ステップS401において、蓄積バッファ401は、伝送されてきたビットストリームを蓄積する。ステップS402において、可逆復号部402は、蓄積バッファ401から供給されるビットストリーム符号化された差分画像情報を復号する。このとき、イントラ予測情報やインター予測情報等、ビットストリームに含められた差分画像情報以外の各種情報も復号される。ステップS403において、逆量子化部403は、ステップS402の処理により得られた、量子化された直交変換係数を逆量子化する。ステップS404において逆直交変換部404は、ステップS403において逆量子化された直交変換係数を逆直交変換する。ステップS405において、イントラ予測部411若しくは動き予測補償部412は、供給された情報を用いて予測処理を行う。ステップS406において、演算部405は、ステップS404において逆直交変換されて得られた差分画像情報に、ステップS405において生成された予測画像を加算する。これにより再構成画像が生成される。ステップS407において、ループフィルタ406は、ステップS406において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。ステップS408において、画面並べ替えバッファ407は、ステップS407においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画像符号化装置100の画面並べ替えバッファ102により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。ステップS409において、DA変換部408は、フレームの順序が並べ替えられた復号画像をDA変換する。この復号画像が図示せぬディスプレイに出力され、表示される。ステップS410において、フレームメモリ409は、ステップS407においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。ステップS410の処理が終了すると、復号処理が終了される。[予測処理の流れ]次に、図15のフローチャートを参照して、図14のステップS405において実行される予測処理の流れの例を説明する。予測処理が開始されると、可逆復号部402は、ステップS431において、処理対象の領域が符号化の際にイントラ予測が行われたか否かを判定する。イントラ予測が行われたと判定された場合、可逆復号部402は、処理をステップS432に進める。この場合、イントラ予測部411は、ステップS432において、可逆復号部402からイントラ予測モード情報を取得し、ステップS433において、イントラ予測によって予測画像を生成する。予測画像が生成されると、イントラ予測部411は、予測処理を終了し、処理を図14に戻す。また、ステップS431において、当該領域がインター予測の行われた領域であると判定した場合、可逆復号部402は、処理をステップS434に進める。ステップS434において、動き予測補償部412は、インター動き予測処理を行う。インター動き予測処理が終了すると、動き予測補償部412は、予測処理を終了し、処理を図14に戻す。[インター動き予測処理の流れ]次に、図16のフローチャートを参照して、図15のステップS434において実行されるインター動き予測処理の流れの例を説明する。ステップS451において、閾値設定部451は、プロファイルレベルに応じて閾値を設定する。ステップS452において、最適モード情報バッファ431は、符号化データより抽出された最適モード情報を取得する。ステップS453において、領域サイズ判定部452は、注目領域のサイズが、ステップS451において設定された閾値より大きいか否かを判定し、第1の実施の形態において説明した時間予測の制限が適用された場合の動きベクトル符号化方法を判定する。ステップS454において、予測動き情報バッファ432は、符号化データより抽出された予測動き情報を取得する。ステップS455において、動きベクトル符号化方法判定部453は、ステップS454において取得された予測動き情報に示される注目領域の予測動きベクトルが、ステップS453において判定された動きベクトル符号化方法に適合するか否かを判定する。つまり、動きベクトル符号化方法判定部453は、符号化データにおける注目領域の動きベクトル符号化方法時間予測であるか空間予測であるかが、第1の実施の形態において説明した時間予測の制限が適用された場合の動きベクトル符号化方法と一致するか否かを判定する。注目領域の予測動きベクトルが、ステップS453において判定された動きベクトル符号化方法に適合すると判定された場合、動きベクトル符号化方法判定部453は、処理をステップS456に進める。ステップS456において、動きベクトル符号化方法判定部453は、注目領域の動きベクトル符号化方法が時間予測であるか否かを判定し、時間予測であると判定した場合、処理をステップS457に進める。その場合、ステップS457において、動きベクトル復号部421は、時間予測を用いて予測動きベクトルを再構築する。また、ステップS456において、注目領域の動きベクトル符号化方法が空間予測であると判定した場合、動きベクトル符号化方法判定部453は、処理をステップS458に進める。その場合、ステップS458において、動きベクトル復号部421は、空間予測を用いて予測動きベクトルを再構築する。ステップS459において、差分動き情報バッファ433は、差分動き情報を取得する。ステップS460において、動き情報再構築部434は、ステップS459において取得された差分動き情報を用いて動き情報を再構築する。ステップS461において、動き補償部435は、ステップS460において再構築された動き情報を用いて、動き補償を行う。ステップS462において、動き情報バッファ436および空間予測動きベクトル決定部441は、ステップS460において再構築された動き情報を記憶する。ステップS462の処理が終了すると、動き情報バッファ436および空間予測動きベクトル決定部441は、インター動き予測処理を終了する。また、ステップS455において、注目領域の予測動きベクトルが、ステップS453において判定された動きベクトル符号化方法に適合しないと判定された場合、動きベクトル符号化方法判定部453は、処理をステップS463に進める。ステップS463において、制御部454は、エラー処理を行い、例えばユーザにその旨を通知したり、復号処理を中止させたりする等、予め定められたエラー時の処理を実行する。エラー処理が終了すると、制御部454は、ンター動き予測処理を終了する。以上のように各処理を行うことにより、画像復号装置400は、符号化の際に、領域サイズに基づいた時間予測の制限が行われたか否かを、正しく確認することが出来る。これにより、デバッグ処理を行ったり、復号処理を中止したりすることができる。なお、第2の実施の形態において説明したような、時間予測動きベクトルの発生回数に基づいた時間予測の制限を行う場合も、同様の方法で、確認することができる。なお、本技術は、例えば、MPEG、H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報ビットストリームを、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。<5.第5の実施の形態>[コンピュータ]上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。図17において、パーソナルコンピュータ500のCPUCentralProcessingUnit501は、ROMReadOnlyMemory502に記憶されているプログラム、または記憶部513からRAMRandomAccessMemory503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース510も接続されている。入出力インタフェース510には、キーボード、マウスなどよりなる入力部511、CRTCathodeRayTubeやLCDLiquidCrystalDisplayなどよりなるディスプレイ、並びにスピーカなどよりなる出力部512、ハードディスクなどより構成される記憶部513、モデムなどより構成される通信部514が接続されている。通信部514は、インターネットを含むネットワークを介しての通信処理を行う。入出力インタフェース510にはまた、必要に応じてドライブ515が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア521が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部513にインストールされる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。この記録媒体は、例えば、図17に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスクフレキシブルディスクを含む、光ディスクCDROMCompactDiscReadOnlyMemoryDVDDigitalVersatileDiscを含む、光磁気ディスクMDMiniDiscを含む、若しくは半導体メモリなどよりなるリムーバブルメディア521により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部513に含まれるハードディスクなどで構成される。なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムとは、複数のデバイス装置により構成される装置全体を表すものである。また、以上において、1つの装置または処理部として説明した構成を分割し、複数の装置または処理部として構成するようにしてもよい。逆に、以上において複数の装置または処理部として説明した構成をまとめて1つの装置または処理部として構成されるようにしてもよい。また、各装置または各処理部の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置または処理部の構成の一部を他の装置または他の処理部の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。<6.第6の実施の形態>[第1の応用例:テレビジョン受像機]図18は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送部としての役割を有する。デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPGElectronicProgramGuideなどの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUIGraphicalUserInterfaceの画像を生成し、生成した画像を出力画像に重畳してもよい。表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス例えば、液晶ディスプレイ、プラズマディスプレイ又はOELDOrganicElectroLuminescenceDisplay有機ELディスプレイなどの映像面上に映像又は画像を表示する。音声信号処理部907は、デコーダ904から入力される音声データについてDA変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送部としての役割を有する。制御部910は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置900での画像の復号に際して、復号処理の負荷の増大を抑制することができる。<7.第7の実施の形態>[第2の応用例:携帯電話機]図19は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをAD変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びDA変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBUnallocatedSpaceBitmapメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記憶再生部929の記憶媒体に記憶させる。また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びDA変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機920での画像の符号化及び復号に際して、符号化処理や復号処理の負荷の増大を抑制することができる。<8.第8の実施の形態>[第3の応用例:記録再生装置]図20は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDDHardDiskDrive944、ディスクドライブ945、セレクタ946、デコーダ947、OSDOnScreenDisplay948、制御部949、及びユーザインタフェース950を備える。チューナ941は、アンテナ図示せずを介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送部としての役割を有する。外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送部としての役割を有する。エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスクDVDVideo、DVDRAM、DVDR、DVDRW、DVDR、DVDRW等又はBluray登録商標ディスクなどであってよい。セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置940での画像の符号化及び復号に際して、符号化処理や復号処理の負荷の増大を抑制することができる。<9.第9の実施の形態>[第4の応用例:撮像装置]図21は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDChargeCoupledDevice又はCMOSComplementaryMetalOxideSemiconductorなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送部としての役割を有する。メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSDSolidStateDriveのような非可搬性の記憶部が構成されてもよい。制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置960での画像の符号化及び復号に際して、符号化処理や復号処理の負荷の増大を抑制することができる。なお、本明細書では、閾値などの様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、関連付けるという用語は、ビットストリームに含まれる画像スライス若しくはブロックなど、画像の一部であってもよいと当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像又はビットストリームとは別の伝送路上で伝送されてもよい。また、情報は、画像又はビットストリームとは別の記録媒体又は同一の記録媒体の別の記録エリアに記録されてもよい。さらに、情報と画像又はビットストリームとは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。なお、本技術は以下のような構成も取ることができる。1動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する時間予測を行うか否かを制御する時間予測制御部と、前記時間予測制御部の制御に従って、前記注目領域の空間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する空間予測のみを行って、若しくは、前記空間予測および前記時間予測の両方を行って、前記注目領域の動きベクトルを予測し、その予測値を用いて前記注目領域の動きベクトルを符号化する動きベクトル符号化部とを備える画像処理装置。2前記時間予測制御部は、前記注目領域の大きさに応じて前記時間予測を行うか否かを制御する前記1に記載の画像処理装置。3前記時間予測制御部は、前記注目領域の大きさが所定の閾値以下の場合、前記時間予測を行わないように制御する前記2に記載の画像処理装置。4前記閾値を設定する閾値設定部をさらに備え、前記時間予測制御部は、前記注目領域の大きさが、前記閾値設定部により設定された前記閾値以下の場合、前記時間予測を行わないように制御する前記3に記載の画像処理装置。5前記閾値設定部は、プロファイルレベルに応じて前記閾値を設定する前記4に記載の画像処理装置。6前記閾値を伝送する伝送部をさらに備える前記3に記載の画像処理装置。7前記時間予測制御部は、前記注目領域の動きベクトルの予測値として、前記時間予測により予測された前記注目領域の動きベクトルである時間予測動きベクトルが適用された回数によって、前記時間予測を行うか否かを制御する前記1に記載の画像処理装置。8前記時間予測制御部は、所定のデータ単位当たりの前記回数が所定の閾値に達した場合、前記時間予測を行わないように制御する前記7に記載の画像処理装置。9前記閾値を設定する閾値設定部をさらに備え、前記時間予測制御部は、所定のデータ単位当たりの前記回数が、前記閾値設定部により設定された前記閾値に達した場合、前記時間予測を行わないように制御する前記8に記載の画像処理装置。10前記閾値設定部は、プロファイルレベルに応じて前記閾値を設定する前記9に記載の画像処理装置。11前記閾値設定部は、前記所定のデータ単位の大きさに応じて前記閾値を設定する前記9に記載の画像処理装置。12前記所定のデータ単位は、LCULargestCodingUnitである前記8に記載の画像処理装置。13前記閾値は、予測方向毎に設けられ、前記時間予測制御部は、複数の予測方向の内、少なくともいずれか1つの予測方向において、所定のデータ単位当たりの前記回数が、前記予測方向用の閾値に達した場合、前記時間予測を行わないように制御する前記8に記載の画像処理装置。14前記閾値を伝送する伝送部をさらに備える前記8に記載の画像処理装置。15前記注目領域の空間方向の周辺領域の動きベクトルが全て利用不可であるか否かを判定する判定部と、前記時間予測制御部が前記時間予測を行うように制御するか否かに関わらず、前記判定部により前記注目領域の空間方向の周辺領域の動きベクトルが全て利用不可であると判定された場合、ゼロベクトルを前記注目領域の動きベクトルの予測値に設定する設定部とをさらに備える前記1に記載の画像処理装置。16前記動きベクトル符号化部は、前記空間予測のみを行って前記注目領域の動きベクトルを予測する場合、前記時間予測を除外した、前記予測値の種類を示すコードナンバの割当表を用いて前記予測値にコードナンバを割り当てる前記1に記載の画像処理装置。17前記コードナンバの割当表を伝送する伝送部をさらに備える前記16に記載の画像処理装置。18前記動きベクトル符号化部は、前記時間予測制御部により許可された場合、前記時間予測を行い、前記時間予測により予測された前記注目領域の動きベクトルである時間予測動きベクトルを生成する時間予測部と、前記空間予測を行い、前記空間予測により予測された前記注目領域の動きベクトルである空間予測動きベクトルを生成する空間予測部と、前記時間予測部により生成された前記時間予測動きベクトルと、前記空間予測部により生成された前記空間予測動きベクトルとの内、前記注目領域の動きベクトルにより近い方を、前記注目領域の動きベクトルの予測値とする予測動きベクトル生成部と、前記注目領域の動きベクトルと、前記予測動きベクトル生成部により生成された前記予測値との差分値を算出する差分値算出部とを備える前記1に記載の画像処理装置。19前記差分値算出部により算出された前記差分値を伝送する伝送部をさらに備える前記18に記載の画像処理装置。20画像処理装置の画像処理方法であって、前記時間予測制御部が、動きベクトルの予測において、処理対象である注目領域の時間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する時間予測を行うか否かを制御し、前記動きベクトル符号化部が、その制御に従って、前記注目領域の空間方向の周辺領域の動きベクトルを用いて前記動きベクトルを予測する空間予測のみを行って、若しくは、前記空間予測および前記時間予測の両方を行って、前記注目領域の動きベクトルを予測し、その予測値を用いて前記注目領域の動きベクトルを符号化する画像処理方法。"