"画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部と、入力画像と、前記符号化用予測画像生成部により生成された予測画像の差分画像を算出する演算部と、前記演算部により算出された前記差分画像を符号化する符号化部とを備える画像処理装置。前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する請求項1に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する請求項2に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する請求項2に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する請求項2に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する請求項2に記載の画像処理装置。前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する請求項2に記載の画像処理装置。前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する請求項1に記載の画像処理装置。前記記憶部は、前記処理対象の領域がイントラ予測される場合、前記イントラ予測により生成された予測画像を用いて生成された再構成画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、前記符号化用予測画像生成部は、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、前記符号化部は、前記符号化用予測画像生成部による前記イントラ予測の処理単位のサイズおよび予測モードに関するイントラ予測情報を、符号化した前記差分画像のビットストリームに付加する請求項1に記載の画像処理装置。画像処理装置の画像処理方法であって、周辺用予測画像生成部が、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、符号化用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、入力画像と、生成された予測画像の差分画像を算出し、符号化部が、算出された前記差分画像を符号化する画像処理方法。画像が符号化されたビットストリームを復号する復号部と、前記復号部により前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する復号用予測画像生成部と、差分画像に、前記復号用予測画像生成部により生成された予測画像を加算し、復号画像を生成する演算部とを備える画像処理装置。前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する請求項11に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する請求項12に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する請求項12に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する請求項12に記載の画像処理装置。前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する請求項12に記載の画像処理装置。前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する請求項12に記載の画像処理装置。前記決定部は、前記復号部により前記ビットストリームが復号されて得られた前記インター予測に関する情報に含まれる、前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する請求項12に記載の画像処理装置。前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する請求項11に記載の画像処理装置。画像処理装置の画像処理方法であって、復号部が、画像が符号化されたビットストリームを復号し、周辺用予測画像生成部が、前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、復号用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、差分画像に、生成された予測画像を加算し、復号画像を生成する画像処理方法。しかしながら、非特許文献2に記載の方法は、単純な線形補間計算のため、インター予測のブロックが大きい場合、隣接するイントラ予測のブロックの画素を利用して算出された値とインター予測での値が大きく異なってしまう可能性がある。また、計算に使用されるイントラ予測のブロックの画素は、インター予測のブロックに隣接する最大2画素のみであるため、イントラ予測のブロックの画素を利用して算出される値は、そのイントラ予測のブロックの画素値にひきずられてしまい、実際の値インター予測により求められる画素値から大きく異なってしまう恐れがあった。本開示は、このような状況に鑑みてなされたものであり、利用不可能なインター予測のブロックの画素を、より精度の高い画素を用いて置き換えることができるようにし、利用可能なイントラ予測モードを増大させ、符号化効率を向上させることができるようにすることを目的とする。本開示の一側面は、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部と、入力画像と、前記符号化用予測画像生成部により生成された予測画像の差分画像を算出する演算部と、前記演算部により算出された前記差分画像を符号化する符号化部とを備える画像処理装置である。前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成することができる。前記決定部は、前記イントラ予測の予測モードを平均値予測に決定することができる。前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定することができる。前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定することができる。前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定することができる。前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定することができる。前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成することができる。前記記憶部は、前記処理対象の領域がイントラ予測される場合、前記イントラ予測により生成された予測画像を用いて生成された再構成画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、前記符号化用予測画像生成部は、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、前記符号化部は、前記符号化用予測画像生成部による前記イントラ予測の処理単位のサイズおよび予測モードに関するイントラ予測情報を、符号化した前記差分画像のビットストリームに付加することができる。本開示の一側面は、また、画像処理装置の画像処理方法であって、周辺用予測画像生成部が、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、符号化用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、入力画像と、生成された予測画像の差分画像を算出し、符号化部が、算出された前記差分画像を符号化する画像処理方法である。本開示の他の側面は、画像が符号化されたビットストリームを復号する復号部と、前記復号部により前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する復号用予測画像生成部と、差分画像に、前記復号用予測画像生成部により生成された予測画像を加算し、復号画像を生成する演算部とを備える画像処理装置である。前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成することができる。前記決定部は、前記イントラ予測の予測モードを平均値予測に決定することができる。前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定することができる。前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定することができる。前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定することができる。前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定することができる。前記決定部は、前記復号部により前記ビットストリームが復号されて得られた前記インター予測に関する情報に含まれる、前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定することができる。前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成することができる。本開示の他の側面は、また、画像処理装置の画像処理方法であって、復号部が、画像が符号化されたビットストリームを復号し、周辺用予測画像生成部が、前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、復号用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、差分画像に、生成された予測画像を加算し、復号画像を生成する画像処理方法である。本発明の一側面においては、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、生成された予測画像の、処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値が記憶され、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、入力画像と、生成された予測画像の差分画像が算出され、算出された差分画像が符号化される。本発明の他の側面においては、画像が符号化されたビットストリームが復号され、ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、生成された予測画像の、処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値が記憶され、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、差分画像に、生成された予測画像が加算され、復号画像が生成される。本開示によれば、画像を処理することができる。特に、符号化効率を向上させることができる。以下、発明を実施するための形態以下実施の形態とするについて説明する。なお、説明は以下の順序で行う。1.第1の実施の形態画像復号装置2.第2の実施の形態画像符号化装置3.第3の実施の形態パーソナルコンピュータ4.第4の実施の形態テレビジョン受像機5.第5の実施の形態携帯電話機6.第6の実施の形態記録再生装置7.第7の実施の形態撮像装置<1.第1の実施の形態>[画像符号化装置]図1は、画像符号化装置の主な構成例を示すブロック図である。図1に示される画像符号化装置100は、H.264及びMPEGMovingPictureExpertsGroup4Part10AVCAdvancedVideoCoding符号化方式のように、予測処理を用いて画像データを符号化する。図1に示されるように画像符号化装置100は、AD変換部101、画面並べ替えバッファ102、演算部103、直交変換部104、量子化部105、可逆符号化部106、および蓄積バッファ107を有する。また、画像符号化装置100は、逆量子化部108、逆直交変換部109、演算部110、ループフィルタ111、フレームメモリ112、イントラ予測部113、動き予測補償部114、予測画像選択部115、およびレート制御部116を有する。AD変換部101は、入力された画像データをAD変換し、変換後の画像データデジタルデータを、画面並べ替えバッファ102に供給し、記憶させる。画面並べ替えバッファ102は、記憶した表示の順番のフレームの画像を、GOPGroupOfPictureに応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部103に供給する。また、画面並べ替えバッファ102は、フレームの順番を並び替えた画像を、イントラ予測部113および動き予測補償部114にも供給する。演算部103は、画面並べ替えバッファ102から読み出された画像から、予測画像選択部115を介してイントラ予測部113若しくは動き予測補償部114から供給される予測画像を減算し、その差分情報を直交変換部104に出力する。例えば、イントラ符号化が行われる画像の場合、演算部103は、画面並べ替えバッファ102から読み出された画像から、イントラ予測部113から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部103は、画面並べ替えバッファ102から読み出された画像から、動き予測補償部114から供給される予測画像を減算する。直交変換部104は、演算部103から供給される差分情報に対して、離散コサイン変換やカルーネンレーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部104は、その変換係数を量子化部105に供給する。量子化部105は、直交変換部104から供給される変換係数を量子化する。量子化部105は、レート制御部116から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部105は、量子化された変換係数を可逆符号化部106に供給する。可逆符号化部106は、量子化部105において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部116の制御の下で量子化されているので、この符号量は、レート制御部116が設定した目標値となる若しくは目標値に近似する。また、可逆符号化部106は、イントラ予測のモードを示す情報などをイントラ予測部113から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測補償部114から取得する。さらに、可逆符号化部106は、ループフィルタ111において使用されたフィルタ係数等を取得する。可逆符号化部106は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする多重化する。可逆符号化部106は、符号化して得られた符号化データを蓄積バッファ107に供給して蓄積させる。可逆符号化部106の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264AVC方式で定められているCAVLCContextAdaptiveVariableLengthCodingなどが挙げられる。算術符号化としては、例えば、CABACContextAdaptiveBinaryArithmeticCodingなどが挙げられる。蓄積バッファ107は、可逆符号化部106から供給された符号化データを、一時的に保持する。蓄積バッファ107は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置記録媒体や伝送路などに出力する。また、量子化部105において量子化された変換係数は、逆量子化部108にも供給される。逆量子化部108は、その量子化された変換係数を、量子化部105による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部105による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部108は、得られた変換係数を、逆直交変換部109に供給する。逆直交変換部109は、逆量子化部108から供給された変換係数を、直交変換部104による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部104による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力復元された差分情報は、演算部110に供給される。演算部110は、逆直交変換部109から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部115を介してイントラ予測部113若しくは動き予測補償部114から供給される予測画像を加算し、局部的に再構成された画像以下、再構成画像と称するを得る。その再構成画像は、ループフィルタ111またはイントラ予測部113に供給される。ループフィルタ111は、デブロックフィルタや適応ループフィルタ等を含み、演算部110から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ111は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ111は、そのデブロックフィルタ処理結果ブロック歪みの除去が行われた復号画像に対して、ウィナーフィルタWienerFilterを用いてループフィルタ処理を行うことにより画質改善を行う。なお、ループフィルタ111が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ111は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部106に供給し、それを符号化させるようにすることもできる。ループフィルタ111は、フィルタ処理結果以下、復号画像と称するをフレームメモリ112に供給する。フレームメモリ112は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、動き予測補償部114に供給する。イントラ予測部113は、演算部110から供給される再構成画像を、処理対象領域の周辺に位置する周辺領域の画像周辺画像として保持する。イントラ予測部113は、この処理対象ピクチャ内の周辺画像の画素値を用いて、基本的にプレディクションユニットPUを処理単位として予測画像を生成するイントラ予測画面内予測を行う。イントラ予測部113は、予め用意された複数のモードイントラ予測モードでこのイントラ予測を行う。イントラ予測部113は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ102から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部113は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部115に供給する。また、イントラ予測部113は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部106に供給し、符号化させる。なお、イントラ予測部113は、予測画像選択部115により、インター予測により生成された予測画像が選択された場合、その領域の画像をイントラ予測により生成し、保持する。この画像は、他の領域に対するイントラ予測において、周辺画像として使用される。動き予測補償部114は、画面並べ替えバッファ102から供給される入力画像と、フレームメモリ112から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測インター予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像インター予測画像情報を生成する。動き予測補償部114は、予め用意された複数のモードインター予測モードでこのようなインター予測を行う。動き予測補償部114は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測補償部114は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部115に供給する。また、動き予測補償部114は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部106に供給し、符号化させる。さらに、動き予測補償部114は、予測画像選択部115によってインター予測の予測画像が選択された場合、その予測画像のモード最適なインター予測モードに関する情報インター予測情報をイントラ予測部113に通知する。イントラ予測部113は、そのインター予測情報を用いてイントラ予測のモードを決定する。予測画像選択部115は、演算部103や演算部110に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部115は、予測画像の供給元としてイントラ予測部113を選択し、そのイントラ予測部113から供給される予測画像を演算部103や演算部110に供給する。また、例えば、インター符号化の場合、予測画像選択部115は、予測画像の供給元として動き予測補償部114を選択し、その動き予測補償部114から供給される予測画像を演算部103や演算部110に供給する。レート制御部116は、蓄積バッファ107に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部105の量子化動作のレートを制御する。[イントラ予測モード]次に、AVC符号化方式で定められているイントラ予測方式について述べる。AVC符号化方式の場合、輝度信号については、イントラ4×4予測モードとイントラ8×8予測モード、イントラ16×16予測モードの3通りの方式が定められている。図2に示されるように、イントラ16×16予測モードの際には、各ブロックの直流成分を集めて4×4行列が生成され、これに対して、更に、直交変換が施される。イントラ8×8予測モードに関しては、ハイプロファイル若しくはそれ以上のプロファイルで、当該マクロブロックに、8×8直交変換が施される場合についてのみ適用可能である。[イントラ4×4予測モード]以下では、まず、イントラ4×4予測モードについて述べるAVC符号化方式において規定される9通りのイントラ4×4予測モードを、図3および図4に示す。このうち、DC予測モード2以外のモードに関しては、図5に示される通り、それぞれのモードが一定の方向を示している。つまり、イントラ4×4予測モードにおいては、9通りの予測方向予測モードが用意されている。図6において、a乃至pは、当該ブロックの画素を示し、A乃至Mは隣接ブロックに属する画素値を示す。表に示したそれぞれのモードについて、以下に述べるように、A乃至Mを用いてa乃至pの予測画素値を生成する。モード0Mode0はVerticalPredictionであり、ABCDがavailableの場合のみ適用される。予測画素値は以下の通りである。aeimAbfjnBcgkoCdhlpDモード1Mode1は、HorizontalPredictionであり、IJKLがavailableの場合のみ適用される。それぞれの予測画素値は以下のように生成される。abcdIefghJijklKmnopLモード2Mode2は、DCPredictionであり、ABCDIJKLが全てavailableである時、予測値は、以下の式1ように生成される。1また、ABCDが全てunavailableである時、予測値は、以下の式2ように生成される。2また、IJKLが全てunavailableである時、予測値は以下の式3ように生成される。3ABCDIJKLが全てunavailableである時、128を予測値として用いる。モード3Mode3は、DiagonalDownLeftPredictionであり、ABCDIJKLMがavailableの場合のみ適用される。それぞれの予測値は以下のように生成される。a2be2cfi2dgjm2hkn2lo2p2モード4Mode4は、DiagonalDownRightPredictionであり、ABCDIJKLMがavailableの場合のみ適用される。それぞれの予測値は以下のように生成される。m2in2ejo2afkp2bgl2ch2d2モード5Mode5は、DiagonalVerticalRightPredictionであり、ABCDIJKLMがavailableの場合のみ適用される。それぞれの予測値は以下のように生成される。aj1bk1cl1d1en2fo2gp2h2i2m2モード6Mode6は、HorizontalDownPredictionであり、ABCDIJKLMがavailableの場合のみ適用される。それぞれの予測値は以下のように生成される。ag1bh2c2d2ek1fl2io1jp2m1n2モード7Mode7は、VerticalLeftPredictionであり、ABCDIJKLMがavailableの場合のみ適用される。それぞれの予測値は以下のように生成される。a1bi1cj1dk1l1e2fm2gn2ho2p2モード8Mode8は、HorizontalUpPredictionであり、ABCDIJKLMがavailableの場合のみ適用される。それぞれの予測値は以下のように生成される。a1b2ce1df2gi1hj2klmnopL次に、イントラ4×4予測モードIntra4x4predmodeの符号化方式について説明する。図7において、Cを当該4×4ブロック、A及びBを隣接する4×4ブロックであるとすると、Cにおけるイントラ4×4予測モードIntra4x4predmodeと、A及びBにおけるイントラ4×4予測モードIntra4x4predmodeは高い相関があると考えられる。この事実を利用して、以下のように符号化処理を行うことにより、より高い符号化効率を実現することが可能である。すなわち、図7において、AおよびBに対するイントラ4×4予測モードIntra4x4predmodeをそれぞれイントラ4×4予測モードAIntra4x4predmodeAおよびイントラ4×4予測モードBIntra4x4predmodeBとして、MostProbableModeを以下の式4のように定義する。MostProbableModeMin4すなわち、A,Bのうち、より小さなモード番号modenumberを割り当てられている方をMostProbableModeとする。つまり、隣接ブロックAおよびBの予測モード予測方向を用いて、当該ブロックCの予測モード予測方向を予測する。その予測値をMostProbableModeとする。ビットストリーム中には、当該4×4ブロックに対するパラメータとして、previntra4x4predmodeflag[luma4x4BlkIdx]、および、remintra4x4predmode[luma4x4BlkIdx]という2つの値が定義されており、以下に示される擬似コードに基づく処理により、復号処理が行われ、当該4×4ブロックに対するイントラ4×4予測モードIntra4x4predmodeを示す、Intra4x4PredModeluma4x4BlkIdxの値を得ることが出来る。ifIntra4x4PredModeluma4x4BlkIdxMostProbableModeelseifIntra4x4PredModeluma4x4BlkIdxremintra4x4predmodeluma4x4BlkIdxelseIntra4x4PredModeluma4x4BlkIdxremintra4x4predmodeluma4x4BlkIdx1[イントラ8×8予測方式]次に、イントラ8×8予測方式について説明する。AVCにおいては、図8および図9に示されるように、9通りのイントラ8×8予測モードIntra8x8predmodeが定義されている。つまり、イントラ8×8予測モードには9通りの予測方向予測モードが用意されている。当該8×8ブロックにおける画素値をpxy0≦x≦7;0≦y≦7とし、隣接ブロックの画素値をp11...p115p10...p17のように表すものとする。イントラ8×8予測モードについては、以下に述べるとおり、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理を施す。ここで、ローパスフィルタリング処理前の画素値をp11...p115p10...p17、処理後の画素値をp11...p115p10...p17と表すとする。まず、p11がavailableである場合、p01は、以下の式5のように算出される。p0125また、p11がnotavailableである場合、p01は、以下の式6のように算出される。p0126px1は、以下の式7のように算出される。px127px1がavailableである場合、px1は、以下の式8および式9のように算出される。px128p15129次にp11がavailableである場合について説明する。p01及びp10の双方がavailableである場合、p11は、以下の式10のように算出される。p11210また、p10がunavailableである場合、p11は、以下の式11のように算出される。p11211さらに、p01がunavailableである場合、p11は、以下の式12のように算出される。p11212また、p1yは、p1yがavailableの時、以下のように算出される。すなわち、まず、p11がavailableである場合、p10は、以下の式13のように算出される。p10213また、p11がunavailableである場合、p10は、以下の式14のように算出される。p10214なお、p1yは、以下の式15のように算出される。p1y215また、p17は、以下の式16のように算出される。p17216このように算出されたpを用いて、図8に示された各イントラ予測モードにおける予測値は以下のように算出される。モード0Mode0は、VerticalPredictionであり、px1がavailableである時のみ適用される。予測値pred8x8Lxyは、以下の式17のように算出される。pred8x8Lxypx1xy0717モード1Mode1は、HorizontalPredictionであり、p1yがavailableである時のみ適用される。予測値pred8x8Lxyは、以下の式18のように算出される。pred8x8Lxyp1yxy0718モード2Mode2は、DCPredictionであり、予測値pred8x8Lxyは以下の通り算出される。すなわち、px1およびp1yの両方がavailableである場合、予測値pred8x8Lxyは以下の式19のように算出される。19px1は、availableであるが、p1yがunavailableである場合、予測値pred8x8Lxyは以下の式20のように算出される。20px1は、unavailableであるが、p1yがavailableである場合、予測値pred8x8Lxyは以下の式21のように算出される。21px1およびp1yの両方がunavailableである場合、予測値pred8x8Lxyは以下の式22のように算出される。pred8x8Lxy12822モード3Mode3は、DiagonalDownLeftpredictionであり、予測値pred8x8Lxyは、以下の通り算出される。すなわち、DiagonalDownLeftpredictionは、px1x0...15がavailableの時のみ適用され、x7かつy7のとき、予測値pred8x8Lxyは、以下の式23のように算出される。pred8x8Lxy223その他の予測値pred8x8Lxyは、以下の式24のように算出される。pred8x8Lxy224モード4Mode4は、DiagonalDownRightpredictionであり、予測値pred8x8Lxyは、以下の通り算出される。すなわち、DiagonalDownRightpredictionは、px1x0...7及びp1yy0...7がavailableの時のみ適用され、xyであるとき、予測値pred8x8Lxyは、以下の式25のように算出される。pred8x8Lxy225また、x226さらに、xyであるとき、予測値pred8x8Lxyは、以下の式27のように算出される。pred8x8Lxy227モード5Mode5は、VerticalRightpredictionであり、予測値pred8x8Lxyは以下の通り算出される。すなわち、VerticalRightpredictionは、px1x0...7及びp1yy1...7がavailableの時のみ適用される。zVRを、以下の式28のように定義する。zVR2xy28zVRが、02468101214の場合、予測値pred8x8Lxyは、以下の式29のように算出される。pred8x8Lxy11px11129また、zVRが135791113の場合、予測値pred8x8Lxyは、以下の式30のように算出される。pred8x8Lxy212px11px12230また、zVRが1の場合、予測値pred8x8Lxyは、以下の式31のように算出される。pred8x8Lxy231これ以外の場合、すなわち、zVRが234567の場合、以下の式32のように算出される。pred8x8Lxy232モード6Mode6は、HorizontalDownpredictionであり、予測値pred8x8Lxyは以下の通り算出される。HorizontalDownpredictionは、px1x0...7及びp1yy1...7がavailableの時のみ適用される。zVRを以下の式33のように定義する。zHD2yx33zHDが02468101214の場合、予測値pred8x8Lxyは、以下の式34のように算出される。pred8x8Lxy1p1y1134また、zHDが135791113の場合、予測値pred8x8Lxyは、以下の式35のように算出される。pred8x8Lxy22p1y1p1y2235また、zHDが1の場合、予測値pred8x8Lxyは、以下の式36のように算出される。pred8x8Lxy236また、zHDがこれ以外の値の場合、すなわち、234567の場合、予測値pred8x8Lxyは、以下の式37のように算出される。pred8x8Lxy237モード7Mode7は、VerticalLeftpredictionであり、予測値pred8x8Lxyは以下の通り算出される。すなわち、VerticalLeftpredictionは、px1x0...15がavailableの時のみ適用され、y0246の場合、予測値pred8x8Lxyは、以下の式38のように算出される。pred8x8Lxy1px111138それ以外の場合、すなわち、y1357の場合、予測値pred8x8Lxyは、以下の式39のように算出される。pred8x8Lxy12px11px212239モード8Mode8は、HorizontalUppredictionであり、予測値pred8x8Lxyは以下の通り算出される。すなわち、HorizontalUppredictionは、p1yy0...7がavailableの時のみ適用される。以下では、zHUを以下の式40のように定義する。zHUx2y40zHUの値が024681012の場合、予測値pred8x8Lxyは、以下の式41のように算出される。pred8x8Lxyp1y11141zHUの値が1357911の場合、予測値pred8x8Lxyは、以下の式42のように算出される。pred8x8Lxy42zHUの値が13の場合、予測値pred8x8Lxyは、以下の式43のように算出される。pred8x8Lxy243それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、以下の式44のように算出される。pred8x8Lxyp1744[イントラ16×16予測方式]次に、イントラ16×16予測方式について説明する。AVCにおいては、図10および図11に示されるように、4通りのイントラ16×16予測モードIntra16x16predmodeが定義されている。つまり、イントラ16×16予測モードには、4通りの予測方向予測モードが用意されている。当該マクロブロックに含まれる画素値、並びに、隣接画素値を図12のように定義すると、それぞれの予測値は、以下のように生成される。モード0Mode0は、VerticalPredictionであり、Pxy115がavailableである時のみ適用される。それぞれの予測値は以下の式45のように算出される。45モード1Mode1は、HorizontalPredictionであり、Pxy115がavailableである時のみ適用される。それぞれの予測値は以下の式46のように算出される。46モード2Mode2は、DCPredictionであり、P及びPxy115が全てavailableである場合、予測値は以下の式47のように算出される。47また、Pxy115がnotavailableである場合、予測値は以下の式48のように生成される。48Pxy115がnotavailableである場合、予測値は以下の式49のように生成される。49なお、P及びPxy115が全てnotavailableである場合、予測値として128が用いられる。モード3Mode3は、PlanePredictionであり、P及びPxy115が全てavailableの場合のみ適用される。それぞれの予測値は以下の式50乃至式55のように生成される。505152535455[色差信号に対するイントラ予測モード]次に、色差信号に対するイントラ予測モードについて述べる。色差信号に対するイントラ予測モードは、以下の通り、イントラ16×16予測モードに順ずる。但し、イントラ16×16予測モードが、16×16ブロックを対象としているのに対し、色差信号に対するイントラ予測モードは8×8ブロックを対象としている。更に、また、モード番号mode番号と、対応するモードmodeが異なっていることに注意されたい。色差信号に対する予測モードは、輝度信号に対するモードとは独立に設定することが可能である。以下では、当該マクロブロックMacroblockに含まれる画素値及び隣接画素値の定義については、イントラ16×16モードIntra16x16Modeの場合に順ずる。それぞれのIntrachromapredmodeにおける予測値の生成は以下の通りである。Intrachromapredmodeには、図13に示されるように、モード0乃至モード3の4つのモードがある。モード0Mode0は、DCPredictionであり、P及びPがavailableである場合、予測値は、以下の式56のように算出される。56また、Pがnotavailableである場合、予測値は、以下の式57のように算出される。57また、Pがnotavailableである場合、予測値は、以下の式58のように算出される。58モード1Mode1は、HorizontalPredictionであり、Pがavailableの場合にのみ適用される。予測値は、以下の式59のように生成される。59モード2Mode2は、VerticalPredictionであり、Pがavailableの場合にのみ適用される。予測値は、以下の式60のように生成される。60モード3Mode3は、PlanePredictionであり、P及びPがavailableの場合にのみ適用される。予測値は、以下の式61乃至式66のように生成される。616263646566[コスト関数]ところで、AVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。かかる選択方式の例として、httpiphomehhidesuehringtmlindexhtmにおいて公開されている、JMと呼ばれるH264MPEG4AVCの参照ソフトウエアに実装されている方法を挙げることが出来る。JMにおいては、以下に述べる、HighComplexityModeと、LowComplexityModeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。HighComplexityModeにおけるコスト関数は、以下の式67のようになる。CostDλR67ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。つまり、HighComplexityModeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。LowComplexityModeにおけるコスト関数は、以下の式68のようになる。CostDQP2QuantHeaderBit68ここで、Dは、HighComplexityModeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quantは、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。すなわち、LowComplexityModeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、HighComplexityModeより低い演算量での実現が可能である。ところで、4000×2000画素といった、より高解像度の画像においては、マクロブロックの大きさを、32×32画素、64×64画素といったように、拡張された大きさのマクロブロックを用いた符号化処理を行うことで、符号化効率を向上させることが可能である。非特許文献1においては、かかる方式を、イントラスライスに適用した例が提案されている。ところで、現在、AVCより更なる符号化効率の向上を目的として、ITUTと、ISOIECの共同の標準化団体であるJCTVCJointCollaborationTeamVideoCodingにより、HEVCHighEfficiencyVideoCodingと呼ばれる符号化方式の標準化が進められている。2010年9月現在、Draftとして、TestModelunderConsiderationJCTVCB205以下において、非特許文献3と称するが発行されている。[コーディングユニット]以下では、まず、HEVC符号化方式において定められている、コーディングユニットCodingUnitについて説明する。CodingUnitCUは、CodingTreeBlockCTBとも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16×16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。特に、最大の大きさを持つCUを、LCULargestCodingUnitと呼び、また、最小の大きさを持つCUをSCUSmallestCodingUnitと称する。例えば画像圧縮情報に含まれるシーケンスパラメータセットにおいて、これらの領域のサイズが指定されることになるが、それぞれ、正方形で、2の冪乗で表される大きさに限定される。図14に、HEVCで定義されているコーディングユニットCodingUnitの例を示す。図14の例では、LCUの大きさが128であり、最大階層深度が5となる。2N×2Nの大きさのCUは、splitflagの値が1である時、1つ下の階層となる、N×Nの大きさのCUに分割される。更に、CUは、イントラ若しくはインター予測の処理単位となる領域ピクチャ単位の画像の部分領域であるプレディクションユニットPredictionUnitPUに分割され、また、直交変換の処理単位となる領域ピクチャ単位の画像の部分領域である、トランスフォームユニットTransformUnitTUに分割される。なお、以下において、領域には、上述した各種領域例えば、マクロブロック、サブマクロブロック、LCU、CU、SCU、PU、およびTU等を全て含むそれらのいずれであってもよい。もちろん、上述した以外の単位が含まれてもよいし、説明の内容に応じて不可能な単位は、適宜、除外するものとする。[HEVCイントラ予測方式]次に、HEVCにおいて定められているイントラ予測方式について説明する。HEVCにおいては、イントラ予測のためのPUの単位は、4×4、8×8、16×16、32×32若しくは64×64である。4×4の大きさに関しては、AVCと同様のイントラ予測処理が行われる。8×8の大きさに関しては、後述する、AngularPredictionと呼ばれる方式に基づいてイントラ予測処理が行われる。16×16及び32×32及び64×64の大きさに関しては、後述するArbitraryDirectionalIntraADIと呼ばれる方式に基づいて、イントラ予測処理が行われる。更に、イントラ予測を行うに先立ち、符号化効率を向上させる場合には、係数121によるローパスフィルタ処理が、周辺画素値に施される。施す施さないに関する情報が、それぞれのPU毎に、画像圧縮情報中に伝送されることになる。以下では、HEVC符号化方式において規定されている、AngularPredictionイントラ予測方式について述べる。[AngularPredictionイントラ予測方式]図15に、AngularPredictionイントラ予測方式を説明するための図を示す。すなわち、AngularPredictionにおいては、図15Aに示されるような角度のイントラ予測処理を行うことが可能である。また、図15Aのような角度のイントラ予測を行うためには、図15Bに示されるように、周辺画素の間の画素値を用いる必要が生じるが、このため、AngularPredictionにおいては、1/8画素精度の線形内挿処理を行うことが可能となっている。[ArbitraryDirectionalIntraADIイントラ予測方式]次に、HEVC符号化方式において規定されている、ArbitraryDirectionalIntraADIイントラ予測方式について述べる。図16に、ArbitraryDirectionalIntraADIイントラ予測方式を説明するための図を示す。ArbitraryDirectionalIntraADIイントラ予測方式においては、図16Aに示されるように、左下に位置する隣接画素値も用いられる。AVC符号化方式の場合と同様に、Vertical,Horizontal,DC,DiagonalDownLeft,DiagonalDownRight,VerticalRight,HorizontalDown,VerticalLeft、およびHorizontalUpの各予測モードが定義されているが、その他のモードに関しては、図16Bに示されるように、dxdyを符号化情報として画像圧縮情報中に伝送される。[constrainedintrapredflag]ところで、例えばAVCやHEVCにおいては、インターピクチャにおいて、インター予測により再構成された画素からのイントラ予測を禁止するモードが用意されている。このモードは、インター予測の画像、若しくは、インター予測で参照する画像にエラー混入していた場合においても、そのエラーのイントラ予測への影響を抑制するためのモードである。例えば、シンタックスのピクチャパラメータ中にconstrainedintrapredflagが設けられ、その値が、1の場合、上述したようなモードが採用される。ところが、HEVCの場合、例えば、図17に示されるように、1つのLCU内に、インター予測を行うCUとイントラ予測を行うCUを混在させることが可能である。このような場合、constrainedintrapredflag=1すなわちインター予測によって再構成された画素をイントラ予測で利用しないモードであるとすると、イントラ予測において多くの周辺画素が参照できなくなる可能性が高い。その結果、利用できる予測モードの数が大幅に抑制され、符号化効率が低減する可能性がある。図18を参照して、具体的に説明する。イントラ予測の処理対象のCUが16×16画素であるとする。図18には、このCUをイントラ予測をするために必要な周辺の隣接画素と、その隣接画素が含まれる周辺CUでのインター予測イントラ予測の状態の例が図示してある。周辺CUの内、A、C、D、G、H、L、およびMがインター予測されたCUであり、B、E、F、J、K、およびNがイントラ予測されたCUである。図18に示されるように、処理対象の領域CUnの周辺隣接画素はインター予測された画素とイントラ予測された画素が混在している。このため、インター予測によって再構成された画素をイントラ予測で利用しないモードconstrainedintrapredflag=1の場合、利用可能なイントラ予測モードがDC平均値予測モードのみになってしまう。しかも既存の規格では周辺画素が利用できないために画素値を固定の128で予測することになる。このようにHEVCのインターピクチャにおけるイントラ予測において、インター予測によって再構成された画素をイントラ予測で利用しないモードconstrainedintrapredflag=1の場合、周辺のすべての画素が利用可能でないために、利用できるイントラ予測モードが大幅に制限されてしまう可能性があった。特にHEVCのIntraAngularPredictionではイントラ予測の予測方向が33方向とAVC等における従来のイントラ予測に比べて細かく設定することにより符号化効率の向上を目指しているため、上述の制限は符号化効率の大幅な低下を招くことになる可能性があった。これに対して、constrainedintrapredflag=1の場合のインターピクチャでのイントラ予測において、図18のような周辺画素の構成になっていた場合に、以下の式でインター予測から構成される周辺画素値を計算する方法が、非特許文献2に開示されている。例えば、PT:インター予測から構成される周辺画素領域PRA:PTの右もしくは上に隣接するイントラ予測から構成される画素PLD:PTの左もしくは下に隣接するイントラ予測から構成される画素とする。領域PTの左右もしくは上下両方に隣接するイントラ予測から構成される画素が存在する場合、以下の式69のように、インター予測画素から構成される周辺画素をイントラ予測から構成される画素から計算し、周辺画素をすべて利用可能な状態にしてイントラ予測を行う。PT=PRAPLD1169また、左右もしくは上下のうち一方に隣接するイントラ予測から構成される画素しか存在しない場合、以下の式70のように、インター予測画素から構成される周辺画素をイントラ予測から構成される画素から計算し、周辺画素をすべて利用可能な状態にしてイントラ予測を行う。PT=PRA若しくはPT=PLD70図18の例の場合、P81乃至P151は、以下の式71のように算出される値に置き換え、利用可能な状態とする。PT=P71P1611171また、P乃至Pは、以下の式72のように算出される値に置き換え、利用可能な状態とする。PT=P23172しかしながら、この方法の場合、単純な線形補間計算により置き換えが行われるため、置き換えられる値が置き換える前の値と大きく異なってしまう可能性がある。特に、PTの領域が大きい場合、その誤差はより顕著になる可能性が高くなる。また、置き換える値を算出するのに用いられる画素値が、最大2画素のみであるため、算出結果は、その画素値に大きく影響され易い。したがって、置き換えられる値が置き換える前の値と大きく異なってしまう可能性がある。そこで、イントラ予測部113は、インター予測が採用される領域に対して、constrainedintrapredflag=1の場合、そのインター予測結果の代わりに、イントラ予測結果を保持し、そのイントラ予測結果を、その領域より時間的に後に処理される領域に対するイントラ予測において、周辺画素の画素値として利用する。なお、このconstrainedintrapredflagは、シーケンスパラメータセットやピクチャパラメータセットに含められて、ビットストリームとして復号側に伝送される。[イントラ予測部]図19は、図1のイントラ予測部113の主な構成例を示すブロック図である。図19に示されるように、イントラ予測部113は、周辺画素バッファ131、候補予測画像生成部132、コスト関数値算出部133、予測モード判定部134、PUサイズ判定部135、および、符号化用予測画像生成部136を有する。また、イントラ予測部113は、制御部141および周辺用予測画像生成部142をさらに有する。周辺画素バッファ131は、処理対象とする領域の周辺画素として利用される画素値を記憶する。例えば、周辺画素バッファ131は、演算部110から供給される再構成画像の画素値再構成画素を記憶する。また、例えば、周辺画素バッファ131は、周辺用予測画像生成部142が生成する予測画像の画素値予測画素値を記憶する。これらの画素値は、周辺画素バッファ131が記憶する時点では、処理対象の領域の画素値である。周辺画素バッファ131は、その領域よりも時間的に後に処理される他の領域に対するイントラ予測において、記憶している画素値を、周辺画素の画素値周辺画素値として、候補予測画像生成部132、符号化用予測画像生成部136、および周辺用予測画像生成部142に供給する。つまり、周辺画素バッファ131は、処理対象の領域のイントラ予測において、周辺画素値を提供する。図18の例の場合、周辺画素バッファ131は、領域Aが処理対象であるときに、領域Aの左端と下端の各画素の画素値を記憶する。領域B乃至領域Nについても同様であり、周辺画素バッファ131は、各領域を処理対象とするときに、各領域の左端と下端の各画素の画素値を記憶する。その際、領域B、E、F、J、K、およびNは、イントラ予測が選択される領域であるので、周辺画素バッファ131は、演算部110から供給される再構成画素を記憶する。これに対して、領域A、C、D、G、H、L、およびMは、インター予測が選択される領域であるので、周辺画素バッファ131は、周辺用予測画像生成部142がイントラ予測を用いて生成した予測画素値を記憶する。そして、領域CUnを処理対象とするイントラ予測において、周辺画素バッファ131は、必要に応じて、画素P11乃至画素P311、並びに、画素P11乃至画素P131の一部または全部を、候補予測画像生成部132、符号化用予測画像生成部136、および周辺用予測画像生成部142に供給する。候補予測画像生成部132は、周辺画素バッファ131から周辺画素値を取得し、その周辺画素値を用いて、処理対象の領域CUについて全てのモードでイントラ予測を行い、各モードの予測画像を生成する。つまり、候補予測画像生成部132は、全てのPUサイズのそれぞれについて、全ての予測モード予測方向で予測画像を生成し、予測画像の候補候補予測画像を生成する。候補予測画像生成部132は、その予測画像の画素値予測画像画素値をコスト関数値算出部133に供給する。コスト関数値算出部133は、候補予測画像生成部132から予測画像画素値を取得するとともに、画面並べ替えバッファ102から入力画像画素値を取得する。コスト関数値算出部133は、これらの画素値から、全てのモード全てのPUサイズの、全ての予測モード予測方向について、入力画像と予測画像の差分画像を生成し、その差分画像のコスト関数値を算出する。コスト関数値算出部133は、算出した全てのモードのコスト関数値を予測モード判定部134に供給する。予測モード判定部134は、コスト関数値算出部133から取得したコスト関数値に基づいて、PUサイズ毎に最適な予測モード予測方向を決定する。例えば予測モード判定部134は、コスト関数値算出部133から取得したコスト関数値群のうち、最も値の小さいものをPUサイズ毎に選択し、そのコスト関数値に対応する予測モード予測方向を、そのPUサイズの最適な予測モード最適モードと判定する。予測モード判定部134は、以上のように決定した各PUサイズの最適モード最適な予測方向のコスト関数値をPUサイズ判定部135に供給する。PUサイズ判定部135は、予測モード判定部134から各PUサイズの最適モードのコスト関数値を取得し、それらのコスト関数値を用いて、最適なPUサイズ最適PUサイズを判定する。その判定結果に基づいて、PUサイズ判定部135は、最適PUサイズと判定されたPUサイズの最適モードを示す情報最適PUサイズ予測モードを符号化用予測画像生成部136に供給する。符号化用予測画像生成部136は、PUサイズ判定部135から供給される最適PUサイズ予測モードを取得すると、そのPUサイズに対応する周辺画素値を、周辺画素バッファ131から取得する。符号化用予測画像生成部136は、その周辺画素値を用いて、PUサイズ判定部135から取得した最適PUサイズ予測モードにより示されるPUサイズおよび予測モード予測方向で、符号化用の予測画像を生成する。符号化用予測画像生成部136は、生成した符号化用の予測画像の画素値予測画像画素値を予測画像選択部115に供給する。この予測画像は、上述したように、予測画像選択部115によりイントラ予測が選択されると、演算部103に供給され、入力画像との差分が算出され、その差分画像が符号化される。また、符号化用予測画像生成部136は、その最適PUサイズ予測モードである当該PUサイズの予測モード予測方向を示す情報当該PUサイズ予測モードを含むイントラ予測情報を可逆符号化部106に供給する。このイントラ予測情報当該PUサイズ予測モードは、ビットストリームの所定の位置に付加され、復号側に伝送される。なお、この符号化用予測画像生成部136は、制御部141の制御に従って動作する。制御部141は、予測画像選択部115から、イントラ予測が選択されたか、若しくは、インター予測が選択されたかを示す予測選択情報を取得する。制御部141は、その情報と、constrainedintrapredflagの値に基づいて、符号化用予測画像生成部136および周辺用予測画像生成部142の動作を制御する。例えば、予測画像選択部115がイントラ予測を選択した場合、制御部141は、符号化用予測画像生成部136に対して、イントラ予測情報当該PUサイズ予測モードを出力させるように指示するイントラ予測情報出力指示を供給する。符号化用予測画像生成部136は、その出力指示に従って、当該PUサイズ予測モードを含むイントラ予測情報を可逆符号化部106に出力し、ビットストリームに付加させる。また、例えば、制御部141は、予測画像選択部115がインター予測を選択し、かつ、constrainedintrapredflag=0である場合、符号化用予測画像生成部136および周辺用予測画像生成部142が動作しないように制御する。さらに、例えば、制御部141は、予測画像選択部115がインター予測を選択し、かつ、constrainedintrapredflag=1である場合、動き予測補償部114から、最適モードとして採用されたインター予測モードに関する情報であるインター予測情報を取得する。制御部141は、その情報に基づいて、周辺画素を得るための予測画像を生成するイントラ予測のPUサイズと予測モード予測方向を決定し、それらを示す情報を、周辺用予測画像生成部142に供給する。周辺用予測画像生成部142は、制御部141から通知されるPUサイズと予測モード予測方向に対応する周辺画素値を周辺画素バッファ131から取得する。周辺用予測画像生成部142は、その周辺画素値を用いて、制御部141から通知されるPUサイズと予測モード予測方向でイントラ予測を行い、予測画像を生成する。周辺用予測画像生成部142は、生成した予測画像の画素値予測画素値を周辺画素バッファ131に供給し、保持させる。つまり、周辺用予測画像生成部142は、イントラ予測によって、周辺画素値として利用する画素値を得るための予測画像を生成する。すなわち、constrainedintrapredflag=1である場合、周辺用予測画像生成部142は、インター予測が選択された領域において、動き予測補償部114において作成されたインター予測画像から生成された再構成画像に置き換える予測画像を、イントラ予測により生成する。図18の例において、constrainedintrapredflag=1であるとすると、領域A、C、D、G、H、L、およびMにおいて、周辺用予測画像生成部142が、予測画素値を生成し、周辺画素バッファ131に供給し、演算部110において得られる再構成画素値の代わりに記憶させる。このようにすることにより、イントラ予測部113は、constrainedintrapredflagの値が1であることによって利用不可能となるインター予測の領域の周辺画素値を、イントラ予測の画素値に置き換えることができる。つまり、イントラ予測部113は、constrainedintrapredflagの値が1であっても、インター予測の領域の周辺画素値を利用することができるようにすることができる。したがって、イントラ予測部113は、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。その際、イントラ予測部113は、上述したように、インター予測の領域の周辺画素値を、イントラ予測によって精度良く予測することができる。つまり、イントラ予測部113は、利用不可能なインター予測の領域の画素を、より精度の高い画素を用いて置き換えることができる。これにより、イントラ予測部113は、利用可能なイントラ予測モードをさらに増大させ、符号化効率を向上させることができる。なお、constrainedintrapredflag=1であっても、インター予測が選択されたときは、フレームメモリ112に格納される復号画像は、インター予測画像から生成される。つまり、インター予測に用いられる参照画像は、このフラグの値に関わらず、インター予測画像から生成される。[制御部]図20は、図19の制御部141の主な構成例を示すブロック図である。図20に示されるように、制御部141は、予測方法判定部151、イントラ予測情報出力指示部152、動き予測情報取得部153、予測モード決定部154、および周辺用予測画像生成指示部155を有する。予測方法判定部151は、予測画像選択部115から予測選択情報を取得し、その情報に基づいて、採用された予測方法インター予測かイントラ予測かを判定する。また、予測方法判定部151は、constrainedintrapredflagの値も判定する。予測画像選択部115によりイントラ予測の予測画像が選択されたと判定した場合、予測方法判定部151は、constrainedintrapredflagの値に関わらず、その判定結果をイントラ予測情報出力指示部152に供給する。この場合、符号化用予測画像生成部136により、イントラ予測情報当該PUサイズ予測モード等が生成され、可逆符号化部106に供給され、ビットストリームに付加される。また、例えば、予測画像選択部115によりインター予測の予測画像が選択され、かつ、constrainedintrapredflag=0であると判定した場合、予測方法判定部151は、判定結果の供給を行わず、イントラ予測情報の出力も、周辺用予測画像の生成も行わせないように制御する。この場合、周辺画素バッファ131には、演算部110から供給される再構成画素値インター予測により生成された予測画像の再構成画像が記憶される。さらに、例えば、予測画像選択部115によりインター予測の予測画像が選択され、かつ、constrainedintrapredflag=1であると判定した場合、予測方法判定部151は、その判定結果を動き予測情報取得部153に供給する。この場合、周辺用予測画像生成部142により、周辺画素値として利用される予測画像がイントラ予測により生成され、周辺画素バッファ131に記憶される。イントラ予測情報出力指示部152は、予測方法判定部151から、予測画像選択部115によってイントラ予測が選択されたことを通知されると、当該PUサイズ予測モードを含むイントラ予測情報を出力するように指示するイントラ予測情報出力指示を生成し、それを符号化用予測画像生成部136に供給する。このイントラ予測情報出力指示を受け取ると符号化用予測画像生成部136は、予測画像選択部115に供給した予測画像についての当該PUサイズ予測モードを含むイントラ予測情報を生成し、それを可逆符号化部106に供給し、ビットストリームに付加させる。動き予測情報取得部153は、予測方法判定部151から、予測画像選択部115によってインター予測が選択され、かつ、constrainedintrapredflag=1であることを通知されると、動き予測補償部114から、その選択されたインター予測画像のPUサイズやインター予測モードに関する情報を含むインター予測情報を取得する。動き予測情報取得部153は、取得したインター予測情報を予測モード決定部154に供給する。予測モード決定部154は、動き予測情報取得部153からインター予測情報を取得し、そのインター予測情報に基づいて、周辺画素を得るための予測画像を生成する際のイントラ予測のPUサイズと予測モード予測方向を決定する。PUサイズは、基本的に、インター予測のPUサイズと同一に設定される。予測モード予測方向は、任意の方法で決定することができる。例えば、予測モード決定部154が、イントラ予測の予測モード予測方向を、インター予測モードに関わらず、常に、平均値DC予測とするようにしてもよい。また、例えば、予測モード決定部154が、イントラ予測の予測モード予測方向を、直前に行われたイントラ予測の予測モード予測方向とするようにしてもよい。ただし、この場合、周辺画素の利用可能状況等により、直前に行われたイントラ予測の予測モード予測方向を当該領域において再利用することができない場合が考えられる。例えば、スライス端や画面端等において、直前に行われたイントラ予測の際には無かった予測モード予測方向の制限が発生する場合が考えられる。このような場合、予測モード決定部154が、イントラ予測の予測モード予測方向を平均値DC予測とするようにしてもよい。さらに、例えば、予測モード決定部154が、インター予測の動きベクトルを用いてイントラ予測の予測モード予測方向を算出するようにしてもよい。例えば、予測モード決定部154が、動きベクトルの単位ベクトルと予測モード予測方向の単位ベクトルとの内積を求め、その値が最大となる予測モード予測方向を採用するようにしてもよい。より具体的に説明すると、予測モード決定部154は、まず、インター予測ブロックの動きベクトルvを用いて単位ベクトルevを、以下の式73のように算出する。ev=v/|v|73ただし、|v|は、動きベクトルvの長さ次に、予測モード決定部154は、平均値予測、Plane予測以外のイントラ予測の予測方向のベクトルをaiとして、その単位ベクトルeaiを、以下の式74のように算出する。eai=ai/|ai|74ただし、|ai|は、動きベクトルaiの長さそして、予測モード決定部154は、単位ベクトルevと単位ベクトルeaiの内積Paiを算出する式75。Pai=75予測モード決定部154は、利用可能な予測モード予測方向の中で、このような内積Paiの値が最大となるベクトルaiに対応する予測モード予測方向を、イントラ予測の予測モード予測方向として決定する。なお、周辺画素の利用状況等からイントラ予測として利用可能な予測モード予測方向が存在しない場合、予測モード決定部154が、イントラ予測の予測モード予測方向を平均値DC予測とするようにしてもよい。また、予測モード決定部154が、全ての予測モード予測方向について式75のように内積Paiを算出し、その中で内積Paiが最大となる予測モード予測方向を決定するようにしてもよい。そして、予測モード決定部154が、その予測モード予測方向が周辺の隣接画素の利用可能状況により利用可能であるか否かを判定し、その予測モード予測方向が利用不可であった場合、イントラ予測の予測モード予測方向を平均値DC予測とするようにしてもよい。さらに、例えば、予測モード決定部154が、予測イントラ予測の予測モード予測方向を、処理対象の領域の左若しくは上に隣接する領域、または、処理対象の領域の左上に位置する領域の内、イントラ予測で符号化されている領域の予測モード予測方向と同じものとするようにしてもよい。図18を参照してより具体的に説明すると、CUnを処理対象の領域とすると、この領域の左若しくは上に隣接する領域、または左上に位置する領域の中でイントラ予測された領域は、領域B、J、およびKである。予測モード決定部154は、これらの領域の予測モード予測方向の内、CUnのイントラ予測において利用可能な予測モード予測方向を、CUnのイントラ予測の予測モード予測方向として採用する。なお、CUnのイントラ予測において利用可能な予測モード予測方向が存在しない場合、予測モード決定部154は、CUnのイントラ予測の予測モード予測方向として平均値DC予測を採用する。また、CUnのイントラ予測において利用可能な予測モード予測方向が複数存在する場合、予測モード決定部154は、所定の方法で、その中から1つを選択する。例えば、予測モード決定部154が、処理対象の領域CUnの左に隣接するイントラ予測された領域の中で、一番上に位置する領域の予測モードを優先して選択するようにしてもよい。また、例えば、予測モード決定部154が、処理対象の領域CUnの上に隣接するイントラ予測された領域の中で、一番左に位置する領域の予測モードを優先して選択するようにしてもよい。また、例えば、予測モード決定部154が、予測イントラ予測の予測モード予測方向の決定において、全ての予測モードの中からではなく、一部のモードの中から選択し、決定するようにしてもよい。例えば、予測モード決定部154が、予測イントラ予測の予測モード予測方向を、上述した各種方法によって決定するが、全ての予測モードを候補とするのではなく、予め定められた一部の予測モードのみを候補とするようにしてもよい。例えば、垂直方向予測、水平方向予測、および平均値DC予測のみを候補とするようにしてもよい。この場合、予測モード決定部154は、上述した各種方法のいずれかと同様の方法で、この中からいずれか1つを選択する。このように予測モード予測方向の候補の数を抑制することにより、この予測モード予測方向の決定のための処理量を低減させることができる。予測モード決定部154は、決定したイントラ予測のPUサイズと予測モード予測方向を周辺用予測画像生成指示部155に供給する。周辺用予測画像生成指示部155は、周辺画素を得るための予測画像を生成するように指示する周辺用予測画像生成指示を、予測モード決定部154から指定されるPUサイズおよび予測モード予測方向とともに、周辺用予測画像生成部142に供給する。この周辺用予測画像生成指示を受けた周辺用予測画像生成部142は、指定されるPUサイズおよび予測モード予測方向によってイントラ予測を行い、予測画像を生成する。この予測画像の左端の画素群と下端の画素群が周辺画素値として周辺画素バッファ131に記憶される。つまり、インター予測される領域の周辺画素値が、このイントラ予測された予測画像の画素値で置き換えられる。以上のように、制御部141は、予測画像選択部115の選択結果とconstrainedintrapredflagの値に基づいて各部を制御する。これにより、イントラ予測部113は、constrainedintrapredflagの値が1であることによって利用不可能となるインター予測の領域の周辺画素値を、イントラ予測の画素値に置き換えることができる。つまり、イントラ予測部113は、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。[符号化処理の流れ]次に、以上のような画像符号化装置100により実行される各処理の流れについて説明する。最初に、図21のフローチャートを参照して、符号化処理の流れの例を説明する。ステップS101において、AD変換部101は入力された画像をAD変換する。ステップS102において、画面並べ替えバッファ102は、AD変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップS103において、イントラ予測部113、動き予測補償部114、および予測画像選択部115は、予測処理を行い、予測画像を生成する。ステップS104において、演算部103は、ステップS102の処理により並び替えられた画像と、ステップS103の処理により生成された予測画像との差分を演算する差分画像を生成する。生成された差分画像は元の画像に較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。ステップS105において、直交変換部104は、ステップS104の処理により生成された差分画像を直交変換する。具体的には、離散コサイン変換、カルーネンレーベ変換等の直交変換が行われ、直交変換係数が出力される。ステップS106において、量子化部105は、ステップS105の処理により得られた直交変換係数を量子化する。ステップS106の処理により量子化された差分画像は、次のようにして局部的に復号される。すなわち、ステップS107において、逆量子化部108は、ステップS106の処理により生成された量子化された直交変換係数量子化係数とも称するを量子化部105の特性に対応する特性で逆量子化する。ステップS108において、逆直交変換部109は、ステップS107の処理により得られた直交変換係数を、直交変換部104の特性に対応する特性で逆直交変換する。これにより再構成画像が得られる。ステップS109において、演算部110は、ステップS103において生成された予測画像を、ステップS108において生成された再構成画像に加算し、局部的に復号された復号画像演算部103への入力に対応する画像を生成する。ステップS110において、イントラ予測部113の周辺画素バッファ131は、ステップS109において生成された再構成画像を記憶する。なお、ステップS103の処理によりインター予測が選択され、かつ、constrainedintrapredflag=1の領域については、この再構成画像は、イントラ予測部113がイントラ予測により生成した予測画像によって置き換えられる。したがって、このような領域については、ステップS110の処理を省略するようにしてもよい。ステップS111において、ループフィルタ411は、ステップS109の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。ステップS112において、フレームメモリ112は、ステップS111の処理により生成された復号画像を記憶する。ステップS113において、可逆符号化部106は、ステップS106の処理により量子化された直交変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。なお、可逆符号化部106は、予測に関する情報や、量子化に関する情報等を符号化し、ビットストリームに付加する。ステップS114において、蓄積バッファ107は、ステップS113の処理により得られたビットストリームを蓄積する。蓄積バッファ107に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。ステップS115においてレート制御部116は、ステップS114の処理により蓄積バッファ107に蓄積された符号化データの符号量発生符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部105の量子化動作のレートを制御する。ステップS115の処理が終了すると、符号化処理が終了される。[予測処理の流れ]次に、図23のフローチャートを参照して、図21のステップS103において実行される予測処理の流れの例を説明する。ステップS131において、イントラ予測部113は、イントラ予測処理を行い、予測画像を生成する。ステップS132において、動き予測補償部114は、インター予測処理を行い、予測画像を生成する。ステップS133において、予測画像選択部115は、ステップS131において生成された予測画像、および、ステップS132において生成された予測画像の内、いずれか一方を選択する。ステップS134において、イントラ予測部113は、ステップS133においてインター予測の予測画像が選択されたか否かを判定する。インター予測が選択されたと判定された場合、動き予測補償部114は、ステップS135において、インター予測に関する情報であるインター予測情報を生成し、可逆符号化部106に出力する。ステップS135の処理が終了すると、動き予測補償部114は、処理をステップS136に進める。また、ステップS134において、イントラ予測が選択されたと判定された場合、イントラ予測部113は、処理をステップS136に進める。ステップS136において、イントラ予測部113は、周辺画素を得るための予測画像を生成する等のイントラ予測関連処理を行う。ステップS136の処理を終了すると、イントラ予測部113は、予測処理を終了し、処理を図21に戻す。[イントラ予測処理の流れ]次に、図23のフローチャートを参照して、図22のステップS131において実行されるイントラ予測処理の流れの例を説明する。イントラ予測処理が開始されると、イントラ予測部113の候補予測画像生成部132は、周辺画素バッファ131に記憶される周辺画素を用いて、全てのPUサイズの、全ての予測モード予測方向についての候補予測画像を生成する。ステップS152において、コスト関数値算出部133は、入力画素値を用いて、全てのPUサイズの、全ての候補予測モードに関するコスト関数値を算出する。ステップS153において、予測モード判定部134は、ステップS152において算出されたコスト関数値に基づいて、各PUサイズにおける、最適な予測モード予測方向を選択する。ステップS154において、PUサイズ判定部135は、ステップS152において算出されたコスト関数値に基づいて、最適なPUサイズを選択する。ステップS155において、符号化用予測画像生成部136は、ステップS153およびステップS154において選択された最適なPUサイズおよび予測モード予測方向でイントラ予測を行い、予測画像を生成する。ステップS156において、符号化用予測画像生成部136は、ステップS155において生成した予測画像を予測画像選択部115に出力する。ステップS156の処理が終了すると、符号化用予測画像生成部136は、イントラ予測処理を終了し、処理を図22に戻す。[イントラ予測関連処理の流れ]次に、図24のフローチャートを参照して、図22のステップS136において実行されるイントラ予測関連処理の流れの例を説明する。イントラ予測関連処理が開始されると、ステップS171において、制御部141の予測方法判定部151は、予測選択情報に基づいて、図22のステップS133においてインター予測が選択されたか否かを判定する。インター予測が選択されたと判定された場合、予測方法判定部151は、処理をステップS172に進める。ステップS172において、予測方法判定部151は、constrainedintrapredflagの値が1であるか否かを判定する。constrainedintrapredflagの値が1であると判定された場合、予測方法判定部151は、処理をステップS173に進める。ステップS173において、動き予測情報取得部153は、動き予測補償部114から、図22のステップS133において選択されたインター予測の予測画像に関するインター予測情報を取得する。ステップS174において、予測モード決定部154は、ステップS173において取得されたインター予測情報に含まれるインター予測のPUサイズ等に基づいて、周辺画素を得るためのイントラ予測のPUサイズを決定する。ステップS175において、予測モード決定部154は、ステップS173において取得されたインター予測情報に含まれるインター予測の予測モード等に基づいて、周辺画素を得るためのイントラ予測の予測モードを決定する。ステップS176において、周辺用予測画像生成指示部155は、ステップS174において決定されたPUサイズ、および、ステップS175において決定された予測モードで、周辺画素を得るためのイントラ予測を実行するように指示を行う。周辺用予測画像生成部142は、その指示に従ってイントラ予測を行い、予測画像を生成する。ステップS177において、周辺画素バッファ131は、ステップS176において生成された予測画像に含まれる、周辺画素として利用可能な予測画素を記憶する。つまり、周辺画素バッファ131は、この場合、インター予測された領域についても、イントラ予測の予測画素を周辺画素として記憶する。この場合、周辺画素バッファ131は、図21のステップS110において記憶される再構成画素を、この予測画素により置き換えるようにしてもよいし、図21のステップS110の処理を省略するようにしてもよい。ステップS、177の処理が終了すると、周辺画素バッファ131は、イントラ予測関連処理を終了し、処理を図22に戻す。また、ステップS172において、constrainedintrapredflagの値が0であると判定された場合、予測方法判定部151は、イントラ予測関連処理を終了し、処理を図22に戻す。さらに、ステップS171において、イントラ予測が選択されたと判定された場合、予測方法判定部151は、処理をステップS178に進める。ステップS178において、イントラ予測情報出力指示部152は、図22のステップS133において選択されたイントラ予測の予測画像に関するイントラ予測情報を出力するように、符号化用予測画像生成部136に指示する。符号化用予測画像生成部136は、その指示に従って、イントラ予測情報を可逆符号化部106に供給し、ビットストリームに付加させる。ステップS178の処理が終了すると、符号化用予測画像生成部136は、イントラ予測関連処理を終了し、処理を図22に戻す。[予測モード決定処理の流れ]図24のステップS175における予測モード予測方向の決定は、任意の方法で行うようにしてもよい。例えば、予測モード決定部154が、イントラ予測の予測モード予測方向を、インター予測モードに関わらず、常に、平均値DC予測とするようにしてもよい。図25のフローチャートを参照して、その場合に、図24のステップS175において実行される予測モード決定処理の流れの例を説明する。予測モード決定処理が開始されると、予測モード決定部154は、ステップS201において、イントラ予測の予測モードを平均値DC予測に決定する。ステップS201の処理が終了すると、予測モード決定部154は、予測モード決定処理を終了し、処理を図24に戻す。また、例えば、予測モード決定部154が、イントラ予測の予測モード予測方向を、直前に行われたイントラ予測の予測モード予測方向とし、直前に行われたイントラ予測の予測モード予測方向を当該領域において再利用することができない場合、イントラ予測の予測モード予測方向を平均値DC予測とするようにしてもよい。図26のフローチャートを参照して、その場合に、図24のステップS175において実行される予測モード決定処理の流れの例を説明する。予測モード決定処理が開始されると、予測モード決定部154は、ステップS211において、直前に行われたイントラ予測の予測モード予測方向を利用可能であるか否かを判定する。利用可能であると判定した場合、予測モード決定部154は、処理をステップS212に進める。ステップS212において、予測モード決定部154は、イントラ予測の予測モード予測方向を、直前に行われたイントラ予測の予測モード予測方向に決定し、予測モード決定処理を終了し、処理を図24に戻す。また、ステップS211において、直前に行われたイントラ予測の予測モード予測方向を利用不可能であると判定された場合、予測モード決定部154は、処理をステップS213に進める。ステップS213において、予測モード決定部154は、イントラ予測の予測モードを平均値DC予測に決定し、予測モード決定処理を終了し、処理を図24に戻す。さらに、例えば、予測モード決定部154が、インター予測の動きベクトルの単位ベクトルと、イントラ予測の予測モード予測方向の単位ベクトルとの内積を算出し、その内積が最大となる予測モード予測方向を採用するようにしてもよい。図27のフローチャートを参照して、その場合に、図24のステップS175において実行される予測モード決定処理の流れの例を説明する。予測モード決定処理が開始されると、予測モード決定部154は、ステップS221において、処理対象の領域において利用可能な予測モードが存在するか否かを判定する。存在すると判定された場合、予測モード決定部154は、処理をステップS222に進める。ステップS222において、予測モード決定部154は、インター予測の動きベクトルの単位ベクトルと、イントラ予測の、利用可能な予測モード予測方向の単位ベクトルとの内積を求める。ステップS223において、予測モード決定部154は、イントラ予測の予測モード予測方向を、ステップS222において算出した内積が最大となる予測モードに決定し、予測モード決定処理を終了し、処理を図24に戻す。また、ステップS221において、利用可能な予測モード予測方向が存在しないと判定された場合、予測モード決定部154は、処理をステップS224に進める。ステップS224において、予測モード決定部154は、イントラ予測の予測モードを平均値DC予測に決定し、予測モード決定処理を終了し、処理を図24に戻す。また、予測モード決定部154が、全ての予測モード予測方向について内積を算出し、その中で内積が最大となる予測モード予測方向を選択し、その予測モード予測方向が利用可能であった場合、その予測モード予測方向をイントラ予測の予測モード予測方向として決定し、その予測モード予測方向が利用不可能であった場合、イントラ予測の予測モード予測方向を平均値DC予測とするようにしてもよい。図28のフローチャートを参照して、その場合に、図24のステップS175において実行される予測モード決定処理の流れの例を説明する。予測モード決定処理が開始されると、予測モード決定部154は、ステップS231において、イントラ予測の全ての予測モード予測方向について、インター予測の動きベクトルの単位ベクトルと、イントラ予測の各予測モード予測方向の単位ベクトルとの内積を求める。ステップS232において、予測モード決定部154は、ステップS231において算出した内積が最大となる予測モードを選択する。ステップS233において、予測モード決定部154は、選択された予測モードが当該領域において利用可能であるか否かを判定する。利用可能であると判定した場合、予測モード決定部154は、ステップS234において、イントラ予測の予測モードを、選択された予測モードに決定し、予測モード決定処理を終了し、処理を図24に戻す。また、ステップS233において、利用不可能であると判定した場合、予測モード決定部154は、ステップS235において、イントラ予測の予測モードを平均値DC予測に決定し、予測モード決定処理を終了し、処理を図24に戻す。さらに、例えば、予測モード決定部154が、予測イントラ予測の予測モード予測方向を、処理対象の領域の左若しくは上に隣接する領域、または、処理対象の領域の左上に位置する領域の内、イントラ予測で符号化されている領域の予測モード予測方向と同じものとするようにしてもよい。図29のフローチャートを参照して、その場合に、図24のステップS175において実行される予測モード決定処理の流れの例を説明する。予測モード決定処理が開始されると、予測モード決定部154は、ステップS241において、当該領域の上若しくは左に隣接するイントラ予測の領域、または、当該領域の左上に位置するイントラ予測の領域が存在するか否かを判定する。存在すると判定された場合、予測モード決定部154は、処理をステップS242に進める。ステップS242において、予測モード決定部154は、ステップS241の条件に該当する領域が複数存在するか否かを判定する。複数存在すると判定された場合、予測モード決定部154は、処理をステップS243に進める。ステップS243において、予測モード決定部154は、ステップS241の条件に該当する領域が、当該領域の左若しくは左上に存在するか否かを判定する。存在すると判定された場合、予測モード決定部154は、処理をステップS244に進める。ステップS244において、予測モード決定部154は、イントラ予測の予測モード予測方向を、当該領域の左若しくは左上に位置し、かつ、1番上に位置するイントラ予測の領域の予測モードに決定し、予測モード決定処理を終了し、処理を図24に戻す。また、ステップS243において、ステップS241の条件に該当する領域が、当該領域の左若しくは左上に存在しないと判定された場合、予測モード決定部154は、処理をステップS245に進める。ステップS245において、予測モード決定部154は、イントラ予測の予測モード予測方向を、当該領域の上若しくは左上に位置し、かつ、1番左に位置するイントラ予測の領域の予測モードに決定し、予測モード決定処理を終了し、処理を図24に戻す。また、ステップS242において、ステップS241の条件に該当する領域が複数存在しないと判定された場合、予測モード決定部154は、処理をステップS246に進める。ステップS246において、予測モード決定部154は、イントラ予測の予測モード予測方向を、ステップS241の条件に該当する唯一の領域の予測モードに決定し、予測モード決定処理を終了し、処理を図24に戻す。また、ステップS241において、条件に該当する領域が存在しないと判定された場合、予測モード決定部154は、処理をステップS247に進め、予測の予測モードを平均値DC予測に決定し、予測モード決定処理を終了し、処理を図24に戻す。なお、図29のフローチャートは、処理対象の領域の左若しくは左上に位置するイントラ予測された領域の中で、一番上に位置する領域の予測モードを優先して選択する場合の例を説明するものである。ただし、ステップS241の条件に該当する領域が複数存在する場合の、予測モードを選択する領域の優先順は、任意であり、この例に限らない。例えば、上述したように、処理対象の領域の上若しくは左上に位置するイントラ予測された領域の中で、一番左に位置する領域の予測モードが優先して選択されるようにしてもよい。その場合、ステップS243において、ステップS241の条件に該当する領域が処理対象の領域の上若しくは左上に存在するか否かが判定され、存在する場合、ステップS245の処理が行われ、存在しない場合、ステップS244の処理が行われるようにすればよい。優先順がその他の場合であっても、これらの手順と基本的に同様であり、予測モード決定部154が、より優先する位置の領域を探索し、その領域の予測モードを、イントラ予測の予測モードとして選択するようにすればよい。また、例えば、予測モード決定部154が、予測イントラ予測の予測モード予測方向の決定において、全ての予測モードの中からではなく、一部のモードの中から選択し、決定するようにしてもよい。その場合、任意の予測モード決定方法例えば、上述した各種の方法において、候補とする予測モードを予め制限すればよい候補を少なくすればよい。図30のフローチャートを参照して、その場合に、図24のステップS175において実行される予測モード決定処理の流れの例を説明する。予測モード決定処理が開始されると、ステップS251において、予測モード決定部154は、予め定められた設定に従って、イントラ予測の予測モードの候補とする予測モードの種類を制限する。ステップS252において、予測モード決定部154は、任意の予測モード決定方法例えば、上述した各種の方法によって、制限された候補の中から、イントラ予測の予測モードを決定し、予測モード決定処理を終了し、処理を図24に戻す。以上のように各種処理を行うことにより、画像符号化装置100は、constrainedintrapredflagの値が1であっても、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。[当該領域のサイズ制限]なお、当該領域内のPUサイズが所定のサイズ以下の場合のみ、イントラ予測部113が、以上のように、インター予測される領域をイントラ予測することができるようにしてもよい。上述したようにインター予測される領域をイントラ予測することによって、符号化処理の処理量が増大する処理の複雑度が増大する可能性がある。また、PUサイズが大きくなると、より遠くの画素からの予測となるため、インター予測の代わりに使用されるイントラ予測での予測画素値が実際のインター予測での画素値から乖離してしまう可能性が高くなる。そこで、符号化効率の向上と本方式における処理の複雑さの増加の低減を考慮し、上述したように、当該領域のPUサイズに上限を設けるようにしてもよい。この上限のPUサイズを大きくすると、処理の複雑さは増加するが、より多くの領域がイントラ予測の制限を受けないため符号化効率は向上する。また、この上限のPUサイズを小さくすると、インター予測でイントラ予測を行う処理の複雑さは削減されるが、constrainedintrepredflag1時にイントラ予測で利用できない周辺画素が増加するため、符号化効率の向上の程度は削減される。なお、当該領域内のPUサイズの下限を設けるようにしてもよい。つまり、当該領域内のPUサイズが所定のサイズ以上の場合のみ、イントラ予測部113が、インター予測される領域をイントラ予測することができるようにしてもよい。PUサイズが小さい場合、非特許文献2に記載の方法で周辺画素の置き換えを行っても、誤差が少ない可能性が高い。そこで、PUサイズが所定のサイズより小さい場合、非特許文献2に記載の方法で周辺画素の置き換えを行うようにし、PUサイズが所定のサイズ以上である場合、上述したように、イントラ予測を行い、その予測画素値でインター予測される領域の周辺画素の置き換えを行うようにしてもよい。なお、以上に説明した、インター予測された領域に対して行う、周辺画素を得るためのイントラ予測の予測方式として、AngularPredictionイントラ予測方式や、ArbitraryDirectionalIntraADIイントラ予測方式を適用するようにしてもよい。<2.第2の実施の形態>[画像復号装置]次に、以上のように符号化された符号化データの復号について説明する。図31は、図1の画像符号化装置100に対応する画像復号装置の主な構成例を示すブロック図である。図31に示される画像復号装置300は、画像符号化装置100が生成した符号化データを、その符号化方法に対応する復号方法で復号する。図31に示されるように画像復号装置300は、蓄積バッファ301、可逆復号部302、逆量子化部303、逆直交変換部304、演算部305、ループフィルタ306、画面並べ替えバッファ307、およびDA変換部308を有する。また、画像復号装置300は、フレームメモリ309、イントラ予測部310、動き予測補償部311、および選択部312を有する。蓄積バッファ301は伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部302に供給する。可逆復号部302は、蓄積バッファ301より供給された、図1の可逆符号化部106により符号化された情報を、可逆符号化部106の符号化方式に対応する方式で復号する。可逆復号部302は、復号して得られた差分画像の量子化された係数データを、逆量子化部303に供給する。また、可逆復号部302は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部310および動き予測補償部311の内、選択されたと判定したモードの方に供給する。つまり、例えば、画像符号化装置100において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報であるイントラ予測情報がイントラ予測部310に供給される。また、例えば、画像符号化装置100において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報であるインター予測情報が動き予測補償部311に供給される。なお、可逆復号部302は、シーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrainedintrapredflagの値が1である場合、インター予測情報を、イントラ予測部310にも供給する。逆量子化部303は、可逆復号部302により復号されて得られた量子化された係数データを、図1の量子化部105の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部304に供給する。逆直交変換部304は、図1の直交変換部104の直交変換方式に対応する方式で逆量子化部303から供給される係数データを逆直交変換する。逆直交変換部304は、この逆直交変換処理により、画像符号化装置100において直交変換される前の差分画像に対応する差分画像を得る。逆直交変換されて得られた差分画像は、演算部305に供給される。また、演算部305には、選択部312を介して、イントラ予測部310若しくは動き予測補償部311から予測画像が供給される。演算部305は、差分画像と予測画像とを加算し、画像符号化装置100の演算部103により予測画像が減算される前の画像に対応する再構成画像を得る。演算部305は、その再構成画像をイントラ予測部310およびループフィルタ306に供給する。ループフィルタ306は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ306は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ306は、そのデブロックフィルタ処理結果ブロック歪みの除去が行われた再構成画像に対して、ウィナーフィルタWienerFilterを用いてループフィルタ処理を行うことにより画質改善を行う。なお、ループフィルタ306が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ306が、図1の画像符号化装置100から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。ループフィルタ306は、フィルタ処理結果である復号画像を画面並べ替えバッファ307およびフレームメモリ309に供給する。画面並べ替えバッファ307は、供給された復号画像の並べ替えを行う。すなわち、図1の画面並べ替えバッファ102により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。DA変換部308は、画面並べ替えバッファ307から供給された復号画像をDA変換し、図示せぬディスプレイに出力し、表示させる。フレームメモリ309は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、動き予測補償部311等の外部の要求に基づいて、記憶している復号画像を参照画像として、動き予測補償部311に供給する。イントラ予測部310は、図1のイントラ予測部113と基本的に同様の処理を行う。ただし、イントラ予測部310は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。イントラ予測部310は、可逆復号部302から供給されたイントラ予測情報に基づいて、処理対象領域がイントラ予測された領域であることを識別し、PUサイズと予測モードを決定し、イントラ予測を行う。イントラ予測部310は、このイントラ予測により生成した予測画像を選択部312に供給する。また、イントラ予測部310は、この予測画像を用いて生成される再構成画像を周辺画素として記憶する。また、イントラ予測部310は、constrainedintrapredflagの値が1である場合、符号化の際にインター予測により予測画像が生成された領域に対して、イントラ予測部113の場合と同様の、周辺画素を得るためのイントラ予想を行う。ただし、イントラ予測部310は、例えばシーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrainedintrapredflagの値を参照する。このイントラ予測により生成された予測画像は、周辺画素として記憶される。このように、イントラ予測部310は、constrainedintrapredflagの値が1であることによって利用不可能となるインター予測の領域の周辺画素値を、イントラ予測の画素値に置き換えることができる。つまり、イントラ予測部310は、画像符号化装置100のイントラ予測部113と同様に周辺画素値の置き換えを行うことができる。したがって、画像復号装置300は、画像符号化装置100が符号化したビットストリームを正しく復号することができ、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。動き予測補償部311は、動き予測補償部114と同様に、インター予測を行う。ただし、動き予測補償部311は、可逆復号部302から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、インター予測を行う。動き予測補償部311は、生成した予測画像を選択部312に供給する。選択部312は、イントラ予測部310から供給される予測画像、若しくは、動き予測補償部311から供給される予測画像を演算部305に供給する。[イントラ予測部]図32は、図31のイントラ予測部310の主な構成例を示すブロック図である。図32に示されるように、イントラ予測部310は、制御部331、周辺画素バッファ332、復号用予測画像生成部333、および周辺用予測画像生成部334を有する。制御部331は、可逆復号部302から供給されるイントラ予測情報およびインター予測情報を取得し、それらの情報に基づいて、予測画像の生成を制御する。例えば、イントラ予測情報が供給された場合、制御部331は、復号用予測画像生成部333に対して、予測画像の生成を指示する。この予測画像は、演算部305において差分画像との加算、つまり、復号画像再構成画像の生成に用いられる。制御部331は、イントラ予測情報に基づいて、符号化の際に採用されたPUサイズおよび予測モード予測方向を特定し、その情報を復号用予測画像生成部333に供給する。また、例えば、インター予測情報が供給された場合、制御部331は、周辺用予測画像生成部334に対して、予測画像の生成を指示する。この予測画像は、周辺画素を得るためのものであり、その左端の画素群と下端の画素群が、周辺画素バッファ332に供給され、記憶される。これらの画素は、当該領域よりも時間的に後に処理される他の領域に対するイントラ予測において、周辺画素として利用される。制御部331は、インター予測情報に基づいて、符号化の際に採用されたインター予測のPUサイズおよび予測モードを特定し、それらの情報に基づいて、イントラ予測のPUサイズおよび予測モード予測方法を決定し、その情報を周辺用予測画像生成部334に供給する。周辺画素バッファ332は、イントラ予測において利用される周辺画素を記憶する。周辺画素バッファ332は、演算部305から供給される再構成画素の画素値再構成画素値を取得し、記憶する。また、周辺画素バッファ332は、周辺用予測画像生成部334において生成された予測画像の、周辺画素として利用可能な画素の画素値予測画素値を取得し、記憶する。より具体的には、周辺画素バッファ332は、予測画像の左端の画素群と下端の画素群を予測画素値として取得し、記憶する。周辺画素バッファ332は、記憶している画素値を、周辺画素値として、復号用予測画像生成部333や周辺用予測画像生成部334に供給する。復号用予測画像生成部333は、制御部331の制御に従って、周辺画素バッファ332から周辺画素値を取得し、その周辺画素値を用いて、制御部331により指定されるPUサイズおよび予測モードで、処理対象の領域に対して、イントラ予測を行い、予測画像を生成する。復号用予測画像生成部333は、その予測画像の各画素の画素値である予測画素値を選択部312に供給する。周辺用予測画像生成部334は、制御部331の制御に従って、周辺画素バッファ332から周辺画素値を取得し、その周辺画素値を用いて、制御部331により指定されるPUサイズおよび予測モードで、処理対象の領域に対して、イントラ予測を行い、予測画像を生成する。周辺用予測画像生成部334は、その予測画像の各画素の画素値である予測画素値を周辺画素バッファ332に供給し、記憶させる。[制御部]図33は、図32の制御部331の主な構成例を示すブロック図である。図33に示されるように、制御部331は、予測方法判定部351、復号用予測画像生成指示部352、予測モード決定部353、および周辺用予測画像生成指示部354を有する。予測方法判定部351は、可逆復号部302からイントラ予測情報およびインター予測情報を取得する。イントラ予測情報が供給された場合、予測方法判定部351は、当該領域の符号化の際にイントラ予測が選択されたと判定し、その判定結果を、イントラ予測情報とともに、復号用予測画像生成指示部352に供給する。また、インター予測情報が供給された場合、予測方法判定部351は、当該領域の符号化の際にインター予測が選択されたと判定する。シーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrainedintrapredflagの値が1である場合、予測方法判定部351は、周辺画素を得るためのイントラ予測が行われるように、当該領域の符号化の際にインター予測が選択されたとの判定結果を、インター予測情報とともに、予測モード決定部353に供給する。なお、constrainedintrapredflagの値が0である場合、予測方法判定部351は、インター予測のみが行われるように、復号用予測画像生成指示部352にも、予測モード決定部353にも判定結果を通知しない。復号用予測画像生成指示部352は、供給されたイントラ予測情報から、当該領域の符号化の際のPUサイズおよび予測モード予測方向を抽出する。復号用予測画像生成指示部352は、それらの抽出した情報とともに、予測画像を生成するように指示する制御情報である復号用予測画像生成指示を、復号用予測画像生成部333に供給する。予測モード決定部353は、予測方法判定部351から供給されたインター予測情報に含まれるインター予測のPUサイズおよび予測モードに基づいて、周辺画素値を得るためのイントラ予測のPUサイズおよび予測モード予測方向を、予測モード決定部154と同一の方法で決定する。予測モードの決定方法は、予測モード決定部154と同一であれば、どのような方法であっても良い。画像符号化装置100と画像復号装置300とが、予め定められた予測モードの決定方法を供給するようにしてもよい。また、画像符号化装置100において採用された決定方法を、画像復号装置300に通知するようにしてもよい。予測モード決定部353は、決定したPUサイズおよび予測モード予測方向を周辺用予測画像生成指示部354に供給する。周辺用予測画像生成指示部354は、予測モード決定部353から供給されるPUサイズおよび予測モード予測方向とともに、予測画像を生成するように指示する制御情報である周辺用予測画像生成指示を、周辺用予測画像生成部334に供給する。以上のように、制御部331がビットストリームに含まれて伝送されたイントラ予測情報やインター予測情報に基づいて、上述したように制御を行うことにより、イントラ予測部310は、イントラ予測部113と同様のイントラ予測を行うことができる。これにより、画像復号装置300は、画像符号化装置100が符号化したビットストリームを正しく復号することができ、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。[復号処理の流れ]次に、以上のような画像復号装置300により実行される各処理の流れについて説明する。最初に、図34のフローチャートを参照して、復号処理の流れの例を説明する。復号処理が開始されると、ステップS301において、蓄積バッファ301は、伝送されてきたビットストリームを蓄積する。ステップS302において、可逆復号部302は、蓄積バッファ301から供給されるビットストリーム符号化された差分画像情報を復号する。このとき、イントラ予測情報やインター予測情報等、ビットストリームに含められた差分画像情報以外の各種情報も復号される。ステップS303において、逆量子化部303は、ステップS302の処理により得られた、量子化された直交変換係数を逆量子化する。ステップS304において逆直交変換部304は、ステップS303において逆量子化された直交変換係数を逆直交変換する。ステップS305において、イントラ予測部310若しくは動き予測補償部311は、供給された情報を用いて予測処理を行う。ステップS306において、選択部312は、ステップS305において生成された予測画像を選択する。ステップS307において、演算部305は、ステップS304において逆直交変換されて得られた差分画像情報に、ステップS306において選択された予測画像を加算する。これにより再構成画像が生成される。ステップS308において、イントラ予測部310の周辺画素バッファ332は、ステップS307において生成された再構成画像の、周辺画素として利用可能な画素の画素値再構成画素値を記憶する。なお、当該領域が符号化の際にインター予測された領域である場合、イントラ予測部310の周辺画素バッファ332に記憶される再構成画素値は、イントラ予測部310において生成される予測画像の、周辺画素として利用可能な画素の画素値予測画素値に置き換えられる。したがって、当該領域が符号化の際にインター予測された領域である場合、このステップS308の処理は省略されるようにしてもよい。ステップS309において、ループフィルタ306は、ステップS307において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。ステップS310において、画面並べ替えバッファ307は、ステップS309においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画像符号化装置100の画面並べ替えバッファ102により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。ステップS311において、DA変換部308は、ステップS310においてフレームの順序が並べ替えられた復号画像をDA変換する。この復号画像が図示せぬディスプレイに出力され、表示される。ステップS312において、フレームメモリ309は、ステップS309においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。ステップS312の処理が終了すると、復号処理が終了される。[予測処理の流れ]次に、図35のフローチャートを参照して、図34のステップS305において実行される予測処理の流れの例を説明する。予測処理が開始されると、イントラ予測部310の制御部331の予測方法判定部351は、ステップS331において、可逆復号部302から供給されるイントラ予測情報若しくはインター予測情報に基づいて、処理対象の領域が符号化の際にイントラ予測が行われたか否かを判定する。イントラ予測が行われたと判定された場合、予測方法判定部351は、処理をステップS332に進める。ステップS332において、復号用予測画像生成指示部352は、復号用予測画像生成部333に対して、予測画像の生成を指示する。復号用予測画像生成部333は、その指示に従って、イントラ予測を行い、予測画像イントラ予測画像を生成する。ステップS333において、復号用予測画像生成部333は、その生成した予測画像を選択部312に出力する。ステップS333の処理が終了すると、復号用予測画像生成部333は、予測処理を終了し、処理を図34に戻す。また、ステップS331において、イントラ予測が行われていないと判定された場合、予測方法判定部351は、処理をステップS334に進める。ステップS334において、動き予測補償部311は、インター予測を行い、予測画像インター予測画像を生成する。ステップS335において、動き予測補償部311は、その生成した予測画像を選択部312に出力する。ステップS336において、予測方法判定部351は、シーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrainedintrapredflagの値が1であるか否かを判定する。constrainedintrapredflagの値が1であると判定された場合、予測方法判定部351は、処理をステップS337に進める。ステップS337において、予測モード決定部353は、符号化の際にインター予測された当該領域において周辺画素を得るために行うイントラ予測のPUサイズを決定する。ステップS338において、予測モード決定部353は、予測モードを決定する。この予測モードの決定方法は、図24のステップS175の場合と同様であればどのような方法であっても良い。例えば、図25乃至図30のフローチャートを参照して説明したような各種の方法であってもよいし、それ以外の方法であってもよい。ステップS339において、周辺用予測画像生成指示部354は、周辺用予測画像生成部334に対して、予測画像の生成を指示する。周辺用予測画像生成部334は、その指示に従って、イントラ予測を行い、予測画像イントラ予測画像を生成する。ステップS340において、周辺画素バッファ332は、その生成した予測画像の、周辺画素として利用可能な画素の画素値予測画素値を記憶する。ステップS340の処理が終了すると、周辺画素バッファ332は、予測処理を終了し、処理を図34に戻す。また、ステップS336において、constrainedintrapredflagの値が0であると判定された場合、予測方法判定部351は、予測処理を終了し、処理を図34に戻す。以上のように、各処理を行うことにより、画像復号装置300は、画像符号化装置100が符号化したビットストリームを正しく復号することができ、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。[当該領域のサイズ制限]なお、画像符号化装置100の場合と同様に、画像復号装置300においても、当該領域内のPUサイズが所定のサイズ以下の場合のみ、イントラ予測部310が、以上のように、インター予測される領域をイントラ予測することができるようにしてもよい。また、逆に、当該領域内のPUサイズの下限を設けるようにしてもよい。つまり、当該領域内のPUサイズが所定のサイズ以上の場合のみ、イントラ予測部310が、インター予測される領域をイントラ予測することができるようにしてもよい。また、画像符号化装置100の場合と同様に、画像復号装置300においても、インター予測された領域に対して行う、周辺画素を得るためのイントラ予測の予測方式として、AngularPredictionイントラ予測方式や、ArbitraryDirectionalIntraADIイントラ予測方式を適用するようにしてもよい。なお、本技術は、例えば、MPEG、H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報ビットストリームを、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれるイントラ予測装置にも適用することができる。<3.第3の実施の形態>[パーソナルコンピュータ]上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。図36において、パーソナルコンピュータ500のCPUCentralProcessingUnit501は、ROMReadOnlyMemory502に記憶されているプログラム、または記憶部513からRAMRandomAccessMemory503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース510も接続されている。入出力インタフェース510には、キーボード、マウスなどよりなる入力部511、CRTCathodeRayTubeやLCDLiquidCrystalDisplayなどよりなるディスプレイ、並びにスピーカなどよりなる出力部512、ハードディスクなどより構成される記憶部513、モデムなどより構成される通信部514が接続されている。通信部514は、インターネットを含むネットワークを介しての通信処理を行う。入出力インタフェース510にはまた、必要に応じてドライブ515が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア521が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部513にインストールされる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。この記録媒体は、例えば、図36に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスクフレキシブルディスクを含む、光ディスクCDROMCompactDiscReadOnlyMemoryDVDDigitalVersatileDiscを含む、光磁気ディスクMDMiniDiscを含む、若しくは半導体メモリなどよりなるリムーバブルメディア521により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部513に含まれるハードディスクなどで構成される。なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムとは、複数のデバイス装置により構成される装置全体を表すものである。また、以上において、1つの装置または処理部として説明した構成を分割し、複数の装置または処理部として構成するようにしてもよい。逆に、以上において複数の装置または処理部として説明した構成をまとめて1つの装置または処理部として構成されるようにしてもよい。また、各装置または各処理部の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置または処理部の構成の一部を他の装置または他の処理部の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。<4.第4の実施の形態>[第1の応用例:テレビジョン受像機]図37は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPGElectronicProgramGuideなどの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUIGraphicalUserInterfaceの画像を生成し、生成した画像を出力画像に重畳してもよい。表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス例えば、液晶ディスプレイ、プラズマディスプレイ又はOELDOrganicElectroLuminescenceDisplay有機ELディスプレイなどの映像面上に映像又は画像を表示する。音声信号処理部907は、デコーダ904から入力される音声データについてDA変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。制御部910は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置900での画像の復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率の向上を実現させることができる。<5.第5の実施の形態>[第2の応用例:携帯電話機]図38は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをAD変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びDA変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBUnallocatedSpaceBitmapメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記憶再生部929の記憶媒体に記憶させる。また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びDA変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機920での画像の符号化及び復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率を向上させることができる。<6.第6の実施の形態>[第3の応用例:記録再生装置]図39は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDDHardDiskDrive944、ディスクドライブ945、セレクタ946、デコーダ947、OSDOnScreenDisplay948、制御部949、及びユーザインタフェース950を備える。チューナ941は、アンテナ図示せずを介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送手段としての役割を有する。外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送手段としての役割を有する。エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスクDVDVideo、DVDRAM、DVDR、DVDRW、DVDR、DVDRW等又はBluray登録商標ディスクなどであってよい。セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置940での画像の符号化及び復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率を向上させることができる。<7.第7の実施の形態>[第4の応用例:撮像装置]図40は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDChargeCoupledDevice又はCMOSComplementaryMetalOxideSemiconductorなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送手段としての役割を有する。メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSDSolidStateDriveのような非可搬性の記憶部が構成されてもよい。制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置960での画像の符号化及び復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率を向上させることができる。なお、本明細書では、予測モード情報やconstrainedintrapredflagなどの様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、関連付けるという用語は、ビットストリームに含まれる画像スライス若しくはブロックなど、画像の一部であってもよいと当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像又はビットストリームとは別の伝送路上で伝送されてもよい。また、情報は、画像又はビットストリームとは別の記録媒体又は同一の記録媒体の別の記録エリアに記録されてもよい。さらに、情報と画像又はビットストリームとは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。なお、本技術は以下のような構成も取ることができる。1画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部と、入力画像と、前記符号化用予測画像生成部により生成された予測画像の差分画像を算出する演算部と、前記演算部により算出された前記差分画像を符号化する符号化部とを備える画像処理装置。2前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する前記1に記載の画像処理装置。3前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する前記2に記載の画像処理装置。4前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する前記2に記載の画像処理装置。5前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する前記2に記載の画像処理装置。6前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する前記2に記載の画像処理装置。7前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する前記2に記載の画像処理装置。8前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する前記1乃至7に記載の画像処理装置。9前記記憶部は、前記処理対象の領域がイントラ予測される場合、前記イントラ予測により生成された予測画像を用いて生成された再構成画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、前記符号化用予測画像生成部は、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、前記符号化部は、前記符号化用予測画像生成部による前記イントラ予測の処理単位のサイズおよび予測モードに関するイントラ予測情報を、符号化した前記差分画像のビットストリームに付加する前記1乃至8に記載の画像処理装置。10画像処理装置の画像処理方法であって、周辺用予測画像生成部が、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、符号化用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、入力画像と、生成された予測画像の差分画像を算出し、符号化部が、算出された前記差分画像を符号化する画像処理方法。11画像が符号化されたビットストリームを復号する復号部と、前記復号部により前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する復号用予測画像生成部と、差分画像に、前記復号用予測画像生成部により生成された予測画像を加算し、復号画像を生成する演算部とを備える画像処理装置。12前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する前記11に記載の画像処理装置。13前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する前記12に記載の画像処理装置。14前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する前記12に記載の画像処理装置。15前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する前記12に記載の画像処理装置。16前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する前記12に記載の画像処理装置。17前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する前記12に記載の画像処理装置。18前記決定部は、前記復号部により前記ビットストリームが復号されて得られた前記インター予測に関する情報に含まれる、前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する前記12乃至17に記載の画像処理装置。19前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する前記11乃至18に記載の画像処理装置。20画像処理装置の画像処理方法であって、復号部が、画像が符号化されたビットストリームを復号し、周辺用予測画像生成部が、前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、復号用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、差分画像に、生成された予測画像を加算し、復号画像を生成する画像処理方法。"