入力画像を複数のブロックに分割するブロック分割手段と、各ブロックを同一サイズもしくは小さいサイズの処理ユニットに分割する処理ユニット分割手段と、それぞれの処理ユニットを単位として当該処理ユニットの周辺の複数または1つの所定の処理ユニットを参照して当該処理ユニットの予測値を算出するイントラ予測値算出手段と、それぞれの処理ユニットにおいて前記入力画像と前記イントラ予測値算出手段の結果から所定の方法で当該処理ユニットの再構成画素値を算出する再構成画素値算出手段と、前記再構成画素算出手段の結果を保持する再構成画素値保持手段と、前記イントラ予測値算出手段による結果を保持するイントラ予測値保持手段を有し、前記イントラ予測値算出手段が、当該処理ユニットと参照する処理ユニットとの位置関係や当該処理ユニットの状態によって、前記再構成画素値保持手段から得られる参照する処理ユニットの再構成画素値および前記イントラ予測値保持手段から得られる参照する処理ユニットのイントラ予測値を切り替えて当該処理ユニットの予測値を算出することを特徴とする画像符号化装置。画像符号化装置における画像符号化方法であって、入力画像を複数のブロックに分割するブロック分割工程と、各ブロックを同一サイズもしくは小さいサイズの処理ユニットに分割する処理ユニット分割工程と、それぞれの処理ユニットを単位として当該処理ユニットの周辺の複数または1つの所定の処理ユニットを参照して当該処理ユニットの予測値を算出するイントラ予測値算出工程と、それぞれの処理ユニットにおいて前記入力画像と前記イントラ予測値算出工程の結果から所定の方法で当該処理ユニットの再構成画素値を算出する再構成画素値算出工程と、前記再構成画素値算出工程の結果を保持手段に保持する再構成画素値保持工程と、前記イントラ予測値算出工程の結果を保持手段に保持するイントラ予測値保持工程を有し、当該処理ユニットと参照する処理ユニットとの位置関係や当該処理ユニットの状態によって、前記再構成画素値保持工程から得られる参照する処理ユニットの再構成画素値および前記イントラ予測値保持工程から得られる参照する処理ユニットのイントラ予測値を切り替えて当該処理ユニットの予測値を算出することを特徴とする画像符号化方法。前述のH.264のように周辺の符号化済みの再構成画素を用いてイントラ予測を行う符号化方式においては、参照するブロックの予測誤差に対し、直交変換量子化逆量子化逆直交変換の各処理を完了させなければ参照することができない。このため、イントラ予測処理のパイプライン化を行うことが極めて難しいという課題があった。したがって、本発明は前記課題を考慮して、パイプライン処理による高速化が可能なイントラ予測処理を実現する画像符号化装置を提供することを目的としている。上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、入力画像を複数のブロックに分割するブロック分割手段と、各ブロックを同一サイズもしくは小さいサイズの処理ユニットに分割する処理ユニット分割手段と、それぞれの処理ユニットを単位として当該処理ユニットの周辺の複数または1つの所定の処理ユニットを参照して当該処理ユニットの予測値を算出するイントラ予測値算出手段と、それぞれの処理ユニットにおいて前記入力画像と前記イントラ予測値算出工程の結果から所定の方法で当該処理ユニットの再構成画素値を算出する再構成画素値算出手段と、前記再構成画素算出工程の結果を保持する再構成画素値保持手段と、前記イントラ予測値算出手段による結果を保持するイントラ予測値保持手段を有し、前記イントラ予測値算出手段が、当該処理ユニットと参照する処理ユニットとの位置関係や当該処理ユニットの状態によって、前記再構成画素値保持手段から得られる参照する処理ユニットの再構成画素値および前記イントラ予測値保持手段から得られる参照する処理ユニットのイントラ予測値を切り替えて当該処理ユニットの予測値を算出することを特徴とする。本発明により、処理のパイプライン化によってイントラ予測の処理を高速化させる効果があり、高速の符号化復号が可能になる。以下、添付の図面を参照して、本願発明をその好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。<実施例1>以下、本発明の第1の実施例を、図面を用いて説明する。図1は本発明を適用した画像符号化装置を示すブロック図である。図1において、1は入力画像を複数のブロックに分割するブロック分割部である。2は各ブロックをブロックと同一サイズもしくはブロックよりも小さいサイズの処理ユニットに分割する処理ユニット分割部である。34は各処理ユニットにおいて、イントラ予測モードを決定し、そのイントラ予測モードを用いてイントラ予測値を算出するイントラ予測部である。21はそのイントラ予測値を保持しておくイントラ予測値保持部である。5はイントラ予測値と処理ユニット単位の入力画素の差分を算出し、その差分を係数データとして変換量子化し、量子化係数を算出する変換量子化部である。6はその量子化係数を逆量子化逆変換し、それをイントラ予測値に加算することにより再構成画素値を算出する再構成画素値算出部である。7はその再構成画素値を保持しておく再構成画素値保持部である。8は量子化係数をエントロピー符号化するエントロピー符号化部である。上記のように構成された画像符号化装置における画像の符号化動作を以下で説明する。本実施例では、動画像データをフレーム単位に入力する構成となっているが、1フレーム分の静止画像データを入力する構成としても構わない。また、説明を容易にするため、イントラ予測の処理のみを説明するが、これに限定されずインター予測処理と混合して用いても構わない。入力された1フレーム分の画像データはブロック分割部1に入力され、ブロック単位に分割され、処理ユニット分割部2に出力される。処理ユニット分割部2では、ブロック単位に分割された画像データはブロックと同一もしくは小さい大きさの処理ユニットに分割される。処理ユニット単位に分割された画像データは後述のイントラ予測部34および変換量子化部5に入力される。イントラ予測部34では、入力された処理ユニット単位に分割された画像データに対して最適なイントラモードを決定する。そして決定されたイントラ予測モードを用いて、周辺の処理ユニットの予測値を後述のイントラ予測値保持部21から入力し、周辺の処理ユニットの再構成画素値を後述の再構成画素値保持部7から入力し、イントラ予測値を算出する。算出されたイントラ予測値は後述のイントラ予測値保持部21、再構成画素値算出部6および変換量子化部5に出力される。イントラ予測値保持部21では、そのイントラ予測値の情報が保持される。保持されたイントラ予測値は、対象となるイントラ予測値がイントラ予測値算出部のイントラ予測値の算出過程によって参照された場合、イントラ予測部34に出力され、イントラ予測値の算出に用いられる。一方、変換量子化部5では、イントラ予測部34からはイントラ予測値が入力され、処理ユニット分割部2からは処理ユニット単位の入力画像データが入力され、それらの差分を求める。その差分を変換量子化し、量子化係数を算出する。算出された量子化係数は再構成画素値算出部6およびエントロピー符号化部8に出力される。再構成画素値算出部6では、その量子化係数を逆量子化、逆変換した後、イントラ予測部34の出力であるイントラ予測値を加算し、再構成画素値を算出する。算出された再構成画素値は再構成画素値保持部7に出力される。再構成画素値保持部7では、その再構成画素値の情報が保持される。保持された再構成画素値は、対象となる再構成画素値はイントラ予測部34に出力され、イントラ予測値の算出過程で必要に応じて参照される。エントロピー符号化部8では、量子化係数をエントロピー符号化した後、ビットストリームとして出力する。以上、符号化の処理の簡単な流れを、図面を用いて説明する。図3は、第1実施例に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップ1001にて、フレーム単位の入力画像をブロック単位に分割する。それぞれのブロックはステップ1002にて、ブロックと同一もしくは小さい大きさの処理ユニットに分割される。ステップ1004にて、符号化する処理ユニットのイントラ予測モードを決定し、そして符号化する処理ユニットの予測値を計算し、さらに入力画像との差分を求め、差分の変換量子化を行う。ステップ1005にて、量子化された係数をエントロピー符号化する。ステップ1006では、ブロック内の全ての処理ユニットの符号化が終了したか否かの判定を行い、終了していればステップ1007に進み、終了していなければ次の処理ユニットを対象としてステップ1002に戻る。ステップ1007では、フレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを対象としてステップ1001に戻る。ステップ1004の予測変換量子化処理について、図面を用いてさらに具体的に説明する。図4はステップ1004の第1実施例における詳細な処理を示すフローチャートである。まず、ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第1実施例では図11に示される方法により、左方参照画素を算出する。ステップ421にて、左方処理ユニットの予測値から参照画素を算出する。すなわち、第1実施例では参照処理ユニットの予測値のみから参照画素を算出する。次に、ステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第1実施例ではステップ201と同様に図11に示される方法により、上方参照画素を算出する。ステップ201と同様に、ステップ421にて、上方処理ユニットの予測値から参照画素を算出する。すなわち、第1実施例では、上方参照画素も左方参照画素も参照処理ユニットの予測値のみから参照画素を算出する。図9を用いて説明すれば、例えば符号化する処理ユニットがTであった場合、第1実施例では、左方の処理ユニットSおよび上方の処理ユニットLの予測値を用いて、処理ユニットTの予測値の算出に用いられる参照画素とする。ステップ204にて、算出された参照画素を用いて各イントラ予測モードの予測値を算出する。ステップ208にて、各予測値を比較して符号化に最適なイントラ予測モードを決定する。ステップ226にて、決定したイントラ予測モードの予測値を将来の処理ユニットからの参照に備えて蓄積する。ステップ205にて、入力画素と算出された予測値との差分求め、これを変換量子化し、量子化係数を算出する。ステップ206にて、算出された量子化係数を逆量子化逆変換し残差係数を算出する。最後にステップ207にて、算出された残差係数に予測値を加算し、再構成画素値を算出し、それを将来の処理ユニットからの参照に備えて蓄積した後、処理を終了する。図19aは従来の符号化方式、例えばH.264でのイントラ予測の処理順序の一例を示したものである。従来の方式では、符号化する処理ユニットn1の予測値は参照処理ユニットnの再構成画素のみを用いて算出される。そのため、特に左右で隣り合った処理ユニットが連続して処理される場合には、次の処理ユニットn1の予測値の算出には前の処理ユニットの再構成画素の算出を待つ必要があった。これに対する、本発明でのイントラ予測の処理順序の一例が図19bで示されている。この例では、符号化する処理ユニットn1の予測値の算出に参照処理ユニットnの予測値を用いて算出する場合を想定している。これにより、前の処理ユニットnの再構成画素算出を待たずに符号化する処理ユニットn1を算出することができ、処理のパイプライン化による高速化が可能となる。なお、本実施例において、イントラ予測に用いる参照画素の算出には図4で示したように、左方と上方の処理ユニットを参照する形式をとっているがこれに限定されず、図5で示されたように、左上の処理ユニットを用いて参照画素の算出を行ってももちろん構わない。例えば図9で符号化する処理ユニットがTである場合のK同様に、右上の処理ユニットや左下の処理ユニットを用いて参照画素の算出を行っても構わない。例えば図9で符号化する処理ユニットがLである場合のEやS本実施例においては、イントラ予測のみを用いるフレームを例にとって説明したが、インター予測を使用できるフレームにおいても対応できることは明らかである。また、本実施例の各部または全部の機能をソフトウェアで記述し、CPU等の演算装置によって処理をさせてももちろん構わない。さらには、符号化データ内にブロックの符号化前にフレームやスライスといった単位で当該手法を用いるか否かを表すサイド情報を用いることにより、従来の手法と提案手法を切り替える構成をとることによって、細かい制御を行うことも可能になる。例えば、高速性が要求される場合には当該手法を用いるが、高速性よりも従来方法との互換を重視する場合は当該手法を用いないことができるようになる。<実施例2>本発明の第2の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図4は図3のステップ1004の第2実施例における詳細な処理を示すフローチャートである。図4自体は第1実施例と同様であるが、ステップ201およびステップ202の内容が第1実施例と異なっているため、この部分についてのみ説明する。ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第2実施例では、図12に示される方法により、左方参照画素を算出する。まず、ステップ431にて、左方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットか否かの判定が行われる。左方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットであった場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。図4に戻り、次にステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第2実施例では、図12に示される方法により、上方参照画素を算出する。まず、ステップ431にて、上方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットか否かの判定が行われる。上方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットであった場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがTであり、処理ユニットTが属するブロック内で、処理ユニットK、L、S、Tの順に予測処理が行われているとする。左方の参照画素の算出について、第2実施例では、左方の処理ユニットSはTの直前に予測処理が行われた処理ユニットであるため、処理ユニットSの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第2実施例では、上方の処理ユニットLはTの直前に予測処理が行われた処理ユニットではないため、処理ユニットLの再構成画素値を用いて上方参照画素とする。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。本発明は、イントラ予測に用いられる参照画素の算出にあたり、条件によって参照処理ユニットの予測値および再構成画素を切り替えて用いることを特徴としている。この場合、予測値の使用割合が高くなるほど予測精度が低くなってしまい、最終的には符号化効率も低下してしまう。そのため、第2実施例では、予測値を用いる対象を直前の処理ユニットに制限することにより、符号化効率の低下の影響を抑えつつ、処理ユニットレベルでの処理のパイプライン化による高速化を実現している。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例3>本発明の第3の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図4は図3のステップ1004の第3実施例における詳細な処理を示すフローチャートである。図4自体も第1実施例と同様であるが、ステップ201およびステップ202の内容が第1実施例と異なっているため、この部分についてのみ説明する。ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第3実施例では、図13に示される方法により、左方参照画素を算出する。まず、ステップ441にて、左方参照処理ユニットが符号化する処理ユニットと同一のブロックに属するか否かの判定が行われる。左方参照処理ユニットが符号化する処理ユニットと同一のブロックに属する場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第3実施例では、図13に示される方法により、上方参照画素を算出する。まず、ステップ441にて、上方参照処理ユニットが符号化する処理ユニットと同一のブロックに属するか否かの判定が行われる。上方参照処理ユニットが符号化する処理ユニットと同一のブロックに属している場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがSであるとする。左方の参照画素の算出については、第3実施例では、左方の処理ユニットRは処理ユニットSが属しているブロックとは異なるブロックに属しているため、処理ユニットRの再構成画素を用いて左方参照画素とする。一方、上方の参照画素の算出については、第3実施例では、上方の処理ユニットKは処理ユニットSと同一のブロックに属しているため、処理ユニットKの予測値を用いて上方参照画素とする。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。第3実施例では、予測値を用いる対象を同一のブロックに属している処理ユニットに制限することにより、符号化効率の低下の影響を抑えつつ、ブロック内の処理ユニットレベルでの処理のパイプライン化による高速化を実現している。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例4>本発明の第4の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図4は図3のステップ1004の第4実施例における詳細な処理を示すフローチャートである。図4自体も第1実施例と同様であるが、ステップ201およびステップ202の内容が第1実施例と異なっているため、この部分についてのみ説明する。ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第4実施例では、図14に示される方法により、左方参照画素を算出する。まず、ステップ451にて、左方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと同一かあるいは直前に予測処理を行ったブロックであるか否かの判定が行われる。左方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと同一か直前に予測処理を行ったブロックである場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第4実施例では、図14に示される方法により、上方参照画素を算出する。まず、ステップ451にて、上方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと同一かあるいは直前に予測処理を行ったブロックであるか否かの判定が行われる。上方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと同一か直前に予測処理を行ったブロックである場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがKであるとする。左方の参照画素の算出については、第4実施例では、左方の処理ユニットJは処理ユニットKが属しているブロックの直前に予測処理を行ったブロックに属しているため、処理ユニットJの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第4実施例では、上方の処理ユニットCが属するブロックは、処理ユニットKの属するブロックとは同一でなく、直前に予測処理されたブロックでもないため、処理ユニットCの再構成画素を用いて上方参照画素とする。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。第4実施例では、予測値を用いる対象を同一もしくは直前に予測されたブロックに属している処理ユニットに制限することにより、符号化効率の低下の影響を抑えつつ、ブロックレベルでの処理のパイプライン化による高速化を実現している。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例5>本発明の第5の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図4は図3のステップ1004の第5実施例における詳細な処理を示すフローチャートである。図4自体も第1実施例と同様であるが、ステップ201およびステップ202の内容が第1実施例と異なっているため、この部分についてのみ説明する。ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第5実施例では、図15に示される方法により、左方参照画素を算出する。まず、ステップ461にて、左方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと垂直位置が同一か否かの判定が行われる。左方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと垂直位置が同一である場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第5実施例では、図15に示される方法により、上方参照画素を算出する。まず、ステップ461にて、上方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと垂直位置が同一であるか否かの判定が行われる。上方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと垂直位置が同一である場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがMであるとする。左方の参照画素の算出については、第5実施例では、左方の処理ユニットLは処理ユニットMが属しているブロックと同一の垂直位置を持ったブロックに属しているため、処理ユニットLの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第5実施例では、上方の処理ユニットEが属するブロックは、処理ユニットMの属するブロックとは垂直位置が異なるブロックであるため、処理ユニットEの再構成画素を用いて上方参照画素とする。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。第5実施例では、予測値を用いる対象を同一の垂直位置のブロックに属している処理ユニットに制限することにより、符号化効率の低下の影響を抑えつつ、水平方向の1ブロックライン単位での処理のパイプライン化による高速化を実現している。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例6>本発明の第6の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図4は図3のステップ1004の第6実施例における詳細な処理を示すフローチャートである。図4自体も第1実施例と同様であるが、ステップ201およびステップ202の内容が第1実施例と異なっているため、この部分についてのみ説明する。ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第6実施例では、図16に示される方法により、左方参照画素を算出する。まず、ステップ471にて、左方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれるか否かの判定が行われる。左方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれる場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第6実施例では、図16に示される方法により、上方参照画素を算出する。まず、ステップ471にて、上方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれるか否かの判定が行われる。上方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれる場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがOであるとし、前記所定数分のブロックを5ブロックであるとする。左方の参照画素の算出については、第6実施例では、左方の処理ユニットNは、処理ユニットMが属するブロックの1つ前のブロックに属しているおり、その値は所定数である5よりも小さいため、処理ユニットNの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第6実施例では、上方の処理ユニットGは、処理ユニットOが属するブロックの4つ前のブロックに属しており、その値は所定数である5よりも小さいため、処理ユニットGの予測値を用いて上方参照画素とする。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。第6実施例では、予測値を用いる対象を所定数前までのブロックに属している処理ユニットに制限することにより、符号化効率の低下の影響を抑えつつ、複数のブロック単位での処理のパイプライン化による高速化を実現している。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例7>本発明の第7の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図4は図3のステップ1004の第7実施例における詳細な処理を示すフローチャートである。図4自体も第1実施例と同様であるが、ステップ201およびステップ202の内容が第1実施例と異なっているため、この部分についてのみ説明する。ステップ201にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第7実施例では、図17に示される方法により、左方参照画素を算出する。まず、ステップ481にて、符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さいか否かの判定が行われる。符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さい場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ202にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第7実施例では、図17に示される方法により、上方参照画素を算出する。まず、ステップ481にて、符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さいか否かの判定が行われる。符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さい場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。第7実施例では、予測値を用いる対象を符号化する処理ユニットの大きさに依存させることにより、符号化効率の低下の影響を抑えつつ、符号化する処理ユニットの大きさによって異なった処理のパイプライン化を可能にすることによる高速化を実現している。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。本実施例の所定の処理ユニットの大きさは固定値でも構わないし、サイド情報として符号化データ内に多重化させる方法をとっても構わない。また、所定の処理ユニットの大きさをブロックの大きさと依存関係を持たせても構わない。一例としては、処理ユニットの大きさがブロックの大きさの半分以下の場合には、参照処理ユニットの予測値を用いて参照画素を算出し、それ以外の場合には参照処理ユニットの再構成画素を用いて参照画素を算出するようなケースが想定される。<実施例8>図2は、本発明の第8の実施に係る画像復号装置の構成を示すブロック図である。本実施例では、第1実施例で生成された符号化データの復号を例にとって説明する。図2において、101は符号データを入力する符号データ入力部である。102は符号データから処理ユニットの構成やイントラ予測モードなどの情報を復号するヘッダ情報復号部である。103は処理ユニット単位で量子化係数を復号するエントロピー復号部である。104はエントロピー復号部103で得られた量子化係数を逆量子化逆直交変換し、それを後述のイントラ予測値算出部136で算出されるイントラ予測値に加算して再構成画素値を算出する再構成画素値復号部である。105はその再構成画素値を保持しておく再構成画素値保持部である。136はヘッダ情報復号部102で復号したイントラ予測モードを用いてイントラ予測値を算出するイントラ予測値算出部である。121はそのイントラ予測値を保持しておくイントラ予測値保持部である。上記のように構成された画像復号装置における画像の復号動作を以下で説明する。符号データ入力部101は1フレーム分の符号化データを入力し、ブロック単位の符号化データをヘッダ情報復号部102に出力する。ヘッダ情報復号部102は上記ブロック単位の符号化データを入力し、処理ユニットの構成やイントラ予測モードなどの情報を復号する。そのイントラ予測モード情報はイントラ予測値算出部136に出力される。また、ブロック単位の符号化データから量子化係数にあたる部分を抽出し、エントロピー復号部103に出力する。エントロピー復号部103は、その抽出された符号化データから量子化係数を復号し、再構成画素値復号部104に出力する。再構成画素値復号部104はその入力された量子化係数を逆量子化逆変換して残差係数を算出し、それに後述のイントラ予測値算出部136から入力される予測値を加算し、再構成画素値を算出する。算出された再構成画素値は再構成画素値保持部105に出力される。再構成画素値保持部105は、その再構成画素値を保持し、必要に応じてイントラ予測値算出部136に出力する。また、外部に復号画像の一部として出力する。イントラ予測値算出部136は、適宜イントラ予測値保持部121に保持された周囲の予測値と再構成画素値保持部105に保持された周囲の画素値からヘッダ情報復号部102の出力であるイントラ予測モードを用いて予測値を算出する。算出された予測値は再構成画素値復号部104およびイントラ予測値保持部121に出力される。イントラ予測値保持部121は予測値を保持し、必要に応じてイントラ予測値算出部136に出力する。以上、復号の処理の簡単な流れを、図面を用いて説明する。図6は、第8実施例に係る画像復号装置における画像復号処理を示すフローチャートである。まず、ステップ1101にて、入力符号化データからブロック単位の情報を復号する。ステップ1102にて、各ブロック内に存在する予測の単位である各処理ユニットのイントラ予測モードを復号する。ステップ1103にて、処理ユニット単位の情報や係数をエントロピー復号する。ステップ1104にて、復号された予測誤差の逆量子化逆変換を行い、係数値を算出する。ステップ1105にて、ステップ1102の結果から予測値を算出し、それとステップ1104の結果である係数値を足し合わせて再構成画素を算出する。ステップ1106にて、ブロック内の全ての処理ユニットの復号が終了したか否かを判定する。終了していればステップ1107に進む。そうでなれば処理の対象をブロック内の次の処理ユニットに移し、ステップ1102に戻る。ステップ1107ではフレーム内の全てのブロックの復号が終了したか否かを判定し、終了していれば全ての動作を停止して処理を終了する。そうでなければ処理の対象をフレーム内の次のブロックに移し、ステップ1101に戻る。上記のフローチャートのうち、ステップ1105の処理について、図面を用いてさらに具体的に説明する。図7はステップ1105の第8実施例における再構成画素を算出処理の詳細を示すフローチャートである。まず、ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第8実施例では図11に示される方法により、左方参照画素を算出する。ステップ421にて、左方処理ユニットの予測値から参照画素を算出する。次に、ステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第8実施例ではステップ301と同様、図11に示される方法により、上方参照画素を算出する。図9を用いて説明すれば、例えば符号化する処理ユニットがTであった場合、第8実施例では、左方の処理ユニットSおよび上方の処理ユニットLの予測値を用いて、処理ユニットTの予測値の算出に用いられる参照画素とする。ステップ304にて、算出された参照画素を用いて予測値を算出する。ステップ326にて、算出された予測値を将来の処理ユニットからの参照に備えて蓄積する。ステップ305にて、図6のステップ1104で算出された逆変換係数を取得し、それを予測値に加算して、再構成画素値を算出する。ステップ306にて算出された再構成画素値を将来の処理ユニットからの参照に備えて蓄積した後、処理を終了する。以上の構成と動作により、第1実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、本実施例において、イントラ予測に用いる参照画素の算出には図7で示したように、左方と上方の処理ユニットを参照する形式をとっているがこれに限定されず、図8で示されたように、左上の処理ユニットを用いて参照画素の算出を行ってももちろん構わない。例えば図9で符号化する処理ユニットがTである場合のK同様に、右上の処理ユニットや左下の処理ユニットを用いて参照画素の算出を行っても構わない。例えば図9で符号化する処理ユニットがLである場合のEやSなお、本実施例においては、イントラ予測のみを用いるフレームを例にとって説明したが、インター予測も使用できるフレームにおいても対応できることは明らかである。また、本実施例の各部または全部の機能をソフトウェアで記述し、CPU等の演算装置によって処理をさせてももちろん構わない。さらには、符号化データ内にブロックの符号化前にフレームやスライスといった単位で当該手法を用いるか否かを表すサイド情報を用いられている符号を用いることができる。これにより、従来の手法と提案手法を切り替える構成をとることによって、細かい制御を行うことも可能になる。例えば、高速性が要求される場合には当該手法を用いるが、高速性よりも従来方法との互換を重視する場合は当該手法を用いないことができるようになる。<実施例9>本発明の第9の実施例は画像符号化装置の構成図2、画像符号化装置のフローチャート図6は第8実施例と同様であるため、説明を省略する。本実施例では、第2実施例で生成された符号化データの復号を例にとって説明する。図7は図6のステップ1105の第9実施例における詳細な処理を示すフローチャートである。図7自体は第8実施例と同様であるが、ステップ301およびステップ302の内容が第8実施例と異なっているため、この部分についてのみ説明する。ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第9実施例では、図12に示される方法により、左方参照画素を算出する。まず、ステップ431にて、左方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットか否かの判定が行われる。左方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットであった場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第9実施例では、図12に示される方法により、上方参照画素を算出する。まず、ステップ431にて、上方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットか否かの判定が行われる。上方参照処理ユニットが符号化する処理ユニットの直前に予測処理が行われた処理ユニットであった場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがTであり、処理ユニットTが属するブロック内で、処理ユニットK、L、S、Tの順に予測処理が行われているとする。左方の参照画素の算出について、第9実施例では、左方の処理ユニットSはTの直前に予測処理が行われた処理ユニットであるため、処理ユニットSの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第9実施例では、上方の処理ユニットLはTの直前に予測処理が行われた処理ユニットではないため、処理ユニットLの再構成画素値を用いて上方参照画素とする。ステップ304、326、305、306の処理は第8実施例と同様であるため、説明を省略する。以上の構成と動作により、第2実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、第8実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第8実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例10>本発明の第10の実施例は画像符号化装置の構成図2、画像符号化装置のフローチャート図6は第8実施例と同様であるため、説明を省略する。本実施例では、第3実施例で生成された符号化データの復号を例にとって説明する。図7は図6のステップ1105の第10実施例における詳細な処理を示すフローチャートである。図7自体は第8実施例と同様であるが、ステップ301およびステップ302の内容が第8実施例と異なっているため、この部分についてのみ説明する。ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第10実施例では、図13に示される方法により、左方参照画素を算出する。まず、ステップ441にて、左方参照処理ユニットが符号化する処理ユニットと同一のブロックに属するか否かの判定が行われる。左方参照処理ユニットが符号化する処理ユニットと同一のブロックに属する場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第10実施例では、図13に示される方法により、上方参照画素を算出する。まず、ステップ441にて、上方参照処理ユニットが符号化する処理ユニットと同一のブロックに属するか否かの判定が行われる。上方参照処理ユニットが符号化する処理ユニットと同一のブロックに属している場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがSであるとする。左方の参照画素の算出については、第10実施例では、左方の処理ユニットRは処理ユニットSが属しているブロックとは異なるブロックに属しているため、処理ユニットRの再構成画素を用いて左方参照画素とする。一方、上方の参照画素の算出については、第10実施例では、上方の処理ユニットKは処理ユニットSと同一のブロックに属しているため、処理ユニットKの予測値を用いて上方参照画素とする。ステップ304、326、305、306の処理は第8実施例と同様であるため、説明を省略する。以上の構成と動作により、第3実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、第8実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第8実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例11>本発明の第11の実施例は画像符号化装置の構成図2、画像符号化装置のフローチャート図6は第8実施例と同様であるため、説明を省略する。本実施例では、第4実施例で生成された符号化データの復号を例にとって説明する。図7は図6のステップ1105の第11実施例における詳細な処理を示すフローチャートである。図7自体は第8実施例と同様であるが、ステップ301およびステップ302の内容が第8実施例と異なっているため、この部分についてのみ説明する。ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第11実施例では、図14に示される方法により、左方参照画素を算出する。まず、ステップ451にて、左方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと同一かあるいは直前に予測処理を行ったブロックであるか否かの判定が行われる。左方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと同一か直前に予測処理を行ったブロックである場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第11実施例では、図14に示される方法により、上方参照画素を算出する。まず、ステップ451にて、上方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと同一かあるいは直前に予測処理を行ったブロックであるか否かの判定が行われる。上方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと同一か直前に予測処理を行ったブロックである場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがKであるとする。左方の参照画素の算出については、第11実施例では、左方の処理ユニットJは処理ユニットKが属しているブロックの直前に予測処理を行ったブロックに属しているため、処理ユニットJの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第4実施例では、上方の処理ユニットCが属するブロックは、処理ユニットKの属するブロックとは同一でなく、直前に予測処理されたブロックでもないため、処理ユニットCの再構成画素を用いて上方参照画素とする。ステップ304、326、305、306の処理は第8実施例と同様であるため、説明を省略する。以上の構成と動作により、第4実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、第8実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第8実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例12>本発明の第12の実施例は画像符号化装置の構成図2、画像符号化装置のフローチャート図6は第8実施例と同様であるため、説明を省略する。本実施例では、第5実施例で生成された符号化データの復号を例にとって説明する。図7は図6のステップ1105の第12実施例における詳細な処理を示すフローチャートである。図7自体は第8実施例と同様であるが、ステップ301およびステップ302の内容が第8実施例と異なっているため、この部分についてのみ説明する。ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第12実施例では、図15に示される方法により、左方参照画素を算出する。まず、ステップ461にて、左方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと垂直位置が同一か否かの判定が行われる。左方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと垂直位置が同一である場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第12実施例では、図15に示される方法により、上方参照画素を算出する。まず、ステップ461にて、上方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックと垂直位置が同一であるか否かの判定が行われる。上方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックと垂直位置が同一である場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがMであるとする。左方の参照画素の算出については、第12実施例では、左方の処理ユニットLは処理ユニットMが属しているブロックと同一の垂直位置を持ったブロックに属しているため、処理ユニットLの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第12実施例では、上方の処理ユニットEが属するブロックは、処理ユニットMの属するブロックとは垂直位置が異なるブロックであるため、処理ユニットEの再構成画素を用いて上方参照画素とする。ステップ304、326、305、306の処理は第8実施例と同様であるため、説明を省略する。以上の構成と動作により、第5実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、第8実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第8実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例13>本発明の第13の実施例は画像符号化装置の構成図2、画像符号化装置のフローチャート図6は第8実施例と同様であるため、説明を省略する。本実施例では、第6実施例で生成された符号化データの復号を例にとって説明する。図7は図6のステップ1105の第13実施例における詳細な処理を示すフローチャートである。図7自体は第8実施例と同様であるが、ステップ301およびステップ302の内容が第8実施例と異なっているため、この部分についてのみ説明する。ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第13実施例では、図16に示される方法により、左方参照画素を算出する。まず、ステップ471にて、左方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれるか否かの判定が行われる。左方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれる場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第13実施例では、図16に示される方法により、上方参照画素を算出する。まず、ステップ471にて、上方参照処理ユニットが属するブロックが、符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれるか否かの判定が行われる。上方参照処理ユニットが属するブロックが符号化する処理ユニットが属するブロックの所定数分のブロック前までに含まれる場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。図9を用いて説明すると、例えば符号化する処理ユニットがOであるとし、前記所定数分のブロックを5ブロックであるとする。左方の参照画素の算出については、第13実施例では、左方の処理ユニットNは、処理ユニットMが属するブロックの1つ前のブロックに属しているおり、その値は所定数である5よりも小さいため、処理ユニットNの予測値を用いて左方参照画素とする。一方、上方の参照画素の算出については、第13実施例では、上方の処理ユニットGは、処理ユニットOが属するブロックの4つ前のブロックに属しており、その値は所定数である5よりも小さいため、処理ユニットGの予測値を用いて上方参照画素とする。ステップ304、326、305、306の処理は第8実施例と同様であるため、説明を省略する。以上の構成と動作により、第6実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、第8実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第8実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例14>本発明の第14の実施例は画像符号化装置の構成図2、画像符号化装置のフローチャート図6は第8実施例と同様であるため、説明を省略する。本実施例では、第7実施例で生成された符号化データの復号を例にとって説明する。図7は図6のステップ1105の第14実施例における詳細な処理を示すフローチャートである。図7自体は第8実施例と同様であるが、ステップ301およびステップ302の内容が第8実施例と異なっているため、この部分についてのみ説明する。ステップ301にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第14実施例では、図17に示される方法により、左方参照画素を算出する。まず、ステップ481にて、符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さいか否かの判定が行われる。符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さい場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、左方参照処理ユニットの再構成画素値から左方参照画素を算出する。一方、ステップ421にて、左方参照処理ユニットの予測値から左方参照画素を算出する。次にステップ302にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第14実施例では、図17に示される方法により、上方参照画素を算出する。まず、ステップ481にて、符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さいか否かの判定が行われる。符号化する処理ユニットの大きさが所定の処理ユニットの大きさよりも小さい場合にはステップ421に進み、そうでない場合にはステップ401に進む。ステップ401にて、上方参照処理ユニットの再構成画素値から上方参照画素を算出する。一方、ステップ421にて、上方参照処理ユニットの予測値から上方参照画素を算出する。ステップ304、326、305、306の処理は第8実施例と同様であるため、説明を省略する。以上の構成と動作により、第7実施例で処理のパイプライン化により高速化された符号化方法を用いて生成された符号化データを復号することができる。なお、第8実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第8実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。<実施例15>本発明の第15の実施例は画像符号化装置の構成図1、画像符号化装置のフローチャート図3は第1実施例と同様であるため、説明を省略する。図20は図3のステップ1004の第15実施例における詳細な処理を示すフローチャートである。ステップ511にて、符号化する処理ユニットが属しているブロックの上端に隣接しているか否かの判定が行われ、隣接している場合は、ステップ512に進み、そうでない場合はステップ513に進む。ステップ512にて、符号化する処理ユニットが属しているブロックの左端に隣接しているか否かの判定が行われ、隣接している場合は、ステップ501に進み、そうでない場合はステップ503に進む。一方、ステップ513にて、符号化する処理ユニットが属しているブロックの左端に隣接しているか否かの判定が行われ、隣接している場合は、ステップ505に進み、そうでない場合はステップ507に進む。ステップ501、503、505、507にて、符号化する処理ユニットのイントラ予測値の算出に用いられる左方参照画素を算出する。この第15実施例では、図10または図11のいずれかに示される方法により、左方参照画素を算出する。例えば、ステップ501、505では図11に示される方法で左方参照画素を算出し、ステップ503、507では図10に示される方法で左方参照画素を算出することができる。ただし、算出方法の組み合わせはこれに限定されない。次に、ステップ502、504、506、508にて、符号化する処理ユニットのイントラ予測値の算出に用いられる上方参照画素を算出する。この第15実施例では、図10または図11のいずれかに示される方法により、上方参照画素を算出する。例えば、ステップ502、504では図11に示される方法で上方参照画素を算出し、ステップ506、508では図10に示される方法で上方参照画素を算出することができる。ただし、算出方法の組み合わせはこれに限定されない。ステップ204、208、226、205、206、207の処理は第1実施例と同様であるため、説明を省略する。第15実施例では、符号化する処理ユニットのブロック内の相対位置によって予測値を用いる対象を柔軟に設定することにより、実装環境による符号化性能とパイプライン化による高速化を好適に実現することができる。なお、第1実施例同様に左方と上方の処理ユニットを用いて参照画素を生成するだけでなく、左上や右上、左下の処理ユニットを用いて参照画素を生成しても構わない。また、本実施例においても、従来の手法を提案手法で置き換える形での構成例を示したが、第1実施例同様に、例えば符号化データ内に含まれるサイド情報を用いて、従来の手法と提案手法を切り替える構成をとってももちろん構わない。本実施例の所定の処理ユニットの大きさは固定値でも構わないし、サイド情報として符号化データ内に多重化させる方法をとっても構わない。<実施例16>図18は本発明の第15の実施に係る画像符号化復号装置の構成を示すブロック図である。図18において、600は装置全体の制御、及び種々の処理を行う中央演算装置CPU、601は本装置の制御に必要なオペレーティングシステムOS、ソフトウェア、演算に必要な記憶領域を提供するメモリである。602は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。603は装置の起動、各種条件の設定、再生の指示を行うための端末である。604はソフトウェアを蓄積する記憶装置である。605はストリームを蓄積する記憶装置である。記憶装置604および、605はシステムから切り離して移動できるメディアで構成することも出来る。606は動画像を撮像するカメラである。607は画像を表示するモニタであり、609は通信回路であり、LAN、公衆回線、無線回線、放送電波等で構成されている。608は通信回路609を介してストリームを送受信する通信インターフェースである。このような構成において動画像符号化処理について説明する。カメラ606から入力された画像データを符号化し、通信回路609に出力する場合を例にとって説明する。記憶装置604には図3に示されるフローチャートを記述した画像符号化ソフトウェアが蓄積されており、端末603からソフトウェアが起動されると、記憶装置604から画像符号化ソフトウェアが読みだされ、メモリ601に展開されて符号化処理を開始する。カメラ606から入力された画像データが画像符号化ソフトウェアによって最適なイントラ予測モードを用いて符号化され、通信インターフェース608を介して出力される。また、通信回路609から通信インターフェース608を介して入力された符号化データを復号して、モニタ607に表示する場合を例にとって説明する。記憶装置604には図6に示されるフローチャートを記述した画像復号ソフトウェアが蓄積されており、端末603からソフトウェアが起動されると、記憶装置604から画像復号ソフトウェアが読みだされ、メモリ601に展開されて復号処理を開始する。通信回路609から通信インターフェース608を介して入力された符号化データは画像復号ソフトウェアによって、復号され、画僧データを生成し、モニタ607に表示する。なお、画像データはカメラ606からの入力に限定されず、記憶装置605から読み出したりしても構わない。また、符号化データも通信インターフェース608への入出力に限定されず、記憶装置605に記録し、読み出しても構わない。このように本発明はソフトウェアとして動作させることが可能である。