"空間的な画素間予測を用いてイントラ予測信号を生成し,そのイントラ予測信号と入力画像の符号化対象領域における原信号との残差信号を生成し,生成した残差信号に対して直交変換を施して変換係数を生成する符号化を行う画像符号化方法において,符号化対象領域に対するイントラ予測の予測方向に基づいて前記残差信号に対する予測処理に用いる符号化済みの領域を選定し,その符号化済みの領域における変換係数の特定の成分を参照信号として指定する過程と,前記符号化済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と,符号化対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を生成する過程と,前記残差予測誤差信号を符号化の対象として符号化する過程とを有することを特徴とする画像符号化方法。請求項1記載の画像符号化方法において,前記残差予測誤差信号を符号化するか否かを,所定の評価尺度に従って判定する過程と,前記判定の結果に従って,前記残差予測誤差信号を符号化するか否かを示す残差予測選択情報を符号化する過程とを有し,前記残差予測誤差信号を符号化すると判定した場合には,前記残差信号に対する予測処理を伴う符号化処理を行い,前記残差予測誤差信号を符号化しないと判定した場合には,前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数を符号化することを特徴とする画像符号化方法。請求項1または請求項2に記載の画像符号化方法において,前記参照信号として指定する過程では,イントラ予測の単位となる領域が前記符号化対象領域よりも大きい場合に,前記符号化対象領域を含むイントラ予測の単位となる領域の予測方向に基づいて,同一または類似する予測方向の符号化済みのイントラ予測の単位となる参照領域を選定し,前記イントラ予測単位となる領域における前記符号化対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を,前記残差信号に対する予測処理に用いる符号化済みの領域として選定することを特徴とする画像符号化方法。空間的な画素間予測を用いてイントラ予測信号を生成し,そのイントラ予測信号と入力画像の符号化対象領域における原信号との残差信号を生成し,生成した残差信号に対して直交変換を施して変換係数を生成する符号化を行う画像符号化装置において,符号化対象領域に対するイントラ予測の予測方向に基づいて前記残差信号に対する予測処理に用いる符号化済みの領域を選定し,その符号化済みの領域における変換係数の特定の成分を参照信号として指定する手段と,前記符号化済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と,符号化対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を生成する手段と,前記残差予測誤差信号を符号化の対象として符号化する手段とを備えることを特徴とする画像符号化装置。請求項4記載の画像符号化装置において,前記残差予測誤差信号を符号化するか否かを,所定の評価尺度に従って判定する手段と,前記判定の結果に従って,前記残差予測誤差信号を符号化するか否かを示す残差予測選択情報を符号化する手段とを備え,前記残差予測誤差信号を符号化すると判定した場合には,前記残差信号に対する予測処理を伴う符号化処理を行い,前記残差予測誤差信号を符号化しないと判定した場合には,前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数を符号化することを特徴とする画像符号化装置。請求項4または請求項5に記載の画像符号化装置において,前記参照信号として指定する手段は,イントラ予測の単位となる領域が前記符号化対象領域よりも大きい場合に,前記符号化対象領域を含むイントラ予測の単位となる領域の予測方向に基づいて,同一または類似する予測方向の符号化済みのイントラ予測の単位となる参照領域を選定し,前記イントラ予測単位となる領域における前記符号化対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を,前記残差信号に対する予測処理に用いる符号化済みの領域として選定することを特徴とする画像符号化装置。空間的な画素間予測を用いてイントラ予測信号を生成し,そのイントラ予測信号と,入力した符号化データから得られるイントラ予測残差信号とから,符号化された画像を復号する画像復号方法において,入力した符号化データに含まれる,復号済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と,復号対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を復号する過程と,復号対象領域に対するイントラ予測の予測方向を示す情報を復号し,その予測方向に基づいて復号済みの領域を選定し,その復号済みの領域における変換係数の特定の成分を参照信号として指定する過程と,前記参照信号を用いて,復号対象領域のイントラ予測残差信号に対する予測信号を生成する過程と,前記残差予測誤差信号と前記イントラ予測残差信号に対する予測信号とを用いて,復号対象領域の復号信号を生成する過程とを有することを特徴とする画像復号方法。請求項7記載の画像復号方法において,入力した符号化データに含まれる,前記残差予測誤差信号の符号化が行われたか否かを示す残差予測選択情報を復号する過程を有し,前記残差予測選択情報が,前記残差予測誤差信号の符号化が行われていることを示す場合に,前記残差信号に対する予測処理を伴う復号処理を行い,前記残差予測誤差信号の符号化が行われていないことを示す場合に,前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数に関する符号化データを復号することを特徴とする画像復号方法。請求項7または請求項8に記載の画像復号方法において,前記参照信号として指定する過程では,イントラ予測の単位となる領域が前記復号対象領域よりも大きい場合に,復号したイントラ予測の予測方向を示す情報に基づいて,同一または類似する予測方向の復号済みのイントラ予測の単位となる参照領域を選定し,前記イントラ予測単位となる領域における前記復号対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を,前記残差信号に対する予測処理に用いる復号済みの領域として選定することを特徴とする画像復号方法。空間的な画素間予測を用いてイントラ予測信号を生成し,そのイントラ予測信号と,入力した符号化データから得られるイントラ予測残差信号とから,符号化された画像を復号する画像復号装置において,入力した符号化データに含まれる,復号済みの領域における変換係数の特定の成分またはその特定の成分に所与の重み係数を乗じた値もしくは所与のバイアス値を加算した値と,復号対象領域において対応する変換係数の成分との差分信号である残差予測誤差信号を復号する手段と,復号対象領域に対するイントラ予測の予測方向を示す情報を復号し,その予測方向に基づいて復号済みの領域を選定し,その復号済みの領域における変換係数の特定の成分を参照信号として指定する手段と,前記参照信号を用いて,復号対象領域のイントラ予測残差信号に対する予測信号を生成する手段と,前記残差予測誤差信号と前記イントラ予測残差信号に対する予測信号とを用いて,復号対象領域の復号信号を生成する手段とを備えることを特徴とする画像復号装置。請求項10記載の画像復号装置において,入力した符号化データに含まれる,前記残差予測誤差信号の符号化が行われたか否かを示す残差予測選択情報を復号する手段を備え,前記残差予測選択情報が,前記残差予測誤差信号の符号化が行われていることを示す場合に,前記残差信号に対する予測処理を伴う復号処理を行い,前記残差予測誤差信号の符号化が行われていないことを示す場合に,前記残差信号に対する予測処理を行わないで前記残差信号を直交変換した変換係数に関する符号化データを復号することを特徴とする画像復号装置。請求項10または請求項11に記載の画像復号装置において,前記参照信号として指定する手段は,イントラ予測の単位となる領域が前記復号対象領域よりも大きい場合に,復号したイントラ予測の予測方向を示す情報に基づいて,同一または類似する予測方向の復号済みのイントラ予測の単位となる参照領域を選定し,前記イントラ予測単位となる領域における前記復号対象領域の位置と相対的に同じ位置にある前記参照領域内の領域を,前記残差信号に対する予測処理に用いる復号済みの領域として選定することを特徴とする画像復号装置。請求項1,請求項2または請求項3記載の画像符号化方法を,コンピュータに実行させるための画像符号化プログラム。請求項7,請求項8または請求項9記載の画像復号方法を,コンピュータに実行させるための画像復号プログラム。従来のイントラ予測はいずれも外挿予測であるため,参照画素と被予測画素の間の距離の増大に伴い,予測誤差が増大する傾向にある。このため,予測方向の粒度に差異はあるものの,こうした外挿予測が機構的に内在する問題は未解決であり,符号化効率向上に改良の余地を残す。本発明はかかる事情に鑑みてなされたものであって,イントラ予測誤差間の相関に着目し,イントラ予測誤差を低減することで,高能率なイントラ符号化の方法を確立することを目的とする。画像内の2つの領域に対して,同一方向もしくは類似した方向のイントラ予測が適用される場合,イントラ予測残差も類似した信号となることが予想される。つまり,予測残差は発生するものの,その発生した予測残差間には相関があるということである。そこで,本発明では,類似した領域の予測残差間の相関を利用し,両予測残差間にて予測を行い,予測残差の低減を図る残差予測を導入する。すなわち,本発明は上記課題を解決するため,空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号を生成し,生成した残差信号に対して直交変換を施して変換係数を生成する画像符号化方法において,イントラ予測の予測方向予測モードともいうに基づき,符号化済みの領域を指定し,さらに,その符号化済みの領域における変換係数の特定の成分を参照信号として指定し,符号化対象領域において対応する変換係数の成分との差分信号として残差予測誤差信号を生成し,その残差予測誤差信号を符号化の対象とすることを主要な特徴とする。また,上記の画像符号化方法により生成された符号化ストリームを復号する画像復号方法において,符号化ストリーム中の残差予測誤差信号を復号し,イントラ予測の予測方向を示す情報を復号し,その予測方向に基づき,復号済みの領域を選定し,さらに,その復号済みの領域における変換係数の特定の成分を参照信号として指定し,その参照信号を用いて,符号化対象領域のイントラ予測残差信号に対する予測信号を生成し,復号された残差予測誤差信号と該予測信号を用いて,復号対象領域の復号信号を生成することを主要な特徴とする。本発明により,イントラ予測誤差の低減を通して,符号量の低減が可能となる。これは,同一方向もしくは類似した方向のイントラ予測が適用される2領域に対して,該2領域のイントラ予測残差間の相関を利用し,両イントラ予測残差間にて,さらに予測処理を行い,イントラ予測残差の低減を図ることにより,実現される。本発明の具体的な実施の形態を説明するに先立ち,まず,本明細書で用いる用語を定義する。前述のように,本発明では,類似した領域の予測残差間の相関を利用し,両予測残差間にて予測を行い,予測残差の低減を図る残差予測を導入する。この予測残差間における予測をイントラ予測残差予測IPRPと定義する。イントラ予測を行う矩形領域をpredictionunitPUと略記とし,DCTなどの直交変換を行う矩形領域をtransformunitTUと略記とする。IPRPにおいて予測対象とするTUを被予測TUとし,IPRPにおいて参照先となるTUを参照TUとする。また,被予測TUを含むPUを被予測PUとし,参照TUを含むPUを参照PUとする。また,PUおよびTUのサイズは可変であり,横幅縦幅により定義される。IPRPの技法は,残差予測に用いる参照PU,参照TU,被予測PU,被予測TUの設定,イントラ予測残差信号に対する予測方法の設定,IPRPの指定方法から構成される。以下,IPRPの具体的な処理について説明する。図1は,被予測PUおよび参照PUの例を示す図である。図1Aは,PUのサイズがTUのサイズと一致している場合の例を示しており,図1Bは,PUのサイズが,そのPU内のTUのサイズよりも大きい場合,すなわち,PUが複数のTUを含む場合の例を示している。参照PU,参照TUの設定方法PUのサイズがTUのサイズと一致している場合PUのサイズとそのPU内のTUのサイズが同一の場合,つまり,PUとTUが一対一に対応している場合について説明する。この場合,PUとTUのサイズが同一であることから,以下では,参照PU,参照TUを総称して参照ブロックと呼ぶ。また,被予測PU,被予測TUを総称して,被予測ブロックと呼ぶ。被予測PUのブロックサイズイントラ予測方向に基づき,IPRPにおいて参照すべきPU,TUを設定する。参照ブロックの設定方法としては,例えば,以下の設定方法1,設定方法2を用いることができる。<設定方法1>被予測TUを含むPUに対して,同一サイズ,かつ,同一の予測方向の近傍PUを同定し,同定したPU内のTUを残差予測の参照TUとする。図1Aの例では,被予測PU6に対して,PU3がPU6の近傍にあり,同一の予測方向index=1であるため,参照PU参照TUとして選ばれている。近傍PUとしては,PU間の距離が最短の最近傍PUを設定する。あるいは,一定の範囲内のPUに参照PUを限定することも可能である。例えば,被予測ブロックからの距離を用いて該範囲を指定することができる。最も狭く範囲を指定した場合は,参照ブロックとして被予測ブロックに隣接するブロックに限定する場合である。このように範囲を限定した場合,範囲内に該当するブロックが存在しなければ,残差予測が適用されない。残差予測の不適用は,特別な付加情報なしに,符号化側復号側で共有することが可能である。このため,残差予測が適用されないブロックについては,残差予測の適用不適用を示す選択情報を省略することができる。<設定方法2>被予測ブロックに対して,同一サイズ,かつ,類似の予測方向の近傍ブロックを残差予測の参照ブロックとする。近傍ブロックについては,前述と同様である。また,どの予測方向を類似とみなすかは,別途,定める。例えば,予測方向の例として,H.264の場合,例えば非特許文献1の第112頁に示されているように,平均値予測と8通りの方向予測が準備されている。また,予測方向を細分化した方法もある。例えば,33通りに拡張した予測方向の方向予測と合わせて,H.264の場合と同様に,平均値予測を用いることも可能である。被予測ブロックにおける予測方向に対して,予測方向の乖離が最小の2N個の予測方向および同一予測方向からなる2N1個の予測方向を類似方向とみなす。類似方向の個数を規定するパラメータNは,外部から与えられるものとする。なお,指定された個数の予測方向が存在しない場合には,類似方向の個数は2N1個よりも少なくなる。あるいは,特定の予測方向を代表方向として定め,それ以外の予測方向については,予測方向の角度の乖離が最小となる代表方向に集約させる。参照PU,参照TUの設定方法PUが複数のTUを含む場合PUが複数のTUを含む場合,つまり,PUのサイズがそのPU内のTUのサイズよりも大きな場合の例について説明する。なお,PU内におけるTUの位置を指定する情報をPU内位置と呼ぶ。参照PU,参照TUの設定方法としては,例えば,以下の設定方法1,設定方法2を用いることができる。<設定方法1>まず,被予測TUを含むPUに対して,同一サイズ,かつ,同一の予測方向の近傍PUを同定する。次に,被予測PU内における被予測TUのPU内位置を同定し,参照PU内において,前記PU内位置に位置するTUを残差予測の参照TUとして同定する。図1Bの例では,被予測PU6内に4つのTUを含んでおり,そのPU6に対して,同一の予測方向の近傍PU3を参照PUとしている。そして,被予測PU6内の被予測TU62とPU内位置が同じ参照PU3内のTU32を,参照TUとしている。近傍PUとしては,PU間の距離が最短の最近傍PUを設定する。あるいは,一定の範囲内のPUに参照PUを限定することも可能である。例えば,被予測PUからの距離を用いて該範囲を指定することができる。最も狭く範囲を指定した場合は,参照PUとして被予測PUに隣接するPUに限定する場合である。このように範囲を限定した場合,範囲内に該当するPUが存在しなければ,残差予測が適用されない。残差予測の不適用は,特別な付加情報なしに,符号化側復号側で共有することが可能である。このため,残差予測が適用されないPUについては,残差予測の適用不適用を示す選択情報を省略することができる。なお,残差予測の適用不適用を示す選択情報をTUごとに設定している場合には,残差予測が適用されないPU内の全TUについて,残差予測の適用不適用を示す選択情報を省略することができる。<設定方法2>被予測PUに対して,同一サイズ,かつ,類似の予測方向の近傍PUを残差予測の参照PUとする。近傍PUについては,前述と同様である。また,どの予測方向を類似とみなすかは,別途,定める。例えば,予測方向の例として,H.264の場合,例えば非特許文献1の第112頁に示されているように,平均値予測と8通りの方向予測が準備されている。また,予測方向を細分化した方法もある。例えば,33通りに拡張した予測方向の方向予測と合わせて,H.264の場合と同様に,平均値予測を用いることも可能である。被予測PUにおける予測方向に対して,予測方向の乖離が最小の2N個の予測方向および同一予測方向からなる2N1個の予測方向を類似方向とみなす。類似方向の個数を規定するパラメータNは,外部から与えられるものとする。なお,指定された個数の予測方向が存在しない場合は,類似方向の個数は2N1個よりも少なくなる。あるいは,特定の予測方向を代表方向として定め,それ以外の予測方向については,予測方向の角度の乖離が最小となる代表方向に集約させる。イントラ予測残差信号の予測方法イントラ予測残差信号の予測方法としては,例えば,以下の4つの予測方法1~4のいずれかを用いることができる。<予測方法1適応変換係数予測>予測方法1では,参照PU内の各TU参照TUのイントラ予測残差に対して変換符号化量子化逆量子化を施して得られた変換係数の復号値を被予測TU内の対応する成分の予測信号とみなし,特定の成分の変換係数のみに限定して,両係数の差分を計算する。このとき,予測の対象となる変換係数の成分を予測対象成分と呼ぶ。どの成分を予測対象成分とするかは,イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに,予測対象成分の位置を示す情報をテーブルに格納しておき,適宜,読み出すこととする。参照PU内のどのTUを参照TUとするかは,被予測TUからの距離が最小となるTUを設定する。<予測方法2重み付き適応変換係数予測>予測方法2では,参照PU内の各TU参照TUのイントラ予測残差に対して変換符号化量子化逆量子化を施して得られた変換係数の復号値を参照し,その復号値に対して重み係数を乗じた値を被予測TU内の対応する成分の予測信号とみなし,特定の成分の変換係数のみに限定して,両係数の差分を計算する。どの成分を予測対象成分とするかは,イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに,予測対象成分の位置を示す情報をテーブルに格納しておき,適宜,読み出すこととする。重み係数は,別途,与えられるものとする。参照PU内のどのTUを参照TUとするかは,被予測TUからの距離が最小となるTUを設定する。<予測方法3重み付き適応変換係数予測>予測方法3では,参照PU内の各TU参照TUのイントラ予測残差に対して変換符号化量子化逆量子化を施して得られた変換係数の復号値を参照し,その復号値に対して重み係数を乗じ,バイアス項の係数を加算した値を被予測TU内の対応する成分の予測信号とみなし,特定の成分の変換係数のみに限定して,両係数の差分を計算する。どの成分を予測対象成分とするかは,イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに,予測対象成分の位置を示す情報をテーブルに格納しておき,適宜,読み出すこととする。重み係数およびバイアス項は,別途,与えられるものとする。参照PU内のどのTUを参照TUとするかは,被予測TUからの距離が最小となるTUを設定する。<予測方法4重み付き適応変換係数予測>予測方法4では,参照PU内の各TU参照TUのイントラ予測残差に対して変換符号化量子化逆量子化を施して得られた変換係数の復号値を参照し,特定の予測対象成分に対してのみ,対応する復号値に重み係数を乗じてバイアス項の係数を加算した値を被予測TU内の対応する成分の予測信号とみなし,それ以外の予測対象成分に対しては,対応する復号値を被予測TU内の対応する成分の予測信号とみなし,予測対象成分の変換係数に対して,両係数の差分を計算する。どの成分を予測対象成分とするかは,イントラ予測方向に応じて切り替えるものとする。各イントラ予測方向ごとに,予測対象成分の位置を示す情報をテーブルに格納しておき,適宜,読み出すこととする。重み係数およびバイアス項は,別途,与えられるものとする。参照PU内のどのTUを参照TUとするかは,被予測TUからの距離が最小となるTUを設定する。なお,上記の予測方法において,予測対象を予測残差の絶対値として,予測残差の符号情報は,予測処理の対象とせずに,伝送することも可能である。残差予測の指定方法残差予測の適用の有無は,予め定められた単位で実施する。適用の有無は,1ビットのフラグ残差予測フラグを用いて伝送される。また,切替える単位は,シーケンス,フレーム,フレーム内の領域が可能であり,この切替えの単位は,別途,定められるものとする。参照TU内のイントラ予測の参照画素群と被予測TU内のイントラ予測の参照画素群との間の相関を算出し,その相関値が一定の閾値以上の場合に限定することも可能である。この場合,相関値が閾値未満の場合には,前記の残差予測フラグを伝送する必要はない。あるいは,参照する変換係数の復号値が,与えられた閾値以下の場合,残差予測を適用しないものとし,このことを符号化器復号器で規則として共有しておくものとする。これにより,参照する変換係数の復号値が,与えられた閾値以下の場合は,前記残差予測フラグを伝送する必要がなくなる。この結果,前記残差予測フラグの表現に必要な符号量を省略することが可能となる。該閾値の例として,零値をあげることができる。該閾値として零値を設定することは,参照する変換係数の復号値が零値の場合に残差予測を省略することを意味している。参照信号が零値の場合,残差予測の適用前後で被予測係数は変化しない。このため,符号化性能の低下を伴わずに,該残差予測フラグの表現に必要な符号量を低減することが可能となる。画像符号化装置の構成例図2は,本発明の一実施形態である画像符号化装置の構成例を示す図である。図2の画像符号化装置は,他にインター予測符号化を行う処理部を含んでいてもよいが,ここでは,イントラ予測に関連する部分だけを図示して説明する。この画像符号化装置は,符号化対象ブロックの周辺画素からイントラ予測信号を生成するイントラ予測処理部101,DCT等の直交変換を行う変換処理部102,変換係数を量子化して量子化インデックスを生成する量子化処理部103,量子化インデックスを逆量子化する逆量子化処理部104,IDCT等の逆直交変換を行う逆変換処理部105,符号化済み画像の復号信号を記憶するフレームメモリ106,予測方法予測モード等のイントラ予測情報を符号化するイントラ予測情報符号化部107,量子化インデックスやイントラ予測情報をエントロピー符号化するエントロピー符号化処理部108,イントラ予測情報を記憶するイントラ予測情報記憶部109,残差予測を行う残差予測処理部110,予測残差係数を記憶する予測残差係数記憶部111,変換係数を記憶する変換係数記憶部112,残差予測を適用するか否かを判定する残差予測判定部113,残差予測選択フラグを出力する残差予測選択フラグ出力部114,エントロピー符号化結果および残差予測選択フラグを多重化して出力する多重化処理部115,予測残差信号を算出する減算器120,残差予測誤差信号の復号値にイントラ予測残差信号の予測信号を加算する加算器121,復号信号を生成する加算器122およびスイッチ部123,124を備える。イントラ予測処理部101は,フレームメモリ106に格納された近傍領域の復号信号を入力として,空間的な予測処理を行い,その予測により得られた信号をイントラ予測信号として出力する。減算器120は,入力信号とイントラ予測処理部101で出力されたイントラ予測信号との差分信号を算出し,イントラ予測残差信号として出力する。変換処理部102は,イントラ予測残差信号を入力として,DCT等の変換処理を行い,変換係数を出力する。量子化処理部103は,変換処理部102で出力された変換係数を入力として,変換係数の量子化処理を行い,量子化代表値を表す量子化インデックスを出力する。逆量子化処理部104は,量子化処理部103で出力された量子化インデックスを入力として,逆量子化処理を行い,変換係数の復号値を出力する。逆変換処理部105は,逆量子化処理部104で出力された変換係数の復号値を入力として,逆変換処理を行い,イントラ予測残差信号の復号値を出力する。加算器122は,イントラ予測残差信号の復号値にイントラ予測信号を加算することにより,復号信号を生成する。この復号信号は,フレームメモリ106に格納される。イントラ予測情報符号化部107は,イントラ予測信号を表現するための情報として,イントラ予測の方向を規定するイントラ予測モード,イントラ予測を行う領域の大きさを表すPUサイズを符号化する。エントロピー符号化処理部108は,量子化処理部103の出力である量子化インデックス,イントラ予測情報符号化部107の出力であるイントラ予測情報を入力として,エントロピー符号化処理を行い,多重化処理部115を介して符号化データを多重化し,符号化ストリームを出力する。以上の各部の処理は,基本的には,図13を用いて説明した従来の画像符号化装置の処理と同様である。さらに,この画像符号化装置では,残差予測を用いた画像符号化のために,次の処理部や記憶部を備える。イントラ予測情報記憶部109は,イントラ予測の予測モード情報,その予測のブロックサイズを格納する。残差予測処理部110は,イントラ予測情報記憶部109に格納されたイントラ予測の予測モード情報,その予測のブロックサイズを入力とし,参照PUを同定し,さらに,イントラ予測残差信号に対する変換係数,予測残差係数記憶部111に格納された変換係数の復号値を入力として,両者の差分値残差予測誤差信号を出力する。予測残差係数記憶部111は,イントラ予測残差信号に対する変換係数の復号値を格納する。また,変換係数記憶部112は,イントラ予測残差信号に対する変換係数を格納する。残差予測判定部113は,符号化対象TUのイントラ予測残差に対する変換係数および,変換係数記憶部112に格納されたTUの変換係数を入力として,残差予測を行うか否かを判定する。まず,残差予測の適用条件を満たすか否かを判定する。適用条件としては,例えば,参照ブロック内のイントラ予測の参照画素群と被予測ブロック内のイントラ予測の参照画素群との間の相関を算出し,その相関値が一定の閾値以上であるという条件,また,所定の近傍範囲内に被予測PUと予測方向が一致または類似する適切な参照PUが存在することという条件などがあるが,他の適用条件を用いてもよい。適用条件を満たさない場合には,残差予測選択フラグ出力部114への入力をスキップした上で,スイッチ部123,124を切り替え,加算器121による加算処理を省略する。適用条件を満たす場合には,例えばRDコストなどの予め与えられた評価尺度に基づき,残差予測の適用の可否を判定し,残差予測が適用されないと判定された場合には,残差予測選択フラグ出力部114において,残差予測選択フラグをOFFとして出力し,スイッチ部123,124の後の加算処理を省略する。一方,残差予測判定部113において,残差予測が適用されると判定された場合には,残差予測選択フラグ出力部114において,残差予測選択フラグをONとして出力し,スイッチ部123を残差予測処理部110側へ切り替え,また,スイッチ部124を加算器121が加算処理を行うように切り替える。残差予測選択フラグ出力部114は,残差予測判定部113において,残差予測を行うと判定された場合,残差予測選択フラグをONとして出力し,そうでない場合には,残差予測選択フラグをOFFとして出力する。多重化処理部115は,残差予測選択フラグとそれ以外の符号化ストリームとを一つの符号化ストリームとして多重化し,出力する。画像符号化処理次に,図2に示す画像符号化装置が実行する画像符号化処理の流れを,図3ないし図7に示すフローチャートに従って説明する。図3は,本実施形態に係る残差予測を用いた画像符号化処理のフローチャートである。画像符号化装置の入力信号は,符号化対象の画像信号である。図3において,点線の枠で囲ったステップS104~S111の処理部分が,主に従来技術と異なる部分である。画像符号化装置は,画像信号を入力すると,以下の処理を行う。[ステップS101]:各符号化単位ユニットごとに,ステップS114までの処理を繰り返し実行する。[ステップS102]:イントラ予測処理部101が,イントラ符号化の方式イントラ予測モードを設定し,設定されたイントラ予測モードに基づき,イントラ予測信号を生成する。イントラ符号化の方式に関する情報は,イントラ予測情報記憶部109に記憶されるとともに,イントラ予測情報符号化部107に出力される。イントラ予測信号は,減算器120へ送られ,減算器120は,このイントラ予測信号と入力信号の差分信号イントラ予測残差信号を生成する。[ステップS103]:変換処理部102が,イントラ予測残差信号を入力として,直交変換を行い,変換係数を生成する。変換処理は,予め方式が定められるものとし,例えば,離散コサイン変換DCTを用いるものとする。変換係数は,スイッチ部123および残差予測判定部113に出力されるととにも,変換係数記憶部112に記憶される。[ステップS104]:残差予測判定部113が,残差予測の適用条件に基づき,残差予測を行うか否かを判定する。適用条件を満たす場合,ステップS105,S107の処理へ進む。適用条件を満たさない場合,ステップS110の処理へ進む。[ステップS105]:残差予測処理部110が,イントラ予測残差信号に対する予測処理を行い,イントラ予測残差信号の予測信号を生成し,その予測信号とイントラ予測残差信号との差分信号残差予測誤差信号を生成する。この残差予測誤差信号を量子化して符号化したときの変換係数の復号値を生成する。この処理の詳細については,図4に従って説明する。[ステップS106]:ステップS105で生成した変換係数の復号値に対して符号化歪みを算出し,さらに,その復号値を表現するために必要な符号量もしくは,その推定値を算出する。前記符号化歪みおよび前記符号量の加重和として,RDコストを算出する。[ステップS107]:一方,図14で説明した従来法によるステップS604~S606と同様の処理により,残差予測処理を行わないで変換係数を符号化したときの変換係数の復号値を生成する。すなわち,変換係数を入力として量子化処理を行い,量子化後の変換係数を量子化インデックスとして生成する。また,量子化インデックスを入力として,エントロピー符号化処理を行い,2進列へ変換する。エントロピー符号化の方法は,別途,与えられるものとする。さらに,量子化インデックスを入力として,逆量子化処理を行い,変換係数の復号値を生成する。[ステップS108]:ステップS107で生成した変換係数の復号値に対して符号化歪みを算出し,さらに,その復号値を表現するために必要な符号量もしくは,その推定値を算出する。前記符号化歪みおよび前記符号量の加重和として,RDコストを算出する。[ステップS109]:ステップS106で出力されるRDコストとステップS108で出力されるRDコストとの大小を比較し,前者の方が小さい場合には,ステップS111の処理に進む。そうでない場合には,ステップS110の処理に進む。[ステップS110]:残差予測選択フラグ出力部114が,イントラ予測残差の使用を示す残差予測選択フラグをOFF2進数の0として出力し,量子化処理部103およびエントロピー符号化処理部108で符号化したイントラ予測残差信号に対する変換係数の量子化インデックスに対する符号化情報を出力する。その後,ステップS112へ進む。[ステップS111]:残差予測選択フラグ出力部114が,イントラ予測残差の使用を示すフラグをON2進数の1として出力し,量子化処理部103およびエントロピー符号化処理部108で符号化した残差予測誤差信号に対する変換係数の量子化インデックスに対する符号化情報を出力する。[ステップS112]:逆変換処理部105が,変換係数の復号値を入力として,逆変換処理を行い,イントラ予測残差信号の復号信号を生成する。[ステップS113]:加算器122が,イントラ予測残差信号の復号値およびイントラ予測信号を入力として,両者を加算し,復号信号を生成して所定の記憶領域フレームメモリ106に格納する。[ステップS114]:以上の処理をすべての符号化単位ユニットについて繰り返し,すべての符号化単位ユニットについての処理が終えたならば,符号化処理を終了する。図4は,残差予測処理を用いた変換係数の復号値生成処理のフローチャートである。次に,図4を用いて,図3のステップS105の処理について詳細に説明する。[ステップS201]:残差予測処理部110が,参照TUの予測対象成分を入力として,イントラ予測残差信号に対する予測処理を行い,イントラ予測残差信号の予測信号を生成する。さらに,被予測TUの予測対象成分および前記予測信号を入力として,両者の差分信号として,残差予測誤差信号を生成する。この残差予測処理の詳細については,図5,図6および図7を用いて,3つの例を説明する。[ステップS202]:量子化処理部103が,残差予測誤差信号を入力として量子化処理を行い,量子化により得られる量子化インデックスとして出力する。[ステップS203]:エントロピー符号化処理部108が,量子化インデックスを入力として,エントロピー符号化処理を行い,2進列へ変換する。エントロピー符号化の方法は,別途,与えられるものとする。[ステップS204]:逆量子化処理部104が,量子化インデックスを入力として,逆量子化処理を行い,残差予測誤差信号の復号値を生成する。[ステップS205]:加算器121が,ステップS204で生成した残差予測誤差信号の復号値およびステップS201で生成したイントラ予測残差信号の予測信号を入力として,両者を加算し,変換係数の復号値を生成する。図5は,残差予測処理例1を示すフローチャートである。図4のステップS201では,残差予測処理の第1の例として,図5に示す処理を実行する。[ステップS301]:残差予測処理部110は,イントラ予測情報記憶部109から,被予測PUのサイズ,被予測TUのサイズ,および被予測PUにおける予測モードを読み込む。[ステップS302]:ステップS301で読み込んだ情報を入力として,参照PU,参照TUを同定する。具体的な設定方法は,前述した参照ブロックの設定方法PUのサイズがTUのサイズと一致している場合および参照ブロックの設定方法PUが複数のTUを含む場合を用いる。[ステップS303]:ステップS310で読み込んだ情報を入力として,変換係数の予測対象成分を同定する。具体的な同定方法は,別途,与えられるものとする。[ステップS304]:参照TU内の予測対象成分を入力として,残差予測の予測信号を生成する。具体的な設定方法は,前述したイントラ予測残差信号の予測方法における<予測方法1>に従う。[ステップS305]:ステップS304で生成した予測信号および被予測TU内の予測対象成分を入力として,両者の差分を出力する。図6は,残差予測処理例2を示すフローチャートである。図4のステップS201では,残差予測処理の第2の例として,図6に示す処理を実行してもよい。[ステップS311~S313]:図5で説明したステップS301~S303と同様な処理を実行する。[ステップS314]:残差予測処理部110は,参照TU内の予測対象成分に乗じる重み係数,および予測対象成分に加算するバイアス係数の値を読み込む。重み係数およびバイアス係数は,予め与えれるか,もしくは,別途,定められるものとする。[ステップS315]:参照TU内の予測対象成分を入力として,残差予測の予測信号として設定する。具体的な設定方法は,イントラ予測残差信号の予測方法における<予測方法2>に従う。[ステップS316]:ステップS315で生成した予測信号および被予測TU内の予測対象成分を入力として,両者の差分を出力する。図7は,残差予測処理例3を示すフローチャートである。図4のステップS201では,残差予測処理の第3の例として,図7に示す処理を実行してもよい。[ステップS321~S323]:図5で説明したステップS301~S303と同様な処理を実行する。[ステップS324]:残差予測処理部110が,参照TU内の予測対象成分に乗じる重み係数,および予測対象成分に加算するバイアス係数の値を読み込む。重み係数およびバイアス係数は,予め与えられるか,もしくは,別途,定められるものとする。続くステップS325~S331では,残差予測処理部110が,参照TU内の予測対象成分を入力として,残差予測の予測信号を生成する。具体的な設定方法は,イントラ予測残差信号の予測方法における<予測方法4>に従う。なお,<予測方法3>の場合の処理もほぼ同様であるので,<予測方法3>を用いたときの処理方法の説明は割愛する。[ステップS325]:以下の処理を変換係数のすべての予測対象成分に対して繰り返す。[ステップS326]:当該予測対象成分は,重み付き予測処理を行う成分であるか否かを判定する。重み付き予測処理を行う成分の場合,ステップS328の処理へ進み,そうでない場合,ステップS327の処理へ進む。[ステップS327]:参照TU内の予測対象成分を残差予測の予測信号として設定する。その後,ステップS330の処理へ進む。[ステップS328]:参照TU内の予測対象成分に乗じる重み係数,および予測対象成分に加算するバイアス係数を読み込む。[ステップS329]:被予測TU内の予測対象成分に対して重み係数を乗じ,バイアス係数を加算した値を残差予測の予測信号として設定する。[ステップS330]:ステップS327またはステップS329で設定した予測信号と被予測TU内の予測対象成分とを入力として,両者の差分を算出する。[ステップS331]:以上のステップS325以降の処理を,すべての予測対象成分について繰り返し,すべての予測対象成分に対する処理が終了したならば,処理を終了する。画像復号装置の構成例図8は,本発明の一実施形態である画像復号装置の構成例を示す図である。図8の画像復号装置は,他にインター予測復号を行う処理部を含んでいてもよいが,ここでは,イントラ予測に関連する部分だけを図示して説明する。この画像復号装置は,量子化インデックスやイントラ予測情報をエントロピー復号するエントロピー復号処理部201,量子化インデックスを逆量子化する逆量子化処理部202,IDCT等の逆直交変換を行う逆変換処理部203,復号済み画像の復号信号を記憶するフレームメモリ204,復号対象ブロックの周辺画素からイントラ予測信号を生成するイントラ予測処理部205,エントロピー復号されたイントラ予測情報を格納するイントラ予測情報格納部206,符号化ストリームから残差予測選択フラグを分離する分離処理部207,残差予測を行う残差予測処理部208,予測残差係数を記憶する予測残差係数記憶部209,残差予測選択フラグを読み込む残差予測選択フラグ読込部210,予測方法予測モード等のイントラ予測情報を記憶するイントラ予測情報記憶部211,変換係数を記憶する変換係数記憶部212,残差予測を適用するか否かを判定する残差予測判定部213,残差予測誤差信号の復号値にイントラ予測残差信号の予測信号を加算する加算器220,復号信号を生成する加算器221およびスイッチ部222,223を備える。エントロピー復号処理部201は,分離処理部207で分離された符号化ストリームを入力として,エントロピー復号処理を行い,量子化インデックス,イントラ予測情報を出力する。逆量子化処理部202は,エントロピー復号処理部201で出力された量子化インデックスを入力として,逆量子化処理を行い,変換係数の復号値を出力する。逆変換処理部203は,逆量子化処理部202で出力された変換係数の復号値を入力として,逆変換処理を行い,イントラ予測残差信号の復号値を出力する。加算器221は,イントラ予測残差信号の復号値にイントラ予測信号を加算して復号信号を生成する。この復号信号は,フレームメモリ204に格納される。イントラ予測処理部205は,フレームメモリ204に格納された近傍領域の復号信号を入力として,空間的な予測処理を行い,その予測処理により得られた信号をイントラ予測信号として出力する。イントラ予測情報格納部206は,エントロピー復号処理部201で出力されたイントラ予測信号を表現するための情報イントラ予測の方向を規定するイントラ予測モード,イントラ予測を行う領域の大きさを表すPUサイズを格納する。以上の各部の処理は,基本的には,図15を用いて説明した従来の画像復号装置の処理と同様である。さらに,この画像復号装置では,残差予測を用いた画像復号のために,次の処理部や記憶部を備える。分離処理部207は,図2で説明した画像符号化装置が出力した符号化ストリームを入力として,残差予測選択フラグを含む部分とそれ以外の部分とに分離する。残差予測処理部208は,イントラ予測残差信号に対する変換係数および予測残差係数記憶部209に格納された変換係数の復号値を入力とし,両者の差分値残差予測誤差信号を出力する。残差予測選択フラグ読込部210は,分離処理部207において出力された符号化ストリームを入力として,残差予測選択フラグを含む部分から残差予測選択フラグを読み込む。また,残差予測選択フラグ読込部210は,残差予測選択フラグがONの場合,残差予測処理部208による処理を行い,逆量子化処理部202の出力と残差予測処理部208の出力を,加算器220で加算することを示す制御信号をスイッチ部222に対して出力する。一方,残差予測選択フラグがOFFの場合,逆量子化処理部202の出力と残差予測処理部208の出力を加算しないで,逆量子化処理部202の出力をそのまま出力することを示す制御信号を出力する。イントラ予測情報記憶部211は,イントラ予測の予測モード情報,イントラ予測のブロックサイズを格納する。変換係数記憶部212は,イントラ予測残差信号に対する変換係数の復号値を格納する。残差予測判定部213は,復号対象TUのイントラ予測残差に対する変換係数および変換係数記憶部212に格納されたTUの変換係数を入力として,残差予測を行うか否かを判定する。まず,残差予測の適用条件を満たすか否かを判定し,適用条件を満たさない場合には,スイッチ部223に対して,残差予測選択フラグ読込部210の処理をスキップすることを示す制御信号を出力する。さらに,逆量子化処理部202の出力と残差予測処理部208の出力を加算しないで,逆量子化処理部202の出力をそのまま出力することを示す制御信号を,スイッチ部222に対して出力する。適用条件を満たす場合には,残差予測選択フラグ読込部210において,残差予測選択フラグを読み込み,残差予測選択フラグがOFFの場合には,逆量子化処理部202の出力と残差予測処理部208の出力を加算しないで,逆量子化処理部202の出力をそのまま出力することを示す制御信号を,スイッチ部222に対して出力する。一方,残差予測選択フラグがONの場合には,逆量子化処理部202の出力と残差予測処理部208の出力を加算器220により加算して出力することを示す制御信号を,スイッチ部222に出力する。画像復号処理次に,図8に示す画像復号装置が実行する画像復号処理の流れを,図9および図10に示すフローチャートに従って説明する。図9は,本実施形態に係る残差予測を用いた画像復号処理のフローチャートである。画像復号装置の入力信号は,図2に示す画像符号化装置が出力した符号化ストリームの符号化データである。図9において,点線の枠で囲ったステップS404~S408の処理部分が,主に従来技術と異なる部分である。画像復号装置は,符号化データを入力すると,以下の処理を行う。[ステップS401]:分離処理部207が符号化ストリームから分離した符号化データを入力し,各符号化単位ユニットごとに,ステップS411までの処理を繰り返し実行する。[ステップS402]:エントロピー復号処理部201が,符号化単位ユニットの符号化データを入力として,量子化インデックスおよびイントラ予測情報についてエントロピー復号処理する。[ステップS403]:イントラ予測処理部205が,復号済みのイントラ予測情報から,イントラ符号化の方式イントラ予測モードを読み出し,イントラ予測モードに基づき,イントラ予測信号を生成する。[ステップS404]:残差予測判定部213が,残差予測の適用条件に基づき,残差予測を行うか否かを判定する。適用条件を満たす場合には,ステップS406の処理へ進む。適用条件を満たさない場合には,ステップS405の処理へ進む。[ステップS405]:逆量子化処理部202が,量子化インデックスに対する逆量子化処理を行い,変換係数の復号値を生成する。その後,ステップS409の処理へ進む。[ステップS406]:残差予測選択フラグ読込部210が,分離処理部207が分離した符号化データから,イントラ予測残差の使用を示すフラグ残差予測選択フラグを読み込む。[ステップS407]:残差予測選択フラグがONの場合には,ステップS408の処理へ進む。そうでない場合には,ステップS405の処理へ進む。[ステップS408]:残差予測に基づき,変換係数の復号値を生成する。この処理の詳細については,図10を用いて後述する。[ステップS409]:逆変換処理部203が,変換係数の復号値を入力として,逆変換処理を行い,イントラ予測残差信号の復号信号を生成する。[ステップS410]:加算器221が,イントラ予測残差信号の復号値およびイントラ予測信号を入力として,両者を加算し,復号信号を生成して所定の記憶領域フレームメモリ204に格納する。[ステップS411]:以上の処理をすべての符号化単位ユニットについて繰り返し,すべての符号化単位ユニットについての処理が終えたならば,復号処理を終了する。図10は,復号時における残差予測処理を用いた変換係数の復号値生成処理のフローチャートである。次に,図10を用いて,図9のステップS408の処理について詳細に説明する。[ステップS501]:残差予測処理部208が,参照TUの予測対象成分を入力として,イントラ予測残差信号に対する予測処理を行い,イントラ予測残差信号の予測信号を生成する。さらに,被予測TUの予測対象成分および前記予測信号を入力として,両者の差分信号として,残差予測誤差信号を生成する。この残差予測処理については,画像符号化処理で説明したステップS201図4の処理と同様であり,詳しくは,図5,図6および図7を用いて説明した処理のようにいくつかのバリエーションがある。[ステップS502]:逆量子化処理部202が,量子化インデックスを入力として,逆量子化処理を行い,残差予測誤差信号の復号値を生成する。[ステップS503]:加算器221が,ステップS502で生成した残差予測誤差信号の復号値およびステップS501で生成したイントラ予測残差信号の予測信号を入力として,両者を加算し,変換係数の復号値を生成して所定の記憶領域フレームメモリ204に格納する。図11に,図2の画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU150と,CPU150がアクセスするプログラムやデータが格納されるRAM等のメモリ151と,カメラ等からの符号化対象の画像信号を入力する画像信号入力部152ディスク装置等による画像信号を記憶する記憶部でもよいと,本手法により入力画像を符号化する処理をCPU150に実行させるソフトウェアプログラムである画像符号化プログラム154が格納されたプログラム記憶装置153と,CPU150がメモリ151にロードされた画像符号化プログラム154を実行することにより生成された符号化データを,例えばネットワークを介して出力する符号化ストリーム出力部155ディスク装置等による符号化ストリームを記憶する記憶部でもよいとが,バスで接続された構成になっている。図12に,図8の画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU250と,CPU250がアクセスするプログラムやデータが格納されるRAM等のメモリ251と,図2の画像符号化装置が本手法により符号化した符号化ストリームを入力して記憶する符号化ストリーム記憶部252ネットワーク等を介した入力部でもよいと,本手法により符号化ストリームを復号する処理をCPU250に実行させるソフトウェアプログラムである画像復号プログラム254が格納されたプログラム記憶装置253と,CPU250がメモリ251にロードされた画像復号プログラム254を実行することにより,符号化ストリームを復号して得られた復号画像を,再生装置などに出力する復号画像出力部255とが,バスで接続された構成になっている。以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものではないことは明らかである。したがって,本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加,省略,置換,その他の変更を行ってもよい。"