"入力画像を圧縮符号化する画像符号化方法において,前記入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割した際に,前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる,それぞれ同じサイズの分割画像を設定する分割画像生成過程と,前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化過程と,符号化済み分割画像の中から選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し,分割画像間符号化を行う分割画像間符号化過程と,前記参照画像の候補が複数存在する場合に,符号化済み分割画像の分割画像間予測における予測誤差をもとに,符号化済み分割画像とその参照画像における同一位置の画素について,原画像上の画素の相関の高い方向を算出する相関方向算出過程と,前記参照画像の候補が複数存在する場合に,符号化対象分割画像に対して,前記相関の高い方向にある符号化済み分割画像を参照画像として選択する参照画像選択過程と,前記分割画像内符号化過程と前記分割画像間符号化過程による符号化結果を情報源符号化する情報源符号化過程とを有することを特徴とする画像符号化方法。請求項1に記載の画像符号化方法において,前記相関方向算出過程では,前記参照画像の候補となる各符号化済み分割画像の復号画像とその参照画像とから予測画像を生成し,前記符号化済み分割画像の復号画像に対する予測画像の予測誤差の和を算出し,予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像符号化方法。請求項1に記載の画像符号化方法において,前記相関方向算出過程では,前記参照画像の候補となる各符号化済み分割画像に対して,分割画像間符号化において算出された予測誤差の和を算出し,予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像符号化方法。請求項1,請求項2または請求項3に記載の画像符号化方法において,少なくとも,前記分割画像間符号化過程,前記相関方向算出過程および前記参照画像選択過程では,前記分割画像を小領域に分割した分割画像ブロックごとに,分割画像の符号化処理,相関方向の算出処理および参照画像の選択処理を行い,分割画像間符号化における参照画像を前記分割画像ブロックごとに切り替えることを特徴とする画像符号化方法。入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割した際に,前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる,それぞれ同じサイズの分割画像を設定して,分割画像ごとに符号化することによって圧縮符号化された画像の符号化データを復号する画像復号方法において,前記圧縮符号化された画像の符号化データを入力し,情報源復号する情報源復号過程と,前記情報源復号過程で復号されたデータから,前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号過程と,復号済み分割画像の中から選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し,分割画像間復号を行う分割画像間復号過程と,前記参照画像の候補が複数存在する場合に,復号済み分割画像の分割画像間予測における予測誤差をもとに,復号済み分割画像とその参照画像における同一位置の画素について,原画像上の画素の相関の高い方向を算出する相関方向算出過程と,前記参照画像の候補が複数存在する場合に,復号対象分割画像に対して,前記相関の高い方向にある復号済み分割画像を参照画像として選択する参照画像選択過程と,前記分割画像内復号過程および前記分割画像間復号過程によって復号された分割画像から復号画像を合成する復号画像合成過程とを有することを特徴とする画像復号方法。請求項5に記載の画像復号方法において,前記相関方向算出過程では,前記参照画像の候補となる各復号済み分割画像とその参照画像とから予測画像を生成し,前記復号済み分割画像に対する予測画像の予測誤差の和を算出し,予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像復号方法。請求項5に記載の画像復号方法において,前記相関方向算出過程では,前記参照画像の候補となる各復号済み分割画像に対して,分割画像間復号において算出された予測誤差の和を算出し,予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像復号方法。請求項5,請求項6または請求項7に記載の画像復号方法において,少なくとも,前記分割画像間復号過程,前記相関方向算出過程および前記参照画像選択過程では,前記分割画像を小領域に分割した分割画像ブロックごとに,分割画像の復号処理,相関方向の算出処理および参照画像の選択処理を行い,分割画像間復号における参照画像を前記分割画像ブロックごとに切り替えることを特徴とする画像復号方法。入力画像を圧縮符号化する画像符号化装置において,前記入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割した際に,前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる,それぞれ同じサイズの分割画像を設定する分割画像生成手段と,前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化手段と,符号化済み分割画像の中から選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し,分割画像間符号化を行う分割画像間符号化手段と,前記参照画像の候補が複数存在する場合に,符号化済み分割画像の分割画像間予測における予測誤差をもとに,符号化済み分割画像とその参照画像における同一位置の画素について,原画像上の画素の相関の高い方向を算出する相関方向算出手段と,前記参照画像の候補が複数存在する場合に,符号化対象分割画像に対して,前記相関の高い方向にある符号化済み分割画像を参照画像として選択する参照画像選択手段と,前記分割画像内符号化手段と前記分割画像間符号化手段による符号化結果を情報源符号化する情報源符号化手段とを備えることを特徴とする画像符号化装置。請求項9に記載の画像符号化装置において,前記相関方向算出手段は,前記参照画像の候補となる各符号化済み分割画像の復号画像とその参照画像とから予測画像を生成し,前記符号化済み分割画像の復号画像に対する予測画像の予測誤差の和を算出し,予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像符号化装置。請求項9に記載の画像符号化装置において,前記相関方向算出手段は,前記参照画像の候補となる各符号化済み分割画像に対して,分割画像間符号化において算出された予測誤差の和を算出し,予測誤差の和が小さい符号化済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像符号化装置。請求項9,請求項10または請求項11に記載の画像符号化装置において,少なくとも,前記分割画像間符号化手段,前記相関方向算出手段および前記参照画像選択手段は,前記分割画像を小領域に分割した分割画像ブロックごとに,分割画像の符号化処理,相関方向の算出処理および参照画像の選択処理を行い,分割画像間符号化における参照画像を前記分割画像ブロックごとに切り替えることを特徴とする画像符号化装置。入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割した際に,前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる,それぞれ同じサイズの分割画像を設定して,分割画像ごとに符号化することによって圧縮符号化された画像の符号化データを復号する画像復号装置において,前記圧縮符号化された画像の符号化データを入力し,情報源復号する情報源復号手段と,前記情報源復号手段で復号されたデータから,前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号手段と,復号済み分割画像の中から選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し,分割画像間復号を行う分割画像間復号手段と,前記参照画像の候補が複数存在する場合に,復号済み分割画像の分割画像間予測における予測誤差をもとに,復号済み分割画像とその参照画像における同一位置の画素について,原画像上の画素の相関の高い方向を算出する相関方向算出手段と,前記参照画像の候補が複数存在する場合に,復号対象分割画像に対して,前記相関の高い方向にある復号済み分割画像を参照画像として選択する参照画像選択手段と,前記分割画像内復号手段および前記分割画像間復号手段によって復号された分割画像から復号画像を合成する復号画像合成手段とを備えることを特徴とする画像復号装置。請求項13に記載の画像復号装置において,前記相関方向算出手段は,前記参照画像の候補となる各復号済み分割画像とその参照画像とから予測画像を生成し,前記復号済み分割画像に対する予測画像の予測誤差の和を算出し,予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像復号装置。請求項13に記載の画像復号装置において,前記相関方向算出手段は,前記参照画像の候補となる各復号済み分割画像に対して,分割画像間復号において算出された予測誤差の和を算出し,予測誤差の和が小さい復号済み分割画像と参照画像の組における同一位置の画素に対応する原画像上での画素を結ぶ方向を,前記相関の高い方向として算出することを特徴とする画像復号装置。請求項13,請求項14または請求項15に記載の画像復号装置において,少なくとも,前記分割画像間復号手段,前記相関方向算出手段および前記参照画像選択手段は,前記分割画像を小領域に分割した分割画像ブロックごとに,分割画像の復号処理,相関方向の算出処理および参照画像の選択処理を行い,分割画像間復号における参照画像を前記分割画像ブロックごとに切り替えることを特徴とする画像復号装置。請求項1から請求項4までのいずれか1項に記載の画像符号化方法を,コンピュータに実行させるための画像符号化プログラム。請求項5から請求項8までのいずれか1項に記載の画像復号方法を,コンピュータに実行させるための画像復号プログラム。映像符号化国際標準であるH.264等の映像符号化における復号処理では,ブロック歪みを低減させるためのデブロッキングフィルタの処理量の占める割合が大きい。この問題に対し,非特許文献3にて提案されている,一定の規則で画素または画素群を抽出して並べ替えた分割画像間で予測符号化を行う方法を用いれば,ブロック歪みの発生を抑えることが可能となる。この方法では,デブロッキングフィルタの適用箇所が低減されることから,デブロッキングフィルタの演算量を低減することが可能となる。しかし,この方法には,次の点について改善の余地がある。1まず,分割画像間符号化で参照画像を2枚以上用いる場合には,復号の際にどの参照画像を用いるかを把握できるようにするため,予測符号化に用いた参照画像を示す参照画像インデックスを符号化しなければならず,この符号量が増加する。そのため,符号化効率が悪化する。一方,参照画像の方向を固定してしまうと,予測精度が落ちて,符号化効率が悪化することになる。2また,参照画像を分割画像内のブロックごとに切り替える場合には,参照画像インデックスをブロックごとに復号側へ送らなければならず,符号化することにより符号量が増加するため,さらに符号量が増加するという問題がある。本発明は,上記分割画像間符号化の改善を図り,分割画像間符号化における参照画像インデックスの符号化を不要とすることにより,符号化効率を向上させることを目的とする。本発明の最も特徴とするところは,画面内予測符号化復号も同様の処理を,画素または画素群を再配置した分割画像を用いて,分割画像内符号化と分割画像間符号化とによって行う画像符号化方式において,分割画像間符号化で参照する参照画像の選択の際に,符号化対象分割画像の原画像上における画素と相関の高い方向にある画素の属する符号化済み分割画像を求め,それを参照画像とすることである。また,この参照画像の選択では,エンコーダ画像符号化装置とデコーダ画像復号装置とで共通の選択ロジックを用いることにより,どの符号化済み分割画像を参照画像として選択したかを示す参照画像インデックスの符号化を不要としたことである。本発明は,入力画像を圧縮符号化するにあたって,以下の処理を行う。1入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割し,ブロック内の相対位置が同じサブブロックを集めて,それぞれ同じサイズの分割画像を生成する。2分割画像の少なくとも一つ以上を分割画像内符号化する。ここでの分割画像内符号化は,分割画像を画面単位として行う画面内予測による符号化である。3分割画像内符号化された分割画像以外の分割画像を符号化するために,符号化対象分割画像と符号化済み分割画像における同一位置の画素について,原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。参照画像の候補が複数ある場合には,符号化対象分割画像の画素と相関が高い方向にある画素の属する符号化済み分割画像を求めて,それを参照画像として選択する。すなわち,相関の高い符号化済み分割画像を参照画像として用いる。相関が高いかどうかは,例えば符号化済み分割画像の予測誤差から判断する。4選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し,分割画像間予測符号化を行う。この分割画像間予測符号化では,例えば,符号化対象分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施した画像を予測画像として,分割画像間予測符号化を行う。ここでの分割画像間予測符号化は,各分割画像を画面単位として行う画面間予測による符号化である。5以上の分割画像内符号化と分割画像間予測符号化による符号化結果を情報源符号化して,符号化ビットストリームを出力する。上記処理4における参照画像の選択は,符号化対象分割画像をn2×m2画素の領域H.264のマクロブロック等に相当に分割し,その領域ごとに行うことができる。この領域を,ここでは分割画像ブロックという。すなわち,符号化対象の分割画像ブロックごとに,相関の高い参照画像を選択することにより,1つの符号化対象分割画像の中で最適な参照画像を切り替えて分割画像間予測符号化を行うこともできる。上記処理4における相関の高い方向にある画素の属する符号化済み分割画像を求める処理としては,以下の2つの方法がある。第1の方法では,参照画像の候補となっている符号化済み分割画像の復号画像と,その符号化済み分割画像の参照画像から作成した予測画像との予測誤差の和を,参照画像の候補のそれぞれについて算出する。そして,予測誤差の和が小さくなる符号化済み分割画像と参照画像との組み合わせを求め,それらの画像内の対応する画素の原画像上での画素を結ぶ方向を相関が高い方向とする。符号化対象分割画像の符号化に用いる参照画像は,符号化対象分割画像に対して,相関が高い方向にある画素が属する符号化済み参照画像とする。第2の方法では,第1の方法のように符号化済み分割画像に対して予測画像を生成して誤差を計算する代わりに,既に分割画像間符号化で符号化データとして存在する予測誤差の和を算出し,その予測誤差の和から相関を判断して参照画像を選択することにより,復号演算量の増加を抑える。上記第1の方法では,相関の高い方向を計算するために,分割画像間符号化済み画像の復号画像と,その参照画像から作成した予測画像との差分誤差を計算しているが,分割画像または分割画像ブロックごとに予測画像を生成しなおして,分割画像符号化済み画像の復号画像との差分をとると,その演算量が大きく増加することとなってしまう。これに対して,第2の方法では,予め符号化データとして生成されている予測誤差を用いてその予測誤差の和を算出し,相関を判断することで,第1の方法とほぼ同等の効果を保ちつつ,符号化/復号演算量の増加を大きく抑えることが可能となる。また,本発明は,上記方法によって符号化された画像の符号化データを復号するにあって,以下の処理を行う。1画像符号化装置側で,入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割し,ブロック内の相対位置が同じサブブロックを集めて,それぞれ同じサイズの分割画像を生成して符号化した,符号化データを入力し,情報源復号する。2復号されたデータから,分割画像の少なくとも一つ以上を分割画像内復号する。3分割画像内復号された分割画像以外の分割画像を復号する際に,復号対象分割画像と復号済み分割画像における同一位置の画素について,原画像上での距離が短い復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する。参照画像の候補が複数ある場合には,復号対象分割画像の画素と相関が高い方向にある画素の属する復号済み分割画像を求めて,それを参照画像として選択する。すなわち,復号対象分割画像に対して,相関の高い復号済み分割画像を参照画像として用いる。相関が高いかどうかは,例えば復号済み分割画像の予測誤差から判断する。4選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し,分割画像間予測復号を行う。5分割画像内復号および分割画像間予測復号によって復号された分割画像から,各分割画像における各画素を原画像における元の位置に配置し,復号画像を構成する。上記処理3における参照画像の選択は,復号対象分割画像をn2×m2画素の分割画像ブロックに分割し,分割画像ブロックごとに行うことができる。また,上記処理3における相関の高い方向にある画素の属する復号済み分割画像を求める処理では,上述した符号化時における第1または第2の方法と同様な方法を用いる。本発明の作用は,以下のとおりである。従来の分割画像間符号化方法では,どの符号化済み分割画像を参照画像として用いるかを示す参照画像インデックスを作成して符号化する必要があった。本発明では,参照画像インデックスを作成して符号化する代わりに,相関の高い分割画像を参照画像として用いることで,参照画像インデックスのオーバーヘッドを削減する。これにより,符号化効率が向上する。詳しくは以下のとおりである。従来技術では,参照画像として複数枚選択可能であり,その参照画像の中から符号化効率のよい参照画像を選択するためには,例えば参照画像それぞれから作成可能である予測画像と,符号化済み分割画像との二乗誤差を測定し,二乗誤差が小さいものを選択して,その参照画像インデックスを符号化する必要があった。特に,参照画像を分割画像ブロックごとに切り替える場合には,参照画像インデックスの符号量が分割画像ブロックごとに発生して,符号量が大きくなった。本手法では,もともとは1枚の原画像である分割画像同士には,強い空間的相関があることを用いて,参照画像として用いる分割画像間符号化済み画像と,その符号化済み画像の参照画像との相関を,予測画像との誤差を用いて推測する。誤差が小さくなる方向が最も相関が高い方向と推測し,その方向を符号化対象分割画像における参照方向として用いる。原画像の近傍画素間において,方向による相関の強さは一定と考えられるため,符号化対象分割画像から見た参照方向にある画像を参照画像として予測誤差符号化することにより,参照画像インデックスのような参照画像を明示する情報をデコーダ側へ送らなくても,符号化効率の向上の低下を抑えることが可能になる。特に,本手法はエンコーダ/デコーダの双方が,符号化済み/復号済み画像の情報のみで同じ処理によって同じ参照画像を選択することができるので,参照画像インデックスのような参照画像を明示する情報を符号化する必要がなくなり,そのための符号量の削減が可能である。本発明によれば,符号化対象画像から画素または画素群を抽出して分割した分割画像を生成し,それを分割画像内符号化および分割画像間符号化する方法を用いる画面内予測符号化において,分割画像間符号化に用いる適切な参照画像を選択することができ,かつ,参照画像を示す参照画像インデックスの符号化が不要となるため,符号化効率を向上させることができ,また,デブロッキングフィルタ処理に伴う演算量を削減することができるようになる。以下,本発明の実施の形態について,図面を用いながら説明する。画像符号化装置図1は,画像符号化装置の構成例を示す図である。画像符号化装置10は,分割画像生成部11,分割画像内符号化処理部12,分割画像間符号化処理部13,相関方向算出部15,参照画像選択部16,情報源符号化部14を備える。分割画像生成部11は,入力画像をn×m画素のブロックに分割し,分割した各ブロックをn1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックに分割し,ブロック内の相対位置が同じサブブロックを集めて,それぞれ同じサイズの分割画像を生成する。図2は,分割画像生成部11による分割画像の生成例を示す図である。分割画像生成部11は,例えば図2Aに示す原画像を入力画像として,この原画像を,図2Bに示すように,それぞれがn×m画素のブロックMjj=0,1,...,Jに分割する。次に,各ブロックMjを,図2Cに示すように,n1×m1画素ただし,1≦n1<n,1≦m1<mのサブブロックBjkk=0,1,...,Kに分割する。次に,図2Dに示すように,各ブロックMjから,ブロック内の相対位置が同じサブブロックBjkを集めて,それぞれ同じサイズの分割画像Pkk=0,1,...,Kを生成する。分割画像P0は,サブブロックB00,B10,...,BJ0を集めたもの,分割画像P1は,サブブロックB01,B11,...,BJ1を集めたもの,...,分割画像PKは,サブブロックB0K,B1K,...,BJKを集めたものになる。分割画像内符号化処理部12は,分割画像生成部11によって生成された一番目の分割画像を含むいくつかの分割画像一番目の分割画像だけでもよいを分割画像内符号化する。ここでの分割画像内符号化は,現在の符号化対象となっている分割画像の画素情報だけを用いて符号化する符号化方法であり,他の分割画像を参照しないような符号化方法であれば,どのような符号化方法を用いてもよい。例えばH.264符号化方式におけるイントラ予測符号化などの方法を用いることができる。分割画像間符号化処理部13は,分割画像生成部11で生成された分割画像の中で,まだ符号化されていない分割画像を,分割画像間符号化する。この分割画像間符号化では,符号化済み分割画像を参照画像として,現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを,参照画像に施すことにより予測画像を生成する。その予測画像と符号化対象分割画像との誤差を符号化し,その符号化情報を情報源符号化部14へ送る。情報源符号化部14は,分割画像内符号化処理部12および分割画像間符号化処理部13の出力である符号化情報をエントロピー符号化し,符号化データを出力する。本実施形態が,特に,非特許文献3に示されているような従来技術の分割画像間予測符号化と異なるのは,参照画像の候補が複数ある場合に,原画像上における符号化対象画像の画素と符号化済み画像の画素との相関を調べる相関方向算出部15と,相関の高い方向にある画素の属する符号化済み分割画像を参照画像として選択する参照画像選択部16とを備える点である。相関方向算出部15は,参照画像の候補となる符号化済み分割画像の中で,予測誤差の絶対値和または二乗和が最も小さい分割画像を求め,その結果から符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高いものとし,その相関方向を参照画像選択部16に通知する。参照画像選択部16は,符号化対象の分割画像に対して相関方向算出部15が算出した相関方向にある符号化済み分割画像を参照画像として選択し,分割画像間符号化処理部13に通知する。図3は,分割画像間符号化処理部13における予測画像の生成例を示す図である。以下では,分割画像Piが参照画像となる符号化済み分割画像で,分割画像Pkが分割画像間予測符号化する符号化対象分割画像である場合の予測画像の生成例を説明する。分割画像Piに所属するサブブロックをBi,分割画像Pkに所属するサブブロックをBkと表す。分割画像PiのサブブロックBiおよび分割画像PkのサブブロックBkの原画像における位置関係が,図3Aのとおりであったとすると,図3Bに示すように,サブブロックBkの周辺に位置するサブブロックBiを抽出する。この例では,1つのサブブロックBkに対して2個のサブブロックBiを抽出しているが,2個に限られない。次に,図3Cに示すように,抽出した2個のサブブロックBiの画素値に,補間フィルタを適用して,サブブロックBk′の画素値を算出する。補間フィルタのフィルタ係数は,原画像上でのサブブロックBiとサブブロックBkとの相対位置によってあらかじめ決められたものを用いる。なお,補間フィルタによる補間方法については,従来から種々の方法が知られており,どのような補間方法を用いて参照画像を生成してもよい。このようにして補間により生成されたサブブロックBk′を集めたものを,分割画像Pkの分割画像間予測符号化に用いる予測画像とする。画像符号化処理のフロー図4は,画像符号化処理のフローチャートである。図4に従って,画像符号化処理の流れを説明する。まず,分割画像生成部11は,入力画像を同じサイズのブロックに分割し,各ブロックの内の相対位置が同じサブブロック画素または画素群を集めて,分割画像P0~PNを生成するステップS101。次に,分割画像内符号化処理部12は,分割画像P0~PNの中のいくつかの分割画像P0~PMただし,M<Nについて,分割画像内符号化を行うステップS102。ここで,分割画像内符号化の対象となる分割画像は,分割画像を構成するサブブロックの原画像上での位置が所定の間隔で離れていたほうが望ましい。先頭の分割画像P0だけを分割画像内符号化の対象としてもよい。次に,分割画像間符号化処理部13は,分割画像PM1~PLただし,M<L<Nについて,符号化済み分割画像を参照画像として,分割画像間符号化を行うステップS103。この分割画像PM1~PLは,例えば,分割画像内符号化された分割画像の右隣の未符号化分割画像または分割画像内符号化された分割画像の直下の未符号化分割画像というような,参照画像の候補が単数である場合の分割画像である。ここで,分割画像間符号化を行う分割画像の番号は,あらかじめ定めておくことができる。続いて,分割画像間符号化処理部13は,残りの分割画像PL1~PNについて,符号化対象の分割画像に対して,相関方向算出部15および参照画像選択部16によって選択した相関が高い方向にある画素の属する符号化済み分割画像を参照画像として,分割画像間符号化を行うステップS104。分割画像間符号化処理の詳細フロー例1図5は,図4に示すステップS104の詳細な処理フローチャートの第1の例を示している。ステップS201では,各分割画像PiiはL1からNまでについて,ステップS202からステップS208までの処理を繰り返す。ステップS202では,各分割画像Piを符号化単位の分割画像ブロックに分割し,各分割画像ブロックごとに,ステップS203からステップS207までの処理を繰り返す。この分割画像ブロックは,例えば16×16画素というような,H.264符号化におけるマクロブロック等に相当するものであるが,分割画像ブロックのサイズは任意に定めてよい。ステップS203では,符号化対象の分割画像ブロックについて,分割画像間符号化済み分割画像の復号画像Aとその参照画像から予測画像Bを作成して,復号画像Aと予測画像Bの差分である予測誤差を計算し,予測誤差の絶対値和または二乗和以下,絶対値和または二乗和を単に和というを求める。ステップS204では,ステップS203で求めた復号画像Aと予測画像Bの予測誤差の和が小さくなる符号化済み分割画像PAとすると,その参照画像PBとするの組合せを求める。ステップS205では,ステップS204で求めた符号化済み分割画像PAと参照画像PBの組合せについて,原画像上での点AXPA,YPA,点BXPB,YPBの2点を結ぶ方向を相関が高い方向とする。ステップS206では,符号化対象の分割画像ブロックについて,相関が高い方向にある画素の属する符号化済み分割画像を参照画像として選択し,その参照画像から予測画像を生成して分割画像間符号化を行う。ステップS207では,分割画像Pi内の全分割画像ブロックの処理が終了したかどうかを判定し,未処理の分割画像ブロックがあれば,その分割画像ブロックについて,ステップS202以降の処理を繰り返す。ステップS208では,分割画像PL1~PNのすべてを符号化したかを判定し,分割画像PL1~PNのすべてを符号化するまで,ステップS201以降の処理を繰り返す。画像符号化装置の詳細な構成例例1図6は,図1に示す画像符号化装置10の詳細な構成例を示している。図6に示す画像符号化装置10は,図5で説明した第1の例の処理を実行する装置の構成例である。図6において,分割画像生成部11,情報源符号化部14,参照画像選択部16は,図1に示す同符号のものに対応するので,説明を省略する。分割画像内符号化部101は,分割画像P0~PMについて分割画像内符号化する。分割画像内復号部102は,分割画像内符号化部101が符号化した分割画像を復号し,その復号画像を復号画像メモリ103に格納する。この復号画像メモリ103には,後に分割画像間符号化された分割画像の復号画像も格納される。予測画像生成部104は,分割画像生成部11で生成された分割画像の中で,まだ符号化されていない分割画像を分割画像間予測符号化するために,その分割画像の分割画像ブロック以下では,分割画像ブロックを単に分割画像ということもあるごとに,復号画像メモリ103内の符号化済み分割画像を参照画像として,予測画像を生成する。この予測画像の生成では,現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを,参照画像に施すことにより予測画像を生成する。差分算出部105は,現在の符号化対象となっている分割画像ブロックの各画素値から予測画像生成部104により生成した予測画像の各画素値を減算し,予測誤差を算出する。予測誤差符号化部106は,算出された予測誤差について直交変換や量子化処理を施し,予測誤差を符号化する。情報源符号化部14は,分割画像内符号化部101および分割画像間予測符号化によって符号化された予測誤差符号化部106の符号化情報をエントロピー符号化し,符号化データを出力する。第1の例では,予測誤差符号化部106が符号化した予測誤差を予測誤差復号部107が復号する。画像復号部108は,予測誤差復号部107が復号した予測誤差と,予測画像生成部104が生成した予測画像とを加算器109により加算し,分割画像間符号化画像を復号する。なお,画像復号部108では,予測画像と予測誤差とを足し合わせた後に,デブロッキングフィルタなどの後処理フィルタを施すこともある。復号した分割画像の復号画像は,復号画像メモリ103に格納する。減算器110により,符号化済み分割画像の復号画像と予測画像との差分を算出し,予測誤差算出部111は,参照画像の候補となる符号化済み分割画像ごとに予測誤差の和を算出する。予測誤差比較部112は,予測誤差算出部111が算出した予測誤差の和が最も小さい分割画像を求め,その結果から予測誤差の和が最も小さい符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高いものとし,参照画像選択部16に通知する。参照画像選択部16は,符号化対象の分割画像に対して予測誤差比較部112により算出された相関方向にある符号化済み分割画像を,復号画像メモリ103の中から参照画像として選択し,予測画像生成部104へ通知する。分割画像間符号化処理の詳細フロー例2図7は,図4に示すステップS104の詳細な処理フローチャートの第2の例を示している。第2の例では,ステップS303の処理が第1の例と異なり,他のステップS301,S302,S304~S308は,図5で説明した第1の例のステップ201,S202,S204~S208と同様である。ステップS303では,符号化対象の分割画像ブロックについて,分割画像間符号化済み分割画像の復号画像Aとその予測画像Bとの予測誤差の和を求める。すなわち,ステップS303では,各分割画像ブロックごとに予測画像を生成し直して復号画像Aを生成し,予測誤差の和を求めるのではなく,既に符号化データとして生成されている予測誤差をそのまま用いてその予測誤差の和を算出し,相関を判断する。これにより,復号演算の演算量の増加を抑える。画像符号化装置の詳細な構成例例2図8は,図1に示す画像符号化装置10の詳細な第2の構成例を示している。図8に示す画像符号化装置10は,図7で説明した第2の例の処理を実行する装置の構成例である。図8において,前述した図6の第1の例の画像符号化装置10において,図6と同符号のものは,図6に示すものと同様の機能を有するものであるので,その詳しい説明は省略する。第2の例の場合,予測誤差復号部120は,予測誤差符号化部106が符号化した予測誤差について逆量子化処理や逆直交変換を施すことにより,予測誤差を復号する。予測誤差算出部121は,各分割画像ごとに予測誤差復号部120が復号した予測誤差の和を算出する。予測誤差比較部122は,予測誤差算出部121が算出した予測誤差の和が最も小さい分割画像を求め,その結果から予測誤差の和が最も小さい符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高いものとし,参照画像選択部16に通知する。参照画像選択部16は,符号化対象の分割画像に対して予測誤差比較部122の結果から,通知された相関方向にある符号化済み分割画像を参照画像とすることを画像復号部123へ通知する。画像復号部123は,通知された符号化済み分割画像の復号画像をその予測画像と予測誤差とから生成し,復号画像メモリ103に格納する。予測画像生成部104は,復号画像メモリ103に格納された復号画像を参照画像として用い,符号化対象の分割画像ブロックの符号化のための予測画像を生成する。符号化の具体例図9に,符号化対象画像の分割例を示す。以下で説明する例では,分割画像生成部11は,符号化対象である入力画像の1フレームを,図9に示すように,2×2画素のブロックM0,M1,...,MJに分割するものとする。さらに,各ブロックM0,M1,...,MJを,1画素ずつサブブロックB0,B1,B2,B3に分割するものとする。このようにして分割した各M0,M1,...,MJから,左上のサブブロックB0の画素を集めたものを分割画像P0とし,右上のサブブロックB1の画素を集めたものを分割画像P1とし,左下のサブブロックB2の画素を集めたものを分割画像P2とし,右下のサブブロックB3の画素を集めたものを分割画像P3とする。ここでは,2×2画素のブロックを1×1画素のサブブロック分割する例を説明するが,ブロックおよびサブブロックのサイズは,この例に限られるわけではなく,ブロックのサイズまたはサブブロックのサイズがもっと大きい場合にも,本発明を適用して同様に実施することができる。第1の例の処理前述した第1の例では,図9のように分割された分割画像について,次のように分割画像内符号化および分割画像間符号化を行う。処理1-1:分割画像P0について,分割画像内符号化を行う。処理1-2:分割画像P1について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間符号化を行う。符号化された分割画像P1の復号画像P1′を生成して記憶する。その様子を,図10Aに示す。処理1-3:分割画像P2について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間符号化を行う。符号化された分割画像P2の復号画像P2′を生成して記憶する。その様子を,図10Bに示す。処理1-4:分割画像P1,P2について,それぞれの予測画像と復号画像P1′,P2′との予測誤差の和S1,S2例えば予測誤差の絶対値和または二乗誤差和を算出し,比較する。処理1-5:S1≦S2の場合,図10Cに示すように,分割画像P3の分割画像間符号化に,分割画像P2の復号画像を参照画像として用いる。すなわち,分割画像P2の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差を符号化することにより,分割画像P3の分割画像間符号化を行う。これは,S1≦S2であることから,原画像上における水平方向の画素間の相関が,垂直方向の画素間の相関よりも高いと考えられるからである。処理1-6:S1>S2の場合,図10Dに示すように,分割画像P3の分割画像間符号化に,分割画像P1の復号画像を参照画像として用いる。すなわち,分割画像P2の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差を符号化することにより,分割画像P3の分割画像間符号化を行う。これは,S1>S2であることから,原画像上における垂直方向の画素間の相関が,水平方向の画素間の相関よりも高いと考えられるからである。第2の例の処理前述した第2の例では,図9のように分割された分割画像について,次のように分割画像内符号化および分割画像間符号化を行う。処理2-1:分割画像P0について,分割画像内符号化を行う。処理2-2:分割画像P1について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間符号化を行う。そのときの予測誤差の和S1を記憶する。処理2-3:分割画像P2について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間符号化を行う。そのときの予測誤差の和S2を記憶する。処理2-4:分割画像P1,P2について,それぞれの予測誤差の和S1,S2を比較する。処理2-5:S1≦S2の場合,分割画像P3の分割画像間符号化に,分割画像P2の復号画像を参照画像として用いる。すなわち,分割画像P2の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差を符号化することにより,分割画像P3の分割画像間符号化を行う。処理2-6:S1>S2の場合分割画像P3の分割画像間符号化に,分割画像P1の復号画像を参照画像として用いる。すなわち,分割画像P1の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差を符号化することにより,分割画像P3の分割画像間符号化を行う。画像復号装置図11は,画像復号装置の構成例を示す図である。画像復号装置20は,情報源復号部21,分割画像内復号処理部22,分割画像間復号処理部23,復号画像合成部24,相関方向算出部25,参照画像選択部26を備える。画像復号装置20は,図1に示す画像符号化装置10により圧縮符号化された画像の符号化データを入力する。情報源復号部21は,入力された符号化データをエントロピー復号する。分割画像内復号処理部22は,あらかじめ定められた,少なくとも一つ以上の分割画像内符号化された分割画像の符号化データを分割画像内予測により復号する。分割画像間復号処理部23は,復号済みの分割画像を参照画像として,分割画像間予測により復号対象の分割画像を復号する。分割画像内復号処理部22および分割画像間復号処理部23によって復号された分割画像は,復号画像合成部24に入力され,復号画像合成部24は,復号された分割画像の各サブブロックを,原画像上の元の位置に配置することにより,復号画像を生成する。参照画像の候補が1枚だけの場合,例えば,復号対象分割画像の原画像上での画素位置に最も近い画素が属する復号済み分割画像が1枚の場合には,分割画像間復号処理部23は,その復号済み分割画像を参照画像として分割画像間復号を行う。参照画像の候補が複数枚の場合,例えば,復号対象分割画像の原画像上での画素位置に最も近い画素が属する復号済み分割画像が複数枚存在する場合には,相関方向算出部25は,参照画像の候補となる復号済み分割画像の中で,予測誤差の絶対値和または二乗和が最も小さい分割画像を求め,その結果から復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高い方向とし,その相関方向を参照画像選択部26に通知する。この相関方向算出部25が行う処理は,画像符号化装置10における相関方向算出部15が行う処理とまったく同様である。参照画像選択部26は,復号対象の分割画像に対して相関方向算出部25が算出した相関方向にある復号済み分割画像を参照画像として選択し,分割画像間復号処理部23に通知する。画像復号処理のフロー図12は,画像復号処理のフローチャートである。図4に従って,画像復号処理の流れを説明する。まず,情報源復号部21は,入力した復号対象の符号化データをエントロピー復号するステップS401。次に,分割画像内復号処理部22が,入力した符号化データをもとに,あらかじめ定められた分割画像P0~PNの中のいくつかの分割画像P0~PMただし,M<Nについて,H.264で行われているような従来の画面内予測復号方法などを用いて,分割画像内復号を行うステップS402。続いて,分割画像間復号処理部23は,あらかじめ定められた分割画像PM1~PLについて,それぞれにあらかじめ定められた復号済み分割画像を参照画像として,分割画像間復号を行うステップS403。続いて,分割画像間復号処理部23は,未復号の分割画像PL1~PNについて,参照画像選択部26が復号済み分割画像の予測誤差をもとに選択した空間的相関が高い方向にある復号済み分割画像を参照画像として,分割画像間復号を行うステップS404。最後に,復号画像合成部24が,分割画像内復号処理部22および分割画像間復号処理部23によって復号された分割画像の画素サブブロックを合成して,復号画像として出力するステップS405。画像復号装置の詳細な構成例例1図13は,図11に示す画像復号装置20の詳細な第1の例の構成例を示している。図13に示す画像復号装置20において,情報源復号部21,復号画像合成部24,参照画像選択部26は,図11に示す同符号のものに対応するので,説明を省略する。分割画像内復号部201は,情報源復号部21によって復号された分割画像P0~PMの復号情報から,これらの分割画像P0~PMを分割画像内復号し,その復号画像を復号画像メモリ202に格納する。この復号画像メモリ202には,後に分割画像間復号された分割画像の復号画像も格納される。予測画像生成部203は,まだ復号されていない分割画像を分割画像間予測復号するために,その分割画像の分割画像ブロック以下では,単に分割画像ということもあるごとに,復号画像メモリ202内の復号済み分割画像を参照画像として,予測画像を生成する。この予測画像の生成では,現在の復号対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを,参照画像に施すことにより予測画像を生成する。予測誤差復号部204は,分割画像間復号の対象となる分割画像の予測誤差を復号する。画像復号部205は,予測画像生成部203が生成した予測画像と予測誤差復号部204が復号した予測誤差とを加算器206により加算し,復号画像を生成する。なお,画像復号部205では,予測画像と予測誤差とを足し合わせた後に,デブロッキングフィルタなどの後処理フィルタを施すこともある。この復号画像は,復号画像合成部24へ送られるとともに,復号画像メモリ202に格納される。減算器207は,画像復号部205によって復号された分割画像ブロックの各画素値から予測画像生成部203により生成した予測画像の各画素値を減算して,予測誤差算出部208に通知する。予測誤差算出部208は,参照画像の候補となる復号済み分割画像ごとに予測誤差の和を算出する。予測誤差比較部209は,予測誤差算出部208が算出した予測誤差の和が最も小さい分割画像を求め,その結果から予測誤差の和が最も小さい復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高い方向とし,参照画像選択部26に通知する。参照画像選択部26は,復号対象の分割画像に対して予測誤差比較部209により算出された相関方向にある復号済み分割画像を,復号画像メモリ202の中から参照画像として選択し,予測画像生成部203に通知する。画像復号装置の詳細な構成例例2図14は,図11に示す画像復号装置20の詳細な第2の構成例を示している。図14に示す画像復号装置20において,前述した図13の第1の例と同符号のものは,図13に示すものと同様の機能を有するものであるので,その詳しい説明は省略する。第2の例の場合,予測誤差算出部221は,予測誤差復号部204が復号した予測誤差の和を,参照画像の候補となる復号済み分割画像ブロックごとに算出する。予測誤差比較部222は,予測誤差算出部221が算出した予測誤差の和が最も小さい分割画像を求め,その結果から予測誤差の和が最も小さい復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関が高い方向とし,参照画像選択部26に通知する。参照画像選択部26は,復号対象の分割画像に対して予測誤差比較部222により算出された相関方向にある復号済み分割画像を,復号画像メモリ202の中から参照画像として選択し,予測画像生成部203に通知する。第1の例の復号処理の具体例第1の例の復号処理の具体例として,前述した図9のように2×2画素ブロックの画素を再配置した4枚の分割画像P0~P3について,分割画像内復号および分割画像間復号を行う例を説明する。処理1-1:分割画像P0について,分割画像内復号を行う。処理1-2:分割画像P1について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間復号を行う。復号された分割画像P1の復号画像P1′を記憶する。処理1-3:分割画像P2について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間復号を行う。復号された分割画像P2の復号画像P2′を記憶する。処理1-4:分割画像P1,P2について,それぞれの予測画像と復号画像P1′,P2′との予測誤差の和S1,S2例えば予測誤差の絶対値和または二乗誤差和を算出し,比較する。処理1-5:S1≦S2の場合,分割画像P3の分割画像間復号に,分割画像P2の復号画像を参照画像として用いる。すなわち,分割画像P2の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差とを加算することにより,分割画像P3の分割画像間復号を行う。これは,S1≦S2であることから,原画像上における水平方向の画素間の相関が,垂直方向の画素間の相関よりも高いと考えられるからである。処理1-6:S1>S2の場合,分割画像P3の分割画像間復号に,分割画像P1の復号画像を参照画像として用いる。すなわち,分割画像P2の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差とを加算することにより,分割画像P3の分割画像間復号を行う。これは,S1>S2であることから,原画像上における垂直方向の画素間の相関が,水平方向の画素間の相関よりも高いと考えられるからである。第2の例の処理前述した第2の例では,図9のように分割された分割画像について,次のように分割画像内復号および分割画像間復号を行う。処理2-1:分割画像P0について,分割画像内復号を行う。処理2-2:分割画像P1について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間復号を行う。そのときの予測誤差の和S1を記憶する。処理2-3:分割画像P2について,分割画像P0の復号画像を参照画像として,それに補間フィルタを適用することにより予測画像を生成し,分割画像間復号を行う。そのときの予測誤差の和S2を記憶する。処理2-4:分割画像P1,P2について,それぞれの予測誤差の和S1,S2を比較する。処理2-5:S1≦S2の場合,分割画像P3の分割画像間復号に,分割画像P2の復号画像を参照画像として用いる。すなわち,分割画像P2の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差とを加算することにより,分割画像P3の分割画像間復号を行う。処理2-6:S1>S2の場合分割画像P3の分割画像間復号に,分割画像P1の復号画像を参照画像として用いる。すなわち,分割画像P1の復号画像に補間フィルタを施して分割画像P3の予測画像を生成し,その予測画像と分割画像P3の予測誤差とを加算することにより,分割画像P3の分割画像間復号を行う。なお,以上説明した実施形態において,分割画像内符号化復号も同様の対象となる分割画像は,1画面に対して1枚でも複数枚でもよく,また,分割画像内符号化および分割画像間符号化での符号化処理を,分割画像を小領域に分割した分割画像ブロック単位で行ってもよい。分割画像ブロック単位で分割画像間符号化の処理を行う場合には,分割画像ブロック単位で予測誤差の和の比較により,参照画像を切り替えてもよい。画像符号化装置を適用した動画像符号化装置の例図15は,本発明を適用することができる動画像符号化装置の例を示している。動画像符号化装置300において,本発明は,特に画面内予測部301に関連する符号化処理に適用することができる。他の部分については,H.264その他のエンコーダとして用いられている従来の一般的な動画像符号化装置の構成と同様である。動画像符号化装置300は,符号化対象の映像信号を入力し,入力映像信号のフレームをブロックに分割してブロックごとに符号化し,そのビットストリームを符号化ストリームとして出力する。この符号化のため,予測残差信号生成部303は,入力映像信号と画面内予測部301あるいは画面間予測部302の出力である予測信号との差分を求め,それを予測残差信号として出力する。変換処理部304は,予測残差信号に対して離散コサイン変換DCT等の直交変換を行い,変換係数を出力する。量子化処理部305は,変換係数を量子化し,その量子化された変換係数を出力する。情報源符号化部311は,量子化された変換係数をエントロピー符号化し,符号化ストリームとして出力する。一方,量子化された変換係数は,逆量子化処理部306にも入力され,ここで逆量子化される。逆変換処理部307は,逆量子化処理部306の出力である変換係数を逆直交変換し,予測残差復号信号を出力する。復号信号生成部308では,この予測残差復号信号と画面内予測部301あるいは画面間予測部302の出力である予測信号とを加算し,符号化した符号化対象ブロックの復号信号を生成する。この復号信号は,画面内予測部301あるいは画面間予測部302において参照画像として用いるために,フレームメモリ309に格納される。なお,画面間予測部302において参照する場合は,インループフィルタ処理部310において,フレームメモリ309に格納した画像を入力して,符号化歪を低減するフィルタリング処理を行い,このフィルタリング処理後の画像を参照画像として用いる。画面内予測部301においては,本発明の実施形態で説明した分割画像内符号化および分割画像間符号化の符号化処理が行われる。画面内予測部301あるいは画面間予測部302にて設定された予測モードや動きベクトル等の情報は,情報源符号化部311でエントロピー符号化され,符号化ストリームとして出力される。画像復号装置を適用した動画像復号装置の例図16は,本発明を適用することができる動画像復号装置の例を示している。動画像復号装置400において,本発明は,特に画面内予測部402に関連する復号処理に適用することができる。他の部分については,H.264その他のデコーダとして用いられている従来の一般的な動画像復号装置の構成と同様である。動画像復号装置400は,図15で説明した動画像符号化装置300により符号化された符号化ストリームを入力して復号することにより復号画像の映像信号を出力する。この復号のため,情報源復号部401は,符号化ストリームを入力し,復号対象ブロックの量子化変換係数をエントロピー復号するとともに,画面内予測に関する情報および画面間予測に関する情報を復号する。画面内予測部402においては,本発明の実施形態で説明した分割画像内復号および分割画像間復号の復号処理が行われる。逆量子化処理部404は,量子化変換係数を入力し,それを逆量子化して復号変換係数を出力する。逆変換処理部405は,復号変換係数に逆直交変換を施し,予測残差復号信号を出力する。復号信号生成部406は,この予測残差復号信号と画面内予測部402あるいは画面間予測部403の出力である予測信号とを加算し,復号対象ブロックの復号信号を生成する。この復号信号は,画面内予測部402あるいは画面間予測部403において参照画像として用いるために,フレームメモリ407に格納される。なお,画面間予測部403において参照する場合には,インループフィルタ処理部408において,フレームメモリ407に格納した画像を入力して,符号化歪を低減するフィルタリング処理を行い,このフィルタリング処理後の画像を参照画像として用いる。コンピュータによる構成例図17に,図1の画像符号化装置10をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU50と,CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と,カメラ等からの符号化対象の画像信号を入力する画像信号入力部52ディスク装置等による画像信号を記憶する記憶部でもよいと,本手法により入力画像を符号化する処理をCPU50に実行させるソフトウェアプログラムである画像符号化プログラム54が格納されたプログラム記憶装置53と,CPU50がメモリ51にロードされた画像符号化プログラム54を実行することにより生成された符号化データを,例えばネットワークを介して出力する符号化データ出力部55ディスク装置等による符号化データを記憶する記憶部でもよいとが,バスで接続された構成になっている。図18に,図11の画像復号装置20をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU60と,CPU60がアクセスするプログラムやデータが格納されるRAM等のメモリ61と,図1の画像符号化装置10が本手法により符号化した符号化データを入力して記憶する符号化データ記憶部62ネットワーク等を介した入力部でもよいと,本手法により符号化データを復号する処理をCPU60に実行させるソフトウェアプログラムである画像復号プログラム64が格納されたプログラム記憶装置63と,CPU60がメモリ61にロードされた画像復号プログラム64を実行することにより,符号化データを復号して得られた復号画像を,再生装置などに出力する復号画像出力部65とが,バスで接続された構成になっている。以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものではないことは明らかである。したがって,本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加,省略,置換,その他の変更を行ってもよい。"