"予測を用いて符号化の単位ブロック毎に入力画像の符号化を行う画像符号化装置において、符号化済み信号を用いて再構成された再構成画素信号を用いて符号化対象ブロックを予測する第一の予測情報を決定する第一の予測手段と、前記第一の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第一の予測信号を求める第一の補償手段と、前記符号化対象ブロックの信号と前記第一の予測信号との差分を第一の残差信号として求める第一の差分手段と、符号化済み信号を用いて再構成された再構成残差信号を用いて前記第一の残差信号を予測する予測係数として第二の予測情報を決定する第二の予測手段と、前記第二の予測情報と前記再構成残差信号とにより前記第一の残差信号の第二の予測信号を求める第二の補償手段と、前記第一の残差信号と前記第二の予測信号との差分を第二の残差信号として求める第二の差分手段と、前記再構成画素信号を用いて前記符号化対象ブロックを予測する予測係数として第三の予測情報を決定する第三の予測手段と、前記第三の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第三の予測信号を求める第三の補償手段と、前記符号化対象ブロックの信号と前記第三の予測信号との差分を第三の残差信号として求める第三の差分手段と、前記第二の残差信号と前記第三の残差信号との一方を単位ブロック毎に切り替えて選択する切替手段とを備え、当該選択された残差に直交変換、量子化、符号化を行うと共に、当該選択された残差に対応する予測情報を用いて前記再構成残差信号及び前記再構成画素信号を求め、さらに当該予測情報を符号化することを特徴とする画像符号化装置。前記切替手段は、前記第二の残差信号と前記第三の残差信号との一方を選択するに際して、それぞれ前記第一の予測情報、前記第二の予測情報及び前記第二の残差の符号化コストと、前記第三の予測情報及び前記第三の残差の符号化コストとを比較し、当該符号化コストの低い方を選択することを特徴とする請求項1に記載の画像符号化装置。前記切替手段は、前記符号化コストを比較するに際して、前記第二の残差及び前記第三の残差の値をゼロとした場合も含めて比較を行い、当該ゼロとした場合の符号化コストが最も低いときは、対応する残差信号の値をゼロとして符号化を行うことを特徴とする請求項2に記載の画像符号化装置。前記第二の予測手段及び前記第二の補償手段で用いられる再構成残差信号と、前記第三の予測手段及び前記第三の補償手段で用いられる再構成画素信号とが、前記符号化対象ブロックにおける符号化対象の第一のチャネル信号とは別に、当該符号化対象ブロックにおいて既に符号化されている第二のチャネル信号に基づいて再構成された信号であることを特徴とする請求項1ないし3のいずれかに記載の画像符号化装置。前記第一の予測手段が画面内予測を用いて画面内予測モードの情報として前記第一の予測情報を決定することを特徴とする請求項1ないし4のいずれかに記載の画像符号化装置。前記第二の予測手段及び前記第三の予測手段は、それぞれ、前記再構成残差信号及び前記再構成画素信号に対して符号化の単位ブロック内の小領域毎に代表値を求めてから、符号化対象ブロックの前記第二の予測情報および前記第三の予測情報を決定することを特徴とする請求項1ないし5のいずれかに記載の画像符号化装置。前記代表値が、前記小領域毎での前記再構成残差信号及び前記再構成画素信号に対するフィルタ処理に基づく代表値であることを特徴とする請求項6に記載の画像符号化装置。前記第二の予測手段及び前記第三の予測手段は、それぞれ、前記第二の残差信号及び前記第三の残差信号の各画素位置における重み付き二乗和を最小とするように、前記第二の予測情報及び前記第三の予測情報を決定し、当該二乗和の重み係数を、以降符号化される単位ブロックの予測で参照される画素位置について相対的に高く設定することを特徴とする請求項1ないし7のいずれかに記載の画像符号化装置。前記第二の予測手段及び前記第二の補償手段は、前記第一の残差信号が平坦である場合は省略されることで、前記第二の残差信号として前記第一の残差信号と同じ値の信号が採用され、当該省略を適用した旨の情報を前記第二の予測情報とすることを特徴とする請求項1ないし8のいずれかに記載の画像符号化装置。前記第二の予測手段及び前記第三の予測手段が多項式予測における係数として前記第二の予測情報および前記第三の予測情報を求めることを特徴とする請求項1ないし9のいずれかに記載の画像符号化装置。前記第三の予測手段は、前記符号化対象ブロックの近傍にあり且つ符号化済みである符号化済近傍領域を用いて前記第三の予測係数を求め、前記第三の予測情報の符号化に際しては、当該第三の予測手段が適用された旨の情報のみが符号化され、前記第三の予測係数は符号化されないことを特徴とする請求項1ないし10のいずれかに記載の画像符号化装置。請求項1ないし11のいずれかに記載の画像符号化装置により符号化された符号情報を復号する画像復号装置であって、前記符号情報を前記第一ないし第三の予測情報と前記第二または第三の残差とに復号する復号手段と、復号済画素信号と前記第一の予測情報とを用いて前記第一の予測信号を再構成する第一の復号側補償手段と、復号済残差信号と前記第二の予測情報とを用いて前記第二の予測信号を再構成する第二の復号側補償手段と、前記復号済画素信号と前記第三の予測情報とを用いて前記第三の予測係数を再構成する第三の復号側予測手段と、前記第三の予測係数と前記復号済画素とを用いて前記第三の予測信号を再構成する第三の復号側補償手段とを備え、前記復号手段にて前記第一および第二の予測情報と前記第二の残差が復号された場合に、前記第二の予測信号と前記第二の残差とを加算して前記第一の残差を再構成し、当該第一の残差と前記第一の予測信号とを加算して画素信号を復号し、前記復号手段にて前記第三の予測情報と前記第三の残差が復号された場合に、前記第三の残差と前記第三の予測信号とを加算して画素信号を復号することを特徴とする画像復号装置。H264のIntra予測は符号化済みの近接する画素を基準として対象ブロックの予測値を生成するので、予測の基準となる画素から離れるほど大きな予測誤差が生じるという問題が指摘されている。特許文献1に開示された技術では、対象ブロックの予測に用いるブロックを指示するための場所を表す情報を格納する必要はないが、テンプレートとなる隣接画素同士が類似していたとしても、ブロック同士も類似するとは限らないため、予測精度が十分ではない恐れがある。特許文献2に開示された技術では、分割した対象ブロックを予測する場合、最初に符号化するブロックの一部はH264と同じ問題を抱える。特許文献3に開示された技術では、隣接する画素が符号化されていない状態がある場合、原画像における隣接画素との差分値を符号化するため、量子化誤差が伝播する恐れがある。本発明の目的は前述した従来技術の課題を解消し、符号化効率の高い画像符号化装置を提供することにある。上記した従来技術の課題を解決するため、本発明は、予測を用いて符号化の単位ブロック毎に入力画像の符号化を行う画像符号化装置において、符号化済み信号を用いて再構成された再構成画素信号を用いて符号化対象ブロックを予測する第一の予測情報を決定する第一の予測手段と、前記第一の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第一の予測信号を求める第一の補償手段と、前記符号化対象ブロックの信号と前記第一の予測信号との差分を第一の残差信号として求める第一の差分手段と、符号化済み信号を用いて再構成された再構成残差信号を用いて前記第一の残差信号を予測する予測係数として第二の予測情報を決定する第二の予測手段と、前記第二の予測情報と前記再構成残差信号とにより前記第一の残差信号を予測する第二の予測信号を求める第二の補償手段と、前記第一の残差信号と前記第二の予測信号との差分を第二の残差信号として求める第二の差分手段と、前記再構成画素信号を用いて前記符号化対象ブロックを予測する予測係数として第三の予測情報を決定する第三の予測手段と、前記第三の予測情報と前記再構成画素信号とにより前記符号化対象ブロックの第三の予測信号を求める第三の補償手段と、前記符号化対象ブロックの信号と前記第三の予測信号との差分を第三の残差信号として求める第三の差分手段と、前記第二の残差信号と前記第三の残差信号との一方を単位ブロック毎に切り替えて選択する切替手段とを備え、当該選択された残差に直交変換、量子化、符号化を行うと共に、当該選択された残差に対応する予測情報を用いて前記再構成残差信号及び前記再構成画素信号を求め、当該予測情報を符号化することを特徴とする。本発明の画像符号化装置によれば、符号化済みの信号を基準にして、画素間の各種相関を利用した利用複数の予測方式を適応的に適用することで、高い符号化効率が得られる。以下に、図面を参照して本発明を詳細に説明する。図1に本発明による画像符号化装置の機能ブロック図を示す。本発明の画像符号化装置は、複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から予測される各画素との間で差分処理を行って得られた残差信号について直交変換量子化符号化を行って単位ブロック毎に符号化を行う画像符号化装置に対して、前記単位ブロック内の残差信号を符号化済の残差信号から予測する機能を並列的かつ直列的に付加した上で、適宜選択できる構成を特徴とするものである。なお、入力画像信号符号化されていない画素信号の側から見た場合、並列的な付加とは図1に示す機能ブロック群100第一の予測手段10、補償手段11、蓄積手段12、差分手段13及び加算手段14と300第三の予測手段30、補償手段31、蓄積手段32、差分手段33及び加算手段34との関係であり、直列的な付加とは機能ブロック群100と200第二の予測手段20、補償手段21、蓄積手段22、差分手段23及び加算手段24との関係である。本発明はこれらの機能ブロック群の連係に特徴を有する。すなわち、本発明の画像符号化装置は、その機能の主要部分を担う構成として、図1に示すように、残差信号を直交変換で周波数領域に変換し直交変換係数を算出する変換手段1と、直交変換係数を量子化して量子化値とする量子化手段2と、量子化値及び適用された予測情報を可変長符号化し符号情報を算出する符号化手段5と、量子化値を逆量子化し直交変換係数を算出する逆量子化手段3と、逆量子化された直交変換係数を逆変換し残差信号を算出する逆変換手段4と、画素信号から冗長性を削減する予測情報を決定する第一の予測手段10と、予測情報から予測信号を再構成する第一の補償手段11とを備えた画像符号化装置に対して、画素信号又は残差信号から当該信号を予測する第二第三の予測手段20,30と、予測信号を得る第二第三の補償手段21,31と、両者および対応付随する情報を適宜切り替える第一、第二、第三の切替手段40,41,42とを備えて構成されている。一方、本発明の画像復号装置は、その機能の主要部分を担う構成として、図2に示すように、符号情報を可変長復号し量子化値を算出する復号手段6と、量子化値を逆量子化し直交変換係数を算出する逆量子化手段7と、逆量子化された直交変換係数を逆変換し残差信号を算出する逆変換手段8と、格納された第一の予測情報及び復号した画素信号から予測信号を再構成する第一の補償手段51とを備えた画像復号装置に対して、画素信号から当該信号を予測する第三の予測手段70及び予測信号を得る第二第三の補償手段61,71と、両者および対応付随する情報を適宜切り替える第一、第二、第三の切替手段80,81及び82を備えて構成されている。以下、図1に示す本発明の画像符号化装置の各機能ブロックを説明する。第一の差分手段13は、入力画像信号画素信号と、第一の補償手段11から送られる符号化済画素から予測された第一の予測信号との差分を計算する。差分して得られた第一の残差信号は、第二の予測手段20及び第二の差分手段23にそれぞれ送られる。第二の差分手段23は、第一の差分手段13から送られる第一の残差信号と、第二の補償手段21から送られる符号化済残差信号から予測された予測信号との差分を計算する。差分して得られた第二の残差信号は、第一の切替手段40にて後述のように選択されると、変換手段1に送られる。第三の差分手段33は、入力画像信号画素信号と、第三の補償手段31から送られる符号化済画素から予測された第三の予測信号との差分を計算する。差分して得られた第三の残差信号は、第一の切替手段40にて後述のように選択されると、変換手段1に送られる。第一の加算手段14は、第二の加算手段24から送られる残差信号と、第一の補償手段11から送られる予測信号との合計を計算することで符号化済画素を再構成する。加算して得られた符号化済画素信号再構成画素信号は、第一の予測手段10及び第一の補償手段11にて参照して利用するために、第一の蓄積手段12に保存される。第二の加算手段24は、第二の切替手段41を介して逆変換手段4から送られる復号された残差信号と、第二の補償手段21から送られる予測信号との合計を計算することで第一の残差信号を再構成する。加算して得られた第一の残差信号は、第二の蓄積手段22と第一の加算器14とに送られる。第二の蓄積手段22では第一の残差信号を保存して、第二の予測手段20と第二の補償手段21とで参照利用できるようにする。第三の加算手段34は、第二の切替手段41を介して逆変換手段4から送られる復号された残差信号と、第三の補償手段31から送られる第三の予測信号との合計を計算することで符号化済画素を再構成する。加算して得られた符号化済画素信号再構成画素信号は、第三の蓄積手段32へ送られて保存される。当該保存された符号化済画素信号を、第三の予測手段30及び第三の補償手段31が参照して利用する。変換手段1へは、第二の差分手段23または第三の差分手段33から送られる第二または第三の残差信号のうちいずれかが第一の切替手段40によって選択されて入力される。当該選択された残差信号は直交変換によって周波数領域に変換され、直交変換によって得られた変換係数を量子化手段2に出力する。直交変換としてはDCT乃至DCTの近似変換またはDWTなどを利用することができる。なお、本発明の画像符号化装置においては、入力画像の各ピクチャフレームは、予め規定された数の画素例えば、32×32画素、16×16画素、8×8画素、4×4画素あるいはそれらの組み合わせから構成される単位ブロックに分割され、単位ブロック毎に符号化が行われる。量子化手段2は、変換手段1から送られた変換係数を量子化する。量子化によって得られた量子化値は、符号化手段5及び逆量子化手段3に出力される。量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで出力するビットレートを一定に保つことも可能である。あるいは、量子化手段2における量子化パラメータの一実施形態として、予測の基準となる信号チャネルに関して量子化誤差が小さくなるように制御することで、全体としての性能を向上させることも可能である。当該予測の基準となる信号については、後述する。符号化手段5は、量子化手段2から送られた量子化された変換係数、および第一乃至第三の予測手段から送られた第一乃至第三の予測情報を符号化し、符号情報として出力する。符号化には、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。逆量子化手段3は、量子化手段2における量子化処理の逆の手順を行うことで、量子化手段2から送られた量子化された変換係数を逆量子化する。逆量子化によって得られた量子化誤差を含む変換係数は逆変換手段4に送られる。逆変換手段4は、変換手段1における直交変換の逆の手順を行うことで、逆量子化手段から送られた量子化誤差を含む変換係数を逆直交変換する。逆変換によって得られた量子化誤差を含む残差信号は第二の切替手段4を介して第二の加算器24又は第三の加算器34のいずれかに送られる。第二の切替手段41では、逆変換手段4より送られてきた残差信号が機能ブロック群100及び200の処理を経た第二の残差信号に由来するものであれば第二の加算手段24へ送り、当該残差信号が機能ブロック群300の処理を経た第三の残差信号に由来するものであれば第三の加算手段34へと送る選択処理を行う。このような選択処理は第一の切替手段40及び第三の切替手段42と連動して行われ、図1に不図示の符号化装置の機能ブロック全体を制御する制御部などにより行われる。当該連動によって後述のように、第一第二の切替手段40,41にて第二の残差信号を通過させた場合には第三の切替手段42にて第一及び第二の予測情報を通過させ、第二の残差信号と第一及び第二の予測情報とがセットで符号化される。また、第一第二の切替手段40,41にて第三の残差信号を通過させた場合には第三の切替手段42にて第三の予測情報を通過させ、第三の残差信号と第三の予測情報とがセットで符号化される。このように、第一、第二、第三の切替手段40,41,42は対応する信号と情報とが符号化されるように連動して切り替えを行う。デコーダ側の第一、第二、第三の切替手段80,81及び82でも同様である。第一の予測手段10は、入力画素の冗長性を削減する予測情報を決定するものであり、第一の蓄積手段12に保存された量子化誤差を含む符号化済画素再構成画素をもとに、入力信号を予測して近似するための第一の予測情報を決定する。決定された第一の予測情報は第一の補償手段11へと、また第三の切替手段42を介して符号化手段5へと送られる。第一の予測については、従来から利用されている各種方法を適用できる。一例として、国際標準規格H.264のIntra予測を利用する場合は、各Intra予測モードで個別に符号化し、符号量と歪量とから重み和などとして算出される符号化コストを最小化するIntra予測モードを選択し、第一の予測情報とする。符号化コストを最小化する方式の詳細については、非特許文献1に記載されている。第一の補償手段11は、冗長性を予測して第一の予測信号を再構成するものであり、第一の予測手段10から送られる第一の予測情報と第一の蓄積手段12に保存された符号化済画素信号とから当該領域の予測信号を生成する。第一の予測信号は、エンコーダにおいては第一の差分手段13及び第一の加算手段14へ、デコーダにおいては第一の加算手段54のみへ送られる。次に、本発明の画像符号化装置の特徴的構成である機能ブロック群200及び300を経て変換手段1に入力される残差信号第二及び第三の残差信号の算出について、図1における関連する機能ブロックと共に説明する。当該残差信号の算出にあたり、第二の予測信号及び第三の予測信号の算出が必要となる。第二の予測信号の算出は、機能ブロック群100内における第一の予測手段10及び第一の補償手段11等に対応して、機能ブロック群200内において第二の予測手段20及び第二の補償手段21等を設けることで行われる。第三の予測信号の算出は、機能ブロック群300内において第三の予測手段30及び第三の補償手段31等を設けることで行われる。第二の残差信号及び第三の残差信号はそれぞれに対応する符号化コストが比較され、符号化コストの少ない方を第一の切替手段40が排他的に選択する。第二の残差信号に対応する符号化コストは第二の残差信号、第一の予測情報及び第二の予測情報の符号化コストであり、第三の残差信号に対応する符号化コストは第三の残差信号及び第三の予測情報に対応する符号化コストである。本発明においては、予測手段の拡充により予測精度が高くなっているため、予測残差は小さくなる傾向があることを利用して、符号化コスト算出においては残差信号を強制的に無くした場合残差信号の値をゼロとした場合も含めて評価する実施形態も望ましい。すなわち、当該実施形態では上記第二、第三の残差信号に対応する符号化コスト2種類と、当該第二、第三の残差信号をゼロとした場合の残差信号に対応する符号化コスト2種類の計4種類の値を比較して最小コストのものを採用して変換量子化符号化を行う。当該処理は第一の切替手段40などにおいて追加処理として行うことができる。当該実施形態では既に充分小さい予測残差を符号化してわずかに歪量を抑えてわずかに画質を向上させるよりも、残差をゼロとして歪量はわずかに増えたとしても符号量が大きく減少できるような場合に、トータルの符号化コストとして有利な残差ゼロでの符号化を採用できるようになる。以下、第二の予測手段20、第二の補償手段21、第三の予測手段30及び第三の補償手段31等の各機能について説明する。第二の予測手段20は、単位ブロック内の前記第一の残差信号に残存する冗長性を削減する第二の予測情報を決定するものである。第二の予測手段20は、第二の蓄積手段22に保存された量子化誤差を含む第一の残差信号から、第一の差分手段13から送られた第一の残差信号を後述する方法で近似して予測する予測係数を算出する。算出された予測係数は、第二の予測情報として第二の補償手段21へと、また第三の切替手段42を経て符号化手段5に送られる。ただし、入力された第一の残差信号が平坦であれば、第二の予測手段20及び第二の補償手段21は省略される。平坦であるかは、第一の残差信号の単位ブロック内の各値のばらつき分散値などが所定値未満又は以下など所定基準を満たすかによって判定する。平坦であると判定された場合、上記省略により第一の切替手段40へと送る第二の残差信号として第一の残差信号の値のままの信号が用いられる。当該判定および省略の処理は前記不図示の制御部により行う。またこの場合、第二の予測情報としては当該省略を行った旨のフラグ情報を用いることで、復号側などでも第二の予測及び補償の処理を省略するよう制御させることができる。上記以外の場合すなわち入力された第一の残差信号が平坦でない場合について、第二の予測手段20による予測係数の算出、第二の補償手段21による第二の予測信号の生成手順について以下に説明する。まず前提として、第二の予測信号を生成するために用いる第二の蓄積手段22に保存された第一の残差信号とは、図3に概念的に示すように当該符号化対象のブロックと同一時間のフレームにおける同一位置のブロックであって、且つ既に符号化済みの別チャネルの信号における第一の残差信号である。各信号チャネルとしては、RGB信号、YUV信号又はYCbCr信号などの任意の色空間に写像された信号における各空間軸を利用することができる。図3にはRGB信号の例を示してあり、に示すG信号フレームにおいて既に符号化されているブロックは、そのG信号の第一の残差信号を再構成したものを第二の蓄積手段22にて参照できるようになっている。一方、符号化対象ブロックは当該と同一時刻フレーム内のR信号のフレーム内における同一位置のブロックである。そしてR信号ブロックの符号化に際して、第二の蓄積手段22において参照する再構成された第一の残差信号とは、符号化済みG信号ブロックにおける第一の残差信号となる。なおまた、前述の量子化手段2における、量子化誤差が小さくなるように量子化パラメータを制御する、予測の基準となる信号チャネルとは、図3に例を示したG信号のような、符号化対象ブロックの符号化対象チャネルよりも先に符号化されている信号チャネルである。本発明においてはこのような予測基準信号における残差信号を利用して別チャネルの被予測信号を符号化するので、予測基準信号を量子化誤差を小さくなるようにして高画質にしておけば、被予測信号も高精度で予測でき、トータルでの符号化コスト低減につながるという効果がある。図3の例におけるG信号のような信号を一般に予測基準信号、R信号のような信号を被予測信号と呼ぶ。第二の予測手段20において、予測係数による補正の一例として,第二の予測手段がアフィン予測で補正する場合、アフィン係数ajを第二の予測係数とすると、符号化済の第一の残差信号から後述のようにブロック内部の小領域ごとに、各画素位置に対する代表値giを算出し、当該ブロックの残差信号riを数1で予測する。ここで、nはブロックの画素数を表す。なお、代表値giには、当該画素位置における第一の残差信号の値をそのまま用いてもよいが、後述のようにノイズ耐性の観点からは、各小領域内での第一の残差信号の値より算出される値としての代表値を用いるのがよい。代表値giと予測される残差信号riとの例を図4に示す。図4において、は図3と同一であり、それぞれ符号化済みG信号のブロックと符号化対象R信号ブロックを示している。図4ではさらに、における符号化済み第一の残差信号が、機能ブロック群100においてH264の4×4画面内予測の予測モード0~8のうち垂直方向に予測する予測モード0による残差信号である例を示している。すなわちA1g1~g4、A2、A3及びA4はそれぞれ同一の上端隣接画素により予測された縦方向の4画素位置における、第一の残差信号の代表値giを示している。またこの例ではA1乃至A4を小領域として設定している。これら各画素位置に定義される代表値を用いて同位置の残差信号B1r1~r4、B2、B3及びB4を予測する。代表値の算出は、三板式カメラのように入力信号の相関が独立である場合例えばRGB信号なら、R、G、B信号間で独立には、ガウシアンフィルタ等を利用することで、ノイズに対する耐性を持たせることが望ましい。あるいは、第一の予測情報に応じたノイズ特性に合わせたフィルタを適用することもできる。すなわち、図4の例であれば、垂直方向に予測しているので、例えばg6の位置にある画素の第一の残差信号にノイズが乗っている場合、垂直方向の予測モード0により算出された第一の残差信号に対して、フィルタ処理により当該ノイズの影響が水平方向例えばg2の位置やg10の位置に及ぶのは好ましくない。よって当該の例であれば、フィルタ処理を各垂直方向の各小領域A1乃至A4内の画素毎に個別に行うようにする。小領域A1内であれば、g1~g4の位置の残差信号につきフィルタ処理を施す。なお、上記の第一の予測情報に応じたノイズ特性に合わせたフィルタ適用は、H264の4×4画面内予測の予測モード0の例で説明したが、その他の例であっても同様に予測情報の方向に応じた領域毎にフィルタ処理を適用すればよいことは明らかである。例えばH264の4×4画面内予測のその他の予測モードであれば、予測モード1なら水平方向の各領域に、予測モード2なら領域区別4×4単位ブロック全体を1つの領域としてフィルタを適用する。また予測モード3乃至8であれば斜めの予測方向に対応する各領域にフィルタを適用する。予測係数ajは、予測誤差の重み付き2乗和を最小にするように推定する。具体的に予測係数ajについて算出方法の一例を述べる。予測誤差の重み付き2乗和Eは数2で表される。このとき、係数ajによる2乗誤差Eの偏微分は数3で表される。2乗誤差Eを最小化するには数3が0になることが必要なので、係数ajは数4で求められる。ただし、スペースの都合上、添え字iの表記は省略している。あるいは、第二の予測手段が比例で補正する場合、比例係数ajを第二の予測係数とすると、アフィン予測の場合と同様に符号化済の第一の残差信号からブロック内部の小領域ごとに代表値giを算出し、当該ブロックの残差信号riを数5で予測する。代表値の算出には、上記説明と同様にガウシアンフィルタ等を利用することで、ノイズに対する耐性を持たせることが望ましい。ここで、nはブロックの画素数を表す。予測係数ajは、予測誤差の重み付き2乗和を最小にするように推定する。具体的に予測係数ajについて算出方法の一例を述べる。予測誤差の重み付き2乗和Eは数6で表される。このとき、係数ajによる2乗誤差Eの偏微分は数7で表される。2乗誤差Eを最小化するには数7が0になることが必要なので、乗数ajは数8で求められる。ただし、スペースの都合上、添え字iの表記は省略している。また、第二の予測手段20は2次以上の多項式を予測式としてもよい。あるいは、第二の予測手段20は複数の予測式を具備し、予測式を適宜切り替えることもできる。それぞれの予測式を適用したとき、最も符号化コストを小さくする組み合わせを選択する。この場合、選択した予測式を表す情報と予測係数とが第二の予測情報として符号化手段5へ送られる。いずれの場合においても、重み係数wiは任意に設定できる。ただし、第一の予測手段及び第一の補償手段において、ブロックの下端及び右端図4のの例であれば、下端はr4、r8、r12及びr16の位置、右端はr13、r14、r15及びr16の位置は、当該符号化対象ブロックよりも後の時点で符号化される近傍ブロックの予測と補償に用いられるため、画質をより高く維持しておくことが望ましい。すなわち、ブロックの下端及び右端の重み係数を相対的に高くすることで、当該箇所の画質を高く維持することができる。なお、予測係数は単位ブロック全体につき一組だけ求めても、またフィルタ処理を施した各小領域毎に求めてもよい。図4の例であれば、ブロック全体からブロック全体を予測する一組の予測係数を求めてもよいし、小領域A1、A2、A3及びA4からそれぞれ対応する領域B1、B2、B3及びB4を予測する4組の予測係数を求めてもよい。符号量の観点からは、単位ブロック全体につき一組だけ予測係数を求めるように設定しておくのが好ましい。第二の補償手段は、第二の予測信号を再構成するもので、第二の予測手段からの第二の予測情報と、第二の加算器からの第一の残差信号とから第二の予測信号を得る。生成された第二の予測信号は、第二の加算器及び第二の差分器に出力される。上述の例で、第二の予測手段20が予測関数としてアフィン予測を利用し、第二の予測情報が予測係数ajから構成されている場合は、予測信号は数9で生成される。第二の予測信号は、エンコーダにおいては第二の差分手段23及び第二の加算手段24へ、デコーダにおいては第二の加算手段64のみへ送られる。第三の予測手段30は、前記単位ブロック内の入力画素に存在する冗長性を削減する第三の予測情報を決定するものである。第三の予測手段30は、まず第三の蓄積手段32に保存された量子化誤差を含む第三の残差信号から、画素信号を後述する方法で近似する予測係数を算出する。算出された予測係数は、第三の予測情報として第三の補償手段31及び符号化手段5に送られる。以下、第三の予測手段30による予測係数の算出、第三の補償手段による第三の予測信号の生成手順について説明する。なお前提として、第三の予測手段30においても、第二の予測手段20において図3を用いて説明したように、符号化対象ブロックの符号化に際して前もって同時刻フレーム同位置のブロックで別チャネルにて符号化済みのブロックがあるものとする。第三の予測手段30において、予測係数による補正の一例として,第三の予測手段が符号化済近傍画素から画素信号を予測する場合を図5を用いて説明する。図5では、図3の例で用いたのと同様の、符号化済みブロックを有するG信号フレームと、と時刻及び位置が共通で信号チャネルの異なる符号化対象ブロックを有するR信号フレームとを示している。第三の予測手段30では符号化対象ブロックに隣接する近傍に存在し且つ符号化済みの符号化済近傍画素と、当該のフレームにおける同位置の符号化済近傍画素とを利用する。そして、符号化済近傍画素ととの対応関係が当該ブロックとの対応関係に相当すると仮定して、第二の予測手段20と同様の予測係数を符号化済近傍画素ととから算出し、当該ブロックととに適用する。すなわち、図5のに示すように、領域の各画素信号値に基づいて数1乃至数8における代表値giを算出する。また当該の各画素位置に対して算出された代表値giを用いて、同位置にあるの信号riを予測することにより予測係数を求める。そして、に示すように、当該符号化済近傍画素領域よりを予測する予測係数を用いて、符号化済ブロックから符号化対象ブロックを予測する。第二の予測手段20との相違点は、処理対象領域が符号化対象ブロックの位置かその近傍符号化済画素領域かと、処理対象が第一の残差信号か画素信号かという点と、予測係数を保持するか否かにある。すなわち、第三の予測手段30は、に示したように画素信号を直接予測することから、またに示したように符号化済領域であるととから予測係数が算出できるので復号処理でも同様にすることで予測係数を保持する必要がないことから、予測情報の符号量を低減できる。また、第三の予測手段30は、予測係数を保持しないことから、予測係数の符号量を増加させずに、画素信号ごとに異なる予測係数を適用することができる。例えば、処理対象ブロックの各画素信号ごと、当該ブロック内の小領域ごと又は当該ブロックごとの予測係数を算出する際に、当該画素から近傍画素までの距離や当該画素値と近傍画素との差分に応じて重み係数を設定することで予測係数を変化させることが可能となる。近傍画素の領域と符号化対象ブロックとのいずれか又は両者を小領域に区切って適宜対応づけを行い、当該対応づけごとに予測係数を設定することができる。また符号化対象ブロックの各小領域に対して予測係数を求めるよう設定し、ブロック全体で複数組の予測係数を求めることとなっても、第二の予測手段20の場合と異なり、符号量の増加が生ずることはない。さらに、第三の予測手段30は、予測係数を保持しないことから、予測係数に量子化誤差が発生せず予測精度を高く保つことができる。第三の予測手段30は予測係数を符号化する必要がないため、より高次の多項式を利用しても符号量が比較的増加しないことを利用して、精度を向上させることができる。例えば、予測係数による補正の一例として、第三の予測手段30が2次式で補正する場合、係数ajを第三の予測係数とすると、符号化対象ブロックの近傍に位置する符号化済の画素信号から第二の予測手段20と同様に小領域ごとに、又は近傍画素の領域全体で代表値giを算出し、当該ブロックの近傍に位置する符号化済の画素信号riを数10で予測する。代表値の算出には、当該小領域又は近傍画素領域全体でガウシアンフィルタ等を利用することで、ノイズに対する耐性を持たせることが望ましい。ここで、nはブロックの画素数を表す。予測係数ajは、予測誤差の重み付き2乗和を最小にするように推定する。具体的に予測係数ajについて算出方法の一例を述べる。予測誤差の重み付き2乗和Eは数11で表される。このとき、係数ajによる2乗誤差和Eの偏微分は数12で表される。2乗誤差Eを最小化するには数12の各式が0になることが必要なので、乗数ajは数13で求められる。ただし、スペースの都合上、添え字iの表記は省略している。あるいは、第三の予測手段30がアフィン予測または比例で補正する場合、数1、数5のr及びgを、当該ブロックの近傍に位置する符号化済の画素信号と、符号化対象ブロックの近傍に位置する符号化済の画素信号から小領域ごと等に算出した代表値と置き換えることで同様に処理できる。なお、第三の予測手段30における符号化済近傍画素の領域は、図5のやのような、対象ブロックの左側の所定数の列と、上側の所定数の行と、当該行列の交差箇所に相当し対象ブロックに対して対角部分となる箇所、を合わせた所定領域としてもよいし、当該領域の一部分のみであってもよい。対象ブロックに左側で又は上側で接するブロックまたはその一部であってもよい。フレーム端部の位置で参照できない箇所がある場合は参照箇所を適宜切り替えるようにする、又は参照できる部分のみ利用するようにしてもよい。また、当該領域の設定に、以下の非特許文献2に開示された技術を用いてもよい。非特許文献2YHKimBChoiandJPaikHighfidelityRGBVideoCodingusingAdaptiveInterplaneWeightedPredictionIEEETransactionsonCircuitsandSystemsforVideoTechnology197pp10511056第三の補償手段31は、第三の予測信号を再構成するもので、第三の予測手段30からの第三の予測情報と、第三の蓄積手段32に保存された符号化済画素信号再構成画素信号とから第三の予測信号を得る。生成された第三の予測信号は、第三の加算手段34及び第三の差分手段33に出力される。上述の例で、第三の予測手段30が予測関数として2次式を利用し、第三の予測情報が予測係数ajから構成されている場合は、予測信号は数10で生成される。第三の予測信号は、エンコーダにおいては第三の差分手段33及び第三の加算手段34へ、デコーダにおいては第三の加算手段74のみへ送られる。以上、図1に示す画像符号化装置の各機能ブロックについて説明した。ここで、図3や図5で例としてG信号とR信号とを用いて説明したような、本発明における予測基準信号と被予測信号との処理の流れにつき説明する。ある単位ブロックに対して、信号を構成する各チャネルのうちまず最初に予測基準信号が符号化される。当該予測基準信号の符号化に際しては、当該処理対象の単位ブロックにおいて別チャネルの信号は符号化されていない状態であるので、入力画像信号に対して第二の予測手段20と第三の予測手段30とは適用できない。よって、機能ブロック群100のみでの符号化が行われ、機能ブロック群200及び300での処理は省略される。当該省略のためのスキップ処理には、前述の、入力された第一の残差信号が平坦である際の、第二の予測手段20及び第二の補償手段21が省略される場合の処理と同様な処理を利用できる。すなわち、第一の残差信号がそのままの値で形式上は第二の残差信号として符号化され、同時に、第一の予測情報と、第一の残差信号の値がそのまま第二の残差信号となっている旨の情報としての第二の予測情報とが符号化される。代わりに第一又は第二の予測情報に追加して予測基準信号であり第一の残差信号となる旨の情報を加えてもよい。これによってデコーダ側でも対応した処理が行える。当該予測基準信号の符号化により、当該ブロックの再構成画素信号が第一の蓄積手段12及び第三の蓄積手段32へ、また当該ブロックの再構成残差信号が第二の蓄積手段22へと保存される。このような状態になってから、当該ブロックの被予測信号のチャネルの符号化が行われる。被予測信号に対する符号化処理は図1に関して説明してきた通りであるが、特に第一の蓄積手段12では予測基準信号も利用できるが被予測信号自身の再構成画素信号が保存されて利用される。また第二及び第三の蓄積手段22及び32では前述のように当該ブロックで既に符号化済みの予測基準信号における再構成残差信号及び再構成画素信号が利用される。なお、各蓄積手段12、22、32では、各時点において予測に必要な画素ブロック分を保持しておけばよい。上述した構成の画像符号化装置によれば、変換手段1で各単位ブロックの符号化対象領域の画素についての変換を行うに際して、第二の差分手段23または第三の差分手段33から入力される第二または第三の残差信号に基づいて空間的に対応する各画素の差分値を変換し、量子化手段2及び符号化手段5により符号化される。ここで、変換手段1に入力される残差信号は、第一の予測補償を経て得られた残差信号か、第一の予測補償及び第二の予測補償を経て得られた残差信号か、若しくは第三の予測補償を経て得られた残差信号の中から適宜選択される。すなわち、異なる予測補償手段を適応的に選択することによって、符号化済画素信号から当該ブロックの信号を予測して情報量を削減する信号予測を採用することで、高い符号化効率が可能となる。一方、以上の図1の説明と対応付けて、図2に示す本発明の画像復号装置の各機能ブロックを説明する。復号手段6は画像符号装置の符号化手段5により符号化された符号情報を復号して量子化値を得る。当該量子化値に対して、逆量子化手段7及び逆変換手段8を施すことで、前記第一ないし第三の予測情報と前記第二または第三の残差が得られる。逆量子化手段7及び逆変換手段8は符号化装置の逆量子化手段3及び逆変換手段4と同様の機能である。その他、第一の補償手段51、第一の蓄積手段52及び第一の加算手段54は符号化装置における第一の補償手段11、第一の蓄積手段12及び第一の加算手段14と同じ機能である。第二の補償手段61、第二の蓄積手段62及び第二の加算手段64は符号化装置における第二の補償手段21、第二の蓄積手段22及び第二の加算手段24と同じ機能である。第三の補償手段71、第三の蓄積手段72及び第三の加算手段74は符号化装置の第三の補償手段31、第三の蓄積手段32及び第三の加算手段34と同じ機能である。なお図1の説明にて述べたように各補償手段の出力は符号化装置では加算手段および差分手段に送られるが、復号装置では加算手段にのみ送られる。また、第一、第二、第三の切替手段80,81,82も符号化装置における第一、第二、第三の切替手段40,41,42と同様に機能するが、第一の切替手段は符号化装置におけるような第二残差信号と第三残差信号との切替を行う代わりに、対応する補償手段及び加算手段より送られてきた画素信号を出力する役割を果たす。なお、符号化装置において説明したように、復号装置では予測手段としては予測係数が符号化されていない第三の予測手段70のみが必要となり、第一、第二の予測手段は必要ない。"