(57)【特許請求の範囲】
【請求項１】
複数の画素からなる原画像を、より少ない画素からなる第１の画像に変換する画像符号化装置において、
前記原画像のｍ個の画素の画素値の平均値の上位数ビットを、前記第１の画像のｎ個の画素の画素値とする画素値生成手段と、
前記第１の画像の、位置を特定するために指定される着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶手段と、
前記原画像の画素の画素値、および、前記第１の画像の画素の画素値を含む正規方程式を用いて、前記クラスコードに対応する、前記第１の画像から前記原画像を予測するための予測係数を生成する予測係数生成手段と、
前記予測係数を前記クラスコードに対応付けて記憶する予測係数記憶手段と、
前記画像データの前記第１の画像の前記画素値と、前記画像データの前記クラスコードに対応する予測係数との線形１次結合を演算し、前記原画像の予測値である第２の画像の画素値を求める演算手段と、
前記原画像の画素値と前記第２の画像の画素値を比較する比較手段と、
前記比較手段の比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値、および、前記原画像の画素値を含む正規方程式を用いて得られた予測係数に、前記予測係数記憶手段が記憶している前記予測係数を更新する予測係数更新手段と、
前記比較手段の比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値についてのクラスコードに、前記画素データ記憶手段が記憶している前記クラスコードを更新するクラスコード更新手段と、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成手段と、
クラスコード更新手段によって更新された前記クラスコードに、前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、
前記原画像の画素の画素値、および、拡張クラスコードに対応する前記第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成手段と
を含むことを特徴とする画像符号化装置。
【請求項２】
前記拡張クラスコード生成手段は、前記クラスコードのMSB側に前記空間クラスコードを付加して前記拡張クラスコードを生成する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記比較手段の比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値に、前記画素データ記憶手段が記憶している前記画素値を更新する画素値更新手段を
さらに含むことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
複数の画素からなる原画像を、より少ない画素からなる第１の画像に変換する画像符号化装置の画像符号化方法において、
前記原画像のｍ個の画素の画素値の平均値の上位数ビットを、前記第１の画像のｎ個の画素の画素値とする画素値生成ステップと、
前記第１の画像の、位置を特定するために指定される着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶ステップと、
前記原画像の画素の画素値、および、前記第１の画像の画素の画素値を含む正規方程式を用いて、前記クラスコードに対応する、前記第１の画像から前記原画像を予測するための予測係数を生成する予測係数生成ステップと、
前記予測係数を前記クラスコードに対応付けて記憶する予測係数記憶ステップと、
前記画像データの前記第１の画像の前記画素値と、前記画像データの前記クラスコードに対応する予測係数との線形１次結合を演算し、前記原画像の予測値である第２の画像の画素値を求める演算ステップと、
前記原画像の画素値と前記第２の画像の画素値を比較する比較ステップと、
前記比較ステップの比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値、および、前記原画像の画素値を含む正規方程式を用いて得られた予測係数で、前記予測係数記憶ステップで記憶された前記予測係数を更新する予測係数更新ステップと、
前記比較ステップの比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値についてのクラスコードに、前記画素データ記憶ステップで記憶された前記クラスコードを更新するクラスコード更新ステップと、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成ステップと、
クラスコード更新ステップにおいて更新された前記クラスコードに、前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、
前記原画像の画素の画素値、および、拡張クラスコードに対応する前記第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成ステップと
を含むことを特徴とする画像符号化方法。
【請求項５】
複数の画素からなる原画像を、より少ない画素からなる第１の画像に変換する画像符号化装置に、
前記原画像のｍ個の画素の画素値の平均値の上位数ビットを、前記第１の画像のｎ個の画素の画素値とする画素値生成ステップと、
前記第１の画像の、位置を特定するために指定される着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶ステップと、
前記原画像の画素の画素値、および、前記第１の画像の画素の画素値を含む正規方程式を用いて、前記クラスコードに対応する、前記第１の画像から前記原画像を予測するための予測係数を生成する予測係数生成ステップと、
前記予測係数を前記クラスコードに対応付けて記憶する予測係数記憶ステップと、
前記画像データの前記第１の画像の前記画素値と、前記画像データの前記クラスコードに対応する予測係数との線形１次結合を演算し、前記原画像の予測値である第２の画像の画素値を求める演算ステップと、
前記原画像の画素値と前記第２の画像の画素値を比較する比較ステップと、
前記比較ステップの比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値、および、前記原画像の画素値を含む正規方程式を用いて得られた予測係数で、前記予測係数記憶ステップで記憶された前記予測係数を更新する予測係数更新ステップと、
前記比較ステップの比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値についてのクラスコードに、前記画素データ記憶ステップで記憶された前記クラスコードを更新するクラスコード更新ステップと、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成ステップと、
クラスコード更新ステップにおいて更新された前記クラスコードに、前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、
前記原画像の画素の画素値、および、拡張クラスコードに対応する前記第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成ステップと
を含む処理を実行させるコンピュータが読み取り可能なプログラムを記録することを特徴とする記録媒体。
【請求項６】
原画像のｍ個の画素値を用いて生成された、より少ない数のｎ個の画素値から構成される第１の画像と拡張予測係数テーブルを用いて、前記原画像を復元する画像復号装置において、
前記第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定手段と、
前記第１の画像の前記着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データから前記クラスコードを読み出すクラスコード読出手段と、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定手段と、
前記クラスコード読出手段が読み出した前記クラスコードに、前記空間クラスコード判定手段が判定した前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、
前記着目画素に対応する画素からなる予測タップを決定し、前記予測タップに含まれる画素の画素データから画素値を抽出する抽出手段と、
前記抽出手段が抽出した画素値と、前記拡張クラスコード生成手段が生成した前記拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、前記原画像の画素値とする復元手段と
を含むことを特徴とする画像復号装置。
【請求項７】
原画像のｍ個の画素値を用いて生成された、より少ない数のｎ個の画素値から構成される第１の画像と拡張予測係数テーブルを用いて、前記原画像を復元する画像復号装置の画像復元方法において、
前記第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定ステップと、
前記第１の画像の前記着目画素の画素値と、前記着目画素および対応する画素からなるクラスのそれぞれの画素値に対してADRC処理を施して得られるクラスコードとからなる画素データから前記クラスコードを読み出すクラスコード読出ステップと、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定ステップと、
前記クラスコード読出ステップで読み出した前記クラスコードに、前記空間クラスコード判定ステップで判定した前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、
前記着目画素に対応する画素からなる予測タップを決定し、前記予測タップに含まれる画素の画素データから画素値を抽出する抽出ステップと、
前記抽出ステップで抽出した画素値と、前記拡張クラスコード生成ステップで生成した前記拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、前記原画像の画素値とする復元ステップと
を含むことを特徴とする画像復号方法。
【請求項８】
原画像のｍ個の画素値を用いて生成された、より少ない数のｎ個の画素値から構成される第１の画像と拡張予測係数テーブルを用いて、前記原画像を復元する画像復号装置に、
前記第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定ステップと、
前記第１の画像の前記着目画素の画素値と、前記着目画素および対応する画素からなるクラスのそれぞれの画素値に対してADRC処理を施して得られるクラスコードとからなる画素データから前記クラスコードを読み出すクラスコード読出ステップと、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定ステップと、
前記クラスコード読出ステップで読み出した前記クラスコードに、前記空間クラスコード判定ステップで判定した前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、
前記着目画素に対応する画素からなる予測タップを決定し、前記予測タップに含まれる画素の画素データから画素値を抽出する抽出ステップと、
前記抽出ステップで抽出した画素値と、前記拡張クラスコード生成ステップで生成した前記拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、前記原画像の画素値とする復元ステップと
を含む処理を実行させるコンピュータが読取可能なプログラムを記録することを特徴とする記録媒体。
【請求項９】
複数の画素からなる原画像を、より少ない画素からなる第１の画像に変換する画像符号化装置と、
前記画像符号化装置が出力した前記第１の画像および拡張予測係数テーブルを用いて、前記原画像を復元する画像復号装置と
を含む画像伝送システムにおいて、
前記画像符号化装置は、
前記原画像のｍ個の画素の画素値の平均値の上位数ビットを、前記第１の画像のｎ個の画素の画素値とする画素値生成手段と、
前記第１の画像の、位置を特定するために指定される着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶手段と、
前記原画像の画素の画素値、および、前記第１の画像の画素の画素値を含む正規方程式を用いて、前記クラスコードに対応する、前記第１の画像から前記原画像を予測するための予測係数を生成する予測係数生成手段と、
前記予測係数を前記クラスコードに対応付けて記憶する予測係数記憶手段と、
前記画像データの前記第１の画像の前記画素値と、前記画像データの前記クラスコードに対応する予測係数との線形１次結合を演算し、前記原画像の予測値である第２の画像の画素値を求める演算手段と、
前記原画像の画素値と前記第２の画像の画素値を比較する比較手段と、
前記比較手段の比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値、および、前記原画像の画素値を含む正規方程式を用いて得られた予測係数に、前記予測係数記憶手段が記憶している前記予測係数を更新する予測係数更新手段と、
前記比較手段の比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値についてのクラスコードに、前記画素データ記憶手段が記憶している前記クラスコードを更新するクラスコード更新手段と、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成手段と、
クラスコード更新手段によって更新された前記クラスコードに、前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、
前記原画像の画素の画素値、および、拡張クラスコードに対応する前記第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成手段と
を含み、
前記画像復号装置は、
前記第１の画像の、位置を特定するために指定される画素を前記着目画素に指定する指定手段と、
前記第１の画像の前記着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データから前記クラスコードを読み出すクラスコード読出手段と、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定手段と、
前記クラスコード読出手段が読み出した前記クラスコードに、前記空間クラスコード判定手段が判定した前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、
前記着目画素に対応する画素からなる予測タップを決定し、前記予測タップに含まれる画素の画素データから画素値を抽出する抽出手段と、
前記抽出手段が抽出した画素値と、前記拡張クラスコード生成手段が生成した前記拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、前記原画像の画素値とする復元手段と
を含むことを特徴とする画像伝送システム。
【請求項１０】
複数の画素からなる原画像を、より少ない画素からなる第１の画像に変換する画像符号化装置と、
前記画像符号化装置が出力した前記第１の画像および予測係数テーブルを用いて、前記原画像を復元する画像復号装置と
を含む画像伝送システムの画像伝送方法において、
前記画像符号化装置の画像符号化方法は、
前記原画像のｍ個の画素の画素値の平均値の上位数ビットを、前記第１の画像のｎ個の画素の画素値とする画素値生成ステップと、
前記第１の画像の、位置を特定するために指定される着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶ステップと、
前記原画像の画素の画素値、および、前記第１の画像の画素の画素値を含む正規方程式を用いて、前記クラスコードに対応する、前記第１の画像から前記原画像を予測するための予測係数を生成する予測係数生成ステップと、
前記予測係数を前記クラスコードに対応付けて記憶する予測係数記憶ステップと、
前記画像データの前記第１の画像の前記画素値と、前記画像データの前記クラスコードに対応する予測係数との線形１次結合を演算し、前記原画像の予測値である第２の画像の画素値を求める演算ステップと、
前記原画像の画素値と前記第２の画像の画素値を比較する比較ステップと、
前記比較ステップの比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値、および、前記原画像の画素値を含む正規方程式を用いて得られた予測係数に、前記予測係数記憶ステップで記憶された前記予測係数を更新する予測係数更新ステップと、
前記比較ステップの比較の結果、前記原画像と前記第２の画像との誤差の増加量が収束しない場合、前記原画像の画素値と前記第２の画像の画素値との誤差を最小とする前記第１の画像の画素値についてのクラスコードに、前記画素データ記憶ステップで記憶された前記クラスコードを更新するクラスコード更新ステップと、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成ステップと、
クラスコード更新ステップにおいて更新された前記クラスコードに、前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、
前記原画像の画素の画素値、および、拡張クラスコードに対応する前記第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成ステップと
を含み、
前記画像復号装置の画像復号方法は、
前記第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定ステップと、
前記第１の画像の前記着目画素の画素値と、前記着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データから前記クラスコードを読み出すクラスコード読出ステップと、
前記第１の画像の前記着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定ステップと、
前記クラスコード読出ステップで読み出した前記クラスコードに、前記空間クラスコード判定ステップで判定した前記空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、
前記着目画素に対応する画素からなる予測タップを決定し、前記予測タップに含まれる画素の画素データから画素値を抽出する抽出ステップと、
前記抽出ステップで抽出した画素値と、前記拡張クラスコード生成ステップで生成した前記拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、前記原画像の画素値とする復元ステップと
を含むことを特徴とする画像伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体に関し、特に、原画像に復元可能な画像を生成する画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
原画像を構成する画素数よりも少ない画素数から構成される上位階層画像を生成し、この上位階層画像から、原画像とほぼ同一の下位階層画像を生成する（原画像を復元する）する技術が本出願人により提案されている。
【０００３】
この提案においては、下位階層画像の画素値は、上位階層画像の着目画素を中心とする予測タップの画素値と、着目画素が分類されるクラスコードに対応する予測係数の線形１次結合を演算することにより求められる。なお、着目画素のクラスコードは、着目画素とその近傍の画素から構成されるクラスタップの画素値から決定される。
【０００４】
したがって、原画像とほぼ等しい下位階層画像を生成することが可能な上位階層画像を生成するには、画素値とクラスコード（予測係数）を同時に最適化することが理想的である。また、クラスコードの種類（クラス数）が多いほど原画像により近い下位階層画像生成することが可能な上位階層画像を生成することができる。
【０００５】
【発明が解決しようとする課題】
ところで、クラスコードを各画素が有する画素データの所定の位置に記録した場合、クラスコードの種類（クラス数）を増加させるためにクラスコード用のビット数を増加させるには、画素データのビット数が有限であることから、画素データのうちの画素値を示すビット数を減少させなければならない。このことにより、上位階層画像の画素値の情報量が減少すると、復元される下位階層画像に階調欠如が生じてしまう課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、空間クラスコードを用いてクラスコードを拡張することにより、階調欠如を発生させることなく、原画像により近い画像を生成可能な上位階層画像を生成できるようにするものである。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像のｍ個の画素の画素値の平均値の上位数ビットを、第１の画像のｎ個の画素の画素値とする画素値生成手段と、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶手段と、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数を生成する予測係数生成手段と、予測係数をクラスコードに対応付けて記憶する予測係数記憶手段と、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合を演算し、原画像の予測値である第２の画像の画素値を求める演算手段と、原画像の画素値と第２の画像の画素値を比較する比較手段と、比較手段の比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数に、予測係数記憶手段が記憶している予測係数を更新する予測係数更新手段と、比較手段の比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、画素データ記憶手段が記憶しているクラスコードを更新するクラスコード更新手段と、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成手段と、クラスコード更新手段によって更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成手段とを含むことを特徴とする。
【０００８】
請求項４に記載の画像符号化方法は、原画像のｍ個の画素の画素値の平均値の上位数ビットを、第１の画像のｎ個の画素の画素値とする画素値生成ステップと、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶ステップと、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数を生成する予測係数生成ステップと、予測係数をクラスコードに対応付けて記憶する予測係数記憶ステップと、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合を演算し、原画像の予測値である第２の画像の画素値を求める演算ステップと、原画像の画素値と第２の画像の画素値を比較する比較ステップと、比較ステップの比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数で、予測係数記憶ステップで記憶された予測係数を更新する予測係数更新ステップと、比較ステップの比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、画素データ記憶ステップで記憶されたクラスコードを更新するクラスコード更新ステップと、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成ステップと、クラスコード更新ステップにおいて更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成ステップとを含むことを特徴とする。
【０００９】
請求項５に記載の記録媒体は、原画像のｍ個の画素の画素値の平均値の上位数ビットを、第１の画像のｎ個の画素の画素値とする画素値生成ステップと、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶ステップと、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数を生成する予測係数生成ステップと、予測係数をクラスコードに対応付けて記憶する予測係数記憶ステップと、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合を演算し、原画像の予測値である第２の画像の画素値を求める演算ステップと、原画像の画素値と第２の画像の画素値を比較する比較ステップと、比較ステップの比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数で、予測係数記憶ステップで記憶された予測係数を更新する予測係数更新ステップと、比較ステップの比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、画素データ記憶ステップで記憶されたクラスコードを更新するクラスコード更新ステップと、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成ステップと、クラスコード更新ステップにおいて更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成ステップとを含む処理を画像符号化装置に実行させるコンピュータが読み取り可能なプログラムを提供することを特徴とする。
【００１０】
請求項６に記載の画像復号装置は、第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定手段と、第１の画像の着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードを読み出すクラスコード読出手段と、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定手段と、クラスコード読出手段が読み出したクラスコードに、空間クラスコード判定手段が判定した空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、着目画素に対応する画素からなる予測タップを決定し、予測タップに含まれる画素の画素データから画素値を抽出する抽出手段と、抽出手段が抽出した画素値と、拡張クラスコード生成手段が生成した拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、原画像の画素値とする復元手段とを含むことを特徴とする。
【００１１】
請求項７に記載の画像復号方法は、第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定ステップと、第１の画像の着目画素の画素値と、着目画素および対応する画素からなるクラスのそれぞれの画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードを読み出すクラスコード読出ステップと、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定ステップと、クラスコード読出ステップで読み出したクラスコードに、空間クラスコード判定ステップで判定した空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、着目画素に対応する画素からなる予測タップを決定し、予測タップに含まれる画素の画素データから画素値を抽出する抽出ステップと、抽出ステップで抽出した画素値と、拡張クラスコード生成ステップで生成した拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、原画像の画素値とする復元ステップとを含むことを特徴とする。
【００１２】
請求項８に記載の記録媒体は、第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定ステップと、第１の画像の着目画素の画素値と、着目画素および対応する画素からなるクラスのそれぞれの画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードを読み出すクラスコード読出ステップと、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定ステップと、クラスコード読出ステップで読み出したクラスコードに、空間クラスコード判定ステップで判定した空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、着目画素に対応する画素からなる予測タップを決定し、予測タップに含まれる画素の画素データから画素値を抽出する抽出ステップと、抽出ステップで抽出した画素値と、拡張クラスコード生成ステップで生成した拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、原画像の画素値とする復元ステップとを含む処理を画像復号装置に実行させるコンピュータが読み取り可能なプログラムを提供することを特徴とする。
【００１３】
請求項９に記載の画像伝送システムは、原画像のｍ個の画素の画素値の平均値の上位数ビットを、第１の画像のｎ個の画素の画素値とする画素値生成手段と、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶手段と、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数を生成する予測係数生成手段と、予測係数をクラスコードに対応付けて記憶する予測係数記憶手段と、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合を演算し、原画像の予測値である第２の画像の画素値を求める演算手段と、原画像の画素値と第２の画像の画素値を比較する比較手段と、比較手段の比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数に、予測係数記憶手段が記憶している予測係数を更新する予測係数更新手段と、比較手段の比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、画素データ記憶手段が記憶しているクラスコードを更新するクラスコード更新手段と、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成手段と、クラスコード更新手段によって更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成手段とを含む画像符号化装置と、第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定手段と、第１の画像の着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードを読み出すクラスコード読出手段と、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定手段と、クラスコード読出手段が読み出したクラスコードに、空間クラスコード判定手段が判定した空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成手段と、着目画素に対応する画素からなる予測タップを決定し、予測タップに含まれる画素の画素データから画素値を抽出する抽出手段と、抽出手段が抽出した画素値と、拡張クラスコード生成手段が生成した拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、原画像の画素値とする復元手段とを含む画像復号装置を含むことを特徴とする。
【００１４】
請求項１０に記載の画像伝送方法は、原画像のｍ個の画素の画素値の平均値の上位数ビットを、第１の画像のｎ個の画素の画素値とする画素値生成ステップと、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データを記憶する画素データ記憶ステップと、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数を生成する予測係数生成ステップと、予測係数をクラスコードに対応付けて記憶する予測係数記憶ステップと、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合を演算し、原画像の予測値である第２の画像の画素値を求める演算ステップと、原画像の画素値と第２の画像の画素値を比較する比較ステップと、比較ステップの比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数に、予測係数記憶ステップで記憶された予測係数を更新する予測係数更新ステップと、比較ステップの比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、画素データ記憶ステップで記憶されたクラスコードを更新するクラスコード更新ステップと、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードを生成する空間クラスコード生成ステップと、クラスコード更新ステップにおいて更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数を生成する拡張予測係数生成ステップとを含む画像符号化方法と、第１の画像の、位置を特定するために指定される画素を着目画素に指定する指定ステップと、第１の画像の着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードを読み出すクラスコード読出ステップと、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値を判定する空間クラスコード判定ステップと、クラスコード読出ステップで読み出したクラスコードに、空間クラスコード判定ステップで判定した空間クラスコードを付加して拡張クラスコードを生成する拡張クラスコード生成ステップと、着目画素に対応する画素からなる予測タップを決定し、予測タップに含まれる画素の画素データから画素値を抽出する抽出ステップと、抽出ステップで抽出した画素値と、拡張クラスコード生成ステップで生成した拡張クラスコードに対応する拡張予測係数との線形１次結合を演算し、演算結果を、原画像の画素値とする復元ステップとを含む画像復号方法とを含む���とを特徴とする。
【００１５】
請求項１に記載の画像符号化装置、請求項４に記載の画像符号化方法、および請求項５に記載の記録媒体においては、原画像のｍ個の画素の画素値の平均値の上位数ビットが、第１の画像のｎ個の画素の画素値とされ、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データが記憶される。また、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数が生成され、予測係数がクラスコードに対応付けて記憶され、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合が演算され、原画像の予測値である第２の画像の画素値が演算され、原画像の画素値と第２の画像の画素値が比較され、その比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数に、予測係数が更新され、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、クラスコードが更新される。さらに、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードが生成され、更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードが生成され、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数が生成される。
【００１６】
請求項６に記載の画像復号装置、請求項７に記載の画像復号方法、および請求項８に記載の記録媒体においては、第１の画像の、位置を特定するために指定される画素が着目画素に指定され、第１の画像の着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードが読み出され、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値が判定され、読み出されたクラスコードに判定された空間クラスコードを付加して拡張クラスコードが生成される。また、着目画素に対応する画素からなる予測タップが決定され、予測タップに含まれる画素の画素データから画素値が抽出されて、抽出された画素値と生成された拡張クラスコードに対応する拡張予測係数との線形１次結合が演算され、演算結果が、原画像の画素値とされる。
【００１７】
請求項９に記載の画像伝送システム、および請求項１０に記載の画像伝送方法においては、原画像のｍ個の画素の画素値の平均値の上位数ビットが、第１の画像のｎ個の画素の画素値とされ、第１の画像の、位置を特定するために指定される着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データが記憶される。また、原画像の画素の画素値、および、第１の画像の画素の画素値を含む正規方程式を用いて、クラスコードに対応する、第１の画像から原画像を予測するための予測係数が生成され、予測係数がクラスコードに対応付けて記憶され、画像データの第１の画像の画素値と、画像データのクラスコードに対応する予測係数との線形１次結合が演算され、原画像の予測値である第２の画像の画素値が演算され、原画像の画素値と第２の画像の画素値が比較され、その比較の結果、原画像と第２の画像との誤差の増加量が収束しない場合、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値、および、原画像の画素値を含む正規方程式を用いて得られた予測係数に、予測係数が更新され、原画像の画素値と第２の画像の画素値との誤差を最小とする第１の画像の画素値についてのクラスコードに、クラスコードが更新される。さらに、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じて、所定のビット数の空間クラスコードが生成され、更新されたクラスコードに、空間クラスコードを付加して拡張クラスコードが生成され、原画像の画素の画素値、および、拡張クラスコードに対応する第１の画像の画素の画素値を含む正規方程式を用いて、拡張予測係数が生成される。また、第１の画像の、位置を特定するために指定される画素が着目画素に指定され、第１の画像の着目画素の画素値と、着目画素および対応する画素の画素値に対してADRC処理を施して得られるクラスコードとからなる画素データからクラスコードが読み出され、第１の画像の着目画素と、その近傍の画素の画素値との大小関係に応じた空間クラスコードのビット値が判定され、読み出されたクラスコードに判定された空間クラスコードを付加して拡張クラスコードが生成される。また、着目画素に対応する画素からなる予測タップが決定され、予測タップに含まれる画素の画素データから画素値が抽出されて、抽出された画素値と生成された拡張クラスコードに対応する拡張予測係数との線形１次結合が演算され、演算結果が、原画像の画素値とされる。
【００１８】
【発明の実施の形態】
本発明を適用したエンコーダの構成例について、図１を参照して説明する。なお、このエンコーダ１に入力される原画像は、１画素当たり８ビットの画素値を有し、エンコーダ１によって生成される上位階層画像も１画素当たり８ビットの情報量（画素データ）を有するものとする。
【００１９】
また、以下において、着目画素は、画素値の更新が行われずに位置を特定するために指定される画素とし、注目画素は、位置を特定するために指定され、かつ、画素値が更新される画素とする。
【００２０】
このエンコーダ１において、原画像は、前処理回路２、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８、および収束判定回路１０に供給される。前処理回路２は、供給された原画像を用い、初期上位階層画像を生成して上位階層画像メモリ３に記憶させ、初期予測係数テーブルを生成して予測係数メモリ４に記憶させる。
【００２１】
上位階層画像メモリ３は、記憶している上位階層画像をセレクタ５に出力する。また、上位階層画像メモリ３は、画素値更新回路６から入力される画素値（４ビット）を用いて、それまで記憶していた上位階層画像のMSB(Most Significant Bit)側の４ビットを更新し、クラスコード選択回路８から入力されるクラスコード（４ビット）を用いて、それまで記憶していた上位階層画像のLSB(Least Significant Bit)側の４ビットを更新する。
【００２２】
予測係数メモリ４は、記憶している予測係数テーブルを画素値更新回路６、クラスコード選択回路８、デコード回路９、および収束判定回路１０に供給する。また、予測係数メモリ４は、予測係数更新回路７から入力される予測係数を用いて、それまで記憶していた予測係数テーブルを更新する。
【００２３】
セレクタ５は、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、デコード回路９および収束判定回路１０の他、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８に順次出力する。
【００２４】
画素値更新回路６は、原画像および予測係数を用いて、セレクタ５から入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新し、上位階層画像に出力する。予測係数更新回路７は、セレクタ５から入力された上位階層画像、および原画像を用いて予測係数を生成し、予測係数メモリ４に出力する。
【００２５】
クラスコード選択回路８は、セレクタ５から入力された上位階層画像の各画素毎に、予測係数メモリ４に記憶されている予測係数テーブル内の最適な予測係数を選択し、その予測係数に対応するクラスコード（４ビット）を上位階層画像メモリ３に出力する。
【００２６】
デコード回路９は、セレクタ５から入力された上位階層画像と予測係数メモリ４に記憶されている予測係数を用いて下位階層画像を生成し、収束判定回路１０に出力する。
【００２７】
収束判定回路１０は、デコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらにその増加量を求めて、S/Nの増加が収束していると判定した場合、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを後段に出力する。また、収束判定回路１０は、更新カウンタ１１から制御信号が入力された場合も、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを後段に出力する。
【００２８】
更新回数カウンタ１１は、収束判定回路１０、画素値更新回路６、予測係数更新回路７、またはクラスコード選択回路８が自己の処理を終了したことに対応して、セレクタ５に制御信号を出力するとともに、制御信号を出力した回数をカウントし、カウントした値が所定の数に達したとき、収束判定回路１０に制御信号を出力する。
【００２９】
次に、エンコーダ１の動作について、図２のフローチャートを参照して説明する。このエンコード処理は、原画像がエンコーダ１に入力されたときに開始される。ステップＳ１において、前処理回路２は、入力された原画像を用いて前処理を実行する。
【００３０】
この前処理は、図３に示すように、ステップＳ１１，Ｓ１２から成る。ステップＳ１１の初期上位階層画像生成処理について、図４のフローチャートを参照して説明する。ステップＳ２１において、前処理回路２は、入力された原画像を所定のサイズ（例えば、図５に示すように３×３画素）のブロックに分割する。
【００３１】
ステップＳ２２において、前処理回路２は、ステップＳ２１で分割したブロックに含まれる複数（いまの場合、９個）の画素の画素値を平均し、その平均値（８ビット）のMSB側の４ビットを初期上位階層画像の１個の画素の画素値として、図６に示すように、上位階層画像データ（８ビット）のMSB側の４ビットに記録する。
【００３２】
ただし、上位階層画像データのMSB側に記録された４ビットを画素値として用いる全ての回路においては、その４ビットの値を８ビット化して用いるが、MSB側の４ビットの値を単に１６倍しただけの値を用いると画像全体の輝度値が低下するので、これを抑止するために、１６倍した値に所定のオフセット値（例えば、７または８）を加算した値を画素値として用いる。
【００３３】
なお、初期上位階層画像の画素値を決定する方法は、上述したような平均化による方法ではなく、原画像を直接、間引く方法やローパスフィルタ（ガウシアンフィルタ等）を用いてから間引く方法でもかまわない。
【００３４】
図３に戻る。このようなステップＳ１１の処理の後、ステップＳ１２で初期予測係数生成処理が実行される。この処理について、図７のフローチャートを参照して説明する。ステップＳ３１において、前処理回路２は、図３のステップＳ１１で画素値（画素データ（８ビット）のうちのMSB側の４ビット）だけが決定された初期上位階層画像の画素を着目画素に決定する。
【００３５】
ステップＳ３２において、前処理回路２は、着目画素に対応するクラスタップ（例えば、着目画素とその上下左右に位置する合計５個の画素）の画素値（各４ビット）を抽出する。
【００３６】
ステップＳ３３において、前処理回路２は、ステップＳ３２で抽出した５個の画素値（MSB側の４ビット）に１ビットADRC(Adaptive Dynamic Range Coding)処理を施して、それぞれを１ビットに変換し、それらを、例えば、画素の位置に対応する所定の順序で並べることにより、５ビットのクラスコードを取得する。さらに、前処理回路２は、着目画素の画素データ（８ビット）のLSB側の４ビットに任意の値（例えば、５ビットのクラスコードのMSB側の４ビット）を、図６に示すように記録する。
【００３７】
ステップＳ３４において、前処理回路２は、着目画素を中心とする所定のサイズ（例えば、５×５画素）の予測タップの画素値を抽出する。ステップＳ３５において、前処理回路２は、既知である原画像および予測タップの画素値、並びに未知である予測係数から成る正規方程式を生成する。
【００３８】
ステップＳ３６において、前処理回路３６は、初期上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ３１乃至Ｓ３６の処理を繰り返す。ステップＳ３６において、全ての画素を着目画素としたと判定された場合、ステップＳ３７に進む。
【００３９】
ステップＳ３７において、前処理回路３７は、ステップＳ３５で生成された正規方程式を、５ビット（３２種類）のクラス毎に生成し、その方程式に最小自乗法を適用して３２種類のクラスコードに対応する予測係数を取得する。ステップＳ３８において、前処理回路２は、ステップＳ３３で各クラスコードに分類された着目画素の数を示すヒストグラムを生成する。
【００４０】
ステップＳ３９において、前処理回路２は、ステップＳ３８で生成したヒストグラムを参照し、その上位側の１６個の予測係数（数の多い１６個のクラスコードの予測係数）と、４ビットで表されるクラスコード（0000乃至1111）を任意に対応付ける。
【００４１】
ステップＳ４０において、前処理回路２は、４ビット（１６種類）のクラスコードに対応付けられた予測係数を予測係数メモリ４に出力する。また、前処理回路２は、MSB側の４ビットが画素値であり、LSB側の４ビットがクラスコードである画素データから成る初期上位階層画像を上位階層画像メモリ３に出力する。
【００４２】
なお、上述した処理以外に初期予測係数を生成する方法として、４ビットで表されるクラスコード（0000乃至1111）に乱数を対応付けてもかまわない。また、クラスコードが乱数であってもよいし、予測係数が乱数であってもよいし、あるいは、クラスコードと予測係数の両方が乱数であってもよい。
【００４３】
図２に戻る。以上のようにして、ステップＳ１の前処理が行われた後、ステップＳ２において、クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数のうちの最適なものを選択する。なお、クラスコード選択回路８の構成例と動作については、図１４および図１５を参照して後述する。
【００４４】
ステップＳ３において、デコード処理が行われる。すなわち、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、デコード回路９に供給される。デコード回路９は、セレクタ５から入力された上位階層画像（いまの場合、初期上位階層画像）と、予測係数メモリ４から供給される予測係数テーブル（いまの場合、初期予測係数テーブル）を用いて下位階層画像を生成し、収束判定回路１０に出力する。なお、下位階層画像の画素としては、図５に示すように、上位階層画像の１個の着目画素に対して、対応する位置の下位階層画像の画素ｉを中心とする３×３画素（画素ａ乃至ｉ）が生成される。デコード回路９の構成と動作については、図１６および図１７を参照して後述する。
【００４５】
ステップＳ４において、収束判定回路１０は、デコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらに、その増加量を求めて、S/Nの増加量が収束しているか否かを判定する。S/Nの増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。また、S/Nの増加量が収束していないと判定され、かつ、更新回数カウンタ１１からの制御信号が受信されていない場合、ステップＳ５に進む。
【００４６】
いまの場合、１回目にデコードされた下位階層画像に対する収束判定処理であるので、S/Nの増加量は演算されず、更新回数カウンタ１１からの制御信号も受信されていないので、ステップＳ５に進む。
【００４７】
収束判定回路１０の判定処理が終了したことに対応して、更新回数カウンタ１１は、セレクタ５に制御信号を出力する。
【００４８】
ステップＳ５において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、画素値更新回路６に供給される。画素値更新回路６は、入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。
【００４９】
この画素値更新処理について説明する前に、画素値更新回路６の第１の構成例について、図８および図９を参照して説明する。セレクタ５から入力された上位階層画像は、画素値更新回路６において、上位階層画像メモリ２１に記憶される。上位階層画像メモリ２１は、記憶している上位階層画像を最適画素値決定回路２２に供給する。また、上位階層画像メモリ２１は、最適画素値決定回路２２からの最適化された画素値（４ビット）を用いて、それまで記憶していた上位階層画像の画素値（画素データのMBS側の４ビット）を更新する。全ての画素の画素値が最適化された上位階層画像は、スイッチ２４を介して上位階層画像メモリ３に出力される。
【００５０】
最適画素値決定回路２２には、原画像、および予測係数メモリ４から予測係数テーブルも供給される。最適画素値決定回路２２は、注目画素決定回路２３から指定された注目画素の画素値を最適化して上位階層画像メモリ２１に出力する。注目画素決定回路２３は、上位階層画像の画素を順次注目画素に決定し、その情報を最適画素値決定回路２２に出力する。また、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定した後、スイッチ２４をオンとする制御信号を出力する。
【００５１】
図９は、最適画素値決定回路２２の詳細な構成例を示している。最適画素値決定回路２２においては、注目画素以外の画素の画素値が固定された状態で、注目画素の画素値が最適化される。
【００５２】
着目画素決定回路３１は、注目画素決定回路２３で決定された注目画素の画素値が変化されたことにより、デコードの際に影響を受ける範囲（注目画素を含む予測タップの中心の画素の集合、以下、影響範囲と記述する）を設定し、その影響範囲内に存在する上位階層画像の画素を順次、着目画素に決定して、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。また、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定した後、スイッチ３６をオンとする制御信号を出力する。
【００５３】
クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して誤差関数生成回路３４に出力する。
【００５４】
誤差関数生成回路３４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数レジスタ３５に出力する。影響誤差関数レジスタ３５は、全ての着目画素に対応する誤差関数を足し合わせて影響誤差関数を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００５５】
注目画素値演算回路３７は、スイッチ３６を介して入力された影響誤差関数を解くことにより、注目画素の画素値を演算する（その詳細については後述する）。
【００５６】
次に、画素値更新回路６の第１の構成例の動作について、図１０のフローチャートを参照して説明する。この画素値更新処理は、セレクタ５から入力された上位階層画像が、画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【００５７】
ステップＳ５１において、注目画素決定回路２３は、図１１(A)に示すように、上位階層画像の注目画素を決定し、その位置情報を最適画素値決定回路２２に出力する。最適画素値決定回路２２の着目画素決定回路３１は、ステップＳ５２において、注目画素の画素値が変化された際に影響を受ける範囲（影響範囲）を決定する。例えば、予測タップのサイズが５×５画素である場合、図１１(B)に示したような注目画素を中心とする５×５画素を含む範囲（この上位階層画像から生成される下位階層画像においては、図１１(C)に示すように１５×１５画素）が影響範囲とされる。
【００５８】
ステップＳ５３において、着目画素決定回路３１は、影響範囲内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。
【００５９】
ステップＳ５４において、クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出し、誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路３４に出力する。この予測タップには、注目画素が含まれている。
【００６０】
ステップＳ５５において、誤差関数生成回路３４は、着目画素に対応する誤差関数を生成して影響誤差関数レジスタ３５に出力する。
【００６１】
ここで、誤差関数について説明する。上位階層画像の１個の着目画素（例えば、図５の上位階層画像の注目画素）に対応する、下位階層画像の３×３画素の９個の画素（例えば、図５の下位階層画像の画素ａ乃至ｉ）の画素値（予測値）ｙｉ’（ｉ＝１，２，・・・，９、ただし、図５の画素ｉのｉとは異なる）は、次式（１）に示すように、上位階層画像の画素値ｘと予測係数ｗの線形１次結合で表すことができる。
【００６２】
【数１】
0004200403.tif 000002
【００６３】
ただし、ｗｉ１乃至ｗｉ２５は、着目画素のクラスコードに対応する予測係数であり、ｘ１乃至ｘ２５は、着目画素を中心とする予測タップに含まれる画素の画素値である。特に、画素値数ｘｋ、および予測係数ｗｉｋは、注目画素の画素値と、それに対応する予測係数である。
【００６４】
下位階層画像の画素値（予測値）ｙｉ’に対応する原画像の画素値（真値）をｙｉとすれば、着目画素に対応する下位階層画像の９画素分の自乗誤差の和Ｅｋは、次式（２）のように表すことができる。
【００６５】
【数２】
0004200403.tif 000003
【００６６】
ところで、式（２）において、注目画素の画素値ｘｋは最適化される値、すなわち変数である。また、真値ｙｉ、予測係数ｗｉｊ，ｗｉｋ、および画素値ｘｊは定数としておく。したがって、式（２）は、次式（３）に示すように、注目画素値ｘｋの２次式として表すことが可能となる。
【００６７】
Ｅｋ＝ａｋ・ｘｋ２＋ｂｋ・ｘｋ＋ｃｋ                        ・・・（３）
ただし、
【００６８】
【数３】
0004200403.tif 000004
【００６９】
である。ここで、Ｅｋを誤差関数と呼ぶことにする。
【００７０】
図１０に戻る。ステップＳ５６において、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定したか否かを判定し、影響範囲内の全ての画素を着目画素に決定していないと判定した場合、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【００７１】
その後、ステップＳ５６において、影響範囲内の全ての画素を着目画素に決定したと判定された場合、ステップＳ５７に進む。ステップＳ５７において、着目画素決定回路３１は、スイッチ３６をオンとする制御信号を出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての画素を、順次、着目画素としたときの誤差関数Ｅｋ（式（３））を足し合わせて、影響誤差関数Ｅｃｈｅｃｋ
【００７２】
【数４】
0004200403.tif 000005
【００７３】
を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００７４】
なお、影響誤差関数Ｅｃｈｅｃｋは、注目画素のの画素値ｘｋの２次式である誤差関数Ｅｋの和であるので、次式（４）に示すように、注目画素の画素値ｘｋの２次関数となる。
【００７５】
影響誤差関数Ｅｃｈｅｃｋ＝ａ’・ｘｋ２＋ｂ’・ｘｋ＋ｃ’    ・・・（４）
ただし、
【００７６】
【数５】
0004200403.tif 000006
【００７７】
である。
【００７８】
ステップＳ５８において、注目画素値演算回路３７は、２次式である影響誤差関数Ｅｃｈｅｃｋを最小とする画素値ｘｋ＝−ｂ’／２ａ’を、注目画素の最適画素値として演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された最適画素値を用い、それまで記憶していた注目画素の画素値を更新する。
【００７９】
ステップＳ５９において、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定したか否かを判定し、全ての画素を注目画素に決定していないと判定した場合、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００８０】
その後、ステップＳ５９において、上位階層画像の全ての画素を注目画素に決定したと判定した場合、注目画素決定回路２３は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。画素値更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【００８１】
図２に戻る。以上のようにして、ステップＳ５で画素値更新処理が行われた後、ステップＳ６において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、予測係数更新回路７に供給される。予測係数更新回路７は、入力された上位階層画像および原画像を用い、予測係数メモリ４に記憶させる予測係数テーブルを更新する。
【００８２】
この予測係数更新処理について説明する前に、予測係数更新回路７の詳細な構成例について、図１２を参照して説明する。セレクタ５から入力された上位階層画像は、予測係数更新回路７において、予測タップ抽出回路４２およびクラスコード読取回路４３に供給される。着目画素決定回路４１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路４２、およびクラスコード読取回路４３に出力する。
【００８３】
予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。
【００８４】
教師データ抽出回路４４は、原画像から教師データ（生成される下位階層画像の画素値に対応する真値）を抽出して正規方程式生成回路４５に出力する。正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路４６に出力する。
【００８５】
予測係数演算回路４６は、入力された正規方程式に最小自乗法を適用して１６種類のクラスコードに対応する予測係数（予測係数テーブル）を演算し、予測係数メモリ４に出力する。
【００８６】
次に、予測係数更新回路７の動作について、図１３のフローチャートを参照して説明する。この予測係数更新処理は、セレクタ５から予測係数更新回路７に、上位階層画像が入力されたときに開始される。
【００８７】
ステップＳ６１において、着目画素決定回路４１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路４２とクラスコード読取回路４３に出力する。
【００８８】
ステップＳ６２において、クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。ステップＳ６３において、予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。
【００８９】
ステップＳ６４において、正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに更新する予測係数を用いて正規方程式を生成して、予測係数演算回路４６に出力する。
【００９０】
ステップＳ６５において、着目画素決定回路４１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ６１に戻り、それ以降の処理が繰り返される。ステップＳ６５において、全ての画素を着目画素としたと判定された場合、ステップＳ６６に進む。
【００９１】
ステップＳ６６において、予測係数演算回路４６は、ステップＳ６４で正規方程式生成回路４５が生成した正規方程式に最小自乗法を適用して１６種類のクラスコードに対応する予測係数を演算する。ステップＳ６７において、予測係数演算回路４６は、得られた予測係数（予測係数テーブル）を予測係数メモリ４に出力する。予測係数メモリ４は、入力された予測係数テーブルを用いて、それまで記憶していた予測係数テーブルを更新する。予測係数更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【００９２】
図２に戻る。以上のようにして、ステップＳ６で予測係数更新処理が実行された後、ステップＳ２に戻る。ステップＳ２において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、クラスコード選択回路８に供給される。クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数のうちの最適なものを選択する。
【００９３】
このクラスコード選択処理について説明する前に、クラスコード選択回路８の詳細な構成例について、図１４を参照して説明する。着目画素決定回路５１は、上位階層画像の画素を順次、着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路５３に出力する。
【００９４】
マッピング回路５３は、クラスコードカウンタ５８より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【００９５】
誤差演算回路５４は、マッピング回路５３から入力された予測値と、それに対応する原画像の画素値（真値）の誤差(S/N)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/Nが大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。また、比較器５５は、比較の結果に拘わらず、誤差を比較した後、クラスコードカウンタ５８のカウント値をインクリメントさせる制御信号を出力する。
【００９６】
最小誤差レジスタ５６は、記憶している誤差の値を比較器５５に供給する。また、最小誤差レジスタ５６は、スイッチ５７を介して入力される値を用いて、それまで記憶していた値を更新する。
【００９７】
クラスコードカウンタ５８は、４ビットのカウンタを有し、その値をクラスコード（0000乃至1111）としてマッピング回路およびスイッチ５９に出力する。なお、カウンタの値（クラスコード）は、比較器５５から入力される制御信号に対応して１ずつインクリメントされる。また、クラスコードカウンタ５８は、カウンタの値が1111になったとき、スイッチ６１をオンとする制御信号を出力するとともに、自己のカウンタを0000にリセットする。
【００９８】
最適クラスコードレジスタ６０は、スイッチ５９を介して入力されるクラスコードを用いて、それまで記憶していたクラスコードを更新する。したがって、最適クラスコードレジスタ６０には、誤差を最小とする予測係数に対応した、最適なクラスコードが保持される。また、最適クラスコードレジスタ６０は、着目画素の最適なクラスコードをスイッチ６１を介して、後段の上位階層画像メモリ３に出力する。
【００９９】
次に、クラスコード選択回路８に動作について、図１５のフローチャートを参照して説明する。このクラスコード選択処理は、セレクタ５からクラスコード選択回路８に上位階層画像が入力されたときに開始される。
【０１００】
ステップＳ７１において、着目画素決定回路５１は、上位階層画像の１個の画素を着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。ステップＳ７２において、予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値を抽出してマッピング回路５３に出力する。
【０１０１】
ステップＳ７３において、クラスコードカウンタ５８は、カウンタの値0000をクラスコードとして、マッピング回路５３に出力する。ステップＳ７４において、マッピング回路５３は、クラスコードカウンタ５８より入力されたクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【０１０２】
ステップＳ７５において、誤差演算回路５４は、マッピング回路５３から入力された予測値と、それに対応する原画像の画素値（真値）との誤差(S/N)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/Nが大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。これにより、クラスカウンタ５８のそのときのカウント値がスイッチ５９を介して最適クラスコードレジスタ６０に転送されて記憶される。また、誤差演算回路５４のそのときの出力が最小誤差レジスタ５６に転送されて記憶される。比較器５５はまた、クラスコードカウンタ５８に制御信号を出力する。
【０１０３】
ステップＳ７６において、クラスコードカウンタ５８は、カウンタ（クラスコード）の値が1111よりも小さいか否かを判定し、カウンタの値が1111よりも小さいと判定した場合、ステップＳ７７において、カウンタの値を１だけインクリメントして、その値をクラスコードとしてマッピング回路およびスイッチ５９に出力する。
【０１０４】
その後、ステップＳ７６において、カウンタの値が1111よりも小さくないと判定されるまで、ステップＳ７４乃至Ｓ７７の処理が繰り返される。ステップＳ７６において、カウンタの値が1111よりも小さくない（カウンタの値が1111である）と判定された場合、ステップＳ７８に進む。
【０１０５】
ステップＳ７８において、クラスコードカウンタ５８は、スイッチ６１をオンとする制御信号を出力するとともに、自己のカウンタを0000にリセットする。この制御信号に対応してスイッチ６１はオンとされ、最適クラスコードレジスタ６０に保持されている着目画素の最適なクラスコードが、後段の上位階層画像メモリ３に出力される。上位階層画像メモリ３は、入力された最適なクラスコードを用いて、対応する画素の画素データのLSB側の４ビットを書き換える。
【０１０６】
ステップＳ７９において、着目画素決定回路５１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ７１乃至Ｓ７９の処理が繰り返される。ステップＳ７９において、全ての画素を着目画素としたと判定された場合、図２のステップＳ３に戻る。
【０１０７】
ステップＳ３のデコード処理について説明する前に、デコード回路９の詳細な構成例について、図１６を参照して説明する。着目画素決定回路７１は、上位階層画像の画素を順次、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１０８】
マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と、予測タップ抽出回路７３から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１０９】
下位階層画像メモリ７５は、マッピング回路７４から入力される下位階層画像の画素値を記憶し、記憶した画素値をフレーム単位で後段の収束判定回路１０に出力する。
【０１１０】
次に、デコード回路９のデコード処理について、図１７のフローチャートを参照して説明する。このデコード処理は、セレクタ５からデコード回路９に上位階層画像が入力されたときに開始される。
【０１１１】
ステップＳ８１において、着目画素決定回路７１は、上位階層画像の１個の画素を、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。ステップＳ８２において、クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。ステップＳ８３において、予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１１２】
ステップＳ８４において、マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と、予測タップ抽出回路７３から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１１３】
ステップＳ８５において、着目画素決定回路７１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。ステップＳ８５において、全ての画素を着目画素としたと判定された場合、ステップＳ８６において、下位階層画像メモリ７５から下位階層画像の画素値がフレーム単位で後段の収束判定回路１０に出力される。
【０１１４】
図２に戻る。再び、ステップＳ４において、収束判定回路１０で、デコード回路９から入力された下位階層画像と原画像のS/Nとその増加量が演算されて、S/Nの増加量が収束しているか否かが判定され、S/Nの増加量が収束していると判定されるか、または、更新回数カウンタ１１からの制御信号が受信されるまで、ステップＳ２乃至Ｓ６の処理が繰り返される。
【０１１５】
その後、ステップＳ４において、S/Nの増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。ステップＳ７において、収束判定回路１０は、上位階層画像および予測係数テーブルを、図示せぬ媒体を介してデコーダ８１（図１８）に出力する。
【０１１６】
以上のように、エンコーダ１は、生成する上位階層画像の画素データ（８ビット）のMSB側の４ビットを画素値とし、LSB側の４ビットをクラスコードとしているので、一方の値を最適化するときに他方の値が変化されることがなく、それぞれを独立して最適化することが可能である。
【０１１７】
また、図２に示したエンコード処理において、第１回目のステップＳ２、すなわち、ステップＳ１の前処理の直後のクラスコード選択処理を省略してもかまわない。この場合、第１回目のステップＳ４における収束判定結果、すなわち、ステップＳ１の前処理だけを実行した上位階層画像の原画像に対するS/Nは、従来のエンコーダによる初期上位階層画像の原画像に対するS/Nよりも良好なものとなる。
【０１１８】
また、図１に示したエンコーダ１から画素値更新回路６を削除し、図２のステップＳ５の画素値更新処理を省略してもよい。すなわち、上位階層画像の画素値（画像データのMSB側の４ビット）は更新させず、予測係数更新処理とクラスコード選択処理だけを実行するようにしても、従来のエンコーダよりは良好な上位階層画像を生成することが可能である。
【０１１９】
図１８は、エンコーダ１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。このデコーダ８１において、エンコーダ１からの上位階層画像は、クラスコード読取回路８３および予測タップ抽出回路８４に供給され、予測係数テーブルは、マッピング回路８５に供給される。
【０１２０】
着目画素決定回路８２は、上位階層画像の画素を順次、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。予測タップ抽出回路８４は、上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１２１】
マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップ抽出回路８４から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１２２】
下位階層画像メモリ８６は、マッピング回路８５から入力される下位階層画像の画素値を記憶し、記憶した画素値を、例えば図示せぬモニタに出力する。
【０１２３】
次に、デコーダ８１の動作について、図１９のフローチャートを参照して説明する。このデコード処理は、エンコーダ１からの予測係数テーブルがマッピング回路８５に供給された後、順次入力される上位階層画像に対して実行される。
【０１２４】
ステップＳ９１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。ステップＳ９２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。ステップＳ９３において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１２５】
ステップＳ９４において、マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップ抽出回路８４から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１２６】
ステップＳ９５において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。ステップＳ９５において、全ての画素を着目画素としたと判定された場合、ステップＳ９６で、下位階層画像メモリ８６から下位階層画像の画素値が、図示せぬモニタに出力される。
【０１２７】
図２０は、上述したエンコード処理（図２）とは異なる順序で実行される、エンコーダ１の動作を説明するフローチャートである。このエンコード処理は、図２に示したエンコード処理のステップＳ６として実行されていたクラスコード選択処理、および、ステップＳ５として実行されていた予測係数更新処理を、図２のステップＳ１の前処理の直後に実行するようにしたものである。すなわち、前処理が実行された後、クラスコード選択処理が実行され、その後、予測係数更新処理が実行される。
【０１２８】
なお、図２０のステップＳ１０１乃至Ｓ１０７における各処理は、図２のステップＳ１，Ｓ６，Ｓ５，Ｓ２，Ｓ３，Ｓ４，Ｓ７における各処理と同様であるので、その説明は省略する。
【０１２９】
図２０のフローチャートに示した順序で各処理を実行させるためには、セレクタ５（図１）が、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、クラスコード選択回路８、予測係数更新回路７、デコード回路９および収束判定回路１０、画素値更新回路６、に順次出力するようにすればよい。
【０１３０】
図２１は、同一の原画像を用いて生成された複数の上位階層画像から復元された下位階層画像の原画像に対するS/Nを演算したシミュレーションの結果を表している。なお、縦軸はS/Nを表し、横軸は、一連のエンコード処理を実行した回数（更新回数）を表している。
【０１３１】
図２１の曲線Ａは、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｂは、図２に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｃは、図２に示したフローチャートから、ステップＳ４の画素値更新処理を省略して生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｄは、従来の方法に従って生成された上位階層画像から復元された下位階層画像のS/Nを示している。
【０１３２】
同図の曲線Ａから明らかなように、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像は、特に、更新回数が少ない段階において、他のものよりも高いS/Nを示している。これは、図２０のフローチャートに従えば、所望のS/Nを示す下位階層画像を復元可能な上位階層画像を短い処理時間で生成できることを示している。
【０１３３】
次に、画素値更新回路６の第２の構成例について、図２２を参照して説明する。この構成例は、図８に示した画素値更新回路６の第１の構成例の最適画素値決定回路２２および注目画素決定回路２３を、それぞれ領域最適化回路９１および注目領域決定回路９２に置換したものである。図８の最適画素値決定回路２２が、注目画素だけの画素値を最適化するのに対して、図２２の領域最適化回路９１は、注目領域に含まれる複数の画素の画素値を同時に最適化する。
【０１３４】
注目領域決定回路９２は、上位階層画像の所定のサイズの領域（例えば、７×７画素）を、順次、注目領域に決定し、その位置情報を領域最適化回路９１に出力する。また、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域とした後、スイッチ２４をオンとする制御信号を出力する。
【０１３５】
図２３は、領域最適化回路９１の詳細な構成例を示している。着目画素決定回路１０１は、注目領域の画素を、順次、着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。また、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定した後、スイッチ１０６をオンとする制御信号を出力する。
【０１３６】
クラスコード読取回路１０２は、上位階層画像メモリ３から着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、上位階層画像メモリ３から着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１３７】
誤差関数生成回路１０４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数マトリクスレジスタ１０５に出力する。影響誤差関数マトリクスレジスタ１０５は、注目領域内の全ての着目画素に対応する誤差関数を用いて、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１３８】
注目領域画素値演算回路１０７は、スイッチ１０６を介して入力された影響誤差関数マトリクスを解いて注目領域内の画素の画素値を演算する（その詳細については後述する）。
【０１３９】
次に、画素値更新回路６の第２の構成例の動作について、図２４のフローチャートを参照して説明する。この画素値更新処理においては、注目領域以外の画素の画素値が固定されて、注目領域内の画素の画素値が最適化される。画素値更新処理は、セレクタ５から入力された上位階層画像が画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【０１４０】
ステップＳ１１１において、注目領域決定回路９２は、上位階層画像の７×７画素を注目領域に決定し、その位置情報を領域最適化回路９１に出力する。領域最適化回路９１の着目画素決定回路１０１は、ステップＳ１１２において、注目領域内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。
【０１４１】
ステップＳ１１３において、クラスコード読取回路１０２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１４２】
ステップＳ１１４において、誤差関数生成回路１０４は、着目画素に対応する誤差関数を生成して影響誤差関数マトリクスレジスタ１０５に出力する。
【０１４３】
ステップＳ１１５において、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定したか否かを判定し、全ての画素が着目画素に決定されていないと判定された場合、ステップＳ１１２に戻り、それ以降の処理が繰り返される。ステップＳ１１５において、注目領域内の全ての画素が着目画素に決定されたと判定された場合、ステップＳ１１６に進む。
【０１４４】
ステップＳ１１６において、着目画素決定回路１０１は、スイッチ１０６をオンとする制御信号を出力する。影響誤差関数マトリクスレジスタ１０５は、入力された着目画素に対応する誤差関数から、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１４５】
ここで、注目領域、予測タップ、誤差関数、および影響誤差関数マトリクスについて説明する。注目領域は、図２５(A)に示すように、７×７画素の４９個の画素から構成され、その左上角を１番目とした場合、ｊ番目の画素ｊが着目画素とされたとき、着目画素ｊに対応する予測タップ（tapsｊ）として、図２５(B)に示すように、画素ｊを中心とする５×５画素の２５個の画素が抽出される。したがって、図２５(A)においてｓ＝４９であり、図２５(B)においてｔ＝２５である。
【０１４６】
また、注目領域(area)と、着目画素ｊに対する予測タップ（tapsｊ）について、３種類の範囲（Ａ１ｊ乃至Ａ３ｊ）が設定される。ただし、範囲Ａ１ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属さない範囲とされ、範囲Ａ２ｊは、予測タップ（tapsｊ）に属さない、かつ、注目領域(area)に属する範囲とされ、範囲Ａ３ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属する範囲とされる。
【０１４７】
さて、上位階層画像の着目画素ｊに対応する、下位階層画像の画素値（予測値）ｙ’ｊは、次式（５）で表すことができる。なお、以下において、上付き文字（例えば、ｙ’ｊのｊ）は注目領域における番号を示し、下付き文字（例えば、ｗｔのｔ）は、予測タップ内における番号を示すものとする。
【０１４８】
【数６】
0004200403.tif 000007
【０１４９】
また、ｘｐｊは、着目画素ｊの予測タップ（tapsｊ）のｐ番目の画素値であり、ｗｐｊは、着目画素ｊのクラスコードに対応した係数ベクトルの、ｘｐｊにかかる係数である。ただし、実際には、上位階層画像の１個の着目画素には、下位階層画像の９個の画素が対応するので、式（５）と同様の式が、他に８本生成される。
【０１５０】
ここで、予測値ｙ’ｊに対応する真値（原画像の画素値）をｙｊとすれば、その誤差ｅｊは、次式（６）で示される。
【０１５１】
【数７】
0004200403.tif 000008
【０１５２】
ただし、
【０１５３】
【数８】
0004200403.tif 000009
【０１５４】
である。
【０１５５】
なお、ｎ’は、注目領域(area)内における番号ｎを、予測タップ（tapsｊ）における番号に変換した値である。また、範囲Ａ１ｊに位置する画素の画素値は、更新しないので、ｙ''ｊは固定値である。したがって、着目画素に対応する自乗誤差を求めるには、式（６）と同様の式を、他に８本生成し、それぞれを２乗して足し合わせればよい。その結果を誤差関数Ｅｋとする。
【０１５６】
注目領域(area)内の全ての画素に対応する誤差関数Ｅｋを足し合わせたものを影響誤差関数Ｅａｒｅａとする。
【０１５７】
【数９】
0004200403.tif 000010
【０１５８】
ここで、既に述べたように、Ｅｋは、（ｅｋ）２を９つ足し合わせたものであるが、簡略化するために、Ｅｋ＝（ｅｋ）２とする。
【０１５９】
次に、注目領域(area)内における番号ｎに対応する画素の画素値をｘｉとし、影響誤差関数Ｅａｒｅａの値を最小にする画素値ｘ１乃至ｘｓを最小自乗法により求める。
【０１６０】
まず、式（８）の画素値ｘｉによる偏微分係数（次式（９））を求め、その値が０となるように画素値ｘｉを決定する。
【数１０】
0004200403.tif 000011
【０１６１】
ここで、式（７）に基づいて、ＷｊｉおよびＹｉを次式（１０）のように定める。
【０１６２】
【数１１】
0004200403.tif 000012
【０１６３】
式（９）の値を０として、次式（１１）のような行列式を得る。
【０１６４】
【数１２】
0004200403.tif 000013
【０１６５】
ここで、式（１０）のＷｊｉおよびＹｉは、９画素分に対応して値があるので、それらを足し合わせた行列式（１）を影響誤差関数マトリクスとする。
【０１６６】
図２４のステップＳ１１７の説明に戻る。ステップＳ１１７において、注目領域画素値演算回路１０７は、入力された影響誤差関数マトリクスに対し、掃き出し法等の一般的な行列解法を適用して、画素値ｘ１乃至ｘｓを演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された画素値ｘ１乃至ｘｓを用いて、それまで記憶していた値を更新する。
【０１６７】
ステップＳ１１８において、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域に決定したか否かを判定し、全ての画素を注目領域に決定していないと判定した場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０１６８】
その後、ステップＳ１１８において、上位階層画像の全ての画素が注目領域に決定されたと判定された場合、注目領域決定回路９２は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。
【０１６９】
このように、領域単位で処理すると、より高いS/Nの画像を得ることができる。
【０１７０】
図２６は、本発明を適用したエンコーダの第２の構成例を表している。このエンコーダ１１１は、図１に示したエンコーダ１の収束判定回路１０の後段に予測係数拡張回路１１２を追加したものである。予測係数拡張回路１１２は、収束判定回路１０が出力した、４ビット（１６種類）のクラスコードに対応する予測係数テーブルを、５ビット（３２種類）の拡張クラスコードに対応するさせるものである。
【０１７１】
予測係数拡張回路１１２の詳細な構成例について、図２７を参照して説明する。収束判定回路１０から入力された上位階層画像は、予測係数拡張回路１１２において、予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に供給される。着目画素決定回路１２１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０１７２】
予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。
【０１７３】
空間クラスコード判定回路１２４は、着目画素の空間クラスコードを判定する。すなわち、図２８に示すように、着目画素の画素値と、その近傍（例えば、左隣の画素）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０１７４】
なお、空間クラスコードのビット数は、１ビットに限定されるものではなく、複数ビットであってもよい。また、空間クラスコードを上述した方法によって決定するのではなく、例えば、１ビットADRC処理や微分値や差分値から決定してもよい。
【０１７５】
教師データ抽出回路１２５は、原画像から教師データ（予測タップを用いて生成される下位階層画像の画素値の真値）を抽出して正規方程式生成回路１２６に出力する。正規方程式生成回路１２６は、着目画素の拡張クラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０１７６】
予測係数演算回路１２７は、入力された正規方程式に最小自乗法を適用して３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、後段に出力する。なお、正規方程式生成回路１２６からの正規方程式が解けない場合、予測係数演算回路１２７は、予測係数メモリ４から供給される１６種類（４ビット）のクラスコードに対応した予測係数テーブルを後段に出力する。
【０１７７】
次に、予測係数拡張回路１１２の動作について、図２９のフローチャートを参照して説明する。この予測係数拡張処理は、収束判定回路１０から最適上位階層画像が入力されたときに開始される。
【０１７８】
ステップＳ１２１において、着目画素決定回路１２１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０１７９】
ステップＳ１２２において、クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。ステップＳ１２３において、空間クラスコード判定回路１２４は、着目画素の画素値と、その近傍の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０１８０】
ステップＳ１２４において、予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。
【０１８１】
ステップＳ１２５において、正規方程式生成回路１２６は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０１８２】
ステップＳ１２６において、着目画素決定回路１２１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ１２１に戻り、それ以降の処理が繰り返される。ステップＳ１２６において、全ての画素を着目画素としたと判定された場合、ステップＳ１２７に進む。
【０１８３】
ステップＳ１２７において、予測係数演算回路１２７は、ステップＳ１２５で正規方程式生成回路１２６が生成した正規方程式に最小自乗法を適用し、３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、得られた予測係数（予測係数テーブル）を後段に出力する。
【０１８４】
以上のように、予測係数拡張回路１１２では、予測係数を拡張クラスコード（５ビット）に対応させるが、着目画素の画素データのLSB側の５ビットに拡張クラスコードを書き込むわけではなく、着目画素の画素値（画素データのMSB側の４ビット）を変化させないので、この上位階層画像から生成される下位階層画像に階調欠如を発生させることはない。
【０１８５】
図３０は、図２６に示したエンコーダ１１１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。
【０１８６】
このデコーダ１３１は、図１８に示したデコーダ８１に空間クラスコード判定回路１３２を追加したものである。空間クラスコード判定回路１３２には、エンコーダ１からの上位階層画像、着目画素決定回路８２からの着目画素の位置情報、およびクラスコード読取回路８３からのクラスコード（着目画素の画素データのLSB側の４ビット）が入力される。
【０１８７】
空間クラスコード判定回路１３２は、着目画素の画素値と、その所定の近傍（いまの場合、左隣）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。なお、空間クラスコード判定回路１３２以外の構成回路については、図１８に示したものと同様であるので、その説明は省略する。
【０１８８】
次に、デコーダ１３１の動作について、図３１のフローチャートを参照して説明する。このデコード処理は、エンコーダ１１１が出力した予測係数テーブルが、マッピング回路８５に供給された後、順次入力されるフレーム単位の上位階層画像に対して実行される。
【０１８９】
ステップＳ１３１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３、予測タップ抽出回路８４、および空間クラスコード判定回路１３２に出力する。ステップＳ１３２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、空間クラスコード判定回路１３２に出力する。
【０１９０】
ステップＳ１３３において、空間クラスコード判定回路１３２は、着目画素の画素値と、その左隣の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。
【０１９１】
ステップＳ１３４において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１９２】
ステップＳ１３５において、マッピング回路８５は、空間クラスコード判定回路１３２より入力される拡張クラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１９３】
ステップＳ１３６において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ１３１乃至Ｓ１３６の処理が繰り返される。ステップＳ１３７において、全ての画素を着目画素としたと判定された場合、ステップＳ１３７で下位階層画像メモリ８６から下位階層画像の画素値がフレーム単位で、図示せぬモニタに出力される。
【０１９４】
図３２は、図２６に示したエンコーダ１１１で生成された上位階層画像を用い、図３０に示したデコーダ１３１が復元した下位階層画像の原画像に対するS/Nを演算したシミュレーションの結果を表している。同図から明らかなように、LSB側４ビットをクラスコードとして繰り返し更新を実行してS/Nが収束した後（更新回数２０回目まで）、更新回数２１回目において、予測係数を３２種類（５ビット）の拡張クラスコードに対応させることにより、さらにS/Nが向上する。
【０１９５】
なお、本実施の形態においては、画素データを８ビットとして、そのMSB側の４ビットを画素値、LSB側の４ビットをクラスコードとしたが、これらのビット数は変更してもかまわない。また、そのMSB側をクラスコードとし、LSB側を画素値としてもかまわない。さらに、画素値とクラスコードを分離して記憶するようにしてもかまわない。
【０１９６】
また、クラスタップ、予測タップ、および、画素値の更新を行う領域等の形状は、上述したものに限定されず、例えば、円形や不連続な形状でもよい。また、対称形状であってもよいし、非対称形状であってもよい。
【０１９７】
また、本実施の形態においては、原画像を、より少ない画素数からなる、原画像に復元可能な画像に変換したが、例えば、原画像を、原画像と同じ画素数からなる画像であって、かつ、１画素当たりの情報量（例えば、５ビット）が、原画像の１画素当たりの情報量（例えば、８ビット）よりも少ない、原画像に復元可能な画像に変換する場合にも、本発明を適用することが可能である。
【０１９８】
また、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考えられる。したがって、本発明の主旨は本実施の形態に限定されるものではない。
【０１９９】
なお、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０２００】
【発明の効果】
以上のように、請求項１に記載の画像符号化装置、請求項４に記載の画像符号化方法、および請求項５に記載の記録媒体によれば、第１の画像の画素に対応する空間クラスコードを生成し、クラスコードと空間クラスコードを用いて拡張クラスコードを生成して、拡張クラスコードに対応する拡張予測係数を生成するようにしたので、階調欠如を発生させることなく、原画像により近い画像を生成可能な上位階層画像を生成することが可能となる。
【０２０１】
また、請求項６に記載の画像復号装置、請求項７に記載の画像復号方法、および請求項８に記載の記録媒体によれば、着目画素の画素データの所定の部分からクラスコードを読み出し、着目画素の対応する空間クラスコードを判定して、読み出したクラスコードと判定した空間クラスコードを用いて拡張クラスコードを生成し、生成した拡張クラスコードに対応する拡張予測係数を用いて原画像の画素値を復元するようにしたので、入力された上位階層画像から、階調欠如を発生させることなく、原画像により近い画像を生成を生成することが可能となる。
【０２０２】
さらに、請求項９に記載の画像伝送システム、および請求項１０に記載の画像伝送方法によれば、第１の画像の画素に対応する空間クラスコードを生成し、クラスコードと空間クラスコードを用いて拡張クラスコードを生成して、拡張クラスコードに対応する拡張予測係数を生成するようにしたので、階調欠如を発生させることなく、原画像により近い画像を生成可能な上位階層画像を生成することが可能となる。また、着目画素の画素データの所定の部分からクラスコードを読み出し、着目画素に対応する空間クラスコードを判定して、読み出したクラスコードと判定した空間クラスコードを用いて拡張クラスコードを判定し、判定した拡張クラスコードに対応する拡張予測係数を用いて原画像の画素値を復元するようにしたので、入力された上位階層画像から、階調欠如を発生させることなく、原画像により近い画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダ１の第１の構成例を示すブロック図である。
【図２】図１のエンコーダ１の動作を説明するフローチャートである。
【図３】図１の前処理回路２の動作を説明するフローチャートである。
【図４】図３のステップＳ１１の詳細を説明するフローチャートである。
【図５】画素の配置を説明する図である。
【図６】画素データを説明する図である。
【図７】図３のステップＳ１２の詳細を説明するフローチャートである。
【図８】図１の画素値更新回路６の第１の構成例を示すブロック図である。
【図９】図８の最適画素値決定回路２２の構成例を示すブロック図である。
【図１０】図８の画素値更新回路６の動作を説明するフローチャートである。
【図１１】画素の配置を説明する図である。
【図１２】図１の予測係数更新回路７の構成例を示すブロック図である。
【図１３】図１２の予測係数更新回路７の動作を説明するフローチャートである。
【図１４】図１のクラスコード選択回路８の構成例を示すブロック図である。
【図１５】図１４のクラスコード選択回路８の動作を説明するフローチャートである。
【図１６】図１のデコード回路９の構成例を示すブロック図である。
【図１７】図１６のデコード回路９の動作を説明するフローチャートである。
【図１８】図１に示したエンコーダ１に対応するデコータ８１の構成例を示すブロック図である。
【図１９】図１８のデコーダ８１の動作を説明するフローチャートである。
【図２０】図１のエンコーダ１の他の動作を説明するフローチャートである。
【図２１】シミュレーション結果を示す図である。
【図２２】図１の画素値更新回路６の第２の構成例を示すブロック図である。
【図２３】図２２の領域最適化回路９１の構成例を示すブロック図である。
【図２４】図２２の画素値更新回路６の動作を説明するフローチャートである。
【図２５】影響誤差関数マトリクスを説明するための図である。
【図２６】本発明を適用したエンコーダの第２の構成例を示すブロック図である。
【図２７】図２６の予測係数拡張回路１１２の構成例を示すブロック図である。
【図２８】拡張クラスコードを説明するための図である。
【図２９】図２７の予測係数拡張回路１１２の動作を説明するフローチャートである。
【図３０】図２６のエンコーダ１の対応するデコーダ１３１の構成例を示すブロック図である。
【図３１】図３０のデコーダ１３１の動作を説明するフローチャートである。
【図３２】シミュレーション結果を示す図である。
【符号の説明】
１  エンコーダ，  ２  前処理回路，  ３  上位階層画像メモリ，  ４  予測係数メモリ，  ５  セレクタ，  ６  画素値更新回路，  ７  予測係数更新回路，  ８  クラスコード選択回路，  ９  デコード回路，  １０  収束判定回路，１１  更新回数カウンタ，  ２２  最適画素値決定回路，  ８１  デコーダ，８２  着目画素決定回路，  ８３  クラスコード読取回路，  ８４  予測タップ抽出回路，  ８５  マッピング回路，  ８６  下位階層画像メモリ，  ９１  領域最適化回路，  １１１  エンコーダ，  １１２  予測係数拡張回路，  １２４  空間クラスコード判定回路，  １３１  デコーダ，  １３２  空間クラスコード判定回路
【図１】
0004200403.tif 000014
【図２】
0004200403.tif 000015
【図３】
0004200403.tif 000016
【図４】
0004200403.tif 000017
【図５】
0004200403.tif 000018
【図６】
0004200403.tif 000019
【図７】
0004200403.tif 000020
【図８】
0004200403.tif 000021
【図９】
0004200403.tif 000022
【図１０】
0004200403.tif 000023
【図１１】
0004200403.tif 000024
【図１２】
0004200403.tif 000025
【図１３】
0004200403.tif 000026
【図１４】
0004200403.tif 000027
【図１５】
0004200403.tif 000028
【図１６】
0004200403.tif 000029
【図１７】
0004200403.tif 000030
【図１８】
0004200403.tif 000031
【図１９】
0004200403.tif 000032
【図２０】
0004200403.tif 000033
【図２１】
0004200403.tif 000034
【図２２】
0004200403.tif 000035
【図２３】
0004200403.tif 000036
【図２４】
0004200403.tif 000037
【図２５】
0004200403.tif 000038
【図２６】
0004200403.tif 000039
【図２７】
0004200403.tif 000040
【図２８】
0004200403.tif 000041
【図２９】
0004200403.tif 000042
【図３０】
0004200403.tif 000043
【図３１】
0004200403.tif 000044
【図３２】
0004200403.tif 000045