(57)【特許請求の範囲】
【請求項１】
画像を符号化する画像符号化装置であって、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成手段と、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正手段と、
前記第２の数値を用いた前記変更処理と、前記更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正手段と、
前記第１の補正手段により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元手段と、
前記第２の補正手段により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元手段と、
前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択手段と、
選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定手段と、
前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力手段と
を備える画像符号化装置。
【請求項２】
前記第１の補正手段は、前記第２の補正手段と並列に処理を行う
請求項１に記載の画像符号化装置。
【請求項３】
画像を符号化する画像符号化装置の画像符号化方法であって、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成ステップと、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正ステップと、
前記第２の数値を用いた前記変更処理と、前記更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正ステップと、
前記第１の補正ステップの処理により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元ステップと、
前記第２の補正ステップの処理により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元ステップと、
前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択ステップと、
選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定ステップと、
前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力ステップと
を含む画像符号化方法。
【請求項４】
画像を符号化する画像符号化処理用のプログラムであって、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成ステップと、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正ステップと、
前記第２の数値を用いた前記変更処理と、前記更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正ステップと、
前記第１の補正ステップの処理により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元ステップと、
前記第２の補正ステップの処理により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元ステップと、
前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択ステップと、
選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定ステップと、
前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項５】
画像を符号化する画像符号化装置、および符号化された画像を復号する画像復号装置から構成される画像処理システムにおいて、
前記画像符号化装置は、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成手段と、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正手段と、
前記第２の数値を用いた前記変更処理と、前記更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正手段と、
前記第１の補正手段により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元手段と、
前記第２の補正手段により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元手段と、
前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択手段と、
選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定手段と、
前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力手段と
を備え、
前記画像復号装置は、
前記原画像の符号化結果である前記第１の補正データおよび前記第２の補正データのいずれかと前記予測係数に基づいて、補正データである前記圧縮画像から抽出された前記予測タップと前記予測係数との線形結合を行うことによって前記原画像を予測し、その予測値を出力する予測手段を備える
画像処理システム。
【請求項６】
画像を符号化する画像符号化装置であって、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成手段と、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正手段と、
補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元手段と、
前記復元手段により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力手段と
を備える画像符号化装置。
【請求項７】
画像を符号化する画像符号化装置の画像符号化方法であって、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成ステップと、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正ステップと、
補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元ステップと、
前記復元ステップの処理により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力ステップと
を含む画像符号化方法。
【請求項８】
画像を符号化する画像符号化処理用のプログラムであって、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成ステップと、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正ステップと、
補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元ステップと、
前記復元ステップの処理により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項９】
画像を符号化する画像符号化装置、および符号化された画像を復号する画像復号装置から構成される画像処理システムにおいて、
前記画像符号化装置は、
原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、
前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成手段と、
前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成とともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正手段と、
補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元手段と、
前記復元手段により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力手段と
を備え、
前記画像復号装置は、
前記原画像の符号化結果に基づいて、補正データである前記圧縮画像から抽出された前記予測タップと前記予測係数との線形結合を行うことによって前記原画像を予測し、その予測値を出力する予測手段を備える
画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および方法、記録媒体、並びに画像処理システムに関し、特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば、間引くことにより符号化する画像符号化装置および方法、記録媒体、並びに画像処理システムに関する。
【０００２】
【従来の技術】
本出願人は、特願平８−２０６５５２号として、低解像度の画像を用いて、高解像度の画像を生成する技術を提案した。この技術によれば、高解像度の原画像を縮小した低解像度画像（例えば、原画像の９分の１の画素数の画像）を用いて原画像とほぼ同一の高解像度画像を復元することができる。
【０００３】
この提案においては、図１に示すように、低解像度画像（以下、上位階層画像とも称する）の注目画素Ｉに対応する位置の高解像度画像（復元画像）（以下、下位階層画像とも称する）の画素ｉを中心とする３×３個の画素ａ乃至ｉの画素値を、その近傍に位置する低解像度画像の複数の画素（例えば、３×３個の画素Ａ乃至Ｉ）と所定の予測係数との線形１次結合等を演算することにより求めている。
【０００４】
さらに、この提案において、その復元画像の画素値と原画像の画素値との誤差が演算され、その結果に対応して、低解像度画像の画素値、または予測係数の更新の処理が繰り返される。
【０００５】
復号された画像の誤差が予め定めた閾値より小さくなったとき、低解像度画像は、例えば、符号化データとして出力される。
【０００６】
【発明が解決しようとする課題】
しかしながら、低解像度画像の画素値、または予測係数の更新を繰り返す方法は、復元画像の画素値と原画像の画素値との誤差を徐々に小さくしていくものの、低解像度画像の画素値、または予測係数の更新の処理の回数を多くしても、低解像度画像から復号された画像の誤差がある値より小さくならないという問題点があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、より迅速に、より小さな誤差で画像を復元できる低解像度画像である符号化データを求めることができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の画像符号化装置は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成手段と、前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正手段と、前記第２の数値を用いた前記変更処理と、前記更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正手段と、前記第１の補正手段により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元手段と、前記第２の補正手段により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元手段と、前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択手段と、選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定手段と、前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力手段とを備える。
【００１１】
第１の補正手段は、第２の補正手段と並列に処理を行うようにすることができる。
【００１２】
本発明の第１の画像符号化方法は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成ステップと、前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正ステップと、前記第２の数値を用いた前記変更処理と、前記更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正ステップと、前記第１の補正ステップの処理により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元ステップと、前記第２の補正ステップの処理により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元ステップと、前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択ステップと、選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定ステップと、前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力ステップとを含む。
【００１３】
本発明の第１の記録媒体は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成ステップと、前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正ステップと、前記第２の数値を用いた前記変更処理と、前記更新処理とを行うステップであって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正ステップと、前記第１の補正ステップの処理により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元ステップと、前記第２の補正ステップの処理により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元ステップと、前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択ステップと、選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定ステップと、前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００１４】
本発明の第１の画像処理システムの画像符号化装置は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を生成する生成手段と、前記圧縮画像の各画素の画素値に、対応する乱数として生成された前記第１の数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第１の補正手段と、前記第２の数値を用いた前記変更処理と、前記更新処理とを行う手段であって、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する第２の補正手段と、前記第１の補正手段により生成された前記第１の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第１の復元画像を生成する第１の復元手段と、前記第２の補正手段により生成された前記第２の補正データである前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって第２の復元画像を生成する第２の復元手段と、前記第１の復元画像と前記原画像の誤差と、前記第２の復元画像と前記原画像の誤差をそれぞれ算出し、誤差の小さい復元画像の生成に用いられた方を選択するように、前記第１の補正データおよび前記第２の補正データのいずれかを選択する選択手段と、選択された前記第１の補正データおよび前記第２の補正データのいずれかの適正さを、選択された方の補正データを用いて生成された復元画像と前記原画像の誤差の対応する画素毎の積算値が閾値より小さいか否かに基づいて判定する判定手段と、前記積算値が前記閾値より小さい場合、選択された前記第１の補正データおよび前記第２の補正データのいずれかと、選択された補正データとともに生成された前記予測係数を前記原画像の符号化結果として出力する出力手段とを備え、画像復号装置は、前記原画像の符号化結果である前記第１の補正データおよび前記第２の補正データのいずれかと前記予測係数に基づいて、補正データである前記圧縮画像から抽出された前記予測タップと前記予測係数との線形結合を行うことによって前記原画像を予測し、その予測値を出力する予測手段とを備える。
【００１５】
本発明の第２の画像符号化装置は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成手段と、前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正手段と、補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元手段と、前記復元手段により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力手段とを備える。
【００１８】
本発明の第２の画像符号化方法は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成ステップと、前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正ステップと、補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元ステップと、前記復元ステップの処理により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力ステップとを含む。
【００１９】
本発明の第２の記録媒体は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮ステップと、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成ステップと、前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行うステップであって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成するとともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正ステップと、補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元ステップと、前記復元ステップの処理により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００２０】
本発明の第２の画像処理システムの画像符号化装置は、原画像を低解像度化することによって圧縮画像を生成するとともに、前記原画像の画素を教師データとして、前記教師データと、前記圧縮画像から抽出した、隣接する所定の数の画素からなる予測タップとに基づいて、前記予測タップを構成する各画素の画素値との線形結合によって前記教師データを予測するのに用いられる、前記圧縮画像の特徴を元に分類されるクラス毎の予測係数を取得する圧縮手段と、前記圧縮画像の各画素に対応する乱数である第１の数値および第２の数値を順次生成する生成手段と、前記圧縮画像の各画素の画素値に、対応する乱数として生成された数値を加算して画素値を変更する処理である変更処理と、前記変更処理が施されることによって得られた前記圧縮画像を対象として、前記圧縮画像を構成する各画素を注目画素とし、前記注目画素を中心とする前記予測タップを前記圧縮画像から抽出し、抽出した前記予測タップを構成する各画素の画素値と、前記圧縮画像の特徴を元に分類されるクラスに対応する前記予測係数との線形結合により求められる復元画像と、前記原画像との誤差を、誤差を求める毎に前記注目画素の画素値を１ずつインクリメントして所定の最終の値になるまで繰り返し求め、誤差が最小になる画素値を有する前記注目画素からなる前記圧縮画像を生成する処理である更新処理とを行う手段であって、前記第１の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第１の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第１の補正データとして生成するとともに、前記原画像と前記第１の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新し、前記第２の数値が生成された場合、前記更新処理を行った後にはその前記更新処理によって得られた前記圧縮画像を対象とした前記変更処理を行うようにして、前記第２の数値を用いた前記変更処理を１回行う毎に前記更新処理を所定の回数だけ行い、最後の前記更新処理により得られた前記圧縮画像を第２の補正データとして生成とともに、前記原画像と前記第２の補正データである前記圧縮画像に基づいて、前記予測係数を、前記圧縮画像から抽出した前記予測タップを構成する各画素の画素値との線形結合によって前記原画像の対応する画素の画素値を予測するのに用いられるものになるように更新する補正手段と、補正データとして生成された前記圧縮画像から抽出された前記予測タップと、前記圧縮画像の特徴を元に分類されるクラスに対応する、更新された前記予測係数との線形結合を行うことによって復元画像を生成する復元手段と、前記復元手段により生成された前記復元画像と前記原画像の誤差を評価値として算出し、評価値の最もよい前記復元画像の生成に用いられた補正データと、その補正データとともに生成された前記予測係数を出力する出力手段とを備え、前記画像復号装置は、前記原画像の符号化結果に基づいて、補正データである前記圧縮画像から抽出された前記予測タップと前記予測係数との線形結合を行うことによって前記原画像を予測し、その予測値を出力する予測手段を備える。
【００２５】
【発明の実施の形態】
図２は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００２６】
送信装置１には、ディジタル化された画像データが供給される。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる情報記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００２７】
受信装置４では、情報記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００２８】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、送信装置１が出力する符号化データのデータ量が少ないため、図２の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００２９】
図３は、図２の送信装置１の構成例を示している。
【００３０】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行う。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶する。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行う。
【００３１】
外部記憶装置１５は、例えば、ハードディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。また、外部記憶装置１５は、ＣＰＵ１４の制御の基に、装着された磁気ディスク１７、光ディスク１８、光磁気ディスク１９、または半導体メモリ２０から、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを読み出す。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、情報記録媒体２に記録し、または伝送路３を介して伝送する。
【００３２】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３３】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、情報記録媒体２に記録され、または伝送路３を介して伝送される。
【００３４】
図４は、図３の送信装置１の、送信機／記録装置１６を除く部分の機能的な構成例を示している。
【００３５】
符号化すべき画像データは、前処理回路５１、遅延回路５５、上位階層画像更新回路５８、および予測係数更新回路６０に供給される。前処理回路５１は、入力された画像データを基に、初期上位階層画像および初期予測係数を生成して、スイッチ５３および上位階層画像変更回路５９を介して、初期上位階層画像をマッピング回路５４および上位階層画像更新回路５８に供給し、スイッチ５２を介して、初期予測係数をマッピング回路５４および上位階層画像更新回路５８に供給する。
【００３６】
例えば、前処理回路５１は、供給された画像データ（原画像（高解像度画像））を、３画素×３画素からなる複数のブロックに分割し、各ブロック内の９画素の画素値の平均値をブロックの中心に位置する上位階層画像（低解像度画像）の画素の画素値として、初期上位階層画像を生成する。この場合、上位階層画像は、原画像の縦および横の画素数が１／３に縮小されたものとなる。
【００３７】
スイッチ５２は、更新回数カウンタ５７から供給される制御信号により切換られ、前処理回路５１から供給された初期予測係数、または予測係数更新回路６０から供給された、更新された予測係数のいずれか１つを、マッピング回路５４に出力する。
【００３８】
スイッチ５３は、更新回数カウンタ５７から供給される制御信号により切換られ、前処理回路５１から供給された初期上位階層画像、または上位階層画像更新回路５８から供給された、更新された上位階層画像のいずれか１つを、上位階層画像変更回路５９に出力する。
【００３９】
更新カウンタ５７は、収束判定回路５６から供給される信号に基づいて、インクリメントされるか、またはリセットされるカウンタを有し、カウンタのカウンタ値に基づいて、スイッチ５２およびスイッチ５３を制御する。
【００４０】
すなわち、更新カウンタ５７は、前処理回路５１から初期上位階層画像および初期予測係数が供給されたとき、初期予測係数がマッピング回路５４に供給されるようにスイッチ５２を制御するとともに、初期上位階層画像が上位階層画像変更回路５９に供給されるようにスイッチ５３を制御する。更新カウンタ５７は、上位階層画像更新回路５８から更新された上位階層画像が供給され、予測係数更新回路６０から更新された予測係数が供給されたとき、更新された予測係数がマッピング回路５４に供給されるようにスイッチ５２を制御するとともに、更新された上位階層画像が上位階層画像変更回路５９に供給されるようにスイッチ５３を制御する。
【００４１】
また、更新カウンタ５７は、カウンタのカウンタ値に基づいて、上位階層画像変更回路５９に上位階層画像を変更させるか否かを制御する。
【００４２】
遅延回路５５は、入力された画像データを、マッピング回路５４が下位階層画像を生成する時間、遅延して、収束判定回路５６に出力する。
【００４３】
マッピング回路５４は、初期上位階層画像および初期予測係数が供給されたとき、初期上位階層画像および初期予測係数を基に、下位階層画像を生成して、収束判定回路５６に供給する。マッピング回路５４は、画素値が更新または変更された上位階層画像、および更新された予測係数が供給されたとき、画素値が更新され、または変更された上位階層画像、および更新された予測係数を基に、下位階層画像を生成して、収束判定回路５６に供給する。
【００４４】
図５は、マッピング回路５４の構成を示す図である。クラス分類回路８１は、マッピング回路５４に供給された上位階層画像に、例えば、１ビットＡＤＲＣ（Adaptive Dynamic Range Coding）の処理を適用して、上位階層画像の特徴を基にクラス分類した結果を示すクラスを算出して、算出したクラスを復号回路８３に供給する。予測タップ抽出回路８２は、マッピング回路５４に供給された上位階層画像から、予測タップを抽出して、抽出した予測タップを復号回路８３に供給する。
【００４５】
復号回路８３は、マッピング回路５４に供給された予測係数（各クラスに対応する予測係数から成る）から、クラスに対応する予測係数を選択して、選択した予測係数と予測タップとを基に、演算を実行して下位階層画像である復元画像を生成し、生成した下位階層画像を下位階層画像メモリ８４に出力する。
【００４６】
例えば、復号回路８３は、式（１）に示すように、上位階層画像の中心画素（例えば、図１の画素Ｉ）に対応する位置の下位階層画像の画素（画素ｉ）を中心とする３画素×３画素（画素ａ乃至画素ｉ）の画素値Ｙｎ（ｎ＝０，１，２，・・・，８）として、画素Ａ乃至Ｉの画素値Ｘｊ（ｊ＝０，１，２，・・・，８）と、予測係数ｋ（ｎ，ｊ）との線形１次結合による演算を行い、その演算結果を下位階層画像メモリ８４に出力する。
【００４７】
Ｙｎ＝Σｋ（ｎ，ｊ）Ｘｊ                                （１）
【００４８】
下位階層画像メモリ８４は、復号回路８３から供給された下位階層画像である復元画像を順次記憶し、画像全体についてマッピング回路５４の処理が終了したとき、記憶している下位階層画像である復元画像の全体を出力する。
【００４９】
収束判定回路５６は、遅延回路５５から供給された画像データ（原画像）、およびマッピング回路５４から供給された下位階層画像（復元画像）を基に、マッピング回路５４から供給された下位階層画像（復元画像）と画像データとの誤差（画面全体で画素毎の差を積算したもの）が予め記憶している閾値より小さいか否かを判定し、マッピング回路５４から供給された下位階層画像（復元画像）と画像データとの誤差が予め記憶している閾値より小さいと判定された場合、上位階層画像を最適上位階層画像データとして出力するとともに、予測係数を最適予測係数として出力する。
【００５０】
なお、収束判定回路５６は、上位階層画像の更新の処理と上位階層画像の変更の処理が所定の回数実行されたとき、上位階層画像を最適上位階層画像データとして出力するとともに、予測係数を最適予測係数として出力するようにしてもよい。
【００５１】
また、収束判定回路５６は、誤差の変化量（前回の処理における誤差と今回の処理における誤差の差）、誤差の大きさ、並びに更新の処理の回数および変更の処理の回数などを基に、所定の判定の処理を実行して、判定の結果に対応して、上位階層画像を最適上位階層画像データとして出力するとともに、予測係数を最適予測係数として出力するようにしてもよい。
【００５２】
マッピング回路５４から供給された下位階層画像（復元画像）と画像データとの誤差が予め記憶している閾値以上であると判定された場合、収束判定回路５６は、更新回数カウンタ５７に制御信号を供給して、更新回数カウンタ５７にカウンタ値をインクリメントさせる。
【００５３】
上位階層画像更新回路５８は、画像データ（原画像）、供給された予測係数、および上位階層画像を基に、復元画像の画素値と画像データの画素値との誤差が小さくなるように、上位階層画像の画素値を更新し、画素値を更新した上位階層画像をスイッチ５３、マッピング回路５４、および予測係数更新回路６０に出力する。
【００５４】
図６は、上位階層画像更新回路５８の構成を説明する図である。上位階層画像データメモリ１０１は、上位階層画像更新回路５８に供給された上位階層画像を記憶し、記憶している上位階層画像を最適画素値決定回路１０２およびスイッチ１０３に供給する。
【００５５】
最適画素値決定回路１０２は、上位階層画像データメモリ１０１から供給された上位階層画像、並びに上位階層画像更新回路５８に供給された予測係数および画像データ（原画像）を基に、注目画素決定回路１０４から供給された画素値位置信号に対応する画素（以下、注目画素と称する）の最適画素値を算出して、上位階層画像データメモリ１０１に、注目画素の画素値を最適画素値に置き換えさせる。
【００５６】
図７乃至図９は、最適画素値決定回路１０２による注目画素の最適画素値の算出を説明する図である。例えば、図７に示すように、予測タップ（式（１）の演算に利用される、上位階層画像を構成する、注目画素と所定の関係を有する画素）が、注目画素を中心とする５画素×５画素である場合、図８に示す着目画素の画素値y'は、式（２）で算出される。
y'=w1・x1+w2・x2+・・・+wk・xk+・・・+w25・x25          （２）
w1乃至w25は、注目画素のクラスに対応する予測係数である。x1乃至x25は、予測タップの画素値である。1乃至25は、予測タップが５画素×５画素である場合の各タップの番号を示す。wkは、注目画素に対応する予測係数である。xkは、注目画素の画素値である。
【００５７】
注目画素の画素値の変更の影響は、上位階層画像において、予測タップの範囲である、注目画素を中心とする５画素×５画素におよぶ。また、上位階層画像と下位階層画像との関係が図１に示す関係を有する場合、注目画素の画素値の変更の影響は、図９に示すように、下位階層画像において、１５画素×１５画素におよぶ。
【００５８】
クラス分類が非線形処理であるとき、注目画素の画素値を影響が及ぶ範囲においてマッピングの結果を最適にするため、最適画素値決定回路１０２は、注目画素以外の画素の画素値を固定するとともに、注目画素の画素値を変動させて、画素値を変動させた上位階層画像のマッピングの結果と原画像との誤差を算出し、誤差が最小である画素値を注目画素の画素値とする。
【００５９】
例えば、最適画素値決定回路１０２は、注目画素の画素値を０乃至２５５の範囲で変動させ、それに対応する下位階層画像における１５画素×１５画素のマッピングの結果を評価し、誤差が最小である画素値を注目画素の画素値とする。
【００６０】
図１０は、最適画素値決定回路１０２の構成を示す図である。上位階層画像メモリ１０１から供給された上位階層画像は、着目画素決定回路１２１に供給される。注目画素値カウンタ１３０は、最適画素値を決定する処理の最初の処理において、例えば、カウンタ値として０が設定され、設定されたカウンタ値を注目画素の画素値として予測タップ抽出回路１２２およびクラス分類回路１２３に供給する。
【００６１】
着目画素決定回路１２１は、上位階層画像メモリ１０１から供給された上位階層画像から着目画素を決定し、着目画素を特定するデータを予測タップ抽出回路１２２およびクラス分類回路１２３に供給する。
【００６２】
予測タップ抽出回路１２２は、着目画素に対応する予測タップ（注目画素に対応する予測タップは、注目画素値カウンタ１３０により設定された値を有する）を上位階層画像から抽出して、復号回路１２４に供給する。
【００６３】
クラス分類回路１２３は、着目画素に対応して、下位階層画像（注目画素に対応する画素値は、注目画素値カウンタ１３０により設定された値を有する）を基にクラス分類の処理を実行し、クラスを示すデータを復号回路１２４に供給する。
【００６４】
復号回路１２４は、クラスに対応する予測係数、および予測タップを基に、例えば、式（１）に示す演算により下位階層画像を算出して、算出した下位階層画像を順次、下位階層画像メモリ１２５に供給する。
【００６５】
下位階層画像メモリ１２５は、復号回路１２４から供給された下位階層画像を記憶し、注目画素の画素値を変更することにより影響を受ける下位階層画像の画素値の全てを記憶したとき、記憶している下位階層画像を誤差算出回路１２６に出力する。
【００６６】
誤差算出回路１２６は、画像データ（原画像）と下位階層画像メモリ１２５から供給された下位階層画像との誤差を算出し、算出した誤差をスイッチ１２８および比較器１２７に出力する。
【００６７】
比較器１２７は、最小誤差保存用レジスタ１２９から供給された最小誤差（現在までの最小の誤差を示す）と、誤差算出回路１２６から供給された誤差とを比較する。誤差算出回路１２６から供給された誤差が最小誤差保存用レジスタ１２９から供給された最小誤差より小さいと判定された場合、比較器１２７は、制御信号を出力してスイッチ１２８を閉じさせ、最小誤差保存用レジスタ１２９に、差算出回路１２６から供給された誤差を記憶させるとともに、スイッチ１３１を閉じさせ、最適画素値保存用レジスタ１３２に、注目画素値カウンタ１３０のカウンタ値を記憶させる。
【００６８】
比較器１２７は、カウンタインクリメント信号を注目画素値カウンタ１３０に供給し、注目画素値カウンタ１３０にカウンタ値をインクリメントさせる。
【００６９】
カウンタ値をインクリメントしたとき、注目画素値カウンタ１３０は、カウンタ値を注目画素の画素値として予測タップ抽出回路１２２およびクラス分類回路１２３に供給する。
【００７０】
このように、最適画素値決定回路１０２は、例えば、注目画素値カウンタ１３０が０から２５５にインクリメントされるまで、それぞれのカウンタ値を注目画素の画素値とした上位階層画像を基に下位階層画像（復元画像）を生成し、画像データと復元画像との誤差が最小となるカウンタ値を求めて、誤差が最小となるカウンタ値を最適画素値保存用レジスタ１３２に記憶させる。
【００７１】
注目画素値カウンタ１３０が、注目画素値カウンタ１３０のカウント値が２５５になったとき、制御信号をスイッチ１３３に供給してスイッチ１３３を閉じさせるので、最適画素値保存用レジスタ１３２に記憶されている、画像データと復元画像との誤差が最小となるカウンタ値は、最適画素値として出力される。
【００７２】
このように、最適画素値決定回路１０２は、復元した画像と原画像との誤差が最小となる注目画素の画素値を算出して、出力する。
【００７３】
注目画素決定回路１０４は、注目画素とする画素を指定する画素位置信号を最適画素値決定回路１０２に供給する。画素位置信号により、上位階層画像の画素は、順次、注目画素とされる。上位階層画像の全ての画素が注目画素とされ、上位階層画像の全ての画素の最適画素値が算出されて、上位階層画像データメモリ１０１に、上位階層画像の全ての画素の最適画素値が記憶された場合、注目画素決定回路１０４は、制御信号をスイッチ１０３に供給して、上位階層画像データメモリ１０１に記憶されている上位階層画像を更新上位階層画像として出力させる。
【００７４】
以上のように、上位階層画像更新回路５８は、原画像である画像データとの誤差を小さくするように、上位階層画像を更新して、更新した上位階層画像を出力する。
【００７５】
図４に戻り、上位階層画像変更回路５９は、更新回数カウンタ５７の制御の基に、スイッチ５３を介して供給された上位階層画像をそのまま上位階層画像更新回路５８、マッピング回路５４、および予測係数更新回路６０に供給するか、または、例えば、上位階層画像の更新の処理が所定の回数実行されたとき、上位階層画像の画素値を変更し、画素値を変更した上位階層画像を上位階層画像更新回路５８、マッピング回路５４、および予測係数更新回路６０に出力する。
【００７６】
図１１は、上位階層画像変更回路５９の構成を説明する図である。上位階層画像データメモリ１５１は、上位階層画像変更回路５９に供給された上位階層画像を記憶し、記憶している上位階層画像を画素値変更回路１５２およびスイッチ１５５に供給する。
【００７７】
画素値変更回路１５２は、上位階層画像データメモリ１５１から供給された上位階層画像の画素値を、注目画素決定回路１５４から供給された画素位置信号ににより選択する。
【００７８】
変化量決定回路１５３は、更新回数カウンタ５７から供給されるカウンタ値を、上位階層画像変化パラメータとみなして入力し、画素値変化量を決定し、画素値変更回路１５２に供給する。画素値変更回路１５２は、変化量決定回路１５３から供給された画素値変化量を基に、選択された上位階層画像の画素値を変更して、変更した画素値を上位階層画像データメモリ１５１に記憶させる。
【００７９】
図１２は、画素値変更回路１５２および変化量決定回路１５３による画素値の変更の例を説明する図である。変化量決定回路１５３は、上位階層画像の画素毎に、例えば、ガウス分布の乱数を生成し、生成した乱数を画素値変更回路１５２に供給する。画素値変更回路１５２は、受信した乱数を選択された上位階層画像の画素値に加算して、乱数が加算された画素値を上位階層画像データメモリ１５１に記憶させる。
【００８０】
図１２に示す例において、画素値変更回路１５２は、選択された画素の１８である画素値に、変化量決定回路１５３から受信した３である乱数を加算する。画素値変更回路１５２は、選択された画素に、乱数を加算して得られた、２１である画素値を設定して上位階層画像データメモリ１５１に記憶させる。
【００８１】
画素値変更回路１５２は、他の選択された画素の２６である画素値に、変化量決定回路１５３から受信した−５である乱数を加算する。画素値変更回路１５２は、他の選択された画素に、乱数を加算して得られた、２１である画素値を設定して上位階層画像データメモリ１５１に記憶させる。
【００８２】
画素値変更回路１５２は、選択された画素の８５である画素値に、変化量決定回路１５３から受信した２である乱数を加算する。画素値変更回路１５２は、選択された画素に、乱数を加算して得られた、８７である画素値を設定して上位階層画像データメモリ１５１に記憶させる。
【００８３】
画素値変更回路１５２および変化量決定回路１５３は、同様の処理を繰り返して、上位階層画像の画素のそれぞれに異なる値の乱数を加算して、上位階層画像の画素の全てを変更する。
【００８４】
なお、画素値変更回路１５２は、加算以外の処理により、上位階層画像の画素の変更を実行するようにしてもよい。
【００８５】
図１３は、画素値変更回路１５２および変化量決定回路１５３による画素値の変更の他の例を説明する図である。変化量決定回路１５３は、１つの上位階層画像に対して、１つのオフセット（例えば、値が５であるオフセット）を生成し、生成したオフセットを画素値変更回路１５２に供給する。画素値変更回路１５２は、受信したオフセットを上位階層画像の画素値のそれぞれに加算して、オフセットが加算された画素値を上位階層画像データメモリ１５１に記憶させる。
【００８６】
図１３に示す例において、画素値変更回路１５２は、選択された画素の１８である画素値に、変化量決定回路１５３から受信した５であるオフセットを加算する。画素値変更回路１５２は、選択された画素に、オフセットを加算して得られた、２３である画素値を設定して上位階層画像データメモリ１５１に記憶させる。
【００８７】
画素値変更回路１５２は、選択された画素の２６である画素値に、変化量決定回路１５３から受信した５であるオフセットを加算する。画素値変更回路１５２は、選択された画素に、オフセットを加算して得られた、３１である画素値を設定して上位階層画像データメモリ１５１に記憶させる。
【００８８】
画素値変更回路１５２は、選択された画素の８５である画素値に、変化量決定回路１５３から受信した５であるオフセットを加算する。画素値変更回路１５２は、選択された画素に、オフセットを加算して得られた、９０である画素値を設定して上位階層画像データメモリ１５１に記憶させる。
【００８９】
画素値変更回路１５２および変化量決定回路１５３は、同様の処理を繰り返して、上位階層画像の画素のそれぞれに、１つのオフセットを加算して、上位階層画像の画素の全てを変更する。
【００９０】
注目画素決定回路１５４は、注目画素とする画素を指定する画素位置信号を画素値変更回路１５２に供給する。画素位置信号により、上位階層画像の画素は、順次注目画素とされる。上位階層画像の全ての画素が注目画素とされ、上位階層画像の全ての画素の画素値が変更されて、上位階層画像データメモリ１５１に、上位階層画像の全ての画素の変更された画素値が記憶された場合、注目画素決定回路１５４は、制御信号をスイッチ１５５に供給し、上位階層画像データメモリ１５１に記憶されている上位階層画像を変更後の上位階層画像として出力させる。
【００９１】
以上のように、上位階層画像変更回路５９は、上位階層画像の画素値を変更して、画素値を変更した上位階層画像を出力する。
【００９２】
予測係数更新回路６０は、画像データ（原画像）、および、画素値が更新されたか、または画素値が変更された上位階層画像を基に、予測係数を更新して、更新した予測係数を更新予測係数として、スイッチ５２を介して、マッピング回路５４に出力する。
【００９３】
図１４は、予測係数更新回路６０の構成を示す図である。クラス分類回路１７１は、予測係数更新回路６０に供給された上位階層画像に、例えば、１ビットＡＤＲＣの処理を適用して、上位階層画像の特徴を基にクラス分類した結果を示すクラスを算出して、算出したクラスを予測係数演算回路１７４に供給する。
【００９４】
予測タップ抽出回路１７２は、予測係数更新回路６０に供給された上位階層画像から、予測タップを抽出して、抽出した予測タップを予測係数演算回路１７４に供給する。
【００９５】
教師データ抽出回路１７３は、画像データ（原画像）から教師データ（上位階層画像に対応する）を抽出して、抽出した教師データを予測係数演算回路１７４に供給する。
【００９６】
予測係数演算回路１７４は、教師データ抽出回路１７３に供給された教師データ、および予測タップ抽出回路１７２から供給された予測タップを基に、クラスに対応する予測係数を演算して、演算した予測係数を出力する。
【００９７】
このように、予測係数更新回路６０は、更新または変更された上位階層画像に対応して、予測係数を更新し、更新した予測係数をスイッチ５２を介してマッピング回路５４に出力する。
【００９８】
以上のように、送信装置１は、上位階層画像を更新、または変更することにより、迅速に、復元したとき、より誤差の少ない上位階層画像を生成して、生成した上位階層画像を符号化データとして出力することができる。
【００９９】
図１５は、シミュレーションにより算出した、上位階層画像の更新の処理の回数、または変更の処理の回数と、上位階層画像から復元した画像のＳ／Ｎ（誤差の逆数に対応する）との対応を示す図である。
【０１００】
図１５の点線は、上位階層画像の変更の処理を行わずに、更新を繰り返した場合（従来の技術に対応する）の、上位階層画像から復元した画像のＳ／Ｎを示す。更新のみを繰り返した上位階層画像から復元した画像のＳ／Ｎは、更新の処理の回数を増やしても、比較的低い値で、ほぼ一定となる。
【０１０１】
図１５の１点鎖線は、復元した画像のＳ／Ｎがほぼ一定となったとき、上位階層画像の変更の処理を実行した場合の、上位階層画像から復元した画像のＳ／Ｎを示す。復元した画像のＳ／Ｎがほぼ一定となったとき、上位階層画像の変更の処理を実行した上位階層画像から復元した画像のＳ／Ｎは、更新のみを繰り返したときに比較し、より高い値となる。
【０１０２】
図１５の実線は、更新の処理の回数と変更の処理の回数とを所定の割合で実行した場合の、上位階層画像から復元した画像のＳ／Ｎを示す。更新の処理の回数と変更の処理の回数とを所定の割合で実行した上位階層画像から復元した画像のＳ／Ｎは、更新のみを繰り返したとき、および復元した画像のＳ／Ｎがほぼ一定となったとき、上位階層画像の変更の処理を実行したときに比較し、より少ない更新の処理の回数または変更の処理の回数で、より高い値となる。
【０１０３】
次に、送信装置１の符号化の処理を図１６のフローチャートを参照して説明する。ステップＳ１１において、前処理回路５１は、入力された画像データから、初期上位階層画像および初期予測係数を生成する前処理を実行し、スイッチ５３、および上位階層画像変更回路５９を介して、初期上位階層画像をマッピング回路５４に供給するとともに、スイッチ５４を介して、初期予測係数をマッピング回路５４に供給する。前処理の処理の詳細は、図１７のフローチャートを参照して後述する。
【０１０４】
ステップＳ１２において、マッピング回路５４は、マッピング処理を実行して、生成した下位階層画像を収束判定回路５６に出力する。マッピング処理の詳細は、図２０のフローチャートを参照して後述する。
【０１０５】
ステップＳ１３において、収束判定回路５６は、遅延回路５５から供給された画像データ（原画像）と、およびマッピング回路５４から供給された下位階層画像との誤差を算出して、算出した誤差を基に、誤差が収束した（復元された下位階層画像と原画像との誤差が所望の値より少ない）か否かを判定し、誤差が収束していないと判定された場合、ステップＳ１４に進み、上位階層画像を更新した回数、または前回の処理で算出した誤差との差などを基に、上位階層画像を更新するか否かを判定する。
【０１０６】
ステップＳ１４において、上位階層画像を更新すると判定された場合、ステップＳ１５に進み、上位階層画像更新回路５８は、復元された下位階層画像と原画像との誤差がより少なくなるように、上位階層画像の画素値を更新する処理を実行し、手続きは、ステップＳ１７に進む。上位階層画像の画素値を更新する処理の詳細は、図２１のフローチャートを参照して後述する。
【０１０７】
ステップＳ１４において、上位階層画像を更新しない、すなわち、上位階層画像を変更すると判定された場合、ステップＳ１６に進み、上位階層画像変更回路５９は、上位階層画像の画素値を変更し、手続きは、ステップＳ１７に進む。上位階層画像の画素値を変更する処理の詳細は、図２３および図２４のフローチャートを参照して後述する。
【０１０８】
ステップＳ１７において、予測係数更新回路６０は、予測係数を更新して、手続きは、ステップＳ１２に戻り、上位階層画像の更新の処理、または上位階層画像の変更の処理を繰り返す。、予測係数を更新する処理の詳細は、図２５のフローチャートを参照して後述する。
【０１０９】
ステップＳ１３において、誤差が収束したと判定された場合、収束判定回路５６は、上位階層画像および予測係数をそれぞれ最適上位階層画像および最適予測係数として出力し、処理は終了する。
【０１１０】
このように、送信装置１は、復元したときの下位階層画像と原画像との誤差が所望の値より小さい上位階層画像および予測係数を算出して、出力することができる。
【０１１１】
次に、図１６のステップＳ１１の前処理の詳細を、図１７のフローチャートを参照して説明する。ステップＳ３１において、前処理回路５１は、入力された画像データを基に、初期上位階層画像を生成し、スイッチ５３および上位階層画像変更回路５９を介して、生成した初期上位階層画像をマッピング回路５４に供給する。初期上位階層画像の生成の処理の詳細は、図１８のフローチャートを参照して後述する。
【０１１２】
ステップＳ３２において、前処理回路５１は、入力された画像データを基に、初期係数を生成し、スイッチ５２を介して、生成した初期予測係数をマッピング回路５４に供給して、処理は終了する。初期予測係数の生成の処理の詳細は、図１９のフローチャートを参照して後述する。
【０１１３】
なお、初期予測係数の生成の処理に初期上位画像を必要としない場合、前処理の処理は、初期予測係数を生成してから、初期上位画像を生成するようにしてもよい。
【０１１４】
次に、図１７のステップＳ３１の初期上位階層画像の生成の処理の詳細を、図１８のフローチャートを参照して説明する。ステップＳ５１において、前処理回路５１は、上位階層画像に対応する注目画素を決定する。ステップＳ５２において、前処理回路５１は、ステップＳ５１の処理で決定した注目画素に対応する、下位階層画像の対応ブロック（例えば、３画素×３画素から成るブロック）を決定する。
【０１１５】
ステップＳ５３において、前処理回路５１は、ステップＳ５２の処理で決定した対応ブロック内の全ての画素の画素値の平均値を取得する。ステップＳ５４において、前処理回路５１は、ステップＳ５３の処理で取得した平均値を、ステップＳ５１の処理で決定した注目画素の画素値として決定する。
【０１１６】
ステップＳ５５において、前処理回路５１は、上位階層画像の全ての画素を注目画素として処理したか否かを判定し、上位階層画像の全ての画素を注目画素として処理していないと判定された場合、ステップＳ５１に戻り、他の画素を注目画素として、処理を繰り返す。
【０１１７】
ステップＳ５５において、上位階層画像の全ての画素を注目画素として処理したと判定された場合、上位階層画像の全ての画素の画素値を決定したので、処理は終了する。
【０１１８】
以上のように、前処理回路５１は、初期上位階層画像を生成することができる。
【０１１９】
なお、前処理回路５１は、単純間引き、またはガウシンアンフィルタにより、初期上位階層画像を生成するようにしてもよい。
【０１２０】
次に、図１７のステップＳ３２に対応する初期予測係数の生成の処理の詳細を図１９のフローチャートを参照して説明する。ステップＳ７１において、前処理回路５１は、着目画素を決定する。ステップＳ７２において、前処理回路５１は、着目画素に対応するクラスタップを取得する。
【０１２１】
ステップＳ７３において、前処理回路５１は、取得したクラスタップに１ｂｉｔＡＤＲＣの処理を適用して、クラス分類を実行する。
【０１２２】
ステップＳ７４において、前処理回路５１は、着目画素に対応する予測タップを取得する。ステップＳ７５において、前処理回路５１は、画像データ（原画像）から教師データを取得する。
【０１２３】
ステップＳ７６において、前処理回路５１は、教師データおよび予測タップを基に、正規方程式を生成する。
【０１２４】
ステップＳ７７において、前処理回路５１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、上位階層画像の全ての画素を着目画素としていないと判定された場合、ステップＳ７１に戻り、他の画素を着目画素として、正規方程式の生成の処理を繰り返す。
【０１２５】
ステップＳ７７において、上位階層画像の全ての画素を着目画素としたと判定された場合、ステップＳ７８に進み、前処理回路５１は、最小自乗法などにより生成した正規方程式を解いて、予測係数を取得し、処理は終了する。
【０１２６】
以上のように、前処理回路５１は、初期予測係数を生成する。
【０１２７】
次に、図１６のステップＳ１２に対応するマッピングの処理の詳細を、図２０のフローチャートを参照して説明する。ステップＳ９１において、マッピング回路５４は、着目画素を決定する。ステップＳ９２において、予測タップ抽出回路８２は、上位階層画像の画素から、着目画素に対応する予測タップを取得し、取得した予測タップを復号回路８３に供給する。
【０１２８】
ステップＳ９３において、クラス分類回路８１は、着目画素に対応してクラス分類の処理を実行し、クラスを復号回路８３に供給する。
【０１２９】
ステップＳ９４において、復号回路８３は、供給されている予測係数からクラスに対応する予測係数を選択し、選択した予測係数、および予測タップ抽出回路８２から供給された予測タップを基に、下位階層画像を生成するマッピングの処理を実行し、生成した下位階層画像を下位階層画像メモリ８４に記憶させる。
【０１３０】
ステップＳ９５において、マッピング回路５４は、上位階層画像の全ての画素を注目画素としたか否かを判定し、上位階層画像の全ての画素を注目画素としていないと判定された場合、ステップＳ９１に戻り、マッピングの処理を繰り返す。
【０１３１】
ステップＳ９５において、上位階層画像の全ての画素を注目画素としたと判定された場合、マッピング回路５４は、下位階層画像メモリ８４に記憶されている下位階層画像を出力させ、処理は終了する。
【０１３２】
このように、マッピング回路５４は、上位階層画像および予測係数から、下位階層画像を生成するマッピングの処理を実行する。
【０１３３】
次に、図１６のステップＳ１５に対応する上位階層画像の更新の処理の詳細を、図２１のフローチャートを参照して説明する。ステップＳ１１１において、注目画素決定回路１０４は、更新する画素を選択し、選択した画素に対応する画素位置信号を最適画素値決定回路１０２に供給する。
【０１３４】
ステップＳ１１２において、最適画素値決定回路１０２は、選択されている画素の最適画素値を決定する。最適画素値を決定する処理の詳細は、図２２のフローチャートを参照して後述する。
【０１３５】
ステップＳ１１３において、最適画素値決定回路１０２は、決定した最適画素値を上位階層画像データメモリ１０１に記憶されている上位階層画像に設定する。
【０１３６】
ステップＳ１１４において、上位階層画像更新回路５８は、上位階層画像の全ての画素に最適画素値を設定したか否かを判定し、上位階層画像の全ての画素に最適画素値を設定していないと判定された場合、ステップＳ１１１に戻り、他の画素を選択して、最適画素値の設定の処理を繰り返す。
【０１３７】
ステップＳ１１４において、上位階層画像の全ての画素に最適画素値を設定したと判定された場合、上位階層画像更新回路５８は、注目画素決定回路１０４にスイッチ１０３を閉じさせて、上位階層画像データメモリ１０１に記憶されている上位階層画像を出力して、処理は終了する。
【０１３８】
図２２のフローチャートを参照して、図２１のステップＳ１１２の最適画素値の決定の処理の詳細を説明する。ステップＳ１３１において、着目画素決定回路１２１は、上位階層画像から着目画素を決定する。
【０１３９】
ステップＳ１３２において、予測タップ抽出回路１２２は、上位階層画像から着目画素に対応する予測タップを抽出して、復号回路１２４に供給する。ステップＳ１３３において、クラス分類回路１２３は、着目画素に対応して、クラス分類の処理を行い、クラスを決定する。
【０１４０】
ステップＳ１３４において、マッピング回路１２４は、マッピング処理を実行して、生成した下位階層画像を下位階層画像メモリ１２５に出力する。ステップＳ１３５において、誤差算出回路１２６は、下位階層画像メモリ１２５に記憶されている復号画像と画像データ（原画像）との誤差を算出する。
【０１４１】
ステップＳ１３６において、比較器１２７は、誤差算出回路１２６から供給された誤差と、最小誤差保存用レジスタ１２９に記憶されている最小誤差とを比較して、誤差算出回路１２６から供給された誤差が最小の誤差であるか否かを判定し、誤差算出回路１２６から供給された誤差が最小の誤差であると判定された場合、ステップＳ１３７に進み、誤差算出回路１２６から供給された誤差を最小誤差保存用レジスタ１２９に記憶させる。
【０１４２】
ステップＳ１３８において、比較器１２７は、スイッチ１３１を閉じて、注目画素値カウンタ１３０のカウンタ値を最適画素値保存用レジスタ１３２に記憶させ、手続きは、ステップＳ１３９に進む。
【０１４３】
ステップＳ１３６において、誤差算出回路１２６から供給された誤差が最小の誤差でないと判定された場合、誤差の値または注目画素値カウンタ１３０のカウンタ値を保存する必要はないので、ステップＳ１３７およびステップＳ１３８はスキップされ、手続きは、ステップＳ１３９に進む。
【０１４４】
ステップＳ１３９において、注目画素値カウンタ１３０は、カウンタ値が最終値であるか否かを判定し、カウンタ値が最終値でないと判定された場合、ステップＳ１４０に進み、カウンタ値をインクリメントする。
【０１４５】
ステップＳ１４１において、注目画素値カウンタ１３０は、カウンタ値を上位階層画像データの画素値として、予測タップ抽出回路１２２およびクラス分類回路１２３に設定させ、ステップＳ１３２に戻り、処理を繰り返す。
【０１４６】
ステップＳ１３９において、カウンタ値が最終値であると判定された場合、ステップＳ１４２に進み、注目画素値カウンタ１３０は、スイッチ１３３を閉じさせ、最適画素値保存用レジスタ１３２に記憶されている画素値を最適画素値として出力させて、処理は終了する。
【０１４７】
このように、上位階層画像更新回路５８は、復元された下位階層画像と原画像との誤差がより小さい上位階層画像および予測係数を出力することができる。
【０１４８】
次に、図１６のステップＳ１６に対応する上位階層画像の変更の処理の詳細を、図２３のフローチャートを参照して説明する。ステップＳ１６１において、変化量決定回路１５３は、乱数を生成して、画素値変更回路１５２に供給する。
【０１４９】
ステップＳ１６２において、注目画素決定回路１５４は、選択する画素を特定するための画素位置信号を画素値変更回路１５２に供給する。画素値変更回路１５２は、画素位置信号を基に、画素を選択する。
【０１５０】
ステップＳ１６３において、画素値変更回路１５２は、選択した画素に、変化量決定回路１５３から供給された乱数を加算する。ステップＳ１６４において、注目画素決定回路１５４は、全ての画素値に乱数を加算したか否かを判定し、全ての画素値に乱数を加算していないと判定された場合、ステップＳ１６１に戻り、画素値に乱数を加算する処理を繰り返す。
【０１５１】
ステップＳ１６４において、全ての画素値に乱数を加算したと判定された場合、処理は終了する。
【０１５２】
このように、上位階層画像変更回路５９は、上位階層画像の画素値のそれぞれに乱数を加算して、画素値を変更する。
【０１５３】
次に、図１６のステップＳ１６に対応する上位階層画像変更の他の処理の詳細を、図２４のフローチャートを参照して説明する。ステップＳ１７１において、変化量決定回路１５３は、オフセットを生成して、画素値変更回路１５２に供給する。ステップＳ１７２において、注目画素決定回路１５４は、選択する画素を特定するための画素位置信号を画素値変更回路１５２に供給する。画素値変更回路１５２は、画素位置信号を基に、画素を選択する。
【０１５４】
ステップＳ１７３において、画素値変更回路１５２は、選択した画素に、変化量決定回路１５３から供給されたオフセットを加算する。ステップＳ１７４において、注目画素決定回路１５４は、全ての画素値にオフセットを加算したか否かを判定し、全ての画素値にオフセットを加算していないと判定された場合、ステップＳ１７２に戻り、画素値にオフセットを加算する処理を繰り返す。
【０１５５】
ステップＳ１７４において、全ての画素値にオフセットを加算したと判定された場合、処理は終了する。
【０１５６】
このように、上位階層画像変更回路５９は、上位階層画像の画素値のそれぞれに同一のオフセットを加算して、画素値を変更する。
【０１５７】
図２５のフローチャートを参照して、図１６のステップＳ１７の予測係数の更新の処理の詳細を説明する。ステップＳ１８１において、予測係数更新回路６０は、着目画素を決定する。ステップＳ１８２において、クラス分類回路１７１は、クラスタップに、例えば、１ｂｉｔＡＤＲＣの処理を適用して、クラス分類の処理を実行して、クラスを示すデータを予測係数演算回路１７４に供給する。予測タップ抽出回路１７２は、上位階層画像から予測タップを抽出して予測係数演算回路１７４に供給する。
【０１５８】
ステップＳ１８３において、予測係数演算回路１７４は、クラスに応じた演算方程式に、予測タップ、および教師データ抽出回路１７３から供給された教師データを足し込む。
【０１５９】
ステップＳ１８４において、予測係数更新回路６０は、画像内の全ての画素を着目画素としたか否かを判定し、画像内の全ての画素を着目画素としていないと判定された場合、ステップＳ１８１に戻り、処理を繰り返す。
【０１６０】
ステップＳ１８４において、画像内の全ての画素を着目画素としたと判定された場合、ステップＳ１８５に進み、予測係数演算回路１７４は、生成した正規方程式を解いて、予測係数を取得し、処理は終了する。
【０１６１】
以上のように、予測係数更新回路６０は、予測係数を更新する。
【０１６２】
次に、受信装置４について説明する。
【０１６３】
図２６は、受信装置４の機能的な構成例を示す。上位階層画像メモリ２０１は、供給された上位階層画像データを記憶する。予測タップ抽出回路２０２は、上位階層画像メモリ２０１から供給された上位階層画像から、予測タップを抽出して、抽出した予測タップを復号回路２０４に供給する。
【０１６４】
クラス分類回路２０３は、上位階層画像メモリ２０１から供給された上位階層画像に、例えば、１ビットＡＤＲＣの処理を適用して、上位階層画像の特徴を基にクラス分類した結果を示すクラスを算出して、算出したクラスを復号回路２０４に供給する。
【０１６５】
復号回路２０４は、受信装置４に供給された予測係数（各クラスに対応する予測係数から成る）から、クラスに対応する予測係数を選択して、選択した予測係数と予測タップとを基に、演算を実行して下位階層画像を生成し、生成した下位階層画像（復元画像）を下位階層画像メモリ２０５に出力する。
【０１６６】
下位階層画像メモリ２０５は、復号回路２０４から供給された下位階層画像である復元画像を順次記憶し、画像全体について処理が終了した場合、記憶している下位階層画像である復元画像の全体を出力する。
【０１６７】
次に、受信装置４の復号の処理を図２７のフローチャートを参照して説明する。ステップＳ２０１において、受信装置４は、上位階層画像および予測係数を入力する。ステップＳ２０２において、受信装置４は、着目画素を決定する。
【０１６８】
ステップＳ２０３において、クラス分類回路２０３は、クラス分類処理を実行し、クラスを示すデータを復号回路２０４に供給する。ステップＳ２０４において、予測タップ抽出回路２０２は、上位階層画像の画素から、着目画素に対応する予測タップを取得し、取得した予測タップを復号回路２０４に供給する。
【０１６９】
ステップＳ２０５において、復号回路２０４は、供給されている予測係数からクラスに対応する予測係数を選択し、選択した予測係数、および予測タップ抽出回路２０２から供給された予測タップを基に、下位階層画像を生成するマッピングの処理を実行し、生成した下位階層画像を下位階層画像メモリ２０５に記憶させる。
【０１７０】
ステップＳ２０６において、受信装置４は、上位階層画像の全ての画素を着目画素としたか否かを判定し、上位階層画像の全ての画素を着目画素としていないと判定された場合、ステップＳ２０２に戻り、マッピングの処理を繰り返す。
【０１７１】
ステップＳ２０６において、上位階層画像の全ての画素を着目画素としたと判定された場合、受信装置４は、下位階層画像メモリ２０５に記憶されている下位階層画像を出力して、処理は終了する。
【０１７２】
このように、受信装置４は、上位階層画像および予測係数から、下位階層画像を復元する。
【０１７３】
次に、画像処理装置の第２の実施の形態について説明する。
【０１７４】
図２８は、本発明に係る画像処理装置の第２の実施の形態に対応する、送信装置１の構成例を示す。
【０１７５】
符号化すべき画像データは、前処理回路３０１、エンコード回路３０４−１乃至３０４−Ｎ（Ｎは、例えば、１５）、および評価・選択・収束判定回路３０７に供給される。前処理回路３０１は、入力された画像データを基に、初期上位階層画像および初期予測係数を生成して、初期上位階層画像を上位階層画像メモリ３０２に供給し、初期予測係数を予測係数テーブルメモリ３０３に供給する。
【０１７６】
上位階層画像メモリ３０２は、記憶している上位階層画像をエンコード回路３０４−１乃至３０４−Ｎに供給する。予測係数テーブルメモリ３０３は、記憶している予測係数をエンコード回路３０４−１乃至３０４−Ｎに供給する。
【０１７７】
上位階層画像変化パラメータ発生回路３０６は、エンコード回路３０４−１乃至３０４−Ｎのそれぞれに、異なる変化パラメータを供給する。
【０１７８】
エンコード回路３０４−１は、上位階層画像変化パラメータ発生回路３０６から供給された変化パラメータに基づいて、上位階層画像を変更し、上位階層画像および予測係数を更新する。エンコード回路３０４−１は、変更し、更新された上位階層画像、および更新された予測係数をマッピング回路３０５−１およびスイッチャ３０８に供給する。
【０１７９】
エンコード回路３０４−２は、上位階層画像変化パラメータ発生回路３０６から供給された変化パラメータに基づいて、上位階層画像を変更し（エンコード回路３０４−１とは異なる変更を行う）、上位階層画像および予測係数を更新する。エンコード回路３０４−２は、変更し、更新された上位階層画像、および更新された予測係数をマッピング回路３０５−２およびスイッチャ３０８に供給する。
【０１８０】
同様に、エンコード回路３０４−３乃至３０４−Ｎは、上位階層画像変化パラメータ発生回路３０６から供給された変化パラメータに基づいて、供給された上位階層画像をそれぞれ異なる上位階層画像に変更し、変更された上位階層画像および予測係数を更新する。エンコード回路３０４−３乃至３０４−Ｎは、変更し、更新された上位階層画像、および更新された予測係数をマッピング回路３０５−３乃至３０５−Ｎのいずれか、およびスイッチャ３０８にそれぞれ供給する。
【０１８１】
以下、エンコード回路３０４−１乃至３０４−Ｎを個々に区別する必要がないとき、単に、エンコード回路３０４と称する。
【０１８２】
図２９は、エンコード回路３０４の構成を説明する図である。予測係数テーブルメモリ３０３から供給された予測係数は、予測係数テーブルメモリ３３１に記憶される。上位階層画像メモリ３０２から供給された上位階層画像は、上位階層画像メモリ３３２に記憶される。
【０１８３】
原画像である画像データは、収束判定回路３３４、上位階層画像更新回路３３５、および予測係数更新回路３３７に供給される。
【０１８４】
マッピング回路３３３は、上位階層画像および予測係数が供給されたとき、上位階層画像および予測係数を基に、下位階層画像を生成して、収束判定回路３３４に供給する。
【０１８５】
収束判定回路３３４は、供給された画像データ（原画像）、およびマッピング回路３３３から供給された下位階層画像（復元画像）を基に、マッピング回路３３３から供給された下位階層画像（復元画像）と画像データとの誤差が予め記憶している閾値より小さいか否かを判定し、マッピング回路３３３から供給された下位階層画像（復元画像）と画像データとの誤差が予め記憶している閾値より小さいと判定された場合、制御信号を出力してスイッチ３３８およびスイッチ３３９を閉じて、上位階層画像メモリに記憶されている上位階層画像を最適上位階層画像データとして出力させるとともに、予測計数テーブルメモリ３３１に記憶されている予測係数を最適予測係数として出力させる。
【０１８６】
マッピング回路３３３から供給された下位階層画像（復元画像）と画像データとの誤差が予め記憶している閾値以上であると判定された場合、収束判定回路３３４は、制御信号を出力してスイッチ３３８およびスイッチ３３９を開き、上位階層画像の更新の処理を繰り返させる。
【０１８７】
上位階層画像更新回路３３５は、画像データ（原画像）、予測係数テーブルメモリ３３１から供給された予測係数、および上位階層画像メモリ３３２から供給された上位階層画像を基に、復元画像の画素値と画像データの画素値との誤差が小さくなるように、上位階層画像の画素値を更新し、画素値を更新した上位階層画像を上位階層画像メモリ３３２に出力する。上位階層画像メモリ３３２は、上位階層画像更新回路３３５から供給された上位階層画像を記憶する。
【０１８８】
上位階層画像変更回路３３６は、上位階層画像変化パラメータ発生回路３０６から上位階層画像変化パラメータが供給されたとき、上位階層画像変化パラメータを基に、上位階層画像メモリ３３２から供給された上位階層画像の画素値を変更し、画素値を変更した上位階層画像を上位階層画像メモリ３３２に出力する。上位階層画像メモリ３３２は、上位階層画像変更回路３３６から供給された上位階層画像を記憶する。
【０１８９】
予測係数更新回路３３７は、画像データ（原画像）、および上位階層画像メモリ３３２から供給された上位階層画像を基に、予測係数を更新して、更新した予測係数を予測係数テーブルメモリ３３１に出力する。予測係数テーブルメモリ３３１は、予測係数更新回路３３７から供給された更新された予測係数を記憶する。
【０１９０】
マッピング回路３３３は、変更または更新された上位階層画像、および更新された予測係数が供給されたとき、その上位階層画像および予測係数を基に、下位階層画像を生成して、収束判定回路３３４に供給する。収束判定回路３３４は、上位階層画像および予測係数を基に生成された下位階層画像を基に、判定の処理を実行する。
【０１９１】
図２８に戻り、マッピング回路３０５−１は、エンコード回路３０４−１から供給された上位階層画像および予測係数を基に、下位階層画像を生成して、生成した下位階層画像を評価・選択・収束判定回路３０７に供給する。
【０１９２】
マッピング回路３０５−２は、エンコード回路３０４−２から供給された上位階層画像および予測係数を基に、下位階層画像を生成して、生成した下位階層画像を評価・選択・収束判定回路３０７に供給する。
【０１９３】
マッピング回路３０５−３乃至３０５−Ｎは、エンコード回路３０４−３乃至３０４−Ｎのいずれかから供給された上位階層画像および予測係数を基に、下位階層画像を生成して、生成した下位階層画像を評価・選択・収束判定回路３０７に供給する。
【０１９４】
以下、マッピング回路３０５−１乃至３０５−Ｎを個々に区別する必要がないとき、単に、マッピング回路３０５と称する。
【０１９５】
評価・選択・収束判定回路３０７は、カウンタ３０９から供給される回数カウントが予め記憶している閾値より小さいとき、マッピング回路３０５−１乃至３０５−Ｎのそれぞれから供給された下位階層画像と画像データとの誤差を算出して、スイッチャ３０８にエンコード回路３０４−１乃至３０４−Ｎから供給された上位階層画像と予測係数を選択する制御信号を供給する。
【０１９６】
評価・選択・収束判定回路３０７は、カウンタ３０９から供給される回数カウントが予め記憶している閾値以上であるとき、マッピング回路３０５−１乃至３０５−Ｎのそれぞれから供給された下位階層画像と画像データとの誤差を算出して、スイッチャ３０８に上位階層画像と予測係数を選択する制御信号を供給すると共に、スイッチャ３０８に選択した上位階層画像と予測係数をそれぞれ最適上位階層画像データおよび最適予測係数として出力させる制御信号を供給する。
【０１９７】
なお、評価・選択・収束判定回路３０７は、所定の回数、上位階層画像の変更の処理と更新の処理を繰り返したとき、スイッチャ３０８に選択した上位階層画像と予測係数をそれぞれ最適上位階層画像データおよび最適予測係数として出力させる制御信号を供給するようにしてもよい。
【０１９８】
スイッチャ３０８は、評価・選択・収束判定回路３０７から供給される制御信号に基づき、エンコード回路３０４−１乃至３０４−Ｎから供給された上位階層画像および予測係数から１つの上位階層画像および予測係数を選択して、選択した上位階層画像を上位階層画像メモリ３０２に供給するとともに、選択した予測係数を予測係数テーブルメモリ３０３に供給する。スイッチャ３０８は、評価・選択・収束判定回路３０７から供給される制御信号に基づき、エンコード回路３０４−１乃至３０４−Ｎから供給された上位階層画像および予測係数を選択して、選択した上位階層画像および予測係数をそれぞれ最適上位階層画像データおよび最適予測係数として出力する。
【０１９９】
上位階層画像メモリ３０２は、スイッチャ３０８から供給された上位階層画像を記憶すると共に、記憶している上位階層画像をエンコード回路３０４−１乃至３０４−Ｎに供給する。予測係数テーブルメモリ３０３は、スイッチャ３０８から供給された予測係数を記憶するとともに、記憶している予測係数をエンコード回路３０４−１乃至３０４−Ｎに供給する。
【０２００】
図３０は、画像処理装置の第２の実施の形態に対応する、送信装置１の他の構成例における処理の概要を説明する図である。送信装置１に原画像である画像データが入力されると、前処理回路３０１は、初期上位階層画像および初期予測係数を生成する。初期上位階層画像は、例えば、上位階層画像Ａとして、上位階層画像メモリ３０２にバッファリングされる。初期予測係数は、予測係数テーブルメモリ３０３に記憶される。
【０２０１】
上位階層画像メモリ３０２にバッファリングされた上位階層画像Ａは、エンコード回路３０４−１乃至３０４−Ｎに供給され、並列に、それぞれ異なる変更が加えられる。
【０２０２】
例えば、エンコード回路３０４−１は、上位階層画像Ａに画像変更１の処理を適用して、上位階層画像Ａを上位階層画像Ａ１に変更し、更に、上位階層画像Ａ１を更新する。
【０２０３】
エンコード回路３０４−２は、上位階層画像Ａに画像変更２（画像変更１と異なる）の処理を適用して、上位階層画像Ａを上位階層画像Ａ２に変更し、更に、上位階層画像Ａ２を更新する。
【０２０４】
エンコード回路３０４−３は、上位階層画像Ａに画像変更３（画像変更１および画像変更２と異なる）の処理を適用して、上位階層画像Ａを上位階層画像Ａ３に変更し、更に、上位階層画像Ａ３を更新する。
【０２０５】
同様に、エンコード回路３０４−４乃至３０４−Ｎは、それぞれ、上位階層画像Ａに画像変更４乃至画像変更Ｎ（互いに異なる画像の変更）の処理を適用して、上位階層画像Ａを上位階層画像Ａ４乃至上位階層画像ＡＮのいずれかに変更し、更に、上位階層画像Ａ４乃至上位階層画像ＡＮを更新する。
【０２０６】
評価・選択・収束判定回路３０７は、上位階層画像Ａ１乃至上位階層画像ＡＮを評価して、上位階層画像Ａ１乃至上位階層画像ＡＮの内の１つを選択し、選択した上位階層画像を上位階層画像Ｂとして上位階層画像メモリ３０２に記憶させるとともに、対応する予測係数を予測係数テーブルメモリ３０３に記憶させる。
【０２０７】
上位階層画像Ｂについて、同様の処理が繰り返される。
【０２０８】
以上のように、上位階層画像に、並列に異なる画像変更の処理が施され、それぞれの上位階層画像が更新され、選択される処理が繰り返されるので、送信装置１は、より迅速に、原画像と誤差の小さい復元画像を得ることができる上位階層画像を求めることができる。
【０２０９】
図３１のフローチャートを参照して、図２８に示す送信装置１の符号化の処理を説明する。ステップＳ３０１において、前処理回路３０１は、初期上位階層画像および初期予測係数を生成して、初期上位階層画像を上位階層画像メモリ３０２に供給するとともに、初期予測係数を予測係数テーブルメモリ３０３に供給する。上位階層画像メモリ３０２は、供給された初期上位階層画像を記憶するとともに、記憶した初期上位階層画像をエンコード回路３０４−１乃至３０４−Ｎ（Ｎは、例えば、１５）のそれぞれに供給する。予測係数テーブルメモリ３０３は、供給された初期予測係数を記憶するとともに、記憶した初期予測係数をエンコード回路３０４−１乃至３０４−Ｎのそれぞれに供給する。
【０２１０】
ステップＳ３０１における前処理は、図１６のステップＳ１１と同様なので、その詳細な処理の説明は省略する。
【０２１１】
ステップＳ３０２において、上位階層画像変化パラメータ発生回路３０６は、上位階層画像変化パラメータを複数（エンコード回路３０４−１乃至３０４−Ｎの数に対応し、例えば、１５個）発生し、発生した上位階層画像変化パラメータのそれぞれをエンコード回路３０４−１乃至３０４−Ｎのそれぞれに供給する。
【０２１２】
以下のステップＳ３０３乃至ステップＳ３０６の処理は、エンコード回路３０４−１乃至３０４−Ｎのそれぞれにおいて、並列に実行される。
【０２１３】
ステップＳ３０３において、エンコード回路３０４の上位階層画像変更回路３３６は、予測係数テーブルメモリ３３１から供給された上位階層画像を、上位階層画像変化パラメータに従って変化させる。
【０２１４】
ステップＳ３０４において、上位階層画像更新回路３３５は、上位階層画像の更新の処理を所定の回数（例えば、１０回）繰り返し、予測計数更新回路３３８は、予測係数の更新の処理を所定の回数（例えば、１０回）繰り返す。更新された上位階層画像は、上位階層画像メモリ３３２に記憶される。更新された予測係数は、予測係数テーブルメモリ３３１に記憶される。
【０２１５】
ステップＳ３０５において、エンコード回路３０４は、所定の回数（例えば、５回）、上位階層画像の変化を繰り返したか否かを判定し、所定の回数、上位階層画像の変化を繰り返していないと判定された場合、手続きは、ステップＳ３０３に戻り、上位階層画像の変化の処理を繰り返す。
【０２１６】
ステップＳ３０５において、所定の回数、上位階層画像の変化を繰り返したと判定された場合、ステップＳ３０６に進み、マッピング回路３０５は、エンコード回路３０４から供給された上位階層画像、および予測係数を基に、マッピングの処理を実行する。
【０２１７】
ステップＳ３０６におけるマッピングの処理は、図１６のステップＳ１６の処理と同様なので、その処理の詳細な説明は省略する。
【０２１８】
ステップＳ３０７において、評価・選択・収束判定回路３０７は、画像データ（原画像）を基に、マッピング回路３０５−１乃至３０５−Ｎから供給された下位階層画像、すなわち複数の結果を評価し、最良のものを選択する。
【０２１９】
ステップＳ３０８において、評価・選択・収束判定回路３０７は、画像データ（原画像）、ステップＳ３０７の処理で選択した下位階層画像、および予め記憶している閾値を基に、収束したか否かを判定し、収束していないと判定された場合、手続きは、ステップＳ３０９に進む。
【０２２０】
ステップＳ３０８における、収束したか否かの判定は、例えば、下位階層画像の評価値、評価値の変化量、または更新の回数などを基に実行される。
【０２２１】
ステップＳ３０９において、評価・選択・収束判定回路３０７は、スイッチャ３０８を切り替えて、ステップＳ３０７の処理で選択された上位階層画像と予測係数を以降の処理対象にするため、選択された上位階層画像を上位階層画像メモリ３０２に入力させ、選択された予測係数を予測係数テーブルメモリ３０３に入力させる。上位階層画像メモリ３０２は、選択された上位階層画像を記憶する。予測係数テーブルメモリ３０３は、選択された予測係数を記憶する。手続きは、ステップＳ３０２に戻り、上位階層画像の変化の処理および更新の処理を繰り返す。
【０２２２】
ステップＳ３０８において、収束したと判定された場合、スイッチャ３０８は、選択された上位階層画像を最適上位階層画像データとして出力するとともに、選択された予測係数を最適予測係数として出力し、処理は終了する。
【０２２３】
このように、図２８に構成を示す送信装置１は、上位階層画像に、並列に、異なる画像変化の処理を適用し、それぞれの上位階層画像を更新して、最良の上位階層画像を選択するので、より迅速に、原画像と誤差の小さい復元画像を得ることができる上位階層画像を出力することができる。
【０２２４】
図３２は、本発明に係る画像処理装置の第３の実施の形態に対応する、送信装置１の構成例を示す。図２８に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０２２５】
上位変化・係数更新回路３５１−１は、上位階層画像変化パラメータ発生回路３０６から供給された変化パラメータに基づいて、上位階層画像を変更し、予測係数を更新する。上位変化・係数更新回路３５１−１は、変更した上位階層画像、および更新された予測係数をマッピング回路３０５−１およびスイッチャ３０８に供給する。
【０２２６】
上位変化・係数更新回路３５１−２は、上位階層画像変化パラメータ発生回路３０６から供給された変化パラメータに基づいて、上位階層画像を変更し（上位変化・係数更新回路３５１−１とは異なる変更を行う）、上位階層画像および予測係数を更新する。上位変化・係数更新回路３５１−２は、変更し、更新された上位階層画像、および更新された予測係数をマッピング回路３０５−２およびスイッチャ３０８に供給する。
【０２２７】
同様に、上位変化・係数更新回路３５１−３乃至３５１−Ｎは、上位階層画像変化パラメータ発生回路３０６から供給された変化パラメータに基づいて、供給された上位階層画像をそれぞれ異なる上位階層画像に変更し、変更された上位階層画像および予測係数を更新する。上位変化・係数更新回路３５１−３乃至３５１−Ｎは、変更し、更新された上位階層画像、および更新された予測係数をマッピング回路３０５−３乃至３０５−Ｎのいずれか、およびスイッチャ３０８にそれぞれ供給する。
【０２２８】
以下、上位変化・係数更新回路３５１−１乃至３５１−Ｎを個々に区別する必要がないとき、単に、上位変化・係数更新回路３５１と称する。
【０２２９】
上位階層画像変化パラメータ発生回路３０６は、カウンタ３０９から供給された回数カウントを基に、エンコード回路３０４−１乃至３０４−Ｎのそれぞれに、異なる変化パラメータを供給する。
【０２３０】
上位更新・係数更新回路３５２は、スイッチャ３０８から供給された上位階層画像および予測係数を更新し、更新した上位階層画像を上位階層画像メモリ３０２に記憶させると共に、更新した予測係数を予測係数テーブルメモリ３０３に記憶させる。
【０２３１】
図３３は、画像処理装置の第３の実施の形態に対応する、送信装置１の構成例における他の処理の概要を説明する図である。図３３に対応する処理において、前処理乃至上位階層画像変更の処理は、図３０に示す場合と同様なのでその説明は省略する。
【０２３２】
図３３に対応する処理において、変更された上位階層画像１乃至上位階層画像Ｎは、更新されない。
【０２３３】
評価・選択・収束判定回路３０７は、変更された上位階層画像１乃至上位階層画像Ｎを評価して、上位階層画像１乃至上位階層画像Ｎの内の１つを選択する。評価・選択・収束判定回路３０７は、スイッチャ３０８を制御して、選択した上位階層画像および予測係数を上位更新・係数更新回路３５２に供給する。
【０２３４】
上位更新・係数更新回路３５２は、選択された上位階層画像および予測係数を更新する。
【０２３５】
上位更新・係数更新回路３５２は、更新された上位階層画像を上位階層画像Ｂとして上位階層画像メモリ３０２に記憶させるとともに、対応する予測係数を予測係数テーブルメモリ３０３に記憶させる。
【０２３６】
図３３に示す処理は、図３０に示す処理に比較し、上位階層画像を更新する処理が少なくなるので、送信装置１の回路規模を小さくできる利点がある。
【０２３７】
図３４のフローチャートを参照して、図３２に示す送信装置１の符号化の処理を説明する。ステップＳ３２１およびステップＳ３２２の処理は、図３１のステップＳ３０１およびステップＳ３０２の処理と同様であるので、その説明は省略する。
【０２３８】
以下のステップＳ３２３およびステップＳ３２４の処理は、上位変化・計数更新回路３５１−１乃至３５１−Ｎのそれぞれにおいて、並列に実行される。
【０２３９】
ステップＳ３２３において、上位変化・計数更新回路３５１は、上位階層画像メモリ３０２から供給された上位階層画像を、上位階層画像変化パラメータ発生回路３０６から供給された上位階層画像変化パラメータに従って変化させる。ステップＳ３２４において、マッピング回路３０５は、上位変化・計数更新回路３５１から供給された上位階層画像、および予測係数を基に、マッピングの処理を実行する。
【０２４０】
ステップＳ３２４におけるマッピングの処理は、図１６のステップＳ１６の処理と同様なので、その処理の詳細な説明は省略する。
【０２４１】
ステップＳ３２５において、評価・選択・収束判定回路３０７は、画像データ（原画像）を基に、マッピング回路３０５−１乃至３０５−Ｎから供給された下位階層画像、すなわち複数の結果を評価し、最良のものを選択する。
【０２４２】
ステップＳ３２６において、上位更新・係数更新回路３５２は、ステップＳ３２５の処理で選択された上位階層画像の更新の処理を所定の回数繰り返し、予測係数の更新の処理を所定の回数（例えば、１０回）繰り返す。
【０２４３】
ステップＳ３２８において、送信装置１は、更新された上位階層画像、および予測係数を基に、マッピングの処理を実行する。
【０２４４】
ステップＳ３２８におけるマッピングの処理は、図１６のステップＳ１６の処理と同様なので、その処理の詳細な説明は省略する。
【０２４５】
ステップＳ３２９およびステップＳ３３０の処理は、図３１のステップＳ３０８およびステップＳ３０９の処理とそれぞれ同様なので、その説明は省略する。
【０２４６】
このように、第３の実施の形態に対応する送信装置１は、図３１に示すフローチャートに対応する処理を実行するときに比較して、より小さい規模の回路構成で、迅速に、原画像と誤差の小さい復元画像を得ることができる上位階層画像を出力することができる。
【０２４７】
図３５は、画像処理装置の第４の実施の形態に対応する、送信装置１の構成例を示す。図３２に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０２４８】
第４の実施の形態に対応する送信装置１は、第３の実施の形態の送信装置１から上位更新・係数更新回路３５２を省略した構成と同様の構成を有する。
【０２４９】
図３６は、本発明に係る画像処理装置の第４の実施の形態に対応する、送信装置１の構成例における処理の概要を説明する図である。図３６に対応する処理において、前処理乃至上位階層画像変更の処理までは、図３３に示す場合と同様なのでその説明は省略する。
【０２５０】
評価・選択・収束判定回路３０７は、変更された上位階層画像１乃至上位階層画像Ｎを評価して、上位階層画像１乃至上位階層画像Ｎの内の１つを選択する。本発明に係る第４の実施の形態に対応する処理において、選択した上位階層画像は、更新されない。
【０２５１】
評価・選択・収束判定回路３０７は、選択された上位階層画像を上位階層画像Ｂとして上位階層画像メモリ３０２に記憶させるとともに、対応する予測係数を予測係数テーブルメモリ３０３に記憶させる。
【０２５２】
図３６に示す処理は、図３０または図３３に示す処理に比較し、上位階層画像を更新する処理がないので、送信装置１の回路規模を更に小さくできる利点がある。
【０２５３】
図３７のフローチャートを参照して、図３５に示す送信装置１の符号化の処理を説明する。ステップＳ３５１乃至ステップＳ３５５の処理は、図３４のステップＳ３２１乃至ステップＳ３２５の処理と同様であるので、その説明は省略する。
【０２５４】
ステップＳ３５６乃至ステップＳ３５８の処理は、図３４のステップＳ３２７乃至ステップＳ３２９の処理と同様であるので、その説明は省略する。
【０２５５】
すなわち、図３５に示す送信装置１の符号化の処理は、図３４のフローチャートに示す処理から、ステップＳ３２６の処理を省略した処理と同様である。
【０２５６】
従って、本発明に係る画像処理装置の第４の実施の形態に対応する、送信装置１は、より迅速に、符号化の処理を実行することができる。
【０２５７】
次に、本発明に係る画像処理装置の第５の実施の形態について説明する。
【０２５８】
図３８は、本発明に係る画像処理装置の第５の実施の形態に対応する、送信装置１の構成例を示す。
【０２５９】
符号化すべき画像データは、前処理回路４０１、エンコード回路４０４、および評価判定・収束判定回路４０７に供給される。
【０２６０】
前処理回路４０１は、入力された画像データを基に、初期上位階層画像および初期予測係数を生成して、初期上位階層画像を上位階層画像メモリ４０２に供給し、初期予測係数を予測係数テーブルメモリ４０３に供給する。
【０２６１】
上位階層画像メモリ４０２は、記憶している上位階層画像をエンコード回路４０４に供給する。予測係数テーブルメモリ４０３は、記憶している予測係数をエンコード回路４０４に供給する。
【０２６２】
上位階層画像変化パラメータ発生回路４０６は、評価判定・収束判定回路４０７から供給される回数カウントを基に、エンコード回路４０４に、順次、異なる変化パラメータを供給する。
【０２６３】
エンコード回路４０４は、上位階層画像変化パラメータ発生回路４０６から供給された変化パラメータに基づいて、上位階層画像を変更し、上位階層画像および予測係数を更新する。エンコード回路４０４は、更新された上位階層画像をマッピング回路４０５に供給するとともに、スイッチ４０９を介して最適上位階層画像メモリ４１０に供給する。エンコード回路４０４は、更新された予測係数をマッピング回路４０５に供給するとともに、スイッチ４１１を介して最適予測係数テーブルメモリ４１２に供給する。
【０２６４】
マッピング回路４０５は、エンコード回路４０４から供給された上位階層画像および予測係数を基に、下位階層画像を生成して、生成した下位階層画像を、評価判定・収束判定回路４０７に供給する。
【０２６５】
評価判定・収束判定回路４０７は、マッピング回路４０５から供給された下位階層画像、および画像データ（原画像）から誤差などの評価値を生成する。評価判定・収束判定回路４０７は、生成した評価値と、最適評価値保存レジスタ４０８に記憶されている評価値とを比較して、生成した評価値が最適評価値保存レジスタ４０８に記憶されている評価値より良いか否かを判定する。
【０２６６】
生成した評価値が最適評価値保存レジスタ４０８に記憶されている評価値より良いと判定された場合、評価判定・収束判定回路４０７は、生成した評価値を最適評価値保存レジスタ４０８に記憶させると共に、スイッチ４０９およびスイッチ４１１を閉じさせ、エンコード回路４０４から供給された上位階層画像を最適上位階層画像メモリ４１０に記憶させ、エンコード回路４０４から供給された予測係数を最適予測係数テーブルメモリ４１２に記憶させる。
【０２６７】
生成した評価値が最適評価値保存レジスタ４０８に記憶されている評価値より良くないと判定された場合、評価判定・収束判定回路４０７は、生成した評価値および予測係数を捨てさせる（生成した評価値および予測係数を記憶しない）。
【０２６８】
評価判定・収束判定回路４０７は、生成した評価値と、予め記憶している閾値とを比較して、生成した評価値が予め記憶している閾値より良いか否かを判定する。生成した評価値が閾値より良いと判定された場合、評価判定・収束判定回路４０７は、スイッチ４１６およびスイッチ４１７を閉じさせ、最適上位階層画像メモリ４１０に記憶されている上位階層画像を最適上位階層画像として出力させると共に、最適予測係数テーブルメモリ４１２に記憶されている予測係数を最適予測係数として出力させる。
【０２６９】
生成した評価値が閾値より良くないと判定された場合、評価判定・収束判定回路４０７は、最適上位階層画像メモリ４１０に記憶されている上位階層画像を上位階層画像メモリ４０２に記憶させると共に、最適予測係数テーブルメモリ４１２に記憶されている予測係数を予測係数テーブルメモリ４０３に記憶させ、上位階層画像の変更の処理および更新の処理を繰り返させる。
【０２７０】
評価判定・収束判定回路４０７は、所定の回数、上位階層画像の変更の処理および更新の処理を繰り返したとき、スイッチ４１６およびスイッチ４１７を閉じさせ、最適上位階層画像メモリ４１０に記憶されている上位階層画像を最適上位階層画像として出力させると共に、最適予測係数テーブルメモリ４１２に記憶されている予測係数を最適予測係数として出力させるようにしてもよい。
【０２７１】
評価判定・収束判定回路４０７は、マッピング回路４０５から下位階層画像が供給されたとき、回数カウントの信号を上位階層画像変化パラメータ発生回路４０６およびカウンタ４１５に供給する。
【０２７２】
上位階層画像変化パラメータ発生回路４０６は、異なる回数カウントの信号を受信したとき、異なる変化パラメータを生成して、エンコード回路４０４に供給する。
【０２７３】
カウンタ４１５は、回数カウントの信号を受信したとき、カウンタ値をインクリメントする。カウンタ４１５は、カウンタ値が予め定めた値になったとき、スイッチ４１３およびスイッチ４１４を閉じる制御信号を出力する。
【０２７４】
スイッチ４１３が閉じられたとき、最適上位階層画像メモリ４１０は、記憶している上位階層画像をスイッチ４１３を介して、上位階層画像メモリ４０２に供給する。上位階層画像メモリ４０２は、最適上位階層画像メモリ４１０から供給された上位階層画像を記憶する。
【０２７５】
すなわち、上位階層画像メモリ４０２には、複数回の画像変化により得られた上位階層画像のうち、最適な上位階層画像が記憶されることになる。
【０２７６】
スイッチ４１４が閉じられたとき、最適予測係数テーブルメモリ４１２は、記憶している予測係数をスイッチ４１４を介して、予測係数テーブルメモリ４０３に供給する。予測係数テーブルメモリ４０３は、最適予測係数テーブルメモリ４１２から供給された予測係数を記憶する。
【０２７７】
すなわち、予測係数テーブルメモリ４０３には、複数回の画像変化により得られた上位階層画像のうち、最適な上位階層画像に対応する予測係数が記憶されることになる。
【０２７８】
カウンタ４１５のカウント値がリセットされてから、上位階層画像メモリ４０２に記憶されている上位階層画像、および予測係数テーブルメモリ４０３に記憶されている予測係数を基に、最適な上位階層画像および予測係数が求められるまで、上位階層画像の変更の処理および更新の処理が繰り返される。
【０２７９】
以上のように、図３８に構成を示す送信装置１は、図２８に示す構成を有する場合に比較して、より規模の小さい回路で、迅速に最適な上位階層画像および予測係数を算出する。
【０２８０】
図３９のフローチャートを参照して、図３８に示す送信装置１の符号化の処理を説明する。ステップＳ４０１において、前処理回路４０１は、初期上位階層画像および初期予測係数を生成して、初期上位階層画像を上位階層画像メモリ４０２に供給するとともに、初期予測係数を予測係数テーブルメモリ４０３に供給する。上位階層画像メモリ４０２は、供給された初期上位階層画像を記憶するとともに、記憶した初期上位階層画像をエンコード回路４０４に供給する。予測係数テーブルメモリ４０３は、供給された初期予測係数を記憶するとともに、記憶した初期予測係数をエンコード回路４０４に供給する。
【０２８１】
ステップＳ４０１における前処理は、図１６のステップＳ１１と同様なので、その詳細な処理の説明は省略する。
【０２８２】
ステップＳ４０２において、上位階層画像変化パラメータ発生回路４０６は、評価判定・収束判定回路４０７から供給された回数カウントを基に、上位階層画像変化パラメータを発生し、発生した上位階層画像変化パラメータをエンコード回路４０４に供給する。
【０２８３】
ステップＳ４０３において、エンコード回路４０４は、上位階層画像変化パラメータを基に、内部のバッファに記憶された上位階層画像を変化させる。ステップＳ４０４において、エンコード回路４０４は、上位階層画像および予測係数の更新の処理を所定の回数（例えば、１０回）繰り返す。
【０２８４】
ステップＳ４０５において、エンコード回路４０４は、所定の回数（例えば、５回）、上位階層画像の変化の処理を繰り返したか否かを判定し、所定の回数、上位階層画像の変化の処理を繰り返していないと判定された場合、手続きは、ステップＳ４０３に戻り、上位階層画像の変化の処理を繰り返す。
【０２８５】
ステップＳ４０５において、所定の回数、上位階層画像の変化の処理を繰り返したと判定された場合、ステップＳ４０６に進み、マッピング回路４０５は、エンコード回路４０４から供給された上位階層画像および予測係数を基に、下位階層画像を生成するマッピングの処理を実行する。
【０２８６】
ステップＳ４０６のマッピングの処理は、図１６のステップＳ１２の処理と同様であるので、その詳細の説明は省略する。
【０２８７】
ステップＳ４０７において、評価判定・収束判定回路４０７は、マッピング回路４０５から供給された下位階層画像と画像データ（原画像）との比較により生成される評価値を生成して、生成した評価値が最適評価値保存レジスタ４０８に記憶されている評価値より良ければ、生成した評価値を最適評価値保存レジスタ４０８に記憶させ、エンコード回路４０４が出力する上位階層画像を最適上位階層画像メモリ４１０に記憶させ、エンコード回路４０４が出力する予測係数を最適予測係数テーブルメモリ４１２に記憶させる。
【０２８８】
なお、最初にステップＳ４０７の処理が実行されるとき、最適評価値保存レジスタ４０８には、評価値が保存されていないので、生成した評価値は、最適評価値保存レジスタ４０８に記憶される。
【０２８９】
ステップＳ４０８において、カウンタ４１５は、カウンタ値を基に、所定個（例えば、１５個）の変化パラメータで上位階層画像の変化の処理を実行したか否かを判定し、所定個の変化パラメータで上位階層画像の変化の処理を実行していないと判定された場合、手続きは、ステップＳ４０２に戻り、上位階層画像変化パラメータの発生から処理を繰り返す。
【０２９０】
ステップＳ４０８において、所定個の変化パラメータで上位階層画像の変化の処理を実行したと判定された場合、ステップＳ４０９に進み、評価判定・収束判定回路４０７は、最適評価値保存レジスタ４０８に記憶されている評価値および予め記憶している閾値を基に、収束したか否かを判定する。ステップＳ４０９において、収束していないと判定された場合、ステップＳ４１０に進み、カウンタ４１５は、最適上位階層画像メモリ４１０に記憶されている上位階層画像を上位階層画像メモリ４０２に記憶させ、最適予測係数テーブルメモリ４１２に記憶されている予測計数を予測係数テーブルメモリ４０３に記憶させ、手続きは、ステップＳ４０２に戻り、処理を繰り返す。
【０２９１】
ステップＳ４０９において、収束したと判定された場合、評価判定・収束判定回路４０７は、最適上位階層画像メモリ４１０に記憶されている上位階層画像、および最適予測係数テーブルメモリ４１２に記憶されている予測計数を出力して、処理は終了する。
【０２９２】
このように、図３８に示す送信装置１は、図３１、図３４、または図３７に示すフローチャートに対応する処理を実行するときに比較して、より小さい規模の回路構成で、迅速に、原画像と誤差の小さい復元画像を得ることができる上位階層画像を出力することができる。
【０２９３】
なお、上位階層画像は、低解像度の画像であると説明したが、低解像度の画像に限らず、低周波数画像でもよい。
【０２９４】
また、上位階層画像にあたる圧縮データは、各画素のビット数の少ない画像データでもよい。
【０２９５】
本実施の形態では、図３の送信装置１を構成するＣＰＵ１４が、同じく送信装置１を構成する外部記憶装置１５に記憶されたアプリケーションプログラムを実行することで、各種の符号化処理が行われるようにしたが、これらの符号化処理は、ハードウェアによって行うことも可能である。同様に受信装置４における処理も、そのような処理を行うためのプログラムをコンピュータに実行させることによっても、またハードウェアによっても、実現可能である。
【０２９６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２９７】
この記録媒体は、図３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１７（フロッピディスクを含む）、光ディスク１８（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク１９（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ２０などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１２や、外部記憶部１５に含まれるハードディスクなどで構成される。
【０２９８】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３００】
【発明の効果】
本発明によれば、より迅速に、より小さな誤差で画像を復元できる符号化データを求めることができるようになる。
【図面の簡単な説明】
【図１】上位階層画像および下位階層画像を説明する図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成を示す図である。
【図３】図２の送信装置１の構成例を示す図である。
【図４】図３の送信装置１の、送信機／記録装置１６を除く部分の機能的な構成例を示す図である。
【図５】マッピング回路５４の構成を示す図である。
【図６】上位階層画像更新回路５８の構成を説明する図である。
【図７】最適画素値決定回路１０２による注目画素の最適画素値の算出を説明する図である。
【図８】最適画素値決定回路１０２による注目画素の最適画素値の算出を説明する図である。
【図９】最適画素値決定回路１０２による注目画素の最適画素値の算出を説明する図である。
【図１０】最適画素値決定回路１０２の構成を示す図である。
【図１１】上位階層画像変更回路５９の構成を説明する図である。
【図１２】画素値変更回路１５２および変化量決定回路１５３による画素値の変更の例を説明する図である。
【図１３】画素値変更回路１５２および変化量決定回路１５３による画素値の変更の例を説明する図である。
【図１４】予測係数更新回路６０の構成を示す図である。
【図１５】上位階層画像の更新の処理、または変更の処理の回数と、上位階層画像から復元した画像のＳ／Ｎとの対応を示す図である。
【図１６】符号化の処理を説明するフローチャートである。
【図１７】前処理を説明するフローチャートである。
【図１８】初期上位階層画像の生成の処理を説明するフローチャートである。
【図１９】初期予測係数の生成の処理を説明するフローチャートである。
【図２０】マッピングの処理を説明するフローチャートである。
【図２１】上位階層画像の更新の処理を説明するフローチャートである。
【図２２】最適画素値の決定の処理を説明するフローチャートである。
【図２３】上位階層画像の変更の処理を説明するフローチャートである。
【図２４】上位階層画像の変更の他の処理を説明するフローチャートである。
【図２５】予測係数の更新の処理を説明するフローチャートである。
【図２６】受信装置４の機能的な構成例を示す図である。
【図２７】復号の処理を説明するフローチャートである。
【図２８】第２の実施の形態における、送信装置１の構成例を示す図である。
【図２９】エンコード回路３０４の構成を説明する図である。
【図３０】第２の実施の形態における符号化の処理の概要を説明する図である。
【図３１】第２の実施の形態における送信装置１の符号化の処理を説明するフローチャートである。
【図３２】第３の実施の形態における、送信装置１の構成例を示す。
【図３３】第３の実施の形態における符号化の処理の概要を説明する図である。
【図３４】第３の実施の形態における送信装置１の符号化の処理を説明するフローチャートである。
【図３５】第４の実施の形態における、送信装置１の構成例を示す。
【図３６】第４の実施の形態における符号化の処理の概要を説明する図である。
【図３７】第４の実施の形態における送信装置１の符号化の処理を説明するフローチャートである。
【図３８】第５の実施の形態における送信装置１の構成例を示す図である。
【図３９】第５の実施の形態における送信装置１の符号化の処理を説明するフローチャートである。
【符号の説明】
１  送信装置，  ２  情報記録媒体，  ３  伝送路，  ４  受信装置，  １４ＣＰＵ，  １２  ＲＯＭ，  １３  ＲＡＭ，  １５  外部記憶装置，  １７  磁気ディスク，  １８  光ディスク，  １９  光磁気ディスク，  ２０  半導体メモリ，  ５４  マッピング回路，  ５６  収束判定回路，  ５７  更新回数カウンタ，  ５８  上位階層画像更新回路，  ５９  上位階層画像変更回路，  ６０  予測係数更新回路，  ８１  クラス分類回路，  ８２  予測タップ抽出回路，  ８３  復号回路，  ８４  下位階層画像メモリ，  １０１  上位階層画像データメモリ，  １０２  最適画素値決定回路，  １０４  注目画素決定回路，  １５１  上位階層画像データメモリ，  １５２  画素値変更回路，  １５３  変化量決定回路，  １５４  注目画素決定回路，  １７１  クラス分類回路，  １７２  予測タップ抽出回路，  １７３  教師データ抽出回路，  １７４  予測係数演算回路，  ３０１  前処理回路，  ３０２  上位階層画像メモリ，  ３０３予測係数テーブルメモリ，  ３０４−１乃至３０４−Ｎ  エンコード回路，  ３０５−１乃至３０５−Ｎ  マッピング回路，  ３０６  上位階層画像変化パラメータ発生回路，  ３０７  評価・選択・収束判定回路，  ３０８  スイッチャ，  ３０９  カウンタ，  ３３１  予測係数テーブルメモリ，  ３３２  上位階層画像メモリ，  ３３３  マッピング回路，  ３３４  収束判定回路，  ３３５上位階層画像更新回路，  ３３６  上位階層画像変更回路，  ３３７  予測係数更新回路，  ３５１  上位変化・係数更新回路，  ３５２  上位更新・係数更新回路，  ４０１  前処理回路，  ４０２  上位階層画像メモリ，  ４０３  予測係数テーブルメモリ，  ４０４  エンコード回路，  ４０５  マッピング回路，  ４０６  上位階層画像変化パラメータ発生回路，  ４０７  評価判定・収束判定回路，  ４０８  最適評価値保存レジスタ，  ４１０  最適上位階層画像メモリ，  ４１２  最適予測係数テーブルメモリ，  ４１５  カウンタ
【図１】
0004415230.tif 000002
【図２】
0004415230.tif 000003
【図３】
0004415230.tif 000004
【図４】
0004415230.tif 000005
【図５】
0004415230.tif 000006
【図６】
0004415230.tif 000007
【図７】
0004415230.tif 000008
【図８】
0004415230.tif 000009
【図９】
0004415230.tif 000010
【図１０】
0004415230.tif 000011
【図１１】
0004415230.tif 000012
【図１２】
0004415230.tif 000013
【図１３】
0004415230.tif 000014
【図１４】
0004415230.tif 000015
【図１５】
0004415230.tif 000016
【図１６】
0004415230.tif 000017
【図１７】
0004415230.tif 000018
【図１８】
0004415230.tif 000019
【図１９】
0004415230.tif 000020
【図２０】
0004415230.tif 000021
【図２１】
0004415230.tif 000022
【図２２】
0004415230.tif 000023
【図２３】
0004415230.tif 000024
【図２４】
0004415230.tif 000025
【図２５】
0004415230.tif 000026
【図２６】
0004415230.tif 000027
【図２７】
0004415230.tif 000028
【図２８】
0004415230.tif 000029
【図２９】
0004415230.tif 000030
【図３０】
0004415230.tif 000031
【図３１】
0004415230.tif 000032
【図３２】
0004415230.tif 000033
【図３３】
0004415230.tif 000034
【図３４】
0004415230.tif 000035
【図３５】
0004415230.tif 000036
【図３６】
0004415230.tif 000037
【図３７】
0004415230.tif 000038
【図３８】
0004415230.tif 000039
【図３９】
0004415230.tif 000040