(57)【要約】【課題】  圧縮した画像データの容量を低下させ、かつ、ＭＰＥＧと同等以上の伸張後の画像品質を得る圧縮・伸張処理を行うことが可能な動画像の符号化及び復号機能を有する画像処理装置を提供する。【解決手段】  本発明の画像処理装置は、I,P,Bピクチャを用いた動画像の符号化を行う画像処理装置において、入力される原画像がIピクチャであるとき、この原画像を4×4画素単位の画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接する画素ブロック間において交流成分予測を行う交流予測符号化部と入力される原画像がＢまたはＰピクチャであるとき、この原画像を分割して、8×8画素のマクロブロック単位とし、他ピクチャから最も高い相関を有する参照ブロックを抽出し、この参照ブロックを用い、このマクロブロックの動き補償予測の符号化データがデータ容量範囲であるかの判定を行う動き推定部とを有する。【選択図】      図１
2005184525.tif 000002
【特許請求の範囲】
【請求項１】
Ｉピクチャ，Ｐピクチャ及びＢピクチャを用いた動画像の符号化を行う画像処理装置において、
入力される原画像がＩピクチャであるとき、この原画像を４×４画素単位の画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接する画素ブロックとの間において交流成分予測を行い、各画素ブロックを４分割した２×２画素のサブ画素ブロック毎に、第１のＤＣ画素値を求め、この第１のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックとの差分を第１の差分値として求め、この第１の差分値を第１のアダマール係数として符号化し、前記ＤＣ値と第１のアダマール係数とを符号化データとして出力する第１の交流予測符号化部と、
前記画素ブロックを２×２画素単位のサブ画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接するサブ画素ブロック間において交流成分予測を行い、各サブ画素ブロックにおける各画素毎に、第２のＤＣ画素値を求め、この第２のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックにおける画素との差分を第２の差分値として求め、この第２の差分値を第２のアダマール係数として符号化し、第２のアダマール係数を符号化データとして出力する第２の交流予測符号化部と、  
入力される原画像がＢまたはＰピクチャであるとき、この原画像を分割して、８×８画素のマクロブロック単位とし、所定の他ピクチャから最も高い相関を有する参照ブロックを抽出し、この参照ブロックを用いた、このマクロブロックの動き補償の符号化データが所定のデータ容量範囲であるかの判定を行う動き推定部と、
マクロブロックの動き補償の符号化データが前記所定の範囲内である場合、このマクロブロックに対して、動き補償に基づくインター符号化を行うインター符号化部と、
マクロブロックの動き補償の符号化データが前記所定の範囲内でない場合、このマクロブロックに対してイントラ符号化を行うイントラ符号化部と
を有することを特徴とする画像処理装置。
【請求項２】
前記インター符号化部が、動き予測により抽出した８×８画素の参照画像（参照ブロック）と、符号化対象のマクロブロックとの差分値を求め、この差分値による差分ブロックを４×４の画素ブロック（残差ブロック）単位に分割し、各画素ブロック毎に、前記差分値を平均化してＤＣ値を求めて、このＤＣ値と差分ブロックの差分値との差をアダマール係数として符号化し、前記ＤＣ値とアダマール係数とを符号化データとして出力することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記イントラ符号化部が、
符号化対象のマクロブロックを４×４画素単位の画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接する画素ブロックとの間において交流成分予測を行い、各画素ブロックを４分割した２×２画素のサブ画素ブロック毎に、第１のＤＣ画素値を求め、この第１のＤＣ画素値と、マクロブロックにおいて、対応する位置のサブ画素ブロックとの差分を第１の差分値として求め、この第１の差分値を第１のアダマール係数として符号化し、前記ＤＣ値と第１のアダマール係数とを符号化データとして出力する第３の交流予測符号化部と、
前記画素ブロックを２×２画素単位のサブ画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接するサブ画素ブロック間において交流成分予測を行い、各サブ画素ブロックにおける各画素毎に、第２のＤＣ画素値を求め、この第２のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックにおける画素との差分を第２の差分値として求め、この第２の差分値を第２のアダマール係数として符号化し、第２のアダマール係数を符号化データとして出力する第４の交流予測符号化部と
を有することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記交流予測符号化部が、符号化対象のマクロブロックを４×４画素単位の画素ブロックに分割し、また２×２画素のサブ画素ブロックに分割して交流予測符号化を行う際に、隣接した対象画素ブロックがインター符号化された画素ブロックの場合、その復号結果のマクロブロックを用いて交流成分予測を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
Ｉピクチャ，Ｐピクチャ及びＢピクチャを用いた動画像の復号を行う画像処理装置において、
入力される符号化された画像データがＩピクチャであるとき、入力される復号対象の対象画素ブロックのＤＣ値と、この対象画素ブロックに隣接する画素ブロックのＤＣ値との間において交流成分予測を行い、各画素ブロックを４分割した２×２画素のサブ画素ブロック毎に、第１のＤＣ画素値を求め、この第１のＤＣ画素値に対して、入力される第１のアダマール係数の逆アダマール変換を行い、このサブ画素ブロックの第１のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックとの差分を第１の差分値として求め、この第１の差分値を、交流成分予測により復号された第１のＤＣ画素値に加算して、加算結果を新たな第１のＤＣ画素値として出力する第１の交流予測復号部と、
前記第１のＤＣ画素値とこの第１のＤＣ画素値に隣接するサブ画素ブロックの第１のＤＣ画素値との間において交流成分予測を行い、画素毎に、第２のＤＣ画素値を求め、この画素の第２のＤＣ画素値に対して、入力される第２のアダマール係数の逆アダマール変換を行い、この画素の第２のＤＣ画素値と、対応する位置の原画像の画素との差分を第２の差分値として求め、この第２の差分値を、交流成分予測により復号された第２のＤＣ画素値に加算して、加算結果を復号データとして出力する第２の交流予測復号部と、
入力される符号化された画像データがＢまたはＰピクチャであるとき、復号対象の８×８画素のマクロブロックがイントラ符号化されたものかインター符号化されたものかの判定を行う判定部と、
復号対象のマクロブロックがインター符号化されたものであるとき、参照ブロックとマクロブロックとの各画素の差分による差分ブロックを４×４の画素ブロックに分割して、画素ブロック毎に求められた残差の平均値である残差ＤＣ値と、４×４画素ブロック毎に得られた第１及び第２のアダマール係数とにおいて、残差ＤＣ値と第１及び第２のアダマール係数を逆アダマール変換して求めた残差の差分値とを加算し、この加算結果に参照ブロックの画素値を加算することにより、マクロブロックの復号を行うインター復号部と、
復号対象のマクロブロックがイントラ符号化されたものであるとき、入力される４×４画素の画素ブロックのＤＣ値とアダマール係数とにより、マクロブロックの復号を行うイントラ復号部と
を有することを特徴とする画像処理装置。
【請求項６】
前記イントラ復号部が、復号対象のマクロブロックを４×４画素単位の画素ブロックに分割し、また２×２画素のサブ画素ブロックに分割して交流予測符号化による復号を行う際に、隣接した対象画素ブロックがインター符号化された画素ブロックの場合、その復号結果のマクロブロックを用いて交流成分予測を行うことを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の圧縮及び伸張を行う前段階の画像データ（画像圧縮を効率よく行うためのデータ構成）を作成する画像処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
動画像 、音声を圧縮 する方式として、非特許文献１に規定されている動画像 、音声圧縮 規格Ｈ.２６２（通称「ＭＰＥＧ２」方式）がある。
上記ＭＰＥＧ２による動画像の圧縮においては、画像をマクロブロックと呼ばれる１６画素×１６画素の矩形ブロック群に分割し、時間的に前後の画像の中から、圧縮するマクロブロックに対し高い相関を有する領域（以下、参照領域）を抽出し、上記参照領域との空間的な距離、方位（動きベクトル）と、参照領域と圧縮 しようとする領域の差分情報を計算し、これらの情報を、ＤＣＴ（離散コサイン変換）、可変長符号化を用いてビットストリームに圧縮する。
【０００３】
上述したような動きベクトルと差分情報だけを圧縮する手法は、原画像そのものを圧縮する手法よりも、はるかに高能率な圧縮が実現可能である。
つまり、同じ程度の圧縮歪みを許容するならば、より少ない情報量に圧縮することが可能である。
しかし、差分情報によって圧縮された画像は、参照する画像がないと伸長できない。
このため、ビットストリームの途中から伸長するような用途（以下、「ランダムアクセス」と称する。）に対処するためには、他の画像を参照しない画像を周期的に設ける必要がある。
【０００４】
この画像を「Ｉ画像」（Intra Picture）と称し、このＩ画像を参照画像として、次のＢ及びＰ画像を圧縮していく。
参照画像を用いて圧縮する画像の中には、時間的に前の画像のみを参照画像とする「Ｐ画像 (Predictive-coded Picture)」と、時間的に前後の画像を参照画像とする「Ｂ画像 (Bidirectionally predictive-coded Picture)」がある。Ｐ画像は、Ｉ画像と同様に、他の画像、すなわち「Ｂ画像」の参照画像となりうる。
【非特許文献１】「ＩＴＵ−Ｔホワイトブック、オーディオビジュアル／マルチメディア関連（Ｈシリーズ）勧告集」（財団法人日本ＩＴＵ協会、平成７年２月１８日発行）Ｐ３７５〜Ｐ５９５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したＭＰＥＧ２は、画像圧縮が１６画素×１６画素の矩形ブロック単位で独立して行われる。
すなわち、Ｉ画像であれば矩形ブロック単位で独立して画像圧縮を行うため、圧縮効率の向上には、限界がある。
また、Ｂ及びＰ画像も参照画像との差分データを利用し、動き補償を行いデータ量を低下させているが、参照画像が使用できない矩形ブロックは、Ｉ画像の矩形ブロックと同様に矩形ブロック単位で独立して画像圧縮を行うため、圧縮効率の向上には、限界がある。
【０００６】
本発明の目的は、このような背景の下になされたもので、圧縮した画像データの容量を低下させ、かつ、ＭＰＥＧと同等以上の伸張後の画像品質を得る圧縮・伸張処理を行うことが可能な動画像の符号化及び復号機能を有する画像処理装置を提供する事にある。
【課題を解決するための手段】
【０００７】
本願発明の画像処理装置は、Ｉピクチャ，Ｐピクチャ及びＢピクチャを用いた動画像の符号化を行う画像処理装置において、入力される原画像がＩピクチャであるとき、この原画像を４×４画素単位の画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接する画素ブロックとの間において交流成分予測を行い、各画素ブロックを４分割した２×２画素のサブ画素ブロック毎に、第１のＤＣ画素値を求め、この第１のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックとの差分を第１の差分値として求め、この第１の差分値を第１のアダマール係数として符号化し、前記ＤＣ値と第１のアダマール係数とを符号化データとして出力する第１の交流予測符号化部と、前記画素ブロックを２×２画素単位のサブ画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接するサブ画素ブロック間において交流成分予測を行い、各サブ画素ブロックにおける各画素毎に、第２のＤＣ画素値を求め、この第２のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックにおける画素との差分を第２の差分値として求め、この第２の差分値を第２のアダマール係数として符号化し、第２のアダマール係数を符号化データとして出力する第２の交流予測符号化部と、入力される原画像がＢまたはＰピクチャであるとき、この原画像を分割して、８×８画素のマクロブロック単位とし、所定の他ピクチャから最も高い相関を有する参照ブロックを抽出し、この参照ブロックを用いた、このマクロブロックの動き補償の符号化データが所定のデータ容量範囲であるかの判定を行う動き推定部と、マクロブロックの動き補償の符号化データが前記所定の範囲内である場合、このマクロブロックに対して、動き補償に基づくインター符号化を行うインター符号化部と、マクロブロックの動き補償の符号化データが前記所定の範囲内でない場合、このマクロブロックに対してイントラ符号化を行うイントラ符号化部とを有することを特徴とする。
【０００８】
本願発明の画像処理装置は、前記インター符号化部が、動き予測により抽出した８×８画素の参照画像（参照ブロック）と、符号化対象のマクロブロックとの差分値を求め、この差分値による差分ブロックを４×４の画素ブロック（残差ブロック）単位に分割し、各画素ブロック毎に、前記差分値を平均化してＤＣ値を求めて、このＤＣ値と差分ブロックの差分値との差をアダマール係数として符号化し、前記ＤＣ値とアダマール係数とを符号化データとして出力することを特徴とする。
【０００９】
本願発明の画像処理装置は、前記イントラ符号化部が、符号化対象のマクロブロックを４×４画素単位の画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接する画素ブロックとの間において交流成分予測を行い、各画素ブロックを４分割した２×２画素のサブ画素ブロック毎に、第１のＤＣ画素値を求め、この第１のＤＣ画素値と、マクロブロックにおいて、対応する位置のサブ画素ブロックとの差分を第１の差分値として求め、この第１の差分値を第１のアダマール係数として符号化し、前記ＤＣ値と第１のアダマール係数とを符号化データとして出力する第３の交流予測符号化部と、前記画素ブロックを２×２画素単位のサブ画素ブロックに分割し、画素値の平均値であるＤＣ値を求め、隣接するサブ画素ブロック間において交流成分予測を行い、各サブ画素ブロックにおける各画素毎に、第２のＤＣ画素値を求め、この第２のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックにおける画素との差分を第２の差分値として求め、この第２の差分値を第２のアダマール係数として符号化し、第２のアダマール係数を符号化データとして出力する第４の交流予測符号化部とを有することを特徴とする。
【００１０】
本願発明の画像処理装置は、交流予測符号化部が、符号化対象のマクロブロックを４×４画素単位の画素ブロックに分割し、また２×２画素のサブ画素ブロックに分割して交流予測符号化を行う際に、隣接した対象画素ブロックがインター符号化された画素ブロックの場合、その復号結果のマクロブロックを用いて交流成分予測を行うことを特徴とする。
【００１１】
本願発明の画像処理装置は、Ｉピクチャ，Ｐピクチャ及びＢピクチャを用いた動画像の復号を行う画像処理装置において、入力される符号化された画像データがＩピクチャであるとき、入力される復号対象の対象画素ブロックのＤＣ値と、この対象画素ブロックに隣接する画素ブロックのＤＣ値との間において交流成分予測を行い、各画素ブロックを４分割した２×２画素のサブ画素ブロック毎に、第１のＤＣ画素値を求め、この第１のＤＣ画素値に対して、入力される第１のアダマール係数の逆アダマール変換を行い、このサブ画素ブロックの第１のＤＣ画素値と、対応する位置の原画像のサブ画素ブロックとの差分を第１の差分値として求め、この第１の差分値を、交流成分予測により復号された第１のＤＣ画素値に加算して、加算結果を復号データとして出力する第１の交流予測復号部と、前記第１のＤＣ画素値とこの第１のＤＣ画素値に隣接するサブ画素ブロックの第１のＤＣ画素値との間において交流成分予測を行い、画素毎に、第２のＤＣ画素値を求め、この画素の第２のＤＣ画素値に対して、入力される第２のアダマール係数の逆アダマール変換を行い、この画素の第２のＤＣ画素値と、対応する位置の原画像の画素との差分を第２の差分値として求め、この第２の差分値を、交流成分予測により復号された第２のＤＣ画素値に加算して、加算結果を復号データとして出力する第２の交流予測復号部と、入力される符号化された画像データがＢまたはＰピクチャであるとき、復号対象の８×８画素のマクロブロックがイントラ符号化されたものかインター符号化されたものかの判定を行う判定部と、復号対象のマクロブロックがインター符号化されたものであるとき、参照ブロックとマクロブロックとの各画素の差分による差分ブロックを４×４の画素ブロックに分割して、画素ブロック毎に求められた残差の平均値である残差ＤＣ値と、４×４画素ブロック毎に得られた第１及び第２のアダマール係数とにおいて、残差ＤＣ値と第１及び第２のアダマール係数を逆アダマール変換して求めた残差の差分値とを加算し、この加算結果に参照ブロックの画素値を加算することにより、マクロブロックの復号を行うインター復号部と、復号対象のマクロブロックがインター符号化されたものであるとき、参照ブロックとマクロブロックとの各画素の残差の平均値である残差ＤＣ値と、復号対象のマクロブロックがイントラ符号化されたものであるとき、入力されるマクロブロックから４×４画素の画素ブロックのＤＣ値を求め、このＤＣ値によりマクロブロックの復号を行うイントラ復号部とを有することを特徴とする。
【００１２】
本願発明の画像処理装置は、前記イントラ復号部が、復号対象のマクロブロックを４×４画素単位の画素ブロックに分割し、また２×２画素のサブ画素ブロックに分割して交流予測符号化による復号を行う際に、隣接した対象画素ブロックがインター符号化された画素ブロックの場合、その復号結果のマクロブロックを用いて交流成分予測を行うことを特徴とする。
【発明の効果】
【００１３】
本発明による画像処理装置によれば、元画像の画素値とサブ画素ブロック第１のＤＣ画素値との第１の差分値をアダマール変換して、差分値としての情報量の多い低周波成分（画素ブロックに対応する第１のアダマール係数）を抽出した後に、この第１の差分値を復号し第１のＤＣ画素値に加えて、サブ画素ブロックの各画素の第２のＤＣ画素値を求めた後に、第２のアダマール変換により残り高周波側のアダマール係数（サブ画素ブロックに対応する第２のアダマール係数）を求めるので、残りの第２のアダマール係数の情報量を削減することが出来るため、ＡＣＰ処理及びアダマール変換を１回ずつ行う１段階処理に比較して、第２の差分値のデータ量を減少させることが可能となり、１段階の差分値から全てのアダマール係数を求める場合に比較して、アダマール係数のデータ量を少なくし、ＭＰＥＧと同等以上の画像品質により、画像の圧縮及び復号を行うことができる。
【００１４】
また、本発明による画像処理装置によれば、アダマール変換だけでなくＡＣＰ法による符号化処理も加わっているため、アダマール変換をブロック単位で行うために現れやすいブロックノイズを削減することができる。
さらに、本発明による画像処理装置によれば、符号化の時点において、インターの復号を行い、このインターの復号結果をイントラ符号化の処理、すなわち符号化のための差分値を求めることに使用しているため、比較する画像との差分値を圧縮する上述した画像圧縮の手法を動画に効果的に適用することができ、大幅に圧縮効率を向上させることが可能となり、動画の画像情報として伝送する符号化データのデータ量を削減することができ、画像情報の転送効率を向上させることができ、符号化データの復号によりＭＰＥＧと同等の画像品質により画像を再生することができる。
【発明を実施するための最良の形態】
【００１５】
一般に、画像データの容量は非常に大きいが、多くの冗長度（相関の高い部分）を内在している。
静止画像においては、隣接する画素は非常に似通った値をとることが多い（空間的な相関が高い）。
また、動画像においても、多少の違いはあるが、同じような画像が連続して現れる（時間的な相関が高い）。
上述した空間的及び時間的な冗長度を効率的に取り除くことにより、大幅な画像の情報圧縮が可能となる。
【００１６】
・空間的相関を用いる場合
隣接する画素ブロックに、符号化対象ブロックとの相関が高いものが検出された場合、すでに符号化された、隣接する画素ブロックから次に符号化する画素ブロックの値をある程度予測でき、上記隣接する画素ブロックの画素値と、符号化する画素ブロックの画素値との差分を符号化することにより、情報圧縮が行える。
【００１７】
・時間的相関を用いる場合
動画像においては、連続する画像同士は非常に高い相関を有する場合、すなわち時間定な変化が限られている場合が多い。
冗長度削減の最も簡易な手法は、直前に符号化された画像（Ａ）の各画素と、これから符号化しようとする画像（Ｂ）の各画素との差分（Ｂ−Ａ）をとり、差分を符号化するフレーム間差分符号化がある。
このフレーム間差分符号化の手法は、動きが小さい場合には効果的であるが、フレーム間の変化が大きい場合にはそのまま符号化した場合より符号量が増加する場合がある。
この符号量が所定の設定値より増加する場合、すでに符号化している画像から、これから符号化しようとする画像内の画素ブロックに最も似通ったブロックを、最小の誤差を有するブロックを検索するなどして抽出して切り出し、その切り出された位置及び、切り出された画素ブロックと符号化しようとする画素ブロックとの差分を符号化する動き補償がある。
本発明の画像処理装置においては、上述した空間的相関及び時間的相関（動き補償の手法）を効果的に用いて、動画像の符号化を行っている。
【００１８】
また、動き補償は、上述したように、符号化対象画像を上記画素ブロックの矩形上の８×８画素のマクロブロックに分割し、符号化対象ブロック毎に、最も相関の高いマクロブロックを参照ブロックとして検出し、符号化対象ブロックと参照ブロックとの差分を求め、この差分を符号化する。
しかしながら、画像のシーンが変化した場合や、新しい物体が画像内に現れた場合、この動き補償を用いることができないため、画素ブロックを静止画と同様に符号化したほうが符号化効率が上昇する。
【００１９】
このため、画素ブロックは、次の２種類に分類されて符号化処理が行われる。
・インターブロック（インター符号化されたマクロブロック）
参照画像において相関の高い参照ブロックがあり、この参照ブロックとの差分が符号化されるブロック。
・イントラブロック（イントラ符号化されたマクロブロック）
参照画像において相関の高い参照ブロックが無く、静止画像のように符号化されるブロック。
【００２０】
動き補償は、動画像の高圧縮符号化に必要不可欠な技術であるが、動き補償された画像フレームの復号には、動き予測に使用した参照画像がすでに復号されている必要がある。
参照画像数が多くなるほど、これを保存するバッファや表示されるまでの時間の遅延などの取り扱いが煩雑となり、この煩雑さを解消するため、本発明は、ＭＰＥＧと同様に、以下に示す３つのピクチャタイプに画像を分類している。
【００２１】
Ｉピクチャ(Intra-coded Picture)は、全ての画素ブロックがイントラブロックとして符号化されている。このため、Ｉピクチャは、他の画像と関連しておらず、単体で復号処理が可能であり、復号後、以降のＰ及びＢピクチャの復元に使用される。
Ｐ(Predictive-coded Picture)は、過去のＩピクチャもしくはＰピクチャを参照ピクチャとして、時間軸上において前向き動き動き補償により復元される。このため、Ｐピクチャは過去のＩまたはＰピクチャにしか依存（関連）しておらず、復号後に、以降のＰ及びＢピクチャの復元に使用される。
Ｂ(Bidirectional-coded Picture)は、過去のＩ及びＰピクチャのみでなく、未来のＩ及びＰピクチャをも参照ピクチャとして参照して、時間軸上において前向き及び後ろ向き動き補償により復元される。
【００２２】
＜＜符号化部＞＞
以下、図面を参照して、本願発明の画像処理装置の説明を行う。図１は本発明の一実施形態による符号化を行う画像処理装置の構成例を示すブロック図である。
この画像処理装置は、ピクチャ並べ換え部１，D-RAPIC符号化部２，ピクチャ蓄積用メモリ３，動き推定部４，インター符号部５，イントラ符号化部６，可変長符号化部７を有している。
ピクチャ並べ換え部１は、外部装置から時系列にフレーム単位で入力される原画像（フレーム画像）を、３種類のＩ，Ｐ及びＢピクチャに分類して、Ｉ，Ｐ及びＢピクチャ各々に分類された画像を図２に示すように、各画像にＩ，Ｐ及びＢピクチャのいずれであるかを示す識別子を付し、この識別子に応じて符号化する順番に並び替える（エンコード処理）。ここで、ピクチャの上記並べ替えは、ピクチャＢが符号化に際して、表示される時系列の並びにおいて、自身より未来に存在するＰピクチャを参照する必要があるために行われる
本実施形態の説明においては、原画像のＩ，Ｐ及びＢピクチャへの分類規則の一例として、Ｉピクチャの周期Ｎを９フレーム毎、Ｐピクチャの周期Ｍを３フレーム毎とした。ここで、例えば、周期Ｍは通常「３」に設定され、周期Ｎは周期Ｍの倍数の必要があり、３０fps(frames/sec)の場合、周期Ｎは「１５」であり、２５fpsの場合、周期Ｎは「１２」である。また、原画像のＩ，Ｐ及びＢピクチャへの分類規則は、上記組み合わせに限定されるものではなく、適時、設定されるものである。
【００２３】
図１の構成において、ピクチャ並べ換え部１は、原画像の入力順列［０(I)，１(B)，２(B)，３(P)，４(B)，５(B)，６(P)，７(B)，８(B)，９(I)，１０(B)，１１(B)，１２(P)］を、上記識別に応じて、符号化する順番である符号化順列［０(I)，３(P)，１(B)，２(B)，６(P)，４(B)，５(B)，９(I)，７(B)，８(B)，１２(B)，１０(B)，１１(B)］の順番へ並べ替え、識別子によりピクチャの種類を判定し、原画像がＩピクチャであると判定した場合、このＩピクチャとされた原画像をD-RAPIC符号化部２へ出力し、原画像がＢまたはＰピクチャであると判定した場合、このＢまたはＰピクチャとされた原画像を動き推定部４へ出力する。
【００２４】
D-RAPIC符号化部２は、後に詳細な説明を行うが、ＡＣＰ（交流成分予測）法に基づく演算により、Ｉピクチャの符号化を行い、符号化されたデータを可変長符号化部７へ出力する。
動き推定部４は、Ｐ，Ｂピクチャをマクロブロック（８×８画素のブロック）に、上左端部から順次分解し、マクロブロック単位各々に対して動きベクトルが計算される。
ここで、動き推定部４は、Ｐピクチャに対して参照画像としてＩピクチャ及びＰピクチャを用い、Ｐピクチャにおける符号化対象のマクロブロック（以下、符号化対象ブロック）と空間的相関の高い参照領域をＩピクチャ及びＰピクチャから検索し、ＩピクチャまたはＰピクチャのいずれかより最も空間的相関の高い参照領域を抽出する。
【００２５】
また、動き推定部４は、Ｂピクチャに対して参照画像としてＩ及びＰピクチャを用い、Ｂピクチャにおける符号化対象の画素ブロック（以下、符号化対象ブロック）と、空間的相関の高い参照領域をＩ及びＰピクチャから検索し、ＩまたはＰピクチャのいずれかより最も空間的相関の高い参照領域を抽出する。
検索方法としては、一般的な方法と同様に、所定の画素範囲内で水平及び垂直にずらして、予測算差信号の最小値を求める。
【００２６】
このとき、動き推定部４は、抽出した参照領域と、符号化対象ブロックとの予測残差信号を最小（絶対値和や２乗和の数値が最小）にする動きベクトルの計算を行い、この求められた最小の予測算差信号が予め決められた残差閾値以下（所定のデータ容量範囲内）であるか否かの判定を行い、この判定結果に基づいて、以下に示す符号化方法のいずれかを用いるかの選択を行い、各符号化対象ブロックに対して、いずれの符号化方法（インター符号化またはイントラ符号化）で処理されるかを示すマクロブロック符号化情報（ＭＣＢ符号化情報）を添付する。
【００２７】
このとき、動き推定部４は、予測残差信号が上記残差閾値以下である場合、動きベクトルを用いた動き補償ブロックとして符号化したほうが効率が高い符号化ができる、すなわち、静止画として符号化したものより、符号化されたデータ量が少なくなると判定し、この符号化対象ブロックをインターブロックとし、インター符号化部５へ出力するとともに、インターブロックであることを示すマクロブロック符号化情報を、可変長符号化部７へ出力する。
このとき、動き推定部４は、動きベクトルを可変長符号化部７へ出力する。
【００２８】
一方、動き推定部４は、予測残差信号が上記残差閾値を超える場合、静止画として符号化したほうが効率が高い符号化ができる、すなわち、静止画として符号化したものより、符号化されたデータ量が多くなると判定し、この符号化対象ブロックをイントラブロックとし、イントラ符号化部６へ出力するとともに、イントラブロックであることを示すマクロブロック符号化情報を、可変長符号化部７へ出力する。
ここで、動き推定部４は、マクロブロック符号化情報を、以下の３つの場合を区別する値に設定する。
・イントラ符号化された（イントラブロックである）場合
・過去のピクチャを参照してインター符号化された場合
・未来のピクチャを参照してインター符号化された場合
【００２９】
以下、順次、図を用いて、本発明の実施形態による、D-RAPIC符号化部２，インター符号化５及びイントラ符号化部６の構成及び動作例について説明する。
【００３０】
＜D-RAPIC符号化部２＞  
図３は本発明の一実施形態によるD-RAPIC符号化部２の構成例を示すブロック図である。
初めに、D-RAPIC符号化部２における処理の概要を説明すると、本発明の画像処理装置は、元画像を複数の画素（ｎ×ｎ画素）からなる画素ブロックに分割し、例えば４×４の画素からなる画素ブロックに分割する。
そして、この画素ブロック毎に各画素の画素値の平均値を計算し、この画素ブロックにおいて、各画素の平均化された画素値として各ＤＣ画像のＤＣ値（すなわち、画素ブロック内にある画素の画素値の平均値）を求める。
そして、本発明による画像処理装置は、このＤＣ値に基づいて、第１段階目のＡＣＰ（交流成分予測）法に基づく演算から、サブ画素ブロック（２×２画素のブロック）毎の第１のＤＣ画素値を求め、各々のサブ画素ブロックにおける元画像の画素の画素値の平均値からこの第１のＤＣ画素値を減算して第１の差分値を求めて、この第１の差分値に対してアダマール変換を行い、アダマール係数の一部を求めて量子化して出力する。
【００３１】
次に、D-RAPIC符号化部２は、この第１アダマール係数を逆量子化して、逆アダマール変換を行い、上記第１の差分値を再生する（量子化により再生された情報は劣化している）。
そして、D-RAPIC符号化部２は、この第１の差分値を対応するサブ画素ロックの画素値（すなわち第１のＤＣ画素値）に加算して、上記サブＤＣ画像の新たな第１のＤＣ画素値として出力する。
次に、D-RAPIC符号化部２は、ＤＣ画像の上記新たな第１のＤＣ画素値に基づいて、第２段階目のＡＣＰ法に基づく演算を行い、各画素毎の第２のＤＣ画素値を求める。
【００３２】
そして、D-RAPIC符号化部２は、元画像の各画素の画素値と上記第２のＤＣ画素値との第２の差分値を求めて（画素の画素値から第２のＤＣ画素値を減算）、第２のアダマール変換を行い、上記第１のアダマール係数（ＡＣ符号）を除いた残りのアダマール係数を第２のアダマール係数（ＡＣ符号）として求める。
上述したように、D-RAPIC符号化部２は、上記２段階におけるＡＣＰ法により求めた画素値と元画像の画素値との差分値を、同様に対応する２段階に分けてアダマール係数を求める演算を行っている。
【００３３】
このようにすることで、D-RAPIC符号化部２は、１６個の画素に対してＤＣ画像処理を行った時点でＤＣ値を生成し、第１段階のアダマール変換において、低周波数成分を３個の第１のアダマール係数として求め、第２段階のアダマール変換において、高周波成分を４つサブ画素ブロック毎に３個ずつ、計１２個の第２のアダマール係数として求めている。
そして、D-RAPIC符号化部２は、求めた１５個のアダマール係数及びＤＣ値とを、量子化した後にエントロピー符号化（例えば、ハフマン等）を行い、データ圧縮を行った後出力する。
【００３４】
これにより、D-RAPIC符号化部２は、第１のアダマール変換において、サブ画素ブロック範囲内における元画像の画素値の平均値と、第１のＤＣ画素値との第１の差分値をアダマール変換して、差分値として情報量の多い低周波成分を抽出し、アダマール変換により第１のアダマール係数として符号化し、さらに量子化によりデータ圧縮して符号化した後に、この第１の差分値を逆量子化して復号し、さらに逆アダマール変換することで復号し、第１のＤＣ画素値に加えて新たな第１のＤＣ画素値とし、この新たな第１のＤＣ画素値から第２のＤＣ画素値を求めた後に、第２のアダマール変換により、第２のアダマール係数として符号化し、残りの高周波側のアダマール係数を求めている。
【００３５】
一方、D-RAPIC符号化部２は、矩形関数を基底関数とするアダマール変換により画像データの符号化を行うため、隣接する画素の画素値が滑らかに変化する画像を前提とした場合、正弦関数を基底関数とするＤＣＴと比較して、滑らかな変化に関する情報を効率よく符号化することができない。
【００３６】
また、D-RAPIC符号化部２は、その後圧縮の観点から量子化が必要であり、画像復号時において逆量子化の後に逆アダマール変換を行った際、ＤＣＴがなめらかに近似して復元できるのに対し、アダマール変換では方形波ゆえにエッジが鋭く画素間の画素値の差が開きやすくなる。
【００３７】
しかしながら、D-RAPIC符号化部２は、第１段階アダマール変換により低周波成分に関する第１のアダマール係数を抽出後、その係数値を第１のＤＣ画素値に加えて新たな第１のＤＣ画素値として符号化に反映させ、この第１のＤＣ画素値に対してＡＣＰで周辺ブロックとの差異を補い、元画像の画素値との差を求め、その第２の差分値に対して第２段階のアダマール変換を施すことにより、ＤＣＴと同等以上の画質で画像を復元するとともに、元画像の画素値との差分値を取っているため、第２段階の処理（第２段階ＡＣＰ及び第２段階アダマール変換）において精度の高い符号化が可能となる。
【００３８】
また、D-RAPIC符号化部２は、第１段階の処理（第１段階ＡＣＰ及び第１段階アダマール変換）の結果を反映し、第２段階の処理（第２段階ＡＣＰ及び第２段階アダマール変換）で符号化する情報量を抑えることができ、ＤＣＴ等で高圧縮し復元する時に現れるモスキートノイズは、ＡＣＰ処理により大幅に軽減できる。
さらに、ＤＣＴにおいては実数精度の負荷が大きい演算が必要となるが、D-RAPIC符号化部２は、ＡＣＰとアダマール変換との併用方式であり、整数値に対する加減算ビットシフトにより、符号化に必要な演算が実現できるため、ＤＣＴと比較して高速に圧縮伸張を行うことができる。
【００３９】
また、D-RAPIC符号化部２は、ＡＣＰ処理を行うためのＤＣ値と、このＤＣ値に対してＡＣＰ処理を行った後の第１及び第２のＤＣ画素値と元画像におけるサブ画素ブロックのＤＣ値及び画素値各々との差分値をアダマール変換した情報のアダマール係数と、を符号化して出力するので、上述したように画像の再生処理に必要な情報量を少なくし、なにより、元画像との差分値をアダマール係数として出力するため、符号化データの精度（復号時の画質、すなわち再生の精度）を高めることができ、かつＭＰＥＧ等で使用されているＤＣＴ処理に比較して少ない情報量で元画像に対して高い再現性を持たせることが可能である。
また、第１のＤＣ値及び第２のＤＣ値とは、ＤＣ値（ＤＣ画像）があれば、すでに述べたように、各々画素を平均値することで、容易に求めることができるので、符号としては出力しない。
【００４０】
次に、図３により、D-RAPIC符号化部２の構成及び動作について説明する。
D-RAPIC符号化部２は、元画像を左上端から順に画素ブロック（４×４画素）に分解し、この画素ブロックからＤＣ画像を生成するＤＣ画像作成部１０３と、このＤＣ画像に基づき第１段階のＡＣＰ処理を行い、画素ブロックを分解（４分割）してサブ画素ブロック（２×２画素）を作成し、サブ画素ブロック毎の第１のＤＣ画素値を求める第１段階交流予測成分予測部１０４と、この第１のＤＣ画素値と、サブ画素ブロック範囲内における元画像の画素値の平均値との第１の差分値を求め、この第１の差分値に対して第１段階のアダマール変換を行い、第１のアダマール係数（ＡＣ符号）を求めて出力し、かつ第１のＤＣ画素値と第１の差分値とを加算し、新たな第１のＤＣ画素値を生成して出力する第１段階アダマール符号化部１０５と、この新たな第１のＤＣ画素値に基づいて第２段階のＡＣＰ処理を行い、元画像の各画素に対応した第２のＤＣ画素値を演算する第２段階交流成分予測部１０６と、元画像の各画素の画素値と第２のＤＣ画素値との第２の差分値を求め、この第２の差分値に対して第２段階のアダマール変換を行い、第２のアダマール係数（ＡＣ符号）を求める第２段階アダマール符号化部１０７から構成されている。
【００４１】
次に、図３を用いて、本発明の一実施形態によるD-RAPIC符号化部２の動作例を説明する。
本発明のD-RAPIC符号化部２は、元画像（図３の２ａ）を左上端部から順に、例えば４×４画素から構成される画素ブロックに分割して、この画素ブロック内の画素の画素値の平均値をＤＣ値として求め、量子化後にＤＣ符号として出力する。
【００４２】
このＤＣ値で画素値が示される画素ブロックはＤＣ画像として定義される。
すなわち、図４（ａ）に示すように、４×４画素を画素ブロックとし、図４（ｂ）に示すように、ＤＣ値を求めることで各画素ブロックはＤＣ画像となる。
ここで、画素ブロックＳは、画素ｄ(0,0)〜画素ｄ(3,3)（これらの画素は各々、図４（ｄ）において画素値ｄ00〜ｄ33に対応している）の１６の各画素の画素値の平均値であるＤＣ値を画素値としている。
【００４３】
第１段階交流成分予測部１０４は、交流成分予測法に基づき、ＤＣ画像からサブ画素ブロックを生成する。
すなわち、第１段階交流成分予測部１０４は、図５（ａ）において、画素ブロックＳから、左上端部から順に、２×２画素で構成されるサブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4（第１段階ＡＣＰ適用後画像２ｃ）のＤＣ値（サブ画素ブロックとしての画素値、すなわち第１のＤＣ画素値）を後に示す演算により予測する（生成する）場合、これら各サブ画素ブロックのＤＣ値として第１のＤＣ画素値を、画素ブロックＳのＤＣ値とともに、画素ブロックＳに対して、上下左右に隣接する画素ブロック（ＤＣ画像）Ｕ，Ｌ，Ｒ，ＢのＤＣ値（このＤＣ値として画素ブロックと同一の符号を使用している）を用いて以下の式により求める。
すなわち、交流成分予測法において、Ｓがサブ画素ブロックS1〜S4までを含む画素ブロックとすると、サブ画素ブロックS1,S2,S3,S4各々の第１のＤＣ画素値は、予測を行うサブ画素ブロックを有する画素ブロックＳと隣接する、すなわち画素ブロックＳの上部画素ブロックＵ，下部画素ブロックＢ，左側部画素ブロックＬ，右側部画素ブロックＲにより、以下の式により求められる。
Ｓ1  ＝  Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８
Ｓ2  ＝  Ｓ＋（Ｕ＋Ｒ−Ｂ−Ｌ）／８
Ｓ3  ＝  Ｓ＋（Ｂ＋Ｌ−Ｕ−Ｒ）／８
Ｓ4  ＝  Ｓ＋（Ｂ＋Ｒ−Ｕ−Ｌ）／８
【００４４】
第１段階アダマール符号化部１０５は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各々に各々対応させて、元画像の画素ｄ(0,0)，ｄ(0,1)，ｄ(1,0)，ｄ(1,1)と、画素ｄ(0,2)，ｄ(0,3)，ｄ(1,2)，ｄ(1,3)と、画素ｄ(2,0)，ｄ(2,1)，ｄ(3,0)，ｄ(3,1)と、画素ｄ(2,2)，ｄ(2,3)，ｄ(3,2)，ｄ(3,3)との、各４つの画素の画素値の平均値を演算する。
そして、第１段階アダマール符号化部１０５は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各第１のＤＣ画素値から、対応する画素の上記平均画素値を減算して、各サブ画素ブロック各々における第１の差分値を演算し、この第１の差分値に対して第１段階のアダマール変換を行う。
【００４５】
第１段階アダマール符号化部１０５は、以下の（１）式に示すようにサブ画素ブロックの構成を２×２画素と見なして、２×２サブ画素ブロックに対応する第１の差分値のアダマール変換を行う。
【数１】
2005184525.tif 000003
この（１）式において、Ｈはアダマール変換に用いるアダマール変換係数行列であり、以下に示す（２）式の構造となっている。
【数２】
2005184525.tif 000004
また、ＨＴは、Ｈに対する転置行列であり、（２）式の構造と同様である。
【００４６】
そして、αは求められるアダマール係数の行列を示し、ｆは２×２画素に対応する以下に説明する各画素の差分値（すなわち、各サブ画素ブロックの第１の差分値）に対応している。
αの行列の各要素αu,vは、以下の（３）式により求められる。
【数３】
2005184525.tif 000005
ここで、ｓ(x,y)は、サブ画素ブロックに対応した各々の第１の差分値の値であり、変換係数ｈu,v(x,y)もサブ画素ブロックに対応して設けられている。
【００４７】
そして、２×２サブ画素ブロックにおけるアダマール変換における変換係数ｈu,v(x,y)は、図６（ａ）に示す変換係数に対応している（白が「−１」であり、黒が「＋１」である）。ここで、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4各々に対応する変換係数ｈu,v(x,y)の位置関係（図６（ａ）に示す変換係数における）は、図４（ｃ）に示しているｓ(x,y)のx,yの示す位置関係に対応している（ここでは、変換係数ｈu,v(x,y)の位置関係のみを示している）。
【００４８】
また、ｆの行列は、以下の（４）式の構造をしている。
【数４】
2005184525.tif 000006
この第１段階のＡＣＰ後においては、画素ｄ(0,0)〜ｄ(3,3)の画素値は、帰属するサブ画素ブロック，すなわち対応するサブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の第１のＤＣ画素値に対応している。
【００４９】
このとき、第１段階アダマール符号化部１０５は、ＤＣ値及び第２段階アダマール変換で生成する第２のアダマール係数を除く、アダマール係数α01,α02,α03を求めるため、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4各々に対応する第１の差分値（ｓ(0,0),ｓ(0,1),ｓ(1,0),ｓ(1,1)）を、元画像の画素ｄ(0,0)，ｄ(0,1)，ｄ(1,0)，ｄ(1,1)の平均画素値からサブ画素ブロックＳ1のＤＣ値を減算し、元画像の画素ｄ(0,2)，ｄ(0,3)，ｄ(1,2)，ｄ(1,3)の平均画素値からサブ画素ブロックＳ2のＤＣ値を減算し、元画像の画素ｄ(2,0)，ｄ(2,1)，ｄ(3,0)，ｄ(3,1)の平均画素値からサブ画素ブロックＳ3のＤＣ値を減算し、元画像の画素ｄ(2,2)，ｄ(2,3)，ｄ(3,2)，ｄ(3,3)の平均画素値からサブ画素ブロックＳ4のＤＣ値を減算して求める。
【００５０】
すなわち、サブ画素ブロックＳ１，Ｓ2，Ｓ3，Ｓ4の２×２サブ画素ブロックにおいて、サブ画素ブロックを１つの画素と見なして、サブ画素ブロックの第１の差分値に対する２×２のアダマール変換を行う。
【００５１】
（３）式で求められるアダマール係数α01，α10，α11は、第１段階アダマール符号化部１０５において量子化され、第１のアダマール係数として出力される。
さらに、第１段階アダマール符号化部１０５は、量子化された第１のアダマール係数の逆量子化を行い、さらに逆アダマール変換を行い第１の差分値を再生し、再生した第１の差分値を、各画素に対応する第１のＤＣ画素値に加算して、第１段階Ｈｄｍ（アダマール変換）適用後画像（図３の２ｄ）における新たな第１のＤＣ画素値として出力する。
この再生される第１の差分値は、量子化されたときに情報が劣化している。
【００５２】
第２段階交流成分予測部１０６は、入力される第１段階Ｈｄｍ適用後画像のサブ画素ブロックＳ1、Ｓ2，Ｓ3，Ｓ4の各々の第１のＤＣ画素値と、各サブ画素ブロックと上下左右において隣接するサブ画素ブロックの第１のＤＣ画素値とに基づき、交流成分予測の演算を行い、各画素ｄ(0,0)，…，ｄ(3,3)各々の第２のＤＣ画素値dd00〜dd33を求めて、第２段階ＡＣＰ適用後画像（図３の２ｅ）を出力する。
ここで、第２段階交流成分予測部１０６は、例えば、図５（ｂ）に示すサブ画素ブロックＳ1における画素ｄ(0,0)〜ｄ(1,1)各々の第２のＤＣ画素値dd00，dd01，dd10，dd11を、以下に示す式により演算して求める。
すなわち、交流成分予測法において、Ｓ１が画素ｄ(0,0)〜ｄ(1,1)までに関する第１のＤＣ画素値とすると、上記画素各々の第２のＤＣ画素値dd00,dd01,dd10,dd11は、上部サブ画素ブロックＵ3，下部サブ画素ブロックＳ3，左側部サブ画素ブロックＬ2，右側部サブ画素ブロックＳ2各々の第１の画素値を用いて、以下の式により求められる。
dd00  ＝  Ｓ1＋（Ｕ3＋Ｌ2−Ｓ3−Ｓ2）／８
dd01  ＝  Ｓ1＋（Ｕ3＋Ｓ2−Ｓ3−Ｌ2）／８
dd10  ＝  Ｓ1＋（Ｓ3＋Ｌ2−Ｕ3−Ｓ2）／８
dd11  ＝  Ｓ1＋（Ｓ3＋Ｓ2−Ｕ3−Ｌ2）／８
同様に、第２段階交流成分予測部１０６は、他の残りのサブ画素ブロックＳ2〜Ｓ4における各画素の第２のＤＣ画素値を演算し、サブ画素ブロックＳ1〜Ｓ4までの各画素の第２のＤＣ画素値を、第２段階ＡＣＰ適用後画像として出力する。
【００５３】
第２段階アダマール符号化部１０７は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各画素の第２のＤＣ画素値から、対応する画素の画素値を減算して、各画素毎に対応した第２の差分値を演算し、この第２の差分値に対して第２段階のアダマール変換を行う。
【００５４】
第２段階アダマール符号化部１０７は、以下に示す（５）式において４×４画素として、各サブ画素ブロック内の画素毎の第２の差分値に対してアダマール変換を行う。
【数５】
2005184525.tif 000007
この（５）式において、Ｋnはアダマール変換に用いるアダマール変換係数行列であり、４×４画素の画素ブロック内の各画素のアダマール変換を行う場合でも、本発明においては２×２画素のサブ画素ブロック単位で各画素のアダマール変換を行うため、以下に示す（６）式の構造となっている。
【数６】
2005184525.tif 000008
【００５５】
そして、βnは求められるアダマール係数の行列を示し、下記の（７）式に示すように、ｇnは２×２画素に対応する以下に説明する、サブ画素ブロック毎の各画素の差分値（すなわち、各サブ画素ブロック内の画素毎の第２の差分値）の行列に対応している。
【数７】
2005184525.tif 000009
また、以下の説明において、画素ｄ(0,0)〜ｄ(3,3)の画素値を、対応する部分の符号に対応させて、図４（ｄ）に示すように画素値ｄ00〜ｄ33（対応関係は図５(ｂ)）で表している。
すなわち、画素ｄ(0,0)〜ｄ(3,3)の画素値は、以下に示すように、対応するサブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4における各画素値の第２のＤＣ画素値に対応している。
【００５６】
このとき、第２段階アダマール符号化部１０７は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4それぞれにおいて、各画素ｄ(0,0)，ｄ(0,1)，ｄ(1,0)，ｄ(1,1)、画素ｄ(0,2)，ｄ(0,3)，ｄ(1,2)，ｄ(1,3)、画素ｄ(2,0)，ｄ(2,1)，ｄ(3,0)，ｄ(3,1)、画素ｄ(2,2)，ｄ(2,3)，ｄ(3,2)，ｄ(3,3)の各第２のＤＣ画素値と、元画像の画素ｄ(0,0)，ｄ(0,1)，ｄ(1,0)，ｄ(1,1)、画素ｄ(0,2)，ｄ(0,3)，ｄ(1,2)，ｄ(1,3)、画素ｄ(2,0)，ｄ(2,1)，ｄ(3,0)，ｄ(3,1)、画素ｄ(2,2)，ｄ(2,3)，ｄ(3,2)，ｄ(3,3)の各々の画素値との差分を演算（元画像の画素値（ｄ00〜ｄ33）から、対応する各画素の第２のＤＣ画素値（dd00〜dd33）を減算、例えば、画素ｄ(0,0)において元画像の画素値ｄ00から第２のＤＣ画素値dd00を減算、これをｄ(0,0)〜ｄ(3,3)までの画素に対して行う）し、演算結果を第２の差分値として、図４（e）における様に、それぞれサブ画素ブロック（S1〜S4）毎に対して、各画素毎にｅn(0,0)，ｅn(0,1)，ｅn(1,0),ｅn(1,1)，ｎ∈[0,3]として求め、この第２の差分値を用いて、以下に示す（８）式により第２段階目のアダマール変換を行う。
ここで、ｋn，βn，ｇn，ｅn(x,y)各々の添え字「n」は、各サブ画素ブロックの位置に対応している。例えば、図４(ｅ)を例として示すと、「ｎ＝０」がサブ画素ブロックS1に対応し、「ｎ＝１」がサブ画素ブロックS2に対応し、「ｎ＝２」がサブ画素ブロックS3に対応し、「ｎ＝３」がサブ画素ブロックS4に対応している。
【００５７】
そして、βnの行列の各要素βn(u,v)は、以下の（８）式により求められる。
【数８】
2005184525.tif 000010
ここで、２×２画素におけるアダマール変換係数ｋn(u,v)(x,y)は、図６（ａ）に示す各画素に対応した構成となっている（白が「−１」であり、黒が「＋１」である）。ここで、図６（ａ）におけるアダマール変換係数ｋn(u,v)(x,y)の位置関係は、図６（ｂ）に示している。
【００５８】
また、図６（ａ）に示す本発明のアダマール変換係数において、すでに述べた第１段階目のアダマール変換に対応した変換係数部分は従来の構成と同様なものの、第２段階目のアダマール変換に対応した部分はサブ画素ブロック（Ｓ1,Ｓ2,Ｓ3,Ｓ4）毎に対応するように構成されている。
すなわち、４×４画素からなる画素ブロックにおいて、図６（ａ）におけるグループＡの４つ（Ａ1〜Ａ4において、Ａ1がｈ0,0(x,y)、Ａ2がｈ0,1(x,y)，Ａ3がｈ1,0(x,y)、Ａ4がｈ1,1(x,y)）である。
ここで、アダマール変換係数ｈ0,0(x,y)は、図６（ａ）に示すように全て黒であり、変換係数として全て「１」であり、全てのサブ画素ブロック差分値を加算したもの、すなわち元画像ブロックの各画素の画素値の平均値と、ＤＣ値との差分値に対応したものである。
この全てのサブ画素ブロック差分値を加算したものは、誤差を除いて「０」に等しいため、数値自身がD-RAPIC符号化部２内部に保存されていない。
【００５９】
また、図６（ｂ）に示すｎ＝０〜３の各図は、画素ブロックにおける各々のサブ画素ブロック（２×２画素）に対応した、アダマール変換係数の組み合わせとなっている。
例えば、図４（ｂ）の画素ブロックＳにおいて、各画素に対する（８）式における変換係数の対応関係を確認すると、ｎ＝０（サブ画素ブロックS１）においてｋ0(u,v)(x,y)，u,v,x,y∈[0,1]となり、ｎ＝１（サブ画素ブロックS2）においてｋ1(u,v)(x,y)，u,v,x,y∈[0,1]となり、ｎ＝２（サブ画素ブロックS3）においてｋ2(u,v)(x,y)，u,v,x,y∈[0,1]となり、ｎ＝３（サブ画素ブロックS4）においてｋ3(u,v)(x,y)、ここでu,v,x,y∈[0,1]となり、添え字「ｎ」を除くと、各サブ画素ブロックにおいて、図６（ａ）におけるＡ１〜Ａ４の対応と同様となる。
ここで、アダマール変換係数ｋ0（0,0)(x,y)，ｋ1（0,0)(x,y)，ｋ2（0,0)(x,y)，ｋ3（0,0)(x,y)、x,y∈[0,1]各々は、図６（ｂ）で示されているように、全て黒であり、変換係数として全て「１」であり、全ての画素の差分値を加算したもの、すなわち、各サブ画素ブロックにおける画素値の平均値と、新たな第１のＤＣ画素値との差分値に対応したものである。
この全ての画素の差分値を加算したものは、誤差を除いて「０」に等しいため、数値自身が符号化部２内部に保存されていない。
【００６０】
上述した（８）式において、画素ｄ(0,0)〜ｄ(3,3)に対応する差分値を、対応する画素の符号に対応させて、差分値ｅn(0,0)〜ｅn(1,1)により表している（この対応関係は、図４（ｅ）と図５（ｂ）とにおけるブロックＳの比較により対応づけられる）。
ここで、第２段階アダマール符号化部１０７は、サブ画素ブロックＳ1，Ｓ2，Ｓ３，Ｓ4各々に対応して、すでに（７）式で示したｇnと、（８）式とによりアダマール係数の演算を行う。
このｇnの添え字「ｎ」も、図４（ｅ）と同様に、各サブ画素ブロック（S1〜S4）の位置に対応している。
【００６１】
また、第２段階アダマール符号化部１０７は、（８）式により、画素ブロック（例えば、Ｓ）に含まれる各サブ画素ブロック（例えば、Ｓ１，Ｓ２，Ｓ３，Ｓ４）の１２個のアダマール係数、すなわちβn(0,1)，βn(1,0)，βn(1,1)、ここでｎ∈[0,3]を、第２のアダマール係数として演算し、量子化処理を行って出力する。
例えば、第２段階アダマール符号化部１０７は、量子化された第２のアダマール係数の逆量子化を行い、第２の差分値を再生し、再生した第２の差分値を、各部分に対応する第２のＤＣ画素値に加算して、第２段階Ｈｄｍ（アダマール変換）適用後画像（図３の２ｆ）として、後に述べるD-RPIC復号部１３復号部２で復号されて出力されるＩピクチャと同一な画像を再生して、ピクチャ蓄積用メモリ３へ記憶させる。
【００６２】
＜インター符号化部５＞
次に、図７は本発明の一実施形態によるインター符号化部５の構成例を示すブロック図である。
インター符号化部５は、各ピクチャの符号化対象ブロック（８×８画素のマクロブロック）と、参照画像の参照ブロック（８×８画素のマクロブロック）との対応する画素の各画素値の差をとり、残差として出力する減算部２０１と、アダマール変換を行うために、マクロブロック（８×８画素）を分割し、画素ブロック（４×４画素）及びサブ画素ブロック（２×２画素）を生成、すなわち、低周波成分である第１のアダマール係数を得る処理単位である画素ブロック（４×４画素）を生成（分割）に分解し、この画素ブロックから、後に行う高周波成分である第２のアダマール係数を得る処理単位であるサブ画素ブロック（２×２画素）を生成（分割）するマクロブロック分離部２０２と、画素ブロックのＤＣ値を作成するＤＣ値作成部２０３と、第１のアダマール係数を生成する第１段階アダマール符号化部２０４と、第２のアダマール係数を生成する第２段階アダマール符号化部２０５と、ＤＣ値（ＤＣ係数），第１のアダマール係数及び第２のアダマール係数により合成された画素ブロック（復号サブ残差画素ブロック）を、分割前のマクロブロックにおける位置に対応するように合成する（まとめる）マクロブロック合成部２０７と、この合成されたマクロブロックと参照ブロックとの対応する位置の画素値を加算する加算部２０８とを有している。
【００６３】
減算部２０１は、符号化対象ブロックと、動き推定部により参照画像から切り出された、この符号化対象ブロックとの残差を最小とする参照ブロックとが入力され、この参照ブロックから符号化対象ブロックを減算し、参照ブロックと符号化対象ブロックとの差（対応する画素値の差分の残差画素値）である残差マクロブロックを求める。
マクロブロック分離部２０２は、８×８画素で構成される残差マクロブロックを、後段においてアダマール変換するため、低周波成分抽出用の４×４画素の画素ブロック単位の残差ブロックに分割し、さらに高周波成分抽出用の２×２画素のサブ画素ブロック単位のサブ残差画素ブロックに分割する。
図８に示すように、マクロブロックは４つの４×４画素の画素ブロックから構成されており、画素ブロックは４つの２×２画素のサブ画素ブロックから構成されている。
【００６４】
ＤＣ値作成部２０３は、上記残差画素ブロック毎の残差ＤＣ値、すなわち残差画素ブロック毎に、この残差画素ブロックに含まれる画素値（残差画素値）の平均値を演算して、次段の第１段階アダマール符号化部２０４へ出力するとともに、この残差ＤＣ値に対して量子化後に可変長符号部７へ出力する。
第１段階アダマール符号化部２０４は、残差画素ブロック毎に、残差ＤＣ値と残差画素ブロックとから、すなわち、残差画素ブロックと残差ＤＣ値との第１の差分値（対応する画素毎の残差画素値の差分値）を減算して求め、この第１の差分値に対して、所定のシーケンシーの低い基底ベクトルにより第１のアダマール係数を演算して出力するとともに、この第１のアダマール係数と上記残差ＤＣ値とを用いて残差画素ブロックを復号、すなわち、第１のアダマール係数から復号された第１の差分値と残差ＤＣ値とを加算して、復号残差画素ブロック（第１段階アダマール適用後ブロック）として出力する。
ここで、第１段階アダマール符号化部２０４は、例えば、図６（ａ）に示す基底ベクトルを用いて、D-RAPIC符号化部２における第１段階アダマール符号化部５と同様の処理を行い、上記第１のアダマール係数の演算を行い、得られた第１のアダマール係数を可変長符号部７へ出力する。
【００６５】
第２段階アダマール符号化部２０５は、サブ残差画素ブロック毎に、復号残差画素ブロックと残差画素ブロックとから、すなわち、残差画素ブロックと復号残差画素ブロックとの第２の差分値（対応する画素毎の画素値の差分値）を減算して求め、この第２の差分値に対して、所定のシーケンシーの高い基底ベクトルにより第２のアダマール係数を演算して出力するとともに、この第２のアダマール係数と上記復号残差画素ブロックとを用いてサブ残差画素ブロックを復号、すなわち、第２のアダマール係数から復号された第２の差分値と上記復号残差画素ブロックとを加算して、復号サブ残差画素ブロック（第２段階アダマール適用後ブロック）として出力する。
【００６６】
また、第２段階アダマール符号化部２０５は、第２のアダマール係数と、第１段階アダマール符号化部２０４で生成された第１のアダマール係数とを、まとめて量子化を行った後に、この符号化結果を可変長符号部７へ出力する。
ここで、第２段階アダマール符号化部２０５は、例えば、図６（ｂ）に示す基底ベクトルを用いて、D-RAPIC符号化部２における第２段階アダマール符号化部７と同様の処理を行い、上記第２のアダマール係数の演算を行い、得られた第２のアダマール係数を可変長符号部７へ出力する。
【００６７】
マクロブロック合成部２０７は、マクロブロック分離部２０２による分割前のマクロブロックの位置に対応するように、復号サブ残差画素ブロックをマクロブロック単位に合成し、復号残差マクロブロックとして出力する。加算部２０８は、上記復号残差マクロブロックと参照マクロブロックとを加算し（対応する位置の画素の画素値を各々加算し）、加算結果を復号されたマクロブロックとして、ピクチャ蓄積用メモリ３へ、ピクチャに対応して記憶させる。
【００６８】
＜イントラ符号化部６＞
次に、図９は本発明の一実施形態によるイントラ符号化部６の構成例を示すブロック図である。
ＤＣ画像作成部３０１は、原画像においてイントラブロックと判定された符号化対象ブロックを、４×４画素の画素ブロック単位に分割し、各画素ブロック毎に含まれる画素の画素値の平均を計算して、ＤＣ値を求めてＤＣ画像を生成し、このＤＣ値を量子化後に第１段階インター部分補完部３０２へ出力するとともに、可変長符号化部７へ出力される。
第１段階インター部分補完部３０２は、イントラブロックをＡＣＰ法により再生するため、必要となる隣接するマクロブロックがインターブロックである場合（図８参照）、ピクチャ蓄積用メモリ３からインター符号化部５が復号した復号マクロブロック（インターブロック）から、隣接する全てのインターブロックを呼び出し、４×４画素の画素ブロック単位に分割し、イントラブロックと隣接する画素ブロックのＤＣ値の演算を行い、このＤＣ値を第１段階交流成分予測部３０３へ出力する。
【００６９】
第１段階交流成分予測部３０３は、図３の関係において、D-RAPIC符号化部２の第１段階交流成分予測部１０４と同様の動作を行い、イントラブロック内のサブ画素ブロック各々の第１のＤＣ画素値を求め、第１段階交流成分予測適用後画像として出力する。
第１段階アダマール符号化部３０４は、D-RAPIC符号化部２の第１段階アダマール符号化部１０５と同様の動作を行い、原画像のイントラブロックのサブ画素ブロックの第１のＤＣ画素値から、イントラブロックにおける対応する位置の各画素ブロックのＤＣ値を減算して、第１のＤＣ画素値とＤＣ値との差分である第１の差分値を演算し、この第１の差分値に対して、図６（ａ）の基底ベクトルを適用し、第１のアダマール係数を求める。
また、第１段階アダマール符号化部３０４は、上記ＤＣ値と第１のアダマール係数とから第１のＤＣ画素値の復号を行い、第１の復号ＤＣ値（第１段階アダマール適用後画像：イントラブロック単位の画像データ）として第２段階インター部分補完部３０５へ出力する。
【００７０】
第２段階インター部分補完部３０５は、ピクチャ蓄積用メモリ３からインター符号化部５が復号した復号マクロブロック（インターブロック）から、隣接する全てのインターブロックを呼び出し、イントラブロックと隣接するサブ画素ブロックにおいて、含まれる画素の画素値の平均を求め、第１の画素値として出力する。
第２段階交流成分予測部３０６は、D-RAPIC符号化部２の第２段階交流成分予測部１０６と同様の動作を行い、上記第１の復号ＤＣ値と、イントラブロックから求めた第１の画素値とから、各サブ画素ブロックの画素単位の第２のＤＣ画素値を復号して求め、この第２のＤＣ画素値を第２段階交流成分予測適用後画像（イントラブロック単位の画像データ）として、第２段階アダマール符号化部３０７へ出力する。
【００７１】
第２段階アダマール符号化部３０７は、D-RAPIC符号化部２の第２段階アダマール符号化部１０７と同様の動作を行い、原画像のマクロブロックに対応するサブ画素ブロックの各画素の画素値から、上記第２のＤＣ画素値を減算して、画素値と第２のＤＣ画素値との差分である第２の差分値を求め、この第２の差分値に対して、図６（ｂ）に示す高いシーケンシーの基底ベクトルを適用し、第２のアダマール係数を求める。
また、第２段階アダマール符号化部３０７は、上記第２のアダマール係数と、第１段階アダマール符号化部３０４の生成した第１のアダマール係数とをまとめて、量子化を行った後、イントラ符号化データを可変長符号化部７へ出力する。
【００７２】
さらに、第２段階アダマール符号化部３０７は、第２のＤＣ画素値と第２のアダマール係数とに基づき、サブ画素ブロックにおける各画素の画素値を復号して求め、この復号画素値を第２段階アダマール適用後画像（イントラブロック単位の画像データ）として、ピクチャ蓄積用メモリ３へ記憶する。
【００７３】
＜＜復号部＞＞
次に、図面を参照して、本願発明の画像処理装置の説明を行う。図１０は本発明の一実施形態による復号を行う画像処理装置の構成例を示すブロック図である。
この画像処理装置は、判定部１０，可変長復号部１１，可変長復号部１２，D-RAPIC復号部１３，インター復号部１４，イントラ復号部１５，ピクチャ蓄積用メモリ１６，ピクチャ並べ換え部１７を有している。
判定部１０は、すでに述べた符号化部から符号化されたデータを入力し、この入力された符号化データがＩピクチャまたはＰ，Ｂピクチャのいずれかであるかの判定を行う。
【００７４】
そして、判定部１０は、入力された符号化データをＩピクチャと判定すれば、このデータを可変長復号部１１へ出力し、一方Ｐ，Ｂピクチャと判定すれば、可変長復号部１２へ出力する。
可変長復号部１１は、符号化データを復号し、ＤＣ値，第１のアダマール係数，第２のアダマール係数として、復号後にD-RAPIC復号部１３へ出力する。
【００７５】
可変長復号部１２は、入力される符号化データをＤＣ画素値，第１のアダマール係数，第２のアダマール係数，ＭＣＢ符号化情報，動きベクトル情報の各データとして、復号後にインター復号部１４またはイントラ復号部１５のいずれかへ出力する。
このとき、可変長復号部１２は、入力される符号化データ各々が、ＭＣＢ符号化情報により、イントラ符号化されているか、またはインター符号化されているかを判定して、インター符号化されていると判定した場合、ＤＣ値（残差ＤＣ値），第１及び第２のアダマール係数，動きベクトル情報をインター復号部１４へ出力する。
一方、可変長復号部１２は、入力される符号化データ各々が、イントラ符号化されていると判定した場合、ＤＣ値，第１及び第２のアダマール係数をイントラ復号部１５へ出力する。
【００７６】
D-RAPIC復号部１３は、後に詳細な説明を行うが、ＡＣＰ（交流成分予測）法に基づく演算により、Ｉピクチャの復号を行い、復号されたデータをピクチャ蓄積用メモリ１６へ書き込む。
ピクチャ蓄積用メモリ１６は、D-RAPIC復号部により復号されたＩピクチャが書き込まれ、インター復号部１４及びイントラ復号部１５各々により、復号されたＰ及びＢピクチャが書き込まれて、各々を記憶している。
ピクチャ並べ換え部１７は、ピクチャ並べ換え部１により図２に示すように変換された符号化順列［０(I)，３(P)，１(B)，２(B)，６(P)，４(B)，５(B)，９(I)，７(B)，８(B)，１２(B)，１０(B)，１１(B)］を、ピクチャ蓄積用メモリ１６から読み出し、原画像の入力順列［０(I)，１(B)，２(B)，３(P)，４(B)，５(B)，６(P)，７(B)，８(B)，９(I)，１０(B)，１１(B)，１２(P)］へ並べ換え（デコード処理し）、順次、時系列に出力することで動画像の再生を行う。
【００７７】
インター復号部１４は、動きベクトル情報，ＤＣ値（残差ＤＣ値），第１のアダマール係数，第２のアダマール係数，ＭＣＢ符号化情報等に基づき、インター符号化されたＰ及びＢピクチャの復号を行う。
同様に、イントラ復号部１５は、インター復号部１４により復号されたマクロブロック，ＤＣ値，第１のアダマール係数，第２のアダマール係数，ＭＣＢ符号化情報等に基づき、イントラ符号化されたＰ及びＢピクチャの復号を行う。
【００７８】
以下、順次、図を用いて、本発明の実施形態による、D-RAPIC復号部１３，インター復号部１４及びイントラ復号部１５の構成及び動作例について説明する。
＜D-RAPIC復号部１３＞  
まず、D-RAPIC復号部１３の構成及び動作の概要について説明する。
本発明によるD-RAPIC復号部１３は、上述したD-RAPIC符号化部２と同様に、復号時において、入力されるＤＣ画像のＤＣ値に基づき、第１段階ＡＣＰ処理を行い、第１のＤＣ画素値を求める。
次に、D-RAPIC復号部１３は、入力される上記第１アダマール係数を逆量子化して、第１段階アダマール復号（逆アダマール変換）を行い第１の差分値を求め、この第１の差分値を、対応するサブ画素ブロックの上記第１のＤＣ画素値に加算して、新たな第１のＤＣ画素値を生成する。
【００７９】
次に、D-RAPIC復号部１３は、上記第１のＤＣ画素値を用いて、第２段階ＡＣＰ処理を行い、各画素毎の第２のＤＣ画素値を求める。
そして、D-RAPIC復号部１３は、本発明の画像処理装置は、入力される第２アダマール係数を逆量子化して、第２段階アダマール復号を行い第２の差分値を求め、この第２の差分値を、対応する各画素の上記第２のＤＣ画素値に加算して、新たな第２のＤＣ画素値を生成し、再生画素値として出力する。
【００８０】
上述したように、D-RAPIC復号部１３は、アダマール変換だけでなくＡＣＰ法による周辺の画素ブロックまたはサブ画素ブロックからの成分予測処理も加わっているため、モスキートノイズだけでなく、アダマール変換をブロック単位で行うために現れやすいブロックノイズをも削減することができる。
【００８１】
また、D-RAPIC復号部１３は、符号化及び復号が加減算とビットシフトとの演算のみにより、上述した処理を行うことが可能なため、コンパクトな処理構成で実現でき、加えて、画素値の大きさの違いに伴う分岐処理もなく、所定の周期で連続して処理を行うことが可能なため、高速な符号化及び復号（符号化の逆の操作）の処理が行える。
【００８２】
次に、図１１は本発明の一実施形態によるD-RAPIC復号部１３の構成例を示すブロック図である。
ＤＣ画像復号部１５１は、入力されるＤＣ符号を逆量子化及び復号を行いＤＣ値を求め、ＤＣ画像（図１１の４ｂ）を再生する。
第１段階交流成分予測部１５２は、第１段階交流成分予測部１０４と同様に、サブ画素ブロックＳ1〜Ｓ4各々の第１のＤＣ画素値を求め、このサブ画素ブロックＳ1〜Ｓ4からなる第１段階ＡＣＰ適用画像（図１１の４ｃ）として出力する。
第１段階アダマール復号部１５３は、入力される符号化された第１のアダマール係数を逆量子化及びエントロピー復号し、アダマール係数α'01，α'10，α'11として復号（再生）し、この第１のアダマール係数に対して、以下に示す（９）式を用いて、逆アダマール変換を行うことにより、第１の差分値を復号（再生）する。
【数９】
2005184525.tif 000011
【００８３】
すなわち、第１段階アダマール復号部１５３は、再生されるサブ画素ブロックの各部分に対応する第１の差分値を、以下に示す（１０）式を用いて演算して求める。
【数１０】
2005184525.tif 000012
ここで、アダマール変換係数ｈ0,0(x,y)に対応するα'00は、前述の通り「０」に等しいため、D-RAPIC復号部１３内部に保存されない。
そして、（９）式のｆ'は下記に示す（１１）式として求められる。
【数１１】
2005184525.tif 000013
【００８４】
また、第１段階アダマール復号部１５３は、第１段階交流成分予測部１５２から入力されるサブ画素ブロックＳ1〜Ｓ4の各々の第１のＤＣ画素値に対して、復号した第１の差分値を、対応するサブ画素ブロック毎に加算することにより、加算結果をサブ画素ブロックＳ1〜Ｓ4各々の新たな第１のＤＣ画素値とし、このサブ画素ブロックＳ1〜Ｓ4を第１段階Ｈｄｍ適用後画像（図１１の４ｄ）として出力する。
【００８５】
次に、第２段階交流成分予測部１５６は、入力される第１段階Ｈｄｍ適用後画像４ｄにおける各サブ画素ブロックの第１段階Ｈｄｍ適用後画像（図１１の４ｄ）に基づき、第２段階交流成分予測部１０６と同様な式を用いた演算により、サブ画素ブロックの各画素毎の第２のＤＣ画素値を求め、第２段階ＡＣＰ適用後画像（図１１の４ｅ）として出力する。
また、第２段階アダマール復号部１５７は、入力される第２のアダマール係数により、以下に示す（１２）式に基づいて、各画素単位の差分値を求める。
【数１２】
2005184525.tif 000014
すなわち、以下に示す（１３）式により、各サブ画素ブロック毎に、第２段階アダマール符号部１０７と同様に、図４（ｆ）及び（７）,（８）式の関係に対応させて、サブ画素ブロックにおける各画素に対応する第２の差分値を演算する。
【数１３】
2005184525.tif 000015
そして、アダマール変換係数ｋ0（0,0)(x,y)，ｋ1（0,0)(x,y)，ｋ2（0,0)(x,y)，ｋ3（0,0)(x,y)、x,y∈[0,1]各々に対応するβ'n(0,0)，ｎ∈[0,3]は、前述の通り「０」に等しいため、D-RAPIC復号部１３内部に保存されない。
【００８６】
ここで、第２段階アダマール復号部１５７は、（１３）式において、入力される第２のアダマール係数βn（u,v）、ここでｎ∈[0,3],u,v∈[0,1]と、アダマール変換係数とを用いて各画素に対応する第２の差分値を演算する。
そして、各サブ画素ブロックの画素を求めるアダマール変換係数は、ｎ＝０（サブ画素ブロックS１）においてｋ0(u,v)(x,y)，u,v,x,y∈[0,1]であり、ｎ＝１（サブ画素ブロックS2）においてｋ1(u,v)(x,y)，u,v,x,y∈[0,1]であり、ｎ＝２（サブ画素ブロックS3）においてｋ2(u,v)(x,y)，u,v,x,y∈[0,1]であり、ｎ＝３（サブ画素ブロックS4）においてｋ3(u,v)(x,y)，u,v,x,y∈[0,1]である。
さらに、第２段階アダマール復号部１５７は、各画素単位で得られた第２の差分値を、対応する位置の画素の第２のＤＣ画素値に加算して、第２段階Ｈｄｍ適用後画像（図１１の４ｑ）におけるサブ画素ブロックの新たな第２のＤＣ画素値として、すなわち、復号処理画像であるＩピクチャとして、ピクチャ蓄積メモリ１６へ出力して記憶させる。
【００８７】
これにより、（１２）式のｇ'nは、以下に示す（１４）式として求められる。
【数１４】
2005184525.tif 000016
このｇ'nの添え字「ｎ」も、図４（ｅ）と同様に、各サブ画素ブロック（S1〜S4）の位置に対応している。
【００８８】
上述したように、本発明による画像処理装置は、１６個の画素の周波数成分として出力される１５個のアダマール係数の内、第１のアダマール変換において、情報量の多い低周波成分（第１のアダマール係数）の３個を抽出した後に、これを復号し第１のＤＣ画素値に加えて、サブ画素ブロックの各画素の第２のＤＣ画素値を求めた後に、第２のアダマール変換において高周波成分（第２のアダマール係数）を４つのサブ画素ブロック毎に３個ずつ、計１２個のアダマール係数として求めている。
このため、ＡＣＰ処理及びアダマール変換を１回ずつ行う１段階処理と比較して、第２のアダマール係数のデータ量を少なくすることができる。
【００８９】
＜インター復号部１４＞  
図１２は本発明の一実施形態によるインター復号部１４の構成例を示すブロック図である。
第１段階アダマール復号部４０２は、入力される残差マクロブロックの画素ブロック単位のＤＣ値（残差ＤＣ値）、及び第１及び第２のアダマール係数と（復号対象のマクロブロックに対して、入力されるＤＣ値及び第１及び第２のアダマール係数は４つ（１マクロブロック内に４×４画素のサブ画素ブロックがある）あるため）により、D-RAPIC復号部１３における第１段階アダマール復号部１５３と同様の演算処理により、画素ブロック単位の第１の差分値を求め、各画素ブロック毎に、この第１の差分値を対応するサブ画素ブロック毎の画素値に加算し、加算結果を第１段階アダマール適用後ブロックとして第２段階アダマール復号部４０３へ出力する。
【００９０】
第２段階アダマール復号部４０３は、入力される残差画素ブロックをサブ画素ブロック単位に分割し、各サブ画素ブロック（残差サブ画素ブロック）ごとの第２のアダマール係数と、第１段階アダマール適用後ブロックとにより、D-RAPIC復号部１３における第２段階アダマール復号部１５７と同様の演算処理により、サブ画素ブロックにおける画素単位の第２の差分値を求め、各サブ画素ブロックの対応する画素毎に、この第２の差分値を加算し、加算結果を第２段階アダマール適用後ブロックとしてマクロブロック合成部４０４へ出力する。
【００９１】
マクロブロック合成部４０４は、第２段階アダマール復号部４０３により、サブ画素ブロック毎に復号された、ＤＣ値（ＤＣ係数），第１のアダマール係数及び第２のアダマール係数により合成された２×２画素の画素ブロック（復号サブ残差画素ブロック）を、分割（分離される前）前の８×８画素のマクロブロックにおける位置に対応するように合成する（まとめる）。
加算部４０５は、上記合成された残差マクロブロックと、参照ブロックとの対応する画素各々において、差分値（残差画素値）と画素値とを加算し、符号化対象ブロックが復号されたマクロブロックに基づくピクチャ、すなわち、ＰまたはＢピクチャとしてピクチャ蓄積用メモリ１６へ出力し、記憶させる。
【００９２】
＜イントラ復号部１５＞  
図１３は本発明の一実施形態によるイントラ復号部１５の構成例を示すブロック図である。
第１段階インター部分補間部５０２は、入力されるマクロブロック内の各４×４画素ブロックのＤＣ値を、第１段階交流予測成分予測器５０３へ出力すると共に、復号するマクロブロックに隣接し、インター符号化を行ったマクロブロックの画素値を、ピクチャ蓄積用メモリ１６から読み出し、イントラ符号化部６の第１段階インター部分補間部３０２と同様に、隣接するマクロブロックにおける各画素ブロックごとに、含まれる画素値の平均を計算して、インター復号されたマクロブロックにおける各画素ブロックのＤＣ値を求める。
【００９３】
第１段階交流成分予測部５０３は、可変長符号復号部１２で復号されたＤＣ画素値及び第１段階インター部分補間部５０２各々において求められたＤＣ画素値を用い、D-RAPIC復号部１３における第１段階交流成分予測部１５２と同様に、ＡＣＰ法によりサブ画素ブロックごとの第１のＤＣ画素値を算出し、第１段階交流成分予測適用後画像として第１段階アダマール復号部５０４へ出力する。
【００９４】
第１段階アダマール復号部５０４は、入力される各画素ブロックごとの第１のアダマール係数により、D-RAPIC復号部１３における第１段階アダマール復号部１５３と同様の演算処理により、画素ブロック単位の第１の差分値を求め、各画素ブロック毎に、この第１の差分値を対応するサブ画素ブロック毎の画素値に加算し、加算結果を第１段階アダマール適用後ブロックとして第２段階インター部分補間部５０５へ出力する。
【００９５】
第２段階インター部分補間部５０５は、復号するマクロブロックに隣接し、インター符号化を行ったマクロブロックの画素値を、ピクチャ蓄積用メモリ１６から読み出し、イントラ符号化部６の第２段階インター部分補間部３０２と同様に、隣接するマクロブロックの各画素ブロックにおけるサブ画素ブロックごとに、含まれる画素値の平均を計算して、インター復号されたマクロブロックの各画素ブロックにおけるサブ画素ブロックの第１のＤＣ画素値を求め、第２段階交流成分予測部５０６へ出力する。
【００９６】
第２段階交流成分予測部５０６は、第１段階交流成分予測部５０３及び第２段階インター部分補間部５０５各々において求められた第１のＤＣ画素値を用い、D-RAPIC復号部１３における第２段階交流成分予測部３０６と同様に、ＡＣＰ法によりサブ画素ブロックにおける各画素の第２のＤＣ画素値を算出し、第２段階交流成分予測適用後画像として第２段階アダマール復号部５０７へ出力する。
【００９７】
第２段階アダマール復号部５０７は、入力される各画素ブロックごとの第２のアダマール係数により、D-RAPIC復号部１３における第２段階アダマール復号部１５７と同様の演算処理により、各サブ画素ブロックにおける画素単位の第２の差分値を求め、各画素ブロック毎に、この第２の差分値を対応するサブ画素ブロックにおける画素毎の画素値に加算し、加算結果を第２段階アダマール適用後ブロック、すなわち復号画像としてピクチャ蓄積用メモリ１６へ出力し、この復号画像を記憶させる。
【００９８】
上述してきた画像の圧縮及び復号の処理は、デジタル動画に用いられるＹ，Ｕ，Ｖ（輝度=Y、赤の色差=U、青の色差=V）の画像データにより行うものである。
ＲＧＢ（Red＝赤、Green＝緑、Blue＝青の階調を用いて画像を表現）形式の画像データに対しては、ＹＵＶ形式の画像データに変換する必要がある。
また、本発明の画像処理装置は、 Ｙ，Ｕ，Ｖに対して同様の処理を行い、画像の圧縮及び復号を行う。
【００９９】
上述したように、本発明による画像処理装置は、D-RAPIC符号化部２，インター符号化部５及びイントラ符号化部６において、１６個の画素の周波数成分として出力される１５個のアダマール係数の内、第１のアダマール変換において、情報量の多い低周波成分の３個を抽出した後に、これを復号し第１のＤＣ画素値に加えて、サブ画素ブロックの各画素の第２のＤＣ画素値を求めた後に、第２のアダマール変換において高周波成分を４つのサブ画素ブロック毎に３個ずつ、計１２個のアダマール係数として求めている。
このため、ＡＣＰ処理及びアダマール変換を１回ずつ行う１段階処理と比較して、第２のアダマール係数のデータ量を少なくすることができる。
【０１００】
また、本発明による画像処理装置は、イントラ符号部６において、符号化対象マクロブロックを符号化する場合、このイントラ符号化する符号化対象マクロブロックに隣接するインター符号化した部分のマクロブロックを用いて、画素ブロック及びサブ画素ブロック各々のＤＣ値，第１のＤＣ画素値を求め、これらを用いて第１及び第２の差分値を求め、ＡＣＰ処理に用いるＤＣ値と、アダマール変換された差分値とを求めて符号化するため、イントラ符号化するマクロブロックのＡＣＰ処理が可能となり、画像の再生処理に必要な情報量を少なくすることができ、かつ、イントラ符号化したマクロブロックとインター符号化したマクロブロックとの境界部分の符号化効率を向上させることができる。
【０１０１】
加えて、本発明による画像処理装置は、D-RAPIC符号化部２及びイントラ符号化部６において、ＡＣＰ処理を行うためのＤＣ値と、このＤＣ値に対してＡＣＰ処理を行った後の第１及び第２のＤＣ画素値と元画像との差分値をアダマール係数として圧縮情報として出力し、また、インター符号化部５において、参照画像データと符号化対象ブロックとの差分値をアダマール係数として圧縮情報として出力するので、画像の再生処理に必要な情報量を少なくし、なにより、元画像との差分値をアダマール係数として出力するため、元画像に対して高い再現性を持たせることが可能である。
【０１０２】
さらに、本発明による画像処理装置は、D-RAPIC符号化部２及びイントラ符号化部６において、上述したアダマール変換だけでなく、各々第１段階交流成分予測部１０４，３０３及び第２段階交流成分予測部１０６，３０６において、ＡＣＰ法による画像処理も加わっているため、隣接する画素ブロックまたはサブ画素ブロック間での急激な階調度の変化、すなわち画像内における高い空間周波数の変化を低減させて、復号処理後の画像のブロックノイズを削減できるので、画像全体を滑らかに自然に復号することができ、画素ブロックまたはサブ画素ブロックに対するアダマール変換による符号化に起因するブロックノイズを削減することができる。
【０１０３】
また、さらに、本発明による画像処理装置は、第１段階交流成分予測部１０４，１５２，３０３，５０３，第２段階交流成分予測部１０６，１５６，３０６，５０６，第１段階アダマール符号化部１０５，２０４，３０４，第２段階アダマール符号化部１０７，２０５，３０７，第１段階アダマール復号部１５３，４０２，５０４，第２段階アダマール復号部１５７，４０３，５０７により、各々（３）式，（８）式，（１０）式，（１３）式を用いて、加減算とビットシフトとの演算のみにより、上述した処理を行うことが可能なため、コンパクトな回路構成で実現でき、加えて、画素値の大きさに伴う圧縮または伸張における分岐処理もなく、所定の周期で連続して処理を行うことが可能なため、高速な符号化及び復号の処理が行える。
【０１０４】
加えて、本発明による画像処理装置は、符号化部及び復号部において、各々の部単位で、第１段階交流成分予測部（例えば、１０４及び３０３を共通化また１５２及び５０３を共通化）、及び第２段階交流成分予測部（例えば、１０６及び３０６を共通化また１５６及び５０６を共通化）を共通化させることが可能であり、同様に、第１段階アダマール符号化部、第２段階アダマール符号化部、第１段階アダマール復号部、第２段階アダマール復号部をも共通化することができるため、処理構成のコンパクト化を向上させることが可能である。
【０１０５】
ここで、アダマール変換係数が「１」または「−１」であるので、（３），（８），（１０），（１３）式における画素値やアダマール係数に対してのアダマール変換係数の積は、乗算ではなく符号の付加として計算する。
その他の演算において、基本となる演算は式から判るように加算であり、また量子化に対してはビットシフトにより演算を行う。
【０１０６】
次に、本発明の圧縮及び復号方法を用いた場合と、ＭＰＥＧ２を用いた場合との比較を行った結果を説明する。
図１４は、横軸がピクセルあたりのビット量（ＢＰＰ：Bit per Pixel）を示し、縦軸がＰＮＳＲ（ピーク値対誤差比）を示しており、圧縮率に対する画質の程度を示すグラフである。
ここで、圧縮率とは、画像ファイルの圧縮前と圧縮後とのバイト数の比であり、数値が低いほど圧縮率が高いことを示している。
実線が本発明の画像処理装置を使用した場合のファイルサイズとＰＮＳＲとの関係を示すものであり、破線がＭＰＥＧ２を使用した場合のファイルサイズとＰＮＳＲとの関係を示すものである。
【０１０７】
本発明の画像処理装置とＭＰＥＧ２との比較から、同一の圧縮率から復号した場合、本発明においては、ファイルのビット数の高い領域においてＰＮＳＲによる数値的な画質の向上が見られる。
上述の画像データとしては、本発明及びＭＰＥＧ２双方において、画素の処理数が「Ｙ：Ｕ：Ｖ＝４：１：１」の割合で処理されている。
また、サンプルとして使用した画像は、１画素における各ＲＧＢ毎に８ビットのカラー情報を有している。
【０１０８】
以上、本発明の一実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【０１０９】
次に、本発明の実施の形態によるコンピュータが実行するためのプログラムについて説明する。
図１及び図１０における画像処理装置（画像処理システム）の動作におけるコンピュータシステムのＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
このプログラムを格納するための記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。
【０１１０】
また上記記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【０１１１】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１２】
従って、このプログラムを図１及び図１０のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこのプログラムを実行することによっても、上記実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【図面の簡単な説明】
【０１１３】
【図１】本願発明の一実施形態による画像処理装置の符号化部の構成例を示すブロック図である。
【図２】本願発明の一実施形態によるピクチャ並べ換え部１及１７の動作を説明する概念図である。
【図３】本発明の一実施形態によるD-RAPIC符号化部２の構成例を示すブロック図である。
【図４】図３に示すD-RAPIC符号化部２の動作例を説明するための概念図である。
【図５】第１段階及び第２段階のＡＣＰ法による画像処理を説明する概念図である。
【図６】アダマール変換において使用するアダマール変換係数の一例を示す概念図である。
【図７】図１の符号化部におけるインター符号化部５の構成例を説明するブロック図である。
【図８】マクロブロックとサブ画素ブロックとの対応関係を示す概念図である。
【図９】図１の符号化部におけるイントラ符号化部６の構成例を示すブロック図である。
【図１０】本願発明の一実施形態による画像処理装置の復号部の構成例を示すブロック図である。
【図１１】本発明の一実施形態によるD-RAPIC復号部１３の構成例を示すブロック図である。
【図１２】一実施形態によるインター復号部１４の構成例を示すブロック図である。
【図１３】一実施形態によるイントラ復号部１５の構成例を示すブロック図である。
【図１４】本発明の画像処理装置及びＭＰＥＧ２による圧縮及び復号の処理におけるファイルサイズとＰＮＳＲとの関係を示すグラフである。
【符号の説明】
【０１１４】
１，１７  ピクチャ並べ換え部
２  D-RAPIC符号化部
３，１６  ピクチャ蓄積用メモリ
４  動き推定部
５  インター符号化部
６  イントラ符号化部
７  可変長符号化部
１０  判定部
１１，１２  可変長復号部
１３  D-RAPIC復号部
１４  インター復号部
１５  イントラ復号部
１０３，３０１  ＤＣ画像作成部
１０４，１５２，３０３，５０３  第１段階交流成分予測部
１０５，２０４，３０４  第１段階アダマール符号化部
１０６，１５６，３０６，５０６  第２段階交流成分予測部
１０７，２０５，３０７  第２段階アダマール符号化部
１５１  ＤＣ画像復号部
１５３，４０２，５０４  第１段階アダマール復号部
１５７，４０３，５０７  第２段階アダマール復号部
２０１  減算部
２０２  マクロブロック分離部
２０３  ＤＣ値作成部
２０７，４０４  マクロブロック合成部
２０８，４０５  加算部
３０２，５０２  第１段階インター部分補間器
３０５，５０５  第２段階インター部分補間器
【図１】
2005184525.tif 000017
【図２】
2005184525.tif 000018
【図３】
2005184525.tif 000019
【図４】
2005184525.tif 000020
【図５】
2005184525.tif 000021
【図６】
2005184525.tif 000022
【図７】
2005184525.tif 000023
【図８】
2005184525.tif 000024
【図９】
2005184525.tif 000025
【図１０】
2005184525.tif 000026
【図１１】
2005184525.tif 000027
【図１２】
2005184525.tif 000028
【図１３】
2005184525.tif 000029
【図１４】
2005184525.tif 000030