(57)【特許請求の範囲】
【請求項１】
画像データを処理して格納し、格納された画像データを再生する画像処理方法において、
前記画像データを高周波成分の画像データと低周波成分の画像データとに分解し、それら分解された高周波成分の画像データ及び低周波成分の画像データに所定ビットを割り当てて圧縮／符号化する段階と、
前記圧縮／符号化された画像データを高周波成分に該当する値と低周波成分に該当する値とに分解し、それら分解された値に該当する高周波成分の画像データと低周波成分の画像データとに復号して本来の画像データに再生する復号／再生段階とを順次行うとともに、
前記圧縮／符号化段階は、前記画像データから分解された前記低周波成分のデータに対し、更に、高周波成分の画像データと低周波成分の画像データとに分解する段階を複数回行い、分解された低周波成分の画像データの下位値は該当のコードとしてそのまま出力し、前記分解された低周波成分の画像データの上位値は前記下位値と減算して生成される差値を符号化して該符号化された値を出力する段階を含み、
前記復号／再生段階は、前記圧縮／符号化された画像データから分解された前記低周波成分に対し、更に、高周波成分の画像データと低周波成分の画像データとをそれぞれ復号して再生する段階を複数回行い、再生された低周波成分のコード値に対し、下位値は該当の復号値としてそのまま出力し、上位値は前記下位値と加算して生成した値を出力する段階を含む
ことを特徴とする動き補償適応型画像処理方法。
【請求項２】
前記画像データは、ウエーブレット変換により高周波成分と低周波成分とに分解されることを特徴とする請求項１記載の動き補償適応型画像処理方法。
【請求項３】
前記分解する段階は、前記低周波成分の画像データをダウンサンプリングして、相対的に高周波成分の画像データと相対的に低周波成分の画像データとに分解することを特徴とする請求項１記載の動き補償適応型画像処理方法。
【請求項４】
前記圧縮／符号化段階は、
前記画像データが３２ビットの４×１ピクセルのサブブロックであるとき、ウエーブレット変換を適用して２つの高周波成分と２つの低周波成分とに分解し、前記分解された高周波成分に対してそれぞれ５ビットを割り当てて符号化を行い、
前記分解された低周波成分に対し、１番目の低周波成分は８ビットで符号化し、２番目の低周波成分についてはこの２番目の低周波成分から前記１番目の低周波成分が減算されて生成された値に対して６ビットで符号化して、２４ビットに圧縮／符号化することを特徴とする請求項１記載の動き補償適応型画像処理方法。
【請求項５】
画像データを処理して格納し、格納された画像データを再生する画像処理装置において、
外部から入力された画像信号をフレーム単位で処理し、処理された画像データを出力する画像フレーム処理部と、
前記入力された画像信号の動きを補償するために補償情報を生成して前記画像フレーム処理部に出力する画像補償部と、
前記画像フレーム処理部から出力される画像データを高周波数成分と低周波数成分とに分離した後、所定ビットを割り当てて圧縮／符号化する画像圧縮部と、
前記圧縮／符号化された画像データを格納する記憶部と、
前記記憶部に格納された圧縮／符号化された画像データを復号／再生する画像再生部とを備え、
前記画像圧縮部は、前記画像データから分解された前記低周波成分に対し、更に、高周波成分の画像データと低周波成分の画像データとに分解する段階を複数回行い、分解された低周波成分の画像データを符号化テーブルを利用して符号化する低周波成分符号化部を有し、前記低周波成分符号化部は１番目の低周波成分に対しては該当の画像データ値をそのまま出力し、２番目の低周波成分に対しては該当の画像データと前記１番目の低周波成分との差値をインデックスとする符号化テーブルを利用して、インデックス値に該当するコードを出力する手段を含み、
前記画像再生部は、前記記憶部の前記圧縮／符号化された画像データから分離された低周波成分の画像データに対し、更に、高周波成分の画像データと低周波成分の画像データとにそれぞれ復号して再生する段階を複数回行い、再生された低周波成分の画像データ及び高周波成分の画像データを符号化テーブルを利用して復号する復号部を有し、前記復号部は、符号化テーブルを利用して、高周波成分の画像データ値をインデックス値とする代表値を出力するとともに、１番目の低周波成分に対しては該当の画像データ値をそのまま出力し、２番目の低周波成分に対しては符号化テーブルを利用して復号された値と前記１番目の低周波成分とを加算して生成される値を出力する手段を
含むことを特徴とする動き補償適応型画像処理装置。
【請求項６】
前記画像圧縮部は、
前記画像フレーム処理部から出力される画像データを高周波成分の画像データと低周波成分の画像データとに分解するフィルター部と、
前記分解された高周波成分の画像データを符号化テーブルを利用して符号化する高周波成分符号化部と
を含むことを特徴とする請求項５記載の動き補償適応型画像処理装置。
【請求項７】
前記高周波成分符号化部は、
前記高周波成分の画像データ値をインデックスとする符号化テーブルを利用して、前記インデックス値に該当するコードを出力することを特徴とする請求項６記載の動き補償適応型画像処理装置。
【請求項８】
前記高周波成分符号化部は、
前記高周波成分の画像データ値が所定範囲以内に入る場合、その範囲を指示するインデックス値に該当するコードを出力することを特徴とする請求項６記載の動き補償適応型画像処理装置。
【請求項９】
前記画像再生部は、
前記記憶部に格納された画像データを高周波成分の画像データと低周波成分の画像データとにそれぞれ分離するフィルター部を含むことを特徴とする請求項５記載の動き補償適応型画像処理装置。
【請求項１０】
前記画像フレーム処理部は、
前記画像信号を入力して可変長さに符号化する可変長さ符号化部と、
前記可変長さ符号化部から出力される信号を逆量子化する逆量子化部と、
前記逆量子化部から出力される逆量子化された信号を逆離散変換するＩＤＣＴ部と、
を含むことを特徴とする請求項５記載の動き補償適応型画像処理装置。
【請求項１１】
前記画像圧縮部は、
前記画像データがサブブロックを有するとき、ウエーブレット変換を適用して２つの高周波成分画像データと２つの低周波成分画像データとに分解するフィルター部と、
前記高周波成分画像データ値の範囲をインデックス値によりマップピングして前記高周波成分画像データ値を圧縮／符号化値として出力する第１符号化テーブルと、
前記低周波成分画像データの１番目の低周波成分はそのまま符号化し、２番目の低周波成分についてはこの２番目の低周波成分から前記１番目の低周波成分を減算して差値を生成する減算器と、
前記減算器から出力される差値をインデックス値によりマップピングして、低周波成分値を圧縮符号化値として出力する第２符号化テーブルと
を含むことを特徴とする請求項５記載の動き補償適応型画像処理装置。
【請求項１２】
前記画像再生部は、
前記高周波成分に該当するコード値をインデックスとし、前記インデックスに応じた代表値を復号された値として出力する第３符号化テーブルと、
前記２番目の低周波成分の復号された値を前記１番目の低周波成分のコード値と加算し、前記画像圧縮部により符号化／圧縮された２番目の低周波成分値として再生する加算器と、
前記２番目の低周波成分に該当するコード値をインデックスとし、前記インデックスに応じた代表値を復号された値として出力する第４符号化テーブルと、
を含むことを特徴とする請求項５記載の動き補償適応型画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及びその装置に係るもので、詳しくは、画像データを高周波成分と低周波成分とに分解し、各々の成分に適切なビットを割り当てて画像データを圧縮／符号化した後、その圧縮／符号化された画像データを高周波成分と低周波成分とに復号して本来の画像データを再生する、動き補償適応型画像処理方法及びその装置に関する。
【０００２】
【従来の技術】
一般に、画像データを処理するデコーダの中で、リアルタイムＶＬＳＩデコーダは、処理する資源が小さいほど小費用で製作することができる。言い換えると、デコーダの製造費用を低減させたい場合は、小メモリを使用するか、画像データの計算量を低減させるか、若しくは、画像データの処理帯域幅を低減させなければならない。
【０００３】
ＡＴＳＣ（Advanced Television System Committe）は、動画像の符号化及び復号のためにISO／IEC18318-2、すなわち、一般的に知されているＭＰＥＧ−２標準規格を採択した。特に、アメリカにおけるディジタルＴＶ（ＤＴＶ）システムは、標準規格としてＭＰＥＧ−２ＭＰ＠ＨＬビデオ符号化仕様を採択している。そのビデオ符号化仕様は１８個の異なる画像フォーマットが記載されている。
【０００４】
多様な画像フォーマット中、１９２０×１０８０×３０［フレーム／秒］のフォーマットは、最大のフレームメモリ及び最大の帯域幅を必要とする。且つ、その画像フォーマットに該当する画像の大きさを復号しようとすると、デコーダは約１６ＭＢの大きさを有するメモリを必要とする。このようなメモリとしては外部メモリを使用することができる。
【０００５】
リアルタイムＶＬＳＩデコーダを設計するとき、メモリの帯域幅は、その性能を決定する主要要素で、且つ、デコーダチップの製造費用の増減に直接的に影響を与える要素となる。また、リアルタイムＶＬＳＩデコーダは、復号されたフレームを格納するために大容量の外部メモリを必要とするため、パソコンまたはセットトップボックスに拡張カードを追加的に設けなければならず、そのため製品の原価が増加する。
【０００６】
以上のような理由により、家電製品用のリアルタイムＶＬＳＩデコーダを実現することが困難である。
一方、ＨＤＴＶデコーダは、ＡＴＳＣ規格で提案した１８個の画像フォーマット及びＭＰＥＧメインプロフィール／メインレベル規格を利用するＡＴＳＣ  ＤＴＶ画像フォーマット（４：２：０  Ｙ、Ｃｂ、Ｃｒモード）を全て復号することができなければならない。
【０００７】
ここで、前記１８個のフォーマットは次のような情報の組合せにより生成される。
（１）４個の異なる画像サイズ、すなわち、１９２０×１０８０、１２８０×７２０、７０４×４８０、６４０×４８０
（２）２つの異なる縦横比、すなわち、４：３及び１６：９
（３）８つの異なるフレームレートコード、すなわち、２３．９７６Ｈｚ、２４Ｈｚ、２９．９Ｈｚ、３０Ｈｚ、５９．９４Ｈｚ、６０Ｈｚ
（４）順次走査またはインタレース走査
【０００８】
一方、ＡＴＳＣが採択したＭＰＥＧ−２ビデオは、画像符号化タイプと呼ばれる３つの異なる符号化モードを支援する。その３つの画像符号化タイプは、Ｉｎｔｒａ（Ｉ）ピクチャータイプ、Ｐｒｅｄｉｃｔｉｖｅ（Ｐ）ピクチャータイプ、及びＢｉ−ｄｉｒｅｃｔｉｏｎａｌ（Ｂ）ピクチャータイプであり、それぞれ異なる特徴を有している。Ｉピクチャーは、他のピクチャーを参照せずに符号化されるピクチャーであって、Ｐピクチャー及びＢピクチャーを予測するために使用される。Ｐピクチャーは、基準ピクチャとして利用されるもので、以前のＩピクチャーまたはＰピクチャーを利用して符号化されて、その後のＰピクチャー及びＢピクチャーを予測するために使用される。また、Ｂピクチャーは、基準ピクチャとしては利用されず、前後にあるＩピクチャー及びＰピクチャーを利用して符号化される。
【０００９】
従来の画像処理装置においては、図６に示したように、画像信号を入力して可変長さに符号化する可変長さ符号化部１０１と、可変長さ符号化部１０１から出力される信号を逆量子化する逆量子化部１０２と、逆量子化部１０２から出力される逆量子化された信号を逆離散変換するＩＤＣＴ部１０３と、可変長さ符号化部１０１から出力される動きベクトルを入力されて動き補償情報を出力する動き補償部１０６と、動き補償情報によって逆離散変換された信号を入力してフレーム単位に画像を処理する画像フレーム処理部１０４と、画像フレーム処理部１０４から出力される画像データを格納して出力するメモリ１０５と、により構成されていた。
【００１０】
以下、このように構成された従来画像処理装置の動作ついて説明する。
先ず、ビットストリームの入力を受けた可変長さデコーダ（ＶＬＤ）１０１が可変長さに復号して可変長さ復号されたデータを逆量子化部（ＤＥＱ）１０２に出力すると、逆量子化部１０２は可変長さ復号されたデータを逆スキャン及び逆量子化して逆離散変換器（ＩＤＣＴ）１０３に出力する。
【００１１】
次いで、逆離散変換器１０３が入力された逆量子化データを逆離散変換して画像フレーム処理部１０４に出力する。画像フレーム処理部１０４は入力された逆離散変換データを再生してメモリ１０５に出力する。
【００１２】
次いで、メモリ１０５は入力された再生データを格納し、動き補償部１０６及びディスプレー制御部（未図示）を介してＴＶまたはモニターに出力する。
【００１３】
一方、可変長さデコーダ１０１から出力される動きベクトルＭＶ及びメモリ１０５から出力される再生されたデータの入力を受けた動き補償器（ＭＣ）１０６は、動きを補償したデータを画像フレーム処理部１０４に出力し、画像フレーム処理部１０４は前記ＩＤＣＴデータと動き補償データとを加算して本来の画像を再生して出力する。
【００１４】
ここで、外部メモリは１６ＭＢの容量で、３つの異なるピクチャーと、２つの基準ピクチャーと、Ｂピクチャーとを格納する。
また、ディスプレー制御器及び動き補償部１０６は、帯域幅のほとんどを使用する各回路部により構成され、特に、動き補償部１０６はディスプレー制御器とは違って、動き補償が１６×１６または１６×８ピクセル（ｐｅｌ）ブロックを基準に実施されるため、動き補償のためにはメモリデータがランダムにアクセスされなければならない。
【００１５】
【発明が解決しようとする課題】
このような従来の画像処理装置及びその方法においては、ＭＰＥＧがＩ、Ｐ及びＢピクチャーフレームを組合せて使用したシーケンスを符号化するため、復号されたデータのランダムアクセスの可能性と適切な圧縮比間の均衡を維持することが困難で、予測エラーが発生し易く、次のＩフレームによりリフレッシュされるまでエラーが増加するという不都合な点があった。
【００１６】
本発明は、このような従来の課題に鑑みてなされたもので、復号された画像フレームが小メモリに格納され、復号された画像の画質が高画質を維持し得るように画像フレームの低い帯域幅に対して圧縮する、動き補償適応型画像圧縮方法及びその装置を提供することを目的とする。
【００１７】
本発明の他の目的は、復号された画像フレームが格納されるメモリの入出力帯域幅（Ｉ／Ｏ  ＢＷ）を圧縮させることにより復号された画像フレームが小容量の外部メモリに格納されるように画像フレームを高周波成分と低周波成分とに分解し、それらに対して適切なビットを割り当てて圧縮する、動き補償適応型画像圧縮方法及びその装置提供しようとする。
【００１８】
本発明のその他の目的は、メモリに格納された画像データを高周波成分と低周波成分とに分離して読出した後、それらを復号することによって本来の画像を再生する、動き補償適応型画像圧縮方法及びその装置を提供しようとする。
【００１９】
【課題を解決するための手段】
このような目的を達成するため、本発明に係る動き補償適応型画像処理方法においては、画像データを処理して格納し、格納された画像データを再生する画像処理方法であって、画像データを高周波成分の画像データと低周波成分の画像データとに分解し、それらの分解された高周波成分の画像データ及び低周波成分の画像データに所定ビットを割り当てて圧縮／符号化する段階と、圧縮／符号化された画像データを高周波成分に該当する値と低周波成分に該当する値とに分解し、それら分解された値に該当する高周波成分の画像データと低周波成分の画像データとに復号して本来の画像データに再生する段階と、を順次行うことを特徴とする。
【００２０】
前記目的を達成するための本発明に係る動き補償適応型画像処理装置は、画像データを処理して格納し、格納された画像データを再生する画像処理装置であって、外部から入力された画像信号をフレーム単位で処理し、処理された画像データを出力する画像フレーム処理部と、入力された画像信号の動きを補償するために補償情報を生成して画像フレーム処理部に出力する画像補償部と、画像フレーム処理部から出力される画像データを高周波数成分と低周波数成分とに分離し、所定ビットを割り当てて圧縮／符号化する画像圧縮部と、圧縮／符号化された画像データを格納する記憶部と、記憶部に格納された圧縮／符号化された画像データを復号／再生する画像再生部とを含むことを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態に対し、図面を用いて説明する。
一般に、各画像フレームは圧縮可能な、相関関係のある多数の領域を含んでいる。それら画像フレームは、順次または飛越し走査により形成される。したがって、それらの画像フレームに対して水平方向に実施された圧縮は、垂直方向または２次元方向に実施された圧縮よりも、圧縮された画像を再生したときの画像損失は少ない。一方、画像フレームに対する圧縮比が高くなるほど、高周波成分及びエッジがより一層損傷される。
【００２２】
ＤＰＣＭ、適応型ＤＰＣＭ（ＡＤＰＣＭ）及びベクトル量子化方法を利用して画像フレームを圧縮するとき、例えば、中間程度の圧縮比により画像フレームが圧縮された場合でもエッジの損傷が発生する。従って、再生された画像フレームの画質を本来の画像と同様な画質に維持するためには、エッジまたは高周波成分を保護し得る圧縮方法が必要である。また、前述した各方法では、画像にディテールが備わっているテクスチャー領域においては、ディテールをスムーズにする傾向があり、かつエラー伝播または予測変動が発生する。
【００２３】
画像損失を低減させるためには、適応量子化及び可変長さ符号化を行って画像を再圧縮する方法もあるが、この方法は演算過程が複雑である。
【００２４】
ＡＤＰＣＭ方法は、分離されたヘッダー情報がランダムアクセスするように格納されて動きを補償するため、画像処理装置の複雑性を一層増加させる。
【００２５】
一方、ウエーブレット変換が適用されたＡＤＰＣＭ方法は、前記ＡＤＰＣＭ方法よりも複雑性が低減されるだけではなく、テクスチャー及びエッジ領域においても画像の画質を殆ど損傷せずに再生することができる。
【００２６】
本発明の基本概念は、復号されたフレームを外部フレームメモリに格納する前に再び圧縮すること、すなわち、復号されたＩ、Ｐ、Ｂピクチャーを圧縮することによって、必要な記憶容量を低減させることを特徴とする。従って、動き補償及びディスプレーのためにメモリに格納されたフレームデータを読み出し／書込みするために必要な帯域幅も圧縮することができる。
【００２７】
帯域幅は、高鮮明（ＨＤ）画像を復号するとき、特に、動き補償部が活性化するときに増加する。すなわち、動き補償部は、ビットストリームから得られた動きベクトルを利用して、与えられた任意の位置から１６×８または１６×１６ピクセル（ｐｅｌ）を基準にデータにアクセスする。
従って、リアルタイムＶＬＳＩデコーダを設計するときは前記各結果を考慮すべきである。
【００２８】
ＭＰＥＧは、動画像を符号化するためにＩ、Ｐ、Ｂ画像を利用するため、再圧縮の際、動き予測誤差が１つのＩ画像から次のＩ画像まで影響を与える。従って、誤差の影響を少なくできる圧縮システムを構築すべきである。
【００２９】
且つ、メモリの容量と共にメモリのアクセス帯域幅を圧縮させることは、製造費用と直接連関されるため、消費者にとっては非常に重要である。
本発明では、帯域幅を圧縮させるために、比較的安価なＲＤＲＡＭを使用する代わりに通常のＳＤＲＡＭを使用した。
本発明は、画質が低下されることなく、ＰＳＮＲに関連して無視できるほどの低下でありながら、圧縮比、帯域幅の使用及び動き補償に対して、ランダムアクセス性、誤差増加率及び製品の費用効果の面から良好なバランスを維持することができる。
【００３０】
以下、実施例を用いて本発明をより具体的に説明する。
［実施例］
画像フレームの圧縮に使用されるウエーブレット変換方法は、エネルギーをコンパクト化する能力が非常に大きい。すなわち、ウエーブレット変換を利用して高周波成分及び低周波成分を２つの異なる周波数サブバンドに分解すると、分解された高周波係数のエントロピーが減少され、よって、コーデックは少ないビット数を利用して符号化することができる。
【００３１】
また、より高い高周波成分が量子化により０または０付近の値になるため、高周波サブバンドで極めて少ない数の非零値が誘導される。このとき、高周波サブバンドは、予め作成したテーブル、ベクトル量子化、または、可変長さ符号化技法を利用した単純な量子化方法により効果的に符号化することができる。
【００３２】
また、圧縮比は、量子化ステップの大きさにより調節されるか、または、低周波を他の低周波及び高周波サブバンド、すなわち、低−低、低−高、高−低及び高−高の周波数バンドに更に分解することによって調節される。
このように低周波成分を連続的に分解して圧縮比が調節されると、エントロピーが減少されて圧縮効率も高くなる。
【００３３】
本発明に係る画像処理装置においては、図１に示したように、入力画像データをブロック単位で処理して本来の画像を再生するために、可変長さデコーダ２００、逆量子化器３００、ＩＤＣＴ４００、画像処理部５００が接続されている。画像処理部５００は、可変長さデコーダ２００から出力される動きベクトルＭＶが入力されて動き補償情報を出力する動き補償部８００に接続されており、動き補償部８００から出力される動き補償された画像情報及びＩＤＣＴ４００により処理されたＤＣＴ係数を利用して本来の画像を再生し、その再生された画像データを出力する。再生された画像データの入力を受ける画像圧縮部６００は、再生された画像データを高周波成分と低周波成分とに分解し、各々の成分に対応するビットを割り当てて圧縮／符号化し、圧縮／符号化された画像データをメモリ７００に出力する。
【００３４】
そして、メモリ７００に記憶された画像データを画像再生部９００に出力すると、画像再生部９００はメモリ７００から高周波成分及び低周波成分ごとに圧縮／符号化されたデータを読出し、各成分に対し復号を実施して、復号された画像データを動き補償部８００に出力する。
【００３５】
また、動き補償部８００は、可変長さデコーダ２００から出力される動きベクトルＭＶを利用して復号された画像データの動きを補償し、その動き補償情報を前記画像処理部５００に出力する。
その結果、入力された画像の動きが補償されて本来の画像に再生される。
【００３６】
本実施形態に係る画像圧縮方法においては、図２に示したように、「Ｈ」として示された複数の高周波フィルター６０１、６０５、６０９と、「Ｌ」として示された複数の低周波フィルター６０２、６０６、６１０と、「↓２」として示された複数のデシメータ６０３、６０４、６０７、６０８、６１１、６１２と、により構成されている。
【００３７】
入力された画像Ｘ（ｎ）に対し、高周波フィルター（Ｈ）６０１及び低周波フィルター（Ｌ）６０２を利用して高周波成分と低周波成分とにそれぞれ分解し、それらの分解された信号に対し各デシメータ６０３、６０４を利用してダウンサンプリング（down sampling）する。
【００３８】
以上のような動作を第１ステージとすると、その第１ステージの低周波フィルター６０２から出力される各データに対し、第１ステージと同様の方式を適用して入力された信号を高周波フィルター６０５と低周波フィルター６０６で分解した後再びダウンサンプリングを行う第２ステージを実施する。すなわち、第２ステージにおいても、第１ステージで分解された低周波成分に対して再び高周波フィルター６０５と低周波フィルター６０６を利用して高周波成分と低周波成分とにそれぞれ分解し、それら分解された信号に対し各てデシメータ６０７、６０８を利用してダウンサンプリングを実施する。
【００３９】
同様に、第３ステージにおいても、第２ステージで分解された低周波成分に対し、再び高周波フィルター６０９及び低周波フィルター６１０を利用して高周波成分と低周波成分とにそれぞれ分解し、それら分解された信号に対して各デシメータ６１１、６１２を利用してダウンサンプリングを実施する。必要に応じてさらに繰り返す。
従って、入力された画像信号は低周波領域に分解される。
【００４０】
本実施形態に係る画像処理装置の画像圧縮部においては、図３に示したように、画像データの入力を受けたフィルター６１３が前記画像データを高周波成分Ｈｎと低周波成分Ｌ０、Ｌ２とに分解して出力する。高周波成分Ｈｎは符号化テーブル６１４に基づいて符号化して出力される。１番目の低周波成分Ｌ０は処理されずに符号化値としてフィルター６１３から出力される。また、２番目の低周波成分Ｌ２は、１番目の低周波成分Ｌ０から減算器６１５により減算され、その差値が符号化テーブル６１７に基づいて符号化される。
【００４１】
ここで、各符号化テーブル６１４、６１５を利用した符号化方法は、入力された値が符号化テーブルの値（または、所定範囲）に対応するとき、その値（または、範囲）に対応するインデックス（索引）値を該当データのコードとして符号化する。
【００４２】
従って、画像データは高周波成分と低周波成分とに分解された後、符号化テーブルに基づいて適切なビット数が割当されて圧縮され、このように圧縮された画像データが、圧縮過程を逆に実施することによって再生される。
【００４３】
図面に基づいてその再生をさらに詳しく説明する。
本実施形態に係る画像再生方法を説明するための構成においては、図４に示したように、入力信号をアップサンプルリングし、「↑」として示された複数の逆デシメータ９０１、９０２、９０５、９０６、９０９、９１０と、それら逆デシメータから出力されるアップサンプリングされた信号を高周波成分と低周波成分とにそれぞれフィルターリングする「〜Ｈ」及び「〜Ｌ」として示された各高周波フィルター９０３、９０７、９１１及び低周波フィルター９０４、９０８、９１２とにより構成されている。なお、明細書におけるＨとＬの前の「〜」は図のようにそれぞれの文字の上に付くものである。
【００４４】
そして、本実施形態に係る画像再生装置においては、図５に示したように、高周波成分と低周波成分とに分解し圧縮されてメモリに格納されたデータの入力を受け、符号化テーブル９１３に基づいて高周波成分を再生し、別の符号化テーブル９１４に基づいて低周波成分を再生する。すなわち、符号化テーブル９１３は、高周波成分Ｈｎに対するコード（すなわち、図３に示された符号化テーブル６１４のインデックス値）を検索して該当インデックス値に対応する代表値を復号出力Ｈｎ’とする。
【００４５】
１番目の低周波成分Ｌ０は、画像圧縮部から出力されるときコード値として処理されずに出力されているため、画像データを再生する画像再生部でも処理されずにそのまま出力される。２番目の低周波成分Ｌ２（この値は１番目の低周波成分との差を符号化した値である）は、符号化テーブル９１４からその値をインデックスとする代表値が出力され、その出力値を加算器９１５により１番目の低周波成分値Ｌ０と加算することによって本来の画像データＬ２’に再生される。
【００４６】
ここで、各低周波フィルター及び高周波フィルターＬ、Ｈ、〜Ｌ、〜Ｈは、分解フィルター及び合成フィルター（decomposition and reconstruction filters）であって、例えば、低周波分解フィルターの係数Ｌが｛Ｃ0、Ｃ1、Ｃ2、−Ｃ3｝であると、Ｈ、〜Ｌ、〜Ｈは次式のように表現することができる（ここで、ｎ＝｛０、１、２、３｝である）
Ｈ（ｎ）＝（−１）nＬ（３−ｎ） （１）
〜Ｌ（ｎ）＝Ｌ（３−ｎ）  （２）
〜Ｈ（ｎ）＝Ｈ（３−ｎ）  （３）
また、次の各式は、分解及び再生用Ｄａｕｂｅｃｈｉｅの４タップコンパクトフィルター（Daubechie's 4 tap compact filters）に対する各係数を示す。
Ｌ（ｎ）＝｛Ｃ0、Ｃ1、Ｃ2、−Ｃ3｝ （４）
Ｈ（ｎ）＝｛−Ｃ3、−Ｃ2、Ｃ1、−Ｃ0｝ （５）
〜Ｌ（ｎ）＝｛−Ｃ3、Ｃ2、Ｃ1、Ｃ0｝ （６）
〜Ｈ（ｎ）＝｛−Ｃ0、Ｃ1、−Ｃ2、−Ｃ3｝ （７）
【００４７】
理論的に、画像はｍ×ｎ個のブロックの大きさに基づいて再分割される。ここで、ｍは水平方向のピクセルの数で、ｎは垂直走査線の数である。圧縮はＩ、Ｐ及びＢピクチャーで輝度及び色相成分Ｃｂ及びＣｒに対して予め分割された各サブブロックに基づいて行われる．
【００４８】
もし、Ｈが画像の水平方向の大きさ、Ｖが画像の垂直方向の大きさであるとし、Ｘが大きさＨ×Ｖのディジタル画像で符号化されるベクトルとすると、そのベクトルの大きさはｍ×ｎとして示すことができる。ここで、ｍは水平方向の大きさを示し、ｎは垂直方向の大きさを示す。
【００４９】
従って、圧縮はｍ×ｎブロックの大きさの中で実施され、最初に、輝度ブロックに対して圧縮が行われ、その後色相ブロックに対して圧縮が行われる。
【００５０】
また、圧縮比は、図２に示したように、分解段階を調節するか、低周波係数及び高周波係数に対して他の量子化ベクトルを適用することによって調節される。ただし、低周波成分に対する圧縮比が高いと、信号を再生するときエラーの発生が多くなる。
【００５１】
一方、量子化器は多様な方法により設計することができるが、その中で、分解を行った後サブブロックの統計を分析し、その結果に基づいて設計する方法（Laplacianと類似した形態）が例に挙げられ、その統計に基づいて最適な非線形量子化器（optimal non-linear quantizer）を設計することができる。
【００５２】
非線形量子化器は、変換型圧縮方法と一緒に使用するとき極めて有用である。ウエーブレット変換方法を使用すると、低周波係数で一層多くのエネルギーを圧縮することが可能で、高周波係数では小さいエネルギーが存在するため、線形量子化器を使用することができる。
従って、ほとんどのエネルギーが既に低周波係数と稠密に結合されているため、線形量子化器と非線形量子化器の両方とも使用することができる。
【００５３】
動き補償、帯域幅の低減、圧縮エラー及びエラー伝播の最小化のようなランダムアクセスの応用において、ピクセルへのアクセスを容易にするために、本発明の実施形態においては、２５％の圧縮比、すなわち、４：３圧縮におけるウエーブレット変換を用いた。
【００５４】
以上のように構成された本発明に係る画像処理装置の動作に対し、以下、より詳しく説明する。
圧縮の第１段階は、４ピクセルブロック、すなわち、圧縮サブブロックの大きさが４×１ピクセルであるブロックにウエーブレット変換を適用する。入力ソースが順次方式、若しくは、インタレース方式であるため、圧縮は水平方向に行われる。このように水平方向に行われた圧縮はエラーの発生が少ない。
【００５５】
ディスプレー手段にディスプレーするために、フレームメモリに格納されたデータはフレームメモリから水平方向に上から下方向に読出されるため、垂直方向には圧縮されないことが好ましい。
例えば、４：３圧縮比は、３２ビットデータを２４ビットに符号化することによって容易に達成することができる。
【００５６】
次いで、圧縮の第２段階は、４ピクセルに対してウエーブレット変換を適用する。ここで、前記ウエーブレット変換は、前記ウエーブレットフィルターにより行われるピクセルデータの畳み込み処理（convolution  process）である。
【００５７】
Ｌ及びＨは分解フィルターで、〜Ｌ及び〜Ｈは再生フィルターである。ウエーブレット分解過程は、図２に示したような方式により分解され、次式により表現することができる。
【数１】
0003964139.tif 000002
ここで、ｎ＝０、１、２、３で、ｆ（  ）は分解されるデータブロックである。
【００５８】
ウエーブレット変換を利用した多重解像度分解及び係数２によるデシメーションは、２つの低周波成分係数及び２つの高周波成分係数を生成する。
【００５９】
次いで、圧縮の第３段階では、その２つの低周波成分係数及び２つの高周波成分係数が量子化される。低周波成分に平均７ビットが割り当てられ、高周波成分に平均５ビットが割り当てられる。
本発明に係る実施形態において、低周波成分及び高周波成分は全て２重精密度データである。
【００６０】
最初の低周波成分は８ビットで符号化され、２番目の低周波成分は６ビットで符号化される。すなわち、１番目の低周波成分は８ビットデータであって、０から２５５までの値を有するため、次式により示された定数に最も近接して四捨五入される。
Ｙlow（ｎ）＝（ｉｎｔ）｛Ｘlow（ｎ）＋α｝ （１０）
ここで、Ｘlow（ｎ）は分解結果で、Ｙlow（ｎ）は量子化された値であって、Ｙlow（ｎ）が０よりも小さいとαは−０．５になり、Ｙlow（ｎ）が０よりも大きいとαは０．５になる。
以上のように演算した後、Ｙlow（ｎ）に対して次式（１１）のように飽和過程が行われる。
【数２】
0003964139.tif 000003
ＤＰＣＭ方法により、低周波成分の１番目の成分及び２番目の成分にそれぞれ８ビット及び６ビットが割り当てられ、ここで、前記２番目の低周波成分は、ルックアップテーブルを利用して予測処理される。
Ｚ'low（２）＝Ｚlow（２）−Ｚlow（０）      （１２）
ここで、Ｚ'low（ｎ）は、６ビットを使用した予め定義されたコードが割り当てられている。
【００６１】
このように低周波成分が処理された後、非線形量子化と線形量子化との組合せによって高周波成分が量子化される。
【００６２】
このとき、高周波成分は１２７と−１２８間に存在すべきであるため、先ず、四捨五入演算が行われる。
Ｙhigh（ｎ）＝（ｉｎｔ）（Ｘhigh（ｎ）＋α）      （１３）
ここで、Ｘhigh（ｎ）は分解結果で、Ｙhigh（ｎ）は量子化された値であって、Ｙhigh（ｎ）が０よりも小さいとαは−０．５になり、Ｙhigh（ｎ）が０よりも大きいとαは０．５になる。
以上のように演算が行われた後、Ｙhigh（ｎ）に対して次式（１４）に示したような飽和過程が実施される。
【数３】
0003964139.tif 000004
ここで、Ｚhigh（ｎ）は予め定義された量子化テーブルを利用して５ビットに量子化される。
【００６３】
一方、再生過程は、前記分解過程とは逆に実施される過程である。図４及び図５に基づいて説明する。
先ず、再生の第１段階は、ルックアップテーブルを利用してＺhigh（ｎ）値を逆量子化する。８ビットのデータは各高周波成分に対して復旧される。１番目の低周波係数は既に８ビットであるため、２番目の低周波成分はルックアップテーブルにより〜Ｚlow（２）と復旧される。
従って、１番目の低周波係数がそれに〜Ｚlow（２）を加算して〜Ｚ'low（０）＝Ｚlow（０）と復旧される。
【００６４】
次いで、ウエーブレット変換を実施する。
〜Ｚlow（２）＝〜Ｚ'low（２）＋〜Ｚ'low（０）      （１５）
逆ウエーブレット変換が各〜Ｌ及び〜Ｈフィルターを利用してＺlow（ｎ）及びＺhigh（ｎ）に行われる。
畳み込みの前に０値を挿入する。
Ｚlow（ｎ）及び〜Ｌの畳み込みにより低周波成分が復旧され、Ｚhigh（ｎ）及び〜Ｈの畳み込みにより高周波成分が復旧される。
〜Ｙlow（ｎ）＝〜Ｚlow（ｎ−ｋ）・〜Ｌ（ｎ−ｋ） （１６）
〜Ｙhigh（ｎ）＝〜Ｚhigh（ｎ−ｋ）・〜Ｈ（ｎ−ｋ） （１７）
〜Ｙlow及び〜Ｙhighが復旧された後、それら２つの値を加算し、因数２で乗算する。ここで、２で乗算する理由は、アップサンプリングの因数が２であるからである。
〜Ｘ（ｎ）＝２（〜Ｙlow（ｎ）＋〜Ｙhigh（ｎ）） （１８）
従って、前記各〜Ｙlow及び〜Ｙhighから〜Ｘlow（ｎ）が復旧された後、復旧された値は最も近接した定数値に四捨五入され、０から２５５までの値に飽和される。
【数４】
0003964139.tif 000005
【００６５】
【発明の効果】
以上説明したように、本発明に係る動き補償適応型画像処理方法及びその装置は、ピクセルデータを最適に圧縮する際に低周波成分及び高周波成分を分解するため、リアルタイムＶＬＳＩ級の応用において通常の圧縮率で任意のアクセスを容易にさせ、誤差増加を最小化し得るという効果がある。
【図面の簡単な説明】
【図１】  本発明実施形態に係る画像処理装置を示した構成図である。
【図２】  本発明実施形態に係る画像圧縮方法の概念を説明するための構成図である。
【図３】  本発明実施形態に係る画像処理装置の画像圧縮部を示した詳細構成図である。
【図４】  本発明実施形態に係る画像再生方法の概念を説明するための構成図である。
【図５】  本発明実施形態に係る画像処理装置の画像再生部を示した詳細構成図である。
【図６】  従来の画像処理装置を示した構成図である。
【符号の説明】
２００  可変長さデコーダ、３００  逆量子化器、４００  ＩＤＣ、５００  画像処理部、６００  圧縮部、７００メモリ、８００  動き補償部、９００  画像再生部。
【図１】
0003964139.tif 000006
【図２】
0003964139.tif 000007
【図３】
0003964139.tif 000008
【図４】
0003964139.tif 000009
【図５】
0003964139.tif 000010
【図６】
0003964139.tif 000011