(57)【特許請求の範囲】
【請求項１】
画像信号の符号化信号をブロック毎に復号化する画像処理方法であって、
前記符号化信号から復号化対象となる夫々の被復号化ブロックの周波数差成分を復号化し、
前記夫々の被復号化ブロックの周波数差成分を、複数の順序のうちの後記予測処理の種類に応じた順序に適応的に並べ替える第１の並替方法と、前記夫々の被復号化ブロックの周波数差成分を常に特定の順序に並べ替える第２の並替方法とを、符号化処理において適応的な並べ替えを行ったか否かの信号に基づいて選択し、
前記被復号化ブロックの周辺に位置する復号化済ブロックの周波数成分から、前記被復号化ブロックの周波数成分の予測値を生成する予測処理を行い、
前記選択された並替方法により並び替えられた被復号化ブロックの周波数差成分と前記予測値とに基づいて、前記被復号化ブロックの周波数成分を生成する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法，及び画像処理装置，並びにデータ記憶媒体に関し、特にインタレース画像信号の周波数成分を可変長符号化する処理において、適応的に周波数成分の系列の並べ替えを行うことで、符号化効率を向上するようにしたものに関するものである。
【０００２】
【従来の技術】
最近の画像符号化処理においては離散コサイン変換（ＤＣＴ）が広く利用されており、代表的な画像符号化方式であるＭＰＥＧにおいては、入力される画像信号を、ＤＣＴ処理の単位である１表示画面を構成する複数の矩形ブロックの各々に対応するよう分割し、ブロック化された画像信号に対して、各ブロック毎にＤＣＴ処理が施される。
【０００３】
以下、ＭＰＥＧにおける画像符号化処理を具体的に説明する。
図２６は、上記画像符号化処理を行う従来の画像処理装置の概略構成を示すブロックであり、図において、２００ａは、画像信号に対して、ＤＣＴ処理を含む符号化処理を施す従来の画像処理装置である。この画像処理装置２００ａは、入力される画像信号１０１を、１表示画面を構成する複数のブロックの各々に対応するよう分割して、ブロック化された画像信号を生成するブロック化器１０２と、該ブロック化された画像信号１０３に対してＤＣＴ処理を各ブロック毎に施して、上記画像信号を周波数成分（ＤＣＴ係数）に変換するＤＣＴ処理器１０４と、該ＤＣＴ処理器１０４の出力１０５を量子化して、各ブロックに対応する量子化値１０７を生成する量子化器１０６とを有している。ここで、上記ＤＣＴ処理器１０４及び量子化器１０６は情報源符号化部２００ａ１を構成している。
【０００４】
また、上記画像処理装置２００ａは、量子化されたＤＣＴ係数（量子化値）にその符号化のための処理順序を設定するスキャン器１０９と、該処理順序が設定された量子化値１１１を、上記処理順序に従って可変長符号化して、各ブロックの画像信号に対応する符号化列１１３を生成するＶＬＣ処理器１１２とを有している。
【０００５】
次に動作について説明する。
入力された画像信号１０１は、ブロック化器１０２にて、まず８×８画素の矩形ブロックに対応するようブロック化される。ブロック化された入力画像信号１０３は、ＤＣＴ処理器１０４にてＤＣＴ処理が施されて複数の周波数成分（ＤＣＴ係数）に変換され、さらに該ＤＣＴ係数は、量子化器１０６にて量子化される。
【０００６】
該量子化されたＤＣＴ係数１０７は、可変長符号化（ＶＬＣ）処理の効率が向上するようにスキャン器１０９にてその並べ替えが行われ、つまり符号化のための処理順序が設定され、さらにその後、該並べ替えられた量子化値は、ＶＬＣ処理器１１２にて順次上記設定された処理順序に従って可変長符号化（ＶＬＣ）処理が施される。なお、ＶＬＣ処理では、ランレングス符号化を用いるため、同程度の大きさの係数が続くようにスキャンを実施すると、ＶＬＣ処理の効率が向上する。
【０００７】
ところで、インタレース画像信号の符号化処理では、隣り合う走査線間の相関が強い場合には、フレームＤＣＴ処理，つまりフレームを１単位とするＤＣＴ処理が実施され、フィールド内の相関が強い場合には、フィールドＤＣＴ処理，つまりフィールドを１単位とするＤＣＴ処理が実施される。
【０００８】
具体的には、インタレース画像信号のフレームＤＣＴ処理では、図２７に示すように、第１フィールドの走査線と第２フィールドの走査線とを交互に並べて１フレーム画面を形成し、この１フレーム画面を複数のマクロブロック（１６×１６画素）に分割し、さらに各マクロブロックを４つのサブブロック（８×８画素）に分割し、各サブブロック毎にこれに対応する画像信号にＤＣＴ処理を施す。
【０００９】
また、インタレース画像信号のフィールドＤＣＴ処理では、１フレーム画面を構成する個々のマクロブロック毎に、第１フィールドの走査線のみからなる２つの第１のサブブロックと、第２フィールドの走査線のみからなる２つの第２のサブブロックとを形成し、それぞれのサブブロック毎にこれに対応する画像信号にＤＣＴ処理を施す。
【００１０】
ＭＰＥＧでは、マクロブロック毎にフレームＤＣＴとフィールドＤＣＴが適応的に選択されて実施される。そのため、入力された画像信号を正しく復号化するために、上記画像符号化装置２００ａでは、ブロック化器１０２からはブロック化した画像信号１０３とともに、マクロブロック毎にＤＣＴの処理単位を示すＤＣＴ処理情報（つまり個々のマクロブロックに対してフレームＤＣＴとフィールドＤＣＴのいずれのＤＣＴ処理が施されているかを示す情報）１１４を出力するようにしている。フィールドＤＣＴを施したサブブロック（フィールドＤＣＴブロック）に対応するＤＣＴ係数群には、該サブブロックが１フレーム画面を構成する走査線の奇数番目あるいは偶数番目の走査線のみから構成されているため、フレームＤＣＴを施したサブブロック（フィールドＤＣＴブロック）のＤＣＴ係数群に比べて、表示画面の縦方向における画素値の変化率が大きいことを示すＤＣＴ係数が多く含まれている。
【００１１】
図２８は、図２６に示す画像符号化装置に対応する画像復号化装置の概略構成を示すブロック図であり、図において、２００ｂは、上記画像符号化装置２００ａにより符号化された画像符号化信号１１３を復号化する画像処理装置（画像復号化装置）である。この画像復号化装置２００ｂは、上記画像符号化信号１１３に対して可変長復号化処理を施す可変長復号化器２０１と、該復号化処理により得られた量子化値１１１に、その配列順序が符号化処理における並べ替え処理を施す前の配列順序に戻るよう逆スキャン処理を施す逆スキャン器２０２と、該逆スキャン処理により得られた、復号化処理の対象となる被復号化ブロックに対応するＤＣＴ係数（周波数成分）１０５を生成する逆量子化器２０３とを有している。また、上記画像復号化装置２００ｂは、上記ＤＣＴ係数１０５に対して逆ＤＣＴ処理を施して、被復号化ブロックに対応する画像信号１０３を生成する逆ＤＣＴ器２０４と、該画像信号１０３に対して、上記ＤＣＴ処理情報１１４に基づいて逆ブロック化を行って、１フレーム画面に対応する画像信号１０１を再生する逆ブロック化器２０５とを有している。ここで、上記逆量子化器２０３及び逆ＤＣＴ処理器２０４は情報源復号化部２００ｂ１を構成している。
【００１２】
このような画像復号化装置２００ｂでは、上記画像符号化装置２００ａにおける各変換処理に対する逆変換処理を、上記画像符号化信号１１３に対して、符号化処理の際とは逆の順序で施すことにより、該画像符号化信号１１３の復号化処理を正しく行う。
【００１３】
図２９は、従来の他の画像符号化装置の概略構成を示すブロック図である。
図において、２００ｃは、フレーム内の情報を利用して、被符号化ブロックの量子化値の予測値を生成し、この予測値と被符号化ブロックの量子化値との差分を符号化する画面内予測符号化処理を行う画像処理装置（画像符号化装置）である。
【００１４】
この画像符号化装置２００ｃは、上記画像符号化装置２００ａの構成に加えて、上記予測値を生成する予測部２００ｃ２と、該予測値の生成に関するパラメータを用いてスキャン方法を切替え可能なスキャン部２００ｃ１とを有している。
【００１５】
上記予測部２００ｃ２は、予測値３０３を生成して出力するとともに、予測値の生成に関連する第１，第２の予測情報３０９ａ，３０９ｂを出力する予測器３０５と、上記量子化器１０６の出力１０７と予測器３０５の予測出力（予測値）３０３との減算処理を行う加算器３０１と、該加算器３０１の出力３０２と上記予測器３０５の出力３０３との加算処理を行う加算器３０４とを有している。
【００１６】
また、上記スキャン部２００ｃ１は、上記予測部２００ｃ２の出力に対して、スキャン処理を施す、スキャン方法の異なる３つのスキャン器（１）１０９ｓ１〜（３）１０９ｓ３と、制御信号１１６に基づいて上記３つのスキャン器のうちの１つを選択し、選択したスキャン器に上記予測部２００ｃ２の出力３０２を供給する第１のスイッチ１０８ｃと、制御信号１１６に基づいて上記３つのスキャン器のうちの１つを選択し、選択したスキャン器の出力を上記可変長符号化器１１２に供給する第２のスイッチ１１０ｃと、上記第１の予測情報３０９ａに基づいて上記制御信号１１６を発生するスキャン制御器１４０１ｃとを有している。
【００１７】
なお、この第２の予測情報３０９ｂは、本画像符号化装置２００ｃから出力されるようになっている。
このような構成の画像符号化装置２００ｃでは、予測値の生成に関するパラメータ（予測情報）３０９を用いてスキャン方法を切替えるので、ＶＬＣ処理の効率が高いものとなっている。
【００１８】
図３０を用いて予測値の生成方法について説明する。
図３０は、１つの１６×１６画素のマクロブロックを示しており、このマクロブロックは４つの８×８画素のサブブロック（以下単にブロックともいう。）Ｒ０，Ｒ１，Ｒ２，Ｘからなる。ブロックＸは被符号化ブロックで、ブロックＲ０、Ｒ１およびＲ２は、被符号化ブロックＸに隣接する符号化済ブロックである。
【００１９】
被符号化ブロックＸの予測値（量子化値）の生成には、ブロックＲ１またはＲ２のいずれかが参照される。参照されるブロックの決定には、ブロックＲ０、Ｒ１およびＲ２のＤＣ係数（各ブロックの左上隅の量子化値）が用いられる。具体的には、ブロックＲ０，Ｒ１間でのＤＣ係数の差の絶対値と、ブロックＲ０，Ｒ２間でのＤＣ係数の差の絶対値が比較され、ブロックＲ０，Ｒ１間でのＤＣ係数の差の絶対値の方が大きい場合には、ブロックＲ１が参照される（縦方向の参照）。そうでない場合は、ブロックＲ２が参照される（横方向の参照）。
【００２０】
ブロックＲ１が参照される場合は、ブロックＲ１のＤＣ係数（ブロック左上隅の量子化値）とＡＣ係数（ブロック最上列の量子化値のうちＤＣ係数を除いたもの）がブロックＸの同じ位置の係数の予測値とされる。ブロックＲ２が参照される場合には、ブロックＲ２のＤＣ係数（ブロック左上隅の量子化値）とＡＣ係数（ブロック最左列の量子化値のうちＤＣ係数を除いたもの）がブロックＸの同じ位置の係数の予測値とされる。なお、ＡＣ係数の予測は、予測を行うことによりＶＬＣ処理の効率が悪化する場合には予測しないでおくようにすることもできる。
【００２１】
スキャン方法の切替えは、画面内予測においてＡＣ予測のＯＮ（ＡＣ予測を行う場合），ＡＣ予測のＯＦＦ（ＡＣ予測を行わない場合）に応じて、また、ＡＣ予測がＯＮの場合には予測の参照方向に応じて行われる。つまり、上記スキャン制御器１４０１ｃに供給される第１の予測情報３０９ａには、ＡＣ予測のＯＮorＯＦＦを示す情報（ＯＮ／ＯＦＦ情報）と、ＡＣ予測を行う際の予測の参照方向を示す情報（予測方向情報）とを含まれており、上記第２の予測情報３０９ｂには、ＡＣ予測のＯＮorＯＦＦを示す情報（ＯＮ／ＯＦＦ情報）のみが含まれている。
ＡＣ予測がＯＦＦの場合には、図３１（ａ）に示す順序で量子化値のスキャンが行われる。つまり、これにより、量子化値に符号化処理の順序が設定されることとなる。この場合（ＡＣ予測ＯＦＦ）には、サブブロックに対応する量子化値群は、縦横の方向に同様に高周波成分が分布しているものであることが多いので、低周波成分から高周波成分の順に一様に量子化値のスキャンを行う。ＡＣ予測が行われていて縦方向が参照されている場合には、図３１（ｂ）に示す順序で量子化値のスキャンが行われる。この場合には、サブブロックに対応する量子化値群は、横方向の高周波成分が予測により低減されたものとなっているので、横方向を優先して量子化値のスキャンを行うことにより、ＶＬＣ処理の効率が向上する。さらに、ＡＣ予測が行われていて横方向が参照されている場合には、図３１（ｃ）に示す順序で量子化値のスキャンが行われる。この場合には、サブブロックに対応する量子化値群は、縦方向の高周波成分が予測により低減されたものとなっているので、縦方向を優先して量子化値のスキャンを行うことにより、ＶＬＣ処理の効率が向上する。
【００２２】
図３２は、図２９に示す画像符号化装置に対応する画像復号化装置の概略構成を示すブロック図であり、図において、２００ｄは、上記画像符号化装置２００ｃにより符号化された画像符号化信号３０８を復号化する画像処理装置（画像復号化装置）である。
【００２３】
この画像復号化装置２００ｄは、上記画像符号化信号３０８を可変長復号化して得られる量子化値に対して、その配列順序を符号化処理におけるスキャン処理前の配列順序に戻す逆スキャン処理を施すとともに、該逆スキャンの方法を上記画像符号化装置２００ｃにおける予測値の生成に関する予測情報（パラメータ）に基づいて切替え可能な逆スキャン部２００ｄ１と、逆スキャン処理が施された被復号化ブロックに対応する量子化値に、該被復号化ブロック周辺に位置する復号化済ブロックの量子化値から予測した被復号化ブロックの量子化値（予測値）を加算する予測部２００ｄ２とを有している。
【００２４】
ここで、上記逆スキャン部２００ｄ１は、上記可変長復号化器２０１の出力に対して、逆スキャン処理を施す、逆スキャン方法の異なる３つの逆スキャン器（１）２０２ｓ１〜（３）２０２ｓ３と、制御信号１１６に基づいて上記３つの逆スキャン器のうちの１つを選択し、選択した逆スキャン器に上記可変長復号化器２０１の出力を供給する第１のスイッチ１０８ｄと、制御信号１１６に基づいて上記３つの逆スキャン器のうちの１つを選択し、選択した逆スキャン器の出力を上記予測部２００ｄ２に供給する第２のスイッチ１１０ｄと、第１の予測情報３０９ａに基づいて上記制御信号１１６を発生する逆スキャン制御器１４０１ｄとを有している。
【００２５】
なお、上記逆スキャン器（１）２０２ｓ１は、上記画像符号化装置２００ｃにおけるスキャン器（１）１０９ｓ１のスキャンに対する逆スキャンを行うもの、上記逆スキャン器（２）２０２ｓ２は、上記画像符号化装置２００ｃにおけるスキャン器（２）１０９ｓ２のスキャンに対する逆スキャンを行うもの、上記逆スキャン器（３）２０２ｓ３は、上記画像符号化装置２００ｃにおけるスキャン器（３）１０９ｓ３のスキャンに対する逆スキャンを行うものである。
【００２６】
上記予測部２００ｄ２は、上記画像符号化装置２００ｃから出力された第２の予測情報３０９ｂ、及び該画像符号化装置における量子化値１０７に相当する値１０７ｄに基づいて予測値３０３を生成して出力するとともに、該画像符号化装置２００ｃにおける第１の予測情報３０９ａに相当する制御用予測情報３０９ａ′を生成して出力する予測器４０１と、該予測値３０３と上記逆スキャン部２００ｄ１の出力３０２とを加算する加算器３０４とを有している。なお、上記制御用予測情報３０９ａ′は、上記第１の予測情報３０９ａと同様、ＡＣ予測に関するＯＮ／ＯＦＦ情報と、ＡＣ予測に関する予測方向情報とを含むものである。
【００２７】
このような構成の画像復号化装置２００ｄでは、図２９に示す画像符号化装置２００ｃにおける各変換処理に対する逆変換処理を、上記画像符号化信号３０８に対して、上記符号化処理の際とは逆の順序で施すことにより、該画像符号化信号３０８の復号化処理を正しく行う。
【００２８】
図３３は、従来のその他の画像符号化装置の概略構成を示すブロック図であり、図において、２００ｅは、被符号化フレームの画像信号の予測値を他のフレームから生成し、被符号化フレームの画像信号とその予測値の差分値を符号化する画面間予測符号化（インター符号化）処理を行う画像処理装置（画像符号化装置）である。
【００２９】
この画像符号化装置２００ｅは、図２６の画像符号化装置２００ａにおける、ブロック化された画像信号１０３に対して情報源符号化処理を施す情報源符号化部２００ａ１に代えて、ブロック化された画像信号１０３とその予測値１００８との差分値１００２に対して情報源符号化処理を行う情報源符号化部２００ｅ２を備え、さらに、上記画像処理装置２００ａにおけるスキャン器１０９に代えて、上記予測値１００８の生成に関するパラメータ１０１５に応じてスキャン方法，つまり符号化のための処理順序を切り替えるスキャン部２００ｅ１を備えている。
【００３０】
上記情報源符号化部２００ｅ２は、被符号化ブロックに対応する、画像信号１０３とその予測値１００８との差分値１００２に対して、ＤＣＴ処理を施して該差分値を周波数成分（ＤＣＴ係数）１００３に変換するＤＣＴ器１０４ｅと、該ＤＣＴ処理器１０４ｅの出力１００３を量子化して、各ブロックに対応する量子化値１００４を生成する量子化器１０６ｅとを有している。
【００３１】
また、上記情報源符号化部２００ｅ２は、上記量子化器１０６ｅから出力される量子化値１００４を逆量子化して、上記ＤＣＴ係数１００３に相当するＤＣＴ係数１００７を出力する逆量子化器２０３ｅと、ＤＣＴ係数１００７に逆ＤＣＴ処理を施して、上記差分値１００２に相当する差分信号１００９を出力する逆ＤＣＴ器２０４ｅと、該差分信号１００９と上記予測値１００８とを加算して、被符号化ブロックに対応する符号化済み画像信号１０１１を出力する加算器１０１０とを備えている。
【００３２】
さらに、上記情報源符号化部２００ｅ２は、各ブロックに対応する符号化済み画像信号１０１１を１フレーム分あるいは所定数のフレーム分一時的に蓄えるフレームメモリ１０１４と、該メモリ１０１４における参照ブロックに対応する符号化済み画像信号１０１３と、入力された被符号化ブロックに対応する画像信号１０３とから、被符号化ブロックに対応する画像信号を予測してその予測値１００８を生成するとともに、該予測処理に関するパラメータ１０１５を出力する予測器１０１２と、上記入力された被符号化ブロックに対応する画像信号１０３から上記予測値１００８を減算する加算器１００１とを有している。
【００３３】
また、上記スキャン部２００ｅ１は、上記情報源符号化部２００ｅ２の出力に対して、スキャン処理を施す、スキャン方法の異なる２つのスキャン器（１）１２９ｓ１，（２）１２９ｓ２と、制御信号１１６ｅに基づいて上記２つのスキャン器の一方を選択し、選択したスキャン器に上記情報源符号化部２００ｅ２の出力１００４を供給する第１のスイッチ１０８ｅと、制御信号１１６ｅに基づいて上記２つのスキャン器のうちの一方を選択し、選択したスキャン器の出力を上記可変長符号化器１１２に供給する第２のスイッチ１１０ｅと、上記予測器１０１２からのパラメータ１０１５に基づいて上記制御信号１１６ｅを発生するスキャン制御器１０１６ｅとを有している。
【００３４】
ここで、上記スキャン器１２９ｓ１は、図３１(a) に示す順序で量子化値のスキャンを行うものであり、また、上記スキャン器１２９ｓ２は、図２９に示す予測部２００ｃ２における各構成要素３０１，３０４，３０５と、図２９に示すスキャン部２００ｃ１における各構成要素１０８ｃ，１１０ｃ，１０９ｓ１〜１０９ｓ３，１４０１ｃから構成されている。つまり、上記スキャン器１２９ｓ２は、符号化処理の際、画面間予測が行われなかったブロック（イントラ符号化ブロック）に対する画面内予測処理が行われるとともに、該予測値の生成に関する予測情報に基づいて、該スキャン器１２９ｓ２を構成するスキャン器１０９ｓ１〜１０９ｓ３のいずれかが選択される構成となっている。なお、上記スキャン器１２９ｓ２を構成するスキャン器１０９ｓ１〜１０９ｓ３のうちの１つは図３１(a) に示す順序で量子化値のスキャンを行うものとなっている。
【００３５】
この画像符号化装置２００ｅによる符号化処理は、図２９に示す画像符号化装置２００ｃのものと基本的には同一であるが、この画像符号化装置２００ｅでは、ブロック化された画像信号とその予測値との差分値が符号化される点で上記画像符号化装置２００ｃとは大きく異なっている。
【００３６】
つまり、この画像符号化装置２００ｅによる画面間予測符号化処理では、予測効率の悪い場合には予測値１００８を０にすることにより、入力された被符号化ブロックに対応する画像信号１０３をそのままＤＣＴ処理する符号化（イントラ符号化）処理が実施されることとなる。ここで、インター符号化とイントラ符号化の切替はマクロブロック単位で行われ、実施された符号化を示す情報は予測に関するパラメータ１０１５に付加される。
【００３７】
また、この画像符号化装置２００ｅの画面間予測符号化処理では、被符号化ブロックがインター符号化されたもの（インター符号化マクロブロック）である場合には、スキャン器（１）１２９ｓ１が選択され、被符号化ブロックがイントラ符号化されたもの（イントラ符号化マクロブロック）である場合には、スキャン器（２）１２９ｓ２が選択され、それぞれに符号化処理に応じたスキャン方法が実施される。
【００３８】
具体的には、イントラ符号化マクロブロックに対応する量子化値は、上記スキャン器（２）１２９ｓ２（図２９の予測部２００ｃ２およびスキャン部２００ｃ１の構成からなるもの）に供給され、該スキャン器１２９ｓ２にて画面内予測によりその予測値が生成され、さらにこの予測値の生成に関する予測情報に基づいて、被符号化ブロックの量子化値とその予測値との差分値に対して適応的なスキャン処理が行われる。
一方、インター符号化マクロブロックに対応する量子化値は上記スキャン器（１）１２９ｓ１に供給され、該スキャン器にて、図３１（ａ）に示す順序でのスキャンが実施される。
【００３９】
このような構成の画像符号化装置では、インター符号化されているマクロブロックについては、差分値を符号化するため量子化により０となるＤＣＴ係数が多くなり、ＶＬＣ処理の効率が高いものとなっている。
なお、上記構成の画像符号化装置２００ｅでは、イントラ符号化マクロブロックに対して画面内予測処理を行わないようにすることも可能であり、この場合には、イントラ符号化マクロブロックの量子化値に対しては、上記スキャン器１２９ｓ２を構成するスキャン器１０９ｓ１〜１０９ｓ３のうちの１つにより、図３１（ａ）に示す順序のスキャン処理が施される。
【００４０】
図３４は、図３３に示す画像符号化装置２００ｅに対応する画像復号化装置の概略構成を示すブロック図であり、図において、２００ｆは、上記画像符号化装置２００ｅにより符号化された画像符号化信号１００６を復号化する画像復号化装置である。
【００４１】
この画像復号化装置２００ｆは、図２８の画像復号化装置２００ｂにおける逆スキャン器２０２に代えて、上記画像符号化信号１００６を可変長復号化して得られる量子化値１００５に対して、その配列順序を符号化処理におけるスキャン処理前の配列順序に戻す逆スキャン処理を施すとともに、該逆スキャンの方法を上記画像符号化装置２００ｅにおける画面間予測値の生成に関するパラメータ１０１５及び画面内予測値の生成に関するパラメータ３０９ｂに基づいて切替え可能な逆スキャン部２００ｆ１を備え、さらに上記画像復号化装置２００ｂにおける情報源復号化部２００ｂ１に代えて、逆スキャン処理が施された被復号化ブロックに対応する量子化値１００４に対して情報源復号化処理を施す情報源復号化部２００ｆ２を備えている。
【００４２】
上記逆スキャン部２００ｆ１は、上記可変長復号化器２０１の出力１００５に対して、逆スキャン処理を施す、逆スキャン方法の異なる２つの逆スキャン器（１）２２２ｓ１，（２）２２２ｓ２と、制御信号１１６ｆに基づいて上記２つの逆スキャン器の一方を選択し、選択した逆スキャン器に上記可変長復号化器２０１の出力１００５を供給する第１のスイッチ１０８ｆと、制御信号１１６ｆに基づいて上記２つの逆スキャン器の一方を選択し、選択した逆スキャン器の出力を上記情報源復号化部２００ｆ２に供給する第２のスイッチ１１０ｆと、上記予測パラメータ１０１５に基づいて上記制御信号１１６ｆを発生する逆スキャン制御器１０１６ｆとを有している。ここで上記逆スキャン器２２２ｓ１，２２２ｓ２は上記画像符号化装置２００ｅにおけるスキャン器１２９ｓ１，１２９ｓ２に対応する構成となっている。
つまり、上記逆スキャン器２２２ｓ１は図３１(a) に示す順序のスキャンに対応する逆スキャンを行う構成となっており、逆スキャン器２２２ｓ２は、図３２に示す逆スキャン部２００ｄ１における各構成要素１０８ｄ，１１０ｄ，２０２ｓ１〜２０２ｓ３，１４０１ｄと、図３２に示す予測部２００ｄ２における各構成要素３０４，４０１とから構成されている。
【００４３】
上記情報源復号化部２００ｆ２は、上記逆スキャン部２００ｆ１の出力に対して逆量子化処理を施す逆量子化器２０３ｆと、該逆量子化器２０３ｆの出力１００３に対して逆ＤＣＴ処理を施す逆ＤＣＴ器２０４ｆとを有している。
【００４４】
また、上記情報源復号化部２００ｆ２は、各ブロックに対応する復号化済み画像信号１０３を１フレーム分あるいは所定数のフレーム分だけ一時的に蓄えるフレームメモリ１０１４ｆと、該メモリ１０１４ｆにおける参照ブロックに対応する復号化済み画像信号１０１３ｆと、符号化時の予測に関するパラメータ１０１５とに基づいて、被復号化ブロックに対応する画像信号の予測値１００８ｆを生成する予測器１１０２ｆと、該予測値１００８ｆと上記逆ＤＣＴ器２０４ｆの出力１００２とを加算する加算器１１０１ｆとを備えている。
【００４５】
このような構成の画像復号化装置２００ｆでは、図３３に示す画像符号化装置２００ｅにおける各変換処理に対する逆変換処理を、上記画像符号化信号１００６に対して、符号化処理の際とは逆の順序で施すことにより、画像符号化信号１００６の復号化処理を正しく行う。
【００４６】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置におけるスキャン切替え方法は、全てのブロックがフレームＤＣＴブロックであるプログレッシブ画像符号化処理においては有効であるが、フレームＤＣＴブロックとフィールドＤＣＴブロックが混在するインタレース画像符号化処理においては、フィールドＤＣＴブロックとフレームＤＣＴブロックのＤＣＴ係数の分布が異なるために、同様のスキャン切替え方法を用いると、同程度の大きさの係数が連続せず、ＶＬＣの効率が悪化してしまう場合がある。
【００４７】
つまり、マクロブロック毎にフレームＤＣＴ処理とフィールドＤＣＴ処理が適応的に選択されて実施され、異なるＤＣＴタイプのマクロブロックが混在するインタレース画像符号化処理においては、予測値の生成に関するパラメータを用いてスキャン方法を切替えた場合、フレームＤＣＴブロックとフィールドＤＣＴブロックではＤＣＴ係数の分布が異なることから、同程度の大きさの係数が連続せず、ＶＬＣの効率が悪化してしまう場合が生じるという問題点があった。
また、従来の画像処理装置におけるインタレース画像の画面間予測符号化処理においても、異なるＤＣＴタイプのマクロブロックが混在するため、上記と同様な問題点があった。
【００４８】
さらに、プログレッシブ画像の符号化処理においても、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした場合、例えば、隣接する走査線間の相関が強いときにはフレームＤＣＴ処理を行い、隣接する走査線間の相関が弱い時にはフィールドＤＣＴ処理を行うようにした場合には、上記インタレース画像符号化処理の場合と同様、ＶＬＣの効率が悪化してしまうといった問題が生ずることとなる。
【００４９】
この発明は以上のような問題点を解消するためになされたもので、異なるＤＣＴタイプのマクロブロックが混在するインタレース画像を符号化する処理、あるいは、特定のプログレッシブ画像の符号化処理においても、ＶＬＣの効率を向上することができるスキャン方法を適応的に選択でき、高能率な符号化を行うことができる画像処理装置及び画像処理方法、並びに該画像処理方法を実現するための画像処理プログラムを記憶したデータ記憶媒体を提供することを目的とする。
【００５０】
【課題を解決するための手段】
この発明に係る画像処理方法は、画像信号の符号化信号をブロック毎に復号化する画像処理方法であって、前記符号化信号から復号化対象となる夫々の被復号化ブロックの周波数差成分を復号化し、前記夫々の被復号化ブロックの周波数差成分を、複数の順序のうちの後記予測処理の種類に応じた順序に適応的に並べ替える第１の並替方法と、前記夫々の被復号化ブロックの周波数差成分を常に特定の順序に並べ替える第２の並替方法とを、符号化処理において適応的な並べ替えを行ったか否かの信号に基づいて選択し、前記被復号化ブロックの周辺に位置する復号化済ブロックの周波数成分から、前記被復号化ブロックの周波数成分の予測値を生成する予測処理を行い、前記選択された並替方法により並び替えられた被復号化ブロックの周波数差成分と前記予測値とに基づいて、前記被復号化ブロックの周波数成分を生成する、ものである。
【００８３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１による画像符号化装置の構成を示すブロック図である。図において、１００ａは、本実施の形態１の画像処理装置であり、この画像処理装置１００ａは、図２６に示す従来の画像処理装置２００ａの構成に加えて、被符号化ブロックのＤＣＴタイプに応じてスキャンを切替える適応的スキャン切替処理を行う回路構成を有している。ここで、ＤＣＴタイプとは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。
【００８４】
つまり、本実施の形態１の画像処理装置１００ａは、従来の画像処理装置２００ａのスキャン器１０９に代えて、上記適応的スキャン切替処理を行うスキャン部１００ａ１を有しており、その他の構成は、上記画像処理装置２００ａと同一である。
【００８５】
このスキャン部１００ａ１は、スキャンの方法が異なる，つまり量子化値に異なる処理順序を設定するｎ個のスキャン器１０９ｓ１〜１０９ｓｎと、上記ｎ個のスキャン器のいずれかを制御信号１１６に基づいて選択して、該選択されたスキャン器に量子化器１０６の出力１０７を供給する第１のスイッチ１０８ａと、上記ｎ個のスキャン器のいずれかの出力を制御信号１１６に基づいて選択して、選択したスキャン器の出力１１１を上記可変長符号化器１１２に供給する第２のスイッチ１１０ａと、ブロック化器１０２から出力されるＤＣＴタイプ情報１１４に基づいて、上記制御信号１１６を発生するスキャン制御器１１５とを有している。
【００８６】
次に動作について説明する。
本画像処理装置１００ａに入力されたインタレース画像信号１０１は、ブロック化器１０２においてフレーム毎あるいはフィールド毎にブロック化され、該ブロック化器１０２からは、各ブロックに対応する画像信号１０３が出力される。また、ブロック化器１０２からは、画像信号１０３のブロック化の単位を示すＤＣＴタイプ信号１１４も出力される。画像信号１０３は、ＤＣＴ器１０４において離散コサイン変換によりＤＣＴ係数１０５に変換され、該ＤＣＴ器１０４からは、各ブロックに対応するＤＣＴ係数が出力される。さらにＤＣＴ係数１０５は、量子化器１０６において量子化処理により量子化値１０７に変換される。
【００８７】
このとき、スキャン制御器１１５は、ＤＣＴタイプ信号１１４に応じて、スイッチ１０８ａ及び１１０ａを制御する制御信号１１６を出力する。この制御信号１１６により、上記スキャン部１００ａ１では、上記スキャン器１０９ｓ１〜１０９ｓｎのうちのいずれか１つが選択され、上記量子化値１０７は、選択されたスキャン器によりスキャンされる。これにより上記量子化値１０７には、符号化処理の順序が設定され、該順序設定された量子化値１１１が可変長符号化器１１２に出力される。ＶＬＣ器１１２では量子化値１１１がその設定順序に従って可変長符号化され、符号化された量子化値が該ＶＬＣ器１１２からビットストリーム１１３として出力される。
【００８８】
図２(a) は、上記画像処理装置１００ａにおけるスキャン制御器１１５の回路構成例を示している。
ここで、上記スキャン制御器１１５を構成する判定器５０１は、ＤＣＴタイプ信号１１４を入力とし、被符号化ブロックのＤＣＴタイプに適切なスキャン処理を行うスキャン器がスイッチ１０８ａ及び１１０ａにより選択されるよう、該各スイッチに制御信号１１６を出力する構成となっている。
【００８９】
図３のフローチャートを用いて、判定器５０１による処理方法の一例を説明する。該判定器５０１は、ステップ６０１にて、ＤＣＴタイプ信号１１４に基づいて、被符号化ブロックのＤＣＴタイプを判定する。この判定の結果、被符号化ブロックがフレームＤＣＴブロックの場合は、上記判定器５０１は、ステップ６０２にて、スキャン器（１）１０９ｓ１を選択する制御信号１１６を出力する。一方、上記判定の結果、被符号化ブロックがフィールドＤＣＴブロックの場合は、判定器５０１は、ステップ６０３にて、スキャン器（２）１０９ｓ２を選択する制御信号１１６を出力する。
【００９０】
ここでのスキャン器（１）は、フレームＤＣＴブロックに適したスキャン（量子化値に対する符号化処理順序の設定）を行うものである。具体的には、図３１（ａ）に示す順序のスキャンなどが考えられる。また上記スキャン器（２）は、フィールドＤＣＴブロックに適したスキャン（量子化値に対する符号化処理順序の設定）を行うものである。具体的には、図３１（ｃ）に示す順序のスキャンなどが考えられる。
【００９１】
このような構成の実施の形態１では、被符号化ブロックのＤＣＴタイプに応じて適切なスキャンを選択するので、フレームＤＣＴブロックとフィールドＤＣＴブロックが混在するインタレース画像符号化においてもランレングスを長くすることができ、符号化の効率を向上させることができる。
なお、上記実施の形態１では、スキャン制御器の構成として図２(a) に示すものを示したが、スキャン制御器としては、図２(b) に示す回路構成のものを用いてもよい。
【００９２】
図２(b) に示すスキャン制御器１１５ａは、上記判定器５０２に加えて、符号化済みのブロックのＤＣＴタイプ信号を保持するメモリ５０３を有している。
このスキャン制御器１１５ａでは、判定器５０２は、被符号化ブロックのＤＣＴタイプ信号１１４及び符号化済みブロックのＤＣＴタイプ信号５０４に基づいて、被符号化ブロックに対して適切なスキャンを選択し、選択したスキャン処理が該被符号化ブロックの量子化値に施されるよう、スイッチ１０８ａ及び１１０ａに制御信号１１６を出力する。
【００９３】
図４のフローチャートを用いて、判定器５０２による処理方法の一例を説明する。このスキャン制御器１１５ａの判定器５０２は、ステップ７０１にて、ＤＣＴタイプ信号１１４に基づいて、被符号化ブロックのＤＣＴタイプを判定する。この判定の結果、被符号化ブロックがフレームＤＣＴブロックの場合は、判定器５０２は、ステップ７０２にて、符号化済みブロックのＤＣＴタイプ信号５０４に基づいて、符号化済みの隣接ブロックのＤＣＴタイプの判定を行い、一方、被符号化ブロックがフィールドＤＣＴブロックの場合は、判定器５０２は、ステップ７０３にて、符号化済みブロックのＤＣＴタイプ信号５０４に基づいて、符号化済みの隣接ブロックのＤＣＴタイプの判定を行う。
【００９４】
ステップ７０２での判定の結果、符号化済みブロックがフレームＤＣＴブロックの場合は、上記判定器５０２は、ステップ７０４にて、スキャン器（１）１０９ｓ１を選択する制御信号１１６を出力する。一方、上記ステップ７０２の判定の結果、符号化済みブロックがフィールドＤＣＴブロックの場合は、判定器５０２は、ステップ７０５にて、スキャン器（２）１０９ｓ２を選択する制御信号１１６を出力する。
【００９５】
また、ステップ７０３での判定の結果、符号化済みブロックがフレームＤＣＴブロックの場合は、上記判定器５０２は、ステップ７０６にて、スキャン器（３）１０９ｓ３を選択する制御信号１１６を出力する。一方、上記ステップ７０３の判定の結果、符号化済みブロックがフィールドＤＣＴブロックの場合は、判定器５０２は、ステップ７０７にて、スキャン器（４）１０９ｓ４を選択する制御信号１１６を出力する。
このようにして、被符号化ブロック及び隣接ブロックのＤＣＴタイプの組合わせにより、ステップ７０４、７０５、７０６及び７０７において４通りのスキャンを選択する。
【００９６】
具体的には、被符号化ブロック及び隣接ブロックがともにフィールドＤＣＴ処理されている場合は、被符号化ブロックの画像信号には高周波成分が多いと考えられるので、ステップ７０４においてはその高周波成分に対応する量子化値を優先するスキャン処理を選択する。被符号化ブロックまたは隣接ブロックのいずれか一方のみがフィールドＤＣＴ処理されている場合は、被符号化ブロックの画像信号にはやや高周波成分が多いと考えられるので、ステップ７０５及び７０６においては高周波成分に対応する量子化値を少し優先するスキャン処理を選択する。
【００９７】
また、被符号化ブロック及び隣接ブロックがともにフレームＤＣＴ処理されている場合は、被符号化ブロックの画像信号の高周波成分は少ないと考えられるので、ステップ７０７においては、低周波成分に対応する量子化値を優先するスキャン処理を選択する。
【００９８】
このような構成により、被符号化ブロックのＤＣＴタイプだけでなく隣接ブロックのＤＣＴタイプをも判定に用いることができるので、図３に示す実施の形態１の方法（図２(a) 参照）に比べて、細かくスキャンを制御することができ、より適切なスキャンを選択することができる。よって、ランレングスをより長くして、符号化の効率をさらに向上することができる。
【００９９】
なお、上記実施の形態１では、符号化処理の際、常に適応的スキャン動作を行う場合を示したが、この適応的スキャンが行われる符号化処理動作と、上記適応的スキャンが行われない符号化処理動作とを、所定の制御信号により切り替えるようにしてもよい。
【０１００】
図５はこのような構成の実施の形態１の変形例による画像符号化装置を示している。図において、１００ａ′は上記実施の形態１の変形例による画像符号化装置であり、この画像符号化装置１００ａ′は、上記実施の形態１の画像符号化装置１００ａにおける、常に適応的スキャン動作を行うスキャン部１００ａ１に代えて、スキャンモード切替信号１２０１により、該適応的スキャンを行うスキャンモードと、上記適応的スキャンを行わないスキャンモードとが切り換わるよう構成したスキャン部１００ａ１′を有している。
【０１０１】
この画像符号化装置１００ａ′のスキャン部１００ａ１′は、上記実施の形態１のスキャン部１００ａ１の回路構成に加えて、スキャン制御器１１５からの制御信号１１６と、複数のスキャン器のうちの特定の１つを選択するための、予め設定されたスキャン選択信号１２０２との一方をスキャンモード切替信号１２０１により選択し、該選択した信号を上記各スイッチ１０８ａ，１１０ａの制御信号１２０４として出力するモードスイッチ１２０３ａを有している。
【０１０２】
ここで、スキャンモード切替信号１２０１は、システム（画像符号化装置）の外部からマニュアル操作により与えられる信号としている。また、上記スキャン選択信号１２０２は、インタレース画像に適した特定のスキャン（例えば図３１（ｃ）のスキャン）を選択するものとしている。なお、上記スキャンモード切替信号１２０１は、上記のようにマニュアル操作により与える代わりに、ＶＬＣ器１１２の出力１１３に基づいて符号化効率をモニターして得られるモニター結果に応じて出力するようにしてもよい。
このような構成の実施の形態１の変形例では、必要に応じて適応的スキャンをオフして特定のスキャンを実施することができ、符号化処理を効率よく簡略化することができる。
【０１０３】
なお、上記実施の形態１及びその変形例では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置について説明したが、上記画像符号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成したものでもよい。
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理において、ＶＬＣの効率を向上することができる。
【０１０４】
実施の形態２．
図６は、本発明の実施の形態２による画像処理装置を説明するためのブロック図であり、図において、１００ｂは本実施の形態２の画像処理装置であり、この画像処理装置１００ｂは、図２８に示す従来の画像処理装置２００ｂの構成に加えて、被復号化ブロックのＤＣＴタイプに応じて逆スキャンを切替える適応的逆スキャン切替処理を行う回路構成を有している。ここで、ＤＣＴタイプとは、被復号化ブロックが、これに対応する符号化ブロックに対して、フレームＤＣＴ処理とフィールドＤＣＴ処理のいずれの処理がなされているかを示す信号を表すものとする。
【０１０５】
つまり、本実施の形態２の画像処理装置１００ｂは、従来の画像処理装置２００ｂの逆スキャン器２０２に代えて、上記適応的逆スキャン切替処理を行う逆スキャン部１００ｂ１を有しており、その他の構成は、上記画像処理装置２００ｂと同一である。
【０１０６】
この逆スキャン部１００ｂ１は、逆スキャンの方法が異なる，つまり順序の並べ替えがなされた量子化値をもとの順序に戻すための、それぞれ異なる並べ替え処理を行うｎ個の逆スキャン器２０２ｓ１〜２０２ｓｎと、上記ｎ個の逆スキャン器のいずれかを制御信号１１６に基づいて選択して、該選択された逆スキャン器に可変長復号化器２０１の出力１１１を供給する第１のスイッチ１０８ｂと、上記ｎ個の逆スキャン器のいずれかの出力を制御信号１１６に基づいて選択して、選択した逆スキャン器の出力１０７を逆量子化器２０３に供給する第２のスイッチ１１０ｂと、画像符号化装置１００ａのブロック化器１０２から出力されるＤＣＴタイプ情報１１４に基づいて、上記制御信号１１６を発生する逆スキャン制御器１１５ｂとを有している。
【０１０７】
次に動作について説明する。
画像処理装置１００ａより出力されたビットストリーム１１３は、ＶＬＤ器２０１において可変長復号化処理により量子化値１１１に変換され、ＶＬＤ器２０１からは該量子化値１１１が出力される。このとき逆スキャン制御器１１５ｂには、画像処理装置１００ａからのＤＣＴタイプ信号１１４に基づいて、逆スキャン器を選択する制御信号を、上記各スイッチ１０８ｂ及び１１０ｂに出力している。
【０１０８】
上記制御信号により選択された逆スキャン器にて、上記量子化値１１１は逆スキャンされ、符号化処理における並べ替え前の配列順序の量子化値１０７が出力される。さらにこの量子化値１０７は、逆量子化器２０３において逆量子化され、該逆量子化器２０３からは、被復号化ブロックに対応するＤＣＴ係数１０５が出力される。そして、該ＤＣＴ係数１０５は、逆ＤＣＴ器２０４において逆離散コサイン変換により、被復号化ブロックに対応する画像信号１０３に変換され、さらに画像信号１０３は、逆ブロック化器２０５においてＤＣＴタイプ信号１１４に応じて逆ブロック化されて、１表示画面に対応する画像信号１０１として出力される。
【０１０９】
このような構成の本実施の形態２の画像処理装置１００ｂでは、適応的逆スキャン切替方法を用いた復号化を行うので、プログレッシブ画像及びインタレース画像のいずれのＤＣＴ係数の可変長復号化処理においても、実施の形態１における適応的スキャン切替方法を用いて符号化されたビットストリーム１１３から、画像信号を効率よくしかも正しく復号化することができる。
【０１１０】
なお、上記実施の形態２では、被復号化ブロックのＤＣＴタイプ信号１１４に基づいて、逆スキャン器を選択するようにしているが、上記実施の形態１で説明したように、被復号化ブロックのＤＣＴタイプ信号だけでなく、該被復号化ブロックに隣接する復号化済ブロックのＤＣＴタイプ信号に基づいて、逆スキャン器を選択するようにしてもよい。
【０１１１】
また、上記実施の形態２では、復号化処理の際、常に適応的逆スキャン動作を行う場合を示したが、この適応的逆スキャンが行われる復号化処理動作と、上記適応的逆スキャンが行われない復号化処理動作とを、所定の制御信号により切り替えるようにしてもよい。
【０１１２】
図７はこのような構成の実施の形態２の変形例による画像復号化装置を示している。図において、１００ｂ′は上記実施の形態２の変形例による画像復号化装置であり、この画像復号化装置１００ｂ′は、上記実施の形態２の画像復号化装置１００ｂにおける、復号化処理時に常に適応的逆スキャン動作を行う逆スキャン部１００ｂ１に代えて、復号化処理時に、スキャンモード切替信号１２０１により、該適応的逆スキャンを行うスキャンモードと、上記適応的逆スキャンを行わないスキャンモードとが切り換わるよう構成した逆スキャン部１００ｂ１′を有している。
【０１１３】
この画像復号化装置１００ｂ′の逆スキャン部１００ｂ１′は、実施の形態２の逆スキャン部１００ｂ１の回路構成に加えて、逆スキャン制御器１１５ｂからの制御信号１１６と、複数の逆スキャン器のうちの特定の１つを選択するための、予め設定された逆スキャン選択信号１２０２ｂとの一方をスキャンモード切替信号１２０１により選択し、該選択した信号を上記各スイッチ１０８ｂ，１１０ｂの制御信号１２０４として出力するモードスイッチ１２０３ｂを有している。ここで、上記逆スキャン選択信号１２０２ｂは、上記画像符号化装置１００ａ′におけるスキャン選択信号１２０２と同様、インタレース画像に適した特定のスキャン（例えば図３１（ｃ）のスキャンに対応する逆スキャン）を選択するものとしている。
【０１１４】
このような構成の実施の形態２の変形例では、復号化処理の際、必要に応じて適応的逆スキャン動作をオフして特定の逆スキャンを実施することができ、画像符号化装置にて適応的スキャン動作がオフされ、特定のスキャンが実施されている場合でも画像符号化信号を正しく復号化することができる。
【０１１５】
なお、上記実施の形態２及びその変形例では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置に対応する画像復号化装置について説明したが、該画像復号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成した画像符号化装置に対応する画像復号化装置でもよい。
【０１１６】
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理により得られる画像符号化信号を正しく復号化することができる。
【０１１７】
実施の形態３．
図８は、本発明の実施の形態３による画像処理装置の構成を示すブロック図である。図において、１００ｃは、本実施の形態３の画像処理装置であり、この画像処理装置１００ｃは、図２９に示す従来の画像処理装置２００ｃにおけるスキャン制御器１４０１ｃに代えて、第１の予測情報（画面内予測に関する第１のパラメータ）３０９ａだけでなく被符号化ブロックのＤＣＴタイプ情報１１４にも基づいて制御信号１１６を発生するスキャン制御器３１０ｃを備えたものである。ここで、画面内予測に関する第１のパラメータ３０９ａは、従来の画像符号化装置２００ｃと同様、ＡＣ予測のＯＮ／ＯＦＦ情報と予測方向情報を含むものであり、第２の予測情報３０９ｂは、ＡＣ予測のＯＮ／ＯＦＦ情報のみを含んでいる。このように、復号化側に伝送する第２の予測情報３０９ｂを、画像符号化装置でのスキャン制御に用いる第１の予測情報３０９ａとは異なり予測方向情報を含まないものとすることにより、予測方法の変更等があった場合でも、復号化側に出力する第２の予測情報３０９ｂの内容を変更する必要がなく、予測方法の変更等に容易に対応することができる。ただし、第２の予測情報３０９ｂは、第１の予測情報３０９ａと同様、ＡＣ予測のＯＮ／ＯＦＦ情報だけでなく予測方向情報を含むものとしてもよいことは言うまでもない。
【０１１８】
つまり、本実施の形態３の画像符号化装置１００ｃの、実施の形態１による画像符号化装置１００ａとの違いは、画面内予測を行う予測部１００ｃ２が加わっている点、及び画面内予測に関する第1 のパラメータ３０９a をスキャン制御に用い、第2 のパラメータ３０９ｂを復号化側に出力する点である。
なお、上記画像処理装置１００ｃのスキャン部１００ｃ１におけるスイッチ１０８ｃ，１１０ｃ、及びｎ個のスキャン器１０９ｓ１〜１０９ｓｎは、図１に示す実施の形態１の対応するものと同一構成となっている。
【０１１９】
次に動作について説明する。ただしここでは、実施の形態１の画像処理装置１００ａと同一の動作についてはその説明を省略する。
上記予測器３０５は、符号化済みブロックの量子化値３０６から被符号化ブロックの量子化値１０７の予測値を生成し、この予測値３０３を出力する。また、予測器３０５は、予測値３０３の生成に関する第１，第２のパラメータ３０９ａ，３０９ｂを出力する。量子化値１０７は、加算器３０１において予測値３０３との減算処理が施され、その処理結果が差分値３０２として出力される。スキャン制御器３１０ｃは、ＤＣＴタイプ１１４及び第１のパラメータ３０９ａに応じて、スイッチ１０８ｃ及び１１０ｃに対する制御信号１１６を出力する。差分値３０２は、スイッチ１０８ｃ及び１１０ｃにより選択された、スキャン器１０９ｓ１〜１０９ｓｎのいずれかのスキャン器によりスキャンされ、差分値３０７として出力される。この差分値３０７は、ＶＬＣ器１１２において可変長符号化され、ビットストリーム３０８として出力される。また、上記差分値３０２は、加算器３０４において予測値３０３との加算処理が施され、その加算結果が上記符号化済みブロックの量子化値３０６として出力される。
【０１２０】
図２(c) は、スキャン制御器３１０ｃの一構成例を示している。
図２(c) において、スキャン制御器３１０ｃは判定器５０５からなり、この判定器５０５は、ＤＣＴタイプ信号１１４及び画面内予測に関する第１のパラメータ３０９ａを入力とし、被符号化ブロックのＤＣＴタイプに適切なスキャン器が選択されて、該選択したスキャン器によるスキャン処理が上記量子化したＤＣＴ係数に施されるよう、スイッチ１０８ｃ及び１１０ｃに制御信号１１６を出力する。
【０１２１】
図９のフローチャートを用いて、判定器５０５による処理方法の一例を説明する。判定器５０５は、ステップ８０１にて、ＤＣＴタイプ信号１１４に基づいて、被符号化ブロックのＤＣＴタイプを判定する。この判定の結果、被符号化ブロックがフィールドＤＣＴブロックの場合は、ステップ８０７にて、スキャン器（４）を選択する制御信号を出力する。
【０１２２】
上記判定の結果、被符号化ブロックがフレームＤＣＴブロックの場合は、ステップ８０２にて、ＡＣ予測のＯＮ，ＯＦＦの判定を行う。この判定の結果、ＡＣ予測がＯＦＦの場合には、ステップ８０６にて、判定器５０５は、スキャン器（３）を選択する制御信号を出力する。
また、ＡＣ予測がＯＮの場合には、ステップ８０３にて、予測の参照方向の判定を行う。この判定の結果、参照方向が横方向の場合には、ステップ８０５にて、判定器５０５は、スキャン器（２）を選択する制御信号を出力する。上記ステップ８０３での判定の結果、参照方向が縦方向の場合には、ステップ８０４にて、判定器５０５は、スキャン器（１）を選択する制御信号を出力する。
【０１２３】
ここで、スキャン器（１）によるスキャン処理は、縦方向予測された場合のフレームＤＣＴブロックに適したスキャンで、具体的には図３１（ｂ）に示す順序のスキャン処理などが該当する。また、スキャン器（２）によるスキャン処理は、横方向予測された場合のフレームＤＣＴブロックに適したスキャンで、具体的には図３１（ｃ）に示す順序のスキャン処理等が該当する。スキャン器（３）によるスキャン処理は、ＡＣ予測されていない場合のフレームＤＣＴブロックに適したスキャンで、具体的には図３１（ａ）に示す順序のスキャン処理などが該当する。さらに、スキャン器（４）によるスキャン処理は、フィールドＤＣＴブロックに適したスキャンであり、具体的には図３１（ｃ）に示す順序のスキャン処理などが該当する。
【０１２４】
このような構成の本実施の形態３では、画面内予測に関する第１のパラメータ３０９ａ，つまりＡＣ予測のＯＮ／ＯＦＦ情報及びＡＣ予測の参照方向情報だけでなく被符号化ブロックのＤＣＴタイプ１１４に応じて適切なスキャン処理を選択するので、フレームＤＣＴブロックとフィールドＤＣＴブロックが混在するインタレース画像符号化においてもランレングスを長くすることができ、符号化の効率を向上させることができる。
【０１２５】
なお、上記実施の形態３では、スキャン制御器の構成として図２(c) に示すものを示したが、スキャン制御器としては、図２(d) に示す回路構成のものを用いてもよい。
図２(d) に示すスキャン制御器３１０ａは、判定器５０６に加えて、符号化済みのブロックのＤＣＴタイプ信号を保持するメモリ５０３を有している。
【０１２６】
このスキャン制御器３１０ａでは、符号化済みのブロックのＤＣＴタイプ信号５０４が、メモリ５０３により保持される。判定器５０６は、被符号化ブロックのＤＣＴタイプ信号１１４、符号化済みのブロックのＤＣＴタイプ信号５０４及び画面内予測に関する第１のパラメータ３０９ａに応じて、被符号化ブロックに適切なスキャン器を選択し、選択したスキャン器によるスキャン処理が上記予測部の出力に施されるよう、スイッチ１０８ｃ及び１１０ｃに制御信号１１６を出力する。図１０のフローチャートを用いて、判定器５０６による処理方法の一例を説明する。この処理方法は、図４及び図９の方法を組み合わせたものである。このスキャン制御器３１０ａの判定器５０６は、ステップ９０１にて、ＤＣＴタイプ信号１１４に基づいて、被符号化ブロックのＤＣＴタイプを判定する。この判定の結果、被符号化ブロックがフィールドＤＣＴブロックの場合は、判定器５０６は、ステップ９０３にて、符号化済み隣接ブロックのＤＣＴタイプ信号５０４に基づいて、符号化済みの隣接ブロックのＤＣＴタイプの判定を行う。隣接ブロックがフィールドＤＣＴブロックの場合は、判定器５０６は、ステップ９１１にて、スキャン器（６）によるスキャン処理を選択する制御信号を出力する。
【０１２７】
一方、隣接ブロックがフレームＤＣＴブロックの場合は、判定器５０６は、ステップ９１０にて、スキャン器（５）によるスキャン処理を選択する制御信号を出力する。
また、上記ステップ９０１での判定の結果、被符号化ブロックがフレームＤＣＴブロックの場合は、判定器５０６は、ステップ９０２にて、符号化済み隣接ブロックのＤＣＴタイプ信号５０４に基づいて、符号化済みの隣接ブロックのＤＣＴタイプの判定を行う。
【０１２８】
この判定の結果、符号化済みブロックがフィールドＤＣＴブロックの場合は、上記判定器５０６は、ステップ９０９にて、スキャン器（４）を選択する制御信号１１６を出力する。一方、上記ステップ９０２の判定の結果、符号化済みブロックがフレームＤＣＴブロックの場合は、判定器５０６は、ステップ９０４にて、ＡＣ予測のＯＮ，ＯＦＦの判定を行う。この判定の結果、ＡＣ予測がＯＦＦの場合には、ステップ９０８にて、判定器５０６は、スキャン器（３）を選択する制御信号を出力する。
【０１２９】
また、ＡＣ予測がＯＮの場合には、ステップ９０５にて、予測の参照方向の判定を行う。この判定の結果、参照方向が横方向の場合には、ステップ９０７にて、判定器５０６は、スキャン器（２）を選択する制御信号を出力する。上記ステップ９０５での判定の結果、参照方向が縦方向の場合には、ステップ９０６にて、判定器５０６は、スキャン器（１）を選択する制御信号を出力する。
【０１３０】
このような構成により、画面内予測に関する第１のパラメータ３０９ａ及び被符号化ブロックのＤＣＴタイプ１１４だけでなく隣接ブロックのＤＣＴタイプ５０４にも応じて適切なスキャンを選択するので、図２(c) に示すスキャン制御器３１０ｃによるスキャン制御の方法に比べて、細かくスキャンを制御することができ、より適切なスキャンを選択することができる。よって、ランレングスをより長くすることができ、符号化の効率をさらに向上することができる。
【０１３１】
なお、上記実施の形態３では、符号化処理の際、常に適応的スキャン動作を行う場合を示したが、この適応的スキャンが行われる符号化処理動作と、上記適応的スキャンが行われない符号化処理動作とを、所定の制御信号により切り替えるようにしてもよい。
【０１３２】
図１１はこのような構成の実施の形態３の変形例による画像符号化装置を示している。図において、１００ｃ′は上記実施の形態３の変形例による画像符号化装置であり、この画像符号化装置１００ｃ′は、上記実施の形態３の画像符号化装置１００ｃにおける、常に適応的スキャン動作を行うスキャン部１００ｃ１に代えて、スキャンモード切替信号１２０１により、該適応的スキャンを行うスキャンモードと、上記適応的スキャンを行わないスキャンモードとが切り換わるよう構成したスキャン部１００ｃ１′を有している。
【０１３３】
この画像符号化装置１００ｃ′のスキャン部１００ｃ１′は、上記実施の形態３のスキャン部１００ｃ１の回路構成に加えて、スキャン制御器３１０ｃからの制御信号１１６と、複数のスキャン器のうちの特定の１つを選択するための、予め設定されたスキャン選択信号１２０２との一方をスキャンモード切替信号１２０１により選択し、該選択した信号を各スイッチ１０８ｃ，１１０ｃを制御する制御信号１２０４として出力するモードスイッチ１２０３を有している。
【０１３４】
ここで、スキャンモード切替信号１２０１は、システム（画像符号化装置）の外部からマニュアル操作により与えられる信号としている。また、上記スキャン選択信号１２０２は、インタレース画像に適した特定のスキャン（例えば図３１（ｃ）のスキャン）を選択するものとしている。なお、上記スキャンモード切替信号１２０１は、上記のようにマニュアル操作により与える代わりに、ＶＬＣ器１１２の出力３０８に基づいて符号化効率をモニターし、このモニター結果に応じて出力するようにしてもよい。
このような構成の実施の形態３の変形例では、必要に応じて適応的スキャンをオフして特定のスキャンを実施することができ、符号化処理を効率よく簡略化することができる。
【０１３５】
なお、上記実施の形態３及びその変形例では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置について説明したが、上記画像符号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成したものでもよい。
【０１３６】
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理において、ＶＬＣの効率を向上することができる。
【０１３７】
実施の形態４．
図１２は、本発明の実施の形態４による画像処理装置を説明するためのブロック図であり、図において、１００ｄは本実施の形態４の画像処理装置であり、この画像処理装置１００ｄは、図３２に示す従来の画像処理装置２００ｄにおける逆スキャン制御器１４０１ｄに代えて、第１の予測情報（画面内予測に関する第１のパラメータ）３０９ａに相当する制御用予測情報３０９ａ′だけでなく被復号化ブロックのＤＣＴタイプ情報１１４にも基づいて制御信号１１６を発生する逆スキャン制御器３１０ｄを備えたものである。
【０１３８】
つまり、この画像復号化装置１００ｄの、実施の形態２による画像復号化装置１００ｂとの違いは、画面内予測を行う予測部１００ｄ２が加わっている点、及び画面内予測に関する第１のパラメータ３０９ａに相当する制御用予測情報３０９ａ′を逆スキャン制御に用いる点である。
なお、上記画像処理装置１００ｄの逆スキャン部１００ｄ１におけるスイッチ１０８ｄ，１１０ｄ、及びｎ個の逆スキャン器２０２ｓ１〜２０２ｓｎは、図６に示す実施の形態２の対応するものと同一構成となっている。
【０１３９】
次に動作について説明する。
実施の形態３の画像符号化装置１００ｃより出力されたビットストリーム３０８が、本画像処理装置１００ｄに入力されると、該ビットストリーム３０８はＶＬＤ器２０１において可変長復号化され、差分値３０７として出力される。このとき逆スキャン制御器３１０ｄは、画像符号化装置１００ｃからのＤＣＴタイプ信号１１４、及び上記予測部１００ｄ２からの制御用予測情報３０９ａ′に基づいて、逆スキャン器を選択する制御信号１１６を、上記各スイッチ１０８ｄ及び１１０ｄに出力している。
【０１４０】
上記制御信号１１６により選択された逆スキャン器にて、この差分値３０７は逆スキャン処理が施され、並べ替え処理がなされた差分値３０２として出力され、さらに予測部１００ｄ２にて、対応する量子化値１０７に変換される。この量子化値１０７は、逆量子化器２０３において逆量子化され、ＤＣＴ係数１０５として出力される。このＤＣＴ係数１０５は、逆ＤＣＴ器２０４において逆離散コサイン変換され、画像信号１０３として出力される。この画像信号１０３は、逆ブロック化器２０５においてＤＣＴタイプ信号１１４に応じて逆ブロック化され、１つの表示画面に対応するインタレース画像信号１０１として出力される。
【０１４１】
このような構成の本実施の形態４の画像復号化装置１００ｄでは、予測部１００ｄ２にて画像符号化装置１００ｃからの第２の予測情報３０９ｂに基づいて生成された制御用予測情報３０９ａだけでなく、被復号化ブロックのＤＣＴタイプ情報１１４に応じた適応的逆スキャン切替方法を用いて復号化処理を行うので、プログレッシブ画像またはインタレース画像に対するＤＣＴ係数の可変長復号化処理の際、実施の形態３で用いた適応的スキャン切替方法を用いて符号化されたビットストリームを効率よくしかも正しく復号化して、画像信号を再生することができる。
【０１４２】
なお、上記実施の形態４では、被復号化ブロックのＤＣＴタイプ信号１１４に基づいて、逆スキャン器を選択するようにしているが、上記実施の形態３で説明したように、被復号化ブロックのＤＣＴタイプ信号だけでなく、該被復号化ブロックに隣接する復号化済ブロックのＤＣＴタイプ信号に基づいて、逆スキャン器を選択するようにしてもよい。
【０１４３】
また、上記実施の形態４では、復号化処理の際、常に適応的逆スキャン動作を行う場合を示したが、この適応的逆スキャンが行われる復号化処理動作と、上記適応的逆スキャンが行われない復号化処理動作とを、所定の制御信号により切り替えるようにしてもよい。
【０１４４】
図１３はこのような構成の実施の形態４の変形例による画像復号化装置を示している。図において、１００ｄ′は上記実施の形態４の変形例による画像復号化装置であり、この画像復号化装置１００ｄ′は、上記実施の形態４の画像復号化装置１００ｄにおける、復号化処理時に常に適応的逆スキャン動作を行う逆スキャン部１００ｄ１に代えて、復号化処理時に、スキャンモード切替信号１２０１により、該適応的逆スキャンを行うスキャンモードと、上記適応的逆スキャンを行わないスキャンモードとが切り換わるよう構成した逆スキャン部１００ｄ１′を有している。
【０１４５】
この画像復号化装置１００ｄ′の逆スキャン部１００ｄ１′は、実施の形態４の逆スキャン部１００ｄ１の回路構成に加えて、逆スキャン制御器３１０ｄからの制御信号１１６と、複数の逆スキャン器のうちの特定の１つを選択するための、予め設定された逆スキャン選択信号１２０２ｄとの一方をスキャンモード切替信号１２０１により選択し、該選択した信号を上記各スイッチ１０８ｄ，１１０ｄの制御信号１２０４として出力するモードスイッチ１２０３ｄを有している。ここで、上記逆スキャン選択信号１２０２ｄは、上記画像符号化装置１００ｃ′におけるスキャン選択信号１２０２と同様、インタレース画像に適した特定の逆スキャン（例えば図３１（ｃ）のスキャンに相当する逆スキャン）を選択するものとしている。
【０１４６】
このような構成の実施の形態４の変形例では、復号化処理の際、必要に応じて適応的逆スキャン動作をオフして特定の逆スキャンを実施することができ、画像符号化装置にて適応的スキャン動作がオフされ、特定のスキャンが実施されている場合でも画像符号化信号を正しく復号化することができる。
【０１４７】
なお、上記実施の形態４及びその変形例では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置に対応する画像復号化装置について説明したが、該画像復号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成した画像符号化装置に対応する画像復号化装置でもよい。
【０１４８】
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理により得られる画像符号化信号を正しく復号化することができる。
【０１４９】
実施の形態５．
図１４は、本発明の実施の形態５による画像処理装置の構成を示すブロック図である。図において、１００ｅは、本実施の形態５の画像処理装置（画像符号化装置）であり、この画像符号化装置１００ｅは、図２６に示す従来の画像処理装置２００ａの構成に加えて、被符号化ブロック周辺に位置する一つ以上の符号化済みブロックに対する最適なスキャン方法に応じて、被符号化ブロックに対するスキャン方法を切替える適応的スキャン切替処理を行う回路構成を有している。
【０１５０】
具体的には、本実施の形態５の画像符号化装置１００ｅは、従来の画像処理装置２００ａのスキャン器１０９に代えて、上記適応的スキャン切替処理を行うスキャン部１００ｅ１を有しており、その他の構成は、上記従来の画像処理装置２００ａと同一である。
【０１５１】
このスキャン部１００ｅ１は、スキャンの方法が異なる，つまり量子化値に異なる処理順序を設定するｎ個のスキャン器１０９ｓ１〜１０９ｓｎと、上記ｎ個のスキャン器のいずれかを制御信号１３０６に基づいて選択して、該選択されたスキャン器に量子化器１０６の出力１０７を供給する第１のスイッチ１０８ｅと、上記ｎ個のスキャン器のいずれかの出力を制御信号１３０６に基づいて選択して、選択したスキャン器の出力１１１を上記可変長符号化器１１２に供給する第２のスイッチ１１０ｅとを有している。
【０１５２】
さらに、上記スキャン部１００ｅ１は、上記量子化器１０６の出力１０７に対して最適なスキャン（符号化のための処理順序）を判定する特性解析器１３０１と、該判定結果を上記最適スキャンを示す情報１３０２として格納するメモリ１３０３と、該メモリ１３０３に格納されている情報，つまり符号化済みブロックの最適スキャンに関する情報１３０４に基づいて、被符号化ブロックに対する量子化値に最適なスキャンが実施されるよう、上記制御信号１３０６により上記各スイッチ１０８ｅ，１１０ｅを制御するスキャン制御器１３０５とを有している。
【０１５３】
次に動作について説明する。
本画像符号化装置１００ｅに入力されたインタレース画像信号１０１は、ブロック化器１０２においてフレーム毎あるいはフィールド毎にブロック化され、該ブロック化器１０２からは、各ブロックに対応する画像信号１０３が出力される。また、ブロック化器１０２からは、画像信号１０３のブロック化の単位を示すＤＣＴタイプ信号１１４も出力される。上記画像信号１０３は、ＤＣＴ器１０４において離散コサイン変換によりＤＣＴ係数１０５に変換され、該ＤＣＴ器１０４からは、各ブロックに対応するＤＣＴ係数が出力される。さらにＤＣＴ係数１０５は、量子化器１０６において量子化処理により量子化値１０７に変換される。
【０１５４】
このとき、特性解析器１３０１は、被符号化ブロックの量子化値１０７の最適スキャンを判定し、最適スキャンを示す情報１３０２をメモリ１３０３に格納する。スキャン制御器１３０５は、メモリ１３０３に格納されている符号化済みブロックの最適スキャンの情報１３０４に応じて、スイッチ１０８ｅ及び１１０ｅを制御する制御信号１３０６を出力する。この制御信号１３０６により、上記スキャン器のうちのいずれかが選択され、上記量子化値１０７は、選択されたスキャン器によりスキャンされる。
【０１５５】
これにより上記量子化値１０７には、符号化処理の順序が設定され、該順序設定された量子化値１１１が可変長符号化器１１２に出力される。ＶＬＣ器１１２では量子化値１１１がその設定順序に従って可変長符号化され、該ＶＬＣ器１１２からビットストリーム１１３として出力される。
【０１５６】
図１５は、上記画像符号化装置１００ｅにおける特性解析器１３０１の詳細な回路構成を示している。
この図に示すように、上記特性解析器１３０１は、それぞれ上記スキャン器１０９ｓ１〜１０９ｓｎによるスキャン順序に対応したｎ個の評価関数を有し、量子化値１０７を該スキャン器１０９ｓ１〜１０９ｓｎによりスキャンした場合における評価値を出力するｎ個の評価関数回路１８０１ｆ１〜１８０１ｆｎと、その出力に基づいて判定を行う判定器１８０３とから構成される。ここで、上記判定器１８０３は、評価値１８０２ｆ１〜１８０２ｆｎを比較し、最も評価の高いスキャンを量子化値１０７に対する最適スキャンとして判定し、最適スキャンを示す情報１３０２を出力するようになっている。つまり、上記判定器１８０３は、上記各評価関数回路１８０１ｆ１〜１８０１ｆｎから出力される評価値に基づいて、上記情報源符号化部２００ａ１にて得られる各ブロックに対応するＤＣＴ係数（周波数変換）の分布を判定し、該判定結果に基づいて最適スキャンを示す情報１３０２を出力するようになっている。
【０１５７】
なお、上記評価関数としては、対応するスキャン器でのスキャン順に選択された複数個（例えば１０個）のＤＣＴ係数の和を評価値とする関数などが考えられるが、可変長符号化効率が高いスキャンほど評価値が高くなるものであれば他の関数でも構わない。
【０１５８】
図１６に示すフローチャートを用いて、スキャン制御器１３０５による処理方法の一例を説明する。
該スキャン制御器１３０５は、ステップ１６０１にて、メモリ１３０３に格納されている符号化済みブロックの最適スキャンを示す情報１３０４に基づき、被符号化ブロックの真上に位置する上側マクロブロックとその左隣に位置する左側マクロブロックに対する最適スキャンが同じであるか判定する。この判定の結果、上記の２つのマクロブロックの最適スキャンが異なる場合は、ステップ１６０５にて、スキャン器（３）１０９ｓ３を選択する制御信号１３０６を出力する。
【０１５９】
一方、上記２つのマクロブロックの最適スキャンが同じである場合は、ステップ１６０２にて、上側及び左側マクロブロックの最適スキャンが上記スキャン（１）〜スキャン（ｎ）のいずれであるかを判定する。上側及び左側マクロブロックの最適スキャンが、スキャン（１）である場合は、ステップ１６０３にて、スキャン器（１）１０９ｓ１を選択する制御信号１３０６を出力する。また、上側及び左側マクロブロックの最適スキャンが、スキャン（２）である場合は、ステップ１６０４にて、スキャン器（２）１０９ｓ２を選択する制御信号１３０６を出力する。
【０１６０】
このような構成の実施の形態５では、被符号化ブロックの周辺に位置する符号化済みブロックの最適スキャンに応じて適切なスキャンを選択するので、フレームＤＣＴブロックとフィールドＤＣＴブロックが混在するインタレース画像符号化においてもランレングスを長くすることができ、符号化の効率を向上させることができる。
【０１６１】
なお、上記実施の形態５では、符号化処理の際、常に適応的スキャン動作が行われる場合を示したが、この適応的スキャンが行われる符号化処理動作と、上記適応的スキャンが行われない符号化処理動作とを、所定の制御信号により切り替えるようにしてもよい。
【０１６２】
図１７はこのような構成の実施の形態５の変形例による画像符号化装置を示している。図において、１００ｅ′は上記実施の形態５の変形例による画像符号化装置であり、この画像符号化装置１００ｅ′は、上記実施の形態５の画像符号化装置１００ｅにおける、常に適応的スキャン動作を行うスキャン部１００ｅ１に代えて、スキャンモード切替信号１２０１により、該適応的スキャンを行うスキャンモードと、上記適応的スキャンを行わないスキャンモードとが切り換わるよう構成したスキャン部１００ｅ１′を有している。
【０１６３】
この画像符号化装置１００ｅ′のスキャン部１００ｅ１′は、上記実施の形態５のスキャン部１００ｅ１の回路構成に加えて、スキャン制御器１３０５からの制御信号１１６と、複数のスキャン器のうちの特定の１つを選択するための、予め設定されたスキャン選択信号１２０２との一方をスキャンモード切替信号１２０１により選択し、該選択した信号を各スイッチ１０８ｅ，１１０ｅを制御する制御信号１２０４として出力するモードスイッチ１２０３ｅを有している。
【０１６４】
ここで、スキャンモード切替信号１２０１は、システム（画像符号化装置）の外部からマニュアル操作により与えられる信号としている。また、上記スキャン選択信号１２０２は、インタレース画像に適した特定のスキャン（例えば図３１（ｃ）のスキャン）を選択するものとしている。なお、上記スキャンモード切替信号１２０１は、上記のようにマニュアル操作により与える代わりに、ＶＬＣ器１１２の出力１１３に基づいて符号化効率をモニターし、このモニター結果に応じて出力するようにしてもよい。
このような構成の実施の形態５の変形例では、必要に応じて適応的スキャンをオフして特定のスキャンを実施することができ、符号化処理を効率よく簡略化することができる。
【０１６５】
なお、上記実施の形態５及びその変形例では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置について説明したが、上記画像符号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成したものでもよい。
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理において、ＶＬＣの効率を向上することができる。
【０１６６】
実施の形態６．
図１８は、本発明の実施の形態６による画像処理装置を説明するためのブロック図であり、この画像処理装置は、図２８に示す従来の画像処理装置２００ｂの構成に加えて、被復号化ブロック周辺に位置する一つ以上の復号化済みブロックの最適な逆スキャンに応じて、被復号化ブロックの逆スキャンを切替える適応的逆スキャン切替処理を行う回路構成を有している。
【０１６７】
具体的には、本実施の形態６の画像処理装置１００ｆは、従来の画像処理装置２００ｂの逆スキャン器２０２に代えて、上記適応的逆スキャン切替処理を行う逆スキャン部１００ｆ１を有しており、その他の構成は、上記従来の画像処理装置２００ｂと同一である。
【０１６８】
この逆スキャン部１００ｆ１は、逆スキャンの方法が異なる，つまり順序の並べ替えがなされた量子化値をもとの順序に戻すために並べ替える、それぞれ異なる並べ替え処理を行うｎ個の逆スキャン器２０２ｓ１〜２０２ｓｎと、上記ｎ個の逆スキャン器のいずれかを制御信号１３０６に基づいて選択して、該選択された逆スキャン器に可変長復号化器２０１の出力１１１を供給する第１のスイッチ１０８ｆと、上記ｎ個の逆スキャン器のいずれかの出力を制御信号１３０６に基づいて選択して、選択した逆スキャン器の出力１０７を逆量子化器２０３に供給する第２のスイッチ１１０ｆとを有している。
【０１６９】
また、上記逆スキャン部１００ｆ１は、上記逆スキャン器の出力１０７に対して最適な逆スキャンを判定する特性解析器１３０１と、該判定結果を上記最適逆スキャンを示す情報１３０２として格納するメモリ１３０３と、メモリ１３０３に格納されている情報，つまり復号化済みブロックの最適逆スキャンに関する情報に基づいて、被復号化ブロックに対する最適逆スキャンを選択するための上記制御信号１３０６を発生する逆スキャン制御器１３０５ｆとを有している。ここで特性解析器１３０１は上記実施の形態５におけるものと同一構成となっている。
【０１７０】
次に動作について説明する。
上記画像符号化装置１００ｅより出力されたビットストリーム１１３は、ＶＬＤ器２０１において可変長復号化処理により量子化値１１１に変換され、ＶＬＤ器２０１からは該量子化値１１１が出力される。このとき特性解析器１３０１は被復号化ブロックの量子化値１０７に対する最適逆スキャンを判定し、最適逆スキャンを示す情報１３０２をメモリ１３０３に格納する。逆スキャン制御器１３０５ｆは、該メモリ１３０３に格納されている復号化済みブロックの最適逆スキャンを示す情報１３０４に応じて、上記複数の逆スキャン器２０２ｓ１〜２０２ｓｎのうちの１つを選択する制御信号１３０６を、上記各スイッチ１０８ｆ及び１１０ｆに出力する。
【０１７１】
上記制御信号１３０６により選択された逆スキャン器にて、上記量子化値１１１は逆スキャンされ、符号化処理における並べ替え前の配列順序の量子化値１０７が出力される。さらにこの量子化値１０７は、逆量子化器２０３において逆量子化され、該逆量子化器２０３からは、被復号化ブロックに対応するＤＣＴ係数１０５が出力される。そして、該ＤＣＴ係数１０５は、逆ＤＣＴ器２０４において逆離散コサイン変換により、被復号化ブロックに対応する画像信号１０３に変換され、さらに画像信号１０３は、逆ブロック化器２０５においてＤＣＴタイプ信号１１４に応じて逆ブロック化されて、１表示画面に対応する画像信号１０１として出力される。
【０１７２】
このような構成の本実施の形態６の画像復号化装置１００ｆでは、適応的な逆スキャンの切替方法を用いた復号化処理を行うので、プログレッシブ画像及びインタレース画像のいずれのＤＣＴ係数の可変長復号化処理においても、実施の形態５における適応的スキャン切替方法を用いて符号化されたビットストリーム１１３から、画像信号を効率よくしかも正しく復号化することができる。
なお、上記実施の形態６では、復号化処理の際、常に適応的逆スキャン動作が行われるものを示したが、この適応的逆スキャンが行われる復号化処理動作と、上記適応的逆スキャンが行われない復号化処理動作とを、所定の制御信号により切り替えるようにしてもよい。
【０１７３】
図１９はこのような構成の実施の形態６の変形例による画像復号化装置を示している。図において、１００ｆ′は上記実施の形態６の変形例による画像復号化装置であり、この画像復号化装置１００ｆ′は、上記実施の形態６の画像復号化装置１００ｆにおける、復号化処理時に常に適応的逆スキャン動作を行う逆スキャン部１００ｆ１に代えて、復号化処理時に、スキャンモード切替信号１２０１により、該適応的逆スキャンを行うスキャンモードと、上記適応的逆スキャンを行わないスキャンモードとが切り換わるよう構成した逆スキャン部１００ｆ１′を有している。
【０１７４】
この画像復号化装置１００ｆ′の逆スキャン部１００ｆ１′は、実施の形態６の逆スキャン部１００ｆ１の回路構成に加えて、逆スキャン制御器１３０５ｆからの制御信号１３０６と、複数の逆スキャン器のうちの特定の１つを選択するための、予め設定された逆スキャン選択信号１２０２ｅとの一方をスキャンモード切替信号１２０１により選択し、該選択した信号を上記各スイッチ１０８ｆ，１１０ｆの制御信号１２０４として出力するモードスイッチ１２０３ｆを有している。
【０１７５】
このような構成の実施の形態６の変形例では、復号化処理の際、必要に応じて適応的逆スキャン動作をオフして特定の逆スキャンを実施するようにしたので、画像符号化装置にて適応的スキャン動作がオフされ、特定のスキャンが実施されている場合でも画像符号化信号を正しく復号化することができる。
【０１７６】
なお、上記実施の形態６及びその変形例では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置に対応する画像復号化装置について説明したが、該画像復号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成した画像符号化装置に対応する画像復号化装置でもよい。
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理により得られる画像符号化信号を正しく復号化することができる。
【０１７７】
実施の形態７．
図２０は、本発明の実施の形態７による画像処理装置の構成を示すブロック図である。図において、１００ｇは本実施の形態７の画像処理装置（画像符号化装置）であり、この画像符号化装置１００ｇは、図２９に示す従来の画像処理装置２００ｃにおける、符号化処理の際に常に適応的スキャンを行うスキャン部２００ｃ１に代えて、符号化処理の際に必要に応じて、適応的スキャンを行うスキャンモードと、上記適応的スキャンを行わないスキャンモードとが切り換わるよう構成したスキャン部１００ｇ１を備えたものである。
【０１７８】
つまり、この画像符号化装置１００ｇのスキャン部１００ｇ１は、従来の画像符号化装置２００ｃのスキャン部２００ｃ１の回路構成に加えて、スキャン制御器１４０１ｃからの制御信号１１６と、複数のスキャン器のうちの特定の１つを選択するための、予め設定されたスキャン選択信号１２０２との一方をスキャンモード切替信号１２０１により選択し、該選択した信号を、各スイッチ１０８ｃ，１１０ｃを制御する制御信号１２０４ｇとして出力するモードスイッチ１２０３ｇを有している。その他の構成は上記従来の画像符号化装置２００ｃと同一である。
【０１７９】
このような構成の画像符号化装置１００ｇでは、モードスイッチ１２０３ｇは、システム（画像符号化装置）１００ｇの外部からマニュアル操作により与えられるスキャンモード切替信号１２０１により、適応的に複数のスキャンのうちの１つを選択するための制御信号１１６と、インタレース画像に適した特定のスキャンを選択するスキャン選択信号１２０２のいずれかの信号を選択し、選択した信号をスイッチ１０８ｃおよび１１０ｃに供給する。
【０１８０】
このとき、上記モードスイッチ１２０３ｇにより上記スキャン選択信号１２０２が選択された場合は、上記各スイッチ１０８ｃ，１１０ｃでは、該スキャン選択信号１２０２に基づいて図３１（ｃ）に示すスキャンを実施するスキャン器１０９ｓ３が選択され、上記量子化値１０７は、上記第１の予測情報値３０９ａに拘わらず、常に該選択されたスキャン器１０９ｓ３によってスキャン処理が施される。
【０１８１】
一方、上記モードスイッチ１２０３ｇにより上記制御信号１１６が選択された場合は、上記スキャン部１００ｇ１では、図２９に示す従来の画像符号化装置２００ｃにおけるスキャン部２００ｃ１と全く同一のスキャン処理が行われる。
そして、その他の動作は、図２９に示す従来の画像符号化装置２００ｃと全く同様に行われる。
【０１８２】
このような構成の本実施の形態７では、必要に応じて適応的スキャンをオフしてインタレース画像に適した特定のスキャンを実施するようにしたので、インタレース画像信号の符号化処理を効率よく簡単化することができる。
なお、上記スキャンモード切替信号１２０１は、上記のようにマニュアル操作により与える代わりに、ＶＬＣ器１１２の出力３０８に基づいて符号化効率をモニターし、このモニター結果に応じて出力するようにしてもよい。
【０１８３】
また、上記実施の形態７では、インターレース画像信号の符号化処理について説明したが、符号化処理の対象となる画像信号はこれに限るものではなく、例えは、横縞模様等の、インターレース画像と同様、奇数列あるいは偶数列走査線間の画素値相関の高いプログレッシブ画像等でもよく、この場合も上記実施の形態７と同様な効果が得られる。
【０１８４】
実施の形態８．
図２１は、本発明の実施の形態８による画像処理装置を説明するためのブロック図である。図において、１００ｈは、上記実施の形態８の画像処理装置（画像復号化装置）であり、この画像復号化装置１００ｈは、図３２に示す従来の画像処理装置２００ｄにおける、復号化処理の際に常に適応的逆スキャンを行う逆スキャン部２００ｄ１に代えて、復号化処理の際に必要に応じて、適応的逆スキャンを行う逆スキャンモードと、上記適応的逆スキャンを行わない逆スキャンモードとが切り換わるよう構成した逆スキャン部１００ｈ１を備えたものである。
【０１８５】
つまり、この画像復号化装置１００ｈの逆スキャン部１００ｈ１は、従来の画像復号化装置２００ｄの逆スキャン部２００ｄ１の回路構成に加えて、逆スキャン制御器１４０１ｄからの制御信号１１６と、複数の逆スキャン器のうちの特定の１つを選択するための、予め設定された逆スキャン選択信号１２０２との一方をスキャンモード切替信号１２０１により選択し、該選択した信号を、各スイッチ１０８ｄ，１１０ｄを制御する制御信号１２０４ｈとして出力するモードスイッチ１２０３ｈを有している。その他の構成は上記従来の画像復号化装置２００ｄと同一である。
【０１８６】
このような構成の画像復号化装置１００ｈでは、モードスイッチ１２０３ｈは、システム（画像復号化装置）１００ｈの外部からマニュアル操作により与えられるスキャンモード切替え信号１２０１により、適応的に複数の逆スキャンのうちの１つを選択するための制御信号１１６と、インタレース画像に適した特定の逆スキャンを選択する逆スキャン選択信号１２０２のいずれかの信号を選択し、選択した信号をスイッチ１０８ｄおよび１１０ｄに供給する。
【０１８７】
このとき、上記モードスイッチ１２０３ｈにより上記逆スキャン選択信号１２０２が選択された場合は、上記各スイッチ１０８ｄ，１１０ｄでは、該逆スキャン選択信号１２０２に基づいて図３１（ｃ）に示すスキャンに相当する逆スキャンを実施する逆スキャン器２０２ｓ３が選択され、上記量子化値３０７は、上記制御用予測情報３０９ａに拘わらず、常に該選択された逆スキャン器２０２ｓ３によって逆スキャン処理が施される。
【０１８８】
一方、上記モードスイッチ１２０３ｈにより上記制御信号１１６が選択された場合は、上記逆スキャン部１００ｈ１では、図３２に示す従来の画像復号化装置２００ｄにおける逆スキャン部２００ｄ１と全く同一の逆スキャン処理が行われる。
【０１８９】
そして、その他の動作は、図３２に示す従来の画像復号化装置２００ｄと全く同様に行われる。
このような構成の本実施の形態８では、必要に応じて適応的逆スキャンをオフしてインタレース画像に適した特定の逆スキャンを実施するようにしたので、インタレース画像信号の符号化信号に対する復号化処理を効率よく簡単化することができる。
【０１９０】
また、上記実施の形態８では、インターレース画像に対する復号化処理について説明したが、上記復号化処理の対象となる画像はこれに限るものではなく、例えは、横縞模様等の、インターレース画像と同様、奇数列あるいは偶数列走査線間の画素値相関の高いプログレッシブ画像等でもよく、この場合も上記実施の形態８と同様な効果が得られる。
【０１９１】
実施の形態９．
図２２は、本発明の実施の形態９による画像処理装置の構成を示すブロック図である。図において、１００ｉは本実施の形態９の画像処理装置（画像符号化装置）であり、この画像符号化装置１００ｉは、図３３に示す従来の画像処理装置のスキャン部２００ｅ１に代えて、予測情報（パラメータ）１０１５だけでなく、システム（画像符号化装置）の外部からマニュアル操作により与えられるスキャンモード切替信号１２０１にも基づいて適応的にスキャンを切替えるスキャン部１００ｉ１を備えている。
【０１９２】
つまり、本実施の形態９の画像符号化装置１００ｉのスキャン部１００ｉ１は、スキャンの方法が異なる，つまり量子化値に異なる処理順序を設定するｎ個のスキャン器１９９ｓ１〜１９９ｓｎと、上記ｎ個のスキャン器のいずれかを制御信号１１６ｉに基づいて選択して、該選択されたスキャン器に量子化器１０６の出力１０７を供給する第１のスイッチ１０８ａと、上記ｎ個のスキャン器のいずれかの出力を制御信号１１６ｉに基づいて選択して、選択したスキャン器の出力１００５を上記可変長符号化器１１２に供給する第２のスイッチ１１０ａと、上記予測部２００ｅ２からの予測に関するパラメータ１０１５および上記外部からのスキャンモード切替信号１２０１に応じて上記制御信号１１６ｉを発生するスキャン制御器１５０１ｉとを有している。
【０１９３】
ここで、具体的には、スキャン器（１）１９９ｓ１としては、図２９に示す予測部２００ｃ２における各構成要素３０１，３０４，３０５と、図２９に示すスキャン部２００ｃ１における各構成要素１０８ｃ，１１０ｃ，１０９ｓ１〜１０９ｓ３，１４０１ｃから構成されている。つまり、上記スキャン器１９９ｓ１は、符号化処理の際、画面間予測が行われなかったブロック（イントラ符号化ブロック）に対する画面内予測処理が行われるとともに、該予測値の生成に関する予測情報に基づいて、該スキャン器１９９ｓ１を構成するスキャン器１０９ｓ１〜１０９ｓ３のいずれかが選択される構成となっている。なお、上記スキャン器１９９ｓ１を構成するスキャン器１０９ｓ１〜１０９ｓ３のうちの１つは図３１(a) に示す順序で量子化値のスキャンを行うものとなっている。
【０１９４】
また、上記スキャン器（２）１９９ｓ２としては図３１（ａ）に示す順序でスキャンを行うもの、スキャン器（３）１９９ｓ３としては図３１（ｃ）に示す順序でスキャンを行うもの、スキャン器（４）１９９ｓ４としては図３１（ａ）あるいは図３１（ｃ）に示す順序でスキャンを行うものが用いられる。
そして、この実施の形態９の画像符号化装置１００ｉの他の構成は、図３３に示す従来の画像符号化装置２００ｅと同一である。
【０１９５】
次に動作について説明する。ただしここでは、図３３に示す従来の画像符号化装置２００ｅと同一の動作についてはその説明を省略する。
図２３に示すフローチャートを用いて、スキャン制御器１５０１ｉによる処理方法の一例を説明する。
ステップ１７０１にて、該スキャン制御器１５０１ｉにより、被符号化ブロックの符号化に関する情報を表す画面間予測パラメータ１０１５の判定が行われる。この判定の結果、被符号化ブロックがイントラ符号化されているものである場合は、ステップ１７０２にて、スキャンモード切替信号１２０１の判定が行われる。その結果、スキャンモード切替信号１２０１がＯＦＦである場合は、ステップ１７０４にてスキャン器（１）１９９ｓ１を選択する制御信号１１６ｉが出力される。一方スキャンモード切替信号１２０１がＯＮである場合は、ステップ１７０５にてスキャン器（３）１９９ｓ３を選択する制御信号１１６ｉが出力される。  また、上記ステップ１７０１での判定の結果、被符号化ブロックがインター符号化されているものである場合は、ステップ１７０３にて、スキャンモード切替信号１２０１の判定が行われる。その結果、スキャンモード切替信号１２０１がＯＦＦの場合は、ステップ１７０６にてスキャン器（２）１９９ｓ２を選択する制御信号１１６ｉが出力される。一方スキャンモード切替信号１２０１がＯＮである場合は、ステップ１７０７にてスキャン器（４）１９９ｓ４を選択する制御信号１１６ｉが出力される。
【０１９６】
このような構成の本実施の形態９では、イントラ符号化マクロブロックとインター符号化マクロブロックのそれぞれに対し、予測に関するパラメータ１０１５およびスキャンモード切替信号１２０１に応じて複数のスキャンを切り替えるようにしたので、それぞれの符号化方法に適したスキャンを実施することができ、周波数成分の分布の異なるインター符号化マクロブロックとイントラ符号化マクロブロックが混在するインタレース画像信号のインター符号化処理においてもランレングスを長くすることができ、符号化の効率を向上させることができる。
【０１９７】
なお、上記実施の形態９では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置について説明したが、上記画像符号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成したものでもよい。
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理において、ＶＬＣの効率を向上することができる。
【０１９８】
実施の形態１０．
図２４は、本発明の実施の形態１０による画像処理装置の構成を示すブロック図である。図において、１００ｊは本実施の形態１０の画像処理装置（画像復号化装置）であり、この画像復号化装置１００ｊは、図３４に示す従来の画像復号化装置２００ｆの逆スキャン部２００ｆ１に代えて、予測値１０１５だけでなく上記スキャンモード切替信号１２０１にも基づいて適応的に逆スキャンを切替える逆スキャン部１００ｊ１を備えている。
【０１９９】
つまり、本実施の形態１０の画像復号化装置１００ｊの逆スキャン部１００ｊ１は、逆スキャンの方法が異なる，つまり順序の並べ替えがなされた量子化値をもとの順序に戻すための、それぞれ異なる並べ替え処理を行うｎ個の逆スキャン器２９２ｓ１〜２９２ｓｎと、上記ｎ個の逆スキャン器のいずれかを制御信号１１６ｉに基づいて選択して、該選択された逆スキャン器に可変長復号化器２０１の出力１００５を供給する第１のスイッチ１０８ｂと、上記ｎ個の逆スキャン器のいずれかの出力を制御信号１１６ｉに基づいて選択して、選択した逆スキャン器の出力１００４を逆量子化器２０３に供給する第２のスイッチ１１０ｂと、上記予測部２００ｅ２からの予測に関するパラメータ１０１５および上記外部からのスキャンモード切替信号１２０１に応じて上記制御信号１１６ｉを発生する逆スキャン制御器１５０１ｊとを有している。ここで、上記逆スキャン器２９２ｓ１〜２９２ｓｎは上記画像符号化装置１００ｉにおけるスキャン器１９９ｓ１〜１９９ｓｎに対応する構成となっている。
【０２００】
そして、この実施の形態１０の画像復号化装置１００ｊの他の構成は、図３４に示す従来の画像復号化装置２００ｆと同一である。
この画像復号化装置１００ｊでは、上記逆スキャン制御器１５０１ｊが、実施の形態９のスキャン制御器１５０１ｉと同様の方法で、上記予測に関するパラメータ１０１５および上記スキャンモード切替信号１２０１に応じて制御信号１１６ｉを出力する点のみ、従来の画像復号化装置２００ｆと異なっている。
【０２０１】
このような構成の本実施の形態１０では、予測に関するパラメータ１０１５および上記スキャンモード切替信号１２０１に応じて適応的にスキャンを切り替えて復号化を行うので、プログレッシブ画像およびインタレース画像のいずれのＤＣＴ係数の可変長復号化処理においても、実施の形態９におけるスキャン切替方法を用いて符号化されたビットストリーム１００６を効率よくしかも正しく復号化して、該ビットストリームに対応する画像信号を再生することができる。
【０２０２】
なお、上記実施の形態１０では、インターレース画像信号の符号化処理を行う際、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換える画像符号化装置に対応する画像復号化装置について説明したが、該画像復号化装置は、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成した画像符号化装置に対応する画像復号化装置でもよい。
この場合、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるようにした、特定のプログレッシブ画像の符号化処理により得られる画像符号化信号を正しく復号化することができる。
【０２０３】
実施の形態１１．
図３５は、本発明の実施の形態１１による画像処理装置の構成を示すブロック図である。図において、１００ｋは本実施の形態１１の画像処理装置（画像符号化装置）であり、この画像符号化装置１００ｋは、入力される画像信号１０１を、１表示画面を構成する複数のブロックの各々に対応するよう分割して、ブロック化された画像信号１０３を生成するブロック化器１０２と、ブロック化された画像信号１０３とその画面間予測値１００８との差分値（画面間差分値）１００２に対して情報源符号化処理を行う情報源符号化部１００ｋ１と、該情報源符号化部１００ｋ１の出力（量子化値）１００４に対して画面内予測処理を行って予測値（画面内予測値）３０３を生成し、該量子化値１００４とその画面内予測値３０３との差分値（画面内差分値）３０２を出力するとともに、第１，第２の予測情報３０９ａ，３０９ｂを出力する予測部１００ｋ２とを有している。ここで、上記第１の予測情報３０９ａには、ＡＣ予測のＯＮorＯＦＦを示す情報（ＯＮ／ＯＦＦ情報）と、ＡＣ予測を行う際の予測の参照方向を示す情報（予測方向情報）とが含まれており、上記第２の予測情報３０９ｂには、ＡＣ予測のＯＮorＯＦＦを示す情報（ＯＮ／ＯＦＦ情報）のみが含まれている。
【０２０４】
また上記画像処理装置１００ｋは、該予測部１００ｋ２での予測値の生成に関する第１のパラメータ（第１の画面内予測情報）３０９ａ、情報源符号化部１００ｋ１での予測値の生成に関するパラメータ（画面間予測情報）１０１５、及びシステム（画像符号化装置）の外部からマニュアル操作により与えられるスキャンモード切替信号１２０１に基づいて、上記画面内差分値３０２に対するスキャン処理を切替えるスキャン部１００ｋ３と、該スキャン部１００ｋ３の出力１００５を、該スキャン部１００ｋ３にて設定された処理順序に従って可変長符号化して、各ブロックの画像信号に対する符号化列（ビットストリーム）１００６を生成する可変長符号化器（ＶＬＣ処理器）１１２とを備えている。
【０２０５】
本実施の形態１１では、上記情報源符号化部１００ｋ１は、図３３に示す従来の画像処理装置２００ｅの情報源符号化部２００ｅ２と全く同一の構成となっており、また上記予測部１００ｋ２は、図２９に示す従来の画像処理装置２００ｃの予測部２００ｃ２と全く同一の構成となっている。
【０２０６】
また、本実施の形態１１のスキャン部１００ｋ３は、イントラ符号化ブロックに対して上記スキャン器１９９ｋ１により適応的なスキャン処理を行い、インター符号化ブロックに対して上記スキャン器１９９ｋ２によりジグザグスキャン処理を行う第１のスキャン動作と、イントラ符号化ブロックに対して上記スキャン器１９９ｋ３により縦方向優先のスキャン処理を行い、インター符号化ブロックに対して上記スキャン器１９９ｋ４により、上記縦方向優先のスキャン処理とは異なる順序の縦方向優先のスキャン処理を行う第２のスキャン動作とが、上記スキャンモード切替信号１２０１により切り換えられる構成となっている。
【０２０７】
言い換えると、上記スキャン部１００ｋ３は、スキャンの方法が異なる，つまり量子化値に異なる処理順序を設定するｎ個のスキャン器１９９ｋ１〜１９９ｋｎと、上記ｎ個のスキャン器のいずれかを制御信号１１６ｋに基づいて選択して、該選択されたスキャン器に上記予測部１００ｋ２の出力３０２を供給する第１のスイッチ１０８ａと、上記ｎ個のスキャン器のいずれかの出力を制御信号１１６ｋに基づいて選択して、選択したスキャン器の出力１００５を上記可変長符号化器１１２に供給する第２のスイッチ１１０ａと、上記情報源符号化部１００ｋ１の予測器１０１２からの予測に関するパラメータ（画面間予測情報）１０１５および上記外部からのスキャンモード切替信号１２０１に応じて上記制御信号１１６ｋを発生するスキャン制御器１５０１ｋとを有している。
【０２０８】
ここで、具体的には、スキャン器（１）１９９ｋ１としては、図２９に示すスキャン部２００ｃ１における各構成要素１０８ｃ，１１０ｃ，１０９ｓ１〜１０９ｓ３，１４０１ｃから構成されている。つまり、上記スキャン器１９９ｋ１は、イントラ符号化ブロックに対する予測値の生成に関する第１の画面内予測情報３０９ａに基づいて、該スキャン器１９９ｋ１を構成するスキャン器１０９ｓ１〜１０９ｓ３のいずれかが選択される構成となっている。さらに、上記スキャン器１９９ｋ１を構成するスキャン器１０９ｓ１〜１０９ｓ３のうちの１つは図３１(a) に示す順序で量子化値のスキャン（ジグザグスキャン）を行うものとなっている。また、上記スキャン器（２）１９９ｋ２としては図３１（ａ）に示す順序でジグザグスキャンを行うもの、上記スキャン器（３）１９９ｋ３としては図３１（ｃ）に示す順序で縦方向優先のスキャンを行うもの、スキャン器（４）１９９ｋ４としては図３１（ｃ）に示す順序とは異なる順序で縦方向優先のスキャンを行うものが用いられる。
なお、ここで、縦方向優先のスキャンとは、ブロック化された画像信号の情報源符号化により得られる、８×８個のマトリクス状に配列された量子化値に対して、縦方向（表示画面の垂直方向に対応）に並ぶものが所定の個数づつ連続する処理順序となるよう順序設定を行う処理である。
【０２０９】
次に動作について説明する。
本画像処理装置１００ｋに入力されたインタレース画像信号１０１は、ブロック化器１０２においてフレーム毎あるいはフィールド毎にブロック化され、該ブロック化器１０２からは、各ブロックに対応する画像信号１０３が情報源符号化部１００ｋ１に出力される。また、このときブロック化器１０２からは、画像信号１０３のブロック化の単位を示すＤＣＴタイプ信号１１４も出力される。
【０２１０】
上記情報源符号化部１００ｋ１では、ブロック化された画像信号１０３の画面間予測符号化処理が行われる。つまり、ブロック化された画像信号１０３とその画面間予測値１００８との差分値１００２がＤＣＴ器１０４において離散コサイン変換によりＤＣＴ係数１００３に変換され、該ＤＣＴ器１０４からは、各ブロックに対応するＤＣＴ係数１００３が出力される。さらにこのＤＣＴ係数１００３は、量子化器１０６において量子化処理により量子化値１００４に変換されて、上記予測部１００ｋ２に出力される。
【０２１１】
このとき、上記情報源符号化部１００ｋ１では、上記量子化値１００４は逆量子化器２０３にて、ＤＣＴ係数１００３に相当するＤＣＴ係数１００７に変換され、さらにこのＤＣＴ係数１００７は逆ＤＣＴ器２０４にて、上記差分値１００２に相当する差分信号１００９に変換される。この差分信号１００９は、加算器１０１０にて上記画面間予測値１００８と加算され、その加算値１０１１が参照画像信号として上記フレームメモリ１０１４に格納される。上記予測器１０１２では、このフレームメモリ１０１４に格納されている参照画像信号１０１３と、上記ブロック化された画像信号１０３とに基づいて、上記画面間予測値１００８が生成される。
【０２１２】
なお、この画像符号化装置１００ｋでは、被符号化ブロックに対する符号化処理としてイントラ符号化処理を行う場合には、上記情報源符号化部１００ｋ１における予測器１０１２は、画面間予測値１００８として０レベルの値を出力し、被符号化ブロックに対する符号化処理としてインター符号化処理を行う場合は、上記予測器１０１２は、各ブロックに対応するレベルの予測値１００８を出力する。
【０２１３】
また、上記予測部１００ｋ２では、情報源符号化部１００ｋ１の出力である量子化値１００４に対する画面内予測処理が行われる。つまり、予測部１００ｋ２では、まず、加算器３０１にて、上記量子化値１００４とその画面内予測値３０３との減算処理が行われ、その減算処理による差分値３０２が上記スキャン部１００ｋ３に出力される。また、このとき上記予測部１００ｋ２では、上記差分値３０２は加算器３０４にて上記画面内予測値３０３と加算され、その加算値３０６が予測器３０５に出力される。そして予測器３０５では、図３０で説明した方法により、この加算値３０６に基づいて上記画面内予測値３０３を生成するとともに、予測値の生成に関する第１，第２のパラメータ（第１，第２の画面内予測情報）３０９ａ，３０９ｂを出力する。
そしてさらに、上記予測部１００ｋ２の出力３０２は、上記スキャン部１００ｋ３にて、上記画面内予測情報３０９ａ，画面間予測情報１０１５，及びスキャンモード切替信号１２０１に基づいて所定のスキャン処理が施される。
【０２１４】
以下、上記スキャン部１００ｋ３でのスキャン制御器１５０１ｋによる処理の一例を、図３６に示すフローチャートを用いて説明する。
ステップ１８０１にて、該スキャン制御器１５０１ｋにより、被符号化ブロックの画面間予測符号化処理における予測値の生成に関する情報（画面間予測パラメータ）１０１５に基づいて、被符号化ブロックがイントラ符号化とインター符号化のいずれの処理が施されているかの判定が行われる。この判定の結果、被符号化ブロックがイントラ符号化されているものである場合は、ステップ１８０２にて、スキャンモード切替信号１２０１の判定が行われる。その判定の結果、スキャンモード切替信号１２０１がＯＦＦである場合は、ステップ１８０４にてスキャン器（１）１９９ｋ１を選択する制御信号１１６ｋが出力される。これにより、イントラ符号化ブロックに対応する量子化値１００４に画面内予測処理を施して得られた差分値３０２は、スキャン器（１）１９９ｋ１にて第１の画面内予測情報３０９ａに基づいて適応的なスキャン処理が施されることとなる。
【０２１５】
一方、上記ステップ１８０２での判定の結果、スキャンモード切替信号１２０１がＯＮである場合は、ステップ１８０５にてスキャン器（３）１９９ｋ３を選択する制御信号１１６ｋが出力される。これにより、イントラ符号化ブロックに対応する量子化値１００４に画面内予測処理を施して得られた差分値３０２は、スキャン器（３）１９９ｋ３にて縦方向優先のスキャン処理が施されることとなる。
【０２１６】
また、上記ステップ１８０１での判定の結果、被符号化ブロックがインター符号化されているものである場合は、ステップ１８０３にて、スキャンモード切替信号１２０１の判定が行われる。その結果、スキャンモード切替信号１２０１がＯＦＦの場合は、ステップ１８０６にてスキャン器（２）１９９ｋ２を選択する制御信号１１６ｋが出力される。これにより、インター符号化ブロックに対応する量子化値１００４に画面内予測処理を施して得られた差分値３０２は、スキャン器（２）１９９ｋ２にてジグザグスキャン処理が施されることとなる。
【０２１７】
一方、上記ステップ１８０３での判定の結果、スキャンモード切替信号１２０１がＯＮである場合は、ステップ１８０７にてスキャン器（４）１９９ｋ４を選択する制御信号１１６ｋが出力される。これにより、インター符号化ブロックに対応する量子化値１００４に画面内予測処理を施して得られた差分値３０２は、スキャン器（４）１９９ｋ４にて、スキャン器（３）１９９ｋ３とは異なる縦方向優先のスキャン処理が施されることとなる。
そして、上記スキャン部１００ｋ３にて所定の処理順序が設定された、被符号化ブロックの量子化値が可変長符号化器１１２にて符号化されて、ビットストリーム（画像符号化信号）１００６として出力される。
【０２１８】
このような構成の本実施の形態１１では、インターレース画像信号を符号化する際、イントラ符号化ブロックの量子化値に対して適応的なスキャン処理を行い、かつインター符号化ブロック量子化値に対してジグザグスキャン処理を施す第１の符号化モードと、イントラ符号化ブロックの量子化値に対して第１の縦方向優先のスキャン処理を行い、かつインター符号化ブロックの量子化値に対して第２の縦方向優先のスキャン処理を施す第２の符号化モードとを、スキャンモード切替信号１２０１により切り換えるようにしたので、周波数成分の分布の異なるインター符号化ブロックとイントラ符号化ブロックが混在するインタレース画像信号の符号化処理においても、符号化の効率をより一層向上させることができる。
【０２１９】
また、上記実施の形態１１では、第１の画面内予測情報３０９ａは、従来の画像符号化装置２００ｃと同様、ＡＣ予測のＯＮ／ＯＦＦ情報と予測方向情報を含むものとし、第２の画面内予測情報３０９ｂは、ＡＣ予測のＯＮ／ＯＦＦ情報のみを含むものとしている、つまり復号化側に伝送する第２の画面内予測情報３０９ｂを、画像符号化装置でのスキャン制御に用いる第１の画面内予測情報３０９ａとは異なり予測方向情報を含まないものとしているので、予測方法の変更等があった場合でも、復号化側に出力する第２の画面内予測情報３０９ｂの内容を変更する必要がなく、予測方法の変更等に容易に対応することができる。ただし、第２の画面内予測情報３０９ｂは、第１の画面内予測情報３０９ａと同様、ＡＣ予測のＯＮ／ＯＦＦ情報だけでなく予測方向情報を含むものとしてもよいことは言うまでもない。
【０２２０】
なお、上記実施の形態１１では、インターレース画像信号の符号化処理について説明したが、符号化処理の対象となるデジタル画像信号は、インターレース画像信号に限るものではない。例えば、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成した画像符号化装置では、上記実施の形態１１と同様な構成により、プログレッシブ画像の符号化処理において、ＶＬＣの効率を向上することができる。
【０２２１】
また、上記実施の形態１１では、スキャン器（３）１９９ｋ３とスキャン器（４）１９９ｋ４では、異なる縦方向優先のスキャン処理を行うものを示したが、スキャン器（３）１９９ｋ３とスキャン器（４）１９９ｋ４は、いずれも図３１(c) に示す縦方向優先のスキャン処理を行うものでもよい。
【０２２２】
実施の形態１２．
図３７は、本発明の実施の形態１２による画像処理装置の構成を示すブロック図である。図において、１００ｍは本実施の形態１２の画像処理装置（画像復号化装置）であり、上記画像符号化装置１００ｋにより符号化された画像符号化信号１００６を復号化する画像処理装置（画像復号化装置）である。
【０２２３】
この画像復号化装置１００ｍは、上記画像符号化信号１００６に対して可変長復号化処理を施す可変長復号化器（ＶＬＤ）２０１と、該復号化処理により得られた量子化値１００５に、その配列順序が符号化処理における並べ替え処理を施す前の配列順序に戻るよう逆スキャン処理を施す逆スキャン部１００ｍ１と、該逆スキャン処理が施された被復号化ブロックに対応する量子化値に、該被復号化部周辺に位置する復号化済ブロックの量子化値から予測した被復号化ブロックの量子化値（画面内予測値）３０３を加算して出力する予測部１００ｍ２と、該予測部１００ｍ２の出力である量子化値１００４に対して情報源復号化処理を施す情報源復号化部１００ｍ３と、該情報源復号化部１００ｍ３の出力である画像信号１０３に対して、画像符号化装置１００ｋからのＤＣＴ処理情報１１４に基づいて逆ブロック化を行って、１フレーム画面に対応する画像信号１０１を再生する逆ブロック化器２０５とを有している。
【０２２４】
本実施の形態１２では、上記情報源復号化部１００ｍ３は、図３４に示す従来の画像処理装置２００ｆの情報源復号化部２００ｆ１と全く同一の構成となっており、また上記予測部１００ｍ２は、図３２に示す従来の画像復号化装置２００ｄの予測部２００ｄ２と全く同一の構成となっている。
【０２２５】
また、本実施の形態１２の逆スキャン部１００ｍ１は、上記実施の形態１１の画像符号化装置１００ｋのスキャン部１００ｋ３にて、第１の画面内予測情報３０９ａ，画面間予測情報１０１５，及びスキャンモード切替信号１２０１に基づいて並べ替えがなされた量子化値を、もとの順序に戻す構成となっている。つまり、上記スキャン部１００ｋ３における各スキャン器１９９ｋ１〜１９９ｋｎによりスキャン処理された量子化値を、元の配列に戻すためのｎ個の逆スキャン器２９２ｍ１〜２９２ｍｎを有している。また、上記逆スキャン部１００ｍ１は、上記ｎ個の逆スキャン器のいずれかを制御信号１１６ｍに基づいて選択して、該選択された逆スキャン器に可変長復号化器２０１の出力１００５を供給する第１のスイッチ１０８ｂと、上記ｎ個の逆スキャン器のいずれかの出力を制御信号１１６ｍに基づいて選択して、選択した逆スキャン器の出力３０２を上記予測部１００ｍ２に供給する第２のスイッチ１１０ｂと、上記画像符号化装置１００ｋからの予測に関するパラメータ１０１５および上記外部からのスキャンモード切替信号１２０１に応じて上記制御信号１１６ｍを発生する逆スキャン制御器１５０１ｍとを有している。
【０２２６】
ここで、上記各逆スキャン器２９２ｍ１〜２９２ｍｎは上記画像符号化装置１００ｋにおける各スキャン器１９９ｋ１〜１９９ｋｎに対応する構成となっている。具体的には、逆スキャン器（１）２９２ｍ１としては、図３２に示す逆スキャン部２００ｄ１における各構成要素１０８ｄ，１１０ｄ，２０２ｓ１〜２０２ｓ３，１４０１ｄから構成されている。つまり、上記逆スキャン器２９２ｍ１は、イントラ符号化ブロックに対する画面内予測値の生成に関する第１の画面内予測情報３０９ａに相当する制御用予測情報３０９ａ′に基づいて、該逆スキャン器２９２ｍ１を構成する逆スキャン器２０２ｓ１〜２０２ｓ３のいずれかが選択される構成となっている。なお、上記逆スキャン器２９２ｍ１を構成する逆スキャン器２０２ｓ１〜２０２ｓ３のうちの１つは、図３１(a) に示す順序での量子化値のジグザグスキャンに対応する逆スキャンを行うものとなっている。また、上記逆スキャン器（２）２９２ｍ２としては図３１（ａ）に示す順序でのジグザグスキャンに対応する逆スキャンを行うもの、上記逆スキャン器（３）２９２ｍ３としては図３１（ｃ）に示す順序での縦方向優先のスキャンに対応する逆スキャンを行うもの、逆スキャン器（４）２９２ｍ４としては図３１（ｃ）に示す順序とは異なる順序での縦方向優先のスキャンに対応する逆スキャンを行うものが用いられる。  次に動作について説明する。
この画像復号化装置１００ｍでは、図３５に示す画像符号化装置１００ｋにおける各変換処理に対応する逆変換処理を、上記画像符号化信号１００６に対して、符号化処理の際とは逆の順序で施すことにより、画像符号化信号１００６の復号化処理が正しく行われる。
以下詳述すると、上記画像符号化信号１００６は、まず可変長復号化器２０１にて可変長復号化処理が施されて量子化値１００５に変換され、この量子化値１００５は、上記逆スキャン部１００ｍ１にて逆スキャン処理が施される。
【０２２７】
以下、上記逆スキャン部１００ｍ１での逆スキャン制御器１５０１ｍによる逆スキャン処理を、図３８に示すフローチャートを用いて説明する。
まず、ステップ１９０１にて、被復号化ブロックの画面間予測復号化処理における予測値の生成に関する情報（画面間予測パラメータ）１０１５に基づいて、被復号化ブロックがイントラ符号化とインター符号化のいずれの処理が施されているかの判定が行われる。この判定の結果、被復号化ブロックがイントラ符号化されているものである場合は、ステップ１９０２にて、スキャンモード切替信号１２０１の判定が行われる。その結果、スキャンモード切替信号１２０１がＯＦＦである場合は、ステップ１９０４にて逆スキャン器（１）２９２ｍ１を選択する制御信号１１６ｍが出力される。これにより、イントラ符号化ブロックに対応する量子化値１００５は、逆スキャン器（１）２９２ｍ１にて、画像符号化装置１００ｋからの第２の画面内予測情報３０９ｂに基づいて予測器４０１にて生成された制御用予測情報３０９ａ′に従って、適応的なスキャン処理に対応する逆スキャン処理が施されることとなる。
【０２２８】
一方、上記ステップ１９０２での判定の結果、スキャンモード切替信号１２０１がＯＮである場合は、ステップ１９０５にて逆スキャン器（３）２９２ｍ３を選択する制御信号１１６ｍが出力される。これにより、イントラ符号化ブロックに対応する量子化値１０１５は、逆スキャン器（３）２９２ｍ３にて、縦方向優先のスキャン処理に対応する逆スキャン処理が施されることとなる。
【０２２９】
また、上記ステップ１９０１での判定の結果、被復号化ブロックがインター符号化されているものである場合は、ステップ１９０３にて、スキャンモード切替信号１２０１の判定が行われる。その結果、スキャンモード切替信号１２０１がＯＦＦの場合は、ステップ１９０６にて逆スキャン器（２）２９２ｍ２を選択する制御信号１１６ｍが出力される。これにより、インター符号化ブロックに対応する量子化値１０１５は、逆スキャン器（２）２９２ｍ２にてジグザグスキャン処理に対応する逆スキャン処理が施されることとなる。
【０２３０】
一方、上記ステップ１９０３での判定の結果、スキャンモード切替信号１２０１がＯＮである場合は、ステップ１９０７にて、逆スキャン器（４）２９２ｍ４を選択する制御信号１１６ｍが出力される。これにより、インター符号化ブロックに対応する量子化値１０１５は、逆スキャン器（４）２９２ｍ４にて、上記逆スキャン器（３）２９２ｍ３とは異なる、縦方向優先のスキャン処理に対応する逆スキャン処理が施されることとなる。
【０２３１】
そして、上記逆スキャン部１００ｍ１の出力である量子化値３０２は、予測部１００ｍ２にてその画面内予測値３０３と加算されて、その加算値１００４が上記情報源復号化器１００ｍ３に出力される。またこのとき、上記予測部１００ｍ２では、上記加算値１００４と、画像符号化装置１００ｋからの第２の画面内予測情報３０９ｂとに基づいて、図３０に示すような方法により上記画面内予測値３０３を生成する。
【０２３２】
そしてさらに、上記予測部１００ｍ２の出力である量子化値１００４が情報源復号化部１００ｍ３にて復号化される。ここでは、上記量子化値１００４は、逆量子化器２０３にて逆量子化処理によりＤＣＴ係数１００３に変換され、さらに該ＤＣＴ係数１００３が、逆ＤＣＴ器２０４にて逆ＤＣＴ処理により差分信号１００２に変換される。この差分信号１００２は加算器１１０１にてその画面間予測値１００８と加算されて画像信号１０３に変換される。このとき該画像信号１０３はフレームメモリ１０１４に格納され、上記予測器１１０２では、フレームメモリ１０１４に格納された画像信号１０１３と、画像符号化装置１００ｋからの予測パラメータ１０１５に基づいて上記画面間予測値１００８を生成する。
最後に上記画像信号１０３は上記逆ブロック化器２０５にて、画像を符号化装置１００ｋからのＤＣＴタイプ情報１１４に基づいて逆ブロック処理が施されて、１フレーム画面に対応する画像信号１０１が再生される。
【０２３３】
このような構成の本実施の形態１２では、インターレース画像信号の符号化により得られる画像符号化信号を復号化する際、イントラ符号化ブロックの量子化値に対して、適応的なスキャン処理に対応する逆スキャン処理を行い、かつインター符号化ブロックの量子化値に対して、ジグザグスキャン処理に対応した逆スキャン処理を施す第１の復号化モードと、イントラ符号化ブロックの量子化値に対して、第１の縦方向優先のスキャン処理に対応する逆スキャン処理を行い、かつインター符号化ブロックの量子化値に対して、第２の縦方向優先のスキャン処理に対応する逆スキャン処理を施す第２の復号化モードとを、スキャンモード切替信号１２０１により切り換えるようにしたので、周波数成分の分布の異なるインター符号化ブロックとイントラ符号化ブロックが混在するインタレース画像信号の符号化処理をスキャン処理の切替により高い符号化効率でもって行って得られる画像符号化信号を、正しく復号化することができる。
【０２３４】
なお、上記実施の形態１２では、インターレース画像信号の復号化処理について説明したが、復号化処理の対象となるデジタル画像信号は、インターレース画像信号に限るものではない。例えば、プログレッシブ画像の符号化処理を行う際に、画像の内容に応じて、フレームＤＣＴ処理とフィールドＤＣＴ処理を切り換えるよう構成した画像符号化装置に対応する画像復号化装置では、上記実施の形態１２と同様な構成により、プログレッシブ画像信号を高い符号化効率で符号化した画像符号化信号を正しく復号化することができる。
【０２３５】
また、上記実施の形態１２では、第１の画面内予測情報３０９ａに対応する制御用予測情報３０９ａ′は、従来の画像復号化装置２００ｄと同様、ＡＣ予測のＯＮ／ＯＦＦ情報と予測方向情報を含むものとし、画像符号化装置１００ｋからの第２の画面内予測情報３０９ｂは、ＡＣ予測のＯＮ／ＯＦＦ情報のみを含むものとしている、つまり復号化側に伝送する第２の画面内予測情報３０９ｂを、画像復号化装置でのスキャン制御に用いる制御用画面内予測情報３０９ａ′とは異なり予測方向情報を含まないものとしているので、予測方法の変更等があった場合でも、復号化側へ入力される第２の画面内予測情報３０９ｂの内容を変更する必要がなく、予測方法の変更等に容易に対応することができる。ただし、第２の画面内予測情報３０９ｂは、制御用予測情報３０９ａ′と同様、ＡＣ予測のＯＮ／ＯＦＦ情報だけでなく予測方向情報を含むものとしてもよいことは言うまでもない。
【０２３６】
また、上記実施の形態１２では、逆スキャン器（３）２９２ｍ３と逆スキャン器（４）２９２ｍ４では、異なる、縦方向優先のスキャン処理に対応する逆スキャン処理を行うものを示したが、逆スキャン器（３）２９２ｍ３と逆スキャン器（４）２９２ｍ４は、いずれも図３１(c) に示す縦方向優先のスキャン処理に対応する逆スキャン処理を行うものでもよい。
【０２３７】
実施の形態１３．
さらに、上記各実施の形態で示した画像処理装置による画像処理を実現するための符号化あるいは復号化プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０２３８】
図２５は、上記実施の形態１から実施の形態１２の画像符号化あるいは画像復号化処理を、上記符号化あるいは復号化プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図２５は、フロッピーディスクＦＤの正面からみた外観、及び円盤状磁気記憶媒体であるフロッピーディスク本体Ｄを示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスク本体Ｄの表面には、同心円状に外周から内周に向かって複数のトラックが形成され、各トラックは角度方向に例えば、１６個のセクタに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスク本体Ｄ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【０２３９】
【発明の効果】
以上のように、本発明に係る画像処理方法によれば、画像信号の符号化信号をブロック毎に復号化する画像処理方法であって、前記符号化信号から復号化対象となる夫々の被復号化ブロックの周波数差成分を復号化し、前記夫々の被復号化ブロックの周波数差成分を、複数の順序のうちの後記予測処理の種類に応じた順序に適応的に並べ替える第１の並替方法と、前記夫々の被復号化ブロックの周波数差成分を常に特定の順序に並べ替える第２の並替方法とを、符号化処理において適応的な並べ替えを行ったか否かの信号に基づいて選択し、前記被復号化ブロックの周辺に位置する復号化済ブロックの周波数成分から、前記被復号化ブロックの周波数成分の予測値を生成する予測処理を行い、前記選択された並替方法により並び替えられた被復号化ブロックの周波数差成分と前記予測値とに基づいて、前記被復号化ブロックの周波数成分を生成する、ことを特徴とするので、符号化信号の復号化の際、必要に応じて、ブロックの周波数成分を適応的に並べ替える適応的スキャンをオフして、それぞれのブロックに対して画像特性に適した特定スキャンを施すことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図２】上記実施の形態１及び３で用いられるスキャン制御器の構成の一例を示す図である。
【図３】実施の形態１および２における適応的スキャン切替方法のフローの一例を示す図である。
【図４】実施の形態１および２における適応的スキャン切替方法のフローの一例を示す図である。
【図５】本発明の実施の形態１の変形例による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図６】本発明の実施の形態２による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図７】本発明の実施の形態２の変形例による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図８】本発明の実施の形態３による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図９】実施の形態３および４における適応的スキャン切替方法のフローの一例を示す図である。
【図１０】実施の形態３および４における適応的スキャン切替方法のフローの一例を示す図である。
【図１１】本発明の実施の形態３の変形例による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図１２】本発明の実施の形態４による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図１３】本発明の実施の形態４の変形例による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図１４】本発明の実施の形態５による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図１５】上記実施の形態５及び６で用いられる特性解析器の構成の一例を示す図である。
【図１６】実施の形態５および６における適応的スキャン切替方法のフローの一例を示す図である。
【図１７】本発明の実施の形態５の変形例による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図１８】本発明の実施の形態６による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図１９】本発明の実施の形態６の変形例による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図２０】本発明の実施の形態７による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図２１】本発明の実施の形態８による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図２２】本発明の実施の形態９による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図２３】実施の形態９および１０における適応的スキャン切替方法のフローの一例を示す図である。
【図２４】本発明の実施の形態１０による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図２５】本発明の実施の形態１３によるデータ記録媒体の構成を示す図である。
【図２６】従来の画像処理装置である画像符号化装置の構成を示すブロック図である。
【図２７】画像信号をＤＣＴ処理単位毎にブロック化する処理を説明するための図である。
【図２８】従来の画像処理装置である画像復号化装置の構成を示すブロック図である。
【図２９】従来の画像処理装置である他の画像符号化装置の構成を示すブロック図である。
【図３０】画面内予測方法を概念的に説明するための図である。
【図３１】従来のスキャン切替方法において選択されるスキャン処理におけるスキャン順を示す図である。
【図３２】従来の画像処理装置である他の画像復号化装置の構成を示すブロック図である。
【図３３】従来の画像処理装置である他の画像符号化装置の構成を示すブロック図である。
【図３４】従来の画像処理装置である他の画像復号化装置の構成を示すブロック図である。
【図３５】本発明の実施の形態１１による画像処理装置である画像符号化装置の構成を示すブロック図である。
【図３６】上記実施の形態１１におけるスキャン切替方法のフローの一例を示す図である。
【図３７】本発明の実施の形態１２による画像処理装置である画像復号化装置の構成を示すブロック図である。
【図３８】上記実施の形態１２におけるスキャン切替方法のフローの一例を示す図である。
【符号の説明】
１００ａ〜１００ｋ，１００ｍ  画像処理装置
１００ａ１，１００ｃ１，１００ｅ１，１００ａ１′，１００ｃ１′，１００ｅ１′，１００ｇ１，１００ｉ１，１００ｋ１  スキャン部
１００ｂ１，１００ｄ１，１００ｆ１，１００ｂ１′，１００ｄ１′，１００ｆ１′，１００ｈ１，１００ｊ１，１００ｍ１  逆スキャン部
１００ｃ２，１００ｄ２  予測部
１０１  画像信号
１０２  ブロック化器
１０４  ＤＣＴ器
１０６  量子化器
１０８ａ〜１０８ｄ，１１０ａ〜１１０ｄ，１２０３ａ，１２０３ｂ  スイッチ
１０９ｓ１〜１０９ｓｎ，１９９ｓ１〜１９９ｓｎ，１９９ｋ１〜１９９ｋｎスキャン器
２０２ｓ１〜２０２ｓｎ，２９２ｓ１〜２９２ｓｎ，２９２ｍ１〜２９２ｍｎ逆スキャン器
１１２  可変長符号化器
１１３，３０８，１００６  ビットストリーム
１１４  ＤＣＴタイプ信号
１１５，３１０ｃ，１３０５ｇ，１４０１ｃ，１５０１ｉ，１５０１ｋ  スキャン制御器
１１５ｂ，３１０ｄ，１４０１ｄ，１５０１ｊ，１５０１ｍ  逆スキャン制御器
１１６，１２０２，１２０４  スキャン制御信号
２００ａ１  情報源符号化部
２００ｂ１  情報源復号化部
２０１  可変長復号化器
２０２  逆スキャン器
２０３  逆量子化器
２０４  逆ＤＣＴ器
２０５  逆ブロック化器
３０１，３０４，１０１２  加算器
３０５，４０１，１１０２  予測器
３０９，１０１５  画面内予測パラメータ（予測情報）
１００２  差分信号
１００８  予測信号
１０１４  フレームメモリ
１２０１  スキャン切替信号
１３０１  周波数特性解析器
１３０３  メモリ
【図１】
0003671287.tif 000002
【図２】
0003671287.tif 000003
【図３】
0003671287.tif 000004
【図４】
0003671287.tif 000005
【図５】
0003671287.tif 000006
【図６】
0003671287.tif 000007
【図７】
0003671287.tif 000008
【図８】
0003671287.tif 000009
【図９】
0003671287.tif 000010
【図１０】
0003671287.tif 000011
【図１１】
0003671287.tif 000012
【図１２】
0003671287.tif 000013
【図１３】
0003671287.tif 000014
【図１４】
0003671287.tif 000015
【図１５】
0003671287.tif 000016
【図１６】
0003671287.tif 000017
【図１７】
0003671287.tif 000018
【図１８】
0003671287.tif 000019
【図１９】
0003671287.tif 000020
【図２０】
0003671287.tif 000021
【図２１】
0003671287.tif 000022
【図２２】
0003671287.tif 000023
【図２３】
0003671287.tif 000024
【図２４】
0003671287.tif 000025
【図２５】
0003671287.tif 000026
【図２６】
0003671287.tif 000027
【図２７】
0003671287.tif 000028
【図２８】
0003671287.tif 000029
【図２９】
0003671287.tif 000030
【図３０】
0003671287.tif 000031
【図３１】
0003671287.tif 000032
【図３２】
0003671287.tif 000033
【図３３】
0003671287.tif 000034
【図３４】
0003671287.tif 000035
【図３５】
0003671287.tif 000036
【図３６】
0003671287.tif 000037
【図３７】
0003671287.tif 000038
【図３８】
0003671287.tif 000039