(57)【特許請求の範囲】
【請求項１】
フレームＤＣＴおよびフィールドＤＣＴが選択可能なフレーム画像ＤＣＴタイプ選択モード、フレーム画像フレームＤＣＴ固定モードおよびフィールド画像のそれぞれの画像符号化モードによる符号化方式を用いた画像符号化装置において、それぞれのマクロブロック内の空間座標（ｘ，ｙ）の画素値をｆ（ｘ，ｙ）としたとき、
【数１】
0004723541.tif 000011
を前記マクロブロックの垂直方向最高周波数のエネルギーとし、該マクロブロックの垂直方向最高周波数のエネルギーをそれぞれの画像符号化モードについて合計し、該合計したエネルギーを前記それぞれの画像符号化モードの垂直方向最高周波数のエネルギーとし、該それぞれの画像符号化モードの垂直方向最高周波数のエネルギーからそれぞれの画像符号化モードの符号化効率評価値を求め、該求めた評価値の中から最も小さい評価値に対応する画像符号化モードによる符号化方式を用いて画像を符号化するように構成したことを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置において、前記評価値は、ＰＶＰを画像符号化モードの垂直方向最高周波数のエネルギー、Ｃn （ｎは任意の整数）を定数としたとき、
【数２】
0004723541.tif 000012
の式により求めることを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）を用いた汎用符号化方式による画像符号化装置に係り、特に、インターレースシーケンスを符号化する場合の画質改善に関するものである。
【背景技術】
【０００２】
動画像符号化の国際標準方式である ISO/IEC13818-2 （MPEG-2ビデオ）では、インターレースシーケンスに対応するため、フレーム処理またはフィールド処理を適応的に選択することができる。
ここで、インターレースシーケンスの各フレームは、１フィールド周期によって分離された２つのフィールドで構成されている。
【０００３】
また、MPEG-2ビデオでは、１つのフレームを１つの画像として符号化するか、または、２つのフィールドを２つの画像として符号化するかのいずれも可能となっている。これを画像構造と言い、フレーム画像またはフィールド画像をフレーム単位で適応的に選択することができる。さらに、フレーム画像においてはフレームＤＣＴとフィールドＤＣＴの各ＤＣＴタイプの使用が可能である。
【０００４】
また、画像はマクロブロック（輝度成分１６画素×１６ライン、およびそれに空間的に対応する色差成分）に分割され、さらに、マクロブロックは各ＤＣＴタイプによってブロック（輝度成分および色差成分とも８画索×８ライン）に分割され、ＤＣＴ符号化される。
【０００５】
ブロックは、フレームＤＣＴでは２つのフィールドから交互に来るラインで構成され、また、フィールドＤＣＴでは２つのフィールドの一方からのラインで構成される。ただし、フレーム画像ではフレームＤＣＴのみを使用するフレームＤＣＴ固定モードもあり、このモードでは、マクロブロックごとにＤＣＴタイプを決めるフラグを伝送する必要がなく、伝送量を減らすことができる。また、フィールド画像ではフィールドＤＣＴしか使用しないので、これも同じくマクロブロックごとにＤＣＴタイプを決めるフラグを伝送する必要がない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のMPEG-2ビデオ方式に準拠した動画像符号化装置は、 ISO/IEC13818-5 （MPEG-2ソフトウェアシミュレーション）の符号化手順に基づいている。
しかし、この MPEG-2 ソフトウェアシミュレーションでは、画像構造およびフレーム画像でのＤＣＴタイプ選択または固定モードは、符号化前にあらかじめ設定するようになっており、各画像の特徴により適応的に選択することはできない。
【０００７】
また、上記ソフトウェアシミュレーションでは、フレーム画像におけるフレームＤＣＴおよびフィールドＤＣＴの適応的な選択は採用されているが、これは、マクロブロック内の２フィールドの相関値を求め、相関値が０．５より大きいときフレームＤＣＴ、相関値が０．５以下のときフィールドＤＣＴを選択するようになっており、フレーム画像がもつ自己相関とインターレースによる相互相関の切り分けができず、結果として、符号化効率を悪くしている場合がある。
【０００８】
これらのことは、MPEG-2ソフトウェアシミュレーションの符号化手順に基づいている他の動画像符号化装置にも言える。そのために、インターレースシーケンスを符号化する場合には、画像構造をフレーム画像とし、フレームＤＣＴおよびフィールドＤＣＴの各ＤＣＴタイプの適応選択が一般的とされてきた。
しかし、伝送ビットレートを下げて符号化していくと、マクロブロックごとに伝送する必要のあるフラグの伝送量の影響も無視できなくなる。
【０００９】
本発明の目的は、ＤＣＴを用いた汎用符号化方式による画像符号化装置において、動画像符号化の符号化効率が悪くなるといった問題を生ずることなく、特に、低ビットレート動画像符号化の画質改善に大きく寄与する画像符号化装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明画像符号化装置は、フレームＤＣＴおよびフィールドＤＣＴが選択可能なフレーム画像ＤＣＴタイプ選択モード、フレーム画像フレームＤＣＴ固定モードおよびフィールド画像のそれぞれの画像符号化モードによる符号化方式を用いた画像符号化装置において、それぞれのマクロブロック内の空間座標（ｘ，ｙ）の画素値をｆ（ｘ，ｙ）としたとき、
【数１】
0004723541.tif 000002
を前記マクロブロックの垂直方向最高周波数のエネルギーとし、該マクロブロックの垂直方向最高周波数のエネルギーをそれぞれの画像符号化モードについて合計し、該合計したエネルギーを前記それぞれの画像符号化モードの垂直方向最高周波数のエネルギーとし、該それぞれの画像符号化モードの垂直方向最高周波数のエネルギーからそれぞれの画像符号化モードの符号化効率評価値を求め、該求めた評価値の中から最も小さい評価値に対応する画像符号化モードによる符号化方式を用いて画像を符号化するように構成したことを特徴とするものである。
【００１１】
また、本発明画像符号化装置は、前記評価値が、ＰＶＰを画像符号化モードの垂直方向最高周波数のエネルギー、Ｃn （ｎは任意の整数）を定数としたとき、
【数２】
0004723541.tif 000003
の式により求めることを特徴とするものである。
【発明の効果】
【００１２】
本発明によれば、従来の画像符号化装置では実現されなかった画像構造および各ＤＣＴタイプの適応選択を導入したことにより、より符号化効率の良い符号化モードを選択でき、特に、低ビットレートの動画像符号化の画質改善に大きく貢献することができる。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明画像符号化装置における画像構造適応選択の流れを示している。なお、図中、式の番号が記載されているブロックにおいては、後述の該当する式により垂直エネルギーや評価値が求められることを示している。
図１において、これから符号化しようとする画像を ISO/IEC13818-2 （MPEG-2ビデオ）に従って、フレーム画像、フィールド画像の各画像構造で符号化する場合について、画像をマクロブロックに分割する。そして、１つのマクロブロックについて、含まれる各ブロックの垂直方向最高周波数のエネルギー（以下、垂直エネルギーと呼ぶ）を計算（図１中、式（１）で示される）し、これを各ブロックについて合計した値をマクロブロックの垂直エネルギー（図１中、式（２）で示される）とする。
【００１４】
図２は、本発明画像符号化装置におけるＤＣＴタイプの適応選択の流れを示している。なお、図中、式の番号が記載されているブロックにおいては、後述の該当する式により垂直エネルギーや評価値が求められることを示している。
図２において、フレーム画像におけるＤＣＴタイプの適応選択モードは、各マクロブロックごとにフレームＤＣＴおよびフィールドＤＣＴのブロック分割に従ってマクロブロック垂直エネルギーを計算（図２中、式（２）で示される）する。ＤＣＴタイプのうちエネルギーの小さい方を、そのマクロブロックの垂直エネルギーとする。
【００１５】
上記において、フレーム画像のフレームＤＣＴ固定モードとフィールド画像による符号化の場合は、それぞれフレームＤＣＴとフィールドＤＣＴとですべてのマクロブロックを符号化するので、各ＤＣＴタイプのブロックごとに垂直エネルギーを計算し、合計した値をマクロブロックの垂直エネルギーとする。
【００１６】
また、図１に示すように、フレーム画像ＤＣＴタイプ選択モード、フレーム画像フレームＤＣＴ固定モードおよびフィールド画像による符号化の場合は、これら３種類の画像符号化モードのそれぞれについて、画面内のマクロブロックの垂直エネルギーを合計し、各画像符号化モードの垂直エネルギーとする。
【００１７】
３種類の画像符号化モードの垂直エネルギーは、各画像符号化モードの動きベクトル情報量や符号化モード識別のフラグの有無などを考慮し、符号化効率を表す評価値に変換する。３種類の画像符号化モードの垂直エネルギーの評価値の中から最も小さい評価値に対応する画像符号化モードで画像を符号化する。
【００１８】
以下では、本発明画像符号化装置を、ＨＤＴＶ（１９２０画素×１０８０ライン／６０ｉ）信号を符号化ビットレート１８Ｍｂｐｓで符号化するように構成した場合の一実施形態について説明する。
本発明画像符号化装置により画像符号化を行うには、上述したように、符号化するシーケンスについて１フレームごとに３種類の画像符号化モード（フレーム画像ＤＣＴタイプ選択モード、フレーム画像フレームＤＣＴ固定モードおよびフィールド画像の各モード）の垂直エネルギーを計算し、その計算した値から符号化効率評価値を算出し、得られた評価値の中から最も小さい評価値に対応する画像符号化モードを決定し、その符号化モードにより符号化を行う。
【００１９】
まず、画像構造の適応選択について説明する。
符号化される画像は ISO/IEC13818-2 （MPEG-2ビデオ）に従って、まず、フレーム画像、フィールド画像の各画像構造を構成するマクロブロックに分割する。次に、各画像構造に従ってマクロブロックを構成するブロックに分割する。ただし、フレーム画像では、ブロックの分割方法は各ＤＣＴタイプによりフレームＤＣＴとフィールドＤＣＴの２種類がある。
【００２０】
次に、ブロックの垂直エネルギーＢＶＰを式（１）により求める（図１参照）
。なお、ブロックの大きさを、ここでは、８画素×８ラインとする。
【数３】
0004723541.tif 000004
ここで、ｆ（ｘ，ｙ）はブロック内の空間座標（ｘ，ｙ）の画素値である。
また、ブロックの大きさは、これをＭ画素×Ｎラインに一般化してよいこと勿論である。
【００２１】
次に、マクロブロックの垂直エネルギーＭＶＰを式（２）により求める（図１参照）。
【数４】
0004723541.tif 000005
ここで、block count はマクロブロックを構成する輝度成分と色差成分を合わせたブロックの個数である。
【００２２】
次に、画像構造の垂直エネルギーＰＶＰを式（３）により求める（図１参照）。
【数５】
0004723541.tif 000006
ここで、MB count  は画像を構成するマクロブロックの個数である。
【００２３】
次に、各画像構造の垂直エネルギーＰＶＰからフレーム画像ＤＣＴタイプ適応選択、フレーム画像フレームＤＣＴ固定およびフィールド画像の各画像構造の符号化効率評価値である、ＰＶＥadapt ，ＰＶＥframe およびＰＶＥfield を式（４），（５），（６）よりそれぞれ求める（図１参照）。
【数６】
0004723541.tif 000007
ここで、ｎ＝１，Ｃadapt 1 ＝８，Ｃframe 1 ＝１，Ｃfield 1 ＝４である。
【００２４】
本発明画像符号化装置では、以上のようにして求めた各画像構造の符号化効率評価値のうち最も小さい値をもつ画像符号化モードをその画像の画像符号化モードとし、符号化を行う。
【００２５】
次に、ＤＣＴタイプの適応選択について説明する。
フレームＤＣＴおよびフィールドＤＣＴの各ＤＣＴタイプについて、ブロックの垂直エネルギーＢＶＰおよびマクロブロックの垂直エネルギーＭＶＰを、上述した画像構造の適応選択の場合と同様、式（１）および式（２）よりそれぞれ求める（図２参照）。
【００２６】
次に、フレームＤＣＴのマクロブロック符号化効率評価値ＭＶＥframe およびフィールドＤＣＴのマクロブロック符号化効率評価値ＭＶＥfield を式（７），（８）よりそれぞれ求める（図２参照）。
【数７】
0004723541.tif 000008
ここで、ｎ＝１，Ｃframe ＤＣＴ１＝Ｃfield ＤＣＴ１＝１である。
【００２７】
求めた符号化効率評価値のうち小さい値のＤＣＴタイプをそのマクロブロックにおけるＤＣＴタイプとして選択する。
選択したＤＣＴタイプにおけるマクロブロックの垂直エネルギーＭＶＰadaptを式（９）により求める。
【数８】
0004723541.tif 000009
【００２８】
さらに、このようにして求めたマクロブロックで構成される画像の垂直エネルギーＰＶＰadapt を式（１０）により求める。
【数９】
0004723541.tif 000010
ここで、MB countは画像を構成するマクロブロックの個数である。
【００２９】
本発明による効果を確認するために、ＩＴＥ監修ハイビジョン・システム評価用標準動画像（平成５年１０月テレビジョン学会より刊行）の「No.16 シャチのジャンプ」に対して本発明による符号化を試みた。符号化は、 ISO/IEC13818-5（MPEG-2ソフトウェアシミュレーション）を用い、本発明を組み込んだ場合と画像構造はフレーム画像、ＤＣＴタイプは適応選択（従来手法として一般的な符号化装置で設定されている） とした場合とを比較した。
【００３０】
比較の結果、ビットレート１８Ｍｂｐｓの画像の符号化では、従来手法では苦手であった画面全体が動く画像で約１．５ｄＢ、画面が動かない空間解像度の高い画像でも約１，５ｄＢだけＰＳＮＲ（Peak Signal -to-Noise Ratio ）が改善されることが判明した。
【図面の簡単な説明】
【００３１】
【図１】本発明画像符号化装置における画像構造適応選択の流れを示す図である。
【図２】本発明画像符号化装置におけるＤＣＴタイプ適応選択の流れを示す図である。
【図１】
0004723541.tif 000013
【図２】
0004723541.tif 000014